CN106575366A - 关于检测和/或指示脏镜头状况的方法和装置 - Google Patents

关于检测和/或指示脏镜头状况的方法和装置 Download PDF

Info

Publication number
CN106575366A
CN106575366A CN201580042768.8A CN201580042768A CN106575366A CN 106575366 A CN106575366 A CN 106575366A CN 201580042768 A CN201580042768 A CN 201580042768A CN 106575366 A CN106575366 A CN 106575366A
Authority
CN
China
Prior art keywords
image
camera lens
dirty
camera
situation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580042768.8A
Other languages
English (en)
Inventor
R·拉洛亚
S·A·施洛夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Photo Lab Ltd By Share Ltd
Light Labs Inc
Original Assignee
Photo Lab Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Photo Lab Ltd By Share Ltd filed Critical Photo Lab Ltd By Share Ltd
Publication of CN106575366A publication Critical patent/CN106575366A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/18—Signals indicating condition of a camera member or suitability of light
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0006—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means to keep optical surfaces clean, e.g. by preventing or removing dirt, stains, contamination, condensation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634—Warning indications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

本申请涉及图像捕获和生成方法和装置，并且更具体地，涉及检测和/或指示脏镜头状况的方法和装置。本发明的一个实施例包括操作相机的方法，包括以下步骤：使用相机的第一镜头捕获第一图像；至少基于第一图像确定是否存在脏相机镜头状况；以及响应于确定存在脏镜头状况，生成脏镜头状况通知或启动自动相机镜头清洁操作。在一些实施例中，比较具有重叠图像区域的多个捕获图像以确定是否存在脏镜头状况。

Description

关于检测和/或指示脏镜头状况的方法和装置
相关申请
2014年7月4日提交的美国临时申请S.N.62/021097的全部内容通过引用被明确地结合于此。
技术领域
本申请涉及图像捕获和生成方法和装置，更具体地，涉及检测和/或指示脏镜头状况的方法和装置。
背景技术
虽然专业摄影师通常很大程度地保护和保持其相机镜头清洁，但是即使专业的摄影师也不会注意到镜头上的污垢、灰尘、油、指纹、水滴或其它污染物，这有时被称为脏镜头状况，从而导致利用脏相机镜头捕获的一个或多个图像的劣化。在低端相机设备的情况下，其中用户经常将相机设备(例如，包括相机的蜂窝电话)保存在口袋或镜头可能容易变脏的其它位置，脏相机镜头的问题增加。膝上型计算机、板式设备(pad)、平板电脑或也可能包括相机的其它设备的脏相机镜头也会经历这个问题。
虽然相机镜头上的污垢会是导致劣化图像的常见问题，但是用户通常没有意识到图像质量的劣化和/或需要清洁镜头，直到由于脏镜头导致的劣化变得严重和明显。
遗憾的是，在相机设备的用户注意到脏相机镜头或其效果时，清洁脏镜头以及仍然及时地捕获感兴趣的特定场景的机会可能已经过去。
鉴于以上讨论，应当认识到，如果可以开发出检测脏镜头状况并提醒相机用户的方法或装置，则这将是所期望的。
发明内容
描述了关于脏相机镜头的检测的方法和装置。根据一些特征，图像利用相机设备的一个或多个相机镜头来捕获。图像或图像的特性然后进行比较以确定是否存在脏相机镜头状况。在一些实施例中，各个捕获图像的对比度被确定，并且不同图像的对比度被比较。例如，高于阈值水平的差异图像对比度在一些实施例中指示脏相机镜头。这是因为脏相机镜头趋向于导致模糊，并且因此导致捕获图像中的对比度的降低。因此，当两个图像的对比度进行比较时，对应于相同场景、同时或在时间上彼此接近捕获的图像的对比度水平的显著差异可以并且在一些实施例中确实指示脏镜头状况。第一图像和第二图像的像素级比较也可以用来确定具有显著差异的脏镜头状况，例如，在颜色或亮度上进行比较的图像像素之间，在预定或动态确定阈值之上的平均差异指示脏镜头状况。
响应于确定脏镜头状况，生成脏镜头状况的指示并且呈现给相机的用户。该指示可以是脏镜头状况的视觉或听觉指示。
在至少一些实施例中，本发明的方法用于包括多个光链，例如，每个光链包括一个或多个镜头并且能够捕获图像的装置中。由不同光链捕获的图像或图像的特性被比较并且用来确定是否存在脏镜头状况。在脏镜头状况的情况下，生成用户可感知的指示，向相机设备的用户发出信号以使用户意识到脏镜头状况并且需要执行镜头清洁操作。在包括多个光链的相机的情况下，用户可以并且在一些实施例中确实被通知相机设备的哪个镜头是脏的。关于脏镜头状况的信息可以并且在一些实施例中确实被包括在视觉显示器中。例如，脏镜头状况可以通过向用户呈现“清洁镜头X”的消息来指示，从而向用户指定多个镜头中的哪个应该被清洁并因此使用户意识到该镜头是脏的。作为替代地，可以例如经由相机上的显示器向用户呈现简单消息说“检测到脏镜头状况”或一些其它类似的警告。相机警告指示灯或特定声音可以并且在一些实施例中确实用来指示脏镜头状况并且可选地指示哪个镜头尤其是脏的。
关于脏镜头的信息可能并且在一些实施例中确实被存储并与当镜头被确定为脏时捕获的图像相关联。当根据相机设备的多个光链捕获的图像生成合成图像时，可以并且在一些实施例中确实考虑脏镜头状况。例如，与捕获图像相关联的脏镜头状况可导致当从多个捕获图像生成合成图像时，图像在使用中被省略，例如，由没有遭受脏镜头状况的光链所捕获的图像被使用，而不使用对应于脏镜头的图像。作为替代地，如果利用脏镜头捕获的图像被给予与当脏镜头状况未被检测时在组合过程中正常应用的权重相同的权重，则对应于脏镜头的图像和/或像素值可以在图像组合过程中被给予较低的优先级或权重，使得脏镜头状况不会劣化合成图像。因此，在至少一些实施例中，当可用时，脏镜头状况信息被用在图像组合过程中。
当脏镜头状况例如通过清洁脏镜头被纠正时，镜头状况的变化被检测到并且脏镜头指示被停用。状况变化的检测可以基于在检测到脏镜头状况之后捕获的图像。
本发明的方法和装置可以用来在相机正在执行自动聚焦或其它操作的时间段期间检测脏镜头状况，并且不依赖于用户选择和特定图像的捕获来启用要实现的脏镜头检测和通知过程。但是，在至少一些实施例中，响应于用户控制而捕获的图像可以并且确实被用于脏镜头确定操作中。
附图说明
图1是根据本发明的一个实施例实现的示例性装置(例如，相机设备)的框图。
图2示出了根据示例性实施例实现的、包含多个光链(例如，相机模块)、根据本发明具有可从相机前面看见的镜头的装置的前视图。
图3是图2的示例性装置的侧视图，其示出了示例性装置的进一步细节。
图4示出了根据另一实施例实现的相机设备。
图5示出了图5A和5B的组合。
图5A是根据示例性实施例的操作相机设备的示例性方法的流程图的第一部分。
图5B是根据示例性实施例的操作相机设备的示例性方法的流程图的第二部分。
图6示出了根据示例性实施例的模块的示例性组件。
图7示出了根据示例性实施例的干净圆形镜头和脏圆形镜头。
图8示出了根据本发明的一个实施例的具有重叠区域的第一图像和第二图像。
图9示出了根据本发明的一个实施例的具有重叠区域的第一图像和第二图像，其中所述第二图像是使用污染的或脏镜头捕获的。
具体实施方式
图1示出了根据本发明的一个示例性实施例实现的示例性相机设备100，诸如数字相机、具有相机功能的记事本、或具有相机功能的蜂窝电话。在一些实施例中，相机设备100是便携式设备。在其它实施例中，相机设备100是固定设备，诸如墙上安装的相机。
图1以框图形式示出了相机设备100，其示出了装置100的各种元件之间的连接。示例性相机设备100包括显示设备102、光发射器模块104、输入设备106、输入状态检测模块148、曝光和读出控制器150(例如，滚动快门控制器150)、光控制设备152、存储器108、模块180的硬件组件、处理器110、无线和/或有线接口114(例如，蜂窝接口、WIFI接口和/或USB接口)、I/O接口112、加速度计模块122、3轴陀螺仪192和总线116，这些安装在由通向附图标记100的线涉及的矩形方框表示的壳体中。光发射器模块104包括发光元件，其可以是LED(发光二极管)或其它类型的发光元件，它们可以被单独控制，使得所有发光元件不需要在同一时间接通。输入设备106可以是，并且在一些实施例中确实是，例如，键板、触摸屏或可以用于输入信息、数据和/或指令的类似设备。加速度计模块122包括在垂直轴上排列的加速度计1 124、加速度计2 126和加速度计3 128，从而提供3轴加速度计模块。因此，加速度计模块122可以沿3个独立的轴进行测量。类似地，包括194、196和198的3-轴陀螺仪192可以测量沿3个不同轴中的每一个的旋转。加速度计模块122和陀螺仪模块192的输出可以并且在一些实施例中确实被监测，其中加速度计和陀螺仪输出的变化由处理器110和/或缩放控制模块140随时间进行解释和检查，以检测指示在一个或多个方向上的运动的加速度的变化。在一些实施例中，输入设备106包括可用来启用或禁用相机缩放功能的至少一个缩放控制按钮。在一些这样的实施例中，当缩放控制按钮处于按下状态时，相机缩放功能被启用，而当该按钮处于未按下状态时，相机缩放功能被禁用。输入状态检测模块148被配置为检测输入设备(例如，缩放控制按钮)的状态，以检测按钮是处于按下状态还是处于未按下状态。在一些实施例中，在相机设备100中存在状态寄存器，其包括一位，从而指示由状态检测模块148检测到的缩放控制按钮的状态，例如，它是处于指示缩放被启用的按下状态还是处于指示缩放被禁用的未按下状态。
显示设备102可以是并且在一些实施例中确实是触摸屏，用来显示图像、视频、关于相机设备的配置的信息、和/或对相机设备执行的数据处理的状态。在其中显示设备102是触摸屏的情况下，显示设备102用作附加输入设备和/或用作单独输入设备(例如，按钮106)的备选。如将在一些实施例中讨论的，缩放操作可以通过按缩放控制传感器(例如，触摸传感器)来控制。在一些实施例中，当相机用户触摸缩放控制传感器时，缩放功能被启用。例如，触摸传感器上的手指激活/启用缩放功能。I/O接口112将显示器102和输入设备106耦合到总线116以及显示器102、输入设备106和可经由总线116进行通信和交互的相机的其它元件之间的接口。
除了被耦合到I/O接口112之外，总线116还被耦合到存储器108、模块180的硬件组件、处理器110、可选的自动聚焦控制器132、无线和/或有线接口114、缩放控制模块140以及多个光链130，例如，本文也称为相机模块的X光链。在一些实施例中，X是大于2的整数，例如，取决于具体实施例是3、4、7或更大的值。多个相机模块130可以使用本申请中描述的各种相机模块组和/或布置中的任何一个来实现。由多个光链130中的各个光链捕获的图像可以并且在各种实施例中确实被存储在存储器108中(例如，作为数据/信息120的一部分)并且由处理器110处理，例如，以生成一个或多个合成图像。
X相机模块131至133可以并且在各种实施例中确实包括具有不同焦距的相机模块。可以在给定焦距处提供多个相机模块。例如，具有与全帧DSLR相机等同的35mm焦距的多个相机模块、具有与全帧DSLR相机等同的70mm焦距的多个相机模块以及具有与全帧DSLR相机等同的140mm焦距的多个相机模块在一些实施例中被包括在单独的相机设备中。各种焦距是示例性的并且可以使用具有不同焦距的各种各样的相机模块。相机设备100被认为是示例性的。就关于一些其它图对相机或相机设备做出的其它引用方面，应当理解，至少在一些实施例中，相机设备或相机将包括图1所示的元件，即使这些元件未在特定图或实施例中示出。虽然在一些实施例中，图1所示的所有元件都包括在相机设备或相机中，但是在其它实施例中，只包括图1所示的元件的子集，并且图1中的元件的图示不旨在暗示在所有实施例中特定元件是必要的或必需的。
如下面将讨论的，在相同时间或在给定时间段期间捕获的、来自不同相机模块的图像可以被组合，以生成合成图像，例如，比由相机模块131、133中的单个相机模块捕获的单独图像具有更好的分辨率、频率含量和/或光范围的图像。
多个捕获图像和/或合成图像可以并且在一些实施例中确实被处理以形成视频，例如，对应于一段时间的一系列图像。接口114将相机设备100的内部部件耦合到外部网络(例如，互联网)和/或一个或多个其它设备(例如，存储器或独立的计算机)。经由接口114，相机设备100可以并且确实输出数据，例如，所捕获的图像，所生成的合成图像和/或所生成的视频。输出可以是到网络或另一外部设备，以用于进行处理、存储和/或被共享。所捕获的图像数据、所生成的合成图像和/或视频可以作为输入数据被提供给另一设备以用于进一步处理和/或被发送以用于例如在外部存储器、外部设备或在网络中进行存储。
相机设备100的接口114可以并且在一些情况下确实耦合到计算机，使得图像数据可以在外部计算机上进行处理。在一些实施例中，外部计算机具有比相机设备100更高的计算处理能力，这允许在外部计算机上发生所输出图像数据的计算上更加复杂的图像处理。接口114还允许将数据、信息和指令从一个或多个网络和/或诸如计算机或存储器的其它外部设备提供给相机设备100，以用于在相机设备100上存储和/或处理。例如，背景图像可以被提供给相机设备，以由相机处理器110将其与由相机设备100捕获的一个或多个图像组合。指令和/或数据更新可以经由接口114加载到相机上并且存储在存储器108中。
在一些实施例中，照明模块104包括多个发光元件，例如LED，其可以以受控的方式被照亮来用作相机闪光灯，其中LED例如以基于滚动快门的操作和/或曝光时间的同步的方式被分组控制或单独控制。为了讨论的目的，模块104将被称为LED模块，这是因为在示例性实施例中，LED被用作发光设备，但是如上所述，本发明不限于LED实施例并且也可以使用其它发光源。在一些实施例中，LED模块104包括发光元件(例如，LED)的阵列。在一些实施例中，LED模块104中的发光元件被布置为使得每个单独的LED和/或一组LED可以以与滚动快门操作同步的方式被照亮。在一些但不是所有实施例中，发光元件被顺序地照亮，使得区域的不同部分在不同时间被照亮，使得整个区域不需要在图像捕获期间始终被照明。虽然在涉及读出传感器的全部像素元件的图像捕获操作的整个持续时间内，不是所有照明元件都保持接通，但是，其图像被捕获的区域(例如，扫描区域)的部分在给定时间由于滚动快门的使用将由于发光元件的照明与滚动快门操作的同步而被照亮。因此，在一些实施例中，基于曝光时间和传感器的哪个部分将被用于在给定时间捕获图像的一部分，各种发光元件被控制，以在不同时间照亮。在一些实施例中，LED模块104中的发光元件包括多组发光元件，每组发光元件对应于其照亮并且由图像传感器的不同部分捕获的不同图像区域。镜头可以并且在一些实施例中确实用来将来自不同发光元件的光引导到将由相机通过使用一个或多个相机模块捕获的不同场景区域。
滚动快门控制器150是控制在不同时间从一个或多个图像传感器的不同部分读出的电子快门。每个图像传感器一次读取一行像素值，并且按次序读取各行。如下面将讨论的，在一些实施例中，由不同传感器捕获的图像的读出受到控制，使得传感器以与在一些实施例中同时捕获相同图像区域的多个传感器同步的方式捕获感兴趣的场景区域，有时也被称为感兴趣的图像区域。
虽然在大多数实施例中使用了电子滚动快门，但是在一些实施例中可以使用机械滚动快门。
光控制设备152被配置为以与滚动快门控制器150的操作同步的方式控制发光元件(例如，包括在LED模块104中)。在一些实施例中，光控制设备152被配置为控制阵列中不同组的发光元件，以与滚动快门150的定时同步的方式在不同时间发光。在一些实施例中，光控制设备152被配置为控制对应于第一图像区域的第一组发光元件在第一时间段期间输出光，第一时间段是基于滚动快门的定时确定的并且是期间传感器的第一部分被曝光以用于图像捕获的时间段。在一些实施例中，光控制设备152还被配置为控制对应于第二图像区域的第二组发光元件在第二时间段期间输出光，第二时间段是基于滚动快门的定时确定的并且是期间传感器的第二部分被曝光以用于图像捕获的时间段。在一些实施例中，第一时间段包括不与第二时间段重叠的至少一部分时间。
在一些实施例中，光控制设备152还被配置为控制对应于第N个图像区域的第N组发光元件在第三时间段期间输出光，所述第N时间段是基于滚动快门的定时确定的并且是期间传感器的第N部分被曝光以用于图像捕获的时间段，N是与由所述滚动快门完成整个图像区域的一次全部读出所使用的时间段的总数对应的整数值。
在一些实施例中，光控制设备152还被配置为控制第二组发光元件在第一时间段中包括的不与所述第二时间段重叠的所述时间部分期间关闭。在一些实施例中，光控制设备被配置为基于曝光设置来确定第一组发光元件和所述第二组发光元件何时接通。在一些实施例中，光控制设备被配置为基于所述传感器的不同部分的读出之间的时间量来确定所述第一组发光元件和所述第二组发光元件何时接通。在一些实施例中，多个发光元件中的不同组的发光元件用不同镜头覆盖。在一些这样的实施例中，光控制设备152还被配置为基于由相机设备使用的有效焦距设置来确定使用哪些组发光元件。
加速度计模块122包括多个加速度计，包括加速度计1 124、加速度计2 126和加速度计3 128。每个加速度计被配置为在给定方向上检测相机的加速度。虽然三个加速度计124、126和128被示为包括在加速度计模块122中，但是应当理解，在一些实施例中，可以使用多于三个加速度计。类似地，陀螺仪模块192包括3个陀螺仪194、196和198，每个轴一个，这非常适于在相机设备通常被使用的3维真实世界环境中使用。由加速度计在给定方向上检测到的相机加速度被监视。指示相机运动的加速度和/或加速度的变化以及旋转被监视和处理，以检测运动的一个或多个方向，例如，向前的相机运动、向后的相机运动等。指示相机运动的加速度/旋转可以用来控制缩放操作和/或在一些情况下提供给相机支架，其然后可以采取诸如旋转相机支架或旋转相机支撑以帮助稳定相机的动作。
相机设备100可以包括并且在一些实施例中确实包括自动聚焦控制器132和/或自动聚焦驱动组件134。自动聚焦控制器132存在于至少一些自动聚焦实施例中，但将在固定聚焦实施例中省略。自动聚焦控制器132控制一个或多个光链中至少一个镜头位置的调整，以用来实现期望的(例如，用户指示的)聚焦。在每个光链中包括单独驱动组件的情况下，自动聚焦控制器132可以驱动各种光链的自动聚焦驱动器以聚焦在同一目标上。
缩放控制模块140被配置为响应于用户输入执行缩放操作。
处理器110控制相机设备100的操作来控制相机设备100的元件，以实现本文所描述的方法的步骤。处理器可以是被预配置为实现这些方法的专用处理器。但是，在许多实施例中，处理器110在存储在存储器108中的包括指令的软件模块和/或例程的指导下操作，当所述指令被执行时，使得处理器控制相机设备100来实现本文所描述的一种、多种或全部方法。存储器108包括模块组件118，其中一个或多个模块包括一个或多个软件例程，例如，机器可执行指令，以用于实现本发明的图像捕获和/或图像数据处理方法。当由处理器110执行时，模块118中的各个步骤和/或代码行控制处理器110来执行本发明的方法的步骤。当由处理器110执行时，数据处理模块118使得至少一些数据根据本发明的方法被处理器110处理。模块组件118包括模式控制模块，其例如基于用户输入来确定要实现多个相机设备操作模式中的哪一个。在不同的操作模式中，不同的相机模块131、133可以并且常常确实基于所选择的操作模式被不同地控制。例如，取决于操作模式，不同的相机模块可以使用不同的曝光时间。作为替代地，相机模块所指向的场景区域以及由此场景的哪个部分由单独相机模块捕捉可以取决于由不同相机模块捕获的图像要如何被使用(例如，要被组合以形成合成图像)以及在用户选择或自动选择的操作模式期间各个相机模块要捕获较大场景中的哪些部分来改变。
作为结果产生的数据和信息(例如，捕获的场景图像、组合的场景图像等)存储在数据存储器120中，以供将来使用、进行附加处理和/或输出例如到显示设备102以用于显示或到另一设备以用于传输、处理和/或显示。存储器108包括不同类型的存储器，例如，随机存取存储器(RAM)，其中模块组件118和数据/信息120可以并且在一些实施例中确实被存储以供将来使用。其中模块组件118可以被存储以供电源故障时使用的只读存储器(ROM)。用于存储数据、信息和指令的、诸如闪存存储器的非易失性存储器也可以用来实现存储器108。可以将存储卡添加到设备以提供用于存储数据(例如，图像和视频)和/或诸如编程的指令的附加存储器。因此，存储器108可以使用用作存储设备的各种各样的非瞬时性计算机或机器可读介质中的任何一种来实现。
已经参考图1描述了相机设备100的一般部件，现在将参考图2和图3讨论与多个光链130有关的各种特征，图2和图3分别从前面和侧面的角度示出了相机设备100。图2的虚线101指示横截线。
框117表示键并且指示OC＝光链，例如，相机模块，并且每个L1表示光链中的最外侧镜头。框119表示键并且指示S＝传感器、F＝滤光器、L＝镜头，L1表示光链中的最外侧的镜头，并且L2表示光链中的内镜头。虽然图3示出了光链的一种可能的实现，但是如下面将讨论的，其它实施例也是可能的，并且除了图3所示的元件之外，光链还可以包括一个或多个光重定向元件。不同光链的镜头可以具有不同的形状，例如，其中圆形孔径被用于一些镜头，而非圆形孔径被用于另一些镜头。但是，在一些实施例中，具有圆形孔径的镜头被用于相机设备的光链中的每一个。
图2示出了示例性相机设备100的前面。图1中所示的、作为朝相机组件的前面的光的光线131可以进入位于相机壳体前面的镜头。从相机设备100的前面，相机设备100看起来像相对平坦的设备，其中外部矩形表示相机壳体并且朝相机中心的正方形表示其中安装多个光链130的前面相机主体的部分。注意，虽然图2所示的外镜头被示为具有相同尺寸的圆形孔径，但是如以下将描述的，例如，取决于焦距，可以使用不同尺寸的镜头以用于不同的光链，其中具有较大焦距的光链通常比具有小焦距的光链包括具有更大孔径的外镜头。
示出相机设备100的侧面透视图的图3示出了光链组130的七个光链中的三个(OC1 121、OC 7 145、OC 4 133)、显示器102和处理器110。OC1 121包括外镜头L1 103、滤光器123、内镜头L2 125和传感器127。在一些实施例中，OC 1 121还包括出于缩放和/或自动聚焦操作目的用于控制镜头L2 125的位置的镜头驱动器(LD)129。曝光和读出控制器150在该图中未示出，但是被用于例如，考虑由各个传感器所捕获的场景区域，以同步的方式控制从传感器127、125和139读出像素值的行。LD 129包括电动机或其它驱动机制，其可以移动它所连接的镜头、镜筒或容纳一个或多个镜头或传感器的圆柱体，从而允许通过相对于LD所耦合到的光链的其它元件移动一个或多个元件来更改光路径。虽然LD 129被示为耦合(例如，连接)到镜头L2 125并且因此可以移动镜头L2的位置，例如，作为缩放或自动聚焦操作的一部分，但是在其它实施例中，LD 129耦合到作为光链的一部分的圆柱形或桶形部件或耦合到传感器127。因此，镜头驱动器可以更改镜头到传感器127的相对位置，例如，作为缩放和/或聚焦操作的一部分改变传感器127和镜头125之间的距离。OC 7 145包括外镜头L1115、滤光器147、内镜头L2 149和传感器151。OC 7 145还包括用于控制镜头L2 149的位置的LD 153。LD 153包括电动机或其它驱动机制，其可以移动它所连接的镜头、镜筒、圆柱体、传感器或其它光链元件。
OC 4 133包括外镜头L1 109、滤光器135、内镜头L2 137和传感器139。OC 4 133包括用于控制镜头L2 137的位置的LD 141。LD 141包括电动机或其它驱动机制并且以与其它光链的驱动器相同或相似的方式操作。虽然在图3中仅示出了OC中的三个，但是应当理解，相机设备100的其它OC可以并且在一些实施例中确实具有相同或相似的结构和/或可以包括其它元件，诸如光重定向设备。因此，相机设备100的多个光链之间的差异是可能的，并且在一些实施例中是存在的，以允许通过使用可平行操作的多个光链在单个相机设备中支持各种焦距。
图3和其中示出的有时也称为相机模块的光链(OC)说明了在各种实施例中使用的OC的一般结构。但是，许多修改和特定配置是可能的。虽然可以对图3的元件进行参考，但是应当理解，特定实施例中的OC(相机模块)将如关于特定实施例所描述的那样被配置，并且各种不同的相机模块通常用在单个相机设备中。这样的模块可以被单独使用或与其它模块组合使用，诸如图3和图4或本申请的其它图中所示的模块。
虽然滤光器可以是特定颜色的或用在一些光链中，但是滤光器不需要用在所有光链中，并且在一些实施例中可以不使用。在其中滤光器被明确地省略和/或描述为被省略或允许所有光通过的元件的实施例中，虽然可以对图3的OC进行参考，但是应当理解，在以下这种实施例中，滤光器将被省略，即，其中滤光器被指示要被省略或者被指示具有这种性质：即，如果实施例被指示具有宽带滤光器，则它允许宽光谱的光通过。虽然在图3的OC中未示出光重定向设备(R)，例如，反射镜或棱镜，但是在至少一些实施例中，在OC中包括一个或多个反射镜以用于要被重定向的光，例如，以增加光路的长度或进行更方便的内部部件配置。应当理解，图3所示的OC 121、145、133中的每一个将具有其自己的光轴。在该例子中，每个光轴穿过光链前面的镜头103、115或109的中心并且穿过OC到对应的传感器127、151、139。
虽然处理器110没有被示出耦合到LD和传感器127、151、139，但是应当理解，这样的连接存在并且从图3中省略，以便于说明示例性OC的配置。
如应当理解的，镜头、滤光器和/或反射镜的数量和布置可以取决于特定实施例而变化，图3中所示的布置旨在是示例性的并且便于各种特征的理解而不是限制性质。
多个光链130的前面在图2中可见，其中每个光链的最外镜头看起来像利用实线(OC 1L1 103、OC 2L1 105、OC 3L1 107、OC 4 L1 109、OC 5L1 111、OC 6L1 113、OC 7L1115)表示的圆圈。在图2的例子中，多个光链130包括七个光链，OC 1 121、OC 2 157、OC 3159、OC 4 133、OC 5 171、OC 6 173、OC 7 145，其包括分别由图2所示的实心圆表示的镜头(OC 1L1 103、OC 2L1 105、OC 3 L1 107、OC 4L1 109、OC 5L1 111、OC 6L1 113、OC 7L1115)。当从前面作为单元观看时，光链的镜头被布置成形成通常是图2的例子中的圆形的图案。虽然在一些实施例中使用圆形布置，但是在其它实施例中使用非圆形布置并且是优选的。在一些实施例中，虽然整体图案是大体上或大致圆形的，但是有意地使用到一般圆的中心的不同距离和/或从一个镜头到另一镜头的不同距离，以便于深度图的生成和图像的块处理，其可以包括诸如重复图案的周期性结构，而无需识别重复图案的边缘。这样的重复图案可以在格栅或屏幕中找到。
对应于多个光链OC1至OC7(有时也称为光学相机模块)的多个镜头的整个总光捕获区域组合地可以接近具有大得多的开口的镜头的总光捕获区域，但不需要具有通常将由于占据图2所示的镜头所占据的区域的单个镜头的曲率而必需的厚度的单个镜头。
虽然在光链OC 1至OC 7的镜头开口之间示出了间隙，但是应当理解，镜头可以制成并且在一些实施例中确实制成使得它们紧密配合在一起，从而使由实线形成的圆圈表示的镜头之间的间隙最小化。虽然在图2中示出了七个光链，但是应当理解，其它数量的光链也是可能的。例如，在一些实施例中，在单个相机设备中使用了十七个相机模块。包括甚至更大数量的光链的相机设备也是可能的。
与使用单个光链相比，使用多个光链具有几个优点。使用多个光链允许噪声平均。例如，假定小的传感器尺寸，则存在一个光链可能检测到与另一个光链不同数量(例如一个或多个)光子的随机概率。这可以表示与被感测的图像中的实际人类可感知的变化相反的噪声。通过平均对应于由不同光链感测到的图像的一部分的感测像素值，随机噪声可以被平均，从而比在使用单个光链的输出的情况下产生图像或场景更准确和令人愉悦的表示。
假定小尺寸的光学传感器(例如，各个像素元件)，则就光灵敏度而言，动态范围通常受限于传感器在亮状况下变得容易饱和。通过使用对应于不同曝光时间的多个光链，场景的暗区域可以由对应于较长曝光时间的传感器感测到，而场景的亮区域可以由具有较短曝光时间的光链感测到，而不会饱和。如由指示传感器饱和的像素值所指示的，变得饱和的光链的像素传感器可以被忽略，并且来自其它(例如，较少曝光的)光链的像素值可以被使用，而没有来自另一光链的饱和像素传感器的贡献。在一些实施例中，使用随曝光时间变化而变化的非饱和像素值的加权和组合。通过组合具有不同曝光时间的传感器的输出，可以覆盖比使用单个传感器和曝光时间将可能覆盖的更大的动态范围。
图3是图1和图2所示的相机设备100的横截面透视图。图2中的虚线101示出了图3的横截面所对应的相机设备内的位置。从侧截面中，第一、第七和第四光链的部件是可见的。
如图3所示，尽管包括多个光链，但是相机设备100可以实现为相对薄的设备，例如，在至少一些实施例中，厚度小于2、3或4厘米的设备。较厚的设备也是可能的，例如具有远摄镜头的设备，并且其在本发明的范围内，但是较薄的版本特别好地适于蜂窝电话和/或平板实现。如下面将讨论的，诸如使用光重定向元件和/或非圆形镜头的各种技术可以与小传感器(诸如通常在手持式相机中使用的那些)结合使用，以支持相对大的焦距，例如，与全帧DSLR相机等同的150mm焦距、与全帧DSLR相机等同的300mm焦距或以上以相对薄的相机设备格式的相机模块。
如图3的图中所示，显示设备102可以放置在多个光链130的后面，其中处理器110、存储器和其它部件至少在一些实施例中位于显示器和/或光链130的上方或下方。如将在下面讨论的，并且如图3所示，光链OC 1 121、OC 7 145、OC 4 133中的每一个可以并且在一些实施例中确实包括外镜头L1、可选的滤光器F、以及在传感器S之前的第二可选镜头L2，传感器S捕获并测量穿过镜头L1、滤光器F和第二镜头L2到达传感器S的光的强度。滤光器可以是滤色器或各种其它类型的滤光器中的一种，或者可以取决于特定的光链实施例或配置被省略。
注意，虽然支持相对大的光捕获区域并且在颜色过滤和曝光时间方面提供大量的灵活性，但是图3所示的相机设备100相对薄，具有远小于图2中可见的相机设备的总的侧面间长度或甚至顶部到底部长度的，例如，1/5、1/10、1/20或甚至更小的厚度。
图4示出了根据本发明实现的相机设备200。图4的相机设备200包括图1-3的设备100中所示的许多或全部的相同元件。示例性相机设备200包括耦合在一起的多个光链(OC1 205、OC 2 207，...，OC N 209)、处理器211、存储器213、模块组件222和显示器215。OC 1205包括外镜头L1 251、光重定向元件R 252、铰链(或反射镜)驱动器HD 291、滤光器253、内镜头L2 255、传感器1 257和LD 259。HD 291可以用来移动光重定向设备(R)252(例如反射镜)安装到其的铰链的位置，并且因此移动反射镜来改变模块205所指向的场景区域，而不移动镜头251。移动(例如，绕铰链旋转)反射镜252来改变模块205所指向的场景区域在其中外镜头251是平面玻璃或塑料片而没有光功率的实施例中是特别有用的，如在一些实施例中是这样。每个相机模块的外镜头可以是并且在一些实施例中确实是覆盖每个光链的光入口点的平坦或相对平坦的玻璃板的一部分。因此，虽然可以透射光的玻璃、塑料或其它材料的单个板可以覆盖多个光链的开口，但是覆盖单独光链的开口的玻璃或其它覆盖物的部分用作那个光链的外镜头。在一些情况下，外镜头用来主要保护光链的部件免受灰尘和污垢以及他对穿过外镜头的光的些许影响。
图4所示的光链可以布置在相机200内的各种位置中。
在一些但不是所有实施例中，图4的相机设备200的处理器211与图1的设备100的处理器110相同或相似，并且以与上述相同或相似的方式工作，例如，结合执行存储在存储器中的指令来执行各种操作，图4的设备200的存储器213与图1的设备100的存储器108相同或相似，图4的设备200的模块组件220与图1的模块组件118相同或相似，图1的设备200的数据/信息221与图1的数据/信息120相同或相似，图4的设备200的模块组件222与图1的硬件模块组件180相同或相似，设备200的缩放控制模块214与设备100的缩放控制模块140相同或相似，设备200的加速度计模块216与设备100的加速度计模块122相同或相似，并且图4的设备200的显示器215与图1的设备100的显示器102相同或相似。
OC 2 207包括外镜头L1 263、光重定向设备231、铰链驱动器293、滤光器265、内镜头L2 267、传感器2 667和LD 271。OC N 209包括外镜头L1 275、光重定向设备235、铰链驱动器295、滤光器277、内镜头L2 279、传感器N 281和LD 283。曝光和读出控制器150控制传感器以同步的方式读出例如像素值的行，同时还控制曝光时间。在一些实施例中，曝光和读出控制器150是包括曝光控制器287和传感器读出控制器289的滚动快门控制器。在一些实施例中，包括自动聚焦控制器132来控制镜头驱动器259、271和283。
在图4的实施例中，光链(光链1 205、光链2 207、光链N 209)被示为独立的组件，每个模块的镜头驱动器分别是单独的LD元件(LD 259、LD 271、LD 283)。所示的每个LD调整它所连接到的对应镜头的位置，作为缩放和/或聚焦操作的一部分。在一些实施例中，LD控制镜头和/或传感器的位置，在这种情况下，LD连接到镜头支撑机制或镜头以及传感器两者。
在图4中，在每个光链中的传感器之前的反射镜和各种镜头和滤光器之间的结构关系可以比在一些其它图中更清楚地看到。虽然在图4中在每个传感器前面示出了四个元件，例如两个镜头(参见分别对应于L1和L2的列201和203)、光重定向设备R(参见列217)和滤光器(对应于列202)，但是应当理解，镜头、光重定向元件和/或滤光器的大得多的组合(例如，数量)可以在一个或多个光链的传感器之前，其中任何2-10个元件是常见的并且在一些实施例中使用了甚至更大数量的元件，例如，高端的实施例和/或支持大量滤光器和/或镜头选项的实施例。另外，应当理解，所有示出的元件不需要包括在所有光链中。例如，在一些实施例中，可以在不使用光重定向元件的情况下实现具有相对短焦距的光链，例如，以将光重定向90度，这是因为假定短焦距，则具有短焦距的光链可以以直线但仍然相对紧凑的方式实现。
在一些但不是所有实施例中，光链安装在相机设备中，其中一些，(例如，较短焦距的光链)以直线方式从相机设备的前面朝后面延伸。但是，在相同的相机中，较长焦距的相机模块可以并且有时确实包括光重定向设备，其允许相机模块的光路的至少一部分向侧面延伸，从而允许光轴的长度比相机的深度长。假定这种模块的总长度倾向于比具有较短焦距的相机模块的总长度长，则使用光重定向元件(例如反射镜)对于长焦距相机模块是特别有利的。相机可以具有各种各样的不同的相机模块，一些具有光重定向元件，例如，反射镜，而其它的没有反射镜。对应于不同光链的滤光器和/或镜头可以并且在一些实施例中确实被布置在平面中，例如，最外侧镜头的孔径可以被配置在平行于相机的正面延伸的平面中，例如，其中当相机处于垂直方向上，相机的顶部都朝上时，相机的前面既垂直延伸又水平延伸的平面。
包括图5A和图5B的图5示出了流程图500，其示出了操作用于捕获图像的装置(例如，相机设备)、用于检测和指示脏镜头状况的示例性方法的步骤。该方法包括根据示例性实施例控制成像设备(例如，诸如图1或图4所示的成像设备)来捕获图像、检测脏镜头状况、以及提供脏镜头状况的指示。实现流程图500的方法的相机设备可以并且有时确实包括与图1和/或图4的相机设备相同或相似的元件。
图6示出了模块组件600，其包括图像捕获模块601、存储模块602、脏镜头确定模块604、模式控制模块607、比较模块608、判定模块611、脏镜头通知模块614、合成图像生成模块620和输出模块622。在一些实施例中，模块组件600还包括脏镜头清洁模块。在一些实施例中，比较模块包括两个子模块：第一比较模块610和第二比较模块612。在一些实施例中，脏镜头通知模块614包括两个子模块：视觉通知模块616和音频通知模块618。在一些实施例中，包含在模块组件600中的模块和子模块实现为一组硬件模块，例如，电路和/或电路和软件的组合，并且被包括在设备100中的硬件模块组件180中或设备200中的硬件模块组件222中。在一些实施例中，模块组件是处理器执行以执行下面所述的功能的软件例程和指令。在这种情况下，模块组件600存储在存储器中，例如，设备100的存储器120的模块组件118或设备200的存储器213的模块组件220。在一些实施例中，模块组件600的模块和/或子模块中的一个或多个实现为组合和/或软件，其中软件由处理器执行，例如，设备200的处理器211或设备100的处理器110。虽然在方法500的解释中，模块被描述为执行功能，但是应该理解，当模块被实现为软件模块时，处理器(例如，处理器211)执行指令来执行所描述的操作。
图7示出了干净的圆形镜头700，例如，其可以是第一光链的第一最外侧镜头。图7还示出了具有示为元素704的污染物的脏圆形镜头702，污染物可以是例如污垢、油或指纹。脏圆形镜头702可以出于说明性目的作为第二光链的第二最外侧镜头。
图8示出了第一感兴趣的场景区域800、示为由实线形成的矩形的第一捕获图像802、示为由虚线形成的矩形的第二捕获图像804、以及示出第一和第二捕获图像的重叠区域的交叉阴影填充的矩形区域808。本领域技术人员将理解，第一图像802是感兴趣的场景区域800的第一部分，并且第二图像804是感兴趣的场景区域800的第二部分，其中交叉阴影填充的矩形808是第一和第二图像的重叠区域。出于说明的目的，第一图像使用包括干净的圆形最外侧镜头700的第一光链捕获，第二图像使用包括脏圆形最外侧镜头702的第二光链捕获。
图9将图8的第一捕获图像802和第二捕获图像804示为单独的图像。图9进一步示出了作为第一和第二捕获图像上的交叉阴影部分的重叠区域808。图9还示出了污染物，例如，第二光链的镜头702上的污垢，导致第二图像902在重叠区域中的较暗部分。根据本发明的一种实施例，通过比较第一和第二图像的重叠部分，可以识别污染物，例如，镜头702上的污垢，并且可以经由音频或视觉指示通知设备(例如，设备200)的用户镜头702是脏的。
现在将详细描述用于检测和指示脏镜头状况的流程图500的示例性方法。流程图500的方法可以并且在一些实施例中确实使用诸如图1的相机100的相机设备来执行。在一种这样的实施例中，相机设备100的多个光链130包括光链，例如，相机模块。为了说明的目的，现在将利用图1和图4的相机设备来描述方法500。
示例性方法在步骤502中开始，初始地，例如，通过捕获例如感兴趣的场景区域的图像的用户，使得相机设备(例如，相机设备100或200)通过一个或多个光链启动感兴趣的场景区域的图像捕获。为了说明的目的，在这个示例性方法中使用的相机设备包括多个光链，并且每个光链可以被独立地操作和控制。
操作从步骤502前进到步骤504、506、508和510，其涉及由图像捕获模块601执行的图像捕获操作。图像捕获操作可以并且在一些实施例中确实以同步的方式执行。在一些实施例中，图像捕获模块操作相机设备200的两个或更多个光链以同时捕获图像。在其它实施例中，相同的相机模块可以用来顺序地捕获图像，其中不同图像对应于顺序的捕获图像时间段。例如，第一相机模块可以用来顺序地捕获第一、第二、第三至第N个图像，而不是使用N个相机模块同时捕获N个图像。根据本发明，由不同相机模块并行捕获的图像可以用来检测相机模块是否具有脏镜头，例如，透明的外盖，或者作为替代地，由不同相机模块并行捕获的图像可以被比较，以确定相机模块中的一个或多个是否遭受脏镜头。因此，在一些实施例中，相机设备200的第一和第二光链同时操作以分别捕获第一和第二图像。而在其它实施例中，一个或多个模块操作为顺序地捕获图像，其中相机模块的一个或多个图像与先前的捕获图像进行比较以检测脏镜头状况。在一些实施例中，比较由不同相机模块并行捕获的图像以及比较由单独模块随时间捕获的图像的组合两者都被执行，以增加脏镜头确定的可靠性。在至少一些同步的实施例中，由不同光链中的一些但不一定全部光链捕获的图像对应于相同或重叠的时间段。在其它实施例中，图像捕获不是同步的，而是捕获图像中的多个捕获图像是在相同或重叠的时间段期间捕获的。在还有的其它实施例中，至少一些图像被顺序地捕获，例如，在快速连续中捕获。顺序图像捕获可以并且在一些实施例中确实用于捕获对应于场景区域的不同部分的图像。
在步骤504中，使用相机的第一镜头(例如，相机的第一光链的最外侧镜头)捕获第一图像，例如，感兴趣的场景区域的第一部分。在一些实施例中，第一光链(例如，设备200的光链205)包括图像传感器257和最外侧镜头251，其中最外侧镜头251是沿光路径的方向距离图像传感器最远的镜头。在一些但不是所有实施例中，感兴趣的场景区域的第一部分是感兴趣的整个场景区域。操作从步骤504前进到步骤512。步骤512在一些但不一定所有实施例中执行。在步骤512被跳过的一些实施例中，操作直接前进到步骤514。
在步骤506中，使用相机的第二镜头捕获第二图像，例如，感兴趣的场景区域的第二部分。第二镜头对应于相机设备的第二光链。例如，设备200的光链2 207的第二最外侧镜头267。第二镜头与第一镜头不同。在一些但不是所有实施例中，感兴趣的场景区域的第二部分是感兴趣的整个场景区域。在一些但不是所有实施例中，感兴趣的场景区域的第二部分不是感兴趣的整个场景区域，而是包括至少与感兴趣的场景区域的第一部分重叠的区域。在一些实施例中，第一和第二图像是感兴趣的整个场景区域。在一些实施例中，第一和第二图像是不同的场景，但是具有图像捕获的重叠区域。在一些实施例中，第一和第二图像是场景区域的重叠图像。操作从步骤506前进到步骤512。步骤512在一些但不一定所有实施例中执行。在步骤512被跳过的一些实施例中，操作直接前进到步骤514。
在步骤508中，使用相机设备的第三镜头捕获第三图像，例如，感兴趣的场景区域的第三部分。相机设备包括第三光链，例如，具有第三镜头(例如，第三最外侧镜头275)和传感器281的光链209。第三最外侧镜头275与所述第一和第二镜头分离。在一些实施例中，第一光链使用第一传感器捕获第一图像，第二光链使用第二传感器捕获第二图像并且第三光链使用第三传感器捕获第三图像。在一些但不是所有实施例中，感兴趣的场景区域的第三部分不是感兴趣的整个场景区域，而是至少包括与感兴趣的场景区域的第一部分重叠的区域。在一些实施例中，第一、第二和第三图像是感兴趣的整个场景区域。在一些实施例中，第一、第二和第三图像是不同的场景，但是具有图像捕获的重叠区域。操作从步骤508前进到步骤512。步骤512在一些但不一定所有实施例中执行。在步骤512被跳过的一些实施例中，操作直接前进到步骤514。
在步骤510中，使用相机设备的第N个镜头捕获第N个图像，例如，感兴趣的场景区域的第N部分。相机设备包括具有第N个镜头(例如，第N个最外侧镜头)和传感器的第N个光链。第N个最外侧镜头与所述第一、第二和第三镜头分离。在一些实施例中，第一光链使用第一传感器捕获第一图像、第二光链使用第二传感器捕获第二图像、第三光链使用第三传感器捕获第三图像、并且第N个光链使用第N个传感器捕获第N个图像。在一些但不是所有实施例中，感兴趣的场景区域的第N部分不是感兴趣的整个场景区域，而是至少包括与感兴趣的场景区域的第一部分重叠的区域。在一些实施例中，第一、第二、第三和第N个图像是感兴趣的整个场景区域。在一些实施例中，第一、第二、第三和第N个图像不是感兴趣的整个场景，但是具有图像捕获的一个或多个重叠区域。操作从步骤508前进到步骤512。步骤512在一些但不一定所有实施例中执行。在步骤512被跳过的一些实施例中，操作直接前进到步骤514。
在步骤512中，模块组件600的存储模块602将捕获图像中的一个或多个(例如，第一、第二、第三或第N个图像)存储在存储器(例如，存储器213的日期/信息部分221)中和/或由输出模块622输出到例如显示器215。在一些实施例中，当需要在方法500的附加处理步骤中使用时，从存储器(例如，存储器213)中检索所存储的捕获图像。操作从步骤512前进到步骤514。
在步骤514中，模块组件600的脏镜头确定模块604至少基于第一捕获图像做出关于是否存在脏相机镜头状况的确定。如果确定存在脏相机镜头状况，则操作经由连接节点A532前进到图5B上所示的步骤534和536。如果确定不存在脏相机镜头状况，则操作从步骤514经由连接节点B 533前进到图5B上所示的步骤544。
在步骤544中，模块组件600的合成图像生成模块620通过组合图像(例如，第一、第二、第三或第N个图像中的两个或更多个)来生成合成图像。操作从步骤544前进到步骤546。
在一些实施例中，脏镜头确定步骤514包括一个或多个可选的子步骤516、522、526和528。
在一些实施例中，确定脏相机镜头状况是否存在的步骤514包括子步骤516和526。在这样的实施例中，在子步骤516中，比较模块608通过将第一图像或第一图像的特性与第二图像或第二图像的特性进行比较来执行第一比较。操作从子步骤516前进到判定子步骤526。在判定子步骤526中，模块组件600的判定模块611基于第一比较(例如，基于第一比较的结果)做出关于所述脏相机镜头状况是否存在的判定。如果判定模块611基于第一比较确定脏相机镜头状况存在，则操作经由连接节点A 532前进到图5B上所示的步骤534和步骤536。如果判定模块611基于第一比较的结果确定脏相机镜头状况不存在，则操作经由连接节点B 533前进到图5B上所示的步骤544。
在一些实施例中，子步骤516包括步骤518，其中由比较模块608执行的第一比较是对应于第一图像的第一图像度量和对应于第二图像的第二图像度量的比较，其中第一和第二图像度量对应于重叠图像区域。在一些这样的实施例中，判定子步骤526包括步骤527，其中基于第一比较做出关于所述脏相机镜头状况是否存在的判定包括当第一比较指示第一和第二图像度量的差异高于预定阈值时，确定脏相机镜头状况存在。如果第一比较指示第一和第二图像度量中的差异不高于预定阈值时，则确定不存在脏相机镜头状况。在一些实施例中，第一图像度量是第一图像中的重叠图像区域的对比度测量，第二图像度量是第二图像中的重叠区域的对比度测量。
在一些实施例中，子步骤516的步骤518包括步骤520。在步骤520中，将第一图像的平均图像对比度与第二图像的平均图像对比度进行比较。
在一些实施例中，确定脏相机镜头状况是否存在的步骤514包括子步骤516、522和528。在这样的实施例中，子步骤516和522可以顺序地或并发地执行。执行步骤的次序并不重要。
如前所述，在子步骤516中，比较模块608通过将第一图像或第一图像的特性与第二图像或第二图像的特性进行比较来执行第一比较。子步骤516可以并且在一些实施例中确实包括如前所述的步骤518。继而，步骤518可以并且在一些实施例中确实包括步骤520。如上所述，在步骤520中，将第一图像的平均图像对比度与第二图像的平均图像对比度进行比较。
在子步骤522中，模块组件600的比较模块608通过将第三图像或第三图像的特性与另一图像或另一图像的特性进行比较来执行第二比较。在一些实施例中，另一图像是第一图像或第二图像。在一些实施例中，另一图像是第一图像、第二图像或第N个图像。在一些实施例中，子步骤522包括步骤524，其中第二比较包括将第三图像的平均图像对比度与第一图像的平均图像对比度或第二图像的平均图像对比度进行比较。
操作从子步骤516和522前进到判定子步骤528。在判定子步骤528中，判定模块611基于第一比较和第二比较做出关于所述脏相机镜头状况是否存在的判定。如果判定模块611基于第一比较和第二比较确定脏相机镜头状况存在，则操作经由连接节点A 532前进到图5B上所示的步骤534和步骤536。如果判定模块611基于第一比较和第二比较确定脏相机镜头状况不存在，则操作经由连接节点B 533前进到图5B上所示的步骤544。
在一些实施例中，判定子步骤528包括步骤530。在步骤530中，当第一比较或第二比较指示关于阈值的预定状况时，例如当第一和第二图像度量之间的差异高于预定状况阈值时，判定模块611确定脏镜头状况存在。如果第一比较和第二比较都不指示关于预定状况阈值的预定状况，则判定模块611确定脏镜头状况不存在。在一些实施例中，预定状况阈值与预定阈值相同。
如先前所描述的，当在步骤514中确定或做出判定脏镜头状况存在时，操作经由连接节点A 532前进到图5B上所示的步骤534和536。步骤534和536可以并且在一些实施例中确实并发执行。在一些实施例中，步骤534和536可以顺序执行。当步骤534和536顺序执行时，步骤534和536的处理的次序并不重要。
在步骤534中，响应于确定脏镜头状况存在，脏镜头通知模块614例如通过生成脏镜头状况通知来通知相机的用户脏镜头状况，和/或启动自动相机镜头清洁操作。在一些实施例中，相机包括一旦被启动就清洁相机的镜头的自动清洁机制。在一些实施例中，脏的一个或多个特定的镜头被识别，并且相对于识别出的一个或多个脏镜头启动清洁操作。在一些实施例中，在识别脏镜头时，相机清洁模块平移或使识别出的镜头或相关联的镜头盖移动，以将识别出的脏镜头上的污垢或其它污染物清洁或移动到镜头上的不同区域。例如，将污垢或污染物移动到对图像具有较小影响或对合成图像的生成不太重要的镜头的部分。在一些实施例中，包含识别出的脏镜头的光链的一个或多个反射镜被移动，以减少污垢或污染物对从使用脏镜头捕获的图像生成的组合图像的影响。例如，通过移动脏镜头、反射镜或相关联的盖子，可以通过使捕获图像的受影响区域是在生成合成图像中未使用的图像的一部分来最小化对图像的影响。在另一个例子中，通过移动脏镜头、反射镜或相关联的盖子，可以通过使捕获图像的受影响区域不是被拍摄的感兴趣对象的图像的一部分而是场景的外围部分来最小化对图像的影响，场景的外围部分诸如在合成图像的生成期间可以用相似的背景图像进行模糊或替换的场景的背景部分，例如，显示草的图像的一部分替换显示指纹和草的图像的一部分。
在一些实施例中，生成脏镜头状况通知来通知相机的用户存在脏镜头状况包括提供脏镜头状况的音频或视觉指示。在一些实施例中，相机警告指示灯或特定声音可以并且在一些实施例中确实用来指示脏镜头状况并且可选地指示哪个镜头尤其是脏的。
在一些实施例中，脏镜头通知模块614通过在检测到脏镜头状况时提供音调(例如，蜂鸣声)或一组音调或蜂鸣声来提供脏镜头状况的音频指示。音频指示可以是并且在一些实施例中确实是以一种或多种语言的音频消息。在一些这样的实施例中，音频消息可以是英语音频消息，申明“camera lens is dirty(相机镜头是脏的)”。在另一示例性实施例中，音频消息可以是并且有时确实是英语消息，申明“camera lens X is dirty lens(相机镜头X是脏镜头)”或“camera lenses X and Y are dirty(相机镜头X和Y是脏的)”，其中X和Y标识已被检测为脏的相机的镜头。在一些实施例中，音频消息是存储在存储器(例如，存储器213)中的预先录制的全长音频消息。在一些实施例中，音频消息是根据存储在存储器中的一组预先录制的音频片段(诸如“相机镜头”、“一个”、“两个”、“三个”、“四个”、“是”、“脏的”)生成的。在一些实施例中，预先录制的音频消息的语言(例如，英语、法语、韩语、日语等)是基于设备(诸如设备200)的用户选择的语言模式，被放置在用于显示和音频消息的英语操作模式中。在一些实施例中，模块组件600的脏镜头通知模块614的音频通知模块618执行可听见的操作通知用户脏镜头状况。
在一些实施例中，脏镜头通知模块614通过照亮包括脏镜头的设备(例如，设备200)上的一个或多个灯(例如，LED)来提供脏镜头状况存在的视觉指示。在一些实施例中，当检测到脏镜头状况时，灯可以并且确实被置于闪烁模式。在一些实施例中，光可以并且有时确实从绿色变为红色，以指示和通知用户脏镜头状况。在一些实施例中，设备200包括对应于相机的每个镜头的灯，并且当检测到和识别出一个或多个脏镜头时，对应于每个识别出的脏镜头的每个灯被照亮或置于诸如闪烁的状态，以指示对应的镜头具有脏镜头。在一些实施例中，脏镜头状况的视觉指示包括以一种或多种语言呈现在设备的显示器上(例如，设备200的显示器215上)的消息。显示消息的语言可以以上面结合可以被播放以指示脏镜头状况的音频消息所描述的类似的方式设置。在一些实施例中，可以通过向用户呈现“清洁镜头X”消息向用户指定多个镜头中的哪个应该被清洁并且由此使用户意识到该镜头是脏的来指示脏镜头状况。作为替代地，可以例如经由相机上的显示器向用户呈现说“检测到脏镜头状况”或一些其它类似警告的简单消息。在一些实施例中，模块组件600的脏镜头通知模块614的视觉通知子模块616执行视觉通知操作来向用户提醒脏镜头状况。
在一些实施例中，脏镜头通知模块614提供脏镜头状况存在的视觉和音频指示两者。
在一些实施例中，响应于确定脏镜头状况存在，方法500包括以下附加步骤：周期性地测试以确定所述确定的脏镜头状况是否已被纠正；以及当所述脏镜头状况已被纠正时，停止向用户提供所述脏镜头状况的所述通知。例如，终止被照亮的灯、停止可听见的提醒(诸如蜂鸣声或音调)、从显示器去除显示消息等。在一些实施例中，该方法还包括当所述脏镜头状况已被纠正时，向用户提供所述脏镜头状况已被纠正的音频或视觉指示。例如，与用于通知用户脏镜头状况不同的可听音调或一组音调或蜂鸣声、将对应于镜头的灯从一种颜色转变为另一种颜色，诸如从表示脏镜头的红色到指示干净镜头的绿色、由设备播放的音频或在设备的显示器上显示的视觉消息，其中消息申明例如“镜头X已经被清洁”，其中X是已被识别为脏的镜头，或者更一般地，“相机镜头干净”。
在步骤536中，当镜头被确定为脏时，脏镜头确定模块604将脏镜头信息与由该镜头捕获的一个或多个图像相关联。操作从步骤536前进到步骤538。
在步骤538中，模块组件600的存储模块602在存储器(存储器213的数据/信息部分221)中存储指示多个光链中的哪个(例如，第一、第二、第三或第N个光链)包括脏镜头的信息。操作从步骤538前进到步骤540。
在步骤540中，设备100的处理器110或设备200的处理器211生成合成图像。在一些实施例中，合成图像生成模块执行步骤540。在步骤540中，通过组合图像(例如，第一图像和第二图像)并且与对应于干净镜头的图像不同地处理被指示为对应于脏镜头的图像来生成合成图像。在一些实施例中，步骤540包括步骤542，其包括在生成合成图像时排除使用对应于脏镜头的图像，或者在合成图像生成过程中给予对应于脏镜头的图像比对应于脏镜头的图像在该图像不对应于脏镜头的情况下将被给予的影响更低的影响。操作从步骤540前进到步骤546。
如前所述，在其中确定步骤514确定脏镜头状况不存在的那些情况下，操作经由连接节点B从步骤514前进到图5B中所示的步骤544。
在步骤544中，设备的处理器(例如，设备200的处理器211或设备100的处理器110)或模块组件600的合成图像生成模块620通过组合图像(例如，第一、第二、第三或第N个图像中的两个或更多个)来生成合成图像。操作从步骤544前进到步骤546。
在步骤546中，存储模块602将生成的合成图像存储在存储器(例如，相机设备200的存储器213)中和/或模块组件600的输出模块622将合成图像输出到例如相机设备200的显示器215。
在一些实施例中，第一比较由包括在模块组件的比较模块608中的第一比较模块610执行。在一些实施例中，第二比较由包括在模块组件600的比较模块608中的第二比较模块612执行。
在一些实施例中，相机包含清洁机制或功能来平移包含脏的最外侧镜头或盖的光链的镜头/反射镜/盖，以清洁污垢或其它污染物或将污垢或其它污染物移动到图像上影响较小的点，例如从聚焦的图像的区域移动到聚集较少的图像的区域。
脏镜头检测方法的第一比较可以并且在一些实施例中确实使用包括多视图和/或多缩放和/或多聚集图像的过程。在一些实施例中，在确定脏镜头状况时使用了一个或多个标准。在一些这样的实施例中，标准是各种因素的组合。例如，第一比较具有指示污垢的存在的标准。在一些实施例中，这样的标准是图像的区域的对比度的差异低于阈值、或者区域或图像的局部强度的差异高于或低于阈值、不符合指示灰尘阴影叠加的自然场景统计的图像空间频率分量的存在(高于阈值)、深度估计中的重复不规则性等。
第一和/或第二比较可以是并且在一些实施例中确实是利用在用户改变缩放或对象聚焦距离时拍摄的捕获图像以及从多视图中做出的。来自同一光链、跨变化的缩放/指向或自动聚焦的多个图像的比较可以并且在一些实施例中确实用来识别光链的最外侧镜头上的污垢。
在根据本发明的操作相机的方法的另一实施例中，所述方法包括：使用相机的第一镜头捕获第一图像；至少基于第一图像确定脏相机镜头状况是否存在；以及响应于确定脏镜头状况存在，生成脏镜头状况通知或启动自动相机镜头清洁操作。在一些这样的实施例中，确定脏相机镜头状况是否存在的步骤包括：执行所述第一图像或所述第一图像的特性与第二图像或所述第二图像的特性的第一比较；以及基于所述第一比较做出关于所述脏相机镜头状况是否存在的判定。在一些实施例中，第一和第二图像是使用对应于两个不同相机模块的外镜头同时捕获的。在一些实施例中，第一和第二图像是使用第一镜头在不同时间捕获的。
应当理解，方法500的各种特征和/或步骤涉及相机和/或图像处理的改进，即使这样的设备可以使用通用处理器和/或图像传感器。虽然方法500的一个或多个步骤(例如，诸如合成图像生成步骤)已经被讨论为由处理器(例如，处理器110，211)执行，但是应当理解，方法500的步骤中的一个或多个步骤可以并且在一些实施例中确实由提高执行该方法的成像设备的效率、准确性和/或操作能力的专用电路系统(例如，ASIC、FPGA和/或其它专用电路)实现。在一些实施例中，在实现方法500的其中一个或多个步骤中利用了专用硬件(例如，电路系统)和/或专用硬件和软件的组合，从而为实现该方法的成像设备(例如，相机)提供附加的图像处理效率、准确性和/或操作能力。
虽然已经示出了本发明的方法、例程和子例程的示例性实施例的处理步骤的逻辑顺序，但是顺序只是示例性的并且步骤的次序可以被改变。
各种实施例的技术可以利用软件、硬件和/或软件和硬件的组合来实现。各种实施例针对装置，例如，相机设备。各种实施例还针对方法，例如，处理图像的方法。各种实施例还针对非瞬时性机器，例如，包括用于控制机器实现方法的一个或多个步骤的机器可读指令的计算机可读介质，例如，ROM、RAM、固态存储装置、硅存储盘、CD、硬盘等。
本发明的各种特征利用模块来实现。例如，所公开的各种例程和/或子例程中的每一个可以在一个或多个模块中实现。这样的模块可以并且在一些实施例中确实实现为软件模块。在其它实施例中，模块用硬件实现。在还有的其它实施例中，模块利用软件和硬件的组合来实现。各种各样的实施例是所预期的，包括其中不同模块以不同方式实现(例如，一些用硬件、一些用软件、以及一些利用硬件和软件的组合)的一些实施例。还应当指出，与在通用处理器上执行的软件相反，例程和/或子例程或者由此类例程执行的一些步骤可以用专用硬件来实现。这样的实施例仍然在本发明的范围之内。许多上述方法或方法步骤可以利用包括在机器可读介质(诸如存储器设备，例如，RAM、软盘、固态存储设备、硅存储设备等)中的机器可执行指令(诸如软件)来实现，以控制机器(例如，具有或不具有附加硬件的通用计算机)实现上述方法的全部或部分。因此，除其它的之外，本发明尤其针对包括机器可执行指令的机器可读介质，所述机器可执行指令用于使机器(例如，处理器及相关联的硬件)执行上述(一个或多个)方法的一个或多个步骤。
鉴于以上描述，上述各种实施例的方法和装置的众多附加变化对本领域技术人员将是清楚的。这些变化要被认为是在本发明的范围之内。

Claims (20)

1.一种操作相机设备的方法，所述方法包括：
使用相机的第一镜头捕获第一图像；
至少基于所述第一图像确定是否存在脏相机镜头状况；及
响应于确定存在脏镜头状况，生成脏镜头状况通知或启动自动相机镜头清洁操作。
2.如权利要求1所述的方法，其中确定是否存在脏相机镜头状况的所述步骤包括：
执行所述第一图像或所述第一图像的特性与第二图像或所述第二图像的特性的第一比较；及
基于所述第一比较做出所述脏相机镜头状况是否存在的判定。
3.如权利要求2所述的方法，其中所述第一图像和所述第二图像是使用对应于两个不同的相机模块的外镜头同时捕获的。
4.如权利要求2所述的方法，其中所述第一图像和所述第二图像是使用第一镜头在不同时间捕获的。
5.如权利要求2所述的方法，
其中所述第一比较是对应于所述第一图像的第一图像度量和对应于所述第二图像的第二图像度量的比较，第一图像度量和第二图像度量对应于重叠图像区域；及
其中做出关于所述脏相机镜头状况是否存在的判定包括当第一比较指示第一图像度量和第二图像度量的差异高于预定阈值时，确定存在脏相机镜头。
6.如权利要求2所述的方法，其中所述相机包括多个不同的光链，所述第一镜头是所述相机的第一光链的最外侧镜头，最外侧镜头是在第一光链中距离传感器最远的镜头，所述方法还包括：
使用所述相机的第二镜头捕获第二图像，所述第二镜头对应于第二光链。
7.如权利要求5所述的方法，其中捕获所述第一图像和所述第二图像包括同时操作第一光链和第二光链以分别捕获所述第一图像和所述第二图像。
8.如权利要求5所述的方法，其中所述多个不同光链还包括第三光链，第三光链包括第三镜头，所述方法还包括：
使用第三光链的第三镜头捕获第三图像；及
其中至少基于所述第一图像确定是否存在脏相机镜头状况还包括：
执行第二比较，所述第二比较是所述第三图像或所述第三图像的特性与另一图像或所述另一图像的特性的比较，所述另一图像是所述第一图像或所述第二图像；及
其中做出关于所述脏相机镜头状况是否存在的判定还基于所述第二比较。
9.如权利要求8所述的方法，其中所述判定是当所述第一比较或所述第二比较指示高于阈值的差异时所述脏相机镜头状况存在的判定。
10.如权利要求9所述的方法，
其中所述第一比较是所述第一图像的平均图像对比度与所述第二图像的平均图像对比度的比较；及
其中所述第二比较是所述第三图像的平均图像对比度与所述第一图像的平均图像对比度或所述第三图像的平均图像对比度的比较。
11.如权利要求8所述的方法，还包括：
存储指示所述多个光链中的哪个包括脏镜头的信息。
12.如权利要求11所述的方法，还包括：
使用脏镜头信息作为合成图像生成过程的一部分，被指示对应于脏镜头的图像在所述图像合成过程中与对应于干净镜头的图像不同地被处理。
13.一种相机设备，包括：
用于捕获第一图像的第一镜头；
脏镜头确定模块，被配置为至少基于所述第一图像确定是否存在脏相机镜头状况；及
脏镜头通知模块，被配置为当确定存在脏镜头状况时生成脏镜头状况的通知或启动自动相机镜头清洁操作。
14.如权利要求13所述的相机设备，其中所述脏镜头确定模块包括比较模块，所述比较模块被配置作为所述确定是否存在脏相机镜头状况的一部分，执行所述第一图像或所述第一图像的特性与第二图像或所述第二图像的特性的第一比较；及
判定模块，被配置为作为所述确定是否存在脏相机镜头状况的一部分，基于所述第一比较，例如，所述第一比较的结果，做出关于所述脏相机镜头状况是否存在的判定。
15.如权利要求14所述的相机设备，
其中所述第一比较是对应于所述第一图像的第一图像度量和对应于所述第二图像的第二图像度量的比较，第一图像度量和第二图像度量对应于重叠图像区域；及
其中做出关于所述脏相机镜头状况是否存在的判定包括当第一比较指示第一图像度量和第二图像度量的差异高于预定阈值时，确定存在脏相机镜头。
16.如权利要求14所述的相机设备，
其中所述相机设备包括多个不同的光链，所述第一镜头是所述相机设备的第一光链的最外侧镜头，最外侧镜头是在第一光链中距离传感器最远的镜头，所述相机设备还包括：
用于捕获第二图像的所述相机设备的第二镜头，所述第二镜头对应于第二光链。
17.如权利要求15所述的相机设备，其中所述多个不同光链还包括第三光链，所述第三光链包括用于捕获第三图像的第三镜头；及
其中所述脏镜头确定模块还被配置为执行第二比较，所述第二比较是所述第三图像或所述第三图像的特性与另一图像或所述另一图像的特性的比较，所述另一图像是所述第一图像或所述第二图像；及
其中所述判定模块还被配置为基于所述第二比较做出关于所述脏相机镜头状况是否存在的判定。
18.如权利要求17所述的相机设备，其中所述判定是当所述第一比较或所述第二比较指示高于阈值的差异时所述脏相机镜头状况存在的判定。
19.如权利要求18所述的相机设备，
其中所述第一比较是所述第一图像的平均图像对比度与所述第二图像的平均图像对比度的比较；及
其中所述第二比较是所述第三图像的平均图像对比度与所述第一图像的平均图像对比度或所述第三图像的平均图像对比度的比较。
20.一种包括计算机可执行指令的非瞬时性计算机可读介质，所述非瞬时性计算机可读介质包括：
指令，当所述指令由处理器执行时，控制具有最外侧镜头的第一光链捕获第一图像；及
使得所述处理器执行操作以至少基于所述第一图像确定是否存在脏相机镜头状况，以及当所述脏相机镜头状况存在时，生成脏镜头状况通知和/或启动自动相机镜头清洁操作。
CN201580042768.8A 2014-07-04 2015-07-03 关于检测和/或指示脏镜头状况的方法和装置 Pending CN106575366A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462021097P 2014-07-04 2014-07-04
US62/021,097 2014-07-04
PCT/US2015/039161 WO2016004422A1 (en) 2014-07-04 2015-07-03 Methods and apparatus relating to detection and/or indicating a dirty lens condition

Publications (1)

Publication Number Publication Date
CN106575366A true CN106575366A (zh) 2017-04-19

Family

ID=55016923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580042768.8A Pending CN106575366A (zh) 2014-07-04 2015-07-03 关于检测和/或指示脏镜头状况的方法和装置

Country Status (4)

Country Link
US (1) US10191356B2 (zh)
EP (1) EP3164831A4 (zh)
CN (1) CN106575366A (zh)
WO (1) WO2016004422A1 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107728285A (zh) * 2017-10-26 2018-02-23 信利光电股份有限公司 一种摄像模组
CN107945158A (zh) * 2017-11-15 2018-04-20 上海摩软通讯技术有限公司 一种检测镜头脏污的方法及装置
CN108650503A (zh) * 2018-04-28 2018-10-12 努比亚技术有限公司 摄像头故障确定方法、装置及计算机可读存储介质
CN108780050A (zh) * 2018-03-29 2018-11-09 深圳达闼科技控股有限公司 检测镜头的方法及装置、电子设备和计算机可读存储介质
CN109660698A (zh) * 2018-12-25 2019-04-19 苏州佳世达电通有限公司 影像处理系统及影像处理方法
CN110730739A (zh) * 2017-06-27 2020-01-24 本田技研工业株式会社 通知系统及其控制方法、车辆以及程序
CN110738629A (zh) * 2018-07-02 2020-01-31 中兴通讯股份有限公司 一种镜头脏污的检测方法、终端及计算机可读存储介质
CN111684487A (zh) * 2019-04-29 2020-09-18 深圳市大疆创新科技有限公司 清洗方法、清洗控制系统、计算机可读存储介质、清洗系统、光学传感器及可移动平台
CN112001289A (zh) * 2020-08-17 2020-11-27 海尔优家智能科技（北京）有限公司 物品的检测方法和装置、存储介质及电子装置
CN112017149A (zh) * 2019-05-28 2020-12-01 原相科技股份有限公司 脏污程度判断方法以及使用脏污程度判断方法的电子装置
CN113487556A (zh) * 2021-06-30 2021-10-08 北京博清科技有限公司 焊渣的检测方法与滤光片的更换方法
CN113689493A (zh) * 2020-05-18 2021-11-23 杭州海康威视数字技术股份有限公司 镜头附着物检测方法、装置、电子设备和存储介质
CN113834636A (zh) * 2020-06-24 2021-12-24 百度（美国）有限责任公司 用于自动驾驶车辆的脏单目摄像机检测方法
WO2022036504A1 (zh) * 2020-08-17 2022-02-24 深圳市大疆创新科技有限公司 成像方法、成像装置、可移动物体和无人飞行器
CN113487556B (zh) * 2021-06-30 2024-10-22 北京博清科技有限公司 焊渣的检测方法与滤光片的更换方法

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9374514B2 (en) 2013-10-18 2016-06-21 The Lightco Inc. Methods and apparatus relating to a camera including multiple optical chains
US9557520B2 (en) 2013-10-18 2017-01-31 Light Labs Inc. Synchronized image capture methods and apparatus
US9197816B2 (en) 2013-10-18 2015-11-24 The Lightco Inc. Zoom related methods and apparatus
US10931866B2 (en) 2014-01-05 2021-02-23 Light Labs Inc. Methods and apparatus for receiving and storing in a camera a user controllable setting that is used to control composite image generation performed after image capture
CN107211099A (zh) 2014-12-17 2017-09-26 光实验室股份有限公司 用于实施并使用摄像机装置的方法及设备
US9967535B2 (en) 2015-04-17 2018-05-08 Light Labs Inc. Methods and apparatus for reducing noise in images
US10091447B2 (en) 2015-04-17 2018-10-02 Light Labs Inc. Methods and apparatus for synchronizing readout of multiple image sensors
US10129483B2 (en) 2015-06-23 2018-11-13 Light Labs Inc. Methods and apparatus for implementing zoom using one or more moveable camera modules
US20170034459A1 (en) * 2015-07-30 2017-02-02 Motorola Mobility Llc Electronic Device with Image Correction System and Methods Therefor
US10491806B2 (en) 2015-08-03 2019-11-26 Light Labs Inc. Camera device control related methods and apparatus
US10365480B2 (en) 2015-08-27 2019-07-30 Light Labs Inc. Methods and apparatus for implementing and/or using camera devices with one or more light redirection devices
US9538170B1 (en) * 2015-09-08 2017-01-03 Hon Hai Precision Co., Ltd. Camera lens cleaning system and method of using same
US10051182B2 (en) 2015-10-05 2018-08-14 Light Labs Inc. Methods and apparatus for compensating for motion and/or changing light conditions during image capture
US9749549B2 (en) 2015-10-06 2017-08-29 Light Labs Inc. Methods and apparatus for facilitating selective blurring of one or more image portions
US10003738B2 (en) * 2015-12-18 2018-06-19 Light Labs Inc. Methods and apparatus for detecting and/or indicating a blocked sensor or camera module
US10225445B2 (en) * 2015-12-18 2019-03-05 Light Labs Inc. Methods and apparatus for providing a camera lens or viewing point indicator
EP3426020B1 (en) * 2016-03-11 2020-11-18 DeLaval Holding AB Control system for an automatic milking installation and method of controlling an automatic milking installation
DE102016204206A1 (de) * 2016-03-15 2017-09-21 Robert Bosch Gmbh Verfahren zum Detektieren einer Verschmutzung einer optischen Komponente eines Umfeldsensors zum Erfassen eines Umfelds eines Fahrzeugs, Verfahren zum maschinellen Anlernen eines Klassifikators und Detektionssystem
CN106385579A (zh) * 2016-09-12 2017-02-08 努比亚技术有限公司 一种摄像头检测装置、方法及多摄像头终端
DE102016118335A1 (de) 2016-09-28 2018-03-29 Connaught Electronics Ltd. Verfahren zum Erkennen einer Verschmutzung auf einer Linse einer Kamera eines Kraftfahrzeugs anhand von Helligkeitswerten in Bildern, Kamera sowie Kraftfahrzeug
JP6817804B2 (ja) * 2016-12-16 2021-01-20 クラリオン株式会社 区画線認識装置
WO2018211590A1 (ja) * 2017-05-16 2018-11-22 オリンパス株式会社 内視鏡のための画像処理装置及び内視鏡システム
US10670858B2 (en) 2017-05-21 2020-06-02 Light Labs Inc. Methods and apparatus for maintaining and accurately determining the position of a moveable element
DE102017213581A1 (de) * 2017-08-04 2019-02-07 Robert Bosch Gmbh Verfahren zum Betrieb eines Temperaturmessgeräts sowie Temperaturmessgerät
US10843669B2 (en) * 2017-09-28 2020-11-24 Uatc, Llc Sensor control system for autonomous vehicle
US10547801B2 (en) 2017-10-26 2020-01-28 International Business Machines Corporation Detecting an image obstruction
WO2019144262A1 (en) * 2018-01-23 2019-08-01 Sony Mobile Communications Inc. Smudge detection method and apparatus and mobile electronic device
JP7067315B2 (ja) * 2018-06-28 2022-05-16 コニカミノルタ株式会社 画像形成装置
US11227409B1 (en) 2018-08-20 2022-01-18 Waymo Llc Camera assessment techniques for autonomous vehicles
CN109525837B (zh) * 2018-11-26 2020-07-21 维沃移动通信有限公司 图像的生成方法和移动终端
DE102018222140B3 (de) * 2018-12-18 2020-02-06 Siemens Mobility GmbH Ermitteln einer Durchlassgüte einer Optikeinheit eines Kamerasystems
US10694105B1 (en) * 2018-12-24 2020-06-23 Wipro Limited Method and system for handling occluded regions in image frame to generate a surround view
US11047578B2 (en) 2019-01-04 2021-06-29 Whirlpool Corporation Automatic oven
DE102019111512B4 (de) * 2019-05-03 2022-09-01 Mekra Lang Gmbh & Co. Kg Sichtsystem und Spiegelersatzsystem für ein Fahrzeug
JP7200894B2 (ja) * 2019-09-20 2023-01-10 株式会社デンソーテン 付着物検出装置および付着物検出方法
US11680712B2 (en) 2020-03-13 2023-06-20 June Life, Inc. Method and system for sensor maintenance
WO2021195622A1 (en) 2020-03-27 2021-09-30 June Life, Inc. System and method for classification of ambiguous objects
US11623585B2 (en) 2020-04-30 2023-04-11 Zoox, Inc. Sensor pod coverage and placement on vehicle
US11760313B2 (en) * 2020-04-30 2023-09-19 Zoox, Inc. Sensor pod cleaning system
US11953623B2 (en) 2020-04-30 2024-04-09 Zoox, Inc. Sensor pod assembly
US11341682B2 (en) 2020-08-13 2022-05-24 Argo AI, LLC Testing and validation of a camera under electromagnetic interference
US11368672B2 (en) 2020-09-14 2022-06-21 Argo AI, LLC Validation of a camera cleaning system
KR20220043611A (ko) * 2020-09-29 2022-04-05 엘지전자 주식회사 식기 세척기 및 식기 세척기의 카메라 고장 검출 방법
CN111970506B (zh) * 2020-10-20 2020-12-29 常州市瑞泰光电有限公司 镜头脏污检测方法、装置和设备
CN112102319B (zh) * 2020-11-17 2021-02-12 常州市瑞泰光电有限公司 脏污图像检测方法、脏污图像检测装置及脏污图像检测机构
US11102381B1 (en) * 2021-01-05 2021-08-24 Board Of Regents, The University Of Texas System Clearcam Inc. Methods, systems and controllers for facilitating cleaning of an imaging element of an imaging device
US11348357B1 (en) * 2021-01-15 2022-05-31 Qualcomm Incorporated Fingerprint sensor configured for avoidance of latent fingerprints
US11982034B2 (en) 2021-02-03 2024-05-14 Haier Us Appliance Solutions, Inc. Image quality detection for a camera assembly in a laundry appliance
CN113554637B (zh) * 2021-07-30 2022-06-07 上海集成电路制造创新中心有限公司 相机盖板的脏污检测方法及检测装置
US11683598B1 (en) * 2022-02-24 2023-06-20 Omnivision Technologies, Inc. Image sensor with on-chip occlusion detection and methods thereof
US11798151B1 (en) * 2022-04-25 2023-10-24 Rivian Ip Holdings, Llc Systems and methods for determining image capture degradation of a camera sensor
WO2023249911A1 (en) * 2022-06-21 2023-12-28 Apple Inc. Occlusion classification and feedback

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110221920A1 (en) * 2010-03-11 2011-09-15 Samsung Electronics Co., Ltd. Digital photographing apparatus, method of controlling the same, and computer readable storage medium
CN102231223A (zh) * 2011-06-02 2011-11-02 深圳中兴力维技术有限公司 一种用于摄像机的异物遮挡告警方法
CN102682440A (zh) * 2011-02-18 2012-09-19 佳能株式会社 图像处理设备、摄像设备和图像处理方法
US20130300869A1 (en) * 2012-03-27 2013-11-14 Magna Electronics Inc. Vehicle vision system with lens pollution detection
CN103792783A (zh) * 2012-10-29 2014-05-14 鸿富锦精密工业（深圳）有限公司 摄像设备镜头污染实时检测系统及方法

Family Cites Families (168)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4427888A (en) * 1981-08-10 1984-01-24 American District Telegraph Company Infrared imaging system
US4890133A (en) 1987-03-26 1989-12-26 Asahi Kogaku Kogyo K.K. Autofocus camera
CH682523A5 (fr) 1990-04-20 1993-09-30 Suisse Electronique Microtech Dispositif de modulation de lumière à adressage matriciel.
JP2762677B2 (ja) 1990-04-24 1998-06-04 ソニー株式会社 光学装置
JP3198656B2 (ja) 1992-08-31 2001-08-13 ソニー株式会社 映像信号合成装置およびその方法
US5889553A (en) 1993-11-17 1999-03-30 Canon Kabushiki Kaisha Image pickup apparatus capable of high resolution imaging
US5583602A (en) 1994-04-07 1996-12-10 Kyocera Corporation Autofocus single-lens reflex camera
KR0153873B1 (ko) 1995-04-20 1998-12-01 김주용 콤팩트 줌 카메라의 시차보정장치
US6141034A (en) 1995-12-15 2000-10-31 Immersive Media Co. Immersive imaging method and apparatus
JPH1091765A (ja) 1996-09-10 1998-04-10 Canon Inc 画像合成装置及びその方法
US5982951A (en) 1996-05-28 1999-11-09 Canon Kabushiki Kaisha Apparatus and method for combining a plurality of images
US5781331A (en) 1997-01-24 1998-07-14 Roxburgh Ltd. Optical microshutter array
US6028600A (en) 1997-06-02 2000-02-22 Sony Corporation Rotary menu wheel interface
US5975710A (en) 1997-06-06 1999-11-02 Luster; Spencer D. Optical image field splitting system
US7006132B2 (en) 1998-02-25 2006-02-28 California Institute Of Technology Aperture coded camera for three dimensional imaging
GB9805949D0 (en) 1998-03-19 1998-05-20 Thorn Security A detector
US6011661A (en) 1998-04-07 2000-01-04 Weng; Leo Optical holder for an optical apparatus
US6081670A (en) 1999-03-05 2000-06-27 Lifetouch National School Studies Inc. Depth-of-field indicator for a camera
JP3821614B2 (ja) 1999-08-20 2006-09-13 独立行政法人科学技術振興機構 画像入力装置
US7852462B2 (en) 2000-05-08 2010-12-14 Automotive Technologies International, Inc. Vehicular component control methods based on blind spot monitoring
US6640185B2 (en) 2001-07-21 2003-10-28 Alpine Electronics, Inc. Display method and apparatus for navigation system
JP2003037757A (ja) 2001-07-25 2003-02-07 Fuji Photo Film Co Ltd 画像撮像装置
US6643457B2 (en) 2002-03-28 2003-11-04 Wen Ching Chen Simple focusable lens combination of a camera
US6940554B2 (en) 2002-04-11 2005-09-06 Hewlett-Packard Development Company, L.P. Camera lens contamination detection and indication system and method
TWI238348B (en) 2002-05-13 2005-08-21 Kyocera Corp Portable information terminal, display control device, display control method, and recording media
JP2004289214A (ja) 2003-03-19 2004-10-14 Minolta Co Ltd 撮像装置
US20040227839A1 (en) 2003-05-13 2004-11-18 Stavely Donald J. Systems and methods for determining focus from light collected by the periphery of a lens
US8199222B2 (en) 2007-03-05 2012-06-12 DigitalOptics Corporation Europe Limited Low-light video frame enhancement
JP2005128437A (ja) 2003-10-27 2005-05-19 Fuji Photo Film Co Ltd 撮影装置
US6979902B2 (en) 2004-03-10 2005-12-27 Micron Technology, Inc. Chip size image sensor camera module
US7280735B2 (en) 2004-06-07 2007-10-09 Andre Sean Thibault Combined optical fiber wheel, beamsplitter, switch, and logic gate
US7564019B2 (en) 2005-08-25 2009-07-21 Richard Ian Olsen Large dynamic range cameras
US7465107B2 (en) 2004-09-21 2008-12-16 Canon Kabushiki Kaisha Photographing apparatus and control method therefor
KR101058011B1 (ko) 2004-10-01 2011-08-19 삼성전자주식회사 터치 스크린을 이용한 디지털 카메라 조작 방법
JP4635550B2 (ja) 2004-10-04 2011-02-23 株式会社ニコン カメラ
KR100719341B1 (ko) 2005-01-25 2007-05-17 삼성전자주식회사 이미지 센서 및 그 제조방법
US7561191B2 (en) 2005-02-18 2009-07-14 Eastman Kodak Company Camera phone using multiple lenses and image sensors to provide an extended zoom range
JP4717480B2 (ja) 2005-03-25 2011-07-06 富士フイルム株式会社 ズームレンズ
US20060221218A1 (en) 2005-04-05 2006-10-05 Doron Adler Image sensor with improved color filter
JP4683992B2 (ja) 2005-04-25 2011-05-18 イーストマン コダック カンパニー ズームレンズおよび撮像装置
US9967424B2 (en) 2005-06-02 2018-05-08 Invention Science Fund I, Llc Data storage usage protocol
US7642741B2 (en) 2005-04-27 2010-01-05 Sidman Adam D Handheld platform stabilization system employing distributed rotation sensors
JP5038296B2 (ja) 2005-05-17 2012-10-03 クアルコム，インコーポレイテッド 方位感受性信号出力
JP4215038B2 (ja) 2005-09-16 2009-01-28 セイコーエプソン株式会社 画像処理装置、画像処理方法、およびプログラム
WO2007060794A1 (ja) 2005-11-22 2007-05-31 Matsushita Electric Industrial Co., Ltd. 撮影装置、携帯端末装置、撮影方法、およびプログラム
TWI299427B (en) 2005-12-02 2008-08-01 Premier Image Technology Corp Digital camera
JP4832878B2 (ja) 2005-12-09 2011-12-07 倉敷紡績株式会社 画像合成処理装置及び方法
WO2007083579A1 (ja) 2006-01-20 2007-07-26 Matsushita Electric Industrial Co., Ltd. 複眼方式のカメラモジュール及びその製造方法
JP2007201915A (ja) 2006-01-27 2007-08-09 Yamaha Corp 平面カメラユニット
JP2007206200A (ja) 2006-01-31 2007-08-16 Olympus Imaging Corp 撮影装置
EP1826723B1 (en) 2006-02-28 2015-03-25 Microsoft Corporation Object-level image editing
JP4479679B2 (ja) 2006-03-14 2010-06-09 セイコーエプソン株式会社 撮影画像表示システム、画像受信装置及びその制御方法
US7810511B2 (en) 2006-05-15 2010-10-12 Sony Ericsson Mobile Communications Ab Lens cleaner
KR100809277B1 (ko) 2006-07-05 2008-03-03 삼성전기주식회사 어레이 렌즈를 갖는 카메라 모듈
US20080030592A1 (en) 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
KR20080022260A (ko) 2006-09-06 2008-03-11 엘지전자 주식회사 줌 렌즈 광학장치
US7408718B2 (en) 2006-09-07 2008-08-05 Avago Technologies General Pte Ltd Lens array imaging with cross-talk inhibiting optical stop structure
JP2008096584A (ja) 2006-10-10 2008-04-24 Nikon Corp カメラ
US8072482B2 (en) 2006-11-09 2011-12-06 Innovative Signal Anlysis Imaging system having a rotatable image-directing device
JP4280779B2 (ja) 2007-01-31 2009-06-17 キヤノン株式会社 撮像装置
US7978239B2 (en) 2007-03-01 2011-07-12 Eastman Kodak Company Digital camera using multiple image sensors to provide improved temporal sampling
US7676146B2 (en) 2007-03-09 2010-03-09 Eastman Kodak Company Camera using multiple lenses and image sensors to provide improved focusing capability
US7639935B2 (en) 2007-03-28 2009-12-29 Sony Ericsson Mobile Communications Ab Zoom control
JP2008268937A (ja) 2007-03-29 2008-11-06 Kyocera Corp 撮像装置および撮像方法
US20080247745A1 (en) 2007-04-04 2008-10-09 Nilsson Rene Camera assembly with zoom imaging and method
EP2149067A1 (en) 2007-04-19 2010-02-03 D.V.P. Technologies Ltd. Imaging system and method for use in monitoring a field of regard
US7812869B2 (en) 2007-05-11 2010-10-12 Aptina Imaging Corporation Configurable pixel array system and method
US8537227B2 (en) 2007-09-04 2013-09-17 International Business Machines Corporation Using a display associated with an imaging device to provide instructions to the subjects being recorded
TW200915853A (en) 2007-09-28 2009-04-01 Altek Corp Method and system for stabilizing vibration of camera
US8494306B2 (en) 2007-12-13 2013-07-23 Samsung Electronics Co., Ltd. Method and an apparatus for creating a combined image
US8384803B2 (en) 2007-12-13 2013-02-26 Keigo Iizuka Camera system and method for amalgamating images to create an omni-focused image
JP2009163369A (ja) 2007-12-28 2009-07-23 Canon Inc 画像処理装置及び画像処理装置の制御装置
WO2009087974A1 (ja) 2008-01-11 2009-07-16 Panasonic Corporation 複眼カメラモジュール
JP2009206922A (ja) 2008-02-28 2009-09-10 Funai Electric Co Ltd 複眼撮像装置
US8208043B2 (en) * 2008-05-09 2012-06-26 Aptina Imaging Corporation Lens cleaning warning system and method
US8355042B2 (en) 2008-10-16 2013-01-15 Spatial Cam Llc Controller in a camera for creating a panoramic image
KR101588877B1 (ko) 2008-05-20 2016-01-26 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
US8355070B2 (en) 2008-05-23 2013-01-15 Seiko Epson Corporation Development processing device, development processing method, and storage medium of computer program for development process for developing undeveloped image data
JP4702401B2 (ja) 2008-06-02 2011-06-15 カシオ計算機株式会社 カメラ、カメラ制御プログラム及びカメラ制御方法
US8134589B2 (en) 2008-07-17 2012-03-13 Eastman Kodak Company Zoom by multiple image capture
KR100950917B1 (ko) 2008-08-06 2010-04-01 삼성전기주식회사 카메라 모듈 및 이의 제조방법
TWI419551B (zh) 2008-08-22 2013-12-11 固態全景影像擷取裝置
JP5047243B2 (ja) 2008-09-26 2012-10-10 シャープ株式会社 光学素子ウエハモジュール、光学素子モジュール、光学素子モジュールの製造方法、電子素子ウエハモジュール、電子素子モジュールの製造方法、電子素子モジュールおよび電子情報機器
US8223206B2 (en) 2008-10-15 2012-07-17 Flir Systems, Inc. Infrared camera filter wheel systems and methods
JP2010114760A (ja) * 2008-11-07 2010-05-20 Fujifilm Corp 撮影装置、指がかり通知方法およびプログラム
US9843742B2 (en) 2009-03-02 2017-12-12 Flir Systems, Inc. Thermal image frame capture using de-aligned sensor array
US8542287B2 (en) 2009-03-19 2013-09-24 Digitaloptics Corporation Dual sensor camera
JP2010256397A (ja) 2009-04-21 2010-11-11 Kyocera Mita Corp 光学走査装置及びそれを備えた画像形成装置
US8553106B2 (en) 2009-05-04 2013-10-08 Digitaloptics Corporation Dual lens digital zoom
US20100296802A1 (en) 2009-05-21 2010-11-25 John Andrew Davies Self-zooming camera
KR20110022279A (ko) 2009-08-27 2011-03-07 삼성전기주식회사 카메라 모듈
TWM376769U (en) 2009-08-28 2010-03-21 Altek Corp Prism type lens structure
JP4938068B2 (ja) 2009-09-14 2012-05-23 オリンパス株式会社 電子撮像装置
US8416262B2 (en) 2009-09-16 2013-04-09 Research In Motion Limited Methods and devices for displaying an overlay on a device display screen
JP5405360B2 (ja) 2009-10-06 2014-02-05 富士フイルム株式会社 撮像レンズおよび撮像装置
US8320051B2 (en) 2009-10-13 2012-11-27 Panasonic Corporation Zoom lens system, imaging device and camera
US8515185B2 (en) 2009-11-25 2013-08-20 Google Inc. On-screen guideline-based selective text recognition
US8730338B2 (en) 2009-12-01 2014-05-20 Nokia Corporation Set of camera modules hinged on a body and functionally connected to a single actuator
JP2011138047A (ja) 2009-12-28 2011-07-14 Olympus Imaging Corp 光路反射型のズームレンズを備えた撮像装置
CN102118551A (zh) 2009-12-31 2011-07-06 鸿富锦精密工业（深圳）有限公司 成像装置
US20110187878A1 (en) 2010-02-02 2011-08-04 Primesense Ltd. Synchronization of projected illumination with rolling shutter of image sensor
US8570402B2 (en) 2010-02-05 2013-10-29 Canon Kabushiki Kaisha Imaging apparatus for obtaining a user-intended image when orientation of the imaging apparatus changes in applying a special effect that changes the image quality in a set direction
JP5413250B2 (ja) 2010-03-05 2014-02-12 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
KR101760342B1 (ko) 2010-03-12 2017-07-21 삼성전자주식회사 소형 줌 렌즈
US20110242342A1 (en) 2010-04-05 2011-10-06 Qualcomm Incorporated Combining data from multiple image sensors
WO2011127201A1 (en) 2010-04-06 2011-10-13 Youbiq Llc Camera control
US8100591B2 (en) 2010-05-14 2012-01-24 Chapman/Leonard Studio Equipment, Inc. Dual loop camera stabilization systems and methods
US20110285895A1 (en) 2010-05-21 2011-11-24 Chung Shan Institute Of Science And Technology Image Sensing Device and Processing System
KR101734963B1 (ko) 2010-07-05 2017-05-12 삼성전자주식회사 복수의 촬상 모듈을 갖는 촬상 장치
JP2012023546A (ja) * 2010-07-14 2012-02-02 Jvc Kenwood Corp 制御装置、立体映像撮像装置、および制御方法
US9599715B2 (en) 2010-08-03 2017-03-21 Faro Technologies, Inc. Scanner display
US8665341B2 (en) 2010-08-27 2014-03-04 Adobe Systems Incorporated Methods and apparatus for rendering output images with simulated artistic effects from focused plenoptic camera data
US8896655B2 (en) 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
US8417058B2 (en) 2010-09-15 2013-04-09 Microsoft Corporation Array of scanning sensors
US9118842B2 (en) 2010-09-16 2015-08-25 Intellectual Ventures Fund 83 Llc Producing focused videos from single captured video
WO2012043211A1 (ja) 2010-10-01 2012-04-05 富士フイルム株式会社 撮像装置
US20120155848A1 (en) 2010-12-16 2012-06-21 Motorola-Mobility, Inc. Method and System for Providing Viewfinder Operation in Mobile Device
KR101720776B1 (ko) 2010-12-27 2017-03-28 삼성전자주식회사 디지털 영상 촬영 장치 및 이의 제어 방법
US20120188391A1 (en) 2011-01-25 2012-07-26 Scott Smith Array camera having lenses with independent fields of view
US8465216B2 (en) 2011-02-11 2013-06-18 Jeff Justice Camera mounting assembly
US8704944B1 (en) 2011-02-25 2014-04-22 Girling Kelly Design Group, LLC Handheld modular digital photography system
JP5926492B2 (ja) 2011-03-23 2016-05-25 キヤノン株式会社 レンズ装置及びそれを有する撮像装置
US9172856B2 (en) 2011-03-29 2015-10-27 Microsoft Technology Licensing, Llc Folded imaging path camera
JP5701664B2 (ja) 2011-04-07 2015-04-15 オリンパス株式会社 撮像装置
GB2489930A (en) 2011-04-08 2012-10-17 Sony Corp Analysis of Three-dimensional Video to Produce a Time-Varying Graphical Representation of Displacements
JP5780818B2 (ja) 2011-04-21 2015-09-16 オリンパス株式会社 駆動装置およびそれを用いた画像装置
US8639296B2 (en) 2011-06-07 2014-01-28 Lg Electronics Inc. Mobile device and an image display method thereof
KR101784523B1 (ko) 2011-07-28 2017-10-11 엘지이노텍 주식회사 터치형 휴대용 단말기
JP2013055499A (ja) 2011-09-02 2013-03-21 Sony Corp 固体撮像素子およびカメラシステム
US20130064531A1 (en) 2011-09-13 2013-03-14 Bruce Harold Pillman Zoom flash with no moving parts
US8493505B2 (en) 2011-10-05 2013-07-23 Hwan Ming Enterprise Co., Ltd. Automatic clean device for a surveillance camera
KR101792641B1 (ko) 2011-10-07 2017-11-02 엘지전자 주식회사 이동 단말기 및 그의 아웃 포커싱 이미지 생성방법
EP2592823A3 (en) 2011-10-12 2013-06-19 Canon Kabushiki Kaisha Image-capturing device
KR101301432B1 (ko) 2011-10-17 2013-08-28 삼성전기주식회사 카메라모듈
US10001622B2 (en) 2011-10-25 2018-06-19 Sanford Burnham Medical Research Institute Multifunction autofocus system and method for automated microscopy
EP2605519A1 (en) 2011-12-15 2013-06-19 Thomson Licensing Anaglyphic stereoscopic image capture device
TWI567953B (zh) 2011-12-20 2017-01-21 新加坡恒立私人有限公司 光電模組及包含該模組之裝置
JP5942444B2 (ja) 2012-01-30 2016-06-29 リコーイメージング株式会社 デジタルカメラ
JP5936183B2 (ja) 2012-02-07 2016-06-15 オリンパス株式会社 撮影機器
JP6112824B2 (ja) 2012-02-28 2017-04-12 キヤノン株式会社 画像処理方法および装置、プログラム。
US9191635B2 (en) 2012-03-19 2015-11-17 Semiconductor Components Industries, Llc Imaging systems with clear filter pixels
US20130258044A1 (en) 2012-03-30 2013-10-03 Zetta Research And Development Llc - Forc Series Multi-lens camera
US9835564B2 (en) 2012-06-08 2017-12-05 SeeScan, Inc. Multi-camera pipe inspection apparatus, systems and methods
EP3869797B1 (en) 2012-08-21 2023-07-19 Adeia Imaging LLC Method for depth detection in images captured using array cameras
JP6040838B2 (ja) 2012-08-29 2016-12-07 株式会社Ｊｖｃケンウッド デプス推定装置、デプス推定方法、デプス推定プログラム、画像処理装置、画像処理方法及び画像処理プログラム
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
US8520022B1 (en) 2012-10-24 2013-08-27 Google Inc. Method and system for improving screen readability in daylight with runtime color adjustment
US8762895B2 (en) 2012-10-28 2014-06-24 Google Inc. Camera zoom indicator in mobile devices
US9568713B2 (en) 2013-01-05 2017-02-14 Light Labs Inc. Methods and apparatus for using multiple optical chains in parallel to support separate color-capture
KR102045957B1 (ko) 2013-01-18 2019-11-18 삼성전자 주식회사 휴대단말의 촬영 방법 및 장치
US9509919B2 (en) 2014-11-17 2016-11-29 Duelight Llc System and method for generating a digital image
JP6230239B2 (ja) 2013-02-14 2017-11-15 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9253375B2 (en) * 2013-04-02 2016-02-02 Google Inc. Camera obstruction detection
US9135893B2 (en) 2013-05-28 2015-09-15 Infineon Technologies Ag Display device
JP6245875B2 (ja) 2013-07-26 2017-12-13 クラリオン株式会社 レンズ汚れ検出装置およびレンズ汚れ検出方法
JP6245885B2 (ja) 2013-08-02 2017-12-13 キヤノン株式会社 撮像装置およびその制御方法
JP2015035658A (ja) 2013-08-07 2015-02-19 キヤノン株式会社 画像処理装置、画像処理方法、および撮像装置
KR20150019710A (ko) 2013-08-14 2015-02-25 삼성전자주식회사 촬영 장치 및 이의 제어 방법
US9374514B2 (en) 2013-10-18 2016-06-21 The Lightco Inc. Methods and apparatus relating to a camera including multiple optical chains
JP6194777B2 (ja) 2013-11-29 2017-09-13 富士通株式会社 動作判定方法、動作判定装置および動作判定プログラム
TWI521255B (zh) 2013-11-29 2016-02-11 光寶科技股份有限公司 自動對焦方法、其自動對焦裝置和其影像擷取裝置
US9154697B2 (en) * 2013-12-06 2015-10-06 Google Inc. Camera selection based on occlusion of field of view
US9479686B2 (en) 2014-02-19 2016-10-25 Melvyn H Kreitzer Zoom lens optical system
US9557627B2 (en) 2014-03-07 2017-01-31 Apple Inc. Folded camera lens systems
US9196027B2 (en) 2014-03-31 2015-11-24 International Business Machines Corporation Automatic focus stacking of captured images
US10225445B2 (en) 2015-12-18 2019-03-05 Light Labs Inc. Methods and apparatus for providing a camera lens or viewing point indicator
US10003738B2 (en) 2015-12-18 2018-06-19 Light Labs Inc. Methods and apparatus for detecting and/or indicating a blocked sensor or camera module

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110221920A1 (en) * 2010-03-11 2011-09-15 Samsung Electronics Co., Ltd. Digital photographing apparatus, method of controlling the same, and computer readable storage medium
CN102682440A (zh) * 2011-02-18 2012-09-19 佳能株式会社 图像处理设备、摄像设备和图像处理方法
CN102231223A (zh) * 2011-06-02 2011-11-02 深圳中兴力维技术有限公司 一种用于摄像机的异物遮挡告警方法
US20130300869A1 (en) * 2012-03-27 2013-11-14 Magna Electronics Inc. Vehicle vision system with lens pollution detection
CN103792783A (zh) * 2012-10-29 2014-05-14 鸿富锦精密工业（深圳）有限公司 摄像设备镜头污染实时检测系统及方法

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110730739A (zh) * 2017-06-27 2020-01-24 本田技研工业株式会社 通知系统及其控制方法、车辆以及程序
CN107728285A (zh) * 2017-10-26 2018-02-23 信利光电股份有限公司 一种摄像模组
CN107945158A (zh) * 2017-11-15 2018-04-20 上海摩软通讯技术有限公司 一种检测镜头脏污的方法及装置
CN108780050A (zh) * 2018-03-29 2018-11-09 深圳达闼科技控股有限公司 检测镜头的方法及装置、电子设备和计算机可读存储介质
WO2019183902A1 (zh) * 2018-03-29 2019-10-03 深圳达闼科技控股有限公司 检测镜头的方法及装置、电子设备和计算机可读存储介质
CN108650503A (zh) * 2018-04-28 2018-10-12 努比亚技术有限公司 摄像头故障确定方法、装置及计算机可读存储介质
CN108650503B (zh) * 2018-04-28 2020-08-21 努比亚技术有限公司 摄像头故障确定方法、装置及计算机可读存储介质
CN110738629A (zh) * 2018-07-02 2020-01-31 中兴通讯股份有限公司 一种镜头脏污的检测方法、终端及计算机可读存储介质
CN109660698A (zh) * 2018-12-25 2019-04-19 苏州佳世达电通有限公司 影像处理系统及影像处理方法
WO2020220185A1 (zh) * 2019-04-29 2020-11-05 深圳市大疆创新科技有限公司 清洗方法、清洗控制系统、计算机可读存储介质、清洗系统、光学传感器及可移动平台
CN111684487A (zh) * 2019-04-29 2020-09-18 深圳市大疆创新科技有限公司 清洗方法、清洗控制系统、计算机可读存储介质、清洗系统、光学传感器及可移动平台
CN111684487B (zh) * 2019-04-29 2024-03-19 深圳市大疆创新科技有限公司 清洗方法、清洗控制系统、计算机可读存储介质、清洗系统、光学传感器及可移动平台
CN112017149A (zh) * 2019-05-28 2020-12-01 原相科技股份有限公司 脏污程度判断方法以及使用脏污程度判断方法的电子装置
CN113689493A (zh) * 2020-05-18 2021-11-23 杭州海康威视数字技术股份有限公司 镜头附着物检测方法、装置、电子设备和存储介质
CN113834636A (zh) * 2020-06-24 2021-12-24 百度（美国）有限责任公司 用于自动驾驶车辆的脏单目摄像机检测方法
CN113834636B (zh) * 2020-06-24 2023-12-22 百度（美国）有限责任公司 用于自动驾驶车辆的脏单目摄像机检测方法
CN112001289A (zh) * 2020-08-17 2020-11-27 海尔优家智能科技（北京）有限公司 物品的检测方法和装置、存储介质及电子装置
WO2022036504A1 (zh) * 2020-08-17 2022-02-24 深圳市大疆创新科技有限公司 成像方法、成像装置、可移动物体和无人飞行器
CN113487556A (zh) * 2021-06-30 2021-10-08 北京博清科技有限公司 焊渣的检测方法与滤光片的更换方法
CN113487556B (zh) * 2021-06-30 2024-10-22 北京博清科技有限公司 焊渣的检测方法与滤光片的更换方法

Also Published As

Publication number Publication date
WO2016004422A1 (en) 2016-01-07
EP3164831A4 (en) 2018-02-14
US20160004144A1 (en) 2016-01-07
EP3164831A1 (en) 2017-05-10
US10191356B2 (en) 2019-01-29

Similar Documents

Publication Publication Date Title
CN106575366A (zh) 关于检测和/或指示脏镜头状况的方法和装置
US10516834B2 (en) Methods and apparatus for facilitating selective blurring of one or more image portions
US10419672B2 (en) Methods and apparatus for supporting burst modes of camera operation
US9462170B2 (en) Lighting methods and apparatus
US10523872B2 (en) Methods and apparatus for implementing zoom using one or more moveable camera modules
US20160309110A1 (en) Methods and apparatus for synchronizing readout of multiple image sensors
US9544503B2 (en) Exposure control methods and apparatus
US10225445B2 (en) Methods and apparatus for providing a camera lens or viewing point indicator
US9967535B2 (en) Methods and apparatus for reducing noise in images
US9955082B2 (en) Methods and apparatus for capturing images using optical chains and/or for using captured images
US10038860B2 (en) Methods and apparatus for controlling sensors to capture images in a synchronized manner
EP3058416B1 (en) Methods and apparatus for implementing and/or using a camera device
US9930233B2 (en) Filter mounting methods and apparatus and related camera apparatus
WO2015058153A1 (en) Methods and apparatus for implementing and/or using a camera device
WO2015127328A2 (en) Illumination methods and apparatus
CN112615979B (zh) 图像获取方法、图像获取装置、电子装置和存储介质
JPH1093850A (ja) 撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170419