CN108028895B - 有缺陷的图像传感器元件的校准 - Google Patents

有缺陷的图像传感器元件的校准 Download PDF

Info

Publication number
CN108028895B
CN108028895B CN201680053732.4A CN201680053732A CN108028895B CN 108028895 B CN108028895 B CN 108028895B CN 201680053732 A CN201680053732 A CN 201680053732A CN 108028895 B CN108028895 B CN 108028895B
Authority
CN
China
Prior art keywords
image
sensor
images
pixel
optical element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680053732.4A
Other languages
English (en)
Other versions
CN108028895A (zh
Inventor
M.S.莱沃伊
R.卢考
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN108028895A publication Critical patent/CN108028895A/zh
Application granted granted Critical
Publication of CN108028895B publication Critical patent/CN108028895B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/676—Bracketing for image capture at varying focusing conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/673—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources
    • H04N25/674—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources based on the scene itself, e.g. defocusing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本公开涉及可以减少由于光学成像系统中的有缺陷的传感器元件而导致的像素噪声的方法和系统。即，相机可以在调节光学元件的焦距设定的同时利用图像传感器采集图像的突发。例如，可以在自动聚焦过程中采集图像突发。多个图像可被平均或以其它方式合并以提供单个聚合图像帧。这样的聚合图像帧可看起来模糊。在这种情况下，可以更容易地识别和/或校正“热”像素、“死”像素或其他有缺陷的像素。作为示例，可以从目标图像去除有缺陷的像素，或者通过用相邻像素的平均值替换有缺陷的像素的值来校正有缺陷的像素。

Description

有缺陷的图像传感器元件的校准
相关申请的交叉引用
本申请要求2015年12月16日提交的美国专利申请第14/972,075号的优先权，其全部内容通过引用合并于此。
背景技术
光学成像系统可以用作独立的硬件设备或集成到其他类型的设备中。例如，静态相机和视频相机现在通常被包括在无线计算设备(例如，智能手机和平板电脑)、膝上型计算机、视频游戏接口、家庭自动化设备，甚至汽车和其他类型的车辆中。
光学成像系统包括可利用数百万个或更多的传感器元件的图像传感器。传感器元件可能由于制造缺陷或其他因素而发生故障。例如，一些传感器元件可以提供永久或间歇性的高、低或固定的值，而与通过光学成像系统照射在它们上的光无关。某些传感器元件可以报告与入射光成比例的值，但在曝光时间内会受到在元件中累积的过量与光无关的信号的影响。此外，传感器元件可能被例如灰尘颗粒遮挡。这些传感器元件的输出可能导致由光学成像系统采集的图像中对应的“死(dead)”、“卡住(stuck)”、“热(hot)”或被遮挡的像素。
图像校准过程可以被执行以识别这样的异常传感器元件，从而能够减少或消除这种图像劣化效应的影响。例如，相机校准过程可以包括在将镜头盖覆盖在光学路径上的情况下采集图像，以更容易地从深色背景图像中识别出“热”像素。然而，这样的校准过程可能限于工厂测试，其可能需要用户的交互和/或可能仅限于热像素的识别。
发明内容
本文公开的系统和方法涉及可应用于补偿宽范围的传感器元件问题的校准技术。
在一个方面，提供了一种方法。该方法包括经由图像传感器采集多个图像。图像传感器包括多个传感器元件。传感器元件被配置为表示采集的多个图像中的相应像素。针对光学元件的至少一个属性以多个不同的相应值采集多个图像。光学元件耦合到图像传感器。该方法进一步包括将多个图像组合成聚合图像，并且基于聚合图像确定多个传感器元件中的特定传感器元件的状况。该方法还进一步包括在有效负载图像中调节与特定传感器元件相关联的特定像素的值。可选地，利用由光学元件限定的不同的相应焦距设定采集多个图像。
在一个方面，提供了一种光学成像系统。该系统包括图像传感器，该图像传感器包括多个传感器元件，传感器元件被配置为表示采集的图像中的相应像素。该系统进一步包括光学元件，其耦合到图像传感器并且被配置为限定所采集图像的焦距设定。该系统还包括控制器，该控制器包括存储器和至少一个处理器，其中处理器被配置为执行存储在存储器中的指令，以便执行根据上述方面的方法提供方法。
在一个方面，提供了一种光学成像系统。光学图像系统包括图像传感器，光学元件和控制器。图像传感器包括多个传感器元件。传感器元件被配置为表示所采集图像中的相应像素。光学元件被耦合到图像传感器并且被配置为限定所采集图像的焦距设定。控制器包括存储器和至少一个处理器。处理器被配置为执行存储在存储器中的指令以执行操作。操作包括使图像传感器采集多个图像。图像由光学元件定义的不同的相应的聚焦距离设置而被采集。操作包括将多个图像组合成聚合图像，并且基于聚合图像确定多个传感器元件中的特定传感器元件的状况。操作还包括使图像传感器采集有效负载图像。该操作还包括在有效负载图像中调节与特定传感器元件相关联的特定像素的值。
在一个方面，提供了一种方法。该方法包括经由图像传感器采集多个图像。图像传感器包括多个传感器元件。传感器元件被配置为表示采集的多个图像中的相应像素。该方法还包括在采集多个图像时调节光学元件的至少一个性质。光学元件耦合到图像传感器。该方法进一步包括将多个图像组合成聚合图像，并且基于聚合图像确定多个传感器元件中的特定传感器元件的状况。该方法还进一步包括在有效负载图像中调节与特定传感器元件相关联的特定像素的值。可选地，利用由光学元件限定的不同的相应焦距设定采集多个图像。
每个方面可以包括以下可选特征。调节光学元件的至少一个属性可以包括以下中的至少一个：调节光学元件的视场，调节光学元件的变焦设置，调节光学元件的光圈设置，或调节光学元件的位置。该操作和方法可以进一步包括测量图像传感器的视场，并且基于该测量，选择用于采集多个图像的图像传感器的快门速度和灵敏度。该操作和方法可以进一步包括将所确定的状况映射到传感器元件状况映射图中，并且其中调节特定像素的值是基于传感器元件状况映射图。该操作和方法可以进一步包括将传感器元件状况映射图与时间关联并提供与对应的多个不同时间关联的多个传感器元件状况映射图的历史记录，并且其中调节特定像素的值进一步基于历史记录。调节光学元件的至少一个属性可以包括使光学元件执行自动聚焦过程，其中自动聚焦过程包括调节光学元件相对于图像传感器的位置，以为每个相应的图像提供不同的相应的焦距。将多个图像组合成聚合图像可以包括平均多个图像的关联像素值。确定特定传感器元件的状况可以包括：将相应像素的值与聚合图像中的至少一个相邻像素的值进行比较；以及基于所述比较来确定所述相应像素与所述至少一个相邻像素之间的差在预定阈值以上。所确定的状况包括以下中的至少一个：无缺陷的传感器元件，热传感器元件，暗传感器元件，或被遮挡的传感器元件。调节特定像素的值可以包括将特定像素的值设置为至少一个相邻像素的对应值。调节特定像素的值可以包括将特定像素的值设置为多个相邻像素的对应平均值。
在一方面，系统可以包括用于执行本文描述的其他相应方面的操作的多个装置。
在一方面，一种计算机可读介质包含处理器可执行指令，所述处理器可执行指令在执行时致使计算机执行本文中所描述的其它各个方面的操作。
上述方面试图解决与识别有缺陷的图像传感器元件和减少有缺陷的图像传感器元件在图像采集系统中的影响相关的问题。
通过阅读下面的详细描述并适当参考附图，这些以及其它实施例、方面、优点和替代方案对于本领域的普通技术人员将变得显而易见。此外，应该理解，这里提供的这个概述以及其他描述和附图旨在仅通过示例来说明实施例，并且因此可以有多种变化。例如，结构要素和处理步骤可以重新排列、组合、分配、消除或以其他方式改变，同时保持在所要求保护的实施例的范围之内内。
附图说明
图1示出根据示例实施例的光学成像系统。
图2A示出了根据示例实施例的数字相机设备的正视图和右侧视图。
图2B示出根据示例实施例的数字相机设备的后视图。
图3A示出根据示例实施例的图像采集场景。
图3B示出根据示例实施例的多个图像。
图3C示出根据示例实施例的聚合图像。
图3D示出根据示例实施例的传感器元件状况映射图。
图3E示出根据示例实施例的图像采集场景。
图4示出了根据示例实施例的方法。
图5A示出根据示例实施例的由数字相机设备采集的图像。
图5B示出根据示例实施例的由数字相机设备采集的图像。
图5C示出根据示例实施例的由数字相机设备采集的图像。
图5D示出根据示例实施例的由数字相机设备采集的场景的聚合图像。
图5E示出根据示例实施例的由数字相机设备采集的有效负载图像。
图5F示出根据示例实施例的经校正的有效负载图像。
具体实施方式
I.概述
在此描述示例的方法、设备和系统。应该理解，在这里使用词语“示例”和“示例性”来表示“用作示例、实例或示意”。本文中描述为“示例”或“示例性”的任何实施例或特征不一定被解释为比其他实施例或特征优选或有利。可以使用其它实施例，并且可以做出其他改变而不偏离本文提出的主题的范围。
因此，这里描述的示例实施例并不意味着限制。如本文一般性描述的以及在附图中示出的本公开的各方面可以以各种各样的不同配置进行布置、替换、组合、分离和设计，所有这些都在本文中考虑。
此外，除非上下文另有说明，否则每个附图中示出的特征可以彼此组合使用。因此，应该将附图普遍视为一个或多个总体实施例的组成部分，理解为并非所有示出的特征对于每个实施例都是必需的。
本公开涉及用于检测和校正采集的图像中的缺陷的方法和系统。这些缺陷可能由图像传感器元件的缺陷引起。例如，“热”像素是图像传感器中常见的一类结构和/或电缺陷。热像素是由图像传感器基材中的杂质以及制造过程中引入的缺陷引起的。杂质和缺陷可能导致光电探测器中暗电流泄漏的增加。即使在未被照亮的情况下，热像素将其自身表现为具有异常水平的光电检测器电流(例如高暗电流)的传感器元件。这些传感器元件可以对应于在采集的图像中比周围的正常像素更亮的像素。类似地，即使在照明时，死像素将其自身表现为具有零或异常低的光电检测器电流的传感器元件。这样的传感器元件可以对应于采集图像中比周围的正常像素更暗的像素。在某些情况下，有缺陷的传感器元件可能永久或间歇地被卡在高(白)、低(黑)、或中间(灰)的等级。
有缺陷的传感器元件会降低所采集的图像质量。然而，通常通过用对应于有缺陷的传感器元件的像素的值替换为相邻像素的估计值或平均值，可以在图像处理期间校正这些缺陷的影响。为了执行这样的校正，需要确定这些有缺陷的像素的位置。
从图像中检测有缺陷的传感器元件的一种方式是在长时间的曝光时间(以便最大化泄漏传感器元件的累积电荷)采集暗图像(暗以保持光电流从低水平的入射照明)，通常在升高的器件温度下(以便增加泄漏电流并再次使累积电荷最大化)。采集黑暗图像通常需要(例如，光学快门)遮挡通过镜头进入的光线的能力。然而，由于空间和成本限制，移动设备相机通常不提供物理快门。
另一种可能的方法是在取下镜头的情况下采集照明图像(或放置在成像镜头前方的漫射元件)，以模糊任何场景特征并使异常像素突出。但是，这种方法在移动设备中是不实用的，它们通常具有不能移除的固定镜头。
或者，可以在制造测试期间识别热像素并将其存储为给定图像传感器的校准数据。然而，由于已知传感器元件行为随时间变化(例如，传感器元件可能随时间失效或者可能间歇地改变它们的特性)，因此还希望在设备已经被运送给用户之后执行热像素的现场校准。这样，由于光路中缺少光学快门，传统的移动设备相机不能提供满意的方法来在现场执行这种重新校准。
所公开的系统和方法提供了识别和补偿热像素和其他外观缺陷的替代方式。可以采集一系列图像，其中的每个图像都是在镜头的不同焦距设定下采集的。例如，可以在自动聚焦(AF)扫描期间方便地执行该图像“突发”。在一些实施例中，图像突发可以发生在自动曝光(AE)过程之后，其可以提供被选择以防止给定场景的饱和和/或曝光不足的图像采集设置(例如，曝光时间、ISO、增益等)。
一系列图像可以被平均或以其他方式组合以提供聚合图像。由于在不同焦距设定下的视场缩放以及每个图像都是在不同的焦点设置下拍摄的，所以聚合图像将很可能是模糊的并且没有清晰的特征。在这种情况下，不受镜头模糊影响的热像素和其他异常像素将针对模糊的聚合图像而被清晰地限定。这样，边缘检测算法或另一种类型的对比度敏感特征识别算法可以更有效地识别和映射异常传感器元件以供稍后校正。所公开的系统和方法通过有效地使用在AF过程期间采集的一组图像，使得可能在现场自动重新校准图像传感器的外观缺陷。当在充分照亮的场景上执行重新校准时(如在AF扫描期间通常的情况那样)，也可以检测到除热像素之外的其他类型的外观缺陷(例如，暗像素、灰尘颗粒)。
本文公开的过程不需要依赖明确的用户动作。例如，重新校准过程可以在每次AF扫描期间或者周期性地(例如，每第10次AF扫描期间或者在相机上电之后)自动发生。另外地或可选地，用户可以根据命令(例如，通过菜单、软键和/或快门按钮)执行这种重新校准。该校准方法可以利用基于突发采集和突发处理的计算成像技术，并且可以提供来自移动设备相机的图像质量的改进。
II.示例光学成像系统
图1示出了根据示例实施例的光学成像系统100。也可以被称为相机的光学成像系统100包括至少一个图像传感器110、至少一个光学元件120、用户接口130、通信接口140和控制器150。
如本文所使用的，取决于使用情境，“相机”可以指单个图像采集部件，或者包含一个或多个图像采集部件的设备。
图像传感器110可以包括多个传感器元件，用于基于在每个传感器元件位置处接收到的光来采集图像。如此，传感器元件可以被配置为表示(represent)所采集图像中的相应像素。如本文所述，图像传感器110可以包括电子图像传感器(例如电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器)。如此，图像传感器110可以包括数百万个单独的光电传感器或传感器元件。在示例实施例中，图像传感器110可以按照3：2的长宽比进行布置，并且可以包括3872×2592个传感器元件，或者大约一千万个传感器元件。然而，可以设想具有不同长宽比和更多或更少传感器元件的诸多其他图像传感器。这样的图像传感器可以用于将采集的图像传输和/或存储在数据存储单元(例如，存储器154)中。
一个或多个光学元件120可以包括一个或多个透镜，其可以光学耦合到图像传感器110。该一个或多个透镜可以被配置为在图像的视场中限定焦距设定。换句话说，该一个或多个透镜可以是可调节的，以限定由图像传感器110采集的图像的焦距设定。
另外地或替代地，光学元件120可以包括光从中入射的一个或多个光圈，和/或位于每个光圈前方的一个或多个透镜，以将图像的至少一部分聚焦到图像传感器110上。光圈可以是固定尺寸的或可调节的。
另外地或替代地，光学元件120可以包括一个或多个快门，快门可以耦合到透镜或图像传感器110或在其附近。每个快门可以处于关闭位置或打开位置，在关闭位置中，快门阻断光抵达图像传感器，在打开位置中，快门允许光线到达图像传感器。每个快门的位置可以通过快门按钮来控制。例如，在默认情况下，快门可处于关闭位置。当快门被触发(例如，通过按下快门按钮)时，快门可从关闭位置改变到打开位置持续一段时间，其称为快门周期。在快门周期期间，可以从图像传感器采集图像。在快门周期结束时，快门可变回到关闭位置。
可选地，快门过程可以是电子的。例如，在CCD图像传感器的电子快门被“打开”之前，可以重置传感器以去除其光电二极管中的任何残留信号。当电子快门保持“打开”状态时，光电二极管可积累电荷。当快门“关闭”时或之后，可以读出累积电荷并将结果传输到长时间数据存储。机械和电子快门的组合也是可能的。
无论类型如何，快门都可以通过快门按钮之外的其他形式被激活和/或控制。例如，快门可以通过软键、定时器或其他触发器来激活。这里，术语“图像采集”可以指代可以导致记录一个或多个图像的任何机械和/或电子快门过程，而不管快门过程如何被触发或控制。
在示例实施例中，用户接口130可用于允许光学成像系统100与人类或非人类用户进行交互，诸如接收来自用户的输入并向用户提供输出。因此，用户接口130可以包括诸如小键盘、键盘、触敏或存在敏感的面板、计算机鼠标、轨迹球、操纵杆、麦克风等输入部件。用户接口130还可以包括一个或多个输出部件，例如显示器132，其可以是多元件触摸屏显示器。其他类型的显示器是可能的并且在此考虑。显示器132可以基于阴极射线管(CRT)、发光二极管(LED)、液晶(LCD)、等离子体或任何其他类型的显示技术或现在已知或以后开发的其他技术。用户接口130还可以被配置为经由扬声器、扬声器插孔、音频输出端口、音频输出设备、耳机、振动器和/或其他类似设备来生成听觉和/或触觉输出。
在一些实施例中，用户接口130可以包括显示器，该显示器用作由光学成像系统100支持的静态相机和/或视频相机功能的取景器。另外，用户接口130可以包括控件134，控件134可以包括一个或多个按钮、开关、旋钮、软键和/或转盘，其便于相机功能的配置和聚焦以及采集图像(例如拍摄照片)。这些按钮、开关、旋钮、软键和/或转盘中的一些或全部可以通过触摸屏界面或存在敏感的面板来实现。具体而言，控件144可以包括快门按钮，以及可操作为调节焦点、视场、缩放、快门速度、光圈和/或ISO的控件，以及其它控件。
可以通过光圈大小、进入光圈的光的亮度、和快门周期的长度(也称为快门速度或曝光长度)的组合来确定所拍摄的图像的曝光。在示例实施例中，曝光可以由光学成像系统100的用户控制。附加地或可选地，AE过程可以提供关于场景内的照明水平的信息。基于AE处理的结果，可以自动选择一些或全部图像采集设置(例如，光圈、快门速度和/或ISO)。另外，光学成像系统100可以包括一个或多个曝光模式。这样的曝光模式可以允许基于AE过程的结果自动控制给定的曝光参数组，同时允许用户选择一个或多个曝光参数。例如，光学成像系统100可以包括在特定照明和/或对象状况下用于图像采集的光圈优先、快门优先、和/或其他“程序”模式。
另外，可以将数字和/或模拟增益施加到图像传感器的图像和/或传感器元件，从而影响曝光。调节图像传感器的灵敏度可以通过改变图像采集设备的ISO来表示。
每次图像采集被触发时，静态相机可以采集一个或多个图像。只要图像采集保持被触发(例如，当保持按下快门按钮时)，视频相机可以以特定速率(例如，每秒30帧或每秒多帧)连续采集图像。
相机可以包括用于控制一个或多个相机功能和/或设置(例如光圈大小，曝光时间，增益等)的软件。此外，某些相机可包括在拍摄这些图像期间或之后数字处理图像的软件。
通信接口140可以允许光学成像系统100使用模拟或数字调制与其他设备、接入网络和/或传输网络进行通信。因此，通信接口140可以辅助诸如普通老式电话服务(POTS)通信和/或因特网协议(IP)或其他分组化通信的电路交换和/或分组交换通信。例如，通信接口140可以包括被布置用于与无线电接入网络或接入点进行无线通信的芯片组和天线。而且，通信接口140可采取或包括诸如以太网、通用串行总线(USB)或高清多介质接口(HDMI)端口的有线接口的形式。通信接口140还可以采取或包括诸如Wifi，
Figure BDA0001598101190000091
全球定位系统(GPS)或广域无线接口(例如WiMAX或3GPP长期演进(LTE))的无线接口的形式或包括无线接口。然而，可以通过通信接口140使用其他形式的物理层接口和其他类型的标准或专有通信协议。此外，通信接口140可以包括多个物理通信接口(例如，Wifi接口、
Figure BDA0001598101190000092
接口和广域无线接口)。
控制器150可以包括处理器152和存储器154。处理器152可以包括一个或多个通用处理器，例如微处理器，和/或一个或多个专用处理器，例如图像信号处理器(ISP)、数字信号处理器(DSP)、图形处理单元(GPU)、浮点单元(FPU)、网络处理器或专用集成电路(ASIC)。另外地或可选地，处理器152可以包括至少一个可编程在线串行编程(ICSP)微控制器。在一些情况下，专用处理器可能能够进行图像处理、图像对准和合并图像等功能。存储器154可以包括一个或多个易失性和/或非易失性存储部件，诸如磁性、光学、闪存或有机存储器，并且可以整体或部分地与处理器152集成。存储器154可以包括可移除的和/或不可移除的部件。
处理器152可以执行存储在存储器154中的程序指令(例如，编译的或非编译的程序逻辑和/或机器代码)以执行本文所述的多个功能。因此，存储器154可以包括其上存储有程序指令的非暂时性计算机可读介质，程序指令在由光学成像系统100执行时使光学成像系统100执行在此说明书或附图中公开的任何方法、过程或操作。处理器152对程序指令的执行可导致处理器152使用由光学成像系统100的多个其他元件提供的数据。具体而言，控制器150和处理器152可对经由图像传感器110采集的图像数据执行操作。图1将控制器150图示为与光学成像系统100的其他元件示意性地分开，控制器150可以物理地位于光学成像系统100的一个或多个元件处或并入其中。例如，在一个实施例中，控制器150可以包括分布式计算网络和/或云计算网络。
控制器150可用于执行如本文所述的多个操作。例如，控制器150可用于执行AE或测量处理，以便确定并选择用于采集多个图像的适当的快门速度和图像传感器灵敏度。
另外，控制器150可以导致图像传感器采集多个图像。特别地，图像可以利用由光学元件120(例如，透镜)的相应位置限定的不同的相应焦距设定来采集。
在一些实施例中，可以在利用光学成像系统100执行AF操作时采集图像。AF是用于在很少或没有来自用户的帮助下聚焦图像采集部件的方法。AF可以自动选择要聚焦的场景区域，或者可以聚焦在场景的预选区域。AF软件可以自动调节图像采集部件的镜头位置，直到它确定图像采集部件足够精确地聚焦在对象上。
下面描述示例性AF方法。然而，该示例仅仅是实现AF的一种方式，并且在本公开的范围内可以使用其他技术。
在基于对比度的AF(contrast-based AF)中，来自图像传感器的图像或多个图像可以被数字分析。特别地，确定像素之间亮度的对比度(例如，最亮像素的亮度与最小亮度像素之间的差)。通常，对比度越高，图像聚焦越好。确定对比度后，调节透镜位置，再次测量对比度。该过程重复进行，直到对比度至少处于某一预定义的值。一旦达到预定义的值，则采集并存储场景的图像。
另外或可选地，可以应用多个AF迭代。也就是说，利用宽间隔焦点位置的初始AF扫描可以提供对“良好”焦点位置的粗略估计。然而，通过尝试在整个图像中或者在焦点处/附近尝试找到更高的对比度值，可以应用具有更精细的焦点位置差的后续扫描，以便迭代到“更好”或“最佳”的焦点位置。
来自图像传感器110的图像数据可以被处理成多个采集图像。在示例实施例中，所采集的数字图像可以被表示为一维，二维或多维阵列的像素。每个像素可以由可以编码各个像素的颜色和/或亮度的一个或多个值来表示。例如，一种可能的编码使用YCbCr颜色模型。在该颜色模型中，Y通道可以表示像素的亮度，并且Cb和Cr通道可以分别表示像素的蓝色色度和红色色度。例如，这些通道中的每一个可以取0到255的值。因此，如果像素是黑色或接近黑色，则像素的亮度可以由0或接近零的值表示，并且如果像素是白色或接近白色，则通过255或255附近的值表示。然而，255的值是非限制性的参考点，并且一些实现可以使用不同的最大值(例如，1023、4095等)。
其他颜色模型，例如红-绿-蓝(RGB)颜色模型或青-品红-黄(CMY)可以与本文的实施例一起使用。此外，图像中的像素可以以多个文件格式表示，包括原始(未压缩)格式或诸如联合图像专家组(JPEG)、可移植网络图形(PNG)、图形交换格式(GIF)等的压缩格式，等等。
在示例实施例中，光学成像系统100可以被配置成以每秒30帧(FPS)的速率采集图像帧。然而，具有更高或更低帧率的光学成像系统是可能的。
另外或替代地，光学成像系统100可以包括具有突发帧速率的“突发”采集模式。突发帧速率可以包括在短时间内比正常快的采集帧速率。例如，在光学成像系统100具有30FPS的“正常”帧速率的场景中，光学成像系统100可操作为提供突发图像数据，其可包括两组以60FPS连续采集的10个图像帧(一组来自每个图像采集系统)。其他突发图像帧量和其他突发帧率是可能的。
控制器150可以被配置为将多个图像组合成聚合图像(aggregate image)。也就是说，多个图像可以合并成单个聚合图像。另外或可选地，可以为每个颜色通道生成聚合图像。在示例实施例中，聚合图像可以包括多个采集图像内的相关像素值的平均值。例如，对于聚合图像中的所有(x，y)坐标，聚合图像中位置(x，y)处的像素可以被分配所有采集图像中位置(x，y)处的像素的平均值。如本文其他地方所述，聚合图像可能由于以下原因而模糊：a)在多次图像采集期间调节焦距设定；以及b)视场缩放或图像“呼吸”，其稍微修改光学成像系统100的视场，并轻微移动在光学元件的不同焦点设置处记录的图像中的场景特征的位置。
基于聚合图像，控制器150可以操作为确定多个传感器元件中的特定传感器元件的状况。换句话说，控制器可以操作为确定特定的热的、死的、卡住的、或遮挡的传感器元件。这一确定可以基于检测特定像素位置中的局部对比度(锐度)的存在，其指示由于传感器元件特性而不是入射照明导致的像素值中的局部偏差。可选地，可基于该信息生成和/或更新传感器元件状况映射图。在这种情况下，传感器元件状况映射图可以与当前时间相关联(例如，时间戳)。这样，基于执行本文描述的校准过程，可以维护和/或周期性地更新传感器元件的状况的历史记录。
控制器150可以操作为使图像传感器采集有效负载图像(payload image)。有效负载图像可能是也可能不是AF过程中采集的多个图像之一。在一些实施例中，有效负载图像可以在完成AF处理之后(例如，在相机处于聚焦状态时)被采集。有效负载图像可以是单个图像、一系列(突发)的连续图像或视频流。
控制器150可以操作为调节有效负载图像中与特定热的、死的、卡住的和/或遮挡的传感器元件相关联的一个或多个像素的值(例如亮度、颜色值等)。也就是说，控制器150可以对来自先前已被映射为有缺陷的或故障的有效负载图像的像素进行调节。
特定像素的值的调节可以包括用至少一个相邻像素的值的平均值替换有缺陷的像素的值。
光学成像系统100可以结合到其他系统或装置中。作为示例，图2A和图2B示出了数字相机设备200的多个视图。例如，图2A示出了根据示例实施例的数字相机设备200的前视图和右视图。数字相机设备200可以是例如移动电话、智能电话、平板电脑或可穿戴计算装置。然而，其他实施例也是可能的。在一个示例实施例中，数字相机设备200可以包括如关于图1所图示和描述的光学成像系统100的一些或全部元件。
数字相机设备200可以包括多个元件，诸如主体202、前置相机204、多元件显示器206、快门按钮208以及其他按钮210。前置相机204可以被定位在操作中通常面向用户的本体202的一侧上，或者在与多元件显示器206相同的一侧上。
图2B示出根据示例实施例的数字相机设备200的后视图(201C)。如图2B所示，数字相机设备200可以进一步包括后置相机212。在这种情况下，后置相机212可以定位在与前置相机204相背的本体202的一侧上。其他布置是可能。而且，将相机称为前置或后置是任意的，并且数字相机设备200可以包括位于主体202的各个侧面上的多个相机。
多元件显示器206可以表示CRT显示器、LED显示器、LCD、等离子显示器或任何其他类型的显示器。在一些实施例中，多元件显示器206可以显示由前置相机204和/或后置相机212采集的当前图像的数字表示，或者可以由任何这些相机中的任意一个或多个采集或最近采集的图像。因此，多元件显示器206可以用作相机的取景器。多元件显示器206还可以支持能够调节数字相机设备200的任何方面的设置和/或配置的触摸屏和/或存在敏感功能。
前置相机204可以包括图像传感器和相关的光学元件，例如透镜。前置相机204可提供缩放能力或可具有固定焦距。在其他实施例中，可更换镜头可与前置相机204一起使用。前置相机204可具有可变机械光圈和机械和/或电子快门。前置相机204也可以被配置成采集静态图像、视频图像、或两者。
前置相机204和后置相机212中的一个或两个可以包括提供入射光以照亮目标对象的照明部件、或与其相关联。例如，照明部件可以提供对于目标对象的闪光或恒定照明。照明部件还可以被配置为提供包括结构光、偏振光和具有特定光谱内容的光中的一种或多种的照明。已知并用于从对象恢复3D模型的其他类型的照明形式在本文实施例的背景下是可能的。
前置相机204和/或后置相机212中的一个或多个可以包括环境光传感器或与环境光传感器相关联，该环境光传感器可以连续地或间或地确定相机可以采集的场景的环境亮度。在一些设备中，环境光传感器可以用于调节与相机(例如，取景器)相关联的屏幕的显示亮度。当确定的环境亮度较高时，可以增加屏幕的亮度级别以使屏幕更易于观看。当确定的环境亮度较低时，屏幕的亮度级别可以降低，也会使屏幕更易于查看以及潜在地节省电量。环境光传感器也可以用于确定图像采集的曝光时间。例如，环境光传感器可以用于“测量”场景以确定快门速度、光圈和/或图像传感器灵敏度。
数字相机设备200可以被配置为使用多元件显示器206以及前置相机204或后置相机212来采集目标对象的图像。例如，多元件显示器206可以提供要采集的图像的预览，以及提供用于选择曝光设置、触发图像采集等的用户接口。另外或替代地，多元件显示器206可在图像采集期间提供照明。拍摄的图像可以是多个静态图像或视频流。可以通过激活快门按钮208，按下多元件显示器206上的软键、或通过某种其他机制来触发图像采集。取决于实施方式，例如，在按下快门按钮208时，在目标对象的适当照明状况下，在将数字相机设备200移动预定距离时，或者根据预定采集计划，可以按照特定时间间隔自动地采集图像。
如上所述，数字相机设备200或另一类型的数字相机的功能可以被集成到诸如无线计算设备、手机、平板电脑、膝上型计算机等的计算设备中。此外，尽管图2A和2B示出了单个前置相机204和单个后置相机212，但是替代的相机布置也是可能的。例如，多视点成像系统在本文中是可能的和预期的。在示例实施例中，多个后置相机可以被布置为多视点阵列(例如，立体对)。这些相机中的每一个都可以是独立的、可独立控制的图像采集部件，其包括光圈、镜头、图像传感器和快门。在这种情况下，数字相机设备200可以指示后置相机同时采集场景的各个单视点图像，然后可以使用这些单视点图像的组合来形成具有深度的立体图像。
图3A-3E图示了根据示例实施例的光学成像系统的多个操作方面。例如，图3A示出根据示例实施例的图像采集场景300的侧视图和俯视图。图像采集场景300可以包括各分别相对于如图1所示和所描述的的相机位于近距、中距、和远距位置处的对象302、304和306。此外，对象302、304和306可以分别相对于光学成像系统100的光轴308布置在左侧、中央和右侧的位置处。
尽管图3A包括仅包括对象302、304和306的场景，但应当理解，为了简洁和解释的目的提供了这样的简化描述。光学成像系统100可以被配置为采集更复杂的场景。例如，光学成像系统100可以被配置成对可以包括任何数量的对象或特征(或缺少这种对象或特征)的多个不同场景成像。
图3B示出根据示例实施例的由光学成像系统100采集的多个图像。所采集的图像可以表示在如图3A所示和所述的图像采集场景300中采集的图像帧。在示例实施例中，当光学成像系统100正在执行AF处理时，可以利用处于不同焦距设定的光学元件采集多个图像或图像突发(burst)。多个图像中的每个图像可以包括有缺陷的和/或遮挡的传感器元件。然而，这样的传感器元件可能难以基于来自单个图像的像素值来识别。在这样的场景中，AF处理可以包括在将焦距设定从近焦距调节到远焦距的同时采集多个图像。例如，在采集第一帧310的同时，光学元件(例如，至少一个镜头)的焦距设定可对应于近焦位置。如此，对象302(最靠近光学成像系统100的对象)可以在第一帧310中表示为聚焦(in-focus)对象312，而对象304和306可以在第一帧310中表示为离焦(out-of-focus)对象314和316。基于焦距设定为近焦位置，第一帧310可具有第一视场。
在采集第二帧320的同时，光学元件的焦点位置可以对应于中间或中等距离的焦点位置。这样，对象304(中距离对象)可以在第二帧320中表示为聚焦对象324，而对象302和306可以在第二帧320中分别表示为离焦对象322和326。基于焦距设定为中距位置，第二帧320可具有第二视场。
在采集第三帧330时，光学元件的焦点位置可对应于远处或无穷远的焦点位置。这样，对象306(远处对象)可以在第三帧330中被表示为聚焦对象336，而对象302和304可以在第三帧330中被分别表示为离焦对象332和334。基于焦距设定是远处位置，第三帧330可以具有第三视场。
另外，如图3B所示，光学元件120所采用的每个焦点位置产生不同的光学放大系数，从而导致每个焦点位置处的不同视场。这种现象通常被称为“焦点呼吸(focusingbreathing)”。这种行为的结果是，由光学元件投影到图像传感器上的场景对象302、304、306的精细特征根据焦点设置改变其在采集图像中的位置。(之后，当这些采集的图像被组合(例如，取平均)在一起时，精细特征的这种未对准导致这些特征在聚合图像340中发生模糊。
应该理解，提供图像帧310、320和330仅仅是为了说明的目的，并且可以根据在此描述的系统和方法来采集更多或更少的图像帧。此外，采集的图像帧不需要包括视场内的任何聚焦对象。也就是说，所采集的图像帧不需要全部或部分聚焦。
图3C示出了根据示例实施例的聚合图像340。聚合图像340可以通过组合来自多个图像(例如，第一图像310，第二图像320和第三图像330)的对应像素来形成。组合来自多个图像的像素可以包括图像的逐像素(pixel-by-pixel)组合。另外地或替代地，可以添加、倍增和/或平均各个图像的各个的图块(tile)或网格部分以提供聚合图像340。可以使用其他方法来组合或聚合来自多个所采集的图像的像素。
在示例实施例中，聚合图像340可以包括模糊的特征。通过聚合在AF扫描期间采集的图像而引入到场景特征中的模糊性可能至少由于：a)在改变焦点的同时使图像的视场缩放(例如，“呼吸”)；和b)基于焦点位置和对象深度采集场景中的散焦对象。即使某些对象在多个图像的某些相应图像帧中聚焦，如果在调节焦点位置的同时采集多个图像，上述两者可导致聚合的图像特征发生模糊。
在示例实施例中，模糊对象342、344和346可以出现在聚合图像340中，其可以分别是对象302、304和306的模糊的表示。另外，一些清晰的(例如，不模糊或至少较不模糊的)对象在场景中可能是明显的。例如，图像特征348可涉及导致热像素的有缺陷的传感器元件。图像特征350可以包括直接在图像传感器的表面上的灰尘颗粒。换句话说，尘埃颗粒可能遮挡一个或多个传感器元件，这可能导致看起来很暗的形状。该形状可能类似于灰尘(例如纤维或其他类型的可识别的颗粒)，并且可能看起来很清晰(例如，是聚焦的)，这取决于灰尘实际上被耦合或附着在哪个光学元件上。图像特征352可以包括导致死像素或暗像素的有缺陷的传感器元件。此外，图像特征354可以包括导致“卡住”或永久灰度级像素的有缺陷的传感器元件。
至少由于图像特征348、350、352和354包含在聚合图像340中并基本上不基于光学元件的焦点位置，所以图像特征348,350,352和354可以看起来清晰或聚焦。也就是说，图像特征348、350、352和354可能是由于传感器元件级的缺陷或遮挡所引起的。这些缺陷不会因为焦点不准而出现光学模糊，并且不会由于光学放大变化(“呼吸”)而改变其在单个图像内的位置。这样，这样的图像特征的像素级表示可以在聚合图像340中基本上显现为聚焦的。
各个图像特征可以基于边缘检测(edge-detection)算法、对比度检测算法、或其他形状/图像识别算法来确定。在示例实施例中，可以经由基于搜索和/或过零边缘(zero-crossing edge)检测方法来检测清晰图像特征。此外，Canny边缘检测、差分边缘检测和Canny-Deriche边缘检测算法都在本文中被具体地考虑。
一般而言，图像识别算法可以操作为识别聚合图像340中具有明显偏离相邻像素的亮度等级(或集体亮度等级)的像素或像素群。例如，可以基于与相邻像素的亮度等级的差相差大于阈值等级来识别图像特征。在示例实施例中，亮度阈值水平可以是给定颜色通道中50个亮度级别。这样，如果聚合图像340中的给定像素与临近和/或相邻像素相比亮度更亮或更暗50个或多于50个的亮度等级，则该给定像素和相应的传感器元件可以被识别为有缺陷的和/或被遮挡的。应该理解，其他阈值水平是可能的。例如，阈值水平可以是25个亮度水平，或者250个亮度水平。较低的阈值可以包括增加的传感器元件部分。因此，在一些情况下，图像清晰度可能由于过度包含传感器元件而受到负面影响。因此，在一些实施例中，阈值水平可以基于期望的或选择的补偿水平来调节。此外，多个阈值水平可以是可调节的，以便补偿与多个颜色通道相关联的传感器元件。在一些实施例中，给定像素的阈值水平可基于相邻像素的噪声水平和/或传感器元件噪声模型而变化。
例如，给定像素可以具有200的亮度等级，并且其八个最接近的相邻像素各自具有等于或小于150的亮度等级。在具有阈值水平为50的亮度水平的上述场景中，基于相对亮度水平的差值等于或大于阈值水平差，可将给定像素识别为热的或卡住的像素。
如本文所使用的，“相邻”像素可以包括“最近相邻”(例如，直接邻近)像素。另外地或可选地，相邻像素可以包括距被确定为死的，热的，卡住的和/或被遮挡的像素有限距离内的一个或多个像素(例如，2至5个像素)。
在一些实施例中，可通过在AE序列期间观察给定传感器元件的输出来进一步研究有缺陷的/被遮挡的传感器元件的性质。例如，给定传感器元件的输出可以提供指示传感器元件是否是死元件、热元件或无缺陷元件的信息。也就是说，如果传感器元件不像相邻元件那样对光进行响应，则可以认为它是死传感器元件。
图3D示出根据示例实施例的传感器元件状况映射图360。传感器元件状态映射图360可以包括指示图像传感器的有缺陷的和/或被遮挡的传感器元件的位置和对应状况的信息。也就是说，作为确定各个传感器元件的状况(例如，死、热、卡住和/或遮挡)的结果，可以将该状况添加到传感器元件状况映射图360，其可以是图像传感器上的一些或全部传感器元件的状况实时的图和/或历史图。
图3E示出根据示例实施例的图像采集场景370。图像采集情景370可以为关于图3A-3D所示出和描述的一些或全部事件提供部分时间线。例如，图像采集情景370可以包括自动曝光AE过程372，其可以发生在t0和t1之间。作为AE处理372的结果，可以基于光线状况、用户设置和/或相机设置来选择一些或全部曝光设置。
图像采集情景370可以包括自动聚焦AF过程374，其可以发生在t1和t2之间。在AF处理374期间，可以在移动光学元件(例如，透镜)的同时采集多个图像(例如，第一帧310，第二帧320和第三帧330)。因此，可以以不同的焦距设定拍摄多个图像中的每一个。在AF过程374之后，相机可被认为是相对于给定焦点和/或场景是“聚焦”的。
在采集多个图像之后，可以从所述图像处理聚合图像340。聚合图像340可以被进一步处理，以便基于聚合图像340中有缺陷的传感器元件对应的像素来识别有缺陷的传感器元件的位置。关于有缺陷的传感器元件的位置的信息可以用于制作或更新传感器元件状态映射图360。在示例实施例中，聚合图像340和传感器元件状态映射图360可以由处理器并行处理。
当光学成像系统例如从t2开始聚焦时，可以采集有效负载图像380。有效负载图像380可以是单个图像、一系列图像(突发)或视频流。有效负载图像380采集可以由用户触发(例如，通过按下快门按钮)或者其可以被自动地触发。在示例实施例中，有效负载图像380可以在AF过程结束之后立即被采集，以使快门延迟最小化。如图3E所示，可以在聚合图像340和传感器元件状况映射图360仍在被处理的同时采集有效负载图像380。然而，有效负载图像380可以替代性地在其他时间采集。
在采集有效负载图像380和处理了传感器元件状况映射图360之后，可以校正有效负载图像380以便提供校正的有效负载图像382。在示例实施例中，有效负载图像380可以基于传感器元件状态映射图360而被调节。例如，对应于传感器元件状态映射图360中的有缺陷的传感器元件的有效负载图像中的像素值可以由相邻像素的值的平均值代替。换句话说，表示来自有缺陷的传感器元件的信号的有效负载图像380中的像素的亮度值可以被有效负载图像380中的周围和/或相邻像素的平均值替代。作为示例，替换值可以是四个最近相邻像素(例如，相对于对应于有缺陷的传感器元件直接向右、向左、向上和向下的像素)的值的平均值。另外或替代地，替换值可以是八个最近相邻像素(例如，还包括左上、右上、左下和右下的“角”像素的像素)的值的平均值。其他替代像素值和相邻像素组是可能的。
在示例实施例中，经校正的有效负载图像382可以经由光学图像系统的多元件显示器来显示。附加地或可选地，经校正的有效负载图像382可以被存储在存储器中和/或被发送到另一个设备。
虽然图3E示出了本文描述的多个操作的特定顺序和布置，但应理解，特定的时序和曝光持续时间可以变化。此外，一些操作可以被省略、添加和/或与其他操作并行地执行。
III.示例方法
图4示出根据示例实施例的方法400。方法400可以包括多个框或步骤。这些框或步骤可以单独或组合进行。这些框或步骤可以以任何顺序和/或串行或并行地执行。此外，框或步骤可以被省略或添加到方法400。
方法400的一些或全部框可涉及如参照图1、2A和2B所示和所述的光学成像系统100或数字相机设备200的元件。例如，方法400的一些或所有框可以由控制器150和/或处理器152和存储器154执行。此外，方法400的一些或全部框可以与关于图3A-3E所示和所述的操作相似或相同。
框402包括经由图像传感器采集多个图像。图像传感器包括多个传感器元件，并且传感器元件被配置为表示(represent)采集的多个图像中的相应像素。
可选地，该方法可以包括在采集多个图像之前或同时测量图像传感器的视场。基于该测量，可以选择采集多个图像所用的图像传感器的快门速度和灵敏度。
框404包括在采集多个图像的同时调节光学元件的至少一个性质。光学元件耦合到图像传感器。在一些实施例中，调节光学元件可以包括调节以下方面中的一个或多个：调节光学元件的视场、调节光学元件的变焦设置、调节光学元件的光圈设置、或者调节光学元件的焦点位置。
如本文其他地方所述，可以在AF过程期间执行调节光学元件。也就是说，可以相对于图像传感器调节光学元件的位置，从而针对多个采集图像中的每个图像实现不同的焦距设定。
框406包括将多个图像组合成聚合图像。在示例实施例中，将多个图像组合成聚合图像可以包括对多个图像的对应像素值进行平均。通常，与任何单独图像相比，聚合和/或平均的过程提供了对于聚合图像中的随机噪声的降低。此外，将多个图像组合成聚合图像使得对有缺陷/被遮挡的传感器元件的检测更为可靠。
框408包括基于聚合图像确定多个传感器元件中的特定传感器元件的状况。作为示例，所确定的状况可以包括以下中的一个或多个：功能性传感器元件、热传感器元件、暗传感器元件或被遮挡的传感器元件。
在示例实施例中，确定特定传感器元件的状况可以包括将聚合图像中的相应像素的值与至少一个相邻像素的值进行比较。另外，所述确定可以包括基于所述比较来确定相应像素与所述至少一个相邻像素之间的差高于预定阈值。
可选地，该方法还可以包括将所确定的状况映射到传感器元件状况映射图中。也就是说，在识别出有缺陷的或被遮挡的传感器元件时，该传感器元件的状况可以与映射图中的对应位置关联，该位置包括指示图像传感器上类似的有缺陷的/被遮挡的传感器元件的信息。采集的图像可以通过调节对应传感器元件状态映射图中的有缺陷的/被遮挡的传感器元件的像素值来校正。
框410包括在有效负载图像中调节与特定传感器元件相关联的特定像素的值。在示例实施例中，调节特定像素的值可以包括将特定像素的值设置为至少一个相邻像素的对应值。另外地或替代地，调节特定像素的值可以包括将特定像素的值设置为多个相邻像素的对应的平均值。
图5A示出根据示例实施例的由数字相机设备采集的图像510。图像510已经使用相对高的ISO来采集。此外，图像510包括多个热像素并且可能包含冷像素或遮挡像素。
图5B示出根据示例实施例的由数字相机设备采集的图像520。图像520已经在黑暗环境中使用相对高的ISO来采集。如此，图像520包括显着的噪声，并且已证实难以基于亮度级别的差来识别有缺陷或被遮挡的像素。
图5C示出根据示例实施例的由数字相机设备采集的图像530。图像530已经通过长曝光时间和/或相对低ISO在黑暗环境中被采集。因此，噪声水平远低于图像520的噪声水平。因此，热/死/卡住的像素更容易识别。然而，长时间曝光和/或用户交互以产生黑暗环境(例如戴上镜头盖)都是不理想的。
图5D示出根据示例实施例的由数字相机设备采集的场景的聚合图像540。聚合图像540已经使用关于图4示出和描述的方法框中的至少一些被采集。例如，聚合图像540已经从AF过程期间采集的多个图像合并。
图5E示出根据示例实施例的由数字相机设备采集的有效负载图像550。有效负载图像550可以在AF过程之后被采集，或者可以是在AF过程期间采集的多个图像中的一个。如在图5E中可以观察到的，由于热像素，有效负载图像550包括大量的缺陷(以白点的形式)。
图5F示出根据示例实施例的经校正的有效负载图像560。可以基于通过从聚合图像540识别有缺陷的/被遮挡的传感器元件而创建的传感器元件状况映射图来校正有效负载图像560。有效负载图像550中对应于传感器元件状况映射图中的有缺陷的/被遮挡的传感器元件的像素可以通过用相邻像素的值和/或相邻像素的平均值替换它们各自的值来进行调节，以形成经校正的有效负载图像560。
附图中所示的特定布置不应被视为限制性的。应该理解，其他实施例可以包括给定附图中所示的每个元件中的更多或更少个。此外，所示元件中的一些可以被组合或省略。另外，说明性实施例可以包括未在附图中示出的元件。
表示信息处理的步骤或框可对应于可被配置为执行本文描述的方法或技术的特定逻辑功能的电路。可选地或附加地，表示信息处理的步骤或框可对应于模块、段或程序代码的一部分(包括相关数据)。程序代码可以包括可由处理器执行的一个或多个指令，用于实现该方法或技术中的特定逻辑功能或动作。程序代码和/或相关数据可以存储在任何类型的计算机可读介质上，例如包括磁盘、硬盘驱动器或其他存储介质的存储设备。
计算机可读介质还可以包括诸如像寄存器存储器、处理器高速缓存和随机存取存储器(RAM)那样的短时间存储数据的计算机可读介质的非暂时性计算机可读介质。计算机可读介质还可以包括存储更长时间段的程序代码和/或数据的非暂时性计算机可读介质。因此，计算机可读介质可以包括例如只读存储器(ROM)、光盘或磁盘、光盘只读存储器(CD-ROM)等辅助或持久长期存储。计算机可读介质也可以是任何其他易失性或非易失性存储系统。计算机可读介质可以被认为是例如计算机可读存储介质或者有形存储设备。
尽管已经公开了多个示例和实施例，但是其他示例和实施例对于本领域技术人员而言将是显而易见的。多个公开的示例和实施例是用于说明的目的，而不是限制性的，真正的范围由所附权利要求书指示。

Claims (12)

1.一种图像处理方法，包括：
经由图像传感器采集多个图像，其中，所述图像传感器包括多个传感器元件，所述传感器元件被配置为表示所采集的多个图像中的相应的像素；
其中，所述多个图像利用光学元件的至少一个属性的不同的相应的值而被采集，其中，所述光学元件耦合到所述图像传感器；
将所述多个图像组合成聚合图像；
基于所述聚合图像，确定所述多个传感器元件中的特定传感器元件的状况；
将所确定的特定传感器元件的状况映射到传感器元件状况映射图中，并且将所述传感器元件状况映射图与时间相关联；和
在有效负载图像中，调节与所述特定传感器元件相关联的特定像素的值，其中，调节所述特定像素的值是基于所述传感器元件状况映射图、以及与对应的多个不同时间相关联的多个传感器元件状况映射图的历史记录。
2.根据权利要求1所述的方法，其中，所述多个图像利用由所述光学元件限定的不同的相应的焦距设定而被采集。
3.根据前述权利要求中的任一项所述的方法，其中，利用所述光学元件中的至少一个属性的不同的相应的值采集所述多个图像包括以下至少一个：调节所述光学元件的视场，调节所述光学元件的变焦设定，调节所述光学元件的光圈设定，或调节光学元件的位置。
4.根据权利要求1所述的方法，还包括测量所述图像传感器的视场，并且基于所述测量，选择用于采集所述多个图像的所述图像传感器的快门速度和灵敏度。
5.根据权利要求1所述的方法，其中，利用所述光学元件的至少一个属性的不同的相应的值采集所述多个图像包括使所述光学元件执行自动聚焦过程，其中，所述自动聚焦过程包括相对于所述图像传感器调节所述光学元件的位置，以便为每个相应的图像提供不同的相应的焦距设定。
6.根据权利要求1所述的方法，其中，将所述多个图像组合成所述聚合图像包括对所述多个图像的关联像素值进行平均。
7.根据权利要求1所述的方法，其中，确定特定传感器元件的状况包括：
将相应的像素的值与所述聚合图像中的至少一个相邻像素的值进行比较；和
基于所述比较确定相应的像素与所述至少一个相邻像素之间的差在预定阈值以上。
8.根据权利要求1所述的方法，其中，所确定的状况包括以下至少一个：无缺陷传感器元件、热传感器元件、暗传感器元件、或被遮挡的传感器元件。
9.根据权利要求1所述的方法，其中，调节所述特定像素的值包括将所述特定像素的值设定为至少一个相邻像素的对应值。
10.根据权利要求1所述的方法，其中，调节所述特定像素的值包括将所述特定像素的值设定为多个相邻像素的对应平均值。
11.一种光学成像系统，包括：
图像传感器，其包括多个传感器元件，所述传感器元件被配置为表示所采集的图像中的相应的像素；
光学元件，其耦合到所述图像传感器，并且被配置为限定所采集的图像的焦距设定；和
控制器，其包括存储器和至少一个处理器，其中，所述处理器被配置为执行存储在所述存储器中的指令，以执行根据前述权利要求中任一项所述的方法。
12.一种包括处理器可执行指令的计算机可读介质，所述处理器可执行指令在被执行时使计算机执行根据权利要求1至10中任一项所述的方法。
CN201680053732.4A 2015-12-16 2016-11-30 有缺陷的图像传感器元件的校准 Active CN108028895B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/972,075 2015-12-16
US14/972,075 US9854188B2 (en) 2015-12-16 2015-12-16 Calibration of defective image sensor elements
PCT/US2016/064293 WO2017105846A1 (en) 2015-12-16 2016-11-30 Calibration of defective image sensor elements

Publications (2)

Publication Number Publication Date
CN108028895A CN108028895A (zh) 2018-05-11
CN108028895B true CN108028895B (zh) 2020-10-13

Family

ID=59057282

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680053732.4A Active CN108028895B (zh) 2015-12-16 2016-11-30 有缺陷的图像传感器元件的校准

Country Status (8)

Country Link
US (1) US9854188B2 (zh)
EP (1) EP3308537B1 (zh)
JP (1) JP6717858B2 (zh)
KR (1) KR101879161B1 (zh)
CN (1) CN108028895B (zh)
AU (1) AU2016373981B2 (zh)
CA (1) CA2996751C (zh)
WO (1) WO2017105846A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10489662B2 (en) * 2016-07-27 2019-11-26 Ford Global Technologies, Llc Vehicle boundary detection
US20180205890A1 (en) * 2017-01-18 2018-07-19 Jerry L. Conway, Sr. Single camera dynamic imaging systems and methods of capturing dynamic images
DE102018122049A1 (de) * 2017-09-11 2019-03-14 Vuereal Inc. Anzeigeoptimierungstechniken für mikro-led-vorrichtungen und -arrays
KR102655949B1 (ko) 2018-05-30 2024-04-09 삼성전자주식회사 3d 영상 기반의 얼굴 인증 방법 및 장치
GB201812446D0 (en) * 2018-07-31 2018-09-12 Barco Nv Method and system for mapping the non-uniformity of an image sensor
JP7218516B2 (ja) * 2018-08-30 2023-02-07 株式会社リコー 画像形成装置
US11172192B2 (en) * 2018-12-27 2021-11-09 Waymo Llc Identifying defects in optical detector systems based on extent of stray light
GB2581977B (en) * 2019-03-05 2023-03-29 Advanced Risc Mach Ltd Pixel Correction
KR20200129388A (ko) * 2019-05-08 2020-11-18 엘지이노텍 주식회사 카메라 모듈
CN114009007A (zh) * 2019-06-28 2022-02-01 索尼半导体解决方案公司 发送装置、接收装置和传输系统
CN110493545A (zh) * 2019-09-03 2019-11-22 河海大学常州校区 一种具有热像素校正功能的cmos图像传感器
EP3832538B1 (en) * 2019-12-05 2022-05-11 Axis AB Automatic malfunction detection in a thermal camera
EP3832537A1 (en) 2019-12-05 2021-06-09 Axis AB Thermal camera health monitoring
KR20220043611A (ko) * 2020-09-29 2022-04-05 엘지전자 주식회사 식기 세척기 및 식기 세척기의 카메라 고장 검출 방법
WO2023077426A1 (en) * 2021-11-05 2023-05-11 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image processing device, imaging device, and program

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69426253T2 (de) 1993-10-04 2001-06-21 Raytheon Co Optisches System mit Kompensation des Bildebenenarrays
JP3785520B2 (ja) * 1997-03-19 2006-06-14 コニカミノルタホールディングス株式会社 電子カメラ
US6330371B1 (en) * 1998-10-19 2001-12-11 Raytheon Company Adaptive non-uniformity compensation using feedforward shunting and min-mean filter
US6693668B1 (en) * 1999-06-04 2004-02-17 Canon Kabushiki Kaisha Self-diagnostic image sensor
JP2001086411A (ja) * 1999-09-13 2001-03-30 Matsushita Electric Ind Co Ltd 固体撮像装置
JP2002354340A (ja) * 2001-05-24 2002-12-06 Olympus Optical Co Ltd 撮像装置
JP3784675B2 (ja) * 2001-08-01 2006-06-14 松下電器産業株式会社 撮像装置、撮像方法、およびプログラム
JP4017874B2 (ja) * 2002-01-28 2007-12-05 株式会社ニコンシステム 電子カメラ
US20030179418A1 (en) * 2002-03-19 2003-09-25 Eastman Kodak Company Producing a defective pixel map from defective cluster pixels in an area array image sensor
JP3826878B2 (ja) * 2002-11-19 2006-09-27 コニカミノルタフォトイメージング株式会社 撮像装置
US7372484B2 (en) * 2003-06-26 2008-05-13 Micron Technology, Inc. Method and apparatus for reducing effects of dark current and defective pixels in an imaging device
US7590305B2 (en) 2003-09-30 2009-09-15 Fotonation Vision Limited Digital camera with built-in lens calibration table
US8369650B2 (en) 2003-09-30 2013-02-05 DigitalOptics Corporation Europe Limited Image defect map creation using batches of digital images
US7295233B2 (en) 2003-09-30 2007-11-13 Fotonation Vision Limited Detection and removal of blemishes in digital images utilizing original images of defocused scenes
KR100581514B1 (ko) 2004-03-16 2006-05-22 엠텍비젼 주식회사 가중치 값을 이용한 결함 픽셀 보정 장치 및 방법
JP4480147B2 (ja) * 2004-09-13 2010-06-16 キヤノン株式会社 撮像装置およびその制御方法
US7711259B2 (en) * 2006-07-14 2010-05-04 Aptina Imaging Corporation Method and apparatus for increasing depth of field for an imager
US7684634B2 (en) * 2006-08-29 2010-03-23 Raytheon Company System and method for adaptive non-uniformity compensation for a focal plane array
US20080055434A1 (en) 2006-08-31 2008-03-06 Micron Technology, Inc. Image sensor defect identification using blurring techniques
JP4695571B2 (ja) * 2006-09-14 2011-06-08 三星電子株式会社 撮像装置および撮像方法
KR101354669B1 (ko) * 2007-03-27 2014-01-27 삼성전자주식회사 이미지 센서의 불량 화소 검출 방법 및 장치, 이미지센서로부터의 이미지 획득 방법 및 장치
JP4985124B2 (ja) * 2007-06-08 2012-07-25 カシオ計算機株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
US20100141810A1 (en) 2008-12-04 2010-06-10 Proimage Technology Bad Pixel Detection and Correction
US10091439B2 (en) * 2009-06-03 2018-10-02 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
US9706138B2 (en) * 2010-04-23 2017-07-11 Flir Systems, Inc. Hybrid infrared sensor array having heterogeneous infrared sensors
CN103106927A (zh) * 2011-11-15 2013-05-15 恒景科技股份有限公司 坏点修正方法与装置
US9195899B2 (en) 2012-01-13 2015-11-24 Carestream Health, Inc. Self correcting portable digital radiography detector, methods and systems for same
KR20150023907A (ko) * 2012-06-28 2015-03-05 펠리칸 이매징 코포레이션 결함있는 카메라 어레이들, 광학 어레이들 및 센서들을 검출하기 위한 시스템들 및 방법들
JP2015080152A (ja) * 2013-10-18 2015-04-23 キヤノン株式会社 撮像装置、その制御方法及びプログラム
KR102149463B1 (ko) 2014-02-19 2020-08-28 삼성전자주식회사 이미지를 처리하기 위한 전자 장치 및 방법

Also Published As

Publication number Publication date
JP2019500761A (ja) 2019-01-10
WO2017105846A1 (en) 2017-06-22
EP3308537A1 (en) 2018-04-18
KR20180030718A (ko) 2018-03-23
CA2996751A1 (en) 2017-06-22
EP3308537B1 (en) 2022-03-09
US9854188B2 (en) 2017-12-26
CA2996751C (en) 2018-12-18
JP6717858B2 (ja) 2020-07-08
CN108028895A (zh) 2018-05-11
AU2016373981A1 (en) 2018-01-04
AU2016373981B2 (en) 2019-05-09
US20170180659A1 (en) 2017-06-22
KR101879161B1 (ko) 2018-07-16
EP3308537A4 (en) 2018-12-05

Similar Documents

Publication Publication Date Title
CN108028895B (zh) 有缺陷的图像传感器元件的校准
CN112492170B (zh) 一种用于选择图像数据的方法、装置及计算机可读介质
US11210799B2 (en) Estimating depth using a single camera
US9253375B2 (en) Camera obstruction detection
EP3053332B1 (en) Using a second camera to adjust settings of first camera
US20180146182A1 (en) Video frame processing method
US20130113888A1 (en) Device, method and program for determining obstacle within imaging range during imaging for stereoscopic display
KR20200031168A (ko) 듀얼 카메라를 이용한 이미지 처리 방법 및 이동 단말기
CN103918249B (zh) 成像装置和成像方法
CN111630837B (zh) 图像处理装置、输出信息控制方法以及程序
US20160360093A1 (en) Imaging apparatus, imaging method, and storage medium
US20110043674A1 (en) Photographing apparatus and method
JP5387341B2 (ja) 撮像装置
JP2017223865A (ja) 撮像装置及び自動焦点調節方法
JP6415106B2 (ja) 撮像装置及びその制御方法、並びに、プログラム
JP4886473B2 (ja) 撮像装置および撮像方法
JP2011082921A (ja) 撮像装置及び撮像システム
JP2018189856A (ja) 撮像装置、その制御方法、および制御プログラム
KR20130096345A (ko) 이미지를 광량상태에 따라 보정하는 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant