CN101843090B

CN101843090B - 白/黑像素校正装置和方法以及成像系统

Info

Publication number: CN101843090B
Application number: CN200880114259.1A
Authority: CN
Inventors: 李洪军; 董煜茜; 何新平
Original assignee: Omnivision Technologies Inc
Current assignee: Omnivision Technologies Inc
Priority date: 2007-10-30
Filing date: 2008-10-21
Publication date: 2013-01-16
Anticipated expiration: 2028-10-21
Also published as: US20090110324A1; CN101843090A; TW200939741A; WO2009058616A1; EP2213088A1

Abstract

公开了一种包括图像传感器的装置的实施例，图像传感器包括含有多个像素的像素阵列、与所述像素阵列耦合的检测电路、与检测电路耦合的校正电路，检测电路用于检测像素阵列中的潜在白/黑像素缺陷，校正电路用于校正被检测电路检测出的潜在白/黑像素缺陷。装置还包括与图像传感器耦合的数字信号处理器，该数字信号处理器包括存储器以及与存储器耦合的处理器，存储器中具有像素阵列中的缺陷像素的列表，处理器用于将每个像素与缺陷像素列表进行交叉核对，并校正被发现存在于缺陷像素列表中的每个像素的数字值。他实施例也已被公开和要求保护。

Description

白/黑像素校正装置和方法以及成像系统

技术领域

本发明一般地涉及图像传感器，尤其是，但并非唯一地，涉及图像传感器中的白/黑像素缺陷校正。

背景技术

现今半导体处理的生产进步已经使出现在任意给定半导体器件中的缺陷的数量显著减少了，但是每个生产过程的固有限制造成不可能完全消除缺陷。因此，不管生产过程多么好，完成的半导体器件中还继续存在缺陷。如果缺陷十分严重，得到的器件经常必须被扔掉，导致产量下降和成本增长。但是，如果缺陷轻微，其通常可通过运行于半导体器件自身的电路或逻辑或通过半导体器件信号的后端处理来补偿。

对于图像传感器，一种常见类型的生产缺陷称为白/黑像素缺陷。图像传感器通常包括各个像素的阵列，这些像素因光入射到像素而聚集电荷。当一个具体像素输出了一个与周围其他像素输出的信号显著不同的信号时，发生了白/黑像素缺陷。因此，如果一个具体像素输出了对应于黑色(即，一个强度非常低的信号)的一个信号，但是一些或所有周围像素都输出了对应于白色(即，一个强度非常高的信号)的信号，则这很可能是由于输出了低强度信号的那个像素中存在某种缺陷。

幸运的是，除非有大群连续的有缺陷的像素，白/黑像素缺陷是可以被补偿的。但是，现存的补偿白/黑像素缺陷的方法都慢、低效，并消耗计算资源，因此减缓了图像传感器捕捉图像并降低了其性能。

附图说明

通过参考下述附图描述了非限制性并且非穷尽的本发明实施例，其中，除非明确说明，贯穿各个视图中，相似的标号指相似的部件。

图1是白/黑像素校正装置的一个实施例的示意框图。

图2是用于校准如图1所示的白/黑像素校正装置的过程的一个实施例的流程图。

图3是用于操作如图1所示的白/黑像素校正装置的过程的一个实施例的流程图。

图4是使用如图1所示的白/黑像素校正装置的图像系统的一个实施例的示意框图。

具体实施方式

此处说明了在图像传感器中用于白/黑像素校正的设备，系统和流程的实施例。在下列描述中，描述了众多具体细节以提供对本发明实施例的完整理解。但是，本领域技术人员将认识到，本发明可无需一个或多个具体细节而被实现，或通过其他方法，部件，材料等实现。在其他示例中，已知的结构，材料或操作并未被具体显示或描述，但是其也包含在本发明范围内。

贯穿本发明的参考“实施例”或“一个实施例”意思是与该实施例一同描述的特定特性，结构或特征被包括在本发明的至少一个实施例中。因此，本发明中出现的短语“在实施例中”或“在一个实施例中”并不必要完全指同一实施例。另外，特定特性，结果或特征可通过任意合适的方式组合在一个或多个实施例中。

图1示出了用于白/黑像素校正的设备100的实施例。设备100包括图像传感器102，其包含像素阵列104和动态像素校正电路110。像素阵列104是二维的，并包括多个分布在行106和列108中的像素。在像素阵列104捕捉图像的操作中，阵列中的每个像素在一定曝光周期捕捉入射光(即，光子)，并将收集到的光子转换成电荷。每个像素生成的电荷可被读出为模拟信号，该模拟信号的诸如电量，电压或电流的特征可代表在曝光周期期间入射到像素的光的强度。

示出的像素阵列104是被常规整形的，但是在其他实施例中，阵列可以具有与所示不同的常规或非常规排列，并可以包括比所示更多或更少的像素、行或列。另外，在不同的实施例中，像素阵列104可以是彩色图像传感器，其包括设计用于捕捉在光谱可见区域的图像的红色、绿色和蓝色像素，或可以是黑白图像传感器和/或设计用于捕捉在诸如红外或紫外的不可见光谱区域的图像的传感器。

当应用像素阵列104捕捉图像后，阵列中的一个或多个像素可能表现出潜在的白/黑像素缺陷。给定像素是否表现出潜在的白/黑缺陷是通过将该像素的信号强度与至少一个其周围的像素的信号强度相对比而确定的。因此，在像素阵列104中，如果像素D的强度与其周围像素1-8中的一个或多个像素显著不同，则像素D有潜在白/黑像素缺陷。像素D被认为具有潜在白/黑像素缺陷，因为在某些情况下，像素D和其周围像素1-8的强度差异可能实际上并非是个缺陷，而是被像素阵列104捕捉的图像的真实特征。例如，如果像素阵列104被用于捕捉一个物体的图像，该物体在亮暗区域间有突变和/或高频率变化，则可能是像素D和其周围像素的差异是对情景特征的准确捕捉，而非缺陷导致的结果。

缺陷像素检测电路109与像素阵列104耦合，并包括电路系统和相关联的逻辑以从像素阵列104中每个像素接收输出。缺陷像素检测电路109分析来自像素阵列104的模拟输入，以检测潜在白/黑像素缺陷。缺陷像素检测电路109通过对比像素信号的强度和其周围至少一个像素的强度来确定潜在白/黑像素的存在。因此，在像素阵列104中，如果像素D的强度比其周围像素1-8中的一个或多个像素的强度显著不同，则像素D具有潜在白/黑像素缺陷。

动态像素校正电路110与缺陷像素检测电路109耦合，并使用这里出现的电路系统和逻辑来试图校正由缺陷像素检测电路109识别出的潜在的白/黑像素缺陷。动态像素校正电路110应用的校正可在不同实施例中被以不同方式实现。在一个实施例中，像素D的值通过将其替换为周围像素1-8中的一个的值而被校正。其他实施例可以有更复杂的校正机制。例如，在一个实施例中，像素D的值可通过线性插值法或一些高阶插值法，从周围像素1-8中的一些或所有像素中插值。在另一示例中，像素D的值可被替换为周围像素1-8的均值或加权均值。在另一些实施例中，像素D可以基于不是像素1-8的其他像素被校正，或通过像素1-8及其他像素一起被校正。在一些实施例中，动态像素校正电路110无法知道给出的像素D是否真正存在缺陷。因此，在一个实施例中，不管是否真的存在缺陷，动态像素校正电路110对每个潜在缺陷像素D执行校正。

动态像素校正电路虽然在图中显示为独立于像素阵列104的元件，但是，在一些实施例中，动态像素校正电路可以与像素阵列104集成在同一基底上，或可以包括像素阵列中的电路系统和逻辑。但是，在其他实施例中，如图所示，动态像素校正电路110可以是位于像素阵列104之外的元件。在其他一些实施例中，动态像素校正电路不仅可以是位于像素阵列104之外的元件，还可以是位于图像传感器102之外的元件。

信号调整器112与图像传感器102相耦合以从像素阵列104和动态像素校正电路110接收并调整模拟信号。在不同实施例中，信号调整器112可以包括各种用于调整模拟信号的部件。可在信号调整器中找到的组件示例包括滤波器、放大器、偏移电路、自动增益控制等。

模数转换器(ADC)114与信号调整器耦合以从信号调整器112接收对应于像素阵列202中的每个像素的调整后的模拟信号，并将这些模拟信号转换为数字值。

数字信号处理器(DSP)与模数转换器耦合以从ADC 114接收数字化的像素数据，并处理该数字数据来产生一个最终的数字图像。DSP116包括处理器117，处理器117可以在存储器118中存储并检索数据，存储器中可存储包括像素阵列104中已知有缺陷的像素的信息的数据结构120。在示出的实施例中，存储器118集成在DSP 116内，但是，在其他实施例中，存储器118可作为与DSP 116耦合的独立元件。处理器117可以执行各种功能，包括处理像素、对照其标识符在数据结构120中的像素来对像素进行交叉核对，等等。

数据结构120可以是任何种类的能够保存所需像素数据的数据结构；使用的数据结构的确切类型将依赖于为设备100设置的操作要求。在一个实施例中，数据结构120可以是一个查找表，但是在另一实施例中，数据结构120可以是更复杂的某种数据结构，例如数据库。数据结构120中所列缺陷像素由缺陷像素在像素阵列104中的位置来标识。在所示实施例中，缺陷像素在数据结构120中通过一个像素标识符被标识，该标识符包括一对数字I和J，其表示在像素阵列104中缺陷像素的行和列。但是在其他实施例中，可以在数据结构120中应用其他方式来标识缺陷像素。例如，在一个实施例中，像素阵列104具有各自可寻址的像素数据结构120，其可以包括缺陷像素的地址来代替像素阵列中它们行列的坐标(I，J)。如以下结合图2所描述的，数据结构120中的条目可以在设备100的初始校准中生成。

图2示出一个过程200的实施例，该过程校准如图1所示的白/黑像素缺陷校正装置100。开始于框202，由图1的实施例中的动态像素校正块110实现的动态像素校正被关闭，因而它将在校准过程期间不校正或不试图校正任何潜在缺陷像素。在框204，一个全黑或全白目标被确立，使得该目标的图像可以被图像传感器102中的像素阵列104捕获。在一个实施例中，整个校准200可以首先利用白目标进行，然后利用黑目标重复进行，或以相反的次序进行，但在其他实施例中，校准可以仅通过白目标或黑目标中的一者来完成。在框206，目标的图像被图像像素阵列104捕获，在框208，来自像素阵列的模拟像素数据被数字化。

在框210，各个像素的数字值被分析以辨认缺陷像素。在某一实施例中，为了辨认缺陷像素，每个像素的值与其周围像素的值进行比较。因为被捕获了图像的目标不是全黑就是全白，所以在像素阵列104中的所有像素的数字值应该是一样的。如果某一像素的数字值和其周围像素的数字值间存在大的差异，那么，所讨论的该像素几乎可以被确定为是有缺陷的。因而，如果某一像素的值显著高于一个或多个其周围像素的值(对于使用全黑目标的校准)，或显著低于一个或多个其周围像素的值(对于使用全白目标的校准)，则该像素被认为是有缺陷的。在其他实施例中，可以使用其他用于确定像素是否为有缺陷的方法。

如果作为框210的像素分析的结果，在框212发现有缺陷像素，那么，在框214，有缺陷像素的位置被加入到DSP 116中的数据结构120中。在一个实施例中，有缺陷像素的位置是通过将其像素标识符(在一个实施例中是行列坐标)置入有缺陷像素的查找表中而被标记出的，但是，在其他实施例中，可以用不同于上述描述的方法来实现。当在框214把有缺陷像素的位置加入到数据结构120之后，在框216，该过程检查是否要分析更多像素。如果有更多的像素需要分析，该过程返回到框210并分析下一个像素；如果没有更多的像素需要分析(即，像素阵列104中的所有像素都已被分析)，该过程返回到框218，校准过程检查是否有更多的校准目标要用于校准；如上文所述，如果初始校准是利用黑目标实施的，可以利用白目标重复执行，或与之相反，来识别更多的缺陷像素。

如果在框218另一个目标被用于校准，则该过程返回到框204，其中新的目标被确立并为新目标进行框206至216。如果在框218处没有另外的校准目标，则该过程进行至框220，其中动态像素校正被重新开启，使得可以在操作过程中校正任何潜在缺陷像素。然后该过程进行到框222，校准停止。

图3示出了操作白/黑像素校正装置100(诸如图1所示)的过程300的一个实施例。在框302，图像传感器102被用于捕捉某个场景或物体的图像。在图像在框302被捕捉后，在框304，动态像素校正块110分析来自像素阵列104中各个像素的模拟信号，以识别潜在白/黑像素缺陷。作为在框304的像素分析的结果，如果在框306发现潜在白/黑缺陷像素，则在框308，潜在缺陷像素被如上所述的动态像素校正电路110校正。

在框310，从图像传感器102接收到的模拟像素数据被数字化。当像素数据被数字化后，在框312，每个像素的像素标识符与在数据结构120中的像素标识符进行交叉核对，以确定其是否被标识为缺陷像素。作为在框312对像素交叉核对的结果，如果在框314发现了缺陷像素，则在框316，缺陷像素如上所述地被DSP 116校正。在框318，该过程检查是否还有像素未与列出在数据结构120中的缺陷像素进行交叉核对，并且如果需要的话对其进行校正。如果在框318还有剩余像素未被交叉核对，该过程返回至框312并对所有剩余像素进行交叉核对。如果在框318，没有剩余像素未被交叉核对，则该过程进行到框320，其中DSP 116的过程被终止。

图4示出一个图像系统400的实施例，该系统应用诸如图1所示的白/黑像素校正设备100的白/黑像素校验设备。光学系统402(其可以包括折射光学系统、衍射光学系统、反射光学系统，或其组合)与图像传感器102耦合以将图像聚焦于像素阵列104的像素上。像素阵列104捕捉图像，设备100的剩余部如上面结合图1和图3所述地处理图像的像素数据。一旦任何缺陷像素数据都已经被校正，最终的数字图像数据可从DSP 118输出到显示单元406和存储器或存储单元408，或二者之一。

上述对本发明示出实施例的描述(包括摘要中的描述)，并非意欲穷尽或将本发明限制于所公开的具体形式。虽然为示出目的，本发明的具体实施例和示例在此处被详尽描述，但是，本领域技术人员应认识到，在本发明的范围内，各种等同更改是可行的。根据详尽的说明，可以做出这些更改。

权利要求中所应用的术语不应被理解为将本发明限制于公开在说明书和权利要求中的具体实施例。更确切的，本发明的范围完全由权利要求确定，权利要求可以根据已经确立的权利要求解释准则来理解。

Claims

1.一种白/黑像素校正装置，包括：

图像传感器，该图像传感器包括：

包括多个像素的像素阵列，

与像素阵列耦合的模拟检测电路，用以检测像素阵列中的潜在白/黑像素缺陷，以及

与检测电路耦合的模拟校正电路，用以校正被模拟检测电路检测到的所有潜在白/黑像素缺陷；以及

与所述模拟校正电路耦合的模数转换器，用以将所有模拟像素值，包括任何经校正的模拟值，转换为数字像素值；

与模数转换器耦合的数字信号处理器，所述数字信号处理器包括：

存储器，其中具有所述像素阵列中的缺陷像素的预先确定的列表，以及

与所述存储器耦合的处理器，用以将每个像素与所述缺陷像素的列表交叉核对，并校正被发现在所述缺陷像素的列表中的每个像素的数字值。

2.如权利要求1所述的装置，其中，所述缺陷像素的列表被保存在所述数字信号处理器中的数据结构中。

3.如权利要求2所述的装置，其中，所述数据结构是查找表。

4.如权利要求1所述的装置，其中，检测潜在白/黑像素缺陷包括将像素的强度与至少一个周围像素的强度相比较。

5.如权利要求4所述的装置，其中，校正潜在白/黑像素缺陷包括用基于至少一个周围像素的模拟值的模拟值来替换潜在缺陷像素的模拟值。

6.如权利要求1所述的装置，其中，像素的所述列表是通过校准而预先确定的。

7.如权利要求1所述的装置，还包括与所述图像传感器和所述模数转换器相耦合的信号调整器。

8.一种白/黑像素校正方法，包括：

识别像素阵列中具有潜在白/黑像素缺陷的像素；

校正被识别为具有潜在白/黑像素缺陷的所有像素的模拟输出；

将所有模拟像素值，包括任何经校正的模拟值，转换为数字像素值；

将每个像素与缺陷像素的预先确定的列表交叉核对；以及

校正被发现在所述缺陷像素列表中的每个像素的数字值。

9.如权利要求8所述的方法，其中，识别具有潜在白/黑像素缺陷的像素包括将来自每个像素的模拟信号的强度和来自至少一个周围像素的模拟信号的强度相比较。

10.如权利要求8所述的方法，其中，校正潜在白/黑像素缺陷包括用基于至少一个周围像素的模拟值的模拟值来替换所述像素的模拟值。

11.如权利要求8所述的方法，其中，对照验缺陷像素列表进行交叉核对的步骤包括在数据结构中查找像素标识符。

12.如权利要求11所述的方法，其中，所述数据结构是查找表。

13.如权利要求8所述的方法，其中，像素的所述列表是通过校准而预先确定的。

14.一种成像系统，包括：

光学元件；

图像传感器，所述图像传感器包括：

包括多个像素的像素阵列，

与检测电路耦合的模拟校正电路，用以校正被检测电路检测到的潜在白/黑像素缺陷；

与所述存储器耦合的处理器，用以将每个像素与所述缺陷像素的列表交叉核对，并校正被发现在所述缺陷像素的列表中的每个像素的数字值；以及

与所述数字信号处理器耦合的显示单元和存储单元，或二者之一。

15.如权利要求14所述的系统，其中，已知有缺陷的像素的列表被保存在所述数字信号处理器中的数据结构中。

16.如权利要求15所述的系统，其中，所述数据结构是查找表。

17.如权利要求14所述的系统，其中，检测潜在白/黑像素缺陷包括将像素的强度与至少一个周围像素的强度相比较。

18.如权利要求14所述的系统，其中，校正潜在白/黑像素缺陷包括用基于至少一个周围像素的模拟值的模拟值来替换所述像素的模拟值。

19.如权利要求14所述的系统，其中，像素的所述列表是通过校准而预先确定的。

20.如权利要求19所述的系统，还包括与所述图像传感器和所述模数转换器相耦合的信号调整器。

21.如权利要求14所述的系统，其中，所述光学元件包括折射光学元件，衍射光学元件或反射光学元件中的一个或多个。