CN112188126A - 具有自测黑电平校正的图像传感器 - Google Patents
具有自测黑电平校正的图像传感器 Download PDFInfo
- Publication number
- CN112188126A CN112188126A CN202010622835.6A CN202010622835A CN112188126A CN 112188126 A CN112188126 A CN 112188126A CN 202010622835 A CN202010622835 A CN 202010622835A CN 112188126 A CN112188126 A CN 112188126A
- Authority
- CN
- China
- Prior art keywords
- image
- black level
- image sensor
- imaging system
- black
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012937 correction Methods 0.000 title claims abstract description 58
- 238000012360 testing method Methods 0.000 title abstract description 29
- 238000003384 imaging method Methods 0.000 claims abstract description 112
- 238000005259 measurement Methods 0.000 claims abstract description 106
- 238000004364 calculation method Methods 0.000 claims abstract description 12
- 230000004044 response Effects 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims description 45
- 230000008569 process Effects 0.000 description 18
- 230000015556 catabolic process Effects 0.000 description 16
- 238000006731 degradation reaction Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 5
- 238000003491 array Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000009792 diffusion process Methods 0.000 description 4
- 230000007257 malfunction Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000000670 limiting effect Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 230000001010 compromised effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 241000593989 Scardinius erythrophthalmus Species 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000021384 green leafy vegetables Nutrition 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 229910052745 lead Inorganic materials 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 201000005111 ocular hyperemia Diseases 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
- H04N25/633—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
本申请涉及具有自测黑电平校正的图像传感器。一种成像系统包括图像传感器和黑电平校正BLC电路。所述图像传感器包含适于响应于入射光而产生图像信号的图像像素阵列及适于产生表示所述图像传感器的黑电平值的黑色参考信号的暗像素阵列。所述BLC电路适于至少部分地基于所述暗像素阵列的所述黑色参考信号而调整所述图像像素阵列的所述图像信号。所述BLC电路包含多个测量电路,用于从所述暗像素阵列读出所述黑色参考信号以确定所述图像传感器的所述黑电平值。所述BLC电路还包含多个计算电路,用于至少部分地基于根据所述多个测量电路确定的所述黑电平值而计算BLC值。
Description
技术领域
本公开大体上涉及图像传感器,且具体地但非排他性地说,涉及图像传感器的黑电平校准。
背景技术
图像传感器越来越普遍,现在广泛用于数码相机、蜂窝式电话、安全相机,以及医疗、汽车和其它应用。随着图像传感器被集成到更广泛的电子装置中并且它们的功能不断扩展,希望通过装置架构设计以及通过图像采集后处理以尽可能多的方式增强图像传感器的性能度量(例如分辨率、功耗、动态范围等等)。
典型的图像传感器响应于从外部场景入射到图像传感器上的图像光而操作。图像传感器包含具有光敏元件(例如光电二极管)的像素阵列,所述光敏元件吸收入射图像光的一部分并在吸收图像光时产生图像电荷。可以将每个像素的图像电荷测量为每个像素的输出电压,该输出电压依据入射图像光而变化。换句话说,产生的图像电荷量与图像光的强度成比例,图像光用于产生表示外部场景的数字图像(即,图像数据)。然而,由于暗电流影响从图像传感器的各个像素测量的图像电荷(例如,使输出电压增加),图像传感器可产生外部场景的不精确表示,这可能会阻碍图像传感器产生忠实再现外部场景的光学特性(例如,强度、颜色等)的数字图像。
发明内容
在一个方面,本申请提供一种成像系统,其包括:图像传感器,其包含图像像素阵列和暗像素阵列,其中所述图像像素阵列适于响应于入射光而产生图像信号,其中所述暗像素阵列适于产生表示所述图像传感器的黑电平值的黑色参考信号;以及黑电平校正(BLC)电路,其用于至少部分地基于所述暗像素阵列的所述黑色参考信号而调整所述图像像素阵列的所述图像信号,所述BLC电路包含:多个测量电路,其用于从所述暗像素阵列读出所述黑色参考信号以确定所述图像传感器的所述黑电平值,其中所述多个测量电路的总数大于所述图像传感器的颜色通道总数;以及多个计算电路,其用于至少部分地基于根据所述多个测量电路确定的所述黑电平值而计算BLC值。
在另一个方面,本申请提供一种用于在捕获图像帧时进行黑电平校正(BLC)的方法,所述方法包括:采集表示图像传感器针对所述图像帧的黑电平值的黑色参考信号,其中所述黑色参考信号是多通道信号,其中单独通道与包含在所述图像传感器的多个颜色通道中的对应颜色通道相关联,其中采集所述黑色参考信号包含:向包含在多个测量电路中的单独测量电路选择性地指派所述黑色参考信号的所述单独通道,其中所述多个测量电路的总数大于所述多个颜色通道的总数;以及利用所述多个测量电路从所述图像传感器读出所述黑色参考信号以确定与所述图像帧相关联的所述多个颜色通道中的每一个的所述黑电平值,其中在基于所述单独测量电路的所述选择性指派进行的所述读出期间,包含在所述多个测量电路中的一或多个单独测量电路是不活动的。
附图说明
参考以下图式描述本发明的非限制性且非穷尽性的实施例,其中除非另外指定,否则遍布各图的相同参考标号指代相同的部件。在适当时,不一定标记元件的所有例项,以免使图式混乱。图式不必按比例绘制,而是重点在于说明所描述的原理。
图1A是根据本公开的教示内容的示出包含图像像素阵列的成像系统的功能框图,所述图像像素阵列光学耦合到彩色滤光片阵列以捕获外部场景的数字图像或视频。
图1B是根据本公开的教示内容的具有自测黑电平校正的成像系统的功能框图。
图2是根据本公开的教示内容的示出可以包含在图1A-1B的成像系统中的两个四晶体管像素的像素电路的电路图。
图3是根据本公开的教示内容的示出执行自测黑电平校正过程的成像系统的功能框图。
图4A-4B示出根据本公开的教示内容的用于自测黑电平校正的复位和旋转方案的示例性功能框图。
图5示出根据本公开的教示内容的用于在自测黑电平校正时捕获图像帧的方法。
具体实施方式
本文描述用于自测黑电平校正的设备、系统和方法的实施例。在下面的描述中,阐述了许多具体细节以提供对实施例的透彻理解。然而,本领域技术人员将认识到,在没有一或多个具体细节的情况下,或者在使用其它方法、组件、材料等的情况下,可以实施本文所描述的技术。在其它情况下,未详细示出或描述公知的结构、材料或操作以免使某些方面模糊不清。
在整个本说明书中提到“一个实施例”或“一实施例”意味着结合所述实施例描述的特定特征、结构或特性包含在本发明的至少一个实施例中。因此,贯穿本说明书在不同位置中出现短语“在一个实施例中”或“在一实施例中”未必都是指同一个实施例。此外,在一或多个实施例中,特定特征、结构或特性可以任何合适的方式组合。
贯穿本说明书,使用若干技术术语。除非在本文中特别定义,或其使用情境明显表明其它情况,否则这些术语将采用其在其所出现的领域中的普通含义。应注意,元件名称和符号在本文中可互换使用(例如Si与硅);但是,两者具有相同含义。
随着时间的推移,图像传感器和/或其基础组件、电路等可能遭受故障、劣化或其它错误,这些错误不一定会阻止图像传感器的操作,但在捕获数字图像或视频时可能会对成像质量产生不利影响。例如,用于形成用于测量图像传感器的黑电平值的暗像素阵列的遮光罩的劣化可导致不准确的暗电流测量。这种劣化或故障可能导致外部场景被不准确地渲染,因为成像时图像传感器的黑电平可依据外部场景的特性(例如,白天和夜晚场景)、图像传感器的操作条件(例如,温度、曝光持续时间等)等等而变化。
因此,对于任何图像传感器,尤其是负责在低光条件下提供成像的图像传感器,如汽车和监控图像传感器,理想的是具有清晰和准确的黑电平,使得由图像传感器产生的数字图像或视频忠实再现外部场景的光学特性。在由于低光条件而使曝光时间增加、温度处于图像传感器操作范围的高端的应用中,或者在其它具有低信噪比(例如,关于图像信号和黑电平)的此类状况中,暗电流的影响可变得明显并且应该被准确地确定。否则可能会导致外部场景的不准确表示(例如,图像传感器的动态范围可能减小,从而导致外部场景的细节模糊,例如行人的位置、物体等)。
本文中所描述的是可用于提供图像数据(例如,由图像传感器响应于入射光而产生的图像信号)的自测黑电平校正的设备、成像系统和方法的实施例。具体地说,本公开的实施例提供综合检查和冗余,它们可以有利地用于确定所测量的暗电流是否准确地表示图像传感器的黑电平。确切地说,在实施例中,在对各个黑电平测量电路、计算电路以及旋转方案自身的自测故障或劣化进行黑电平校正期间,利用复位和旋转方案。在相同或其它实施例中,额外特征可包含用于确定与图像传感器的不同颜色通道相关联的黑电平值之间的差是否在通道平衡阈值内的通道平衡检查(channel balance check)、用于检查黑电平校正值的帧间一致性的闪烁检查(flicker check),以及用于确定黑电平值是否在基于图像传感器的操作参数的预期黑电平范围内的合理性检查(sanity check)。有利的是,单独地和/或共同地,本文中所描述的实施例的特征可在利用图像传感器捕获数字图像或视频时实现黑电平校正的连续逐帧自测。
图1A示出包含图像像素阵列106的成像系统100的功能框图,所述图像像素阵列106光学耦合到彩色滤光片阵列112以捕获外部场景103的图像或视频的数字图像或视频。成像系统100的所示实施例包含像素阵列105、彩色滤光片阵列112、遮光罩114和控制器120。像素阵列105包含多个单独像素(例如,光电二极管、光传感器等等),包含二维(“2D”)图像像素阵列106和暗像素阵列107,它们共同地对应于成像系统100的图像传感器。在所示实施例中,包含在像素阵列105中与彩色滤光片112光学耦合但遮光罩114没有遮住入射光的单独像素的一部分形成图像像素阵列106。彩色滤光片阵列112包含多个彩色滤光片(例如,红色、绿色和蓝色)和全色滤光片(例如,无色、透明、不滤光等),它们分别与包含在像素阵列105中的像素中的至少单独一个像素相关联。换句话说,图像像素阵列106以及暗像素阵列106中的每个像素可与成像系统100的颜色通道(例如,红色、绿色、蓝色、全色)中的至少一个相关联。更确切地说,彩色滤光片阵列112的所述多个彩色滤光片和全色滤光片以最小重复单元通过平铺方式布置(例如,所示出的RGBC,其对应于红色、绿色、蓝色和无色滤光片),以形成图像像素阵列106的多个像素群集。像素群集中的每一个可对应于图像像素阵列106中可用于产生共同表示外部场景103的图像信号的全色像素。
由图像像素阵列106产生的图像信号群组与像素群集中的相应一个相关联。图像信号群组中的每一个包含多个颜色信号和全色信号,它们累积地表示对应像素群集的颜色和强度。像素群集中的每一个捕获包含在图像信号中的多个颜色信号,这些信号以组合方式表示可见光的光谱。更确切地说,像素群集中的每一个的彩色滤光片包含至少一个滤光片,原色(例如,红色、绿色和蓝色)或次生色(例如,蓝绿色、品红色和黄色)滤光片中的每一个叠加地覆盖可见光的光谱。在所示实施例中,图像像素阵列106中光学耦合到彩色滤光片阵列112的红色滤光片(“R”)的单独像素对应于红色像素,并且捕获表示外部场景103中的红色光的强度。类似地,光学耦合到蓝色滤光片(“B”)或绿色滤光片(“G”)的单独像素对应于蓝色或绿色像素,并且分别捕获表示外部场景103的蓝色或绿色光的强度的颜色信号。像素群集中的每一个还包含光学耦合到全色滤光片(例如,无色、透明、不滤光)的至少一个单独像素,所述单独像素捕获表示未滤光的可见光(例如,白色光)的光谱的强度的全色信号。因此,共同地,像素群集中的每一个捕获包含多个颜色信号和全色信号的图像信号,它们用于确定外部场景103的一部分的颜色和颜色强度。
应了解,特定彩色滤光片阵列112仅是说明性的,且不应被视为具有限制性。确切地说,RGBC彩色滤光片阵列仅仅是可以根据本公开的教示内容实施的一个可能彩色滤光片阵列配置的实例。在其它实施例中,可以利用单独滤光片的不同布置,包含但不限于拜耳滤光片(例如,具有一个红色、一个蓝色和两个绿色滤光片的2x2最小重复单元)、CYYM(例如,具有一个蓝绿色、一个品红色和两个黄色滤光片的2x2最小重复单元),或者一或多个滤光片的各种其它组合,以组成图像传感器和/或成像系统的一或多个颜色通道(例如,红色、绿色、蓝色、全色、蓝绿色、品红色、黄色、紫外光、红外光或其它)。又另外,应了解,在一些实施例中,成像系统105的图像传感器是只具有单个颜色通道的单色图像传感器。另外,应注意,在一些实施例中,图像传感器不限于只表示电磁光谱的可见范围的产生图像信号,并且在一些实施例中,成像系统100还可包含在可见范围之外的颜色通道,包含但不限于紫外光范围(例如,在10nm和400nm之间的波长)和/或红外光范围(例如,从700nm到1mm的波长)。
像素阵列105的暗像素阵列107光学耦合到遮光罩114,其中彩色滤光片阵列112的一部分安置在暗像素阵列107的单独像素和遮光罩114之间。遮光罩114光学遮蔽(例如,通过不透明金属层或经结构化以在图像传感器的光谱响应范围内具有大体上接近零透射光的其它材料)包含在暗像素阵列107中的单独像素的至少光敏区,使其不暴露于入射光。暗像素阵列107基于暗像素阵列107内的单独像素的暗电流而产生一或多个黑色参考信号,而不是基于入射光产生信号。换句话说,黑色参考信号表示图像传感器和/或成像系统(即,像素阵列105)的可用于校正来自图像像素阵列106的图像信号的黑电平值。在一些实施例中,黑色参考信号是多通道信号,其中各个通道中的每一个与成像系统105的对应颜色通道相关联。例如,在所示实施例中,彩色滤光片阵列112安置在暗像素阵列107和光学遮罩114之间,这意味着黑色参考信号可包含与红色像素、绿色像素、蓝色像素和全色像素的黑电平值相关联的各个通道(即,包含在成像系统100的多个颜色通道中的对应颜色通道)。一或多个黑色参考信号可随后用于确定成像系统100的黑电平值,以校正由图像像素阵列106(例如,基于每一颜色通道)产生的图像信号。
应了解,与成像系统100的所述多个颜色通道中的每一个相关联的暗电流预期是类似的。例如,尽管黑色参考信号可包含分别与成像系统100的特定颜色通道相关联的单独通道,但是由成像系统100捕获的特定图像帧或曝光的黑电平值可基于复合黑色参考信号(例如,在捕获图像帧或曝光的特定时间黑色参考信号的各个通道的平均值)而确定。有利的是,基于每一颜色通道测量单独像素的暗电流使得执行通道平衡检查能够确定单独颜色通道中的每一个的黑电平值之间的差(例如,比较)是否在通道阈值内,这可以指示成像系统100的组件的故障或劣化。
图1B示出根据本公开的教示内容的具有自测黑电平校正的成像系统100的功能框图的更详细视图。成像系统100的所示实施例包含像素阵列105、控制器120和警报器124。成像系统100还包含彩色滤光片阵列112和遮光罩114(如图1A中所示),它们被省略以防使某些方面模糊不清。像素阵列105包含图像像素阵列106和暗像素阵列107。控制器120包含处理器122、存储器124、控制电路126、读出电路128、功能逻辑130和黑电平校正(BLC)电路132。BLC电路132包含路由电路131、测量电路133、通道平衡检查逻辑135、计算电路137、像素校正电路139和闪烁/合理性检查逻辑141。
像素阵列105的所示实施例包含单独像素的二维(“2D”)阵列,它们形成图像像素阵列106和暗像素阵列107。如先前参考图1A所描述,像素阵列105的单独像素中定位成接收外部场景的入射光(即,未被遮光罩114遮挡,如图1A中所示)的第一部分形成图像像素阵列106。图像像素阵列106的单独像素被称为“活动像素”或“图像像素”,且在图1B中基于它们在像素阵列105内的具体行和列位置而表示为AP1、AP2、AP3、……APn。确切地说,图像像素适于响应于入射光而捕获共同表示外部场景(例如,图1A的外部场景103)的一或多个图像信号。像素阵列105的单独像素中定位成大体上遮蔽入射光(例如,被图1A中所示的遮光罩114遮蔽)的第二部分形成暗像素阵列107,其包含多个单独黑色参考像素(BP0、BP1、……BPn),用于捕获表示成像系统100的黑电平值的一或多个黑色参考信号。在一个实施例中,图像像素中的每一个是互动像素传感器,例如互补金属氧化物图像传感器像素。在一些实施例中,单独黑色参考像素包含与活动像素对应物的结构类似或相同的结构,但是存在至少一处不同:它们被挡光层(例如,图1A所示的遮光罩114)遮蔽而无法接收光。
如图1B中所示,像素阵列105中的单独像素中的每一个布置成行(例如,行R1到Ry)和列(例如,列C1到Cx)。图像像素调适或以其它方式配置(例如,借助暴露于入射光和光学耦合到彩色滤光片)成采集外部场景(例如,人员、地点或物体)的图像数据(例如,图像信号),图像数据接着可用于渲染外部场景的数字图像或视频。但是,图像信号可以至少部分地由于可在采集图像数据时存在的暗电流而受影响。暗像素阵列107的单独黑色参考像素布置成与图像像素相当类似的阵列,以在捕获外部场景的数字图像或视频时捕获表示图像像素内的暗电流的一或多个黑色参考信号。在所示实施例中,单独黑色参考像素表示为在图像像素阵列106上方的两个行中对齐的BP0到BPm。单独黑色参考像素遮光,并且可用于捕获用于确定成像系统100的黑电平值的一或多个黑色参考信号。黑色参考信号可以是多通道信号,其中黑色参考信号的单独通道中的每一个与成像系统100的颜色通道中的对应一个相关联。例如,黑色像素“BP1”可以光学耦合到红色滤光片,这意味着与BP1相关联的黑电平值可以随后与成像系统100的红色通道相关联。换句话说,成像系统100的一或多个颜色通道中的每一个的黑电平值可以根据黑色参考信号来确定,并用于图像信号的黑电平校正。应了解,像素阵列105的所示配置仅仅是许多可能配置的一个实施例。在其它实施例中,暗像素阵列107可以在像素阵列105的其它区域中形成,例如像素阵列105的中心,或甚至沿着图像像素阵列106的两个相对侧面延行。在一些实施例中,暗像素阵列107可与图像像素阵列106共享公共行或列。
如所示出,当成像系统100正在捕获外部场景的数字图像或视频时,可以产生像素流108,其基于每一图像帧(或在捕获多重曝光高动态范围图像帧的实施例中,基于每一曝光帧)包含一或多个黑色参考信号109和一或多个图像信号110。黑色参考信号中的每一个可对应于图像帧的黑电平值。确切地说,黑色参考信号可包含分别与成像系统100的颜色通道中的对应一个相关联的一或多个单独通道(例如,基于定位在黑色参考像素和遮光罩之间的特定颜色)。暗像素阵列107的单独黑色参考像素可产生暗电流或电压值(例如,至少部分地基于在捕获图像帧时黑色参考像素的电流-电压曲线),所述值可以随后取平均或以其它方式用于确定成像系统100的图像帧的颜色通道中的每一个的黑电平值。一或多个图像信号110可分别对应于图像像素阵列106的图像像素,所述图像像素可累积表示外部场景中与成像系统100的颜色通道相关联的部分的光的强度的图像电荷(即,电压/电流)(例如,至少部分地基于安置在单独图像像素和外部场景之间的彩色滤光片的相应类型,如图1A中所示)。
像素阵列105的单独像素中的每一个可以单独进行寻址和读出(例如,通过读出电路128和/或测量电路133)。在图1B中的成像系统100的所示实施例中,连续读出像素阵列105的每一行(例如,从R1到Ry),首先读出的黑色参考信号109随后使用根据黑色参考信号109(例如,从行R1和R2)确定的黑电平值校正来自随后行(例如,R3到Ry)的图像信号110。在其它实施例中,可以利用全局快门(global shutter),其中像素阵列105的单独像素中的每一个同时读出,因此黑电平校正可在图像采集之后校正。
控制器120包含用于控制成像系统100的各种组件的操作(例如,在图像和/或视频采集之前、之后和之中,包含但不限于黑电平校正等等)的逻辑和/或电路。控制器120可以实施为硬件逻辑(例如,专用集成电路、现场可编程门阵列、片上系统等)、在通用微控制器或微处理器上执行的软件/固件逻辑,或硬件和软件/固件逻辑两者的组合。在一个实施例中,控制器120包含耦合到存储器124的处理器122,所述存储器124存储用于由控制器120或以其它方式由成像系统100的一或多个组件执行的指令。指令在由控制器120执行时可使成像系统100执行可与成像系统100的各个功能模块、逻辑块或电路相关联的操作,包含控制电路126、读出电路128、功能逻辑130、黑电平校正电路132(例如,路由电路131、测量电路133、通道平衡检查逻辑135、计算电路137、像素校正电路139和/或闪烁/合理性检查逻辑141)、警报器124和成像系统100的任何其它元件(示出或未示出,例如耦合到警报器124的一或多个接口装置)中的任一个或组合。存储器是非暂时性计算机可读媒体,其可包含但不限于可通过控制器120读取的易失性存储系统(例如,RAM)或非易失性存储系统(例如,ROM)。另外应了解,控制器120可以是单片集成电路、一或多个离散互连电气组件或其组合。另外,在一些实施例中,一或多个电气组件可以耦合到共同用作控制器120以安排成像系统100的操作的各种装置。
在所示实施例中,控制器120的各个逻辑和/或电路模块122-141用于捕获外部场景的图像或视频(例如,由各自与图像像素阵列106的对应像素相关联的一或多个图像信号表示),并且随后至少部分地基于与根据暗像素阵列107的一或多个黑色参考信号确定的成像系统100的对应颜色通道相关联的黑电平值针对每一像素校正图像信号中的一或多个。有利的是,基于每一像素的图像信号的校正是基于每一图像帧进行自测(例如,使得所确定的黑电平值的准确性增加),使得劣化、电路故障、错误或其它不利条件可以被检测到。
控制电路126可控制图像像素阵列106和暗像素阵列107的操作特性(例如,曝光持续时间、何时捕获数字图像或视频等等)。读出电路128从单独像素读取或以其它方式取样模拟信号(例如,以捕获图像帧),并且可包含放大电路、模数(ADC)电路、图像缓冲器等等。在所示实施例中,读出电路128包含在控制器120中,但是在其它实施例中,读出电路128可以与控制器120分离。功能逻辑130可存储黑色参考信号、黑电平值、黑电平校正值、图像信号和/或经校正图像信号。在一些实施例中,图像信号和/或经校正图像信号可以存储为图像数据,并且可以受功能逻辑130操控(例如,以应用后期图像效果,例如裁剪、旋转、去除红眼、调整亮度、调整对比度等等)。
黑电平校正(BLC)电路132提供图像信号110(例如,由读出电路128采集)的自测黑电平校正。路由电路131(例如,一或多个复用器、多路分用器、逻辑系统等等)向多个测量电路(即,测量电路133)选择性地和动态地指派黑色参考的单独通道和/或向多个计算电路(例如,计算电路137)选择性地和动态地指派所测量的黑电平值。测量电路133包含所述多个测量电路(例如,可包含放大电路、ADC电路等等的读出电路),它们可在捕获数字图像和/或视频时分别用于取样或以其它方式读出黑色参考信号109。在一些实施例中,测量电路133可以是读出电路128的一部分或以其它方式包含在读出电路128中。通道平衡检查逻辑135可以耦合到警报器124,并用于检查成像系统100的颜色通道之间的经累积黑电平(和零电平)值的差(例如,基于每一图像帧),并在任何(例如,两个)通道之间的差(例如,绝对差)高于经编程阈值(例如,通道平衡阈值)时确证错误标记(例如,由警报器124接收)。计算电路137包含多个计算电路(例如,两个或更多个),用于基于每一颜色通道或以其它方式计算图像信号中的每一个的黑电平校正值。像素校正电路139用于至少部分地基于计算出的黑电平校正值而调整(例如,校正)图像信号110。闪烁/合理性检查逻辑141提供用于检查黑电平校正值的帧间一致性的闪烁检查以及用于基于成像系统100的操作参数(例如,曝光持续时间、温度和增益)来验证平均黑电平值(例如,多个图像帧和/或颜色通道的黑电平值的平均值)在预期范围内的合理性检查。
图2是根据本公开的教示内容的示出可以包含在图1A-1B的成像系统100中的两个四晶体管像素202(像素Pa)和204(像素Pb)的像素电路的电路图200。像素Pa和Pb布置在两个行和一个列中。像素电路200中的每个像素的所示实施例包含光电二极管PD、转移晶体管T1、复位晶体管T2、源极跟随器(“SF”)晶体管T3和选择晶体管T4。在操作期间,转移晶体管T1接收转移信号TX,该信号响应于入射光将累积于光电二极管PD中的电荷转移到浮动扩散节点FD。在一个实施例中,浮动扩散节点FD可以耦合到用于临时存储图像电荷的存储电容器(未示出)。复位晶体管T2耦合在电力轨VDD和浮动扩散节点FD之间,以在复位信号RST的控制下复位(例如,将FD放电或充电到预设电压)。浮动扩散节点FD经耦合以控制SF晶体管T3的栅极。SF晶体管T3耦合在电力轨VDD和选择晶体管T4之间。SF晶体管T3用作从像素提供高阻抗输出的源极跟随器。最后,选择晶体管T4在选择信号SEL的控制下选择性地将像素电路200的输出耦合到列读出线路(也称为位线或数据位线)。从像素读出到位线上的数据是模拟信号,其可以由读出电路(例如,图1B的读出电路128)、测量电路(例如,图1B的测量电路133)等等接收以转换成数字信号(例如,图像信号和/或黑色参考信号)。在一个实施例中,TX信号、RST信号和SEL信号由控制电路(例如,包含在图1B中所示的控制器120中的控制电路126)产生。
图3是根据本公开的教示内容的示出执行自测黑电平校正的过程300的成像系统(例如,图1A-1B中所示的成像系统100)的功能框图。成像系统可对应于图1A-1B中所示的成像系统100,并且可包含相同或类似特征。图3中示出了,像素阵列305是成像系统100的图1A-1B的像素阵列105的一个可能实施方案。返回参考图3,像素阵列305包含图像像素阵列306(例如,其对应于图1A-1B的图像像素阵列106),包含多个像素群集(例如,第一像素群集303),其中图像像素阵列306的单独图像像素(例如,图1B的AP1、AP2、AP3、……APn)适于响应于入射光(即,图像像素流310)而产生表示外部场景的一或多个图像信号。像素阵列305还包含暗像素阵列307(例如,其对应于图1A-1B的暗像素阵列107),包含多个黑色像素(例如,图1B的BP1、BP2、……BPm),适于产生表示与所捕获的图像帧相关联的成像系统的黑电平值的黑色参考信号309。在所示实施例中,像素阵列305的单独像素中的每一个耦合到彩色滤光片阵列(例如,图1A的彩色滤光片阵列112)的单独滤光片(例如,红色、绿色、蓝色和全色滤光片),这意味着所产生的信号(例如,黑色参考信号309和包含在图像像素流310中的图像信号)分别与利用成像系统捕获的图像帧的颜色通道中的一个相关联,并且可用于黑电平校正。
像素阵列305的单独像素和成像系统的颜色通道之间的颜色通道关系至少部分地基于覆叠在单独像素和外部场景之间的彩色滤光片阵列(例如,其可对应于图1A的彩色滤光片阵列112)。例如,在图3所示的实施例中,成像系统具有四个颜色通道(红色、绿色、蓝色和全色)。应了解,在一些实施例中,全色通道可以是成像系统的颜色通道,但是最终可能并不作为黑电平经校正图像的颜色通道结束(例如,一旦图像信号被数字化、校正,并且可以随后在RGB颜色空间中变换)。彩色滤光片阵列具有形成多个像素群集(例如,像素群集303)的最小重复单元,所述像素群集产生共同表示外部场景的一部分的全色光谱值的图像信号。在所示实施例中,利用RGBC彩色滤光片阵列,其中每个像素群集对应于单独像素阵列,其包含紧靠彼此邻近定位的至少一个红色“R”像素、一个绿色“G”像素、一个蓝色“B”像素和一个全色“C”像素(例如,第一像素群集303包括单独像素的2x2阵列)。尽管图像像素阵列306的所示实施例包含具有2x2最小重复单元的RGBC彩色滤光片,但是应了解,还可利用其它彩色滤光片阵列和最小重复单元(例如,具有单独像素的2x4、4x4等阵列的最小重复单元的RGBC彩色滤光片阵列和具有例如蓝绿色、品红色、黄色、紫外光或红外光滤光片等额外或其它滤光片的彩色滤光片阵列)。在一些实施例中,可存在与相同颜色通道相关联的成像系统的两个颜色通道。例如,在使用拜耳彩色滤光片的一个实施例中,可存在一个红色、一个蓝色和两个绿色通道。在其它实施例中,使用拜耳彩色滤光片的成像系统的颜色通道可能只有一个红色、一个蓝色和一个绿色通道(即,这两个绿色与所读出的相同颜色通道相关联)。还应了解,在一些实施例中,彩色滤光片阵列的最小重复单元可以不必界定像素群集(例如,彩色滤光片阵列的最小重复单元是2x2滤光片阵列,但是单独像素群集可对应于单独像素的4x6或6x6阵列)。
图像像素阵列306的单独像素中的每一个产生图像信号,这些图像信号基于它们与像素群集中的相应一个的关联而分组在一起(例如,来自包含在第一像素群集303中的红色、绿色、蓝色和无色像素的图像信号可形成包含在图像信号群组中的第一图像信号群组)。在所示实施例中,与像素群集中的每一个相关联的图像信号群组包含多个颜色信号(例如,红色、绿色及蓝色信号)和至少一个全色信号,它们分别根据像素群集中的对应一个(例如,第一像素群集303)的红色、绿色、蓝色和无色像素进行测量。
像素阵列305还包含暗像素阵列307,其对应于图1A-1B的暗像素阵列107。返回参考图3,包含在暗像素阵列307中的单独像素中的每一个光学耦合到彩色滤光片以及遮光罩314(例如,图1A的遮光罩114),以产生一或多个黑色参考信号(例如,如图1A中所示)。在一些实施例中,每图像帧只存在一个黑色参考信号,它可以是多通道信号,基于彩色滤光片与成像系统的相应颜色通道相关联的单独通道中的每一个安置在暗像素阵列307的单独像素和遮光罩314之间。因此,在采集图像帧时,可以收集(即,累积)黑色参考信号的单独通道中的每一个的暗电流,并且随后可将其用于调整由图像像素阵列306基于每一颜色通道产生的图像信号。
过程300是用于去除黑电平错误的自测黑电平校正的方法,黑电平错误可在高温下利用成像系统(例如,图1A-1B中所示的成像系统100)在低光条件中捕获图像时产生,或以其它方式在成像系统的操作期间呈现。在所示实施例中,逐帧应用过程300。换句话说,黑电平校正针对由成像系统捕获的每个帧更新,并且随后用于校正存在于图像信号内的暗电流的黑电平错误结果。应了解,对于高动态范围(HDR)图像帧,可以产生多重曝光以形成HDR图像。在此类实施例中,黑电平校正可以针对共同形成HDR图像帧的曝光帧中的每一个来实现。更确切地说,如通过过程300所描述的块级校正过程是一种自测过程,其中内置的冗余和检查有效增加了测试覆盖范围,使其覆盖成像系统的组件级的故障和/或劣化。
过程300示出根据本公开的实施例的自测黑电平校正方法。过程300是成像系统(例如,图1A-1B中所示的成像系统100)可用来进行自测黑电平校正的一个可能实施方案。应了解,过程300的带编号框,包含框331-341,可按任何次序并且甚至并行进行。另外,根据本公开的教示内容,可以向过程300添加或从过程300去除框。
在所示实施例中,过程300可在接收到捕获表示外部场景的图像帧的信号(例如,成像系统的快门按钮被按压)时初始化,其中采集表示图像传感器(或总体成像系统)的黑电平值的黑色参考信号309和表示外部场景的图像像素流310(包含多个图像信号)(例如,作为模拟信号)。黑色参考信号309包含一或多个单独通道,其中单独通道中的每一个与图像信号的一或多个颜色通道中的相应一个(例如,由安置在暗像素阵列307的单独黑色像素和遮光罩314之间的滤光片指定)相关联。更确切地说,在图3所示的实施例中,黑色参考信号309是多通道图像信号,其中单独通道对应于像素阵列305的红色、绿色、蓝色或全色通道。
框331-1示出利用复位和旋转方案向包含在多个测量电路(例如,图1B中所示的测量电路133)中的单独测量电路选择性地指派(例如,通过包含在耦合到图像传感器的像素阵列105和图1B中所示的测量电路133的路由电路131中的第一路由电路)黑色参考信号的一或多个单独通道,以在捕获图像帧时读出黑色参考信号309(例如,累积成像系统的暗电流/黑电平值)。更确切地说,所述多个测量电路的总数大于图像传感器的颜色通道的总数(例如,具有红色、绿色、蓝色和全色通道的成像系统可具有至少五个测量电路),以便实现逐帧选择性指派,其中在捕获图像帧时,在读出黑色参考信号期间,测量电路中的至少一个是不活动的。
框333示出利用与图像帧相关联的所述多个测量电路读出(例如,取样)黑色参考信号以确定图像传感器/成像系统的黑电平值。在所示实施例中,多个测量电路(例如,测量电路1、2、3、4、……N)中的单独测量电路(例如,读出电路)用于累积模拟值(例如,暗电流/电压),并将与黑色参考信号309的单独通道的黑电平和/或零电平相关联的经累积模拟值数字化。有利的是,在由于颜色通道(以及因此黑色参考信号309的单独通道)的总数和测量电路的总数之间的相对总体大小差而使测量电路中的至少一个保持不活动的同时,利用黑色参考信号309的单独通道到所述多个测量电路的选择性指派能够使自测涵盖与单独测量电路和与复位和旋转方案相关联的电路(例如,路由电路)两者相关联的组件。
框335示出当与图像传感器的图像帧相关联的所述多个颜色通道中的每一个的黑电平值之间的比较在通道平衡阈值之外(例如,任何颜色通道之间的黑电平值的绝对差高于经编程阈值)时接收由成像系统的图像传感器捕获的图像帧的黑电平值和执行通道平衡检查(例如,通过耦合到接口装置336的通道平衡逻辑)以确证警报信号。如果任何颜色通道的黑电平值之间的差在通道平衡阈值之外,那么检查可以涵盖数种故障模式,包含但不限于路由电路的故障(例如,与框331-1相关联)、一或多个但不一定是全部的测量电路的故障或劣化(例如,与框333相关联),和/或暗像素阵列307跨单独通道被不均匀地损害(例如,遮光罩314的不均匀劣化)。
当通道平衡检查发现与图像传感器或系统的图像帧相关联的所述多个颜色通道中的每一个的黑电平值之间的比较在通道平衡阈值之外时,通道平衡检查逻辑确证由接口装置336接收以在警报信号确证时向成像系统的用户提供出现错误的指示的警报信号,由框324-1指示。换句话说,当存在产生不准确的黑电平值的某一类型的组件故障或劣化的指示时,通知用户。在一些实施例中,接口装置336可以是光学装置(例如,汽车仪表板上的指示灯)、可听装置(例如,从扬声器发出的错误声音)、存储器装置(例如,警告在存储器中标记以供个人在稍后时间读出,例如在车辆没有有效移动时),或可用于立即、在设定时间段之后、在诊断检查期间或以其它方式通知用户关于警报信号的任何其它类型的装置。
在完成通道平衡检查后(或同时),黑色参考信号309的单独通道中的每一个的所确定黑电平值选择性地指派(例如,通过包含在耦合到计算电路137的路由电路131中的第二路由电路,如图1B中所示)到包含在所述多个计算电路中的单独计算电路以计算黑电平校正(BLC)值。更确切地说,用于计算BLC值的复位和旋转方案用于通过交替(在只有两个计算电路的情况下)或以其它方式阻止相同计算电路用于计算连续图像帧的BLC值来提供增加的自测覆盖范围。计算BLC值可包含但不限于对与给定图像帧的颜色通道中的每一个相关联的相应黑电平值取平均(例如,对与耦合到红色滤光片的所有黑色像素相关联的黑电平值取平均以确定图像系统的红色通道的平均黑电平值)、产生黑电平值(例如,跨所有颜色通道和/或多个帧)的平均值、执行黑电平值的统计分析(例如,以预定方式筛选黑电平值,例如去除离群值)等等。在一些实施例中,在计算图像帧的BLC值时,计算电路中的至少一个是不活动的。有利的是,利用包含在所述多个计算电路中的单独计算电路的选择性指派以确定BLC值使得自测涵盖了与单独测量电路、与复位和旋转方案相关联的电路(例如,路由电路)及暗像素阵列相关联的组件。
框341示出接收由成像系统捕获的图像帧的经校正黑电平值(例如,BLC值)和依序或并行执行闪烁检查和合理性检查(例如,通过耦合到接口装置336的闪烁/合理性检查逻辑)以基于闪烁检查和/或合理性检查的结果确证警报信号。
闪烁检查提供对每个BLC值的帧间一致性的检查(例如,基于每一颜色通道)。更确切地说,当连续图像帧之间的BLC值的比较产生在闪烁阈值之外的差时,确证警报信号。换句话说,当成像系统的给定颜色通道的BLC值的帧间改变高于经编程阈值(或以其它方式在经编程阈值之外)时,警报信号产生(例如,如框342-2中所示)并被传递到接口装置336,以在警报信号被确证时向成像信号的用户提供出现错误的指示。在一些实施例中,闪烁检查是允许较小帧间差异(例如,连续图像帧之间的BLC值的相对变化可以小于10%、5%、1%或某一其它经编程阈值)以捕捉单独组件的边缘故障(例如,微小的不准确性)的硬规则。如果任何颜色通道的BLC值之间的差在闪烁阈值之外,那么检查可以涵盖数种故障或劣化模式,包含但不限于任一个路由电路的故障(例如,与框331-1和/或331-2相关联)、一或多个但不一定是全部的测量电路的故障或劣化(包含产生微小不准确性的边缘故障)(例如,与框333相关联)、计算电路(例如,计算电路用于确定图像帧的BLC值)中的一个的故障或劣化(包含产生微小不准确性的边缘故障),和/或暗像素阵列307的持续性或短暂性故障或劣化。
合理性检查提供检查(例如,给定图像帧的所有颜色通道的)平均黑电平在预期范围内。更确切地说,当黑电平值的平均值在所估计的黑电平范围之外时,确证警报信号。所估计的黑电平范围是基于图像传感器和/或成像系统的一或多个操作参数340,例如(例如,当捕获图像帧时)图像传感器的温度、增益或曝光值中的至少一个。如果黑电平值的平均值在所估计的黑电平范围之外,那么检查可以涵盖数种故障模式,包含但不限于普通的“卡在”与ADC操作、列存储器(例如,ASRAM)、在过程300中描述的任一个功能块等等中的任一个或组合相关联的故障,以及暗像素阵列307被损害。
在框341的闪烁/合理性检查之后或同时,BLC值343被传递到框339,并通过像素校正电路(例如,图1B的像素校正电路139)用于调整一或多个图像信号(例如,与图像像素流310相关联)以提供黑电平校正。在一个实施例中,像素校正电路可基于每一颜色通道从图像信号中减去BLC值(例如,与红色通道相关联的BLC值被减去或以其它方式用于调整与图像帧的红色通道相关联的图像信号)。在一些实施例中,可存在多个像素校正电路,它们各自与成像系统的相应颜色通道相关联。一旦图像像素流310的图像信号经校正,图像数据就由像素校正电路输出(例如,以存储在存储器中、在显示器上输出,等等)。
图4A-4B示出根据本公开的教示内容的用于自测黑电平校正的复位和旋转方案的示例性功能框图。图4A-4B中所示的复位和旋转方案是可以如何指派多个测量电路以覆盖在捕获一或多个图像帧时通过路由电路对成像系统的一或多个颜色通道的黑电平值的测量(例如,读出)的非限制性示例性方案。因此,所示实施例可实施于根据本公开的教示内容的用于自测黑电平校正的成像系统、过程等等中,例如但不限于图1A-1B的成像系统100、图3中所示的过程300等等。
图4A示出通过两个紧密连续的图像帧(图像帧1和图像帧2)的测量电路433(例如,对应于图1B的测量电路133)读出黑电平值。在捕获图像帧1期间,测量电路433-1、433-2、433-3和433-5分别经过选择性地指派以读出成像系统的红色、绿色、蓝色和全色通道的黑电平值,而测量电路433-4未指派给特定颜色通道,实际上和不活动的(或另外被视为图像帧1的冗余)。换句话说,黑色参考信号的一或多个单独通道(例如,对应于成像系统的颜色通道)指派给单独测量电路433中的相应一个。在读出黑电平值之后,来自控制器(例如,图1B的控制器120的控制电路126)的复位信号发送到活动(或者在一些实施例中,所有)测量电路433,以清除累积的黑电平,然后进行下一图像帧(即,图像帧2)的选择性指派。
选择性指派可至少部分地由路由电路431(例如,图1B中所示的路由电路131)执行,使得对测量电路433的特定指派在连续图像帧之间是不同的。换句话说,图像帧(例如,图像帧2)的单独测量电路的选择性指派不同于紧接在前的图像帧(例如,图像帧1)的单独测量电路的先前选择性指派。在一些实施例中,选择性指派可以是随机或不随机的。在相同或其它实施例中,选择性指派遵循预定次序,以在捕获图像帧时均匀地分布单独测量电路433的不活动性。在图4A所示的实施例中,在图像帧2的捕获期间,路由电路431选择性地指派黑色参考信号的各个全色、红色、绿色和黑色通道,分别供测量电路433-1、433-2、433-3和433-4读出,同时测量电路433-5是不活动的。
图4B示出复位和旋转方案,其中在捕获图像帧450时,路由电路(例如,图1B的路由电路131)以非限制性和示例性的预定方式将黑色参考信号的单独通道434选择性地指派到测量电路433。可以考虑预定次序为线性次序,其中不活动的测量电路从连续图像帧线性改变。确切地说,如图4B中所示,图像帧A、B、C和D的不活动测量电路(由标记“X”表示)分别变成测量电路433-5、433-1、433-2、433-3等等。不活动测量电路的这一线性改变可以预定次序连续循环,直到连续图像捕获完成为止。类似地,黑色参考信号的单独通道也线性循环。如所示出,与成像系统的红色通道的黑电平值相关联的单独通道选择性地从图像帧A的测量电路433-1指派,从图像帧B的测量电路433-2指派,从图像帧C的测量电路433-3指派等等。还可利用(例如,与成像系统的绿色、蓝色或全色通道的黑电平值相关联的)黑色参考信号的其它单独通道的类似线性改变。但是,在其它实施例中,黑色参考信号的单独通道可以随机指派,而不活动测量电路的指派线性(或以其它方式)旋转通过测量电路433。
图5示出根据本公开的教示内容的用于在自测黑电平校正时捕获图像帧的方法500。方法500是成像系统(例如,图1A-1B中所示的成像系统100)可用来自测黑电平校正的一个可能实施方案。应了解,方法500的带编号框,包含框510-545,可按任何次序并且甚至并行进行。另外,根据本公开的教示内容,可以向方法500添加或从方法500去除框。
框510示出初始化用于捕获一或多个图像帧的成像系统。初始化可在接收到开始信号(例如,对应于相机的快门按钮被按压、汽车转变到倒车驾驶模式,等等)时进行,其中可执行系统自检以验证成像系统一开始是可操作的。这可包含例如将数字测试图案插入到图像像素流中,图像像素流可以与上游数字测试图案检查器进行比较以检查(例如,图1B中所示的像素校正电路139或成像系统的其它组件的)校正故障。这还可包含将寄存器值复位到任意值(或所需要的特定值),使得在系统成功自检后,在初始化时不存在警报条件。
框515示出采集表示图像帧的图像传感器(例如,图1A-1B中所示的成像系统100)的黑电平值的黑色参考信号。在一些实施例中,黑色参考信号是多通道信号,其中单独通道与图像传感器的多个颜色通道中包含的对应颜色通道相关联。采集黑色参考信号包含选择性指派和读出。在选择性指派期间,黑色参考信号的单独通道选择性地指派给多个测量电路(例如,图1B中所示的测量电路133)中包含的单独测量电路,其中所述多个测量电路的总数大于所述多个颜色通道的总数(例如,在图像帧的捕获期间,测量电路中的至少一个是不活动的)。读出包含从具有所述多个测量电路的图像传感器读出黑色参考信号以确定与图像帧相关联的所述多个颜色通道(例如,红色、绿色、蓝色和全色通道)中的每一个的黑电平值。在读出期间,基于单独测量电路的选择性指派,包含在所述多个测量电路中的一或多个单独测量电路是不活动的。
在一些实施例中,图像帧的单独测量电路的选择性指派不同于紧接在前的图像帧的单独测量电路的先前选择性指派。在相同或其它实施例中,单独测量电路的选择性指派是随机的。在一个实施例中,图像帧的单独测量电路的选择性指派是不随机的,使得在图像帧的黑色参考信号的读出期间不活动的一或多个单独测量电路相对于紧接在前的图像帧是不同的。
框520示出执行通道平衡检查,包含将与图像帧相关联的所述多个颜色通道中的每一个的黑电平值彼此比较以确定所述多个颜色通道中的每一个的黑电平值之间的差是否在通道平衡阈值内。当所述差在通道平衡阈值之外时,确证警报,这可通知成像系统的用户或某一其它个体关于成像系统出现故障或劣化状况。
框525示出计算图像帧的黑电平校正(BLC)值。这包含选择性地使多个计算电路(例如,图1B中所示的计算电路137)中包含的单独计算电路与图像帧相关联。在选择性关联之后,至少部分地基于根据所述多个测量电路确定的黑电平值,利用单独计算电路计算图像帧的BLC值。在一些实施例中,单独计算电路是针对紧接在前的图像帧选择性地关联的所述多个计算电路中的不同一个。
框530示出执行闪烁和/或合理性检查。闪烁检查包含比较图像帧的BLC值与紧接在前的图像帧的先前BLC值,以确定BLC值和先前BLC值之间的差是否在闪烁阈值内。当所述差在闪烁阈值之外时,确证警报,这可通知成像系统的用户或某一其它个体关于成像系统出现故障或劣化状况。合理性检查包含在捕获图像帧时接收图像传感器的一或多个操作参数,其中所述一或多个操作参数包含图像传感器的温度、图像传感器的增益或图像传感器的曝光中的至少一个。在接收所述一或多个操作参数之后,至少部分地基于操作参数而确定与图像帧相关联的图像传感器的所估计黑电平范围,并且将图像传感器的黑电平值的平均值与所估计的黑电平范围进行比较。当包含图像帧的黑电平值的图像传感器的黑电平值的平均值在所估计的黑电平范围之外时确证警报,这可通知成像系统的用户或某一其它个体关于成像系统出现故障或劣化状况。
框535示出采集图像信号并基于BLC值调整图像信号。图像信号可以由可不同于测量电路的读出电路(例如,图1B的读出电路128)读出。但是,在其它实施例中,测量电路自身可用于读出图像信号。图像信号可对应于其中(例如,逐行、同时或以其它方式)读出图像像素中的每一个的图像像素流。图像信号共同地表示图像帧,并且各自至少部分地基于BLC值进行调整以提供黑电平校正。在一些实施例中,调整是基于每一颜色通道的(例如,与成像系统的红色通道相关联的BLC值用于调整同样与红色通道相关联的图像信号)。调整可校正以从图像信号减去BLC值(或向图像信号添加BLC值)。在其它实施例中,平均BLC值(例如,颜色通道中的每一个的BLC值的平均值)用于共同地或基于每一颜色通道来校正图像信号。换句话说,在一些实施例中,与给定图像帧或曝光相关联的图像信号可以利用公共BLC值校正,所述公共BLC值可与单独颜色通道中的每一个的平均BLC值对应或以其它方式与其相关。
框540示出检查(例如,在捕获视频时)是否应该捕获另一图像帧。如果要捕获另一图像帧,那么框540进行到框515。如果图像帧采集完成,那么框540进行到框545,表示方法500结束。
上文阐释的过程可以使用软件和/或硬件实施。所描述的技术可构成在有形或非暂时性机器(例如,计算机)可读存储媒体内体现的机器可执行指令,所述指令在由机器(例如,图1A的控制器120)执行时使机器执行所描述的操作。另外,过程可以体现在硬件内,例如专用集成电路(“ASIC”)、现场可编程门阵列(FPGA)等等。
有形机器可读存储媒体包含以可由机器(例如,计算机、网络装置、个人数字助理、制造工具、具有一组一或多个处理器的任何装置,等等)存取的非暂时性形式提供(即,存储)信息的任何机构。例如,机器可读存储媒体包含可记录/不可记录媒体(例如,只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储媒体、光学存储媒体、快闪存储器装置等)。
上文对本发明所示实例的描述,包含摘要中的描述内容,并不意图是详尽的或将本发明限制在所公开的精确形式。虽然本文出于说明目的描述了本发明的具体实例,但是正如相关领域的技术人员将认识到的,在本发明的范围内可以进行各种修改。
根据上方的详细描述,可以对本发明进行这些修改。所附权利要求中使用的术语不应被解释为将本发明限制为说明书中公开的具体实例。相反,本发明的范围将完全由所附权利要求决定,这些权利要求将按照权利要求解释的既定原则进行解释。
Claims (21)
1.一种成像系统,其包括:
图像传感器,其包含图像像素阵列和暗像素阵列,其中所述图像像素阵列适于响应于入射光而产生图像信号,其中所述暗像素阵列适于产生表示所述图像传感器的黑电平值的黑色参考信号;以及
黑电平校正BLC电路,其用于至少部分地基于所述暗像素阵列的所述黑色参考信号而调整所述图像像素阵列的所述图像信号,所述BLC电路包含:
多个测量电路,其用于从所述暗像素阵列读出所述黑色参考信号以确定所述图像传感器的所述黑电平值,其中所述多个测量电路的总数大于所述图像传感器的颜色通道总数;以及
多个计算电路,其用于至少部分地基于根据所述多个测量电路确定的所述黑电平值而计算BLC值。
2.根据权利要求1所述的成像系统,其中所述图像传感器包含一或多个颜色通道,并且其中所述黑色参考信号包含一或多个单独通道,所述单独通道中的每一个与所述图像传感器的所述一或多个颜色通道中的相应一个相关联。
3.根据权利要求2所述的成像系统,其进一步包括:
路由电路,其耦合到所述图像传感器和所述多个测量电路,以向包含在所述多个测量电路中的单独测量电路选择性地指派所述黑色参考信号的所述一或多个单独通道,从而读出所述黑色参考信号,其中在捕获图像帧时,在所述黑色参考信号的所述读出期间,所述多个测量电路中的至少一个是不活动的。
4.根据权利要求3所述的成像系统,其中在向所述单独测量电路选择性地指派所述黑色参考信号的所述一或多个单独通道时,所述路由电路以预定次序旋转通过所述多个测量电路,从而在捕获包含所述图像帧的图像帧时均匀地分布所述单独测量电路的不活动性。
5.根据权利要求3所述的成像系统,其中由所述路由电路提供的到所述多个测量电路的所述选择性指派是随机的,并且其中连续图像帧之间的所述选择性指派不相同。
6.根据权利要求1所述的成像系统,其进一步包括路由电路,所述路由电路耦合到所述多个计算电路以选择性地指派包含在所述多个计算电路中的单独计算电路以便计算所述BLC值,使得确定连续图像帧的所述BLC值的所述单独计算电路是不同的。
7.根据权利要求1所述的成像系统,其进一步包括:
接口装置,其用于接收警报信号,并在确证所述警报信号时,作为响应,向所述成像系统的用户提供出现错误的指示。
8.根据权利要求7所述的成像系统,其进一步包括:
通道平衡检查逻辑,其耦合到所述接口装置以在与所述图像传感器的图像帧相关联的多个颜色通道中的每一个的所述黑电平值之间的比较在通道平衡阈值之外时确证警报信号。
9.根据权利要求7所述的成像系统,其进一步包括:
闪烁检查逻辑,其耦合到所述接口装置以在连续图像帧之间的所述BLC值的比较产生在闪烁阈值之外的差时确证所述警报信号。
10.根据权利要求7所述的成像系统,其进一步包括:
合理性检查逻辑,其耦合到所述接口装置以在所述黑电平值的平均值在所估计的黑电平范围之外时确证所述警报信号,其中所述所估计的黑电平范围是基于所述图像传感器的一或多个操作参数,所述操作参数包含所述图像传感器的温度、增益或曝光值中的至少一个。
11.根据权利要求1所述的成像系统,其进一步包括:
像素校正电路,其用于至少部分地基于所述BLC值调整所述图像信号以提供黑电平校正。
12.一种用于在捕获图像帧时进行黑电平校正BLC的方法,所述方法包括:
采集表示图像传感器针对所述图像帧的黑电平值的黑色参考信号,其中所述黑色参考信号是多通道信号,其中单独通道与包含在所述图像传感器的多个颜色通道中的对应颜色通道相关联,其中采集所述黑色参考信号包含:
向包含在多个测量电路中的单独测量电路选择性地指派所述黑色参考信号的所述单独通道,其中所述多个测量电路的总数大于所述多个颜色通道的总数;以及
利用所述多个测量电路从所述图像传感器读出所述黑色参考信号以确定与所述图像帧相关联的所述多个颜色通道中的每一个的所述黑电平值,其中在基于所述单独测量电路的所述选择性指派进行的所述读出期间,包含在所述多个测量电路中的一或多个单独测量电路是不活动的。
13.根据权利要求12所述的方法,其中所述图像帧的所述单独测量电路的所述选择性指派不同于紧接在前的图像帧的所述单独测量电路的先前选择性指派。
14.根据权利要求13所述的方法,其中所述图像帧的所述单独测量电路的所述选择性指派是随机的。
15.根据权利要求13所述的方法,其中所述图像帧的所述单独测量电路的所述选择性指派是不随机的,并且其中在所述图像帧的黑色参考信号的所述读出期间不活动的所述一或多个单独测量电路相对于所述紧接在前的图像帧是不同的。
16.根据权利要求12所述的方法,其进一步包括:
将与所述图像帧相关联的所述多个颜色通道中的每一个的所述黑电平值彼此比较,以确定所述多个颜色通道中的每一个的所述黑电平值之间的差是否在通道平衡阈值内;以及
当所述差在所述通道平衡阈值之外时,确证警报。
17.根据权利要求12所述的方法,其进一步包括:
选择性地使包含在多个计算电路中的单独计算电路与所述图像帧相关联;以及
至少部分地基于根据所述多个测量电路确定的所述黑电平值,利用所述单独计算电路计算所述图像帧的BLC值。
18.根据权利要求17所述的方法,其中所述单独计算电路是针对紧接在前的图像帧选择性地关联的所述多个计算电路中的不同一个。
19.根据权利要求17所述的方法,其进一步包括:
比较所述图像帧的所述BLC值与紧接在前的图像帧的先前BLC值,以确定所述BLC值和所述先前BLC值之间的差是否在闪烁阈值内;以及
当所述差在所述闪烁阈值之外时,确证警报。
20.根据权利要求17所述的方法,其进一步包括:
至少部分地基于所述BLC值,调整表示所述图像帧的图像信号以提供黑电平校正。
21.根据权利要求12所述的方法,其进一步包括:
在捕获所述图像帧时接收所述图像传感器的一或多个操作参数,其中所述一或多个操作参数包含所述图像传感器的温度、所述图像传感器的增益或所述图像传感器的曝光中的至少一个;
至少部分地基于所述操作参数,确定与所述图像帧相关联的所述图像传感器的所估计黑电平范围;以及
当包含所述图像帧的所述黑电平值的所述图像传感器的所述黑电平值的平均值在所述所估计黑电平范围之外时,确证警报。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/460,242 US10819927B1 (en) | 2019-07-02 | 2019-07-02 | Image sensor with self-testing black level correction |
US16/460,242 | 2019-07-02 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112188126A true CN112188126A (zh) | 2021-01-05 |
CN112188126B CN112188126B (zh) | 2022-02-25 |
Family
ID=72944716
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010622835.6A Active CN112188126B (zh) | 2019-07-02 | 2020-07-01 | 具有自测黑电平校正的成像系统和校正方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10819927B1 (zh) |
CN (1) | CN112188126B (zh) |
TW (1) | TWI722934B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017149932A1 (ja) * | 2016-03-03 | 2017-09-08 | ソニー株式会社 | 医療用画像処理装置、システム、方法及びプログラム |
JP2023527599A (ja) * | 2021-04-20 | 2023-06-30 | バイドゥドットコム タイムズ テクノロジー (ベイジン) カンパニー リミテッド | 自動運転車両を動作させるためのコンピュータ実施方法、非一時的機械可読媒体、データ処理システムおよびコンピュータプログラム |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0729270A2 (en) * | 1995-02-24 | 1996-08-28 | Eastman Kodak Company | Black pattern correction for a charge transfer sensor |
JP2002252808A (ja) * | 2001-02-23 | 2002-09-06 | Sony Corp | イメージセンサの画像信号処理装置 |
WO2008027306A2 (en) * | 2006-08-31 | 2008-03-06 | Aptina Imaging Corporation | Method, apparatus and system providing suppression of noise in a digital imager |
CN102137238A (zh) * | 2009-12-11 | 2011-07-27 | 英属开曼群岛商恒景科技股份有限公司 | 多阶段黑电平校准方法与系统 |
CN102164250A (zh) * | 2010-02-18 | 2011-08-24 | 美商豪威科技股份有限公司 | 具有改良式黑电平校准的图像传感器 |
US8077227B2 (en) * | 2008-05-02 | 2011-12-13 | Aptina Imaging Corporation | Method and apparatus providing analog row noise correction and hot pixel filtering |
CN102647566A (zh) * | 2011-02-17 | 2012-08-22 | 全视科技有限公司 | 用于cmos图像传感器的模拟行黑色电平校准 |
CN102714703A (zh) * | 2009-12-31 | 2012-10-03 | 全视科技有限公司 | 产生图像传感器的列偏移校正 |
US8878965B1 (en) * | 2013-06-26 | 2014-11-04 | Himax Imaging Limited | Black level adjustment device and method for CMOS image sensor |
CN105578082A (zh) * | 2016-01-29 | 2016-05-11 | 深圳市高巨创新科技开发有限公司 | 一种自适应黑电平校正方法 |
CN107872633A (zh) * | 2016-09-28 | 2018-04-03 | 半导体元件工业有限责任公司 | 具有暗像素的图像传感器 |
CN108322680A (zh) * | 2018-01-18 | 2018-07-24 | 思特威电子科技(开曼)有限公司 | 图像传感器的温度自适应黑电平校准方法及系统 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8274715B2 (en) | 2005-07-28 | 2012-09-25 | Omnivision Technologies, Inc. | Processing color and panchromatic pixels |
US8698922B2 (en) | 2012-02-14 | 2014-04-15 | Omni Vision Technologies, Inc. | Black level correction for imaging pixels |
US9154750B2 (en) | 2013-05-28 | 2015-10-06 | Omnivision Technologies, Inc. | Correction of image sensor fixed-pattern noise (FPN) due to color filter pattern |
-
2019
- 2019-07-02 US US16/460,242 patent/US10819927B1/en active Active
-
2020
- 2020-07-01 CN CN202010622835.6A patent/CN112188126B/zh active Active
- 2020-07-02 TW TW109122466A patent/TWI722934B/zh active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0729270A2 (en) * | 1995-02-24 | 1996-08-28 | Eastman Kodak Company | Black pattern correction for a charge transfer sensor |
JP2002252808A (ja) * | 2001-02-23 | 2002-09-06 | Sony Corp | イメージセンサの画像信号処理装置 |
WO2008027306A2 (en) * | 2006-08-31 | 2008-03-06 | Aptina Imaging Corporation | Method, apparatus and system providing suppression of noise in a digital imager |
US8077227B2 (en) * | 2008-05-02 | 2011-12-13 | Aptina Imaging Corporation | Method and apparatus providing analog row noise correction and hot pixel filtering |
CN102137238A (zh) * | 2009-12-11 | 2011-07-27 | 英属开曼群岛商恒景科技股份有限公司 | 多阶段黑电平校准方法与系统 |
CN102714703A (zh) * | 2009-12-31 | 2012-10-03 | 全视科技有限公司 | 产生图像传感器的列偏移校正 |
CN102164250A (zh) * | 2010-02-18 | 2011-08-24 | 美商豪威科技股份有限公司 | 具有改良式黑电平校准的图像传感器 |
CN102647566A (zh) * | 2011-02-17 | 2012-08-22 | 全视科技有限公司 | 用于cmos图像传感器的模拟行黑色电平校准 |
US20120212657A1 (en) * | 2011-02-17 | 2012-08-23 | Omnivision Technologies, Inc. | Analog row black level calibration for cmos image sensor |
US8878965B1 (en) * | 2013-06-26 | 2014-11-04 | Himax Imaging Limited | Black level adjustment device and method for CMOS image sensor |
CN105578082A (zh) * | 2016-01-29 | 2016-05-11 | 深圳市高巨创新科技开发有限公司 | 一种自适应黑电平校正方法 |
CN107872633A (zh) * | 2016-09-28 | 2018-04-03 | 半导体元件工业有限责任公司 | 具有暗像素的图像传感器 |
CN108322680A (zh) * | 2018-01-18 | 2018-07-24 | 思特威电子科技(开曼)有限公司 | 图像传感器的温度自适应黑电平校准方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
TWI722934B (zh) | 2021-03-21 |
TW202110160A (zh) | 2021-03-01 |
CN112188126B (zh) | 2022-02-25 |
US10819927B1 (en) | 2020-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9807382B2 (en) | Systems and methods for detecting defective camera arrays and optic arrays | |
US8164651B2 (en) | Concentric exposure sequence for image sensor | |
US9224782B2 (en) | Imaging systems with reference pixels for image flare mitigation | |
CN102132570B (zh) | 图像信号校正设备、成像设备、图像信号校正方法 | |
US20150009370A1 (en) | Method and apparatus for eliminating crosstalk amount included in an output signal | |
US20130070129A1 (en) | Image capturing apparatus and defective pixel detection method | |
CN110944126B (zh) | 成像系统和对图像传感器进行黑阶校正的方法 | |
US7847821B2 (en) | On chip test mode implementation | |
EP2190187B1 (en) | Solid-state imaging device | |
US8451350B2 (en) | Solid-state imaging device, camera module, and imaging method | |
JPH11252464A (ja) | Cmosイメージャ用ピクセル補正システム及び方法 | |
TW201102968A (en) | CFA image with synthetic panchromatic image | |
US9191592B2 (en) | Imaging sensor anomalous pixel column detection and calibration | |
US10244182B2 (en) | Methods and apparatus for reducing spatial flicker artifacts | |
CN112188126B (zh) | 具有自测黑电平校正的成像系统和校正方法 | |
US20080179490A1 (en) | Solid-state image pickup device | |
US8547464B2 (en) | Solid-state imaging device and frame data correcting method which determine a voltage value corresponding to a pixel portion in frame data | |
TWI418213B (zh) | Solid-state imaging device | |
US20100141263A1 (en) | System and method for testing an image sensor using gradation image capture | |
TWI458344B (zh) | Solid - state camera device and frame data correction method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |