CN102714703B - 产生图像传感器的列偏移校正 - Google Patents

产生图像传感器的列偏移校正 Download PDF

Info

Publication number
CN102714703B
CN102714703B CN201080059683.8A CN201080059683A CN102714703B CN 102714703 B CN102714703 B CN 102714703B CN 201080059683 A CN201080059683 A CN 201080059683A CN 102714703 B CN102714703 B CN 102714703B
Authority
CN
China
Prior art keywords
row
level
dark
gain
dark signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080059683.8A
Other languages
English (en)
Other versions
CN102714703A (zh
Inventor
杰夫里·S·格斯滕伯格
拉维·姆鲁斯尤恩贾亚
约翰·托马斯·康普顿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omnivision Technologies Inc
Original Assignee
Omnivision Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnivision Technologies Inc filed Critical Omnivision Technologies Inc
Publication of CN102714703A publication Critical patent/CN102714703A/zh
Application granted granted Critical
Publication of CN102714703B publication Critical patent/CN102714703B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/677Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction for reducing the column or line fixed pattern noise

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Image Input (AREA)

Abstract

一种图像传感器包含通常布置成行和列以形成像素阵列的多个感光像素和多个暗参考像素。以第一增益电平从每一列中的给定数目的暗参考像素读出暗信号。使用以所述第一增益电平读出的相应暗信号来确定所述像素阵列中的一个或一个以上列的初始列偏移校正。响应于对不同增益电平的每一检测到的改变而重复地定标所述初始列偏移校正。所述列偏移校正可基于每一相应不同增益电平与所述第一增益电平之间的改变量而定标。

Description

产生图像传感器的列偏移校正
技术领域
本发明大体上涉及图像传感器,且更具体地说,涉及用于补偿图像传感器中的列固定图案噪声的方法。更具体地说,本发明涉及用于产生用以补偿图像传感器中的列固定图案噪声的列偏移校正的方法。
背景技术
互补金属氧化物半导体(CMOS)图像传感器通常包含布置成行和列以形成像素阵列的多个像素。列输出电路连接到所述阵列中的每一列像素以从所述列中的像素读出信号。来自一行像素的输出信号通过所述列输出电路每次一行地(并行地)从所述像素阵列读出。
列输出电路可包含模拟和数字电路两者,包含电容器、开关、多路复用器、晶体管和放大器。通过CMOS图像传感器捕捉的图像的质量可由于列输出电路中的电路的偏移与增益之间的差异或不匹配而降低。这些不匹配在图像中产生列固定图案噪声假影或缺陷。列固定图案噪声由于列固定图案噪声的柱形或条纹结构而较容易被观察者看见且另其反感。
当捕捉图像时,通常将增益应用于像素的输出信号。当在低光条件下捕捉图像时,此情形尤其成立,其中增益用以使图像较明亮。不幸的是,列固定图案噪声也由增益放大,从而使列固定图案噪声假影在图像中更为显著。举例来说,增益的两倍增加可导致列固定图案噪声加倍。
发明内容
本发明涉及一种用于确定用以补偿通过图像传感器捕捉的图像中的列固定图案噪声的列偏移校正的方法。所述图像传感器包含通常布置成行和列以形成像素阵列的多个感光像素和多个暗参考像素。以第一增益电平从每一列中的给定数目的暗参考像素读出暗信号。使用以所述第一增益电平读出的相应暗信号来确定所述像素阵列中的一个或一个以上列的初始列偏移校正。响应于对不同增益电平的每一检测到的改变而重复地定标所述初始列偏移校正。在根据本发明的实施例中,所述列偏移校正基于每一相应不同增益电平与所述第一增益电平之间的改变量而定标。
附图说明
参看以下图式来更好地理解本发明的实施例。所述图式的元件未必相对于彼此按比例绘制。
图1是根据本发明的实施例中的图像捕捉装置的简化框图;
图2是根据本发明的实施例中的图像传感器106的俯视图的框图;
图3是图2中所图示的模拟前端电路216的框图;
图4是根据本发明的实施例中的用于产生列偏移校正的第一方法的流程图;
图5是用于使用根据图4中所图示的第一方法产生的列偏移校正的第一方法的流程图;
图6A-6B描绘根据本发明的实施例中的用于产生和使用列偏移校正的第二方法的流程图;
图7A-7B说明根据本发明的实施例中的用于在产生列偏移校正时检测异常暗信号且补偿异常暗信号的方法的流程图;以及
图8是根据本发明的实施例中的用以描绘局部偏移窗的从每一列读出的暗信号的示范性图。
具体实施方式
遍及本说明书和权利要求书,以下术语采用本文中明确相关联的含义,除非上下文另有清楚指示。“一”和“所述”的含义包含复数参考,“在……中”的含义包含“在……中”和“在……上”。术语“经连接”意指经连接的物品之间的直接电连接,或意指经由一个或一个以上被动或主动中间装置的间接连接。术语“电路”意指连接在一起以提供所要功能的单个组件或多个组件,无论是主动组件或是被动组件。术语“信号”意指至少一个电流、电压或数据信号。
另外,例如“在……上”、“在……上方”、“顶部”、“底部”的方向性术语参考所描述的图式的定向来加以使用。因为本发明的实施例的组件可以许多不同定向来定位,因此方向性术语仅用于说明目的而决非限制。
参看图式,相同数字遍及诸图指示相同部分。
图1是根据本发明的实施例中的图像捕捉装置的简化框图。图像捕捉装置100在图l中实施为数码相机。所属领域的技术人员应了解,数码相机仅为可利用并入有本发明的图像传感器的图像捕捉装置的一个实施例。其它类型的图像捕捉装置(例如,手机相机、扫描器和数字视频摄录机)可用于本发明。
在数码相机100中,来自主题场景的光102输入到成像台104。成像台104可包含常规元件,例如透镜、中性密度滤光片、光圈和快门。光102通过成像台104聚焦以在图像传感器106上形成图像。图像传感器106通过将入射光转换成电信号而捕捉一个或一个以上图像。数码相机100进一步包含处理器108、存储器110、显示器112和一个或一个以上额外输入/输出(I/O)元件114。尽管在图l的实施例中图示为单独元件,但成像台104可与图像传感器106集成且可能与数码相机100的一个或一个以上额外元件集成以形成相机模块。举例来说,在根据本发明的实施例中,处理器或存储器可与图像传感器106集成在相机模块中。
处理器108可实施(例如)为微处理器、中央处理单元(CPU)、专用集成电路(ASIC)、数字信号处理器(DSP),或其它处理装置,或多个此些装置的组合。成像台104和图像传感器106的各种元件可通过从处理器108供应的时序信号或其它信号来控制。
存储器110可经配置为任何类型的存储器,例如随机存取存储器(RAM)、只读存储器(ROM)、快闪存储器、基于磁盘的存储器、可移除存储器,或其它类型的存储元件,按照任一组合形式来配置。通过图像传感器106捕捉的给定图像可通过处理器108存储在存储器110中且呈现在显示器112上。显示器112通常为主动式矩阵彩色液晶显示器(LCD),但可使用其它类型的显示器。额外I/O元件114可包含(例如)各种屏幕上的控制件、按钮或其它用户接口、网络接口,或存储卡接口。
应了解,图l中所图示的数码相机可包括所属领域的技术人员已知的类型的额外或替代元件。本文中未具体图示或描述的元件可从此项技术中已知的元件中选择。如先前所注明,本发明可实施于各种图像捕捉装置中。此外,本文中所描述的实施例的某些方面可至少部分以通过图像捕捉装置的一个或一个以上处理元件执行的软件的形式来实施。如所属领域的技术人员将了解,给定提供于本文中的教示,此类软件可以直接方式来实施。
现参看图2,图示根据本发明的实施例中的图像传感器106的俯视图的框图。图像传感器106包含具有感光像素202和暗参考像素204的像素阵列200。感光像素202和暗参考像素204通常在像素阵列200内布置成行和列。
感光像素202为响应于入射光而收集光生电荷载流子的像素。暗参考像素204可经构造为具有不透明层或光屏蔽件206的感光像素,所述不透明层或光屏蔽件206位于暗参考像素204上方以使得所述像素不会接收入射光。或者,在根据本发明的实施例中,暗参考像素204可在无光检测器的情况下加以建构。
暗参考像素204用来测量当图像传感器未被照亮(零光条件)时在图像传感器106中产生的电荷的量。这些暗信号用来减少所捕捉的图像中的噪声的量。在本发明的实施例中,像素阵列200中的每一列的列偏移校正基于从暗参考像素204读出的暗信号来产生。所述列偏移校用来减少或消除图像传感器中的列固定图案噪声。
图像传感器106进一步包含列解码器208、行解码器210、数字逻辑212、列输出电路214和模拟前端电路216。像素阵列200中的每一列感光像素202和暗参考像素204电连接到列输出电路214。
数字逻辑212包含存储器218、控制寄存器220、定标电路222和时序产生器224。在根据本发明的实施例中,存储器218存储列偏移校正,控制寄存器220存储在捕捉图像时使用的增益电平,且定标电路222用以响应于增益电平的检测到的改变而定标列偏移校正。时序产生器224产生从像素阵列200读出信号所需的信号。
在根据本发明的实施例中,将图像传感器106实施为x-y可寻址图像传感器,例如互补金属氧化物半导体(CMOS)图像传感器。因此,将列解码器208、行解码器210、数字逻辑212、列输出电路214和模拟前端电路216实施为操作性地连接到像素阵列200的标准CMOS电子电路。
与像素阵列200的取样和读出以及对应图像数据的处理相关联的功能性可至少部分以存储在存储器110(见图l)中且通过处理器108执行的软件的形式来实施。取样和读出电路的部分可布置在图像传感器106外部,或与像素阵列200整体地形成在(例如)与光检测器和像素阵列的其它元件共有的集成电路上。所属领域的技术人员应了解,其它外围电路配置或结构可实施在根据本发明的其它实施例中。
为简单起见,图2描绘七行和七列像素,其中有五行感光像素202和两行暗参考像素204。所属领域的技术人员应了解,图像传感器具有可以任何配置来布置的数百万到数千万的像素。仅举例来说,多行暗参考像素可位于像素阵列200的顶部和底部处。或者,感光像素可限制在子阵列中,其中多行和多列暗参考像素环绕所述子阵列。另一示范性实施例将暗参考像素分散在像素阵列内,以使得暗参考像素与感光像素混杂。
图3是图2中所图示的模拟前端电路216的框图。在根据本发明的实施例中,模拟前端电路216从每一像素接收一对差分模拟信号。一个模拟信号标识为RESET,且另一信号标识为SIGNAL。模拟前端电路216放大并调节RESET和SIGNAL模拟信号,且将所述模拟信号转换成数字信号。
模拟前端电路216包含模/数转换器(ADC)300和模拟信号处理器(ASP)302。在根据本发明的实施例中,ASP 302包含两个串接的可变增益放大器304、306。根据本发明的其它实施例可包含一个或一个以上可变增益放大器。在根据本发明的实施例中,在本发明中,检测可变增益放大器304、306的增益的改变并使用其产生经定标的列偏移校正。
现参看图4,其图示根据本发明的实施例中的用于产生列偏移校正的第一方法的流程图。最初,在给定增益电平下从每一列像素中的给定数目的暗参考像素读出暗信号(框400)。在根据本发明的实施例中,所述增益电平可以是增益设置或经测量的增益。
在根据本发明的实施例中,读出的暗参考像素的数目可变化。在一个实施例中,从每一列中的大量暗参考像素读出暗信号。大量暗信号可导致较精确的初始列偏移校正。
此外,给定的增益电平可以是任何所要增益电平。在根据本发明的一个实施例中,增益电平是高的。较高的增益电平可产生较精确的初始列偏移校正。
框400可在图像传感器的操作期间的任何时间加以执行。在根据本发明的一个实施例中,框400是在图像传感器开启时首先加以执行。此情形允许使用是启动序列的部分的空白帧来获得暗信号。
接下来,如框402中所图示,分析来自每一列的暗信号以确定是否存在任何异常暗信号。在根据本发明的实施例中,异常暗信号是从异常地暗或亮的暗参考像素获得的信号。仅举例来说,数字逻辑212(图2)分析所述暗信号以确定其中是否有任何异常暗信号。稍后参看图7A-7B来描述一种用于检测和补偿异常暗信号的方法。在根据本发明的实施例中,如果所述暗信号中的任何暗信号是异常暗信号,那么丢弃或补偿所述异常暗信号。
接着确定像素阵列中的每一列的初始列偏移校正,且将所述初始列偏移校正存储在存储器中(框404和406)。在根据本发明的一个实施例中,对从一列读出的暗信号一起求平均值以产生平均暗信号值,且所述平均暗信号值用作初始列偏移校正。根据本发明的其它实施例可以不同方式确定所述初始偏移校正。仅举例来说,暗信号可输入到无限脉冲响应(IIR)滤波器中以确定所述初始列偏移校正。
接着在框408处做出关于是否已起始图像捕捉的确定。在根据本发明的实施例中,增益电平是在图像捕捉过程起始时通过图像捕捉装置来确定。所述增益电平可通过自动曝光算法、通过用户选择,或通过某些其它方法来确定。在根据本发明的实施例中,所述增益电平传输到图像传感器且存储在控制寄存器220(图2)中。
接着在框410处做出关于是否将以不同于框400和框404处所使用的增益电平的增益位率来捕捉图像的确定。在根据本发明的实施例中,数字逻辑212检测增益电平的改变。如果增益电平尚未改变,那么所述方法返回到框408。如果图像将以不同的增益电平来捕捉,那么所述过程在框412处继续,在框412处响应于所述不同的增益电平来定标初始列偏移校正。在根据本发明的一个实施例中,所述初始列偏移校正是通过新增益设置与先前增益设置的比率来定标。在根据本发明的另一实施例中,所述初始列偏移校正是通过当前测量的增益与先前测量的增益的比率来定标。
接着将所述经定标的偏移校正存储在存储器中,如框414中所图示。所述方法返回到框408。在根据本发明的实施例中,每当图像以不同的增益电平来捕捉时,框412和414便重复。
当检测到增益电平的改变时,图4的方法更新列偏移校正。列偏移校正通过定标初始列偏移校正来更新。此方法有利地避免在确定列偏移校正时重复地读出暗信号,借此减少计算像素阵列中的每一列的列偏移校正所需的帧开销(例如,时间)。
根据本发明的实施例不限于图4中所图示的框和框的次序。根据本发明的其它实施例可执行额外步骤,不执行所述框中的一些步骤,或同时地执行所述步骤中的一些步骤。仅举例来说,检测异常暗信号和补偿此些异常暗信号(框402)可与读出暗信号(框400)同时执行。或者,在根据本发明的其它实施例中,框402或框414并不必须加以执行。
图5是用于使用根据图4中所图示的方法产生的列偏移校正的方法的流程图。最初,做出关于是否将从像素阵列读出图像或图像的帧的确定(框500)。如果是,那么从读出自每一列的图像信号减去适当的列偏移校正(框502)。当图像或图像的帧是在增益电平无改变的情况下得以捕捉时,适当的列偏移校正为初始列偏移校正或先前定标的初始列偏移。或者,当图像或图像的帧是以不同于与初始列偏移校正相关联的增益电平的增益电平来捕捉时,适当的列偏移校正为当前定标的列偏移校正。
在根据本发明的一个实施例中,响应于增益电平的改变而定标初始列偏移校正(图4中的框412)可与从图像信号减去适当的偏移校正(图5中的框502)同时进行。即,在需要时,适当的偏移校正可在帧或图像的读出期间在运作中确定和定标(如果由于增益改变而必需),以便在每一图像信号被读出时提供对每一图像信号的偏移校正。此情形避免对存储经定标的偏移校正的存储器的需要。
现参看图6A-6B,图示根据本发明的实施例中的用于产生和使用列偏移校正的第二方法的流程图。最初,在给定增益电平下从每一列像素中的给定数目的暗参考像素读出暗信号(框600)。在根据本发明的实施例中,所述增益位率可为增益设置或经测量的增益。
在根据本发明的实施例中,读出的暗参考像素的数目可变化。在根据本发明的一个或一个以上实施例中,从每一列中的少许暗参考像素读出暗信号。举例来说,在根据本发明的一个实施例中,从每一列中的三十六个暗参考像素读出暗信号。在根据本发明的另一实施例中,从每一列中的八个暗参考像素读出暗信号。
给定的增益电平可以是任何所要的增益电平。在根据本发明的一个实施例中,增益电平是高的。较高的增益电平可导致较精确的初始列偏移计算。
框600可在图像传感器的操作期间的任何时间加以执行。在根据本发明的一个实施例中,框600是在图像传感器开启时首先加以执行。此情形允许作为启动序列的部分的空白帧用于获得暗信号。
接下来,如框602中所图示,分析来自每一列的暗信号以确定是否存在任何异常暗信号。如早先所讨论,在根据本发明的实施例中,异常暗信号是从异常地暗或亮的暗参考像素获得的信号。稍后参看图7A-7B来描述一种用于检测和补偿异常暗信号的方法。在根据本发明的实施例中,如果所述暗信号中的任何暗信号是异常暗信号,那么使用补偿暗信号或丢弃所述异常暗信号。
接着确定像素阵列中的每一列的列偏移校正,如框604中所图示。在根据本发明的一个实施例中,对从每一列读出的暗信号一起求平均值以产生列平均暗信号值,且将所述列平均暗信号值用作列偏移校正。将所述列偏移校正存储在存储器中(框606)。
接着做出关于是否已起始图像捕捉的确定(框608)。如先前所描述,在根据本发明的实施例中,在图像捕捉过程起始时通过图像捕捉装置来确定增益电平。所述增益电平可通过自动曝光算法、通过用户选择,或通过某其它方法来确定。在根据本发明的实施例中,所述增益电平传输到图像传感器且存储在控制寄存器220(图2)中。
接着在框610处做出关于是否以与不同于框606处或框618处存储在存储器中(以最近发生者为准)的列偏移校正相关联的增益电平的增益电平来捕捉图像的确定。在根据本发明的实施例中,数字逻辑212检测增益电平的改变。
当并未以不同增益电平来捕捉图像时,所述过程在框612处继续,在框612处从暗参考像素读出给定数目的暗信号。在根据本发明的实施例中,每当从暗参考像素读出暗信号,从所述像素阵列读出的给定数目的暗参考像素可动态地改变。因此,一个读取操作可对八个暗参考像素进行读出以确定列偏移校正,且另一读取操作可对十个暗参考像素进行读出。仅举例来说,从像素阵列读出的暗信号的数目可基于暗参考像素中的噪声、基于对列偏移校正的统计测量、基于所述像素是针对在增益电平改变之后的首次更新而进行读取还是所述暗参考像素是针对后续的更新而进行读取。
接下来,在读取给定数目的暗像素之后,分析来自每一列的暗信号以确定是否存在任何异常暗信号(框614)。稍后参看图7A-7B来描述一种用于补偿异常暗信号的方法。接着更新先前的列偏移以产生经更新的列偏移,如框616中所图示。将经更新的列偏移校正存储在存储器中(框618)。
在根据本发明的一个实施例中,列偏移校正使用新读出的暗信号和先前计算出的列偏移校正来重新计算。仅举例来说,每当从像素阵列读出给定数目的暗信号时,每一列的平均暗信号电平经重新计算。重新计算出的列偏移校正用作经更新的列偏移校正。根据本发明的其它实施例可以不同方式产生经更新的列偏移校正。仅举例来说,在根据本发明的其它实施例中,经更新的列偏移可使用加权平均或IIR滤波器来产生。
接着从读出自与每一经更新的列偏移校正相关联的列的图像信号减去所述经更新的列偏移校正(框620)。从所述图像信号减去经更新的列偏移校正补偿了列固定图案噪声。所述方法接着返回到框608。
再次参考框610,当在捕捉图像时使用不同增益电平时,所述过程进行到框624。在框624处,定标列偏移校正或经更新的列偏移校正以产生经定标的列偏移校正。定标的量是基于增益电平的检测到的改变。举例来说,在根据本发明的一个实施例中,所述列偏移校正或经更新的列偏移校正通过新增益设置与先前增益设置的比率来定标。在根据本发明的另一实施例中,所述列偏移校正或经更新的列偏移校正通过当前测量的增益与先前测量的增益的比率来定标。
接着将经定标的列偏移校正存储在存储器中(框626)。在执行框626之后,所述过程进行到框612,且执行框612到620。在执行框620之后,所述方法返回到框608。
根据本发明的实施例不限于图6A-6B中所图示的框和框的次序。根据本发明的其它实施例可执行额外步骤,不执行所述框中的一些步骤,或同时地执行所述步骤中的一些步骤。仅举例来说,检测异常暗信号和补偿此些异常暗信号(框602或614)可与读出暗信号(分别为框600或612)同时执行。或者,在根据本发明的其它实施例中,框602、框606、框614、框618或框626并不必须加以执行。
请注意,除了图2中所说明的结构之外,本发明的实施例还可用于不同图像传感器结构中。仅举例来说,每当从图像传感器读出一行像素时,图像传感器便可切换哪几列像素连接到哪些列输出电路。大体上,进行此操作以在某程度上打碎列固定图案噪声的柱形或条纹性质。本发明的实施例可仅基于列电路来确定和应用列偏移校正,甚至在列输出电路从一个像素列切换到另一像素列时仍如此。本发明的实施例可仅基于像素列来确定和应用列偏移校正。或者,本发明的实施例可确定列偏移校正,并将其应用到像素列与列输出电路的每一组合。
类似地,图像传感器可具有多个列电路,每一列电路服务两列或两列以上的像素,借此需要多个取样和读取周期来读取每一行像素。本发明的实施例将列偏移校正应用到每一列电路,或每一像素列,或应用到像素列与列输出电路的每一组合。进一步举例来说,多个列输出电路可用于每一列像素。此情况可为在一组列电路正被读出而另一组列电路正对准备读出的图像信号取样时所出现的情况。此外,即使像素列与列输出电路之间不存在一对一的对应,但本发明仍适用且不受限。
图7A-7B描绘在根据本发明的实施例中用于在产生列偏移校正时检测异常暗信号且补偿异常暗信号的方法的流程图。最初,确定像素阵列中的所有列的全局偏移窗(框700)。所述全局偏移窗识别像素阵列中的所有列的可接受暗信号的范围。在根据本发明的实施例中,可接受暗信号的范围包含中央暗信号、最大暗信号和最小暗信号。
在根据本发明的一个实施例中,所述中央暗信号、所述最小暗信号和所述最大暗信号可基于预期的暗信号。或者,在根据本发明的另一实施例中,所述中央暗信号、所述最小暗信号和所述最大暗信号可基于所测量的暗信号。且在根据本发明的另一实施例中,所述中央暗信号、所述最小暗信号和所述最大暗信号可基于先前确定的中央暗信号、最小暗信号和最大暗信号。根据本发明的其它实施例可以不同方式确定像素阵列中的所有列的可接受暗信号的范围。
接下来,如框702中所图示,从每一列像素中的给定数目的暗参考像素读出暗信号,且分析所述暗信号以确定所述暗信号是否在全局偏移窗内。接着在框704处做出关于来自每一列的一个或一个以上暗信号是否在全局偏移窗外部的确定。如果是,那么在全局偏移窗外部的暗信号为异常暗信号。补偿所述异常暗信号,以使得用以确定最初列偏移(图4中的框404)或列偏移(图6A中的框604)的所有暗信号均处于全局偏移窗内(框706)。
在根据本发明的一个实施例中,异常暗信号通过减去每一异常暗信号的先前暗信号、选定暗信号或估计暗信号来补偿。在根据本发明的另一实施例中,异常暗信号通过减去每一异常暗信号的平均暗信号值来补偿。在根据本发明的又一实施例中,中值或模式暗信号用来代替每一异常暗信号。或者,在根据本发明的另一实施例中,每一异常暗信号可被丢弃,且列偏移校正以较少暗信号来确定。根据本发明的其它实施例可使用与本文中所描述的技术不同的技术来补偿异常暗信号。
接着使用在全局偏移窗内的暗信号来确定适当的列偏移校正(框708)。举例来说,在框708处确定初始列偏移校正(在图4中的框404)或列偏移校正(图6A中的框604)。且在根据本发明的实施例中,取决于从暗参考像素读出的暗信号的数目,经更新的列偏移校正(图6B中的框618)还可使用在全局偏移窗内的信号来确定。
接下来,在框710处,做出关于是否已对给定数目的暗参考像素进行读出的确定。在根据本发明的一个实施例中,暗参考像素的给定数目是基于经定标的列偏移或经更新的列偏移的置信度。或者,暗参考像素的给定数目系基于参考图6中的框612所描述的因素。
如果尚未达到暗参考像素的给定数目,那么继续使用全局偏移窗来确定异常暗信号。当已对给定数目的暗参考像素进行读出时,所述方法在框712处继续,在框712处确定像素阵列中的每一列的局部偏移窗。在根据本发明的实施例中,局部偏移窗识别像素阵列中的一列的可接受暗信号的范围。在根据本发明的实施例中,局部偏移窗的可接受暗信号的范围是基于从此列读出的暗信号。仅举例来说,所述局部偏移窗可基于此列的平均暗信号值。
接着从每一列像素中的给定数目的暗参考像素读出暗信号,且分析所述暗信号以确定所述暗信号是否在相应局部偏移窗内(框714)。在框716处做出关于来自每一列的一个或一个以上暗信号是否在与此列相关联的局部偏移窗外部的确定。如果是,那么在局部偏移窗外部的暗信号为异常暗信号。在根据本发明的实施例中,补偿所述异常暗信号,以使得用以确定列偏移校正(图4中的框404和图6A中的框604)或经更新的列偏移校正(图6A中的框618)的所有暗信号在其相应局部偏移窗内(框718)。异常暗信号可通过使用结合框706所描述的技术来补偿。
接着使用在局部偏移窗内的暗信号来确定适当的列偏移校正(框720)。在根据本发明的一个实施例中,在框720处确定列偏移校正(图6A中的框604)或经更新的列偏移校正(图6B中的框618)。接下来,在框722处,做出关于是否将更新一个或一个以上局部偏移窗的确定。如果否,那么所述方法返回到框714。
当将更新一个或一个以上局部偏移窗时,产生一个或一个以上经更新的局部偏移窗,如框724中所图示。在根据本发明的实施例中,所述局部偏移窗通过分析从一列读出的暗信号且将其与局部偏移窗中所包含的可接受暗信号的范围进行比较来更新。可接受暗信号的范围基于从所述列读出的暗信号的电平来调整。在根据本发明的一个或一个以上实施例中,可接受暗信号的范围可增加、减小、最小和最大暗信号改变,或这些各者的组合可用以更新局部偏移窗。
在框726处可将经更新的局部偏移窗存储在存储器中。所述方法接着返回到框714。
根据本发明的实施例不限于图7A-7B中所图示的框和框的次序。根据本发明的其它实施例可执行额外步骤,不执行所述框中的一些步骤,或同时地执行所述步骤中的一些步骤。仅举例来说,在根据本发明的其它实施例中,框726并不必须加以执行。
现参看图8,图示根据本发明的实施例中的用以描绘局部偏移窗的从每一列读出的暗信号的示范性图。从像素阵列中的每一列(C0、C1、……、CN)读出多个暗信号800。局部偏移窗802、804、806、808、810是针对所述列(C0、C1、……、CN)而确定。每一局部偏移窗界定其相应列的可接受暗信号的范围。列C0的局部偏移窗802针对此列具有最大暗信号812和最小暗信号814。列C1的局部偏移窗804针对此列具有最大暗信号816和最小暗信号818。类似地,列C2、CN-1和CN的局部偏移窗806、808、810针对这些列分别具有最大暗信号820、822、824和最小暗信号826、828、830。
如图8中所图示,所述列中的一些具有异常暗信号。列C0具有一个异常暗信号832。列C2和列CN-1分别具有两个异常暗信号834、836和838、840。列C1和列CN不具有任何异常暗信号。异常暗信号832、834、836、838、840可使用早先结合图7A-7B所描述的技术来补偿。
局部偏移窗802、804、806、808、810可使用本文中所描述的技术来调整。局部偏移窗通过调整可接受暗信号的范围来更新。举例来说,在根据本发明的一个或一个以上实施例中,所述范围可增加、减小、最小和最大暗信号改变,或这些各者的组合可用以更新局部偏移窗。
零件列表
100图像捕捉装置
102光
104成像台
106图像传感器
108处理器
110存储器
112显示器
114其它输入/输出装置
200像素阵列
202感光像素
204暗参考像素
206不透明层或光屏蔽件
208列解码器
210行解码器
212数字逻辑
214列输出电路
216模拟前端电路
218存储器
220控制寄存器
222定标电路
224时序产生器
300模/数转换器
302模拟信号处理器
304可变增益放大器
306可变增益放大器
800暗信号
802局部偏移窗
804局部偏移窗
806局部偏移窗
808局部偏移窗
810局部偏移窗
812最大暗信号
814最小暗信号
816最大暗信号
818最小暗信号
820最大暗信号
822最大暗信号
824最大暗信号
826最小暗信号
828最小暗信号
830最小暗信号
832异常暗信号
834异常暗信号
836异常暗信号
838异常暗信号
840异常暗信号

Claims (17)

1.一种用于补偿图像传感器中的列固定图案噪声的方法,其中所述图像传感器包含布置成行和列以形成像素阵列的多个感光像素和多个暗参考像素,所述方法包括:
以像素读出电路的第一增益电平从每一列中的给定数目的暗参考像素读出暗信号值;
使用以所述第一增益电平读出的相应暗信号来确定所述阵列中的一个或一个以上列的初始列偏移校正;
检测对所述像素读出电路的不同增益电平的改变;
响应于对相应不同增益电平的每一检测到的改变而重复地定标所述初始列偏移校正以对所述不同增益电平中的每一者生成列偏移校正;以及
基于读出每一列中所述暗参考像素的变化的整数数目,调整对所述不同增益电平中的每一者的所述列偏移校正,其中所述变化的整数数目是基于额外数据的。
2.根据权利要求1所述的方法,其中基于相应不同增益电平与所述第一增益电平之间的改变量而定标所述初始列偏移校正。
3.根据权利要求1所述的方法,其中使用以所述第一增益电平读出的相应暗信号来确定所述像素阵列中的一个或一个以上列的初始列偏移校正包括通过对以所述第一增益电平读出的相应暗信号求平均值以产生平均暗信号电平来计算所述像素阵列中的每一列的初始列偏移校正。
4.根据权利要求1所述的方法,其中响应于对相应不同增益电平的每一检测到的改变而重复地定标所述初始列偏移校正包括响应于对相应不同增益设置的每一检测到的改变而重复地定标所述初始列偏移校正。
5.根据权利要求4所述的方法,其中通过相应不同增益设置与所述第一增益设置的比率而定标所述列偏移校正。
6.根据权利要求1所述的方法,其中响应于对相应不同增益电平的每一检测到的改变而定标所述初始列偏移校正包括响应于对相应不同测量增益的每一检测到的改变而定标所述初始列偏移校正。
7.根据权利要求6所述的方法,其中通过相应不同测量增益与第一测量增益的比率而定标所述列偏移校正。
8.根据权利要求1所述的方法,其中所述额外数据包括每一列中的所述暗参考像素的第一子集的噪声水平,其中每一列中的所述暗参考像素被读出以生成额外暗信号值。
9.根据权利要求1所述的方法,其中所述额外数据包括从所述像素阵列被最后关机后,所述像素阵列是否以检测到的增益电平起始图像捕捉,其中所述检测到的增益电平在所述不同增益电平之中。
10.一种用于补偿图像传感器中的列固定图案噪声的方法,其中所述图像传感器包含布置成行和列以形成像素阵列的多个感光像素和多个暗参考像素,所述方法包括:
以像素读出电路的第一增益电平从每一列中的给定数目的暗参考像素读出暗信号值;
使用以所述第一增益电平读出的相应暗信号来确定所述阵列中的一个或一个以上列的初始列偏移校正;
检测对所述像素读出电路的不同增益电平的改变;
响应于对相应不同增益电平的每一检测到的改变而重复地定标所述初始列偏移校正以对所述不同增益电平中的每一者生成列偏移校正,其中基于所述相应不同增益电平与所述第一增益电平之间的改变量而定标所述初始列偏移校正;以及
基于读出每一列中所述暗参考像素的变化的整数数目,调整对所述不同增益电平中的每一者的所述列偏移校正,其中所述变化的整数数目是基于额外数据的。
11.根据权利要求10所述的方法,其中使用以所述第一增益电平读出的相应暗信号来确定所述像素阵列中的一个或一个以上列的初始列偏移校正包括通过对以所述第一增益电平读出的相应暗信号求平均值以产生平均暗信号电平来计算所述像素阵列中的每一列的初始列偏移校正。
12.根据权利要求10所述的方法,其中响应于对相应不同增益电平的每一检测到的改变而重复地定标所述初始列偏移校正包括响应于对相应不同增益设置的每一检测到的改变而重复地定标所述初始列偏移校正。
13.根据权利要求12所述的方法,其中通过相应不同增益设置与所述第一增益设置的比率而定标所述列偏移校正。
14.根据权利要求10所述的方法,其中响应于对相应不同增益电平的每一检测到的改变而重复地定标所述初始列偏移校正包括响应于对相应不同测量增益的每一检测到的改变而重复地定标所述初始列偏移校正。
15.根据权利要求14所述的方法,其中通过相应不同测量增益与第一测量增益的比率而定标所述列偏移校正。
16.根据权利要求10所述的方法,其中所述额外数据包括每一列中的所述暗参考像素的第一子集的噪声水平,其中每一列中的所述暗参考像素被读出以生成额外暗信号值。
17.根据权利要求10所述的方法,其中所述额外数据包括从所述像素阵列被最后关机后,所述像素阵列是否以检测到的增益电平起始图像捕捉,其中所述检测到的增益电平在所述不同增益电平之中。
CN201080059683.8A 2009-12-31 2010-12-15 产生图像传感器的列偏移校正 Active CN102714703B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/655,539 2009-12-31
US12/655,539 US8199225B2 (en) 2009-12-31 2009-12-31 Generating column offset corrections for image sensors
PCT/US2010/060430 WO2011081959A1 (en) 2009-12-31 2010-12-15 Generating column offset corrections for image sensors

Publications (2)

Publication Number Publication Date
CN102714703A CN102714703A (zh) 2012-10-03
CN102714703B true CN102714703B (zh) 2015-02-18

Family

ID=43598449

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080059683.8A Active CN102714703B (zh) 2009-12-31 2010-12-15 产生图像传感器的列偏移校正

Country Status (7)

Country Link
US (1) US8199225B2 (zh)
EP (1) EP2520081A1 (zh)
JP (1) JP5624630B2 (zh)
CN (1) CN102714703B (zh)
HK (1) HK1175912A1 (zh)
TW (1) TWI493970B (zh)
WO (1) WO2011081959A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8269864B2 (en) * 2009-12-31 2012-09-18 Omnivision Technologies, Inc. Generating column offset corrections for image sensors
US8228403B2 (en) * 2009-12-31 2012-07-24 Omnivision Technologies, Inc. Generating column offset corrections for image sensors
US9135680B2 (en) * 2011-09-08 2015-09-15 Bae Systems Information And Electronic Systems Integration Inc. Method for reducing row and column noise in imaging systems
US9774804B2 (en) * 2013-12-13 2017-09-26 Bio-Rad Laboratories, Inc. Digital imaging with masked pixels
US9736388B2 (en) * 2013-12-13 2017-08-15 Bio-Rad Laboratories, Inc. Non-destructive read operations with dynamically growing images
JP2015198273A (ja) * 2014-03-31 2015-11-09 ソニー株式会社 イメージセンサ、およびイメージセンサの動作方法、撮像装置および撮像方法、並びに電子機器
CN106321085A (zh) * 2015-07-02 2017-01-11 中石化石油工程技术服务有限公司 激发极化电位测井仪归一化方法
CN107295268A (zh) * 2016-07-29 2017-10-24 广东欧珀移动通信有限公司 图像暗角补偿方法、装置和终端设备
US11935248B2 (en) * 2019-02-17 2024-03-19 Gentex Corporation System, device, and methods for detecting and obtaining information on objects in a vehicle
US10819927B1 (en) * 2019-07-02 2020-10-27 Omnivision Technologies, Inc. Image sensor with self-testing black level correction
WO2021189490A1 (zh) * 2020-03-27 2021-09-30 京东方科技集团股份有限公司 X射线平板探测器及其图像校正方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1475957A1 (en) * 2003-05-08 2004-11-10 STMicroelectronics Limited Method and apparatus for removing column fixed pattern noise in solid state image sensors
CN101160952A (zh) * 2005-04-13 2008-04-09 美光科技公司 用于减少固态成像传感器中固定模式噪声的方法和设备
CN101361360A (zh) * 2005-12-14 2009-02-04 美光科技公司 用于在使用光学黑色像素及束缚像素的成像器中设定黑色电平的方法及设备

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5969758A (en) 1997-06-02 1999-10-19 Sarnoff Corporation DC offset and gain correction for CMOS image sensor
US20030202111A1 (en) * 2002-04-30 2003-10-30 Jaejin Park Apparatus and methods for dark level compensation in image sensors using dark pixel sensor metrics
JP2004015712A (ja) * 2002-06-11 2004-01-15 Sony Corp 固体撮像装置及びその固定パターン雑音除去方法
US6903670B1 (en) 2002-10-04 2005-06-07 Smal Camera Technologies Circuit and method for cancellation of column pattern noise in CMOS imagers
JP4331553B2 (ja) 2003-09-17 2009-09-16 オリンパス株式会社 撮像装置
JP2006025148A (ja) 2004-07-07 2006-01-26 Sony Corp 信号処理装置及び方法
JP4725052B2 (ja) * 2004-08-17 2011-07-13 コニカミノルタホールディングス株式会社 撮像装置
US7602438B2 (en) * 2004-10-19 2009-10-13 Eastman Kodak Company Method and apparatus for capturing high quality long exposure images with a digital camera
US7564489B1 (en) 2005-02-18 2009-07-21 Crosstek Capital, LLC Method for reducing row noise with dark pixel data
KR100530257B1 (ko) 2005-04-26 2005-11-22 엠텍비젼 주식회사 이미지 센서에서의 암 전류에 의한 노이즈 제거 방법 및장치
JP4351658B2 (ja) * 2005-07-21 2009-10-28 マイクロン テクノロジー, インク. メモリ容量低減化方法、メモリ容量低減化雑音低減化回路及びメモリ容量低減化装置
JP2007053691A (ja) 2005-08-19 2007-03-01 Micron Technol Inc サブlsbを用いた拡張デジタルデータ路構造
JP4976832B2 (ja) * 2006-12-04 2012-07-18 キヤノン株式会社 撮像システム
JP4424753B2 (ja) 2007-12-28 2010-03-03 キヤノン株式会社 固体撮像装置及びその駆動方法
US8665350B2 (en) 2008-05-08 2014-03-04 Altasens, Inc. Method for fixed pattern noise (FPN) correction
JP5335327B2 (ja) * 2008-08-29 2013-11-06 キヤノン株式会社 欠陥検出補正装置及び欠陥検出補正方法
US8094215B2 (en) * 2008-10-02 2012-01-10 Altasens, Inc. Digital column gain mismatch correction for 4T CMOS imaging systems-on-chip
US8228403B2 (en) 2009-12-31 2012-07-24 Omnivision Technologies, Inc. Generating column offset corrections for image sensors
US8269864B2 (en) 2009-12-31 2012-09-18 Omnivision Technologies, Inc. Generating column offset corrections for image sensors

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1475957A1 (en) * 2003-05-08 2004-11-10 STMicroelectronics Limited Method and apparatus for removing column fixed pattern noise in solid state image sensors
CN101160952A (zh) * 2005-04-13 2008-04-09 美光科技公司 用于减少固态成像传感器中固定模式噪声的方法和设备
CN101361360A (zh) * 2005-12-14 2009-02-04 美光科技公司 用于在使用光学黑色像素及束缚像素的成像器中设定黑色电平的方法及设备

Also Published As

Publication number Publication date
CN102714703A (zh) 2012-10-03
HK1175912A1 (zh) 2013-07-12
WO2011081959A1 (en) 2011-07-07
EP2520081A1 (en) 2012-11-07
JP2013517641A (ja) 2013-05-16
US8199225B2 (en) 2012-06-12
TWI493970B (zh) 2015-07-21
TW201143409A (en) 2011-12-01
JP5624630B2 (ja) 2014-11-12
US20110157433A1 (en) 2011-06-30

Similar Documents

Publication Publication Date Title
CN102713970B (zh) 产生图像传感器的列偏移校正
CN102714703B (zh) 产生图像传感器的列偏移校正
US10412314B2 (en) Systems and methods for photometric normalization in array cameras
USRE44062E1 (en) Image sensor for detecting flicker noise and method thereof
US7986363B2 (en) High dynamic range imager with a rolling shutter
US7532240B2 (en) Imaging apparatus and imaging methods
US9596422B2 (en) Signal processing device and method, imaging device, and imaging apparatus
KR20060049870A (ko) 촬상 장치 및 신호 처리 방법
US20170195590A1 (en) Method and system for reducing noise in an image sensor using a parallel multi-ramps merged comparator analog-to-digital converter
KR20100047825A (ko) 고체 촬상 장치
US8228403B2 (en) Generating column offset corrections for image sensors
US8547464B2 (en) Solid-state imaging device and frame data correcting method which determine a voltage value corresponding to a pixel portion in frame data
US7368696B2 (en) Generation and storage of column offsets for a column parallel image sensor
JP2008306565A (ja) 撮像装置及びその信号補正方法
US7242429B1 (en) Method for cancellation of the effect of charge feedthrough on CMOS pixel output
US20060114343A1 (en) Programmable reference voltage calibration design
KR100355146B1 (ko) 씨모스 이미지 센서
US20210306571A1 (en) Image pickup device and storage medium
WO2016158315A1 (ja) 撮像素子、撮像方法、電子機器
CN117156303A (zh) 图像处理设备及其控制方法和非暂态计算机可读存储介质
JP2016111615A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1175912

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1175912

Country of ref document: HK

C56 Change in the name or address of the patentee
CP01 Change in the name or title of a patent holder

Address after: American California

Patentee after: OmniVision Technologies, Inc.

Address before: American California

Patentee before: Omnivision Tech Inc.