CN104184967A - 用于校正图像传感器固定图案噪声的设备、系统和方法 - Google Patents

用于校正图像传感器固定图案噪声的设备、系统和方法 Download PDF

Info

Publication number
CN104184967A
CN104184967A CN201410014665.8A CN201410014665A CN104184967A CN 104184967 A CN104184967 A CN 104184967A CN 201410014665 A CN201410014665 A CN 201410014665A CN 104184967 A CN104184967 A CN 104184967A
Authority
CN
China
Prior art keywords
color
correct
filter
correction
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410014665.8A
Other languages
English (en)
Other versions
CN104184967B (zh
Inventor
彭进宝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omnivision Technologies Inc
Original Assignee
Omnivision Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnivision Technologies Inc filed Critical Omnivision Technologies Inc
Publication of CN104184967A publication Critical patent/CN104184967A/zh
Application granted granted Critical
Publication of CN104184967B publication Critical patent/CN104184967B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611Correction of chromatic aberration
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1462Coatings
    • H01L27/14621Colour filter arrangements
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • H01L27/14627Microlenses
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14643Photodiode arrays; MOS imagers
    • H01L27/14645Colour imagers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本申请案涉及一种用于校正图像传感器固定图案噪声的设备、系统和方法,特别是用于校正归因于彩色滤光片图案的图像传感器固定图案噪声的设备、系统和方法。一种设备的实施例包含像素阵列以及光学耦合到所述像素阵列的彩色滤光片阵列,所述彩色滤光片阵列包含多个平铺的最小重复单元。处理电路耦合到所述像素阵列,以校正所述像素阵列所捕获的图像中的固定图案噪声FPN。所述处理电路校正作为校正群组的部分的像素的值,且其中所述校正包括色彩比率校正与一个或一个以上串扰校正的组合,所述色彩比率校正是基于所述最小重复单元内的选定色彩的比率,且所述串扰校正是基于主光线角度CRA校正和所述色彩比率校正。

Description

用于校正图像传感器固定图案噪声的设备、系统和方法
技术领域
所描述的实施例大体上涉及图像传感器,且明确地说但非排他地,涉及包含对归因于彩色滤光片图案的固定图案噪声(FPN)的校正的图像传感器。
背景技术
图像传感器广泛用于数字静态相机、蜂窝式电话、安全相机、医疗、汽车和其它应用中。使用互补金属氧化物半导体(“CMOS”)技术来在硅衬底上制造低成本图像传感器。
大多数图像传感器包含用以捕获图像的二维像素阵列。彩色图像传感器(即,能够捕获彩色图像的图像传感器)使用耦合到像素阵列的彩色滤光片阵列(“CFA”)来将色彩指派给像素阵列中的每一像素。彩色滤光片阵列中的特定色彩图案(即,所使用的色彩以及其布置在滤光片阵列内的方式)可改进像素阵列所捕获的彩色图像的质量,但不同彩色滤光片图案可对像素阵列所捕获的图像中的固定图案噪声(FPN)具有不同影响。
发明内容
在一个实施例中,本申请案提供一种设备,所述设备包括:像素阵列;彩色滤光片阵列,其光学耦合到所述像素阵列,所述彩色滤光片阵列包含多个平铺的最小重复单元;处理电路,其耦合到所述像素阵列以校正所述像素阵列所捕获的图像中的固定图案噪声(FPN),其中所述处理电路校正作为校正群组的部分的像素的值,且其中所述校正包括以下各项的组合:色彩比率校正,其基于所述最小重复单元内的选定色彩的比率;以及一个或一个以上串扰校正,其基于主光线角度(CRA)校正和所述色彩比率校正。
在另一实施例中,本申请案提供一种过程,所述过程包括:从光学耦合到彩色滤光片阵列的像素阵列中的每一像素接收信号,所述彩色滤光片阵列包含多个平铺的最小重复单元;校正作为所述像素阵列中的一个或一个以上校正群组的部分的像素的所述信号,以减少或消除由所述像素阵列捕获的图像中的固定图案噪声(FPN),其中校正所述信号包括,对于所述阵列中的每一个别像素:确定对所述个别像素的色彩比率校正,其基于所述最小重复单元内的选定色彩的比率;确定对所述个别像素的一个或一个以上串扰校正,其基于主光线角度(CRA)校正和所述色彩比率校正;以及在所述个别像素为校正群组的部分的情况下,使用所述色彩比率校正与所述一个或一个以上串扰校正的组合来校正来自所述个别像素的所述信号。
附图说明
参考下图来描述本发明的非限制且非详尽实施例,其中除非另有指定,否则相同参考标号在各个视图中始终指代相同部分。
图1是包含彩色滤光片阵列的图像传感器的实施例的示意图。
图2A是前侧照明(FSI)图像传感器的像素阵列中的一对像素的实施例的横截面图。
图2B是背侧照明(BSI)图像传感器的像素阵列中的一对像素的实施例的横截面图。
图3是说明彩色滤光片阵列的最小重复单元的实施例的平面图。
图4是包含例如图3中所示的最小重复单元的多个平铺最小重复单元的彩色滤光片阵列的实施例的平面图。
图5是说明彩色滤光片阵列内的最小重复单元中的固定图案噪声校正的实施例的彩色滤光片阵列的实施例的平面图。
图6是用于校正使用包含透明滤光片的彩色滤光片阵列的图像传感器中的固定图案噪声的过程的实施例的流程图。
图7A是说明不包含透镜滤光片的彩色滤光片阵列的最小重复单元的实施例的平面图。
图7B是包含例如图7A中所示的最小重复单元的多个平铺最小重复单元的彩色滤光片阵列的实施例的平面图。
具体实施方式
描述用于校正归因于彩色滤光片图案的图像传感器固定图案噪声(FPN)的设备、系统和方法的实施例。描述具体细节以提供对所述实施例的全面理解,但所属领域的技术人员将认识到,在无所描述的细节中的一者或一者以上的情况下,或使用其它方法、组件、材料等,仍可实践本发明。在一些例子中,未详细展示或描述众所周知的结构、材料或操作,但其仍在本发明的范围内。
本说明书中通篇对“一个实施例”或“一实施例”的参考意味着特定特征、结构或特性包含在至少一个所描述的实施例中。因此,短语“在一个实施例中”或“在一实施例中”在本说明书中的出现不一定全都指代同一实施例。此外,在一个或一个以上实施例中,可以按照任何合适方式组合所描述的特定特征、结构或特性。
图1说明CMOS图像传感器100的实施例,其包含彩色像素阵列105、耦合到所述像素阵列的读出电路110、耦合到所述读出电路的功能逻辑115,以及耦合到所述像素阵列的控制电路120。彩色像素阵列105为个别成像传感器或像素(例如,像素P1、P2、…、Pn)的二维(“2D”)阵列,其具有X个像素列和Y个像素行,且可实施为前侧照明像素阵列(例如,见图2A)或背侧照明图像像素阵列(例如,见图2B)。在一个实施例中,阵列中的每一像素为互补金属氧化物半导体(“CMOS”)成像像素。如所说明,将每一像素布置成行(例如,行R1到Ry)和列(例如,列C1到Cx)以获取人、地方或物体的图像数据,其可接着用以呈现所述人、地方或物体的2D图像。
彩色像素阵列105使用耦合到像素阵列的彩色滤光片阵列(“CFA”)将色彩指派给每一像素。CFA通过将单独的原色的滤光片放置在每一像素上来将所述原色指派给所述像素。因此,例如,常见的是如果像素不具有滤光片或耦合到透明(即,无色)滤光片,那么将像素称为“透明像素”,如果像素耦合到蓝色滤光片,那么将其称为“蓝色像素”,如果像素耦合到绿色滤光片,那么将其称为“绿色像素”,或如果像素耦合到红色滤光片,那么将其称为“红色像素”。当光子通过某一原色的滤光片到达像素时,仅所述原色的波长通过。所有其它波长被吸收。
在像素阵列105中的每一像素均已获取其图像数据或图像电荷之后,由读出电路110读出所述图像数据,并将其传送到功能逻辑115以供存储、额外处理等。读出电路110可包含放大电路、模/数(“ADC”)转换电路,或其它电路。功能逻辑115可简单地存储图像数据,且/或通过应用后图像效果(例如,修剪、旋转、去红眼、调整亮度、调整对比度或以其它方式)来操纵所述图像数据。功能逻辑115在一个实施例中还可用于处理所述图像数据以校正(即,减少或去除)固定图案噪声。
控制电路120耦合到像素阵列105,以控制彩色像素阵列105的操作特性。举例来说,控制电路120可产生用于控制图像获取的快门信号。
图2A到2B各自说明CMOS图像传感器中的一对像素的横截面。图2A说明前侧照明(FSI)CMOS图像传感器中的像素200的实施例。像素200的前侧为衬底202的其上安置像素电路且其上形成用于再分配信号的金属堆叠204的侧。金属层M1和M2通过电介质层203与前侧分离,且以产生入射在前侧照明像素200上的光可穿过其到达光敏或光电二极管(“PD”)区206的光学通道的方式图案化。为了实施彩色图像传感器,前侧包含彩色滤光片208,其各自安置在微透镜210下,微透镜210有助于使光聚焦到PD区206上。
图2B说明背侧照明(BSI)CMOS图像传感器中的像素220的实施例。如同像素200一样,像素220的前侧为衬底222的其上安置像素电路且其上形成用于再分配信号的电介质225和金属堆叠224的侧。背侧是衬底222的与前侧相对的侧。为了实施BSI彩色图像传感器,背侧包含安置在背侧与微透镜260之间的彩色滤光片258。微透镜260有助于将光聚焦到PD区256上。通过照明像素220的背侧而不是前侧,金属堆叠224中的金属互连线不遮蔽正成像的物体与收集区域之间的路径,从而导致PD区256的较大信号产生。
图3说明彩色滤光片阵列的最小重复单元(MRU)500的实施例。最小重复单元为使得无其它重复单元具有更少个别滤光片的重复单元。给定彩色滤光片阵列可包含若干重复单元,但如果阵列中存在包含更少个别滤光片的另一重复单元,那么重复单元不是最小重复单元。
最小重复单元500是四个滤光片乘以四个滤光片,总共16个个别滤光片,且由四个邻接格区(cell)502、504、506和508组成,每一格区为两个滤光片乘以两个滤光片。每一格区包含四个个别滤光片:沿一条对角线的两个透明(即,无色)滤光片,以及沿另一对角线的同一色彩的两个滤光片。在所说明的实施例中,对角相对的格区504和508具有绿色滤光片,格区506具有蓝色滤光片,且格区508具有红色滤光片。因此,格区502实际上为红色格区,格区506实际上为蓝色格区,且格区504和508实际上为绿色格区。在其它实施例中,不同的一组原色可用于MRU500中的彩色滤光片。举例来说,在一个实施例中,所使用的原色可为蓝绿色、品红和黄色。由于每一个别滤光片耦合到个别像素,因此常见的是可互换地指代像素和滤光片,使得例如“红色像素”为耦合到红色滤光片的像素。
图4说明彩色滤光片阵列(CFA)400的实施例。滤光片阵列400包含平铺在一起以形成彩色滤光片阵列的多个MRU500。MRU500在图中由粗轮廓指示。每一MRU平铺到滤光片阵列中,使得其沿其边缘中的一者邻接至少一个其它MRU。图中仅展示九个MRU500,但实际彩色滤光片阵列实施例将使用比所示多得多的MRU,如图中由指向外的箭头所指示。彩色滤光片阵列在图像传感器中与像素阵列一起使用;在大多数情况下,彩色滤光片阵列将包含与像素阵列中存在的其可与之耦合的像素一样多的个别滤光片,意味着阵列中的每一像素将光学耦合到对应的个别滤光片。
图5说明使用MRU500且经标记以阐释用以校正(即,减少或消除)使用像素阵列收集的图像数据中的固定图案噪声的过程的实施例的彩色滤光片阵列的实施例,所述像素阵列使用所说明的彩色滤光片阵列图案。
在使用MRU300的彩色滤光片阵列中,可将透明滤光片分类为三个类别,如图中所示:类型A透明滤光片,其各自由两个绿色滤光片和两个红色滤光片环绕;类型B透明滤光片,其各自由两个绿色滤光片、一个红色滤光片和一个蓝色滤光片环绕;以及类型C透明滤光片,其各自由两个绿色滤光片和两个蓝色滤光片环绕。在所说明的彩色滤光片阵列中,不同透明滤光片对固定图案噪声作出不同贡献。在一些实施例中,类型A和类型C透明滤光片贡献固定图案噪声的大部分,且在这些实施例中,主要焦点在于校正来自耦合到类型A和类型C滤光片的像素的信号,以减少或消除固定图案噪声,如下文进一步论述。然而,在其它实施例中,不同类别的透明像素的固定图案噪声贡献可不同,且在那些实施例中,可相应地校正适用的类别。
将两种主要校正应用于像素信号,以减少或消除固定图案噪声:色彩比率校正和串扰校正。在所说明的滤光片图案中,色彩比率问题是因透明像素的分离以及不同透明像素由彩色滤光片图案中的不同色彩环绕的事实而产生。在一个实施例中,可使用以下公式来表征色彩比率校正:
R C = A ( C ‾ R ‾ ) + B ( R ‾ C ‾ ) (等式1)
其中A和B是加权参数;在一个实施例中,加权参数A具有值0.5,且加权参数具有值-1.5,但在其它实施例中,加权参数A和B可具有其它值。在等式1中,为MRU中的对角邻近红色像素的平均值,且为邻接透明像素的平均值,其根据以下公式计算:
R ‾ = 1 2 ( P 1 + P 6 ) , 以及
C ‾ = 1 2 ( P 2 + P 5 ) ,
其中P1和P6为MRU中的红色像素(即,图5中的像素1和6)的值,且P2和P5为与MRU中的红色像素相关联的透明像素(即,图5中的类型A透明像素2和5)的值。换句话说,在此实施例中,基于MRU300的格区302中的个别滤光片来计算色彩比率(R/C)。
第二种校正为串扰校正,其具有水平和垂直分量。水平和垂直分量中的每一者又具有两个部分:主光线角度(CRA)部分和色彩比率部分。CRA部分因主光线角度(即,主光线入射在像素阵列上的角度)在像素阵列的不同部分中不同而出现。通常,主光线角度在阵列的中心附近最低,且在阵列的边缘附近较高,意味着串扰类似地在阵列的中心附近最低,且在阵列的边缘处较高。在一些实施例中,CRA校正很大程度上随结合像素阵列使用的光学器件而变。在一个实施例中,可使用四次方等式为阵列中的每一像素计算主光线角度校正CRA:
CRA=C4r4+C3r3+C2r2+C1r  (等式2)
其中r为特定像素距像素阵列的中心的距离,且C1到C4为数字系数。在一个实施例中,可通过使曲线拟合到使用将结合像素阵列使用的特定光学器件获得的数据来根据经验确定系数C1到C4,但在其它实施例中,可使用不同等式来表征CRA校正。
为了获得每一像素的串扰校正,使用以下等式将CRA校正和色彩比率校正组合到水平和垂直串扰分量中:
XT h = ( h r ) ( R C ) ( CRA ) XT max (等式3)
XT v = ( v r ) ( R C ) ( CRA ) XT max (等式4)
其中XTh和XTv分别是水平和垂直串扰校正;h和v是像素距阵列中心的水平和垂直距离,且r是像素距像素阵列的中心的直线距离;XTmax是最大串扰值,表达为小数(例如,在一个实施例中,0.12);CRA为使用等式2针对特定像素计算的主光线角度校正;且(R/C)为使用等式1计算的色彩比率。
在已计算了色彩比率校正和串扰校正之后,使用色彩比率校正与串扰校正的线性组合来校正个别透明像素(对于图5的彩色滤光片阵列来说,这表示群组A像素和群组C像素)的数据值。在一个实施例中,可根据以下等式来实施两种校正的线性组合:
P C = P [ 1 + w 1 ( XT h + XT v ) + w 2 ( R C ) XT max ] , (等式5)
其中PC为经校正的像素值,P为原始像素值,w1和w2为可取决于校正应用于的特定透明像素的加权因子,且其余项在上文结合等式1到4来定义。加权因子w1和w2可具有任何整数或小数值,包含零。
图6说明用于在包含CFA(例如CFA500)的像素阵列中应用校正的过程600的实施例。过程在框602处开始。在框604处,将所述过程设定到像素阵列中的第一个别像素。在框606处,所述过程在框606处计算对所述像素的色彩比率校正,且在框608处计算对所述像素的主光线角度(CRA)校正。在框610处,所述过程使用色彩比率校正和CRA校正来计算对所述像素的串扰校正。
在框612处,所述过程核实像素是否为透明滤光片。如果像素不透明,那么所述过程移到框622,其中其核实阵列中是否还有任何像素待处理。如果在框622处,有更多像素待处理,那么所述过程移到框624,其选择阵列中的下一像素,且接着对于所述下一像素,返回以遍历框606到612。
如果在框612处,所述过程确定像素为透明像素(即,其耦合到透明滤光片),那么所述过程移到框614,以确定透明滤光片是否在校正类别中,在此实施例中,这表示确定透明滤光片是群组A还是群组C透明滤光片。如果透明滤光片在校正群组中,那么所述过程移到框616,其中将串扰和色彩比率校正应用于所述像素。如果在框614处,过程确定讨论中的透明滤光片不在校正类别中,那么过程移到框618,以确定像素阵列中是否还有任何更多像素待处理。如果不再有像素待处理(即,阵列中的所有像素均已处理),那么在框620处输出经校正的图像数据,且过程在框626处结束。
在框616处将校正应用于像素之后,所述过程移到框618,以核实阵列中是否仍有任何像素待处理。如果有更多像素待处理,那么过程返回到框624,其中其选择另一像素,且接着进行到框606,其中其对下一像素重复所述过程。如果在框618处,没有像素仍待处理(即,像素阵列中的所有像素均已处理),那么所述过程继续移到框620,其中输出经校正的图像数据,且接着移到框626,其中过程结束。
图7A到7B说明最小重复单元700和使用MRU700的对应彩色滤光片阵列的实施例。MRU300与MRU700之间的主要差异在于MRU700不包含透明滤光片。MRU700是通常称为红-绿-蓝(RGB)拜耳图案的彩色滤光片阵列图案的MRU,因为其使用红色、绿色和蓝色作为其原色集合。当然,MRU700的其它实施例可使用不同原色集合,例如蓝绿色、品红和黄色,且可使用与图示不同的原色布置。包含蓝绿色、品红和黄色作为其原色集合的MRU700的一个实施例称为CYYM图案,因为其包含一蓝绿色滤光片、两个黄色滤光片和一品红滤光片。
引申开来,针对用于具有透明滤光片的滤光片阵列的图5和6而描述的校正和过程实施例两者可应用于不具有透明滤光片的阵列,例如所说明的拜耳图案。对于所述校正,应用于不具有透明滤光片的阵列时的主要差别是在色彩比率校正的计算中。在不包含透明像素的彩色滤光片阵列中,有色像素中的一者用作亮度的代理,其为通常由透明像素提供的信息。在RGB图案中,绿色通常用于亮度;在CYYM图案中,通常使用黄色。因此,在所说明的RGB实施例中,可使用以下等式来计算色彩比率校正:
R ‾ = ( P 1 ) , 以及
C ‾ = 1 2 ( P 2 + P 3 ) ,
其中P1为MRU中的红色像素(即,图7B中的像素1)的值,且P2和P3为绿色像素(即,图5中的绿色像素2和5)的值。在计算了色彩比率校正后,可根据等式2计算对每一像素的CRA校正,可根据等式3到4计算每一像素的串扰校正XTh和XTv,且仍可根据等式5计算对每一像素的总体校正。
图6中所说明的过程仍适用于不具有透明像素的阵列。主要差别是校正应用于哪些像素。在不包含任何透明像素的滤光片阵列中,校正将应用于与透明滤光片最类似的滤光片(即,亮度滤光片)。在图7B的RGB图案中,根据等式5的校正将应用于绿色像素。在图6的过程实施例中,在框612处,过程将核实滤光片是否为绿色而不是透明的,且在框614处,过程将核实绿色像素是否为校正群组的部分。在一个实施例中,阵列中的所有绿色像素可为校正群组的部分,在此情况下,可省略框614,但在其它实施例中,可能希望定义绿色像素的一个或一个以上校正群组,使得一些绿色像素被校正,但其它不被校正。在使用CYYM滤光片图案的实施例中,校正将类似地应用于黄色像素。
本发明的所说明实施例的以上描述,包含发明摘要中所描述的内容,无意为详尽的或将本发明限于所揭示的精确形式。虽然本文出于说明性目的描述了本发明的特定实施例和实例,但如所属领域的技术人员将认识到,在本发明的范围内,各种等效修改是可能的。可根据以上详细描述对本发明进行这些修改。
所附权利要求书中所使用的术语不应被解释为将本发明限于说明书和权利要求书中所揭示的特定实施例。相反,本发明的范围将完全由所附权利要求书来确定,将根据所确立的权利要求诠释教义来解释所附权利要求书。

Claims (24)

1.一种设备,其包括:
像素阵列;
彩色滤光片阵列,其光学耦合到所述像素阵列,所述彩色滤光片阵列包含多个平铺的最小重复单元;
处理电路,其耦合到所述像素阵列以校正所述像素阵列所捕获的图像中的固定图案噪声FPN,其中所述处理电路校正作为校正群组的部分的像素的值,且其中所述校正包括以下各项的组合:
色彩比率校正,其基于所述最小重复单元内的选定色彩的比率,以及
一个或一个以上串扰校正,其基于主光线角度CRA校正和所述色彩比率校正。
2.根据权利要求1所述的设备,其中所述最小重复单元为:
a b
b c
其中a表示第一色彩的滤光片,b表示第二色彩的滤光片,且c表示第三色彩的滤光片。
3.根据权利要求2所述的设备,其中a、b和c各自分别为蓝色、红色和绿色。
4.根据权利要求1所述的设备,其中每一最小重复单元包含多个非重叠格区,其各自具有至少两个透明滤光片以及选自一组三种色彩中的单一色彩的至少两个滤光片。
5.根据权利要求4所述的设备,其中所述最小重复单元为:
a p c p
p a p c
c p b p
p c p b
其中p表示透明滤光片,a表示第一色彩的滤光片,b表示第二色彩的滤光片,且c表示第三色彩的滤光片。
6.根据权利要求5所述的设备,其中a、b和c各自分别为红色、蓝色和绿色。
7.根据权利要求5所述的设备,其中a、b和c各自分别为蓝绿色、品红和黄色。
8.根据权利要求4所述的设备,其中透明像素可分类为多个群组,使得同一群组中的所有透明像素由彩色像素的相同组合环绕,但不同群组中的透明像素由彩色像素的不同组合环绕。
9.根据权利要求8所述的设备,其中所述校正群组可包括所有所述群组或少于所有所述群组。
10.根据权利要求4所述的设备,其中所述色彩比率校正是基于一个格区中的彩色像素的平均值与同一格区中的所述透明像素的平均值的比率。
11.根据权利要求1所述的设备,其中所述一个或一个以上串扰校正包含垂直串扰校正和水平串扰校正。
12.根据权利要求11所述的设备,其中所述校正为所述色彩比率校正与所述一个或一个以上串扰校正的线性组合。
13.一种过程,其包括:
从光学耦合到彩色滤光片阵列的像素阵列中的每一像素接收信号,所述彩色滤光片阵列包含多个平铺的最小重复单元;
校正作为所述像素阵列中的一个或一个以上校正群组的部分的像素的所述信号,以减少或消除由所述像素阵列捕获的图像中的固定图案噪声FPN,其中校正所述信号包括,对于所述阵列中的每一个别像素:
确定对所述个别像素的色彩比率校正,其基于所述最小重复单元内的选定色彩的比率,
确定对所述个别像素的一个或一个以上串扰校正,其基于主光线角度CRA校正和所述色彩比率校正,以及
在所述个别像素为校正群组的部分的情况下,使用所述色彩比率校正与所述一个或一个以上串扰校正的组合来校正来自所述个别像素的所述信号。
14.根据权利要求13所述的过程,其中所述最小重复单元为:
a b
b c
其中a表示第一色彩的滤光片,b表示第二色彩的滤光片,且c表示第三色彩的滤光片。
15.根据权利要求14所述的过程,其中a、b和c各自分别为蓝色、红色和绿色。
16.根据权利要求13所述的过程,其中每一最小重复单元包含多个非重叠格区,其各自具有至少两个透明滤光片以及选自一组三种色彩中的单一色彩的至少两个滤光片。
17.根据权利要求16所述的过程,其中所述最小重复单元为:
a p c p
p a p c
c p b p
p c p b
其中p表示透明滤光片,a表示第一色彩的滤光片,b表示第二色彩的滤光片,且c表示第三色彩的滤光片。
18.根据权利要求17所述的过程,其中a、b和c各自分别为红色、蓝色和绿色。
19.根据权利要求17所述的过程,其中a、b和c各自分别为蓝绿色、品红和黄色。
20.根据权利要求16所述的过程,其进一步包括将透明像素分类为多个群组,使得同一群组中的所有透明像素由彩色像素的相同组合环绕,但不同群组中的透明像素由彩色像素的不同组合环绕。
21.根据权利要求20所述的过程,其中所述校正群组可包括所有所述群组或少于所有所述群组。
22.根据权利要求16所述的过程,其中所述色彩比率校正是基于一个格区中的彩色像素的平均值与同一格区中的所述透明像素的平均值的比率。
23.根据权利要求13所述的过程,其中所述一个或一个以上串扰校正包含垂直串扰校正和水平串扰校正。
24.根据权利要求13所述的过程,其中所述校正为所述色彩比率校正与所述一个或一个以上串扰校正的线性组合。
CN201410014665.8A 2013-05-28 2014-01-13 用于校正图像传感器固定图案噪声的设备、系统和方法 Active CN104184967B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/903,714 US9154750B2 (en) 2013-05-28 2013-05-28 Correction of image sensor fixed-pattern noise (FPN) due to color filter pattern
US13/903,714 2013-05-28

Publications (2)

Publication Number Publication Date
CN104184967A true CN104184967A (zh) 2014-12-03
CN104184967B CN104184967B (zh) 2017-10-20

Family

ID=51965672

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410014665.8A Active CN104184967B (zh) 2013-05-28 2014-01-13 用于校正图像传感器固定图案噪声的设备、系统和方法

Country Status (4)

Country Link
US (1) US9154750B2 (zh)
CN (1) CN104184967B (zh)
HK (1) HK1204407A1 (zh)
TW (1) TWI519161B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017101546A1 (zh) * 2015-12-18 2017-06-22 广东欧珀移动通信有限公司 图像传感器、成像装置、移动终端及成像方法
CN107113383A (zh) * 2015-01-20 2017-08-29 奥林巴斯株式会社 图像处理装置、图像处理方法和程序

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9293500B2 (en) 2013-03-01 2016-03-22 Apple Inc. Exposure control for image sensors
US9276031B2 (en) 2013-03-04 2016-03-01 Apple Inc. Photodiode with different electric potential regions for image sensors
US9741754B2 (en) 2013-03-06 2017-08-22 Apple Inc. Charge transfer circuit with storage nodes in image sensors
US9549099B2 (en) 2013-03-12 2017-01-17 Apple Inc. Hybrid image sensor
US9319611B2 (en) 2013-03-14 2016-04-19 Apple Inc. Image sensor with flexible pixel summing
US9596423B1 (en) 2013-11-21 2017-03-14 Apple Inc. Charge summing in an image sensor
US9596420B2 (en) 2013-12-05 2017-03-14 Apple Inc. Image sensor having pixels with different integration periods
US9473706B2 (en) 2013-12-09 2016-10-18 Apple Inc. Image sensor flicker detection
US10285626B1 (en) 2014-02-14 2019-05-14 Apple Inc. Activity identification using an optical heart rate monitor
US9277144B2 (en) 2014-03-12 2016-03-01 Apple Inc. System and method for estimating an ambient light condition using an image sensor and field-of-view compensation
US9232150B2 (en) 2014-03-12 2016-01-05 Apple Inc. System and method for estimating an ambient light condition using an image sensor
US9584743B1 (en) 2014-03-13 2017-02-28 Apple Inc. Image sensor with auto-focus and pixel cross-talk compensation
US9497397B1 (en) 2014-04-08 2016-11-15 Apple Inc. Image sensor with auto-focus and color ratio cross-talk comparison
US9538106B2 (en) 2014-04-25 2017-01-03 Apple Inc. Image sensor having a uniform digital power signature
US9686485B2 (en) * 2014-05-30 2017-06-20 Apple Inc. Pixel binning in an image sensor
JP6258842B2 (ja) * 2014-12-10 2018-01-10 株式会社Soken 画像処理装置、及び車線境界線認識システム
KR102502452B1 (ko) * 2016-02-15 2023-02-22 삼성전자주식회사 이미지 센서 및 복원 이미지 생성 방법
US9912883B1 (en) 2016-05-10 2018-03-06 Apple Inc. Image sensor with calibrated column analog-to-digital converters
CN106303311B (zh) * 2016-08-22 2020-08-28 格科微电子(上海)有限公司 像素感光值的输出方法
EP3712945A3 (en) 2016-09-23 2020-12-02 Apple Inc. Stacked backside illuminated spad array
US10801886B2 (en) 2017-01-25 2020-10-13 Apple Inc. SPAD detector having modulated sensitivity
US10656251B1 (en) 2017-01-25 2020-05-19 Apple Inc. Signal acquisition in a SPAD detector
US10962628B1 (en) 2017-01-26 2021-03-30 Apple Inc. Spatial temporal weighting in a SPAD detector
KR102303764B1 (ko) 2017-04-24 2021-09-17 삼성전자주식회사 크로스토크 처리 모듈 및 크로스토크를 처리하는 방법
US10622538B2 (en) 2017-07-18 2020-04-14 Apple Inc. Techniques for providing a haptic output and sensing a haptic input using a piezoelectric body
US10440301B2 (en) 2017-09-08 2019-10-08 Apple Inc. Image capture device, pixel, and method providing improved phase detection auto-focus performance
US10848693B2 (en) 2018-07-18 2020-11-24 Apple Inc. Image flare detection using asymmetric pixels
US11019294B2 (en) 2018-07-18 2021-05-25 Apple Inc. Seamless readout mode transitions in image sensors
US10750108B2 (en) 2018-09-25 2020-08-18 Omnivision Technologies, Inc. Image sensor with correction of non-uniform dark current
US11233966B1 (en) 2018-11-29 2022-01-25 Apple Inc. Breakdown voltage monitoring for avalanche diodes
KR20200118687A (ko) 2019-04-08 2020-10-16 삼성전자주식회사 이미지 센서 장치 및 그것의 동작 방법
US10819927B1 (en) 2019-07-02 2020-10-27 Omnivision Technologies, Inc. Image sensor with self-testing black level correction
US11563910B2 (en) 2020-08-04 2023-01-24 Apple Inc. Image capture devices having phase detection auto-focus pixels
US11546532B1 (en) 2021-03-16 2023-01-03 Apple Inc. Dynamic correlated double sampling for noise rejection in image sensors

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101431087A (zh) * 2004-09-14 2009-05-13 Cdm光学有限公司 低高度成像系统及相关方法
US20090200451A1 (en) * 2008-02-08 2009-08-13 Micron Technology, Inc. Color pixel arrays having common color filters for multiple adjacent pixels for use in cmos imagers
CN101668133A (zh) * 2008-09-05 2010-03-10 株式会社东芝 固体摄像装置及其设计方法
US20100246949A1 (en) * 2009-03-25 2010-09-30 Altek Corporation Compensation method for removing image noise

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7830428B2 (en) 2007-04-12 2010-11-09 Aptina Imaging Corporation Method, apparatus and system providing green-green imbalance compensation
US7687757B1 (en) * 2009-01-29 2010-03-30 Visera Technologies Company Limited Design of microlens on pixel array
JP5152114B2 (ja) * 2009-06-30 2013-02-27 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピューター・プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101431087A (zh) * 2004-09-14 2009-05-13 Cdm光学有限公司 低高度成像系统及相关方法
US20090200451A1 (en) * 2008-02-08 2009-08-13 Micron Technology, Inc. Color pixel arrays having common color filters for multiple adjacent pixels for use in cmos imagers
CN101668133A (zh) * 2008-09-05 2010-03-10 株式会社东芝 固体摄像装置及其设计方法
US20100246949A1 (en) * 2009-03-25 2010-09-30 Altek Corporation Compensation method for removing image noise

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107113383A (zh) * 2015-01-20 2017-08-29 奥林巴斯株式会社 图像处理装置、图像处理方法和程序
CN107113383B (zh) * 2015-01-20 2020-03-17 奥林巴斯株式会社 图像处理装置、图像处理方法和存储介质
WO2017101546A1 (zh) * 2015-12-18 2017-06-22 广东欧珀移动通信有限公司 图像传感器、成像装置、移动终端及成像方法
US10594962B2 (en) 2015-12-18 2020-03-17 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image sensor, imaging device, mobile terminal and imaging method for producing high resolution image

Also Published As

Publication number Publication date
TWI519161B (zh) 2016-01-21
TW201446002A (zh) 2014-12-01
US20140354861A1 (en) 2014-12-04
HK1204407A1 (zh) 2015-11-13
CN104184967B (zh) 2017-10-20
US9154750B2 (en) 2015-10-06

Similar Documents

Publication Publication Date Title
CN104184967A (zh) 用于校正图像传感器固定图案噪声的设备、系统和方法
US10825847B2 (en) Solid-state imaging element
CN105917641B (zh) 具有自动聚焦的纤薄多孔径成像系统及其使用方法
US9973678B2 (en) Phase-detect autofocus
CN204697179U (zh) 具有像素阵列的图像传感器
CN102683363B (zh) 固体拍摄装置以及照相机模块
EP2279612B1 (en) Camera sensor correction
CN102339839B (zh) 具有改良的光电二极管区域分配的cmos图像传感器
TWI615033B (zh) 彩色濾光片陣列、影像感測器及用以減少光譜串擾之方法
CN106612420B (zh) 彩色滤光器阵列及图像传感器
US20150311242A1 (en) Image sensor with dual layer photodiode structure
TWI600927B (zh) 用於減少顏色混疊之彩色濾光器陣列圖案
CN105306786A (zh) 用于具有相位检测像素的图像传感器的图像处理方法
US20170026599A1 (en) Image Sensor Array and Arrangement Method Thereof, Image Acquisition Component and Electronic Device
CN105009288A (zh) 固体摄像元件、摄像装置、电子设备和制造方法
Tajbakhsh Color lens shade compensation achieved by linear regression of piece-wise bilinear spline functions

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1204407

Country of ref document: HK

CB02 Change of applicant information

Address after: American California

Applicant after: OmniVision Technologies, Inc.

Address before: American California

Applicant before: Omnivision Tech Inc.

COR Change of bibliographic data
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1204407

Country of ref document: HK