CN102905090B - 具有有不同光敏感度的光电二极管的成像阵列及相关联图像恢复方法 - Google Patents

具有有不同光敏感度的光电二极管的成像阵列及相关联图像恢复方法 Download PDF

Info

Publication number
CN102905090B
CN102905090B CN201210262403.4A CN201210262403A CN102905090B CN 102905090 B CN102905090 B CN 102905090B CN 201210262403 A CN201210262403 A CN 201210262403A CN 102905090 B CN102905090 B CN 102905090B
Authority
CN
China
Prior art keywords
pixel
element sensor
sensor
lightsensitivity
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210262403.4A
Other languages
English (en)
Other versions
CN102905090A (zh
Inventor
拉斯蒂斯拉夫·卢卡奇
施里·拉马斯瓦米
桑胡·巴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foveon Inc
Original Assignee
Foveon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foveon Inc filed Critical Foveon Inc
Publication of CN102905090A publication Critical patent/CN102905090A/zh
Application granted granted Critical
Publication of CN102905090B publication Critical patent/CN102905090B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise

Abstract

本申请案涉及一种具有有不同光敏感度的光电二极管的成像阵列及相关联图像恢复方法。一种像素传感器阵列包含具有第一增益的多个像素传感器及具有小于所述第一增益的第二增益的多个像素传感器。

Description

具有有不同光敏感度的光电二极管的成像阵列及相关联图像 恢复方法
相关专利申请案
本申请案主张2011年7月26日提出申请的第61/511,661号美国临时专利申请案的优先权。
技术领域
本发明涉及光电传感器及光电传感器的成像阵列。更特定来说，本发明涉及使用具有不同光敏感度的像素形成的成像阵列及用于恢复使用此些成像阵列捕获的数字图像中的视觉信息的方法。
背景技术
图像传感器为通常形成为光电二极管的光敏单元(光电传感器)的阵列。图像的质量及动态范围受像素传感器自身的性质的限制，尤其是在其中传感器单元通常饱和(即，达到传感器可收集的最大电荷)的亮图像区中。超过饱和电平会在所捕获的图像中产生“开化状假象(blooming artifact)”。
发明内容
图像传感器为通常形成为光电二极管的光敏单元(光电传感器)的阵列。不同于采用全部具有相同光敏感度的光电传感器的传统图像传感器，本发明呈现一种采用具有不同光敏感度的光电二极管的传感器。本发明增强图像的质量及动态范围两者，尤其是在其中传感器单元通常饱和的亮图像区中。
为了克服现有技术图像传感器中固有的问题，本发明针对一种包含具有正常光敏感度的光电二极管及具有较低光敏感度的光电二极管两者的图像传感器。具有正常光敏感度的光电二极管旨在捕获与介于从低值到不饱和的高值的范围内的光强度相关联的视觉信息。具有较低光敏感度的光电二极管旨在捕获其中具有正常光敏感度的光电二极管通常饱和的具有高光的区中的视觉信息。可以数种不同方式来实现光电二极管的较低敏感度，举例来说，通过阻挡落在光电二极管处的光或改变光电二极管的电容。
在不饱和的区中，通过应用适当增益使对应于具有较低光敏感度的光电二极管的像素值成为对应于具有正常光敏感度的光电二极管的像素值的水平来恢复高质量图像信息。通常在校准中获得这些增益(本文中称作高光像素增益)。或者，可根据任何高光像素的邻域中可用的不饱和正常光敏感度像素的平均值或加权平均值(举例来说，使用高斯权数)与高光像素值的比率来计算所述高光像素的高光像素增益。替代解决方案可旨在借助于图像内插或信号估计使用对应于具有正常光敏感度的光电二极管的相邻像素值来恢复对应于具有较低光敏感度的光电二极管的像素值。
根据本发明，揭示用于通过组合具有减小的敏感度的像素而恢复数字图像中的高光的方法。
本发明中所引入的概念适用于任何光电二极管布局，例如具有较低光敏感度的光电二极管在具有正常光敏感度的光电二极管的阵列中的各种周期性、伪随机及随机布置。另外，本发明并不限于任何特定敏感度设定，因为所呈现的概念为灵活的且允许具有不同敏感度的光电二极管。
附图说明
图1是典型的现有技术像素的横截面图。
图2是根据本发明的一个方面的敏感度减小的像素的横截面图。
图3是针对正常像素及敏感度减小的像素两者的面板曝光对像素输出的曲线图。
图4是展示根据本发明用于敏感度减小的像素的光屏蔽物的一个说明性实施例的图示。
图5是展示根据本发明用于敏感度减小的像素的光屏蔽物的另一说明性实施例的图示。
图6是展示根据本发明放置于像素阵列上方以界定敏感度减小的像素的栅格的一部分的说明性形式的图示。
图7是展示根据本发明包含以规则方式放置的敏感度减小的像素的根据本发明的说明性像素阵列的一部分的图示。
图8是展示根据本发明包含以规则方式放置成菱形图案的敏感度减小的像素的根据本发明的说明性像素阵列的一部分的图示。
图9是展示根据本发明的说明性图像恢复方法的流程图。
图10是展示根据本发明的另一说明性图像恢复方法的流程图。
图11是展示根据本发明的另一说明性图像恢复方法的流程图。
具体实施方式
所属领域的技术人员将认识到，本发明的以下描述仅为说明性而绝非为限制性。此些技术人员将容易联想到本发明的其它实施例。
根据本发明的成像阵列包含具有两种不同光敏感度的像素传感器。第一多个像素传感器具有第一光敏感度，且第二多个像素传感器具有小于第一光敏感度的第二光敏感度。本文中有时将第一多个像素称作“正常像素”，且本文中有时将第二多个像素称作“高光”像素。
首先参考图1，其展示正常像素10的横截面图。衬底12中形成有光电传感器(未展示)。展示安置于所述衬底上方的用于制作操作所述像素必需的晶体管的多晶硅层14的一部分。另外，展示三个说明性金属互连层16、18及20的部分。CMOS图像传感器可具有更少或更多的金属层，此取决于所选技术。如图1中所展示，多晶硅层14以及金属互连层16、18及20由于其吸收可见光而不位于光电二极管上方。
图1中展示界定像素区域的栅格22的部分。平面化/钝化层24可安置于像素的表面上方。此层可由聚合物层及/或氮化物层形成。微透镜26可形成于所述平面化/钝化层上方，如此项技术中已知。微透镜用于将传入光聚焦到像素中的光电传感器上。
在一些成像阵列中，通常使用暗光屏蔽物有意地阻挡住像素阵列的边缘上的列及行上方的所有光。这些暗列及行提供用以表征成像器的噪声源的数据。
现在参考图2，其展示根据本发明的一个方面的敏感度减小的像素30的横截面图。如同在图1的像素10中一样，像素30包含形成于衬底12中的光电传感器(未展示)。展示安置于所述衬底上方的多晶硅层14的一部分，且展示三个说明性金属互连层16、18及20的部分。
平面化/钝化层24安置于所述像素的表面上方，且微透镜26形成于平面化/钝化层24上方，如此项技术中已知。微透镜26用于将传入光聚焦到像素中的光电传感器上。然而，不同于图1的像素10，图2的像素30具有由暗屏蔽材料32层形成的减小的孔口大小。暗屏蔽材料32可为后段工艺(BEOL)处理中所使用的任何金属，因为BEOL中所使用的金属为光学不透明的。
所属领域的技术人员将了解，尽管将暗屏蔽材料32展示为安置于像素的表面处或附近，但可使用任何金属层的部分或多个金属层的组合来阻挡入射光的一部分使得所得敏感度变得低于正常像素的敏感度。可挑选与工艺兼容且具有低光学透射率的金属或任何其它材料作为光屏蔽材料。如果使用如图1中所展示的栅格22，那么可如像素30一样将其图案化为在敏感度减小的像素上方具有较小孔口。
根据本发明的一个方面，形成具有经调整以提供进入像素的光的二分之一到八分之一的孔口的部分光屏蔽物。此概念图解说明于其中在横截面中以虚线展示二维光射线轨迹的图1及2中。图1展示正常像素10的光射线迹线，而图2描绘具有开口以仅允许进入图1像素10的光的约四分之一进入像素30的暗金属的使用。图3是展示针对图1的正常像素及图2的敏感度减小的像素两者的面板曝光对像素输出的曲线图。
敏感度减小的像素的说明性目标范围通常为正常像素的大约二分之一到八分之一，但所属领域的技术人员将容易认识到可使用其它范围。举例来说，如果将进入像素的光的量减到进入正常像素的光的四分之一，那么敏感度将为正常像素的敏感度的约四分之一。为了制造在与给定技术的典型像素相比时具有减小的光敏感度的光电二极管，将采用光屏蔽物。所述光屏蔽物将阻挡进入以减小敏感度为目标的那些像素的光的一部分。如所属领域的技术人员将容易了解，光屏蔽物中的孔口越小，就获得越大的光敏感度减小。
可以数种方式实施用于敏感度减小的像素的光屏蔽物。现在参考图4及5，其展示根据本发明的用于敏感度减小的像素的光屏蔽物的两种示范性几何布局。图4展示具有正方形孔口34的光屏蔽物32。所属领域的技术人员将认识到，可针对孔口使用其它形状变化形式。举例来说，可采用如图5中所展示的在光屏蔽物32中的八边形孔口36、圆形孔口，或具有斜切拐角的正方形孔口。
仅在经隔离的敏感度减小的像素上方采用光屏蔽物的另一可能变化形式也将在像素阵列上方形成栅格。此图解说明为图6中的布局。在此情况中，如果光屏蔽物形成为金属栅格，那么其可用作例如电源平面的额外电层。栅格的形成还可用于更好地制造敏感度减小的像素。
如上文所论述，正常像素与敏感度减小的像素之间的敏感度差是因像素的孔口大小的差所致。所属领域的技术人员将认识到，可使用其它技术来形成具有两种不同敏感度的像素。此些技术包含但不限于在不同像素中使用不同掺杂水平及在敏感度减小的像素上方形成具有减小的光学透射率的材料层。
根据本发明的一个方面，在整个成像阵列上方以规则方式放置敏感度减小的像素。敏感度减小的像素经间隔开以便不损坏图像的总体质量而是补充对高光数据的图像处理。根据本发明对像素的一种示范性放置是在给定行及列上放置约每2到100个像素，但所属领域的技术人员将了解可采用不同间隔，例如周期性、伪随机及随机的。结果为敏感度减小的像素可占总像素数目的介于大约40％与大约0.01％之间。在图7中所展示的一个实例中，布置包含每个10×10像素区一个敏感度减小的像素。所属领域的技术人员将了解，可取决于像素及阵列的大小而选择适当比率。
现在参考图8，其展示其中高光像素布置成菱形图案的另一说明性高光像素布局/布置。一般来说，通过首先形成类似于图7中的间隔的规则间隔且接着在四个现有高光像素的正方形的中心添加高光像素来形成此菱形图案。图8展示其中在水平及垂直两者上每十个像素且在对角线上每五个像素放置高光像素的实例性布置。
本发明中所引入的概念适用于任何光电二极管布局，例如具有较低光敏感度的光电二极管在具有正常光敏感度的光电二极管的阵列中的各种周期性、伪随机及随机布置。另外，本发明并不限于任何特定敏感度设定，因为所呈现的概念为灵活的且允许具有不同敏感度的光电二极管。
在具有饱和信号值的区中，通过应用适当高光像素增益来获得对应于具有较低光敏感度的光电二极管的像素值以产生参考信号。可接着使用此些参考信号值以通过将参考信号值的特性映射到饱和像素(举例来说，通过组合可用参考信号值与对应于具有正常光敏感度的光电二极管的不饱和像素值)来恢复对应于具有正常光敏感度的光电二极管的像素位置中的图像信息。
替代解决方案可旨在借助于图像内插或信号估计使用对应于具有较低光敏感度的光电二极管的相邻像素值恢复对应于具有正常光敏感度的光电二极管的像素值。如所属领域的技术人员将容易了解，取决于实际实施方案，可在执行恢复过程之前或直接在恢复过程期间对对应于具有较低光敏感度的光电二极管的像素值应用高光像素增益。
参考图9展示根据本发明的示范性方法40。过程在参考编号42处开始。在参考编号44处，对高光像素值应用高光像素增益。接着，在参考编号46处，定位具有正常光敏感度的饱和像素。在参考编号48处，在所述饱和像素的局部邻域中识别一组(一个或一个以上)高光像素。可使用正方形或圆形窗口界定局部邻域，所述窗口具有经约束使得至少一个高光像素位于此窗口内部的大小。此窗口的中心通常放置于正校正或恢复的正常光敏感度像素处。或者，定位一个或一个以上在空间上最靠近于正校正或恢复的正常光敏感度像素的高光像素。此些在空间上最靠近的高光像素的最小数目可为预定的。
在参考编号50处，通过组合局部可用高光像素中的对应不饱和色彩分量来替换具有正常光敏感度的像素的饱和色彩分量。可将替换执行为局部可用高光像素中的对应不饱和色彩分量的平均值或加权平均值。可同正恢复的像素位置与可用高光像素的像素位置之间的空间距离(例如，绝对或欧几里德)成反比地计算权数，或者一般来说权数应随空间距离的增加而减小。或者，可同正恢复的像素与局部可用高光像素之间的差成反比地计算权数(应注意，可使用所有色彩分量或至少来自不饱和色彩通道的分量)，或者一般来说权数应随像素值差的增加而减小。或者，可通过组合(例如，乘法)空间及强度差两者来计算权数。不管如何计算权数，均应在执行加权平均之前将所述权数正规化(其和应等于1)以便产生无偏差的估计值。
在参考编号52处，确定所有饱和像素是否均已经处理。如果否，那么过程返回到参考编号46，在参考编号46处定位具有正常光敏感度的另一饱和像素。如果所有饱和像素均已经处理，那么过程在参考编号54处结束。
图10中展示根据本发明的另一示范性方法60。在图10的方法60中，使用色彩差而非来自正恢复的色彩通道的强度值来执行恢复过程。在此情况中，通过将可用高光像素的平均或加权平均色彩差(不饱和色彩通道与饱和色彩通道之间，如在正恢复的像素位置中所观测)与正恢复的像素位置中的不饱和色彩分量相加来恢复饱和色彩通道。举例来说，如果在正常光敏感度像素中绿色及蓝色通道两者均饱和，那么可通过将正常光敏感度像素的不饱和红色分量和局部可用高光像素的经增益绿色与红色分量之间的平均色彩差相加来恢复所述绿色分量。以类似方式，可通过将正常光敏感度像素的不饱和红色分量和局部可用高光像素的经增益蓝色与红色分量之间的平均色彩差相加来恢复正常光敏感度像素的饱和蓝色分量。
所述过程在参考编号62处开始。在参考编号64处，对高光像素值应用高光像素增益。接着，在参考编号66处，定位具有正常光敏感度的饱和像素。在参考编号68处，在所述饱和像素的局部邻域中识别一组(一个或一个以上)高光像素。与图9的方法一样，可使用正方形或圆形窗口界定局部邻域，所述窗口具有经约束使得至少一个高光像素位于此窗口内部的大小。此窗口的中心通常放置于正校正或恢复的正常光敏感度像素处。或者，定位一个或一个以上在空间上最靠近于正校正或恢复的正常光敏感度像素的高光像素。此些在空间上最靠近的高光像素的最小数目可为预定的。
在参考编号70处，使用局部可用高光像素的色彩分量来计算平均或加权平均色彩差(不饱和色彩通道与饱和色彩通道之间，如在正恢复的像素位置中所观测)。在参考编号72处，将此色彩差与正常光敏感度像素的对应不饱和分量相加以便恢复其饱和色彩分量。
在参考编号74处，确定所有饱和像素是否均已经处理。如果否，那么过程返回到参考编号66，在参考编号66处定位具有正常光敏感度的另一饱和像素。如果所有饱和像素均已经处理，那么过程在参考编号76处结束。
如果仅一个色彩通道饱和，那么可通过组合使用两个不同色彩差信号(因为存在两个不饱和色彩通道)恢复的样本来获得结果。所属领域的技术人员将了解，可用比率替换色彩差计算，通过将正恢复的位置中的不饱和色彩分量与使用可用高光像素的像素值计算的平均或加权平均色彩比率相乘来获得结果。
根据本发明的另一方面，涉及其中使用本文中所揭示的高光像素来创建至少一个校正因子表或可使用本文中所揭示的不饱和正常光敏感度像素及高光像素来恢复饱和像素的方法。
如同在先前示范性方法中一样，可在执行恢复过程之前或直接在恢复过程期间对高光像素值应用高光像素增益。根据本发明的一个方面，分析整个图像(包含高光像素)以找出其中所讨论的色彩通道不饱和的像素。或者，仅分析高光像素以找出其中所讨论的色彩通道不饱和的像素。可将此与其它约束组合，举例来说，将用于构建校正因子表的像素必须使其亮度值大于某一阈值且不能使其色彩通道中的任一者经剪裁(饱和)等。针对经选择以构建此校正表的这些像素中的每一者，计算至少两个值，每一值为一个或一个以上色彩通道的函数。一个值用作进入到校正因子表中的索引，而另一值为校正因子自身。应注意，本发明的方法允许计算一个以上校正因子(如果需要此些操作特性的话)。
校正因子表中的条目的数目由表大小a表示。此设计参数通常为预定的。通常，将a设定为小于或等于用于表示每一色彩通道的位的数目。存储器高效的实施方案可将较小的a值作为目标(举例来说，针对每色彩通道表示的12个位，a＝255)；然而，太小的值可能减小校正准确度，因为相差太大的像素将与同一索引相关联。
索引值为一个或一个以上色彩通道的函数。设想正校正B通道且M为通常等于给定位表示中的最大容许值的设计参数(也可能有其它设定)。在一个实例中，索引为未恢复的一个或两个色彩通道的函数；举例来说，可将此函数界定为amin(R，M)/M、amin(G，M)/M、aR/(R+G)或aG/(R+G)，其中min表示最小值运算符，且R、G及B分别表示红色、绿色及蓝色色彩分量。在另一实例中，索引为正恢复的色彩通道的函数；举例来说，可将此函数界定为amin(B，M)/M。在又一实例中，索引为正恢复的色彩通道及一个或两个其它色彩通道的函数；举例来说，可将此函数界定为aB/(R+G+B)。应注意，最终索引为如上文所描述而计算的索引值的经舍入版本。
也可以一种以上方式来确定校正因子。同样设想正校正B通道。在一个实例中，根据正校正的色彩通道的经缩放值来计算校正因子；即，yB，其中y是预定的或基于图像统计值而自适应地确定的。在另一实例中，根据待校正的色彩通道与像素中的另两个色彩通道中的一者的比率来计算校正因子；举例来说，可将此校正因子界定为B/G或B/R。在另一实例中，根据待校正的色彩通道与像素中的另两个色彩通道中的一者之间的差来计算校正因子，即(举例来说)，B-G或B-R。在另一实例中，根据待校正的色彩通道及像素中的两个其它色彩通道的函数来计算校正因子；举例来说，可将此函数界定为2B-R-G、2B/(R+G)或B2/(RG)。在又一实例中，根据待校正的色彩通道与另两个色彩通道中的每一者之间的比率或差来计算两个校正因子。由于对应于同一索引值的不同像素可针对同一校正因子计算方法产生不同校正因子，因此根据逐像素校正因子的函数来计算存储于校正因子表中的最终校正因子。在一个实例中，对对应于同一索引的所有像素的校正因子求平均。在另一实例中，具有同一索引的像素的不同校正因子具有不同权数；可根据某一预定准则(例如，直方图、距某一值的距离等)的函数导出这些权数。一旦已检查整个图像以填充校正因子表，便通过对现有条目进行内插来填入校正因子表中剩余的任何间隙。
恢复程序检查图像中的每一像素。首先，计算(使用用于产生所述表的同一方法)对校正表的索引以获得给定像素的适当校正因子。同样设想正校正B通道。如果使用与yB相同的色彩通道来确定校正因子，那么其值直接表示经校正输出。在所有其它情况中，通过遵循关于校正因子计算的逆计算而组合来自正校正的像素的不饱和色彩分量与对应校正因子(即，将其与基于色彩比率的因子相乘或将其与基于色彩差的因子相加)。应注意，如果已针对同一色彩通道产生一个以上校正因子表，那么可根据使用此些表中的每一者获得的经校正值的组合来获得最终经校正值。如果像素的所有三个通道均饱和，那么可跳过对恢复的任何尝试。
虽然所有上文所列的实例将B通道视为正校正的通道，但将所提出方法应用于其它通道为简单的且此处将不加以论述。
现在参考图11，流程图展示根据本发明的方面用于构建校正因子表并将其应用于图像的说明性方法80。所述方法在参考编号82处开始。
在参考编号84处，分析整个图像以找出其中所讨论的色彩通道不饱和的像素。可将此与其它约束组合，举例来说，将用于构建校正因子表的像素必须使其亮度值大于某一阈值及/或不能使其色彩通道中的任一者经剪裁(饱和)等。
针对经选择以构建校正表的像素中的每一者，计算至少两个值，每一值为一个或一个以上色彩通道的函数。一个值用作进入到校正因子表中的索引，而另一值为校正因子自身。在参考编号86处，计算校正表的索引值并计算校正因子的值。所属领域的技术人员将注意到，执行这些计算的次序并不重要。应注意，本发明的方法预期计算一个以上校正因子(如果需要此些操作特性的话)。
校正因子表中的条目的数目由表大小a表示。此设计参数通常为预定的。通常，将a设定为小于或等于用于表示每一色彩通道的位的数目；然而，太小的a值可能减小校正准确度，因为相差太大的像素将与同一索引相关联。
索引值为一个或一个以上色彩通道的函数。设想正校正B通道且M为通常等于给定位表示中的最大容许值的设计参数(也可能有其它设定)。在一个实例中，索引为未恢复的一个或两个色彩通道的函数；举例来说，可将此函数界定为amin(R，M)/M、amin(G，M)/M、aR/(R+G)或aG/(R+G)，其中min表示最小值运算符，且R、G及B分别表示红色、绿色及蓝色色彩分量。在另一实例中，索引为正恢复的色彩通道的函数；举例来说，可将此函数界定为amin(B，M)/M。在又一实例中，索引为正恢复的色彩通道及一个或两个其它色彩通道的函数；举例来说，可将此函数界定为aB/(R+G+B)。应注意，最终索引为如上文所描述而计算的索引值的经舍入版本。
也可以一种以上方式来确定校正因子。同样设想正校正B通道。在一个实例中，根据正校正的色彩通道的经缩放值来计算校正因子；即，yB，其中y是预定的或基于图像统计值而自适应地确定的。在另一实例中，根据待校正的色彩通道与像素中的另两个色彩通道中的一者的比率来计算校正因子；举例来说，可将此校正因子界定为B/G或B/R。在另一实例中，根据待校正的色彩通道与像素中的另两个色彩通道中的一者之间的差来计算校正因子，即(举例来说)，B-G或B-R。在另一实例中，根据待校正的色彩通道及像素中的两个其它色彩通道的函数来计算校正因子；举例来说，可将此函数界定为2B-R-G、2B/(R+G)或B2/(RG)。在又一实例中，根据待校正的色彩通道与另两个色彩通道中的每一者之间的比率或差来计算两个校正因子。由于对应于同一索引值的不同像素可针对同一校正因子计算方法产生不同校正因子，因此根据逐像素校正因子的函数来计算存储于校正因子表中的最终校正因子。在一个实例中，对对应于同一索引的所有像素的校正因子求平均。在另一实例中，具有同一索引的像素的不同校正因子具有不同权数；可根据某一预定准则(例如，直方图、距某一值的距离等)的函数导出这些权数。
一旦已检查整个图像，便在参考编号88处填充校正因子表并通过对现有条目进行内插来填入校正因子表中剩余的任何间隙。在一些情况中，可创建一个以上校正因子表。所属领域的技术人员将认识到，可随着确定索引值及校正因子而递增地构建校正表。
恢复程序基于饱和映射而检查图像中的每一像素。在参考编号90处，选择像素。在参考编号92处，确定所述像素的所有色彩通道是否饱和。如果否，那么可处理所述像素且在参考编号94处，计算(使用用于产生所述表的同一方法)所述像素的索引值。
在参考编号96处，使用所述索引值来寻址校正表以获得校正因子。
在一些实例中，正采用一个以上校正表且可根据使用此些表中的每一者获得的经校正值的组合来获得最终校正值。在参考编号98处，确定额外校正表是否在使用中。如果是，那么过程返回到参考编号94及96以获得额外校正因子。如果已存取所有校正因子表且确定校正因子，那么在参考编号100处，对所述像素应用所获得的校正因子以产生经校正像素值。如果使用与yB相同的色彩通道来确定校正因子，那么其值直接表示经校正输出。在所有其它情况中，通过遵循关于校正因子计算的逆计算而组合来自正校正的像素的不饱和色彩分量与对应校正因子(即，将其与基于色彩比率的因子相乘或将其与基于色彩差的因子相加)。如果仅使用了一个校正表，那么直接产生经校正像素值。否则，如果使用了一个以上校正表，那么对所述像素应用所有所获得的校正因子以组合中间经校正像素值。接着，存储最终经校正像素值。
在参考编号102处，确定图像中的所有像素是否均已经处理。如果否，那么过程返回到参考编号90，在参考编号90处，选择另一像素以用于处理。如果图像中的所有像素均已经处理，那么过程在参考编号104处结束。
根据本发明的另一方面，可组合两种方法：一种基于校正表且另一种使用局部邻域中可用的高光像素。在实例性实施方案中，可根据使用这两种方法产生的两个中间像素的平均值或加权平均值来校正每一饱和像素。在此些加权平均值计算中，权数的总和应等于1，以便产生无偏差的估计值。根据本发明的另一方面，可使用正恢复的实际图像的一个或一个以上区来计算校正因子表；可基于图像统计值自动地确定及/或由用户选择这些区。根据本发明的又一方面，可在正恢复实际图像过程中独立地(举例来说，在校准中)计算校正因子表。
除高光区以外，本发明中所呈现的图像恢复概念也可用于增强对高ISO捕获的图像处理的质量及性能。在此些情形中，可期望组合具有正常敏感度的光电二极管与具有较高敏感度的光电二极管，因为后者将较不受在图像获取过程期间引入到图像的噪声的影响。此处，假定通过应用适当增益来按比例缩小由具有较高敏感度的像素捕获的像素值，则可通过以下操作恢复最具噪声的一个或两个色彩通道：应用本文中所描述的信号处理概念而使用来自具有较高敏感度的像素的另一个或另两个色彩通道(而非饱和通道，此处所考虑的是最具噪声的通道或具有最低敏感度的通道)。应注意，可在所有像素位置中或根据一些预定准则(例如，低光区、具有某一所要色彩及结构特性的区等)而在一些选定区中应用此策略。
尽管已展示及描述本发明的实施例及应用，但所属领域的技术人员将明了，可在不背离本文中的发明性概念的情况下做出比上文所提及的多得多的修改形式。因此，本发明不受除了所附权利要求书的精神以外的限制。

Claims (7)

1.一种像素传感器阵列，其包括：
第一多个像素传感器，其具有第一光敏感度；及
第二多个像素传感器，其具有小于所述第一光敏感度的第二光敏感度，所述像素传感器阵列中的所述第二多个像素传感器的数量占总像素数目的40％到0.01％，所述第二多个像素传感器中没有两者在所述像素传感器阵列的任一方向上互相直接相邻。
2.根据权利要求1所述的像素传感器阵列，其中所述第二多个像素均匀地分散于所述阵列中。
3.根据权利要求1所述的像素传感器阵列，其中所述第一多个像素各自具有第一面积的光允入孔口，且所述第二多个像素各自具有大小比所述第一面积小的第二面积的光允入孔口。
4.一种在由具有第一多个像素传感器及第二多个像素传感器的图像传感器阵列捕获的图像中用于校正由所述第一多个像素传感器捕获的饱和像素数据的方法，所述第一多个像素传感器具有第一光敏感度，与所述第一多个像素传感器分开的所述第二多个像素传感器具有小于所述第一光敏感度的第二光敏感度，所述图像传感器阵列中的所述第二多个像素传感器的数量占总像素数目的40％到0.01％，所述第二多个像素传感器中没有两者在所述图像传感器阵列的任一方向上互相直接相邻，所述方法包括：
a)对来自所述第二多个像素传感器的像素值应用像素增益；
b)在所述第一多个像素传感器中选择具有至少一个饱和色彩分量的像素；
c)在所述选定第一像素传感器的局部邻域中识别所述第二多个像素传感器中的至少一者；
d)通过组合在所述第二多个像素传感器中识别的像素的对应不饱和色彩分量来替换所述选定像素数据的所述饱和色彩分量；及
e)重复b)到d)，直到来自所有饱和像素传感器的像素数据均已经处理为止。
5.一种在由具有第一多个像素传感器及第二多个像素传感器的图像传感器阵列捕获的图像中用于校正由所述第一多个像素传感器捕获的饱和像素数据的方法，所述第一多个像素传感器具有第一光敏感度，与所述第一多个像素传感器分开的所述第二多个像素传感器具有小于所述第一光敏感度的第二光敏感度，所述图像传感器阵列中的所述第二多个像素传感器的数量占总像素数目的40％到0.01％，所述第二多个像素传感器中没有两者在所述图像传感器阵列的任一方向上互相直接相邻，所述方法包括：
a)对所述第二多个像素传感器的像素值应用像素增益；
b)在所述第一多个像素传感器中选择具有至少一个饱和色彩分量的像素；
c)在所述选定第一像素传感器的局部邻域中识别所述第二多个像素传感器中的至少一者；
d)用所述第一多个像素传感器中的所述选定像素的不饱和色彩分量与来自在所述第二多个像素传感器中识别的局部可用像素的不饱和色彩通道及饱和色彩通道的像素数据之间的对应平均差或加权平均差的和替换所述第一多个像素传感器中的所述选定像素的所述饱和色彩分量；及
e)重复b)到d)，直到来自具有至少一个饱和色彩通道的所有像素传感器的像素数据均已经处理为止。
6.一种在由具有第一多个像素传感器及第二多个像素传感器的图像传感器阵列捕获的图像中用于校正由所述第一多个像素传感器捕获的饱和像素数据的方法，所述第一多个像素传感器具有第一光敏感度，与所述第一多个像素传感器分开的所述第二多个像素传感器具有小于所述第一光敏感度的第二光敏感度，所述图像传感器阵列中的所述第二多个像素传感器的数量占总像素数目的40％到0.01％，所述第二多个像素传感器中没有两者在所述图像传感器阵列的任一方向上互相直接相邻，所述方法包括：
a)对所述第二多个像素传感器的像素值应用像素增益；
b)在所述第一多个像素传感器中选择具有至少一个饱和色彩分量的像素；
c)在所述选定第一像素传感器的局部邻域中识别所述第二多个像素传感器中的至少一者；
d)用所述第一多个像素传感器中的所述选定像素的不饱和色彩分量与来自在所述第二多个像素传感器中识别的局部可用像素的不饱和色彩通道及饱和色彩通道的像素数据之间的对应平均比率或加权平均比率的积替换所述第一多个像素传感器中的所述选定像素的所述饱和色彩分量；及
e)重复b)到d)，直到来自具有至少一个饱和色彩通道的所有像素传感器的像素数据均已经处理为止。
7.一种在由具有第一多个像素传感器及第二多个像素传感器的图像传感器阵列捕获的图像中用于校正由所述第一多个像素传感器捕获的饱和像素数据的方法，所述第一多个像素传感器具有第一光敏感度，与所述第一多个像素传感器分开的所述第二多个像素传感器具有小于所述第一光敏感度的第二光敏感度，所述图像传感器阵列中的所述第二多个像素传感器的数量占总像素数目的40％到0.01％，所述第二多个像素传感器中没有两者在所述图像传感器阵列的任一方向上互相直接相邻，所述方法包括：
a)选择色彩通道；
b)分析所述整个图像以识别不饱和像素；
c)针对每一经识别像素数据，通过根据一个或一个以上色彩通道的函数来计算进入到校正因子表中的索引及校正因子来构建校正表；
d)通过对所述校正表中的现有条目进行内插来填入所述校正表中的任何间隙
e)在所述第一多个像素传感器中选择像素；
f)确定所述像素数据中的所有色彩通道是否饱和；
g)仅在并非来自所述选定像素的像素数据中的所有所述色彩通道均饱和的情况下：
计算所述像素的索引值；
使用所述所计算的索引值寻址所述校正表以获得所述校正因子
对所述像素数据应用所述所获得的校正因子以产生经校正像素数据值；
h)重复e)到g)，直到来自具有至少一个饱和色彩通道的所有像素传感器的像素数据均已经处理为止。
CN201210262403.4A 2011-07-26 2012-07-26 具有有不同光敏感度的光电二极管的成像阵列及相关联图像恢复方法 Active CN102905090B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201161511661P 2011-07-26 2011-07-26
US61/511,661 2011-07-26
US13/550,436 2012-07-16
US13/550,436 US9191556B2 (en) 2011-05-19 2012-07-16 Imaging array having photodiodes with different light sensitivities and associated image restoration methods

Publications (2)

Publication Number Publication Date
CN102905090A CN102905090A (zh) 2013-01-30
CN102905090B true CN102905090B (zh) 2017-03-01

Family

ID=47503328

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210262403.4A Active CN102905090B (zh) 2011-07-26 2012-07-26 具有有不同光敏感度的光电二极管的成像阵列及相关联图像恢复方法

Country Status (5)

Country Link
US (2) US9191556B2 (zh)
JP (1) JP6177507B2 (zh)
KR (1) KR101763436B1 (zh)
CN (1) CN102905090B (zh)
DE (1) DE102012213189B4 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9191556B2 (en) * 2011-05-19 2015-11-17 Foveon, Inc. Imaging array having photodiodes with different light sensitivities and associated image restoration methods
US8842912B2 (en) * 2011-05-19 2014-09-23 Foveon, Inc. Method for processing highlights and saturated regions in a digital image
JP5961149B2 (ja) * 2013-08-26 2016-08-02 キヤノン株式会社 画像処理装置およびその制御方法
KR102171387B1 (ko) * 2014-03-06 2020-10-28 삼성전자주식회사 포화 픽셀 데이터의 보정 방법 및 이를 이용한 이미지 데이터의 프로세싱 방법
KR20160109694A (ko) * 2015-03-12 2016-09-21 삼성전자주식회사 이미지 센서 및 상기 이미지 센서를 포함하는 이미지 처리 시스템
DE102015225797B3 (de) 2015-12-17 2017-05-04 Robert Bosch Gmbh Optischer Detektor
JP2017163010A (ja) 2016-03-10 2017-09-14 ソニー株式会社 撮像装置、電子機器
US10002408B2 (en) * 2016-08-04 2018-06-19 Intel Corporation Restoring color and infrared images from mosaic data
JP2018186317A (ja) * 2017-04-24 2018-11-22 株式会社シグマ 撮像装置
US10475840B1 (en) 2018-10-02 2019-11-12 Foveon, Inc. Imaging array having improved surface-to-detector light transmission
KR20210002966A (ko) * 2019-07-01 2021-01-11 삼성전자주식회사 이미지 센서 및 그것의 구동 방법
US11901481B2 (en) * 2020-12-04 2024-02-13 Lumileds Llc Reduction of defective pixel appearance in light-emitting arrays

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102104053A (zh) * 2009-12-16 2011-06-22 株式会社东芝 固体摄像装置及其制造方法

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7199410B2 (en) * 1999-12-14 2007-04-03 Cypress Semiconductor Corporation (Belgium) Bvba Pixel structure with improved charge transfer
JP4115574B2 (ja) 1998-02-02 2008-07-09 オリンパス株式会社 撮像装置
FR2796740B1 (fr) 1999-07-19 2001-10-26 Ge Medical Syst Sa Procede et systeme de gestion de la saturation sur une image radiographique numerisee
JP2001054017A (ja) 1999-08-09 2001-02-23 Minolta Co Ltd 固体撮像装置及び固体撮像装置の信号処理方法
US7084905B1 (en) 2000-02-23 2006-08-01 The Trustees Of Columbia University In The City Of New York Method and apparatus for obtaining high dynamic range images
US6937362B1 (en) 2000-04-05 2005-08-30 Eastman Kodak Company Method for providing access to an extended color gamut digital image and providing payment therefor
US6646246B1 (en) 2000-11-21 2003-11-11 Eastman Kodak Company Method and system of noise removal for a sparsely sampled extended dynamic range image sensing device
US6765611B1 (en) * 2000-11-21 2004-07-20 Eastman Kodak Company Method for compressing an image from a sparsely sampled extended dynamic range image sensing device
JP2003060983A (ja) * 2001-08-10 2003-02-28 Olympus Optical Co Ltd 撮像装置
GB0212367D0 (en) 2002-05-29 2002-07-10 Eastman Kodak Co Image processing
JP4094364B2 (ja) * 2002-07-19 2008-06-04 富士フイルム株式会社 固体撮像装置およびその測光方法
JP4322166B2 (ja) * 2003-09-19 2009-08-26 富士フイルム株式会社 固体撮像素子
US20050140804A1 (en) * 2003-12-29 2005-06-30 Eastman Kodak Company Extended dynamic range image sensor capture using an array of fast and slow pixels
JP4500574B2 (ja) * 2004-03-30 2010-07-14 富士フイルム株式会社 広ダイナミックレンジカラー固体撮像装置及びこの固体撮像装置を搭載したデジタルカメラ
KR100594155B1 (ko) * 2004-10-04 2006-06-28 삼성전자주식회사 색분산에 강한 이중 바이너리 광송신기
US7593603B1 (en) 2004-11-30 2009-09-22 Adobe Systems Incorporated Multi-behavior image correction tool
KR100672711B1 (ko) * 2004-12-30 2007-01-22 동부일렉트로닉스 주식회사 반도체 시모스 이미지 센서의 컬러 필터 어레이
US7636115B2 (en) * 2005-08-11 2009-12-22 Aptina Imaging Corporation High dynamic range imaging device using multiple pixel cells
JP4487944B2 (ja) * 2006-02-09 2010-06-23 ソニー株式会社 固体撮像装置
KR100830587B1 (ko) * 2007-01-10 2008-05-21 삼성전자주식회사 이미지 센서 및 이를 이용한 이미지 표시 방법
WO2008135995A2 (en) 2007-05-07 2008-11-13 D-Blur Technologies Ltd. Image restoration with enhanced filtering
US8619168B2 (en) * 2007-09-28 2013-12-31 Regents Of The University Of Minnesota Image sensor with high dynamic range imaging and integrated motion detection
TWI504256B (zh) * 2008-04-07 2015-10-11 Sony Corp 固態成像裝置，其訊號處理方法，及電子設備
JP2009284010A (ja) * 2008-05-19 2009-12-03 Canon Inc 画像処理装置、撮像装置及び画像処理方法
US7964840B2 (en) * 2008-06-19 2011-06-21 Omnivision Technologies, Inc. High dynamic range image sensor including polarizer and microlens
CN101931756B (zh) 2009-06-19 2012-03-21 比亚迪股份有限公司 一种提高cmos图像传感器动态范围的装置和方法
US8648948B2 (en) * 2009-09-30 2014-02-11 Infrared Newco, Inc. Imaging systems with multiple imaging pixel types and related methods
JP5630991B2 (ja) 2009-12-14 2014-11-26 キヤノン株式会社 撮像装置
WO2011078999A1 (en) * 2009-12-24 2011-06-30 Imagerlabs Inc. Adjustable cmos sensor array
JP5025746B2 (ja) * 2010-03-19 2012-09-12 株式会社東芝 固体撮像装置
US9191556B2 (en) * 2011-05-19 2015-11-17 Foveon, Inc. Imaging array having photodiodes with different light sensitivities and associated image restoration methods

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102104053A (zh) * 2009-12-16 2011-06-22 株式会社东芝 固体摄像装置及其制造方法

Also Published As

Publication number Publication date
US20160073046A1 (en) 2016-03-10
CN102905090A (zh) 2013-01-30
KR20130012935A (ko) 2013-02-05
KR101763436B1 (ko) 2017-07-31
DE102012213189A1 (de) 2013-01-31
US20130027591A1 (en) 2013-01-31
JP2013081154A (ja) 2013-05-02
US9191556B2 (en) 2015-11-17
JP6177507B2 (ja) 2017-08-09
DE102012213189B4 (de) 2021-02-11
US9942495B2 (en) 2018-04-10

Similar Documents

Publication Publication Date Title
CN102905090B (zh) 具有有不同光敏感度的光电二极管的成像阵列及相关联图像恢复方法
CN105009290B (zh) 图像传感器和电子装置
KR101012537B1 (ko) 고체 이미지 센서
US9894302B2 (en) Imaging apparatus, image processing method, and program
US6924841B2 (en) System and method for capturing color images that extends the dynamic range of an image sensor using first and second groups of pixels
US7737394B2 (en) Ambient infrared detection in solid state sensors
US7015961B2 (en) Digital image system and method for combining demosaicing and bad pixel correction
US8125543B2 (en) Solid-state imaging device and imaging apparatus with color correction based on light sensitivity detection
US7580070B2 (en) System and method for roll-off correction in image processing
JP4341695B2 (ja) 画像入力処理装置、撮像信号処理回路、および、撮像信号のノイズ低減方法
US7683948B2 (en) System and method for bad pixel replacement in image processing
US8013907B2 (en) System and method for adaptive local white balance adjustment
US20090290043A1 (en) Sub-Pixel Array Optical Sensor
CN104184967A (zh) 用于校正图像传感器固定图案噪声的设备、系统和方法
WO2007078912A1 (en) Method and apparatus providing color interpolation in color filter arrays using edge detection and correction terms
CN106170055B (zh) 用于稳健芯片内建相位检测之影像传感器以及相关系统和方法
US20100149403A1 (en) Automatic white balancing using meter sensors
WO2009059721A1 (de) Schaltungsanordnung zum erzeugen von licht- und temperaturabhängigen signalen, insbesodnere für ein bildgebendes pyrometer
US10250835B2 (en) Imaging device including pixel region having isolated region and shaded region and imaging system including imaging device
CN103262524B (zh) 自动聚焦图像系统
JP2022553726A (ja) Ｐｄａｆ画素の出力信号を生成する方法
US8938120B2 (en) Image sensing device and image data processing method using the same
CN103283215B (zh) 自动聚焦图像系统
CN114007055A (zh) 图像传感器镜头阴影校正方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant