CN102957917B - 一种像素阵列、摄像头及基于该阵列的色彩处理方法 - Google Patents

一种像素阵列、摄像头及基于该阵列的色彩处理方法 Download PDF

Info

Publication number
CN102957917B
CN102957917B CN201110252562.1A CN201110252562A CN102957917B CN 102957917 B CN102957917 B CN 102957917B CN 201110252562 A CN201110252562 A CN 201110252562A CN 102957917 B CN102957917 B CN 102957917B
Authority
CN
China
Prior art keywords
pixel
photosensitive pixel
colour
value
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110252562.1A
Other languages
English (en)
Other versions
CN102957917A (zh
Inventor
彭茂
傅璟军
胡文阁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BYD Semiconductor Co Ltd
Original Assignee
BYD Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BYD Co Ltd filed Critical BYD Co Ltd
Priority to CN201110252562.1A priority Critical patent/CN102957917B/zh
Priority to PCT/CN2012/080620 priority patent/WO2013029516A1/en
Priority to EP12828966.7A priority patent/EP2752008B1/en
Publication of CN102957917A publication Critical patent/CN102957917A/zh
Priority to US14/186,936 priority patent/US9482797B2/en
Application granted granted Critical
Publication of CN102957917B publication Critical patent/CN102957917B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optics & Photonics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明提供了一种像素阵列、摄像头及基于该阵列的色彩恢复方法，所述像素阵列包括二维排列的多个4*4的拜耳矩阵单元，所述矩阵单元包括感光像素，以及在每个感光像素中配置可透过绿色、红色、蓝色之一滤色器，其中在每个矩阵单元中，选择性地将全光滤色器替代部分的绿色滤色器。该种像素阵列、摄像头及基于该阵列的色彩处理方法，能提高图像的成像质量且使用方便。

Description

一种像素阵列、摄像头及基于该阵列的色彩处理方法
技术领域
本发明属于数字图像处理领域，尤其涉及一种像素阵列、摄像头及基于该阵列的色彩处理方法。
背景技术
为了实现在暗环境下，提高图像的成像效果，大部分摄像头都会考虑非可见光（主要为红外光）的应用。现在已知的应用主要分为两种方式：
1、单镜头，一个摄像头应用一个可通过红外光的双通或者全通镜头；
这种方式可以提高摄像头在夜晚的时候图像的质量，但是在白天普通场景下，由于红外光能量的摄入，会导致颜色出现失真的情况。比如：黑色的布会变得偏红。
2、双镜头，一个摄像头配备两种镜头，在光线强的时候（比如：白天）应用普通的只通过可见光的镜头，在光线弱的时候（比如：夜晚）将普通镜头切换为可通过红外线的双通或者全通镜头。
这种方式能实现普通场景下图像色彩正常再现，同时实现夜晚图像的质量提升。但是其需要两个镜头，便需要在不同场景下进行两个镜头之间的切换，使得镜头的使用很麻烦，成本过高且使用不稳定。
发明内容
本发明为解决现有技术中图像的成像质量不高且使用复杂的问题，提供一种像素阵列、摄像头及基于该阵列的色彩处理方法，能提高图像的成像质量且使用方便。
本发明提供一种像素阵列，其特征在于：包括二维排列的多个4*4的拜耳矩阵单元，所述矩阵单元包括感光像素，以及在每个感光像素中配置任意一个的可透过绿色、红色、蓝色的滤色器，其中在每个矩阵单元中，将全光滤色器替代部分的绿色滤色器。
本发明还提供一种种摄像头，包括在基板上二维排列的多个4*4的矩阵单元构成的镜头，所述矩阵单元包括感光像素，以及每个感光像素中配置任意一个的可透过绿色、红色、蓝色的滤色器，其中在所述矩阵单元中，将全光滤色器替代部分的绿色滤色器。
本发明还提供一种基于拜耳像素阵列的色彩处理方法，所述像素阵列为上述的像素阵列，所述方法包括以下步骤：
当带有红外成分的光线经过滤色器时，得到每个感光像素带有红外线分量的像素值；
对所述每个感光像素的像素值进行插值运算，得到每个感光像素的各种颜色像素值；
根据所述插值之后每个感光像素的各种颜色分量值，计算得到每个感光像素的红外线分量值；
根据所述插值之后每个感光像素的各种颜色分量值和红外线分量值，计算得到每个感光像素不被红外分量影响的各种颜色分量值。
从上述方案可以看出，通过在每个矩阵单元中，将全光滤色器替代部分的绿色滤色器，由于全光滤色器的灵敏度高于红、绿、蓝滤色器，使得镜头的图像质量提高，而且能提供带有红外份量的像素值，使得红外线成分单独再现，那么在白天的普通场景下将红、绿、蓝滤色器所对应的感光像素的像素值中的红外份量去除，不会红外线成分的影响，从而实现普通场景下的图像色彩真实再现，因此只需要一个镜头就可以实现在夜晚的时候镜头的图像质量提高，且实现在白天的普通场景图像色彩的真实再现，方便使用且降低成本。
附图说明
图1为现有技术中的拜耳像素阵列。
图2为本发明第一种实施例的像素阵列示意图。
图3为本发明第二种实施例的像素阵列示意图。
图4为本发明第三种实施例的像素阵列示意图。
图5为本发明色彩处理方法一种实施例的流程图。
具体实施方式
为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种实施例的像素阵列，包括二维排列的多个4*4的矩阵单元，所述矩阵单元包括感光像素1、2、3、4，以及在每个感光像素中配置可透过绿色、红色、蓝色之一滤色器，其中在每个矩阵单元中，可选择性地将全光滤色器替代部分的绿色滤色器。
从上述方案可以看出，通过在每个矩阵单元中，选择性地将全光滤色器替代部分的绿色滤色器，由于全光滤色器的灵敏度高于红、绿、蓝滤色器，使得镜头的图像质量提高，而且能提供带有红外份量的像素值，使得红外线成分单独再现。
如图1所示，为现有的拜耳阵列4*4的矩阵单元，感光像素1、2、3、4组成像素块a，而G、B、R，分别表示绿色滤色器、蓝色滤色器、红色滤色器、全色滤色器，其中感光像素1中配置B，感光像素2、3中配置G，感光像素4中配置R。
如图2所示，本发明第一种实施例的像素阵列示意图，4*4的矩阵单元包括像素块a，感光像素1、2、3、4组成像素块a，而G、B、R、W，分别表示绿色滤色器、蓝色滤色器、红色滤色器、全色滤色器，感光像素3中配置全光滤色器，即将像素块a的其中一绿色滤色器替换为全光滤色器，使得在每个矩阵单元中，所述全光滤色器的密度与绿色、红色、蓝色之一滤色器的密度一致。其中，所述全光滤色器为几乎能通过所有光频谱光线的滤色器。另外，对于像素块a中，感光像素1中可以配置R，感光像素4中可以配置B，即感光像素1和感光像素4之间中配置的滤色器可以互换，感光像素3中可以配置G，感光像素2中可以配置W，即感光像素2和感光像素3之间中配置的滤色器可以互换，不会对像素阵列产生的灵敏度产生影响，同样可以使得镜头的图像质量提高。
在具体实施中，可以间隔的将拜耳矩阵单元中部分的绿色滤色器替换为将全光滤色器，使得所述全光滤色器的密度小于蓝色、红色之一滤色器的密度。如图3所示，本发明第二种实施例的像素阵列示意图，4*4的矩阵单元包括像素块a和像素块b，感光像素1、2、3、4组成像素块a，其中感光像素1中配置B，感光像素2中配置G，感光像素3中配置W，感光像素4中配置R。而感光像素5、6、7、8组成像素块b，其中感光像素5中配置B，感光像素6、7中配置G，感光像素8中配置R，使得4*4的矩阵单元中W与RGB的比例为1：2，由于在本实施例中，4*4=16的感应像素中，只有2个为非RGB滤色器，使得本实施例中每个感光像素带有红外线分量的像素值的插值结果更加准确和容易。
在具体实施中，对于4*4的矩阵单元中，RGBW的排列还可以如图4所示，本发明第三种实施例的像素阵列示意图，与第二种实施例的像素阵列不同点在于：感光像素1、2、3、4组成像素块a，其中感光像素1中配置B，感光像素2、3中均配置G，感光像素4中配置R。而感光像素5、6、7、8组成像素块b，其中感光像素5中配置B，感光像素6中配置G，感光像素7中配置W，感光像素8中配置R。当然还可以将像素块a中感光像素1、4中配置的滤色器互换，感光像素2、3中配置的滤色器互换，像素块b中也是可以如此，从而改变在4*4的矩阵单元中，RGBW的排列，此处就不在一一赘述。
在具体实施中，为了实现上述的像素阵列进行成像，本发明还提供一种实施例的摄像头，包括在基板上二维排列的多个4*4的拜耳矩阵单元构成的镜头，所述矩阵单元包括感光像素，以及在每个感光像素中配置可透过绿色、红色、蓝色之一滤色器，其中在每个矩阵单元中，可选择性地将全光滤色器替代部分的绿色滤色器。
从上述方案可以看出，通过在每个矩阵单元中，选择性地将全光滤色器替代部分的绿色滤色器，由于全光滤色器的灵敏度高于红、绿、蓝滤色器，使得镜头的图像质量提高，而且能提供带有红外份量的像素值，使得红外线成分单独再现，那么在白天的普通场景下将红、绿、蓝滤色器所对应的感光像素的像素值中的红外份量去除，不会红外线成分的影响，从而实现普通场景下的图像色彩真实再现，因此只需要一个镜头就可以实现在夜晚的时候镜头的图像质量提高，且实现在白天的普通场景图像色彩的真实再现，方便使用且降低成本。
在具体实施中，本发明还提供一种实施例的基于像素阵列的色彩处理方法，如图5所示，包括以下步骤：
步骤S01，当带有红外成分的光线经过滤色器时，得到每个感光像素带有红外线分量的像素值；
步骤S02，对所述每个感光像素的像素值进行插值运算，得到每个感光像素的各种颜色分量值；
步骤S03，根据所述插值之后每个感光像素的各种颜色分量值，计算得到每个感光像素的红外线分量值；
步骤S04，根据所述插值之后每个感光像素的各种颜色像素值和红外线分量值，计算得到每个感光像素不被红外分量影响的各种颜色分量值。
对于步骤S01，当带有红外成分的光线经过滤色器时，每个感光像素根据其配置的滤色器吸收相应光频谱的光线，得到每个感光像素带有红外线分量的像素值的公式如下：
R’=R+a*IR；(2-1)
G’=G+b*IR；(2-2)
B’=B+c*IR；(2-3)
W’=(R/a+G/b+B/c+IR)*d；(2-4)
其中a，b，c分别是R，G，B三通道的增益值，d为W的增益值，IR为红外线分量值，R为配置有红色滤色器的感光像素值，R’为配置有红色滤色器且带有红外线分量的的感光像素值，G为配置有绿色滤色器的感光像素值，G’为配置有绿色滤色器且带有红外线分量的的感光像素值，B为配置有蓝色滤色器的感光像素值，B’为配置有蓝色滤色器且带有红外线分量的的感光像素值，W为配置有全光滤色器的感光像素值，W’为配置有全光滤色器且带有红外线分量的的感光像素值。
对于步骤S02中，通过对每个感应像素进行插值之后，可以补齐每个感应像素缺失的RGB颜色分量值以及W分量值，而所述插值算法具体可以为：临近点插值，双线性插值，边缘为导向的插值，色调局部单一假定的插值，以及边缘和色调结合的插值等等。在本实施例中，所述对每个感应像素的插值算法为每个感应像素缺失的RGB颜色分量值以及W分量值由周围相同的颜色分量平均值代替，根据图2所示的像素阵列，插值算法具体为：
当当前的待插值像素为R’（i，j）时，该像素点的其他颜色分量值为：
G’(i，j)=1/2*(G’(i，j-1)+G’(i，j+1))；
B’(i，j)=1/4*(B’(i-1，j-1)+B’(i-1，j+1)+B’(i+1，j-1)+B’(i+1，j+1))；
W’(i，j)=1/2*(W’(i-1，j)+W’(i+1，j))；
其中i为像素阵列的行号，j为像素阵列的列号。
比如当当前的待插值像素为R’（2，2）时，即i=2，j=2，那么该像素点的其他颜色分量值为：
G’(2，2)=1/2*(G’(2，1)+G’(2，3))；
B’(2，2)=1/4*(B’(1，1)+B’(1，3)+B’(3，1)+B’(3，3))；
W’(2，2=1/2*(W’(1，2)+W’(3，2))。
当当前的待插值像素为G’（i，j）时，该像素点的其他颜色份量值为
R’(i，j)=1/2*(R’(i，j-1)+R’(i，j+1))；
B’(i，j)=1/2*(B’(i-1，j)+B’(i+1，j))；
W’(i，j)=1/4*(W’(i-1，j-1)+W’(i-1，j+1)+W’(i+1，j-1)+W’(i+1，j+1))；
比如当当前的待插值像素为G’（2，3）时，即i=2，j=3，那么该像素点的其他颜色分量值为：
R’(2，3)=1/2*(R’(2，2)+R’(2，4))；
B’(2，3=1/2*(B’(1，3)+B’(2，3))；
W’(2，3)=1/4*(W’(1，2)+W’(1，4)+W’(3，2)+W’(3，4))。
当当前的待插值像素为B’（i，j）时，该像素点的其他颜色分量值为：
R’(i，j)=1/4*(R’(i-1，j-1)+R’(i-1，j+1)+R’(i+1，j-1)+R’(i+1，j+1))；
G’(i，j)=1/2*(G’(i-1，j)+G’(i+1，j))；
W’(i，j)=1/2*(W’(i，j-1)+W(i，j+1))；
比如当当前的待插值像素为B’（3，3）时，即i=3，j=3，那么该像素点的其他颜色分量值为：
R’(3，3)=1/4*(R’(2，2)+R’(2，4)+R’(4，2)+R’(4，4))；
G’(3，3)=1/2*(G’(2，3)+G’(4，3))；
W’(3，3)=1/2*(W’(3，2)+W(3，4))。
当当前的待插值像素为W’（i，j）时，该像素点的其他颜色分量值为：
R’(i，j)=1/2*(R’(i-1，j)+R’(i+1，j))；
G’(i，j)=1/4*(G’(i-1，j-1)+G’(i-1，j+1)+G’(i+1，j-1)+G’(i+1，j+1))；
B’(i，j)=1/2*(B’(i，j-1)+B’(i，j+1))；
比如当当前的待插值像素为W’（3，2）时，即i=3，j=2，那么该像素点的其他颜色分量值为：
R’(3，2)=1/2*(R’(2，2)+R’(4，2))；
G’(3，2)=1/4*(G’(2，1)+G’(2，3)+G’(4，1)+G’(4，3))；
B’(3，2)=1/2*(B’(3，1)+B’(3，3))；
当然，当感应像素为边界值时，该像素点的其他颜色分量值即与该感应像素点相邻的各种颜色分量值。比如当当前的待插值像素为B’（1，1），那么R’(1，1)=R’(2，2)；G’(1，1)=G’(2，1)；W’(1，1)=W’(1，2)。
对于步骤03中，根据所述插值之后每个感光像素的各种颜色分量值以及公式（2-1）至（2-4），便可以得到所述每个感光像素的红外线分量值，使得红外线分量再现，那么R、G、B便可以恢复到不含红外分量的情况。所述每个感光像素的红外线分量值具体为：
IR(i，j)＝-(1/d*W(i，j)’-1/a*R(i，j)’-1/b*G(i，j)’-1/c*B(i，j)’)/2。
对于步骤04中，将所述每个感光像素的红外线分量值，代入到公式（2-1）至（2-3）中，那么便可以计算得到每个感光像素不被红外分量影响的各种颜色分量值，具体如下：
R(i，j)=(R(i，j)’+a/d*W(i，j)’-a/b*G(i，j)’-a/c*B(i，j)’)/2；
G(i，j)=(G(i，j)’+b/d*W(i，j)’-b/a*R(i，j)’-b/c*B0’)/2；
B(i，j)=(B(i，j)’+c/d*W(i，j)’-c/a*R(i，j)’-c/b*G(i，j)’)/2；
其中a、b、c分别是绿色、红色、蓝色滤色器的增益值，d为全光滤色器的增益值。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种像素阵列，其特征在于：包括二维排列的多个4*4的拜耳矩阵单元，所述矩阵单元包括感光像素，以及在每个感光像素中配置任意一个的可透过绿色、红色、蓝色的滤色器，其中在所述矩阵单元中，将全光滤色器替代部分的绿色滤色器，当带有红外成分的光线经过滤色器时，可以得到每个感光像素不被红外分量影响的各种颜色分量值，所述当带有红外成分的光线经过滤色器时，可以得到每个感光像素不被红外分量影响的各种颜色分量值的具体步骤如下：
当带有红外成分的光线经过滤色器时，得到每个感光像素带有红外线分量的像素值；
对所述每个感光像素的像素值进行插值运算，得到每个感光像素的各种颜色像素值；
根据所述插值之后每个感光像素的各种颜色分量值，计算得到每个感光像素的红外线分量值；
根据所述插值之后每个感光像素的各种颜色分量值和红外线分量值，计算得到每个感光像素不被红外分量影响的各种颜色分量值。
2.如权利要求1所述的像素阵列，其特征在于：在每个矩阵单元中，所述全光滤色器的密度与绿色或红色或蓝色滤色器的密度一致。
3.如权利要求1所述的像素阵列，其特征在于：在每个矩阵单元中，所述全光滤色器的密度小于蓝色或红色滤色器的密度。
4.一种摄像头，其特征在于：包括在基板上二维排列的多个4*4的拜耳矩阵单元构成的镜头，所述矩阵单元包括感光像素，以及每个感光像素中配置任意一个的可透过绿色、红色、蓝色的滤色器，其中在所述矩阵单元中，将全光滤色器替代部分的绿色滤色器，当带有红外成分的光线经过滤色器时，可以得到每个感光像素不被红外分量影响的各种颜色分量值，所述当带有红外成分的光线经过滤色器时，可以得到每个感光像素不被红外分量影响的各种颜色分量值的具体步骤如下：
当带有红外成分的光线经过滤色器时，得到每个感光像素带有红外线分量的像素值；
对所述每个感光像素的像素值进行插值运算，得到每个感光像素的各种颜色像素值；
根据所述插值之后每个感光像素的各种颜色分量值，计算得到每个感光像素的红外线分量值；
根据所述插值之后每个感光像素的各种颜色分量值和红外线分量值，计算得到每个感光像素不被红外分量影响的各种颜色分量值。
5.一种基于像素阵列的色彩处理方法，所述像素阵列为如权利要求1-3任意一项所述的像素阵列，其特征在于：所述方法包括以下步骤：
当带有红外成分的光线经过滤色器时，得到每个感光像素带有红外线分量的像素值；
对所述每个感光像素的像素值进行插值运算，得到每个感光像素的各种颜色像素值；
根据所述插值之后每个感光像素的各种颜色分量值，计算得到每个感光像素的红外线分量值；
根据所述插值之后每个感光像素的各种颜色分量值和红外线分量值，计算得到每个感光像素不被红外分量影响的各种颜色分量值。
6.如权利要求5所述的方法，其特征在于：所述每种滤色器带有红外线分量的像素值，具体为：
R’＝R+a*IR；
G’＝G+b*IR；
B’＝B+c*IR；
W’＝(R/a+G/b+B/c+IR)*d；
其中a、b、c分别是绿色、红色、蓝色滤色器的增益值，d为全光滤色器的增益值，IR为红外线分量值。
7.如权利要求5所述的方法，其特征在于：所述插值运算的步骤：当当前的待插值像素为R’(i，j)时，该像素点的其他颜色分量值为：
G’(i，j)＝1/2*(G’(i，j-1)+G’(i，j+1))；
B’(i，j)＝1/4*(B’(i-1，j-1)+B’(i-1，j+1)+B’(i+1，j-1)+B’(i+1，j+1))；
W’(i，j)＝1/2*(W’(i-1，j)+W’(i+1，j))；
当当前的待插值像素为G’(i，j)时，该像素点的其他颜色份量值为：
R’(i，j)＝1/2*(R’(i，j-1)+R’(i，j+1))；
B’(i，j)＝1/2*(B’(i-1，j)+B’(i+1，j))；
W’(i，j)＝1/4*(W’(i-1，j-1)+W’(i-1，j+1)+W’(i+1，j-1)+W’(i+1，j+1))；
当当前的待插值像素为B’(i，j)时，该像素点的其他颜色分量值为：
R’(i，j)＝1/4*(R’(i-1，j-1)+R’(i-1，j+1)+R’(i+1，j-1)+R’(i+1，j+1))；
G’(i，j)＝1/2*(G’(i-1，j)+G’(i+1，j))；
W’(i，j)＝1/2*(W’(i，j-1)+W(i，j+1))；
当当前的待插值像素为W’(i，j)时，该像素点的其他颜色分量值为：
R’(i，j)＝1/2*(R’(i-1，j)+R’(i+1，j))；
G’(i，j)＝1/4*(G’(i-1，j-1)+G’(i-1，j+1)+G’(i+1，j-1)+G’(i+1，j+1))；
B’(i，j)＝1/2*(B’(i，j-1)+B’(i，j+1))；
其中i为像素阵列的行号，j为像素阵列的列号。
8.如权利要求7所述的方法，其特征在于：所述每个感光像素的红外线分量值，具体为：
IR(i，j)＝-(1/d*W(i，j)’-1/a*R(i，j)’-1/b*G(i，j)’-1/c*B(i，j)’)/2。
9.如权利要求8所述的方法，其特征在于：所述每个感光像素不被红外分量影响的各种颜色分量值的步骤，具体为：
R(i，j)＝(R(i，j)’+a/d*W(i，j)’-a/b*G(i，j)’-a/c*B(i，j)’)/2；
G(i，j)＝(G(i，j)’+b/d*W(i，j)’-b/a*R(i，j)’-b/c*B0’)/2；
B(i，j)＝(B(i，j)’+c/d*W(i，j)’-c/a*R(i，j)’-c/b*G(i，j)’)/2。
CN201110252562.1A 2011-08-30 2011-08-30 一种像素阵列、摄像头及基于该阵列的色彩处理方法 Active CN102957917B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201110252562.1A CN102957917B (zh) 2011-08-30 2011-08-30 一种像素阵列、摄像头及基于该阵列的色彩处理方法
PCT/CN2012/080620 WO2013029516A1 (en) 2011-08-30 2012-08-27 Pixel array, camera using the same and color processing method based on the pixel array
EP12828966.7A EP2752008B1 (en) 2011-08-30 2012-08-27 Pixel array, camera using the same and color processing method based on the pixel array
US14/186,936 US9482797B2 (en) 2011-08-30 2014-02-21 Pixel array, camera using the same and color processing method based on the pixel array

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110252562.1A CN102957917B (zh) 2011-08-30 2011-08-30 一种像素阵列、摄像头及基于该阵列的色彩处理方法

Publications (2)

Publication Number Publication Date
CN102957917A CN102957917A (zh) 2013-03-06
CN102957917B true CN102957917B (zh) 2016-03-30

Family

ID=47755323

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110252562.1A Active CN102957917B (zh) 2011-08-30 2011-08-30 一种像素阵列、摄像头及基于该阵列的色彩处理方法

Country Status (4)

Country Link
US (1) US9482797B2 (zh)
EP (1) EP2752008B1 (zh)
CN (1) CN102957917B (zh)
WO (1) WO2013029516A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102957917B (zh) 2011-08-30 2016-03-30 比亚迪股份有限公司 一种像素阵列、摄像头及基于该阵列的色彩处理方法
FR3004882B1 (fr) * 2013-04-17 2015-05-15 Photonis France Dispositif d'acquisition d'images bimode
CN103400108B (zh) * 2013-07-10 2017-07-14 小米科技有限责任公司 人脸识别方法、装置和移动终端
EP2887655A1 (fr) * 2013-12-20 2015-06-24 Swiss Timing Ltd. Filtre couleur adaptatif pour capteur numérique
CN104980667B (zh) * 2014-04-13 2018-11-09 比亚迪股份有限公司 图像传感器和监控系统
US9300937B2 (en) * 2014-06-26 2016-03-29 Pixart Imaging (Penang) Sdn, Bhd. Color image sensor and operating method thereof
JP2016133590A (ja) * 2015-01-19 2016-07-25 ソニー株式会社 表示装置及び電子機器
CN105120248A (zh) * 2015-09-14 2015-12-02 北京中科慧眼科技有限公司 像素阵列及相机传感器
CN105338229A (zh) * 2015-11-18 2016-02-17 努比亚技术有限公司 一种摄像头模组
CN105578078B (zh) * 2015-12-18 2018-01-19 广东欧珀移动通信有限公司 图像传感器、成像装置、移动终端及成像方法
CN106937026A (zh) * 2015-12-29 2017-07-07 钰太芯微电子科技（上海）有限公司 基于红外传感和可见光传感的应用系统及应用方法
CN106131462B (zh) * 2016-06-24 2019-05-24 华为技术有限公司 一种对图像进行校正的方法和装置
CN106210678A (zh) * 2016-07-29 2016-12-07 广东欧珀移动通信有限公司 图像色彩处理方法、装置及终端设备
CN107786857B (zh) * 2016-08-25 2019-07-19 杭州海康威视数字技术股份有限公司 一种图像还原方法及装置
CN106506969B (zh) 2016-11-29 2019-07-19 Oppo广东移动通信有限公司 摄像模组、通过其进行人像追踪的方法以及电子设备
CN106921854B (zh) * 2017-03-24 2019-03-29 深圳安芯微电子有限公司 一种色彩滤镜阵列及图像传感器
KR102594038B1 (ko) * 2018-01-15 2023-10-26 에스케이하이닉스 주식회사 이미지 센싱 장치
JP7002043B2 (ja) * 2018-03-20 2022-01-20 パナソニックＩｐマネジメント株式会社 火炎検知システム、報知システム、火炎検知方法、及びプログラム
CN108513112B (zh) * 2018-03-27 2020-12-08 宁波舜宇光电信息有限公司 基于颜色滤光器阵列的图像处理方法
CN108426637A (zh) * 2018-05-11 2018-08-21 Oppo广东移动通信有限公司 一种光分量计算方法、图像传感器及摄像头模组
CN111050097B (zh) * 2018-10-15 2022-03-15 瑞昱半导体股份有限公司 红外线串扰补偿方法及其装置
CN113395497A (zh) * 2019-10-18 2021-09-14 华为技术有限公司 图像处理方法、图像处理装置以及摄像装置
WO2021163909A1 (zh) * 2020-02-19 2021-08-26 深圳市汇顶科技股份有限公司 图像传感器以及相关电子装置
CN114190113A (zh) * 2020-07-14 2022-03-15 深圳市汇顶科技股份有限公司 图像传感装置以及相关电子装置
WO2022094937A1 (en) * 2020-11-06 2022-05-12 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Electrical device, method of generating image data, and non-transitory computer readable medium
CN114650343A (zh) * 2020-12-15 2022-06-21 超聚变数字技术有限公司 一种图像传感器及成像装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6137100A (en) * 1998-06-08 2000-10-24 Photobit Corporation CMOS image sensor with different pixel sizes for different colors
CN1561112A (zh) * 2004-03-11 2005-01-05 博立码杰通讯(深圳)有限公司 彩色感光器件及其制作方法
CN101478687A (zh) * 2008-01-04 2009-07-08 华晶科技股份有限公司 对数字图像中伪色像素的校正方法
CN101489142A (zh) * 2008-01-15 2009-07-22 华晶科技股份有限公司 数字影像的彩色插补方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100216672B1 (ko) * 1996-12-30 1999-09-01 김영환 칼라 필터 어레이 및 그 신호 처리 회로
US6657663B2 (en) * 1998-05-06 2003-12-02 Intel Corporation Pre-subtracting architecture for enabling multiple spectrum image sensing
JP2008089619A (ja) * 2005-03-29 2008-04-17 Sharp Corp 表示装置および電子機器
JP2007043427A (ja) * 2005-08-02 2007-02-15 Canon Inc 画像読取装置およびその制御方法
US8134191B2 (en) * 2006-01-24 2012-03-13 Panasonic Corporation Solid-state imaging device, signal processing method, and camera
JP2009081738A (ja) * 2007-09-26 2009-04-16 Toshiba Corp 画像処理装置、方法およびプログラム
US7745779B2 (en) * 2008-02-08 2010-06-29 Aptina Imaging Corporation Color pixel arrays having common color filters for multiple adjacent pixels for use in CMOS imagers
KR101475464B1 (ko) * 2008-05-09 2014-12-22 삼성전자 주식회사 적층형 이미지 센서
KR20090120159A (ko) * 2008-05-19 2009-11-24 삼성전자주식회사 영상합성장치 및 영상합성방법
CA2666470A1 (en) * 2009-05-21 2010-11-21 Pierre Benoit Boulanger Multi-spectral color and ir camera based on multi-filter array
KR20110006811A (ko) * 2009-07-15 2011-01-21 삼성전자주식회사 칼라 필터 어레이 및 이를 포함하는 이미지 센서와 전자 장치
KR20110040402A (ko) * 2009-10-14 2011-04-20 삼성전자주식회사 필터 어레이, 이를 포함하는 이미지 센서, 및 신호 보간 방법
CN102957917B (zh) 2011-08-30 2016-03-30 比亚迪股份有限公司 一种像素阵列、摄像头及基于该阵列的色彩处理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6137100A (en) * 1998-06-08 2000-10-24 Photobit Corporation CMOS image sensor with different pixel sizes for different colors
CN1561112A (zh) * 2004-03-11 2005-01-05 博立码杰通讯(深圳)有限公司 彩色感光器件及其制作方法
CN101478687A (zh) * 2008-01-04 2009-07-08 华晶科技股份有限公司 对数字图像中伪色像素的校正方法
CN101489142A (zh) * 2008-01-15 2009-07-22 华晶科技股份有限公司 数字影像的彩色插补方法

Also Published As

Publication number Publication date
EP2752008B1 (en) 2019-02-06
US9482797B2 (en) 2016-11-01
WO2013029516A1 (en) 2013-03-07
CN102957917A (zh) 2013-03-06
EP2752008A4 (en) 2015-04-15
US20140168446A1 (en) 2014-06-19
EP2752008A1 (en) 2014-07-09

Similar Documents

Publication Publication Date Title
CN102957917B (zh) 一种像素阵列、摄像头及基于该阵列的色彩处理方法
US8451352B2 (en) Image pickup apparatus
CN108965654A (zh) 基于单传感器的双光谱摄像机系统和图像处理方法
Bertalmío Image processing for cinema
WO2011151948A1 (ja) ３次元撮像装置
CN101883215A (zh) 成像设备
CN102917235A (zh) 图像处理装置、图像处理方法和程序
US9628776B2 (en) Three-dimensional imaging device, image processing device, image processing method, and image processing program
CN103052914B (zh) 三维摄像装置
US9544570B2 (en) Three-dimensional image pickup apparatus, light-transparent unit, image processing apparatus, and program
WO2015152423A1 (ja) 撮像素子、撮像装置および画像処理装置
US20180247964A1 (en) Solid-state imaging device, imaging apparatus, and electronic apparatus
WO2014192300A1 (ja) 撮像素子、撮像装置、および画像処理装置
WO2020177407A1 (zh) 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法
Lukac et al. Single-sensor camera image processing
KR101257946B1 (ko) 영상의 색수차를 제거하는 장치 및 그 방법
WO2012001853A1 (ja) ３次元撮像装置および光透過板
JP7052811B2 (ja) 画像処理装置、画像処理方法及び画像処理システム
US10616493B2 (en) Multi camera system for zoom
CN101489142B (zh) 数字影像的彩色插补方法
CN102687514B (zh) 三维摄像装置以及图像处理装置
CN101526669B (zh) 一种可用于染色体和病理玻片的显微镜拍摄成像装置及其成像方法
Bicz et al. The configurable image signal processing unit with emphasis on real sensors imperfection
Thorpe What Constitutes a High Performance 4K Lens?

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20191225

Address after: 518119 1 Yanan Road, Kwai Chung street, Dapeng New District, Shenzhen, Guangdong

Patentee after: SHENZHEN BYD MICROELECTRONICS Co.,Ltd.

Address before: BYD 518118 Shenzhen Road, Guangdong province Pingshan New District No. 3009

Patentee before: BYD Co.,Ltd.

TR01 Transfer of patent right
CP01 Change in the name or title of a patent holder

Address after: 518119 No.1 Yan'an Road, Kuiyong street, Dapeng New District, Shenzhen City, Guangdong Province

Patentee after: BYD Semiconductor Co.,Ltd.

Address before: 518119 No.1 Yan'an Road, Kuiyong street, Dapeng New District, Shenzhen City, Guangdong Province

Patentee before: SHENZHEN BYD MICROELECTRONICS Co.,Ltd.

Address after: 518119 No.1 Yan'an Road, Kuiyong street, Dapeng New District, Shenzhen City, Guangdong Province

Patentee after: BYD Semiconductor Co.,Ltd.

Address before: 518119 No.1 Yan'an Road, Kuiyong street, Dapeng New District, Shenzhen City, Guangdong Province

Patentee before: BYD Semiconductor Co.,Ltd.

CP01 Change in the name or title of a patent holder