CN1819663A - 色信号处理方法 - Google Patents

Abstract

本发明所要解决的问题是：当RGB各受光部的滤色器透过红外光时，由于起因于红外光的信号成分(IR)分别重叠在各色信号上，使色彩平衡产生偏差。本发明提供一种色信号处理方法，其根据来检测IR成分的IR受光部的输出信号来特定包含于RGB各色信号中的IR成分Ir、Ig、Ib。只对包含于各色信号中的IR成分进行使各色信号间的比率与白色光的RGB成分比α∶β∶γ一致的补偿，并生成补偿色信号。

Description

色信号处理方法

技术领域

本发明涉及对从以检测出互不相同的色成分为目的的多种受光元件得到的色信号进行处理的方法，尤其涉及包含于各色信号中的目的以外的波长相关的偏置量成分所对应的补偿处理。

背景技术

搭载在摄像机或数码相机中的CCD(电荷耦合器件)图像传感器等固体摄像元件(固体摄像装置)具有二维排列的受光部(受光元件)，在该受光部中对入射光进行光电转换，以生成电的图像信号。受光部包含形成于半导体基板上的光电二极管，该光电二极管本身在所有的受光部中具有共同的光谱灵敏度特性。因此，为了得到彩色图像，在光电二极管上配置透过光的颜色、即透过波长区域不同的多种滤色器。

在滤色器中，具有透过光为红色(R)、绿色(G)以及蓝色(B)的原色类滤色器组，或者透过光为青绿色(Cy)、洋红色(Mg)以及黄色(Ye)的辅助色类的滤色器组。这些滤色器例如可以由着色过的有机材料形成，并透过分别对应的颜色的可见光，但在其材质上也透过红外线。例如，图2是表示RGB各滤色器的透过率之波长特性的图，该图还一并示出光电二极管的光谱灵敏度特性。各种颜色的滤色器的透过率，在可可见光区域内，对应各种着色来显示固有的光谱特性，但是在红外光区域内示出几乎相同的光谱特性。

另一方面，光电二极管，不仅在波长为380～780nm左右的整个可见光区域内、而且在长波长的近红外区域内具有灵敏度。因此，若红外光成分(IR)入射到受光部，则该红外光成分透过滤色器，由光电二极管发生信号电荷，无法表现正确的颜色。因此，以往在相机的透镜与固体摄像元件之间还另外配置红外线截止滤色器。

该红外线截止滤色器在截止红外光的同时，也会使可见光衰减10～20％左右。因此，产生了入射到受光部的可见光的强度减少，与之对应输出信号的S/N比降低，从而导致图像质量变差的问题。

作为解决这个问题的方法，提出了固体摄像元件的方案，即不要红外线截止滤色器，而在配置了透过RGB等特定色的光成分的滤色器的受光部(特定色受光部)的基础上，还具有基本上只检测入射光中的IR成分的受光部(IR受光部)。IR受光部输出的信号(参照信号)提供在各受光部中由于IR成分而产生的信号量相关的信息。可以考虑采用这个参照信号，除去从特定色受光部输出的各色信号中包含的IR成分的影响。

IR受光部，例如可以通过在光电二极管上层叠透过互不相同颜色的可见光的多种滤色器来实现。也就是，相互层叠的滤色器，通过由其他的滤色器吸收透过某一滤色器的可见光成分来阻止可见光的透过，另一方面各滤色器透过IR成分，其结果是有选择地透过红外光。

例如，对以往的色信号处理方法进行说明，其中入射光的R、G、B成分中具有固有灵敏度的R受光部、G受光部、B受光部以及有选择地对红外光具有灵敏度的IR受光部，根据来自二维排列在摄像部上的固体摄像元件的输出信号来生成RGB信号、或亮度信号Y以及色差信号Cr、Cb。

图3是表示RGB各受光部的光谱灵敏度特性的图形。RGB各受光部的光谱灵敏度特性，为图2所示的R、G、B各滤色器的透过率特性与光电二极管的光谱灵敏度特性之积。各受光部在作为超过780nm的波长区域的红外光区域中具有共同的灵敏度，而在可见光区域内，RGB各受光部在对应于R、G、B各滤色器的透过率特性的固有波长区域内显示处强的灵敏度。具体地，在图3中，G受光部的光谱灵敏度特性30，是将在该受光部上作为固有光谱灵敏度特性而对应于绿色的550nm附近具有中心的波峰32与红外光区域850nm附近具有中心的波峰34进行重叠而成的。同样地，B受光部的光谱灵敏度特性40，是将在该受光部上作为固有光谱灵敏度特性而对应于蓝色的450nm附近具有中心的波峰42与红外光区域850nm附近具有中心的波峰44进行重叠而成的。在R受光部的光谱灵敏度特性50中，由于红色与红外光区域接近，虽然没有表现出两个分离的波峰，但还是由作为固有光谱灵敏度特性而对应于红色的650nm附近的灵敏度的强调部52，与红外光区域的灵敏度的强调部54重叠而成的，这一点从图3可以看出。

一般来说，采用适当的系数α、B，以如下所示那样的RGB各成分的线形式来表示亮度信号Y。

Y≡αR+βG+γB                        .........(1)

这里存在关系式α+β+γ＝1。

而且，用λ、μ可由下式来表示色差信号的Cr、Cb的一般关系式。

Cr≡λ(R-Y)                           .........(2)

Cb≡μ(B-Y)                           .........(3)

如果把R受光部、G受光部、B受光部的输出信号<R>、<G>、<B>之中对应于入射光的R、G、B成分的信号成分设为R₀、G₀、B₀，而将对应于红外光的信号成分设为Ir、Ig、Ib，则以下的公式成立。

<R>＝R₀+Ir

<G>＝G₀+Ig                            .........(4)

<B>＝B₀+Ib

另外，在图3中，R₀、G₀、B₀是在光谱灵敏度特性中、与分别对应于强调部52、波峰32、42的部分相对应而产生的信号成分，Ir、Ig、Ib是在光谱灵敏度中、分别与强调部54、波峰34、44对应而产生的信号成分。

在这里，将IR受光部的输出信号设为<IR>。配置在R、G、B、IR各受光部上的滤色器在红外光区域中基本上具有同样的光谱特性，即Ir、Ig、Ib、<IR>为同等程度。为了使说明更简单，若设为：

Ir＝Ig＝Ib＝<IR>                      .........(5)

则公式(4)成为

<R>＝R₀+<IR>

<G>＝G₀+<IR>                         .........(6)

<B>＝B₀+<IR>

由公式(4)或公式(6)表示的<R>、<G>、<B>，分别将同等程度的IR作为偏置量而进行重叠，由它们表现的图像完全失去了颜色平衡。尤其与R₀、G₀、B₀相比，IR成分越大，失衡越明显。而且，采用<R>、<G>、<B>而从公式(1)～(3)得到的亮度信号Y’、色差信号Cr’、Cb’也同样表示颜色平衡欠缺的图像。

因此，作为以往的处理方法是：除去IR成分而输出R₀、G₀、B₀，或对应R₀、G₀、B₀来生成从公式(1)～(3)得到的亮度信号Y₀、色差信号Cr₀、Cb₀。

具体地，可以通过采用来自R、G、B、IR各受光部的输出的下式来算出R₀、G₀、B₀。

R₀＝<R>-<IR>

G₀＝<G>-<IR>                             .........(7)

B₀＝<B>-<IR>

而且，可以根据各受光部的输出信号用下式来算出亮度信号Y₀。

Y₀＝α<R>+β<G>+γ<B>-<IR>                ........(8)

可以用下式来算出色差信号Cr₀、Cb₀。

Cr₀≡λ(R₀-Y₀)                        .........(9)

＝λ{(1-α)<R>-β<G>-γ<B>}              .........(9’)

Cb₀≡μ(B₀-Y₀)                        .........(10)

＝μ{-α<R>-β<G>+(1-γ)<B>}             .........(10’)

例如，可以将α、β、γ分别设定为α＝0.299，β＝0.587，γ＝0.114。而且可以以将包含于Cr₀中的R成分的系数(1-α)、包含于Cb₀中的B成分的系数(1-γ)的刻度分别换算(scaling)为0.5的方式来设定λ、μ，对于上述α、β、γ的值，得到λ＝0.713，μ＝0.564。

从原理上看，如上所述地除去IR成分的话，应该能够得到正确地表现颜色平衡的R、G、B信号或者Y、Cr、Cb信号。但是，例如由白炽灯照明情况下的摄影等，当向各受光部的入射光中包含很多IR成分时，来自IR受光部的输出信号<IR>变大，同时来自RGB各受光部的输出信号<R>、<G>、<B>中包含的IR成分Ir、Ig、Ib也变大。

公式(7)或公式(8)～(10)的信号处理是对将从固体摄像元件输出的模拟信号进行A/D(模拟向数字)转换，采用所得到的数字数据来进行的。在A/D转换中，模拟信号被转换成规定位数的数字数据。例如，当A/D转换的量化位数为8位时，以从0到255的范围内的整数值来表示来自各受光部的输出信号<R>、<G>、<B>、<IR>。

在这样的A/D转换后的输出信号中，如果IR成分增大，则相对地作为原来的RGB成分的R₀、G₀、B₀就会变小，因此，如一般理解的那样，与此对应Y₀也会变小，就产生图像变暗的问题。

而且，当采用例如公式(7)从由数字数据表示的<R>、<G>、<B>、<IR>来求出由数字数据表示的R₀、G₀、B₀时，就会在得到的R₀、G₀、B₀中包含伴随量化而产生的圆整误差。R₀、G₀、B₀越小，这些R₀、G₀、B₀的圆整误差就相对地越大。因此，存在的另一问题是：由除去IR成分而得到的R₀、G₀、B₀，或者由它们而得到的Cr、Cb所表现的颜色，由于圆整误差的影响，其色平衡的偏差变得比较大。

发明内容

本发明是为解决上述的问题而进行的，其目的在于：提供一种色信号处理方法，其中当从以检测出互不相同的色成分为目的的多种受光元件得到的色信号中包含有IR成分那样的目标以外的波长的偏置量成分时，可以得到正确的色彩平衡和明亮的图像。

本发明的色信号处理方法，是采用从具有规定的参照光谱灵敏度特性的受光元件得到的参照信号以及从多种受光元件得到的多种色信号的色信号处理方法，该多种受光元件具有将两种灵敏度特性合成的光谱灵敏度特性，这两种被合成的灵敏度特性是：与互不相同的特定色对应的固有灵敏度特性；与所述参照光谱灵敏度特性对应的偏置量灵敏度特性，其中，该处理方法具有补偿步骤，其根据所述参照信号来决定包含于所述各色信号中的所述偏置量灵敏度特性所对应的偏置量信号成分量，并通过针对该偏置量信号成分量变更所述各色信号间的比率，由所述各色信号来生成各自的补偿色信号，所述各补偿色信号间的所述偏置量信号成分量的所述比率，依照白色光中的所述各特定色相关的成分比来确定。

另一本发明的色信号处理方法，是采用从具有规定的参照光谱灵敏度特性的受光元件得到的参照信号以及从多种受光元件得到的多种色信号的色信号处理方法，该多种受光元件具有将两种灵敏度特性合成的光谱灵敏度特性，这两种被合成的灵敏度特性是：与互不相同的特定色对应的固有灵敏度特性；以及与所述参照光谱灵敏度特性对应的偏置量灵敏度特性，其中该处理方法具有补偿色差信号生成步骤，其由所述各色信号来生成补偿色信号所对应的补偿色差信号，所述补偿色信号在所述各色信号中，是针对所述偏置量灵敏度特性所对应的偏置量信号成分量的所述各色信号间的比率进行变更的信号，所述各补偿色信号间的所述偏置量信号成分量的所述比率，依照白色光中的所述各特定色相关的成分比来确定。

在另一本发明的色信号处理方法中，所述补偿色差信号步骤具有：亮度信号生成步骤，其生成对应于所述色信号的亮度信号；求出起因于所述各色信号与所述各补偿色信号的所述偏置量信号成分量之差的色差信号的变化量的步骤；根据所述色信号、所述亮度信号以及所述变化量来生成所述补偿色差信号的步骤。

本发明的最佳方式，是一种色信号处理方法，其中所述参照光谱灵敏度特性与可见光频带相比，在红外光频带具有较大的灵敏度。

本发明的另一最佳方式，是一种色信号处理方法，其中所述特定色为红色、绿色以及蓝色的三原色。

根据本发明，各补偿色信号，包含各偏置量信号成分的部分、信号强度变大。也就是所得到的亮度，比仅仅基于各受光元件的固有灵敏度特性所对应的信号成分而得到的亮度更大。另一方面，各特定色的补偿色信号相互之间的偏置量信号成分量的比率被设为对应于白色光中的各特定色的成分比。由此，当对以各补偿色信号表示的各特定色成分进行合成时，偏置量信号成分，其合成结果就成为白色，因此，色彩平衡，就成为基于各受光元件的固有灵敏度特性所对应的信号成分。也就是说可以避免由于偏置量信号成分产生的色平衡的偏差。

附图说明

图1是表示实施方式的摄像装置的概要构成的框图。

图2是表示RGB各滤色器的透过率的波长特性以及光电二极管的光谱灵敏度特性的图形。

图3是表示RGB各受光部的光谱灵敏度特性的图形。

图中：2-CCD图像传感器，4-模拟信号处理电路，6-A/D转换电路，8-数字信号处理电路，10、12、14、16-受光部。

具体实施方式

以下，根据附图对本发明的实施方式(以下称实施方式)进行说明。

图1是表示本实施方式的摄影装置的概略构成的框图。该摄影装置有备：CCD图像传感器2、模拟信号处理电路4、A/D转换电路(ADC)6以及数字信号处理电路8。

图1所示的CCD图像传感器2为帧传输型，并构成为包含形成在半导体基板上的摄像部2i、存储部2s、水平传输部2h以及输出部2d。

构成摄像部2i的垂直移位寄存器的各位，作为构成各个像素的受光部(受光元件)而发挥作用。

各受光部配置滤色器，并根据其滤色器的透过特性来确定受光部所具有的灵敏度的光成分。这里，2×2像素的排列构成受光部的排列单位。例如，受光部10、12、14、16构成这个单位。

受光部10、12、14分别配置有G滤色器、R滤色器、B滤色器。例如，这些滤色器具有图2所示的透过特性。受光部10就是G受光部，该当受光部，不仅对可见光也对包含IR成分的入射光，产生对应于G成分以及IR成分的信号电荷。而且，同样地，受光部12也就是R受光部，产生对应于R成分以及IR成分的信号电荷，受光部14也就是B受光部，产生对应于B成分以及IR成分的信号电荷。

受光部16配置有选择地透过IR成分的IR滤色器(红外光透过滤色器)，是产生对应于入射光中的IR成分的信号电荷的IR受光部。这个IR滤色器可以通过将R滤色器与B滤色器层叠来构成。这是由于：可见光中透过B滤色器的B成分不会透过R滤色器，而另一方面，透过R滤色器的R成分不会透过B滤色器，因此通过两个滤色器，基本上可以除去可见光成分，而最后的透过光只剩下透过两个滤色器的IR成分。

在摄像部2i上，在垂直方向、水平方向分别反复排列着该2×2像素的构成。

CCD图像传感器2，由图中没有示出的驱动电路提供的时钟脉冲等来驱动，由摄像部2i的各受光部产生的信号电荷，经过存储部2s、水平传输部2h而传输到输出部2d。输出部2d将从水平传输部2h输出的信号电荷转变为电压信号，并作为图像信号而输出。

模拟信号处理电路4，对输出部2d所输出的模拟信号的图像信号实施放大或取样保持等处理。A/D转换电路6通过将从模拟信号处理电路2输出的图像信号转换成规定的量化位数的数字数据，从而生成图像数据并输出。例如，A/D转换电路6进行向8位数字值的A/D转换，于是可由0到255范围内的值来表示图像数据。

数字信号处理电路8从A/D转换电路6读取图像数据，并进行各种处理。例如，数字信号处理电路8对应于摄像部2i中的R、G、B、IR各受光部的排列，对在各自不同的取样点上得到的R、G、B、IR各数据进行插补处理，并在构成图像的各个取样点上定义R、G、B、IR数据。而且，采用这些数据，进行各取样点的亮度数据(亮度信号)Y以及色差数据(色差信号)Cr、Cb的生成处理。

以下，对生成Y、Cr、Cb的色差信号处理方法进行说明。以下，尽量使用在背景技术的章节里已经说明过的记号，以简化说明。作为向该色信号处理中的输入信号，就是通过对R、G、B、IR各受光部的输出信号进行空间上的插补，而对图像的各取样点分别进行定义的<R>、<G>、<B>、<IR>。

作为一种简单情况我们介绍公式(5)，也就是当Ir＝Ig＝Ib＝<IR>成立的情况。此时，与上述公式(6)相同，以下的公式成立。

<R>＝R₀+<IR>

<G>＝G₀+<IR>

<B>＝B₀+<IR>

白色光中的R、G、B成分的比率为

α∶β∶γ                                 .........(11)

与此相对应，定义由下式表示的补偿色信号R_N、G_N、B_N。

R_N＝R₀+κα<IR>

G_N＝G₀+κβ<IR>                          .........(12)

B_N＝B₀+κγ<IR>

这里κ是大于0的比例系数。由于包含于各补偿色信号中的IR成分的合成变为白色光，因此由这些补偿色信号R_N、G_N、B_N的合成来表现的颜色成为合成了R₀、G₀、B₀的颜色。也就是，该颜色是基于与R、G、B各受光部作为检测目的的可见光区域的固有灵敏度特性相对应的信号成分R₀、G₀、B₀的颜色，并避免了由于IR成分造成的色彩平衡的偏差。

例如，可以设定α、β、γ分别为：

α＝0.299、β＝0.587、γ＝0.114      .........(13)

而且，对于κ，例如可以设定为：在白色光(或亮度信号)中，包含于作为最高比率成分的G成分中的IR成分，其补偿色信号G_N与原始的色信号<G>是相等的。此时，将κ设定为1/β。

可以从公式(1)、(12)将对应于补偿色信号的亮度信号Y_N表示为：

Y_N＝Y₀+κ(α²+β²+γ²)<R>           .........(14)

另外，

Y₀＝αR₀+βG₀+γB₀                   .........(15)

由公式(14)可以看出Y_N比Y₀大，因此基于补偿色信号的图像变得明亮。

另一方面，由相当于公式(2)、(3)的下式来定义对应于补偿色信号的色差信号Cr_N、Cb_N。

Cr_N＝λ(R_N-Y_N)                       .........(16)

Cb_N＝μ(B_N-Y_N)                       .........(17)

如果用原始的色信号<R>、<G>、<B>以及与这些对应的亮度信号Y’来表示公式(16)、公式(17)，则成为以下的公式：

Cr_N＝λ{<R>-Y’-κ(α²+β²+γ²-α)<IR>}    .........(16’)

Cb_N＝μ{<B>-Y’-κ(α²+β²+γ²-γ)<IR>}    .........(17’)

另外，Y’≡α<R>+β<G>+γ<B>。

而且，在得到公式(16’)公式(17’)时，利用了公式(6)、公式(12)、公式(14)以及

Y’＝Y0+IR                                   .........(18)的关系。

如果将表示对应于原始色信号<R>、<G>、<B>的色差信号Cr’、Cb’的以下公式：

Cr’＝λ(<R>-Y’)

Cb’＝μ(<B>-Y’)

与公式(16’)、公式(17’)进行比较，则可以将公式(16’)、公式(17’)右边的<IR>相关的项理解为：由公式(6)表示的原始色信号和由公式(12)表示的补偿色信号的IR成分的差所引起的色差信号的变化量(将其标记为Δ)。

构成公式(16)、(17)右边的R_N、G_N、B_N成为比包含IR成分的R₀、G₀、B₀更大的值。如上所述，IR成分变大以后，R₀、G₀、B₀就变小，而包含于构成Cr₀、Cb₀的R₀、G₀、B₀中的圆整误差的相对大小就可以变大。与此相反，通过使R_N、G_N、B_N成为比R₀、G₀、B₀更大的值，从而包含于R_N、G_N、B_N中的圆整误差的相对大小就比较小。也就是，色差信号Cr_N、Cb_N难以产生由圆整误差造成的色平衡偏差。

而且，数字信号处理电路8，可以采用公式(16’)、(17’)，从原始的色信号以及与之对应的亮度信号、上述色差信号的变化量Δ，来计算出色差信号Cr_N、Cb_N。这种情况，也是通过使包含于公式(16’)、(17’)右边的<R>、<G>、<B>、Y’的圆整误差的相对大小变小，而难以产生色平衡的偏差。

相对于公式(13)的α、β、γ的公式(14)(16’)(17’)成为以下的样子。在这里，将λ、μ分别设为上述的值0.713、0.564。

Y_N＝Y₀+0.477κ<IR>

Cr_N＝0.713(<R>-Y’)-0.105κ<IR>

Cb_N＝0.564(<B>-Y’)-0.188κ<IR>

数字信号处理电路8，生成并输出这些亮度信号Y_N以及色差信号Cr_N、Cb_N并输出。Y_N、Cr_N、Cb_N是对应于补偿色信号R_N、G_N、B_N的亮度信号以及色差信号，与补偿色信号相同，也可以表现抑制了色平衡的偏差的图像。

而且，可以使数字信号处理电路8构成为输出补偿色信号R_N、G_N、B_N。

在上述的构成中，设定Ir＝Ig＝Ib＝<IR>，但是在成为偏置量信号成分的Ir、Ig、Ib分别与<IR>具有规定关系的情况下，可以参照<IR>来确定Ir、Ig、Ib。因此，例如，通过测定图2所示的各受光部的光谱灵敏度特性等的方法，预先求出Ir、Ig、Ib与<IR>的关系的话，则可以利用这个关系，与上述同样地得到明亮并抑制了色平衡偏差的补偿色信号，或者与之相对应的亮度信号以及色差信号。

而且，将在各色信号上重叠的偏置量信号白光化的上述方法，也可以适用于入射光中起因于IR成分以外的偏置量信号成分。而且，各受光部具有固有的灵敏度的颜色组也可以是R、G、B以外的颜色，例如，也可以是Cy、Mg、Ye这样的辅助色类的组。

Claims (5)

1.一种色信号处理方法，其是采用从具有规定的参照光谱灵敏度特性的受光元件得到的参照信号、以及从多种受光元件得到的多种色信号的色信号处理方法，该多种受光元件具有将两种灵敏度特性合成的光谱灵敏度特性，这两种被合成的灵敏度特性是：与互不相同的特定色对应的固有灵敏度特性；以及与所述参照光谱灵敏度特性对应的偏置量灵敏度特性，其特征在于，

该处理方法具有补偿步骤，其根据所述参照信号来决定包含于所述各色信号中的所述偏置量灵敏度特性所对应的偏置量信号成分量，并通过针对该偏置量信号成分量而变更所述各色信号间的比率，从而由所述各色信号生成各自的补偿色信号，

所述各补偿色信号间的所述偏置量信号成分量的所述比率，依照白色光中的所述各特定色相关的成分比来确定。

2.一种色信号处理方法，其是采用从具有规定的参照光谱灵敏度特性的受光元件得到的参照信号以及从多种受光元件得到的多种色信号的色信号处理方法，该多种受光元件具有将两种灵敏度特性合成的光谱灵敏度特性，这两种被合成的灵敏度特性是：与互不相同的特定色对应的固有灵敏度特性；以及与所述参照光谱灵敏度特性对应的偏置量灵敏度特性，其特征在于，

具有补偿色差信号生成步骤，其从所述各色信号生成对应于补偿色信号的补偿色差信号，

所述补偿色信号，是在所述各色信号中、针对所述偏置量灵敏度特性所对应的偏置量信号成分量的所述各色信号间的比率进行了变更的信号，

所述各补偿色信号间的所述偏置量信号成分量的所述比率，依照白色光中的所述各特定色相关的成分比来确定。

3.如权利要求2所述的色信号处理方法，其特征在于，

所述补偿色差信号生成步骤具有：

生成所述色信号所对应的亮度信号的亮度信号生成步骤；

求出起因于所述各色信号与所述各补偿色信号的所述偏置量信号成分量之差的色差信号的变化量的步骤；和

根据所述色信号、所述亮度信号以及所述变化量来生成所述补偿色差信号的步骤。

4.如权利要求1～3中任一项所述的色信号处理方法，其特征在于，

所述参照光谱灵敏度特性与可见光频带相比，在红外光频带具有大的灵敏度。

5.如权利要求1～4中任一项所述的色信号处理方法，其特征在于，

所述特定色为红色、绿色以及蓝色的三原色。

Images