CN1478253A

CN1478253A - 防止图像传感器的绿色不一致

Info

Publication number: CN1478253A
Application number: CNA02801068XA
Authority: CN
Inventors: Cam; C·A·M·贾斯佩斯
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Pendragon Wireless LLC
Priority date: 2001-02-06
Filing date: 2002-01-11
Publication date: 2004-02-25
Anticipated expiration: 2022-01-11
Also published as: WO2002063380A3; EP1371016A2; US20020181770A1; US6944337B2; US7847842B2; US20050195299A1; JP4190886B2; JP2004519142A; CN1294534C; WO2002063380A2

Abstract

本发明涉及数字图像传感器，具体来说，涉及用于防止在RGBBayer图像传感器的轮廓信号中的绿色不一致性的轮廓滤波器(ZSB，7)。指定了一组规则，用于设计滤波器中的滤波器系数，由此防止绿色不一致性。

Description

防止图像传感器的绿色不一致

发明领域

本发明涉及数字图像传感器，具体来说，涉及用于防止在GRBBayer图像传感器的轮廓信号中的绿色不一致性的轮廓滤波器。

发明背景

在数字照相机中，镜头用于获得来自场景的光信息。由具有光敏元件阵列的图像传感器将该光信息转换为电子。当使用数字RGB静止照相机时，对于红、绿、蓝，用三个图像传感器得到每种颜色的检测。为了减小照相机的成本和尺寸，可以用一个具有RGB Bayer滤波器阵列的图像传感器，其中传感器阵列中的每个像素可以按照预定模式检测红色、绿色或者蓝色。这种模式是由交替的绿、红列和绿、蓝列构造而成的。当用一个图像传感器检测所有三种颜色时，在显示全部图像之前，必须重构丢失的像素。

当使用RGB Bayer传感器时，由于绿色像素的相邻像素被赋予不同颜色，因此出现了所谓绿色不一致或者绿绿差别。在“红”列的垂直方向上，绿色像素只有红色的相邻像素，而在“蓝”列中，绿色像素只有蓝色的相邻像素。根据传感器的垂直颜色分离质量，由于在硅层中的电子电荷或者在颜色滤波器层中的光串扰，绿色像素可能会被红色和蓝色像素调制。若如此，则对于某些颜色的场景，这将导致沿列的方向绿色不一致。

在图1中示出了上述绿绿差别的例子，并且示出了如何出现沿列的方向绿色被红色和蓝色像素调制。在图1中，将这种差异表示为标准的G，和粗斜体的G。在图像信号中，当用某些特定的重构方法重构绿色像素时，可以对这进行补偿。

以下说明在重构绿色信号中，恢复绿色一致性的方法。在用两行延迟进行RGB重构的情况下，图2示出了如果存在(左)或不存在(右)绿色时，绿色像素周围的情况。在后一种情况下，丢失的绿色像素Gc为由RGB重构滤波器重构的(鲜亮的(smart))绿色值。绿色不一致性的程度取决于图像传感器的设计。对于Philips FT传感器，最大约为绿色信号幅值的5％。这个大小将在“Gnonuniformlevel”中提及，并且应该可以通过照相机处理的核心(core)进行调节。用于恢复绿色一致性的一种算法为：

if presence of Green then
begin
sigmaG＝(G1+G2+G3+G4)/4
if abs(sigmaG-Gc)＜Gnonuniformlevel {subtract sum of pixels
and center pixel}
then Green＝(Gc+sigmaG)/2{the average green value of 5 pixels}
end
else if absence of green then
begin
sigmaG＝(G1+G2+G3+G4)/4
if abs((G1+G2+G3+G4)/2)＜Gnonuniformlevel {subtract
horizontal and vertical pixel}
then Green＝sigmaG{the average green value of 4 pixels}
else Green＝Gc(the reconstructed green)
end

这种算法的结果是，按照以下方式在重构的信号中恢复绿色一致性，即所有由绿色不一致性引起的规则图案都不可见，并且对于Gnonuniformlevel以上的信号变化，将不出现分辨率减低。在该等级之下，由所有出现的绿色像素的平均绿色值代替中心绿色像素。

图像处理的另一个重要部分是轮廓滤波，通过轮廓滤波得到来自图像轮廓信息的轮廓信号。然后，可以将该信号施加到重构的图像信号，由此将图像的轮廓放大。实际上，使用轮廓放大使图像更清晰。

具有RGB Bayer颜色滤波器阵列的数字静止颜色照相机可以配备一个二维(2D)轮廓滤波器，这个滤波器与RGB颜色重构并行运行。这种方法的优点在于在重构RGB信号之后再进行轮廓处理已经变成多余的了。并行的轮廓处理尤其是低成本应用所关注的。对于二维轮廓信号来说，不需要额外的行延迟，因为在与用于RGB颜色重构完全相同的行延迟时，轮廓信号只从绿颜色获得。

因此，为了得到最好的效果，不仅应该在如上述被重构的数据中恢复绿色一致性，而且应该消除来自并行轮廓信号的绿色不一致性。

首先说明并行轮廓处理的基础。用于RGB Bayer图像传感器的并行轮廓滤波的最重要方面是所谓零变换盒。在传感器的下一行中的串行RG信号或者GB信号被解复用为三个RGB信号，在丢失颜色位置上为零。因此红色信号变为：R 0 R 0 R0 0 0 0 0R 0 R 0 R0 0 0 0 0蓝色信号变为：0 0 0 0 00 B 0 B 00 0 0 0 00 B 0 B 0而绿色信号变为：0 G 0 G 0G 0 G 0 G0 G 0 G 0G 0 G 0 G

用普通的拉普拉斯滤波器可以方便地对这些信号中的每个信号进行滤波。在图3中，给出了对于任意的5×3轮廓信号，滤波器系数如何与中心绿色像素的存在或不存在相联系的例子。在图3的底部，示出了全部5×3滤波器的系数。在左上角，示出了不存在中心绿色的5×3零变换绿色模式，下面示出对应的滤波器系数。在右上角，示出了存在中心绿色的5×3零变换绿色模式，下面示出对应的滤波器系数。

重要的是，将两个滤波器组合使得轮廓信号失真最小。在许多情况下，这可以通过按照以下方式确定系数来得到，即不存在中心绿色的正(或负)系数的和与存在中心绿色的系数的和相等。

发明概述

本发明的一个目的是提供在轮廓处理中使用的滤波器，这些滤波器防止轮廓信号中的绿绿差别，另一个目的是这些滤波器还产生失真最小的轮廓信号。为此，本发明提供了一种如在独立权利要求中所定义的轮廓滤波。在从属的权利要求中说明了有益的实施例。

在本文中，自然地，可以以任何形式或者顺序提供像素值。重要的因素是可以将它们以这样的方式排列和表示，从而提供代表图像的阵列。

此外，应该注意，不需要用正好为零的值来代替零变换。比其它的非零滤波器系数的绝对值明显小的值一般就足够了。但是，由于一般将小于10的自然数用作滤波器系数，因此一般零值是理想的。

所谓Bayer传感器广泛用于数字照相机中，由此，滤波器最好包括用于接收来自包括RGB Bayer传感器的CCD传感器的滤波器值阵列的装置。事实上，滤波器可以实际包括Bayer传感器。可选地，滤波器可以包括用于接收来自包括YeGCy Bayer传感器的CCD传感器的滤波器值阵列的装置。

滤波器也可以包括用于在与滤波并行的处理中，插入丢失颜色的像素的装置。这样，可以得到附加功能，而不降低处理速度。插入处理是这样的处理，其中，例如在第二颜色像素值阵列位置的第一颜色(亮度)的“量”是从第一组像素值内插得到的。此外或者可选地，没有被滤波器发送的第二组光的像素处的亮度可以由与发送该颜色的滤波器有关的其它像素值(代替)。这样，使需要的行延迟更小，从而减少需要的存储器数量并且由此降低成本。

在优选实施例中，已经将包括第一和第二滤波器系数的两个分立的滤波器的噪声匹配。由此，包括第一和第二滤波器的总滤波器具有相同的噪声分配。在具体实施例中，通过调节每个滤波器的核心电平(coring level)使噪声匹配。

在优选实施例中，第一组像素由像素值阵列的每个行和列中的每个第二像素组成，并且将第一和第二滤波器阵列组合为单个滤波器阵列，其中，第一和第二阵列具有相同的维数，除了预定的位置之外，对于第一和第二阵列的每个位置，第一和第二阵列中的至少一个具有至少基本为零的滤波器系数，该单个阵列具有与第一和第二阵列相等的维数，并且该单个阵列的每个位置的滤波器系数为第一和第二阵列对应系数之和。

这样，单个阵列可以真正位于在要被滤波的像素之上的预定位置，然后，将该单个阵列的滤波器值与对应的像素值相乘，最后求和，从而给出经过滤波的像素值。很明显，当像素值阵列具有上述形式-对应于用Bayer传感器得到的图像的形式时，单个阵列的这种应用正好对应于两个阵列的应用。

利用在从属权利要求当中提出的优选滤波器系数，提供避免了绿绿差别的轮廓信息。

本发明还包括一个计算机程序和一个计算机可读介质，其中，计算机程序包括当所述程序在计算机上运行时适合于执行上述方法的所有步骤的计算机程序编码装置，计算机可读介质包含所述计算机程序。

通过参照在下文中描述的实施例，本发明的这些以及其它方面将会更清楚。

附图的简要说明

在附图中：

图1示出了在RGB Bayer图像传感器中沿列方向调制的例子；

图2示出了当恢复绿色一致性时，绿色像素周围的情况；

图3示出了对于任意5×3轮廓信号，滤波器系数如何与存在或者不存在中心绿色像素相联系；

图4示出了5×2阵列符合规则2；

图5示出了5×3阵列符合规则2；

图6示出了没有绿绿差别的5×3并行轮廓的框图；

图7示出了5×5阵列符合规则2；

图8示出了没有绿绿差别的5×5并行轮廓的框图；

图9示出了第二5×5阵列符合规则2；

图10示出了没有绿绿差别的第二5×5并行轮廓的框图；

图11示出了第三5×5阵列符合规则2；

图12示出了没有绿绿差别的第三5×5并行轮廓的框图；

图13示出了5×5阵列符合扩展的规则2；

图14示出了RGB Bayer发光像素；

图15示出了RGB Bayer颜色照相机的RGB和轮廓重构、矩阵和白色平衡；以及

图16示出了用于RGB重构和并行轮廓滤波的框图。

优选实施例的说明

按照本发明，已经发现为了得到具有最小轮廓失真的没有绿绿差别的轮廓信号，当设计并行轮廓滤波器系数时必须符合一些规则。该滤波器可以分为两部分，即当存在中心绿色时，过滤零变换绿色的第一滤波器系数阵列和当不存在中心绿色时，过滤零变换绿色的第二滤波器系数阵列。这些规则如下：

1.在第一滤波器系数阵列和第二滤波器系数阵列中的中心系数均为零。通过使用重构路径的绿色信号，将中心绿色数据加到后面的滤波器。该中心绿色已经具有如上所述的经过恢复的绿色一致性。

2.在第一和第二滤波器系数阵列中的每个阵列中减去相邻对角线的滤波器系数，导致零分配。更明确地，也可以将此表达为：当将滤波器系数阵列分为多个不相交的对角线系数组时，所述不相交的组是以阵列中心系数为对称的，在每个组中存在一个滤波器系数，它等于在该组中剩余的滤波器系数之和。

这将平均并因此消除具有垂直的红色和蓝色相邻像素的绿绿差别。

确定了两个滤波器之后，其中一个用于存在中心绿色而另一个用于不存在中心绿色，为了得到最小失真，应该对两个滤波器的组合进行检查。首先，如果需要适合于在总的轮廓信号中的最小失真，应该检查它们的幅值转换。然后，利用核心化(coring)减少的噪声量应该可以通过调节每个滤波器的核心电平得到匹配。

应该注意，在设计滤波器系数当中，重要的是系数之间的比例，因此，任何实现上述规则的滤波器都可以被任何因数相乘。

以下，将按照上述规则，对某些滤波器进行设计和测试。首先示出了没有绿绿差别的单行5×2并行轮廓滤波器的例子。对于不存在绿色的权-1 -0 -0 -0 -1-0 -1 -0 -1 -0sigmawCR＝4。对于存在绿色的权-0 -1 -0 -1 -0-1 -0 -0 -0 -1sigmawCR＝4其中，sigmawCR为系数和的绝对值，它是一个因数，为了得到几乎一致的信号幅值，必须用这个因数除轮廓滤波器的信号输出。

如图4所示，滤波器实现规则1和2。在用于有中心绿色(左)和没有中心绿色(右)的两个滤波器系数中，都不存在中心系数(由黑色圆点表示的位置)，通过在有中心绿色和没有中心绿色的两个系数中减去对角线相邻系数，得到零分配。在图4中，中间的图示出了所有图的系数。

然后，通过借助于波带片场景的仿真，对两个滤波器的组合进行检查，这使得两个滤波器具有可以接受的最小失真。测试表明，垂直轮廓比水平轮廓低一些。用特别的色带场景测试的两个滤波器的噪声性能是这样的，即不需要单独的核心电平。

以下示出了没有绿绿差别的5×3并行轮廓滤波器的例子。对于不存在绿色的权-1 -0 -1 -0 -1-0 -3 -0 -3 -0-1 -0 -1 -0 -1sigmawCR＝12。对于存在绿色的权-0 -1 -0 -1 -0-2 -0 -0 -0 -2-0 -1 -0 -1 -0sigmawCR＝8

两个滤波器的系数和(sigmawCR)的绝对值不匹配。因此，必须将总权数调节为24，得到下面的滤波器系数。对于没有绿色的权-2 -0 -2 -0 -2-0 -6 -0 -6 -0-2 -0 -2 -0 -2sigmawCR＝24。对于有绿色的权-0 -3 -0 -3 -0-6 -0 -0 -0 -6-0 -3 -0 -3 -0sigmawCR＝24。

在图5中，对符合规则2进行测试，其中各种分图表示与图4相同的情况。对规则2的符合，在没有绿色的情况下，具有系数-2的3个像素和在这个例子中的红色垂直相邻像素被从具有-6系数的单个对角线像素和蓝色(B)垂直相邻像素中减去。如规则2所期望的，结果是零，这消除了绿绿差别。

对于有中心绿色的情况，从系数为-6的单个对角线像素和红色(R)垂直相邻像素中减去系数为-3的像素和蓝色垂直相邻像素。这里相减的结果也是零。

检查这个组合，很明显，这种相当独特的5×3并行轮廓滤波器有一个问题。两个滤波器的幅值相差太大，为了使失真最小，在没有绿色的情况下需要对滤波器进行一些调节。此外，需要利用核心化进行调节以获得相等的噪声减少。因此，如果没有绿色，则必须将核心电平增加1.4倍，然后必须将轮廓信号的幅值乘以三。

在软件代码中，这导致以下情况。参数说明：contour*：通过拉普拉斯重构程序块和其零变换盒得到的，没有中心绿色的通过图5的拉普拉斯滤波器的并行轮廓信号contour_a/p：在核心化和增益调节之后用于没有中心绿色(contour_a)或者有中心绿色(contour_p)的轮廓信号coring level：在轮廓信号中用于减少噪声的被调节的核心电平contour：轮廓输出信号如下程序用于轮廓处理：

contour_＝contour*+reconstructed green{add reconstructed
green to contour*}
In case of absence of center green
				
				<dp n="d8"/>
begin
Do_Coring(1.4*coringlevel){execute the noise coring}
Contour_a＝3*contour_a{amplify the contour signal 3 times}
End
else，in case of presence of green
begin
Do_Coring(coring level){no extra coring level needed}
Contour_p＝contour_p{no amplification needed}
end

在图6中，示出了这个没有绿绿差别的具体滤波器的框图。将RGB输入信号RGBin和它的两个线延迟信号通过零变换盒ZSB施加到具有绿色一致性和并行轮廓处理块7.6的RGB重构。处理模块7.6提供RGB输出信号Ro、Bo、Go、轮廓信号contour*和绿色存在/不存在选择信号sel-g。如上所述，将重构的绿色Go加到轮廓信号contour*，并且将结果施加到两个并联支路。当没有绿色时，选择上面支路的输出信号contour_a，该支路具有1.4*核心化模块1.4*cor和一个3x放大器。当有绿色时，选择下面支路的输出信号contour_p，该支路具有1*核心化模块1*cor和一个1x放大器。结果形成轮廓信号cont。

通过只使用波带片场景的轮廓信号，可以看到水平轮廓大于垂直轮廓，但是失真最小。应该注意，任何任意的5×3滤波器，当然它不能防止绿绿差别，都会引起水平和垂直轮廓幅值之间的这种差异。

以下示出了没有绿绿差别的5×5并行轮廓滤波器的例子。对于没有绿色的权-0 -2 -0 -2 -0-2 -0 -2 -0 -2-0 -2 -0 -2 -0-2 -0 -2 -0 -2-0 -2 -0 -2 -0sigmawCR＝24。对于有绿色的权-1 -0 -2 -0 -1-0 -3 -0 -3 -0-2 -0 -0 -0 -2-0 -3 -0 -3 -0-1 -0 -2 -0 -1sigmawCR＝24。

系数和的绝对值sigmawCR已经适应。

在图7中，对符合规则2进行测试，其中各个分图表示与图4相同的情况。对于规则2的符合，在没有绿色的情况下，两个对角线像素足以消除绿绿差别。对于有中心绿色的情况，一组3个像素符合规则2。具有红色垂直相邻像素并且系数为-2、-1的两个像素具有作为其相对物的，具有蓝色垂直相邻像素并且系数为-3的单个像素。相减的结果再次为零。

检查这个组合，很明显，对于“没有绿色”来说，必须调节滤波器的核心电平和幅值。必须将核心电平乘以1.2，然后，对于轮廓信号来说，需要1.5的增益。对于滤波器来说，在有绿色的情况下，这些因数是一致的。见图8的框图，除了行延迟数以及处理模块7.8的相应调节以外，它与图6相似。

对于这个5×5滤波器，可以应用与上述相同的软件。仅有的区别涉及核心电平和在没有中心绿色情况下的增益。

通过只使用波带片场景的轮廓信号，可见在水平方向和垂直方向是对称的。

对于5×5滤波器的配置，在这种没有绿色的情况下，为了符合规则2，其它权重因数也是可能的。但是，这个第二滤波器提供与前一个相同的波带片场景。用“相同”表示看不到区别。对于没有绿色的权-0 -3 -0 -3 -0-3 -0 -0 -0 -3-0 -0 -0 -0 -0-3 -0 -0 -0 -3-0 -3 -0 -3 -0sigmawCR＝24。对于有绿色的权-1 -0 -2 -0 -1-0 -3 -0 -3 -0-2 -0 -0 -0 -2-0 -3 -0 -3 -0-1 -0 -2 -0 -1sigmawCR＝24。

系数和的绝对值sigmawCR已经被调节到24。在图9中，对规则2的符合进行测试，其中各个分图表示与图4中相同的情况。

这个第二5×5滤波器的优点是，当没有绿色时，核心电平不需要乘法器。为了使失真最小，只必须将“没有绿色”的幅值乘以0.7。见图10，除了这个区别，它与图8一致。

还可能有第三5×5滤波器。作为最后一个例子，将对这个滤波器进行说明，以便示出如何使用规则2。对于没有绿色的情况，这个第三滤波器具有与前面的第二滤波器相同的相关权重。现在将改变“有”绿色”的权重。对于没有绿色的权-0 -2 -0 -2 -0-2 -0 -0 -0 -2-0 -0 -0 -0 -0-2 -0 -0 -0 -2-0 -2 -0 -2 -0sigmawCR＝16。对于有绿色的权-1 -0 -1 -0 -1-0 -2 -0 -2 -0-1 -0 -0 -0 -1-0 -2 -0 -2 -0-1 -0 -1 -0 -1sigmawCR＝16。

系数和的绝对值sigmawCR已经被调节到16。在图11中，对符合规则2进行测试，其中各个分图表示与图4中相同的情况。

这个第三5×5滤波器的优点是不需要用于增益调节的乘法器。为了减少相等的噪声，只有“有绿色”的核心电平必须乘以～1.5。在图12中，示出了这个第三5×5滤波器的框图。除了核心电平以外，图12与图8和10一致。

最后，对5×5没有失真的轮廓滤波器进行测试，其系数被分解为用于“没有中心绿色”和用于“有中心绿色”的权重因数。当没有绿色时，应用下面的系数：-0 -1 -0 -1 -0-1 -0 +2 -0 -1-0 +2 -0 +2 -0-1 -0 +2 -0 -1-0 -1 -0 -1 -0sigmawCR＝8当有绿色时，应用下面的系数。-0 -0 -2 -0 -0-0 -0 -0 -0 -0-2 -0 +8 -0 -2-0 -0 -0 -0 -0-0 -0 -2 -0 -0sigmawCR＝8系数和的绝对值sigmawCR已经合适。

但是，只模拟有绿色情况下的滤波器即可清楚，确实消除了绿绿差别。对此的解释是，在具有同样颜色的(红色或者蓝色)垂直相邻像素的绿色位置只有非零系数。在图13中，非零系数只出现在具有红色垂直相邻像素的绿色位置。这表示(在低频场景部分中)有关的绿色像素将具有相同的误差。系数+8和四个系数-2将一起在输出信号中将这个误差消除为零绿绿差别。

这还意味着对于中心绿色滤波器配置来说，规则1和2可以用一个可选规则来取代，该可选规则是：具有相同第一垂直相邻颜色的系数和为零，并且每个具有与所述第一颜色不同的第二垂直相邻颜色的滤波器系数为零。

更明确地说，可以将这个规则表示为：在包括所述滤波器系数阵列的每隔一行的分组中的系数和为零，并且不是所述分组中的部分的每个滤波器系数为0。

利用图13，其中各个分图表示与图4相同的情况，可见，按照本发明的轮廓滤波器符合上述的可选规则。由此得到消除失真和绿色不一致性的滤波器。

对于重构模块中从图像传感器的RGB像素得到的接近白色的亮度信号，必须考虑矩阵和白色平衡参数。由于矩阵和白色平衡位于重构之后，因此需要对引入的红色和蓝色进行调节。为此，用参数SmartGcntrlR和SmartGcntrlB控制红色和蓝色的幅值，以便使它们与绿色匹配，并且产生接近白色的亮度信号Yn。

参照图14，在红色和蓝色像素的情况下，以下公式用于应用这个Yn信号：Yn[i，j]＝SmartGcntrlR*redYn[i+1，j+1]＝SmartGcntrlR*blue在绿色像素的情况下，Yn等于绿色。Yn[i+1，j]＝greenYn[i，j+1]＝green

在图15中，示出了具有RGB和没有失真的轮廓重构的筒化框图，其后是矩阵和白色平衡。这个框图用于定义下面用于计算SmartGcntrl/B的公式中的参数。来自场景的光线LS通过透镜L到达RGB Bayer传感器S。传感器S的输出信号被施加到CDS(相关双重采样)、agc(自动增益控制)和ADC(模数转换)处理模块1。将处理模块1的输出施加到RGB重构和并行轮廓处理模块3。处理模块3输出重构的RGB信号Ri、Gi和Bi以及没有失真的轮廓信号AFC。将重构的RGB信号Ri、Gi和Bi施加到矩阵电路MX，矩阵电路MX产生信号Ro、Go和Bo，将Ro、Go和Bo施加到白色平衡电路WB，白色平衡电路WB提供输出信号Ro′、Go′和Bo′。

每个RGB Bayer颜色传感器都需要将其基色校正为EBU基色，EBU基色为全世界电视机和PC监视器所惯用。用矩阵实现校正，需要九个乘法器。

[\begin{matrix} Ro \\ Go \\ Bo \end{matrix}] = [\begin{matrix} a 11 & a 12 & a 13 \\ a 21 & a 22 & a 23 \\ a 31 & a 32 & a 33 \end{matrix}] \times [\begin{matrix} Ri \\ Gi \\ Bi \end{matrix}]

Ro，Go，Bo为该矩阵的RGB输出信号，Ri，Gi，Bi为输入信号。在矩阵之后，利用白色平衡，RGB信号变为：

Ro′＝awbR·Ro

Go′＝Go

Bo′＝awbB·Bo其中，awbR和awbB为白色平衡参数。(根据世界灰色假设方法(WorldGray Assumption method，WGA)，使awbR＝totalGreen/totalRed，awbB＝totalGreen/totalBlue，其中，totalRed，totalGreen和totalBlue表示在整个场景上测量的RGB颜色幅值的总和。)两次处理，即矩阵加上白色平衡，提供理想的白色再现。Ro′，Go′和Bo′信号保证了EBU颜色再现。

为了合适的接近白色的亮度信号Yn，必须进行相反的处理。因此，假设场景具有与EBU颜色空间一致的颜色，并且色温等于D65白色。利用如下所示的逆矩阵，得到传感器的颜色空间：

[\begin{matrix} Rii \\ Gii \\ Bii \end{matrix}] = [\begin{matrix} b 11 & b 12 & b 13 \\ b 21 & b 22 & b 23 \\ b 31 & b 32 & b 33 \end{matrix}] \times [\begin{matrix} Ri \\ Gi \\ Bi \end{matrix}]

其中，Rii，Gii，Bii表示EBU场景的颜色，Ri，Gi，Bi表示传感器的颜色。

对于亮度信号Yn，只对由每种颜色的矩阵系数的和代表的逆矩阵的白色再现感兴趣。

∑Rii＝b11+b12+b13

∑Gii＝b21+b22+b23

∑Bii＝b31+b32+b33

此外，场景的色温不需要为D65白色。包括任意色温在内，矩阵系数的总和变为：

∑Riwb＝Rpresetgain·b11+Gpresetgain·b12+Bpresetgain·b13

∑Giwb＝Rpresetgain·b21+Gpresetgain·b22+Bpresetgain·b23

∑Biwb＝Rpresetgain·b31+Gpresetgain·b32+Bpresetgain·b33其中，Xpresetgain(X＝R、G或B)为将D65白色转换到任意色温的增益因数。(对于D65白色，所有的Xpresetgain参数为1。)对于在Yn[i，j]和Yn[i+1，j+1]中使用的SmartGcntrlR/B参数(见以下公式)，适用：

SmartGcntr 1 R = \frac{ΣGiwb}{ΣRiwb}

SmartGcntr 1 B = \frac{ΣGiwb}{ΣBiwb}

由于将绿色幅值作为参考，因此将参数∑Giwb用做分子，它同样用于白色平衡。

这样，上述公式就可以写为这样的形式，使得可以应用经过测量的白色平衡参数awbR/B，已知，

\frac{Gpresetgain}{Rpresetgain} = awbR = \frac{Gtotal}{Rtotal}

\frac{Gpresetgain}{Bpresetgain} = awbB = \frac{Gtotal}{Btotal}

因此

ΣRiwb = Gpresetgain \cdot (\frac{b 11}{awbR} + b 21 + \frac{b 13}{awbB})

ΣGiwb = Gpresetgain \cdot (\frac{b 21}{awbR} + b 22 + \frac{b 23}{awbB})

ΣBiwb = Gpresetgain \cdot (\frac{b 31}{awbR} + b 23 + \frac{b 33}{awbB})

由于上式将∑Xiwb值分开，因为Gpresetgain/Gpresetgain＝1，因此参数Gpresetgain不重要。因此，对于计算理想的∑Xiwb值来说，以下公式就足够了：

ΣRiwb = (\frac{b 11}{awbR} + b 21 + \frac{b 13}{awbB})

ΣGiwb = (\frac{b 21}{awbR} + b 22 + \frac{b 23}{awbB})

ΣBiwb = (\frac{b 31}{awbR} + b 23 + \frac{b 33}{awbB})

这样，亮度信号Yn就成为可用的，对于白色场景颜色来说，它具有相等的RGB信号幅值，由此独立于传感器矩阵和场景色温。可以将这个信号Yn用于无失真轮廓滤波器。

出现的问题是Yn是否确实应该由用于红色和蓝色像素的参数SmartGcntrlR/B组成，答案取决于期望的性能。如果要得到最好的无失真轮廓滤波器的性能，则应该应用SmartGcntrlR/B参数。如果性能降低一些也可以接受，即某些失真是允许的，则可以忽略这些参数。

图16示出了RGB重构和并行滤波的框图。Yn为经过多路复用的传感器RGB信号，其中，在处理模块5中，R已经与SmartcntrlR相乘，B已经与SmartcntrlB相乘。这个Yn信号只用于并行轮廓，而通过零变换盒ZSB，将Yn分解为三种颜色，红色＝R*SmartcntrlR，绿色＝G，蓝色＝B*SmartcntrlB。然后，应用有或者没有鲜亮的绿色的常规拉普拉斯RGB重构法，但是在任何情况下，都要有绿色一致性的恢复，如果期望，应用有/没有鲜亮的绿色的RGB重构中以及在绿色一致性和并行轮廓处理模块7.16中的红色和蓝色假颜色检测器。如果应用鲜亮的绿色(smartgreenl)，则在中间滤波器中的所谓RBc信号就已经与R*SmartcntrlR和B*SmartcntrlB匹配。

通过在除法器Dr和Db中分别用SmartcntrlR和SmartcntrlB除重构的红色和蓝色信号，初始的红色和蓝色传感器幅值可以恢复。这意味着可以维持通常使用的矩阵、白色平衡和gamma函数。在数字电路设计中，乘法器优于除法器。因此，为了避免除法器电路，最好的方式是让照相机的计算机计算1/SmartcntrlR和1/SmartcntrlB。然后，通过两个分离的接线将这些值提供给两个乘法器。于是Ro的幅值就与输入信号R的幅值相等(SmartcntrlR*R*(1/SmartcntrlR)＝R)。对于Bo幅值也完全相同。

应该注意，参数SmartcntrlR/B要在拍摄照片之前的测量周期中确定，或者在视频模式下要以连续方式确定。

虽然已经结合优选实施例对本发明进行了描述，但并不是要将本发明限制为在这里描述的具体形式。相反，它将覆盖可以合理地包括在由所附权利要求定义的本发明的范围当中的选择、修改和替换。在权利要求中，任何位于括号的参考符号都不应该理解为对权利要求进行限制。词“包括”不排除存在权利要求中列出的元件或步骤之外的内容。在元件之前的“一”不排除出现多个这样的元件。本发明可以利用包括若干不同元件硬件以及利用被适当编程的计算机来实施。在设备权利要求中列举了几种装置，可以用一个和相同的硬件来实施几个这样的装置。在相互不同的从属权利要求中陈述的某些方法的事实不说明这些方法的组合不能用于使优点突出。

Claims

1.一种轮廓滤波器，用于从表示图像的像素阵列提供轮廓信息，所述阵列包括第一和第二像素组，第一像素组(G)表示经过具有第一颜色的滤波器进行光学滤波的部分图像，第二像素组(R/B)表示经过具有一个或多个第二颜色的一个或多个滤波器进行光学滤波的图像部分，第一组中的每个像素具有垂直和水平相邻的第二组的像素，所述滤波器包括：

用于将所述像素值阵列转换为零变换阵列的装置(ZSB)，其中，用零取代第二组中的像素的像素值，

用于对所述零变换阵列进行轮廓滤波，并且输出所述轮廓信息的装置(7)，该滤波装置包括：

用于在像素阵列中为零变换阵列中的每个像素定义子阵列的装置，其中，要被滤波的像素位于子阵列中的预定位置；

当要被滤波的像素是第一像素组中的像素时，在滤波装置中使用的第一滤波器系数阵列，和当要被滤波的像素是第二像素组中的像素时，在滤波装置中使用的第二滤波器系数阵列，该第一和第二阵列具有与子阵列相同的维数并且符合一组规则，该规则包括：在预定位置的滤波器系数为零；当将滤波器系数阵列分为若干不相交的对角线系数组并且所述不相交组围绕阵列的中心系数对称时，在每个组中存在一个等于所述组中的其它滤波器系数之和的滤波器系数；以及

用于计算经过滤波的像素值的装置，所述计算是这样进行的：将所述第一或第二滤波器系数阵列中的每个系数与在来自所述第一或者第二像素组的所述子阵列中的每个对应位置的像素相乘，并且将每个相乘的结果相加，从而得到每个所述像素子阵列的经过滤波的像素值。

2.一种轮廓滤波器，用于提供从表示图像的像素值阵列的轮廓信息，所述阵列包括第一和第二像素组，第一像素组表示经过具有第一颜色的滤波器进行光学滤波的部分图像，第二像素组表示经过具有一个或多个第二颜色的一个或多个滤波器进行光学滤波的图像，第一组中的每个像素具有垂直和水平相邻的第二组的像素，所述滤波器包括：

用于将所述像素值阵列转换为零变换阵列的装置，其中，用零取代第二像素组的像素值，

用于对所述零变换阵列进行轮廓滤波，并且输出所述轮廓信息的装置，滤波装置包括：

当要被滤波的像素是第一像素组中的像素时，在滤波装置中使用的第一滤波器系数阵列，和当要被滤波的像素是第二像素组中的像素时，在滤波装置中使用的第二滤波器系数阵列，该第一和第二阵列具有与子阵列相同的维数并且符合这样的规则，即，在包括所述滤波器系数阵列的每隔一行的子组中的系数和为零，并且每个不是所述子组的部分的滤波器系数在-0.1和0.1之间，最好为零；以及

用于计算经过滤波的像素值的装置，所述计算是这样进行的：将所述第一或第二滤波器系数阵列中的每个系数与来自所述第一或者第二像素组的所述子阵列中的每个对应位置的像素相乘，并且将每个相乘的结果相加，从而得到每个所述像素子阵列的经过滤波的像素值。

3.如权利要求1或2所述的轮廓滤波器，其中，所述子阵列具有奇数行和列，并且要被滤波的所述像素的所述预定位置在所述子阵列的中心。

4.如权利要求1或2所述的轮廓滤波器，还包括用于与滤波平行进行的对丢失颜色的像素插值的装置。

5.如权利要求1或2所述的轮廓滤波器，还包括用于使两个分离的包括每个第一和第二滤波器系数的滤波器的噪声相匹配的装置。

6.如权利要求5所述的轮廓滤波器，其中，匹配装置被调节为通过调节每个滤波器的核心电平来执行匹配。

7.如权利要求1或2所述的轮廓滤波器，其中：

第一像素组包括在像素值阵列的每个行和列中的每隔一个的像素，并且

将第一和第二滤波器阵列组合为单个滤波器阵列，其中：

第一和第二阵列具有相同的维数，

除了预定位置以外，对于第一和第二阵列的每个位置来说，第一和第二阵列中的至少一个具有至少基本上为零的滤波器系数，

所述单个阵列具有与第一和第二阵列相等的维数，以及

所述单个阵列的每个位置的滤波器系数为第一和第二阵列的对应系数之和。

8.如权利要求7所述的轮廓滤波器，所述滤波器为5×2滤波器，它的系数具有基本上由以下定义的相互比：-x±A -x±B 0±C -x±D -x±E-x±F -x±G 0 -x±H -x±I或者为5×3滤波器，它的系数具有基本上由以下定义的相互比：-2x±A -3x±B -2x±C -3x±D -2x±E-6x±F -6x±G 0 -6x±I -6x±J-2x±K -3x±L -2x±M -3x±N -2x±O或者为5×5滤波器，它的系数具有基本上由以下定义的相互比：-x±A -2x±B -2x±C -2x±D -x±E-2x±F -3x±G -2x±H -3x±I -2x±J-2x±K -2x±L 0 -2x±M -2x±N-2x±O -3x±P -2x±Q -3x±R -2x±S-x±T -2x±U -2x±V -2x±X -x±Y或者为5×5滤波器，它的系数具有基本上由以下定义的相互比：-x±A -3x±B -2x±C -3x±D -x±E-3x±F -3x±G 0±H -3x±I -3x±J-2x±K 0±L 0 0±M -2x±N-3x±O -3x±P 0±Q -3x±R -3x±S-x±T -3x±U -2x±V -3x±X -x±Y或者为5×5滤波器，它的系数具有基本上由以下定义的相互比：-x±A -2x±B -x±C -2 x±D -x±E-2x±F -2x±G 0±H -2x±I -2x±J-x±K 0±L 0 0±M -x±N-2x±O -2x±P 0±Q -2x±R -2x±S-x±T -2x±U -2x±V -2x±X -x±Y或者为5×5滤波器，它的系数具有基本上由以下定义的相互比：-0±A -1x±B -2x±C -1x±D 0±E-1x±F -0±G -2x±H -0±I -1x±J-2x±K +2x±L +8x±M +2x±N -2x±O-1x±P -0±Q +2x±R -0±S -1x±T-0±U -1x±V -2x±X -1x±Y -0±Z其中，x为实数，A、B、C、D、E、F、G、H、I、J、K、L、M、N、O、P、Q、R、S、T、U、V、W、X、Y、Z各自的值基本上小于x，最好为0和0.1之间。

9.一种用于从表示图像的像素值阵列提供轮廓信息的方法，所述阵列包括第一和第二像素组，第一像素组表示经过具有第一颜色的滤波器进行光学滤波的部分图像，第二像素组表示经过具有一个或多个第二颜色的一个或多个滤波器进行光学滤波的图像，第一组中的每个像素具有垂直和水平相邻的第二组的像素，该方法包括：

将所述像素值阵列转换为零变换阵列，其中，用零取代第二组中的像素的像素值，

对所述零变换阵列进行轮廓滤波，并且输出所述轮廓信息，滤波包括如下步骤：

在像素阵列中为零变换阵列中的每个像素定义子阵列，其中，要被滤波的像素位于子阵列中的预定位置；

当要被滤波的像素是第一像素组中的像素时，使用第一滤波器系数阵列，当要被滤波的像素是第二像素组中的像素时，使用第二滤波器系数阵列，该第一和第二阵列具有与子阵列相同的维数并且符合一组规则，该规则包括：在预定位置的滤波器系数为零；当将滤波器系数阵列分为若干不相交的对角线系数组并且所述不相交组围绕阵列的中心系数对称时，在每个组中存在一个等于所述组中的其它滤波器系数之和的滤波器系数；以及

计算经过滤波的像素值，所述计算是这样进行的：将所述第一或第二滤波器系数阵列中的每个系数与来自所述第一或者第二像素组的所述子阵列中的每个对应位置的像素相乘，并且将每个相乘的结果相加，从而得到每个所述像素子阵列的经过滤波的像素值。

10.一种用于从表示图像的像素值阵列提供轮廓信息的方法，所述阵列包括第一和第二像素组，第一像素组表示经过具有第一颜色的滤波器进行光学滤波的部分图像，第二像素组表示经过具有一个或多个第二颜色的一个或多个滤波器进行光学滤波的图像，第一组中的每个像素具有垂直和水平相邻的第二组的像素，该方法包括：

将所述像素值阵列转换为零变换阵列，其中，用零取代第二像素组的像素值，

当要被滤波的像素是第一像素组中的像素时，使用第一滤波器系数阵列，当要被滤波的像素是第二像素组中的像素时，使用第二滤波器系数阵列，第一和第二阵列具有与子阵列相同的维数并且符合这样的规则，即，包括所述滤波器系数阵列的每隔一行的子组中的系数和为零，并且每个不是所述子组的部分的滤波器系数在-0.1和0.1之间，最好为零；以及

计算经过滤波的像素值，所述计算是这样进行的：将所述第一或第二滤波器系数阵列中的每个系数与在来自所述第一或者第二像素组的所述子阵列中的每个对应位置的像素相乘，并且将每个相乘的结果相加，从而得到每个所述像素子阵列的经过滤波的像素值。

11.一种计算机程序，该程序包括计算机程序编码装置，该装置被调节为当所述程序在计算机上运行时，执行权利要求9或10的所有步骤。

12.一种计算机可读介质，该介质包括如权利要求11中所述的计算机程序。

13.一种彩色照相机，该照相机包括：

一个传感器(S)，该传感器具有颜色滤波器阵列；以及

一个轮廓滤波器(7)，该轮廓滤波器如权利要求1中所述。