CN101080022B

CN101080022B - 成像设备

Info

Publication number: CN101080022B
Application number: CN2007101288891A
Authority: CN
Inventors: 佐藤正章; 齐藤新一郎; 张洪伟
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2006-04-14
Filing date: 2007-04-16
Publication date: 2010-12-29
Anticipated expiration: 2027-04-16
Also published as: TW200810566A; CN101080022A; KR20070102399A; JP4144630B2; KR101320533B1; TWI333381B; US7796814B2; US20080124000A1; JP2007288395A

Abstract

一种成像设备，包括：具有单元布置的传感器，所述单元布置使得多个彩色的颜色像素和对于入射光的灵敏度高于彩色的颜色像素的高灵敏度像素以棋盘模式排列；白平衡块：对从传感器输出的像素关于彩色的颜色像素或高灵敏度像素进行归一化；像素内插块，其通过内插其它缺乏的颜色而在彩色的颜色像素出现的相位上进行内插；以及降噪块，其位于白平衡块和像素内插块之间，并基于高灵敏度像素的信号分量在彩色的颜色像素的相位上进行内插以抑制彩色的颜色像素中的噪声。

Description

成像设备

技术领域

本发明涉及一种在其中排列了包含亮度信息的像素的成像设备。

背景技术

在图像传感器中，以具有相关技术的RGB原色拜耳布置(Bayer layout)的图像传感器为代表(例如，参见JP-A-2001-218073)，当信号电平的振幅小时，诸如暗电流(dark current)的噪声会严重影响图像质量。因而降噪是必需的，然而其仅能提供有限的效果，因为由于颜色滤波器而导致不可避免地降低信号量。

因此，需要一种用于在其中排列了白色(W)像素且其布置是相对于正方形成45°倾斜的图像传感器的降噪方法。

例如，在现有技术中所使用的不包含W(白色)像素的像素布置中，诸如原色拜耳布置和补色棋盘布置中，根据所要成像的部分是有色的(彩色)还是无色的(非彩色)，甚至对于具有相同亮度的对象，在轮廓判断中使用不同的像素。在许多情况下，已经提出了在其中参考具有作为造成视觉敏感特性的主要原因的“绿色”分量的像素来执行边缘检测、相关性检测等的信号处理。然而，当对象不包含绿色信号分量或绿色信号分量所占比率低时，其性能显著下降或者该信号处理本身将不起作用。

另一方面，包含W像素的像素布置具有高分量比率的W像素，也就是说，W像素的数量与颜色像素的数量相同(经颜色分离的每个单独颜色的数量的二到四倍)，并且提供具有少量噪声分量的检测信号，以便这种像素的布置适于边缘检测、相关性检测等。相反，可用于判断颜色的像素数量可能少，而导致颜色再现困难的问题。

发明内容

所要解决的问题是，特别是当信号电平的振幅小时，由于颜色滤波器使得信号量的不可避免地降低而导致诸如暗电流的噪声对于图像质量的严重影响。另一个所要解决的问题是包含提供具有少量噪声分量的检测信号的W像素的像素布置受噪声的影响较小，但是由于可用于判断颜色的少量像素而难以进行颜色再现。

需要基于白色像素的信号分量在颜色像素的相位上进行内插，从而将颜色图像中的噪声抑制到类似于白色像素的噪声的电平。

根据本发明的实施例，提供了一种成像设备，其包括具有单元布置的传感器，所述单元布置使得多个彩色的颜色像素和对于入射光的灵敏度高于彩色的颜色像素的高灵敏度像素以棋盘模式排列；白平衡块，其对从所述传感器输出的像素关于所述彩色的颜色像素或高灵敏度像素进行归一化；像素内插块，其通过内插其它缺乏的颜色来在彩色的颜色像素出现的相位上进行内插；和降噪块，其位于白平衡块和像素内插块之间，并基于高灵敏度像素的信号分量在彩色的颜色像素的相位上进行内插以抑制彩色的颜色像素中的噪声。

在本发明的实施例中，在白平衡块和像素内插块之间提供降噪块，并且该降噪块基于高灵敏度像素的信号分量在彩色的颜色像素的相位上进行内插以抑制彩色的颜色像素中的噪声，这有可能确保颜色的再现性，并将彩色的颜色图像中的噪声抑制到类似于高灵敏度像素的噪声的电平。此外，使用高灵敏度像素允许在低亮度时的降噪和灵敏度的改善。

根据本发明的实施例，有可能确保颜色再现性并将彩色的颜色图像中的噪声抑制到类似于高灵敏度像素的噪声的电平，并且使用高灵敏度像素允许在低亮度时降噪和灵敏度的改善。由此，能够从高灵敏度条件下的黑暗对象中获取图像，以便能够方便地获得高灵敏度、噪声抑制、高图像质量的成像结果。具体地，在图像的黑暗部分或低亮度图像中，甚至当处理图像以便将高增益应用于传感器输出，参考具有相对低噪声的诸如W(白色)像素的高灵敏度像素来重构颜色，允许将颜色图像的噪声被减少到类似于高灵敏度像素的噪声的电平。因此积极地利用了来自在传输光谱特征方面优于RGB的高灵敏度像素的信息，允许了降噪效果的提升。

附图说明

图1是显示根据本发明实施例(第一实例)的成像设备的主要特性的框图；

图2是显示信号处理块的细节实例的框图；

图3是显示本发明所应用的成像设备实例的框图；

图4是显示成像设备中的传感器的颜色布置实例的像素布置图；

图5是显示降噪块的细节实例的框图；

图6显示了一种阐明W像素平均化实例的算法；

图7显示了一种阐明像素内插实例的算法；

图8显示了一种阐明平均化实例的算法；

图9显示了阐明在R像素上的降噪实例的像素布置图；

图10是显示在R像素上的降噪实例的像素布置图；

图11是显示根据本发明另一实施例(第二实例)的成像设备的信号处理块的细节实例的框图；

图12是显示成像设备中的传感器的颜色布置实例的像素布置图；

图13是显示根据本发明第二实例的成像设备的主要特性的像素内插的框图；

图14显示了阐明颜色像素内插的结果的放大视图；

图15是显示颜色分离实例的布置图；以及

图16是用于说明蓝色像素内插的实例的像素布置图。

具体实施方式

接下来将参考图1至4描述根据本发明实施例(第一实例)的成像设备。

首先，将参考图3的框图描述本发明所应用的成像设备的实例。作为举例，图3显示了一种使用图像传感器的完整相机系统。

如图3所示，成像设备1包括：用于聚焦图像的透镜系统2；具有用于光电转换的像素的传感器3；接收电信号、消除1/f噪声并仅提取信号分量的相关双重取样(CDS)部分4；将来自传感器的、是模拟信号的像素信号转换为数字信号的模数转换器(ADC)5；以及输出数字化传感器信号作为最终图像信号的信号处理块6。

在成像设备1中，由透镜系统2所聚焦的图像被成像到传感器3的像素上，并且输出到CDS部分4作为电信号。CDS部分4消除1/f的噪声并仅提取信号分量。接着，ADC5将来自传感器的、是模拟信号的像素信号转换为数字信号。然后，数字化传感器信号被输入到信号处理块6并且被处理成最终的图像信号。

接下来，将参考图4描述在根据该本发明实施例的成像设备1的传感器3中的颜色布置实例。

如图4所示，在传感器3的像素布置中，用于获得亮度信息的像素(在此实例中，高灵敏度像素对于入射光的灵敏度高于彩色的颜色像素)被排列于具有相对于相关技术的RGB矩形拜耳布置的偏移半周的空间相位的相位位置。高灵敏度像素由例如白色像素或灰色像素形成。图中示出了布置了白色像素的实例。接下来将描述参考布置了白色(W)像素的实例。

现在将参考图1和2描述本发明的主要特性。图2是显示信号处理块6的细节的框图。图1是显示插入了执行降噪的降噪块后的信号处理块的细节的框图。

如图2所示，已经由模数转换器(ADC)转换为数字信号的来自传感器的像素信号被输入到白平衡块11，在此从传感器输出的像素被关于彩色的颜色像素的G(绿色)像素或作为高灵敏度像素的W像素归一化。

归一化信号被输入到彼此独立的颜色判断块12和像素内插块13。颜色判断块12判断感兴趣的像素(pixels of interest)和周围的像素是否是彩色的颜色像素，并且将结果发送到像素内插块13。

像素内插块13通过内插两个缺乏的颜色，来在彩色的颜色像素的R/G/B像素之一出现的相位上进行内插。例如，B/R像素被用于在G像素出现的位置上进行内插。像素内插块13利用颜色判断块12的判断结果来动态地改变内插处理。当感兴趣的像素不是彩色的颜色像素时，当产生将用于内插的像素时，来自感兴趣的像素的像素信号被积极地用于改善清晰度，而当感兴趣的像素是彩色的颜色像素时，内插来自周围像素的具有与将用于内插的像素的颜色相同的颜色的信号。

在像素内插后的处理被分为两条线，即亮度生成和色度生成。首先将描述亮度生成的处理线。

在像素内插块13中所生成的R/G/B像素信号经过诸如作为代表示例的NTSC亮度转换方程式的转换处理，来产生Y信号。由于所生成的Y信号和W像素在信号电平上彼此不匹配，从而在电平平衡块14中进行电平平衡。所述电平平衡块14生成在其中W信号与Y信号的电平相同的(高频)亮度信号。

然而，由于具有亮度信号的像素和没有亮度信息的像素被空间布置并且交替出现(按照空间相位的1/2)，因此由像素补足没有像素出现的相位。在亮度内插块16中进行该补足。在相关性检测块15中进行对该补足处理的判断。相关性检测块15通过使用亮度信号作为检测信号来进行该处理。检测结果被用于亮度生成和色度生成两者中。

在色度内插块17中，R/G/B像素首先被用于在W像素出现的相位上进行内插。例如，通过计算周围W像素与R/G/B像素的比率来计算该内插。此外，为了在没有R/G/B像素空间地出现的相位上进行像素内插，返回(reflect)已经在亮度生成中描述了的相关性检测块15的检测结果用于像素补足。

亮度内插块18是将高频亮度信号和在色度生成处理中所计算的R/G/B信号重新合并以生成低频Y亮度信号的块。该处理抑制在低频时的亮度再现中的衰减。

从而生成Y/Cr/Cb信号并且完成像素内插处理。

上述描述是具有在图4所示的像素布置的图像传感器中所进行的图像处理的简介。在根据本发明实施例的成像设备中，如图1所示，在白平衡块11和像素内插块13/颜色判断块12之间提供降噪块21。降噪块21通过将来自传感器像素输出分别关于W像素和R/G/B像素进行归一化，来在白平衡块11中获得的信号Wwb、Rwb、Gwb和Bwb上进行降噪。

现在将参考图5的框图来描述降噪块21的细节。

如图5所示，四个信号Wwb、Rwb、Gwb和Bwb被用作输入信号。Wwb表示在白平衡操作后的W像素信号。类似地，Rwb表示在白平衡操作后的R像素信号，Gwb表示在白平衡操作后的G像素信号，以及Bwb表示在白平衡操作后的B像素信号。

首先，平均化块22在W像素上进行平均化。图6详细显示了用于W像素平均化的算法。

如图6所示，在该实例中，对3×3区域中的W像素进行平均化处理。用于平均化的区域可根据需要来任意选择。

W像素的平均化的目的是为了处理具有固有的良好S/N的像素信息从而进一步改善S/N。平均化处理在像素W4的位置创建新的W像素。在该处理中，由于简单平均化可能不利于消除诸如边缘的高频分量，因此估算像素W4和周围像素W0到W8之间的差的绝对值abs(W0-W4)，...，abs(W8-W4)并将它们与阈值th进行比较。也就是说，估算以下等式：

abs(W0-W4)，…，abs(W8-W4)＜th

阈值th设置了用于选择包括了与像素W4相同电平的范围的值。

上述计算确定了满足条件的W像素。将所有这种W像素相加以确定平均值。从而生成新的W像素。也就是说，估算以下等式：

(1/n)∑Wi

随后，回到图5，在像素内插器23中，W像素被用于在RGB像素出现的相位上进行内插。作为举例，使用图7所示的算法进行该内插。该处理中的内插的目的是为了产生将被用于降噪的检测信号Wlpf1，这将稍后进行描述，以便无需以严格精确的方式进行该内插。

另一方面，平均化块24、25和26将RGB像素信号Rwb、Gwb和Bwb进行平均化。图8显示了该平均化处理的实例。使用图8所示的算法的平均化被应用于信号Rwb、Gwb和Bwb从而获得检测信号Rlpf0、Glpf0和Blpf0。该处理的目的是为了防止高频时的错误颜色。

在上述处理中所生成的像素适于降噪部分27中的降噪。

接下来，按照图9和10所示的符号惯例，作为举例，将显示在R像素上的降噪。

如图9中(1)所示，用矩形布置来代替图4中所示的像素布置。考虑R像素作为感兴趣的像素，如图9中(2)所示来重写该矩形布置。类似地，考虑5×5的R像素区域作为感兴趣的像素，如图10所示来重写图9中(2)所示的布置。该感兴趣的区域是用于降噪的处理单元。现在将描述降噪，考虑图10中的R12作为感兴趣的像素。虽然图10中仅仅标注了R像素，但是在上述内插之后，W像素也出现在R像素出现的相位上。

在降噪中，W像素首先被用于判断降噪的覆盖范围。具体地，确定感兴趣的像素(W12)和每个周围像素之间的差。在该处理中，指定噪声电平阈值th，并且在该差小于th的位置上进行W像素值的求和以及R像素值的求和。也就是说，估算以下等式：

abs(W0-W12)，abs(W1-W12)，abs(W2-W12)…，abs(W24-W12)＜阈值th

这里，Wsum是满足上述条件的W像素值的和，并且Rsum是满足上述条件的R像素值的和。

随后，以下等式被用于计算将被用于R12上的内插的R像素值(R12new)，并且在主线处理中将结果发送至RGB内插块。

R12new＝(W12/Wsum)×Rsum

类似地，通过在G像素和B像素上进行类似计算，能够生成噪声抑制信号。

接下来，将参考图11至16来描述根据本发明另一实施例(第二实例)的成像设备。图11显示了图3所示的信号处理块的细节。

如图11所示，由模数转换器(ADC)转换为数字信号的来自传感器的像素信号，被输入到彼此独立的“白平衡检测”31、“光学黑色检测(OB检测)”32和“光学黑色校正(OB固定)”33。然后，“白平衡”34被用于对从传感器输出的像素关于作为彩色的颜色像素的G(绿色)像素或作为高灵敏度像素的W像素进行归一化。

已归一化的像素被输入到彼此独立的“轮廓检测”35和“像素内插”36。“轮廓检测”35判断图像的轮廓并将结果传输至“轮廓增强”37。“像素内插”36接收在白平衡调整之后的信号作为输入信号以将所输入的像素信号划分为彩色的颜色像素(颜色像素)和高灵敏度像素(例如，白色(W)像素)的颜色。基于从颜色分离得到的W图像，确定信号内插所应用的区域并且在没有W像素出现的颜色像素上进行W像素的内插。例如，基于W像素的内插结果和信号内插所应用的区域，检测白色信号电平具有例如对应于约±10％内的类似亮度的类似趋势所在的表面，并且在所检测的平面的基础上进行彩色的颜色像素的内插。

在进行上述“像素内插”36之后，进行“颜色转换/校正”38、“轮廓增强”37、“γ转换”39以及“Y/C分离”40以生成Y/Cr/Cb信号，然后完成像素内插。

第二实例也是一种基于使用对于入射光的灵敏度高于彩色的颜色像素的高灵敏度像素的假设的信号处理方法。如图12所示，这种像素布置的示例具有单元布置，其中具有R/G/B原色滤波器的彩色的颜色像素和由白色像素或灰色像素形成的高灵敏度像素以棋盘模式排列。

虽然假设在该实例中使用图12所示的像素布置，但是像素布置并不限于如图12所示的彩色的颜色像素布置。例如，能够使用具有补色信号滤波器的像素，来替代如图中所示的具有原色滤波器的像素。可替换地，该布置本身不需要是如图12中所示的Z字型布置，而可以应用矩形布置。类似地，W(像素)的数量也可以改变。还可以使用在其中用W像素取代相关技术中经常使用的原色矩形拜耳布置中的两个G像素之一的滤波器布置。

接下来，将参考显示像素内插的图13的框图和显示颜色像素内插结果的图14的放大视图来描述该实施例的像素内插(对应于图11中的“像素内插”)的细节。

如图13所示，输入信号是在光学黑色校正(OB固定)和白平衡调整之后的信号。该输入信号被输入到“颜色分离”41以将所输入像素信号划分为颜色像素和白色(W)像素。例如，如图15所示进行该颜色分离。

也就是说，例如，如图15所示，R、G、B和W混合的图像被划分为各个颜色图像而没有改变像素的位置。结果，获得单独的R、G、B和W图像。

然后，进行“相关性检测”42。在“相关性检测”42中，基于颜色分离得到的W图像来确定信号内插所应用的区域。

之后，进行“W像素内插”43。在“W像素内插”43中，基于相关性检测的结果在没有W像素出现的颜色像素上进行W像素的内插。

然后，进行“表面(群)检测”44。例如，在“表面(群)检测”44中，基于W像素内插的结果和相关性检测的结果来检测在其中白色信号电平具有例如对应于约±10％内的类似亮度的类似趋势的表面(群)。

之后，进行“颜色像素表面(群)内插”45。在“颜色像素表面(群)内插”45中，在所检测的表面(群)的基础上进行颜色像素的内插。结果，如图14所示，进行R、G和B像素的内插。

例如，如图16所示，在下列程序中将在标注“A”的地点进行蓝色像素的内插。

首先，将相同平面(由图中的红线所指示)中的蓝色(B)像素平均化。设Bave为结果平均值。然后，将相同平面(由图中的红线所指示)中的白色(W)像素平均化。设Wave为结果平均值。由于白色的亮度变化显示出与相同平面中的颜色像素实质上相同的趋势，从而通过设Wa为A点的W像素值，以下等式被用于确定要被用于在A点上内插的B像素的值Ba：

Ba＝(Wa/Wave)×Bave

类似于上述程序的那些程序被相继应用于其它颜色像素，即R和G像素，从而在对应于所有成像的像素的位置上补足颜色像素。

根据上述程序，在具有由于滤波器而降低的灵敏度并因此相对嘈杂的颜色信号上进行平均化。平均化能够消除诸如随机噪声的噪声，且颜色像素的亮度值能够基于W像素的亮度改变而再现。

在根据该本发明的实施例的成像设备中，可将简单的平均化应用于在RGB像素之一出现的地点上进行的具有良好S/N的W像素的内插，从而得到简单的电路配置。此外，由于在原始数据上进行该处理，从而有利地，现有的信号处理算法无需进行改变。而且，在图像的黑暗部分或低亮度图像中，甚至当处理图像以便高增益被应用于传感器输出时，参考具有相对低噪声的W(白色)像素来重构颜色，使得颜色图像的噪声降低到类似于W(白色)像素的电平。除此之外，由于检测并标注具有相同亮度或相同趋势的表面，能够在后续应用中的图像处理中使用随处理结果输出的结果信号。

本领域技术人员应当理解，根据设计需要和其它因素，在所附权利要求或其等同物的范围内能够进行各种修改、合并、子合并和替换。

Claims

1.一种成像设备，包括：

传感器，其具有单元布置，所述单元布置使得多个彩色的颜色像素和对于入射光的灵敏度高于所述彩色的颜色像素的高灵敏度像素以棋盘模式排列；

白平衡块，对从所述传感器输出的像素关于所述彩色的颜色像素或高灵敏度像素进行归一化；

像素内插块，其通过内插其它缺乏的颜色来在所述彩色的颜色像素出现的相位上进行内插；和

降噪块，其位于所述白平衡块和所述像素内插块之间，并基于所述高灵敏度像素的信号分量在所述彩色的颜色像素的相位上进行内插以抑制在所述彩色的颜色像素中的噪声。

2.如权利要求1所述的成像设备，其中所述高灵敏度像素为白色像素或灰色像素。

3.如权利要求1所述的成像设备，还包括平均化块，其位于所述降噪块的上游并且计算相同颜色的彩色的颜色像素的平均值。

4.如权利要求1所述的成像设备，其中所述像素内插块参考所述高灵敏度像素判断在亮度方面具有相同趋势的区域，并且以其中在亮度方面具有所述相同趋势的平面中的彩色的颜色像素的值被各个彩色的颜色像素所取代的这种方式进行像素内插。

5.如权利要求1所述的成像设备，其中所述像素内插块包括：

颜色分离块，在白平衡之后的像素信号上以其中所述像素信号被划分为各个彩色的颜色像素和高灵敏度像素的这种方式进行颜色分离；

相关性检测块，其基于所述颜色分离所得的高灵敏度像素图像来确定信号内插所应用的区域；和

高灵敏度像素内插块，其基于所述相关性检测的结果在没有高灵敏度像素出现的彩色的颜色像素上内插高灵敏度像素；

表面检测块，其基于所述高灵敏度像素内插的结果和所述相关性检测的结果检测在亮度方面具有相同趋势的表面；以及

彩色的颜色像素表面内插块，其在所检测的表面的基础上进行颜色像素的内插。