CN102870417B

CN102870417B - 彩色成像设备

Info

Publication number: CN102870417B
Application number: CN201180022148.XA
Authority: CN
Inventors: 田中诚二
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2011-02-28
Filing date: 2011-07-29
Publication date: 2014-05-14
Anticipated expiration: 2031-07-29
Also published as: JP2013048409A; BR112012027306A2; RU2551649C2; US20120293695A1; US20130308022A1; CN103974044A; CN103974044B; JP5872407B2; JPWO2012117583A1; EP2683166A1; WO2012117583A1; EP2683166B1; JP5054857B1; RU2013138394A; CN102870417A; EP2683166A4; US8531563B2; US8704922B2

Abstract

彩色成像设备使用一种包括具有彩色滤波器阵列的彩色滤波器的单板式彩色成像元件，该彩色滤波器阵列中RGB全色的彩色滤波器周期地布置在水平和垂直方向上的每条线上。使用了具有在水平和垂直方向的线上每个颜色的滤波器系数总和的比例相等的滤波器系数的加权平均滤波器，来计算从彩色成像元件输出的镶嵌图像中像素的每个颜色的像素值的加权平均值。在对位于加权平均滤波器中心部分处的去镶嵌化处理目标像素的像素位置处的其他颜色像素值进行计算时，基于计算的加权平均值之间的色比或色差来对目标像素的像素值进行插值，以估计其他颜色的像素值。

Description

彩色成像设备

技术领域

本发明涉及一种彩色成像设备，特别是一种抑制彩色波纹产生的彩色成像设备。

背景技术

在彩色成像设备中包含单板式彩色成像元件，单板式彩色成像元件的输出图像是RAW图像（镶嵌图像）。因此，通过根据周围像素对丢失颜色的像素进行插值的方法（去镶嵌化处理，demosaicingprocessing）来获得多通道图像。此时，在高频图像信号的再现特性方面会存在问题。

原色Bayer阵列是广泛应用于单板式彩色成像元件的一种颜色阵列，其包括按方格图案布置的绿（G）像素以及相继布置成直线型的红（R）和蓝（B）像素。因此，存在低频着色（颜色波纹）的问题，其是由超过颜色再现带宽的高频信号的交叠以及颜色相位的偏移所引起的。

例如，如图10(A)所示的黑白垂直条纹图案（高频图像）进入如图10(B)所示的Bayer阵列图像单元，其图案被分成Bayer颜色阵列以比较颜色。如图10(C)到图10(E)所示，R形成亮的单色图像（flatcolor image），B形成暗的单色图像，而G形成明暗交错的彩色图像。尽管RGB图像与原始的黑白图像相比不存在浓度差别（水平差异），但是图像的着色取决于颜色阵列及输入频率。

在使用单板式彩色成像元件的彩色成像器件中，由晶体等各向异性物质组成光学低通滤波器，其布置在彩色成像元件的前方以阻止高频波的光学减少。然而，虽然在此方法中由交叠高频信号引起的着色会减少，但相应地存在分辨率降低的问题。

为解决上述问题，提出了一种彩色成像元件，其中彩色成像元件的彩色滤波器阵列是一种三色随机阵列，其满足任意目标像素在其四面均与包括目标像素颜色在内的三种颜色相邻的阵列约束条件（PTL1）。

提出了一种彩色滤波器阵列的图像传感器，其中图像传感器包括具有不同光谱灵敏度的多个滤波器，所述多个滤波器中的第一和第二滤波器以第一预定周期交替地布置在图像传感器像素网格中的一个对角线方向上，并且以第二预定周期交替布置在第二对角线方向上（PTL2）。

此外，提出了包含彩色成像元件的成像设备，其中在水平和垂直方向上每三个像素布置RGB三原色中的R和B，并且在R和B之间布置G（PTL3）。在PTL3所述的彩色成像元件中，最有助于获得亮度信号的G像素布置得远多于R和B像素，因为色差信号的分辨率要低于亮度信号的分辨率。这可以提高水平和垂直方向上的分辨率。

引用列表

专利文献

PTL1：日本专利申请公开号No.2000-308080；

PTL2：日本专利申请公开号No.2005-136766；

PTL3：日本专利申请公开号No.8-23543。

发明内容

技术问题

PTL1所述的三个颜色随机阵列对于低频彩色波纹有效，但对于高频段失真颜色（false color）并不是有效的。

同时，PTL2所述的图像传感器彩色滤波器阵列中，R、G和B滤波器周期地布置在彩色滤波器阵列的水平和垂直方向的线上。在从包括PTL2所述发明的彩色滤波器阵列的图像传感器输出的镶嵌图像的去镶嵌化处理过程中，提取目标像素周围的预定尺寸图像的局部区域，计算与局部区域中目标像素颜色的颜色分布形状和其他需要估算颜色的颜色分布形状有关的统计量，并且基于目标位置处的颜色强度和颜色分布形状的统计量对颜色分布形状进行线性回归，以计算目标像素位置处的其他颜色的估计值。与颜色分布形状有关的统计量（协方差值）的计算以及回归计算过程在PTL2所述发明中是必要的，并且存在图像处理过程较为复杂的问题。

PTL3所述的彩色成像元件仅包含位于水平和垂直方向上的G像素线。因此，彩色成像元件在水平和垂直方向上对于高频部分的失真颜色并不是有效的。

本发明鉴于上述情况而作出，本发明的一个目的是提出一种彩色成像设备，其通过简单的图像处理可以抑制高频部分失真颜色的产生。

解决问题的技术手段

为达到该目的，根据本发明一个方面的发明包括彩色成像设备，其包括：单板式的彩色成像元件，其包含在由布置在水平和垂直方向上的光电转换元件所形成的多个像素上布置的彩色滤波器，所述彩色滤波器具有这样的彩色滤波器阵列：其中在水平和垂直方向上的每条线上周期性地布置了所有颜色的滤波器；图像获取单元，其从彩色成像元件获取镶嵌图像；具有预定滤波器系数的加权平均滤波器，其中从对应于加权平均滤波器的镶嵌图像中提取的局部区域中的像素的颜色与滤波器系数之间的关系被设定为使得在水平和垂直方向上的线中每个颜色的滤波器系数的总和的比例相等；加权平均计算单元，其基于加权平均滤波器的滤波器系数和从对应于加权平均滤波器的镶嵌图像提取的局部区域中的像素的像素值来计算每个颜色的加权平均值；去镶嵌化处理单元，其计算在加权平均滤波器中心部分的去镶嵌化处理的目标像素的像素位置处的其他颜色的像素值，并且基于目标像素的所述颜色与所述其他颜色的计算出的加权平均值之间的色比或色差来对目标像素的像素值进行插值，以计算出所述其他颜色的像素值；以及控制单元，其在将从对应于加权平均滤波器的镶嵌图像中提取的所述局部区域移位去镶嵌化处理的一个目标像素单位的同时，重复地操作加权平均计算单元和去镶嵌化处理单元。

根据本发明一个方面的彩色成像设备，所使用的单板式的彩色成像元件包含以全色彩色滤波器周期性地布置在水平和垂直方向上的各条线上的彩色滤波器阵列。因此，从对应于加权平均滤波器的镶嵌图像中提取的局部区域中的像素的颜色的滤波器系数可以设定为使得在水平和垂直方向的各条线上的每个颜色的滤波器系数的总和的比例相等。

在加权平均滤波器的滤波器系数中，在水平和垂直方向的任一条线上，每个颜色的总和的比例相等。因此，不管水平和垂直方向上输入的频率类型如何，滤波系数的应用都使得颜色之间的关系不会波动，并且不会出现由于高频波的交叠而引起的着色。更确切地说，基于加权平均滤波器的滤波器系数和从对应于加权平均滤波器的镶嵌图像中提取的局部区域中的像素的像素值而计算出的每个颜色的加权平均值表示了该局部区域中的精确颜色，而不管在该局部区域中水平和垂直方向上输入的频率类型如何。因此，在位于加权平均滤波器中心部分的去镶嵌化处理的目标像素的像素位置处的其他颜色的像素值的计算当中，可以基于计算出的加权平均值的色比或色差对目标像素的像素值进行插值，以准确估计其他颜色的像素值。

在根据本发明另一方面的彩色成像设备中，彩色成像元件的彩色滤波器阵列包含基本阵列图案，其包括对应于最有助于获得亮度信号的第一颜色的第一滤波器和对应于除第一颜色外的两个或两个以上第二颜色的第二滤波器，基本阵列图案重复布置在水平和垂直方向上，并且对应于第一滤波器的第一颜色的像素数量的比例与对应于第二滤波器的第二颜色的每个颜色的像素数量的是不同的。更具体地说，即使对应于第一滤波器的第一颜色的像素数量的比例与对应于第二滤波器的第二颜色的每个颜色的像素数量的比例是不同的，但是加权平均滤波器的滤波器系数中每个颜色的滤波器系数在水平和垂直方向上的线中的任一条线上的总和的比例是相同的。因此，滤波器系数的应用使得颜色之间的关系不会波动，并且不会出现由高频波的交叠而引起的着色。

优选地，在根据本发明另一方面的彩色成像设备中，对应于第一滤波器的第一颜色的像素数量比例大于对应于第二滤波器的第二颜色的每个颜色的像素数量比例。最有助于获得亮度信号的第一颜色的像素数量比例大于对应于第二滤波器的第二颜色的每个颜色的像素数量比例。因此，可以抑制混叠现象，并且高频波再现性良好。

优选地，在根据本发明另一方面的彩色成像设备中，加权平均滤波器是进行加权以增加中心部分处的滤波器系数的滤波器。因此，可以准确地获得位于去镶嵌化处理目标像素的像素位置处的颜色。

优选地，在根据本发明另一方面的彩色成像设备中，加权平均滤波器具有水平对称、垂直对称和点对称的滤波器系数。因此，在通过从镶嵌图像提取局部区域来计算每个颜色加权平均值时，即使提取的局部区域偏移，也能够用到相同的加权平均滤波器。

在根据本发明另一方面的彩色成像设备中，彩色滤波器包含以预定的彩色滤波器阵列布置的对应于红色（R）、绿色（G）和蓝色（B）的R滤波器、G滤波器和B滤波器，其中，当由加权平均计算单元计算的对应于R滤波器、G滤波器和B滤波器的R、G和B像素的像素值的每个颜色的加权平均值分别为Rf、Gf和Bf时，若去镶嵌化处理的目标像素是G像素，并且像素值为G，则去镶嵌化处理单元通过下述公式计算目标像素位置处的R和B像素的R和B像素值

R=G×(Rf/Gf)，以及B=G×(Bf/Gf)，其中

若去镶嵌化处理的目标像素为R像素，并且像素值为R，则去镶嵌化处理单元通过下述公式计算目标像素位置处的G和B像素的G和B像素值

G=R×(Gf/Rf)，以及B=R×(Bf/Rf)，其中

若去镶嵌化处理的目标像素为B像素，并且像素值为B，则去镶嵌化处理单元通过下述公式计算目标像素位置处的G和R像素的G和R像素值

G=B×(Gf/Bf)，以及R=B×(Rf/Bf)。

局部区域中的每个颜色间加权平均值（Rf，Gf，Bf）的比表示位于局部区域中的目标像素的像素位置处的RGB原色的比（色比）。基于色比可以对目标像素位置处的像素值进行插值，以准确地估计另一颜色的像素值。

R=G+(Rf-Gf)，以及B=G+(Bf-Gf)，其中

G=R+(Gf-Rf)，以及B=R+(Bf-Rf)，其中

G=B+(Gf-Bf)，以及R=B+(Rf-Bf)。

局部区域中的每个颜色的加权平均值（Rf，Gf，Bf）之间的差表示位于局部区域中的目标像素的像素位置处的RGB原色之间的差（色差）。基于色差可以对目标像素位置处的像素值进行插值，以准确地估计另一颜色的像素值。

在根据本发明另一方面的彩色成像设备中，彩色滤波器包含以预定的彩色滤波器阵列布置的对应于红色（R）、绿色（G）和蓝色（B）的R滤波器、G滤波器和B滤波器，滤波器阵列包括：对应于3×3像素的第一阵列，第一阵列包含布置在中心及四角处的G滤波器，越过中心处的G滤波器垂直地布置的B滤波器，和越过中心处的G滤波器水平地布置的R滤波器；以及对应于3×3像素的第二阵列，第二阵列包含布置在中心及四角处的G滤波器，越过中心处的G滤波器垂直地布置的R滤波器，和越过中心处的G滤波器水平地布置的B滤波器，其中第一和第二阵列在水平和垂直方向上交替地布置，加权平均滤波器具有9×9大小的核心（kernel），控制单元在顺序地移位加权平均滤波器以将第一和第二阵列中的一个设置于中心处的同时，重复地操作加权平均计算单元和去镶嵌化处理单元。

第一和第二阵列包含垂直且水平对称的彩色滤波器，并且在第一和第二阵列之间只是R和B滤波器互换。因此，在将加权平均滤波器移位3×3像素的处理中，在水平和垂直方向上的各行中每个颜色的滤波器系数总数的比例是相等的，而无需改变加权平均滤波器的滤波器系数。

本发明的有益效果

根据本发明，从对应于加权平均滤波器的镶嵌图案提取的局部区域中的像素的颜色的滤波器系数被设定为使得在水平和垂直方向的线上每个颜色的滤波器系数的总数的比例相等，并且每个颜色的加权平均值的计算是基于加权平均滤波器的滤波器系数和从对应于加权平均滤波器的镶嵌图案提取的局部区域中的像素的像素值。因此，局部区域中的每个颜色的加权平均值的色比或色差表示位于局部区域的目标像素的像素位置处的原色的色比或色差。因此，基于计算出的加权平均值的色比或色差对目标像素的像素值进行插值可以准确地估计其他颜色的像素值。

不管在局部区域中水平和垂直方向上输入的频率类型如何，局部区域中每个颜色的加权平均值的色比或色差不会改变。因此，不会出现错误的颜色确定，并且能够抑制高频部分失真颜色的产生。其他颜色的像素值可以通过简单地计算加权平均值和插值来估计。

附图说明

图1是示出了根据本发明的彩色成像设备实施例的框图。

图2是示出了第一实施例中布置在彩色成像元件上的彩色滤波器的彩色滤波器阵列的示意图。

图3是示出了第一实施例中彩色成像元件的彩色滤波器阵列包含的一个基本阵列图案的示意图。

图4是示出了第一实施例中彩色成像元件的彩色滤波器阵列包含的6×6像素基本阵列图案被分为3×3像素的A阵列和Ｂ阵列的情况的示意图。

图5是示出了应用到第一实施例的彩色成像元件中的加权平均滤波器的示意图。

图6A是示出了当输入垂直条纹高频波时的图像的示意图。

图6B是用来说明当输入垂直条纹高频波时应用了加权平均滤波器的加权平均值的颜色中没有产生色偏的示意图。

图7是示出了应用于本发明的彩色成像元件和加权平均滤波器的第二实施例的示意图。

图8是示出了应用于本发明的彩色成像元件的第三实施例的示意图。

图9A是示出了应用于第三实施例的彩色成像元件中的加权平均滤波器的第三实施例的示意图。

图9B是示出了当图9A所示的6×6像素的局部区域在水平方向上移位两个像素时所应用的加权平均滤波器的示意图。

图10是用来说明具有Bayer阵列彩色滤波器的传统彩色成像元件中存在的问题的示意图。

具体实施方式

在下文中，将参照附图对根据本发明的彩色成像元件的优选实施例进行说明。

{彩色成像设备的总体结构}：

图1是示出根据本发明的彩色成像设备实施例的框图。

光学成像系统10对对象进行成像，反映对象图像的光学图像形成在彩色成像元件12（第一实施例的彩色成像元件）的光接收表面上。

彩色成像元件12是一个单板成像元件，包括：多个像素（未示出），其包含在水平和垂直方向上（二维阵列）布置的光电转换元件；以及彩色滤波器，其以预定彩色滤波器阵列布置在像素的光接收表面上。彩色成像元件12的彩色滤波器阵列的特点在于其包含在水平和垂直方向的线上周期地布置的红（R）、绿（G）和蓝（B）的全色滤波器。其细节稍后将进行描述。

光电转换元件把形成在彩色成像元件12上的对象图像转换成与入射光量对应的信号电荷。基于根据控制单元20的指令从驱动单元18提供的驱动脉冲，将积聚在光电转换单元上的信号电荷顺序地从彩色成像元件12中读出为对应于信号电荷的电压信号（图像信号）。从彩色成像元件12读出的图像信号是R、G和B信号，其表示与彩色成像元件12中的彩色滤波器阵列相对应的R、G和B的镶嵌图像。彩色成像元件12不局限于CCD（电荷耦合器件）彩色成像元件，也可以是其他类型的成像元件，如CMOS（互补金属氧化物半导体）成像元件。

从彩色成像元件12读出的图像信号输入到图像处理单元14。图像处理单元14包括：相关双采样（CDS）电路，其去除包含在图像信号中的复位噪声；AGC电路，其放大图像信号并且将信号大小控制在某一水平；和A/D转换器。图像处理单元14对输入图像信号施加相关双采样处理并且放大图像信号，再把通过将该图像信号转换成数字图像信号而形成的RAW数据输出到图像处理单元16。

图像处理单元16包含白平衡校正电路、灰度校正电路、根据本发明的去镶嵌化处理电路（根据与单板式彩色成像元件12的彩色滤波器阵列相关联的RGB镶嵌图像来计算像素的所有RGB颜色信息（转换为去镶嵌化系统）的处理电路）、亮度/色差信号产生电路、轮廓校正电路、颜色校正电路等等。根据来自控制单元20的指令，图像处理单元16对从图像处理单元14输入的镶嵌图像的RAW数据应用所需的信号处理，以产生包含亮度数据（Y数据）和色差数据（Cr、Cb数据）的图像数据（YUV数据）。

对于静止图像，压缩/放大处理电路对图像处理单元16产生的图像数据施加符合JEPG标准的压缩处理。对于运动图像，压缩/放大处理电路对图像数据施加符合MPEG2标准的压缩处理。图像数据被记录在记录介质（存储卡）中并被输出和显示在诸如液晶显示器的显示设备（未示出）上。

稍后将描述图像处理单元16中的根据本发明的去镶嵌化处理电路的处理细节。

<彩色滤波器阵列的特征>：

彩色成像元件12的彩色滤波器阵列具有下述特征（1）、（2）和（3）。

{特征（1）}

图2是示出布置在彩色成像元件12上的彩色滤波器的彩色滤波器阵列的示意图。如图2所示，彩色成像元件12的彩色滤波器阵列包含基本阵列图案P（由粗框表示的图案），基本阵列图案P由对应于6×6像素的方阵列图案形成，并且基本图案P重复地布置在水平和垂直方向上。因此，彩色滤波器阵列包含以预定周期布置的R、G和B颜色的滤波器（R滤波器、G滤波器和B滤波器）。

这样，R滤波器、G滤波器和B滤波器按预定周期布置。因此，可以根据重复模式对从彩色成像元件12读出的R、G和B信号进行去镶嵌化处理等处理。

{特征（2）}

在如图2所示的彩色滤波器阵列中，R、G和B全部颜色的彩色滤波器布置在水平和垂直方向的线上。

图3示出了图2中的基本阵列图案P被分为4组3×3像素的状态。

如图3所示，基本阵列图案P可以理解为如下图案，其包含在水平和垂直方向的线上交替地布置的由实线框围绕的3×3像素的A阵列和由虚线框围绕的3×3像素的B阵列，如图4所示。

A和B阵列中的每一个都包含作为亮度像素布置在四角和中心处的G滤波器，并且两个对角线上都布置了G滤波器。在A阵列中，R滤波器布置在水平方向上，B滤波器布置在垂直方向上，二者均越过中心处的G滤波器。同时，在B阵列中，B滤波器布置在水平方向上，R滤波器布置在垂直方向上，二者均越过中心处的G滤波器。因此，尽管在A和B阵列中R和B滤波器之间的位置关系是相反的，但其余布置则相同。

{特征（3）}

图2所示的彩色滤波器阵列的基本阵列图案关于基本阵列图案中心（四个G滤波器的中心）点对称。如图3所示，基本阵列图案中的A阵列和B阵列也关于中心处的G滤波器点对称。

{特征（4）}

在图2所示的彩色滤波器阵列的基本阵列图案中，对应于基本阵列图案中R、G和B滤波器的R像素、G像素和B像素的数量分别为8像素、20像素、8像素。具体来说，RGB像素的数量比为2:5:2，并且最有助于获得亮度信号的G像素的像素数量的比例大于其他颜色R或B像素的像素数量的比例。

{在图像处理单元16的去镶嵌化处理电路中使用的加权平均滤波器}

图5是示出了在图像处理单元16的去镶嵌化处理电路中使用的加权平均滤波器的一个实施例的示意图。图5特别示出了加权平均滤波器的滤波器系数。

如图5所示，加权平均滤波器（第一实施例的加权平均滤波器）具有大小为9×9的核心，并且设置了图5所示的滤波器系数。

具体来说，对于加权平均滤波器的滤波器系数，从根据彩色成像元件12获得的镶嵌图案中提取9×9像素的局部区域，使得A阵列处于中心。提取与局部区域中的像素的颜色相对应的每个颜色的滤波器系数，并且计算每个颜色的滤波器系数之和。设置滤波器系数以使得RGB每个颜色的滤波器系数在水平和垂直方向的各条线上的总数的比例相等（1:1:1）。

例如，图5中最上面一行的滤波器系数为0，2，1，1，4，1，1，2和0。可以得出颜色总数为R=4，G=0+1+1+1+1+0=4，以及B=2+2=4，并且总数关系为4:4:4=1:1:1。此关系适用于滤波器系数的所有行和列（水平和竖直方向的线上）。

在加权平均滤波器中对滤波器系数加权，以使得当在分为3×3大小的每个区域中对滤波器系数进行比较时，中心处3×3滤波器系数最大，越过中心部分的水平和垂直3×3滤波器系数第二大，四角处3×3滤波器系数最小。

在加权平均滤波器中将滤波器系数设置为使得滤波器系数水平对称、垂直对称和点对称。

当基于具有上述构造的加权滤波器并且基于从镶嵌图像提取的9×9像素的局部区域中的像素的像素值来计算RGB的加权平均值时，不管水平和垂直方向输入的频率类型如何，基于RGB加权平均值的颜色中没有出现色偏，并且也没有出现由于高频波的交叠而引起的着色。

例如，当输入图6A所示的垂直条纹高频波时，每个颜色滤波器系数总数为32:32:32（见图6B），从色比可以得出该图像为黑白的。

{图像处理单元16的去镶嵌化处理电路进行的去镶嵌化处理}

下面说明通过图像处理单元16的去镶嵌化处理电路对RGB镶嵌图像应用去镶嵌化处理的方法。

如图5所示，从通过彩色成像元件12获得的镶嵌图案中提取9×9像素的局部区域以使得A阵列位于中心处。基于局部区域中的像素的像素值以及加权平均滤波器的滤波器系数来计算RGB每个颜色的加权平均值。具体来说，将局部区域中的像素的像素值乘以像素位置处的加权平均滤波器的滤波器系数。将每个颜色的相乘结果相加以计算颜色总数，并且颜色总数进一步被除以64以计算加权平均值。数字64为加权平均滤波器的RGB滤波器系数的总和。

根据计算出的RGB加权平均值来计算RGB加权平均值的比例（色比）。位于9×9像素的局部区域中的中心部分处的3×3像素（图5所示的粗框中的像素）被设置为去镶嵌化处理的目标像素，并且按照计算出的色比对目标像素的像素位置处的像素值进行插值以计算该像素位置处的其他像素的像素值。

具体来说，当计算出的RGB每个颜色的加权平均值为Rf，Gf和Bf，去镶嵌化处理的目标像素为G像素，并且像素值为G时，通过下述公式计算目标像素位置处的像素值R和B。

R=G×(Rf/Gf),B=G×(Bf/Gf) （1）

类似地，当去镶嵌化处理的目标像素为R像素，并且像素值为R时，通过下述公式计算目标像素位置处的G和B像素的像素值G和B。

G=R×(Gf/Rf),B=R×(Bf/Rf)（2）

当去镶嵌化处理的目标像素为B像素，并且像素值为B时，通过下述公式计算目标像素处G和R像素的像素值G和R。

G=B×(Gf/Bf),R=B×(Rf/Bf) （3）

在对于处在9×9像素局部区域中心部分处的3×3像素中的所有像素完成了计算RGB像素值的去镶嵌化处理时，把从镶嵌图像中提取的局部区域移位3×3像素并应用相同的处理。

如果将9×9像素的局部区域从图5所示的状态在水平和垂直方向上移位3个像素，则3×3像素B阵列位于移位后的9×9像素的局部区域的中心部分（见图4）。如上文所述，G滤波器的布置在A和B阵列中是相同的，仅是R和B滤波器的位置不同。同时，在加权滤波器中相同值被分配给位于对应于R滤波器的位置处以及对应于B滤波器的位置处的滤波器系数。因此在移位局部区域的同时可以在执行去镶嵌化处理时使用相同的加权平均滤波器。

滤波器器系数设置为使得在水平和垂直方向的线上RGB每个颜色的滤波器系数总数的比例相等。因此，当加权滤波器被应用于从彩色成像单元12获得的RGB镶嵌图像时，若基于加权平均滤波器计算RGB加权平均值，则不管在水平和垂直方向上输入的频率类型如何，都能够准确地表示基于RGB加权平均值的局部区域的颜色。基于RGB加权平均值的颜色执行去镶嵌化处理，并且可以控制失真颜色的产生。因此，在光学系统中从入射平面到成像平面的光路上，并不需要布置光学低通滤波器来控制失真颜色的产生。即使应用了光学低通滤波器，也能够应用高频成分截止效应较小从而防止产生失真颜色的滤波器，并且可以阻止分辨率减小。

在该实施例中，基于RGB的加权平均值的色比对目标像素的像素位置处的像素值进行插值，以计算目标位置处其他颜色的像素值。然而，布置不局限于此，还可以基于RGB的加权平均值之间的色差对目标像素的像素值进行插值以计算其他颜色的像素值。

具体来说，当RGB每个颜色的加权平均值为Rf，Gf和Bf，去镶嵌化处理的目标像素为G像素，并且像素值为G时，通过下述公式计算目标像素位置处的像素值R和B。

R=G+(Rf-Gf),B=G+(Bf-Gf) （4）

类似地，当去镶嵌化处理的目标像素为R像素，并且像素值为R时，通过下述公式计算目标像素位置处G和B像素的像素值G和B。

G=R+(Gf-Rf),B=R+(Bf-Rf) （5）

当去镶嵌化处理的目标像素为B像素，并且像素值为B时，通过下述公式计算目标像素位置处的G和R像素的像素值G和R。

G=B+(Gf-Bf),R=B+(Rf-Bf) （6）

{彩色成像元件和加权平均滤波器的第二实施例}

图7是示出了本发明中应用的彩色成像元件和加权平均滤波器的第二实施例的示意图。图7特别示出了布置在彩色成像元件上的彩色滤波器的一种彩色滤波器阵列，以及应用于该彩色滤波器阵列的加权平均滤波器的滤波器系数。

如图7所示，在第二实施例的彩色成像元件的彩色滤波器阵列中，一个水平线包含RGBRGBRGB……，下一个水平线包含GBRGBRGBR……，再下一个水平线包含BRGBRGBRG……，并且如此重复下去。

更具体地说，彩色滤波器阵列包含按预定周期布置的R、G和B颜色的滤波器（R滤波器、G滤波器和B滤波器）。

如图7所示，彩色滤波器阵列包含布置在水平和垂直方向的线上的所有R、G和B颜色的滤波器。

这样，第二实施例的彩色成像元件的彩色滤波器阵列包括与第一实施例的彩色成像元件12的彩色滤波器阵列的特征（1）和（2）相同的特征。

同时，应用于彩色成像元件的第二实施例的加权平均滤波器具有6×6大小的核心，其如图7的粗框中所示，并且设置了图7所示的滤波器系数。

具体来说，对于第二实施例的加权平均滤波器的滤波器系数，从根据第二实施例的彩色成像元件获得的镶嵌图案中提取6×6像素的局部区域。与局部区域中的像素的颜色相对应地提取每个颜色的滤波器系数，并且计算每个颜色的滤波器系数之和。设置滤波器系数，使得在水平和垂直方向的线上RGB每个颜色的滤波器系数总数的比例相等（1:1:1）。

例如，图7中最上面一行的滤波器系数为0，1，2，2，1和0。可以得出颜色总数为R=0+2=2，G=1+1=2，B=2+0=2，并且总数关系为2:2:2=1:1:1。此关系适用于滤波器系数的所有行和列（水平和垂直方向上的线）。

对加权平均滤波器中的滤波器系数加权，以使得当滤波器系数在分为2×2大小的每个区域中进行比较时，中心部分处的2×2的滤波器系数最大，越过中心部分的水平和垂直2×2的滤波器系数第二大，四角处2×2的滤波器系数最小。

在加权平均滤波器中滤波器系数被设置为水平对称、垂直对称和点对称。

在基于具有上述结构的加权平均滤波器以及基于从镶嵌图像提取的6×6像素的局部区域中的像素的像素值来计算RGB的加权平均值时，不管水平和垂直方向上输入的频率类型如何，基于RGB加权平均值的颜色中都不会出现色偏，并且不会出现由高频波的交叠而引起的着色。

如第一实施例中一样，基于从镶嵌图像提取的6×6像素的局部区域中的像素的像素值和加权平均滤波器的滤波器系数，计算RGB的加权平均值。可以基于计算出的RGB加权平均值之间的色比或色差对位于6×6像素的局部区域中的中心部分处的2×2像素的目标像素的像素值进行插值，以计算其他颜色的像素值。

当对处在6×6像素的局部区域中的中心部分处的2×2像素中的所有像素都完成了用于计算RGB像素值的去镶嵌化处理时，把从镶嵌图像中提取的局部区域在水平和垂直方向上移位2个像素并施加同样的处理。此时可以使用相同的加权平均滤波器。

{彩色成像元件和加权平均滤波器的第三实施例}

图8是示出了应用于本发明的彩色成像元件的第三实施例示意图。图8特别示出了布置在彩色成像元件上的彩色滤波器的彩色滤波器阵列。

图9示出了彩色成像元件中应用的加权平均滤波器的滤波器系数。

如图8所示，第三实施例的彩色成像元件的彩色滤波器阵列包含如下基本阵列图案（粗框表示的图案），其由对应于4×4像素的方形阵列图案形成，并且该基本阵列图案重复布置在水平和垂直方向上。因此，彩色滤波器阵列包含以预定周期布置的R、G和B颜色的滤波器（R滤波器、G滤波器和B滤波器）。

彩色滤波器阵列包含布置在水平和垂直方向的线上的RGB全部颜色的滤波器。

彩色滤波器阵列的基本阵列图案关于基本阵列图案的中心呈点对称。

此外，在图8所示的彩色滤波器阵列的基本阵列图案中，与基本阵列图案中的R、G和B滤波器对应的R像素、G像素和B像素的数量分别为4像素、8像素、4像素。具体来说，RGB像素数量比为1:2:1，并且最有助于获得亮度信号的G像素的像素数量比例大于其他颜色的R和B像素的每一个的像素数量的比例。

这样，第三实施例的彩色成像元件的彩色滤波器阵列具有与第一实施例的彩色成像元件12中彩色滤波器阵列的特征（1）、（2）、（3）和（4）相同的特征。

同时，应用于彩色成像元件的第三实施例的加权平均滤波器具有6×6大小的核心，如图9A和9B的粗框所示，并且设置了如图9A和9B所示的滤波器系数。

具体来说，对于第三实施例的加权平均滤波器的滤波器系数，从根据第三实施例的彩色成像元件获得的镶嵌图案中提取6×6像素的局部区域。提取与局部区域中的像素的颜色对应的每个颜色的滤波器系数，并且计算每个颜色的滤波器系数总数。设置滤波器系数，使得在水平和垂直方向的线上RGB每个颜色的滤波器系数总数的比例相等（1:1:1）。

例如，图9A中最上面一行的滤波器系数为2，1，2，4，2和1。可以得出颜色总数为R=4，G=1+2+1=4，B=2+2=4，并且总数关系为4:4:4=1:1:1。此关系适用于滤波器系数的所有行和列（水平和垂直方向上的线）。

对加权平均滤波器中的滤波器系数加权，使得当滤波器系数在分为2×2大小的每个区域中进行比较时，中心部分处的2×2的滤波器系数最大，越过中心部分的水平和垂直2×2的滤波器系数第二大，四角处2×2的滤波器系数最小。

如第一实施例中一样，基于从镶嵌图像提取的6×6像素的局部区域中的像素的像素值和加权平均滤波器的滤波器系数，来计算RGB加权平均值。可以基于计算出的RGB加权平均值之间的色比或色差，对位于6×6像素的局部区域中的中心部分处的2×2像素的目标像素的像素值进行插值，以计算其他颜色的像素值。

当对处在6×6像素的局部区域中的中心部分处的2×2像素中的所有像素都完成了用于计算RGB像素值的去镶嵌化处理时，把从镶嵌图像提取的局部区域在水平和垂直方向上移位2个像素并施加同样的处理。此时可以使用不同的加权平均滤波器。

具体来说，如图9A所示，当在从镶嵌图像中提取的6×6像素的局部区域中的中心部分处的2×2像素的左上和右下处存在G像素时，使用具有图9A所示的滤波器系数的加权平均滤波器。如图9B所示当从镶嵌图像提取的局部区域在水平方向上移位两个像素，并且在局部区域的中心部分处的2×2像素的左上和右下处存在G像素时，使用具有图9B所示的滤波器系数的加权平均滤波器。

{其他}

虽然在各实施例中描述了包含具有RGB三原色彩色滤波器的彩色成像单元的彩色成像设备，但本发明并非局限于此。本发明也可以应用于包括具有四种颜色彩色滤波器的彩色成像设备，其中包括RGB三原色以及另一种颜色（如翠绿色（E））。

本发明也可以应用于包含具有四种互补颜色彩色滤波器的彩色成像元件的彩色成像设备，这四种互补颜色包括与RGB三原色互补的C（青色）、M（紫红色）和Y（黄色）以及G。

显然本发明并非局限于实施例，在不背离本发明精神的范围内可以做出各种修改。

附图标记列表

10：光学成像系统

12：彩色成像元件

14：图像处理单元

16：图像处理单元

18：驱动单元

20：控制单元

Claims

1.一种彩色成像设备，包括：

单板式的彩色成像元件，其包含在由布置在水平和垂直方向上的光电转换元件所形成的多个像素上布置的彩色滤波器，所述彩色滤波器具有这样的彩色滤波器阵列：其中在水平和垂直方向上的每条线上周期性地布置了所有颜色的滤波器；

图像获取单元，其从所述彩色成像元件获取镶嵌图像；

具有预定滤波器系数的加权平均滤波器，其中从对应于加权平均滤波器的镶嵌图像中提取的局部区域中的各像素的颜色与滤波器系数之间的关系被设置为使得在水平和垂直方向的各条线上的每个颜色的滤波器系数的总和的比例相等；

加权平均计算单元，其基于所述加权平均滤波器的滤波器系数和从对应于所述加权平均滤波器的镶嵌图像中提取的局部区域中的各像素的像素值来计算每个颜色的加权平均值；

去镶嵌化处理单元，其计算在所述加权平均滤波器的中心部分的去镶嵌化处理的目标像素的像素位置处的其他颜色的像素值，并且基于所述目标像素的颜色与所述其他颜色的计算出的加权平均值之间的色比或色差来对所述目标像素的像素值进行插值，以计算所述其他颜色的像素值；

控制单元，其在将从对应于所述加权平均滤波器的镶嵌图像中提取的局部区域每移位去镶嵌化处理的一个目标像素单位时，重复地操作所述加权平均计算单元和所述去镶嵌化处理单元。

2.根据权利要求1的彩色成像设备，其中

所述彩色成像元件的彩色滤波器阵列包含基本阵列图案，所述基本阵列图案包括与最有助于获得亮度信号的第一颜色相对应的第一滤波器和与除第一颜色外的两个或以上的第二颜色相对应的第二滤波器，所述基本阵列图案重复地布置在水平和垂直方向上，并且

对应于所述第一滤波器的第一颜色的像素数量的比例与对应于所述第二滤波器的第二颜色中的每个颜色的像素数量的比例是不同的。

3.根据权利要求2的彩色成像设备，其中

对应于所述第一滤波器的第一颜色的像素数量的比例大于对应于所述第二滤波器的第二颜色中的每个颜色的像素数量的比例。

4.根据权利要求1的彩色成像设备，其中

所述加权平均滤波器是被加权以增加中心部分处的滤波器系数的滤波器。

5.根据权利要求1的彩色成像设备，其中

所述加权平均滤波器具有水平对称、垂直对称和点对称的滤波器系数。

6.根据权利要求1的彩色成像设备，其中

所述彩色滤波器包含按预定的彩色滤波器阵列布置的对应于红（R）、绿（G）和蓝（B）颜色的R滤波器、G滤波器和B滤波器，其中

当由所述加权平均计算单元计算的对应于R滤波器、G滤波器和B滤波器的R、G和B像素的像素值的每个颜色的加权平均值分别为Rf、Gf和Bf时，

若去镶嵌化处理的目标像素为G像素，并且像素值为G，则所述去镶嵌化处理单元通过下面公式计算目标像素的位置处的R和B像素的像素值R和B

R=G×(Rf/Gf)，以及B=G×(Bf/Gf)，其中

若去镶嵌化处理的目标像素为R像素，并且像素值为R，则所述去镶嵌化处理单元通过下面公式计算目标像素的位置处的G和B像素的像素值G和B

G=R×(Gf/Rf)，以及B=R×(Bf/Rf)，其中

若去镶嵌化处理的目标像素为B像素，并且像素值为B，则所述去镶嵌化处理单元通过下面公式计算目标像素的位置处的G和R像素的像素值G和R

G=B×(Gf/Bf)，以及R=B×(Rf/Bf)。

7.根据权利要求2的彩色成像设备，其中

所述彩色滤波器包含按预定彩色滤波器阵列布置的对应于红（R）、绿（G）和蓝（B）颜色的R滤波器、G滤波器和B滤波器，其中

R=G×(Rf/Gf)，以及B=G×(Bf/Gf)，其中

G=R×(Gf/Rf)，以及B=R×(Bf/Rf)，其中

G=B×(Gf/Bf)，以及R=B×(Rf/Bf)。

8.根据权利要求3的彩色成像设备，其中

R=G×(Rf/Gf)，以及B=G×(Bf/Gf)，其中

G=R×(Gf/Rf)，以及B=R×(Bf/Rf)，其中

G=B×(Gf/Bf)，以及R=B×(Rf/Bf)。

9.根据权利要求4的彩色成像设备，其中

R=G×(Rf/Gf)，以及B=G×(Bf/Gf)，其中

G=R×(Gf/Rf)，以及B=R×(Bf/Rf)，其中

G=B×(Gf/Bf)，以及R=B×(Rf/Bf)。

10.根据权利要求5的彩色成像设备，其中

R=G×(Rf/Gf)，以及B=G×(Bf/Gf)，其中

G=R×(Gf/Rf)，以及B=R×(Bf/Rf)，其中

G=B×(Gf/Bf)，以及R=B×(Rf/Bf)。

11.根据权利要求1的彩色成像设备，其中

R=G+(Rf-Gf)，以及B=G+(Bf-Gf)，其中

G=R+(Gf-Rf)，以及B=R+(Bf-Rf)，其中

G=B+(Gf-Bf)，以及R=B+(Rf-Bf)。

12.根据权利要求2的彩色成像设备，其中

R=G+(Rf-Gf)，以及B=G+(Bf-Gf)，其中

G=R+(Gf-Rf)，以及B=R+(Bf-Rf)，其中

G=B+(Gf-Bf)，以及R=B+(Rf-Bf)。

13.根据权利要求3的彩色成像设备，其中

R=G+(Rf-Gf)，以及B=G+(Bf-Gf)，其中

G=R+(Gf-Rf)，以及B=R+(Bf-Rf)，其中

G=B+(Gf-Bf)，以及R=B+(Rf-Bf)。

14.根据权利要求4的彩色成像设备，其中

R=G+(Rf-Gf)，以及B=G+(Bf-Gf)，其中

G=R+(Gf-Rf)，以及B=R+(Bf-Rf)，其中

G=B+(Gf-Bf)，以及R=B+(Rf-Bf)。

15.根据权利要求5的彩色成像设备，其中

R=G+(Rf-Gf)，以及B=G+(Bf-Gf)，其中

G=R+(Gf-Rf)，以及B=R+(Bf-Rf)，其中

G=B+(Gf-Bf)，以及R=B+(Rf-Bf)。

16.根据权利要求1至5中任意一个的彩色成像设备，其中

所述彩色滤波器包含按预定的彩色滤波器阵列布置的对应于红（R）、绿（G）和蓝（B）颜色的R滤波器、G滤波器和B滤波器，

所述滤波器阵列包括：对应于3×3像素的第一阵列，所述第一阵列包含布置在中心和四角处的G滤波器、越过中心处的G滤波器垂直地布置的B滤波器、和越过中心处的G滤波器水平地布置的R滤波器；以及对应于3×3像素的第二阵列，所述第二阵列包含布置在中心和四角处的G滤波器、越过中心处的G滤波器垂直地布置的R滤波器、和越过中心处的G滤波器水平地布置的B滤波器，其中所述第一阵列和所述第二阵列在水平和垂直方向上交替地布置，

所述加权平均滤波器具有9×9大小的核心，并且

所述控制单元在顺序地移位所述加权平均滤波器以将所述第一阵列和所述第二阵列中的一个设置于中心时，重复地操作所述加权平均计算单元和所述去镶嵌化处理单元。

17.根据权利要求6至15中任意一个的彩色成像设备，其中

所述加权平均滤波器具有9×9大小的核心，并且