CN101998127B - 信号处理设备、成像设备及信号处理方法 - Google Patents

Abstract

本发明公开了信号处理设备、成像设备及信号处理方法。该信号处理设备包括：预处理单元，向感兴趣像素和具有与感兴趣像素相同的颜色分量的像素的位置内插G颜色分量以产生第一G内插信号；邻近G像素G色差和R/B像素产生单元，在感兴趣像素和具有与感兴趣像素相同颜色分量的像素的位置上产生第一R-G/B-G色差信号，在邻近G像素的位置上产生第二R-G/B-G色差信号，并且向邻近G像素的位置内插R/b颜色分量；G色差重构处理单元，在感兴趣像素的位置上重构第三R-G/B-G色差信号；以及G色差内插处理单元，向预定像素位置内插R-G/B-G色差信号。

Description

信号处理设备、成像设备及信号处理方法

技术领域

本发明涉及信号处理设备、成像设备及信号处理方法。具体地，本发明涉及例如向通过滤色器(color filter)阵列获得的每个像素信号内插色彩信息的技术。

背景技术

在单板型成像设备中，使用了滤色器阵列以将通过镜头获得的对象光分离为R(红)、G(绿)和B(蓝)三原色。拜耳阵列(Bayer array)通常被用作滤色器阵列。拜耳阵列的示例在图13中示出。在拜耳阵列中，亮度信号以高速率形成的G像素按棋盘格状(checkerwise)排列，并且R像素和B像素在阵列的其余部分中分别按棋盘格状排列。

由于每个像素仅可以获取R、G和B中一种颜色的数据，因此通过利用周围像素的输出来执行内插计算而获得未被获得的其它颜色的数据。在图13中的R33位置的情况中，缺失的G分量和B分量通过计算来内插。

作为内插的方法，公开了这样的方法：在位于内插对象的像素(下面也称为感兴趣像素)邻近的像素中，仅利用像素被估计为与感兴趣像素具有较强相关性的方向上的像素来执行内插(例如，参考J.F.Hamilton和J.E.Adams的美国专利No.5629734，″Adaptive color plane interpolation insingle sensor color electronic camera″)。在该方法中，位于感兴趣像素邻近的每个像素的像素值与感兴趣像素的像素值相比的改变量通常被用作表示相关性强度的指标(barometer)。因此，以如下方式执行内插：像素值的改变量较小的方向被当作高度相关的方向。

像素值的改变量通常是基于G像素值的改变量来估计的。这是因为由于G像素以最大数目被排列的拜耳阵列使得G像素比R像素和B像素具有更多的信息量。即，通过基于G像素值的改变量确定强相关方向，可以提高确定强相关方向的精确度。

然而，在感兴趣像素位于图像的纹理部分或角落上的情况中，通过基于G像素值的改变量进行的确定不能正确地估计出与感兴趣像素具有强相关性的像素所在的方向(下面称为相关方向)。这是因为在角落或纹理部分，存在多个G像素值的改变量较高的方向。

D.Cok的美国专利4 642 678(1987)″Signal Processing Method andApparatus for Producing Interpolated Chrominance Values In a Sampled ColorImage Signal″公开了一种方法，该方法不仅使用特定原色(例如G)的空间相关性而且使用原色之间的相关性。该方法是基于如下假定的：“在局部区域中颜色分量不会突然改变”(恒定色调假定)。即，由于不同原色之间的相关性，因此R(或B)(下面称为R/B)的改变量与G的改变量(R/B的比率以及G的比率(下面称为色彩比率))几乎彼此相等。基于此假设，产生围绕感兴趣像素的每个像素的色彩比率，并且从周围像素的色彩比率来估计感兴趣像素的色彩比率，以估计出感兴趣像素的内插值。

此外，公开了这样的方法：取决于G像素值的改变量和感兴趣像素(R或B)的像素值的改变量来对被估计为具有强相关性的周围像素的颜色分量进行大幅加权，以估计出感兴趣像素的颜色分量(例如，参考HA.Chang和H.Chen：″Directionally Weighted Color Interpolation for DigitalCameras，″Circuits and Systems，2005.ISCAS 2005.IEEE InternationalSymposium on 23-26 May 2005，Page(s)：6284-6287 Vol.6，以及日本未实审专利申请公报No.2006-174485)。根据该方法，即使在色彩突然改变的边缘中也可以在执行色彩内插(color interpolation)的同时抑制不自然的失真(伪色)。

然而，在上述方法中，检测可能是利用单色像素的像素值的改变量来不太精确地执行的，并且估计是利用周围像素的不太精确的颜色分量来执行的。因此，在具有高频率的纹理部分等中，当未基于正确的估计来产生(内插)周围像素值时，其不利结果是降低了估计感兴趣像素的颜色分量的精确度。

因此，公开了这样的方法，其中，在这样的色彩内插处理之后重复相关方向检测，由此提高估计感兴趣像素的周围像素的颜色分量的精确度，并且以更高的精确度来检测相关方向从而重构(re-constitute)色彩内插图像(例如，参考R.Kimmel，″Demosaicing：Image reconstruction from CCDsamples，″IEEE Trans.Image Processing，vol.8，pp.1221-1228，1999)。

发明内容

然而，在R.Kimmel，″Demosaicing：Image reconstruction from CCDsamples，″IEEE Trans.Image Processing，vol.8，pp.1221-1228，1999所公开的方法中，数据量和计算量大幅增加，这是因为要针对通过色彩内插生成的色彩内插图像重复相关方向检测。此外，相关方向是利用色彩内插之后的图像来检测的。因此，当通过色彩内插获得的像素值与原始图像的像素值之间的差异很大时，不能正确地确定相关方向。即，在这样的情况中，不利结果是未能提高色彩内插的精确度。

希望提供即使在图像的边缘部分等中也可以精确地执行色彩内插而不增加数据量和计算量的信号处理设备、成像设备及信号处理方法。

在本发明的一个实施例中，像素信号中缺失的像素值(颜色分量)被内插。像素信号由包括二维排列的多个像素的成像元件获得，在多个像素上按预定阵列交替排列了R、G和B原色的滤色器。即，根据本发明实施例的信号处理设备包括预处理单元、邻近G像素G色差和R/B像素产生单元、G色差重构处理单元、G色差内插处理单元和RGB产生单元。

预处理单元向感兴趣像素的位置并且向具有与感兴趣像素相同的颜色分量的像素位置内插G颜色分量，以产生第一G内插信号，感兴趣像素具有R颜色分量和B颜色分量中的一者并且位于预定像素位置上。邻近G像素G色差和R/B像素产生单元首先通过利用第一G内插信号在感兴趣像素的位置上以及具有与感兴趣像素相同颜色分量的像素位置上产生第一R-G色差信号和第一B-G色差信号中的一者。然后，邻近G像素G色差和R/B像素产生单元通过利用第一R-G色差信号和第一B-G色差信号中的一者来在位于感兴趣像素邻近的邻近G像素的位置上产生第二R-G色差信号和第二B-G色差信号中的一者。此外，邻近G像素G色差和R/B像素产生单元通过利用第二R-G色差信号和第二B-G色差信号中的一者来在邻近G像素的位置上内插R颜色分量和B颜色分量中的一者。

G色差重构处理单元通过利用由邻近G像素G色差和R/B像素产生单元进行了内插的R分量和B分量中的一者来在感兴趣像素的位置上重构第三R-G色差信号和第三B-G色差信号中的一者。

G色差内插处理单元通过利用由G色差重构处理单元重构出的第三R-G色差信号和第三B-G色差信号中的一者来向预定像素位置内插R-G色差信号和B-G色差信号中的一者。

根据上面的结构，在感兴趣像素周围产生通过组合多个G色差信号(R-G色差信号或B-G色差信号)形成的G色差信号，并且基于所产生的G色差信号来重构预定像素位置上的G色差。

根据上述“恒定色调假定”，即使在所产生的G色差信号的精确度不足时，也可以通过收集并平均多个G色差信号来获得更可靠的G色差信号。因此，上面的结构使得即使在G色差信号的精确度容易降低的边缘部分等中也可以精确地执行色彩内插。

附图说明

图1是示出根据本发明实施例的成像设备的内部结构的示例的框图；

图2是示出根据本发明实施例的色彩内插处理单元的内部结构示例的框图；

图3A至3D示出了输入到本发明实施例的G色差内插处理单元中的像素阵列的示例，图3A示出了感兴趣像素为R的情况的阵列的示例，图3B示出了在感兴趣像素为R的情况中使用的G色差阵列的示例，图3C示出了感兴趣像素为Gr的情况的阵列的示例，并且图3D示出了在感兴趣像素为Gr的情况中使用的G色差阵列；

图4是示出根据本发明实施例的G色差重构单元的内部结构示例的框图；

图5A至5D是示出根据本发明实施例的预处理单元的内部结构示例的框图；

图6是示出根据本发明实施例的邻近G像素G色差和R/B像素产生单元的内部结构示例的框图；

图7是示出根据本发明实施例的用于G像素的G色差和R/B像素产生单元的内部结构示例的框图；

图8是示出根据本发明实施例的G色差重构处理单元的内部结构示例的框图；

图9是示出根据本发明实施例的G色差重构单元的处理示例的流程图；

图10是示出根据本发明实施例的邻近G像素G色差和R/B像素产生单元的处理示例的流程图；

图11是示出根据本发明实施例的G色差重构处理单元的处理示例的流程图；

图12A至12C是示出根据本发明实施例的其它示例的滤色器阵列的说明图，图12A示出了蜂窝阵列的示例，图12B示出了ClearVid CMOS传感器中的像素阵列示例，并且图12C示出了像素阵列在ClearVid CMOS感测器中的应用；以及

图13是示出相关技术的拜耳阵列的结构示例的说明图。

具体实施方式

现在将以如下顺序参考附图来描述根据本发明实施例的信号处理设备、成像设备和视频信号处理方法。

1.成像设备的结构示例

2.色彩内插处理单元的结构示例

3.G色差重构单元的结构示例

4.G色差重构单元的操作示例

1.成像设备的结构示例

在本发明的实施例中，将描述根据本发明实施例的信号处理设备被应用于诸如相机之类的成像设备的情况来作为示例。图1示出了根据本实施例的成像设备100的相机块内部的结构示例。图1所示的相机块包括镜头1、滤色器2、成像元件3、模数转换单元4(下面称为A/D转换器)、校正处理单元5、色彩内插处理单元6和图像处理单元7。

镜头1在成像元件3的成像表面(未示出)上形成对象的图像。成像元件3是电荷耦合器件(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器，并且是由二维排列的多个光电转换元件组成的。每个光电转换元件构成一像素，并且每个光电转换元件在成像表面上的位置对应于像素位置。

滤色器2被布置在成像元件3的二维排列的像素上，并且成像元件3通过滤色器2接收每个像素的一种颜色的信号值。滤色器2具有如图13所示的阵列那样的拜耳阵列，并且例如假设滤色器具有五个像素的高度且五个像素的宽度。滤色器的高度和宽度分别与成像表面的垂直方向和水平方向相对应。

A/D转换器4将从成像元件3输出的信号转换为数字信号以便将数字信号输出给校正处理单元5。校正处理单元5执行校正处理，例如，校正由光学系统和成像系统的特性引起的亮度不均匀的阴影校正以及校正由成像元件3的缺陷引起的像素缺陷的像素缺陷校正。

色彩内插处理单元6对在校正处理单元5处经过校正的每种颜色的信号执行内插。将在后面详细描述色彩内插处理单元6。图像处理单元7对从色彩内插处理单元6输出的信号执行伽马校正、轮廓增强等。

2.色彩内插处理单元的结构示例

现在描述本实施例的色彩内插处理单元6的结构示例。本实施例的色彩内插处理单元6执行下面的处理。

(1)向没有G像素值的像素(R/B像素；包括感兴趣像素)的位置内插G像素值(第一G内插信号)。

(2)计算内插后的G像素值(下面也称为内插值)与R/B像素的像素值之间的差异，以在没有G像素值的像素位置上产生G色差(第一R-G/B-G色差信号)。

(3)在G像素中产生G色差(第二R-G/B-G色差信号)，以在G像素中产生R/B像素的像素值。

(4)通过利用在G像素中产生的R/B像素的像素值来重构感兴趣像素的G色差(第三R-G/B-G色差信号)。

(5)通过利用重构出的G色差来内插没有R/B像素值的像素的G色差。

(6)计算G色差，并且在空间上内插该G色差，以便通过利用将被内插的像素的G色差以及G像素值来获得R、G和B的像素值，或者通过利用R/B像素值以及G色差来获得R、G和B的像素值。

图2是示出色彩内插处理单元6的结构示例的框图。色彩内插处理单元6包括G色差重构单元600、存储器单元601、以及执行上面提到的处理(5)的G色差内插处理单元602。色彩内插处理单元6还包括RGB延迟处理单元603、存储器单元604、RGB延迟处理单元605、以及执行上面提到的处理(6)的RGB产生单元606。

G色差重构单元600执行上述处理(1)至(4)。后面将参考图4及后续附图描述处理的细节。然而，通过G色差重构单元600执行的处理(1)至(4)，当感兴趣像素为R时，输出G色差V(R-G)，并且当感兴趣像素为B时，输出G色差U(B-G)。

存储器单元601例如由多个行存储器(line memory)构成。存储器单元601临时存储从G色差重构单元600输出的G色差，并在预定定时处输出该G色差。G色差内插处理单元602接收从存储器单元601输出的G色差，并且对没有R/B像素值的像素的G色差执行内插处理，以将经内插的色差输出给RGB产生单元606。

图3A示出了感兴趣像素为R33的情况的像素阵列的示例。在图3A所示阵列中，将像素种类和像素位置表示为Xij。像素种类(R、Gr或Gb，或B)被指派给X，垂直方向上的像素位置被指派给i，并且水平方向上的像素位置被指派给j。Gr表示存在于排列有R像素的行上的G，Gb表示存在于排列有B像素的行上的G。在下面的描述中，诸如R33之类的标号不仅用于表示像素位置而且用于表示像素值。

图3B示出了在感兴趣像素为R33的情况中从存储器单元601输出的每个G色差的示例。在此情况中，感兴趣像素的G色差V33和G色差U33例如是利用下式计算出的。

V33＝在G色差重构单元600处重构出的G色差(下面称为G色差V′33)

U33＝(在G色差重构单元600处重构出的G色差U22′+U′24+U′42+U′44)/4

在感兴趣像素为B的情况中，同样，G色差U和G色差V以类似方式计算。

图3C示出了感兴趣像素为Gr33的情况中的像素阵列的示例。在此情况中，感兴趣像素的G色差V33和G色差U33例如利用下式来计算。

V33＝(V32′+V34′)/2

U33＝(U32′+U43′)/2

在感兴趣像素为Gb的情况中，同样，G色差U和G色差V以类似方式计算。这里，G色差的计算方法不限于此方法，而是可以用其它方法来计算G色差。

返回来参考图2，RGB产生单元606执行上述处理(6)。即，RGB产生单元606通过利用从G色差内插处理单元602输出的每个G色差以及从RGB延迟处理单元605输出的R、G和B中的每一者的像素值，来产生R、G和B中的每一者的像素值。例如，在如图3A所示的感兴趣像素为R的情况中，通过利用下式来产生R、G和B中的每一者的像素值。

R＝R33

G＝R33-V33

B＝U33+G33

在感兴趣像素为B的情况中，同样，R、G和B中的每一者的像素值以类似方式计算。

在如图3C所示的感兴趣像素为Gr的情况中，通过利用下式来产生R、G和B中的每一者的像素值。

R＝V33+Gr33

G＝Gr33

B＝U33+Gr33

在感兴趣像素为Gb的情况中，同样，R、G和B中的每一者的像素值以类似方式计算。

RGB延迟处理单元603延迟R、G和B中的每一者的像素值的输出，以使得将R、G和B中的每一者的像素值提供给存储器单元604的定时与将G色差从G色差重构单元600提供给存储器单元601的定时相匹配。

存储器单元604临时存储从RGB延迟处理单元603输出的R、G和B中的每一者的像素值，并将像素值输出给RGB延迟处理单元605。RGB延迟处理单元605延迟R、G和B中的每一者的像素值的输出，以使得将R、G和B中的每一者的像素值提供给RGB产生单元606的定时与将G色差从G色差内插处理单元602提供给RGB产生单元606的定时相匹配。3.G色差重构单元的结构示例

现在将参考图4详细描述G色差重构单元600。图4是示出G色差重构单元600的结构示例的框图。G色差重构单元600包括预处理单元610、邻近G像素G色差和R/B像素产生单元620、以及G色差重构处理单元630。

预处理单元610执行上述处理(1)。即，预处理单元610通过利用由成像元件3的每个像素经由滤色器2获得的R、G和B中的每一者的像素信号作为输入，来向没有G像素值的像素(包括感兴趣像素)内插G像素值。然后，预处理单元610输出由成像元件3获得的G像素值以及通过内插产生的G像素值(下面也称为内插值)。此外，预处理单元610延迟从成像元件3接收到的R/B像素信号，并临时存储R/B像素信号，以使得G像素信号与R/B像素信号的相位相匹配。

邻近G像素G色差和R/B像素产生单元620执行上述处理(2)至(4)。即，邻近G像素G色差和R/B像素产生单元620通过利用从预处理单元610输出的R/B像素值和G像素值，来在位于感兴趣像素邻近的多个G像素(下面称为邻近G像素)中产生G色差。此外，邻近G像素G色差和R/B像素产生单元620通过利用从预处理单元610接收到的所产生的G色差和G内插值，来在邻近G像素中产生R/B像素值。

G色差重构处理单元630执行上述处理(5)。即，G色差重构处理单元630通过利用由邻近G像素G色差和R/B像素产生单元620产生的邻近G像素的R/B像素值，来重构感兴趣像素的G色差。此时，在感兴趣像素的G色差重构中，G色差重构处理单元630对位于G像素值的改变量较小的方向上的像素的像素值进行加权。

色彩内插处理单元内部的每个块的结构示例

现在将参考图5A至图8详细描述构成上述色彩内插处理单元6的每个块。

图5A是预处理单元610的结构示例的框图。预处理单元610包括相关方向确定G内插处理单元611、存储器单元612、R/B延迟处理单元613以及存储器单元和R/B选择处理单元614。

下面的描述基于图5B所示的阵列的每个像素值被输入到预处理单元610中的情况的假设。即，将描述围绕R33的5×5像素阵列的每个像素值的情况作为示例。这里，在感兴趣像素为B像素的情况中，也执行类似处理。

当所输入像素具有G像素值时，预处理单元610中的相关方向确定G内插处理单元611将G像素值按原样输出给存储器单元612。另一方面，当所输入像素不具有G像素值时，相关方向确定G内插处理单元611内插G像素值，并且将内插值输出给存储器单元612。G像素值的内插是通过利用位于与感兴趣像素高度相关的方向上的像素的像素值来执行的。

G像素值的内插例如利用下面的表达式来执行。下面的表达式表示如图5B所示那样排列的每个像素被输入的情况中的处理。在图5B中，i表示感兴趣像素的垂直方向上的坐标，j表示水平方向上的坐标。此外，像素的种类用R、G和B来表示。在下面的表达式中，“DH”表示在水平方向上与感兴趣像素R_ij相邻的每个像素与感兴趣像素R_ij之间的改变量，“DV”表示在垂直方向上与感兴趣像素R_ij相邻的每个像素与感兴趣像素R_ij之间的改变量，并且g_ij表示G的内插值。

首先，分别利用下面的表达式1和表达式2来计算水平方向上的改变量DH和垂直方向上的改变量DV。

DH＝|-R_i，j-2+2R_i，j-R_i，j+2|+|G_i，j-1-G_i，j+1|…(1)

DV＝|-R_i-2，j+2R_i，j-R_i+2，j|+|G_i-1，j-G_i+1，j|…(2)

然后，利用下面的表达式计算内插值g_ij。

如果DH＜DV，则

$g_{i,j}=\frac{G_{i,j-1}+G_{i,j+1}}{2}+\frac{-R_{i,j-2}+{2R}_{i,j}-R_{i,j+2}}{2}$

如果DH＞DV，则

$g_{i,j}=\frac{G_{i-1,j}+G_{i+1,j}}{2}+\frac{-R_{i-1,j}+{2R}_{i,j}-R_{i+2,j}}{2}$

如果DH＝DV，则

$g_{i,j}=\frac{G_{i-1,j}+G_{i,j-1}+G_{i,j+1}+G_{i+1,j}}{2}+\frac{-R_{i-2,j}-R_{i,j-2}+{4R}_{i,j}-R_{i,j+2}-R_{i+2,j}}{2}$

这里，上面的表达式表示内插值的计算示例，并且内插值的计算不限于上面的方法。例如，可以采用这样的方法：仅利用G像素值来计算感兴趣像素的上下左右四个方向上的G像素值的改变量，并且位于被确定为高度相关方向的方向上的G像素的像素值的加权平均被用作内插值。由此，也可以采用其它方法。尽管可应用任何内插方法，然而，可以更精确地确定相关方向的方法是更可取的。

返回参考图5A，存储器单元612例如是由与滤色器2(参考图1)的行数目相对应的多个行存储器(在本实施例中为五个行存储器)构成的。存储器单元612存储从相关方向确定G内插处理单元611输出的每个像素值，并且在预定定时处输出像素值。图5C示出了从存储器单元612输出的像素的阵列的示例。通过相关方向确定G内插处理单元611的内插处理获得的像素被示为带色，并且颜色分量的种类用小写字母表示，如“g33”。

R/B延迟处理单元613将每个所输入的R/B的像素值延迟相关方向确定G内插处理单元611的处理时间的量，并且将每个经延迟的R/B的像素值提供给存储器单元和R/B选择处理单元614。

存储器单元和R/B选择处理单元614临时存储在R/B延迟处理单元613处经延迟的每个R/B的像素值。然后，存储器单元和R/B选择处理单元614在存储在其中的R/B像素值中选择将用于在邻近G像素G色差和R/B像素产生单元620(参考图4)处进行处理的R/B像素，并且将所选R/B像素输出给邻近G像素G色差和R/B像素产生单元620(参考图5D)。

接下来，将参考图6和图7的框图描述邻近G像素G色差和R/B像素产生单元620的结构示例。图6所示的邻近G像素G色差和R/B像素产生单元620包括用于G像素的G色差和R/B像素产生单元621-1、621-2、621-3和621-4以及延迟处理单元622。

用于G像素的G色差和R/B像素产生单元621-1至621-4产生用于位于感兴趣像素邻近的邻近G像素的G色差，并且还产生用于邻近G像素的R/B像素的像素值。感兴趣像素的邻近G像素的像素值以及位于邻近G像素邻近的R/B像素的像素值被输入用于G像素的G色差和R/B像素产生单元621-1至621-4。

延迟处理单元622将所输入的R或B的像素值延迟用于G像素的G色差和R/B像素产生单元621的处理时间的量，并且将经延迟的R或B的像素值提供给G色差重构处理单元630(参考图4)。

接下来，参考图7描述用于G像素的G色差和R/B像素产生单元621-1至621-4的更详细结构。由于用于G像素的G色差和R/B像素产生单元621-1至621-4具有彼此相同的结构，因此，将参考图7描述用于G像素的G色差和R/B像素产生单元621-1作为示例。

用于G像素的G色差和R/B像素产生单元621-1包括邻近G像素选择单元6211-1、邻近R/B像素选择单元6211-2、以及邻近R/B像素选择单元6211-3。用于G像素的G色差和R/B像素产生单元621-1还包括像素比较系数产生单元6212-1和6212-2、G色差产生单元6213-1和6213-2、加权平均产生单元6214、以及加法器6215。

邻近G像素选择单元6211-1在从预处理单元610(参考图4)输入的G像素中，选择位于感兴趣像素邻近的一个邻近G像素，并且将所选G像素提供给像素比较系数产生单元6212-1和6212-2。

例如，当图5C所示的每个像素被输入时，邻近G像素选择单元6211-1选择Gr32。其它邻近G像素Gr34、Gb23和Gb43分别被用于G像素的G色差和R/B像素产生单元621-2至621-4(参考图6)内部的邻近G像素选择单元(未示出)选择。

邻近R/B像素选择单元6211-2和6211-3从所输入的R/B像素中选择与邻近G像素选择单元6211-1所选的邻近G像素邻近的一个R/B像素。然后，邻近R/B像素选择单元6211-2和6211-3将所选R/B像素分别提供给G色差产生单元6213-1和6213-2。此外，所选R/B像素位置上的G内插值也被输入到邻近R/B像素选择单元6211-2和6211-3中。然后，邻近R/B像素选择单元6211-2将所输入的G内插值提供给像素比较系数产生单元6212-1和G色差产生单元6213-1，并且邻近R/B像素选择单元6211-3将所输入的G内插值提供给像素比较系数产生单元6212-2和G色差产生单元6213-2。

例如，当邻近R/B像素选择单元6211-2选择R31时，邻近R/B像素选择单元6211-2将R31提供给G色差产生单元6213-1。此外，邻近R/B像素选择单元6211-2将R31位置上的G内插值g31提供给像素比较系数产生单元6212-1和G色差产生单元6213-1。

此时，位于邻近G像素选择单元6211-1所选的G像素Gr32邻近的另一R/B像素，即R33(感兴趣像素)，在邻近R/B像素选择单元6211-3处被选择，并被提供给G色差产生单元6213-2。同时，邻近R/B像素选择单元6211-3将R33位置上的G内插值g33提供给像素比较系数产生单元6212-2和G色差产生单元6213-2。

像素比较系数产生单元6212-1和6212-2产生将在加权平均产生单元6214处使用的加权系数，并且将计算出的加权系数提供给加权平均产生单元6214。加权系数例如是利用下面的表达式计算出的。下面的表达式表示Gr32被输入作为G像素值并且g31被输入作为G内插值的情况的示例。

加权系数

α31＝1/(|g31-Gr32|+1)

即，随着g内插值与G的像素值之差的减小而增大的加权系数被计算出。这里，“1”被加到绝对差值中，以避免当差值为0时除数为0。

这里，加权系数的计算方法不限于上面的方法。此外，尽管在本实施例中每次计算加权系数，然而可以预先设置查找表(LUT)等，以从表中选择加权系数。在此情况中，同样，加权系数被设置为随着g内插值与G的像素值之差的减小而增大。替代地，当所有差值较大时，G色差可以是通过对所获得的差值进行简单平均而获得的平均值。

此外，在具有不同于拜耳阵列的阵列的滤色器被用作滤色器2的情况中，在邻近G像素选择单元6211-1(或6211-2)处选择的G像素与位于该G像素邻近的一个R/B像素(的G内插值)之间的距离和该G像素与位于该G像素邻近的另一R/B像素之间的距离可能不相等。在此情况中，可以在考虑到距离的情况下来计算加权系数，以便对与G像素更接近的R/B像素的g内插值进行进一步加权。此情况中的加权系数例如通过利用下面的表达式来计算。在下面的表达式中，“dist(A，B)”表示A与B之间的距离。

α31＝1/(dist(g31，Gr32)*|g31-Gr32|+1)

G色差产生单元6213-1和6213-2通过利用从邻近R/B像素选择单元6211-2和6211-3提供来的R的像素值位置上的G内插值和R的像素值，来产生R的像素值位置上的G色差。然后，G色差产生单元6213-1和6213-2将所产生的G色差提供给加权平均产生单元6214。下面的表达式表示R31被输入作为R的像素值并且g31被输入作为G内插值的情况中的G色差的计算。

G色差

V31＝R31-g31

加权平均产生单元6214产生邻近G像素位置上的G色差。即，加权平均产生单元6214通过利用从像素比较系数产生单元6212-1和6212-2输出的加权系数α以及从G色差产生单元6213-1和6213-2输出的G色差V，来产生邻近G像素位置上的G色差。

在邻近G像素位置上的G色差的产生中，G色差例如是通过利用下面的表达式计算的。下面的表达式表示加权系数α31被从像素比较系数产生单元6212-1输入，加权系数α33被从像素比较系数产生单元6212-2输入，G色差V31被从G色差产生单元6213-1输入，并且G色差V33被从G色差产生单元6213-2输入的情况。

邻近Gr32的G色差

$V32=\frac{\mathrm{\α}31*V31+\mathrm{\α}33*V33}{\mathrm{\α}31+\mathrm{\α}33}$

分别在其它邻近G像素Gr34、Gb23和Gb43位置上的V34、V23和V43是由用于G像素的G色差和R/B像素产生单元621-2至621-4内的加权平均产生单元(未示出)产生的。

加法器6215将从预处理单元610(参考图4)输入的邻近G像素的每个像素值加到从加权平均产生单元6214输入的邻近G像素位置上的G色差中，以产生邻近G像素位置上的R/B像素。例如，当Gr32被输入作为邻近G像素的像素值并且V32被输入作为Gr32的G色差时，加法器6215将Gr32加到V32，并且输出相加结果。

因此，产生了邻近G像素位置上的R/B像素r32。以类似的方式，Gr34位置上的r34、Gb23位置上的r23和Gb43位置上的r43分别由用于G像素的G色差和R/B像素产生单元621-2至621-4内的加法器(未示出)来产生。

接下来，将参考图8的框图详细描述图4所示的G色差重构处理单元630。G色差重构处理单元630包括感兴趣像素选择单元631、邻近G像素选择单元632-1至632-4、像素比较系数产生单元633-1至633-4、以及加权平均处理单元634。

感兴趣像素选择单元631将从邻近G像素G色差和R/B像素产生单元620的延迟处理单元622(参考图6)输入的感兴趣像素的像素值提供给像素比较系数产生单元633-1至633-4。例如，当感兴趣像素的像素值R33被输入时，感兴趣像素选择单元631将R33提供给像素比较系数产生单元633-1至633-4。

邻近G像素选择单元632-1至632-4从感兴趣像素的邻近G像素中选择一个邻近G像素。然后，邻近G像素选择单元632-1至632-4将在所选邻近G像素的位置上产生的R/B的像素值r(或b)提供给像素比较系数产生单元633-1至633-4。此外，邻近G像素选择单元632-1至632-4将在邻近G像素的位置上产生的G色差V提供给加权平均处理单元634。

在邻近G像素上产生的R/B的像素值r/b是从用于G像素的G色差和R/B像素产生单元621-1至621-4内的加法器提供来的。此外，在邻近G像素上产生的G色差V是从用于G像素的G色差和R/B像素产生单元621-1至621-4内的加权平均处理单元提供来的。

例如，当邻近G像素选择单元632-1选择Gr32作为邻近G像素时，在Gr32的位置上产生的R的像素值r32被提供给像素比较系数产生单元633-1。然后，在Gr32的位置上产生的G色差V32被提供给加权平均处理单元634。

像素比较系数产生单元633-1至633-4通过利用从感兴趣像素选择单元631提供来的感兴趣像素的像素值以及从邻近G像素选择单元632-1至632-4提供来的G色差V，来计算加权系数。

例如，像素比较系数产生单元633-1通过利用从感兴趣像素选择单元631提供来的感兴趣像素的像素值R33以及从邻近G像素选择单元632-1提供来的R的像素值r32来产生加权系数α32。加权系数α32通过下面的表达式等来计算。

加权系数

α32＝1/(|r32-R33|+1)

以类似的方式，加权系数α34、加权系数α23和加权系数α43分别在像素比较系数产生单元633-2、633-3和633-4处产生，并被提供给加权平均处理单元634。

加权平均处理单元634通过利用从像素比较系数产生单元633-1至633-4输出的加权系数α以及从邻近G像素选择单元632-1至632-4输出的G色差V，来重构感兴趣像素的G色差。

在产生感兴趣像素的位置上的G色差时，G色差通过利用下面的表达式来计算。下面的表达式表示如下输入的情况。

·加权系数α32、α34、α23和α43

·G色差V32、V34、V23和V43

·感兴趣像素的G色差R33

$V^{\′}33=\frac{\mathrm{\α}32*V32+\mathrm{\α}34*V34+\mathrm{\α}23*V23+\mathrm{\α}43*V43}{\mathrm{\α}32+\mathrm{\α}34+\mathrm{\α}23+\mathrm{\α}43}$

这里，G色差V′33的计算方法不限于该方法。例如，G色差V′33可以通过计算如下计算的G色差之间的平均值来获得：通过利用在水平方向上与感兴趣像素相邻的像素的G色差计算出的G色差与通过利用在垂直方向上与感兴趣像素相邻的像素的G色差计算出的G色差。在下面的表达式中，V33_h表示通过利用在水平方向上与感兴趣像素相邻的像素的G色差计算出的G色差，并且V33_v表示通过利用在垂直方向上与感兴趣像素相邻的像素的G色差计算出的G色差。

${V33}_h=\frac{\mathrm{\α}32*V32+\mathrm{\α}34*V34}{\mathrm{\α}32+\mathrm{\α}34}$

${V33}_v=\frac{\mathrm{\α}23*V23+\mathrm{\α}43*V43}{\mathrm{\α}23+\mathrm{\α}43}$

${V33}^{\′}=\frac{{V33}_h+{V33}_v}{2}$

G色差V′33可以也利用其它表达式来计算，或者可将各个加权系数预先设置在LUT等中，以便从该LUT等中选择适当的加权系数。

4.G色差重构单元的操作示例

现在参考图9至图11的流程图描述由上述块构成的G色差重构单元600的操作示例。在图9中，首先由预处理单元610(参考图4)产生在没有G像素值的R/B像素位置上的G的内插值g(步骤S1)。

然后，邻近G像素G色差和R/B像素产生单元620(参考图6和图7)计算预处理单元610所产生的G的内插值g与原始存在的R/B的像素值之间的差值，以便产生在R/B像素的位置上的G色差U或V(步骤S2)。此外，邻近G像素G色差和R/B像素产生单元620还通过利用R/B像素位置上的G色差U/V、从预处理单元610输出的G的内插值g以及邻近G像素的像素值来产生邻近G像素位置上的G色差U/V(步骤S3)。

接下来，邻近G像素G色差和R/B像素产生单元620还通过利用邻近G像素位置上的G色差U/V以及邻近G像素的像素值Gr或Gb来产生邻近G像素位置上的像素值r/b(步骤S4)。

然后，G色差重构处理单元630(参考图8)通过利用邻近G像素位置上的R/B的像素的像素值r/b以及感兴趣像素的像素值R/B来重构感兴趣像素上的G色差U′/V′(步骤S5)。

现在参考图10的流程图详细描述图9的步骤S3所示的邻近G像素G色差和R/B像素产生单元620处的处理。图10所示的每个处理在图7所示的各个块处执行。

感兴趣像素的邻近G像素中的任一个邻近G像素被邻近G像素选择单元6211-1选择(步骤S11)。然后，与所选G像素相邻的R/B像素被邻近R/B像素选择单元6211-2和6211-3选择(步骤S12)。

接下来，G色差产生单元6213计算邻近G像素位置上的G色差U/V(步骤S13)。然后，像素比较系数产生单元6212计算在步骤S11处所选的G像素与邻近G像素位置上的G色差U/V之间的差分绝对值(步骤S14)。

然后，加权平均产生单元6214产生随着在步骤S14处计算出的差分绝对值的减小而增大的加权系数α(步骤S15)。通过利用加权系数α来计算在邻近R/B像素位置上产生的G色差U/V的加权平均，以产生邻近G像素位置上的G色差U/V(步骤S16)。

此外，加法器6215将在邻近G像素位置上产生的G色差U/V加到邻近G像素的像素值中，以产生邻近G像素位置上的R/B的像素值r/b(步骤S17)。

现在参考图11的流程图描述图9的步骤S5所示的G色差重构处理单元630处的处理。图11所示的每个处理在图8所示的各个块处执行。

首先，感兴趣像素选择单元631选择感兴趣像素，并且邻近G像素选择单元632选择感兴趣像素的邻近G像素(步骤S21)。然后，像素比较系数产生单元633计算邻近G像素位置上的R/B的像素值与感兴趣像素的R/B的像素值之间的差分绝对值(步骤S22)。

接下来，加权平均处理单元634计算随着在步骤S22处计算出的差分绝对值的减小而增大的加权系数α(步骤S23)。然后，通过利用加权系数α来计算在邻近G像素位置上产生的G色差U/V的加权平均，以重构感兴趣像素位置上的G色差U′/V′(步骤S24)。

如此产生的G色差U′/V′被提供给色彩内插处理单元6内的存储器单元601(参考图2)，并且上述处理由存储器单元601、G色差内插处理单元602和RGB产生单元606执行。

实施例的效果

根据本发明的实施例，在感兴趣像素周围产生通过组合多个G色差形成的G色差U/V，并且基于G色差U/V的平均值而重构出感兴趣像素位置上的G色差U′/V′。即，感兴趣像素的G色差U′/V′是基于通过收集多个G色差U/V而形成的更可靠的G色差U/V来重构的。因此，即使在处理对象的像素信号构成了边缘的一部分或图像的角落并且在预处理单元610处产生的G内插值的精确度较差的情况中，也可以提高感兴趣像素的内插精确度。

此外，这样的处理在由RGB产生单元606执行的R、G、B内插处理的前一级处执行，从而可以减少用于计算的数据量。因此，还可以节省用于处理的诸如存储器之类的资源。

此外，在由RGB产生单元606执行的R、G、B内插处理的前一级处执行这样的处理使得即使在在开始时执行的G内插中存在错误时也能够在RGB产生单元606的前一级处进行纠错。因此，可以防止出现在开始时执行的G内插中的错误的损害扩散。

此外，仅对通过估计获得的像素(g33、r32等)执行用于增强可靠性的加权平均，从而可以防止由滤色器2最初获得的像素(R33、Gr32、Gb43等)恶化。

此外，根据上述实施例，可以在G色差的内插中对改变量比感兴趣像素小的像素值进行更大幅地加权。因此，即使在处理其中“恒定色调假定”严格来说不被接受的图像时，也可以提高色彩内插的精确度。

此外，在此方法中，可以在RGB产生单元606的前一级处重复执行处理，从而能够进一步提高图像质量。

修改

在上述实施例中，滤色器2具有如图13所示的拜耳阵列，然而滤色器2不限于此。滤色器2可以是任何滤镜，只要该滤镜具有这样的阵列即可：其中，一种颜色的像素被布置为比其它两种颜色的像素数目大。

例如，滤色器可以具有以蜂窝样式布置像素的蜂窝阵列，如图12A所示。替代地，滤色器可以具有如图12B所示的在ClearVid CMOS传感器中使用的阵列。即，可应用这样的滤色器：G像素的数目被布置为R/B像素数目的三倍以便包围R/B像素。替代地，可应用这样的滤色器：G像素的数目被布置为R/B像素数目的六倍以便包围R/B像素(在水平方向和垂直方向上G像素以2d间隔来布置并且R/B像素以4d间隔来布置)，如图12C所示。

此外，在上述实施例中，通过利用在G色差重构处理单元630(参考图8)处获得的G色差V′33以及R/B像素的像素值来内插感兴趣像素的G像素。然而，处理顺序不限于此。例如，可以利用G色差V′33来预先校正R/B像素，并且可以利用校正之后的R/B像素以及G色差V′33来内插感兴趣像素的G像素。

此外，尽管将本发明的实施例应用于成像设备来作为示例，然而该实施例还可应用于对从成像设备等输出的视频信号执行处理、而不具有成像元件的设备。

本申请包含与2009年8月18日向日本专利局提交的日本在先专利申请JP 2009-189419中公开的内容有关的主题，该申请的全部内容通过引用结合于此。

本领域的技术人员应当明白，可以根据设计要求和其它因素进行各种修改、组合、子组合和变更，只要它们在权利要求或其等同物的范围之内即可。

Claims (6)

1.一种信号处理设备，包括：

预处理单元，被配置为在由包括二维排列的多个像素的成像元件获得的像素信号中，向感兴趣像素的位置内插G颜色分量，并且向具有与所述感兴趣像素相同的颜色分量的像素位置内插G颜色分量，以产生第一G内插信号，所述感兴趣像素具有R颜色分量和B颜色分量中的一者并且位于R、G和B原色的滤色器的预定阵列中的预定像素位置上，其中所述滤色器按所述预定阵列交替排列在所述多个像素上；

邻近G像素G色差和R/B像素产生单元，被配置为通过利用所述第一G内插信号在所述感兴趣像素的位置上以及具有与所述感兴趣像素相同颜色分量的像素位置上产生第一R-G色差信号和第一B-G色差信号中的一者，通过利用所述第一R-G色差信号和所述第一B-G色差信号中的一者来在位于所述感兴趣像素邻近的邻近G像素的位置上产生第二R-G色差信号和第二B-G色差信号中的一者，并且通过利用所述第二R-G色差信号和所述第二B-G色差信号中的一者来向所述邻近G像素的位置内插R颜色分量和B颜色分量中的一者；

G色差重构处理单元，被配置为通过利用由所述邻近G像素G色差和R/B像素产生单元进行了内插的R分量和B分量中的一者来在所述感兴趣像素的位置上重构第三R-G色差信号和第三B-G色差信号中的一者；以及

G色差内插处理单元，被配置为通过利用由所述G色差重构处理单元重构出的所述第三R-G色差信号和所述第三B-G色差信号中的一者来向预定像素位置内插R-G色差信号和B-G色差信号中的一者，

其中，所述邻近G像素G色差和R/B像素产生单元包括：

第一像素比较系数产生单元，被配置为计算所述邻近G像素中包括的G分量与在所述邻近G像素位置上产生的所述第一G内插信号之间的差值，以计算出第一加权系数，

G色差产生单元，被配置为通过利用在位于所述邻近G像素邻近的R像素和B像素中的一者中包括的R分量和B分量中的一者以及在所述邻近G像素位置上产生的所述第一G内插信号，来在所述邻近G像素位置上产生R-G色差信号和B-G色差信号中的一者，

第一加权平均处理单元，被配置为通过利用所述第一加权系数来将由所述G色差产生单元在邻近G像素的位置上产生的R-G色差信号和B-G色差信号中的一者的加权平均值设置为所述邻近G像素位置上的R-G色差信号和B-G色差信号中的一者，以及

加法器，被配置为将由所述第一加权平均处理单元获得的所述邻近G像素位置上的所述R-G色差信号和所述B-G色差信号中的一者加到包括在所述邻近G像素位置中的G分量上。

2.根据权利要求1所述的信号处理设备，其中，所述G色差重构处理单元包括：

第二像素比较系数产生单元，被配置为计算经所述邻近G像素G色差和R/B像素产生单元内插的R分量和B分量中的一者与包括在所述感兴趣像素中的R分量和B分量中的一者之间的差值，以计算出第二加权系数，以及

第二加权平均处理单元，被配置为通过利用所述第二加权系数来将由所述邻近G像素G色差和R/B像素产生单元在所述邻近G像素的位置上产生的R-G色差信号和B-G色差信号中的一者的加权平均值设置为所述感兴趣像素位置上的R-G色差信号和B-G色差信号中的一者。

3.根据权利要求2所述的信号处理设备，其中，所述滤色器是拜耳阵列类型的滤色器。

4.根据权利要求3所述的信号处理设备，还包括：

RGB产生单元，被配置为通过利用如下组合中的一种来产生R的像素信号、G的像素信号和B的像素信号：经所述G色差内插处理单元内插的R-G色差信号和B-G色差信号中的一者与所述第三R-G色差信号和所述第三B-G色差信号中的一者的组合，以及经所述G色差内插处理单元内插的R-G色差信号和B-G色差信号中的一者与包括在G像素中的G颜色分量、包括在R像素中的R颜色分量和包括在B像素中的B颜色分量中的一者的组合。

5.一种成像设备，包括：

具有多个像素的成像元件，所述多个像素是二维排列的，在所述多个像素上按预定阵列交替排列了R、G和B原色的滤色器，所述成像元件对经由所述滤色器入射的成像光进行光电转换以获得像素信号；

预处理单元，被配置为在由所述成像元件获得的像素信号中，向感兴趣像素的位置内插G颜色分量，并且向具有与所述感兴趣像素相同颜色分量的像素位置内插G颜色分量，以产生第一G内插信号，所述感兴趣像素具有R颜色分量和B颜色分量中的一者并且位于所述阵列中的预定像素位置上；

邻近G像素G色差和R/B像素产生单元，被配置为通过利用所述第一G内插信号在所述感兴趣像素的位置上以及具有与所述感兴趣像素相同颜色分量的像素位置上产生第一R-G色差信号和第一B-G色差信号中的一者，通过利用所述第一R-G色差信号和所述第一B-G色差信号中的一者来在位于所述感兴趣像素邻近的邻近G像素的位置上产生第二R-G色差信号和第二B-G色差信号中的一者，并且通过利用所述第二R-G色差信号和所述第二B-G色差信号中的一者来向所述邻近G像素的位置内插R颜色分量和B颜色分量中的一者；

G色差重构处理单元，被配置为通过利用由所述邻近G像素G色差和R/B像素产生单元进行了内插的R分量和B分量中的一者来在所述感兴趣像素的位置上重构第三R-G色差信号和第三B-G色差信号中的一者；以及

G色差内插处理单元，被配置为通过利用由所述G色差重构处理单元重构出的所述第三R-G色差信号和所述第三B-G色差信号中的一者来向预定像素位置内插R-G色差信号和B-G色差信号中的一者，

其中，所述邻近G像素G色差和R/B像素产生单元包括：

第一像素比较系数产生单元，被配置为计算所述邻近G像素中包括的G分量与在所述邻近G像素位置上产生的所述第一G内插信号之间的差值，以计算出第一加权系数，

G色差产生单元，被配置为通过利用在位于所述邻近G像素邻近的R像素和B像素中的一者中包括的R分量和B分量中的一者以及在所述邻近G像素位置上产生的所述第一G内插信号，来在所述邻近G像素位置上产生R-G色差信号和B-G色差信号中的一者，

第一加权平均处理单元，被配置为通过利用所述第一加权系数来将由所述G色差产生单元在邻近G像素的位置上产生的R-G色差信号和B-G色差信号中的一者的加权平均值设置为所述邻近G像素位置上的R-G色差信号和B-G色差信号中的一者，以及

加法器，被配置为将由所述第一加权平均处理单元获得的所述邻近G像素位置上的所述R-G色差信号和所述B-G色差信号中的一者加到包括在所述邻近G像素位置中的G分量上。

6.一种信号处理方法，包括以下步骤：

在由包括二维排列的多个像素的成像元件获得的像素信号中，向感兴趣像素的位置内插G颜色分量，并且向具有与所述感兴趣像素相同的颜色分量的像素位置内插G颜色分量，以产生第一G内插信号，所述感兴趣像素具有R颜色分量和B颜色分量中的一者并且位于R、G和B原色的滤色器的预定阵列中的预定像素位置上，其中所述滤色器按所述预定阵列交替排列在所述多个像素上；

通过利用所述第一G内插信号在所述感兴趣像素的位置上以及具有与所述感兴趣像素相同颜色分量的像素位置上产生第一R-G色差信号和第一B-G色差信号中的一者，通过利用所述第一R-G色差信号和所述第一B-G色差信号中的一者来在位于所述感兴趣像素邻近的邻近G像素的位置上产生第二R-G色差信号和第二B-G色差信号中的一者；

通过利用所述第二R-G色差信号和所述第二B-G色差信号中的一者来向所述邻近G像素的位置内插R颜色分量和B颜色分量中的一者；

通过利用经内插的R分量和B分量中的一者来在所述感兴趣像素的位置上重构第三R-G色差信号和第三B-G色差信号中的一者；以及

通过利用重构出的所述第三R-G色差信号和所述第三B-G色差信号中的一者来向预定像素位置内插R-G色差信号和B-G色差信号中的一者，

其中，产生第二R-G色差信号和第二B-G色差信号中的一者和内插R颜色分量和B颜色分量中的一者包括：

计算所述邻近G像素中包括的G分量与在所述邻近G像素位置上产生的所述第一G内插信号之间的差值，以计算出第一加权系数，

通过利用在位于所述邻近G像素邻近的R像素和B像素中的一者中包括的R分量和B分量中的一者以及在所述邻近G像素位置上产生的所述第一G内插信号，来在所述邻近G像素位置上产生R-G色差信号和B-G色差信号中的一者，

通过利用所述第一加权系数来将在邻近G像素的位置上产生的R-G色差信号和B-G色差信号中的一者的加权平均值设置为所述邻近G像素位置上的R-G色差信号和B-G色差信号中的一者，以及

将所述邻近G像素位置上的所述R-G色差信号和所述B-G色差信号中的一者加到包括在所述邻近G像素位置中的G分量上。

Images