CN101911709B

CN101911709B - 用于处理摄像机传感器提供的颜色值的方法和设备

Info

Publication number: CN101911709B
Application number: CN2008801244190A
Authority: CN
Inventors: P·巴克; J·斯基瑞斯
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2008-01-09
Filing date: 2008-01-09
Publication date: 2013-06-19
Anticipated expiration: 2028-01-09
Also published as: US20100194915A1; WO2009086929A1; EP2241113A1; CN101911709A

Abstract

在一种适于处理由包括不同颜色像素的摄像机传感器提供的颜色值的方法中，基于使用至少一个控制值进行的求平均值来内插(102)具有第二和第三颜色的像素位置处的第一颜色值。

Description

用于处理摄像机传感器提供的颜色值的方法和设备

本发明涉及一种适于处理包括不同颜色像素的摄像机传感器提供的颜色值的方法和设备、相应的计算机程序和相应的计算机程序产品。

背景技术

数字摄像机可以在摄像机传感器上使用RGB(红，绿，蓝)或Bayer滤色器阵列。这种阵列每个像素仅提供一种颜色，即，红色、绿色或蓝色。于是，必须要将图像重构成每像素三种颜色。这一过程被称为重构或分离(separation)，因为颜色与亮度分离了。

从文献中可以知道RGB分离器(separator)，例如，J.E.Adams，“Interactions between color plane interpolation and other imageprocessing functions in electronic photography”，Proc.SPIE Camerasand Systems for Electronic Photography and Scientific Imaging，vol.2416，1995；J.E.Adams，“Designs of practical color filter arrayinterpolation algorithms for digital cameras”，Proc.SPI Real TimeImaging II，vol.3028，1997；R.Kimmel，“Demosaicing：Imagereconstruction from color CCD samples”，IEEE Trans.Image Proc，vol.8，No.9，pp.1221-1229，1999年9月；或Chung-Yen Su，Chi-Ming Lin和Yi-Shien Lin，“Effective False Color Suppression of DemosaicingUsing Direction Inversion and Bidirectional Signal Correlation”，National Taiwan Normal University 162，Section 1，Heping East Road，Taipei，Taiwan；ICIP 2007 conference。

用于静止图像摄像机的已知RGB分离器具有优越的分辨性能，高达理论最大值，即奈奎斯特频率。

然而，RGB分离器的缺点在于，图像中接近最大频率的小细节和噪声易于生成主要为水平和竖直的结构，也称为“砖块(brick)”伪影(artefact)。具体而言，在对角线输入资料上，对于时域噪声而言，这些结构能够容易地从水平切换到竖直，反之亦然。

在静止图像上，如果没有时域噪声，几乎不会注意到这种干扰，但是在动态视频摄像机上，有时域噪声，这种伪影可能变得清晰可见，尤其是在这种伪影与观看者的预期形成对照的图像上，例如水面或面部的运动。

US5,373,322描述了一种利用色度梯度自适应地对全色图像进行内插的方法，以便减少颜色边缘的伪影并改善图像清晰度。

US5,629,734涉及在单个传感器彩色电子摄像机中进行自适应彩色规划内插。

US4,724,395描述了一种用于重构丢失的颜色样本的中值滤波器。

本发明的目的在于提供一种根据独立权利要求所述的适于处理由摄像机传感器提供的颜色值的方法，还涉及一种使用这种方法的设备，还涉及对应的计算机程序和计算机程序产品。在从属权利要求中定义了有利的实施例。

本发明的优点

本发明提供了一种以动态方式减少“砖块”伪影的方法。具体而言，本发明的方法能够在用于动态视频的RGB分离中实现砖块伪影的减少。根据应用可以设置若干控制。例如，具有静止模式和动态视频模式的摄像机可以针对分辨率相对于伪影具有模式优化的分离器设置。

根据实施例，提供了一种方法，所述方法适于处理由包括不同颜色像素的摄像机传感器提供的颜色值，其中所述方法特征在于基于使用至少一个控制值进行的求平均值来内插具有第二和第三颜色的像素位置处的第一颜色的值，其中所述方法可以包括静止模式和运动模式，其中基于在所述运动模式下进行的求平均值来内插所述第一颜色的值，且其中在所述静止模式下不进行求平均值的情况下内插所述第一颜色的不同值。所述第一颜色可以是绿色，所述第二颜色可以是红色，所述第三颜色可以是蓝色。

所述至少一个控制值可以包括分数和/或范围控制值。这样能够减少伪影。

这允许针对分辨率相对于伪影实现模式优化的分离器设置。

可以基于如下方程内插第一颜色的值：

maxdif＝fraction_g·(hordif+verdif)+range_g

threshold＝|hordif-verdif|

h_hp＝(2S[l，px]-S[l，px-2]-S[l，px+2])/2

h_sum＝(S[l，px-1]+S[l，px+1])/2

h_dif＝(S[l，px-1]-S[l，px+1])/2

v_hp＝(2S[l，px]-S[l-2，px]-S[l+2，px])/2

v_sum＝(S[l-1，px]+S[l+1，px])/2

v_dif＝(S[l-1，px]-S[l+1，px])/2

其中green_new：所述第一颜色的值

fraction_g：分数控制

range_g：范围控制

S[a，b]：位置[a，b]处的像素的值

S[l，px]：中心像素的值。

可以将这些方程增加到已知的分离方法上或替换已知分离方法的方程。

此外，在静止模式下可以基于如下方程内插所述第一颜色的不同值：

hordif＝|h_hp|+|h_dif|

verdif＝|v_hp|+|v_dif|

h_hp＝(2S[l，px]-S[l，px-2]-S[l，px+2])/2

h_sum＝(S[l，px-1]+S[l，px+1])/2

h_dif＝(S[l，px-1]-S[l，px+1])/2

v_hp＝(2S[l，px]-S[l-2，px]-S[l+2，px])/2

v_sum＝(S[l-1，px]+S[l+1，px])/2

v_dif＝(S[l-1，px]-S[l+1，px])/2

其中

green_old：第一颜色的不同值

S[a，b]：位置[a，b]处的像素的值

S[l，px]：中心像素的值。

根据本发明方法的另一实施例，可以使用第一颜色的值通过水平或垂直内插获得具有第一颜色的像素位置处的第二和第三颜色的值。

此外，可以基于求平均值内插具有所述第三颜色的像素位置处的所述第二颜色的值以及具有所述第二颜色的像素位置处的所述第三颜色的值。这允许确定第一、第二和第三颜色的所有缺失值。

可以从内插值以及从所述摄像机传感器提供的值中选择所述第一、第二和第三颜色的正确值。正确值可以由方法的输出提供并用于生成图像。通过选择正确值，可以减少图像中的伪影。

本发明的设备执行本发明方法的所有步骤。

从描述和附图可以明了本发明的更多优点和实施例。

应当指出，前面提到的特征以及要在下文中阐述的特征不仅可以各自指明的组合使用，而且可以其他组合使用或单独使用，而不脱离本发明的范围。

在附图中：

图1示出了根据本发明实施例的分离器方框图；

图2示出了描绘根据本发明实施例的选择器功能的图解表格；

图3示出了根据本发明实施例的绿色内插；

图4示出了根据本发明实施例用于内插绿色像素的方框图；

图5示出了根据本发明实施例的对角线内插器；

图6示出了根据本发明实施例的另一内插器的方框图；以及

图7示出了根据本发明实施例的分离器输出的2D光谱。

图1示出了根据本发明实施例的RGB分离器的方框图。该分离器可以基于RGB Bayer分离器，向其增加额外的电路。RGB分离器可以结合数字摄像机使用，数字摄像机使用滤色器阵列，并随后使用内插策略来生成全色图像。于是，可以使用RGB分离器来处理数字摄像机传感器提供的输入信号，以便提供能够生成彩色图像的输出信号。该分离器能够实现等于奈奎斯特频率的水平分辨率。

根据本实施例，RGB分离器包括绿色内插块102、水平/垂直内插块104、对角线内插块106、选择器108和分数/范围控制块110。

绿色内插块102包括块H0、G0、V0、H1、G1、V1、H2、G2、V2，配置成接收信号CDS[0..4]，包括以下5个输入信号：CDS[0]、CDS[1]、CDS[2]、CDS[3]和CDS[4]。可以由数字摄像机传感器提供信号CDS[0..4]。此外，绿色内插块102被配置成从分数/范围控制块110接收信号。绿色内插块102被配置成向水平/垂直内插块104、对角线内插块106和选择器108输出信号。

在绿色内插块102中，“H”表示水平，“V”表示垂直，“G”表示绿色。绿色内插块102被配置成同时处理三条视频线0、1、2。于是，块102中的数字表示输入视频线。绿色内插块102的每条线包括三个类似的块，例如H1、V1和G1。对于分离线而言块是相同的。同样，“H”表示水平，“V”表示垂直。

水平/垂直内插块104被配置成接收信号CDS[1..3]和绿色内插块102的块G0、G1、G2的输出，CDS[1..3]表示信号CDS[1]、CDS[2]和CDS[3]。水平/垂直内插块104被配置成向选择器108输出信号v_br、h_br并向对角线内插块106输出其他信号。

对角线内插块106包括块NE(东北)、NW(西北)、D并被配置成从水平/垂直内插块104接收信号CDS[1..3]以及绿色内插块102的块G0、G1、G2的额外输出。此外，对角线内插块106被配置成从控制块110接收信号。对角线内插块106还被配置成输出d_br信号。

选择器108被配置成接收信号v_br、h_br、d_br、CDS[2]和绿色内插块102的块G1的输出信号。选择器108还被配置成输出信号R、G、B。

分数/范围控制块110被配置成向绿色内插块102的块G0、G1、G2以及对角线内插块106的块D提供一个或多个控制值。分数/范围控制块110的设置可以取决于摄像机的模式，例如，可以由摄像机的用户设置的静止模式或运动模式。

RGB分离器被配置成执行分离方法，该分离方法可以包括四个步骤。

作为可以由绿色内插器102执行的第一步骤，可以为三条相继的线计算红色或蓝色像素位置处缺失的绿色值。取决于最高边界值，可以水平或垂直地执行内插。根据本发明，为了实现均等，可以使用至少一个控制来求平均。例如，可以使用两个控制，即分数和范围。

在可以由水平/垂直内插块104执行的下一步骤中，可以计算当前绿色像素处缺失的红色和蓝色像素。可以利用绿色值通过水平或垂直内插进行这一操作，以提高高频响应。

在可以由对角线内插块106执行的下一步骤中，可以使用对角线内插来计算相应当前红色和蓝色位置处缺失的蓝色和红色像素。根据最高边界值可以在东北或西北方向上进行内插。根据本发明，为了实现均等，可以使用控制来求平均。例如，可以使用两个控制，即分数和范围。绿色值将提高高频响应。

在可以由选择器块108执行的下一步骤中，可以从先前的内插以及从可编程像素控制的CDS信号和线标识信号中选择正确的红色、蓝色或绿色值。

图2示出了图解表格，描述了可以由选择器块108执行的选择器功能。

第一行示出了九像素阵列的一些情况。八个阵列围绕一个中心像素。在所有情况下，都需要从该区域中的九个像素确定中心像素的三种颜色R、G和B。四种情况以下指出了R、G和B颜色是从哪个信号产生的。如果提到CDS，它是直接从输入获取的。v_br表示针对红色或蓝色执行垂直内插。H_br表示相同的意思，不过是针对水平内插。D_br表示执行对角线内插。对角线内插可以在东北方向(图1中的NE块)或西北方向(图1中的NW块)上。

用于计算中心像素的颜色的像素取自中心像素的周围。使用五个输入线来如下所示计算信号。CP表示中心像素。

\begin{matrix} 1 & 2 & 3 & 4 & 5 \\ 6 & 7 & 8 & 9 & 10 \\ 11 & 12 & CP & 13 & 14 \\ 15 & 16 & 17 & 18 & 19 \\ 20 & 21 & 22 & 23 & 24 \end{matrix}

H_hp是像素11、CP和14上的水平高通滤波的信号。

H_sum是像素12和13之和的平均。

H_dif是像素12和13之间的差异。

v_hp是像素3、CP和22上的垂直高通滤波信号。

v_sum是像素8和17之和的平均。

v_dif是像素8和17之间的差异。

在下文中，描述可用于执行该分离方法的步骤的电路和方程。

第一步骤涉及绿色内插器。

图3示出了绿色内插器102的块V1、H1、G1。块V1、H1、G1允许对一条线进行绿色内插。块V1是垂直滤波器块，块H1是水平滤波器块，块G1是内插器。

块V1被配置成接收信号S[0:4]并输出信号v_hp、v_sum、v_dif。块H1被配置成接收信号S[2]并输出信号h_hp、h_sum、h_dif。块G1被配置成从块V1、H1接收信号v_hp、v_sum、v_dif、h_hp、h_sum、h_dif并从控制块110接收信号fraction_g、range_g。块G1还被配置成输出信号绿色。

绿色内插器被配置成为三个中心线计算红色和蓝色像素位置处缺失的绿色值。在绿色像素位置处也进行内插，在相继的块中将忽略这些像素。

在方程1中描述了在块V1和H1中执行的功能。

方程1：

v_hp＝(2S[l，px]-S[l-2，px]-S[l+2，px])/2

v_sum＝(S[l-1，px]+S[l+1，px])/2

v_dif＝(S[l-1，px]-S[l+1，px])/2

方程2：

h_hp＝(2S[l，px]-S[l，px-2]-S[l，px+2])/2

h_sum＝(S[l，px-1]+S[l，px+1])/2

h_dif＝(S[l，px-1]-S[l，px+1])/2

图4示出了块Gn，例如图3所示的块G1的方框电路图。该块包括块420、421、422、423、424、425、426、427、428、429、430。

块420被配置成接收信号v_hp[n]、v_dif[n]，执行功能abs(a)+abs(b)并输出信号verdif。

块421被配置成接收信号h_hp[n]、h_dif[n]，执行功能abs(a)+abs(b)并输出信号hordif。

块422被配置成接收信号h_sum[n]、h_hp[n]并执行功能a+b。

块423被配置成接收信号v_sum[n]、v_hp[n]并执行功能a+b。

块424被配置成接收信号fraction、range、verdif、hordif，执行功能f*(a+b)＞＞4+r＜＜8并输出信号maxdif。

块425被配置成接收信号verdif、hordif，执行功能abs(a-b)并输出信号threshold。

块426被配置成接收信号verdif、hordif并执行功能a＞b。

块427被配置成接收块422和块423的输出信号并执行功能a+b+1＞＞1。

块428被配置成接收块422、块423和块426的输出信号并执行功能mux。

块429被配置成接收信号maxdif、threshold并执行功能a＞＝b。

块430被配置成接收块428、块427和块429的输出信号，执行功能mux并输出信号green[n]。

根据本发明的方法增加块424、425、427、429、430。

块Gn被配置成根据在Hn和Vn中计算的边缘信息内插缺失的绿色像素。

方程3：

hordif＝|h_hp|+|h_dif|

verdif＝|v_hp|+|v_dif|

方程4：

在方程5和6中描述了本发明的增加。

方程5：

maxdif＝fraction_g·(hordif+verdif)+range_g

threshold＝|hordif-verdif|

新的绿色内插公式变为下面的公式：

方程6：

分离方法的第二步骤涉及水平/垂直内插器。

如果当前像素为绿色，那么可以分别水平地或垂直地内插蓝色和红色。水平/垂直内插块104提供两种内插。用于分离的选择器位于后一个块108中。

方程7：

h_br＝(2S[2，px]+S[2，px-1]+S[2，px-1]-green[1，px-1]-green[1，px+1])/2

v_br＝(2S[2，px]+S[3，px-1]+S[1，px-1]-green[2，px]-green[0，px])/2

分离方法的第三步骤涉及对角线内插器。

图5示出了对角线内插器块106的方框图。要在当前蓝色像素处找到红色或在当前红色像素处找到蓝色需要对角线内插。对角线内插器106包括块NE、NW、D。

块NE被配置成接收信号green[0:2]、S[1:3]并输出信号ne_hp、ne_sum、ne_dif。块NW被配置成接收信号green[0:2]、S[1:3]并输出信号nw_hp、nw_sum、nw_dif。块D被配置成从块NE、NW接收信号ne_hp、ne_sum、ne_dif、nw_hp、nw_sum、nw_dif并从控制块110接收信号fraction_d、range_d。块D进一步配置成输出信号d_br。

对角线内插器块106被配置成根据块NE和NW中计算的边缘信息内插缺失的蓝色/红色像素。

块NE和块NW均提供3个输出信号。

方程8：

ne_hp＝(2green[1，px]-green[0，px-1]-S[2，px+1])/2

ne_sum＝(S[3，px-1]+S[1，px+1])/2

ne_dif＝(S[3，px-1]-S[1，px+1])/2

方程9：

nw_hp＝(2green[1，px]-green[0，px+1]-S[2，px-1])/2

nw_sum＝(S[3，px+1]+S[1，px-1])/2

nw_dif＝(S[3，px+1]-S[1，px-1])/2

图6示出了对角线内插器块106的块D的方框电路图。块D等于绿色内插器102中的Gn个块，包括块420、421、422、423、424、425、426、427、428、429、430和额外的块631。

块420被配置成接收信号nw_hp[n]、nw_dif[n]，执行功能abs(a)+abs(b)并输出信号nwdif。

块421被配置成接收信号ne_hp[n]、ne_dif[n]，执行功能abs(a)+abs(b)并输出信号nedif。

块422被配置成接收信号ne_sum[n]、ne_hp[n]并执行功能a+b。

块423被配置成接收信号nw_sum[n]、nw_hp[n]并执行功能a+b。

块424被配置成接收信号fraction_d、range_d、nwdif、nedif，执行功能f*(a+b)＞＞4+r＜＜8并输出信号maxdif。

块425被配置成接收信号nwdif、nedif，执行功能abs(a-b)并输出信号threshold。

块426被配置成接收信号nwdif、nedif并执行功能a＜b。

块427被配置成接收块422和块423的输出信号并执行功能(a+b)/2。

块428被配置成接收块422、块423和块426的输出信号，执行功能mux并输出信号d_br_old。

块429被配置成接收信号maxdif、threshold并执行功能a＞＝b。

块430被配置成接收块428、块427和块429的输出信号并执行功能mux。

块631被配置成接收块430的输出信号，执行功能限制到15位(limitto 15 bits)并输出信号d_br_new。

如图6所示的块D可以被配置成执行以下方程。

方程10：

nwdif＝|nw_hp|+|nw_dif|

nedif＝|ne_hp|+|ne_dif|

方程11：

在方程12和13中描述了本发明的增加：

方程12：

maxdif＝fraction_d·(nwdif+nedif)+range_d

threshold＝|nwdif-nedif|

新的绿色内插公式变为：

方程13：

第四步骤涉及到开关。开关功能被配置成简单地根据当前像素的滤色器为三个输出流R、G和B选择正确的内插器类型。

图7示出了本发明分离器的波带片输入的输出的2D光谱。灰色中的是完整的光谱，可以利用范围控制对其进行正交地缓和并利用分数控制沿对角线对其进行缓和。

箭头731表示范围控制，箭头732表示分数控制。

通过增加控制分数和范围，可以控制分离器的完整光谱。范围控制降低了正交分辨率，分数降低了对角线分辨率。

大约5％的分辨率轻微下降已经可以显著改善砖块伪影了。

所描述的本发明方法的步骤可以组合执行、按不同顺序执行或单独执行。使用该方法不限于数字摄像机的领域。所述的方程和电路块可以由类似方程和电路块替代而不脱离本发明的范围。

附图标记

102绿色内插块

104水平/垂直内插块

106对角线内插块

108选择器

110分数/范围控制块

420，421，422，423，424，425，426，427，428，429，430电路块

631电路块

731范围控制

732分数控制

Claims

1.一种适于处理由包括不同颜色像素的摄像机传感器提供的颜色值的方法，其特征在于，

基于使用至少一个控制值进行的求平均值来内插(102)具有第二和第三颜色的像素位置处的第一颜色的值，

其中所述方法包括静止模式和运动模式，其中基于在所述运动模式下进行的求平均值来内插所述第一颜色的值，并且其中在所述静止模式下不进行求平均值的情况下内插所述第一颜色的不同值。

2.根据权利要求1所述的方法，其特征在于，所述至少一个控制值包括分数和/或范围控制值(110)。

3.根据权利要求1或2所述的方法，其特征在于，基于如下形式的方程内插所述第一颜色的值：

maxdif＝fraction_g·(hordif+verdif)+range_g

threshold＝|hordif-verdif|

h_hp＝(2S[l，px]-S[l，px-2]-S[l，px+2])/2

h_sum＝(S[l，px-1]+S[l，px+1])/2

h_dif＝(S[l，px-1]-S[l，px+1])/2

v_hp＝(2S[l，px]-S[l-2，px]-S[l+2，px])/2

v_sum＝(S[l-1，px]+S[l+1，px])/2

v_dif＝(S[l-1，px]-S[l+1，px])/2

其中

green_new：所述第一颜色的值

fraction_g：分数控制

range_g：范围控制

S[a，b]：位置[a，b]处的像素的值

S[l，px]：中心像素的值，以及

在静止模式下基于如下形式的方程内插所述第一颜色的不同值：

hordif＝|h_hp|+|h_dif|

verdif＝|v_hp|+|v_dif|

h_hp＝(2S[l，px]-S[l，px-2]-S[l，px+2])/2

h_sum＝(S[l，px-1]+S[l，px+1])/2

h_dif＝(S[l，px-1]-S[l，px+1])/2

v_hp＝(2S[l，px]-S[l-2，px]-S[l+2，px])/2

v_sum＝(S[l-1，px]+S[l+1，px])/2

v_dif＝(S[l-1，px]-S[l+1，px])/2

其中

green_old：所述第一颜色的不同值

S[a，b]：位置[a，b]处的像素的值

S[l，px]：中心像素的值。

4.根据权利要求1或2所述的方法，其特征在于，使用所述第一颜色的值通过水平或垂直内插(104)获得具有所述第一颜色的像素位置处的所述第二颜色和第三颜色的值。

5.根据权利要求1或2所述的方法，其特征在于，基于求平均值内插(106)具有所述第三颜色的像素位置处的所述第二颜色的值以及具有所述第二颜色的像素位置处的所述第三颜色的值。

6.根据权利要求1或2所述的方法，其特征在于，从内插值以及从所述摄像机传感器提供的值中选择(108)所述第一、第二和第三颜色的正确值。

7.一种用于执行根据前述权利要求之一所述的方法的所有步骤的设备。