CN103347190A - 一种边相关的联合彩色去马赛克和放大方法 - Google Patents

Abstract

一种边相关的联合彩色去马赛克和放大方法，属于单传感器数码相机的图像处理领域。该方法步骤包括绿色平面去马赛克：方向插值，方向判定；估计颜色差图像；求精；绿色平面放大；颜色差图像放大。本发明是数码相机向用户提供可视的图像处理链中重要步骤。本发明根据传感器获取的原始马赛克图像，计算局部梯度和确定局部插值方向，并一致应用于绿色平面的恢复。利用图像颜色平面之间的谱相关性(即颜色差图像)，红色和蓝色平面被去马赛克和放大。本发明的输出可直接作为相机的输出结果，也可在相机中进行其它后续处理。实验结果显示，与传统及现有其它联合去马赛克和放大方法相比，本发明产生的图像保留了最多的细节，产生了最少的彩色缺陷。

Description

一种边相关的联合彩色去马赛克和放大方法

技术领域

本发明涉及一种边相关的联合彩色去马赛克和放大方法，该方法适合于覆盖有彩色滤波阵列(CFA)的单传感器数码相机，属于图像处理技术领域。

背景技术

便携式数码相机已经随处可见，但是，为了减小相机的尺寸及降低成本，大多数数码相机只有一个传感器，其上覆盖一个彩色滤波阵列(CFA:color filter array)。在每一个像素位置，CFA只允许记录一个颜色(红、绿或蓝色)值，这个原始的CFA图像称之为马赛克图像。为了恢复全彩色图像，每一个像素位置丢失的两个颜色值需要估计，这个估计过程称之为彩色去马赛克(demosaicking)[1-6]。最常见的CFA模式是Bayer CFA[7]：绿色值在梅花形网格上采样，红色和蓝色值在矩形网格上采样，记录的绿色像素数目是红色或绿色像素数目的两倍，如图1所示，图1是Bayer CFA示意图。去马赛克之后，数码相机中另一个重要处理是图像放大。便携式数码相机一般不具有高放大能力的复杂光学系统，因而采用数字放大技术。

从CFA图像生成放大的全彩色图像的算法可以分为三类。第一类方法是首先通过去马赛克过程，恢复全彩色图像，然后放大去马赛克的图像。放大过程可以是逐分量的方式[8]，也可以是向量的方式[9,10]。第二类方法是首先放大CFA图像，然后对放大的CFA图像执行去马赛克过程，获得全彩色放大的图像[11,12]。在这两类方法中，去马赛克和放大过程是独立进行的，最终生成的图像质量依赖于所使用的去马赛克和放大算法，以及应用它们的次序。原始传感器数据中的信息，在放大和去马赛克过程中，并未获得有效和一致的应用，导致最终图像中常常出现附加的彩色缺陷。第三类方法是同时执行去马赛克和放大过程，即联合去马赛克和放大过程[13-15]。相比于前两类方法，第三类方法有更好的质量性能[15]。但是，仍然难以满意地保持图像中的边和细节。

本发明使用到的参考文件现列出如下：

Zhou D,Shen X and Dong W。Colourdemosaicking with directional filtering andweighting。IET Image Processing,2012,6(8):1084–1092。

Hamilton J F,Adams J E。Adaptive color plane interpolation in single sensor colorelectronic camera,U.S。Patent5 629 734,May 1997。

Gunturk B K,Altunbasak Y,Mersereau R M。Color plane interpolation using alternatingprojections。IEEE Transactions on Image Processing,2002,11(9):997–1013。

Lu Y M,Karzand M,Vetterli M。Demosaicking by alternating projections:theory and fastone-step implementation。IEEE Transactions on Image Processing,2010,19(8):2085–2098。

Zhang L,Wu X,Buades A and Li X。Color demosaicking by local directional interpolationand nonlocal adaptive thresholding。Journal of Electronic Imaging,2011,20:023016-1-16。

Yu Z,Yu J,Lumsdaine A,and Georgiev T。An analysis of color demosaicing in plenopticcameras。In:Proc.IEEE Conf.Computer Vision and Pattern Recognition(CVPR),2012,901-908。

Bayer B E。Color imaging array,U.S。Patent 3 971 065,July 1976。

Zhou D,Shen X and Dong W。Image zooming using directional cubic convolutioninterpolation。IET Image Processing,2012,6(6):627-634。

Zhou D,Shen X。An Effective Color Image Interpolation Algorithm。In:Proceedings ofThe 4th International Congress on Image and Signal Processing,Shanghai,China:IEEE,2011,984–988。

周登文，申晓留。边导向的双三次彩色图像插值。自动化学报,2012,38(4),525-530。

Lukac R,Plataniotis K N,and Hatzinakos D。Color image zooming on the Bayer pattern。IEEE Transactions on Circuits and Systems for Video Technology,2005,15(11):1475–1492。

Lukac R and Platataniotis K N。Digital zooming for color filter array。Real-Time Imaging,2005,11(2):129–138。

Chung K-H and Chan Y-H。A Low-Complexity Joint Color Demosaicking and ZoomingAlgorithm for Digital Camera。IEEE Transactions on Image Processing,2007,16:1705-1715。

Zhang L and Zhang D。A joint demosaicking-zooming scheme for single chip digital colorcameras。Computer Vision and Image Understanding,2007,107:14-25。

Chung K-L,Yang W-J,Chen P-Y,Yan W-M and Fuh,C-S。New joint demosaicing andzooming algorithm for color filter array。IEEE Transactions on Consumer Electronics,2009,55:1477-1486。

Keys R G。Cubic convolution interpolation for digital image processing。IEEETransactions on AcousticSpeech Signal Processing,1981,ASSP-29(6):1153–1160。

发明内容

为了解决现有技术的问题，本发明的目的是提出一个适合于覆盖有彩色滤波阵列(CFA)的单传感器数码相机的彩色去马赛克和放大方法。本发明中，我们基于最常见的Bayer CFA模式(扩展到其它CFA模式是直接的)，提出了一个新的联合去马赛克和放大方法。考虑到在BayerCFA图像中，绿色平面(G)提供的信息是红色平面(R)或蓝色平面(B)的2倍，本发明首先估计原始的CFA图像中丢失的绿色样本。对于每一个丢失的绿色样本，基于局部梯度估计合适的插值方向。在估计的强边上进行插值，或对水平和垂直方向的插值进行加权平均。由于各颜色平面之间是相关的，所以颜色差图像R-G和B-G比原红色和蓝色平面本身光滑得多[3]。本发明不是直接估计丢失的红色和蓝色样本，而是估计颜色差R-G和B-G。利用颜色平面之间的相关性，绿色平面和颜色差图像还能够被进一步求精。然后，绿色平面被放大，去马赛克过程中估计的插值方向继续用于确定丢失的绿色像素的插值方向。这样，从原始传感器数据中抽取的边信息被一致应用于去马赛克和放大过程中。最后，放大颜色差图像R-G和B-G，彩色差图像加上绿色平面，便恢复出红色和蓝色平面。实验结果表明：本发明具有优越的性能，与当前现有的其它代表性的图像处理方法相比，具有更好的主观和客观测度。

该方法步骤为：

由于绿色平面(G)的采样频率是红色和蓝色平面的2倍，它包含大多数图像细节，能够比红色平面(R)和蓝色平面(B)更精确地去马赛克和插值,所以，首先对绿色平面去马赛克和插值，然后帮助恢复红色和蓝色平面。整个过程包含以下几个阶段：①绿色平面去马赛克；②利用去马赛克的绿色平面，恢复颜色差图像R-G和B-G；③利用颜色平面之间的相关性，对绿色平面和颜色差图像求精；④利用绿色平面去马赛克中估计的插值方向，放大绿色平面；⑤放大颜色差图像R-G和B-G，然后加上放大绿色平面，恢复出放大的红色和绿色平面。本发明流程如图2所示。

该方法具体步骤为：

1.绿色平面去马赛克

绿色平面去马赛克包含两步：方向插值步和方向判定步。

1.1方向插值步

本步使用自适应的彩色平面插值算法[2]的插值器分别在水平和垂直方向插值丢失的绿色像素值。这里仅考虑估计在红色像素位置丢失的绿色像素值[图3(a)，图3为参考CFA样本示意图。其中，(a)中心为红色样本；(b)中心为蓝色样本。]，在蓝色像素位置丢失的绿色像素值的估计过程是相似的[图3(b)]。

如图3(a)，在中心红色像素位置丢失的绿色像素值在水平和垂直方向的插值分别为：

$\left\{\begin{array}{c}{G}_{i,j}^H=\frac{G_{i,j-1}+G_{i,j+1}}{2}+\frac{{2R}_{i,j}-R_{i,j-2}-R_{i,j+2}}{4}\\ G_{i,j}^V=\frac{G_{i-1,j}+G_{i+1,j}}{2}+\frac{{2R}_{i,j}-R_{i-2,j}-R_{i+2,j}}{4}\end{array}\right.---\left(1\right)$

其中

和

分别为丢失的绿色像素在水平和垂直方向的插值。

1.2判定步

绿色平面分别在水平和垂直方向插值后，生成两个绿色图像G^H和G^V。在每一个丢失的绿色像素位置，需要选择一个更好的插值或组合两个方向的插值。由于沿着边的方向插值效果更好[1]，所以原则是：选择最靠近边的方向的插值。图像的一个性质是颜色差的光滑性，即颜色差缓慢变化，仅当通过边时才会急剧变化，所以，图像通过边比沿着边时颜色差的梯度值更大，这个性质可用于判定合适的插值方向。在每一个红色和蓝色采样位置颜色差值C^H和C^V的计算如式(2)：

其中i和j分别表示像素所在的行和列。计算C^H和C^V的梯度如式(3)：

$\left\{\begin{array}{c}{D}_H(i,j)=|C_H(i,j)-C_H(i,j+2)|\\ D_V(i,j)=|C_V(i,j)-C_V(i,j+2)|\end{array}\right.---\left(3\right)$

如果定义两个分类器δ_H(i,j)和δ_V(i,j)，它们是D_H和D_V在中心为(i,j)的5×5的窗口内的梯度和。两个分类器δ_H和δ_V能够估计水平和垂直方向颜色差的变化，因而能够用于估计边的方向。对于所有红色和蓝色像素位置，估计丢失的绿色像素值可用下面的准则：

$\left\{\begin{array}{c}\mathrm{if}(1+{\mathrm{\δ}}_V(i,j))/(1+{\mathrm{\δ}}_H(i,j))>T_1\\ G_{i,j}=G_{i,j}^H\\ \mathrm{else\; if}(1+{\mathrm{\δ}}_H(i,j))/(1+{\mathrm{\δ}}_V(i,j))>T_1\\ G_{i,j}=G_{i,j}^V\\ \mathrm{else}\\ G_{i,j}=(w_1*G_{i,j}^H+w_2*G_{i,j}^V)/(w_1+w_2)\\ \mathrm{end}\end{array}\right.---\left(4\right)$

分类器中分母加1是为了避免被0除。每一个丢失的绿色像素的插值方向记录在一个方向矩阵DM中，称为方向图，包括水平、垂直和均匀区域三种情形，这个方向图将用于后续绿色平面的放大。T₁是一个阈值需要谨慎选择，由于两个分类器的比值表明水平和垂直方向边的相对强度，例如，(1+δ_V(i,j)/(1+δ_H(i,j)越大，表明相比于水平方向边越强。T₁值越大，被划分为光滑的区域就越大。这里T₁值取1.5。

上面的准则表明：如果丢失的绿色像素值G_i,j是在水平强边上(或在垂直强边上)，然后否则G_i,j是在光滑的区域(即弱边或纹理区域)，它的值是

和的加权平均。

(或

)对G_i,j的贡献与该像素所在水平(或垂直边)的强度成正比。由于边的强度与梯度成反比，所以权w₁和w₂取为梯度的倒数。权w₁和w₂的计算有两种情形(图3)，丢失的绿色像素位置是一个红色像素或蓝色像素。这里仅考虑红色位置丢失的绿色像素[图3(a)]，蓝色位置丢失的绿色像素的权值计算是类似的。权w₁和w₂的计算如式(5)：

$\left\{\begin{array}{c}{w}_1=1/(1+|G_{i,j+1}-G_{i,j-1}|+|{2R}_{i,j}-R_{i,j-2}-R_{i,j+2}\left|\right)\\ w_2=1/(1+|G_{i+1,j}-G_{i-1,j}|+{|2R}_{i,j}-R_{i-2,j}-R_{i+2,j}|)\end{array}\right.---\left(5\right)$

去马赛克后的绿色平面如图4(b)[图4是红绿蓝三个颜色平面去马赛克后的结果示意图。其中，(a)原CFA图像；(b)去马赛克后的绿色平面；(c)去马赛克后的红绿与蓝绿颜色差平面。]。

2.估计颜色差图像R-G和B-G

大多数去马赛克方法采用了红(R)、绿(G)和蓝色(B)平面之间的相关性。在去马赛克文献中，有关绿与红(或蓝)色分量之间关系的假定有两种：在图像的局部区域，颜色比值是常量和颜色差值是常量[3]，这里使用颜色差模型。由于颜色差图像更为光滑，所以通过颜色差恢复丢失的红色和蓝色像素。已经插值的绿色像素值可以认为是已知的，在红(或蓝)色像素位置的颜色差值R-G(或B-G)可直接计算，在绿色像素位置丢失的红和蓝色像素，其颜色差值需要估计。这里仅考虑丢失的B-G差值估计，丢失的R-G差值估计是类似的。丢失B-G差值有三种情形，如图5(图5是中心丢失蓝绿颜色像素差的三种情形示意图)。由于每一个红色像素在对角方向上有四个蓝色像素，所以，在红色像素位置丢失的蓝绿颜色差值首先被估计[图5(c)]，KB表示蓝绿颜色差值，即KB_i,j=G_i,j-B_i,j。这里KB_i,j用(6)式估计：

${\mathrm{KB}}_{i,j}=\frac{w_{i-1,j-1}{\mathrm{KB}}_{i-1,j-1}+w_{i-1,j+1}{\mathrm{KB}}_{i-1,j+1}+w_{i+1,j-1}{\mathrm{KB}}_{i+1,j-1}+w_{i+1,j+1}{\mathrm{KB}}_{i+1,j+1}}{w_{i-1,j-1}+w_{i-1,j+1}+w_{i+1,j-1}+w_{i+1,j+1}}---\left(6\right)$

其中权值w_x,y用(7)式计算：

$\left\{\begin{array}{c}{w}_{i-1,j-1}=\frac{1}{1+|{\mathrm{KB}}_{i+1,j+1}-{\mathrm{KB}}_{i-1,j-1}|+c|{\mathrm{KB}}_{i-1,j-1}-{\mathrm{KB}}_{i-3,j-3}|}\\ w_{i-1,j+1}=\frac{1}{1+|{\mathrm{KB}}_{i+1,j-1}-{\mathrm{KB}}_{i-1,j+1}|+c|{\mathrm{KB}}_{i-1,j+1}-{\mathrm{KB}}_{i-3,j+3}|}\\ w_{i+1,j-1}=\frac{1}{1+|{\mathrm{KB}}_{i-1,j+1}-{\mathrm{KB}}_{i+1,j-1}|+c|{\mathrm{KB}}_{i+1,j-1}-{\mathrm{KB}}_{i+3,j-3}|}\\ w_{i+1,j+1}=\frac{1}{1+|{\mathrm{KB}}_{i-1,j-1}-{\mathrm{KB}}_{i+1,j+1}|+c|{\mathrm{KB}}_{i+1,j+1}-{\mathrm{KB}}_{i+3,j+3}|}\end{array}\right.---\left(7\right)$

式中c是一个常量，用于调整加权效果，这里选取c=2。

一旦获得了在红色像素位置的蓝绿颜色差值，与绿色像素相邻的四个蓝绿颜色像素差值均为已知，其中水平方向[图5(a)]或垂直方向[图5(b)]两个相邻的蓝绿颜色差值是刚刚估算的。这样，在绿色像素位置的蓝绿颜色像素差值[如图5(a)和(b)]也可以用(6)和(7)式估计，只不过使用水平和垂直方向四个相邻的像素，而不是四个对角方向的相邻像素。例如，要计算图5(a)或(b)中丢失的蓝绿颜色差值使用(8)式：

${\mathrm{KB}}_{i,j}=\frac{w_{i-1,j}{\mathrm{KB}}_{i-1,j}+w_{i,j+1}{\mathrm{KB}}_{i,j+1}+w_{i,j-1}{\mathrm{KB}}_{i,j-1}+w_{i+1,j}{\mathrm{KB}}_{i+1,j}}{w_{i-1,j}+w_{i,j+1}+w_{i,j-1}+w_{i+1,j}}---\left(8\right)$

其中权值w_x,y用(9)式计算：

$\left\{\begin{array}{c}{w}_{i-1,j}=\frac{1}{1+|{\mathrm{KB}}_{i+1,j}-{\mathrm{KB}}_{i-1,j}|+c|{\mathrm{KB}}_{i-1,j}-{\mathrm{KB}}_{i-3,j}|}\\ w_{i,j+1}=\frac{1}{1+|{\mathrm{KB}}_{i,j-1}-{\mathrm{KB}}_{i,j+1}|+c|{\mathrm{KB}}_{i,j+1}-{\mathrm{KB}}_{i,j+3}|}\\ w_{i,j-1}=\frac{1}{1+|{\mathrm{KB}}_{i,j+1}-{\mathrm{KB}}_{i,j-1}|+c|{\mathrm{KB}}_{i,j-1}-{\mathrm{KB}}_{i,j-3}|}\\ w_{i+1,j}=\frac{1}{1+|{\mathrm{KB}}_{i-1,j}-{\mathrm{KB}}_{i+1,j}|+c|{\mathrm{KB}}_{i+1,j}-{\mathrm{KB}}_{i+3,j}|}\end{array}\right.---\left(9\right)$

颜色差平面去马赛克后，获得的红绿和蓝绿颜色差平面如图4(c)。

3.求精

在绿色平面和颜色差平面去马赛克后，能够被进一步求精。借助于颜色差平面，绿色平面能够被进一步求精，反过来，求精的绿色平面可再求精颜色差平面。求精只进行一次。由于求精是利用了颜色平面之间的谱相关性[3]，如果谱相关性被过度使用，会使结果变坏。

3.1绿色平面求精

仅需考虑在蓝色像素位置的绿色像素求精，在红色像素位置的绿色像素求精是类似的。假定求精图6(a)中心蓝色像素位置的绿色像素，G_ij=B_ij+KB_ij，这里KB_ij用(8)式计算，其中权值用(9)式计算。[图6是中心丢失的绿色像素和蓝绿颜色差值需要求精示意图。其中，(a)求精蓝色像素位置的绿色像素；(b)求精红色像素位置的蓝绿颜色差值。]

3.2颜色差平面求精

使用求精的绿色平面，可进一步求精颜色差平面。由于蓝绿颜色差平面的求精与红绿颜色差平面的求精相似，仅需考虑蓝绿颜色差平面的求精。需要求精的蓝绿颜色差值是在绿色和红色采样位置。初始的蓝绿颜色差值估算后，每一个原CFA绿色和红色像素位置，分别在水平和垂直方向有4个相邻的蓝绿颜色差值。在原CFA绿色和红色像素位置的蓝绿颜色差值求精均采用(8)和(9)式计算，参考图6(b)，以及5(a)和5(b)。

4.绿色平面放大

绿色平面去马赛克后，生成了一个在丢失的绿色像素位置的插值方向矩阵DM及一个完整的去马赛克后的绿色平面图像[图4(b)]。然后，已去马赛克的绿色平面图像扩展到放大后图像的网格上，如图7(a)(图7是绿色平面放大示意图)。四分之三的绿色像素丢失，需要估计。首先估计边界为虚线的像素，这些像素的四个对角方向上的绿色像素是已知的。对于每一个丢失的像素，在一个7×7的邻域内，分别估计45°和135°边的强度，然后，沿着强边的方向进行双三次插值，作为对丢失像素的估计。如果该邻域是均匀的，则在45°和135°方向分别进行双三次插值，这两个正交方向插值的加权平均作为丢失像素的估计。

这里运用梯度估计边的方向，邻域中心位置像素(2i,2j)的梯度计算方法如下：

其中，G表示在放大网格上的绿色平面图像灰度。梯度比可用于估计边的强度：

其中T₂是一个阈值，取1.15。梯度值加1是为了避免分母为0。如果丢失的中心像素(2i,2j)是在对角强边上，则利用对角已知的四个绿色像素，进行双三次插值，双三次插值滤波器为[21,9,9,21]/16[16]。如果丢失的中心像素是在均匀的区域上，加权平均估计方法如下：

p=(w₁p₁+w₂p₂)/(w₁+w₂)(12)   (12)

其中p₁和p₂分别为45°和135°方向的双三次插值，权值计算方法为：

$\left\{\begin{array}{c}{w}_1=\frac{1}{1+{\mathrm{\δ}}_1^k}\\ w_2=\frac{1}{1+{\mathrm{\δ}}_2^k}\end{array}\right.---\left(13\right)$

其中参数k调整加权效果，取为5。其合理性在于梯度大小与边的强度成反比，因而，方向梯度越大，在该方向上的插值贡献越小。同样，梯度值加1是为了避免分母为0。

其余丢失的绿色像素，通过简单的方向双三次插值得到，如图7(b)所示，虚线框表示的像素需要估计。每一个丢失的绿色像素(x,y)，在水平和垂直方向有四个相邻的已知绿色像素，其中一个绿色像素(i,j)是在CFA图像上进行绿色平面去马赛克过程中估计的，其插值方向已被计算，且记录在方向矩阵DM中。像素(x,y)估计方法如下：

这里p₁和p₂分别指水平和垂直方向的双三次插值，权值仍用式(13)计算，但是梯度δ₁和δ₂分别是指水平方向和垂直方向梯度，计算方法为：

5.颜色差图像R-G和B-G图像的放大

绿色平面放大后，再放大颜色差图像R-G和B-G，然后放大的颜色差图像加上放大的绿色图像便获得放大的红色和蓝色平面。这样做的主要原因是：在Bayer模式中，红色和蓝色像素的采样频率仅为绿色像素采样频率的一半，红色和蓝色平面的去马赛克误差比绿色平面的去马赛克误差更大，去马赛克误差在执行图像放大过程中会被进一步放大。另外，颜色差平面比原图像光滑得多[3]，更光滑的图像插值误差更小。R-G和B-G图像的放大过程是完全相同的，只需要讨论R-G图像的放大过程即可。

由于颜色差图像较为光滑，估计丢失的颜色差像素的方法是：在以丢失像素为中心的7×7的邻域内，对两个正交方向的双三次插值进行加权平均。类似于绿色平面的放大，R-G图像的放大也分为两步。图8是红绿颜色差值R-G图像放大示意图，如图8(a)，首先估计虚线框表示的颜色差像素，每一个丢失的颜色差像素在四个对角方向上的颜色差像素是已知的，然后，估计其余丢失的颜色差像素，如图8(b)中虚线框所示的像素。

第一步中估计丢失的颜色差像素使用式(10)，(12)和(13)，第二步中估计丢失的颜色差像素使用式(12)，(13)和(15)。

数码相机要向用户提供可视的图像，需要执行大量的处理和运算，包括传感器非线性和非均匀性修正，白平衡调整，压缩等等。在这个处理链中，图像去马赛克和放大(我们的发明)是其中的重要步骤，它获取原始的CFA图像，然后恢复出放大的全彩色图像，直接作为相机的输出结果，或在相机中进行其它后续处理。

本发明提出了一个新的联合去马赛克和放大方法。在原始CFA图像中，根据局部梯度确定的插值方向一致应用于绿色平面的去马赛克和放大之中。借助于绿色平面和自然图像中谱相关性，红色和蓝色平面被去马赛克和放大。实验结果表明：与传统的方法(“先去马赛克，然后放大”或“先放大CFA，然后去马赛克”)，以及当前现有出版的其它联合去马赛克和放大方法相比，本发明产生的图像保留了最多的细节，产生了最少的彩色缺陷。

附图说明

图1是Bayer CFA示意图。

图2是本发明流程图。

图3为参考CFA样本示意图。其中，(a)中心为红色样本；(b)中心为蓝色样本。

图4是红绿蓝三个颜色平面去马赛克后的结果示意图。其中，(a)原CFA图像；(b)去马赛克后的绿色平面；(c)去马赛克后的红绿与蓝绿颜色差平面。

图5是中心丢失蓝绿颜色像素差的三种情形示意图。

图6是中心丢失的绿色像素和蓝绿颜色差值需要求精示意图。其中，(a)求精蓝色像素位置的绿色像素；(b)求精红色像素位置的蓝绿颜色差值。

图7是绿色平面放大示意图。

图8是红绿颜色差值R-G图像放大示意图。

图9是20个彩色测试图像(从上到下，从左到右分别称为图像1到图像20)示意图。

图10是各个方法对图像4的部分处理结果示意图，其中，(a)原图像；(b)A1；(c)A2；(d)A3；(e)A4；(f)A5；(g)本发明方法。

图11是各个方法对图像20的部分处理结果示意图，其中，(a)原图像；(b)A1；(c)A2；(d)A3；(e)A4；(f)A5；(g)本发明方法。

图12是本发明在相机中的使用示意图。

具体实施方式

下面结合附图和实施例进一步说明本发明。

数码相机要向用户提供可视的图像，需要执行大量的处理和运算，包括传感器非线性和非均匀性修正，白平衡调整，压缩等等。在这个处理链中，我们的发明是其中的重要步骤。它获取原始的CFA图像，然后恢复出放大的全彩色图像，如图12所示(本发明在相机中使用的示意图)，我们发明的输出可直接作为相机的输出结果，也可在相机中进行其它后续处理。

边相关的联合彩色去马赛克和放大方法步骤为：

1.绿色平面去马赛克

1.1方向插值

使用自适应的彩色平面插值算法的插值器分别在水平和垂直方向插值丢失的绿色像素值。这里仅考虑估计在红色像素位置丢失的绿色像素值，在蓝色像素位置丢失的绿色像素值的估计过程是相似的。

在中心红色像素位置丢失的绿色像素值在水平和垂直方向的插值分别为：

$\left\{\begin{array}{c}{G}_{i,j}^H=\frac{G_{i,j-1}+G_{i,j+1}}{2}+\frac{{2R}_{i,j}-R_{i,j-2}-R_{i,j+2}}{4}\\ G_{i,j}^V=\frac{G_{i-1,j}+G_{i+1,j}}{2}+\frac{{2R}_{i,j}-R_{i-2,j}-R_{i+2,j}}{4}\end{array}\right.---\left(1\right)$

其中，

和

分别为丢失的绿色像素在水平和垂直方向的插值

1.2方向判定

绿色平面分别在水平和垂直方向插值后，生成两个绿色图像G^H和G^V。在每一个丢失的绿色像素位置，需要选择一个更好的插值或组合两个方向的插值。由于沿着边的方向插值效果更好，所以原则是：选择最靠近边的方向的插值。图像的一个性质是颜色差的光滑性，即颜色差缓慢变化，仅当通过边时才会急剧变化。所以，图像通过边比沿着边时颜色差的梯度值更大，这个性质可用于判定合适的插值方向。在每一个红色和蓝色采样位置颜色差值C_H和C_V的计算如式(2)：

其中，i和j分别表示像素所在的行和列。

计算C_H和C_V的梯度如式(3)：

$\left\{\begin{array}{c}{D}_H(i,j)=|C_H(i,j)-C_H(i,j+2)|\\ D_V(i,j)=|C_V(i,j)-C_V(i,j+2)|\end{array}\right.---\left(3\right)$

如果定义两个分类器δ_H(i,j)和δ_V(i,j)，它们是D_H和D_V在中心为(i,j)的5×5的窗口内的梯度和。两个分类器δ_H和δ_V能够估计水平和垂直方向颜色差的变化，因而能够用于估计边的方向。对于所有红色和蓝色像素位置，估计丢失的绿色像素值可用下面的准则：

$\left\{\begin{array}{c}\mathrm{if}(1+{\mathrm{\δ}}_V(i,j))/(1+{\mathrm{\δ}}_H(i,j))>T_1\\ G_{i,j}=G_{i,j}^H\\ \mathrm{else\; if}(1+{\mathrm{\δ}}_H(i,j))/(1+{\mathrm{\δ}}_V(i,j))>T_1\\ G_{i,j}=G_{i,j}^V\\ \mathrm{else}\\ G_{i,j}=(w_1*G_{i,j}^H+w_2*G_{i,j}^V)/(w_1+w_2)\\ \mathrm{end}\end{array}\right.---\left(4\right)$

分类器中分母加1是为了避免被0除。每一个丢失的绿色像素的插值方向记录在一个方向矩阵DM中，称为方向图，包括水平、垂直和均匀区域三种情形，这个方向图将用于后续绿色平面的放大。T₁是一个阈值，需要谨慎选择，由于两个分类器的比值表明水平和垂直方向边的相对强度，T₁值越大，被划分为光滑的区域就越大。

上面的准则表明：如果丢失的绿色像素值G_i,j是在水平强边上(或在垂直强边上)，然后

否则G_i,j是在光滑的区域(即弱边或纹理区域)，它的值是

和

的加权平均。

(或

)对G_i,j的贡献与该像素所在水平(或垂直边)的强度成正比。由于边的强度与梯度成反比，所以权w₁和w₂取为梯度的倒数。权w₁和w₂的计算有两种情形，丢失的绿色像素位置是一个红色像素或蓝色像素。这里仅考虑红色位置丢失的绿色像素，蓝色位置丢失的绿色像素的权值计算是类似的。权w₁和w₂的计算如式(5)：

$\left\{\begin{array}{c}{w}_1=1/(1+|G_{i,j+1}-G_{i,j-1}|+|{2R}_{i,j}-R_{i,j-2}-R_{i,j+2}\left|\right)\\ w_2=1/(1+|G_{i+1,j}-G_{i-1,j}|+{|2R}_{i,j}-R_{i-2,j}-R_{i+2,j}|)\end{array}\right.---\left(5\right)$

2.估计颜色差图像R-G和B-G

通过颜色差恢复丢失的红色和蓝色像素。已经插值的绿色像素值可以认为是已知的，在红(或蓝)色像素位置的颜色差值R-G(或B-G)可直接计算，在绿色像素位置丢失的红和蓝色像素，其颜色差值需要估计。这里仅考虑丢失的B-G差值估计，丢失的R-G差值估计是类似的。丢失B-G差值有三种情形，如图5。由于每一个红色像素在对角方向上有四个蓝色像素，所以，在红色像素位置丢失的蓝绿颜色差值首先被估计，KB表示蓝绿颜色差值，即KB_i,j=G_i,j-B_i,j，KB_i,j用式(6)估计：

${\mathrm{KB}}_{i,j}=\frac{w_{i-1,j-1}{\mathrm{KB}}_{i-1,j-1}+w_{i-1,j+1}{\mathrm{KB}}_{i-1,j+1}+w_{i+1,j-1}{\mathrm{KB}}_{i+1,j-1}+w_{i+1,j+1}{\mathrm{KB}}_{i+1,j+1}}{w_{i-1,j-1}+w_{i-1,j+1}+w_{i+1,j-1}+w_{i+1,j+1}}---\left(6\right)$

其中，权值w_x,y用式(7)计算：

$\left\{\begin{array}{c}{w}_{i-1,j-1}=\frac{1}{1+|{\mathrm{KB}}_{i+1,j+1}-{\mathrm{KB}}_{i-1,j-1}|+c|{\mathrm{KB}}_{i-1,j-1}-{\mathrm{KB}}_{i-3,j-3}|}\\ w_{i-1,j+1}=\frac{1}{1+|{\mathrm{KB}}_{i+1,j-1}-{\mathrm{KB}}_{i-1,j+1}|+c|{\mathrm{KB}}_{i-1,j+1}-{\mathrm{KB}}_{i-3,j+3}|}\\ w_{i+1,j-1}=\frac{1}{1+|{\mathrm{KB}}_{i-1,j+1}-{\mathrm{KB}}_{i+1,j-1}|+c|{\mathrm{KB}}_{i+1,j-1}-{\mathrm{KB}}_{i+3,j-3}|}\\ w_{i+1,j+1}=\frac{1}{1+|{\mathrm{KB}}_{i-1,j-1}-{\mathrm{KB}}_{i+1,j+1}|+c|{\mathrm{KB}}_{i+1,j+1}-{\mathrm{KB}}_{i+3,j+3}|}\end{array}\right.---\left(7\right)$

式中，c是一个常量，用于调整加权效果。

一旦获得了在红色像素位置的蓝绿颜色差值，与绿色像素相邻的四个蓝绿颜色像素差值均为已知，其中水平方向[图5(a)]或垂直方向[图5(b)]两个相邻的蓝绿颜色差值是刚刚估算的。这样，在绿色像素位置的蓝绿颜色像素差值[如图5(a)和(b)]也可以用(6)和(7)式估计，只不过使用水平和垂直方向四个相邻的像素，而不是四个对角方向的相邻像素。例如，要计算图5(a)或(b)中丢失的蓝绿颜色差值使用(8)式：

${\mathrm{KB}}_{i,j}=\frac{w_{i-1,j}{\mathrm{KB}}_{i-1,j}+w_{i,j+1}{\mathrm{KB}}_{i,j+1}+w_{i,j-1}{\mathrm{KB}}_{i,j-1}+w_{i+1,j}{\mathrm{KB}}_{i+1,j}}{w_{i-1,j}+w_{i,j+1}+w_{i,j-1}+w_{i+1,j}}---\left(8\right)$

其中权值w_x,y用(9)式计算：

$\left\{\begin{array}{c}{w}_{i-1,j}=\frac{1}{1+|{\mathrm{KB}}_{i+1,j}-{\mathrm{KB}}_{i-1,j}|+c|{\mathrm{KB}}_{i-1,j}-{\mathrm{KB}}_{i-3,j}|}\\ w_{i,j+1}=\frac{1}{1+|{\mathrm{KB}}_{i,j-1}-{\mathrm{KB}}_{i,j+1}|+c|{\mathrm{KB}}_{i,j+1}-{\mathrm{KB}}_{i,j+3}|}\\ w_{i,j-1}=\frac{1}{1+|{\mathrm{KB}}_{i,j+1}-{\mathrm{KB}}_{i,j-1}|+c|{\mathrm{KB}}_{i,j-1}-{\mathrm{KB}}_{i,j-3}|}\\ w_{i+1,j}=\frac{1}{1+|{\mathrm{KB}}_{i-1,j}-{\mathrm{KB}}_{i+1,j}|+c|{\mathrm{KB}}_{i+1,j}-{\mathrm{KB}}_{i+3,j}|}\end{array}\right.---\left(9\right)$

颜色差平面去马赛克后，获得的红绿和蓝绿颜色差平面如图4(c)。

3.求精

在绿色平面和颜色差平面去马赛克后，能够被进一步求精。借助于颜色差平面，绿色平面能够被进一步求精，反过来，求精的绿色平面可再求精颜色差平面。求精只进行一次。由于求精是利用了颜色平面之间的谱相关性，如果谱相关性被过度使用，会使结果变坏。

3.1绿色平面求精

仅需考虑在蓝色像素位置的绿色像素求精，在红色像素位置的绿色像素求精是类似的。假定求精图6(a)中心蓝色像素位置的绿色像素。G_ij=B_ij+KB_ij，这里KB_ij用(8)式计算，其中权值用(9)式计算。

3.2颜色差平面求精

使用求精的绿色平面，可进一步求精颜色差平面。由于蓝绿颜色差平面的求精与红绿颜色差平面的求精相似，仅需考虑蓝绿颜色差平面的求精。需要求精的蓝绿颜色差值是在绿色和红色采样位置。初始的蓝绿颜色差值估算后，每一个原CFA绿色和红色像素位置，分别在水平和垂直方向有4个相邻的蓝绿颜色差值。在原CFA绿色和红色像素位置的蓝绿颜色差值求精均采用(8)和(9)式计算，参考图6(b)，以及5(a)和5(b)。

4.绿色平面放大

绿色平面去马赛克后，生成了一个在丢失的绿色像素位置的插值方向矩阵DM及一个完整的去马赛克后的绿色平面图像。然后，已去马赛克的绿色平面图像扩展到放大后图像的网格上。四分之三的绿色像素丢失，需要估计，如图7(a)。首先估计边界为虚线的像素，这些像素的四个对角方向上的绿色像素是已知的。对于每一个丢失的像素，在一个7×7的邻域内，分别估计45°和135°边的强度，然后，沿着强边的方向进行双三次插值，作为对丢失像素的估计。如果该邻域是均匀的，则在45°和135°方向分别进行双三次插值，这两个正交方向插值的加权平均作为丢失像素的估计。

这里运用梯度估计边的方向。邻域中心位置像素(2i,2j)的梯度计算方法如下：

其中，G表示在放大网格上的绿色平面图像灰度。梯度比可用于估计边的强度：

其中，T₂是一个阈值，取1.15。梯度值加1是为了避免分母为0。如果丢失的中心像素(2i,2j)是在对角强边上，则利用对角已知的四个绿色像素，进行双三次插值。双三次插值滤波器为[21,9,9,21]/16。如果丢失的中心像素是在均匀的区域上，加权平均估计方法如下：

p=(w₁p₁+w₂p₂)/(w₁+w₂)(12)

其中，p₁和p₂分别为45°和135°方向的双三次插值，权值计算方法为：

$\left\{\begin{array}{c}{w}_1=\frac{1}{1+{\mathrm{\δ}}_1^k}\\ w_2=\frac{1}{1+{\mathrm{\δ}}_2^k}\end{array}\right.---\left(13\right)$

其中，参数k调整加权效果。其合理性在于梯度大小与边的强度成反比，因而，方向梯度越大，在该方向上的插值贡献越小。同样，梯度值加1是为了避免分母为0。

其余丢失的绿色像素，通过简单的方向双三次插值得到。每一个丢失的绿色像素(x,y)，在水平和垂直方向有四个相邻的已知绿色像素，其中一个绿色像素(i,j)是在CFA图像上进行绿色平面去马赛克过程中估计的，其插值方向已被计算，且记录在方向矩阵DM中。像素(x,y)估计方法如下：

这里，p₁和p₂分别指水平和垂直方向的双三次插值，权值仍用式(13)计算，但是梯度δ₁和δ₂分别是指水平方向和垂直方向梯度，计算方法为：

5.颜色差图像R-G和B-G图像的放大

绿色平面放大后，再放大颜色差图像R-G和B-G，然后放大的颜色差图像加上放大的绿色图像便获得放大的红色和蓝色平面。这样做的主要原因是：在Bayer模式中，红色和蓝色像素的采样频率仅为绿色像素采样频率的一半，红色和蓝色平面的去马赛克误差比绿色平面的去马赛克误差更大，去马赛克误差在执行图像放大过程中会被进一步放大。另外，颜色差平面比原图像光滑得多，更光滑的图像插值误差更小。R-G和B-G图像的放大过程是完全相同的，只需要讨论R-G图像的放大过程即可。

由于颜色差图像较为光滑，估计丢失的颜色差像素的方法是：在以丢失像素为中心的7×7的邻域内，对两个正交方向的双三次插值进行加权平均。类似于绿色平面的放大，R-G图像的放大也分为两步。首先估计虚线框表示的颜色差像素，每一个丢失的颜色差像素在四个对角方向上的颜色差像素是已知的，然后，估计其余丢失的颜色差像素。

第一步中估计丢失的颜色差像素使用式(10)，(12)和(13)，第二步中估计丢失的颜色差像素使用式(12)，(13)和(15)。

这里所述步骤1.2中阈值T₁取1.5。

所述步骤2中c=2。

所述步骤4中阈值T₂取1.15，参数k取5。

[实施例]

本发明方法与当前5个代表性算法进行了比较，第一个方法是“先去马赛克，然后放大”。去马赛克方法是Zhang等提出的非局部取阈值方法[5]，放大方法采用标准的双三次插值[16]。第二个方法是“先放大CFA，然后去马赛克”。CFA放大方法是由Lukac等提出的[11，12]，然后采用Gunmrk等提出的著名的交替投影的方法[3，4]去马赛克，恢复全彩色图像。另外3个方法是当前出版的联合去马赛克和放大方法，分别由Chung等[13]，Zhang等[14]和Chung等[15]提出。这5个算法分别表示为A1，A2，A3，A4和A5，我们自己的方法表示为Ours。

实验中使用流行的20个Kodak彩色图像，如图9所示『图9是20个彩色测试图像(从上到下，从左到右分别称为图像1到图像20)示意图1，20个图像的尺寸均为512×768，首先采样获得尺寸为256×384的彩色图像，然后再按Bayer模式采样生成小的CFA马赛克测试图像．不同的方法用于CFA测试图像恢复出放大的全彩色图像，并进行比较。各个方法的Matlab源码或可执行代码均来自于原作者，双三次插值是通过Matlab的1NTERP2函数实现的。

表1在生成放大的全彩色图像中各种方法的CPSNR性能(dB)

Image

A1

A2

A3

A4

A5

0urs

1

30．50

28．80

30．50

30．64

30．71

30．91

2

31．95

29．76

31．94

31．93

32．44

32．84

3

31．03

28．67

30．74

30．98

31．13

31．30

4

24．16

21．79

24．50

24．65

24．73

25．40

5

25．17

23．77

25．99

25．91

26．10

26．05

6

31．27

27．65

30．91

31．20

31．17

32．03

7

21．31

19．33

21.86

21．72

21．61

21．83

8

30．22

27.36

30.37

30．46

30．33

30．92

9

30．10

27．83

30．42

30．57

30．63

31．00

10

26．70

24．90

27．11

27．12

27．34

27．37

11

31．08

28．99

31．50

31．44

31．51

31．86

12

26．34

24．32

25．97

26．11

26．47

26．58

13

30．43

28．34

30．48

30．66

30．78

31．02

14

29．79

27．63

30．20

30．33

30．36

30．67

15

25．79

24．04

26．04

26．15

26．38

26．35

16

25．68

23．60

26．43

26．40

26．26

26．63

17

29．44

27．01

29．91

29．78

29．79

30．40

18

25．98

24．22

26．57

26．59

26．78

26．74

19

27．82

26．0l

27．87

28．01

27．99

28．20

20

32．25

29．29

32．26

32．35

32．24

33．58

平均

28．35

26．17

28．58

28．65

28．74

29．08

表1列出了各种方法输出结果的彩色峰值信噪比(CPSNR)性能，计算中排除了12个边界像素。重构的全彩色图像I_r与原图像I_o的CPSNR定义为：

${\mathrm{CPSNR}=10\log }_{10}\left(\frac{{255}^2}{\mathrm{CMSE}}\right)---\left(16\right)$

其中,

R和C分别是图像I_o或I_r的行数和列数。我们的方法提供了最好的平均性能。在20个测试图像中，我们的方法有16个输出结果的CPSNR优于其它的方法，比排名第二的方法的CPSNR最大差异达到1.23dB(参看图像20的结果)。

CPSNR度量并不能精确可靠地判断处理结果之间的质量差异。图10是各个方法对图像4的部分处理结果示意图，其中，(a)原图像；(b)A1；(c)A2；(d)A3；(e)A4；(f)A5；(g)本发明方法。图11是各个方法对图像20的部分处理结果示意图，其中，(a)原图像；(b)A1；(c)A2；(d)A3；(e)A4；(f)A5；(g)本发明方法。图10和图11分别显示了图像4和20的实验结果，可以清楚地看到：我们的方法最好地恢复了摩托车上的缆绳，如图10(g)，和鹦鹉头上的纹理结构，如图11(g)，有最少的模糊和虚假的颜色缺陷，给出了最好的视觉质量。

本发明在原始CFA图像中，根据局部梯度确定的插值方向一致应用于绿色平面的去马赛克和放大之中。借助于绿色平面和自然图像中高度的谱相关性，红色和蓝色平面被去马赛克和放大。与传统的方法(“先去马赛克，然后放大”或“先放大CFA，然后去马赛克”)，以及当前出版的其它联合去马赛克和放大方法相比，本发明产生的图像保留了最多的细节，产生了最少的彩色缺陷。

Claims (5)

1.一种边相关的联合彩色去马赛克和放大方法，其特征在于，该方法步骤包括：

(1)绿色平面去马赛克

(1.1)方向插值

使用自适应的彩色平面插值算法，分别在水平和垂直方向插值丢失的绿色像素值；这里仅考虑估计在红色像素位置丢失的绿色像素值，在蓝色像素位置丢失的绿色像素值的估计过程是相似的；在中心红色像素位置丢失的绿色像素值在水平和垂直方向的插值分别为：

$\left\{\begin{array}{c}{G}_{i,j}^H=\frac{G_{i,j-1}+G_{i,j+1}}{2}+\frac{{2R}_{i,j}-R_{i,j-2}-R_{i,j+2}}{4}\\ G_{i,j}^V=\frac{G_{i-1,j}+G_{i+1,j}}{2}+\frac{{2R}_{i,j}-R_{i-2,j}-R_{i+2,j}}{4}\end{array}\right.---1),$

其中，

和

分别为丢失的绿色像素在水平和垂直方向的插值；

(1.2)方向判定

绿色平面分别在水平和垂直方向插值后，生成两个绿色图像G^H和G^V；在每一个丢失的绿色像素位置，需要选择一个更好的插值或组合两个方向的插值，由于沿着边的方向插值效果更好，所以选择最靠近边的方向的插值；图像的一个性质是颜色差的光滑性，即颜色差缓慢变化，仅当通过边时才会急剧变化，所以，图像通过边比沿着边时颜色差的梯度值更大，这个性质可用于判定合适的插值方向；在每一个红色和蓝色采样位置颜色差值C^H和C^V的计算如式2)：

其中，i和j分别表示像素所在的行和列；计算C^H和C^V的梯度如式3)：

$\left\{\begin{array}{c}{D}_H(i,j)=|C_H(i,j)-C_H(i,j+2)|\\ D_V(i,j)=|C_V(i,j)-C_V(i,j+2)|\end{array}\right.---3),$

定义两个分类器δ_H(i,j)和δ_V(i,j)，它们是D_H和D_V在中心为(i,j)的5×5的窗口内的梯度和；两个分类器δ_H(i,j)和δ_V(i,j)能够估计水平和垂直方向颜色差的变化，因而能够用于估计边的方向；对于所有红色和蓝色像素位置，估计丢失的绿色像素值可用下面的准则：

$\left\{\begin{array}{c}\mathrm{if}(1+{\mathrm{\δ}}_V(i,j))/(1+{\mathrm{\δ}}_H(i,j))>T_1\\ G_{i,j}=G_{i,j}^H\\ \mathrm{else\; if}(1+{\mathrm{\δ}}_H(i,j))/(1+{\mathrm{\δ}}_V(i,j))>T_1\\ G_{i,j}=G_{i,j}^V\\ \mathrm{else}\\ G_{i,j}=(w_1*G_{i,j}^H+w_2*G_{i,j}^V)/(w_1+w_2)\\ \mathrm{end}\end{array}\right.---4),$

分类器中分母加1是为了避免被0除；每一个丢失的绿色像素的插值方向记录在一个方向矩阵DM中，称为方向图，包括水平、垂直和均匀区域三种情形，这个方向图将用于后续绿色平面的放大；T₁是一个阈值，由于两个分类器的比值表明水平和垂直方向边的相对强度，T₁值越大，被划分为光滑的区域就越大；

上面的准则表明：如果丢失的绿色像素值G_i,j是在水平强边上(或在垂直强边上)，然后否则G_i,j是在光滑的区域(即弱边或纹理区域)，它的值是

和

的加权平均；

(或

)对G_i,j的贡献与该像素所在水平(或垂直)边的强度成正比；由于边的强度与梯度成反比，所以权w₁和w₂取为梯度的倒数；权w₁和w₂的计算有两种情形，丢失的绿色像素位置是一个红色像素或蓝色像素；这里仅考虑红色位置丢失的绿色像素，蓝色位置丢失的绿色像素的权值计算是类似的；权w₁和w₂的计算如式5)：

$\left\{\begin{array}{c}{w}_1=1/(1+|G_{i,j+1}-G_{i,j-1}|+|{2R}_{i,j}-R_{i,j-2}-R_{i,j+2}\left|\right)\\ w_2=1/(1+|G_{i+1,j}-G_{i-1,j}|+{|2R}_{i,j}-R_{i-2,j}-R_{i+2,j}|)\end{array}\right.---5),$

(2)估计颜色差图像R-G和B-G

丢失的红色和蓝色像素通过颜色差恢复；已经插值的绿色像素值可以认为是已知的，在红(或蓝)色像素位置的颜色差值R-G(或B-G)可直接计算，在绿色像素位置丢失了红和蓝色像素，其颜色差值需要估计；这里仅考虑丢失的B-G差值估计，丢失的R-G差值估计是类似的；丢失B-G差值有三种情形；由于每一个红色像素在对角方向上有四个蓝色像素，所以，在红色像素位置丢失的蓝绿颜色差值首先被估计；KB表示蓝绿颜色差值，即KB_i,j=G_i,j-B_i,j，KB_i,j用式6)估计：

${\mathrm{KB}}_{i,j}=\frac{w_{i-1,j-1}{\mathrm{KB}}_{i-1,j-1}+w_{i-1,j+1}{\mathrm{KB}}_{i-1,j+1}+w_{i+1,j-1}{\mathrm{KB}}_{i+1,j-1}+w_{i+1,j+1}{\mathrm{KB}}_{i+1,j+1}}{w_{i-1,j-1}+w_{i-1,j+1}+w_{i+1,j-1}+w_{i+1,j+1}}---6),$

其中，权值w_x,y用式7)计算：

$\left\{\begin{array}{c}{w}_{i-1,j-1}=\frac{1}{1+|{\mathrm{KB}}_{i+1,j+1}-{\mathrm{KB}}_{i-1,j-1}|+c|{\mathrm{KB}}_{i-1,j-1}-{\mathrm{KB}}_{i-3,j-3}|}\\ w_{i-1,j+1}=\frac{1}{1+|{\mathrm{KB}}_{i+1,j-1}-{\mathrm{KB}}_{i-1,j+1}|+c|{\mathrm{KB}}_{i-1,j+1}-{\mathrm{KB}}_{i-3,j+3}|}\\ w_{i+1,j-1}=\frac{1}{1+|{\mathrm{KB}}_{i-1,j+1}-{\mathrm{KB}}_{i+1,j-1}|+c|{\mathrm{KB}}_{i+1,j-1}-{\mathrm{KB}}_{i+3,j-3}|}\\ w_{i+1,j+1}=\frac{1}{1+|{\mathrm{KB}}_{i-1,j-1}-{\mathrm{KB}}_{i+1,j+1}|+c|{\mathrm{KB}}_{i+1,j+1}-{\mathrm{KB}}_{i+3,j+3}|}\end{array}\right.---7),$

式中，c是一个常量，用于调整加权效果；

一旦获得了在红色像素位置的蓝绿颜色差值，与绿色像素相邻的四个蓝绿颜色像素差值均为已知，其中水平方向或垂直方向两个相邻的蓝绿颜色差值是刚刚估算的；这样，在绿色像素位置的蓝绿颜色像素差值也可以用式6)和7)估计，只不过使用水平和垂直方向四个相邻的像素，而不是四个对角方向的相邻像素；

(3)求精

马赛克的绿色平面和颜色差平面能够被进一步求精；借助于颜色差平面，绿色平面能够被求精，反过来，求精的绿色平面可再求精颜色差平面；求精只进行一次；

(3.1)绿色平面求精

仅考虑在蓝色像素位置的绿色像素求精，在红色像素位置的绿色像素求精是类似的。假定求精中心蓝色像素位置的绿色像素；G_ij=B_ij+KB_ij，这里KB_ij用8)式计算，其中权值用式9)计算：

${\mathrm{KB}}_{i,j}=\frac{w_{i-1,j}{\mathrm{KB}}_{i-1,j}+w_{i,j+1}{\mathrm{KB}}_{i,j+1}+w_{i,j-1}{\mathrm{KB}}_{i,j-1}+w_{i+1,j}{\mathrm{KB}}_{i+1,j}}{w_{i-1,j}+w_{i,j+1}+w_{i,j-1}+w_{i+1,j}}---8),$

$\left\{\begin{array}{c}{w}_{i-1,j}=\frac{1}{1+|{\mathrm{KB}}_{i+1,j}-{\mathrm{KB}}_{i-1,j}|+c|{\mathrm{KB}}_{i-1,j}-{\mathrm{KB}}_{i-3,j}|}\\ w_{i,j+1}=\frac{1}{1+|{\mathrm{KB}}_{i,j-1}-{\mathrm{KB}}_{i,j+1}|+c|{\mathrm{KB}}_{i,j+1}-{\mathrm{KB}}_{i,j+3}|}\\ w_{i,j-1}=\frac{1}{1+|{\mathrm{KB}}_{i,j+1}-{\mathrm{KB}}_{i,j-1}|+c|{\mathrm{KB}}_{i,j-1}-{\mathrm{KB}}_{i,j-3}|}\\ w_{i+1,j}=\frac{1}{1+|{\mathrm{KB}}_{i-1,j}-{\mathrm{KB}}_{i+1,j}|+c|{\mathrm{KB}}_{i+1,j}-{\mathrm{KB}}_{i+3,j}|}\end{array}\right.---9),$

(3.2)颜色差平面求精

使用求精的绿色平面，进一步求精颜色差平面；由于蓝绿颜色差平面的求精与红绿颜色差平面的求精相似，仅需考虑蓝绿颜色差平面的求精；需要求精的蓝绿颜色差值是在绿色和红色采样位置；初始的蓝绿颜色差值估算后，每一个原CFA绿色和红色像素位置，分别在水平和垂直方向有4个相邻的蓝绿颜色差值；在原CFA绿色和红色像素位置的蓝绿颜色差值求精均采用8)和9)式计算；

(4)绿色平面放大

绿色平面去马赛克后，生成了一个完整的去马赛克后的绿色平面图像和一个插值方向矩阵DM；然后，已去马赛克的绿色平面图像扩展到2倍放大的网格上；为了存储新估计的插值方向，DM矩阵也扩展到放大的网格上；首先估计四个对角方向上的绿色像素均已知的像素；对于每一个丢失的像素，在一个7×7的邻域内，分别估计45°和135°边的强度，然后，沿着强边的方向进行双三次插值，作为对丢失像素的估计；如果该邻域是均匀的，则在45°和135°方向分别进行双三次插值，这两个正交方向插值的加权平均作为丢失像素的估计；

这里运用梯度估计边的方向，邻域中心位置像素(2i,2j)的梯度计算方法如下：

其中，G中表示在放大网格上的绿色平面图像灰度；梯度比可用于估计边的强度：

其中，T₂是一个阈值，梯度值加1是为了避免分母为0；如果丢失的中心像素(2i,2j)是在对角强边上，则利用对角已知的四个绿色像素，进行双三次插值，双三次插值滤波器为[-1,9,9,-1]/16；如果丢失的中心像素是在均匀的区域上，加权平均估计方法如下：

p=(w₁p₁+w₂p₂)/(w₁+w₂)12)，

其中，p₁和p₂分别为45°和135°方向的双三次插值，权值计算方法为：

$\left\{\begin{array}{c}{w}_1=\frac{1}{1+{\mathrm{\δ}}_1^k}\\ w_2=\frac{1}{1+{\mathrm{\δ}}_2^k}\end{array}\right.---13),$

其中，参数k调整加权效果；其合理性在于梯度大小与边的强度成反比，因而，方向梯度越大，在该方向上的插值贡献越小；同样，梯度值加1是为了避免分母为0；

其余丢失的绿色像素，通过简单的方向双三次插值得到；每一个丢失的绿色像素(x,y)，在水平和垂直方向有四个相邻的已知绿色像素，其中一个绿色像素(i,j)是在CFA图像上进行绿色平面去马赛克过程中估计的，其插值方向已被计算，且记录在方向矩阵DM中；像素(x,y)估计方法如下：

这里p₁和p₂分别指水平和垂直方向的双三次插值，权值仍用式13)计算，但是梯度δ₁和δ₂分别是指水平方向和垂直方向梯度，计算方法为：

(5)颜色差图像R-G和B-G的放大

绿色平面放大后，再放大颜色差图像R-G和B-G，然后放大的颜色差图像加上放大的绿色图像便获得放大的红色和蓝色平面；这样做的主要原因是：在Bayer模式中，红色和蓝色像素的采样频率仅为绿色像素采样频率的一半，红色和蓝色平面的去马赛克误差比绿色平面的去马赛克误差更大，去马赛克误差在执行图像放大过程中会被进一步放大；另外，颜色差平面比原图像光滑得多，更光滑的图像插值误差更小；

借助于方向矩阵DM,丢失的彩色差值的估计仅通过方向双三次插值实现；类似于绿色平面的放大,彩色差图像的放大也分为两步，并使用式10)、12)、13)和15)估计。

2.根据权利要求1所述的一种边相关的联合彩色去马赛克和放大方法，其特征在于，所述步骤(1)(1.2)中阈值T₁取1.5。

3.根据权利要求1所述的一种边相关的联合彩色去马赛克和放大方法，其特征在于，所述参数c取2。

4.根据权利要求1所述的一种边相关的联合彩色去马赛克和放大方法，其特征在于，所述步骤(4)中阈值T₂取1.15。

5.根据权利要求1所述的一种边相关的联合彩色去马赛克和放大方法，其特征在于，所述步骤(4)中参数k取5。

Images