CN103595980B - 基于轮廓非局部均值的色彩滤波阵列图像去马赛克方法 - Google Patents

Abstract

本发明公开了一种基于轮廓非局部均值的色彩滤波阵列图像去马赛克方法，主要解决现有技术易出现边缘模糊和拉链效应的问题。其实现步骤为：1.输入一幅色彩滤波阵列图像；2.对绿色通道作方向插值，并求绿色插值图的轮廓矩阵；3.取绿色插值图的待修正块；4.取待修正块的图像块集合及轮廓，并从集合中找出相似块，计算其权重；5.对所有相似块加权平均；6.由加权平均值修正绿色插值图的所有块；6.对红色和蓝色通道作方向插值，并求红色和蓝色插值图的轮廓矩阵；7.取红色和蓝色插值图的待修正块，重复执行步骤4-5，修正红色和蓝色插值图的所有块；8.输出全彩色图像。本发明能避免边缘模糊，抑制拉链效应和虚假颜色的产生，用于对色彩滤波阵列图像的恢复。

Description

基于轮廓非局部均值的色彩滤波阵列图像去马赛克方法

技术领域

本发明属于图像处理技术领域，具体的说是一种结合方向插值和轮廓非局部均值的色彩滤波阵列图像去马赛克方法。本发明可用于恢复单传感器芯片相机中的色彩滤波阵列图像的完整彩色信息，从而弥补由于减少相机硬件成本所带来的图像彩色信息的丢失。

背景技术

随着数码相机的广泛使用，其成本和体积是一个不可忽视的问题，为此现有的大部分的数码相机都采用单块电荷耦合器件CCD或互补金属氧化物半导体CMOS作为图像的采样传感器，其上面覆盖有一层按Bayer方式排列的色彩滤波阵列，这种阵列使同一个像素点只能采样三种基色，即红R，绿G，蓝B中的一种，而另外两个颜色值则需要根据其邻域信息来插值，从而得到所需要的全彩色图像，这种处理称做去马赛克。去马赛克是数码相机产品中的核心技术。

现有的色彩滤波阵列图像去马赛克方法包括最近邻复制、双线性插值、三次样条插值，目前较好的方法包括方向线性最小均方误差方法，基于非局部自相似性的去马赛克方法，及局部方向插值和非局部均值滤波去马赛克的方法。

方向线性最小均方误差去马赛克方法，是Lei Zhang在文献“Color Demosaicking ViaDirectional Linear Minimum Mean Square-Error Estimation.IEEE Trans.on Image Processing,vol.14,no.12,pp.2167-2178,Dec.2005.”中提出来的。该方法首先通过最小均方误差LMMSE将水平和竖直方向的颜色差值估计出来，然后通过混合方向加权得到最终的颜色差值信号，最终将各个通道的缺失像素值估计出来。这种方法由于只考虑水平和竖直方向的颜色差值估计，所以存在拉链效应及虚假色彩的现象。

基于非局部自相似性的去马赛克方法，是A.Buades在文献“Self-similarity driven colordemosaicking,IEEE Trans.Image Processing,vol.18,no.6,pp.1192-1202,June2009.”中提出来的。其方法首先对色彩滤波阵列图像进行粗略的插值，然后对插值后的绿色通道图像使用非局部均值迭代修复，最后通过色彩规律将RGB转化为YUV后利用中值滤波做最后的修复。这种方法通过图像的自相似性来估计像素缺失的分量，可以恢复大部分细小的结构，但在高饱和度图像边缘处仍存在模糊。

局部方向插值和非局部均值滤波去马赛克的方法，是Lei Zhang在文献“ColorDemosaicking by Local Directional Interpolation and Nonlocal Adaptive Thresholding,Journal ofElectronic Imaging20(2),023016(Apr-Jun),2011.”中提出的。该方法利用图像的非局部冗余来提高图像的局部色彩恢复效果。首先，对像素缺失分量使用方向插值估计出来，然后分别对各个通道使用非局部均值滤波来提高插值结果。此方法虽然可以有效的提高滤波阵列图像的去马赛克效果，但仍然存在边缘模糊的缺点。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种基于轮廓非局部均值的色彩滤波阵列图像去马赛克方法，以有效抑制边缘模糊和拉链效应，提高色彩滤波阵列图像的去马赛克效果，得到高质量的全彩色图像。

本发明的具体实现步骤包括如下：

（1）输入一幅色彩滤波阵列图像I；

（2）通过方向插值法对色彩滤波阵列图像I中绿色通道缺失的像素进行估计，得到绿色通道图像的插值图像

（3）计算绿色通道图像的插值图像中每个像素点的轮廓值，组成图像轮廓矩阵M_G；

（4）在绿色通道图像的插值图像中逐像素取一个5×5大小的图像块，作为当前待修正的图像块X；

（5）在当前待修正图像块X的中心像素的34×34大小的邻域中取所有5×5的块，组成当前待修正图像块X的图像块集合Ω；

（6）在图像轮廓矩阵中找到当前待修正块X及其图像块集合Ω中的块所对应的轮廓块；

（7）计算当前待修正图像块X与其图像块集合中块之间的权重：

7a）分别计算当前待修正块X与其图像块集合Ω中每个块之间的像素欧式距离d和当前待修正块X对应的轮廓块与其图像块集合Ω中每个块对应的轮廓块之间的轮廓欧式距离s；

7b）将当前待修正块X与其图像块集合Ω中每个块之间的像素欧式距离d由小到大排序，取欧氏距离小于设定阈值th＝10的块作为当前待修正块的相似块；

7c）根据所述像素欧式距离d和所述轮廓欧式距离s，计算待修正块X与每个相似块之间的权重；

（8）根据步骤7c）得到的权重，采用加权平均公式对所有相似块进行加权平均，得到修正后的图像块

（9）对绿色通道图像的插值图像的所有图像块重复执行步骤（4）-（8），完成对绿色通道图像的最终估计；

（10）利用最终估计出的绿色通道图像，通过方向插值法，得到红色通道图像的插值图像和蓝色通道图像的插值图像

（11）分别求红色通道图像的插值图像和蓝色通道图像的插值图像中每个像素点的轮廓值，组成红色通道插值图像的图像轮廓矩阵M_R和蓝色通道插值图像的轮廓矩阵M_B；

（12）分别在红色通道图像的插值图像和蓝色通道图像的插值图像中逐像素取一个5×5大小的图像块，作为当前待修正的图像块X，重复执行步骤（5）-（8），完成对红色和蓝色通道图像的最终估计；

（13）输出含有绿色、红色和蓝色的全彩色图像。

本发明与现有的技术相比具有以下优点：

第一，本发明通过使用精确的方向插值方法，使得图像在纹理处的插值效果明显提高，有效的抑制了拉链效应。

第二，本发明将图像的轮廓应用到非局部加权平均公式中权重的计算上，使块之间的相似性计算更加准确，也进一步提高了像素恢复的准确性，有效抑制边缘模糊和划痕，提高色彩滤波阵列图像的去马赛克效果。

附图说明

图1是本发明的实现流程图；

图2是本发明方法仿真使用McMaster数据库中图像的放大图；

图3是用现有技术与本发明方法对色彩阵列图像去马赛克仿真结果放大图。

具体实施方式

以下参照附图对本发明的具体实现及效果做进一步的详细说明。

参照图1，本发明的实施步骤如下：

步骤1，输入一幅色彩滤波阵列图像I。

本步骤输入的色彩滤波阵列图像I为Bayer模式的色彩滤波阵列图像，该图像中每个像素点仅存在红、绿、蓝三基色中的一种颜色，另外两个颜色缺失，需要采用去马赛克方法进行估计。

步骤2，对色彩滤波阵列图像I中的绿色通道图像进行方向插值。

（2.1)计算以色彩滤波阵列图像I的像素点R(i,j)为中心的北、南、东、西、水平、竖直六个方向上的绿色分量值与红色分量值的颜色差值：

${\mathrm{\Δ}}_{\mathrm{gr}}^n=G(i-1,j)-(R(i,j)+R(i-2,j))/2,$

${\mathrm{\Δ}}_{\mathrm{gr}}^s=G(i+1,j)-(R(i,j)+R(i+2,j))/2,$

${\mathrm{\Δ}}_{\mathrm{gr}}^e=G(i,j+1)-(R(i,j)+R(i,j+2))/2,$

${\mathrm{\Δ}}_{\mathrm{gr}}^w=G(i,j-1)-(R(i,j)+R(i,j-2))/2,$

${\mathrm{\Δ}}_{\mathrm{gr}}^h=(G(i,j-1)+G(i,j+1))\text{/2-R}(i,j),$

${\mathrm{\Δ}}_{\mathrm{gr}}^v=(G(i-1,j)+G(i+1.j))\text{/2-R}(i,j),$

其中，(i,j)表示像素点的位置，即该像素位于色彩滤波阵列图像I的第i行第j列，R为红色通道图像，G为绿色通道图像，分别为像素点R(i,j)在北、南、东、西、水平、竖直方向上的绿色分量与红色分量的颜色差值；

（2.2)计算像素点R(i,j)沿北、南、东、西、水平、竖直方向的梯度：

${\▿}_n=|G(i-1,j)-G(i+1,j)|+|R(i,j)-R(i-2,j)|+\frac{1}{2}|G(i,j-1)-G(i-2,j-1)|+\frac{1}{2}|G(i,j+1)-G(i-2,j+1)|+\mathrm{\ϵ},$

${\▿}_s=|G(i-1,j)-G(i+1,j)|+|R(i,j)-R(i+2,j)|+\frac{1}{2}|G(i,j+1)-G(i+2,j+1)|+\frac{1}{2}|G(i,j-1)-G(i+2,j-1)|+\mathrm{\ϵ},$

${\▿}_e=|G(i,j-1)-G(i,j+1)|+|R(i,j)-R(i,j+2)|+\frac{1}{2}|G(i-1,j)-G(i-1,j+2)|+\frac{1}{2}|G(i+1,j)-G(i+1,j+2)|+\mathrm{\ϵ},$

${\▿}_w=|G(i,j-1)-G(i,j+1)|+|R(i,j)-R(i,j-2)|+\frac{1}{2}|G(i-1,j)-G(i-1,j-2)|+\frac{1}{2}|G(i+1,j)-G(i+1,j-2)|+\mathrm{\ϵ},$

$\begin{array}{c}{\▿}_h=\frac{1}{4}|G(i-1,j-2)-G(i-1,j)|+\frac{1}{4}|G(i-1,j)-G(i-1,j+2)|+\frac{1}{4}|G(i+1,j-2)-G(i+1,j)|+\frac{1}{4}|G(i+1,j)-G(i+1,j+2)|\\ +|G(i,j-1)-G(i,j+1)|+\frac{1}{2}|R(i,j)-R(i,j-2)|+\frac{1}{2}|R(i,j)-R(i,j+2)|+\mathrm{\ϵ},\end{array}$

$\begin{array}{c}{\▿}_v=\frac{1}{4}|G(i-2,j-1)-G(i,j-1)|+\frac{1}{4}|G(i,j-1)-G(i+2,j-1)|+\frac{1}{4}|G(i-2,j+1)-G(i,j+1)|+\frac{1}{4}|G(i,j+1)-G(i+2,j+1)|\\ +|G(i-1,j)-G(i+1,j)|+\frac{1}{2}|R(i-2,j)-R(i,j)|+\frac{1}{2}|R(i,j)-R(i+2,j)|+\mathrm{\ϵ},\end{array}$

其中，下标n、s、e、w、h、v分别为北、南、东、西、水平、竖直方向， 分别为像素点R(i,j)沿北、南、东、西、水平、竖直方向的梯度，ε为一个很小的常数，以避免梯度为0，其值为：ε＝0.1；

（2.3)根据步骤（2.2）所述的像素点R(i,j)沿北、南、东、西、水平、竖直方向的梯度计算各个方向颜色差值的权重值，即：

${\tilde{w}}_n=\frac{1}{{\▿}_n},{\tilde{w}}_s=\frac{1}{{\▿}_s},{\tilde{w}}_e=\frac{1}{{\▿}_e},{\tilde{w}}_w=\frac{1}{{\▿}_w},{\tilde{w}}_h=\frac{1}{{\▿}_h},{\tilde{w}}_v=\frac{1}{{\▿}_v};$

（2.4)根据步骤（2.3）所述的各个方向颜色差值的权重值，计算各个方向的权重值之和C：

$C={\tilde{w}}_n+{\tilde{w}}_s+{\tilde{w}}_w+{\tilde{w}}_e+{\tilde{w}}_h+{\tilde{w}}_v;$

（2.5)根据步骤（2.4）得到的权重之和C，计算归一化后的各个方向的权重值：

$w_n=\frac{{\tilde{w}}_n}{C},w_s=\frac{{\tilde{w}}_s}{C},w_e=\frac{{\tilde{w}}_e}{C},w_w=\frac{{\tilde{w}}_w}{C},w_h=\frac{{\tilde{w}}_h}{C},w_v=\frac{{\tilde{w}}_v}{C},$

（2.6)根据步骤（2.1）得到的颜色差值和步骤（2.5）得到的权重值，计算像素点R(i,j)处绿色分量值与红色分量值的颜色差值，即：

${\widehat{\mathrm{\Δ}}}_{\mathrm{gr}}=w_n{\mathrm{\Δ}}_{\mathrm{gr}}^n+w_s{\mathrm{\Δ}}_{\mathrm{gr}}^s+w_w{\mathrm{\Δ}}_{\mathrm{gr}}^w+w_e{\mathrm{\Δ}}_{\mathrm{gr}}^e+w_h{\mathrm{\Δ}}_{\mathrm{gr}}^h+w_v{\mathrm{\Δ}}_{\mathrm{gr}}^v;$

（2.7)根据步骤（2.6）得到的颜色差值计算像素点R(i,j)处缺失的绿色分量即：

$\hat{G}(i,j)=R(i,j)+{\widehat{\mathrm{\Δ}}}_{\mathrm{gr}};$

（2.8)对绿色通图像上的所有缺失像素执行步骤（2.1)-（2.7)，得到绿色通道图像的插值图像

步骤3，计算绿色通道图像的插值图像的轮廓矩阵MG。

（3.1）以绿色通道图像的插值图像中的像素点为中心，取8个不同的方向a_b，并计算像素点在a_b方向上的轮廓值即:

$S^{a_b}\left[\hat{G}(i,j)\right]=\underset{u,v\∈Z\×Z}{\mathrm{\Σ}}{W}^{a_b}|u-v|,Z\×Z\⋐\widehat{G,}$

$a_b=\frac{b\×\mathrm{\π}}{8},b=0\·\·\·7,$

其中，(i,j)为像素点的位置索引，Z为常数，其值为：Z＝4，Z×Z为图像中以像素为中心的图像区域，为沿a_b方向的轮廓权重值，u和v分别为Z×Z图像区域内的像素；

（3.2）根据步骤（3.1）得到的轮廓值选择最小的轮廓值作为像素点的轮廓值M_G(i,j)，即：

$M_G(i,j)=\min \left(S^{a_b}\right[\hat{G}(i,j)\left]\right);$

（3.3）对绿色通道图像的插值图像的每一个像素执行步骤（3.1）-（3.2），得到绿色通道的插值图像的图像轮廓矩阵M_G。

步骤4，从绿色通道图像的插值图像中逐像素取块，作为当前待修正块X。

从绿色通道图像的插值图像的第19行第19列像素起，到倒数第19行第19列像素结束，以每个像素点为中心取5×5大小的图像块作为当前待修正图像块X。

步骤5，获取当前待修正图像块X的图像块集合Ω。

对以当前待修正图像块X的中心像素为中心的34×34像素大小的邻域，从第3行第3列像素起，到倒数第3行第3列像素结束，以每个像素点为中心取5×5大小的图像块组成当前待修正图像块X的相似块集合Ω。

步骤6，获取图像块对应的轮廓。

根据插值图像与其图像轮廓矩阵一一对应的关系，在轮廓矩阵中，找到当前待修正块X及其图像块集合Ω中的块所对应的轮廓块。

步骤7，计算当前待修正图像块X与其图像块集合Ω中块之间的权重。

（7.1）计算当前待修正块X与其图像块集合Ω中每个块之间的像素欧式距离d：

$d={\left|\right|X-Y_i\left|\right|}_2=\sqrt{\frac{1}{t^2}\underset{m=1}{\overset{t}{\mathrm{\Σ}}}\underset{n=1}{\overset{t}{\mathrm{\Σ}}}{|X(m,n)-Y_i(m,n)|}^2},$

其中，Y_i为图像块集合Ω中的第i个图像块，t为图像块的行像素数，其值为t＝5，(m,n)为像素点在图像块中的位置；

（7.2）计算当前待修正块X对应的轮廓块与其图像块集合Ω中每个块对应的轮廓块之间的轮廓欧式距离s：

$s={\left|\right|s_0-s_i\left|\right|}_2=\sqrt{\frac{1}{t^2}\underset{m=1}{\overset{t}{\mathrm{\Σ}}}\underset{n=1}{\overset{t}{\mathrm{\Σ}}}{|s_0(m,n)-s_i(m,n)|}^2},$

其中，s₀为当前待修正块X对应的轮廓块，s_i为当前待修正块X的图像块集合Ω中第i个块对应的轮廓块；

（7.3）将当前待修正块X与其图像块集合Ω中每个块之间的像素欧式距离d由小到大排序，取欧氏距离小于设定阈值th＝10的块作为当前待修正块的相似块；

（7.4）计算待修正块X与每个相似块之间的权重w_i：

$w_i=\exp \left(\frac{-d*s}{{\mathrm{\σ}}^2}\right)/c,$

其中，c为归一化系数，d为当前待修正块X与第i个相似块之间的像素欧式距离，s为当前待修正块X对应的轮廓块与第i个相似块对应的轮廓块之间的轮廓欧式距离，σ为常数，其值为：σ＝2.4，N为相似块的个数。

步骤8，对所有相似块通过加权平均公式对所有相似块进行加权平均，得到修正后的图像块

$\hat{X}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i{X}_i,$

其中，w_i为待修正块与其第i个相似块之间的权重，N为相似块的个数，X_i为第i个相似块。

步骤9，对绿色通道图像的插值图像的所有图像块重复执行步骤4到步骤8，完成对绿色通道图像的最终估计。

步骤10，对色彩滤波阵列图像I中的蓝色通道图像和红色通道图像进行方向插值。

（10.1)计算以像素点G(i,j)为中心的北、南、东、西、水平、竖直六个方向上的蓝色分量值与绿色分量值的颜色差值：

${\mathrm{\Δ}}_{\mathrm{bg}}^n=B(i-1,j)-G(i-1,j),$

${\mathrm{\Δ}}_{\mathrm{bg}}^s=B(i+1,j)-G(i+1,j),$

${\mathrm{\Δ}}_{\mathrm{bg}}^e=B(i,j+1)-G(i,j+1),$

${\mathrm{\Δ}}_{\mathrm{bg}}^w=B(i,j-1)-G(i,j-1),$

${\mathrm{\Δ}}_{\mathrm{bg}}^h=(B(i,j-1)+B(i,j+1))/2-G(i,j),$

${\mathrm{\Δ}}_{\mathrm{bg}}^v=(B(i-1,j)+B(i+1,j))/2-G(i,j),$

其中，(i,j)表示像素点的位置，B为蓝色通道图像，G为绿色通道图像， 分别为像素点G(i,j)在北、南、东、西、水平、竖直方向上的蓝色分量值与绿色分量值的颜色差值；

（10.2)计算像素点G(i,j)沿北、南、东、西、水平、竖直方向的梯度：

${\▿}_n=|G(i-2,j)-G(i,j)|+|B(i-1,j)-B(i+1,j)|+\frac{1}{2}|R(i-2,j-1)-R(i,j-1)|+\frac{1}{2}|R(i-2,j+1)-R(i,j+1)|+\mathrm{\ϵ},$

${\▿}_s=|G(i+2,j)-G(i,j)|+|B(i-1,j)-B(i+1,j)|+\frac{1}{2}|R(i+2,j-1)-R(i,j-1)|+\frac{1}{2}|R(i+2,j+1)-R(i,j+1)|+\mathrm{\ϵ},$

${\▿}_e=|R(i,j-1)-R(i,j+1)|+|G(i,j)-G(i,j+2)|+\frac{1}{2}|B(i-1,j)-B(i-1,j+2)|+\frac{1}{2}|B(i+1,j)-B(i+1,j+2)|+\mathrm{\ϵ},$

${\▿}_w=|R(i,j-1)-R(i,j+1)|+|G(i,j)-G(i,j-2)|+\frac{1}{2}|B(i-1,j-2)-B(i-1,j)|+\frac{1}{2}|B(i+1,j-2)-B(i+1,j)|+\mathrm{\ϵ},$

$\begin{array}{c}{\▿}_h=\frac{1}{4}|G(i-1,j-1)-G(i-1,j+1)|+\frac{1}{4}|G(i+1,j-1)-G(i+1,j+1)|+\frac{1}{4}|B(i-1,j-2)-B(i-1,j)|+\frac{1}{4}|B(i-1,j)-B(i-1,j+2)|+\\ \frac{1}{4}|B(i+1,j-2)-B(i+1,j)|+\frac{1}{4}|B(i+1,j)-B(i+1,j+2)|+|R(i,j-1)-R(i,j+1)|+\frac{1}{2}|G(i,j)-G(i,j-2)|+\frac{1}{2}|G(i,j)-G(i,j+2)|+\mathrm{\ϵ},\end{array}$

$\begin{array}{c}{\▿}_v=\frac{1}{4}|G(i-1,j-1)-G(i+1,j-1)|+\frac{1}{4}|G(i-1,j+1)-G(i+1,j+1)|+\frac{1}{4}|R(i,j-1)-R(i-2,j-1)|+\frac{1}{4}|R(i,j-1)-R(i+2,j-1)|+\\ \frac{1}{4}|R(i-2,j+1)-R(i,j+1)|+\frac{1}{4}|R(i,j+1)-R(i+2,j+1)|+|B(i-1,j)-B(i+1,j)|+\frac{1}{2}|G(i,j)-G(i-2,j)|+\frac{1}{2}|G(i,j)-G(i+2,j)|+\mathrm{\ϵ},\end{array}$

其中，下标n、s、e、w、h、v分别为北、南、东、西、水平、竖直方向， 分别为像素点G(i,j)沿北、南、东、西、水平、竖直方向的梯度，ε为一个很小的常数，其值为ε＝0.1；

（10.3)根据步骤（10.2）所述的像素点G(i,j)沿北、南、东、西、水平、竖直方向的梯度计算各个方向颜色差值的权重值，即：

${\tilde{w}}_n=\frac{1}{{\▿}_n},{\tilde{w}}_s=\frac{1}{{\▿}_s},{\tilde{w}}_e=\frac{1}{{\▿}_e},{\tilde{w}}_w=\frac{1}{{\▿}_w},{\tilde{w}}_h=\frac{1}{{\▿}_h},{\tilde{w}}_v=\frac{1}{{\▿}_v};$

（10.4)根据步骤（10.3）所述的各个方向颜色差值的权重值，计算各个方向的权重值之和C：

$C={\tilde{w}}_n+{\tilde{w}}_s+{\tilde{w}}_w+{\tilde{w}}_e+{\tilde{w}}_h+{\tilde{w}}_v;$

（10.5)根据步骤（10.4）得到的权重之和C，计算归一化后的各个方向的权重值：

$w_n=\frac{{\tilde{w}}_n}{C},w_s=\frac{{\tilde{w}}_s}{C},w_e=\frac{{\tilde{w}}_e}{C},w_w=\frac{{\tilde{w}}_w}{C},w_h=\frac{{\tilde{w}}_h}{C},w_v=\frac{{\tilde{w}}_v}{C},$

(10.6)根据步骤（10.1）得到的颜色差值和步骤（10.5）得到的权重值，计算像素点G(i,j)处蓝色分量值与绿色分量值的颜色差值，即：

${\widehat{\mathrm{\Δ}}}_{\mathrm{bg}}=w_n{\mathrm{\Δ}}_{\mathrm{bg}}^n+w_s{\mathrm{\Δ}}_{\mathrm{bg}}^s+w_e{\mathrm{\Δ}}_{\mathrm{bg}}^e+w_w{\mathrm{\Δ}}_{\mathrm{bg}}^w+w_h{\mathrm{\Δ}}_{\mathrm{bg}}^h+w_v{\mathrm{\Δ}}_{\mathrm{bg}}^v;$

（10.7)根据步骤（10.6）得到的颜色差值计算像素点G(i,j)处缺失的蓝色分量

$\hat{B}(i,j)=G(i,j)+{\widehat{\mathrm{\Δ}}}_{\mathrm{bg}};$

（10.8)对蓝色通道图像上的所有缺失像素执行步骤（10.1)-（10.7)，得到蓝色通道图像的插值图像

（10.9)根据色彩滤波阵列图像I中红色像素与蓝色像素分布对称的特性，对红色通道图像上的所有缺失像素执行步骤（10.1)-（10.7)，得到红色通道图像的插值图像

步骤11，根据步骤3所述的方法，分别计算红色通道图像的插值图像的图像轮廓矩阵M_R和蓝色通道图像的插值图像的轮廓矩阵M_B。

步骤12，对红色通道的插值图像和蓝色通道的插值图像进行修正。

（12.1）分别在红色通道图像的插值图像和蓝色通道图像的插值图像中逐像素取一个5×5大小的图像块，作为当前待修正的图像块X；

（12.2）重复执行步骤5到步骤8，对红色通道的插值图像和蓝色通道的插值图像进行修正，完成对红色和蓝色通道图像的最终估计。

步骤13，输出含有绿色、红色和蓝色的全彩色图像，完成对色彩滤波阵列图像的去马赛克。

下面结合附图2和附图3对本发明的仿真效果做进一步的说明：

1.仿真条件：

在CPU为pentium(R)4处理器，主频1.86GHZ，内存2G，操作系统WINDOWS XP SP3，软件为Matlab7.10的平台上进行。

2.评价指标：

图像去马赛克的评价分为主观和客观两个方面。在主观上评价一幅色彩阵列图像去马赛克效果的优劣主要是通过人眼的视觉特性来衡量，图像质量好，图像没有拉链效应，没有模糊，感觉清晰则去马赛克效果好，反之效果则差，在客观上评价一幅色彩滤波阵列图像的去马赛克效果，本发明通过峰值信噪比PSNR来衡量。

3.仿真图像：

本发明采用McMaster数据库中的图像作为仿真图像，此数据库中的图像是由电影直接获取并数字化的图像，它含有8个高分辨的彩色图像，由于这些图像尺寸较大，在实验中，我们将它们剪裁为500×500的子图像来测量色彩滤波阵列图像去马赛克方法的性能。

4、仿真内容：

利用现有的方向线性最小均方误差去马赛克方法DLMMSE、局部方向插值和非局部均值滤波去马赛克方法LDI-NLM和本发明方法对McMaster数据库中的图像进行色彩滤波阵列图像进行去马赛克仿真，仿真结果如图3，其中，图3(a)是利用方向线性最小均方误差去马赛克方法DLMMSE得到的仿真结果放大图，图3(b)是利用局部方向插值和非局部均值滤波去马赛克方法LDI-NLM得到的仿真结果放大图，图3(c)是用本发明方法得到的去马赛克仿真结果放大图，附图2为原图的放大图。

从图3和可见，现有方向线性最小均方误差去马赛克方法DLMMSE在图像边缘处出现了明显的拉链效应，并在黄色处出现了虚假的白色。现有局部方向插值和非局部均值滤波去马赛克方法LDI-NLM虽然减弱了拉链效应，但在边缘处仍出现了模糊。本发明的方法所处理的图像没有出现虚假颜色块，避免了边缘模糊并抑制了拉链效应，更接近附图2中的原图。

为了客观上评价一幅色彩滤波阵列图像的去马赛克效果的好坏，本发明采用常用的峰值信噪比PSNR来衡量，令真实图像为A，色彩滤波阵列图像去马赛克后的图像为，则峰值信噪比按如下公式计算：

$\text{PSNR=}{\text{10log}}_{10}\left(\frac{{255}^2}{\frac{1}{m\×n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{(\hat{A}(i,j)-A(i,j))}^2}\right),$

其中，(i,j)为像素点在图像中的位置，m为图像列像素点的个数，n为图像行像素点的个数，

上述两种现有方法和本发明的方法对McMaster数据库中的图像进行色彩滤波阵列图像去马赛克的PSNR评价指标如表1。

表1不同的方法对McMaster数据库色彩滤波阵列图像去马赛克的峰值信噪比

从表1可以看出，本发明方法对色彩滤波阵列图像去马赛克的PSNR高于其他两种现有的方法，说明本发明方法对色彩滤波阵列图像的像素恢复准确性高，验证了本发明对色彩滤波阵列图像去马赛克的有效性。

Claims (8)

1.一种基于轮廓非局部均值的色彩滤波阵列图像去马赛克方法，包括如下步骤：

(1)输入一幅色彩滤波阵列图像I；

(2)通过方向插值法对色彩滤波阵列图像I中绿色通道缺失的像素进行估计，得到绿色通道图像的插值图像

(3)计算绿色通道图像的插值图像中每个像素点的轮廓值，组成图像轮廓矩阵M_G；

(4)在绿色通道图像的插值图像中逐像素取一个5×5大小的图像块，作为当前待修正的图像块X；

(5)对以当前待修正图像块X的中心像素为中心的34×34像素大小的邻域，从第3行第3列像素起，到倒数第3行第3列像素结束，以每个像素点为中心取5×5大小的图像块组成当前待修正图像块X的相似块集合Ω；

(6)在图像轮廓矩阵中找到当前待修正块X及其图像块集合Ω中的块所对应的轮廓块；

(7)计算当前待修正图像块X与其图像块集合中块之间的权重：

7a)分别计算当前待修正块X与其图像块集合Ω中每个块之间的像素欧式距离d和当前待修正块X对应的轮廓块与其图像块集合Ω中每个块对应的轮廓块之间的轮廓欧式距离s；

7b)将当前待修正块X与其图像块集合Ω中每个块之间的像素欧式距离d由小到大排序，取欧氏距离小于设定阈值th＝10的块作为当前待修正块的相似块；

7c)根据所述像素欧式距离d和所述轮廓欧式距离s，计算待修正块X与每个相似块之间的权重；

(8)根据步骤7c)得到的权重，采用加权平均公式对所有相似块进行加权平均，得到修正后的图像块

(9)对绿色通道图像的插值图像的所有图像块重复执行步骤(4)-(8)，完成对绿色通道图像的最终估计；

(10)利用最终估计出的绿色通道图像，通过方向插值法，得到红色通道图像的插值图像和蓝色通道图像的插值图像

(11)分别求红色通道图像的插值图像和蓝色通道图像的插值图像中每个像素点的轮廓值，组成红色通道插值图像的图像轮廓矩阵M_R和蓝色通道插值图像的轮廓矩阵M_B；

(12)分别在红色通道图像的插值图像和蓝色通道图像的插值图像中逐像素取一个5×5大小的图像块，作为当前待修正的图像块X，重复执行步骤(5)-(8)，完成对红色和蓝色通道图像的最终估计；

(13)输出含有绿色、红色和蓝色的全彩色图像。

2.根据权利要求1所述的基于轮廓非局部均值的色彩滤波阵列图像去马赛克方法，其特征在于：步骤(2)中所述的通过方向插值法对色彩滤波阵列图像I中绿色通道缺失的像素进行估计，按如下步骤进行：

(2a)计算以像素点R(i,j)为中心的北、南、东、西、水平、竖直六个方向上的绿色分量值与红色分量值的颜色差值：

${\mathrm{\Δ}}_{\mathrm{gr}}^n=G(i-1,j)-(R(i,j)+R(i-2,j))/2,$

${\mathrm{\Δ}}_{\mathrm{gr}}^s=G(i+1,j)-(R(i,j)+R(i+2,j))/2,$

${\mathrm{\Δ}}_{\mathrm{gr}}^e=G(i,j+1)-(R(i,j)+R(i,j+2))/2,$

${\mathrm{\Δ}}_{\mathrm{gr}}^w=G(i,j-1)-(R(i,j)+R(i,j-2))/2,$

${\mathrm{\Δ}}_{\mathrm{gr}}^h=\left(G(i,j-1)G(i,j+1)\right)/2-R(i,j),$

${\mathrm{\Δ}}_{\mathrm{gr}}^v=(G(i-1,j)+G(i+1,j))/2-R(i,j),$

其中，(i,j)表示像素点的位置，R为红色通道图像，G为绿色通道图像， 分别为像素点R(i,j)在北、南、东、西、水平、竖直方向上的绿色分量值与红色分量值的颜色差值；

(2b)计算像素点R(i,j)沿北、南、东、西、水平、竖直方向的梯度：

${\▿}_n=|G(i-1,j)-G(i+1,j)|+|R(i,j)-R(i-2,j)|+\frac{1}{2}|G(i,j-1)-G(i-2,j-1)|+\frac{1}{2}|G(i,j+1)-G(i-2,j+1)|+\mathrm{\ϵ},$

${\▿}_s=|G(i-1,j)-G(i+1,j)|+|R(i,j)-R(i+2,j)|+\frac{1}{2}|G(i,j+1)-G(i+2,j+1)|+\frac{1}{2}|G(i,j-1)-G(i+2,j-1)|+\mathrm{\ϵ},$

${\▿}_e=|G(i,j-1)-G(i,j+1)|+|R(i,j)-R(i,j+2)|+\frac{1}{2}|G(i-1,j)-G(i-1,j+2)|+\frac{1}{2}|G(i+1,j)-G(i+1,j+2)|+\mathrm{\ϵ},$

${\▿}_w=|G(i,j-1)-G(i,j+1)|+|R(i,j)-R(i,j-2)|+\frac{1}{2}|G(i-1,j)-G(i-1,j-2)|+\frac{1}{2}|G(i+1,j)-G(i+1,j-2)|+\mathrm{\ϵ},$

$\begin{array}{c}{\▿}_h=\frac{1}{4}|G(i-1,j-2)-G(i-1,j)|+\frac{1}{4}|G(i-1,j)-G(i-1,j+2)|+\frac{1}{4}|G(i+1,j-1)-G(i+1,j)|+\frac{1}{4}|G(i+1,j)-G(i+1,j+2)\\ +|G(i,j-1)-G(i,j+1)|+\frac{1}{2}|R(i,j)-R(i,j-2)|+\frac{1}{2}|R(i,j)-R(i,j+2)|+\mathrm{\ϵ},\end{array}$

$\begin{array}{c}{\▿}_v=\frac{1}{4}|G(i-2,j-1)-G(i,j-1)|+\frac{1}{4}|G(i,j-1)-G(i+2,j-1)|+\frac{1}{4}|G(i-2,j+1)-G(i,j+1)|+\frac{1}{4}|G(i,j+1)-G(i+2,j+1)|\\ +|G(i-1,j)-G(i+1,j)|+\frac{1}{2}|R(i-2,j)-R(i,j)|+\frac{1}{2}|R(i,j)-R(i+2,j)|+\mathrm{\ϵ},\end{array}$

其中，下标n、s、w、e、h、v分别为北、南、西、东、水平、竖直方向， 分别为像素点R(i,j)沿北、南、东、西、水平、竖直方向的梯度，ε为一个很小的常数；

(2c)根据步骤(2b)所述的像素点R(i,j)沿北、南、东、西、水平、竖直方向的梯度 计算各个方向颜色差值的权重值，即：

${\tilde{w}}_n=\frac{1}{{\▿}_n},{\tilde{w}}_s=\frac{1}{{\▿}_s},{\tilde{w}}_e=\frac{1}{{\▿}_e},{\tilde{w}}_w=\frac{1}{{\▿}_w},{\tilde{w}}_h=\frac{1}{{\▿}_h},{\tilde{w}}_v=\frac{1}{{\▿}_v};$

(2d)根据步骤(2c)所述的各个方向颜色差值的权重值，计算各个方向的权重值之和C，并对各个方向的颜色差值的权重值进行归一化，得到归一化后的各个方向的权重值：

$w_n=\frac{{\tilde{w}}_n}{C},w_s=\frac{{\tilde{w}}_s}{C},w_e=\frac{{\tilde{w}}_e}{C},w_w=\frac{{\tilde{w}}_w}{C},w_h=\frac{{\tilde{w}}_h}{C},w_v=\frac{{\tilde{w}}_v}{C},$

其中， $C={\tilde{w}}_n+{\tilde{w}}_s+{\tilde{w}}_w+{\tilde{w}}_e+{\tilde{w}}_h+{\tilde{w}}_v;$

(2e)根据步骤(2a)得到的颜色差值和步骤(2d)得到的权重值，计算像素点R(i,j)处绿色分量值与红色分量值的颜色差值，即：

${\widehat{\mathrm{\Δ}}}_{\mathrm{gr}}=w_n{\mathrm{\Δ}}_{\mathrm{gr}}^n+w_s{\mathrm{\Δ}}_{\mathrm{gr}}^s+w_e{\mathrm{\Δ}}_{\mathrm{gr}}^e+w_w{\mathrm{\Δ}}_{\mathrm{gr}}^w+w_h{\mathrm{\Δ}}_{\mathrm{gr}}^h+w_v{\mathrm{\Δ}}_{\mathrm{gr}}^v;$

(2f)根据步骤(2e)所述像素点R(i,j)处的颜色差值计算像素点R(i,j)处缺失的绿色分量即：

$\hat{G}(i,j)=R(i,j)+{\widehat{\mathrm{\Δ}}}_{\mathrm{gr}};$

(2g)对绿色通道图像上的所有缺失像素执行步骤(2a)-(2f)，得到绿色通道图像的插值图像

3.根据权利要求1所述的基于轮廓非局部均值的色彩滤波阵列图像去马赛克方法，其特征在于：步骤(3)中所述的计算绿色通道图像的插值图像中每个像素点的轮廓值，按如下步骤进行：

(3a)以绿色通道图像的插值图像中的像素点为中心，取8个不同的方向a_b，并计算像素点在a_b方向上的轮廓值即:

$S^{a_b}\left[\hat{G}(i,j)\right]=\underset{u,v\∈Z\×Z}{\mathrm{\Σ}}{W}^{a_b}|u-v|,Z\×Z\⋐\hat{G},$

$a_b=\frac{b\×\mathrm{\π}}{8},b=0...7,$

其中，(i,j)为像素点的位置，Z为常数，其值为：Z＝4，Z×Z为图像中以像素为中心的图像区域，为沿a_b方向的轮廓权重值，u和v分别为Z×Z图像区域内的像素；

(3b)从步骤(3a)得到的轮廓值中，选择最小的轮廓值作为像素点的轮廓值M_G(i,j)，即：

$M_G(i,j)=\min \left(S^{a_b}\right[\hat{G}(i,j)\left]\right);$

(3c)对绿色通道图像的插值图像的每一个像素执行步骤(3a)-(3b)，得到绿色通道的插值图像的图像轮廓矩阵M_G。

4.根据权利要求1所述的基于轮廓非局部均值的色彩滤波阵列图像去马赛克方法，其特征在于：所述步骤7a)中计算当前待修正块X与其图像块集合Ω中每个块之间的像素欧式距离d，通过如下公式计算：

$d={\left|\right|X-Y_i\left|\right|}_2=\sqrt{\frac{1}{t^2}\underset{m=1}{\overset{t}{\mathrm{\Σ}}}\underset{n=1}{\overset{t}{\mathrm{\Σ}}}{|X(m,n)-Y_i(m,n)|}^2},$

其中，Y_i为图像块集合Ω中的第i个图像块，t为图像块的行像素数，(m,n)为像素点在图像块中的位置。

5.根据权利要求1所述的基于轮廓非局部均值的色彩滤波阵列图像去马赛克方法，其特征在于：所述步骤7a)中计算当前待修正块X对应的轮廓块与其图像块集合Ω中每个块对应的轮廓块之间的轮廓欧式距离s，通过如下公式计算：

$s={\left|\right|s_0-s_i\left|\right|}_2=\sqrt{\frac{1}{t^2}\underset{m=1}{\overset{t}{\mathrm{\Σ}}}\underset{n=1}{\overset{t}{\mathrm{\Σ}}}{|s_0(m,n)-s_i(m,n)|}^2},$

其中，s₀为当前待修正块X对应的轮廓块，s_i为当前待修正块X的图像块集合Ω中第i个块对应的轮廓块，t为图像块的行像素数，(m,n)为像素点在图像块中的位置。

6.根据权利要求1所述的基于轮廓非局部均值的色彩滤波阵列图像去马赛克方法，其特征在于：步骤7c)所述的计算待修正块X与每个相似块之间的权重w_i，通过如下公式计算：

$w_i=\exp \left(\frac{-d*s}{{\mathrm{\σ}}^2}\right)/c,$

其中，c为归一化系数，d为当前待修正块X与第i个相似块之间的像素欧式距离，s为当前待修正块X对应的轮廓块与第i个相似块对应的轮廓块之间的轮廓欧式距离，σ为常数，其值为：σ＝2.4，N为相似块的个数。

7.根据权利要求1所述的基于轮廓非局部均值的色彩滤波阵列图像去马赛克方法，其特征在于：步骤(8)中所述的加权平均公式如下：

$\hat{X}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i{X}_i,$

其中,为修正后的图像块，N为与待修正块相似的图像块个数，w_i为待修正块与其第i个相似块之间的权重，X_i为第i个相似块。

8.根据权利要求1所述的基于轮廓非局部均值的色彩滤波阵列图像去马赛克方法，其特征在于：步骤(10)所述的通过方向插值法对色彩滤波阵列图像I中蓝色通道缺失的像素和红色通道缺失的像素进行估计，按如下步骤进行：

(10a)计算以像素点G(i,j)为中心的北、南、东、西、水平、竖直六个方向上的蓝色分量值与绿色分量值的颜色差值：

${\mathrm{\Δ}}_{\mathrm{bg}}^n=B(i-1,j)-G(i-1,j),$

${\mathrm{\Δ}}_{\mathrm{bg}}^s=B(i+1,j)-G(i+1,j),$

${\mathrm{\Δ}}_{\mathrm{bg}}^e=B(i,j+1)-G(i,j+1),$

${\mathrm{\Δ}}_{\mathrm{bg}}^w=B(i,j-1)-G(i,j-1),$

${\mathrm{\Δ}}_{\mathrm{bg}}^h=(B(i,j-1)+B(i,j+1))/2-G(i,j),$

${\mathrm{\Δ}}_{\mathrm{bg}}^v=(B(i-1,j)+B(i+1,j))/2-G(i,j),$

其中，(i,j)表示像素点的位置，B为蓝色通道图像，G为绿色通道图像， 分别为像素点G(i,j)在北、南、东、西、水平、竖直方向上的蓝色分量值与绿色分量值的颜色差值；

(10b)计算像素点G(i,j)沿北、南、东、西、水平、竖直方向的梯度：

${\▿}_n=|G(i-2,j)-G(i,j)|+|B(i-1,j)-B(i+1,j)|+\frac{1}{2}|R(i-2,j-1)-R(i,j-1)|+\frac{1}{2}|R(i-2,j+1)-R(i,j+1)|+\mathrm{\ϵ},$

${\▿}_s=|G(i+2,j)-G(i,j)|+|B(i-1,j)-B(i+1,j)|+\frac{1}{2}|R(i+2,j-1)-R(i,j-1)|+\frac{1}{2}|R(i+2,j+1)-R(i,j+1)|+\mathrm{\ϵ},$

${\▿}_e=|R(i,j-1)-R(i,j+1)|+|G(i,j)-G(i,j+2)|+\frac{1}{2}|B(i-1,j)-B(i-1,j+2)|+\frac{1}{2}|B(i+1,j)-B(i+1,j+2)|+\mathrm{\ϵ},$

${\▿}_w=|R(i,j-1)-R(i,j+1)|+|G(i,j)-G(i,j-2)|+\frac{1}{2}|B(i-1,j-2)-B(i-1,j)|+\frac{1}{2}|B(i+1,j-2)-B(i+1,j)|+\mathrm{\ϵ},$

$\begin{array}{c}{\▿}_h=\frac{1}{4}|G(i-1,j-1)-G(i-1,j+1)|+\frac{1}{4}|G(i+1,j-1)-G(i+1,j+1)|+\frac{1}{4}|B(i-1,j-2)-B(i-1,j)|+\frac{1}{4}|B(i-1,j)-B(i-1,j+2)|+\\ \frac{1}{4}|B(i+1,j-2)-B(i+1,j)|+\frac{1}{4}|B(i+1,j)-B(i+1,j+2)|+|R(i,j-1)-R(i,j+1)|+\frac{1}{2}|G(i,j)-G(i,j-2)|+\frac{1}{2}|G(i,j)-G(i,j+2)|+\mathrm{\ϵ},\end{array}$

$\begin{array}{c}{\▿}_v=\frac{1}{4}|G(i-1,j-1)-G(i+1,j-1)|+\frac{1}{4}|G(i-1,j+1)-G(i+1,j+1)|+\frac{1}{4}|R(i,j-1)-R(i-2,j-1)|+\frac{1}{4}|R(i,j-1)-R(i+2,j-1)|+\\ \frac{1}{4}|R(i-2,j+1)-R(i,j+1)|+\frac{1}{4}|R(i,j+1)-R(i+2,j+1)|+|B(i-1,j)-B(i+1,j)|+\frac{1}{2}|G(i,j)-G(i-2,j)|+\frac{1}{2}|G(i,j)-G(i+2,j)|+\mathrm{\ϵ},\end{array}$

其中，下标n、s、e、w、h、v分别为北、南、东、西、水平、竖直方向， 分别为像素点G(i,j)沿北、南、东、西、水平、竖直方向的梯度，ε为一个很小的常数；

(10c)根据步骤(10b)所述的像素点G(i,j)沿北、南、东、西、水平、竖直方向的梯度计算各个方向颜色差值的权重值，即：

${\tilde{w}}_n=\frac{1}{{\▿}_n},{\tilde{w}}_s=\frac{1}{{\▿}_s},{\tilde{w}}_e=\frac{1}{{\▿}_e},{\tilde{w}}_w=\frac{1}{{\▿}_w},{\tilde{w}}_h=\frac{1}{{\▿}_h},{\tilde{w}}_v=\frac{1}{{\▿}_v};$

(10d)根据步骤(10c)所述的各个方向颜色差值的权重值，计算各个方向的权重值之和C，并对各个方向颜色差值的权重值进行归一化，得到归一化后的各个方向的权重值：

$w_n=\frac{{\tilde{w}}_n}{C},w_s=\frac{{\tilde{w}}_s}{C},w_e=\frac{{\tilde{w}}_e}{C},w_w=\frac{{\tilde{w}}_w}{C},w_h=\frac{{\tilde{w}}_h}{C},w_v=\frac{{\tilde{w}}_v}{C},$

其中， $C={\tilde{w}}_n+{\tilde{w}}_s+{\tilde{w}}_e+{\tilde{w}}_w+{\tilde{w}}_h+{\tilde{w}}_v;$

(10e)根据步骤(10a)得到的颜色差值和步骤(10d)得到的权重值，计算像素点G(i,j)处蓝色分量值与绿色分量值的颜色差值，即：

${\widehat{\mathrm{\Δ}}}_{\mathrm{bg}}=w_n{\mathrm{\Δ}}_{\mathrm{bg}}^n+w_s{\mathrm{\Δ}}_{\mathrm{bg}}^s+w_e{\mathrm{\Δ}}_{\mathrm{bg}}^e+w_w{\mathrm{\Δ}}_{\mathrm{bg}}^w+w_h{\mathrm{\Δ}}_{\mathrm{bg}}^h+w_v{\mathrm{\Δ}}_{\mathrm{bg}}^v;$

(10f)根据步骤(10e)所述像素点G(i,j)处的颜色差值计算像素点G(i,j)处缺失的蓝色分量

$\hat{B}(i,j)=G(i,j)+{\widehat{\mathrm{\Δ}}}_{\mathrm{bg}};$

(10g)对蓝色通道图像上的所有缺失像素执行步骤(10a)-(10f)，得到蓝色通道图像的插值图像

(10h)根据色彩滤波阵列图像I中红色像素与蓝色像素分布对称的特性，对红色通道图像上的所有缺失像素执行步骤(10a)-(10f)，得到红色通道图像的插值图像