CN102184533B - 基于非局部约束的全变分图像去模糊方法 - Google Patents

Abstract

本发明公开了一种基于非局部约束的全变分图像去模糊方法，主要解决现有技术在图像去模糊时，不能锐化图像边缘和不能恢复图像高频细节的问题。其实现过程为：(1)用维纳滤波法初始化去模糊结果图；(2)计算去模糊结果图的非局部权重系数矩阵；(3)用基于非局部约束的阈值迭代公式更新去模糊结果图；(4)用基于全变分模型的去噪方法对去模糊结果图进行噪声抑制；(5)判断是否满足停止条件，如果是，则得到最终的去模糊结果图；否则，返回步骤(2)，直到满足停止条件为止。本发明在对图像去模糊时，能够锐化图像边缘，恢复图像高频细节，可用于对各种已知模糊类型的模糊图像进行去模糊。

Description

基于非局部约束的全变分图像去模糊方法

技术领域

本发明属于图像处理技术领域，具体地说是一种对模糊图像进行去模糊方法，该方法可用于对各种已知模糊类型的模糊图像进行去模糊。

背景技术

图像去模糊是指去除或减轻在获取数字图像过程中发生的图像质量下降的现象，它是图像处理中重要而又富有挑战性的研究内容。对于图像去模糊问题，研究者已经提出了很多方法。

传统的去模糊方法有逆滤波，维纳滤波，卡尔曼滤波和广义逆的奇异值分解法等，这些方法已经被广泛地应用于图像去模糊上，但是这些方法要求模糊图像具有较高的信噪比，如逆滤波的方法仅适用于高信噪比的图像，这一点限制了传统的去模糊方法在实际中的应用。这些方法的另一个缺点就是在去模糊时，图像边缘不能很好地恢复，同时又丢失了一些细节信息。

上述经典的去模糊方法不但效果差，而且在实际应用中不能很好的实现。因此，目前国际上提出了一些改进上述缺点的图像去模糊方法。如，I.Daubechies等人提出基于小波的阈值迭代法，参见文献《An iterative thresholding algorithm for linear inverse problems witha sparsity constraint》，Commun.Pure Appl.Math.，2004，Vol.57，No.11，pp.1413-1457。这种方法将两次迭代所得的去模糊结果的差值作为下一次迭代结果的补偿，是一种有效的去模糊方法。但是，这种方法是在小波域进行噪声抑制，容易产生振铃效应，且不能锐化图像边缘。此后，J.Bioucas-Dias等人将阈值迭代法进行了改进，参见文献《A new TwIST：two-step iterative shrinkage/thresholding algorithms for image restoration》，IEEE Trans.ImageProcess.，2007，Vol.16，No.12，pp.2992-3004。该方法的收敛速度比一般的阈值迭代法有所提高，同时，J.Bioucas-Dias等人在他们的代码示例中，将噪声系数转换到全变分域中进行抑制，去除了振铃效应，但是这种方法在图像的平滑区域容易产生阶梯效应，且不能很好的恢复图像高频细节。

发明内容

本发明的目的在于克服上述已有技术的不足，提出一种基于非局部约束的全变分图像去模糊方法，在图像去模糊时，能够锐化图像边缘，恢复图像高频细节信息，提高模糊图像的恢复质量。

实现本发明目的的技术方案是将非局部均值滤波作为约束，加入全变分图像去模糊模型中，以阈值迭代法作为求解方法，来进行图像去模糊。其具体步骤包括如下：

(1)用维纳滤波法得到初步去模糊结果图x⁽⁰⁾，用x⁽⁰⁾初始化去模糊结果图x^(k)，设定迭代误差ε＝1×10^-6，设定当前的迭代数k＝0；

(2)计算去模糊图x^(k)的非局部权重系数矩阵W，它的每个元素的计算公式如下：

其中，

表示去模糊结果图x^(k)的第i个7×7像素的图像小块x_i和第j个7×7像素的图像小块x_j之间的权重系数，

c_i为归一化因子，

h为调节权重大小的参数，h＝65，w_i是一个列向量，它包含x_i所对应的最大的10个权重系数i＝1，2，...，N，j＝1，2，...，N，N为去模糊结果图x^(k)的像素总数；

(3)利用下式计算去模糊中间结果图x^(k+1/2)：

x^(k+1/2)＝x^(k)+(H^Ty-Ux^(k)-Vx^(k))

其中，U＝H^TH，V＝γ²W^TW，H为已知的模糊核函数矩阵，H^T为H的转置矩阵，W^T为权重系数矩阵W的转置矩阵，γ为调节参数，γ＝0.1；

(4)用全变分去噪方法对x^(k+1/2)进行噪声抑制，得到抑噪后的去模糊结果图x^(k+1)；

(5)判断抑噪后的去模糊结果图x^(k+1)与去模糊结果图x^(k)的差值

是否小于迭代误差ε，如果

则x^(k+1)就是最终的输出结果；否则，令迭代次数k＝k+1，并返回步骤(2)，直到满足

为止。

本发明由于构造了非局部权重系数矩阵的计算公式，并将它作为约束计算去模糊中间结果图，与传统的基于全变分的图像去模糊方法相比，不仅解决了恢复图像在平坦区域容易产生阶梯效应的问题，而且可以恢复出更多的高频细节信息。

附图说明

图1是本发明的流程图；

图2是本发明与现有的两种方法在仿真实验一中使用的原Cameraman清晰图像；

图3是本发明与现有两种方法在仿真实验一中应用的Cameraman模糊图像；

图4是用本发明在仿真实验一中得到的Cameraman去模糊结果图；

图5是用现有的基于小波的阈值迭代法在仿真实验一中得到的Cameraman去模糊结果图；

图6是用现有的基于全变分的阈值迭代法在仿真实验一中得到的Cameraman去模糊结果图。

具体实施方式

参照图1，本发明的具体实现步骤如下：

步骤1，利用现有的“维纳滤波法”得到初步的去模糊结果图x⁽⁰⁾，用x⁽⁰⁾初始化去模糊结果图x^(k)，设定迭代误差ε＝1×10^-6，设定当前的迭代数k＝0，其中，维纳滤波法由Helstrom C.W.在文献《Image restoration by the method of least squares》，[J].J.Opt.Soc.Amer，1967，Vol.57，No.3，pp297-303中给出。

步骤2，计算去模糊图x^(k)的非局部权重系数矩阵W，其中，i＝1，2，...，N，j＝1，2，...，N，N为去模糊结果图x^(k)的像素总数。

令W中第i行，第j列的元素W(i，j)按如下公式计算：

其中，

表示去模糊结果图x^(k)的第i个7×7像素的图像小块x_i和第j个7×7像素的图像小块x_j之间的权重系数，

c_i为归一化因子，h为调节权重大小的参数，h＝65，w_i是一个列向量，它包含x_i所对应的最大的10个权重系数

步骤3，构建基于非局部约束的阈值迭代公式，并利用该式计算去模糊中间结果图x^(k+1/2)：

(3a)将权重系数矩阵W和去模糊结果图x^(k)的乘积的二范数模值

作为非局部正则项，加入到由J.Bioucas-Dias等在文献《Total variation image deconvolution：Amajorization-minimization approach》，presented at the IEEE Int.Conf.Acoustics，Speech，andSignal Processing，Toulouse，France，2006中提出的基于全变分的图像去模糊模型中，得到基于非局部约束的全变分图像去模糊模型：

$x^{(k+1/2)}=\arg \underset{x}{\min }\{{\left|\right|y-H{x}^{\left(k\right)}\left|\right|}_2^2+\mathrm{\λ}{\left|\right|x^{\left(k\right)}\left|\right|}_{\mathrm{TV}}+\mathrm{\γ}{\left|\right|{\mathrm{Wx}}^{\left(k\right)}\left|\right|}_2^2\}$ 《1》

其中，y为模糊图像，

为惩罚项，λ为调节参数，||x^(k)||_TV为TV正则项；

(3b)将公式《1》中的惩罚项和TV正则项

进行合并，得到：

$x^{(k+1/2)}=\arg \underset{x}{\min }\{{\left|\right|\left[\begin{array}{c}y\\ 0\end{array}\right]-\left[\begin{array}{c}H\\ \mathrm{\γW}\end{array}\right]x^{\left(k\right)}\left|\right|}_2^2+\mathrm{\λ}{\left|\right|x^{\left(k\right)}\left|\right|}_{\mathrm{TV}}\}$ 《2》

令

将公式《2》改写成：

《3》

(3c)按由I.Daubechies等在文献《An iterative thresholding algorithm for linear inverseproblems with a sparsity constraint》，Commun.Pure Appl.Math.，2004，Vol.57，No.11，pp.1413-1457中提出的阈值迭代公式求解公式《3》，得到：

《4》

其中，

为

的转置矩阵；

(3d)将公式《4》展开，得到计算去模糊中间结果图x^(k+1/2)的展开式：

                 《5》

令变形的模糊核矩阵U＝H^TH，变形的非局部系数矩阵V＝γ²W^TW，其中，调节参数γ＝0.1，得到基于非局部约束的阈值迭代公式：

x^(k+1/2)＝x^(k)+(H^Ty-Ux^(k)-Vx^(k))    《6》

(3e)利用公式《6》，计算得到去模糊中间结果图x^(k+1/2)，即，将去模糊结果图x^(k)、模糊核转置矩阵H^T、变形的模糊核矩阵U和变形的非局部系数矩阵V代入到公式《6》，计算后得到去模糊中间结果图x^(k+1/2)。

步骤4，利用现有的“基于全变分模型的去噪方法”对去模糊中间结果图x^(k+1/2)进行噪声抑制，得到抑噪后的去模糊结果图x^(k+1)，其中，基于全变分模型的去噪方法由A.Chambolle在文献《An algorithm for total variation minimization and application》，Journal of MathematicalImaging and Vision，2004，Vol.20，No.1-2，pp.89-97中给出。

步骤5，判断抑噪后的去模糊结果图x^(k+1)与去模糊结果图x^(k)的差值

是否小于等于迭代误差ε，如果

则x^(k+1)即为最终的输出结果；否则，令k＝k+1，并返回步骤(2)，直到满足为止。

本发明是一种迭代的图像去模糊方法，每次迭代得到的抑噪后的去模糊结果图x^(k+1)均发生变化，当抑噪后的去模糊结果图x^(k+1)与去模糊结果图x^(k)的差值

时，则抑噪后的去模糊结果图x^(k+1)即为最终的去模糊结果图。

本发明的效果可以通过以下仿真实验具体说明：

1.实验条件：实验所用微机的CPU为Intel Core2 Duo 2.33GHz，内存为2GB，编程平台为Matlab R2009a。实验所用到的图像来源于标准图像库，分别为Cameraman，Peppers，Boats，大小均为256×256。

2.实验内容

本仿真实验具体分为三个仿真实验，分别为仿真实验一，仿真实验二和仿真实验三，具体的实验说明如下：

仿真实验一：实验参数设置为：模糊核函数矩阵H＝ones(9)/81，其中ones(9)为大小是9×9的全1矩阵；噪声为高斯白噪声，标准差σ＝2。用本发明和现有的两种方法对图3所示的Cameraman模糊图像进行去模糊仿真，其中用本发明得到的Cameraman去模糊结果如图4，用现有的基于小波的阈值迭代法得到的Cameraman去模糊结果如图5；用现有的基于全变分的阈值迭代法得到的Cameraman去模糊结果如图6；用本发明和现有的基于小波的阈值迭代法、基于全变分的阈值迭代法，分别对图像Cameraman，Peppers和Boats进行模糊图像去模糊仿真，得到的评价指标见表1。

仿真实验二：实验参数设置为：模糊核函数矩阵H＝[1 4 6 4 1]^T[1 4 6 4 1]/256；噪声为高斯白噪声，标准差σ＝7，用本发明和现有的基于小波的阈值迭代法、基于全变分的阈值迭代法，对图像Cameraman，Peppers和Boats进行模糊图像去模糊仿真，得到的评价指标见表1。

仿真实验三：实验参数设置为：模糊核函数矩阵H为25×25，标准差为2的高斯核矩阵，噪声为高斯白噪声，标准差为σ＝2。用本发明和现有的基于小波的阈值迭代法、基于全变分的阈值迭代法，对图像Cameraman，Peppers和Boats进行模糊图像去模糊仿真，得到的评价指标见表1。

仿真实验中，应用峰值信噪比PSNR评价指标来评价去模糊结果的优劣，PSNR的定义为：

$\mathrm{PSNR}=10{\log }_{10}\left(\frac{{255}^2\×M\×N}{\mathrm{\Σ}{\left|\right|x-f\left|\right|}^2}\right)$

其中，f为清晰图像，x为去模糊后的图像，M和N为清晰图像f的像素行数和像素列数。

本发明与两种对比方法在不同的仿真实验设置中获取的PSNR值如表1所示，其中，Alg1是本发明的方法，Alg2是基于小波的阈值迭代法，Alg3是基于全变分的阈值迭代法。

表1.本发明和对比方法在不同实验设置下得到的PSNR值(单位为dB)

3.实验结果分析

将图4、图5和图6与图2所示的原Cameraman清晰图像比较可以看出，图4所示的本发明得到的Cameraman去模糊结果不但有效地去除了模糊，使图像边缘清晰，同时还保留了更多的图像细节，更接近图2所示的原Cameraman清晰图像；图5所示的基于小波的阈值迭代法得到的去模糊结果中残留了许多噪声，并且产生了严重的锯齿和振铃效应；图6所示的基于全变分的阈值迭代法能够有效地抑制噪声，但是其去模糊结果过于平滑，丢失了图像的细节。

从表1中可以看出，本发明比其它两种对比方法具有更高的PSNR值，有更好的去模糊性能。

Claims (2)

1.一种基于非局部约束的全变分图像去模糊方法，包括如下步骤：

(1)用维纳滤波法得到初步去模糊结果图x⁽⁰⁾，用x⁽⁰⁾初始化去模糊结果图x^(k)，设定迭代误差ε=1×10^-6，设定当前的迭代数k=0；

(2)计算去模糊结果图x^(k)的非局部权重系数矩阵W，它的每个元素的计算公式如下：

其中， 

表示去模糊结果图x^(k)的第i个7×7像素的图像小块x_i和第j个7×7像素的图像小块x_j之间的权重系数， 

c_i为归一化因子， 

h为调节权重大小的参数，h=65，w_i是一个列向量，它包含x_i所对应的最大的10个权重系数 

i=1,2,...,N，j=1,2,...,N，N为去模糊结果图x^(k)的像素总数；

(3)利用如下基于非局部约束的阈值迭代公式，计算去模糊中间结果图x^(k+1/2)：

x^(k+1/2)=x^(k)+(H^Ty-Ux^(k)-Vx^(k))

其中，U为变形的模糊核矩阵，U=H^TH，H为已知的模糊核函数矩阵，H^T为H的转置矩阵，V为变形的非局部系数矩阵，V=γ²W^TW，W^T为权重系数矩阵W的转置矩阵，γ为调节参数，γ=0.1；

(4)用基于全变分模型的去噪方法对去模糊中间结果图x^(k+1/2)进行噪声抑制，得到抑噪后的去模糊结果图x^(k+1)；

(5)判断抑噪后的去模糊结果图x^(k+1)与去模糊结果图x^(k)差值的二范数模值 是否小于等于迭代误差ε，如果 则x^(k+1)就是最终的输出结果；否则，令迭代次数k=k+1，并返回步骤(2)，直到满足 

为止。

2.根据权利要求1所述的基于非局部约束的全变分图像去模糊方法，其中步骤(3)给出的计算去模糊中间结果图x^(k+1/2)的公式，按如下步骤构建：

(3a)将权重系数矩阵W和去模糊结果图x^(k)的乘积的二范数模值 

作为非局部正则项，加入到基于全变分的图像去模糊模型中，得到基于非局部约束的全变分图像去模糊模型：

《1》

其中，y为模糊图像， 

为惩罚项，λ为调节参数，||x^(k)||_TV为TV正则项；

(3b)将公式《1》中的惩罚项 

和TV正则项 

进行合并，得到：

《2》

令

将公式《2》改写成：

《3》

(3c)按阈值迭代公式求解公式《3》，得到：

《4》

其中， 

为 

的转置矩阵；

(3d)将公式《4》展开，得到计算去模糊中间结果图x^(k+1/2)的展开式： 

《5》

令变形的模糊核矩阵U＝H^TH，变形的非局部系数矩阵V＝γ²W^TW，得到步骤(3)中给出的基于非局部约束的阈值迭代公式：

x^(k+1/2)=x^(k)+(H^Ty-Ux^(k)-Vx^(k)) 《 6 》。 

Images