CN105427259A - 多方向加权tv和非局部自相似性正则化图像去模糊方法 - Google Patents

Abstract

本发明公开了一种多方向加权TV和非局部自相似性正则化图像去模糊方法，主要是利用本发明所特有的将边缘检测加入加权TV去模糊模型，同时融入非局部自相似性正则化项而得到的基于边缘检测的多方向加权TV和非局部自相似性正则化的图像去模糊模型对模糊图像f、清晰图像x、辅助变量u三个子问题进行求解后，对参数λ、ν进行迭代更新，循环执行直到得到最优解，即将一模糊图像去模糊处理后得到其清晰图像x。实验结果表明，采用本发明对模糊图像进行去模糊处理后能达到很好地去模糊效果，和现有技术相比，由于采取了边缘检测，能对边缘处更好的处理，不仅消除了伪边缘，且能更好地保留图像的纹理和细节；同时提高了图像的SNR，具有更好的视觉效果。

Description

多方向加权TV和非局部自相似性正则化图像去模糊方法

技术领域

本发明属计算机图像处理领域，可用于图像/视频去模糊等相关领域。

背景技术

图像去模糊一直是计算机视觉、图像处理领域的研究热点，因其具有前沿性、应用广等特点而备受关注。

在众多去模糊方法中，全变差(TV)正则化因其较好的边缘保持能力被广泛用于图像去噪、图像去模糊等^[1,2]，但是其细节和纹理恢复能力有限。因此，出现了很多TV正则化改进方法，如加权TV(WTV)正则化通过对图像的平滑区域和图像边缘采用不同的权重来提升TV模型的细节恢复能力^[3]，但在纹理和细节较多的区域容易出现伪边缘和褶皱。

另一方面，传统的TV模型只考虑图像的局部特征，并没有利用图像中结构相似的图像块，即图像的非局部自相似性^[1]，对图像先验信息的表达能力不足。文献[4]将非局部自相似性成功用于压缩感知重建，文献[5]将非局部自相似性约束用于图像去模糊。该类方法能较好的恢复图像细节，但仍不能很好地解决出现伪边缘和褶皱的问题。

[参考文献]

[1]YouweiWen,Ng.M.K.,YumeiHuang.EfficientTotalVariationMinimizationMethodsforColorImageRestoration[J].IEEETransactionsonImageProcessing,2008,17(11):2081–2088.

[2]BrasN.B.,Bioucas-DiasJ.,MartinsR.C.,SerraA.C..AnAlternatingDirectionAlgorithmforTotalVariationReconstructionofDistributedParameters[J].IEEETransactionsonImageProcessing,2012,21(6):3004-3016.

[3]RodreguezP.,WohlbergB..Performancecomparisonofiterativereweightingmethodsfortotalvariationregularization[C].2014IEEEInternationalConferenceonImageProcessing(ICIP),2014:1758-1762.

[4]JianZhang,ShaohuiLiu,RuiqinXiong,etal.Improvedtotalvariationbasedimagecompressivesensingrecoverybynonlocalregularization[C].ProcofIEEEInternationalSymposiumonCircuitsandSystems.Beijing:ISCAS,2013:2836-2839.

[5]WangS.,etal.Totalvariationbasedimagedeblurringwithnonlocalself-similarityconstraint[J].Electronicsletters,2011,47(16):916-918.

[6]WeihongGuo,WotaoYin.EdgeCS:EdgeGuidedCompressiveSensingReconstruction[C].SPIE-TheInternationalSocietyforOpticalEngineering,2010:7744-7753.

[7]BhottoM.Z.A.,AhmadM.O.,SwamyM.N.S..FinegranularityspatiallyadaptiveregularizationforTVL1basedimagedeblurring[J].2014IEEE27thCanadianConferenceonElectricalandComputerEngineering,2014:1-5.

发明内容

针对传统TV模型细节保持能力有限的问题，基于边缘检测，提出多方向加权TV；为了利用图像的非局部自相似性结构，将非局部自相似性约束作为正则项融入图像去模糊模型，提出一种基于边缘检测的多方向加权TV和非局部自相似性正则化的图像去模糊算法。

为了解决上述技术问题，本发明提出的一种多方向加权TV和非局部自相似性正则化图像去模糊方法，包括以下步骤：

步骤1：建立基于边缘检测的多方向加权TV和非局部自相似性正则化的图像去模糊模型，包括：

步骤1-1：建立清晰图像x的多方向加权TV去模糊模型：

模糊图像f的数学模型为：

f＝Kx+n(1)

式(1)中，f为模糊图像，x为清晰图像，K是非线性算子，n为加性噪声；

TV去模糊模型为：

$\underset{x}{min}TV\left(x\right)+\frac{\mathrm{\μ}}{2}\left|\right|Kx-f|{|}_2^2---\left(2\right)$

式(2)中，第一项为TV正则项，第二项为保真项；μ为正则化参数，K为模糊矩阵；

加权TV去模糊模型为：

$\underset{x}{min}\mathrm{\τ}WTV\left(x\right)+\frac{\mathrm{\μ}}{2}\left|\right|Kx-f|{|}_2^2---\left(3\right)$

式(3)中，第一项为加权TV正则项，τ为一正参数；

清晰图像x的多方向加权TV去模糊模型为：

$WTV\left(x\right)=\underset{i=1}{\overset{\mathrm{\α}}{\Σ}}{g}_i\left|D_{i}x\right|:={\mathrm{\Σg}}_{(i,j)~(k,l)}|x_{i,j}-x_{k,l}|---\left(4\right)$

式(4)中，求和范围为8邻域内所有α个像素对(i,j)～(k,l)；g_i对应第i个像素对的权值，对于中心像素的8邻域中，当中心像素与和它最邻近的4个像素构成像素对时，当中心像素与其余的4个像素构成像素对时，对模糊图像进行边缘检测后，若像素对在边缘异侧，令g_i＝0；否则令g_i保持原始值；

步骤1-2：建立清晰图像x融入非局部自相似性正则化去模糊模型：

对于给定像素x_i的滤波结果为搜索窗内相似像素的加权平均，像素x_j相对于像素x_i的权重w_ij如下：

$w_{ij}=\exp (-||x_j-x_i|{|}_2^2/h^2)/c_i---\left(5\right)$

式(5)中，h为高斯核控制参数，c_i为归一化参数，由此，建立一个非局部自相似性约束项为：

$NR\left(X\right)=\underset{x_i\∈X}{\Σ}\left|\right|x_i-NLF\left(x_i\right)|{|}_2^2=\underset{x_i\∈X}{\Σ}||x_i-w_i^T{k}_i|{|}_2^2---\left(6\right)$

式(6)中，k_i是一个列向量，包含x_i搜索窗内的所有中心像素；w_i是包括相应权重值w_ij的列向量；

将式(6)写成如下矩阵形式：

$\begin{array}{cc}NR\left(X\right)=\left|\right|x-Wx|{|}_2^2,& W(i,j)=\left\{\begin{array}{c}{w}_{ij},if{x}_j\∈k_i\\ 0,otherwise\end{array}\right.\end{array}---\left(7\right)$

式(7)中，W为权重值w_ij对应的权重矩阵；

步骤1-3：建立基于边缘检测的多方向加权TV和非局部自相似性正则化的图像去模糊模型：

由式(3)、式(4)及式(7)，得到如下表示的基于边缘检测的多方向加权TV和非局部自相似性正则化的图像去模糊模型：

$\underset{x}{min}\mathrm{\τ}\underset{i}{\Σ}{g}_i\left|D_{i}x\right|+\mathrm{\ϵ}\left|\right|x-Wx|{|}^2+\frac{\mathrm{\μ}}{2}||Kx-f|{|}_2^2---\left(8\right)$

式(8)中，ε为一正参数，令y_i＝D_ix，令非局部正则化项中的u＝x，u为辅助变量，将式(8)转变成：

$\underset{x}{min}\mathrm{\τ}\underset{i}{\Σ}{g}_i\left|y_i\right|+\mathrm{\ϵ}\left|\right|u-Wu|{|}^2+\frac{\mathrm{\μ}}{2}||Kx-f|{|}_2^2,s.t.y_i=D_{i}x,u=x---\left(9\right)$

式(9)对应的增广拉格朗日方程为：

$\begin{array}{c}{L}_A(y,u,x)=\mathrm{\τ}\left|\right|y|{|}_1-{\mathrm{\λ}}^T(Dx-y)+\frac{{\mathrm{\β}}_1}{2}||Dx-y|{|}_2^2+\mathrm{\ϵ}\left|\right|u-Wu\left|\right|\\ -v^T(u-x)+\frac{{\mathrm{\β}}_2}{2}\left|\right|u-x|{|}_2^2+\frac{\mathrm{\μ}}{2}||Kx-f|{|}_2^2\end{array}---\left(10\right)$

从而将式(9)转换为分别对模糊图像f、清晰图像x、辅助变量u的求解；β₁、β₂分别为惩罚参数，β₁＝β₂≡10，λ和ν分别为参数；

步骤2：输入模糊图像f；

步骤3：对步骤1获得基于边缘检测的多方向加权TV和非局部自相似性正则化的图像去模糊模型的参数设定初值，包括：

式(8)中，模糊矩阵K为单位矩阵；令正则化参数μ＝0.05/σ²，其中，σ为模糊核标准差，μ取值范围为[10²,10⁵]；参数τ和参数ε的取值范围均分别为[2,5]；

式(10)中，λ＝1，ν＝1，x＝f；

步骤4：利用式(8)对模糊图像f进行边缘检测，确定像素i对应像素对的权值g_i，当像素对位于边缘异侧时令g_i＝0，否则令g_i为原始值；

步骤5：利用式(11)和式(12)对式(10)中模糊图像f、清晰图像x、辅助变量u的求解进行迭代更新，其中利用式(13)判断迭代结果是否收敛；

$\left\{\begin{array}{c}{y}^{k+1}\←\arg {\min }_y{L}_A(x^k,y,u^k,{\mathrm{\λ}}^k,v^k),\\ x^{k+1}\←\arg {\min }_x{L}_A(x,y^{k+1},u^k,{\mathrm{\λ}}^k,v^k),\\ u^{k+1}\←\arg {\min }_u{L}_A(x^{k+1},y^{k+1},u,{\mathrm{\λ}}^k,v^k)\·\end{array}\right.---\left(11\right)$

其中，λ^k，ν^k分别表示第k-1次迭代后更新的λ和ν，k为迭代控制变量；y^k+1、x^k+1、u^k+1表示第k次迭代后y、x、u的结果；

$\left\{\begin{array}{c}{\mathrm{\λ}}^{k+1}={\mathrm{\λ}}^k-{\mathrm{\β}}_1\mathrm{\γ}({\mathrm{Dx}}^{k+1}-y^{k+1})\\ v^{k+1}=v^k-{\mathrm{\β}}_2\mathrm{\γ}(x^{k+1}-u^{k+!})\end{array}\right.---\left(12\right)$

式(12)中，γ是常数，γ的取值范围为(0，2)；

收敛条件为： $\frac{\left|\right|x^{k+1}-x^k\left|\right|}{\max \left\{\right|\left|x^k\right||,1\}}<\mathrm{\&delta;}---\left(13\right)$

其中，δ为正常数，取值为{10^-4,10^-3,10^-2}；

迭代更新至满足收敛条件，输出去模糊图像x^k即为清晰图像x。

与现有技术相比，本发明的有益效果是：

本发明基于边缘检测提出多方向加权TV，并将非局部自相似性作为正则化项融入改进的TV模型，提出了多方向加权TV和非局部正则化的图像去模糊方法。实验结果表明，采用本发明进行图像处理可更好地保留图像的纹理和细节等重要信息。

附图说明

图1是本发明模型推导流程图；

图2是本发明中中心像素(i,j)的8邻域；

图3是本发明去模糊过程流程图；

图4(a)至图4(b)是对“Lena”图像去模糊过程结果示意图；其中：

图4(a)是要处理的模糊图像；

图4(b)是采用MDWTV-NLR去模糊结果示意图；

图5(a)至图5(e)是采用不同方法对“Barbara”图像去模糊结果示意图；其中：

图5(a)是要处理的模糊图像；

图5(b)是采用TV去模糊效果示意图；

图5(c)是采用WTV去模糊结果示意图；

图5(d)是采用TV-NLR去模糊结果示意图；

图5(e)是采用MDWTV-NLR去模糊结果示意图；

图5(f)是图5(b)的部分放大图；

图5(g)是图5(c)的部分放大图；

图5(h)是图5(d)的部分放大图；

图5(i)是图5(e)的部分放大图；

图6(a)至图6(e)是采用不同方法对“Cameraman”图像去模糊结果示意图；其中：

图6(a)是要处理的模糊图像；

图6(b)是采用TV去模糊效果示意图；

图6(c)是采用WTV去模糊结果示意图；

图6(d)是采用TV-NLR去模糊结果示意图；

图6(e)是采用MDWTV-NLR去模糊结果示意图；

具体实施方式

下面结合附图和具体实施例对本发明技术方案作进一步详细描述，所描述的具体实施例仅对本发明进行解释说明，并不用以限制本发明。

本发明是一种多方向加权TV和非局部自相似性正则化图像去模糊方法(MDWTV-NLR方法)，其实质内容是：利用本发明所特有的基于边缘检测的多方向加权TV和非局部自相似性正则化的图像去模糊模型对模糊图像f、清晰图像x、辅助变量u三个子问题进行求解后，对参数λ、ν进行迭代更新，循环执行直到得到最优解，即将一模糊图像去模糊处理后得到其清晰图像x。具体步骤如下：

步骤1：建立基于边缘检测的多方向加权TV和非局部自相似性正则化的图像去模糊模型，如图1所示，包括：

步骤1-1：建立清晰图像(originalimage)x的多方向加权TV去模糊模型：

模糊图像f的数学模型为：

f＝Kx+n(1)

式(1)中，f为模糊图像，x为清晰图像，K是非线性算子(模糊矩阵，代表由运动模糊、辐射失真和灰度失真等原因引起的退化系统)，n为加性噪声；

TV去模糊模型为：

$\underset{x}{min}TV\left(x\right)+\frac{\mathrm{\&mu;}}{2}\left|\right|Kx-f|{|}_2^2---\left(2\right)$

式(2)中，第一项为TV正则项，第二项为保真项；μ为正则化参数，K为模糊矩阵；

加权TV去模糊模型为：

$\underset{x}{min}\mathrm{\&tau;}WTV\left(x\right)+\frac{\mathrm{\&mu;}}{2}\left|\right|Kx-f|{|}_2^2---\left(3\right)$

式(3)中，第一项为加权TV正则项，τ为一正参数；

传统的加权TV仅根据梯度幅值来确定加权系数，并未考虑图像的局部结构和方向信息，造成图像边缘和细节模糊。为了实现根据图像局部信息自适应调整权值，在平坦区权值加大以抑制噪声，在边缘、纹理等区域根据局部方向自适应确定权值以保留更多的细节。

边缘检测可提取图像的显著性特征，本发明利用Canny检测算子自适应调整多方向的TV系数。具体地，将中心像素8邻域内(如图2所示)的像素对分为边缘同侧像素对和边缘异侧像素对^[6]，对不同类型的像素对根据边缘检测结果施加不同的权重。对于清晰图像x，其多方向加权TV定义(即多方向加权TV去模糊模型)为：

$WTV\left(x\right)=\underset{i=1}{\overset{\mathrm{\&alpha;}}{\&Sigma;}}{g}_i\left|D_{i}x\right|:={\mathrm{\&Sigma;g}}_{(i,j)~(k,l)}|x_{i,j}-x_{k,l}|---\left(4\right)$

式(4)中，求和范围为8邻域内所有α个像素对(i,j)～(k,l)；权值g_{(i,j)～(k,l)}根据邻域的选取设为恰当的值。g_i对应第i个像素对的权值，对于中心像素的8邻域中，当中心像素与和它最邻近的4个像素构成像素对时，当中心像素与其余的4个像素构成像素对时，对模糊图像进行边缘检测后，若像素对在边缘异侧，令g_i＝0；否则令g_i保持原始值；

步骤1-2：建立清晰图像x融入非局部自相似性正则化去模糊模型：

非局部自相似性来源于非局部均值(NLM)滤波思想^[4]，对于给定像素x_i，其滤波结果(NLF)为搜索窗内相似像素的加权平均，像素x_j相对于像素x_i的权重w_ij由式(5)决定

$w_{ij}=\exp (-||x_j-x_i|{|}_2^2/h^2)/c_i---\left(5\right)$

式(5)中，h为高斯核控制参数，c_i为归一化参数，由此，可建立一个非局部自相似性约束项为：

$NR\left(X\right)=\underset{x_i\&Element;X}{\&Sigma;}\left|\right|x_i-NLF\left(x_i\right)|{|}_2^2=\underset{x_i\&Element;X}{\&Sigma;}||x_i-w_i^T{k}_i|{|}_2^2---\left(6\right)$

式(6)中，k_i是一个列向量，包含x_i搜索窗内的所有中心像素；w_i是包括相应权重值w_ij的列向量；进一步将式(6)写成如下矩阵形式：

$\begin{array}{cc}NR\left(X\right)=\left|\right|x-Wx|{|}_2^2,& W(i,j)=\left\{\begin{array}{c}{w}_{ij},if{x}_j\&Element;k_i\\ 0,otherwise\end{array}\right.\end{array}---\left(7\right)$

式(7)中，W为权重值w_ij对应的权重矩阵；

步骤1-3：建立基于边缘检测的多方向加权TV和非局部自相似性正则化的图像去模糊模型：

由式(3)、式(4)及式(7)，得到如下表示的基于边缘检测的多方向加权TV和非局部自相似性正则化的图像去模糊模型：

$\underset{x}{min}\mathrm{\&tau;}\underset{i}{\&Sigma;}{g}_i\left|D_{i}x\right|+\mathrm{\&epsiv;}\left|\right|x-Wx|{|}^2+\frac{\mathrm{\&mu;}}{2}||Kx-f|{|}_2^2---\left(8\right)$

式(8)中，ε为一正参数，由于式(8)的第一项、第二项不可微，导致问题难以求解，故引入辅助变量，令y_i＝D_ix，令非局部正则化项中的u＝x，u为辅助变量，将式(8)转变成：

$\underset{x}{min}\mathrm{\&tau;}\underset{i}{\&Sigma;}{g}_i\left|y_i\right|+\mathrm{\&epsiv;}\left|\right|u-Wu|{|}^2+\frac{\mathrm{\&mu;}}{2}||Kx-f|{|}_2^2,s.t.y_i=D_{i}x,u=x---\left(9\right)$

式(9)对应的增广拉格朗日方程为：

$\begin{array}{c}{L}_A(y,u,x)=\mathrm{\&tau;}\left|\right|y|{|}_1-{\mathrm{\&lambda;}}^T(Dx-y)+\frac{{\mathrm{\&beta;}}_1}{2}||Dx-y|{|}_2^2+\mathrm{\&epsiv;}\left|\right|u-Wu\left|\right|\\ -v^T(u-x)+\frac{{\mathrm{\&beta;}}_2}{2}\left|\right|u-x|{|}_2^2+\frac{\mathrm{\&mu;}}{2}||Kx-f|{|}_2^2\end{array}---\left(10\right)$

从而将式(9)转换为分别对模糊图像f、清晰图像x、辅助变量u三个子问题进行求解；β₁、β₂分别为惩罚参数，为了简便且不失一般性，令β₁＝β₂≡10，λ和ν分别为参数；建立上述模型后即可利用该模型进行图像去模糊处理，如图3所示，具体过程如下：

步骤2：输入模糊图像f；

步骤3：对步骤1获得基于边缘检测的多方向加权TV和非局部自相似性正则化的图像去模糊模型的参数设定初值，包括：

式(8)中，其中K为模糊矩阵，在去模糊过程中，由于本发明为图像盲去模糊过程，本不需要对模糊矩阵设定初值，又由于模糊矩阵初值会在迭代过程中进行更新，因此对去模糊结果影响不大，故本发明中令其为单位矩阵；令正则化参数μ＝0.05/σ²，其中，σ为模糊核标准差，μ取值范围为[10²,10⁵]；参数τ和参数ε分别用于确定所在项比重，本发明中，参数τ和参数的ε取值范围均分别为[2,5]；

式(10)中，λ＝1，ν＝1，x＝f；

步骤4：利用式(8)对模糊图像f进行边缘检测，确定像素i对应像素对的权值g_i，当像素对位于边缘异侧时令g_i＝0，否则令g_i为原始值；

步骤5：利用式(11)表达的迭代框架、式(12)表达的参数更新准则对式(10)中模糊图像f、清晰图像x、辅助变量u的求解进行迭代更新，其中利用式(13)表示的收敛条件判断迭代结果是否收敛；

$\left\{\begin{array}{c}{y}^{k+1}\&LeftArrow;\arg {\min }_y{L}_A(x^k,y,u^k,{\mathrm{\&lambda;}}^k,v^k),\\ x^{k+1}\&LeftArrow;\arg {\min }_x{L}_A(x,y^{k+1},u^k,{\mathrm{\&lambda;}}^k,v^k),\\ u^{k+1}\&LeftArrow;\arg {\min }_u{L}_A(x^{k+1},y^{k+1},u,{\mathrm{\&lambda;}}^k,v^k)\&CenterDot;\end{array}\right.---\left(11\right)$

其中，λ^k，ν^k分别表示第k-1次迭代后更新的λ和ν，k为迭代控制变量；y^k+1、x^k+1、u^k+1表示第k次迭代后y、x、u的结果；

$\left\{\begin{array}{c}{\mathrm{\&lambda;}}^{k+1}={\mathrm{\&lambda;}}^k-{\mathrm{\&beta;}}_1\mathrm{\&gamma;}({\mathrm{Dx}}^{k+1}-y^{k+1})\\ v^{k+1}=v^k-{\mathrm{\&beta;}}_2\mathrm{\&gamma;}(x^{k+1}-u^{k+!})\end{array}\right.---\left(12\right)$

式(12)中，γ是常数，γ的取值范围为(0，2)；

收敛条件为： $\frac{\left|\right|x^{k+1}-x^k\left|\right|}{\max \left\{\right|\left|x^k\right||,1\}}<\mathrm{\&delta;}---\left(13\right)$

其中，δ为正常数，取值为{10^-4,10^-3,10^-2}；

迭代更新至满足收敛条件，输出去模糊图像x^k即为清晰图像x。

按照上述过程对图4(a)所示模糊图像进行处理后的结果如图4(b)所示的清晰图像。本实施例中，令正则化参数μ＝1000，参数τ和参数的ε取值均分别为2；γ的取值为1.618，δ取值为10^-3，经过大约50次的迭代后得到最终如图4(b)所示的清晰图像。

将本发明MDWTV-NLR方法与现有技术TV去模糊方法、加权TV(WTV)方法、TV融入非局部自相似性(TV-NLR)方法进行比较。测试图像为Cameraman(256×256)，Barbara、Lena、Barche(512×512)。μ＝0.05/σ²，均匀模糊核尺寸hsize＝{5,7…,15}，搜索窗尺寸为3×3，相似块尺寸为7×7。计算重建图像的SNR值^[7]，如表1所示。由表1可知，与现有技术方法相比，本发明MDWTV-NLR方法重建图像SNR值显著提高。

表1不同方法去模糊结果(SNR)

图5(a)至图5(e)是hsize＝15时，采用不同方法对“Barbara”图像去模糊后的效果图和局部放大图，可以看出，TV去模糊方法虽然在一定程度上可较好复原图像，但容易对边缘和细节造成过平滑；加权TV(WTV)方法能更好地保留图像的细节，但是在结构性比较明显的部位容易造成褶皱和伪边缘；TV-NLR方法对结构性明显的部位能很好保留图像细节，但仍会出现伪边缘；本发明MDWTV-NLR方法结合边缘检测改进WTV，并添加非局部自相似性约束，不仅消除了伪边缘，且能更好地保留图像的纹理和细节(如图5(i)所示的围巾部分)，具有更好的视觉效果。

为了印证采用本发明MDWTV-NLR方法对模糊图像处理后的清晰程度，将不同方法去模糊后得到的结果和对应的SNR进行对比，如图6(a)至图6(e)所示，其中，图6(a)为模糊图像(进行高斯模糊得到)，图6(b)为TV去模糊结果，图6(c)为WTV去模糊结果，图6(d)为TV-NLR去模糊结果，图6(e)为本发明去模糊结果。图6(b)至图6(e)各图像对应的SNR如表2所示。由图6(b)至图6(e)和表2可以看出，采用本发明MDWTV-NLR方法去模糊结果更加清晰，且提高了SNR，达到了很好地去模糊效果。

表2不同方法对“Cameraman”图像去模糊结果对应SNR

尽管上面结合附图对本发明进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨的情况下，还可以做出很多变形，这些均属于本发明的保护之内。

Claims (1)

1.一种多方向加权TV和非局部自相似性正则化图像去模糊方法，包括以下步骤：

步骤1：建立基于边缘检测的多方向加权TV和非局部自相似性正则化的图像去模糊模型，包括：

步骤1-1：建立清晰图像x的多方向加权TV去模糊模型：

模糊图像f的数学模型为：

f＝Kx+n(1)

式(1)中，f为模糊图像，x为清晰图像，K是非线性算子，n为加性噪声；

TV去模糊模型为：

$\underset{x}{\min }TV\left(x\right)+\frac{\mathrm{\&mu;}}{2}\left|\right|Kx-f|{|}_2^2---\left(2\right)$

式(2)中，第一项为TV正则项，第二项为保真项；μ为正则化参数，K为模糊矩阵；

加权TV去模糊模型为：

$\underset{x}{\min }\mathrm{\&tau;}WTV\left(x\right)+\frac{\mathrm{\&mu;}}{2}\left|\right|Kx-f|{|}_2^2---\left(3\right)$

式(3)中，第一项为加权TV正则项，τ为一正参数；

清晰图像x的多方向加权TV去模糊模型为：

$WTV\left(x\right)=\underset{i=1}{\overset{\mathrm{\&alpha;}}{\&Sigma;}}{g}_i\left|D_{i}x\right|:=\&Sigma;g_{(i,j)~(k,l)}\left|x_{i,j}-x_{k,l}\right|---\left(4\right)$

式(4)中，求和范围为8邻域内所有α个像素对(i,j)～(k,l)；g_i对应第i个像素对的权值，对于中心像素的8邻域中，当中心像素与和它最邻近的4个像素构成像素对时，当中心像素与其余的4个像素构成像素对时，对模糊图像进行边缘检测后，若像素对在边缘异侧，令g_i＝0；否则令g_i保持原始值；

步骤1-2：建立清晰图像x融入非局部自相似性正则化去模糊模型：

对于给定像素x_i的滤波结果为搜索窗内相似像素的加权平均，像素x_j相对于像素x_i的权重w_ij如下：

$w_{ij}=\exp (-||x_j-x_i|{|}_2^2/h^2)/c_i---\left(5\right)$

式(5)中，h为高斯核控制参数，c_i为归一化参数，由此，建立一个非局部自相似性约束项为：

$NR\left(X\right)=\underset{x_i\&Element;X}{\&Sigma;}\left|\right|x_i-NLF\left(x_i\right)|{|}_2^2=\underset{x_i\&Element;X}{\&Sigma;}||x_i-w_i^T{k}_i|{|}_2^2---\left(6\right)$

式(6)中，k_i是一个列向量，包含x_i搜索窗内的所有中心像素；w_i是包括相应权重值w_ij的列向量；

将式(6)写成如下矩阵形式：

$\begin{array}{cc}NR\left(X\right)=\left|\right|x-Wx|{|}_2^2,& W(i,j)=\{\begin{array}{c}{w}_{ij},if{x}_j\&Element;k_i\\ 0,otherwise\end{array}---\left(7\right)\end{array}$

式(7)中，W为权重值w_ij对应的权重矩阵；

步骤1-3：建立基于边缘检测的多方向加权TV和非局部自相似性正则化的图像去模糊模型：

由式(3)、式(4)及式(7)，得到如下表示的基于边缘检测的多方向加权TV和非局部自相似性正则化的图像去模糊模型：

$\underset{x}{\min }\mathrm{\&tau;}\underset{i}{\&Sigma;}{g}_i\left|D_{i}x\right|+\mathrm{\&epsiv;}\left|\right|x-Wx|{|}^2+\frac{\mathrm{\&mu;}}{2}||Kx-f|{|}_2^2---\left(8\right)$

式(8)中，ε为一正参数，令y_i＝D_ix，令非局部正则化项中的u＝x，u为辅助变量，将式(8)转变成：

$\underset{x}{\min }\mathrm{\&tau;}\underset{i}{\&Sigma;}{g}_i\left|y_i\right|+\mathrm{\&epsiv;}\left|\right|u-Wu|{|}^2+\frac{\mathrm{\&mu;}}{2}||Kx-f|{|}_2^2,s.t.y_i=D_{i}x,u=x---\left(9\right)$

式(9)对应的增广拉格朗日方程为：

$\begin{array}{c}{L}_A(y,u,x)=\mathrm{\&tau;}\left|\right|y|{|}_1-{\mathrm{\&lambda;}}^T(Dx-y)+\frac{{\mathrm{\&beta;}}_1}{2}||Dx-y|{|}_2^2+\mathrm{\&epsiv;}\left|\right|u-Wu\left|\right|\\ -{\mathrm{\&nu;}}^T(u-x)+\frac{{\mathrm{\&beta;}}_2}{2}\left|\right|u-x\left|\right|+\frac{\mathrm{\&mu;}}{2}\left|\right|Kx-f|{|}_2^2\end{array}---\left(10\right)$

从而将式(9)转换为分别对模糊图像f、清晰图像x、辅助变量u的求解；β₁、β₂分别为惩罚参数，β₁＝β₂≡10，λ和ν分别为参数；

步骤2：输入模糊图像f；

步骤3：对步骤1获得基于边缘检测的多方向加权TV和非局部自相似性正则化的图像去模糊模型的参数设定初值，包括：

式(8)中，模糊矩阵K为单位矩阵；令正则化参数μ＝0.05/σ²，其中，σ为模糊核标准差，μ取值范围为[10²,10⁵]；参数τ和参数ε的取值范围均分别为[2,5]；

式(10)中，λ＝1，ν＝1，x＝f；

步骤4：利用式(8)对模糊图像f进行边缘检测，确定像素i对应像素对的权值g_i，当像素对位于边缘异侧时令g_i＝0，否则令g_i为原始值；

步骤5：利用式(11)和式(12)对式(10)中模糊图像f、清晰图像x、辅助变量u的求解进行迭代更新，其中利用式(13)判断迭代结果是否收敛；

$\left\{\begin{array}{c}{y}^{k+1}\&LeftArrow;\arg {\min }_y{L}_A(x^k,y,u^k,{\mathrm{\&lambda;}}^k,{\mathrm{\&nu;}}^k),\\ x^{k+1}\&LeftArrow;{\mathrm{argmin}}_x{L}_A(x,y^{k+1},u^k,{\mathrm{\&lambda;}}^k,{\mathrm{\&nu;}}^k),\\ u^{k+1}\&LeftArrow;{\mathrm{argmin}}_u{L}_A(x^{k+1},y^{k+1},u,{\mathrm{\&lambda;}}^k,{\mathrm{\&nu;}}^k).\end{array}\right.---\left(11\right)$

其中，λ^k，ν^k分别表示第k-1次迭代后更新的λ和ν，k为迭代控制变量；y^k+1、x^k+1、u^k+1表示第k次迭代后y、x、u的结果；

$\{\begin{array}{c}{\mathrm{\&lambda;}}^{k+1}={\mathrm{\&lambda;}}^k-{\mathrm{\&beta;}}_1\mathrm{\&gamma;}({\mathrm{Dx}}^{k+1}-y^{k+1})\\ {\mathrm{\&nu;}}^{k+1}={\mathrm{\&nu;}}^k-{\mathrm{\&beta;}}_2\mathrm{\&gamma;}(x^{k+1}-u^{k+!})\end{array}---\left(12\right)$

式(12)中，γ是常数，γ的取值范围为(0，2)；

收敛条件为： $\frac{\left|\right|x^{k+1}-x^k\left|\right|}{\max \left\{\right|\left|x^k\right||,1\}}<\mathrm{\&delta;}---\left(13\right)$

其中，δ为正常数，取值为{10^-4,10^-3,10^-2}；

迭代更新至满足收敛条件，输出去模糊图像x^k即为清晰图像x。