CN107590781B - 基于原始对偶算法的自适应加权tgv图像去模糊方法 - Google Patents

Abstract

本发明公开了一种基于原始对偶算法的自适应加权TGV图像去模糊方法，包括以下步骤：建立自适应加权TGV图像去模糊模型，基于原始‑对偶算法的对自适应加权TGV图像去模糊模型求解，根据步骤二得到的模型求解迭代公式，对观测图像进行处理，最终获得清晰图像。TGV能有效逼近任意阶多项式函数，能在去模糊的同时避免阶梯效应，可根据图像局部结构自适应调整权值，有效保持图像边缘并抑制噪声；同时，本发明基于原始‑对偶算法思想，推导基于原始对偶的自适应加权TGV去模糊迭代算法。实验结果表明，本发明提出的去模糊模型可获得高质量复原图像，所提出的求解算法收敛快，鲁棒性强。

Description

基于原始对偶算法的自适应加权TGV图像去模糊方法

技术领域

本发明属于计算机图像处理的领域，多用于图像或者视频去模糊等相关领域。

背景技术

图像去模糊一直是计算机视觉、图像处理领域的研究热点，因其具有前沿性、应用广等特点而备受关注。在众多去模糊方法中，全变差(Total Variation：TV)正则化因其较好的边缘保持能力被广泛用于图像去噪、图像去模糊等^[1][2]，但是传统的TV模型只考虑图像的一阶梯度特征，去模糊后的图像可能会出现噪声放大、平坦区阶梯效应明显等问题。另一方面，目前求解全变差(TV)正则化相关模型的诸多算法，存在收敛速度较慢、迭代过程复杂^[3][4][5]等问题，难以达到实时处理要求；很多基于全变差(TV)的改进模型，其求解更具挑战性。

[参考文献]

[1]Youwei Wen，Ng.M.K.，Yumei Huang.Efficient Total VariationMinimization Methods for Color Image Restoration[J].IEEE Transactions onImage Processing，2008，17(11)：2081–2088。

[2]Bras N.B.，Bioucas-Dias J.，Martins R.C.，Serra A.C..An AlternatingDirection Algorithm for Total Variation Reconstruction of DistributedParameters[J].IEEE Transactions onImageProcessing，2012，21(6)：3004-3016。

[3]Beck A，Teboulle M.A fast Iterative Shrinkage-ThresholdingAlgorithm with application to wavelet-based image deblurring[C]//IEEEInternational Conference on Acoustics，Speech and Signal Processing.IEEEComputer Society，2009：693-696。

[4]Wahlberg B，Boyd S，Annergren M，et al.An ADMM Algorithm for a Classof Total Variation Regularized Estimation Problems[M].2012。

[5]Goldstein T，Osher S.The Split Bregman Method for L1-RegularizedProblems[M].Society for Industrial and Applied Mathematics，2009。

[6]Bredies K，Kunisch K，Pock T.Total Generalized Variation[J].SiamJournal on Imaging Sciences，2010，3(3)：492-526.[7]Bredies K.Total GeneralizedVariation Regularization for Image Reconstruction[J].2013。

[7]Knoll F，Bredies K，Pock T，et al.Second order total generalizedvariation (TGV)for MRI[J].Magnetic Resonance in Medicine，2011，65(2)：480–491。

[8]Churchill R V.The Operational Calculus of Legendre Transforms[J].Journal of Mathematics&Physics，1954，33(1)：165–178。

[9]Chambolle A，Pock T.A First-Order Primal-Dual Algorithm for ConvexProblems with Applications to Imaging[J].Journal of Mathematical Imaging andVision，2011，40(1)：120-145。

[10]Tao M,Yang J.Alternating direction algorithms for total variationdeconvolution in image reconstruction[J].TR0918,2009。

[11]Zhang X，Burger M，Bresson X，et al.Bregmanized NonlocalRegularization for Deconvolution and Sparse Reconstruction.[J].Siam Journalon Imaging Sciences，2010，3(3)：253-276。

[12]Zhang J，Zhao D，Xiong R，et al.Image restoration using jointstatistical modeling in a space-transform domain.IEEE Transactions onCircuits and Systems for Video Technology，2014，24(6)：915～928。

发明内容

针对传统的TV模型只考虑图像的一阶梯度特征，造成噪声放大、平坦区阶梯效应明显等问题，本发明提出一种自适应加权广义总变差(Total Generalized Variation：TGV)去模糊方法。TGV能有效逼近任意阶多项式函数，能在去模糊的同时避免阶梯效应，可根据图像局部结构自适应调整权值，有效保持图像边缘并抑制噪声[⁶]；同时，本发明基于原始-对偶算法思想，推导基于原始对偶的自适应加权TGV(Primal-Dual algorithm forAdaptive Weighted TGV：PD-AWTGV)去模糊迭代算法。实验结果表明，本发明提出的去模糊模型可获得高质量复原图像，所提出的求解算法收敛快，鲁棒性强。

为了解决上述技术问题，本发明提出的一种基于原始对偶算法的自适应加权TGV图像去模糊方法，包括以下步骤：

步骤一、建立自适应加权TGV图像去模糊模型，

TGV图像去模糊模型表达式如下：

式(4)中，设

为N×N的清晰图像，

为模糊算子，

为模糊图像；第一项为TGV正则化项，第二项为数据保真项，β>0为正则化参数，||·||₂表示向量2范数；

对式(4)加入加权函数后得到自适应加权TGV图像去模糊模型，表达如下：

式(5)中，设Ω∈R²是一个开区间，u:Ω→R是定义在该开区间上的函数；BD(Ω)表示有界扭曲的向量场空间；X表示u所在的向量空间；ω∈C²(Ω，Sym²(R²))，Sym²(R²)表示二阶对称张量空间，C²(Ω，Sym²(R²))是紧支撑对称向量空间；α₀,α₁均为权重参数，α₀＝0.001，α₁＝1；ε是对称散度算子，

||·||_∞表示向量的∞范数；w(x)为加权函数：

式(6)中，δ≥0为对比因子。

步骤二、基于原始-对偶算法的对自适应加权TGV图像去模糊模型求解

根据Lengendre-Fenchel变换，式(5)中：

式(11)和式(12)中，p∈P，q∈Q分别为u和ω的，凸集P、Q分别为：

P＝{p＝(p₁,p₂)^T||p(x)|x≤α₁w(x)} (13)

Q＝{q＝(q₁,q₂,q₃,q₄)^T|||q(x)||_∞≤α₀} (14)

式(13)和式(14)中，p₁,p₂均为对偶变量p的列向量，q₁,q₂,q₃,q₄均为对偶变量q的列向量，T是矩阵转置；

将式(11)和式(12)带入式(5)，得到(5)的对偶形式：

式(15)中，

根据梯度下降算法，求解式(15)，得到模型求解迭代公式，包括：

式(24)至式(29)中，

为对称梯度算子ε的负共轭，

div为梯度算子

的负共轭，

σ_p,σ_q,τ_ω,τ_u,θ均为迭代步长参数，I为单位向量，

式(24)和式(25)中的投影运算proj_P和proj_Q如下：

在上述投影运算过程中，采用迭代重加权，让函数w^k(x)中的u取上一次迭代所得的u^k，加权函数的迭代公式为：

步骤三、根据步骤二得到的模型求解迭代公式，对观测图像g进行处理，最终获得清晰图像u；包括：

输入：观测图像g和该观测图像g的模糊算子A；

初始化：包括，设置迭代的误差阈值和最大迭代次数，

p⁰＝0，q⁰＝0，σ_p，σ_q，τ_ω，τ_u，β>0，α₀＝0.001，α₁＝1，θ＝1；

迭代求解：利用模型求解迭代公式(24)(25)(26)(27)(28)(29)对观测图像g进行处理，当迭代误差

小于或等于设置的误差阈值，或迭代次数达到设置的最大迭代次数时，停止迭代，此时输出的图像即为去模糊的清晰图像u。

与现有技术相比，本发明的有益效果是：

(1)客观指标对比

将本发明提出的基于原始对偶算法的加权TGV图像去模糊方法(PD-AWTGV)和目前性能较好的去模糊方法进行比较，其中包括快速全变差正则化反卷积(Fast TotalVariation regularized Deconvolution:FTVD)模型^[10]、非局部正则化全变差(TotalVariation and Non-Local regularized:TV-NLR)模型^[11]、联合统计模型(Joint-Statistical Model:JSM)^[12]等。

其中，JSM和TV-NLR在TV模型的基础上添加了不同的非局部自相似性约束，能更好描述图像的先验信息，因此，这两种去模糊方法优于传统TV模型。对于JSM和TV-NLR，在大多数情况下，JSM都比TV-NLR取得更高的PSNR值。本发明提出的自适应加权TGV模型，能够有效描述自然图像的局部平滑性，同时可自适应调整局部扩散程度，有效保持边缘并抑制噪声。表1给出了四种算法图像去模糊前后的PSNR(dB)值。通过对比可知，本发明算法取得最高的PSNR值。与JSM相比，PSNR值提升2～10dB。另一方面，基于原始-对偶的求解算法，大大提高了模型求解的效率，在时间复杂度上也远远优于其它算法。表2给出了四种算法运算时间(s)复杂度对比。

表1四种算法去模糊图像PSNR值对比(单位：dB)

表2四种算法时间复杂度对比(单位：s)

(2)主观效果对比：

图1-图9(d)给出本发明的图像去模糊方法和FTVD、JSM、TV-NLR去模糊的主观效果。图1、图4和图7分别为Barbara、House和Lena分别在均匀模糊(9x9)、高斯模糊('gaussian'，25，1.6)和运动模糊('motion'，20，45)，并叠加标准差σ＝0.005的高斯白噪声下得到相应的模糊图像。图2(a)-图2(d)分别给出了FTVD、TV-NLR、JSM和本发明提出的PD-AWTGV对图1(Barbara)去模糊后的效果图，图3(a)-图3(d)分别是图2(a)-图2(d)中的局部放大图。图5(a)-图5(d)分别给出了FTVD、TV-NLR、JSM以及本发明提出的PD-AWTGV对图4(House)去模糊后的效果，图6(a)-图6(d)分别是图5(a)-图5(d)中的局部放大图。图8(a)-图8(d)分别给出了FTVD、TV-NLR、JSM以及本发明提出的PD-AWTGV对图7(Lena)去模糊后的效果图，图9(a)-图9(d)分别是图8(a)-图8(d)中的局部放大图。

可以看出，FTVD方法对平滑区域恢复效果不错，但易造成阶梯效应，并丢失边缘和细节信息。JSM和TV-NLR算法优于传统TV模型，其重构边缘更加锐利，可恢复更多细节。但TV-NLR容易产生伪边缘；JSM纹理恢复性能较差，导致恢复结果模糊(参见图3(c)中的围巾部分)。本发明提出的PD-AWTGV方法恢复的图像视觉效果理想，在保证图像局部光滑性的同时，能更好地保持图像边缘，恢复更多纹理信息，且对噪声更加鲁棒。

附图说明

图1是模糊图像1；

图2(a)是利用FTVD方法对图1去模糊的效果图；

图2(b)是利用TV-NLR方法对图1去模糊的效果图；

图2(c)是利用JSM方法对图1去模糊的效果图；

图2(d)是利用PD-AWTGV方法对图1去模糊的效果图；

图3(a)是图2(a)中的局部放大图；

图3(b)是图2(b)中的局部放大图；

图3(c)是图2(c)中的局部放大图；

图3(d)是图2(d)中的局部放大图；

图4是模糊图像2；

图5(a)是利用FTVD方法对图4去模糊的效果图；

图5(b)是利用TV-NLR方法对图4去模糊的效果图；

图5(c)是利用JSM方法对图4去模糊的效果图；

图5(d)是利用PD-AWTGV方法对图4去模糊的效果图；

图6(a)是图5(a)中的局部放大图；

图6(b)是图5(b)中的局部放大图；

图6(c)是图5(c)中的局部放大图；

图6(d)是图5(d)中的局部放大图；

图7是模糊图像3；

图8(a)是利用FTVD方法对图7去模糊的效果图；

图8(b)是利用TV-NLR方法对图7去模糊的效果图；

图8(c)是利用JSM方法对图7去模糊的效果图；

图8(d)是利用PD-AWTGV方法对图7去模糊的效果图；

图9(a)是图8(a)中的局部放大图；

图9(b)是图8(b)中的局部放大图；

图9(c)是图8(c)中的局部放大图；

图9(d)是图8(d)中的局部放大图。

具体实施方式

下面结合附图和具体实施例对本发明技术方案作进一步详细描述，所描述的具体实施例仅对本发明进行解释说明，并不用以限制本发明。

本发明提出的一种基于原始对偶算法的自适应加权TGV图像去模糊方法，包括以下步骤：

步骤一、建立自适应加权TGV图像去模糊模型

(1)TV正则化去模糊模型

设

为清晰N×N图像，

为模糊算子，

为观测到的模糊图像。TV正则化图像复原模型可表示为：

式(1)中，

分别表示水平和垂直差分算子；第一项为TV正则化项，第二项为数据保真项；β>0为正则化参数。||·||₁和||·||₂分别表示向量1范数和向量2范数。

(2)二阶TGV

TGV(Total generalized variation，TGV)是Kristian等提出的一种总广义变分。TGV能够有效逼近任意阶的多项式函数，同时具有旋转不变性、凸性及下半连续等优良性质。理论分析和实验结果表明，TGV作为正则项进行建模时能够避免阶梯^[7]。设Ω∈R²是一个开区间，x:Ω→R是定义在这个区域上的函数，则二阶TGV定义为：

其中C²(Ω，Sym²(R²))是紧支撑对称向量空间，Sym²(R²)表示二阶对称张量空间，X表示u所在的向量空间。α₀,α₁为权重参数，ε是对称散度算子，有

||·||_∞表示向量的∞范数。根据Lengendre-Fenchel对偶理论[8]，式(2)等价于：

其中BD(Ω)表示有界扭曲的向量场空间。

(3)自适应加权TGV图像去模糊模型

为了克服TV模型的不足，将TGV代替TV项，即可构建TGV去模糊模型：

进一步，为了更好的恢复图像边缘和细小结构，本发明引入权值函数，使其能够根据局部结构自适应调整权值大小，提出基于自适应加权TGV的去模糊模型：

w(x)定义为：

其中δ≥0为对比因子，用于判断当前像素属于平滑区还是边缘结构。对于给定的δ值，当分母

较大时，即对应图像的边缘，则w(x)取值变小，扩散较弱，因此，边缘能够被较好的保持；当分母

较小时，即对应图像的平坦区域，则w(x)趋近于1，扩散较强，因此，噪声被有效去除。因此，自适应加权函数能够根据不同的区域自适应控制扩散强度，能够去模糊同时更加有效保护边缘，抑制噪声。

步骤二、利用原始-对偶算法对自适应加权TGV图像去模糊模型求。

(1)原始-对偶算法

原始-对偶算法是近几年提出的一种最优化算法^[9]，因其高效的迭代方式备受关注，已广泛用于图像处理领域。

令X、Y为有限维实向量空间，其中映射K：X→Y为连续线性算子：

||K||＝max{||Kx||:x∈X,||x||≤1} (7)

考虑一般的无约束优化问题：

根据Lengendre-Fenchel变换，可将式(9)转换为下面的对偶形式

得到原始-对偶模型为：

其中G:X→[0,+∞]，F^*:Y→[0,+∞]为凸下半连续函数，F^*是F的凸共轭函数。

(2)基于原始-对偶算法的模型求解

根据Lengendre-Fenchel变换，式(5)中：

式(11)和式(12)中，p∈P，q∈Q分别为u和ω的对偶变量，凸集P、Q分别为：

P＝{p＝(p₁,p₂)^T||p(x)|x≤α₁w(x)} (13)

Q＝{q＝(q₁,q₂,q₃,q₄)^T|||q(x)||_∞≤α₀} (14)

式(13)和式(14)中，p₁,p₂均为对偶变量p的列向量，q₁,q₂,q₃,q₄均为对偶变量q的列向量，T是矩阵转置；

将式(11)和式(12)带入式(5)，得到(5)的对偶形式：

式(15)中，

根据梯度下降算法，求解式(15)，首先分别求出E(u,ω,p,q)关于p，q，ω，u的偏导数。

对p求偏导：

得到：

对q求偏导数：

得到：

对ω求偏导数：

得到：

其中

为对称梯度算子ε的负共轭，有

对u求偏导数：

得到：

其中div为梯度算子

的负共轭，有

最终得到模型求解迭代公式，包括：

式(24)至式(29)中，

为对称梯度算子ε的负共轭，

div为梯度算子

的负共轭，

σ_p,σ_q,τ_ω,τ_u,θ均为迭代步长参数，I为单位向量，

式(24)和式(25)中的投影运算proj_P和proj_Q如下：

在上述投影运算过程中，采用迭代重加权，让函数w^k(x)中的u取上一次迭代所得的u^k，加权函数的迭代公式为：

步骤三、根据步骤二得到的模型求解迭代公式，对观测图像g进行处理，最终获得清晰图像u；包括：

输入：观测图像g和该观测图像g的模糊算子A；

初始化：包括，设置迭代的误差阈值和最大迭代次数，

p⁰＝0，q⁰＝0，σ_p，σ_q，τ_ω，τ_u，β>0，α₀＝0.001，α₁＝1，θ＝1；

迭代求解：利用模型求解迭代公式(24)(25)(26)(27)(28)(29)对观测图像进行处理，当迭代误差小于或等于设置的误差阈值，或迭代次数达到设置的最大迭代次数时，停止迭代，此时输出的图像即为去模糊的清晰图像。尽管上面结合附图对本发明进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨的情况下，还可以做出很多变形，这些均属于本发明的保护之内。

Claims (1)

1.一种基于原始对偶算法的自适应加权TGV图像去模糊方法，其特征在于，包括以下步骤：

步骤一、建立自适应加权TGV图像去模糊模型，

TGV图像去模糊模型表达式如下：

式(4)中，设

为N×N的清晰图像，

为模糊算子，

为模糊图像；第一项为TGV正则化项，第二项为数据保真项，β＞0为正则化参数，||·||₂表示向量2范数；

对式(4)加入加权函数后得到自适应加权TGV图像去模糊模型，表达如下：

式(5)中，设Ω∈R²是一个开区间，u:Ω→R是定义在该开区间上的函数；BD(Ω)表示有界扭曲的向量场空间；X表示u所在的向量空间；▽u表示图像的梯度，其中，▽表示梯度算子，u表示清晰图像；ω∈C²(Ω，Sym²(R²))，Sym²(R²)表示二阶对称张量空间，C²(Ω，Sym²(R²))是紧支撑对称向量空间；α₀,α₁均为权重参数，α₀＝0.001，α₁＝1；ε是对称散度算子，

||·||_∞表示向量的∞范数；w(x)为加权函数：

式(6)中，δ≥0为对比因子；

步骤二、基于原始-对偶算法的对自适应加权TGV图像去模糊模型求解

根据Lengendre-Fenchel变换，式(5)中：

式(11)和式(12)中，p∈P，q∈Q分别为u和ω的对偶变量，凸集P、Q分别为：

P＝{p＝(p₁,p₂)^T||p(x)|x≤α₁w(x)} (13)

Q＝{q＝(q₁,q₂,q₃,q₄)^T|||q(x)||_∞≤α₀} (14)

式(13)和式(14)中，p₁,p₂均为对偶变量p的列向量，q₁,q₂,q₃,q₄均为对偶变量q的列向量，^T是矩阵转置；

将式(11)和式(12)带入式(5)，得到(5)的对偶形式：

式(15)中，

根据梯度下降算法，求解式(15)，得到模型求解迭代公式，包括：

式(24)至式(29)中，k表示求解迭代次数，

为对称梯度算子ε的负共轭，

div为梯度算子▽的负共轭，div＝-▽_*；σ_p,σ_q,τ_ω,τ_u,θ均为迭代步长参数，ω表示定义在BD(Ω)上的函数，

表示第k次求解过程中变量ω的共轭，

表示第k次求解过程中变量u的共轭的梯度；I为单位向量，

式(24)和式(25)中的投影运算proj_P和proj_Q如下：

在上述投影运算过程中，采用迭代重加权，让函数w^k(x)中的u取上一次迭代所得的u^k，加权函数的迭代公式为：

步骤三、根据步骤二得到的模型求解迭代公式，对观测图像g进行处理，最终获得清晰图像u；包括：

输入：观测图像g和该观测图像g的模糊算子A；

初始化：包括，设置迭代的误差阈值和最大迭代次数，

p⁰＝0，q⁰＝0，σ_p，σ_q，τ_ω，τ_u，β＞0，α₀＝0.001，α₁＝1，θ＝1；

迭代求解：利用模型求解迭代公式(24)(25)(26)(27)(28)(29)对观测图像g进行处理，当迭代误差

小于或等于设置的误差阈值，或迭代次数达到设置的最大迭代次数时，停止迭代，此时输出的图像即为去模糊的清晰图像u。

Images