CN106485671A - 基于边缘的多方向加权tv和自相似性约束图像去模糊方法 - Google Patents
基于边缘的多方向加权tv和自相似性约束图像去模糊方法 Download PDFInfo
- Publication number
- CN106485671A CN106485671A CN201610813768.XA CN201610813768A CN106485671A CN 106485671 A CN106485671 A CN 106485671A CN 201610813768 A CN201610813768 A CN 201610813768A CN 106485671 A CN106485671 A CN 106485671A
- Authority
- CN
- China
- Prior art keywords
- formula
- image
- theta
- beta
- lambda
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000001514 detection method Methods 0.000 claims abstract description 15
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 5
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 230000003416 augmentation Effects 0.000 claims description 3
- 230000008602 contraction Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 8
- 239000011159 matrix material Substances 0.000 abstract description 6
- 239000000463 material Substances 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 6
- 238000011084 recovery Methods 0.000 description 3
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于边缘的多方向加权TV和自相似性约束图像去模糊方法,利用边缘检测对传统TV模型进行改进,并结合图像的变换域自相似性。首先,运用边缘检测将中心像素邻域内的像素对划分为同侧像素对和异侧像素对,对不同类型的像素采用不同的权重,得到多方向加权TV算法,在去模糊的同时尽可能保持图像的细节信息;其次,将变换域自相似性正则化项融入到TV模型,克服了传统非局部正则化依赖非局部权重矩阵的局限性,能够更精确的描述图像的纹理和结构的自相似性,进一步改善图像去模糊的视觉效果。本发明算法在去模糊改善视觉效果的同时不仅更好地保留了图像边缘信息和重要细节,且提高了图像的峰值信噪比等客观指标。
Description
技术领域
本发明属于计算机图像处理的领域,多用于图像或者视频去模糊等相关领域。
背景技术
图像去模糊一直是计算机视觉、图像处理领域的热点,因其具有前沿性、应用广等特点而备受关注。在众多去模糊方法中,全变差(TV)正则化因其较好的边缘保持能力被广泛应用于图像去噪、图像去模糊等[1,2],但是其细节和纹理恢复能力有限。
另一方面,传统的TV模型只考虑图像的局部特征,并没有利用图像中结构相似的全局图像块信息,即图像的非局部自相似性[1],对图像先验信息的表达能力不足。现有方法将空域非局部自相似性融入去模糊模型[5],但空域权重矩阵容易引入较大误差。
[参考文献]
[1]Zhang J,Liu S,Xiong R,et al.Improved total variation based imagecompressive sensing recovery by nonlocal regularization.In:Proceedings ofIEEE International Symposium on Circuits and Systems(ISCAS),Beijing,China:IEEEComputer Society Press,2013.6:2836~2839。
[2]Zhang J,Zhao D,Xiong R,et al.Image restoration using jointstatistical modeling in a space-transform domain.IEEE Transactions onCircuits and Systems for Video Technology,2014,24(6):915~928。
[3]Dabov K,Foi A,Katkovnik V,et al.Image denoising by sparse 3-Dtransform-domain collaborative filtering.IEEE Transactions on ImageProcessing,2007,16(8):2080~2095。
[4]Woiselle A,Starck J L,Fadili J.3-D data denoising and inpaintingwith the low-redundancy fast curvelet transform.Journal of MathematicalImaging and Vision,2011,39(2):121~139。
[5]Dabov K,Foi A,Katkovnik V,et al.Image restoration by sparse 3Dtransform-domain collaborative filtering.Proc.of SPIE Conference Series,2008.3。
[6]Zhang J,Zhao D,Xiong R,et al.Image restoration using jointstatistical modeling in a space-transform domain.IEEE Transactions onCircuits and Systems for Video Technology,2014,24(6):915~928。
[7]Bras N.B.,Bioucas-Dias J.,Martins R.C.,Serra A.C..An AlternatingDirection Algorithm for Total Variation Reconstruction of DistributedParameters[J].IEEE Transactions on ImageProcessing,2012,21(6):3004-3016。
发明内容
针对传统的TV模型细节保持能力有限的问题,基于边缘检测,提出了多方向加权TV;为了利用图像的非局部自相似性结构,克服空域权重矩阵带来的误差和噪声,将变换域非局部自相似性约束作为正则项融入图像去模糊模型,提出一种基于边缘的多方向加权TV和自相似性约束图像去模糊方法。
为了解决上述技术问题,本发明提出的一种基于边缘的多方向加权TV和自相似性约束图像去模糊方法,包括以下步骤:
步骤一、构建图像盲复原模型,包括:
1-1)构建加权TV去模糊模型:
式(1)中,x为清晰图像,K是非线性算子,f是模糊图像,μ是正则化参数,第一项是加权TV正则项,第二项是保真项;所述加权TV正则项的表达式为其中,g(x)为权值函数,取值范围为[0,1],并且满足g(0)=1,g(x)≥0,
1-2)构建融入边缘检测的各向异性离散多方向加权TV和三维稀疏变换域内的非局部自相似性约束项的去模糊模型:
式(2)中,τ和λ分别是控制参数,第一项为保真项;
式(2)中,第二项是融入边缘检测的各向异性离散多方向加权TV,在清晰图像x中,利用Canny边缘检测将中心像素8邻域内的像素对分为边缘同侧像素对和边缘异侧像素对,各向异性的离散加权TV定义为
式(3)中,求和范围为8邻域内所有α个像素对(i,j)~(k,l),gi为对应像素对的权值,若像素对在边缘异侧,令gi=0;否则令gi保持原始值;
式(2)中,第三项是三维稀疏变换域内的非局部自相似性约束项:
首先,将大小为N的清晰图像x分解为n个部分重叠的图像块hi,其中i=1,…,n,所述图像块hi的大小为b;
然后,对于每个图像块hi,在其搜索窗内,采用欧式距离寻找与该图像块hi最相似的C个图像块,令为包括C个最相似图像块的集合,搜索窗大小为L×L,即
其次,将包含的C个最相似图像块堆叠成三维矩阵,记为
最后,令T3D表示正交的三维变换算子,为三维矩阵的变换系数;令Θh表示清晰图像x所有变换系数的列向量,将根据词典顺序排列得出列向量Θh,列向量Θh的大小为P=b×C×n;从而得到基于三维稀疏变换域内的非局部自相似性约束项:
其中,正交三维变换算子T3D包括对三维矩阵中每个图像块进行二维离散余弦变换和对三维矩阵中各图像块对应位置像素构成的一维向量进行一维哈尔变换;
步骤二、采用ADM算法对式(2)表达的去模糊模型进行最优化求解,从而得到清晰图像x;
首先,引入辅助变量yi=Dix,u=x,因此,将式(2)转换为式(5):
s.t.yi=Dix,u=x (5)
其次,利用增广拉格朗日方程对式(5)进行展开:
式(6)中,β1,β2,μ分别是惩罚项的正则化参数,令λk,νk表示第k-1次迭代后更新的参数,式(6)的ADM算法迭代方程为
式(7)对应的迭代框架为
参数更新准则为
根据二维收缩方法求解,得到yk+1的闭合解
式(10)中,设0·(0/0)=0;
给定yk+1和uk,对于式(6)中关于x的求解方程:
利用最小二乘法对上式求解,得到关于x的闭合解
式(12)中,为全局一阶有限差分算子,式(12)的求解是:
首先,计算式(12)等式右边的向量,并进行前向傅里叶变换;然后,除以τDTD+(μ/β1)KTK+(β2/β1)I的特征值,得到F(xk+1),F(·)表示二维离散傅里叶变换;
最后,对F(xk+1)进行二维傅里叶反变换得到xk+1;
给定yk+1,xk+1,对于式(6)中关于u的求解方程:
式(13)中,α=λ/β2,e=u-r,r为u的含噪图像;对于任意第k次迭代,均存在
式(14)中,M为元素Θu的个数,将式(13)带入到式(14)得
式(15)中,每个元素Θu(j)根据阈值定理求得
其中,j=1,…,M;
关于u的闭合解为:
比较相邻两次迭代求得的图像,若满足则迭代停止,输出的图像即为清晰图像x,否则继续迭代。
与现有技术相比,本发明的有益效果是:
本发明通过对加权TV模型和自然图像非局部自相似性的深入研究,提出基于边缘检测的多方向加权TV和稀疏变换域非局部自相似性的图像去模糊模型(MWTV-TNR)。本发明中的去模糊模型有效的利用边缘检测克服了传统TV模型易产生阶梯效应的缺点,并结合基于三维稀疏变换域的非局部自相似性约束,克服了权重矩阵不能精确自然图像非局部自相似性的缺点,既能对图像有效进行去模糊,改善了视觉效果,同时能更好地恢复图像纹理细节和边缘。另一方面,通过改进基于ADM算法的最优化求解算法,能快速有效的求解MWTV-TNR去模糊模型,提高了PSNR。
附图说明
图1是中心像素(i,j)的8邻域示意图;
图2是自然图像的非局部相似性过程示意图;
图3(a)至图(e)是从局部随机样本中选取的Barbara的图像复原视觉效果;其中:
图3(a)是均匀模糊核hsize=9的随机样本对应的退化图像;
图3(b)给出了由传统TV模型对图3(a)的复原结果;
图3(c)给出了TV-NLR模型对图3(a)的复原结果;
图3(d)给出了JSM对图3(a)的复原结果;
图3(e)给出了本发明提出的WTV-TNR对图3(a)的图像恢复结果;
图4(a)是图3(b)局部放大图;
图4(b)是图3(c)局部放大图;
图4(c)是图3(d)局部放大图;
图4(d)是图3(e)局部放大图;
图5(a)给出了House的模糊图像,其模糊核的类型为Gaussian,加性高斯白噪声的标准差σ=0.5;
图5(b)给出了由传统TV模型对图5(a)的复原结果;
图5(c)给出了TV-NLR模型对图5(a)的复原结果;
图5(d)给出了JSM对图5(a)的复原结果;
图5(e)给出了本发明提出的WTV-TNR对图5(a)的图像恢复结果
图6(a)是图5(b)局部放大图;
图6(b)是图5(c)局部放大图;
图6(c)是图5(d)局部放大图;
图6(d)是图5(e)局部放大图;
图7(a)给出了Lena的模糊图像,模糊核的类型为Motion;
图7(b)给出了由传统TV模型对图7(a)的复原结果;
图7(c)给出了TV-NLR模型对图7(a)的复原结果;
图7(d)给出了JSM对图7(a)的复原结果;
图7(e)给出了本发明提出的WTV-TNR对图7(a)的图像恢复结果;
图8(a)是图7(b)局部放大图;
图8(b)是图7(c)局部放大图;
图8(c)是图7(d)局部放大图;
图8(d)是图7(e)局部放大图。
具体实施方式
下面结合附图和具体实施例对本发明技术方案作进一步详细描述,所描述的具体实施例仅对本发明进行解释说明,并不用以限制本发明。
传统加权TV(Weighted Total Variation,WTV)模型:
其中,权值gi的定义式为
式中,x为原始图像,f为模糊图像。其中,k为阈值参数,用于判断当前像素属于平滑区还是边缘结构。
在梯度较大的地方,权值gi取较小值,从而降低平滑程度,较好的保护边缘;在梯度小的地方,权值gi取较大值,从而可以实现强平滑,去除噪声。但传统的加权TV仅根据梯度幅值来确定加权系数,并未考虑图像的局部结构和方向信息,造成图像边缘和细节模糊。为了实现根据图像局部信息自适应调整权值,在平坦区域加大权值以抑制噪声,在边缘、纹理等区域根据局部方向自适应确定权值以保留更多的细节,因此,本发明所采用的去模糊模型融合了边缘检测的多方向加权TV,即利用Canny检测算子自适应调整多方向的TV系数。
非局部自相似性描述了自然图像在全局内的纹理或结构重复性,该先验有助于有效保持图像的边缘和纹理等细节特征。近些年来,一些学者通过对相似块进行三维变换[4]可实现很好的图像去噪效果。Dabov提出了著名的BM3D算法,可广泛的应用于图像去噪[3]和去模糊[5]。在上述工作基础上文献[6]提出利用相似块稀疏变换系数的统计特性来描述非局部自相似性。
综上,本发明考虑自然图像的局部平滑特性和非局部自相似性提出了一种基于边缘的多方向加权TV和自相似性约束图像去模糊方法,包括以下步骤:
步骤一、构建图像盲复原模型,包括:
1-1)构建加权TV去模糊模型:
式(1)中,x为清晰图像,K是非线性算子,f是模糊图像,μ是正则化参数,第一项是加权TV正则项,第二项是保真项;所述加权TV正则项的表达式为其中,g(x)为权值函数,取值范围为[0,1],并且满足g(0)=1,g(x)≥0,
1-2)构建融入边缘检测的各向异性离散多方向加权TV和三维稀疏变换域内的非局部自相似性约束项的去模糊模型:
式(2)中,τ和λ分别是控制参数,第一项为保真项;
式(2)中,第二项是融入边缘检测的各向异性离散多方向加权TV,在清晰图像x中,利用Canny边缘检测将中心像素8邻域内(如图1所示)的像素对分为边缘同侧像素对和边缘异侧像素对,对不同类型的像素对根据边缘检测结果施加不同的权重,对于清晰图像x,各向异性的离散加权TV定义为
式(3)中,求和范围为8邻域内所有α个像素对(i,j)~(k,l),权值要根据邻域的选取设为恰当的值。本发明方法中,gi为对应像素对的权值,若像素对在边缘异侧,令gi=0;否则令gi保持原始值;
式(2)中,第三项是三维稀疏变换域内的非局部自相似性约束项,根据文献[2]以及上述思路,如图2所示(C=5),本发明提出的三维稀疏变换域自相似性约束项,可通过以下得到:
首先,将大小为N的清晰图像x分解为n个部分重叠的图像块hi,其中i=1,…,n,所述图像块hi的大小为b;
然后,对于每个图像块hi(即实线图像块),在其搜索窗内(即虚线图像块),图像块之间的相似性准则采用欧式距离,即距离越小表示相似度越高。当前像素块与其搜索窗内图像块的欧式距离比给定阈值小时,则称该像素块与当前像素块相似。相似准则选取固定的参数,这样不仅简便,而且具有更强的鲁棒性。因此,为简单起见,计算图像块相似度的准则采用欧式距离,令为包括C个最相似图像块的集合,搜索窗大小为L×L,即
其次,将包含的C个最相似图像块堆叠成三维矩阵,记为
最后,令T3D表示正交的三维变换算子,为三维矩阵的变换系数;令Θh表示清晰图像x所有变换系数的列向量,将根据词典顺序排列得出列向量Θh,列向量Θh的大小为P=b×C×n;从而得到基于三维稀疏变换域内的非局部自相似性约束项:
其中,正交三维变换算子T3D包括对三维矩阵中每个图像块进行二维离散余弦变换和对三维矩阵中各图像块对应位置像素构成的一维向量进行一维哈尔变换;
图像块在三维变换域的稀疏性会远远高于二维图像块变换所得的稀疏性,这也使得,相比二维图像变换,对图像的三维变换能更好的减弱噪声,因此,添加变换域非局部自相似性约束能更好的对图像进行去模糊。
步骤二、采用ADM算法对式(2)表达的去模糊模型进行最优化求解,从而得到清晰图像x;
本发明通过将三维变换与ADM[7]算法结合起来,将复杂的多项最优化问题转换成具有闭合解的子问题。该算法不仅能有效求解,而且收敛速度快。
首先,引入辅助变量yi=Dix,u=x,因此,将式(2)转换为式(5):
s.t.yi=Dix,u=x (5)
其次,利用增广拉格朗日方程对式(5)进行展开:
式(6)中,β1,β2,μ分别是惩罚项的正则化参数,令λk,νk表示第k-1次迭代后更新的参数,式(6)的ADM算法迭代方程为
式(7)对应的迭代框架为
参数更新准则为
y的子问题根据二维收缩方法求解,可得到yk+1闭合解:
式(10)中,设0·(0/0)=0;
给定yk+1和uk,x的子问题等价于最小二乘问题,其求解方程:
利用最小二乘法对上式求解,得到关于x的闭合解
式(12)中,为全局一阶有限差分算子,式(12)的求解是:
首先,计算式(12)等式右边的向量,并进行前向傅里叶变换;然后,除以τDTD+(μ/β1)KTK+(β2/β1)I的特征值,得到F(xk+1),F(·)表示二维离散傅里叶变换;
最后,对F(xk+1)进行二维傅里叶反变换得到xk+1;
给定yk+1,xk+1,u的子问题可重写为:
式(13)中,α=λ/β2,e=u-r,r为u的含噪图像;对于任意第k次迭代,均存在
式(14)中,M为元素Θu的个数,将式(13)带入到式(14)得
式(15)中,每个元素Θu(j)根据阈值定理求得
其中,j=1,…,M;
关于u的闭合解为:
比较相邻两次迭代求得的图像,若满足则迭代停止,输出的图像即为清晰图像x,否则继续迭代。
下面给出本发明提出的用于图像去模糊中的WTV-TNR算法和已有的经典算法的对比实验数据。其中,对比算法包括传统全变差算法(TV)、基于非局部正则化的全变差模型(TV-NLR)、联合统计模型(JSM)。
其中,JSM和TV-NLR在TV模型的基础上添加了不同的非局部自相似性约束,能更好描述图像的先验信息,因此,这两种方法都比传统TV模型的复原能力强。对比JSM和TV-NLR的PSNR值可知,在大多数情况下,JSM都比TV-NLR复原结果的PSNR值高。本发明算法有效的结合了加权TV和变换域非局部自相似性约束,能够有效描述自然图像的局部平滑性和非局部自相似性,因此,具有极好的图像复原能力。通过对比四种算法的PSNR值可知,本发明的复原效果最佳,与JSM相比,PSNR值提升了0~2.5dB。
表1四种算法复原图像PSNR值对比
实验中给出了本发明图像去模糊方法和JSM、TV-NLR之间的效果图对比,图3为均匀模糊核hsize=9的情况下,从局部随机样本中选取的Barbara的图像复原视觉效果。图3(a)是均匀模糊核hsize=9的随机样本对应的退化图像。图3(b)是仅由传统TV模型取得的复原结果,其平滑区域恢复效果不错,但易造成阶梯效应,并丢失边缘和细节信息。图3(c)给出了TV-NLR模型的复原结果,图3(d)给出了JSM的复原结果。显而易见,JSM和TV-NLR算法比传统TV复原效果好,其重构结果的边缘更加锐利,能恢复更多细节。然而,TV-NLR虽然能恢复边缘和纹理结构,但容易产生伪边缘信息;JSM无法精确的恢复图像纹理,导致恢复结果都不太清晰(参见图3(d)中的围巾部分)。图3(e)给出了本发明提出的WTV-TNR的图像恢复结果。图4(a)至图4(d)分别是图3(b)至图3(e)对应的局部放大图。观察可知,图3(e)展现出最佳的视觉质量,不仅保留了图像局部光滑性,而且能清晰、精确地恢复图像的边缘和纹理,这充分证实了本发明提出的WTV-TNR与其他复原模型相比,具有极大的优势。总而言之,与传统的非局部正则化方法相比,本发明提出的基于变换域的非局部自相似性约束的优势是在3D稀疏变换域内,通过变换系数代替权重矩阵来描述图像的非局部自相似性,克服了传统非局部正则化依赖非局部权重矩阵的局限性。
图5(a)给出了House的模糊图像。模糊核的类型为Gaussian,加性高斯白噪声的标准差σ=0.5。图5(b)-(e)分别给出了TV、TV-NLR、JSM和本发明算法对House去模糊后的效果图。图6(a)至图6(d)分别是图5(b)至图5(e)对应的局部放大图。图7(a)给出了Lena的模糊图像,模糊核的类型为Motion。图7(b)-图7(e)分别给出了TV、TV-NLR、JSM和本发明算法对Lena去模糊后的效果图,其模糊类型是运动模糊。图8(a)至图8(d)分别是图7(b)至图7(e)对应的局部放大图。观测可知,TV模型虽然很好的复原了图像,但是容易在图像边缘和细节处,造成过度平滑;TV-NLR与TV相比,能更好的保留图像的边缘和纹理,但是在结构性比较明显的部位容易造成褶皱和伪边缘;JSM纹理不如TV-NLR恢复的好,但是整体视觉效果要比TV-NLR好;本发明提出的算法在WTV的基础上结合了基于变换域的非局部自相似性约束,较好的保持了图像的纹理和局部光滑性,并具有较好的视觉效果。
尽管上面结合图对本发明进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨的情况下,还可以作出很多变形,这些均属于本发明的保护之内。
Claims (1)
1.一种基于边缘的多方向加权TV和自相似性约束图像去模糊方法,其特征在于,包括以下步骤:
步骤一、构建图像盲复原模型,包括:
1-1)构建加权TV去模糊模型:
式(1)中,x为清晰图像,K是非线性算子,f是模糊图像,μ是正则化参数,第一项是加权TV正则项,第二项是保真项;所述加权TV正则项的表达式为其中,g(x)为权值函数,取值范围为[0,1],并且满足g(0)=1,g(x)≥0,
1-2)构建融入边缘检测的各向异性离散多方向加权TV和三维稀疏变换域内的非局部自相似性约束项的去模糊模型:
式(2)中,τ和λ分别是控制参数,第一项为保真项;
式(2)中,第二项是融入边缘检测的各向异性离散多方向加权TV,在清晰图像x中,利用Canny边缘检测将中心像素8邻域内的像素对分为边缘同侧像素对和边缘异侧像素对,各向异性的离散加权TV定义为
式(3)中,求和范围为8邻域内所有α个像素对(i,j)~(k,l),gi为对应像素对的权值,若像素对在边缘异侧,令gi=0;否则令gi保持原始值;
式(2)中,第三项是三维稀疏变换域内的非局部自相似性约束项:
首先,将大小为N的清晰图像x分解为n个部分重叠的图像块hi,其中i=1,…,n,所述图像块hi的大小为b;
然后,对于每个图像块hi,在其搜索窗内,采用欧式距离寻找与该图像块hi最相似的C个图像块,令为包括C个最相似图像块的集合,搜索窗大小为L×L,即
其次,将包含的C个最相似图像块堆叠成三维矩阵,记为
最后,令T3D表示正交的三维变换算子,为三维矩阵的变换系数;令Θh表示清晰图像x所有变换系数的列向量,将根据词典顺序排列得出列向量Θh,列向量Θh的大小为P=b×C×n;从而得到基于三维稀疏变换域内的非局部自相似性约束项:
其中,正交三维变换算子T3D包括对三维矩阵中每个图像块进行二维离散余弦变换和对三维矩阵中各图像块对应位置像素构成的一维向量进行一维哈尔变换;
步骤二、采用ADM算法对式(2)表达的去模糊模型进行最优化求解,从而得到清晰图像x;
首先,引入辅助变量yi=Dix,u=x,因此,将式(2)转换为式(5):
其次,利用增广拉格朗日方程对式(5)进行展开:
式(6)中,β1,β2,μ分别是惩罚项的正则化参数,令λk,νk表示第k-1次迭代后更新的参数,式(6)的ADM算法迭代方程为
式(7)对应的迭代框架为
参数更新准则为
根据二维收缩方法求解,得到yk+1的闭合解
式(10)中,设0·(0/0)=0;
给定yk+1和uk,对于式(6)中关于x的求解方程:
利用最小二乘法对上式求解,得到关于x的闭合解
式(12)中,为全局一阶有限差分算子,式(12)的求解是:
首先,计算式(12)等式右边的向量,并进行前向傅里叶变换;然后,除以τDTD+(μ/β1)KTK+(β2/β1)I的特征值,得到F(xk+1),F(·)表示二维离散傅里叶变换;
最后,对F(xk+1)进行二维傅里叶反变换得到xk+1;
给定yk+1,xk+1,对于式(6)中关于u的求解方程:
式(13)中,α=λ/β2,e=u-r,r为u的含噪图像;对于任意第k次迭代,均存在
式(14)中,M为元素Θu的个数,将式(13)带入到式(14)得
式(15)中,每个元素Θu(j)根据阈值定理求得
其中,j=1,…,M;
关于u的闭合解为:
比较相邻两次迭代求得的图像,若满足则迭代停止,输出的图像即为清晰图像x,否则继续迭代。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610813768.XA CN106485671A (zh) | 2016-09-10 | 2016-09-10 | 基于边缘的多方向加权tv和自相似性约束图像去模糊方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610813768.XA CN106485671A (zh) | 2016-09-10 | 2016-09-10 | 基于边缘的多方向加权tv和自相似性约束图像去模糊方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106485671A true CN106485671A (zh) | 2017-03-08 |
Family
ID=58273448
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610813768.XA Pending CN106485671A (zh) | 2016-09-10 | 2016-09-10 | 基于边缘的多方向加权tv和自相似性约束图像去模糊方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106485671A (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107492077A (zh) * | 2017-08-03 | 2017-12-19 | 四川长虹电器股份有限公司 | 基于自适应多方向总变分的图像去模糊方法 |
CN107680067A (zh) * | 2017-11-02 | 2018-02-09 | 北方工业大学 | 基于v系统的图像去模糊方法 |
CN107730466A (zh) * | 2017-10-11 | 2018-02-23 | 北京工业大学 | 基于结构自相似性和低秩矩阵表示的图像盲复原方法 |
CN108198149A (zh) * | 2018-01-24 | 2018-06-22 | 闽南师范大学 | 一种图像去模糊方法 |
CN108648162A (zh) * | 2018-05-16 | 2018-10-12 | 浙江大学 | 一种基于噪声水平的梯度相关tv因子图像去噪去模糊方法 |
CN110060220A (zh) * | 2019-04-26 | 2019-07-26 | 中国科学院长春光学精密机械与物理研究所 | 基于改进bm3d算法的图像去噪方法及系统 |
CN110298900A (zh) * | 2019-06-25 | 2019-10-01 | 中山大学 | 一种基于各向异性基函数建立spect重构的方法 |
CN111626945A (zh) * | 2020-04-23 | 2020-09-04 | 泰山学院 | 一种基于像素级自相似模型的深度图像修复方法 |
CN113034407A (zh) * | 2021-04-27 | 2021-06-25 | 深圳市慧鲤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN114723603A (zh) * | 2021-01-05 | 2022-07-08 | 北京小米移动软件有限公司 | 图像处理方法、图像处理装置及存储介质 |
CN115082333A (zh) * | 2022-05-16 | 2022-09-20 | 西北核技术研究所 | 基于归一化加权总变分法的图像去模糊方法、计算机程序产品 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105427259A (zh) * | 2015-11-26 | 2016-03-23 | 天津大学 | 多方向加权tv和非局部自相似性正则化图像去模糊方法 |
-
2016
- 2016-09-10 CN CN201610813768.XA patent/CN106485671A/zh active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105427259A (zh) * | 2015-11-26 | 2016-03-23 | 天津大学 | 多方向加权tv和非局部自相似性正则化图像去模糊方法 |
Non-Patent Citations (4)
Title |
---|
JIAN ZHANG 等: "Improved Total Variation based Image Compressive Sensing Recovery by Nonlocal Regularization", 《IEEE INTERNATIONAL SYMPOSIUM ON CIRCUIT & SYSTEMS》 * |
KOSTADIN DABOV 等: "Image restoration by sparse 3D transform-domain collaborative filtering", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
YILUN WANG等: "A New Alternating Minimization Algorithm for Total Variation Image Reconstruction", 《SOCIETY FOR INDUSTRIAL AND APPLIED MATHEMATICS》 * |
张健: "基于稀疏表示模型的图像复原技术研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107492077B (zh) * | 2017-08-03 | 2020-12-15 | 四川长虹电器股份有限公司 | 基于自适应多方向总变分的图像去模糊方法 |
CN107492077A (zh) * | 2017-08-03 | 2017-12-19 | 四川长虹电器股份有限公司 | 基于自适应多方向总变分的图像去模糊方法 |
CN107730466A (zh) * | 2017-10-11 | 2018-02-23 | 北京工业大学 | 基于结构自相似性和低秩矩阵表示的图像盲复原方法 |
CN107680067A (zh) * | 2017-11-02 | 2018-02-09 | 北方工业大学 | 基于v系统的图像去模糊方法 |
CN108198149A (zh) * | 2018-01-24 | 2018-06-22 | 闽南师范大学 | 一种图像去模糊方法 |
CN108648162A (zh) * | 2018-05-16 | 2018-10-12 | 浙江大学 | 一种基于噪声水平的梯度相关tv因子图像去噪去模糊方法 |
CN108648162B (zh) * | 2018-05-16 | 2021-07-09 | 浙江大学 | 一种基于噪声水平的梯度相关tv因子图像去噪去模糊方法 |
CN110060220A (zh) * | 2019-04-26 | 2019-07-26 | 中国科学院长春光学精密机械与物理研究所 | 基于改进bm3d算法的图像去噪方法及系统 |
CN110298900A (zh) * | 2019-06-25 | 2019-10-01 | 中山大学 | 一种基于各向异性基函数建立spect重构的方法 |
CN111626945A (zh) * | 2020-04-23 | 2020-09-04 | 泰山学院 | 一种基于像素级自相似模型的深度图像修复方法 |
CN111626945B (zh) * | 2020-04-23 | 2023-07-25 | 泰山学院 | 一种基于像素级自相似模型的深度图像修复方法 |
CN114723603A (zh) * | 2021-01-05 | 2022-07-08 | 北京小米移动软件有限公司 | 图像处理方法、图像处理装置及存储介质 |
CN113034407A (zh) * | 2021-04-27 | 2021-06-25 | 深圳市慧鲤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN113034407B (zh) * | 2021-04-27 | 2022-07-05 | 深圳市慧鲤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN115082333A (zh) * | 2022-05-16 | 2022-09-20 | 西北核技术研究所 | 基于归一化加权总变分法的图像去模糊方法、计算机程序产品 |
CN115082333B (zh) * | 2022-05-16 | 2024-08-20 | 西北核技术研究所 | 基于归一化加权总变分法的图像去模糊方法、计算机程序产品 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106485671A (zh) | 基于边缘的多方向加权tv和自相似性约束图像去模糊方法 | |
Qin et al. | Multi-scale feature fusion residual network for single image super-resolution | |
Zhang et al. | Image compressive sensing recovery via collaborative sparsity | |
CN106683067B (zh) | 一种基于残差子图像的深度学习超分辨率重建方法 | |
Zhang et al. | Image restoration using joint statistical modeling in a space-transform domain | |
Peleg et al. | A statistical prediction model based on sparse representations for single image super-resolution | |
CN111091503B (zh) | 基于深度学习的图像去失焦模糊方法 | |
Sun et al. | Lightweight image super-resolution via weighted multi-scale residual network | |
CN106600538A (zh) | 一种基于区域深度卷积神经网络的人脸超分辨率算法 | |
CN104008539B (zh) | 基于多尺度几何分析的图像超分辨率重建方法 | |
Cao et al. | Image Super-Resolution via Adaptive $\ell _ {p}(0< p< 1) $ Regularization and Sparse Representation | |
CN105046651B (zh) | 一种图像的超分辨率重构方法和装置 | |
CN104867111A (zh) | 一种基于分块模糊核集的非均匀视频盲去模糊方法 | |
CN111626927B (zh) | 采用视差约束的双目图像超分辨率方法、系统及装置 | |
CN102243711A (zh) | 一种基于邻域嵌套的图像超分辨率重建方法 | |
CN107123094A (zh) | 一种混合泊松、高斯和脉冲噪声的视频去噪方法 | |
CN106600533B (zh) | 单图像超分辨率重建方法 | |
Dinesh et al. | 3D point cloud color denoising using convex graph-signal smoothness priors | |
CN103745443B (zh) | 提高图像质量的方法和设备 | |
Zhang et al. | High-quality image restoration from partial random samples in spatial domain | |
Jia et al. | Dual-complementary convolution network for remote-sensing image denoising | |
Zhou et al. | Deep fractal residual network for fast and accurate single image super resolution | |
CN108550111B (zh) | 一种基于多级字典学习的残差实例回归超分辨重建方法 | |
CN108596831B (zh) | 一种基于AdaBoost实例回归的超分辨率重建方法 | |
Zhang et al. | Super-resolution image reconstruction via adaptive sparse representation and joint dictionary training |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170308 |
|
WD01 | Invention patent application deemed withdrawn after publication |