CN108198149B - 一种图像去模糊方法 - Google Patents

一种图像去模糊方法 Download PDF

Info

Publication number
CN108198149B
CN108198149B CN201810066682.4A CN201810066682A CN108198149B CN 108198149 B CN108198149 B CN 108198149B CN 201810066682 A CN201810066682 A CN 201810066682A CN 108198149 B CN108198149 B CN 108198149B
Authority
CN
China
Prior art keywords
image
variable
follows
objective function
formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810066682.4A
Other languages
English (en)
Other versions
CN108198149A (zh
Inventor
陈颖频
林凡
程祝媛
李曙
彭真明
闫敬文
陈育群
喻飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Minnan Normal University
Original Assignee
Minnan Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Minnan Normal University filed Critical Minnan Normal University
Priority to CN201810066682.4A priority Critical patent/CN108198149B/zh
Publication of CN108198149A publication Critical patent/CN108198149A/zh
Application granted granted Critical
Publication of CN108198149B publication Critical patent/CN108198149B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20056Discrete and fast Fourier transform, [DFT, FFT]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种图像去模糊方法,具体的为一种基于四方向交叠组技术全变分图像去模糊方法。将每个像素点在每个方向上的梯度加以组合,形成非分离式组合梯度,从而进一步提高平滑区域与边缘区域的差异性,提高图像重构的质量。为了提高图像复原的运算速度,我们将图像的横向、纵向差分矩阵运算建模为卷积操作,结合周期性边界条件,从而将二维快速傅里叶变换巧妙应用到图像复原问题中,利用频域上的点乘操作代替空域上大型矩阵运算。

Description

一种图像去模糊方法
技术领域
本发明涉及图像处理领域,尤其涉及一种图像去模糊方法。
背景技术
随着科技的发展和时代的进步,图像处理技术已经得到了蓬勃的发展,在众多的科学领域包括医学、军事、通信、地理等都得到了广泛的应用,时至今日,图像处理技术的发展可谓是日新月异、一日千里,因此在图像的质量上的需求也越来越高。
由于环境和图像传输等各方面的影响,图像在采集和传输的过程中必然会收到不同程度噪声的污染,噪声的存在不仅严重降低了图像的视觉质量与效果,而且还对图像处理的后续工作的展开造成不利的影响。
传统的图像去模糊方法通常采用横竖方向的各向异性全变分方法,存在较为严重的阶梯效应,对图像重构质量造成不良影响。TV(Total Variation,TV) 变换被广泛应用到图像去噪,图像去模糊等图像复原问题中。该模型是Rudin 等人于1992年在Physica D刊物上发表了题为“Nonlinear total variation based noise removal algorithms”的论文中首次提出的,该模型能较好地重构图像。然而,在一阶TV模型中存在两个突出问题,第一个问题,TV模型假设图像是分片光滑的,TV去噪模型在保持图像边缘方面具有非常明显的优势,但是也容易带来阶梯效应。第二个问题,传统TV模型中仅仅考虑了横纵两个方向的梯度信息,并没有充分将每个点的邻域梯度信息利用起来。
发明内容
为了解决上述问题,本发明旨在提供一种图像去模糊方法,将一种新的去模糊模型应用在自然图像去模糊中,并使用交替方向乘子法(Alternating Direction Method ofMultipliers,ADMM)进行求解,同时为提高图像去噪效率,在交替方向乘子法中引入快速傅里叶变换(Fast Fourier Transform,FFT),将图像域图像差分操作变换到频域,这样可以有效避免大矩阵相乘运算。
具体方案如下:
1.一种图像去模糊方法,包括以下步骤:
S1:输入观察图像;
S2:对图像模型进行初始化设定,设定参数:停止阈值tol、二次惩罚项的惩罚系数β、学习率系数γ、迭代次数阈值Nit、迭代次数n=0、循环次数k=0,设定
S3:将参数代入求解图像模型公式:
S4:对于图像模型公式内的Zi子问题,固定变量F(k+1)得出Zi的子目标函数为:
根据优化最小化算法得出子目标函数的迭代表达式为:
根据迭代次数阈值Nit将上述子目标函数的迭代表达式进行Nit次迭代后,将迭代表达式转化为矩阵形式,即:
其中mat表示将列向量转化为矩阵的算子
求解上述迭代表达式的矩阵形式公式;
S5:对于图像模型公式内的子问题,求解其子目标函数利用梯度上升法得到的公式:
S6:判断是否满足:如果满足,进入S7,如果不满足,设定k=k+1,返回S3;
S7:输出恢复图像。
进一步的,步骤S2中设定参数tol=10-4、β=1、γ=1、Nit=10。
进一步的,步骤S3中所述图像模型公式的求解过程如下:
S31:根据传统各向异性TV去模糊模型得出交叠组稀疏全变分正则化去模糊问题的目标函数:
S32:将交叠组稀疏全变分正则化去模糊问题的目标函数修改为:
其中,
S33:利用交替方向乘子法对交叠组稀疏全变分正则化去模糊问题的目标函数进行求解,得出图像模型公式。
进一步的,步骤S32中的目标函数的参数设定如下:
K1=Kh,K2=Kv,K3=K45°,K4=K135°
则目标函数变为:
进一步的,步骤S33中所述求解过程包括:
S331:进行分裂变量替换,设定:
则目标函数变为:
s.t.
S332:引入分裂变量的对偶变量与二次惩罚项,则目标函数变为:
S333:对目标函数进行二维傅里叶变换,得:
S334:对各个变量进行去耦合求解,对于子问题,先固定其他变量其子目标函数为:
其中符号表述点乘。
S335:对子目标函数进行求导,即
整理得:
解得图像模型公式为:
其中除号表示点除。
本发明采用如上技术方案,提出一种基于四方向交叠组技术全变分图像去模糊方法。本发明的方法既有效利用每个像素点的四个方向变分信息,提高了抗噪声的鲁棒性,又将每个像素的全变分梯度推广为组合梯度,从而提高平滑区域与边缘区域之间的差异性,从而利用这种方法提高对图像边缘的保护。此外,为了提高图像复原的运算速度,我们将图像的横向、纵向差分矩阵运算建模为卷积操作,结合周期性边界条件,从而将二维快速傅里叶变换巧妙应用到图像复原问题中,利用频域上的点乘操作代替空域上大型矩阵运算,从而使本发明的方法获得较快的处理速度。
附图说明
图1所示为本发明实施例一的流程示意图。
图2所示为本发明实施例一中的二维交叠组稀疏示意图。
图3所示为本发明实施例一中的四方向全变分正则项示意图。
图4所示为本发明实施例一中的恢复前的图像示意图。
图5所示为本发明实施例一中的恢复后的图像示意图。
具体实施方式
为进一步说明各实施例,本发明提供有附图。这些附图为本发明揭露内容的一部分,其主要用以说明实施例,并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容,本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。图中的组件并未按比例绘制,而类似的组件符号通常用来表示类似的组件。
现结合附图和具体实施方式对本发明进一步说明。
实施例一:
本发明实施例一提供了一种图像去模糊方法,如图1所示,其为本发明实施例一所述的图像去模糊方法的流程示意图,所述方法可包括以下步骤:
S1:输入观察图像。
如图4所示,图4(a)为原图像,图4(b)为模糊核,为图4(c)为被模糊的图像,图4(d)为被模糊并且加高斯噪声的图像,该实施例中所述观察图像为图4(c)的被模糊的图像,对其进行图像复原,尽量使输出的恢复图像逼近原图。
S2:对图像模型进行初始化设定,设定参数tol、β、γ、Nit、n=0、k=0,设定
其中,tol是停止阈值,该实施例中设定为tol=10-4。β表示二次惩罚项的惩罚系数,该实施例中设定为β=1。γ表示学习率系数,该实施例中设定为γ=1。Nit表示迭代次数阈值,该实施例中设定Nit=10,n表示迭代次数,k表示循环次数。
S3:将参数代入图像模型公式内:
所述图像模型公式的求解过程如下:
S31:根据传统各向异性TV去模糊模型得出交叠组稀疏全变分正则化去模糊问题的目标函数:
传统各向异性TV去模糊模型如下:
其中,G∈RN×N表示被模糊并高斯噪声污染的观测图像;F∈RN×N表示由去噪模型恢复出的图像;RATV(F)表示基于各向异性TV的稀疏约束项;μ是一个常数,用来衡量保真项与正则项之间的权重;H∈RN×N表示模糊核,符号*表示卷积。
传统各向异性TV(Anisotropic TV,ATV)定义如下:
RATV(F)=||Kh*F||1+||Kv*F||1 (4)
其中Kh=[-1,1],Kv=[-1;1]分别表示横向和纵向差分卷积算子。
交叠组稀疏全变分正则化去模糊问题的目标函数为:
其中用于求解组合梯度,的定义如下:
其中,K是组合值大小。其中,表示小于或等于x的最大整数值。
从(6)式中可以看到,组合梯度已经将像素点邻域的梯度信息充分考虑,以二范数的方式将这些邻域像素点的梯度信息进行重组,从而提高平滑区域与图像边缘区域之间的差异性。
如图2所示为二维交叠组稀疏示意图,图2(a)为被噪声污染的平滑区域,图2(b)为无噪声污染的边界区域,假设图2(a)表示图像的平滑区域的纵向梯度,且①、②两点被噪声重度污染。图2(b)表示图像中边缘区域的纵向梯度,且无噪声污染,③、④两个像素点表示边缘区域的像素梯度。图2中实心圈表示灰度值较低的像素点,空心圈表示灰度值较高的像素点,为方便讨论,我们假定实心圈区域的灰度值为0,空心圈区域的灰度值为1。图2(a)中,如果采用传统的TV去噪方法,由于①、②两个像素点的灰度值与边界处③、④两个像素点梯度值相当,这两点就非常容易被错误地判定为图像边缘并被保留下来,噪声就无法有效去除。在传统TV模型中,讨论的4个点具有完全相同的横向差分和纵向差分。无论阈值取多大,4个点梯度都将出现一致的变化规律。
注意到平滑区域中,连续几个点同时被高噪声污染的概率极小,可以利用这种结构相似性对噪声加以去除。显然,根据式(6)得到的①、②像素的组合梯度为而③、④两个像素的梯度则是此时,只要我们将阈值设定为①、②两个像素的噪声就能被很好地去除,与此同时,③、④两个像素的梯度则被收缩为图像边界被很好地保留下来。综上所述,通过交叠组合方式计算像素点梯度时,可以凸显平滑区域的高噪污染点与边界区域像素点的差异性,从而更加鲁棒地进行了去噪。
如图3所示,图3(a)为两方向全变分模型,图3(b)为四方向全变分模型,因为一个点被重噪声污染的概率远远高于周围四个点都被重噪声污染的概率,因此,考虑四个方向的梯度要比只考虑两个方向的梯度信息获得的重构图像效果更好。从图3(a)中可以看到,传统的二方向全变分模型只能最小化横向和纵向梯度,从而对横向和纵向上的图像噪声加以抑制。但是对45°方向和135°方向的噪声则无能为力。而四方向梯度约束则能压制45°方向和135°方向的噪声,从而提高图像复原的质量。
由于在四方向全变分模型中,每个方向的全变分依然采用分离式全变分的方式来压制噪声。根据前面对交叠组稀疏全变分的讨论,我们可以将每个像素点在每个方向上的梯度加以组合,形成非分离式组合梯度,从而进一步提高平滑区域与边缘区域的差异性,提高图像重构的质量。为此我们提出一种四方向交叠组稀疏全变分模型,充分挖掘四个方向的梯度信息,并将这四个方向的梯度信息加以组合,形成组合梯度。
S32:将交叠组稀疏全变分正则化去模糊问题的目标函数修改为:
其中,
该实施例中,为了方便讨论,设定:
K1=Kh,K2=Kv,K3=K45°,K4=K135°
则目标函数变为:
对比传统的ATV模型,可以发现ATV模型的两个重大弊端,第一,只考虑两个方向的梯度信息,第二,像素点之间的梯度信息并没有做组合,导致高噪声点和图像边缘很容易被混淆。而本发明提出的模型恰好从ATV模型中存在的两个问题出发,较好地解决了上述的两个问题。
S33:利用交替方向乘子法对交叠组稀疏全变分正则化去模糊问题的目标函数进行求解,得出图像模型公式。
所述求解过程包括:
S331:进行分裂变量替换,设定:
则目标函数变为:
S332:为求解式(10),需要引入分裂变量的对偶变量(即拉格朗日系数)与二次惩罚项,则目标函数变为,
S333:直接从空域求解式(11),要将目标函数中的卷积算子写成Toeplitz 矩阵形式,并且将G和F进行列化操作,导致涉及的矩阵规模为计算复杂度极高。为了解决这一问题,我们利用信号处理中的卷积定理对上述问题加以求解,我们将空域的目标函数先转化到频域中,在频域中对问题加以求解。我们对式(11)做二维傅里叶变换,得
S334:对各个变量进行去耦合求解,对于子问题,先固定其他变量其子目标函数为:
其中符号表述点乘。
S335:式(13)是一个凸问题且可导,令
整理得:
解得图像模型公式为:
其中除号表示点除。
S4:对于图像模型公式内的Zi子问题,固定变量F(k+1)则Zi的子目标函数为:
根据优化最小化算法(Majorization Minimization,MM),式(17)的MM 迭代表达式为,
其中表示的向量形式在第(k+1)次外循环,优化最小化算法内循环中第(n+1)次迭代的结果。的初始值,vec表示列向量化算子。
是一个方阵,其对角元素定位为:
设定好优化最小化算法的内迭代最大次数后,待优化最小化算法迭代结束,将转化为矩阵形式,即,
其中mat表示将列向量转化为矩阵的算子。
S5:对于子问题,其子目标函数为,
利用梯度上升法可得
S6:判断是否满足:如果满足,进入S7,如果不满足,设定k=k+1,返回S3。
S7:输出恢复图像。
如图5所示,图5(a)为使用传统ATV方法的恢复图像,图5(b)使用四方向ATV方法的恢复图像,为图5(c)为使用交叠组稀疏TV方法的恢复图像,图5 (d)为使用该实施例中的恢复图像,对比各种正则项计算得到的恢复图像,可以看到,ATV方法阶梯效应最为严重,四方向ATV方法中的阶梯效应依然存在,交叠组稀疏正则化方法的阶梯效应得到一定的缓解,而我们提出的方法恢复的图像则相对于其他方法的恢复图像更好,阶梯效应去除得更为明显。
本发明实施例一提出一种基于四方向交叠组技术全变分图像去模糊方法。本发明实施例一的方法既有效利用每个像素点的四个方向变分信息,提高了抗噪声的鲁棒性,又将每个像素的全变分梯度推广为组合梯度,从而提高平滑区域与边缘区域之间的差异性,从而利用这种方法提高对图像边缘的保护。此外,为了提高图像复原的运算速度,我们将图像的横向、纵向差分矩阵运算建模为卷积操作,结合周期性边界条件,从而将二维快速傅里叶变换巧妙应用到图像复原问题中,利用频域上的点乘操作代替空域上大型矩阵运算,从而使本发明实施例一的方法获得较快的处理速度。
尽管结合优选实施方案具体展示和介绍了本发明,但所属领域的技术人员应该明白,在不脱离所附权利要求书所限定的本发明的精神和范围内,在形式上和细节上可以对本发明做出各种变化,均为本发明的保护范围。

Claims (5)

1.一种图像去模糊方法,其特征在于:包括以下步骤:
S1:输入观察图像;
S2:对图像模型进行初始化设定,设定参数:停止阈值tol、二次惩罚项的惩罚系数β、学习率系数γ、迭代次数阈值Nit、迭代次数n=0、循环次数k=0,设定 其中,F(0)表示要恢复的图像的初始值,表示分裂变量的替代变量的初始值,表示分裂变量的对偶变量的初始值;
S3:将参数代入求解图像模型公式:
其中,G∈RN×N表示被模糊的观测图像;F∈RN×N表示恢复出的图像;RATV(F)表示基于各向异性TV的稀疏约束项;μ是一个常数,用来衡量保真项与正则项之间的权重;H∈RN×N表示模糊核,符号*表示卷积,Zi表示分裂变量的替代变量,表示分裂变量的对偶变量;
用于求解组合梯度,的定义如下:
其中,K是组合值大小, ,其中,表示小于或等于x的最大整数值;
S4:对于图像模型公式内的Zi子问题,固定变量F(k+1)得出Zi的子目标函数为:
根据优化最小化算法得出子目标函数的迭代表达式为:
其中,表示的向量形式在第(k+1)次外循环,优化最小化算法内循环中第(n+1)次迭代的结果,I表示单位矩阵,
是一个方阵,其对角元素定位为:
根据迭代次数阈值Nit将上述子目标函数的迭代表达式进行Nit次迭代后,将迭代表达式转化为矩阵形式,即:
其中mat表示将列向量转化为矩阵的算子
求解上述迭代表达式的矩阵形式公式;
S5:对于图像模型公式内的子问题,求解其子目标函数利用梯度上升法得到的公式:
S6:判断是否满足:如果满足,进入S7,如果不满足,设定k=k+1,返回S3;
S7:输出恢复图像。
2.根据权利要求1所述的图像去模糊方法,其特征在于:步骤S2中设定参数tol=10-4、β=1、γ=1、Nit=10。
3.根据权利要求1所述的图像去模糊方法,其特征在于:步骤S3中所述图像模型公式的求解过程如下:
S31:根据传统各向异性TV去模糊模型得出交叠组稀疏全变分正则化去模糊问题的目标函数:
S32:将交叠组稀疏全变分正则化去模糊问题的目标函数修改为:
其中,
S33:利用交替方向乘子法对交叠组稀疏全变分正则化去模糊问题的目标函数进行求解,得出图像模型公式。
4.根据权利要求3所述的图像去模糊方法,其特征在于:步骤S32中的目标函数的参数设定如下:
K1=Kh,K2=Kv,K3=K45,K4=K135
则目标函数变为:
5.根据权利要求3或4所述的图像去模糊方法,其特征在于:步骤S33中所述求解过程包括:
S331:进行分裂变量替换,设定:
则目标函数变为:
s.t.
S332:引入分裂变量的对偶变量与二次惩罚项,则目标函数变为:
S333:对目标函数进行二维傅里叶变换,得:
S334:对各个变量进行去耦合求解,对于子问题,先固定其他变量其子目标函数为:
其中符号表述点乘;
S335:对子目标函数进行求导,即
整理得:
解得图像模型公式为:
其中除号表示点除。
CN201810066682.4A 2018-01-24 2018-01-24 一种图像去模糊方法 Expired - Fee Related CN108198149B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810066682.4A CN108198149B (zh) 2018-01-24 2018-01-24 一种图像去模糊方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810066682.4A CN108198149B (zh) 2018-01-24 2018-01-24 一种图像去模糊方法

Publications (2)

Publication Number Publication Date
CN108198149A CN108198149A (zh) 2018-06-22
CN108198149B true CN108198149B (zh) 2019-01-29

Family

ID=62590531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810066682.4A Expired - Fee Related CN108198149B (zh) 2018-01-24 2018-01-24 一种图像去模糊方法

Country Status (1)

Country Link
CN (1) CN108198149B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109767404B (zh) * 2019-01-25 2023-03-31 重庆电子工程职业学院 一种椒盐噪声下红外图像去模糊方法
CN110084756B (zh) * 2019-04-15 2020-12-29 闽南师范大学 一种基于高阶交叠组稀疏全变分的图像去噪方法
CN113643203A (zh) * 2021-08-09 2021-11-12 上海海洋大学 一种图像模糊矩阵结构的辨识方法
CN113822813A (zh) * 2021-09-17 2021-12-21 南京信息工程大学 基于四方向交叠组合稀疏全变分的图像复原方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537620B (zh) * 2014-12-30 2017-04-12 华中科技大学 一种方向自适应图像去模糊方法
CN106485671A (zh) * 2016-09-10 2017-03-08 天津大学 基于边缘的多方向加权tv和自相似性约束图像去模糊方法
CN107133923B (zh) * 2017-03-02 2020-10-27 杭州电子科技大学 一种基于自适应梯度稀疏模型的模糊图像非盲去模糊方法

Also Published As

Publication number Publication date
CN108198149A (zh) 2018-06-22

Similar Documents

Publication Publication Date Title
CN108198149B (zh) 一种图像去模糊方法
CN108416750B (zh) 一种图像恢复方法
Xiao et al. Satellite video super-resolution via multiscale deformable convolution alignment and temporal grouping projection
CN110223242A (zh) 一种基于时空域残差生成对抗网络的视频湍流移除方法
CN107369134A (zh) 一种模糊图像的图像复原方法
Wen et al. Video super-resolution via a spatio-temporal alignment network
CN109472830A (zh) 一种基于无监督学习的单目视觉定位方法
CN104599242A (zh) 使用多尺度非局部正则的模糊核估计方法
CN110084756A (zh) 一种基于高阶交叠组稀疏全变分的图像去噪方法
CN111986108A (zh) 一种基于生成对抗网络的复杂海空场景图像去雾方法
CN104735360B (zh) 光场图像处理方法和装置
CN111161161B (zh) 一种颜色保持的特征融合去雾方法
CN101674397A (zh) 视频序列中划痕的修复方法
CN102024252B (zh) 基于矩阵秩最小化的恢复水下失真图像的重构方法
CN115358953B (zh) 一种基于图像配准和动态目标融合的去湍流方法
CN108257108A (zh) 一种超分辨率图像重建方法及系统
CN108171654A (zh) 带干扰抑制的汉字图像超分辨率重建方法
CN109658361A (zh) 一种顾及运动估计误差的运动场景超分辨率重建方法
CN113066027A (zh) 面向Raw域的屏摄图像摩尔纹去除方法
Sheng et al. SRNet: Sparse representation-based network for image denoising
Xie et al. An improved approach for visualizing dynamic vision sensor and its video denoising
Hesabi et al. Structure and texture image inpainting
CN102339460B (zh) 卫星图像自适应复原方法
Takahashi et al. Rank minimization approach to image inpainting using null space based alternating optimization
CN116703750A (zh) 基于边缘注意力和多阶微分损失的图像去雾方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190129

Termination date: 20210124