CN110766641B - 结合分数阶总变分和非凸总变分的模糊核估计方法及应用 - Google Patents
结合分数阶总变分和非凸总变分的模糊核估计方法及应用 Download PDFInfo
- Publication number
- CN110766641B CN110766641B CN201911084597.1A CN201911084597A CN110766641B CN 110766641 B CN110766641 B CN 110766641B CN 201911084597 A CN201911084597 A CN 201911084597A CN 110766641 B CN110766641 B CN 110766641B
- Authority
- CN
- China
- Prior art keywords
- image
- total variation
- fuzzy
- scale
- blur kernel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000005457 optimization Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000008602 contraction Effects 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种结合分数阶总变分和非凸总变分的模糊核估计方法及应用,所述估计方法包括:构造模糊核估计模型和多尺度图像金字塔,获取初始模糊图像,下采样至多尺度图像金字塔的底层,获得初始模糊核,所述多尺度图像金字塔中从底层到顶层尺度由粗到细变化;在所述多尺度图像金字塔中,基于所述模糊核估计模型、初始模糊图像和初始模糊核交替迭代获得估计模糊核和中间复原图像,直到顶级尺度,估计获得最终的模糊核;其中,获得中间复原图像时采用分数阶总变分和非凸总变分的结合作为正则化约束条件,获得估计模糊核时采用L1范式作为正则约束条件。与现有技术相比,本发明具有提高复原图像质量等优点。
Description
技术领域
本发明涉及图像复原技术领域,尤其是涉及一种结合分数阶总变分和非凸总变分的模糊核估计方法及应用。
背景技术
图像复原是图像处理领域的热点和难点问题之一,在医学成像、视频监控、手持拍摄、航空遥感等实际场景中,由于各种因素容易使得图像变得模糊。图像的模糊降质过程在数学上通常被建模为原始图像卷积模糊核,并叠加噪声。根据模糊核是否已知,图像复原问题常被分为非盲复原和盲复原。若模糊核已知,对图像进行复原处理,属于图像非盲复原范畴。而大多数实际应用中,模糊核往往是无法预先得知的,在这种情况下,为了获取原始的清晰图像,首先需要根据图像的先验知识估计出模糊核,然后再利用估计的模糊核进行图像去卷积得到最终的清晰图像,这也就是图像盲复原的过程。
由图像盲复原的过程可知,模糊核估计是首要的步骤,模糊核的准确性直接影响后续原始图像恢复的效果。目前常见的图像盲复原方法是选择能反映出自然图像和模糊核函数内在特性的先验知识构造分别约束图像和模糊核函数的正则项,将两者嵌入到统一的正则化框架下,形成能量变分最小化问题,进行优化地求解。目前方法主要存在图像先验知识选择不合理,以及单一正则项约束难以准确地刻画和表达自然图像内在特性等的缺陷,从而影响到模糊核的准确估计。
发明内容
本发明的目的在于克服上述现有技术存在的缺陷而提供一种结合分数阶总变分和非凸总变分的模糊核估计方法及应用,提高复原图像质量。
本发明的目的可以通过以下技术方案来实现:
一种结合分数阶总变分和非凸总变分的模糊核估计方法,包括以下步骤:
1)构造模糊核估计模型和多尺度图像金字塔,获取初始模糊图像,下采样至多尺度图像金字塔的底层,获得初始模糊核,所述多尺度图像金字塔中从底层到顶层尺度由粗到细变化;
2)在所述多尺度图像金字塔中,基于所述模糊核估计模型、初始模糊图像和初始模糊核交替迭代获得估计模糊核和中间复原图像,直到顶级尺度,估计获得最终的模糊核;
所述步骤2)中,获得中间复原图像时采用分数阶总变分和非凸总变分的结合作为正则化约束条件,获得估计模糊核时采用L1范式作为正则约束条件。
优选地,所述模糊核估计模型具体为:
优选地,所述步骤2)中,获得中间复原图像的具体过程包括:
1a)固定模糊核h,引入辅助变量ν=(νx,νy)、ω=(ωx,ωy),构建图像模型:
其中,p是收缩算子a=(ax,ay),b=(bx,by)是扩展拉格朗日乘子,γ1和γ2是正则化参数;
1b)采用交替方向法交替轮换地更新所述图像模型中的变量u,ν,ω。
优选地,所述步骤2)中,获得估计模糊核的具体过程包括:
2a)固定中间复原图像u,引入辅助变量τ,构建模糊核模型:
其中,c是拉格朗日乘子,γ3是正则化参数;
2b)采用交替方向法交替轮换地更新所述模糊核模型中的变量h,τ。
优选地,所述多尺度图像金字塔中,在每一尺度获得的估计模糊核和中间复原图像,经过插值放大后作为下一层的初始值,逐步迭代直到顶级尺度。
优选地,最终获得模糊核后,对所述模糊核进行优化处理,所述优化处理包括非负处理、连续性处理和归一化处理。
优选地,所述多尺度图像金字塔的层数计算公式为:
N=floor(log(5/hs)/log(sqrt(0.5)))+1
其中,N是图像金字塔的层数,hs是模糊核的尺寸。
本发明还提供一种图像复原方法,该方法采用所述的结合分数阶总变分和非凸总变分的模糊核估计方法估计获得模糊核,并基于所述模糊核获得最终的清晰图像。
优选地,基于所述模糊核采用基于拉普拉斯先验的快速去卷积算法恢复出最终的清晰图像。
与现有技术相比,本发明能够较为准确地估计出模糊图像的模糊核,并利用估计的模糊核将初始的模糊图像进行复原得到最终清晰的图像,解决降质图像模糊核估计问题,具有如下有益效果:
1)本发明在获得中间复原图像时,采用分数阶总变分和非凸总变分的结合作为正则化约束条件,起到镇压阶梯效应和避免边缘过平滑,同时保持边缘的作用。
2)本发明利用L1正则项作为模糊核的约束条件,使得估计模糊核足够稀疏性。
3)本发明在模糊核估计过程中应用了多尺度金字塔策略,由粗尺度到细尺度的逐层迭代直到顶级尺度,以保证模糊核函数估计的精确度和鲁棒性,以及对大尺寸模糊核函数的处理,从而得到最后的模糊核函数和中间复原图像。
4)本发明采用基于拉普拉斯先验的快速去卷积算法,利用估计出的模糊核函数快速地恢复出最终的清晰图像,同时良好地保护了复原图像的边缘信息。
附图说明
图1为本发明的流程示意图;
图2为本发明的框架示意图;
图3为本发明的一个优选实施例的模糊核由粗到细估计过程;
图4(a)和图4(b)为本发明一个优选实施例初始模糊图像和最终清晰图像;
图5(a)和图5(b)为本发明另一个优选实施例初始模糊图像和最终清晰图像。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
实施例1
如图1和图2所示,本发明提供一种结合分数阶总变分和非凸总变分的模糊核估计方法,包括以下步骤:
S1、根据自然图像和模糊核函数的基本特征构造模糊核估计模型,构建多尺度图像金字塔,获取初始模糊图像,下采样至多尺度图像金字塔的底层,获得初始模糊核,多尺度图像金字塔中从底层到顶层尺度由粗到细变化;
S2、根据模糊核估计模型,初始模糊图像和初始模糊核,采用分数阶总变分和非凸总变分两种模型作为正则化约束条件,得到中间复原图像;
S3、根据模糊核估计模型,初始模糊图像和初始模糊核,采用L1范式作为正则约束条件,得到估计模糊核;
S4、在所述多尺度图像金字塔中,由粗尺度到细尺度进行交替求解步骤S2和步骤S3,每一尺度估计出的模糊核和中间复原图像,经过插值放大后作为上一尺度的初始值,逐步迭代直到顶级尺度,得到最后的模糊核,图像金字塔的层数为指定迭代次数,如图3所示。
多尺度图像金字塔的层数计算公式为:
N=floor(log(5/hs)/log(sqrt(0.5)))+1
其中,N是图像金字塔的层数,hs是模糊核的尺寸。
该方法利用分数阶总变分在阶梯效应抑制和避免边缘过平滑方面的优势,结合非凸总变分对于边缘保持的特征,构造图像约束项;利用L1正则项作为模糊核的约束条件,使得估计模糊核足够稀疏性,将上述约束统一到正则化框架下,构造能量变分最小化方程,利用交替方向法进行优化求解。
步骤S1中的模糊核估计模型具体为:
对模糊核估计模型(1)进行求解,主要涉及到步骤S2的中间复原图像u和步骤S3的模糊核h两个未知量的求解,为了进行有效地计算,采用交替最小化的策略,将非约束的优化问题(1)转换成关于u和h的两个子问题进行交替迭代的求解:
其中,(2)式为中间复原图像求解子问题,即步骤S2;(3)式为模糊核求解子问题,即步骤S3。
对于步骤S2的子问题(2),采用分数阶总变分和非凸总变分作为正则化约束条件,引入辅助变量ν=(νx,νy),ω=(ωx,ωy),其中下标x和y分别表示水平方向和垂直方向,将图像模型变为:
其中,a=(ax,ay),b=(bx,by)是扩展拉格朗日乘子,γ1和γ2是正则化参数。采用交替方向法交替轮换地更新图像模型中的变量:
固定其它变量,交替轮换地更新每一个变量:固定辅助变量νi和ωi,求解中间复原图像ui+1;固定图像ui和辅助变量ωi,通过软阈值收缩函数求解νi+1;固定图像ui和辅助变量νi,通过p收缩算子更新ωi+1。
针对中间复原图像u的子问题求解,由于式(5)的目标函数是一个严格的凸二次函数最小化问题,其存在闭式的解。因此,对u求偏导并将其设置为零,得到如下的线性方程:
在周期边界条件下,H及等式左边均为分块循环句子,且可用傅里叶变换对角化,将中间复原图像u的子问题转化到频域直接求解,避免复杂的迭代算法,得到:
其中,FFT(·)和FFT-1(·)分别代表快速傅里叶变换和快速傅里叶反变换,H是模糊核的矩阵形式。
对于步骤S3的子问题(3),利用模糊核具有稀疏性的特点,采用了L1范式作为模糊核的正则化约束,引入辅助变量τ后,将模糊核模型变为:
其中,c是拉格朗日乘子,γ3是正则化参数。类似于中间复原图像u的求解,采用交替方向法对问题(12)求解:
ci+1=ci-hi+1+τi+1 (15)
交替轮换地更新每一个变量,同时固定其它变量:固定辅助变量τi,求解模糊核hi +1;固定模糊核hi,通过软阈值收缩函数求解τi+1。
模糊核h的子问题转化到频域,通过傅里叶变换求解得到:
其中,FFT(·)和FFT-1(·)分别代表快速傅里叶变换和快速傅里叶反变换,U是原始图像的矩阵形式。
最终获得模糊核后,对模糊核进行优化处理,包括:
对模糊核中的负值元素设置为0,对模糊核进行非负处理;
对模糊核进行连续性处理,保留模糊核的主要结构,使得模糊核的非零区域为一个连通域,并将其居中;
对模糊核进行归一化处理,使得∑ihi=1。
实施例2
本实施例提供一种图像复原方法,该方法采用如实施例所述的结合分数阶总变分和非凸总变分的模糊核估计方法估计获得模糊核,并基于模糊核采用基于拉普拉斯先验的快速去卷积算法恢复出最终的清晰图像。复原结果如图4(a)-图5(b)所示。该方法能够较为准确地估计出模糊图像的模糊核,并利用估计的模糊核将初始的模糊图像进行复原得到最终清晰的图像,解决降质图像模糊核估计问题。
以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案,皆应在由本发明所确定的保护范围内。
Claims (6)
1.一种结合分数阶总变分和非凸总变分的模糊核估计方法,其特征在于,包括以下步骤:
1)构造模糊核估计模型和多尺度图像金字塔,获取初始模糊图像,下采样至多尺度图像金字塔的底层,获得初始模糊核,所述多尺度图像金字塔中从底层到顶层尺度由粗到细变化;
2)在所述多尺度图像金字塔中,基于所述模糊核估计模型、初始模糊图像和初始模糊核交替迭代获得估计模糊核和中间复原图像,直到顶级尺度,估计获得最终的模糊核;
所述步骤2)中,获得中间复原图像时采用分数阶总变分和非凸总变分的结合作为正则化约束条件,获得估计模糊核时采用L1范式作为正则约束条件;
所述模糊核估计模型具体为:
其中,h为模糊核,u是中间复原图像,g是运动模糊图像,λ1、λ2和β是正则化参数,▽α=(▽α x;▽α y)是水平方向和垂直方向的分数阶微分算子,▽=(▽x;▽y)是水平方向和垂直方向的微分算子;
所述步骤2)中,获得中间复原图像的具体过程包括:
1a)固定模糊核h,引入辅助变量ν=(νx,νy)、ω=(ωx,ωy),构建图像模型:
其中,p是收缩算子a=(ax,ay),b=(bx,by)是扩展拉格朗日乘子,γ1和γ2是正则化参数;
1b)采用交替方向法交替轮换地更新所述图像模型中的变量u,ν,ω;
所述步骤2)中,获得估计模糊核的具体过程包括:
2a)固定中间复原图像u,引入辅助变量τ,构建模糊核模型:
其中,c是拉格朗日乘子,γ3是正则化参数;
2b)采用交替方向法交替轮换地更新所述模糊核模型中的变量h,τ。
2.根据权利要求1所述的结合分数阶总变分和非凸总变分的模糊核估计方法,其特征在于,所述多尺度图像金字塔中,在每一尺度获得的估计模糊核和中间复原图像,经过插值放大后作为下一层的初始值,逐步迭代直到顶级尺度。
3.根据权利要求1所述的结合分数阶总变分和非凸总变分的模糊核估计方法,其特征在于,最终获得模糊核后,对所述模糊核进行优化处理,所述优化处理包括非负处理、连续性处理和归一化处理。
4.根据权利要求1所述的结合分数阶总变分和非凸总变分的模糊核估计方法,其特征在于,所述多尺度图像金字塔的层数计算公式为:
其中,N是图像金字塔的层数,hs是模糊核的尺寸。
5.一种图像复原方法,其特征在于,该方法采用如权利要求1所述的结合分数阶总变分和非凸总变分的模糊核估计方法估计获得模糊核,并基于所述模糊核获得最终的清晰图像。
6.根据权利要求5所述的图像复原方法,其特征在于,基于所述模糊核采用基于拉普拉斯先验的快速去卷积算法恢复出最终的清晰图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911084597.1A CN110766641B (zh) | 2019-11-08 | 2019-11-08 | 结合分数阶总变分和非凸总变分的模糊核估计方法及应用 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911084597.1A CN110766641B (zh) | 2019-11-08 | 2019-11-08 | 结合分数阶总变分和非凸总变分的模糊核估计方法及应用 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110766641A CN110766641A (zh) | 2020-02-07 |
CN110766641B true CN110766641B (zh) | 2023-05-09 |
Family
ID=69336767
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911084597.1A Active CN110766641B (zh) | 2019-11-08 | 2019-11-08 | 结合分数阶总变分和非凸总变分的模糊核估计方法及应用 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110766641B (zh) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8406564B2 (en) * | 2008-09-24 | 2013-03-26 | Microsoft Corporation | Removing blur from an image |
CN104134196B (zh) * | 2014-08-08 | 2017-02-15 | 重庆大学 | 基于非凸高阶全变差模型的Split Bregman权值迭代图像盲复原方法 |
WO2016183716A1 (zh) * | 2015-05-15 | 2016-11-24 | 北京大学深圳研究生院 | 图像去模糊方法及系统 |
CN108629741B (zh) * | 2018-03-26 | 2020-06-16 | 中南大学 | 一种基于l0和l1正则项的模糊核估计方法 |
CN110415173A (zh) * | 2019-07-31 | 2019-11-05 | 南京邮电大学 | 一种基于三维总变分的图像超分辨率方法 |
-
2019
- 2019-11-08 CN CN201911084597.1A patent/CN110766641B/zh active Active
Non-Patent Citations (4)
Title |
---|
Zhou, L.et al..Fraction-order total variation blind image restoration based on l1-norm.Applied Mathematical Modelling.2017,全文. * |
Zhu, K. et al..Restoration of remote sensing images based on nonconvex constrained high-order total variation regularization.Journal of Applied Remote Sensing.2019,全文. * |
张素琦 ; 刘巧红 ; 李斌 ; .混合高阶全变差正则化的运动模糊图像盲复原.计算机应用研究.2015,(第08期),全文. * |
闫敬文 ; 谢婷婷 ; 彭鸿 ; 刘攀华 ; .基于L_0范数正则项的运动图像去模糊.激光与光电子学进展.2016,(第02期),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN110766641A (zh) | 2020-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yang et al. | Remote sensing images destriping using unidirectional hybrid total variation and nonconvex low-rank regularization | |
Xu et al. | Two-phase kernel estimation for robust motion deblurring | |
Zhussip et al. | Training deep learning based image denoisers from undersampled measurements without ground truth and without image prior | |
Zhang et al. | A super-resolution reconstruction algorithm for surveillance images | |
CN110675347B (zh) | 一种基于组稀疏表示的图像盲复原方法 | |
US8873825B2 (en) | Method of noise reduction in digital X-rayograms | |
CN110796616B (zh) | 基于范数约束和自适应加权梯度的湍流退化图像恢复方法 | |
Mandal et al. | Noise adaptive super-resolution from single image via non-local mean and sparse representation | |
CN105590304B (zh) | 超分辨率图像重建方法和装置 | |
CN106251297A (zh) | 一种改进的基于多幅图像模糊核估计的盲超分辨率重建算法 | |
Shu et al. | Alternating minimization algorithm for hybrid regularized variational image dehazing | |
CN106097256A (zh) | 一种基于图像盲去模糊的视频图像模糊度检测方法 | |
CN108648162A (zh) | 一种基于噪声水平的梯度相关tv因子图像去噪去模糊方法 | |
CN108629741B (zh) | 一种基于l0和l1正则项的模糊核估计方法 | |
CN106960417A (zh) | 一种基于图像显著结构的噪声模糊图像盲目反卷积方法 | |
Wang et al. | An improved image blind deblurring based on dark channel prior | |
Huang et al. | A total variation denoising method based on median filter and phase consistency | |
CN107085839B (zh) | 基于纹理增强与稀疏编码的sar图像降斑方法 | |
Salvadeo et al. | Nonlocal Markovian models for image denoising | |
CN110766641B (zh) | 结合分数阶总变分和非凸总变分的模糊核估计方法及应用 | |
Schirrmacher et al. | Adaptive quantile sparse image (aquasi) prior for inverse imaging problems | |
CN112862729B (zh) | 一种基于特征曲线指导的遥感图像去噪方法 | |
Sun et al. | Kernel estimation for robust motion deblurring of noisy and blurry images | |
Zeng et al. | Noise suppression by discontinuity indicator controlled non-local means method | |
Ben Abdallah et al. | A Modified Anisotropic Diffusion Scheme for Signal-Dependent Noise Filtering |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |