CN113313655B - 一种基于显著性映射和梯度倒频谱技术的盲图像去模糊方法 - Google Patents

一种基于显著性映射和梯度倒频谱技术的盲图像去模糊方法 Download PDF

Info

Publication number
CN113313655B
CN113313655B CN202110716432.2A CN202110716432A CN113313655B CN 113313655 B CN113313655 B CN 113313655B CN 202110716432 A CN202110716432 A CN 202110716432A CN 113313655 B CN113313655 B CN 113313655B
Authority
CN
China
Prior art keywords
image
gradient
cepstrum
fuzzy
kernel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110716432.2A
Other languages
English (en)
Other versions
CN113313655A (zh
Inventor
檀结庆
刘静
何蕾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202110716432.2A priority Critical patent/CN113313655B/zh
Publication of CN113313655A publication Critical patent/CN113313655A/zh
Application granted granted Critical
Publication of CN113313655B publication Critical patent/CN113313655B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于显著性映射和梯度倒频谱技术的盲图像去模糊方法，与现有技术相比解决了去模糊效果差、耗时长的缺陷。本发明包括以下步骤：待处理模糊图像的获取；通过梯度倒频谱处理获得模糊图像的模糊核信息；梯度倒频谱分析处理；清晰图像的恢复。本发明提高了图像去模糊的质量和效率，能够在各种挑战性的真实场景中表现出不错的性能。

Description

一种基于显著性映射和梯度倒频谱技术的盲图像去模糊方法
技术领域
本发明涉及盲图像处理技术领域，具体来说是一种基于显著性映射和梯度倒频谱技术的盲图像去模糊方法。
背景技术
图像去模糊技术作为高级视觉任务的基础，是图像处理领域备受关注的课题，盲反卷积的目的是从模糊图像中同时寻找潜在的真实图像和模糊核，因此是一个经典的病态问题。为了解决这一具有挑战性的问题，提出了大量基于边缘的算法、基于先验的算法和基于学习的方法。然而，基于边缘的方法需要启发式的边缘选择步骤，如果没有足够的有用边缘时，可能会失去有效性；在处理复杂和大尺度模糊核的模糊图像时，基于学习的方法可能落后于传统算法。
近年来，精心设计的关于模糊核与真实图像的先验得到了广泛的研究。然而，一些先进的算法因涉及太多的非线性算子，求解过程十分耗时。
例如，如图2所示，图2为输入的模糊图像。
1、使用文献[1]和文献[2]的方法进行修复，([1]Pan J.,Sun D.,Pfister H.,etal.Blind image deblurring using dark channel prior[C].Proceedings of the IEEEConference on Computer Vision and Pattern Recognition,2016,1628-1636.[2]YanY.,Ren W.,Guo Y.,et al.Image deblurring via extreme channels prior[C].Proceedings of the IEEE Conference on Computer Vision and PatternRecognition,2017,4003-4011.)通过使用暗通道先验和极端通道先验的方法(即目前最先进的采用暗通道先验和极值通道先验的方法，具体算法详见文献[1][2]，其中文献[2]是文献[1]的一种改进方法)处理后，如图8和图9所示，去模糊后的图像仍然含有明显的模糊残余。
2、通过使用文献[3]基于局部最大梯度先验的方法处理后，结果如图10所示，([3]Chen L.,Fang F.,Wang T.,et al.Blind image deblurring with local maximumgradient prior[C].IEEE Conference on Computer Vision and Pattern Recognition,2019,1742-1750.文献[3]为目前最新的采用局部最大梯度先验的方法),该方法可以获得与暗通道先验和极端通道先验的方法相当的去模糊效果，但是仍存在明显的模糊残留。此外，以上三种算法因涉及太多的非线性算子，计算代价略高。
由此可以发现，针对目前各种图像去模糊技术存在的局限性，在现有的硬件条件下，如何设计出一种高效、简单的去模糊方法已经成为当今急需解决的技术问题。
发明内容
本发明的目的是为了解决现有技术中去模糊效果差、耗时长的缺陷，提供一种基于显著性映射和梯度倒频谱技术的盲图像去模糊方法来解决上述问题。
为了实现上述目的，本发明的技术方案如下：
一种基于显著性映射和梯度倒频谱技术的盲图像去模糊方法，包括以下步骤：
11)待处理模糊图像的获取：获取待处理的模糊图像B；
12)通过梯度倒频谱处理获得模糊图像的模糊核信息：利用模糊图像B的梯度倒频谱初始化模糊核的大小，根据模糊图像的梯度倒频谱的定义，把空间域的卷积运算转化为倒频谱域的加法运算，由真实清晰图像的梯度倒频谱近似于一个delta函数，由模糊图像的梯度倒频谱得到模糊核的信息；
13)梯度倒频谱分析处理：进行显著性映射预分析，针对模糊图像B采取从粗到细的多尺度策略进行优化模型的求解，在每一个图像尺度上，基于显著性映射交替求解潜在真实图像I和模糊K；针对去模糊中间结果与模糊输入图像的梯度倒谱之间的差异变化，利用梯度倒谱调整各尺度上的迭代次数，在得到当前尺度的模糊核之后进行上采样处理，作为下一尺度的输入，直到得到最精细层次的模糊核；
14)清晰图像的恢复：利用最精细层次的模糊核和模糊输入图像B，针对图像类型使用非盲去模糊方法恢复最终的清晰图像。
所述通过梯度倒频谱处理获得模糊图像的模糊核信息包括以下步骤：
21)将模糊图像B建模为清晰图像I与模糊核K的卷积，其表达式如下：
Figure BDA0003135146710000031
忽略高斯噪声n，将上式等价于：
Figure BDA0003135146710000032
其中，
Figure BDA0003135146710000033
表示梯度算子，
Figure BDA0003135146710000034
表示卷积运算；
将模糊图像B的梯度倒频谱
Figure BDA0003135146710000035
定义为：
Figure BDA0003135146710000036
其中，|·|表示绝对值运算，log表示以10为底数的对数运算，
Figure BDA0003135146710000037
和
Figure BDA0003135146710000038
分别表示傅里叶变换和傅里叶逆变换；
22)将空间域的卷积运算
Figure BDA0003135146710000039
转化为倒频谱域的加法运算，其表达式如下：
Figure BDA00031351467100000310
其中，
Figure BDA00031351467100000311
为清晰图像I的梯度倒频谱，CK为模糊核K的倒频谱，
Figure BDA00031351467100000312
23)由真实清晰图像的梯度倒谱近似于一个delta函数，得到
Figure BDA00031351467100000313
利用模糊图像的梯度倒频谱来提取模糊核K的信息，并初始化模糊核的宽度和高度为3～7个像素。
所述梯度倒频谱分析处理包括以下步骤：
31)显著性映射预分析：利用已知模糊图像与其对应的清晰图像进行显著性映射预分析；
32)对模糊图像进行下采样处理，得到不同尺度的模糊输入图像；
33)在去模糊框架中加入||S(·)||0+||1-S(·)||0项，得到如下目标函数：
Figure BDA00031351467100000314
其中，
Figure BDA00031351467100000315
表示矩阵的L2范数，||·||0表示矩阵的L0范数，S(I)表示潜在清晰图像I的显著性映射，λ1、λ2、λ3、λ4是4个可调参数，
上式中，
Figure BDA0003135146710000041
用于保证输出图像和输入图像的一致性，λ1||S(I)||0和λ2||1-S(I)||0为新提出的约束项，
Figure BDA0003135146710000042
用于保留边缘并消除无用的细节，
Figure BDA0003135146710000043
用于对模糊核进行归一化处理；
在每一个图像尺度上，基于显著性映射交替求解潜在真实图像I和模糊K，针对去模糊中间结果与模糊输入图像的梯度倒谱之间的差异变化，利用梯度倒谱调整各尺度上的迭代次数，
上述目标函数转化为求解以下子问题：
Figure BDA0003135146710000044
Figure BDA0003135146710000045
其包括以下步骤：
331)潜在清晰图像的求解，
求解潜在图像涉及非凸优化问题，采用半二次分裂方法对其进行处理：引入辅助变量a→S(I)、b→1-S(I)、
Figure BDA0003135146710000046
将目标函数改写为
Figure BDA0003135146710000047
其中，β1、β2和β3是3个可调参数；
使用下列公式求解L、a、b、c：
Figure BDA0003135146710000048
Figure BDA0003135146710000049
Figure BDA00031351467100000410
Figure BDA00031351467100000411
通过傅里叶变换FFT得到I的解为：
Figure BDA00031351467100000412
分别用
Figure BDA00031351467100000413
和
Figure BDA00031351467100000414
表示傅里叶变换、傅里叶逆变换和共轭傅里叶变换；
求解a的优化公式包含L0范数项，得到
Figure BDA0003135146710000051
b和c的解用以上同样方法进行求解；
332)模糊核的求解：
当得到潜在真实图像I以后，模糊核的恢复变成最小二乘优化问题，使用图像梯度来求解模糊核，模糊核通过下式求解：
Figure BDA0003135146710000052
模糊核K的解使用快速傅里叶变换计算，其公式如下：
Figure BDA0003135146710000053
利用多尺度方法求解模糊内核，得到模糊核K之后，使用非负约束和等式约束来规范它；
333)梯度的倒频谱分析策略：
在每一个图像尺度下，随着迭代过程的进行，中间结果与模糊输入的梯度倒谱的差异逐渐增大，此属性用于指导每个尺度上的迭代次数；
为了减少不必要的计算代价，利用核相似度来评估中间模糊核在迭代过程中的细微变化，其表达式如下：
Figure BDA0003135146710000054
Figure BDA0003135146710000055
其中，N和M分别为模糊图像和模糊核中含有的像素个数，
Figure BDA0003135146710000056
为模糊图像的梯度倒频谱，
Figure BDA0003135146710000057
为第n次迭代后中间结果的梯度倒频谱，En为第n次迭代后模糊图像的梯度倒频谱与中间结果的梯度倒频谱之间的相似性，Kn为模糊核K在第n次迭代后的结果，Kn-1为模糊核K在第n-1次迭代后的结果，ρn为第n次迭代后的模糊核与第n-1次迭代后的模糊核之间的相似性，||·||1表示矩阵的L1范数，
在迭代过程中，En和ρn精确地调整每个尺度上的迭代次数；
34)在得到当前尺度的模糊核后，对模糊核和当前尺度的模糊输入图像进行上采样处理作为下一个尺度的输入，继续采取潜在真实图像和模糊核交替的求解的方法，直到得到最精细尺度的模糊核。
所述显著性映射预分析包括以下步骤：
41)对显著性映射进行定义：
将清晰图像I中像素值为n的频率表示为fn，令
f＝(f0,f1,…f255)；
设定已知清晰图像I中像素位置x处的显著性值Sal(Ix)定义为
Figure BDA0003135146710000061
其中：y表示图清晰像I中任意像素的位置，Ix和Iy表示清晰图像中像素位置x和y的像素强度值，N为清晰图像I中像素的总数，|·|表示绝对值运算；
设Ix,Iy∈[0,255],Ix＝m，得到
Figure BDA0003135146710000062
n表示图像I中像素强度的取值范围，n∈[0,255]；
42)显著性映射的计算：
Figure BDA0003135146710000063
D为一个256×256且对角线元素全为零的对称矩阵，Dm表示矩阵D中的第m+1列，m∈[0,255]；
读取已知一个像素位置的像素强度值，使用下面的方程来快速计算其显著性值Sal(Ix)，
Sal(Ix)＝f·Dm；
将清晰图像I的显著性映射定义为
(S(I))x＝Sal(Ix)，
得到显著性映射S(I)后，对其进行规范化处理，并设置其所有元素属于[0,1]；
43)显著性映射的分析，分析显著图的极值随运动模糊的变化规律：
清晰图像I显著图的0元素和1元素多于模糊图像B显著图的0元素和1元素，使用正则化的L0范数约束对该性质进行建模，得到
||S(I)||0≤||S(B)||0
||1-S(I)||0≤||1-S(B)||0
其中，S(I)和S(B)分别表示清晰图像和模糊图像的显著性映射，||·||0表示L0范数约束。
有益效果
本发明的一种基于显著性映射和梯度倒频谱技术的盲图像去模糊方法，与现有技术相比提高了图像去模糊的质量和效率，能够在各种挑战性的真实场景中表现出不错的性能。
本发明通过图像梯度倒频谱的使用，可以从模糊输入图像中直接提取模糊核的信息并初始化模糊核的大小；同时，可以根据梯度的倒频谱分析策略来调整各尺度上的迭代次数，从而抑制过度迭代；此外，显著性映射先验简单有效。本发明去模糊后的图像效果好、纹理细节清晰，计算效率大大提高，实际应用场景广泛。
附图说明
图1为本发明的方法顺序图；
图2为现有技术中的模糊输入图像；
图3为现有技术中的模糊输入图像对应的真实清晰图像；
图4为图2中的模糊输入图像的梯度倒频谱；
图5为图3中的真实清晰图像的梯度倒频谱；
图6为2000幅清晰图像的显著性映射元素统计直方图；
图7为2000幅模糊图像的显著性映射元素统计直方图；
图8为使用文献[1]的方法对图2进行去模糊后的效果图；
图9为使用文献[2]的方法对图2进行去模糊后的效果图；
图10为使用文献[3]的方法对图2进行去模糊后的效果图；
图11为使用本发明方法进行去模糊后的效果图；
图12为本发明的方法顺序逻辑结构图。
具体实施方式
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：
如图1所示，本发明所述的一种基于显著性映射和梯度倒频谱技术的盲图像去模糊方法，通过模糊图像的梯度倒频谱来提取模糊核的信息并初始化模糊核，再通过L0正则化的显著性映射先验与传统的去模糊框架相结合，从而得到一种新的图像去模糊模型。本发明采取从粗到细的多尺度策略，在得到最精细层次的模糊核以后，使用非盲去模糊方法来恢复最终的清晰图像。在每一层图像尺度上，使用半二次分裂法求解优化问题，并根据梯度的倒频谱分析策略来调整各尺度上的迭代次数，从而抑制过度迭代、减少计算代价。
其包括以下步骤：
第一步，待处理模糊图像的获取：获取待处理的模糊图像B。
第二步，通过梯度倒频谱处理获得模糊图像的模糊核信息。利用模糊图像B的梯度倒频谱初始化模糊核的大小，根据模糊图像的梯度倒频谱的定义，把空间域的卷积运算转化为倒频谱域的加法运算，由真实清晰图像的梯度倒频谱近似于一个delta函数，由模糊图像的梯度倒频谱得到模糊核的信息。
如图4和图5所示，图4和图5分别为模糊图像和清晰图像对应的梯度倒频谱。如图5，清晰图像的梯度倒频谱类似于一个delta函数。因此，可以从模糊图像中直接提取模糊核的信息，并确定初始化模糊核的大小。计算模糊图像的梯度倒频谱
Figure BDA0003135146710000081
设定一个梯度强度阈值并提取
Figure BDA0003135146710000082
中的高强度区域。根据
Figure BDA0003135146710000083
中的高强度区域的大小确定模糊核的大小，对高强度区域进行下采样处理得到初始化的模糊核。这样得到的初始化模糊核中包含了模糊图像的信息，更有利于得到真实的模糊核。
所述通过梯度倒频谱处理获得模糊图像的模糊核信息包括以下步骤：
(1)将模糊图像B建模为清晰图像I与模糊核K的卷积，其表达式如下：
Figure BDA0003135146710000091
忽略高斯噪声n，将上式等价于：
Figure BDA0003135146710000092
其中，
Figure BDA0003135146710000093
表示梯度算子，
Figure BDA0003135146710000094
表示卷积运算；
将模糊图像B的梯度倒频谱
Figure BDA0003135146710000095
定义为：
Figure BDA0003135146710000096
其中，|·|表示绝对值运算，log表示以10为底数的对数运算，
Figure BDA0003135146710000097
和
Figure BDA0003135146710000098
分别表示傅里叶变换和傅里叶逆变换。
(2)将空间域的卷积运算
Figure BDA0003135146710000099
转化为倒频谱域的加法运算，其表达式如下：
Figure BDA00031351467100000910
其中，
Figure BDA00031351467100000911
为清晰图像I的梯度倒频谱，CK为模糊核K的倒频谱，
Figure BDA00031351467100000912
(3)由真实清晰图像的梯度倒谱近似于一个delta函数，得到
Figure BDA00031351467100000913
计算模糊图像的梯度倒频谱
Figure BDA00031351467100000914
设定一个梯度强度阈值并提取
Figure BDA00031351467100000915
中的高强度区域。高强度区域包含了大量与模糊核相关的信息，由于倒谱具有关于原点对称的特性，这些高强度区域的尺度大小近似等于模糊核尺度大小的两倍。因此，可以根据
Figure BDA00031351467100000916
中的高强度区域的大小确定模糊核的大小，对高强度区域进行下采样处理得到初始化的模糊核，初始化模糊核的宽度和高度为3～7个像素。
第三步，梯度倒频谱分析处理。
进行显著性映射预分析，针对模糊图像B采取从粗到细的多尺度策略进行优化模型的求解，在每一个图像尺度上，基于显著性映射交替求解潜在真实图像I和模糊K；针对去模糊中间结果与模糊输入图像的梯度倒谱之间的差异变化，利用梯度倒谱调整各尺度上的迭代次数，在得到当前尺度的模糊核之后进行上采样处理，作为下一尺度的输入，直到得到最精细层次的模糊核。
所述梯度倒频谱分析处理包括以下步骤：
(1)显著性映射预分析：利用已知模糊图像与其对应的清晰图像进行显著性映射预分析。
如图6和图7所示，从PASCAL 2012数据集[4]中随机选择2000张清晰图像，然后用[5]中的8个不同的模糊核对这些图像进行随机模糊处理，得到2000张模糊图像。([4]Arbeláez P.,Pont-Tuset J.,Barron J.,et al.Multiscale combinatorial grouping[C].Proceedings of the IEEE conference on computer vision and patternrecognition,2014,328-335.[5]Levin A.,Weiss Y.,Durand F.,et al.Understandingand evaluating blind deconvolution algorithms[C].IEEE Conference on ComputerVision and Pattern Recognition,2009,1964-1971.)计算这4000幅图像的显著性映射，并分别计算2000张清晰图像和2000张模糊图像的显著性映射的强度直方图。图6和图7分别为原始清晰图像和相应模糊图像的显著性映射的强度直方图。清晰图像显著图的0元素和1元素多于模糊图像显著图的0元素和1元素，即清晰图像显著图的非0元素和非1元素少于模糊图像显著图的非0元素和非1元素。使用正则化的L0范数约束对该性质进行建模，得到
||S(I)||0≤||S(B)||0
||1-S(I)||0≤||1-S(B)||0
其中，S(I)和S(B)分别表示清晰图像和模糊图像的显著性映射，||·||0表示L0范数约束。
所述显著性映射预分析包括以下步骤：
A1)对显著性映射进行定义：
将清晰图像I中像素值为n的频率表示为fn，令
f＝(f0,f1,…f255)；
设定已知清晰图像I中像素位置x处的显著性值Sal(Ix)定义为
Figure BDA0003135146710000111
其中：y表示图清晰像I中任意像素的位置，Ix和Iy表示清晰图像中像素位置x和y的像素强度值，N为清晰图像I中像素的总数，|·|表示绝对值运算；
设Ix,Iy∈[0,255],Ix＝m，得到
Figure BDA0003135146710000112
n表示图像I中像素强度的取值范围，n∈[0,255]；
A2)显著性映射的计算：
Figure BDA0003135146710000113
D为一个256×256且对角线元素全为零的对称矩阵，Dm表示矩阵D中的第m+1列，m∈[0,255]；
读取已知一个像素位置的像素强度值，使用下面的方程来快速计算其显著性值Sal(Ix)，
Sal(Ix)＝f·Dm；
将清晰图像I的显著性映射定义为
(S(I))x＝Sal(Ix)，
得到显著性映射S(I)后，对其进行规范化处理，并设置其所有元素属于[0,1]；
A3)显著性映射的分析，分析显著图的极值随运动模糊的变化规律：
清晰图像I显著图的0元素和1元素多于模糊图像B显著图的0元素和1元素，即清晰图像I显著图的非0元素和非1元素少于模糊图像B显著图的非0元素和非1元素。
使用正则化的L0范数约束对该性质进行建模，得到
||S(I)||0≤||S(B)||0
||1-S(I)||0≤||1-S(B)||0
其中，S(I)和S(B)分别表示清晰图像和模糊图像的显著性映射，||·||0表示L0范数约束。
如图12所示，初始化模糊核大小的模块输出与半二次分裂方法获得中间去模糊结果的输入端相连，对输入模糊图像进行下采样处理，采取从粗到细的多尺度策略，在得到最精细层次的模糊核以后，使用非盲去模糊方法来恢复最终的清晰图像。在每一层图像尺度上，中间潜在图像和模糊核交替求解，使用半二次分裂法求解优化问题，并根据梯度的倒频谱分析策略来调整各尺度上的迭代次数，从而抑制过度迭代、减少计算代价。
(2)对模糊图像进行下采样处理，得到不同尺度的模糊输入图像。
(3)在去模糊框架中加入||S(·)||0+||1-S(·)||0项，得到如下目标函数：
Figure BDA0003135146710000121
其中，
Figure BDA0003135146710000122
表示矩阵的L2范数，||·||0表示矩阵的L0范数，S(I)表示潜在清晰图像I的显著性映射，λ1、λ2、λ3、λ4是4个可调参数；
上式中，
Figure BDA0003135146710000123
用于保证输出图像和输入图像的一致性，λ1||S(I)||0和λ2||1-S(I)||0为新提出的约束项，
Figure BDA0003135146710000124
用于保留边缘并消除无用的细节，
Figure BDA0003135146710000125
用于对模糊核进行归一化处理；
在每一个图像尺度上，基于显著性映射交替求解潜在真实图像I和模糊K，针对去模糊中间结果与模糊输入图像的梯度倒谱之间的差异变化，利用梯度倒谱调整各尺度上的迭代次数，
上述目标函数转化为求解以下子问题：
Figure BDA0003135146710000131
Figure BDA0003135146710000132
其包括以下步骤：
B1)潜在清晰图像的求解，
求解潜在图像涉及非凸优化问题，采用半二次分裂方法对其进行处理：引入辅助变量a→S(I)、b→1-S(I)、
Figure BDA0003135146710000133
将目标函数改写为
Figure BDA0003135146710000134
其中，β1、β2和β3是3个可调参数；
使用下列公式求解L、a、b、c：
Figure BDA0003135146710000135
Figure BDA0003135146710000136
Figure BDA0003135146710000137
Figure BDA0003135146710000138
通过傅里叶变换FFT得到I的解为：
Figure BDA0003135146710000139
分别用
Figure BDA00031351467100001310
和
Figure BDA00031351467100001311
表示傅里叶变换、傅里叶逆变换和共轭傅里叶变换；
求解a的优化公式包含L0范数项，得到
Figure BDA00031351467100001312
b和c的解用以上同样方法进行求解；
B2)模糊核的求解：
当得到潜在真实图像I以后，模糊核的恢复变成最小二乘优化问题，使用图像梯度而不是像素强度来求解模糊核，模糊核通过下式求解：
Figure BDA00031351467100001313
模糊核K的解使用快速傅里叶变换计算，其公式如下：
Figure BDA0003135146710000141
利用多尺度方法求解模糊内核，得到模糊核K之后，使用非负约束和等式约束来规范它；
B3)梯度的倒频谱分析策略：
在每一个图像尺度下，随着迭代过程的进行，中间结果与模糊输入的梯度倒谱的差异逐渐增大，此属性用于指导每个尺度中的迭代次数；
为了减少不必要的计算代价，利用核相似度来评估中间模糊核在迭代过程中的细微变化，其表达式如下：
Figure BDA0003135146710000142
Figure BDA0003135146710000143
其中，N和M分别为模糊图像和模糊核中含有的像素个数，
Figure BDA0003135146710000144
和
Figure BDA0003135146710000145
分别表示模糊输入和中间结果的梯度倒频谱，Kn为模糊核K在第n次迭代后的结果，Kn-1为模糊核K在第n-1次迭代后的结果，En为第n次迭代后模糊图像的梯度倒频谱与中间潜在图像的梯度倒频谱之间的相似性，ρn为第n次迭代后的模糊核与第n-1次迭代后的模糊核之间的相似性，||·||1表示矩阵的L1范数，
在迭代过程中，En和ρn精确地调整每个尺度上的迭代次数。通过这种方式，大大降低了每个尺度的计算成本。特别是在最后两个尺度上，只需要1到3次迭代，大大减少了整个运动去模糊过程的运行时间。
(4)在得到当前尺度的模糊核后，对模糊核和当前尺度的模糊输入图像进行上采样处理作为下一个尺度的输入，继续采取潜在中间潜在图像和模糊核交替的求解的方法，直到得到最精细尺度的模糊核。
第四步，清晰图像的恢复：利用最精细层次的模糊核和模糊输入图像B，针对图像的不同类型使用传统对应的非盲去模糊方法恢复最终的清晰图像。
如图2所示为待去模糊的图片，图3为正常清晰图片。通过使用基于暗通道先验和极端通道先验的方法(具体算法详见文献[1][2])处理后，如图8和图9所示，对模糊图像进行去模糊处理，但仍存在明显的模糊残留。通过使用基于局部最大梯度先验的方法(具体算法详见文献[3])处理后，如图10所示，图片整体视觉效果和质量有所提升。如图11所示，采用本发明的方法进行去模糊处理，细节恢复的更好，整体视觉效果更好，较文献[1][2][3]的方法都有更大程度的优化和提升。
为了体现出本发明的效率相比于其他三种方法更高，将这四种方法运行时间的比较显示在表1中。
表1本发明方法与文献[1][2][3]方法的运行时间对比表
Figure BDA0003135146710000151
如表1所示，对待去模糊的图片使用如上方法处理的运行时间的结果，在同样运行环境的电脑上运行现有技术方法和本发明的方法，并记录算法的运行时间，可以发现本发明的效率相比于其他几种方法(即文献[1][2][3]的方法)更高，由于暗通道先验、极端通道先验、局部最大梯度先验涉及过多的非线性算子，因而计算十分耗时。所以，从整体角度评估，本发明相比于现有技术来说不仅具有较高的运算效率，同时去模糊的图片质量更高。
为了显示出本发明的效果更好，相比于另三种方法有了更好的提升，将采用评估图像质量的理论参数，即峰值信噪比来作为评价的指标，在表2中显示了这四种方法去模糊后图像的峰值信噪比的比较。从客观角度出发进行比较可以发现，根据公式
Figure BDA0003135146710000152
这里m×n为矩阵的大小，max＝255，f(i,j)为原始图像，
Figure BDA0003135146710000153
为修补后的图像，利用此公式计算出峰值信噪比PSNR的值。峰值信噪比越大，表明去模糊后的图像和原始图像越接近，即去模糊的图像视觉效果越好，分辨率越高。
表2使用本发明方法与文献[1][2][3]方法的峰值信噪比的对比表
Figure BDA0003135146710000161
如表2所示，对待去模糊的图片使用如上方法去模糊处理后的峰值信噪比的结果，可以发现本发明去模糊后的峰值信噪比比较现有技术方法的结果明显要高，图像分辨率和质量更高。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (3)

1.一种基于显著性映射和梯度倒频谱技术的盲图像去模糊方法，其特征在于，包括以下步骤：
11)待处理模糊图像的获取：获取待处理的模糊图像B；
12)通过梯度倒频谱处理获得模糊图像的模糊核信息：利用模糊图像B的梯度倒频谱初始化模糊核的大小，根据模糊图像的梯度倒频谱的定义，把空间域的卷积运算转化为倒频谱域的加法运算，由真实清晰图像的梯度倒频谱近似于一个delta函数，由模糊图像的梯度倒频谱得到模糊核的信息；
13)梯度倒频谱分析处理：进行显著性映射预分析，针对模糊图像B采取从粗到细的多尺度策略进行优化模型的求解，在每一个图像尺度上，基于显著性映射交替求解潜在真实图像I和模糊K；针对去模糊中间结果与模糊输入图像的梯度倒频谱之间的差异变化，利用梯度倒频谱调整各尺度上的迭代次数，在得到当前尺度的模糊核之后进行上采样处理，作为下一尺度的输入，直到得到最精细层次的模糊核；
所述梯度倒频谱分析处理包括以下步骤：
131)显著性映射预分析：利用已知模糊图像与其对应的清晰图像进行显著性映射预分析；
132)对模糊图像进行下采样处理，得到不同尺度的模糊输入图像；
133)在去模糊框架中加入||S(·)||0+||1-S(·)||0项，得到如下目标函数：
Figure FDA0003797803510000021
其中，
Figure FDA0003797803510000022
表示矩阵的L2范数，||·||0表示矩阵的L0范数，S(I)表示潜在清晰图像I的显著性映射，λ1、λ2、λ3、λ4是4个可调参数，
上式中，
Figure FDA0003797803510000023
用于保证输出图像和输入图像的一致性，λ1||S(I)||0和λ2||1-S(I)||0为新提出的约束项，
Figure FDA0003797803510000024
用于保留边缘并消除无用的细节，
Figure FDA0003797803510000025
用于对模糊核进行归一化处理；
在每一个图像尺度上，基于显著性映射交替求解潜在真实图像I和模糊K，针对去模糊中间结果与模糊输入图像的梯度倒频谱之间的差异变化，利用梯度倒频谱调整各尺度上的迭代次数，
上述目标函数转化为求解以下子问题：
Figure FDA0003797803510000031
Figure FDA0003797803510000032
其包括以下步骤：
1331)潜在清晰图像的求解，
求解潜在图像涉及非凸优化问题，采用半二次分裂方法对其进行处理：引入辅助变量a→S(I)、b→1-S(I)、
Figure FDA0003797803510000033
将目标函数改写为
Figure FDA0003797803510000034
其中，β1、β2和β3是3个可调参数；
使用下列公式求解I、a、b、c：
Figure FDA0003797803510000035
Figure FDA0003797803510000036
Figure FDA0003797803510000037
Figure FDA0003797803510000038
通过傅里叶变换FFT得到I的解为：
Figure FDA0003797803510000039
分别用
Figure FDA00037978035100000310
和
Figure FDA00037978035100000311
表示傅里叶变换、傅里叶逆变换和共轭傅里叶变换；
求解a的优化公式包含L0范数项，得到
Figure FDA00037978035100000312
b和c的解用以上同样方法进行求解；
1332)模糊核的求解：
当得到潜在真实图像I以后，模糊核的恢复变成最小二乘优化问题，使用图像梯度来求解模糊核，模糊核通过下式求解：
Figure FDA00037978035100000313
模糊核K的解使用快速傅里叶变换计算，其公式如下：
Figure FDA0003797803510000041
利用多尺度方法求解模糊内核，得到模糊核K之后，使用非负约束和等式约束来规范它；
1333)梯度的倒频谱分析策略：
在每一个图像尺度下，随着迭代过程的进行，中间结果与模糊输入的梯度倒频谱的差异逐渐增大，此属性用于指导每个尺度上的迭代次数；
为了减少不必要的计算代价，利用核相似度来评估中间模糊核在迭代过程中的细微变化，其表达式如下：
Figure FDA0003797803510000042
Figure FDA0003797803510000043
其中，N和M分别为模糊图像和模糊核中含有的像素个数，
Figure FDA0003797803510000044
为模糊图像的梯度倒频谱，
Figure FDA0003797803510000045
为第n次迭代后中间结果的梯度倒频谱，En为第n次迭代后模糊图像的梯度倒频谱与中间结果的梯度倒频谱之间的相似性，Kn为模糊核K在第n次迭代后的结果，Kn-1为模糊核K在第n-1次迭代后的结果，ρn为第n次迭代后的模糊核与第n-1次迭代后的模糊核之间的相似性，||·||1表示矩阵的L1范数，
在迭代过程中，En和ρn精确地调整每个尺度上的迭代次数；
134)在得到当前尺度的模糊核后，对模糊核和当前尺度的模糊输入图像进行上采样处理作为下一个尺度的输入，继续采取潜在真实图像和模糊核交替的求解的方法，直到得到最精细尺度的模糊核；
14)清晰图像的恢复：利用最精细层次的模糊核和模糊输入图像B，针对图像类型使用非盲去模糊方法恢复最终的清晰图像。
2.根据权利要求1所述的一种基于显著性映射和梯度倒频谱技术的盲图像去模糊方法，其特征在于，所述通过梯度倒频谱处理获得模糊图像的模糊核信息包括以下步骤：
21)将模糊图像B建模为清晰图像I与模糊核K的卷积，其表达式如下：
Figure FDA0003797803510000051
忽略高斯噪声n，将上式等价于：
Figure FDA0003797803510000052
其中，
Figure FDA0003797803510000053
表示梯度算子，
Figure FDA0003797803510000054
表示卷积运算；
将模糊图像B的梯度倒频谱
Figure FDA0003797803510000055
定义为：
Figure FDA0003797803510000056
其中，|·|表示绝对值运算，log表示以10为底数的对数运算，
Figure FDA0003797803510000057
和
Figure FDA0003797803510000058
分别表示傅里叶变换和傅里叶逆变换；
22)将空间域的卷积运算
Figure FDA0003797803510000059
转化为倒频谱域的加法运算，其表达式如下：
Figure FDA00037978035100000510
其中，
Figure FDA00037978035100000511
为清晰图像I的梯度倒频谱，CK为模糊核K的倒频谱，
Figure FDA00037978035100000512
23)由真实清晰图像的梯度倒频谱近似于一个delta函数，得到
Figure FDA00037978035100000513
利用模糊图像的梯度倒频谱来提取模糊核K的信息，并初始化模糊核的宽度和高度为3～7个像素。
3.根据权利要求1所述的一种基于显著性映射和梯度倒频谱技术的盲图像去模糊方法，其特征在于，所述显著性映射预分析包括以下步骤：
31)对显著性映射进行定义：
将清晰图像I中像素值为n的频率表示为fn，令
f＝(f0,f1,Λf255)；
设定已知清晰图像I中像素位置x处的显著性值Sal(Ix)定义为
Figure FDA00037978035100000514
其中：y表示图清晰像I中任意像素的位置，Ix和Iy表示清晰图像中像素位置x和y的像素强度值，N为清晰图像I中像素的总数，|·|表示绝对值运算；
设Ix,Iy∈[0,255],Ix＝m，得到
Figure FDA0003797803510000061
n表示图像I中像素强度的取值范围，n∈[0,255]；
32)显著性映射的计算：
Figure FDA0003797803510000062
D为一个256×256且对角线元素全为零的对称矩阵，Dm表示矩阵D中的第m+1列，m∈[0,255]；
读取已知一个像素位置的像素强度值，使用下面的方程来快速计算其显著性值Sal(Ix)，
Sal(Ix)＝f·Dm；
将清晰图像I的显著性映射定义为
(S(I))x＝Sal(Ix)，
得到显著性映射S(I)后，对其进行规范化处理，并设置其所有元素属于[0,1]；
33)显著性映射的分析，分析显著图的极值随运动模糊的变化规律：
清晰图像I显著图的0元素和1元素多于模糊图像B显著图的0元素和1元素，使用正则化的L0范数约束对该性质进行建模，得到
||S(I)||0≤||S(B)||0
||1-S(I)||0≤||1-S(B)||0
其中，S(I)和S(B)分别表示清晰图像和模糊图像的显著性映射，||·||0表示L0范数约束。
CN202110716432.2A 2021-06-28 2021-06-28 一种基于显著性映射和梯度倒频谱技术的盲图像去模糊方法 Active CN113313655B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110716432.2A CN113313655B (zh) 2021-06-28 2021-06-28 一种基于显著性映射和梯度倒频谱技术的盲图像去模糊方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110716432.2A CN113313655B (zh) 2021-06-28 2021-06-28 一种基于显著性映射和梯度倒频谱技术的盲图像去模糊方法

Publications (2)

Publication Number Publication Date
CN113313655A CN113313655A (zh) 2021-08-27
CN113313655B true CN113313655B (zh) 2022-09-23

Family

ID=77380541

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110716432.2A Active CN113313655B (zh) 2021-06-28 2021-06-28 一种基于显著性映射和梯度倒频谱技术的盲图像去模糊方法

Country Status (1)

Country Link
CN (1) CN113313655B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114418892B (zh) * 2022-01-21 2024-08-02 合肥工业大学 一种结合鲁棒显著边缘选择与稀疏性的图像去模糊方法
CN116311262B (zh) * 2023-05-23 2023-08-01 济南大陆机电股份有限公司 一种仪器仪表信息的识别方法、系统、设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103514582A (zh) * 2012-06-27 2014-01-15 郑州大学 基于视觉显著的图像去模糊方法
CN107220945A (zh) * 2017-04-12 2017-09-29 重庆大学 多重退化的极模糊图像的复原方法
CN112215773A (zh) * 2020-10-12 2021-01-12 新疆大学 基于视觉显著性的局部运动去模糊方法、装置及存储介质
CN112581378A (zh) * 2019-09-30 2021-03-30 河海大学常州校区 基于显著性强度和梯度先验的图像盲去模糊方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8351726B2 (en) * 2009-06-29 2013-01-08 DigitalOptics Corporation Europe Limited Adaptive PSF estimation technique using a sharp preview and a blurred image
US20170316552A1 (en) * 2016-04-27 2017-11-02 Ramot At Tel-Aviv University Ltd. Blind image deblurring via progressive removal of blur residual

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103514582A (zh) * 2012-06-27 2014-01-15 郑州大学 基于视觉显著的图像去模糊方法
CN107220945A (zh) * 2017-04-12 2017-09-29 重庆大学 多重退化的极模糊图像的复原方法
CN112581378A (zh) * 2019-09-30 2021-03-30 河海大学常州校区 基于显著性强度和梯度先验的图像盲去模糊方法和装置
CN112215773A (zh) * 2020-10-12 2021-01-12 新疆大学 基于视觉显著性的局部运动去模糊方法、装置及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Blind Image Deblurring via Local Maximum Difference Prior";JING LIU 等;《IEEE》;20201125;219295-219307 *
"基于倒谱与频谱分析的模糊核估计算法";王文恺;《电子科技》;20190215;第32卷(第2期);4-8 *

Also Published As

Publication number Publication date
CN113313655A (zh) 2021-08-27

Similar Documents

Publication Publication Date Title
CN112200750B (zh) 一种超声图像去噪模型建立方法及超声图像去噪方法
CN109035149B (zh) 一种基于深度学习的车牌图像去运动模糊方法
CN106952228B (zh) 基于图像非局部自相似性的单幅图像的超分辨率重建方法
CN105184744B (zh) 基于标准化稀疏度量图像块先验的模糊核估计方法
CN113313655B (zh) 一种基于显著性映射和梯度倒频谱技术的盲图像去模糊方法
CN114331886B (zh) 一种基于深度特征的图像去模糊方法
CN108564544A (zh) 基于边缘感知的图像盲去模糊组合稀疏优化方法
CN110796616A (zh) 基于分数阶微分算子的l0范数约束和自适应加权梯度的湍流退化图像恢复方法
Ren et al. Remote sensing image recovery via enhanced residual learning and dual-luminance scheme
Zhao et al. Restoration of motion blurred images based on rich edge region extraction using a gray-level co-occurrence matrix
CN117726537A (zh) 自适应多尺度特征融合AMFFD-Net的SAR图像去噪网络方法及系统
CN114897741A (zh) 基于深度残差傅里叶变换的图像盲去模糊方法
Pan et al. Single-image dehazing via dark channel prior and adaptive threshold
Li et al. BPFD-Net: enhanced dehazing model based on Pix2pix framework for single image
Xu et al. Blind image deblurring using group sparse representation
Shukla et al. Adaptive fractional masks and super resolution based approach for image enhancement
Yang et al. CSDM: A cross-scale decomposition method for low-light image enhancement
Huo et al. Two-stage image denoising algorithm based on noise localization
Cheng et al. Adaptive feature denoising based deep convolutional network for single image super-resolution
CN112801899A (zh) 基于互补结构感知的内外循环驱动图像盲去模糊方法和装置
CN110264482B (zh) 基于中智集变换矩阵因子分解的活动轮廓分割方法
CN114529518B (zh) 一种基于图像金字塔与nlm的冷冻电镜图像增强方法
Liu et al. The validity analysis of the non-local mean filter and a derived novel denoising method
Xu et al. Enhanced context attention network for image super resolution
CN110992281B (zh) 一种基于偏微分理论的红外图像梯度域增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant