CN112581378B - 基于显著性强度和梯度先验的图像盲去模糊方法和装置 - Google Patents

基于显著性强度和梯度先验的图像盲去模糊方法和装置 Download PDF

Info

Publication number
CN112581378B
CN112581378B CN201910940501.0A CN201910940501A CN112581378B CN 112581378 B CN112581378 B CN 112581378B CN 201910940501 A CN201910940501 A CN 201910940501A CN 112581378 B CN112581378 B CN 112581378B
Authority
CN
China
Prior art keywords
image
latent image
intermediate latent
gradient
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910940501.0A
Other languages
English (en)
Other versions
CN112581378A (zh
Inventor
李庆武
陈晨
许金鑫
章倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Campus of Hohai University
Original Assignee
Changzhou Campus of Hohai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Campus of Hohai University filed Critical Changzhou Campus of Hohai University
Priority to CN201910940501.0A priority Critical patent/CN112581378B/zh
Publication of CN112581378A publication Critical patent/CN112581378A/zh
Application granted granted Critical
Publication of CN112581378B publication Critical patent/CN112581378B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本发明公开了一种基于显著性强度和梯度先验的图像盲去模糊方法和装置。首先基于观测到的模糊图像构建图像金字塔，将图像金字塔每一层尺度图像作为该层的初始的中间潜像，利用显著性强度先验提取图像的边缘信息得到中间潜像的显著性强度，对计算获得的中间潜像的梯度图像进行奇异值分解得到中间潜像的梯度矩阵；基于中间潜像、中间潜像的显著性强度以及梯度矩阵构建去模糊模型；基于构建的去模糊化模型，迭代优化得到最终模糊核；基于得到的模糊核以及模糊图像，采用非盲去模糊方法，得到最终清晰图像。本发明方法利用显著性强度先验提取图像的显著性边缘，利用梯度低秩先验抑制图像中的模糊和噪声像素，可以有效地实现图像去模糊。

Description

基于显著性强度和梯度先验的图像盲去模糊方法和装置
技术领域
本发明属于图像处理技术领域，涉及一种结合显著性强度先验和梯度低秩先验的图像盲去模糊的方法和装置。
背景技术
近年来，图像去模糊作为计算机视觉领域的热门研究问题之一而被广泛关注。根据模糊核(也称点扩散函数)是否已知，图像去模糊可以分为非盲去模糊和盲去模糊两类。由于在实际应用中，模糊核通常都是未知的，且对于很多领域而言，图像获取的场景无法多次实现，如监控、测量和医疗诊断等领域，因此，对模糊图像的盲复原有着非常重要的研究价值。
由于图像盲去模糊是一个病态问题，因此需要引入模糊图像中的某些先验信息，使病态问题的解具有唯一性和稳定性。通常会引入图像和模糊核的统计先验作为正则项来进行约束，如图像梯度，稀疏约束归一化稀疏先验，边缘信息先验或者指定的噪声先验。但是，传统的正则约束在面对复杂细节纹理的时候很难准确地估计出模糊核。
近年来，模糊图像盲复原针对单幅图像展开了大量的研究，并取得了相当的成功。Pan等人将用于图像去雾的暗通道先验作为新的先验成功应用于图像去模糊，利用模糊图像的暗通道稀疏性降低的特性来快速有效地进行图像复原。Pan等人组合图像的强度和梯度先验，在去除模糊的同时有效地保留了图像的显著纹理。Sun等人在全变分模型下提取了图像的结构信息，通过联合图像的结构来获得更高质量的模糊核估计，同时更好地保留了图像的边缘信息。Ren和Sun等人在图像梯度的基础上，加入了低秩约束项，更好地解决了噪声对模糊核估计的影响。由于图像边缘信息对模糊核的估计精准度起关键作用，而目前多数方法仅使用简单的图像边缘约束或梯度约束，无法准确地提取出图像的主体结构，使得估计得到的模糊核质量下降。
发明内容
本发明针对目前大多数基于统计先验的图像盲去模糊方法对边缘和细节恢复能力有限的问题。
为了解决上述技术问题，一方面本发明采用的技术方案为一种基于显著性强度和梯度先验的图像盲去模糊方法，包括以下步骤：
将图像获取设备采集到的模糊图像通过降采样进行金字塔分层，构建图像金字塔；
将图像金字塔每一层尺度图像作为该层的初始的中间潜像，利用显著性强度先验提取图像的边缘信息得到中间潜像的显著性强度，计算中间潜像的梯度图像，对中间潜像的梯度图像进行奇异值分解得到中间潜像的梯度矩阵的奇异值以及奇异值对应的系数；基于中间潜像、中间潜像的显著性强度以及梯度矩阵的奇异值和奇异值对应的系数构建去模糊模型；
基于构建的去模糊化模型，迭代优化得到最终模糊核；基于得到的模糊核以及模糊图像，采用非盲去模糊方法，得到最终清晰图像。
进一步地，基于构建的去模糊化模型，迭代优化得到最终模糊核的方法具体如下：
引入增广拉格朗日算子，得出去模糊模型的迭代模型，所述迭代模型包括基于中间潜像重构的迭代模型和模糊核的迭代模型；基于所述迭代模型从图像金字塔的顶层开始对每层尺度上的图像采用交替最小化算法进行交替迭代中间潜像和模糊核，迭代至满足收敛条件式，停止迭代，得到该层优化后的中间潜像和模糊核；将该层优化后的中间潜像和模糊核通过上采样，传输到下一层，作为下一层的初值；分别基于中间潜像重构的迭代模型和模糊核k的迭代模型逐层迭代中间潜像和模糊核，直至在底层估计出最终准确模糊核。本发明在优化求解过程中在迭代优化过程中，能够更好更快地收敛。
进一步地，在每一层尺度图像上，具体迭代过程如下：
8.1在第i层时，将上一层得到的中间潜像xi-1进行上采样，作为该层的中间潜像初值xi，0，并将模糊核ki-1进行插值，以增加模糊核的大小；
8.2用第i层的模糊图像yi和第i层的中间潜像初值xi，0，通过式(18)求得第i层的模糊核初值ki，0；
8.3用第i层的模糊图像yi和第i层的模糊核初值ki，0，通过式(19)的非盲去卷积方法得到第i层的第一次迭代获得的中间潜像值xi，1；
8.4通过式(12)求第i层的第一次迭代获得的辅助变量bi，1，通过式(13)求第i层的第一次迭代获得的辅助变量gi，1；
8.5利用自相似图像块，通过式(10)来重建中间潜像第i层的第二次迭代获得的xi，2；
8.6重复(8.2)-(8.5)步；判断下述条件是否成立：
Figure GDA0003754357300000031
其中，
Figure GDA0003754357300000032
表示模糊核的相似度，其定义为
Figure GDA0003754357300000033
M是模糊核k的像素数；Kn表示第n次迭代估计的模糊核，Kn-1表示第n-1次迭代估计的模糊核；如果成立则停止迭代，并将此时的中间潜像和模糊核通过上采样传输到下一层，并作为下一层的初值。
在另一方面，本发明提供一种基于显著性强度和梯度先验的图像盲去模糊系统，包括：
金字塔分层模块，用于将图像获取设备采集到的模糊图像y通过降采样进行金字塔分层，构建图像金字塔；
边缘信息提取模块，用于将图像金字塔每一层尺度图像作为该层的初始的中间潜像，利用显著性强度先验提取图像的边缘信息得到中间潜像的显著性强度，计算中间潜像的梯度图像，对中间潜像的梯度图像进行奇异值分解得到中间潜像的梯度矩阵的奇异值以及奇异值对应的系数；
去模糊模型构建模块，用于基于中间潜像、中间潜像的显著性强度以及梯度矩阵的奇异值和奇异值对应的系数构建去模糊模型；
模糊核确定模块，用于基于构建的去模糊化模型，迭代优化得到最终模糊核图像复原模块，基于得到的模糊核以及模糊图像，采用非盲去卷积方法得到最终清晰图像。
本发明所达到的有益效果：
本发明利用显著性强度先验提取图像的边缘信息，并结合梯度低秩先验抑制图像中的模糊和噪声干扰，能够准确地估计出模糊核，有效地抑制噪声影响，且得到的复原图像中含有更丰富的边缘和细节等特征；由于图像边缘信息对模糊核的估计精准度起关键作用，在迭代过程中先提取出图像中的显著性边缘，有利于使得复原图像中含有更丰富的边缘和细节等特征。同时利用低秩矩阵逼近方法，在矩阵奇异值分解过程中独立处理每一组奇异值，较大的奇异值被缩减得较少，而较小的奇异值被缩减得更多，以保持主要数据成分，从而使得该模型在重构矩阵的过程中能更好地保留图像本身的边缘和纹理细节，同时有效地消除噪声和条纹伪影；
本发明在优化求解过程中利用由半二次分裂的交替算法和增广拉格朗日法实现在迭代优化过程中，能够更好更快地收敛。
本发明针对采用显著性强度先验和梯度低秩先验相结合来共同约束中间潜像，利用显著性强度先验提取图像的显著性边缘，利用梯度低秩先验抑制图像中的模糊和噪声像素，由此构建的去模糊模型，基于该去模糊模型进行迭代优化求解的过程中，针对多尺度迭代过程中过大的计算成本，在每一层尺度图像上，迭代优化得到最终模糊核的方法，包括了自适应迭代策略，通过评估估计的模糊核的相似性来调整迭代次数，有效减少计算成本。
附图说明
图1为本发明实施例的实施示意图；
图2为本发明实施例分辨率为512*512的模糊图像在图像金字塔中逐层迭代过程示意图；
图3为本发明实施例每一层尺度上迭代示意图；
图4为本发明针对仿真实验的实验结果图。
具体实施方式
下面结合附图对本发明作更进一步的说明。
如图1所示，一种基于显著性强度和梯度先验的图像盲去模糊方法，包括如下步骤：
(1)对图像获取设备观测到的模糊图像通过降采样进行金字塔分层，构建图像金字塔{y0,y1,…,yn}，其中y0为原始观察图像，{y1,…,yn}为金字塔分解后不同尺度上的图像。
(2)定义中间潜像x中位置p处的像素xp显著值Sal(xp)为：
Figure GDA0003754357300000061
其中||·||表示强度的距离度量，X表示中间潜像图，xi表示中间潜像图第i个像素点的像素值，X的值在0-1的范围内。然后，对显著性值进行归一化和分类以检测最显著区域和最不显著区域。定义中间潜像x的显著性强度S(x)为：
Figure GDA0003754357300000062
xp表示中间潜像图第p个像素点的像素值，xSalmin表示最显著区域的最小临界值；
在模型中引入新的正则项||S(x)||0来测量显著性强度的稀疏性，有助于提取模糊图像中的显著结构。
(3)利用低秩矩阵逼近方法作用于图像梯度，能够实现从降质的梯度图像矩阵中重构出原低秩矩阵，并一定程度地去除图像中的模糊和噪声像素。对梯度图像矩阵进行奇异值分解，采用加权核范数最小化(WNNM)来进行优化求解。
加权核范数最小化的数学模型为：
Figure GDA0003754357300000063
这里是指一个数学模型公式，X表示矩阵X，Y表示矩阵Y，||X||F表示矩阵的F-范数(即Frobenius范数，其定义为：设A＝[aij]m*n是一个m*n矩阵，则
Figure GDA0003754357300000071
tr表示矩阵的迹。
||X||ω,*＝∑i|ωiσi(X)|，σi表示矩阵X的第i个奇异值，ωi表示第i个奇异值对应的系数。其封闭解为：
X＝USη(Σ)VT,(U,Σ,V)＝SVD(Y) (4)，
其中，(U,Σ,V)表示矩阵Y的奇异值分解；Sη为奇异值软阈值算子，Σ为对角矩阵，对角元素为Σii。
这个是矩阵奇异值分解的数学定义公式，SVD(Y)就是Y的奇异值分解的意思，将矩阵Y奇异值分解为U,Σ,V三个矩阵，U是分解出的一个矩阵，VT表示矩阵V的转置矩阵，Σ是一个对角矩阵，其对角元素为Σii，Sη为奇异值软阈值算子，Sη(Σ)表示对角矩阵Σ的软阈值函数值。
由于较大的奇异值主要传递结构信息，WNNM考虑了奇异值的先验信息，独立处理每一组奇异值的系数。在该模型中，较大的奇异值被缩减得较少，而较小的奇异值被缩减得更多，以保持主要数据成分，从而使得该模型在重构矩阵的过程中能更好地保留图像本身的边缘和纹理细节，同时有效地消除噪声和条纹伪影。
(4)在最大后验概率((Maximum a posteriori estimation,简称MAP))框架下构建去模糊模型。通过求解去模糊模型表达式(5)，迭代优化中间潜像和模糊核。
Figure GDA0003754357300000072
其中，y表示观测到的模糊图像，x表示待优化的中间潜像，k表示模糊核，S(x)是中间潜像的显著性强度，
Figure GDA0003754357300000073
是像素xi的梯度值，γ，λ和σ为正项权重系数；
Figure GDA0003754357300000074
为梯度矩阵
Figure GDA0003754357300000075
的加权核范数，其定义为
Figure GDA0003754357300000076
其中，σi表示矩阵
Figure GDA0003754357300000077
的第i个奇异值，ωi表示第i个奇异值对应的系数。
对上述模型表达式(5)通过基于半二次分裂的交替最小化算法来进行有效求解。也就是说，通过假设其中一个是已知的来分别估计中间潜像和模糊核。那么，表达式(5)可以转化为中间潜像和模糊核的迭代表达式，如式(6)所示。
Figure GDA0003754357300000081
(5)中间潜像的迭代优化求解步骤如下：
通过引入新的辅助变量b、g分别与S(x)、
Figure GDA0003754357300000082
相对应，其中g＝(gh,gv)T。通过引入新的辅助变量b、g分别与S(x)、
Figure GDA0003754357300000083
相对应，其中g＝(gh,gv)T，gh和gv分别表示辅助变量g的水平分量和垂直分量。那么表达式(6)中中间潜像x的优化迭代式转化为：
Figure GDA0003754357300000084
其中λ和σ为正项权重系数；b和g为引入新的辅助变量，分别与中间潜像的显著性强度S(x)和中间潜像的矩阵
Figure GDA0003754357300000085
相对应，其中g＝(gh,gv)T，gh和gv分别表示辅助变量g的水平分量和垂直分量，
Figure GDA0003754357300000087
表示辅助变量g在第i个像素点的加权核范数最小化；
引入增广拉格朗日算子，将上式(7)的约束问题转化为无约束优化问题来求解，将式(7)转化为：
Figure GDA0003754357300000086
其中，α和β为正项惩罚系数。类似的采用半二次分裂算法，通过固定x,b,g中的任意两个变量来交替求解另一个变量。那么，式(8)的优化问题就转化成了3个子问题。
(5.1)x的求解过程为：
通过固定辅助变量b和g，将表达式(8)转化为x的优化迭代式，如下(9)所示：
Figure GDA0003754357300000091
这是一个最小二乘化问题，其中含有Tikhonov正则化问题，其闭合形式解可以通过FFT来求解。其解决方案如下：
Figure GDA0003754357300000092
其中，
Figure GDA0003754357300000093
F(·)和F-1(·)分别表示傅里叶变换和逆傅里叶变换，
Figure GDA0003754357300000094
表示复共轭算子，
Figure GDA0003754357300000095
表示图像的梯度算子。
(5.2)辅助变量b的求解过程为：
通过固定中间潜像x和辅助变量g，将表达式(8)转化为b的优化迭代式，如下(11)所示：
Figure GDA0003754357300000096
这是一个像素最小化问题，其闭合解可以表示为：
Figure GDA0003754357300000097
(5.3)辅助变量g的求解过程为：
通过固定中间潜像x和辅助变量b，将表达式(8)转化为g的优化迭代式，如下(13)所示：
Figure GDA0003754357300000098
其中，将权重向量定义为
Figure GDA0003754357300000101
其中，m表示式(13)中梯度矩阵
Figure GDA0003754357300000102
的列数，即选择的非局部自相似图像分块的数目，
Figure GDA0003754357300000103
表示矩阵
Figure GDA0003754357300000104
的奇异值，ε表示误差项。
在式(13)中，
Figure GDA0003754357300000105
的初值可以表示为：
Figure GDA0003754357300000106
其中s为模糊核的大小，
Figure GDA0003754357300000107
表示梯度矩阵的
Figure GDA0003754357300000108
奇异值，
Figure GDA0003754357300000109
表示梯度矩阵
Figure GDA00037543573000001010
的奇异值估计初值，σj表示矩阵
Figure GDA00037543573000001011
进行奇异值分解的第j个奇异值，j是奇异值分解里的第j个，
Figure GDA00037543573000001012
表示中间潜像梯度图
Figure GDA00037543573000001013
的第i个像素值，yi表示模糊图像y的第i个像素值，m表示梯度矩阵
Figure GDA00037543573000001014
的列数，s表示模糊核大小。
在迭代过程中，
Figure GDA00037543573000001015
的估计为：
Figure GDA00037543573000001016
其中，η表示迭代系数，t表示第t次迭代，
Figure GDA00037543573000001017
表示第t次迭代中梯度矩阵
Figure GDA00037543573000001018
的奇异值估计值，σj表示矩阵
Figure GDA00037543573000001019
进行奇异值分解的第j个奇异值，
Figure GDA00037543573000001020
表示第t-1次迭代中梯度矩阵
Figure GDA00037543573000001021
第i个像素点的像素值，yi表示模糊图像y的第i个像素点的像素值，t表示第t次迭代。当获得权重向量ω后，估计梯度图像
Figure GDA00037543573000001022
的奇异值可以通过软阈值收缩操作有效求解。
Sω(∑)ii＝max(∑ii-ωj,0) (16)，
Sω(∑)ii表示软阈值算子，∑ii表示矩阵∑中的每个对角元素，矩阵∑为矩阵
Figure GDA00037543573000001023
奇异值分解
Figure GDA00037543573000001024
中的对角矩阵；
利用梯度图上的非局部自相似性更新中间潜像。利用图像的自相似性，将非局部相似块重组成一个新的矩阵，该矩阵具有低秩特性，且具有稀疏的奇异值。对该矩阵进行奇异值分解，通过缩小较小的奇异值，可以减少噪声和模糊像素；保留较大的奇异值，可以保留图像本身的边缘和纹理信息。通过对梯度图中的每个分块应用上述过程，实现重建中间梯度图
Figure GDA0003754357300000111
(6)模糊核的迭代优化求解步骤如下：
通过固定中间潜像x来对模糊核k进行优化。同时为了更好地提取图像边缘，在梯度图上进行迭代优化。那么表达式(6)中模糊核k的优化迭代式转化为：
Figure GDA0003754357300000112
这与式(5)一样也是一个最小二乘化问题，其闭合形式解为：
Figure GDA0003754357300000113
(7)基于模糊图像和确定模糊核，采用非盲去模糊方法，得到最终清晰图像。在具体实施例中，在已经估计出模糊核k的情况下，为了获得具有更好纹理的潜像，
采用超拉普拉斯的非盲去卷积方法来实现对中间潜像的修复。该非盲去卷积可以表示为：
Figure GDA0003754357300000114
其中，λf为权重系数，取λf＝3e-3,
Figure GDA0003754357300000115
和
Figure GDA0003754357300000116
为潜像x在x和y方向的偏导数。
具体实施例中逐层迭代优化过程如图2所示。图2示出了分辨率为512*512的模糊图像在图像金字塔，从顶层开始采用交替最小化算法进行交替迭代中间潜像和模糊核，迭代至满足收敛条件式，停止迭代，得到该层优化后的中间潜像和模糊核；将该层优化后的中间潜像和模糊核通过上采样，传输到下一层，作为下一层的初值，逐层上采样至最后一层，直至在底层估计出最终准确模糊核。
(8)在每一层尺度图像上，具体迭代过程如下(如图3所示)：
(8.1)在第i层时，将上一层得到的中间潜像xi-1进行上采样，作为该层的中间潜像初值xi，0，并将模糊核ki-1进行插值，以增加模糊核的大小；
(8.2)用第i层的模糊图像yi和第i层的中间潜像初值xi，0，通过式(18)求得第i层的模糊核初值ki，0；
(8.3)用第i层的模糊图像yi和第i层的模糊核初值ki，0，通过式(19)的非盲去卷积方法得到第i层的第一次迭代获得的中间潜像值xi，1；
(8.4)通过式(12)求第i层的第一次迭代获得的辅助变量bi，1，通过式(13)求第i层的第一次迭代获得的辅助变量gi，1；
(8.5)利用自相似图像块，通过式(10)来重建中间潜像第i层的第二次迭代获得的xi，2；
(8.6)重复(8.2)-(8.5)步，判断下述条件是否成立：
Figure GDA0003754357300000121
其中，
Figure GDA0003754357300000122
为模糊核的相似度，表达式为：
Figure GDA0003754357300000123
M是模糊核k的像素数。如果成立则停止迭代，并将此时的中间潜像和模糊核通过上采样传输到下一层，并作为下一层的初值。通过引入模糊核的相似度
Figure GDA0003754357300000124
实现自适应迭代策略，通过评估估计的模糊核的相似性来调整迭代次数，有效减少计算成本。
(9)在金字塔的底层，交替迭代得到最终精确模糊核后，采用式(19)的超拉普拉斯非盲去卷积来实现对清晰图像的复原。
在另一实施例中，提供了一种基于显著性强度和梯度先验的多尺度图像盲去模糊系统，包括：
金字塔分层模块，用于将图像获取设备采集到的模糊图像y通过降采样进行金字塔分层，构建图像金字塔；
边缘信息提取模块，用于将图像金字塔每一层尺度图像作为该层的初始的中间潜像，利用显著性强度先验提取图像的边缘信息得到中间潜像的显著性强度，计算中间潜像的梯度图像，对中间潜像的梯度图像进行奇异值分解得到中间潜像的梯度矩阵的奇异值以及奇异值对应的系数；去模糊模型构建模块，用于基于中间潜像、中间潜像的显著性强度以及梯度矩阵的奇异值和奇异值对应的系数构建去模糊模型；
本发明效果可以通过以下实验效果进一步说明。
实验条件：
本实验的运行环境为Windows 10，运行软件为MATLAB R2017a。实验中具体参数设置为：式(5)中取γ＝1，λ＝σ＝0.01，式(8)中取α＝β＝0.01，式(15)中取η＝1，本实验设置金字塔层数为7层，逐层之间的缩放因子为
Figure GDA0003754357300000131
模糊核初始化大小为7*7。
实验内容：
根据具体的实验参数设置，对多种图像去模糊算法进行实验仿真，得出具体实验结果如下所示。图4包括4(a)～4(g)，其中4(a)为模糊图像，4(b)-4(g)为6种不同的去模糊算法。4(a)～4(g)每个图都包括5组彩色图像，从上到下依次为Carton图、House图、Roman图、Buddha图和Building图。从左到右依次为Pan、Hu、Pan、Ren、Zhao和本发明算法。图中右下角为估计得到的模糊核，右上角为复原图像中的细节放大部分。(为了不遮挡细节，Carton图的模糊核在左上角)。
如图4所示，4(b)组的Roman图像中，拱门的边缘处有明显的伪影；4(c)组的Building图像和House图像中，字母文字的形状、砖瓦的边界都没有得到有效保持；4(d)组的House图像中，模糊图像中原本有一块白色的砖瓦，但是在复原过程中该砖瓦被滤除了。虽然轮廓边缘都较好的保留了下来，但是丢失了部分细节信息，对振铃效应的抑制效果较差。4(e)组的House图像和Roman图像中，砖瓦的边界和拱门的边缘都没有得到有效保持，边缘处有明显的伪影，且细节信息振铃效应严重。4(f)组的Carton和Roma图像中，字母和拱门的轮廓处存在少量伪影和振铃效应。
本发明提出的方法考虑到真实模糊图像含噪声的情况，采用低秩先验对噪声进行约束的同时，采用显著性强度先验复原模糊图像的边缘和细节信息。实验结果表明本发明的算法能够有效的抑制噪声影响，振铃效应明显减少，且得到的复原图像中含有更丰富的边缘和细节等特征。
表1为本发明具体实施例针对仿真实验的实验数据。表1的数据表明，本发明算法复原得到的图像整体上PSNR值更高，且MSE值更低，复原图像效果更好。
表1本发明具体实施例针对仿真实验的实验数据
Figure GDA0003754357300000151
本发明方法可以有效地实现图像去模糊，对于从图像获取设备如摄像机、照相机或扫描仪等设备实际拍摄的模糊图像中尽可能地恢复出关键有用的信息，具有重要的实际意义。该方法可应用到实际工程技术领域，如天文观测、遥感图像、目标识别、医学影像、按键侦破等。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (9)

1.一种基于显著性强度和梯度先验的图像盲去模糊方法，其特征在于包括以下步骤：
将图像获取设备采集到的模糊图像通过降采样进行金字塔分层，构建图像金字塔；
将图像金字塔每一层尺度图像作为该层的初始的中间潜像，利用显著性强度先验提取图像的边缘信息得到中间潜像的显著性强度，计算中间潜像的梯度图像，对中间潜像的梯度图像进行奇异值分解得到中间潜像的梯度矩阵的奇异值以及奇异值对应的系数；基于中间潜像、中间潜像的显著性强度以及梯度矩阵的奇异值和奇异值对应的系数构建去模糊模型；
基于构建的去模糊化模型，迭代优化得到最终模糊核；基于得到的模糊核以及模糊图像，采用非盲去模糊方法，得到最终清晰图像；
所述去模糊模型的表达式如下：
Figure FDA0003754357290000011
其中，y表示模糊图像，x表示待优化的中间潜像，k表示模糊核，S(x)是中间潜像的显著性强度，
Figure FDA0003754357290000012
是像素xi的梯度值，γ、λ和σ为正项权重系数；
Figure FDA0003754357290000013
为梯度矩阵
Figure FDA0003754357290000014
的加权核范数，其定义为
Figure FDA0003754357290000015
其中，
Figure FDA0003754357290000016
表示矩阵
Figure FDA0003754357290000017
的第i个奇异值，ωi表示第i个奇异值对应的系数。
2.根据权利要求1所述的一种基于显著性强度和梯度先验的图像盲去模糊方法，其特征在于，基于构建的去模糊化模型，迭代优化得到最终模糊核的方法具体如下：
引入增广拉格朗日算子，得出去模糊模型的迭代模型，所述迭代模型包括基于中间潜像重构的迭代模型和模糊核的迭代模型；基于所述迭代模型从图像金字塔的顶层开始对每层尺度上的图像采用交替最小化算法进行交替迭代中间潜像和模糊核，迭代至满足收敛条件式，停止迭代，得到该层优化后的中间潜像和模糊核；将该层优化后的中间潜像和模糊核通过上采样，传输到下一层，作为下一层的初值；分别基于中间潜像重构的迭代模型和模糊核k的迭代模型逐层迭代中间潜像和模糊核，直至在底层估计出最终准确模糊核。
3.根据权利要求2所述的一种基于显著性强度和梯度先验的图像盲去模糊方法，其特征是：所述中间潜像重构的迭代模型的表达式如下：
Figure FDA0003754357290000021
其中，α和β为正项惩罚系数；b和g为引入新的辅助变量，分别与中间潜像的显著性强度S(x)和中间潜像的矩阵
Figure FDA0003754357290000022
相对应，其中g＝(gh,gv)T，gh和gv分别表示辅助变量g的水平分量和垂直分量，||gi||w,*表示辅助变量g在第i个像素点的加权核范数最小化。
4.根据权利要求3所述的一种基于显著性强度和梯度先验的图像盲去模糊方法，其特征是：对所述中间潜像重构的迭代模型的表达式的求解方法包括：采用基于半二次分裂算法的交替最小化算法，将式(8)的优化问题转化成3个子问题的优化，分别如下；
(a)中间潜像x的求解过程为：
固定辅助变量b和g，通过FFT来求解，表达式如下：
Figure FDA0003754357290000031
其中，
Figure FDA0003754357290000032
F(·)和F-1(·)分别表示傅里叶变换和逆傅里叶变换，
Figure FDA0003754357290000033
表示复共轭算子；
Figure FDA0003754357290000034
表示图像的梯度算子；
(b)辅助变量b的求解过程为：
通过固定中间潜像x和辅助变量g，通过求解像素最小化问题，其闭合解表示为
Figure FDA0003754357290000035
(c)辅助变量g的求解过程为：
通过固定中间潜像x和辅助变量b，将表达式(8)转化为g的优化迭代式，如下(13)所示：
Figure FDA0003754357290000036
其中，将权重向量定义为
Figure FDA0003754357290000037
其中，m表示式(13)中梯度矩阵
Figure FDA00037543572900000310
的列数，即选择的非局部自相似图像分块的数目，
Figure FDA00037543572900000312
表示矩阵
Figure FDA00037543572900000311
的第i个奇异值，ε表示误差项；
通过固定中间潜像x和辅助变量b，通过迭代进行优化求解，其迭代初值为：
Figure FDA0003754357290000038
其中，
Figure FDA0003754357290000039
表示梯度矩阵
Figure FDA00037543572900000313
的奇异值估计初值，j表示矩阵
Figure FDA00037543572900000314
进行奇异值分解的第j个奇异值，
Figure FDA00037543572900000414
表示中间潜像梯度图
Figure FDA00037543572900000415
的第i个像素值，m表示梯度矩阵
Figure FDA00037543572900000413
的列数，s表示模糊核大小；
在迭代过程中，
Figure FDA00037543572900000416
的估计为：
Figure FDA0003754357290000041
其中，η表示迭代系数，
Figure FDA00037543572900000412
表示第t次迭代中梯度矩阵
Figure FDA00037543572900000417
的奇异值估计值，
Figure FDA00037543572900000411
表示第t-1次迭代中梯度矩阵
Figure FDA00037543572900000418
第i个像素点的像素值，yi表示模糊图像y的第i个像素点的像素值，t表示第t次迭代；
当获得权重向量ω后，估计梯度图像
Figure FDA00037543572900000410
的奇异值通过软阈值收缩操作进行收缩；
Sω(∑)ii＝max(∑ii-ωj,0) (16)，
Sω(∑)ii表示软阈值算子，∑ii表示矩阵∑中的每个对角元素，矩阵∑为矩阵
Figure FDA0003754357290000049
奇异值分解
Figure FDA0003754357290000048
中的对角矩阵，ωj表示第j个奇异值对应的系数。
5.根据权利要求4所述的一种基于显著性强度和梯度先验的图像盲去模糊方法，其特征是：权重向量定义为：
Figure FDA0003754357290000042
其中，m表示梯度矩阵
Figure FDA0003754357290000047
的列数，σj(·)表示矩阵
Figure FDA0003754357290000046
的奇异值，j是奇异值分解里的第j个，ε表示误差项。
6.根据权利要求5所述的一种基于显著性强度和梯度先验的图像盲去模糊方法，其特征是：模糊核k的迭代模型表达式如下：
Figure FDA0003754357290000043
其中
Figure FDA0003754357290000045
表示中间潜像x的梯度图，
Figure FDA0003754357290000044
表示模糊图像y的梯度图；
通过FFT求解，其闭合形式解为：
Figure FDA0003754357290000051
7.根据权利要求6所述的方法，其特征是：在金字塔的底层，交替迭代得到最终精确模糊核后，采用式(19)的超拉普拉斯非盲去卷积来实现对清晰图像的复原，所述非盲去卷积表示为：
Figure FDA0003754357290000052
其中，λf为权重系数，
Figure FDA0003754357290000054
和
Figure FDA0003754357290000055
为潜像x在x和y方向的偏导数，y表示模糊图像，x表示待优化的中间潜像，k表示模糊核。
8.根据权利要求7所述的一种基于显著性强度和梯度先验的图像盲去模糊方法，其特征是：在每一层尺度图像上，具体迭代过程如下：
8.1在第i层时，将上一层得到的中间潜像xi-1进行上采样，作为该层的中间潜像初值xi，0，并将模糊核ki-1进行插值，以增加模糊核的大小；
8.2用第i层的模糊图像yi和第i层的中间潜像初值xi，0，通过式(18)求得第i层的模糊核初值ki，0；
8.3用第i层的模糊图像yi和第i层的模糊核初值ki，0，通过式(19)的非盲去卷积方法得到第i层的第一次迭代获得的中间潜像值xi，1；
8.4通过式(12)求第i层的第一次迭代获得的辅助变量bi，1，通过式(13)求第i层的第一次迭代获得的辅助变量gi，1；
8.5利用自相似图像块，通过式(10)来重建中间潜像第i层的第二次迭代获得的xi，2；
8.6重复8.2-8.5步骤；判断下述条件是否成立：
Figure FDA0003754357290000053
其中，
Figure FDA0003754357290000061
表示模糊核的相似度，其定义为
Figure FDA0003754357290000062
M是模糊核k的像素数；Kn表示第n次迭代估计的模糊核，Kn-1表示第n-1次迭代估计的模糊核；如果成立则停止迭代，并将此时的中间潜像和模糊核通过上采样传输到下一层，并作为下一层的初值。
9.一种基于显著性强度和梯度先验的图像盲去模糊系统，其特征是，包括：
金字塔分层模块，用于将图像获取设备采集到的模糊图像y通过降采样进行金字塔分层，构建图像金字塔；
边缘信息提取模块，用于将图像金字塔每一层尺度图像作为该层的初始的中间潜像，利用显著性强度先验提取图像的边缘信息得到中间潜像的显著性强度，计算中间潜像的梯度图像，对中间潜像的梯度图像进行奇异值分解得到中间潜像的梯度矩阵的奇异值以及奇异值对应的系数；去模糊模型构建模块，用于基于中间潜像、中间潜像的显著性强度以及梯度矩阵的奇异值和奇异值对应的系数构建去模糊模型；
模糊核确定模块，用于基于构建的去模糊化模型，迭代优化得到最终模糊核；
图像复原模块，用于基于得到的模糊核以及模糊图像，采用非盲去卷积方法得到最终清晰图像；
所述去模糊模型的表达式如下：
Figure FDA0003754357290000063
其中，y表示模糊图像，x表示待优化的中间潜像，k表示模糊核，S(x) 是中间潜像的显著性强度，
Figure FDA0003754357290000072
是像素xi的梯度值，γ、λ和σ为正项权重系数；
Figure FDA0003754357290000073
为梯度矩阵
Figure FDA0003754357290000074
的加权核范数，其定义为
Figure FDA0003754357290000071
其中，
Figure FDA0003754357290000075
表示矩阵
Figure FDA0003754357290000076
的第i个奇异值，ωi表示第i个奇异值对应的系数。
CN201910940501.0A 2019-09-30 2019-09-30 基于显著性强度和梯度先验的图像盲去模糊方法和装置 Active CN112581378B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910940501.0A CN112581378B (zh) 2019-09-30 2019-09-30 基于显著性强度和梯度先验的图像盲去模糊方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910940501.0A CN112581378B (zh) 2019-09-30 2019-09-30 基于显著性强度和梯度先验的图像盲去模糊方法和装置

Publications (2)

Publication Number Publication Date
CN112581378A CN112581378A (zh) 2021-03-30
CN112581378B true CN112581378B (zh) 2022-09-13

Family

ID=75116250

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910940501.0A Active CN112581378B (zh) 2019-09-30 2019-09-30 基于显著性强度和梯度先验的图像盲去模糊方法和装置

Country Status (1)

Country Link
CN (1) CN112581378B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177890B (zh) * 2021-04-27 2023-04-18 深圳市慧鲤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN113313655B (zh) * 2021-06-28 2022-09-23 合肥工业大学 一种基于显著性映射和梯度倒频谱技术的盲图像去模糊方法
CN114862714A (zh) * 2022-05-07 2022-08-05 福州大学 一种基于结构提取的自然图像去模糊方法
CN116167948B (zh) * 2023-04-21 2023-07-18 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种基于空变点扩散函数的光声图像复原方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106339996A (zh) * 2016-09-09 2017-01-18 江南大学 一种基于超拉普拉斯先验的图像盲去模糊方法
US20170316552A1 (en) * 2016-04-27 2017-11-02 Ramot At Tel-Aviv University Ltd. Blind image deblurring via progressive removal of blur residual
CN109697691A (zh) * 2018-12-27 2019-04-30 重庆大学 一种基于l0范数和奇异值阈值分解的双正则项优化的有限角投影重建方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170316552A1 (en) * 2016-04-27 2017-11-02 Ramot At Tel-Aviv University Ltd. Blind image deblurring via progressive removal of blur residual
CN106339996A (zh) * 2016-09-09 2017-01-18 江南大学 一种基于超拉普拉斯先验的图像盲去模糊方法
CN109697691A (zh) * 2018-12-27 2019-04-30 重庆大学 一种基于l0范数和奇异值阈值分解的双正则项优化的有限角投影重建方法

Also Published As

Publication number Publication date
CN112581378A (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
CN112581378B (zh) 基于显著性强度和梯度先验的图像盲去模糊方法和装置
Wu et al. Fast end-to-end trainable guided filter
CN110119780B (zh) 基于生成对抗网络的高光谱图像超分辨重建方法
CN106920220B (zh) 基于暗原色和交替方向乘子法优化的湍流图像盲复原方法
Xu et al. A fast patch-dictionary method for whole image recovery
CN111080675B (zh) 一种基于时空约束相关滤波的目标跟踪方法
CN110210524B (zh) 一种图像增强模型的训练方法、图像增强方法及装置
CN104680491A (zh) 一种基于深度神经网络的图像非均匀运动模糊去除方法
CN113808032A (zh) 多阶段渐进式的图像去噪算法
CN111340697B (zh) 一种基于聚类回归的图像超分辨方法
CN112419153A (zh) 图像超分辨率重建方法、装置、计算机设备和存储介质
CN110830043B (zh) 一种基于混合加权全变分和非局部低秩的图像压缩感知重构方法
CN112801104B (zh) 基于语义分割的图像像素级伪标签确定方法及系统
CN114723630A (zh) 基于空洞双残差多尺度深度网络的图像去模糊方法及系统
Simoes et al. A framework for fast image deconvolution with incomplete observations
CN112233046A (zh) 一种柯西噪声下的图像复原方法及其应用
CN115578262A (zh) 基于afan模型的偏振图像超分辨率重建方法
CN109064402A (zh) 基于增强非局部总变分模型先验的单幅图像超分辨率重建方法
Wen et al. Learning flipping and rotation invariant sparsifying transforms
Jiang et al. A new nonlocal means based framework for mixed noise removal
CN112837220B (zh) 一种提高红外图像分辨率的方法及其用途
Wen et al. The power of complementary regularizers: Image recovery via transform learning and low-rank modeling
CN109948571B (zh) 一种光学遥感图像船舶检测方法
Suryanarayana et al. Deep Learned Singular Residual Network for Super Resolution Reconstruction.
CN111028168A (zh) 一种含噪声模糊的高能闪光图像去模糊方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant