CN112801899A - 基于互补结构感知的内外循环驱动图像盲去模糊方法和装置 - Google Patents

Abstract

本发明公开了基于互补结构感知的内外循环驱动图像盲去模糊方法和装置，图像处理技术领域，方法包括：输入模糊图像并利用图像先验知识获得模糊图像的初始模糊核；基于L0+RDP正则化模型和初始化模糊核对模糊图像进行非盲去模糊的迭代处理；判断所述迭代处理是否达到预设最大迭代次数，若达到预设最大迭代次数时，停止迭代处理，获得最终的中间模糊核，利用最终的中间模糊核对输入的模糊图像进行非盲去模糊处理，获得去模糊的最终清晰图像。本发明的方法和装置在图像梯度L0稀疏先验的基础上引入了一个RDP函数作为正则项，能够在区分图像边缘陡度的情况下较好地保留图像边缘信息，提高去模糊结果的精度，进而能够更好地估计出模糊核和清晰图像。

Description

基于互补结构感知的内外循环驱动图像盲去模糊方法和装置

技术领域

本发明涉及图像处理技术领域，尤其涉及基于互补结构感知的内外循环驱动图像盲去模糊方法和装置。

背景技术

近年来，随着科学技术的迅速发展，各种移动数码设备进入人们的生活使得人们更加容易的记录生产生活中的瞬间。作为信息传递的载体——图像，与人类生活紧密相连，成为当今社会人们获取信息，传递信息的一种重要途径。然而，在图像拍摄的过程中，往往会由于拍摄物体运动，设备质量，相机抖动等各种不可避免的因素导致图像质量退化变成模糊图像。信息丢失会严重阻碍人们对图像中信息的读取例如，图像中文字，人脸等重要信息。利用生成的模糊图像信息可以获取对应的清晰图像，但是在图像生成过程中存在许多未知参数，所以在估计清晰图像的同时还要估计对应的模糊核，这种在模糊核未知的情况下估计清晰图像就是图像的盲去模糊。图像盲去模糊是图像成像过程中一个具有挑战性的信号处理问题。

图像盲去模糊是一个不确定的问题，因为存在大量的模糊核和清晰图像可以生成同一个模糊图像，图像退化的数学模型可以表示为：y＝k*x+n，其中y，x和n分别表示输入的模糊图像，需要恢复的清晰图像(原始图像)和随机高斯噪声。k表示模糊核也被称为是点扩散函数，表示一个像素沿着某个运动轨迹的扩散过程，*表示卷积操作。

从数学角度理解，图像盲去模糊就是通过给定的模糊图像y恢复出对应的清晰图像x和模糊核k，这是一个高度欠定的问题，因为从一个给定的模糊图像y中可以恢复出大量对应的清晰图像x和模糊核k。

一般采用交替求解的方法对模糊核和清晰图像分开估计，即，

首先粗略估计图像的模糊核k，然后利用初步估计的模糊核k对图像进行非盲反卷积估计中间清晰图像x。

反复迭代交替估计模糊核和清晰图像，最终可以得到一个接近真实清晰图像的近似解。这是一个高度欠定的问题，需要引入其他信息来约束这个问题，使得求解的结果更接近真实的清晰图像。

为了求解该数学模型，通常将其转换成最大后验概率求解的问题：

第一项

称为数据保真项，第二项φ(x)表示图像的先验知识，第三项表示模糊核的先验知识。

传统方法一般是在最大后验概率(MAP)框架的基础上引入图像梯度的L0范数作为图像先验知识进行盲去模糊，最近，Pan等人在图像梯度L0范数的基础上又结合了图像暗通道的稀疏性实现自然图像的盲去模糊，实验表明该方法在自然图像的去模糊问题上取得了不错的效果，具有很高的鲁棒性，并且可以推广到非均匀去模糊中去；但是Yan等人发现当输入图像包含较少或者不存在暗像素时，那么暗通道先验可能对中间图像的估计效果不太好。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种基于互补结构感知的内外循环驱动图像盲去模糊方法和装置，在图像梯度L0稀疏先验的基础上引入了一个RDP函数作为正则项，能够在区分图像边缘陡度的情况下较好地保留图像边缘信息，提高去模糊结果的精度，进而能够更好地估计出模糊核和清晰图像。

为达到上述目的，本发明是采用下述技术方案实现的：

第一方面，本发明提供了一种基于互补结构感知的内外循环驱动图像盲去模糊方法，包括如下步骤：

输入模糊图像并利用图像先验知识获得模糊图像的初始模糊核；

基于L0+RDP正则化模型和初始化模糊核对模糊图像进行非盲去模糊的迭代处理；

判断所述迭代处理是否达到预设最大迭代次数，若达到预设最大迭代次数时，停止迭代处理，获得最终的中间模糊核；

利用最终的中间模糊核对输入的模糊图像进行非盲去模糊处理，获得去模糊的最终清晰图像。

进一步的，基于L0+RDP正则化模型和初始化模糊核对模糊图像进行非盲去模糊的迭代处理的方法包括如下步骤：

将初始模糊核代入基于L0+RDP正则化模型的清晰图像模型中对输入模糊图像进行求解获取中间清晰图像并作为下一次迭代处理的输入模糊图像；

将当前迭代处理中获取的中间清晰图像代入基于L0+RDP正则化模型的中间模糊核模型中进行求解获取中间模糊核，用于在下一次迭代处理中计算求解中间清晰图像；

依次迭代处理，直至达到预设最大迭代次数。

进一步的，所述中间清晰图像模型表示为：

式中，x⁽ⁿ⁾表示的是第n次迭代求解后得到的待求解中间清晰图像，

表示目标函数为最小值x、u、g时所取的值，u、g是引入的辅助变量，分别对应图像x和图像梯度

表示的是第(n-1)次迭代求解后的待求解中间清晰图像，k^(n-1)表示第(n-1)次迭代求解后的中间模糊核，y表示模糊图像，*表示卷积运算，

表示L2范数的平方，

表示图像x^(n-1)的梯度，||.||₀表示L0范数，λ、η、α_x是正则项系数，μ、β是引入变量的系数，

表示的是图像梯度

的能量正则项，p是图像域Ω(u)里的一个像素点，||.||₂表示L2范数，γ、ε都是为了避免分母

为0的正数。

进一步的，所述中间模糊核模型表示为：

式中，k⁽ⁿ⁾表示的是第n次迭代求解后获得的中间模糊核，

表示目标函数为最小值k时所取得值，

表示的是第n次迭代求解后的清晰图像的梯度，k^(n-1)表示第(n-1)次求解后的中间模糊核，

表示模糊图像y的梯度，*表示卷积运算，

表示L2范数的平方，α_k是正则项系数。

进一步的，初始化引入变量的系数μ＝2α_xη，β＝2α_x，引入的辅助变量g＝0，u＝0。

进一步的，迭代处理过程中求解中间模糊核的方法包括如下步骤：

利用当前迭代处理的中间清晰图像对所述L0+RDP正则化模型中的正则系数进行更新，利用更新的正则系数求解中间模糊核。

第二方面，本发明提供了一种装置，包括如下模块：

初始化模块，用于输入模糊图像并利用图像先验知识获得模糊图像的初始模糊核；

迭代处理模块，用于基于L0+RDP正则化模型和初始化模糊核对模糊图像进行非盲去模糊的迭代处理；

判断迭代模块，用于判断所述迭代处理是否达到预设最大迭代次数，若达到预设最大迭代次数时，获得最终的中间模糊核；

图像获取模块，用于利用最终的中间模糊核对输入的模糊图像进行非盲去模糊处理，获得去模糊的最终清晰图像。

第三方面，本发明提供了一种装置，包括处理器和存储介质，所述存储介质用于存储指令；

所述处理器用于根据所述指令进行操作以执行第一方面中所述方法的步骤。

与现有技术相比，本发明所达到的有益效果：

本发明基于互补结构感知，能够更精细地鉴别图像的边缘陡度，保证显著性边缘的提取，同时实现一定程度的结构感知平滑，从而提高了估计的清晰图像效果；

本发明的方法在图像边缘不突出的情况下保留图像边缘信息，在Lai数据集上的效果高于目前的已知方法，具有更高的有效性和较强的鲁棒性。

附图说明

图1是本发明实施例提供的一种基于互补结构感知的内外循环驱动图像盲去模糊方法的流程图；

图2是本发明实施例提供的一种基于互补结构感知的内外循环驱动图像盲去模糊方法与其他方法的效果对比图；

图3是本发明实施例提供的一种基于互补结构感知的内外循环驱动图像盲去模糊装置的框图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。

如图1所示，本发明实施例提供了一种基于互补结构感知的内外循环驱动图像盲去模糊方法，包括如下步骤：

输入模糊图像并利用图像先验知识获得模糊图像的初始模糊核；

基于L0+RDP正则化模型和初始化模糊核对模糊图像进行非盲去模糊的迭代处理；

判断所述迭代处理是否达到预设最大迭代次数，若达到预设最大迭代次数时，停止迭代处理，获得最终的中间模糊核；

利用最终的中间模糊核对输入的模糊图像进行非盲去模糊处理，获得去模糊的最终清晰图像。

该方法在图像梯度L0稀疏先验的基础上引入RDP正则项，对自然图像进行盲去模糊，可以更加精细地鉴别区分图像的边缘陡度，保证显著性结构的提取，提高去模糊结果的精度。根据梯度小的图像所提供的能量大于梯度大的图像，通过设置RDP正则项中的参数值可以使其满足这个性质，将其作为图像盲去模糊的先验。

本发明实施例提供的基于互补结构感知的内外循环驱动图像盲去模糊方法的具体步骤描述如下：

1)输入模糊图像y，其模糊核为k，待求解的清晰图像为x；

2)初始化待求解的图像x为模糊图像y，初始化μ＝2α_xη，β＝2α_x，初始化λ，α_x等参数；

3)利用模糊核和图像交替求解的方法由粗到细求解模糊核k：

①对模糊核粗略估计为k⁽⁰⁾，初始化迭代次数n＝1；

②根据上面粗略估计的初始模糊核，利用下面的公式求解清晰的中间清晰图像：

其中，x⁽ⁿ⁾表示的是第n次迭代求解后得到的待求解中间清晰图像，

表示目标函数为最小值x、u、g时所取的值，u、g是引入的辅助变量，分别对应图像x和图像梯度

表示的是第(n-1)次迭代求解后的待求解中间清晰图像，k^(n-1)表示第(n-1)次迭代求解后的中间模糊核，y表示模糊图像，*表示卷积运算，

表示L2范数的平方，

表示图像x^(n-1)的梯度，||.||₀表示L0范数，λ、η、α_x是正则项系数，μ、β是引入变量的系数，初始μ＝2α_xη、β＝2α_x、g＝0、u＝0,

表示的是图像梯度

的能量正则项，p是图像域Ω(u)里的一个像素点，||.||₂表示L2范数，γ、ε都是非常小的正数，为了避免分母

为0；

③根据②估计出来的中间清晰图像x⁽ⁿ⁾，可以直接用下面的公式求解中间模糊核：

其中，k⁽ⁿ⁾表示的是第n次迭代求解后获得的中间模糊核，

表示目标函数为最小值k时所取得值，

表示的是第n次迭代求解后的中间清晰图像的梯度，k^(n-1)表示第(n-1)次求解后的中间模糊核，

表示模糊图像的梯度，*表示卷积运算，

表示L2范数的平方，α_k是正则项系数；

④更新正则系数，本实施例中，按照两倍关系更新正则系数；判断迭代次数n是否大于预设最大迭代次数N，若否，更新n＝n+1，重复步骤②、③进行迭代处理；若是，则得到最后的中间模糊核k＝k^(N)；

4)根据步骤3)最后根据计算出来的最终中间模糊核k^(N)对最开始输入的模糊图像y进行非盲去模糊，求出的清晰图像x^(N)作为去模糊处理后的最终清晰图像；

5)对最终清晰图像做一些最后的优化处理，例如去除人工伪影等工作。

本发明实施例提供的方法中L0+RDP正则化模型推导过程如下：

基于互补结构感知的内外循环驱动图像盲去模糊的模型如下：

为了求解公式(3),我们引入两个辅助变量u和g,令

当参数μ和β趋于无穷大，公式(3)可以写成：

当公式(4)取最小值时,求x的取值,令u,g的值趋近于零，计算公式(5):

则：

其中，F(·)和F^-1(·)代表傅里叶变换和傅里叶逆变换，

表示傅里叶变换的共轭形式，λ、μ、β均是参数；

已知清晰图像x，将公式(5)分成下面公式(7)、(8),分别计算u,g的值：

则：

由上面的公式可知，必须先计算出公式(9)和公式(10)，在已知u和g的情况下，通过公式(6)计算出x的值，才能通过不断迭代最终算出清晰的中间图像x^(N)。

本发明实施例的具体步骤3)中，计算中间模糊核的方法如下：

利用初始模糊核和第一次迭代处理中获取的中间清晰图像交替求解的方法迭代计算由粗到细求解中间模糊核k：具体为：

①初始化模糊核，对初始模糊核粗略估计为k⁽⁰⁾,初始化迭代次数n＝1；

②初始化μ＝2α_xη，β＝2α_x,初始化μ_max、β_max的值,根据上面粗略估计出来的初始模糊核k，利用公式(9),引入对角矩阵和分块循环矩阵计算辅助变量u的值；

③同时利用公式(10)计算辅助变量g的值；

④利用公式(6)计算中间清晰图像:

x⁽ⁿ⁾表示的是第n次循环求解后获得的待求解的中间清晰图像，u、g是人为引入的辅助变量，分别对应x和

k^(n-1)表示第n-1次循环求解后的中间模糊核，y表示模糊图像，F(·)和F^-1(·)代表傅里叶变换和傅里叶逆变换，

表示傅里叶变换的共轭形式，λ，μ，β均是参数；

⑤根据交替估计的思想，利用④估计出来的中间清晰图像x^(N)，求解对应的中间模糊核k⁽ⁿ⁾：

k⁽ⁿ⁾表示的是第n次迭代求解后获得的中间模糊核，

表示目标函数取最小值k时所取得值，

表示的是第n次迭代求解后的中间清晰图像的梯度，k^(n-1)表示第n-1次求解后的中间模糊核，

表示模糊图像的梯度，*表示卷积运算，

表示2范数的平方，α_k是正则项参数；

⑥更新正则系数λ、α_x，判断迭代次数n是否大于预设最大迭代次数N，更新n＝n+1，重复上述步骤，得到最后的中间模糊核k＝k^(N)。

在步骤4)中利用最终获得的中间模糊核k＝k^(N)对模糊图像y进行非盲去模糊，计算获得中间清晰图像x^(N)作为去模糊处理的最终清晰图像。

下面结合实验条件对本发明的去模糊效果进行进一步的描述。

1.实验条件

本发明的实验运行系统是Inter(R)Core(TM)i7CPU@3.4GHz,64位Windows操作系统，使用的仿真软件为MATLAB(r2018a)。

2.数据来源

实验使用的模糊图像来源是W.S.Lai,J.B.Huang,Z.Hu,N.Ahuja,M.H.Yang等人发表的文章“A Comparative Study for Single Image Blind Deblurring”中模糊的自然图像数据库，如图2中(a)所示。

3.实验内容

用本发明和现有的两种自然图像去模糊方法作比较，这两种去模糊方法分别是：

Jinshan Pan,Zhe Hu等人公开的一种基于文字图像亮度和梯度分布规律的去模糊方法(Jinshan Pan,Zhe Hu,Zhixun Su,MingHsuan Yang.Deblurring text images viaL0-regularized intensity and gradient prior.In CVPR,2014.)，记为方法1；JinshanPan,DeqingSun等人公开的一种基于暗通道先验的盲去模糊方法(JinshanPan,DeqingSun,MingHsuan Yang,HanspeterPfister.Blind Image Deblurr-Ing Using Dark ChannelPrior.In CVPR,2016.)，记为方法2。

4.仿真结果分析

仿真实验中，采用结构相似度(SSIM)和峰值信噪比(PSNR)指标来评价实验结果，SSIM,PSNR分别定义为：

其中：ω_x，ω_y和σ_x，σ_y分别表示x和y的均值和方差，σ_xy表示x和y的协方差，C₁和C₂是常数。结构相似度的取值是0到1之间，取值越接近1表示两幅图像越相似。

其中：x代表原始清晰图像，Z代表恢复出来的去模糊图像。峰值信噪比越大说明去模糊性能越好。

(1)定量评估

为了更好地评估这三种方法的去模糊性能，我们对Lai数据集上同一组标准模糊图片进行实验，比较方法1、方法2和本发明方法的SSIM、PSNR值，结果如下表1，下表2所示。

表1：

SSIM	ker01	ker02	ker03	ker04
					方法1	0.8426	0.7666	0.7151	0.5661
方法2	0.8776	0.8092	0.8128	0.6384
					本发明	0.8994	0.8611	0.8600	0.7914

表2：

PSNR	ker01	ker02	ker03	ker04
					方法1	21.70	19.91	19.11	16.50
方法2	23.64	21.44	21.50	18.46
					本发明	24.22	22.44	22.38	20.73

根据上述数据可以知道，本发明方法去模糊结果的SSIM值和PSNR值略高于其他方法的去模糊结果的SSIM值和PSNR值，即本发明比现有技术具有更好地去模糊效果。

(2)定性评估

如图2所示，显示了本发明方法同方法1、方法2之间去模糊效果图。其中，(a)为输入模糊图像；(b)中为方法1公开的基于文字图像亮度和梯度分布规律的去模糊方法效果图；(c)中为方法2公开的基于暗通道先验的盲去模糊方法效果图；(d)中为本发明方法获得的去模糊方法效果图。根据图2可以知道，本发明方法的去模糊结果(d)更清晰，结构更平滑，比现有技术具有更好地去模糊效果。

本发明实施例还提供了一种装置，如图3所示，包括如下模块：

初始化模块，用于输入模糊图像并利用图像先验知识获得模糊图像的初始模糊核；

迭代处理模块，用于基于L0+RDP正则化模型和初始化模糊核对模糊图像进行非盲去模糊的迭代处理；

判断输出模块，用于判断所述迭代处理是否达到预设最大迭代次数，若达到预设最大迭代次数时，停止迭代处理，获得最终的中间模糊核；

图像获取模块，用于利用最终的中间模糊核对输入的模糊图像进行非盲去模糊处理，获得去模糊的最终清晰图像。

本发明实施例还提供了一种装置，包括处理器和存储介质，所述存储介质用于存储指令；

所述处理器用于根据所述指令进行操作以执行上述基于互补结构感知的内外循环驱动图像盲去模糊方法的步骤。

综上，本发明基于互补结构感知，能够更精细地鉴别图像的边缘陡度，保证显著性边缘的提取，同时实现一定程度的结构感知平滑，从而提高了估计的清晰图像效果；

本发明的方法在图像边缘不突出的情况下保留图像边缘信息，在Lai数据集上的效果高于目前的已知方法，具有更高的有效性和较强的鲁棒性。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (8)

1.基于互补结构感知的内外循环驱动图像盲去模糊方法，其特征在于，包括如下步骤：

输入模糊图像并利用图像先验知识获得模糊图像的初始模糊核；

基于L0+RDP正则化模型和初始化模糊核对模糊图像进行非盲去模糊的迭代处理；

判断所述迭代处理是否达到预设最大迭代次数，若达到预设最大迭代次数时，停止迭代处理，获得最终的中间模糊核；

利用最终的中间模糊核对输入的模糊图像进行非盲去模糊处理，获得去模糊的最终清晰图像。

2.根据权利要求1所述的基于互补结构感知的内外循环驱动图像盲去模糊方法，其特征在于，基于L0+RDP正则化模型和初始化模糊核对模糊图像进行非盲去模糊的迭代处理的方法包括如下步骤：

将初始模糊核代入基于L0+RDP正则化模型的清晰图像模型中对输入模糊图像进行求解获取中间清晰图像并作为下一次迭代处理的输入模糊图像；

将当前迭代处理中获取的中间清晰图像代入基于L0+RDP正则化模型的中间模糊核模型中进行求解获取中间模糊核，用于在下一次迭代处理中计算求解中间清晰图像；

依次迭代处理，直至达到预设最大迭代次数。

3.根据权利要求2所述的基于互补结构感知的内外循环驱动图像盲去模糊方法，其特征在于，所述中间清晰图像模型表示为：

式中，x⁽ⁿ⁾表示的是第n次迭代求解后得到的待求解中间清晰图像，

表示目标函数为最小值x、u、g时所取的值，u、g是引入的辅助变量，分别对应图像x和图像梯度

x^(n-1)表示的是第(n-1)次迭代求解后的待求解中间清晰图像，k^(n-1)表示第(n-1)次迭代求解后的中间模糊核，y表示模糊图像，*表示卷积运算，

表示L2范数的平方，

表示图像x^(n-1)的梯度，||.||₀表示L0范数，λ、η、α_x是正则项系数，μ、β是引入变量的系数，

表示的是图像梯度

的能量正则项，p是图像域Ω(u)里的一个像素点，||.||₂表示L2范数，γ、ε都是为了避免分母

为0的正数。

4.根据权利要求2或3所述的基于互补结构感知的内外循环驱动图像盲去模糊方法，其特征在于，所述中间模糊核模型表示为：

式中，k⁽ⁿ⁾表示的是第n次迭代求解后获得的中间模糊核，

表示目标函数为最小值k时所取得值，

表示的是第n次迭代求解后的中间清晰图像的梯度，k^(n-1)表示第(n-1)次求解后的中间模糊核，

表示模糊图像y的梯度，*表示卷积运算，

表示L2范数的平方，α_k是正则项系数。

5.根据权利要求3所述的基于互补结构感知的内外循环驱动图像盲去模糊方法，其特征在于，引入变量的系数初始为μ＝2α_xη，β＝2α_x，辅助变量初始为g＝0，u＝0。

6.根据权利要求2所述的基于互补结构感知的内外循环驱动图像盲去模糊方法，其特征在于，迭代处理过程中求解中间模糊核的方法包括如下步骤：

利用当前迭代处理的中间清晰图像对所述L0+RDP正则化模型中的正则系数进行更新，利用更新后正则系数求解中间模糊核。

7.一种装置，其特征在于，包括如下模块：

初始化模块，用于输入模糊图像并利用图像先验知识获得模糊图像的初始模糊核；

迭代处理模块，用于基于L0+RDP正则化模型和初始化模糊核对模糊图像进行非盲去模糊的迭代处理；

判断迭代模块，用于判断所述迭代处理是否达到预设最大迭代次数，若达到预设最大迭代次数时，停止迭代处理，获得最终的中间模糊核；

图像获取模块，用于利用最终的中间模糊核对输入的模糊图像进行非盲去模糊处理，获得去模糊的最终清晰图像。

8.一种装置，其特征在于，包括处理器和存储介质，所述存储介质用于存储指令；

所述处理器用于根据所述指令进行操作以执行权利要求1～6任一项所述方法的步骤。

Images