CN110276726B - 一种基于多通道网络先验信息引导的图像去模糊方法 - Google Patents

Abstract

本发明提供了一种基于多通道网络先验信息引导的图像去模糊方法，包括以下步骤：步骤A：准备干净图像和其对应的含噪图像组成图像对，建立图像数据集，图像数据集分为训练数据集和测试数据集两部分；步骤B：设计网络结构，使用图像训练数据集对多通道增强深度均值漂移先验网络MEDMSP进行训练；步骤C：使用训练好的MEDMSP网络模型对图像测试数据集中的模糊图像进行测试，输出得到最终的去模糊图像，本发明提出了一个新的图像先验信息用于图像恢复(IR)任务，引入了多噪声模拟和多通道增强。同时还引入了一种算法用于探索低维IR任务的高维网络诱导先验信息。该方法不仅具有可以提取有价值的先验信息的神经网络优点，而且还具有基于模型方法的稳定性。

Description

一种基于多通道网络先验信息引导的图像去模糊方法

技术领域

本发明属于图像处理技术领域，具体为一种基于多通道网络先验信息引导的图像去模糊方法，主要应用在图像去噪以及图像压缩感知重建、图像去模糊等。

背景技术

在图像生成、记录、传输、存储等过程中，无可避免地会因人为操作、拍摄环境、硬件设备等因素造成图像模糊、失真。使图像视觉质量降低、图像关键信息丢失，这即是图像退化。图像复原就是对退化图像进行处理，提高图片质量，改善视觉效果，还原出真实图像的过程。图像去模糊技术近年来得到了广泛研究，应用于如天文观测、生物科学、医学影像、空间探索、军事科学、遥感预测、案件侦破及视觉科学等诸多领域，充分说明该技术的现实意义与社会价值。在数字时代，图像去模糊作为图像复原技术的一个分支，一直是一个具有挑战性和吸引力的问题，具有重大的研究价值与社会意义。

上述应用需求推动着各种图像去模糊方法的发展。从数学本质角度上讲，图像模糊的过程通常理解为原始的清晰图像与点扩散函数进行卷积的过程，其中往往存在噪声的现象。因此图像去模糊实际上是一个反卷积的过程。

由于图像恢复通常是不适定的，因此通常需要先验知识采用规范和恢复图像，可以通过解

其中||Hu-y||²是l₂范数数据保真度项，而prior(u)表示由参数λ加权的图像先验正则化。为了解决图像恢复的不适定问题，已经提出了各种基于模型的优化方法，这些方法通常具有漂亮的数学解释和稳定的解决方案。然而，尽管这些方法取得了令人鼓舞的性能，但往往会需要相对耗时的迭代过程，并且恢复的准确性仍然可以提高。

另一方面，深度学习在计算机视觉中显示出巨大的潜力，它成为解决IR任务的流行选择。这些方法可以被视为判别学习类别方法，其通过优化许多清晰退化图像对的损失函数来直接学习先前项ψ(u)中的参数。随着网络设计和数据收集能力的提高，最近的判别学习方法已经取得了很好的成果。然而，一些判别性学习方法在灵活性和鲁棒性方面受到限制，这意味着在图像去模糊上，也需要针对不同的模糊内核和噪声环境单独训练不同的模型。

认识到两种类别方法各有其优点和局限性，一些研究人员试图将判别性学习纳入基于模型的优化中，以解决一般的图像恢复问题。现针对不同的图像恢复任务，提出了一种强大的去噪自动编码器先验(DAEP)，并且先前已知的深度均值漂移先验(DMSP)的实现与先前的对数的梯度成比例。DAEP和DMSP都可以为不同的图像恢复任务训练强大的网络，包括具有不同噪声水平的图像去噪，图像去模糊和图像修复。然而，对于不同的图像恢复场景倾向于变化，它的输出是不稳定的，并且性能仍然可以改善。

现有的大多数方法仍然具有一些限制，例如，仅能应用于单个定制的图像恢复任务或需要长时间进行迭代重建或产生不稳定结果。

发明内容

针对上述提出的问题，本发明的目的是提出一种切实可行、性能优良、环境适应性强的一种基于多通道网络先验信息引导的图像去模糊方法，针对图像存在的噪声，该方法不仅能够有效去除图像中的噪声，还可以保留图像的结构细节，得到清晰的图像边缘和纹理，提高图像的质量。

为实现上述目的，本发明提供如下技术方案：一种基于多通道网络先验信息引导的图像去模糊方法，包括以下步骤：

步骤A：准备干净图像和其对应的含噪图像组成图像对，建立图像数据集，图像数据集分为训练数据集和测试数据集两部分。

步骤B：设计网络结构，使用图像训练数据集对多通道增强深度均值漂移先验网络(MEDMSP)进行训练，得到训练好的MEDMSP网络模型。

步骤C：使用训练好的MEDMSP网络模型，对图像测试数据集中的模糊图像进行测试，输出得到最终的去模糊图像。

进一步的，所述步骤A具体包括：

(1)所述训练数据集是使用DIV2K的图像构建的，从DIV2K中选择DIV400-train作为基本训练集，并在训练阶段将训练图像切割成尺寸为192×192的M＝91789个图像块。

(2)在测试时将测试数据集加噪后的图像作为网络输入。

进一步的，所述设计网络结构的步骤如下：

(1)将四维滤波器用于2D离散小波变换DWT中与图像进行卷积，然后，通过下采样卷积可以得到四个子带图像。

(2)用DWT处理四个子带图像，以在多级小波变换WPT中产生分解结果，在分解阶段，将四个预定义滤波器部署到每个子带图像，然后采用下采样作为合并算子。

(3)在重建阶段，首先对四个子带图像进行上采样，然后与相应的滤波器进行卷积，以产生当前级别的重建结果，最后，可以通过逆WPT重建原始图像。

进一步的，所述对MEDMSP网络进行训练先采用多噪声模拟策略提高先验的稳定性和鲁棒性，然后通过多通道学习去噪自动编码器DAE来获得高维先验信息，具体步骤如下：

(1)采用多噪声模拟策略时，用单个噪声样本近似积分，这使得梯度进行随机评估，称为深度均值漂移先验DMSP：

其中

表示单个噪声样本刺激训练得到的网络模型；

基于这种经典的DMSP，引入了新的组件以得到更多的先验信息并提高稳定性，在不同噪声水平下的三种噪声的近似和扩展方程为：

其中σ表示噪声标准差，u是原始的高质量图像；

和

分别表示三个不同噪声等级样本刺激训练所得到的三个不同的网络模型；η₁，η₂和η₃分别表示为模拟含噪声图像的三种不同等级的噪声。

(2)在网络训练阶段，设计网络通道数为3，并将三个通道的矢量变量表示为U＝[U₁,U₂,U₃]＝[U_r,U_g,U_b]，采用MWCNN为DAE r_σ(U)，其主要特点是在每级DWT之后设计CNN块，每个CNN块是4层FCN，并将所有子图像作为输入，不同的CNN被部署到深度卷积框架中的低频和高频频带，CNN块的每一层由卷积组成3×3过滤器Conv，批量归一化BN和整流线性单元ReLU操作，对于最后一个CNN块的最后一层，采用不带BN和ReLU的Conv来预测残留图像。

进一步的，所述步骤C包括：

图像去模糊的迭代方法可以表示为梯度下降法和最小二乘法的交替更新，在图像恢复阶段中，将原始的单通道图像复制为多通道图像，并重排列作为网络输入，经过多通道网络的处理，平均三个输出变量可以得到一个变量输出，如果设U是需要被重构的图像，y是观测k空间的局部值，在数学上，通过计算高维先验的梯度，有以下关系：

根据训练好的MEDMSP网络模型可以重写为近端梯度下降法：

其中η表示梯度步长，λ表示平衡参数，在每次迭代中，通过将均值算子用于三通道网络的输出来获得中间结果。

上式中的第二个最小化公式是标准最小二乘LS问题，可由如下的公式算出：

(λH^TH+1)u^k+1＝λH^Ty+u^k

与现有技术相比，本发明的有益效果是：

本发明提出了一个新的图像先验信息用于图像恢复(IR)任务，其中引入了两个新特征，即多噪声模拟和多通道增强。同时还引入了一种算法用于探索低维IR任务的高维网络诱导先验信息。该方法不仅具有可以提取有价值的先验信息的神经网络优点，而且还具有基于模型方法的稳定性。所提出的方法的鲁棒性已经在不同的IR任务上进行了测试，例如图像去模糊和压缩重建，与几种最先进的方法相比，实现了优越的性能。

附图说明

图1为本发明的流程图；

图2为本发明的网络架构--单通道多级小波-CNN架构图；

图3为本发明在训练阶段的多通道网络方案和在迭代重建阶段用于单通道中间图像的辅助变量技术图；

图4为本发明在加入高斯核后的重建结果图，(a)为原始图像；(b)为高斯噪声；(c)(d)(e)(f)分别为PANO、NLR-CS、DC-CNN和本发明的重建结果图；

图5为本发明高斯核为17×17，δd＝2.55的去噪结果图，(a)(b)(c)(d)分别为LevinSps，EPLL，DAEP和本发明的重建结果图；

图6为本发明高斯核为17×17,δd＝7.65的去噪结果图，(a)(b)(c)(d)分别为LevinSps，EPLL，DAEP和本发明的重建结果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。此处所描述的具体实施例仅用于解释本发明技术方案，并不限于本发明。

本发明提出了一种基于多通道增强深度均值漂移先验信息引导的图像去模糊方法(MEDMSP)，提出了将单通道多级小波-CNN架构作为网络架构，采用多噪声模拟策略提高先验的稳定性和鲁棒性，然后通过多通道学习去噪自动编码器(DAE)来获得高维网络先验信息。最后，采用近端梯度法，最小二乘法和交替迭代法，借助于高维增强先验，解决了低维图像复原问题。

本发明提供一种技术方案：一种基于多通道网络先验信息引导的图像去模糊方法，如图1所示，包括以下步骤：

步骤A：准备干净图像和其对应的含噪图像组成图像对，建立图像数据集，图像数据集分为训练数据集和测试数据集两部分。

步骤B：设计网络结构，使用图像训练数据集对MEDMSP网络进行训练，得到训练好的MEDMSP网络模型。

步骤C：使用训练好的MEDMSP网络模型，对图像测试数据集中的模糊图像进行测试，输出得到最终的去模糊图像，以及对测试结果图像的峰值信噪比PSNR值和结构相似性SSIM,进行图像质量评价。

进一步的，本发明的实验实施配置要求如下：

本方法已经在Matlab中实现了所提出的架构，并在配备Intel Core i7-7700中央处理器和GeForce Titan XP的台式计算机上运行了所有实验。训练数据集是使用DIV2K的图像构建的。

从DIV2K中选择了DIV400-train(400图像)作为基本训练集，并在训练阶段将训练图像切割成尺寸为192×192的M＝91789个图像块。使用具有不同噪声水平的图像块进行训练，用于学习去噪网络模型。最后使用了三个具有不同的噪声等级模型，其噪声等级分别为η1＝5，η2＝8，η3＝10。其重建质量由峰值信噪比(PSNR)和结构相似性(SSIM)来进行衡量。

进一步的，所述设计网络结构的步骤如下：

(1)将四维滤波器用于2D离散小波变换DWT中与图像进行卷积，然后，通过下采样卷积可以得到四个子带图像。

(2)用DWT处理四个子带图像，以在多级小波变换WPT中产生分解结果，在分解阶段，将四个预定义滤波器部署到每个子带图像，然后采用下采样作为合并算子。

(3)在重建阶段，首先对四个子带图像进行上采样，然后与相应的滤波器进行卷积，以产生当前级别的重建结果，最后，可以通过逆WPT重建原始图像。

进一步的，所述对MEDMSP网络进行训练先采用多噪声模拟策略提高先验的稳定性和鲁棒性，然后通过多通道学习去噪自动编码器(DAE)来获得高维先验信息，具体步骤如下：

(1)采用多噪声模拟策略时，用单个噪声样本近似积分，这使得梯度进行随机评估，称为深度均值漂移先验(DMSP)：

其中

表示单个噪声样本刺激训练得到的网络模型；

基于这种经典的DMSP，引入了新的组件以得到更多的先验信息并提高稳定性，在不同噪声水平下的三种噪声的近似和扩展方程为：

其中σ表示噪声标准差，u是原始的高质量图像；

和

分别表示三个不同噪声等级样本刺激训练所得到的三个不同的网络模型；η₁，η₂和η₃分别表示为模拟含噪声图像的三种不同等级的噪声。

多噪声模拟设计是由聚合原理驱动的，这表明多模型实现可以避免进入局部最优解并使迭代过程更加稳健。具体来说，扩展带来了以下两个优点：第一，两种不同的噪声下的先验信息使网络具有多样性，例如增强表示能力。其次，两种实现方式也可以提高鲁棒性。通过在各种情况下对算法采用平均加权函数可以获得更好的恢复性能，因为提高了稀疏性，并以更高的计算复杂度为代价。

(2)在网络训练阶段，设计网络通道数为3，并将三个通道的矢量变量表示为U＝[U₁,U₂,U₃]＝[U_r,U_g,U_b]，采用MWCNN为DAE r_σ(U)，其主要特点是在每级DWT之后设计CNN块，每个CNN块是4层FCN，并将所有子图像作为输入，不同的CNN被部署到深度卷积框架中的低频和高频频带，CNN块的每一层由卷积组成3×3过滤器Conv，批量归一化BN和整流线性单元ReLU操作，对于最后一个CNN块的最后一层，采用不带BN和ReLU的Conv来预测残留图像。

可以看出，MWCNN从三个方面修改了U-Net。首先，对于下采样和上采样，在传统U-Net中使用maxpooling和up-convolution，而在MWCNN中使用DWT和IWT。其次，对于MWCNN，下采样导致特征映射信道的增加。除第一个之外，部署其他CNN块以减少用于紧凑表示的特征映射通道。而对于传统的U-Net，下采样对特征映射通道没有影响，并且随后的卷积层可用于增加特征映射通道。第三，在MWCNN中，元素加法运算用于来自收缩和扩展子网络的特征映射，而在传统的U-Net连接中则采用了拼接操作，包含24层网络。当采用ADAM算法训练MWCNN时，Haar小波被用作MWCNN的默认值。

进一步的，所述步骤C包括：

图像去模糊的迭代方法可以表示为梯度下降法和最小二乘法的交替更新，在图像恢复阶段中，将原始的单通道图像复制为多通道图像，并重排列作为网络输入，经过多通道网络的处理，平均三个输出变量可以得到一个变量输出，如果设U是需要被重构的图像，y是观测k空间的局部值，在数学上，通过计算高维先验的梯度，有以下关系：

根据训练好的MEDMSP网络模型可以重写为近端梯度下降法：

其中η表示梯度步长，λ表示平衡参数，在每次迭代中，通过将均值算子用于三通道网络的输出来获得中间结果。

上式中的第二个最小化公式是标准最小二乘LS问题，可由如下的公式算出：

(λH^TH+1)u^k+1＝λH^Ty+u^k

本发明的效果结果的附图展示如下：

图3是本发明在训练阶段的多通道网络方案和在迭代重建阶段用于单通道中间图像的辅助变量技术的图示，可以获得更好的视觉显示。

图4、图5和图6展示了本发明的实验结果以及与当前的其他方法的对比，得出本发明在不仅有明显更好的去噪性能，而且还可以保留图像的结构细节，得到清晰的图像边缘和纹理，提高图像的质量。

图4是在加入高斯核后的重建结果图，(a)为原始图像；(b)为高斯噪声；(c)(d)(e)(f)分别为PANO、NLR-CS、DC-CNN和本发明的重建结果。

图5是高斯核为17×17，δd＝2.55的去噪结果图，(a)(b)(c)(d)分别为LevinSps，EPLL，DAEP和本发明的重建结果。

图6是高斯核为17×17,δd＝7.65的去噪结果图，(a)(b)(c)(d)分别为LevinSps，EPLL，DAEP和本发明的重建结果。

不同水平噪声的各种模糊核的六个测试图像的PSNR和SSIM值

从上表可以观察到本发明提出的MEDMSP的PSNR值在nosie级别δd＝2.55和δd＝7.65可以在DAEP的基础上获得超过3.30dB和2.71dB的提升。

实际上，MEDMSP的平均的PSNR/SSIM在所有方法中是很好的。因此，与噪声方差和各种模糊内核大小的其他领先去模糊方法相比，所提出的MEDMSP方法有极具竞争力的性能。

以上所述仅表达了本发明的优选实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形、改进及替代，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (4)

1.一种基于多通道网络先验信息引导的图像去模糊方法，其特征在于：包括以下步骤：

步骤A：准备干净图像和其对应的含噪图像组成图像对，建立图像数据集，图像数据集分为训练数据集和测试数据集两部分；

步骤B：设计网络结构，使用图像训练数据集对多通道增强深度均值漂移先验网络MEDMSP进行训练，得到训练好的MEDMSP网络模型；

所述对MEDMSP网络进行训练先采用多噪声模拟策略提高先验的稳定性和鲁棒性，然后通过多通道学习去噪自动编码器DAE来获得高维先验信息，具体步骤如下：

(1)采用多噪声模拟策略时，用单个噪声样本近似积分，这使得梯度进行随机评估，称为深度均值漂移先验DMSP：

其中

表示单个噪声样本刺激训练得到的网络模型；

基于这种经典的DMSP，引入了新的组件以得到更多的先验信息并提高稳定性，在不同噪声水平下的三种噪声的近似和扩展方程为：

其中σ表示噪声标准差，u是原始的高质量图像；

和

分别表示三个不同噪声等级样本刺激训练所得到的三个不同的网络模型；η₁，η₂和η₃分别表示为模拟含噪声图像的三种不同等级的噪声；

(2)在网络训练阶段，设计网络通道数为3，并将三个通道的矢量变量表示为U＝[U₁,U₂,U₃]＝[U_r,U_g,U_b]，采用MWCNN为DAEr_σ(U)，其主要特点是在每级DWT之后设计CNN块，每个CNN块是4层FCN，并将所有子图像作为输入，不同的CNN被部署到深度卷积框架中的低频和高频频带，CNN块的每一层由卷积组成3×3过滤器Conv，批量归一化BN和整流线性单元ReLU操作，对于最后一个CNN块的最后一层，采用不带BN和ReLU的Conv来预测残留图像；

步骤C：使用训练好的MEDMSP网络模型，对图像测试数据集中的模糊图像进行测试，输出得到最终的去模糊图像。

2.根据权利要求1所述的一种基于多通道网络先验信息引导的图像去模糊方法，其特征在于：所述步骤A具体包括：

(1)所述训练数据集是使用DIV2K的图像构建的，从DIV2K中选择DIV400-train作为基本训练集，并在训练阶段将训练图像切割成尺寸为192×192的M＝91789个图像块；

(2)在测试时将测试数据集加噪后的图像作为网络输入。

3.根据权利要求1所述的一种基于多通道网络先验信息引导的图像去模糊方法，其特征在于：所述设计网络结构的步骤如下：

(1)将四维滤波器用于2D离散小波变换DWT中与图像进行卷积，然后，通过下采样卷积可以得到四个子带图像；

(2)用DWT处理四个子带图像，以在多级小波变换WPT中产生分解结果，在分解阶段，将四个预定义滤波器部署到每个子带图像，然后采用下采样作为合并算子；

(3)在重建阶段，首先对四个子带图像进行上采样，然后与相应的滤波器进行卷积，以产生当前级别的重建结果，最后，可以通过逆WPT重建原始图像。

4.根据权利要求1所述的一种基于多通道网络先验信息引导的图像去模糊方法，其特征在于：所述步骤C包括：

图像去模糊的迭代方法可以表示为梯度下降法和最小二乘法的交替更新，在图像恢复阶段中，将原始的单通道图像复制为多通道图像，并重排列作为网络输入，经过多通道网络的处理，平均三个输出变量可以得到一个变量输出，如果设U是需要被重构的图像，y是观测k空间的局部值，在数学上，通过计算高维先验的梯度，有以下关系：

根据训练好的MEDMSP网络模型可以重写为近端梯度下降法：

其中η表示梯度步长，λ表示平衡参数，在每次迭代中，通过将均值算子用于三通道网络的输出来获得中间结果；

上式中的第二个最小化公式是标准最小二乘LS问题，可由如下的公式算出：

(λH^TH+1)u^k+1＝λH^Ty+u^k

Images