CN112907456B - 基于全局平滑约束先验模型的深度神经网络图像去噪方法 - Google Patents

Abstract

本发明公开了一种基于全局平滑约束先验模型的深度神经网络图像去噪方法。主要包括以下步骤：利用自然图像的非局部平滑性，构建全局平滑约束先验；根据前一步骤得到的全局平滑约束先验，构造在变换域中求解的图像去噪代价函数；利用基于梯度的方法来最优化前一步骤中构造的代价函数，得到基于全局平滑约束先验模型的图像去噪迭代框架；将迭代框架展开成一种深度神经网络模型；训练构建的深度神经网络模型；将噪声图像作为输入，利用前一步骤训练好的深度神经网络模型得到恢复的高质量图像。本发明所述的方法能够获得很好的去噪效果，是一种有效的图像去噪方法。

Description

基于全局平滑约束先验模型的深度神经网络图像去噪方法

技术领域

本发明涉及图像去噪技术，具体涉及一种基于全局平滑约束先验模型的深度神经网络图像去噪方法，属于数字图像处理领域。

背景技术

图像去噪是数字图像处理领域中一个被广泛研究的热点课题，具有十分重要的实际应用价值，其目的是从有噪声的图像y中恢复高质量的图像x，改善图像质量，为后续进一步分析和处理奠定基础。该降质模型可以表示为y＝x+v，其中v一般被假设是标准差为σ的加性高斯白噪声(additive white Gaussian noise，AWGN)。图像去噪是一个典型的病态逆问题。因此，如何利用图像的先验知识来约束求解过程变得尤为关键。

图像去噪方法通常可以分为两类：基于模型的方法和基于学习的方法。基于模型的方法需借助构建复杂的先验模型来约束解空间，降低问题的病态性。此类方法通常能较好地抑制人工痕迹，但是在恢复复杂的图像纹理和结构上往往欠佳。此外，许多基于模型的方法都需要迭代地求解耗时的优化问题，导致其计算复杂度较高。同时，大多数现有的先验模型都是手工设计的，设计一个更复杂的先验来提升去噪性能也是一个巨大的挑战。

基于学习的方法旨在从训练数据中学习噪声和高质量图像样本对之间的非线性映射关系，事实上，该类方法可以视作一种学习先验。近几年，使用深度神经网络的方法在图像去噪领域如雨后春笋般不断涌现，取得了较好的性能，已经逐渐成为基于学习方法中的研究热点。与大多数基于模型的方法相比，它们的重建速度更快，对图像纹理和结构部分能起到更好的恢复效果，但是也容易产生虚假的纹理信息。

发明内容

本发明的目的是利用自然图像的局部平滑性构建一个有效的全局平滑约束先验，并将其应用于图像去噪，得到一种基于全局平滑约束先验模型的图像去噪迭代框架。进一步地，结合深度神经网络强大的学习能力，将该框架展开成一种深度神经网络模型进行图像去噪，使得恢复的高质量图像具有更加精细的结构，并能很好地抑制人工痕迹。

本发明提出的基于全局平滑约束先验模型的深度神经网络图像去噪方法，主要包括以下操作步骤：

(1)利用自然图像的非局部平滑性，构建全局平滑约束先验；

(2)根据步骤(1)得到的全局平滑约束先验，构造在变换域中求解的图像去噪代价函数；

(3)利用基于梯度的方法来最优化步骤(2)中构造的代价函数，得到基于全局平滑约束先验模型的图像去噪迭代框架；

(4)将步骤(3)得到的迭代框架展开成一种深度神经网络模型；

(5)利用训练数据集，以最小化损失函数来训练步骤(4)中构建的深度神经网络模型；

(6)将噪声图像输入到步骤(5)中训练好的深度神经网络模型得到恢复的高质量图像。

附图说明

图1是本发明提出的基于全局平滑约束先验模型的图像去噪迭代框架

图2是本发明提出的基于全局平滑约束先验模型的深度神经网络模型

图3是本发明提出的基于编解码结构的非线性运算模块

图4是本发明提出的多分支残差学习结构

图5是本发明与不同的方法对噪声标准差为50时在测试图库BSD68中“test_011”图像的恢复结果对比图。

具体实施方式

下面结合附图对本发明作进一步说明：

基于全局平滑约束先验模型的深度神经网络图像去噪方法，具体可以分为以下几个步骤：

(1)利用自然图像的非局部平滑性，构建全局平滑约束先验；

(2)根据步骤(1)得到的全局平滑约束先验，构造在变换域中求解的图像去噪代价函数；

(3)利用基于梯度的方法来最优化步骤(2)中构造的代价函数，得到基于全局平滑约束先验模型的图像去噪迭代框架；

(4)将步骤(3)得到的迭代框架展开成一种深度神经网络模型；

(5)利用训练数据集，以最小化损失函数来训练步骤(4)中构建的深度神经网络模型；

(6)将噪声图像输入到步骤(5)中训练好的深度神经网络模型得到恢复的高质量图像。

具体地，所述步骤(1)中，我们利用自然图像的局部平滑性，构造了一种有效的先验模型在恢复中自适应地控制每个像素中的约束强度，即全局平滑约束先验：

式中，x表示高质量图像，D(·)为一非线性操作。

所述步骤(2)中，结合(1)提出的先验模型，我们首先构造如下的代价函数：

式中，y表示输入的噪声图像，λ为正则化参数，

为恢复的高质量图像。为了提升进一步性能，我们在变换域求解，因此构造的代价函数变成如下形式：

其中，

表示一种变换函数，

为相应的逆变换函数。

所述步骤(3)中，D(·)具有非线性特性，很难准确地求得其梯度，给求解代价函数带来了很大的困难。因此，为了避免计算D(·)的梯度，我们用

代替

并令代价函数的导数为零，得到如下迭代式：

其中，

是第k次迭代恢复的高质量图像x^k在变换域的结果。于是，我们利用输入的噪声图像以及上述迭代式，得到如图1所示的基于全局平滑约束先验模型的图像去噪迭代框架。

所述步骤(4)中，结合深度神经网络强大的学习能力，将(3)提出的迭代框架展开成如图2所示的深度神经网络模型，通过一种判别式方式从训练数据库中学习变换函数

非线性操作D(·)和逆变换函数。具体来说，我们首先将

建模为两个卷积层和一个非线性激活层组成的网络结构，即变换函数模块，以实现像素空间到特征空间(本发明提出的变换域)的映射，接着用如图3所示基于编解码结构的非线性运算模块实现非线性操作D(·)，最后用“卷积层+非线性激活层+卷积层”的结构来实现

即逆变换函数模块。所有的非线性激活层使用ReLU函数。

非线性运算模块由特征编码器、特征解码器、跨尺度特征融合结构和多分支残差学习结构组成，并采用了局部残差学习策略。在每一尺度，下采样操作通过用一个卷积层(步长为2)和一个非线性激活层实现，而用最近邻插值和一个“卷积层(步长为1)+非线性激活层”的网络结构实现上采样操作。特征编码器由两个级联的“卷积层+非线性激活层”结构和下采样操作组成，特征解码器包括三个级联的“卷积层+非线性激活层”结构。跨尺度特征融合结构是为了提高模块的特征表达能力，通过卷积、上采样操作、下采样操作和特征降维融合当前尺度和相邻尺度的特征图。如图4所示的多分支残差学习结构嵌在模块的底部，通过三个并行的“空洞卷积+非线性激活层”构建特征金字塔。

所述步骤(5)中，我们向训练数据集中的原始图像添加固定标准差的高斯白噪声生成相应的噪声图像，以此作为样本对训练(4)构建的深度神经网络模型。为了对不同标准差的噪声获得良好的去噪性能，分别训练针对不同标准差的模型。训练网络的损失函数采用均方误差函数，具体公式如下：

其中，x_i表示训练数据集中的原始图像，

表示模型输出恢复的高质量图像，N为训练样本的数量。

所述步骤(6)中，将待处理的噪声图像输入到(5)中相应标准差下训练好的模型，获得恢复的高质量图像。

为了更好地说明本发明的有效性，我们选用3个常用测试集进行对比实验，包括Set12、BSD68和Urban100。模拟降质模型，向测试集中的原始图像添加固定标准差的高斯白噪声生成噪声图像。对比方法选用6种具有代表性的去噪方法，包括2种基于模型的方法以及4种基于学习的方法：

方法1：Dabov等人提出的方法，参考文献“K.Dabov,A.Foi,V.Katkovnik,andK.Egiazarian,“Image denoising by sparse 3-d transform-domain collaborativefiltering,”IEEE Trans.Image Process.,vol.16,no.8,pp.2080–2095,Aug.2007.”。

方法2：Gu等人提出的方法，参考文献“S.Gu,L.Zhang,W.Zuo,and X.Feng,“Weighted nuclear norm minimization with application to image denoising,”inProc.IEEE Conf.Comput.Vis.Pattern Recognit.,Jun.2014,pp.2862–2869.”。

方法3：Chen等人提出的方法，参考文献“Y.Chen and T.Pock,“Trainablenonlinear reaction diffusion:A flexible framework for fast and effectiveimage restoration,”IEEE Trans.Pattern Anal.Mach.Intell.,vol.39,no.6,pp.1256–1272,Jun.2017”。

方法4：Zhang等人提出的方法，参考文献“K.Zhang,W.Zuo,Y.Chen,D.Meng,andL.Zhang,“Beyond a gaussian denoiser:Residual learning of deep cnn for imagedenoising,”IEEE Trans.Image Process.,vol.26,no.7,pp.3142–3155,Jul.2017.”。

方法5：Zhang等人提出的方法，参考文献“K.Zhang,W.Zuo,S.Gu,and L.Zhang,“Learning deep cnn denoiser prior for image restoration,”in Proc.IEEEConf.Comput.Vis.Pattern Recognit.,Jul.2017,pp.3929–3938.”。

方法6：Zhang等人提出的方法，参考文献“K.Zhang,W.Zuo,and L.Zhang,“Ffdnet:Toward a fast and flexible solution for cnn-based image denoising,”IEEETrans.Image Process.,vol.27,no.9,pp.4608–4622,Sep.2018.”。

对比实验的内容如下：

实验1，对测试图库“Set12”中的原始图像分别添加标准差为15、25和50的高斯白噪声生成噪声图像，用方法1、方法2、方法3、方法4、方法5、方法6和本发明方法对噪声图像进行去噪处理。客观评价指标选择峰值信噪比(Peak Signal to Noise Ratio，PSNR，单位：dB)，该值越大，去噪效果越好。针对不同的噪声标准差，表一第二行给出了各个方法在该测试图库上的平均结果。

实验2，对测试图库“BSD68”中的原始图像分别添加标准差为15、25和50的高斯白噪声生成噪声图像，用方法1、方法2、方法3、方法4、方法5、方法6和本发明方法对噪声图像进行去噪处理。客观评价指标选用峰值信噪比(Peak Signal to Noise Ratio，PSNR，单位：dB)，该值越大，去噪效果越好。针对不同的噪声标准差，表一第三行给出了各个方法在该测试图库上的平均结果。另外，为了进行视觉比较，图5给出了当噪声标准差为50时各个方法在测试图库中“test_011”图像的恢复结果。

实验3，对测试图库“Urban100”中的原始图像分别添加标准差为15、25和50的高斯白噪声生成噪声图像，用方法1、方法2、方法3、方法4、方法5、方法6和本发明方法对噪声图像进行去噪处理。客观评价指标选择峰值信噪比(Peak Signal to Noise Ratio，PSNR，单位：dB)，该值越大，去噪效果越好。。针对不同的噪声标准差，表一第四行给出了各个方法在该测试图库上的平均结果。

表一

通过对比实验可以看到，针对不同的噪声标准差，本发明在三个测试库上均取得了较高的PSNR值，提升显著。另外，Urban100包含100张纹理和结构丰富的图片，本发明在该图库上取得了更好的去噪效果，在噪声去除和细节恢复方面具有明显的优势。

从图5所示的实验结果可以看出，方法1、方法2、方法3、方法4、方法5和方法6去噪的图像边缘和纹理过于平滑或模糊，丢失了许多细节，但本发明去噪的图像边缘和纹理更清晰，产生的人工痕迹较少，与原图较为接近，视觉效果更佳。

综上所述，相比于对比的方法，本发明的去噪效果在主客观评价上都有明显的优势。因此，本发明是一种有效的图像去噪方法。

Claims (1)

1.基于全局平滑约束先验模型的深度神经网络图像去噪方法，其特征在于包括以下步骤：

步骤一：利用自然图像的非局部平滑性，构建全局平滑约束先验，使其能够在图像纹理恢复中自适应地控制每个像素中的约束强度，具体公式如下：

其中，x表示高质量图像，D(·)为一非线性操作；

步骤二：根据步骤一得到的全局平滑约束先验，构造在变换域中求解的图像去噪代价函数：

式中，

表示一种变换函数，y表示输入的噪声图像，λ为正则化参数，恢复的高质量图像

可以通过下式计算：

其中，

为相应的逆变换函数；

步骤三：利用基于梯度的方法来最优化步骤二中构造的代价函数，得到基于全局平滑约束先验模型的图像去噪迭代框架；

步骤四：将步骤三得到的迭代框架展开成一种深度神经网络模型，结合深度神经网络强大的学习能力，该模型从训练数据库中学习变换函数

非线性操作D(·)和逆变换函数

将

和

建模为两个卷积层和一个非线性激活层组成的网络结构，且非线性激活层位于两个卷积层之间；提出一种基于编解码结构的非线性运算模块实现D(·)，为了提高其特征表达能力，通过卷积、上采样操作、下采样操作和特征降维融合当前尺度和相邻尺度的特征图；

步骤五：利用训练数据集，以最小化损失函数来训练步骤四中构建的深度神经网络模型；

步骤六：将噪声图像输入到步骤五中训练好的深度神经网络模型得到恢复的高质量图像。

Images