CN109859147A - 一种基于生成对抗网络噪声建模的真实图像去噪方法 - Google Patents

Abstract

本发明公开了一种基于生成对抗网络噪声建模的真实图像去噪方法，旨在利用深度卷积神经网络解决真实图像噪声因难以显式建模而无法有效去除的问题。该方法首先利用生成对抗网络学习真实图像噪声分布，构建成对数据集；其次利用构建的数据集训练去噪网络，实现对真实噪声的去除。本发明利用残差块搭建去噪网络，并在去噪网络中引入噪声估计算法以及可逆的升降采样操作，用以提升单一网络模型盲图像去噪的性能，在有效去除未知分布的噪声的同时，尽可能地保留原有图像的边缘信息和细节特征。

Description

一种基于生成对抗网络噪声建模的真实图像去噪方法

技术领域

本发明涉及计算机视觉、计算机应用等技术领域，具体地涉及一种基于生成对抗网络噪声建模的真实图像去噪方法。

背景技术

图像在获取或传输过程中常因各种噪声的干扰而降质，这对图像的视觉效果以及后续处理都将产生不利影响，因此必须对图像进行去噪预处理以抑制噪声、改善图像质量。现有的图像去噪方法主要可分为基于模型的优化方法和基于判别式学习的方法。基于模型的优化方法是从贝叶斯的观点出发，当图像的似然概率已知，利用图像的先验信息对图像进行复原，其中表现优越的有BM3D算法和WNNM算法。BM3D算法通过利用图像的自相似性，提出了一种局部与非局部相结合的三维块匹配协同滤波算法；WNNM算法基于最小核范数，利用图像的非局部相似性构建低秩矩阵实现对噪声的消减。基于判别式学习的方法则直接对输入图像与目标图像之间的映射关系进行学习，而其中结合深度学习的方法表现尤为突出。K.Zhang等人先后提出了DnCNN、FFDNet等应用于图像去噪的深度学习网络框架，在高斯盲去噪问题上已达到最优。其中，DnCNN利用批归一化和残差学习可以有效地去除均匀高斯噪声，且对一定噪声水平范围的噪声都有抑制作用；FFDNet将退化图与噪声图像联合起来作为去噪网络的输入，用以平衡对噪声的抑制和细节的保持，从而应对更加复杂的真实场景。

基于模型优化的方法多采用噪声估计与去噪优化算法相结合的方式进行图像复原，通常能同时处理不同程度的噪声，但由于测试阶段包含复杂的优化问题，在实际应用中非常耗时，并且模型基本上都是非凸的，包含很多超参数，在实际应用中很难实现最优的去噪效果。而判别式学习的方法可以在推理阶段中减少甚至去除繁杂的迭代优化过程，但现有模型多是针对高斯白噪声进行研究，在真实图像去噪问题上，图像数据即真实噪声图像和相应的干净图像是非常不充足甚至是极度匮乏的，这使得基于判别式学习的方法只能利用拟合噪声训练模型。然而真实的噪声并不是均匀的高斯分布，而是信号依赖、各颜色通道相关的，没有一个明确的分布可以模拟，这使得基于高斯白噪声进行学习的网络模型，无法适用于真实场景的图像去噪。实验结果同样表明，DnCNN和FFDNet虽然在高斯去噪问题上达到了领先水平，但其在真实图像数据集DND(https://noise.visinf.tu-darmstadt.de/)上的测试结果甚至劣于BM3D和WNNM。

针对数据集匮乏以及真实噪声分布难以显示建模的问题，文献GCBD(Image BlindDenoising With Generative Adversarial Network Based Noise Modeling)首次提出利用生成对抗网络(Generative Adversarial Network，GAN)学习输入图像的噪声分布以构建数据集的方法，基于此训练集训练的DnCNN在真实图像数据集上实现了良好的盲去噪效果。因GAN会改变图像的细节，造成数据对之间的差异，GCBD采取生成噪声块以间接构建数据集的方式，但其噪声块是通过噪声图像选取平滑块得到的。本发明改进了文献GCBD提出的利用GAN进行噪声建模的方法，通过现存的成对数据提取噪声块，从而构建分布更趋近于真实噪声且更加复杂多样的数据集。因为GAN不需要大量标注训练数据就能学习到深度表征，因此，通过现存的规模较小的数据集获取噪声块的方式可以有效训练GAN进行噪声建模。同时本发明将模型优化的方法中先估计噪声水平后去噪的策略，应用于判别式学习的方法，通过噪声估计算法估计噪声图像的噪声水平，得到退化图联合输入到去噪网络，更好的寻求噪声去除和细节保留的平衡点，在实现好的去噪效果的同时，尽可能的保留图像的边缘信息和细节特征。

发明内容

针对噪声分布复杂难以显式建模的问题，本发明提出了一种基于生成对抗网络噪声建模的真实图像去噪方法，同时在网络中引入噪声估计模块，用于提升盲去噪效果，使得所构造的网络能在有效去除真实噪声的同时，保留原有的细节和边缘信息。

为实现上述目的，本发明的具体实现步骤为：

步骤1，生成对抗网络噪声建模，包括如下子步骤，

步骤1.1，通过现有的真实噪声图像和清晰图像对(x,y)提取噪声分布相对集中的区域，记为噪声块集v；

步骤1.2，将步骤1.1中得到的噪声块集v＝{v₁,v₂,…,v_m}输入到WGAN-GP网络中进行训练，以学习真实图像的噪声分布，生成大量更趋近于真实噪声分布的噪声块集v′＝{v₁′,v₂′,…,v_n′}；

步骤1.3，选择另一清晰数据集并随机裁剪为与步骤1.1中噪声块相同大小的图像块，得到干净无噪的图像数据集x′＝{x₁′,x₂′,…,x_m′}，然后将集合x′和集合v′进行随机组合得到合成的噪声图像数据集y′＝{y₁′,y₂′,…,y_m′}，构建成对数据集(x′,y′)；

步骤2，利用成对数据集(x′,y′)训练去噪网络，获得去噪后的图像，包括如下子步骤；

步骤2.1，首先对输入图像y′的噪声水平进行估计，获得退化图M；

步骤2.2，搭建适用于真实图像盲去噪的网络结构，将退化图M和输入图像y′进行降采样后输入到去噪网络中，获得降噪子图；

步骤2.3，对降噪子图进行升采样后输出重构后的RGB图像并根据和x′对去噪网络进行优化。

进一步的，步骤1.1中获得噪声块集v的具体实现方式如下，

给定成对数据(x,y)，x为真实噪声图像，首先在清晰图像y中，通过滑动步长S_p依次选定p×p大小的图像块y(p_i)，再在y(p_i)中利用滑动步长S_q依次选定q×q大小的图像块若所有的都满足以下条件:

则保留噪声块v_i＝x(p_i)-y(p_i)，x(p_i)为y(p_i)对应的噪声图像块,得到数据集v＝{v₁,v₂,…,v_m}；其中，Mean和Var分别表示均值和方差，μ,γ∈(0,1)。

进一步的，步骤2.1中获得退化图M的具体实现方式如下，

假设图像噪声为零均值的加性高斯白噪声，对输入图像的R、G、B三通道的噪声水平(δ_r,δ_g,δ_b)进行估计，并取将均值为0，方差为δ²的高斯噪声作为输入的退化图M。

进一步的，步骤2.2中的去噪网络的结构为，第一层由3×3的卷积和ReLU激活单元组成，中间层由若干个残差块和一层3×3卷积组成，最后一层为3×3的卷积，最后输出去噪后的子图，其中第一层和最后一层间引入了长跳跃连接。

进一步的，步骤1.2中输入的噪声块规范化到(-1，1之间，WGAN-GP网络中的生成器的输入为服从(0,1)分布的高斯模型的随机噪声，参数设置均采用WGAN-GP的默认值。

进一步的，步骤2.3中采用ADAM算法通过最小化L2范数进行去噪网络的优化，定义如下

其中，||·||₂表示L2范数。

进一步的，步骤2.3中的降采样和步骤2.2中的升采样为互逆操作。

与现有技术相比，本发明具有以下优点:

(1)现有的基于判别式学习的方法多假设图像噪声分布为高斯模型，在真实图像数据集上的测试效果并不理想。本发明利用已有的成对数据集提取噪声块训练生成对抗网络，进行噪声建模，构建的数据集噪声分布更接近真实噪声分布，从而能够更好的实现真实图像去噪任务。

(2)将基于模型优化方法中先估计图像噪声水平后去噪的思路引入到基于判别式学习的方法中，通过噪声估计算法得到噪声图像的噪声水平，将其联合输入到去噪网络，可提高模型盲去噪的稳健性。

(3)在去噪网络的前后端添加一对可逆的升降采样操作，有效地增加神经网络的感受野，提高去噪性能的同时降低运算负担。

附图说明

图1为本发明技术方案的总体框图。

图2为本发明生成对抗网络噪声建模网络结构图。

图3为本发明去噪网络模型结构图。

图4为本发明去噪网络残差块结构图。

具体实施方案

下面结合附图对本发明所提供的基于生成对抗网络噪声建模的真实图像去噪方法的具体实施方式作详细阐述：

附图1为本发明实施例所提供的一种基于生成对抗网络噪声建模的真实图像去噪方法技术方案的总体框图。本发明采用的是分布式网络结构，包含生成对抗网络噪声建模和去噪网络两个模块。

本发明实施例中的噪声建模网络结构如图2所示。具体步骤如下：

步骤S1.1：噪声块提取。给定成对数据(x,y)，首先在清晰图像y中，通过滑动步长S_p依次选定p×p大小的图像块y(p_i)，再在y(p_i)中利用滑动步长S_q依次选定q×q大小的图像块若所有的都满足以下条件:

其中，Mean和Var分别表示均值和方差，μ,γ∈(0,1)。则保留噪声块v_i＝x(p_i)-y(p_i)，x(p_i)为y(p_i)对应的噪声图像块,得到数据集v＝{v₁,v₂,…,v_m}。参数选择如下：p＝64，q＝16，S_p＝32，S_q＝16，μ＝0.1，γ＝0.25。

步骤S1.2：生成对抗网络建模。将步骤1.1中得到的噪声块集v＝{v₁,v₂,…,v_m}输入到WGAN-GP网络[1]中进行训练，以学习真实图像的噪声分布，生成大量更趋近于真实噪声分布的噪声块集v′＝{v₁′,v₂′,…,v_n′}。本发明将输入的噪声块规范化到(-1，1之间，生成器输入为服从(0,1)分布的高斯模型的随机噪声。参数设置均采用WGAN-GP的默认值。

[1]Gulrajani I,Ahmed F,Arjovsky M,et al.Improved training ofwasserstein gans[C]//Advances in Neural Information Processing Systems.2017:5767-5777.

步骤S1.3：合成成对数据集。选用另一新的、高质量的清晰图像数据集，将其裁剪为p×p大小，即64×64的图像块，得到干净无噪的图像数据集x′＝{x₁′,x₂′,…,x_m′}。将x′和v′中的元素任意进行叠加，得到合成的噪声图像数据集y′＝{y₁′,y₂′,…,y_m′}。

通过步骤S1.1～S1.3得到了大量成对的可用于训练去噪网络的数据(x′,y′)，即解决了当前基于判别式学习的方法中数据匮乏、噪声分布难以建模的问题。之后即可利用已构建的成对数据(x′,y′)训练去噪网络，通过学习x′和y′之间的映射关系，获取复原后的图像

本发明实施例中的去噪网络结构如图3所示。具体步骤如下：

步骤S2.1：噪声估计。在本发明中为了方便估计噪声水平，将图像噪声假设为零均值的加性高斯白噪声，对输入图像y′的R、G、B三通道的噪声水平(δ_r,δ_g,δ_b)进行估计，并取将均值为0，方差为δ²的高斯噪声作为输入的退化图M。

步骤S2.2：图像去噪。将退化图M和输入图像y′联合输入到去噪网络中，经降采样为(c+1)·r²(c为输入图像的通道数，r为采样因子)个通道的子图，输入到去噪网络。本发明实施例中的去噪网络模型结构如图3所示，主要利用残差块搭建而成，其结构如图4所示：输入x经两层3×3卷积输出F，再通过短跳跃连接将F和输入x进行叠加，得到输出y。去噪网络的第一层由3×3的卷积和ReLU激活单元组成，中间层由16个残差块和一层3×3卷积组成，最后一层为3×3的卷积，输出c·r²张去噪后的子图；在整个网络结构的设计中均未采用批归一化层，因为批归一化层使特征标准化，同时也去除了网络中的范围柔性。此外，为了使不同深度的特征能够进行传递以及加速收敛，本发明在去噪网络的第一层和最后一层间引入了长跳跃连接。

步骤2.3，将去噪后的子图经升采样输出重构后的RGB图像并根据x′对去噪网络进行优化。升采样操作选用亚像素卷积，降采样为其逆过程。

本发明中采样因子r＝2，去噪网络的通道数为256。训练去噪网络时输入图像的patch size设置为64×64，batch size设置为256，选用ADAM算法[2]通过最小化L2范数进行去噪网络模型的优化，定义如下

[2]Kingma D P,Ba J.Adam:A method for stochastic optimization[J].arXivpreprint arXiv:1412.6980,2014.

以上为本发明的详细步骤，应当理解的是本说明书未详细阐述的部分均属于现有技术。本发明提出了一种基于生成对抗网络噪声建模的真实图像去噪方法，对于当前真实图像去噪中数据缺乏、噪声分布难以显式建模的问题，提出了利用生成对抗网络进行噪声建模以合成数据集的方法，同时本发明在去噪网络中引入了噪声估计模块和可逆的升降采样操作，能够在实现去噪的同时保留图像原有的细节和边缘信息。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (7)

1.一种基于生成对抗网络噪声建模的真实图像去噪方法，其特征在于，包括如下步骤：

步骤1，生成对抗网络噪声建模，包括如下子步骤，

步骤1.1，通过现有的真实噪声图像和清晰图像对(x，y)提取噪声分布相对集中的区域，记为噪声块集v；

步骤1.2，将步骤1.1中得到的噪声块集v＝{v₁，v₂，…，v_m}输入到WGAN-GP网络中进行训练，以学习真实图像的噪声分布，生成大量更趋近于真实噪声分布的噪声块集v′＝{v₁′v₂′，…，v_n′}；

步骤1.3，选择另一清晰数据集并随机裁剪为与步骤1.1中噪声块相同大小的图像块，得到干净无噪的图像数据集x′＝{x₁′，x₂′，…，x_m′}，然后将集合x′和集合v′进行随机组合得到合成的噪声图像数据集y′＝{y₁′，y₂′，…，y_m′}，构建成对数据集(x′，y′)；

步骤2，利用成对数据集(x′，y′)训练去噪网络，获得去噪后的图像，包括如下子步骤；

步骤2.1，首先对输入图像y′的噪声水平进行估计，获得退化图M；

步骤2.2，搭建适用于真实图像盲去噪的网络结构，将退化图M和输入图像y′进行降采样后输入到去噪网络中，获得降噪子图；

步骤2.3，对降噪子图进行升采样后输出重构后的RGB图像并根据和x′对去噪网络进行优化。

2.如权利要求1所述的一种基于生成对抗网络噪声建模的真实图像去噪方法，其特征在于：步骤1.1中获得噪声块集v的具体实现方式如下，

给定成对数据(x，y)，x为真实噪声图像，首先在清晰图像y中，通过滑动步长S_p依次选定p×p大小的图像块y(p_i)，再在y(p_i)中利用滑动步长S_q依次选定q×q大小的图像块若所有的都满足以下条件：

则保留噪声块v_i＝x(p_i)-y(p_i)，x(p_i)为y(p_i)对应的噪声图像块，得到数据集v＝{v₁，v₂，…，v_m}；其中，Mean和Var分别表示均值和方差，μ，γ∈(0，1)。

3.如权利要求1所述的一种基于生成对抗网络噪声建模的真实图像去噪方法，其特征在于：步骤2.1中获得退化图M的具体实现方式如下，

假设图像噪声为零均值的加性高斯白噪声，对输入图像的R、G、B三通道的噪声水平(δ_r，δ_g，δ_b)进行估计，并取将均值为0，方差为δ²的高斯噪声作为输入的退化图M。

4.如权利要求1所述的一种基于生成对抗网络噪声建模的真实图像去噪方法，其特征在于：步骤2.2中的去噪网络的结构为，第一层由3×3的卷积和ReLU激活单元组成，中间层由若干个残差块和一层3×3卷积组成，最后一层为3×3的卷积，最后输出去噪后的子图，其中第一层和最后一层间引入了长跳跃连接。

5.如权利要求1所述的一种基于生成对抗网络噪声建模的真实图像去噪方法，其特征在于：步骤1.2中输入的噪声块规范化到(-1，1)之间，WGAN-GP网络中的生成器的输入为服从(0，1)分布的高斯模型的随机噪声，参数设置均采用WGAN-GP的默认值。

6.如权利要求1所述的一种基于生成对抗网络噪声建模的真实图像去噪方法，其特征在于：步骤2.3中采用ADAM算法通过最小化L2范数进行去噪网络的优化，定义如下

其中，||·||₂表示L2范数。

7.如权利要求1所述的一种基于生成对抗网络噪声建模的真实图像去噪方法，其特征在于：步骤2.3中的降采样和步骤2.2中的升采样为互逆操作。