CN113628146B - 基于深度卷积网络的图像去噪方法 - Google Patents

Abstract

本发明公开了基于深度卷积网络的图像去噪方法，包括步骤：建立图像降质模型将图像采样为噪声图像；将噪声图与原图像块形成训练图像对；将训练数据输入深度卷积网络学习，深度卷积网络使用卷积层和非线性激活层将通道扩充之后经过多个残差块，再通过卷积层和非线性激活层将通道数降为输出通道数；使用训练算法进行训练，通过优化方法从训练图像对中学习噪声图像到无噪图像的映射函数；使用损失函数进行优化，直到深度卷积网络的参数收敛。本发明经过训练挖掘数据集的图像先验，通过多次接收噪声水平信息增强网络对噪声强度的识别能力，大幅提升联合去马赛克去噪的性能。

Description

基于深度卷积网络的图像去噪方法

技术领域

本发明属于数字图像处理技术领域，尤其涉及基于深度卷积网络的图像去噪方法。

背景技术

非学习型去噪方法的局限性在于只能在当前图像中挖掘图像相似性等先验，而学习型方法可以从大量图像数据中自动挖掘图像先验，从而可以取得更好的去噪性能。已有深度学习去噪方法未考虑在模型中输入噪声水平，对不同噪声水平需要训练多个去噪模型；或仅输入一次噪声水平噪声水平信息可能在模型中未得到充分识别。

图像去噪是底层视觉中的基础性问题。给定噪声图像y,去噪的目标是从成像模型y＝x+n中恢复清晰图像x，其中n是噪声。在这个成像模型中，去噪任务由两部分构成：对噪声建模和应用算法去除噪声。去噪的对象y，可以是Raw图、线性RGB图像。

图像噪声通常被假设为加性均匀高斯白噪声。“均匀”意味着图像的噪声方差不随着像素位置的变化而改变，也与图像信号无关。这一假设显著简化了图像去噪问题。首先，噪声可以通过一个标量参数——噪声水平来描述。其次，可以容易地构造含噪图像和无噪图像对，对去噪算法进行评价。这一假设并不符合Raw图和线性RGB图的噪声分布，不如更准确的信号相关噪声模型信号相关的高斯分布和估噪方法。

在图像去噪方法中，先验知识是很重要的。先验是图像本身应当服从的概率分布，来自人工抽象或者对图像的统计分析。早期图像先验的获取主要依靠人工抽象。例如，高斯滤波基于对图像的平滑性假设去噪，而维纳滤波基于图像与噪声独立的假设并利用了频谱特性去噪。这些滤波器利用了图像的局部相似性去噪。然而，由于它们的假设仅对部分图像区域近似成立，这些方法往往会过于平滑图像，在去噪时造成高频图像细节损失。

卷积神经网络已被证明是从图像中提取先验的有效方法，并被应用在图像去噪任务中。卷积神经网络从图像数据中自动挖掘先验，在主要数据集上报告的去除高斯白噪声性能都超过了人工设计的方法。例如，非专利文献(2017,26(7):3142–3155.Beyond agaussian denoiser:Residual learning of deep cnn for image denoising[J].IEEETransactions on Image Processing)提出一个20层的名为DnCNN的卷积网络模型在去除均匀高斯白噪声的性能超越BM3D。自动从数据中挖掘图像先验比人工设计先验效率高，对数据利用更充分。因此，采用卷积神经网络的方法可能比第3章基于最小化模型和迭代求解的方法取得更好的性能。

然而，现有的卷积网络去噪方法DnCNN也面临一些问题。首先，DnCNN面临着梯度弥散从而收敛速度慢的问题。由于DnCNN是一个简单的全卷积结构网络，其训练优化过程中面临浅层梯度逼近零导致的收敛速度慢的问题。其次，DnCNN需要对每一种噪声水平训练一个模型权重，无法灵活处理不同水平的噪声。

发明内容

有鉴于此，本发明提出了基于深度卷积网络的图像去噪方法。本发明使用的深度神经网络主要由串联的残差块构成，经过大量图像数据训练挖掘数据集中的图像先验，从图像数据集中挖掘去噪前后图像的映射关系，通过多次接收噪声水平信息增强网络对噪声强度的识别能力。该方法仅需训练一个模型权重可应用于Raw图联合去马赛克去噪，大幅度提升联合去马赛克去噪的性能，还可以通过联合训练估噪与去噪，实现图像盲去噪。

本发明公开的基于深度卷积网络的图像去噪方法，包括以下步骤：

建立图像降质模型，所述图像降质模型通过矩阵乘法将无噪声而且纹理丰富的RGB图像x_i采样为Bayer噪声Raw图像；

将噪声Raw图与原RGB图像块形成训练图像对，所有训练图像对构成训练数据，划分为训练集和验证集；

将训练数据输入深度卷积网络学习，所述深度卷积网络基于深度残差网络模型，使用卷积层和非线性激活层将通道扩充为64，之后经过多个残差块，在每个残差块都输入噪声水平信息，再通过卷积层和非线性激活层将通道数降为输出通道数；

使用训练算法进行训练，所述训练算法根据所述深度残差网络模型在验证集上的性能指标选择最优模型权重，通过优化方法从训练图像对中学习噪声图像到无噪图像的映射函数F(b；θ)；

使用损失函数进行优化，直到深度卷积网络的参数收敛；

输出去噪图像。

进一步的，所述深度卷积网络不使用批归一化。

进一步的，每个所述残差块由4组卷积和激活层串联组成。

进一步的，第一个卷积层除了接受前一个阶段的特征图，还接受噪声水平图作为输入，用于控制去噪的平滑程度。

进一步的，所述映射函数F(b；θ)使得：

其中θ是模型参数集合，x_i为有纹理丰富且无噪声图像，{(x_i,b_i)}为构造的数据集。

进一步的，所述损失函数计算如下：

其中，θ是模型参数集合，{(z_l,s_l)}为数据集，mean()表示计算矩阵元素的均值，λ1为平衡数据项和正则化项的权重，σ_l为噪声水平。

进一步地，当求解盲去噪问题时，则使用如下损失函数:

其中x_i为无噪图像块，y_i为真实噪声水平图，z_i为含噪图像块，λ2是调节估噪和去噪权重的标量权重，

n为图像块数量，G(z_i,φ)为噪声预测网络，θ为去噪网络参数，φ为噪声预测子网络参数。

进一步的，所述去噪网络参数θ和所述噪声预测子网络参数φ共用第一个残差块的图像特征。

本发明的有益效果如下：

1)本发明提出的由改进残差块构成的深度卷积网络，使用改进的残差块多次接收输入噪声水平信息，相对于领域有代表性的方法，实现了更好的图像去噪性能。在联合去马赛克去噪任务中，本发明相对于迭代优化方法能够从数据中自动挖掘图像先验，从而对图像去噪性能有较大提升。此外，卷积神经网络模型在运行时间上也有显著的缩短，更适合工业应用；

2)本发明的网络结构可以与估噪子网络结合在同一个卷积神经网络中实现估噪和去噪，也就实现了盲去噪。实验表明，本发明的盲去噪方法的性能显著超越了直接在不同噪声水平上“暴力”训练的盲去噪网络DnCNN-B。这验证了估噪子网络设计的有效性；

3)相对于基于最小化模型和迭代求解方法，深度神经网络模型不仅可以提升性能，部署时还具有运算速度快，内存占用小，并可分块处理大图像的优势。

附图说明

图1 DnCNN与本发明DRDD训练过程中在验证集上的损失函数对比图；

图2联合去马赛克去噪网络结构图；

图3不同噪声水平下的FlexISP联合去马赛克去噪结果对比图；

图4不同噪声水平下的ADMM联合去马赛克去噪结果对比图；

图5不同噪声水平下的DeepJoint联合去马赛克去噪结果对比图；

图6不同噪声水平下的本发明的联合去马赛克去噪结果对比图；

图7 DeepJoint的栅格痕迹图；

图8本发明的栅格痕迹图；

图9单通道Bayer与三维Bayer对比图；

图10使用残差连接与不使用残差连接对比图；

图11噪声水平单次输入与输入多次对比图；

图12使用BN层与不使用BN层对比图；

图13本发明提出的RGB图像盲去噪网络结构；

图14“夜晚”数据集加噪声的图片；

图15“夜晚”数据集使用BM3D算法处理结果；

图16“夜晚”数据集使用DnCNN-3算法处理结果；

图17“夜晚”数据集使用本发明算法处理结果。

具体实施方式

下面结合附图对本发明作进一步的说明，但不以任何方式对本发明加以限制，基于本发明教导所作的任何变换或替换，均属于本发明的保护范围。

实施例1

1.问题形式化建模

记Bayer图像的列优先展开向量为b∈Rⁿ，其对应的线性RGB图像的红、绿、蓝通道按相同方式进行列展开后的三个向量为r,g,b∈Rⁿ。而三个通道向量连接成的线性RGB图像向量为

图像降质模型为

b＝H(x)＝Ax+η (1)

其中A∈R^n×3n为颜色滤光矩阵，它通过矩阵乘法模拟颜色滤光形成马赛克的过程,将线性RGB图像x将采样为Bayer图像b；η∈Rⁿ为噪声向量。

在求解联合去马赛克去噪问题时，本发明直接从数据集{(x_i,b_i)|i＝1,…,m}构建一个由参数模型构成的映射F(b；θ)，使得

其中θ是模型参数集合。当我们有纹理丰富且无噪声图像x_i，数据集{(x_i,,b_i)}可以通过图像降质模型(1)构造出来。

在本发明中，映射函数F(b；θ)由深度神经网络实现。深度神经网络通过优化方法从数据对中学习噪声图像到无噪图像的映射关系，并通过迭代调整参数集合逐渐逼近真实的映射。深度神经网络具备强大的映射学习能力，但需要与数据集匹配的网络结构才能在应用问题中取得较好的性能。

2.深度神经网络结构

本发明提出一种基于改进的残差网络的联合去马赛克去噪网络结构，如图2所示。网络输入为含噪声三通道、固定Bayer模式的Bayer图像和噪声水平图。Bayer图像本身是单通道的，我们首先将它分离成RGB三通道，空缺的像素颜色用零填充，称为三维Bayer图像。三维Bayer图像经过卷积层和非线性激活层将通道扩充为64，之后经过多个残差块，最后再通过卷积层和非线性激活层将通道数降为输出通道数。每个残差块由4组卷积和激活层串联组成。第一个卷积层除了接受前一个阶段的特征图，还要接受噪声水平图作为输入，用于控制去噪的平滑程度。

本发明提出的改进的残差网络结构适合联合去马赛去噪Deep ResidualDemosaicing and Denoising(英文缩写为DRDD)，以下简称DRDD。本发明用卷积神经网络来模拟传统的去马赛克插值方法，因为卷积神经网络本身就是许多卷积滤波器与非线性激活的级联，并通过级联的卷积层来实现去噪过程。

使用残差块的全卷积网络设计主要是要解决训练过程中梯度弥散、损失函数下降困难，从而导致网络难以收敛的问题。残差网络原本是为了解决深度神经网络在图像分类应用中出现的梯度弥散问题。它在网络中间引入跨层连接，使得优化网络参数时梯度可以跨层回传，缓解了梯度弥散问题，从而使得深度神经网络的参数能得到充分训练，发挥出应有的性能。图1给出了固定噪声水平为25的条件下DnCNN方法的损失函数下降曲线与本发明提出的方法DRDD的对比，图1对比了在相同训练数据和优化过程下，采用了残差块的DRDD和采用简单全卷积的DnCNN的训练损失函数下降过程。可以看出，通过残差块引入的跨层连接，DRDD具有更快的损失函数下降速度和更小的最终损失值。这表明DRDD更容易训练，且可能取得更好的性能。

本发明提出的DRDD网络结构可用于联合去马赛克去噪。实际上，更换训练数据后也可以用于单独去马赛克或者单独去噪。去马赛克和去噪两个任务的共性也在本发明提出的DRDD模型中得到了体现。

3.模型训练

为了构造训练模型所需的噪声Raw图和无噪RGB图像，本发明需要无噪声而且纹理丰富的图像。本发明选择了滑铁卢探索数据集(Waterloo exploration dataset)。所选图像被切分为128×128像素的、间隔256像素的非重叠的小块，并应用图像降质模型(1)来构造噪声Raw图，与原RGB图像块形成训练图像对。所有训练图像对构成训练数据，被以9:1比例随机划分为训练集和验证集。

本发明使用的训练算法如下：

其中，θ是模型参数集合，{(z_l,s_l)}为数据集，mean()表示计算矩阵元素的均值，λ1为平衡数据项和正则化项的权重，σ_l为噪声水平。

算法 深度残差网络的训练算法

输入：含有参数θ的卷积网络模型F(z,θ)，训练数据对{(z_l,s_l)|l＝1,···,N}，学习率α.

输出：更新了参数θ的模型F(z,θ)

该训练算法将根据模型在验证集上的性能指标选择最优模型权重。训练所使用的RGB图像本应是线性RGB图像，但为了简化预处理过程，实际使用了sRGB图像。这样的简化处理Bayer模式和高斯噪声分布，理论上不影响高斯噪声Raw图的联合去马赛克去噪实验，也被同类方法DeepJoint所采用。故本实施例不区分线性RGB和sRGB图像。

本发明用Pytorch实现了所提出的模型。本发明所提模型DRDD在训练过程中，训练处理单一噪声水平的模型时，针对测试噪声水平固定训练噪声水平。训练其他模型时，训练图像的噪声水平在[0,30]被随机选择，图像噪声被动态添加到构造的Raw图上，同时生成噪声水平图作为网络输入。模型训练使用Adam优化算子，固定学习率为1x10^-4。使用单个Nvidia GTX 1080Ti GPU训练单个模型1000轮，大约需要50个小时。

实验设置:

本实施例选取了用于图像去噪实验的常用数据集：Kodak和McM。它们分别包含24和18张RGB彩色图像。测试所用的噪声Bayer图像由这些数据集中的无噪RGB图像先降采样为Bayer格式的Raw图像，再添加特定的高斯白噪声得到；无噪RGB图像作为真值度量方法的去噪性能。

图3-图6展示了不同噪声水平下联合去马赛克去噪的可视结果。图3-图6被划分为四个相同大小的矩形：左上、左下、右下、右上分别对应了噪声水平：σ＝0,5,15,25的图像结果。当噪声水平为25,图3中FlexISP的结果已经有了明显的噪点；图4中ADMM的结果在图像平坦区域有去噪的人工痕迹；图5中DeepJoint没有在噪声水平为25的条件下进行过训练，也留下了明显的噪点，图6中本发明的效果最好。从整体上看，本发明在各个噪声水平下的联合去马赛克去噪性能稳定，整体效果最好。

图3-图6的结果的右下角区域(噪声水平15)还对比了抑制摩尔纹的效果。FlexISP和本发明方法在栅栏密集处都有轻度摩尔纹、ADMM的摩尔纹较明显，DeepJoint对摩尔纹的抑制效果较好。这是因为DeepJoint使用了大量易产生摩尔纹的图像块对模型进行了针对性训练。

使用易产生摩尔纹的图像块进行针对性模型训练确实有效抑制了摩尔纹，但是本发明发现这种训练方法也有缺陷。从图7可以看出，图7的阴影部分引入一种新的栅格状痕迹，本发明称之为“栅格痕迹”；而图8中本发明方法DRDD-17J在对应区域没有这种栅格痕迹。因此，DeepJoint实际上以在平坦区域引入新的栅格痕迹为代价，实现了更好的摩尔纹抑制。由于在真实拍摄场景中平台场景显著多余易产生摩尔纹的场景，本发明没有采用类似DeepJoint的方法去做专门抑制摩尔纹的模型微调。

5.网络结构的敏感性分析

在网络结构的设计过程中，有很多因素需要考虑。因而本发明设计了若干对比实验，来确定每个因素对于图像恢复性能的利弊。从而最终形成了DRDD的网络结构设计。

处理Bayer输入：与去噪任务不同，去马赛克任务的输入是单通道Bayer图像。这意味着相邻的像素可能表示红色、绿色或者蓝色。它们具有不同的物理含义。如果直接在单通道Bayer图像上进行卷积运算，这些具有不同物理含义的信号就会直接在同一个通道内混合起来，从而变得难以区分。因此，这种设计不利于图像复原。本发明将Bayer图像的三种颜色分离到三个通道，空缺像素颜色用零填充，简洁地解决了这个问题。图9展示了单通道Bayer和三维Bayer输入时对比。在单一变量条件下，单通道Bayer图像输入时训练模型的损失函数值显著高于三维Bayer图像输入时。这验证了之前的分析，说明三维Bayer图像输入对于联合去马赛克去噪性能的重要性。

残差连接的作用：本发明残差模块中的残差连接在不改变模型参数量的条件下具有加速模型收敛、改进性能的效果。图10展示了使用残差连接(Residual)和不使用残差连接条件下的验证损失函数下降对比。可以看出，采用残差连接的模型损失具有更快的下降速度和更低的损失下限值。这说明残差连接加速了模型收敛、改进了模型性能。具体原因之前已经分析过，是因为残差连接缓解了梯度弥散现象，使得模型参数更容易训练，而且训练得更充分。

噪声水平单次输入还是多次输入：噪声水平是去噪任务中重要的输入参数已有的去噪工作如DeepJoint仅在初始阶段模型输入一次噪声水平信息。但随着网络层数加深，噪声水平信息混淆在特征图之中，使得深层网络参数难以得到准确的噪声水平信息，影响去噪的性能。为了解决这个问题，本发明在每个残差块都输入噪声水平信息，使得深层网络参数也能获得准确的噪声水平信息。训练网络时，模拟噪声图像的噪声水平均匀随机分布于[0,30]，验证集的噪声水平固定为15。图11展示了这一组对照试验的结果：多次输入噪声水平信息的网络在验证集上的损失函数稳定小于单次输入噪声水平的网络。这说明多次输入噪声水平确实有利于提升性能。

是否使用批归一化：批归一化(BatchNormalization，BN)是神经网络中常用的正则化技术。在图像分类中以及DnCNN等去噪模型中，批归一化都能加速模型收敛和提升模型性能。因此本发明也测试了使用批归一化的效果：模仿DnCNN的方式在所有卷积和激活层之间加入批归一化层。图12给出了结果。可以看到，加入了批归一化的模型损失曲线有很大的震荡，且无法收敛到无批归一化的程度。这说明批归一化不适用于本发明模型。仔细对比，可以发现DnCNN本质上是从噪声图像回归噪声，而本发明模型是从噪声图像回归清晰图像。噪声是零均值的，而清晰图像不是零均值的，由此推断批归一化回归噪声容易，回归清晰图像则困难。因此本发明不使用批归一化，克服了技术偏见，取得了更好的技术效果。

其他因素：本发明还评估了分组卷积、将输入三维Bayer图像连接到残差块的输入特征图等策略，实验结果表明这些策略减慢了模型收敛速度且无益于性能故而本发明模型没有采用。

深度学习方法比传统迭代方法在CPU上有40倍以上的效率优势，在GPU等专业计算硬件的加速下，效率有更大的提升空间。因而本发明提出的深度学习类模型更贴近工业应用需求。

本实施例的有益效果如下：

本发明提出的由改进残差块构成的深度卷积网络，使用改进的残差块多次接收输入噪声水平信息，相对于领域有代表性的方法，实现了更好的图像去噪性能。在联合去马赛克去噪任务中，本发明相对于迭代优化方法能够从数据中自动挖掘图像先验，从而对图像去噪性能有较大提升。此外，卷积神经网络模型在运行时间上也有显著的缩短，更适合工业应用。

本发明的网络结构可以与估噪子网络结合在同一个卷积神经网络中实现估噪和去噪，也就实现了盲去噪。实验表明，本发明的盲去噪方法的性能显著超越了直接在不同噪声水平上“暴力”训练的盲去噪网络DnCNN-B。这验证了估噪子网络设计的有效性。

实施例2

实施例1研究了利用深度卷积网络对Raw图进行联合去马赛克去噪的方法，本实施例将该方法拓展用于RGB图像的去噪问题。该方法原适用于非盲去噪条件下，需要输入噪声水平。本实施例针对这一问题，改进了模型使之可以解决盲去噪问题，从而去噪时仅需要输入噪声图像，不需要输入噪声水平。

RGB图像分为线性RGB图像和sRGB图像。它们的区别在于所经过的颜色与亮度处理过程不同，从而导致噪声的分布不同。本实施例的问题建模和方法描述不涉及具体的噪声分布，在实验时以高斯噪声的定量实验为主，以真实sRGB为辅,因此无需区别线性RGB图像与sRGB图像。

1.问题形式化建模

盲去噪问题的形式化与去马赛克去噪问题的形式化高度相似。在降质模型上不再有马赛克矩阵的降采样：

z＝H(x)＝x+η (6)

其中x为理想RGB图像的列优先向量，z为对应的观测噪声RGB图像的列优先向量，η∈Rⁿ为噪声向量。

在求解非盲去噪问题时，本发明直接从数据集{(x_i,z_i)|i＝1,…,m}构建一个由参数模型构成的映射F(z；θ),使得

其中θ是模型参数集合。当我们有纹理丰富且无噪声图像x_i，数据集{(x_i,z_i)}可以通过图像降质模型(6)构造出来。

当求解盲去噪问题时，含噪图像块z_i对应的标签有两个：无噪图像块x_i和真实噪声水平图y_i,。噪声水平图在空域上与含噪图像块长宽相等，元素值均相同，为含噪图像块的高斯白噪声水平。记噪声预测网络为G(z_i,φ),则损失函数可以写为:

其中x_i为无噪图像块，y_i为真实噪声水平图，z_i为含噪图像块，λ2是调节估噪和去噪权重的标量权重，

n为图像块数量，G(z_i,φ)为噪声预测网络，θ为去噪网络参数，φ为噪声预测子网络参数。

本发明网络结构中，去噪网络参数θ和噪声预测子网络参数φ有一部分是共享的。

2.网络结构

盲去噪方法不需要输入噪声水平。它们通常自己显式地或者隐式地估计噪声水平。卷积神经网络进行RGB图像噪声水平估计是有效的方案。那么在卷积神经网络去噪模型中，加入估噪子网络或者分支来实现盲去噪是值得期待的研究思路。本发明将探索在去噪网络上加入估噪分支来实现RGB图像的盲去噪。

图13展示了本发明提出的RGB图像盲去噪网络结构。输入噪声图像，经过一组将特征通道数升为64的卷积和Relu运算后，特征图进入第一个残差块。第一个残差块有两个分支：一个正常输出图像特征图，另一个走向噪声预测分支输出噪声水平图。这两者又作为第二个残差块的输入。接下来的网络结构与联合去马赛克去噪网络结构一样，噪声水平图将多次输入到后续的残差块中。最终经过一次通道降维的卷积和Relu运算得到去噪图像。

在图13所示盲去噪网络结构中，噪声预测子网络是从输入噪声图像到估计的噪声水平图这一段。噪声预测子网络与去噪网络共用第一个残差块的图像特征在经过一个独立的卷积块得到噪声水平图。这样的设计相对于非盲去噪网络仅仅添加了一个卷积的模型参数，节约了计算量。

3.模型训练

为了构造训练模型所需的噪声RGB图和无噪RGB图像，本发明需要无噪声而且纹理丰富的图像，选择了滑铁卢探索数据集(Waterloo exploration dataset)。所选图像被切分为128x128像素的、间隔256像素的非重叠的小块，并应用图像降质模型(6)来构造噪声RGB图，并与原RGB图像块形成训练图像对。所有训练图像对构成训练数据，并被以9:1比例随机划分为训练集和验证集。本发明使用以下训练算法，该训练算法将根据模型在验证集上的性能指标选择最优模型权重。

算法 深度残差网络的训练算法

输入：含有参数θ的卷积网络模型F(z,θ)，训练数据对{(z_l,s_l)|l＝1,···,N}，学习率α.

输出：更新了参数θ的模型F(z,θ)

训练使用了无噪sRGB图像，并添加了高斯噪声来构造噪声图像。这样的简化处理也被同类方法DnCNN所采用。

本发明用Pytorch实现了盲去噪模型。训练处理单一噪声水平的模型时，本发明针对测试噪声水平固定训练噪声水平。训练其他模型时，训练图像的噪声水平在[0,30]被随机选择，图像噪声被动态添加到无噪RGB图像块上，同时得到噪声水平图作为网络输入。模型训练使用Adam优化算子，固定学习率为1x10^-4。从头使用单个Nvidia GTX 1080Ti GPU训练单个模型1000轮。

本发明首先在模拟噪声非盲噪声上进行对比实验，以检验所提方法的去噪性能非盲去噪则意味着在输入噪声图像给模型时，其对应的噪声水平也被输入。

实验设置

本实施例同样选取了用于图像去噪实验的常用数据集：Kodak和MCM。它们分别包含24和18张RGB彩色图像。测试所用的噪声RGB图像由这些数据集中的无噪RGB图像添加特定的高斯白噪声得到；无噪RGB图像作为真值度量方法的去噪性能。

在模拟噪声非盲去噪任务中，本发明方法的残差块的卷积层数为4，卷积核大小均为3×3。四个残差块构成的模型有18层，而五个残差块构成的模型有22层。

真实图像去噪实验结果:

加性高斯白噪声是对实际噪声的简化假设。实际图像噪声在Raw图或者线性RGB图像上可以认为是高斯-泊松噪声；而在终端sRGB还经过了亮度变换、色调映射和可选的JPEG压缩等处理。本实施例的实验试图验证针对高斯白噪声设计的去噪方法直接应用于实际sRGB图像上的去噪效果。

为此，我们通过品牌手机拍摄收集了两个数据集：“室内(Indoor)”和“夜晚(Night)”，并对这些数据集进行了去噪实验。数据集的图像的最大分辨率达到4016×3008。

图14-图17展示了“夜晚”数据集的部分去噪效果。输入噪声图的噪声水平也是人工估计并根据去噪效果的反馈设定的。图15的BM3D算法去噪结果有更多的残余噪声，而图16的DnCNN-3与图17的DRDD-22的去噪效果相近。因此，本发明方法在夜晚实际场景中的去噪效果也不输于已有的代表性方法。

本发明的有益效果：

本发明提出了一个由改进的残差块构成的深度卷积网络，该网络可以用于联合去马赛克去噪和盲去噪。改进的残差块多次接收输入噪声水平信息，相对于领域有代表性的方法，实现了更好的图像去噪性能。在联合去马赛克去噪任务中，本发明采用的基于卷积神经网络的方法相对于迭代优化方法能够从数据中自动挖掘图像先验，从而对图像去噪性能有较大提升。此外，卷积神经网络模型在运行时间上也有显著的缩短，更适合工业应用。

本发明的网络结构可以与估噪子网络结合在同一个卷积神经网络中实现估噪和去噪，也就实现了盲去噪。实现表明，本发明的盲去噪方法的性能显著超越了直接在不同噪声水平上“暴力”训练的盲去噪网络DnCNN-B。这验证了估噪子网络设计的有效性。

上述实施例为本发明的一种实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何背离本发明的精神实质与原理下所做的改变、修饰、代替、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (5)

1.基于深度卷积网络的图像去噪方法，其特征在于，包括以下步骤：

建立图像降质模型，所述图像降质模型通过矩阵乘法将无噪声而且纹理丰富的RGB图像x_i采样为Bayer噪声图像；

将Bayer噪声图像与原RGB图像块形成训练图像对，所有训练图像对构成训练数据，划分为训练集和验证集；

将训练数据输入深度卷积网络学习，所述深度卷积网络基于深度残差网络模型，使用卷积层和非线性激活层将通道扩充后经过多个残差块，在每个残差块都输入噪声水平信息，再通过卷积层和非线性激活层将通道数降为输出通道数；

使用训练算法进行训练，所述训练算法根据所述深度残差网络模型在验证集上的性能指标选择最优模型权重，通过优化方法从训练图像对中学习噪声图像到无噪图像的映射函数；

使用损失函数进行优化，直到深度卷积网络的参数收敛；

输出去噪图像；

其中，所述映射函数F(b；θ)使得：

其中θ是模型参数集合，x_i为纹理丰富且无噪声图像，{(x_i,b_i)}为构造的数据集；

所述损失函数计算如下：

其中，θ是模型参数集合，{(z_l,s_l)}为数据集，mean()表示计算矩阵元素的均值，λ1为平衡数据项和正则化项的权重，σ_l为噪声水平；

当求解盲去噪问题时，则使用如下损失函数:

其中x_i为无噪图像块，y_i为真实噪声水平图，z_i为含噪图像块，λ2是调节估噪和去噪权重的标量权重，

n为图像块数量，G(z_i,φ)为噪声预测子网络，θ为去噪网络参数，φ为噪声预测子网络参数。

2.根据权利要求1所述的基于深度卷积网络的图像去噪方法，其特征在于，所述深度卷积网络不使用批归一化。

3.根据权利要求1所述的基于深度卷积网络的图像去噪方法，其特征在于，每个所述残差块由4组卷积和激活层串联组成。

4.根据权利要求1所述的基于深度卷积网络的图像去噪方法，其特征在于，所述残差块的第一个卷积层除了接受前一个阶段的特征图，还接受噪声水平图作为输入，用于控制去噪的平滑程度。

5.根据权利要求1所述的基于深度卷积网络的图像去噪方法，其特征在于，所述去噪网络参数θ和所述噪声预测子网络参数φ共用第一个残差块的图像特征。

Images