CN108876735B - 一种基于深度残差网络的真实图像盲去噪方法 - Google Patents

Abstract

本发明提出了一种基于深度残差网络的真实图像盲去噪方法。通过图像数据集选取RGB空间清晰图像集，通过空间变换构建RGB空间图像组集；通过多个相机拍摄多个场景下的图像，针对每个相机每个场景下真实清晰图像和真实含噪图像构建真实图像组构建真实图像组集；随机选取RGB空间图像组集中多组RGB空间图像组与真实图像组集中多组真实图像组构建图像训练集通过预处理得到预处理后图像训练集，将RGB空间图像组集中剩余的RGB空间图像组与真实图像组集中剩余的真实图像组构建图像测试集；通过预处理后图像训练集作为输入构建图像去噪残差卷积神经网络，结合残差学习和批归一化策略训练神经网络并对图像测试集去噪。本发明的优点为收敛速度快，去噪效果好。

Description

一种基于深度残差网络的真实图像盲去噪方法

技术领域

本发明属于数字图像处理和计算机视觉领域，具体涉及一种基于深度残差网络的真实图像盲去噪方法。

背景技术

图像去噪是数字图像处理和计算机视觉中一个重要的研究领域。图像去噪的目的在于改善图像质量，更好地还原图像所携带的信息，为图像的进一步分析和理解提供基础。

目前，传统的去噪算法主要有滤波法、非局部法和稀疏表示法，虽然这些算法取得了一定效果，但是去噪任务中仍存在一些问题：该类算法通常都需要提前设定噪声模型，算法去噪效果与采用的噪声模型有极大的相关性。一种去噪算法，对其设计时使用的噪声类型效果显著，而对其他类型噪声去除效果欠佳，通常不同类型的噪声需采取不同的方法才能获得较好的去除效果。但是，由于加噪过程的随机性以及对自然图像先验知识的缺乏，我们很难为去噪问题找到一个理想的解析方法，这也制约了传统方法图像去噪效果的进一步提升。

近年来，深度学习尤其是卷积神经网络在语音、图像、自然语言等领域取得了显著进展。研究发现，对于图像去噪这种复杂度很高的多维回归问题，深层的非线性神经网络是一个非常好的模型。去噪问题的关键在于利用好噪声图像提供的信息推测出原始图像的信息，基于深度学习进行图像去噪的核心内容就是将深度神经网络强大的表达能力和图像去噪问题的特性结合起来。与传统去噪方法相比，深度学习使用无监督学习，训练过程中样本没有标签，该学习方法无需人工干预，可以在固定模式的图像去噪(比如高斯白噪声)问题上取得更高的评价指标(PSNR和SSIM)值，图像质量上也会有一定的提升。

经过对现有技术的文献检索发现，中国公开专利“一种基于深度学习的深度图像去噪及增强方法”(公开号CN105825484A，公开日为2016.08.03)通过构建由三层卷积单元组成的深度图像去噪及增强卷积神经网络进行图像去噪及增强，然而此专利的图像去噪效果和效率都可以进一步提高，其具体的不足之处是：此专利只采用3层的网络结构，其非线性的特征表示能力和图像重构能力有限；此专利的训练数据是清晰图像和人工加噪的含噪图像，没有包含真实含噪图像，对真实含噪图像去噪效果较差；此专利的网络训练过程中得到重建的是清晰图像的低频信息，而没有直接对高频噪声进行特异性重建，模型不易收敛，图像的去噪效果不佳。

发明内容

本发明的目的在于克服现有技术的不足，公开一种基于深度残差网络的真实图像盲去噪方法。

本发明采用的技术方案是：

一种基于深度残差网络的真实图像盲去噪方法，其包括以下步骤：

步骤1：通过图像数据集选取RGB空间清晰图像集，通过空间变换得到RGB空间含噪图像集，通过RGB空间清晰图像集和RGB空间含噪图像集构建RGB空间图像组集；

步骤2：通过多个相机拍摄多个场景下的图像，针对每个相机每个场景下真实清晰图像和真实含噪图像构建真实图像组，通过多个相机拍摄多场景下的真实图像组构建真实图像组集；

步骤3：随机选取RGB空间图像组集中多组RGB空间图像组与真实图像组集中多组真实图像组构建图像训练集，将RGB空间图像组集中剩余的RGB空间图像组与真实图像组集中剩余的真实图像组构建图像测试集，将图像训练集中图像进行预处理得到预处理后图像训练集；

步骤4：通过预处理后图像训练集作为输入构建图像去噪残差卷积神经网络，结合残差学习和批归一化策略训练图像去噪残差卷积神经网络并对图像测试集去噪；

作为优选，步骤1中所述通过图像数据集选取图像数据集K张图像作为RGB空间清晰图像集

步骤1所述空间变换为：

将输入的RGB空间清晰图像集转换到YCbCr空间，得到YCbCr空间清晰图像集

其中，

分别代表RGB空间清晰图像集的三个通道的分量值，取值范围为[0，255]；

分别代表YCbCr空间清晰图像集的三个通道的分量值，取值范围为[0，255]；

选择Y通道清晰图像集

进行加噪处理：

设置6个噪声等级，即噪声方差σ_P∈[0，55]，p∈[1，6]，对

中的每张图像进行加噪处理：

其中，

为噪声等级p的第k张Y通道含噪图像，

为生成与

相同大小的随机矩阵；

将Y通道含噪图像集

结合YCbCr空间清晰图像集中的Cb，Cr通道转换至RGB空间，得到RGB空间加噪图像集

其中，

分别代表RGB空间加噪图像集

的三个通道的分量值，取值范围为[0，255]；

步骤1中所述构建RGB空间图像组集为通过以上处理得到RGB空间图像组集

每组图像

由一张RGB清晰图像

和六张RGB含噪图像

组成；

作为优选，步骤2中所述多个相机的数量为K_A；

步骤2中所述多个场景的数量为K_S；

步骤2中所述真实图像组的数量为K_A*K_S；

步骤2中所述每个相机每个场景下真实含噪图像为：

通过相机k_a拍摄场景k_s下，拍摄4张高感光度和较短曝光时间的图像，4张高感光度和较短曝光时间的图像中任意两张图像求平均，得到六张真实含噪图像：

步骤2中所述每个相机每个场景下真实清晰图像为：

通过相机k_a拍摄场景k_s下，拍摄两张低感光度和长曝光时间拍摄的图像，将两张低感光度和长曝光时间拍摄的图像求平均后作为参考图像

拍摄K_B(K_B＞5)张低感光度和长曝光时间拍摄的图像

然后计算

与

的峰值信噪比：

其中，MAX表示图像颜色的最大数值，N_B＝8bit图像取值为2^NB-1，MSE为均方差：

将K_B(K_B＞5)张低感光度和长曝光时间拍摄的图像中

的图像求平均后作为清晰图像

步骤2中所述真实图像组为

由一张真实清晰图像和六张真实含噪图像组成；

步骤2中所述真实图像组集为

该组集共包含K_A*K_S个真实图像组，将K_A*K_S个真实图像组在真实图像组集中按照拍摄顺序排列得到真实图像组集为：

其中，K_A为多个相机的数量，K_S为多个场景的数量；

作为优选，步骤3中所述多组RGB空间图像组为：

步骤1中所述K₁组RGB空间图像组

步骤3中所述多组真实图像组为：

步骤2中所述K₂组真实图像组

步骤3中所述图像训练集为多组RGB空间图像组与多组真实图像组即

K_T＝K₁+K₂构成；

步骤3中所述剩余RGB空间图像组为：

步骤1中所述K₃＝K-K₁组RGB空间图像组

K为步骤1中RGB空间图像组的数量

步骤3中所述剩余真实图像组为：

步骤2中所述K₄＝K_A*K_S-K₂组真实图像组

K_A为步骤2中多个相机的数量，K_S为步骤2中多个场景的数量；

步骤3中所述图像测试集为多组RGB空间图像组与多组真实图像组即

K_E＝K₃+K₄构成；

步骤3中图像预处理为将图像训练集中每张图像都进行滑动窗裁剪：

图像训练集中每张图像大小都裁剪为180×180的图像，以40×40的滑动窗以及20的滑动步长，在裁剪后图像练集中图像上遍历滑动可获得64个40×40的图像块；

对图像训练集中每张图像滑动窗裁剪后可得到64×K_T个图像块组集

其中，

表示清晰图形块，

表示与之对应的6个含噪图像块；

通过旋转和翻转来扩充滑动窗裁剪后图像训练集，对裁剪后图像训练集中的每组图像块随机旋转90°，180°，270°，并对随机旋转处理过的裁剪后图像训练集像素值进行水平镜像翻转得到预处理后图像训练集：

其中，该训练集中共包含64×K_T×7个图像块组；

作为优选，步骤4中所述预处理后图像训练集为步骤3获得；

图像去噪残差卷积神经网络结构由三个大部分共十七层组成：

第一层包含一个卷积层和一个修正线性单元，卷积核数目为64，大小为3×3，采用修正线性单元RELU作为激活函数，具体公式表示为：

f(x)＝max(0，x)

其中，x表示输出，max()表示当输出x小于0时返回值为0，否则返回值为x；

第二层至第十六层的每一层结构相同，都包含一个卷积层、一个批归一化层和一个修正线性单元；

其中，卷积层的结构与第一层中卷积层的结构相同，修正线性的结构与第一层中修正线性单元的结构相同，网络采用批归一化层；

第十七层仅包含一个卷积层，其结构与第一层中卷积层结构相同；

构建图像去噪残差卷积神经网络时在经过每一次卷积操作后对输出进行零填充，输入在经过卷积层后，尺寸会减小，通过在减少的像素位置上将其填充为零，使得每一层的输入与输出图像尺寸保持一致；

每一卷积层的输出可以表示为：

R_l(X_l；θ_l)＝φ_l(w_l×R_l-1(X_l；θ_l)+b_l)，l∈[1，L]

其中，X_l表示卷积层l的输入，θ_l表示神经网络l层训练出的参数，R_l(X_l；θ)是网络中第ll层的预测结果，φ_l是网络中第l层的激活函数，b_l是网络中第l层的偏置参数，w_l是网络中第l层的卷积模板参数，大小为f_l-1×v_l×v_l×f_l，其中，f_l-1和f_l分别为第ll-1层和第l层的特征图的数目，v_l为第ll层的卷积核大小，L＝17为图像去噪残差卷积神经网络总层数；

将步骤3中所述预处理后图像训练集作为图像去噪残差卷积神经网络，得到图像去噪残差卷积神经网络的训练目标函数是：

其中，

为含噪图像和残差图像之间的映射关系，该训练集中共包含N＝64×K_T×7个图像块组，θ为神经网络训练出的参数，包括卷积模板参数w_l和网络偏置参数b_l，l∈[1，L]，L＝17为图像去噪残差卷积神经网络总层数；

采用随机梯度下降法求解网络每一层的卷积模板参数w_l和网络偏置参数b_l，在每次迭代过程中，计算预测结果误差并反向传播到图像去噪残差卷积神经网络模型中，计算梯度并更新图像去噪残差卷积神经网络的卷积模板参数，网络第(l+1)层的梯度和卷积模板参数具体更新公式为：

其中，Loss为训练的损失误差，m为结合动量，λ为学习率；

通过卷积模板参数w_l和网络偏置参数b_l，l∈[1，L]，L＝1构建图像去噪残差卷积神经网络，生成从含噪图像到残差图像之间的映射关系R(X_N)≈v，并完成神经网络模型的训练；

步骤4中所述图像测试集去噪为：

X_final＝X_N-R(X_N)

其中，将步骤3中所述图像测试集输入到图像去噪残差卷积神经网络中，输出去噪后的图像测试集。

与已有专利相比，本发明具有以下优点和有益效果：

本发明中使用了十七层的网络结构，使得神经网络结构的表示和重构能力极大地提升，从而能够更好地提高图像去噪效果，网络中加入BN层加速模型的收敛，整个卷积过程保持图像大小一致，保留图像边缘信息；

本发明中构建了真实含噪数据集并作为训练集的一部分，从而提升了真实含噪图像去噪效果；

本发明利用含噪图像和清晰图像之间的残差来训练网络，由于残差图像表示噪声信息，使得网络可更集中地对噪声进行训练，同时，由于残差图像的稀疏属性，可以提高网络的训练速度。

附图说明

图1：本发明的方法流程图；

图2：选取通用清晰图像及生成相应的含噪图像的流程图；

图3：构建真实含噪图像数据集RND的流程图；

图4：构建网络训练集的流程图；

图5：为图像去噪残差卷积神经网络的结构示意图；

图6：为训练图像去噪残差卷积神经网络的结构示意图；

图7：为相机设置参数。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

本实施例的基于深度残差网络的真实图像盲去噪方法，具体流程如图1所示，包括以下步骤：

步骤1：通过图像数据集选取RGB空间清晰图像集，通过空间变换得到RGB空间含噪图像集，通过RGB空间清晰图像集和RGB空间含噪图像集构建RGB空间图像组集；

作为优选，步骤1中所述通过图像数据集选取选取图像数据集BSD(The BerkeleySegmentation Dataset and Benchmark)中K＝500张图像作为RGB空间清晰图像集

步骤1所述空间变换为：

将输入的RGB空间清晰图像集转换到YCbCr空间，得到YCbCr空间清晰图像集

其中，

分别代表RGB空间清晰图像集的三个通道的分量值，取值范围为[0，255]；

分别代表YCbCr空间清晰图像集的三个通道的分量值，取值范围为[0，255]；

选择Y通道清晰图像集

进行加噪处理：

设置6个噪声等级，即噪声方差σ_P∈[0，55]，p∈[1，6]，对

中的每张图像进行加噪处理：

其中，

为噪声等级p的第k张Y通道含噪图像，

为生成与

相同大小的随机矩阵；

将Y通道含噪图像集

结合YCbCr空间清晰图像集中的Cb，Cr通道转换至RGB空间，得到RGB空间加噪图像集

其中，

分别代表RGB空间加噪图像集

的三个通道的分量值，取值范围为[0，255]；

步骤1中所述构建RGB空间图像组集为通过以上处理得到RGB空间图像组集

每组图像

由一张RGB清晰图像

和六张RGB含噪图像

组成；

步骤2：通过多个相机拍摄多个场景下的图像，针对每个相机每个场景下真实清晰图像和真实含噪图像构建真实图像组，通过多个相机拍摄多场景下的真实图像组构建真实图像组集；

作为优选，步骤2中所述多个相机的数量为KA＝3，分别选取Canon PowerShot G5X数码相机、Canon EOS Rebel T5i单反相机以及Xiaomi Mix 2s手机相机；

步骤2中所述多个场景的数量为K_S＝40；

步骤2中所述真实图像组的数量为K_A*K_S＝120；

步骤2中所述每个相机每个场景下真实含噪图像为：

通过相机k_a拍摄场景k_s下，拍摄4张高感光度和较短曝光时间的图像，4张高感光度和较短曝光时间的图像中任意两张图像求平均，得到六张真实含噪图像：

步骤2中所述每个相机每个场景下真实清晰图像为：

通过相机k_a拍摄场景k_s下，拍摄两张低感光度和长曝光时间拍摄的图像，将两张低感光度和长曝光时间拍摄的图像求平均后作为参考图像

拍摄K_B(K_B＞5)张低感光度和长曝光时间拍摄的图像

然后计算

与

的峰值信噪比：

其中，MAX表示图像颜色的最大数值，N_B＝8bit图像取值为2^NB-1，MSE为均方差：

将K_B(K_B＞5)张低感光度和长曝光时间拍摄的图像中

的图像求平均后作为清晰图像

步骤2中所述真实图像组为

由一张真实清晰图像和六张真实含噪图像组成；

步骤2中所述真实图像组集为

该组集共包含K_A*K_S＝120个真实图像组，将120个真实图像组在真实图像组集中按照拍摄顺序排列得到真实图像组集为：

其中，K_A＝3为多个相机的数量，K_S＝40为多个场景的数量；

步骤3：随机选取RGB空间图像组集中多组RGB空间图像组与真实图像组集中多组真实图像组构建图像训练集，将RGB空间图像组集中剩余的RGB空间图像组与真实图像组集中剩余的真实图像组构建图像测试集，将图像训练集中图像进行预处理得到预处理后图像训练集；

作为优选，步骤3中所述多组RGB空间图像组为：

步骤1中所述K₁＝440组RGB空间图像组

步骤3中所述多组真实图像组为：

步骤2中所述K₂＝110组真实图像组

步骤3中所述图像训练集为多组RGB空间图像组与多组真实图像组即

K_T＝K₁+K₂构成；

步骤3中所述剩余RGB空间图像组为：

步骤1中所述K₃＝K-K₁组RGB空间图像组

K＝500为步骤1中RGB空间图像组的数量

步骤3中所述剩余真实图像组为：

步骤2中所述K₄＝K_A*K_S-K₂组真实图像组

K_A＝3为步骤2中多个相机的数量，K_S＝40为步骤2中多个场景的数量；

步骤3中所述图像测试集为多组RGB空间图像组与多组真实图像组即

K_E＝K₃+K₄构成；

步骤3中图像预处理为将图像训练集中每张图像都进行滑动窗裁剪：

图像训练集中每张图像大小都裁剪为180×180的图像，以40×40的滑动窗以及20的滑动步长，在裁剪后图像练集中图像上遍历滑动可获得64个40×40的图像块；

对图像训练集中每张图像滑动窗裁剪后可得到64×K_T(K_T＝550)个图像块组集

其中，

表示清晰图形块，

表示与之对应的6个含噪图像块；

通过旋转和翻转来扩充滑动窗裁剪后图像训练集，对裁剪后图像训练集中的每组图像块随机旋转90°，180°，270°，并对随机旋转处理过的裁剪后图像训练集像素值进行水平镜像翻转得到预处理后图像训练集：

其中，该训练集中共包含64×K_T×7(K_T＝550)个图像块组；

步骤4：通过预处理后图像训练集作为输入构建图像去噪残差卷积神经网络，结合残差学习和批归一化策略对图像测试集去噪；

作为优选，步骤4中所述预处理后图像训练集为步骤3获得；

图像去噪残差卷积神经网络结构由三个大部分共十七层组成：

第一层包含一个卷积层和一个修正线性单元，卷积核数目为64，大小为3×3，采用修正线性单元RELU作为激活函数，具体公式表示为：

f(x)＝max(0，x)

其中，x表示输出，max()表示当输出x小于0时返回值为0，否则返回值为x：

第二层至第十六层的每一层结构相同，都包含一个卷积层、一个批归一化层和一个修正线性单元；

其中，卷积层的结构与第一层中卷积层的结构相同，修正线性的结构与第一层中修正线性单元的结构相同，网络采用批归一化层；

第十七层仅包含一个卷积层，其结构与第一层中卷积层结构相同；

构建图像去噪残差卷积神经网络时在经过每一次卷积操作后对输出进行零填充，输入在经过卷积层后，尺寸会减小，通过在减少的像素位置上将其填充为零，使得每一层的输入与输出图像尺寸保持一致；

每一卷积层的输出可以表示为：

R_l(X_l；θ_l)＝φ_l(w_l×R_l-1(X_l；θ_l)+b_l)，l∈[1，L]

其中，X_l表示卷积层l的输入，θ_l表示神经网络l层训练出的参数，R_l(X_l；θ)是网络中第l层的预测结果，φ_l是网络中第l层的激活函数，b_l是网络中第l层的偏置参数，w_l是网络中第l层的卷积模板参数，大小为f_l-1×v_l×v_l×f_l，其中，f_l-1和f_l分别为第l-1层和第l层的特征图的数目，v_l为第l层的卷积核大小，L＝17为图像去噪残差卷积神经网络总层数；

将步骤3中所述预处理后图像训练集作为图像去噪残差卷积神经网络，得到图像去噪残差卷积神经网络的训练目标函数是：

其中，

为含噪图像和残差图像之间的映射关系，该训练集中共包含N＝64×K_T×7(K_T＝550)个图像块组，θ为神经网络训练出的参数，包括卷积模板参数w_l和网络偏置参数b_l，l∈[1，L]，L＝17为图像去噪残差卷积神经网络总层数；

采用随机梯度下降法求解网络每一层的卷积模板参数w_l和网络偏置参数b_l，在每次迭代过程中，计算预测结果误差并反向传播到图像去噪残差卷积神经网络模型中，计算梯度并更新图像去噪残差卷积神经网络的卷积模板参数，网络第(1l+1)层的梯度和卷积模板参数具体更新公式为：

其中，Loss为训练的损失误差，m为结合动量，λ为学习率；

通过卷积模板参数w_l和网络偏置参数b_l，l∈[1，L]，L＝1构建图像去噪残差卷积神经网络，生成从含噪图像到残差图像之间的映射关系R(X_N)≈v，并完成神经网络模型的训练；

步骤4中所述图像测试集去噪为：

X_final＝X_N-R(X_N)

其中，将步骤3中所述图像测试集输入到图像去噪残差卷积神经网络中，输出去噪后的图像测试集；

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (5)

1.一种基于深度残差网络的真实图像盲去噪方法，其特征在于，包括以下步骤：

步骤1：通过图像数据集选取RGB空间清晰图像集，通过空间变换得到RGB空间含噪图像集，通过RGB空间清晰图像集和RGB空间含噪图像集构建RGB空间图像组集；

步骤2：通过多个相机拍摄多个场景下的图像，针对每个相机每个场景下真实清晰图像和真实含噪图像构建真实图像组，通过多个相机拍摄多场景下的真实图像组构建真实图像组集；

步骤3：随机选取RGB空间图像组集中多组RGB空间图像组与真实图像组集中多组真实图像组构建图像训练集，将RGB空间图像组集中剩余的RGB空间图像组与真实图像组集中剩余的真实图像组构建图像测试集，将图像训练集中图像进行预处理得到预处理后图像训练集；

步骤4：通过预处理后图像训练集作为输入构建图像去噪残差卷积神经网络，结合残差学习和批归一化策略训练图像去噪残差卷积神经网络并对图像测试集去噪。

2.根据权利要求1所述的基于深度残差网络的真实图像盲去噪方法，其特征在于，步骤1中所述通过图像数据集选取图像数据集K张图像作为RGB空间清晰图像集

步骤1所述空间变换为：

将输入的RGB空间清晰图像集转换到YCbCr空间，得到YCbCr空间清晰图像集

其中，

分别代表RGB空间清晰图像集的三个通道的分量值，取值范围为[0,255]；

分别代表YCbCr空间清晰图像集的三个通道的分量值，取值范围为[0,255]；

选择Y通道清晰图像集

进行加噪处理：

设置6个噪声等级，即噪声方差σ_P∈[0，55],p∈[1，6]，对

中的每张图像进行加噪处理：

其中，

为噪声等级p的第k张Y通道含噪图像，

为生成与

相同大小的随机矩阵；

将Y通道含噪图像集

结合YCbCr空间清晰图像集中的Cb，Cr通道转换至RGB空间，得到RGB空间加噪图像集

其中，

分别代表RGB空间加噪图像集

的三个通道的分量值，取值范围为[0,255]；

步骤1中所述构建RGB空间图像组集为通过以上处理得到RGB空间图像组集

每组图像

由一张RGB清晰图像

和六张RGB含噪图像

组成。

3.根据权利要求1所述的基于深度残差网络的真实图像盲去噪方法，其特征在于，步骤2中所述多个相机的数量为K_A；

步骤2中所述多个场景的数量为K_S；

步骤2中所述真实图像组的数量为K_A*K_S；

步骤2中所述每个相机每个场景下真实含噪图像为：

通过相机k_a拍摄场景k_s下，拍摄4张高感光度和较短曝光时间的图像，4张高感光度和较短曝光时间的图像中任意两张图像求平均，得到六张真实含噪图像:

步骤2中所述每个相机每个场景下真实清晰图像为：

通过相机k_a拍摄场景k_s下，拍摄两张低感光度和长曝光时间拍摄的图像，将两张低感光度和长曝光时间拍摄的图像求平均后作为参考图像

拍摄K_B张低感光度和长曝光时间拍摄的图像

然后计算

与

的峰值信噪比：

其中，MAX表示图像颜色的最大数值，N_B＝8bit图像取值为2^NB-1，MSE为均方差：

将K_B张低感光度和长曝光时间拍摄的图像中

的图像求平均后作为清晰图像

步骤2中所述真实图像组为

由一张真实清晰图像和六张真实含噪图像组成；

步骤2中所述真实图像组集为

该组集共包含K_A*K_S个真实图像组，将K_A*K_S个真实图像组在真实图像组集中按照拍摄顺序排列得到真实图像组集为:

其中，K_A为多个相机的数量，K_S为多个场景的数量。

4.根据权利要求1所述的基于深度残差网络的真实图像盲去噪方法，其特征在于，步骤3中所述多组RGB空间图像组为：

步骤1中K₁组RGB空间图像组

步骤3中所述多组真实图像组为：

步骤2中K₂组真实图像组

步骤3中所述图像训练集为多组RGB空间图像组与多组真实图像组即K_T＝K₁+K₂构成；

步骤3中所述剩余RGB空间图像组为：

步骤1中K₃＝K-K₁组RGB空间图像组

K为步骤1中RGB空间图像组的数量

步骤3中所述剩余真实图像组为：

步骤2中K₄＝K_A*K_S-K₂组真实图像组

K_A为步骤2中多个相机的数量，K_S为步骤2中多个场景的数量；

步骤3中所述图像测试集为多组RGB空间图像组与多组真实图像组即

K_E＝K₃+K₄构成；

步骤3中图像预处理为将图像训练集中每张图像都进行滑动窗裁剪：

图像训练集中每张图像大小都裁剪为180×180的图像，以40×40的滑动窗以及20的滑动步长，在裁剪后图像练集中图像上遍历滑动可获得64个40×40的图像块；

对图像训练集中每张图像滑动窗裁剪后可得到64×K_T个图像块组集

其中，

表示清晰图形块，

表示与之对应的6个含噪图像块；

通过旋转和翻转来扩充滑动窗裁剪后图像训练集，对裁剪后图像训练集中的每组图像块随机旋转90°，180°，270°，并对随机旋转处理过的裁剪后图像训练集像素值进行水平镜像翻转得到预处理后图像训练集：

其中，该训练集中共包含64×K_T×7个图像块组。

5.根据权利要求1所述的基于深度残差网络的真实图像盲去噪方法，其特征在于，步骤4中所述预处理后图像训练集为步骤3获得；

图像去噪残差卷积神经网络结构由三个大部分共十七层组成：

第一层包含一个卷积层和一个修正线性单元，卷积核数目为64，大小为3×3，采用修正线性单元RELU作为激活函数，具体公式表示为：

f(x)＝max(0，x)

其中，x表示输出，max()表示当输出x小于0时返回值为0，否则返回值为x；

第二层至第十六层的每一层结构相同，都包含一个卷积层、一个批归一化层和一个修正线性单元；

其中，卷积层的结构与第一层中卷积层的结构相同，修正线性的结构与第一层中修正线性单元的结构相同，网络采用批归一化层；

第十七层仅包含一个卷积层，其结构与第一层中卷积层结构相同；

构建图像去噪残差卷积神经网络时在经过每一次卷积操作后对输出进行零填充，输入在经过卷积层后，尺寸会减小，通过在减少的像素位置上将其填充为零，使得每一层的输入与输出图像尺寸保持一致；

每一卷积层的输出可以表示为：

R_l(X_l；θ_l)＝φ_l(w_l×R_l-1(X_i；θ_l)+b_l)，l∈[l，L}

其中，X_l表示卷积层l的输入，θ_l表示神经网络l层训练出的参数，R_l(X_l；θ)是网络中第l层的预测结果，φ_l是网络中第l层的激活函数，b_l是网络中第l层的偏置参数，w_l是网络中第l层的卷积模板参数，大小为f_l-1×v_l×v_l×f_l，其中，f_l-1和f_l分别为第ll-1层和第l层的特征图的数目，v_l为第ll层的卷积核大小，L＝17为图像去噪残差卷积神经网络总层数；

将步骤3中所述预处理后图像训练集作为图像去噪残差卷积神经网络，得到图像去噪残差卷积神经网络的训练目标函数是：

其中，

为含噪图像和残差图像之间的映射关系，该训练集中共包含N＝64×K_T×7个图像块组，θ为神经网络训练出的参数，包括卷积模板参数w_l和网络偏置参数b_l,l∈[1，L]，L＝17为图像去噪残差卷积神经网络总层数；

采用随机梯度下降法求解网络每一层的卷积模板参数w_l和网络偏置参数b_l，在每次迭代过程中，计算预测结果误差并反向传播到图像去噪残差卷积神经网络模型中，计算梯度并更新图像去噪残差卷积神经网络的卷积模板参数，网络第(l+1)层的梯度和卷积模板参数具体更新公式为：

其中，Loss为训练的损失误差，m为结合动量，λ为学习率；

通过卷积模板参数w_l和网络偏置参数b_l,l∈[1，L]，L＝1构建图像去噪残差卷积神经网络，生成从含噪图像到残差图像之间的映射关系R(X_N)＝v，并完成神经网络模型的训练；

步骤4中所述图像测试集去噪为：

X_final＝X_N-R(X_N)

其中，将步骤3中所述图像测试集输入到图像去噪残差卷积神经网络中，输出去噪后的图像测试集。

Images