CN114782695B - 基于阶梯型多尺度卷积神经网络的非均匀噪声去除方法 - Google Patents

Abstract

本发明公开一种基于阶梯型多尺度卷积神经网络的非均匀噪声去除方法，首先构建降噪卷积神经网络模型，并基于已有噪声图像和清晰图像对其进行训练；所述降噪卷积神经网络模型包括顺次连接的空洞卷积组合处理模块、阶梯型多尺度噪声识别模块、多尺度特征融合模块和深度学习降噪模块，且卷积组合处理模块的输出与深度学习降噪模块的混合空洞卷积组合处理模块的输入相连；最后基于训练获得的降噪卷积神经网络模型对噪声图像进行降噪处理，输出降噪图像；本方案基于参数轻量化思考设计阶梯型多尺度网络结构，引入1*1卷积、3*3空洞卷积，能在参数量不激增的前提下，充分获取图像多尺度信息，在去除非均匀噪声的同时保留更多图像细节信息。

Description

基于阶梯型多尺度卷积神经网络的非均匀噪声去除方法

技术领域

本发明属于图像数据处理领域，具体涉及一种基于阶梯型多尺度卷积神经网络的非均匀噪声去除方法，可应用于点状、条状、面状非均匀噪声图像降噪。

背景技术

常规影像采集系统中，受硬件、环境影响，图像中易存在各种形状与尺度的非均匀噪声，如包含条带噪声的遥感影像、包含杂质的水下视频影像等，这些噪声的存在，对后续的图像分割、目标识别工作的开展带来不利影响。

传统图像降噪方法主要有三种：基于灰度信息统计的方法，如直方图匹配法和矩匹配法，这类方法以各传感器具有相同灰度统计特性为前提，存在收敛速度慢和噪声去除“不干净”的问题；基于数字滤波的方法，主要包括空间域滤波、频率域滤波、小波滤波等，其中空间域滤波对孤立点噪声去除效果较好，频率域滤波对具有周期性、均匀的噪声去除效果较好，小波滤波对方向性强、多尺度噪声有较好地解决办法；基于变分正则化的方法是通过约束项的先验信息引入适当的正则项从而恢复目标图像，该方法能有效地保留图像边界和轮廓特征。目前高分遥感影像分辨率已达到亚米级，但与一般图像分辨率相比仍存在差距，由于遥感影像的每个像素都包含大量信息，因此对遥感影像进行降噪时需要最大化保留影像细节特征，而传统图像降噪方法在图像细节保留问题上表现欠佳。

随着大数据、计算机硬件的快速发展，基于卷积神经网络的机器学习算法在图像降噪方向上展现出了巨大潜力和卓越成就。经典的神经网络降噪卷积神经网络模型，尤其是Unet模型，通过池化、反卷积过程，使网络输入、输出张量大小保持一致，其中，池化是通过压缩特征数据起到降低计算量的作用，但在压缩特征时不可避免丢失图像细节特征信息，因此在处理非均匀噪声时，会存在图像细节模糊的问题。另外，随着卷积神经网络的应用逐渐深入，其结构逐步从单一、多层结构演变为复杂、深层结构，参数量日渐庞大，而参数的训练受限于样本数据的规模，过参数化会导致模型过拟合，降低模型泛化能力。

发明内容

本发明针对现有卷积神经网络在进行去噪时存在的缺陷，提出一种基于阶梯型多尺度卷积神经网络的非均匀噪声去除方法，通过网络结构轻量化设计，在参数量不激增的前提下，充分获取图像多尺度信息，在去除非均匀噪声的同时保留更多图像细节信息。

本发明是采用以下的技术方案实现的：一种基于阶梯型多尺度卷积神经网络的非均匀噪声去除方法，包括以下步骤：

步骤A、构建降噪卷积神经网络模型，并基于已有噪声图像和清晰图像对其进行训练；

步骤B、基于训练获得的降噪卷积神经网络模型对噪声图像进行降噪处理，输出降噪图像；

所述步骤A中，所述降噪卷积神经网络模型包括顺次连接的空洞卷积组合处理模块、阶梯型多尺度噪声识别模块、多尺度特征融合模块和深度学习降噪模块；

定义空洞卷积组合处理层包括一个高通道3*3空洞卷积、BN正则化层和LeakyReLU激活函数层，卷积组合处理层包括一个1*1卷积、BN正则化层和LeakyReLU激活函数层；

所述空洞卷积组合处理模块包括一个空洞卷积组合处理层，用以对输入的噪声图像进行处理，获得噪声图像多维度细节与噪声特征；

所述阶梯型多尺度噪声识别模块包括第一阶梯、第二阶梯、第三阶梯和第四阶梯四级处理模块，用以对多尺度、非周期复杂噪声的进行识别，并对噪声进行逐级降噪处理；所述第一阶梯包括一个卷积组合处理层；所述第二阶梯包括两个串联连接的空洞卷积组合处理层；所述第三层阶梯在第二阶梯的第一个空洞卷积组合处理层的基础上，再串联两个扩展率分别为2和5的空洞卷积组合处理层；所述第四层阶梯在第三层阶梯的扩展率为5的空洞卷积组合处理层上，搭建一个扩展率为7的空洞卷积组合处理层，并增加一个Dropout处理；

所述多尺度特征融合模块包括一个卷积组合处理层，用以融合阶梯型多尺度噪声识别模块输出的多尺度特征，获得包含多尺度图像细节特征与残余噪声特征的图像；

所述深度学习降噪模块包括串联连接的扩展率为[1,2]的第一混合空洞卷积组合处理层，卷积组合处理层和扩展率为[1,3,5,7]的第二混合空洞卷积组合处理层，且两个混合空洞卷积组合处理层均增加一个Dropout处理，以进一步去除图像中包含的复杂噪声，所述混合空洞卷积组合处理层是指包括至少两个串联连接、且扩展率不同的空洞卷积组合处理层的组合。

进一步的，所述卷积组合处理模块的输出与深度学习降噪模块的扩展率为[1,3,5,7]的第二混合空洞卷积组合处理模块的输入相连，将经空洞卷积组合处理模块处理获得的多维度特征传递给深度学习降噪模块中的扩展率为[1,3,5,7]的第二混合空洞卷积组合处理模块，优化深度网络学习能力。

进一步的，所述混合空洞卷积组合处理层用来解决多个空洞卷积组合处理层串联导致图像信息不连续的问题，包括以下特征：①叠加的空洞卷积组合处理层的扩展率没有大于1的公约数；②设计锯齿状空洞卷积网络结构。

进一步的，所述步骤A中的训练步骤如下：

(1)以噪声图像为输入，清晰图像为输出，通过训练集进行模型参数拟合，初步获得图像降噪卷积神经网络模型；

(2)通过验证集调整模型的超参数，对模型的能力进行初步评估，形成最终图像降噪卷积神经网络模型；

(3)通过测试集评估模型最终的泛化能力，得到最终的降噪卷积神经网络模型。

与现有技术相比，本发明的优点和积极效果在于：

本方案在参数轻量化基础上，设计阶梯型多尺度网络结构，通过空洞卷积组合处理模块获得噪声图像的多维度细节与噪声特征，然后基于阶梯型多尺度噪声识别模块的四个阶梯对噪声进行逐级降噪处理，经多尺度特征融合模块融合阶梯型多尺度噪声识别模块输出的多尺度特征，获得包含多尺度图像细节特征与残余噪声特征的图像，然后通过深度学习模块进一步去除图像中包含的复杂噪声；

并且该网络结构将经空洞卷积组合处理模块处理获得的多维度特征传递给深度学习降噪模块中的扩展率为[1,3,5,7]的混合空洞卷积组合处理模块，优化深度网络学习能力，防止深度网络退化，提高降噪卷积神经网络模型的鲁棒性和精准性；

通过特征融合，采用阶梯型多尺度网络结构，取长补短，能有效融合多尺度特征，提高非均匀噪声去除能力，在参数轻量化设计上，通过引入1*1卷积、3*3空洞卷积，能在参数量不激增的前提下，充分获取图像多尺度信息，在去除非均匀噪声的同时保留更多图像细节信息。

附图说明

图1为本发明实施例所述模型训练与图像降噪流程示意图；

图2为本发明实施例降噪卷积神经网络模型的网络结构示意图；

图3为本发明实施例多尺度网络结构对比示意图，(a)为传统多尺度网络结构示意图；(b)为本发明阶梯型多尺度网络结构示意图(R＝1)；

图4为本发明实施例1*1卷积降通道数压缩参数量示意；

其中：1、输入层；2、空洞卷积组合处理模块；3、阶梯型多尺度降噪识别模块；4、多尺度特征融合模块；5、深度学习降噪模块；6、输出层。

具体实施方式

为了能够更加清楚地理解本发明的上述目的、特征和优点，下面结合附图及实施例对本发明做进一步说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开的具体实施例。

本发明提出一种基于阶梯型多尺度卷积神经网络的非均匀噪声去除方法，依据全卷积神经网络(FCN)实现图像像素级别的噪声识别，摒弃池化、反卷积层，以均方误差(MSE)为目标函数，通过自适应梯度优化，实现噪声图像到“清晰图像的端到端映射，从而达到降噪目的，通过网络结构轻量化设计，能在参数量不激增的前提下，充分获取图像多尺度信息，在去除非均匀噪声的同时保留更多图像细节信息；其流程图如图1所示，包括以下步骤：

步骤A、构建降噪卷积神经网络模型，并基于已有噪声图像和清晰图像对其进行训练；

所述降噪卷积神经网络模型包括顺次连接的输入层1、空洞卷积组合处理模块2、阶梯型多尺度噪声识别模块3、多尺度特征融合模块4、深度学习降噪模块5和输出层6，且空洞卷积组合处理模块2的输出与深度学习降噪模块5的混合空洞卷积组合处理模块的输入相连；

步骤B、基于训练获得的降噪卷积神经网络模型对噪声图像进行降噪处理，输出降噪图像。

具体的，下面对降噪卷积神经网络模型的结构进行详细说明；

在对降噪卷积神经网络模型训练之前，先一一匹配噪声图像和清晰图像，并对其进行数据分组，形成训练集、验证集和测试集；训练集、验证集和测试集的比例本实施例取7:2:1，其训练步骤如下：

(1)以噪声图像为输入，清晰图像为输出，通过训练集进行模型参数拟合，初步获得图像降噪卷积神经网络模型；

(2)通过验证集调整模型的超参数，对模型的能力进行初步评估，形成最终图像降噪卷积神经网络模型；

(3)通过测试集评估模型最终的泛化能力，得到最终的降噪卷积神经网络模型；

降噪卷积神经网络模型的结构如图2所示：

所述空洞卷积组合处理模块包括一个空洞卷积组合处理层，所述空洞卷积组合处理层包括一个高通道3*3空洞卷积层、BN正则化层和LeakyReLU激活函数层，空洞卷积组合处理模块用以对输入的噪声图像进行处理，获得噪声图像多维度细节与噪声特征，为后续多尺度特征提取做好准备；

所述阶梯型多尺度噪声识别模块用以对多尺度、非周期复杂噪声的进行识别处理，包括第一阶梯、第二阶梯、第三阶梯和第四阶梯；所述第一阶梯包括一个卷积组合处理层(包括1*1卷积层、BN正则化层和LeakyReLU激活函数层)；所述第二阶梯包括两个串联连接的3*3空洞卷积组合处理层；所述第三层阶梯在第二阶梯的第一个空洞卷积组合处理层的基础上，再串联两个扩展率分别为2和5的3*3空洞卷积组合处理层；所述第四层阶梯在第三层阶梯的扩展率为5的空洞卷积组合处理层上，搭建一个扩展率为7的空洞卷积组合处理层，并增加一个Dropout处理；

阶梯型多尺度噪声识别模块的每一阶梯都是一个多级图像降噪模块，对噪声进行逐级降噪处理。第一阶梯是一个1级处理模块，获得与空洞卷积组合处理模块2同尺度噪声的特征图像；第二阶梯是一个2级处理模块，获得去除较大尺度噪声的特征图像；第三阶梯是一个3级处理模块，混合空洞卷积扩展率组合为[1,2,5]，获得去除大尺度噪声的特征图像；第四阶梯是一个4级处理模块，混合空洞卷积扩展率组合为[1,2,5,7]，获得去除超大噪声的特征图像。

所述多尺度特征融合模块，通过一个1*1卷积组合处理层，融合阶梯型多尺度噪声识别模块输出的多尺度特征，获得包含多尺度图像细节特征与残余噪声特征的图像；

所述深度学习降噪模块，串联扩展率为[1,2]的第一混合空洞卷积组合处理层(增加一个Dropout处理)、1*1卷积组合处理层、扩展率为[1,3,5,7]的第二混合空洞卷积组合处理层(增加一个Dropout处理)，进一步去除图像中包含的复杂噪声；其中，所述混合空洞卷积组合处理层是指包括至少两个串联连接、且扩展率不同的空洞卷积组合处理层的组合。

其中，将经空洞卷积组合处理模块处理获得的多维度特征传递给深度学习降噪模块中的扩展率为[1,3,5,7]的第二混合空洞卷积组合处理层，优化深度网络学习能力，防止深度网络退化，提高降噪卷积神经网络模型的鲁棒性和精准性。

其中，BN正则化用来解决梯度爆炸或梯度消失问题；LeakyReLU激活函数层用来将线性问题转化为非线性问题；Dropout用来忽略部分特征检测器，防止模型训练出现过拟合现象；混合空洞卷积组合处理层用来解决多个空洞卷积组合处理层串联导致图像信息不连续的问题，其主要有如下两个特征：①叠加的空洞卷积组合处理层的扩展率不能有大于1的公约数(例如[2,4,6])，不然会产生栅格效应。②设计锯齿状空洞卷积网络结构，例如[1,2,5,1,2,5]的循环结构。

综上可知，本发明在传统多尺度网络结构的基础上，提出一种阶梯型多尺度网络结构，其能在不使用大卷积核、不增加卷积核数量的基础上，实现多尺度串、并行结构的轻量化网络结构，网络结构对比如图3所示。

在卷积神经网络中，感受野是卷积神经网络每一层输出的特征图上的像素点在输入图片上映射的区域大小，感受野越大，反映出的图像信息越多、大尺度特征越好。当前层的感受野大小与卷积核大小和卷积核移动步长有关，同时也与上一层感受野的大小有关，公式见式(1)。

F_i为第i层感受野，K_i为第i层卷积核大小，S_tride为卷积核移动步长。

参数量与卷积核大小、通道数、偏置和批量归一化(BN)有关，公式见(2)。

C_i＝K_i*K_i*N_i*M_i+3M_i (2)

C_i为第i层参数量，N_i、M_i分别为第i层输入输出通道数，当包含偏置时，偏置数量为M_i，当使用BN时，则还需学习2个超参数，参数量均为M_i，总量为2M_i。

由公式(2)可知，卷积核越大，网络层参数量以卷积核大小K的二次方形式增长，因此设计的网络卷积层仅由1*1卷积和3*3空洞卷积构成，通过扩张率超参数R灵活调整空洞卷积感受野大小，依据式(1)可知，当前层感受野大小与上一层感受野大小有关，因此以串联方式可以逐阶梯增加感受野大小，然后通过并联实现多层不同尺度特征融合。与传统多尺度网络结构对比，在保持卷积核数量不变的前提下，阶梯型多尺度网络结构通过改变网络层连接方式，摒弃大卷积核，仅采用3*3空洞卷积可等效实现多尺度感受野融合。

本实施例降噪卷积神经网络模型采用1*1卷积可以在保证感受野大小不变的条件下，通过降低通道数的方式压缩参数量。如图4所示，如果在输入层与输出层之间增加一个1*1卷积操作，参数量由式(3)变为式(4)，当中间层通道数N₂满足式(5)条件时，达到压缩参数量的目的。

C₁＝N₁N₂+K²N₂N₃ (3)

C₂＝K²N₁N₃ (4)

例如，在不考虑偏置与BN条件下，输入层通道数为N1＝8，输出层通道数N3＝7，采用3*3卷积，参数量为3*3*8*9＝648；引入1*1卷积降低通道数N2＝4，则参数量为1*1*8*4+3*3*4*7＝284，参数量压缩1倍有余。

在噪声降噪效果上，因为在卷积神经网络中，低层小感受野能获取分辨率更高的特征，其包含更多的细节、位置信息，但信息量少，高层大感受野能获取信息量丰富的大尺度特征，但分辨率低，细节感知能力弱。通过特征融合，采用阶梯型多尺度网络结构，取长补短，能有效融合多尺度特征，提高非均匀噪声去除能力。对比经典卷积神经网络降噪效果，经本模型降噪后的图像在均方误差、峰值信噪比、结构相似性三项图像降噪质量评价指标上均有提升。

在参数轻量化上，设计阶梯型多尺度网络结构，引入1*1卷积、3*3空洞卷积，大大减少多尺度网络结构参数量。为简化阐述，假设输入输出通道数一致，参数量对比见表1，当尺度数为5时，参数量能压缩至22.4％，随着尺度数量越多，参数量压缩效果更明显。

表1网络结构参数量对比

为便于参数量对比，简化模型参数，假设尺度以等差数列形式增长，n为多尺度数量，组合卷积中的1*1卷积通道数为其余卷积层输入输出通道数均为N。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其它领域，但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。。

Claims (4)

1.基于阶梯型多尺度卷积神经网络的非均匀噪声去除方法，包括以下步骤：

步骤A、构建降噪卷积神经网络模型，并基于已有噪声图像和清晰图像对其进行训练；

步骤B、基于训练获得的降噪卷积神经网络模型对噪声图像进行降噪处理，输出降噪图像；

其特征在于，所述步骤A中，所述降噪卷积神经网络模型包括顺次连接的空洞卷积组合处理模块、阶梯型多尺度噪声识别模块、多尺度特征融合模块和深度学习降噪模块；

定义空洞卷积组合处理层包括一个高通道3*3空洞卷积、BN正则化层和LeakyReLU激活函数层，卷积组合处理层包括一个1*1卷积、BN正则化层和LeakyReLU激活函数层；

所述空洞卷积组合处理模块包括一个空洞卷积组合处理层，用以对输入的噪声图像进行处理，获得噪声图像多维度细节与噪声特征；

所述阶梯型多尺度噪声识别模块包括第一阶梯、第二阶梯、第三阶梯和第四阶梯四级处理模块，用以对多尺度、非周期复杂噪声的进行识别，并对噪声进行逐级降噪处理；所述第一阶梯包括一个卷积组合处理层；所述第二阶梯包括两个串联连接的空洞卷积组合处理层；所述第三层阶梯在第二阶梯的第一个空洞卷积组合处理层的基础上，再串联两个扩展率不同的空洞卷积组合处理层；所述第四层阶梯在第三层阶梯的第二个空洞卷积组合处理层上，再搭建一个不同扩展率的空洞卷积组合处理层，并增加一个Dropout处理；

所述多尺度特征融合模块包括一个卷积组合处理层，用以融合阶梯型多尺度噪声识别模块输出的多尺度特征，获得包含多尺度图像细节特征与残余噪声特征的图像；

所述深度学习降噪模块包括串联连接的第一混合空洞卷积组合处理层，卷积组合处理层和第二混合空洞卷积组合处理层，且两个混合空洞卷积组合处理层均增加一个Dropout处理，以进一步去除图像中包含的复杂噪声，所述第一、第二混合空洞卷积组合处理层是指包括至少两个串联连接、且扩展率不同的空洞卷积组合处理层的组合。

2.根据权利要求1所述的基于阶梯型多尺度卷积神经网络的非均匀噪声去除方法，其特征在于：所述卷积组合处理模块的输出与深度学习降噪模块的第二混合空洞卷积组合处理模块的输入相连，将经空洞卷积组合处理模块处理获得的多维度特征传递给第二混合空洞卷积组合处理模块，优化深度网络学习能力。

3.根据权利要求1所述的基于阶梯型多尺度卷积神经网络的非均匀噪声去除方法，其特征在于：所述混合空洞卷积组合处理层用来解决多个空洞卷积组合处理层串联导致图像信息不连续的问题，包括以下特征：①叠加的空洞卷积组合处理层的扩展率没有大于1的公约数；②设计锯齿状空洞卷积网络结构。

4.根据权利要求1所述的基于阶梯型多尺度卷积神经网络的非均匀噪声去除方法，其特征在于：所述步骤A中的训练步骤如下：

(1)以噪声图像为输入，清晰图像为输出，通过训练集进行模型参数拟合，初步获得图像降噪卷积神经网络模型；

(2)通过验证集调整模型的超参数，对模型的能力进行初步评估，形成最终图像降噪卷积神经网络模型；

(3)通过测试集评估模型最终的泛化能力，得到最终的降噪卷积神经网络模型。