CN113436101A - 基于高效通道注意力机制的龙格库塔模块去雨的方法 - Google Patents

Abstract

本发明提出一种基于高效通道注意力机制的龙格库塔模块去雨的方法。本发明包括以下步骤：1.图像预处理；2.利用全局回传网络对图像高阶信息进再提取；3.基于高效通道注意力机制的龙格库塔模块的图像特征提取；4.利用负结构相似性计算输出图像与真实图像的损失值，利用该损失值进行梯度回传，进而优化网络性能。本发明通过堆叠多个基于高效通道注意力机制的龙格库塔模块，构建深度去雨模型，较好地特提取雨痕特征，并重构清晰的雨天背景图像。同时，为了获取的高阶特征能够改善低阶特征，采用全局回传机制，利用雨痕的高阶特征以更新其低阶特征，提高对雨痕表征的提取质量，逐步提升重建背景图的质量，并且获得了目前在单幅图像去雨的最好效果。

Description

基于高效通道注意力机制的龙格库塔模块去雨的方法

技术领域

本发明提出了一种基于高效通道注意力机制的龙格库塔模块去雨的方法。

背景技术

雨是一种常见的自然现象，在该天气影响下，户外拍摄到的图像会有诸多的弊端，图像中的雨痕等噪声会对背景场景产生一定的遮挡和扭曲，使得图像中的关键信息受到较大的干扰，不利于图像的后期使用。许多用于户外场景的计算机视觉应用一般需要高质量清晰的图像作为输入才能正常工作。当输入的图像带有干扰性信息如雨、雪、雾，这些干扰性信息往往会降低性能。为了重建清晰的背景图像，需要对相应的雨图像进行去噪。在图像缺少时序信息时，单个图像去雨是一项具有挑战性的任务。因此，去雨工作也就成为了计算机视觉和模式识别领域最受欢迎的研究之一，引起了人们的广泛关注。

到目前为止，学者们已经提出了许多种单图像去雨的方法，而目前最主要的去雨方法是基于深度学习(deep learning)方法去雨，该类方法构建神经网络并训练大量数据，形成有雨图像和无雨图像之间的映射，进而得到干净的无雨图像。利用深卷积神经网络强大的特征提取能力，深度学习方法相对于基于模型的方法实现了显著的性能提升。许多基于卷积神经网络的方法都是用先进的网络体系结构提出的，如空洞卷积，密集卷积和递归块等卷积神经网络来提高去雨能力。

但是目前基于深度学习去雨的方法存在着以下两个问题：

(1)现在基于深度学习去雨方法的性能虽然已经越来越好，但是大都是由于网络层数的增加而提高性能，对计算机的算力要求越来越高，不能通过较好的网络架构来提高去雨的性能。

(2)在有雨图像中，由于雨痕中的部分特征与背景纹理的特征具有相似重叠性，导致在使用基于深度学习的算法进行去雨时出现过度平滑的现象，不能很好地展示去雨后的图像。于此同时，因为雨痕部分信息的严重丢失，传统网络对雨痕特征的提取不够充分，分离得到的背景图层有时会残留部分雨痕。

发明内容

本发明的目的是针对现有技术的不足，提供一种基于高效通道注意力机制的龙格库塔模块去雨的方法。

本发明提出的网络结构用数据集Rain100L和Rain100H进行训练和测试。两种数据集中的样本都是利用软件在原始图像上添加雨痕生成的，其中Rain100L数据集较小，只包含一种类型的雨痕，含有训练样本200对，测试样本100对；Rain100H数据集较大，包含五种不同方向的雨痕，含有训练样本1800对，测试样本100对，但网络在实际训练时使用的样本是其中的1254对。

网络所采用的卷积层的通道数都设定为32，残差网络部分的卷积核大小为3，网络回传模块的迭代次数为7。本发明的网络模型利用深度学习框架pytorch,在带有NVIDIAGTX 1080Ti GPU的电脑上进行训练,输入的图像为RGB三通道彩色图像，每一块划分得到的图像块大小为100*100，一次训练所选取的样本数量为8。训练过程中采用ADAM算法进行优化，初始学习率设置为0.001，总共训练100次，在第30，50，80次训练时，学习率会以0.2的倍率衰减，优化器的其他参数设置保持默认。

步骤1：图像预处理

先对所有的有雨图像和原始图像进行预处理，将图像处理成480×320像素大小的图像。

步骤2：利用全局回传机制对图像高阶信息进行再提取

将第t次迭代产生的高阶信息作为第t+1次迭代的低阶信息，通过7次网络回传实现对图像雨痕特征的高效突出和提取。并在第7次后从32通道降维至3通道，得到去雨效果非常好的去雨图像

步骤3：基于高效通道注意力机制的龙格库塔模块的图像特征提取

在全局回传机制中，给定无雨图像F_gt和有雨图像F_o，使有雨图像F_o经过2层基于高效通道注意力机制的龙格库塔模块处理后得到由低阶信息到高阶信息的图像

步骤4：计算损失值

利用负结构相似性(WSSIM)计算输出图像与真实图像的损失值，利用该损失值进行梯度回传，进而优化网络性能，同时输出所得图像在PSNR和SSIM上的定量结果。

步骤1所述的图像预处理

1-1.将所有的图像裁剪为480×320像素的3通道RGB图像，有雨图像命名格式为rain-001.png，原始图像的命名格式为norain-001.png。

1-2.1-2.将有雨图像和原始图像存储在文件夹100rain中，并将在文件夹100rain内新建文件夹rainy，将所有有雨图像移动到文件夹rainy。

步骤2所述的利用全局回传机制对图像高阶信息进再提取：

2-1.第一部分是输入层，该部分由一层卷积层组成，对输入的图像进行浅层特征提取与升维：

F_input＝σ₁(Conv_in(I_in))#⑴

其中，Conv表示第一层的卷积操作,σ₁表示激活函数，I_in表示输入网络的原始图像，F_input表示第一层激活层输出的特征图。

2-2.第二部分是回传层，该部分是网络的主干部分，回传层中包含两个RK3-ECA模块。回传层对输入的图像特征进行充分提取，其中，输入的图像特征是回传层在上一次迭代的输出F_t-1与输入层的输出F_input的均值，这个过程用如下公式表示:

式中F_t表示第t次迭代产生的特征，F_t-1表示第t-1次迭代产生的特征，E表示特征提取操作。其中当t＝1时，即在第一次迭代中，回传层直接提取F_input的特征：

F_t＝E(F_input)#⑶

2-3.第三部分是输出层，该部分由一层卷积核为3*3的卷积层构成，降维输出RGB图像。

公式中

表示第t次迭代的输出雨痕层。

2-4.该网络从输入层到输出层之间构建了全局残差连接，可以将有雨图像传递到网络末端，得到在该网络中的背景图层满足如下公式：

其中F_o表示有雨图像，

表示第t次迭代的背景图，经过T次迭代后即可得到T个背景图，利用这一组背景图能够进行损失值算。

进一步的，本发明网络中回传机制迭代次数为7，输入网络的原始图像I_in通道数为3，第一层激活层输出的特征图F_input通道数为32，输入层与输出层的卷积核大小为3*3，第t次迭代的输出图像

的通道数为3。

进一步的，步骤3所述的基于高效通道注意力机制的龙格库塔模块的图像特征提取，具体实现如下：

3-1.该模块的主体参照龙格库塔模块设计，其对图像的处理流程用下述公式表示。

y_n+1＝y_n+F_eca(I_RK)#(6)

其中y_n表示上一个模块的输出，y_n+1表示本模块的输出结果。F_eca表示高效通道注意力模块，I_RK表示模块中龙格库塔模块部分的输出结果，其满足如下公式：

K₁＝σ₁(Conv₁(y_n))#(7)

F_out1＝0.5K₁+y_n#(8)

K₂＝σ₁(Conv₁(F_out1))#(9)

F_out2＝2K₂+y_n-K₁#(10)

K₃＝σ₁(Conv₁(F_out2))#(11)

式中σ₁表示激活函数，该函数采用Gelu，F_out1和F_out2表示模块中前两个残差连接的输出，Conv表示RK3-ECA内部的卷积层模块，卷积层的通道数为32，卷积核大小为3*3，填充与步长值都为1，保证输入图像与输出图像的大小不会发生变化。K₁、K₂、K₃表示特征图经过激活函数和卷积层处理后的结果。

3-2.高效通道注意力机制首先采用自适应平均池化对I_RK进行信息压缩，使得所有通道的尺寸变为1×1，得到通道信息X，如下公式所示。

X＝f_pool(I_RK)，X∈R^1×32#(13)

其中，f_pool表示对输入F_out3进行自适应平均池化。

对通道信息X采用一维卷积方式融合邻居通道信息，得到通道权重W，如下述公式所示。

W＝σ₂Conv₂(X)，W∈R^1×32#(14)

其中Conv₂表示一维卷积，卷积核大小为1＊3，步长值都为1，填充为1，σ₂为Sigmoid激活函数。

最后将每个通道的权重与对应通道的特征图进行权重分配得到F_out，如下述公式所示。

F_out.i＝F_out3，i×W_i，i∈[0，31]#(15)

其中W_i表示每个通道的权重，F_out3，i表示对应通道的特征图，F_out，i表示每个F_out3，i特征图经过W_i加权后的特征图，F_eca模块如图2。

步骤4所述的损失值计算

利用加权结构相似性来表示真实图像与网络输出结果图像之间的误差，得到负结构相似性(WSSIM)。这个过程可以表示成公式：

其中，F_gt和

分别表示真实图像与网络去除雨痕迹后的背景图。W^t表示每次迭代的损失值的权重大小，v表示迭代次数的总和，t表示本次的迭代数，通过下式可以计算得到W^t的大小：

回传网络在每次迭代的时候都会输出该次迭代的生成图像，并计算对应的损失值，回传网络会将所有迭代的损失值联系在一起，使得网络的整体性能趋于最优。

本发明有益效果如下：

本发明涉及一种利用龙格库塔模块和高效通道注意力机制相结合的深层次网络进行监督学习去雨，采用龙格库塔模块强化提取图像特征的能力并采用高效通道注意力机制加强对雨痕局部表征的关注。通过堆叠多个基于高效通道注意力机制的龙格库塔模块，可以构建深度去雨模型，较好地特提取雨痕特征，并重构清晰的雨天背景图像。同时，为了使得网络中获取的高阶特征能够改善低阶特征，采用全局回传机制，利用雨痕的高阶特征以更新其低阶特征，提高对雨痕表征的提取质量，逐步提升重建背景图的质量，以此来构建一个清晰度非常好的去雨方法。

本发明提出基于注意力机制的龙格库塔模块的去雨网络，并且获得了目前在单幅图像去雨的最好效果。本发明相对于SSIR算法而言，可以较好的消除原始图片上的雨痕。相对于BRN而言，能够较好地降低图像的过平滑现象，同时相对于PReNet而言，能够较好的减少图像中的雨痕。该算法可以较好地重建背景图像的纹理，得到质量较高的清晰背景图像。

附图说明

图1是全局回传机制架构示意图

图2是基于高效通道注意力机制的龙格库塔模块示意图

图3是高效通道注意力机制示意图

图4是去雨效果展示及对比图

具体实施方式

下面结合附图对本发明做进一步说明。

如图1所示，基于高效通道注意力机制的龙格库塔模块去雨的方法，具体包括如下步骤：

步骤(1)先将所有的图像裁剪为480×320的RGB图像，并放置在不同的文件夹下。

步骤(2)将3通道的有雨图像通过卷积操作转化为32通道的图像F_input，对图像进行步骤(3)操作。

3-1将图像各个通道进行激活函数操作(Gelu函数),并进行卷积，卷积核大小为3，填充为1，步长为1，进行卷积，得到K1。

3-2对得到的K1和F_input按照0.5和1的比例相加，得到Fout1。

3-3对得到的Fout1，进行激活函数操作后卷积得到K2，对K1，F_input，K2分别按照-1，1，2比例相加，得到Fout2。

3-4对得到的Fout2进行激活函数操作，并进行卷积，得到K3，将K1，K2，K3，分别按照1，4，1比例相加后除6，得到Fout3。

3-5对Fout3通过高效通道注意力机制操作后与相加，得到输出结果Fout。并将3-1至3-5循环2次得到

按照公式(5)得到去除雨痕的图像

将图像放置在100H文件夹中，并将去雨后图像命名为X1_rain-0XX.png，雨痕图像命名为X_rain-XX.png。

步骤(2)将F_t-1与F_input的算术平均值作为F_t传入第t次迭代的网络，循环7次后得到最后的去雨后图像

步骤(4)最后通过计算WSSIM值得到去雨的效果。

结果如下：

表1在数据集上PSNR的实验结果

Tab.1 Results on the tested datasets in terms ofPSNR

表2在测试数据集上SSIM的实验结果

Tab.2 Results on the tested datasets in terms ofSSIM

从表中可以看出该方法在PSNR和SSIM上都高于其他两种方法。从表中的实验数据可见，该算法的基于注意力机制的龙格库塔去雨网络在Rain100L和Rain100H数据集上都有优异的表现，峰值信噪比和结构相似度两个参考标准都超过了已有算法。在Rain100L数据集上，相比于经典去雨算法SSIR，该网络在SSIM上提升了0.06，在PSNR上提升了7.19dB。相比于PReNet，该网络在SSIM上提升了0.007，在PSNR上提升了2.08dB。

在Rain100H数据集上，相比于经典去雨算法SSIR，该网络在SSIM上提升了0.207，在PSNR上提升了8.6dB。相比于PReNet，该网络在SSIM上提升了0.016，在PSNR上提升了1.45dB。

在Rain100L数据集上，相比于最新去雨算法BRN，该网络在SSIM上提升了0.004，在PSNR上提升了1.4dB。

在Rain100H数据集上，相比于最新去雨算法BRN，该网络在SSIM上提升了0.001，在PSNR上提升了0.34dB。

图4展示了不同去雨算法去除雨痕的视觉效果，该算法相对于SSIR算法而言，可以较好的消除原始图片上的雨痕。相对于BRN而言，能够较好地降低图像的过平滑现象，同时相对于PReNet而言，能够较好的减少图像中的雨痕。该算法可以较好地重建背景图像的纹理，得到质量较高的清晰背景图像。

Claims (6)

1.基于高效通道注意力机制的龙格库塔模块去雨的方法，其特征在于包括如下步骤：

步骤1：图像预处理

先对所有的有雨图像和原始图像进行预处理，将图像处理成480×320像素大小的图像；

步骤2：利用全局回传机制对图像高阶信息进行再提取

将第t次迭代产生的高阶信息作为第t+1次迭代的低阶信息，通过7次网络回传实现对图像雨痕特征的高效突出和提取；并在第7次后从32通道降维至3通道，得到去雨效果非常好的去雨图像

步骤3：基于高效通道注意力机制的龙格库塔模块的图像特征提取

在全局回传机制中，给定无雨图像F_gt和有雨图像F_o，使有雨图像F_o经过2层基于高效通道注意力机制的龙格库塔模块处理后得到由低阶信息到高阶信息的图像

步骤4：计算损失值

利用负结构相似性计算输出图像与真实图像的损失值，利用该损失值进行梯度回传，进而优化网络性能，同时输出所得图像在PSNR和SSIM上的定量结果。

2.根据权利要求1所述的基于高效通道注意力机制的龙格库塔模块去雨的方法，其特征在于步骤1所述的图像预处理，具体实现如下：

1-1.将所有的图像裁剪为480×320像素的3通道RGB图像，有雨图像命名格式为rain-001.png，原始图像的命名格式为norain-001.png；

1-2.将有雨图像和原始图像存储在文件夹100rain中，并将在文件夹100rain内新建文件夹rainy，将所有有雨图像移动到文件夹rainy。

3.根据权利要求1或2所述的基于高效通道注意力机制的龙格库塔模块去雨的方法，其特征在于步骤2所述的利用全局回传机制对图像高阶信息进再提取，具体实现如下：

2-1.第一部分是输入层，该部分由一层卷积层组成，对输入的图像进行浅层特征提取与升维：

F_input＝σ₁(Conv_in(Ii_n))#(1)

其中，Conv表示第一层的卷积操作，σ₁表示激活函数，I_in表示输入网络的原始图像，F_input表示第一层激活层输出的特征图；

2-2.第二部分是回传层，该部分是网络的主干部分，回传层中包含两个RK3-ECA模块；回传层对输入的图像特征进行充分提取，其中，输入的图像特征是回传层在上一次迭代的输出F_t-1与输入层的输出F_input的均值，这个过程用如下公式表示：

式中F_t表示第t次迭代产生的特征，F_t-1表示第t-1次迭代产生的特征，E表示特征提取操作；其中当t＝1时，即在第一次迭代中，回传层直接提取F_input的特征：

F_t＝E(F_input)#(3)

2-3.第三部分是输出层，该部分由一层卷积核为3*3的卷积层构成，降维输出RGB图像；

公式中

表示第t次迭代的输出雨痕层；

2-4.该网络从输入层到输出层之间构建了全局残差连接，可以将有雨图像传递到网络末端，得到在该网络中的背景图层满足如下公式：

其中F_o表示有雨图像，

表示第t次迭代的背景图，经过T次迭代后即可得到T个背景图，利用这一组背景图能够进行损失值算。

4.根据权利要求3所述的基于高效通道注意力机制的龙格库塔模块去雨的方法，其特征在于所述的回传机制迭代次数为7，输入网络的原始图像I_in通道数为3，第一层激活层输出的特征图F_input通道数为32，输入层与输出层的卷积核大小为3*3，第t次迭代的输出图像

的通道数为3。

5.根据权利要求4所述的基于高效通道注意力机制的龙格库塔模块去雨的方法，其特征在于步骤3所述的基于高效通道注意力机制的龙格库塔模块的图像特征提取，具体实现如下：

3-1.参照龙格库塔模块，其对图像的处理流程用下述公式表示；

y_n+1＝y_n+F_eca(I_RK)#(6)

其中y_n表示上一个模块的输出，y_n+1表示本模块的输出结果；F_eca表示高效通道注意力模块，I_RK表示模块中龙格库塔模块部分的输出结果，其满足如下公式：

K₁＝σ₁(Conv₁(y_n))#(7)

F_out1＝0.5K₁+y_n#(8)

K₂＝σ₁(Conv_l(F_out1))#(9)

F_out2＝2K₂+y_n-K₁#(10)

K₃＝σ₁(Conv₁(F_out2))#(11)

式中σ₁表示激活函数，该函数采用Gelu，F_out1和F_out2表示模块中前两个残差连接的输出，Conv表示RK3-ECA内部的卷积层模块，卷积层的通道数为32，卷积核大小为3*3，填充与步长值都为1，保证输入图像与输出图像的大小不会发生变化；K₁、K₂、K₃表示特征图经过激活函数和卷积层处理后的结果；

3-2.高效通道注意力机制首先采用自适应平均池化对I_RK进行信息压缩，使得所有通道的尺寸变为1×1，得到通道信息X，如下公式所示；

X＝f_pool(I_RK)，X∈R^1×32#(13)

其中，f_pool表示对输入F_out3进行自适应平均池化；

对通道信息X采用一维卷积方式融合邻居通道信息，得到通道权重W，如下述公式所示；

W＝σ₂Conv₂(X)，W∈R^1×32#(14)

其中Conv₂表示一维卷积，卷积核大小为1*3，步长值都为1，填充为1，σ₂为Sigmoid激活函数；

3-3.将每个通道的权重与对应通道的特征图进行权重分配得到F_out，如下述公式所示；

F_out，i＝F_out3，i×W_i，i∈[0，31]#(15)

其中W_i表示每个通道的权重，F_out3，i表示对应通道的特征图，F_out，i表示每个F_out3，i特征图经过W_i加权后的特征图。

6.根据权利要求5所述的基于高效通道注意力机制的龙格库塔模块去雨的方法，其特征在于步骤4所述的损失值计算，具体如下：

利用加权结构相似性来表示真实图像与网络输出结果图像之间的误差，得到负结构相似性，这个过程表示成公式：

其中，F_gt和

分别表示真实图像与网络去除雨痕迹后的背景图；W^t表示每次迭代的损失值的权重大小，v表示迭代次数的总和，t表示本次的迭代数，通过下式可以计算得到W^t的大小：

回传网络在每次迭代的时候都会输出该次迭代的生成图像，并计算对应的损失值，回传网络会将所有迭代的损失值联系在一起，使得网络的整体性能趋于最优。

Images