CN112070690A - 基于卷积神经网络双分支注意力生成的单幅图像去雨方法 - Google Patents

Abstract

本发明公开了基于卷积神经网络双分支注意力生成的单幅图像去雨方法，包括：对输入图像预处理；构建U型结构网络；将权重通道注意力添加至第一个U型网络中，得到添加后的第一个U型网络；将空间注意力和通道注意力添加至第二个U型结构网络中，得到添加后的第二个U型网络；采用经添加后的第一个U型网络处理得到的处理图像a、经添加后的第二个U型网络处理得到处理图像b与预处理后的图像进行相加的操作，经过卷积，得到卷积神经网络模型；将预处理后图像对卷积神经网络模型进行训练，利用损失函数进行约束，得到训练好的去雨网络模型；将待处理有雨的图像放入训练好的去雨网络模型中，最终输出去雨后的图像，提高单幅图像去雨的性能。

Description

基于卷积神经网络双分支注意力生成的单幅图像去雨方法

技术领域

本发明属于图像处理技术领域，涉及一种基于卷积神经网络双分支注意力生成的单幅图像去雨方法。

背景技术

随着科学技术的迅猛发展，人类社会正在进入信息化社会，计算机的应用日益广泛，图像处理技术对各领域的发展越来越重要。计算机视觉在机器人、国防航空、机器视觉自动化领域已经成为关键技术。同时在监控影像、辅助驾驶中央控制系统，交通网关等场景下也起到了重要作用。随着图像处理技术和计算机视觉技术的快速发展，使得越来越多的计算机视觉系统应用于众多的科学和工程领域。但是随着视觉系统在户外的广泛应用，不可避免碰到恶劣天气使其所拍摄图像的视觉效果和数据质量下降。

计算机视觉系统容易受到户外恶劣天气的影响。主要表现为恶劣天气获取的图像会产生干扰和降质，导致计算机视觉处理算法的性能下降，例如目标跟踪，目标检测，图片检索等等。同时，恶劣天气对人类的视觉也存在巨大的挑战，例如，雨雾天气中驾驶，能见度低和下落的雨滴对人眼的干扰，都严重的影响了肉眼的观察，容易造成交通事故；还有在雪天中对滑雪比赛的报道，下落的雪对解说员的报道也会造成一定的干扰；恶劣天气对拍摄电影也会造成影响，导演可能由于天气变化原因要重新翻拍电影的一些片断等等。

恶劣天气条件存在许多不同的类型，如雾，沙尘，雨，雪等。基于产生的视觉效果不同，恶劣天气一般分为两类:静态(如雾，霾)和动态(如雨，雪)。静态天气图像复原主要是提高图像清晰度，而动态天气图像复原主要是去除对目标的干扰，恢复出真实的背景信息。在各种复杂的天气条件下，雨天的视觉效果较为复杂，且变化多端，大雨、中雨、小雨等产生的效果不尽相同。例如在中小雨情况下，视频图像中的雨滴会比较小，而在大雨甚至暴雨情况下，由于其密度大，降落速度快，雨滴就可能会形成雨线，甚至连成一片，整个图像画面变得完全不可见。所以雨滴附着在图像上会非常明显地影响图像的视觉效果和图像质量，这会间接影响到整个计算机视觉系统的性能。

发明内容

本发明的目的是提供一种基于卷积神经网络双分支注意力生成的单幅图像去雨方法，能够提高单幅图像去雨的性能。

本发明所采用的技术方案是，一种基于卷积神经网络双分支注意力生成的单幅图像去雨方法，具体按照如下步骤实施：

步骤1，对输入的图像进行预处理，得到输入图像数据集；

步骤2，构建一个具有上下分支结构的U型结构编码器/解码器网络，分别记为第一个U型编码器/解码器网络和第二个U型编码器/解码器网络；

步骤3，将权重通道注意力机制添加至步骤2中第一个U型编码器/解码器网络的前三个下采样中，得到三个尺度编码器下采样的特征，然后对得到的下采样特征与对应上采样得到同样大小和通道数的结果通过残差块的形式进行特征融合，得到添加后的第一个U型编码器/解码器网络；

步骤4，将空间注意力和通道注意力机制添加至步骤2中第二个U型结构编码器/解码器网络的最后一个下采样后和第一个上采样之间，通过跳跃连接结构结合，进行上采样，得到添加后的第二个U型编码器/解码器网络；

步骤5，采用经步骤3得到的添加后的第一个U型编码器/解码器网络处理得到的处理图像a与采用经步骤4得到的添加后的第二个U型编码器/解码器网络处理得到处理图像b，将处理图像a、处理图像b与步骤1中预处理后的输入图像进行相加的操作，再经过最后一层卷积，得到卷积神经网络模型；

步骤6，采用步骤1得到的输入图像数据集对步骤5得到的卷积神经网络模型进行训练，得到去雨卷积神经网络模型，利用损失函数对去雨卷积神经网络模型进行约束，然后反向转播进行参数更新，得到训练好的去雨网络模型；

步骤7，将待处理有雨的图像放入步骤6得到的训练好的去雨网络模型中，最终输出去雨后的图像。

本发明的特征还在于，

步骤1中预处理具体为：将输入的图像的像素值归一化为[0，1]，并裁剪为256*256*3。

步骤2中两个U型结构编码器/解码器网络均由一个收缩路径和一个扩展路径组成，两个U型结构编码器/解码器网络为上下两个分支的结构，上面分支后的为第一个编码器/解码器，下面分支后的为第二个编码器/解码器，两个编码器所用的下采样由一个大小3x3和步长为2的卷积组成，将特征通道的数量增加一倍，两个解码器的上采样由一个大小3x3和步长为2的转置卷积组成，并将特征通道数减半到32；

第一个U型结构编码器/解码器网络通道数量分别为32，64，128，256；

第二个编码器利用第一个编码器的第一层和第二层，把第一个编码器的第一层和第二层通过通道维度相加的方式采样到大小为128*128*64的特征，第二个U型结构编码器/解码器网络通道数量64。

步骤3具体按照以下步骤实施：

步骤3.1，确定权重通道注意力机制的Squeeze单元，通过全局平均池化的方法得到通道上的权重特征；

步骤3.2，确定权重通道注意力机制的Excitation单元，Excitation单元用于生成每个通道的权重；

步骤3.3，确定通道权重注意力机制的Scale单元，Scale单元将步骤3.2得到的通道的权重通过乘法逐通道加权到步骤3.1得到的权重特征上，得到三个尺度编码器下采样的特征；

步骤3.4，将步骤3.3得到的三个尺度编码器下采样的特征与对应上采样得到同样大小和通道数的结果通过残差块的形式进行特征融合，得到添加后的第一个U型编码器/解码器网络。

步骤3中残差块的表达式为：

x_l+1＝x_l+F(x_l+W_l) (1)

式(1)中，x_l+1为第l+1层卷积层的卷积结果，x_l为第l层卷积层的卷积结果，W_l为第l层卷积层的权重，F(x_l+W_l)为残差部分。

步骤4具体按照以下步骤实施：

步骤4.1，将空间注意力机制与通道注意力机制结合，组成一个CA模块，所述CA模块的上分支为通道注意力机制，所述CA模块的下分支为空间注意力机制，所述CA模块共计6个，分别记为第一个CA模块、第二个CA模块、第三个CA模块、第四个CA模块、第五个CA模块、第六个CA模块；

步骤4.2，在空间注意力层面上使用average pooling和max pooling对特征图进行通道压缩操作，对特征分别在通道维度上做了mean和max操作，得到两个二维的特征；

步骤4.3，将步骤4.2得到的两个二维的特征按通道维度上进行拼接在一起得到一个通道数为2的特征；

步骤4.4，将步骤4.3得到的一个通道数为2的特征与CA模块中的通道注意力机制得到的特征通过乘法逐通道进行加权，及完成CA模块的添加；

步骤4.5，重复步骤4.2至步骤4.4，将剩余5个CA模块进行添加；

步骤4.6，将第一个CA模块和第六个CA模块，第二个CA模块和第五个CA模块，第三个CA模块和第四个CA块形成跳跃连接，然后进行上采样，得到添加后的第二个U型编码器/解码器网络。

步骤6中损失函数为：

MAE损失：

式(2)中，Y_i代表输入的第i张无雨图像，x_i代表输入的第i张有雨图像，f(x_i)代表处理图像；

SSIM损失：

式(3)中，

表示输入的有雨图像x经过训练好的去雨网络模型的输出，z表示输入的无雨图像；

其中，

式(4)中，g、c和s分别表示亮度、对比度和结构，α，β和γ表示系数，x和z分别表示输入的有雨图像和输入的无雨图像，

表示输入的有雨图像x经过训练好的去雨网络模型的输出；

感知损失：

式(4)中，l表示卷积神经网络的l层，φ_l()表示卷积神经网络第l层的激活，

代表输入的图像，y代表经过训练好的去雨网络模型输出的图像，C_lH_lW_l表示第l层的特征图大小；

卷积神经网络模型的总损失函数公式为：

Loss＝λ₁LoSS_MAE+λ₂LoSS_VGG+LoSS_SSIM (5)

式(5)中，λ₁、λ₂分别代表设置的参数。

本发明的有益效果是：本发明一种基于卷积神经网络双分支注意力生成的单幅图像去雨方法，通过在卷积神经网络模型中分别整合了通道注意力机制和空间注意力机制，提高单幅图像去雨的性能，且引入的Sequeeze单元和Excitation单元的注意力机制能够建立特征通道之间的相互依赖性，引入的Spatial单元能够建立空间之间上的依赖性，更专注于需要利用的特征，大大提高了网络的性能，增强了算法的鲁棒性。

附图说明

图1是本发明一种基于卷积神经网络双分支注意力生成的单幅图像去雨方法的流程图；

图2是本发明去雨方法中的基于残差块的跳跃连接结构图；

图3为本发明去雨方法中用于上下文的特征聚合模块；

图4为本发明去雨方法中基于Squeeze单元和Excitation单元的SE_Block网络结构示意图；

图5为本发明去雨方法中基于Spatial单元和Channel单元的网络结构示意图；

图6为本发明去雨方法中卷积神经网络的整体结构示意图；

图7为本发明去雨方法中去雨结果对比图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明一种基于卷积神经网络双分支注意力生成的单幅图像去雨方法，其流程如图1所示，具体按照如下步骤实施：

步骤1，对输入的图像进行预处理，将输入的图像的像素值归一化为[0，1]，并裁剪为256*256*3，得到输入图像数据集，其中输入图像数据集中的数据均为成对呈现，包含有雨图像和无雨图像；

步骤2，构建一个具有上下分支结构的U型结构编码器/解码器网络，分别记为第一个U型编码器/解码器网络和第二个U型编码器/解码器网络；

两个U型结构编码器/解码器网络均由一个收缩路径和一个扩展路径组成，两个U型结构编码器/解码器网络为上下两个分支的结构，上面分支后的为第一个编码器/解码器，下面分支后的为第二个编码器/解码器，两个编码器所用的下采样由一个大小3x3和步长为2的卷积组成，将特征通道的数量增加一倍，两个解码器的上采样由一个大小3x3和步长为2的转置卷积组成，并将特征通道数减半到32；

第一个U型结构编码器/解码器网络通道数量分别为32，64，128，256；

第二个编码器利用第一个编码器的第一层和第二层，把第一个编码器的第一层和第二层通过通道维度相加的方式采样到大小为128*128*64的特征，第二个U型结构编码器/解码器网络通道数量64。

步骤3，如图4所示，将权重通道注意力机制添加至步骤2中第一个U型编码器/解码器网络的前三个下采样中，得到三个尺度编码器下采样的特征，然后对得到的下采样特征与对应上采样得到同样大小和通道数的结果通过残差块的形式进行特征融合，得到添加后的第一个U型编码器/解码器网络，具体按照以下步骤实施：

步骤3.1，确定权重通道注意力机制的Squeeze单元，通过全局平均池化的方法得到通道上的权重特征；

步骤3.2，确定权重通道注意力机制的Excitation单元，Excitation单元用于生成每个通道的权重；

步骤3.3，确定通道权重注意力机制的Scale单元，Scale单元将步骤3.2得到的通道的权重通过乘法逐通道加权到步骤3.1得到的权重特征上，得到三个尺度编码器下采样的特征；

步骤3.4，如图2所示，将步骤3.3得到的三个尺度编码器下采样的特征与对应上采样得到同样大小和通道数的结果通过残差块的形式进行特征融合，得到添加后的第一个U型编码器/解码器网络；

其中，残差块的表达式为：

x_l+1＝x_l+F(x_l+W_l) (1)

式(1)中，x_l+1为第l+1层卷积层的卷积结果，x_l为第l层卷积层的卷积结果，W_l为第l层卷积层的权重，F(x_l+W_l)为残差部分；

SE_block模块是在通道维度上做注意力监督操作，SE_block模块能够让模型更加关注信息量最大的通道特征，对于那些不重要的通道特征不做过多的处理，将SE_block模块添加到下采样的三个尺度卷积，然后对得到的三个尺度特征与对应上采样得到的同样大小和通道数的结果分别进行特征融合，融合后经过如图3所示的上下文聚合模块，再进行上采样，如图6所示；

步骤4，如图5所示，将空间注意力和通道注意力机制添加至步骤2中第二个U型结构编码器/解码器网络的最后一个下采样后和第一个上采样之间，通过跳跃连接结构结合，进行上采样，得到添加后的第二个U型编码器/解码器网络，具体按照以下步骤实施：

步骤4.1，将空间注意力机制与通道注意力机制结合，组成一个CA模块，所述CA模块的上分支为通道注意力机制，所述CA模块的下分支为空间注意力机制，所述CA模块共计6个，分别记为第一个CA模块、第二个CA模块、第三个CA模块、第四个CA模块、第五个CA模块、第六个CA模块；

步骤4.2，在空间注意力层面上使用average pooling和max pooling对特征图进行通道压缩操作，对特征分别在通道维度上做了mean和max操作，得到两个二维的特征；

步骤4.3，将步骤4.2得到的两个二维的特征按通道维度上进行拼接在一起得到一个通道数为2的特征；

步骤4.4，将步骤4.3得到的一个通道数为2的特征与CA模块中的通道注意力机制得到的特征通过乘法逐通道进行加权，及完成CA模块的添加；

步骤4.5，重复步骤4.2至步骤4.4，将剩余5个CA模块进行添加；

步骤4.6，将第一个CA模块和第六个CA模块，第二个CA模块和第五个CA模块，第三个CA模块和第四个CA块形成跳跃连接，然后进行上采样，得到添加后的第二个U型编码器/解码器网络；

步骤4中的通道注意力机制与步骤3中的权重注意力机制结构不同；CA模块是在空间和通道上做注意力监督操作，在通道注意力上不同于步骤3中的SE_block模块，CA模块的通道注意力机制额外的引入最大池化作为补充，在进行梯度反向传播计算只有特征图中响应最大的地方有梯度的反馈，能作为全局平均池化的一个补充；

步骤5，采用经步骤3得到的添加后的第一个U型编码器/解码器网络处理得到的处理图像a与采用经步骤4得到的添加后的第二个U型编码器/解码器网络处理得到处理图像b，将处理图像a、处理图像b与步骤1中预处理后的输入图像进行相加的操作，再经过最后一层卷积，得到卷积神经网络模型，如图6所示；

步骤6，采用步骤1得到的输入图像数据集对步骤5得到的卷积神经网络模型进行训练，得到去雨卷积神经网络模型，利用损失函数对去雨卷积神经网络模型进行约束，然后反向转播进行参数更新，通过50次训练，其中1次训练指把输入图像数据集训练一遍，得到训练好的去雨网络模型；

其中，损失函数为：

MAE损失：

式(2)中，Y_i代表输入的第i张无雨图像，x_i代表输入的第i张有雨图像，f(x_i)代表处理图像；

SSIM损失：

式(3)中，

表示输入的有雨图像x经过训练好的去雨网络模型的输出，z表示输入的无雨图像；

其中，

式(4)中，g、c和s分别表示亮度、对比度和结构，α，β和γ表示系数，x和z分别表示输入的有雨图像和输入的无雨图像，

表示输入的有雨图像x经过训练好的去雨网络模型的输出；

感知损失：

式(4)中，l表示卷积神经网络的l层，φ_l()表示卷积神经网络第l层的激活，

代表输入的图像，y代表经过训练好的去雨网络模型输出的图像，C_lH_lW_l表示第l层的特征图大小；

卷积神经网络模型的总损失函数公式为：

Loss＝λ₁LoSS_MAE+λ₂LoSS_VGG+LoSS_SSIM (5)

式(5)中，λ₁、λ₂分别代表设置的参数；

步骤7，将待处理有雨的图像放入步骤6得到的训练好的去雨网络模型中，最终输出去雨后的图像。

如图7所示，第一列均为有雨图像，第二均为去雨后的图像，第三列为真实的无雨图像，通过对比可以看出，经本发明去雨方法处理的有雨图像，输出的去雨后的图像与真实的无雨图像无差别。

Claims (7)

1.一种基于卷积神经网络双分支注意力生成的单幅图像去雨方法，其特征在于，具体按照如下步骤实施：

步骤1，对输入的图像进行预处理，得到输入图像数据集；

步骤2，构建一个具有上下分支结构的U型结构编码器/解码器网络，分别记为第一个U型编码器/解码器网络和第二个U型编码器/解码器网络；

步骤3，将权重通道注意力机制添加至步骤2中第一个U型编码器/解码器网络的前三个下采样中，得到三个尺度编码器下采样的特征，然后对得到的下采样特征与对应上采样得到同样大小和通道数的结果通过残差块的形式进行特征融合，得到添加后的第一个U型编码器/解码器网络；

步骤4，将空间注意力和通道注意力机制添加至步骤2中第二个U型结构编码器/解码器网络的最后一个下采样后和第一个上采样之间，通过跳跃连接结构结合，进行上采样，得到添加后的第二个U型编码器/解码器网络；

步骤5，采用经步骤3得到的添加后的第一个U型编码器/解码器网络处理得到的处理图像a与采用经步骤4得到的添加后的第二个U型编码器/解码器网络处理得到处理图像b，将处理图像a、处理图像b与步骤1中预处理后的输入图像进行相加的操作，再经过最后一层卷积，得到卷积神经网络模型；

步骤6，采用步骤1得到的输入图像数据集对步骤5得到的卷积神经网络模型进行训练，得到去雨卷积神经网络模型，利用损失函数对去雨卷积神经网络模型进行约束，然后反向转播进行参数更新，得到训练好的去雨网络模型；

步骤7，将待处理有雨的图像放入步骤6得到的训练好的去雨网络模型中，最终输出去雨后的图像。

2.根据权利要求1所述的一种基于卷积神经网络双分支注意力生成的单幅图像去雨方法，其特征在于，所述步骤1中预处理具体为：将输入的图像的像素值归一化为[0，1]，并裁剪为256*256*3。

3.根据权利要求1所述的一种基于卷积神经网络双分支注意力生成的单幅图像去雨方法，其特征在于，所述步骤2中两个U型结构编码器/解码器网络均由一个收缩路径和一个扩展路径组成，两个U型结构编码器/解码器网络为上下两个分支的结构，上面分支后的为第一个编码器/解码器，下面分支后的为第二个编码器/解码器，两个编码器所用的下采样由一个大小3x3和步长为2的卷积组成，将特征通道的数量增加一倍，两个解码器的上采样由一个大小3x3和步长为2的转置卷积组成，并将特征通道数减半到32；

第一个U型结构编码器/解码器网络通道数量分别为32，64，128，256；

第二个编码器利用第一个编码器的第一层和第二层，把第一个编码器的第一层和第二层通过通道维度相加的方式采样到大小为128*128*64的特征，第二个U型结构编码器/解码器网络通道数量64。

4.根据权利要求1所述的一种基于卷积神经网络双分支注意力生成的单幅图像去雨方法，其特征在于，所述步骤3具体按照以下步骤实施：

步骤3.1，确定权重通道注意力机制的Squeeze单元，通过全局平均池化的方法得到通道上的权重特征；

步骤3.2，确定权重通道注意力机制的Excitation单元，Excitation单元用于生成每个通道的权重；

步骤3.3，确定通道权重注意力机制的Scale单元，Scale单元将步骤3.2得到的通道的权重通过乘法逐通道加权到步骤3.1得到的权重特征上，得到三个尺度编码器下采样的特征；

步骤3.4，将步骤3.3得到的三个尺度编码器下采样的特征与对应上采样得到同样大小和通道数的结果通过残差块的形式进行特征融合，得到添加后的第一个U型编码器/解码器网络。

5.根据权利要求4所述的一种基于卷积神经网络双分支注意力生成的单幅图像去雨方法，其特征在于，所述步骤3中残差块的表达式为：

x_l+1＝x_l+F(x_l+W_l) (1)

式(1)中，x_l+1为第l+1层卷积层的卷积结果，x_l为第l层卷积层的卷积结果，W_l为第l层卷积层的权重，F(x_l+W_l)为残差部分。

6.根据权利要求1所述的一种基于卷积神经网络双分支注意力生成的单幅图像去雨方法，其特征在于，所述步骤4具体按照以下步骤实施：

步骤4.1，将空间注意力机制与通道注意力机制结合，组成一个CA模块，所述CA模块的上分支为通道注意力机制，所述CA模块的下分支为空间注意力机制，所述CA模块共计6个，分别记为第一个CA模块、第二个CA模块、第三个CA模块、第四个CA模块、第五个CA模块、第六个CA模块；

步骤4.2，在空间注意力层面上使用average pooling和max pooling对特征图进行通道压缩操作，对特征分别在通道维度上做了mean和max操作，得到两个二维的特征；

步骤4.3，将步骤4.2得到的两个二维的特征按通道维度上进行拼接在一起得到一个通道数为2的特征；

步骤4.4，将步骤4.3得到的一个通道数为2的特征与CA模块中的通道注意力机制得到的特征通过乘法逐通道进行加权，及完成CA模块的添加；

步骤4.5，重复步骤4.2至步骤4.4，将剩余5个CA模块进行添加；

步骤4.6，将第一个CA模块和第六个CA模块，第二个CA模块和第五个CA模块，第三个CA模块和第四个CA块形成跳跃连接，然后进行上采样，得到添加后的第二个U型编码器/解码器网络。

7.根据权利要求1所述的一种基于卷积神经网络双分支注意力生成的单幅图像去雨方法，其特征在于，所述步骤6中损失函数为：

MAE损失：

式(2)中，Y_i代表输入的第i张无雨图像，x_i代表输入的第i张有雨图像，f(x_i)代表处理图像；

SSIM损失：

式(3)中，

表示输入的有雨图像x经过训练好的去雨网络模型的输出，z表示输入的无雨图像；

其中，

式(4)中，g、c和s分别表示亮度、对比度和结构，α，β和γ表示系数，x和z分别表示输入的有雨图像和输入的无雨图像，

表示输入的有雨图像x经过训练好的去雨网络模型的输出；

感知损失：

式(4)中，l表示卷积神经网络的l层，φ_l()表示卷积神经网络第l层的激活，

代表输入的图像，y代表经过训练好的去雨网络模型输出的图像，C_lH_lW_l表示第l层的特征图大小；

卷积神经网络模型的总损失函数公式为：

Loss＝λ₁Loss_MAE+λ₂Loss_VGG+Loss_SSIM (5)

式(5)中，λ₁、λ₂分别代表设置的参数。

Images