CN112102176A - 基于多尺度密集混合注意力神经网络的图像去雨方法 - Google Patents

Abstract

本发明公开了一种基于多尺度密集混合注意力神经网络的图像去雨方法，包括以下步骤：构建多尺度密集混合注意力神经网络，包括顺序连接的进入模块、多个密集注意力模块、退出模块、全连接操作单元以及负残差还原操作单元，两两相邻的密集注意力模块之间设置一转接层；将含雨图像输入多尺度密集混合注意力神经网络，进行初始特征提取；密集注意力模块对初始特征处理；对密集注意力模块输出的特征经转接层变为和初始特征相同维度大小的特征；全连接操作与负残差还原操作，最后输出无雨清晰图像。基于本发明，可以充分地去除含雨图像中的雨纹，并且较好的保留图像中的背景信息。

Description

基于多尺度密集混合注意力神经网络的图像去雨方法

技术领域

本发明属于计算机视觉任务中的低级处理技术或图像处理中的图像复原技术领域，具体涉及一种基于多尺度密集混合注意力神经网络的图像去雨方法。

背景技术

诸如监控系统等成像设备在室外拍摄遇到雨天时，拍摄所得的图像上会依附有雨滴，这种现象导致图像的可视化质量下降，从而使得计算机系统对该图像的处理无法正常操作。例如无人车需要时刻拍摄当前环境的图像估计行进路线，若图像的可视化质量下降，则无人车无法正常行驶。

近年来关于单图像去雨算法的研究大致可分为非深度学习的图像去雨算法和深度学习的图像去雨算法。

基于卷积神经网络的深度学习图像去雨方案目前有：Fu等人提出了基于残差神经网络框架的深度细节网络(DDN)，他们利用低频滤波器将含雨图像分解为细节层和基础层，然后将细节层图像作为深度细节网络的输入，并提出了含雨图像和无雨图像之间的负残差层有利于神经网络拟合学习的观点；Zhang等人认为含雨图像上存在不均匀密度的雨纹，他们依据此设计了一个通过由残差感知分类器获得估计的雨纹密度标签指导雨纹去除的多流密集连接神经网络(DID-MDN)，并创建了包含雨纹密度标签的数据集用于训练所提出的密度感知网络；Li等人介绍了一个结合了深度卷积和循环结构的神经网络(RSECAN)，该网络采用了膨胀卷积操作来获取更大的感受野进而提取更多上下文信息，利用压缩激发模块指定不同方向和形状的雨纹层的权重值，同时将去雨操作分解为多个阶段，通过循环神经网络结构以保留使用上一去雨阶段的信息。

徐奕等人提出的一种基于多尺度特征融合的单帧图像去雨方法；柳长源等人提出的一种多通道多尺度卷积神经网络的单幅图像去雨方法。

上述图像去雨技术存在的缺点主要是去雨不足和过度去雨，前者导致雨纹痕迹残留在图像上，后者导致图像背景细节信息被破坏。去雨不足的原因在于现有去雨技术对含雨图像上雨纹特征信息提取的不充分，没有全面地考虑含雨图像上不同规模和方向的雨纹；过度去雨的原因主要是现有去雨技术对含雨图像上雨纹特征信息提取的不准确，即混淆了雨纹信息和背景细节信息，没有准确地判别出雨纹。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提出一种基于多尺度密集混合注意力神经网络的图像去雨方法，该方法基于卷积神经网络进行构建，能较为充分地去除含雨图像上的雨纹，并较好地保留背景细节信息。

为了达到上述目的，本发明采用以下技术方案：

基于多尺度密集混合注意力神经网络的图像去雨方法，包括以下步骤：

构建多尺度密集混合注意力神经网络，所述多尺度密集混合注意力神经网络包括顺序连接的进入模块、多个密集注意力模块、退出模块，全连接操作单元以及负残差还原操作单元，两两相邻的密集注意力模块之间设置一转接层；所述密集注意力模块包括多个组合模块，每个组合模块包括密集层、选择核单元以及空间注意力块，并按照密集层、选择核单元和空间注意力块的顺序对输入特征依次进行处理，处理结果输入到下一个组合模块；

将含雨图像输入多尺度密集混合注意力神经网络，进行初始特征提取；

密集注意力模块对初始特征进行处理，所述初始特征经过密集层进行卷积、批标准化和ReLU操作之后，由选择核单元进行划分、融合和选择运算处理，划分运算生成通过不同卷积核大小的卷积操作获得的多分支特征，而不同卷积核大小对应不同的感受野大小，融合运算对多分支特征进行组合聚集，为动态的权重选择获得不同感受野组合的全局表示，选择运算根据权重选择动态自适应地组合聚集不同卷积核大小对应的多分支特征；经过选择核单元处理后特征再由空间注意力块获得的两个空间维度上像素值被权重校正的特征进行通道维度上的组合特征，再利用一个卷积核大小为1的卷积层对组合特征进行降维，获得与输入特征具有相同维度大小的输出特征；

对密集注意力模块输出的特征经转接层变为和初始特征相同维度大小的特征，然后输入到下一个密集注意力模块，并重复执行密集注意力模块处理与改变特征维度大小步骤的操作，直至最后一个密集注意力模块完成处理，输出结果；

将多个密集注意力模块的输入特征在通道维度上进行级联的全连接操作并输入到退出模块，退出模块输出结果与含雨图像进行相加的负残差还原操作，最后得到无雨清晰图像。

进一步的，所述多尺度密集混合注意力神经网络包括4个密集注意力模块、3个转接层、1个进入模块、1个退出模块、1个全连接操作单元以及1个负残差还原操作单元；所述进入模块包括1个卷积层、1个批标准化层以及1个ReLU单元。

进一步的，所述初始特征提取具体为利用进入模块提取初始特征：

I＝E(X)

其中I为初始特征，X为含雨图像。

进一步的，所述组合模块中的密集层和转接层具有相同的组成结构，包括1个卷积层、1个批标准化层以及1个ReLU单元，输入特征经过组合模块，组合模块的处理具体为：

D_l＝f(S)＝f_SA(f_SK(f_DL(S)))

其中，S表示第l个组合模块的输入特征，D_l表示第l个组合模块的输出特征，f_DL(·)，f_SK(·)和f_SA(·)分别表示密集层，选择核单元和空间注意力块。

进一步的，所述选择核单元包括若干个卷积核大小为1的卷积层、若干个批标准化层、1个选择核卷积模块以及1个用于残差映射的跳远连接。

进一步的，所述选择核卷积模块由以下步骤实现：

划分运算，对于空间维度大小为H×W，带有C个通道的特征F，使用卷积核大小分别为3和5的两个卷积模块对特征F进行转换，所述两个卷积模块均由1个卷积层、1个批标准化层以及1个ReLU单元顺序地组成；

融合运算，采用门机制控制来自多个尺度的信息流，同时，设置阀门整合来自所有尺度的信息；

首先对来自多个尺度的特征信息通过逐个像素求和的方式进行融合：

U＝U₁+U₂,

其中，U₁和U₂分别表示特征F经过所述划分运算步骤中两个卷积模块转换的结果；

使用自适应全局平均池化，使融合特征U在空间维度上收缩，变为大小为C的一维向量z：

用于降维的全连接操作单元生成紧凑特征g，g用于准确并自适应地指导选择来自多个尺度的信息，具体如下：

g＝f_fc(z)＝δ(BN(Vz)),

其中δ(·)为ReLU函数，BN(·)表示批标准化层，f_fc表示全连接层,V为全连接层f_fc使用的尺寸大小为d×C的权重矩阵；

选择运算，为了自适应地选择来自不同空间尺度的信息，使用被紧凑特征g引导的软注意力，softmax操作定义如下：

其中A和B尺寸大小都是d×C，a、b分别表示U₁和U₂在通道维度上大小为C的软注意权重向量，同时，a和b的对应像素相加和为一；输出特征O通过不同尺度信息和注意权重的校正获得，具体如下：

O＝a·U₁+b·U₂,a_c+b_c＝1。

进一步的，所述空间注意力块对于给定的输入特征F^s，在通道维度上分别进行全局最大池化操作和全局平均池化操作获得特征在通道维度上的两种不同的聚合信息：

和

与输入特征F^s在空间维度上具有相同的大小，但仅带有一个通道；

将两种聚合信息进行通道维度上的拼接，生成输入特征F^s的全局池化描述子；

分别使用卷积核大小为3和7的两个卷积层对全局池化描述子进行操作并利用Sigmoid激活函数将所有像素值归一化，获得输入特征F^s的两个不同尺度的二维空间注意力图M₁(F^s)和M₂(F^s)，具体如下：

进一步的，所述空间注意力块还包括以下步骤：

将M₁(F^s)和M₂(F^s)分别和输入特征F^s进行乘积操作，完成输入特征F^s在空间维度上多尺度的空间注意力机制；

将获得的两个空间维度上像素值被权重校正的特征进行通道维度上的组合；

利用一个卷积核大小为1的卷积层对组合特征进行降维，获得与输入特征F^s具有相同维度大小的输出特征

进一步的，所述组合模块的输入特征经过密集层、选择核单元以及空间注意力块处理后输出结果；组合模块的输入特征为前一个组合模块的输出特征与初始特征在通道维度上的级联结果；密集注意力模块的输出结果为所有组合模块的输出特征与初始特征在通道维度上的级联结果，具体如下表示：

D_l＝f(S)＝f([SI,D₀,....,D_l-1]),

其中[SI,D₀,....,D_l-1]表示密集注意力模块的原始输入特征和第0,.....,l-1个组合模块的输出特征在通道维度上的拼接结果。

进一步的，所述退出模块包括1个卷积层和1个批标准化层。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明结合采用了选择核单元和空间注意力块，构建了多尺度的通道注意力机制和多尺度的空间注意力机制的混合，实现对含雨图像上雨纹特征信息在不同维度上的准确提取。基于对含雨图像上雨纹特征信息在不同维度上的准确提取的基础，本发明采用密集连接神经网络结构，实现多层级特征的重复利用，确保有用的特征信息持续地传播，最终实现较为充分地去除含雨图像上的雨纹，并较好地保留背景细节信息。

2、本发明为了改正雨纹去除不充分的缺点，采用了密集连接神经网络结构，实现多层级特征重复利用，可以充分地挖掘含雨图像上多样的雨纹特性信息。

3、本发明为了改正过度去雨的缺点，结合利用了多尺度的通道注意力机制和多尺度的空间注意力机制，实现雨纹特征信息的校正，从而能有效准确地提取雨纹特征信息。

附图说明

图1是本发明神经网络的构造示意图；

图2是本发明密集注意力模块的构造示意图；

图3是本发明构造选择核卷积模块步骤的示意图；

图4是本发明得到二维空间注意力图步骤的示意图；

图5是本发明实施例的去雨效果图；

图6是本发明实施例的去雨效果图；

图7是本发明实施例的去雨效果图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

本发明结合采用了选择核单元和空间注意力块，构建了多尺度的通道注意力机制和多尺度的空间注意力机制的混合，实现对含雨图像上雨纹特征信息在不同维度上的准确提取。基于对含雨图像上雨纹特征信息在不同维度上的准确提取的基础，本发明采用密集连接神经网络结构，实现多层级特征的重复利用，确保有用的特征信息持续地传播，最终实现较为充分地去除含雨图像上的雨纹，并较好地保留背景细节信息。

实施例

本发明提出的基于多尺度密集混合注意力神经网络的图像去雨方法包括以下步骤：

S1、构建多尺度密集混合注意力神经网络，基于卷积神经网络进行构建，包括顺序连接的进入模块、多个密集注意力模块、退出模块、全连接操作单元以及负残差还原操作单元，两两相邻的密集注意力模块之间设置一转接层；

在本实施例中，如图1所示，多尺度密集混合注意力神经网络包括4个密集注意力模块、3个转接层、1个进入模块、1个退出模块、1个全连接操作单元以及1个负残差还原操作单元；

S11、构建进入模块，在本实施例中，所述进入模块包括1个卷积层、1个批标准化层以及1个ReLU单元。

S12、构建密集注意力模块，所述密集注意力模块基于密集连接神经网络结构，包括多个组合模块，每个组合模块包括密集层、选择核单元以及空间注意力块；

如图2所示，在本实施例中，所述密集注意力模块包含3个组合模块，所述组合模块包括1个密集层、1个选择核单元以及1个空间注意力块。

S121、构建密集层，在本实施例中，所述密集层由1个卷积层、1个批标准化层以及1个ReLU单元组成。

S122、构建选择核单元，在本实施例中，选择核单元包括若干个卷积核大小为1的卷积层、若干个批标准化层、1个选择核卷积模块以及1个用于残差映射的跳远连接，选择核卷积模块为选择核单元的核心模块，如图3所示，其通过以下步骤实现：

划分运算，划分生成通过不同卷积核大小的卷积操作获得的多分支特征，而不同卷积核大小对应不同的感受野大小，具体为：

对于空间维度大小为H×W，带有C个通道的特征F，两个卷积核大小分别为3和5的卷积模块被用来对特征F进行转换，所述两个卷积模块均由1个卷积层、1个批标准化层和1个ReLU单元顺序地组成。

融合运算，融合对多分支特征进行组合聚集，为动态的权重选择获得不同感受野组合的全局表示，具体为：

在本实施例中，为了使神经元能根据刺激内容自适应地调整其感受野，采用门机制控制来自多个尺度的信息流，同时设置阀门整合来自所有尺度的信息。因此，首先对来自多个尺度的特征信息通过逐个像素求和的方式进行融合：

U＝U₁+U₂,

其中，U₁和U₂分别表示特征F经过上述划分运算步骤两个卷积模块转换的结果。

随后，使用自适应全局平均池化，使融合特征U在空间维度上收缩为大小为C的一维向量z：

然后，用于降维的全连接操作单元将生成紧凑特征g，g用于准确并自适应地指导选择来自多个尺度的信息，具体如下：

g＝f_fc(z)＝δ(BN(Vz)),

其中δ(·)为ReLU函数，BN(·)表示批标准化层，f_fc表示全连接层，V为全连接层f_fc使用的尺寸大小为d×C的权重矩阵。

选择运算，根据权重选择动态自适应地组合聚集不同卷积核大小对应的多分支特征，具体为：

为了自适应地选择来自不同空间尺度的信息，使用被紧凑特征g引导的软注意力，softmax操作定义如下：

其中A和B尺寸大小都是d×C，a，b分别表示U₁和U₂在通道维度上的大小为C的软注意权重向量，a和b的对应像素相加和为一。因此，输出特征O可以通过不同尺度信息和注意权重的校正获得，定义如下：

O＝a·U₁+b·U₂,a_c+b_c＝1

S123、构建空间注意力块，空间注意力块对于给定的输入特征F^s，通过在通道维度上分别进行全局最大池化操作和全局平均池化操作，获得特征在通道维度上的两种不同的聚合信息：

和

它们和输入特征F^s在空间维度上具有相同的大小，但仅带有一个通道。

将两种聚合信息进行通道维度上的拼接，生成输入特征F^s的全局池化描述子。

接着分别使用卷积核大小为3和7的两个卷积层对全局池化描述子进行操作并利用Sigmoid激活函数将所有像素值归一化，获得输入特征F^s的两个不同尺度的二维空间注意力图，M₁(F^s)和M₂(F^s)，如图4所示，操作定义如下：

通过将M₁(F^s)和M₂(F^s)分别和输入特征F^s进行乘积操作完成输入特征F^s在空间维度上多尺度的空间注意力机制，并将获得的两个空间维度上像素值被权重校正的特征进行通道维度上的组合。

最后利用一个卷积核大小为1的卷积层对组合特征进行降维，获得与输入特征F^s具有相同维度大小的输入特征

具体为：

S13、构建转接层，在本实施例中，所述转接层与上述密集层构造一致，包括1个卷积层、1个批标准化层以及1个ReLU单元。

S14、构建退出模块，在本实施例中，所述退出模块包括1个卷积层和1个批标准化层。

S2、从数据库中获得依附有雨纹或雨滴的含雨图像X并输入多尺度密集混合注意力神经网络模型；如图5、图6、图7的左半部分所示，本实施例采用这3张含雨图像作为输入。

S3、提取初始特征,利用进入模块提取初始特征I：

I＝E(X)。

S4、密集注意力模块对初始特征处理，按照组合模块中密集层、选择核单元和空间注意力块的顺序对初始特征依次进行处理，处理结果输入到下一个组合模块，具体为：

D_l＝f(S)＝f_SA(f_SK(f_DL(S)))

其中，S表示第l个组合模块的输入特征，D_l表示第l个组合模块的输出特征，f_DL(·)，f_SK(·)和f_SA(·)分别表示密集层，选择核单元和空间注意力块。

组合模块的输入特征为前一个组合模块的输出特征与初始特征在通道维度上的级联结果；密集注意力模块的输出结果为所有组合模块的输出特征与初始特征在通道维度上的级联结果，具体如下表示：

D_l＝f(S)＝f([SI,D₀,....,D_l-1]),

其中[SI,D₀,....,D_l-1]表示密集注意力模块的原始输入特征和第0,.....,l-1个组合模块的输出特征在通道维度上的拼接结果。

在本实施例中，具体为：

初始特征经过密集层进行卷积、批标准化和ReLU操作之后，由选择核单元进行划分、融合和选择运算处理，详见步骤S122；

经过选择核单元处理后特征再由空间注意力块获得的两个空间维度上像素值被权重校正的特征进行通道维度上的组合特征，再利用一个卷积核大小为1的卷积层对组合特征进行降维，获得与输入特征具有相同维度大小的输出特征，详见步骤S123。

S5、密集注意力模块输出的特征经过转接层变为和初始特征I相同维度大小的特征，然后再输入到下一个密集注意力模块，重复步骤S4和S5，直至最后一个密集注意力模块完成处理，输出结果为止。

S6、对4个密集注意力模块的输入特征在通道维度上进行级联的全连接操作，然后输入退出模块，再经过和含雨图像X相加的负残差还原操作，最后输出无雨清晰图像N。

如图5、图6、图7右半部分所示，经过本发明方法的处理，图像中雨纹明显减少且背景信息得到了较好的保留。

还需要说明的是，在本说明书中，诸如术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.基于多尺度密集混合注意力神经网络的图像去雨方法，其特征在于，包括以下步骤：

构建多尺度密集混合注意力神经网络，所述多尺度密集混合注意力神经网络包括顺序连接的进入模块、多个密集注意力模块、退出模块，全连接操作单元以及负残差还原操作单元，两两相邻的密集注意力模块之间设置一转接层；所述密集注意力模块包括多个组合模块，每个组合模块包括密集层、选择核单元以及空间注意力块，并按照密集层、选择核单元和空间注意力块的顺序对输入特征依次进行处理，处理结果输入到下一个组合模块；

将含雨图像输入多尺度密集混合注意力神经网络，进行初始特征提取；

密集注意力模块对初始特征进行处理，所述初始特征经过密集层进行卷积、批标准化和ReLU操作之后，由选择核单元进行划分、融合和选择运算处理，划分运算生成通过不同卷积核大小的卷积操作获得的多分支特征，而不同卷积核大小对应不同的感受野大小，融合运算对多分支特征进行组合聚集，为动态的权重选择获得不同感受野组合的全局表示，选择运算根据权重选择动态自适应地组合聚集不同卷积核大小对应的多分支特征；经过选择核单元处理后特征再由空间注意力块获得的两个空间维度上像素值被权重校正的特征进行通道维度上的组合特征，再利用一个卷积核大小为1的卷积层对组合特征进行降维，获得与输入特征具有相同维度大小的输出特征；

对密集注意力模块输出的特征经转接层变为和初始特征相同维度大小的特征，然后输入到下一个密集注意力模块，并重复执行密集注意力模块处理与改变特征维度大小步骤的操作，直至最后一个密集注意力模块完成处理，输出结果；

将多个密集注意力模块的输入特征在通道维度上进行级联的全连接操作并输入到退出模块，退出模块输出结果与含雨图像进行相加的负残差还原操作，最后得到无雨清晰图像。

2.根据权利要求1所述的基于多尺度密集混合注意力神经网络的图像去雨方法，其特征在于，所述多尺度密集混合注意力神经网络包括4个密集注意力模块、3个转接层、1个进入模块、1个退出模块、1个全连接操作单元以及1个负残差还原操作单元；所述进入模块包括1个卷积层、1个批标准化层以及1个ReLU单元。

3.根据权利要求2所述的基于多尺度密集混合注意力神经网络的图像去雨方法，其特征在于，所述初始特征提取具体为利用进入模块提取初始特征：

I＝E(X)

其中I为初始特征，X为含雨图像。

4.根据权利要求1所述的基于多尺度密集混合注意力神经网络的图像去雨方法，其特征在于，所述组合模块中的密集层和转接层具有相同的组成结构，包括1个卷积层、1个批标准化层以及1个ReLU单元，输入特征经过组合模块，组合模块的处理具体为：

D_l＝f(S)＝f_SA(f_SK(f_DL(S)))

其中，S表示第l个组合模块的输入特征，D_l表示第l个组合模块的输出特征，f_DL(·)，f_SK(·)和f_SA(·)分别表示密集层，选择核单元和空间注意力块。

5.根据权利要求1所述的基于多尺度密集混合注意力神经网络的图像去雨方法，其特征在于，所述选择核单元包括若干个卷积核大小为1的卷积层、若干个批标准化层、1个选择核卷积模块以及1个用于残差映射的跳远连接。

6.根据权利要求5所述的基于多尺度密集混合注意力神经网络的图像去雨方法，其特征在于，所述选择核卷积模块由以下步骤实现：

划分运算，对于空间维度大小为H×W，带有C个通道的特征F，使用卷积核大小分别为3和5的两个卷积模块对特征F进行转换，所述两个卷积模块均由1个卷积层、1个批标准化层以及1个ReLU单元顺序地组成；

融合运算，采用门机制控制来自多个尺度的信息流，同时，设置阀门整合来自所有尺度的信息；

首先对来自多个尺度的特征信息通过逐个像素求和的方式进行融合：

U＝U₁+U₂,

其中，U₁和U₂分别表示特征F经过所述划分运算步骤中两个卷积模块转换的结果；

使用自适应全局平均池化，使融合特征U在空间维度上收缩，变为大小为C的一维向量z：

用于降维的全连接操作单元生成紧凑特征g，g用于准确并自适应地指导选择来自多个尺度的信息，具体如下：

g＝f_fc(z)＝δ(BN(Vz)),

其中δ(·)为ReLU函数，BN(·)表示批标准化层，f_fc表示全连接层,V为全连接层f_fc使用的尺寸大小为d×C的权重矩阵；

选择运算，为了自适应地选择来自不同空间尺度的信息，使用被紧凑特征g引导的软注意力，softmax操作定义如下：

其中A和B尺寸大小都是d×C，a、b分别表示U₁和U₂在通道维度上大小为C的软注意权重向量，同时，a和b的对应像素相加和为一；输出特征O通过不同尺度信息和注意权重的校正获得，具体如下：

O＝a·U₁+b·U₂,a_c+b_c＝1。

7.根据权利要求1所述的基于多尺度密集混合注意力神经网络的图像去雨方法，其特征在于，所述空间注意力块对于给定的输入特征F^s，在通道维度上分别进行全局最大池化操作和全局平均池化操作获得特征在通道维度上的两种不同的聚合信息：

和

与输入特征F^s在空间维度上具有相同的大小，但仅带有一个通道；

将两种聚合信息进行通道维度上的拼接，生成输入特征F^s的全局池化描述子；

分别使用卷积核大小为3和7的两个卷积层对全局池化描述子进行操作并利用Sigmoid激活函数将所有像素值归一化，获得输入特征F^s的两个不同尺度的二维空间注意力图M₁(F^s)和M₂(F^s)，具体如下：

8.根据权利要求7所述的基于多尺度密集混合注意力神经网络的图像去雨方法，其特征在于，所述空间注意力块还包括以下步骤：

将M₁(F^s)和M₂(F^s)分别和输入特征F^s进行乘积操作，完成输入特征F^s在空间维度上多尺度的空间注意力机制；

将获得的两个空间维度上像素值被权重校正的特征进行通道维度上的组合；

利用一个卷积核大小为1的卷积层对组合特征进行降维，获得与输入特征F^s具有相同维度大小的输出特征

9.根据权利要求4-8中任一项所述的基于多尺度密集混合注意力神经网络的图像去雨方法，其特征在于，所述组合模块的输入特征经过密集层、选择核单元以及空间注意力块处理后输出结果；组合模块的输入特征为前一个组合模块的输出特征与初始特征在通道维度上的级联结果；密集注意力模块的输出结果为所有组合模块的输出特征与初始特征在通道维度上的级联结果，具体如下表示：

D_l＝f(S)＝f([SI,D₀,....,D_l-1]),

其中[SI,D₀,....,D_l-1]表示密集注意力模块的原始输入特征和第0,.....,l-1个组合模块的输出特征在通道维度上的拼接结果。

10.根据权利要求1所述的基于多尺度密集混合注意力神经网络的图像去雨方法，其特征在于，所述退出模块包括1个卷积层和1个批标准化层。

Images