CN115689918A - 一种基于残差先验注意力机制的并行单幅图像去雨方法 - Google Patents

Abstract

本发明公开一种基于残差先验注意力机制的并行单幅图像去雨方法，包括1)获取待去雨图像；2)通过图像细节提取网络提取图片细节特征信息；3)通过雨线特征提取网络提取图片雨线特征信息；4)通过特征融合网络融合所述细节特征信息和雨线特征信息；5)完成去雨。本发明通过残差先验注意力模块强化有效特征信息弱化无关项，提高了模型的去雨性能；通过合理的细节特征和雨线特征的融合及微调网络，提高模型的去雨性能。

Description

一种基于残差先验注意力机制的并行单幅图像去雨方法

技术领域

本发明涉及一种基于残差先验注意力机制的并行单幅图像去雨方法。

背景技术

恶劣的天气状况会导致摄像头等图像采集设备获取到低质量的图像，这些图像通常会细节丢失和信号失真，但输入高质量的干净图像是许多计算机视觉应用的使用前提。有雨环境正是一种典型的恶劣天气，图像中的雨线使图像模糊，丢失大量信息。雨天条件会影响图像的生成质量，给视觉带来影响的同时会减低计算机视觉算法的性能。单幅图像去雨目前仍是具有挑战性的一项任务，现有算法在去除雨纹的同时会造成背景细节纹理的丢失。

(1)残差网络：残差网络(Residual Network)是一种非常有效的缓解梯度消失问题网络，提出之后大大加深了当时网络的深度。残差单元可以以跳层连接的形式实现，即将单元的输入直接与单元输出加在一起，然后再激活。因此残差网络可以轻松地用主流的自动微分深度学习框架实现，直接使用BP算法更新参数损失对某低层输出的梯度。

(2)注意力机制:注意力机制本质上与人类视觉选择性注意力机制类似，从众多信息中选出对当前任务目标更为关键的信息，通过手段获取每张特征图重要性的差异，抑制无用信息，凸显有用信息(将注意力集中在图中重要区域)。广泛用于自然语言处理，图像识别和语言识别当中。

(3)图像增强:图像增强是有目的地强调图像的整体或局部特性，例如改善图像的颜色、亮度和对比度等，将原来不清晰的图像变得清晰或强调某些感兴趣的特征，扩大图像中不同物体特征之间的差别，抑制不感兴趣的特征，提高图像的视觉效果。近年来，卷积神经网络在很多低层次的计算机视觉任务中取得了巨大突破，包括图像超分辨、去模糊、去雨、去噪、图像增强等。

目前现有的去雨方法将重心放在提高模型的参数量和深度去清除雨线问题上，尽管雨线去除的效果不错，但是忘记了图像细节属于低维特征，并不需要非常深的网络提取。去雨的目的不仅是为了去除雨线，同时也要保留和恢复图像的细节信息。以便于用于后续的高级图像处理任务。

发明内容

为解决以上现有技术存在的问题，本发明提出一种基于残差先验注意力机制的并行单幅图像去雨方法，通过注意力机制选出去雨任务更关键的信息，提高去雨效果，同时设计一个低维特征提取网络，用多个简化版的Unet模型并联保留和恢复图像细节信息。

本发明可通过以下技术方案予以实现：

一种基于残差先验注意力机制的并行单幅图像去雨方法，包括以下步骤：

1)获取待去雨图像；

2)通过图像细节提取网络提取图片细节特征信息；

3)通过雨线特征提取网络提取图片雨线特征信息；

4)通过特征融合网络融合所述细节特征信息和雨线特征信息

5)完成去雨。

进一步地，所述步骤1)中首先获取模型训练图片，图像由不带雨的清晰图像和待去雨图像组成，待去雨图像通过在清晰图像上叠加仿真的雨线和雨滴获得，待去雨图像和不带雨的清晰图像一一对应，所有图像按照9:1的比例划分训练集和测试集。

进一步地，所述图像细节提取网络由多个Unet模块并联组成，如以下公式所示：

式中，

代表细节特征图，特征图大小为(Nx16)x128x128，Cat代表数组拼接操作，u_i代表Unet模块，x为待去雨图像，并包括编码器和解码器，该编码器和解码器主要由卷积模块，激活模块，上采样和下采样模块组成，编码器和解码器之间相同大小的特征层使用跳跃连接。

进一步地，所述雨线特征提取网络由多个特征提取模块由浅入深提取图像特征信息，各个特征提取模块由残差先验注意力模块(RSAM)连接，其中所述特征提取模块由四个卷积模块串联组成，每个卷积模块由3x3卷积(Conv)、激励压缩模块(SE)、批归一化(BN)以及激活函数Leaky Relu组成，每层卷积的通道数不固定，根据任务难度以及推演帧率决定；压缩激励模块放在卷积运算之后，学习卷积过程当中通道之间的相关性，通过融合每个特征内的全局信息，对输入的信息矩阵内的每一个通道分配一个权重。

进一步地，所述残差先验注意力模块输入分为三个部分，第一部分为上一个特征提取模块的输出特征图，第二部分为上一个特征提取模块的输入特征图，第三部分为待去雨图片的RGB图，第一部分的原始数据一共使用三次，第一次使用卷积后与第三部分相加得到含有先验信息的特征图，特征图经过1x1卷积和sigmod操作后得到注意力图，第一部分原始数据第二次使用与注意力图一一相乘得到分配权重后的特征图，突出了与去雨任务相关的特征信息，同时为了防止信息的丢失以及防止梯度消失或爆炸，保证模型的稳定性，采用残差的思想，将第一部分和来自上一个特征提取模块的输入特征图的第二部分特征图卷积后加到分配权重后的特征图上，作为残差先验注意力模块的输出。

进一步地，所述雨线特征提取网络的输入为待去雨图像，输出为雨线特征图，雨线特征提取网络首先通过一个3x3的卷积运算，将通道数为3的待去雨图像转化为可用于后续计算的特征图，特征图层数由特征提取模块决定，随后送入多个串联的特征提取模块由浅入深提取图像特征信息，各个特征提取模块由残差先验注意力模块(RSAM)连接，如以下公式所示：

式中，

为第i次残差先验注意力模块的输出特征图，F_RSAM为残差先验注意力模块，δ为特征提取模块。

进一步地，所述特征融合微调网络首先将来自雨线特征提取网络和图像细节提取网络的特征图通过通道拼接操作拼接在一起，随后通过三个卷积-批归一化-激活模块完成特征的融合，最后通过一个输出卷积操作将输出维度转化为3，relu激活函数将数据控制在正值完成最后的输出，得到最终的去雨图像。

进一步地，所述去雨图像和无雨图像的每个像素点数值相等，采用均方误差(MSE)损失作为第一个损失函数：

式中，H、W、C代表输出图片的高宽和通道数，

代表去雨后的图像，B^x，y，z代表干净的无雨图像；

结构相似性(SSIM)是一种衡量两幅图像相似度的指标，应用亮度、对比度和结构三个不同标准评估两幅图像的相似度，两幅图像越相近，SSIM指标取值越靠近1，将1减去去雨图像和干净图像的SSIM指标作为第二个损失函数：

结合上面给出两个损失函数，最终的模型损失函数为：

L＝L_MSE+L_SSIM。

通过以上技术方案，本发明具有以下有益效果：

1)通过获取图像细节特征信息，保留去雨后图像的背景细节和轮廓信息；

2)通过残差先验注意力模块强化有效特征信息弱化无关项，提高了模型的去雨性能；

3)通过合理的细节特征和雨线特征的融合及微调网络，提高模型的去雨性能。

附图说明

图1为本发明的去雨流程图；

图2为本发明的完整模型结构图；

图3为简化版Unet网络图；

图4为特征提取模块；

图5残差先验注意力模块；

图6已有方法DID-MDN、RESCAN和本发明的方法在合成数据集Rain100H上的表现。

具体实施方式

以下通过特定的具体实施例说明本发明的实施方式，本领域的技术人员可由本说明书所揭示的内容轻易地了解本发明的其他优点及功效。

本发明提出了一种基于残差先验注意力机制的并行单幅图像去雨方法，如图1所示。

首先获取模型训练图片，图像由不带雨的清晰图像和待去雨图像组成，待去雨图像通过在清晰图像上叠加仿真的雨线和雨滴获得。待去雨图像和不带雨的清晰图像一一对应。所有图像按照9:1的比例划分训练集和测试集。

本方法获取待去雨图像之后，首先会进行图像顺序打乱和随机裁剪处理，在每张图像当中随机裁剪出大小为128x128的图像，之后会将图像送入并行的两个特征提取网络，分别为图像细节特征提取网络和雨线去除网络，两部分各有侧重又相互联系，两部分提取出的特征图通过设计的特征融合微调网络完成去雨。

模型完整结构图如图2所示，图中框出两部分网络，上面的部分为图像细节特征提取网络，下面的部分为图像雨线特征提取网络，其余部分为特征融合微调网络。如以下公式：

式中，F_fuse为特征融合微调网络，

为细节特征图，

为雨线特征图。

(1)图像细节提取网络

图像细节提取网络的输入为待去雨图像，输出为图像细节特征图。图像的细节信息属于低维信息，不需要较深的网络提取特征，因此图像细节提取网络由N个轻量化的简化版Unet模块并联组成。如以下公式所示：

式中，

代表细节特征图，特征图大小为(Nx16)x128x128，Cat代表数组拼接操作，u_i代表Unet模块，x为待去雨图像。

考虑到Unet模块使用的数量较多，因此单个模块的参数量较小，将原版的各层通道数缩小为原来的四分之一，详细如图3所示。图像细节提取网络的输入为待去雨图像，图像的通道数为3，首先将会送入编码器进行编码操作，编码器随着网络的深入，每经过一个卷积模块和激活模块进行特征提取，就会通过下采样方法将特征图的高和宽转化为原来的一半，一共经过四次下采样，各层通道数分别为16、32、64、128和256。解码器与编码器相反，每经过一次卷积模块和激活模块便会进行一次上采样操作。编码解码模块主要由卷积模块，激活模块，上采样和下采样模块组成，编码和解码相同大小的特征层使用跳跃连接。

待去雨图像通过N个相互并联的轻量化的简化版Unet之后，将会得到n个通道数为16的特征图，随后通过拼接操作，在通道维度上将输出的各个特征图信息拼接在一起得到一个通道数为Nx16的最终特征信息作为图像细节提取网络的输出。

(2)雨线特征提取网络

雨线特征提取网络的输入为待去雨图像，输出为雨线特征图。雨线特征提取网络首先通过一个3x3的卷积运算，将通道数为3的待去雨图像转化为可用于后续计算的特征图，特征图层数由特征提取模块决定，随后送入多个串联的特征提取模块由浅入深提取图像特征信息，各个特征提取模块由残差先验注意力模块(RSAM)连接。如以下公式所示：

式中，

为第i次残差先验注意力模块的输出特征图，F_RSAM为残差先验注意力模块，δ为特征提取模块。

特征提取模块由四个卷积模块串联组成，每个卷积模块由3x3卷积(Conv)、激励压缩模块(SE)、批归一化(BN)以及激活函数Leaky Relu组成，如图4所示。输入特征矩阵首先通过3x3卷积运算进一步提取出深层特征信息，每层卷积的通道数不固定，可根据任务难度以及推演帧率决定。随后通过压缩激励模块，压缩激励模块的输入维数与特征信息的通道数相同，隐藏层的维数为输入维数的2倍。压缩激励模块放在卷积运算之后，学习卷积过程当中通道之间的相关性，通过融合每个特征内的全局信息，对输入的信息矩阵内的每一个通道分配一个权重。该方法不仅解决了传统卷积神经网络不能利用感受域之外的信息的缺点，还能够突出对去雨任务最相关的特征信息，弱化其他冗余干扰信息。重新分配权重后的特征信息下一步会通过批归一化层，通过规范化与线性变换使得每一层网络的输入数据的均值与方差都在一定范围内，同时可以加快模型的收敛速度和稳定性。最后通过激活函数Leaky Relu，LeakyRelu与激活函数relu的不同之处在于保留数据的负值信息，给所有负值赋予一个非零斜率，防止信息丢失。

残差先验注意力模块(RSAM)输入分为三个部分，如图5所示。第一部分为上一个特征提取模块的输出特征图，第二部分为上一个特征提取模块的输入特征图，第三部分为待去雨图片的RGB图，第一部分的原始数据一共使用三次。如以下公式所示，

式中，

为点对点相乘，Conv_i为卷积运算，sigmod为激活函数，F_att为注意力图。

第一次使用1x1卷积后将原始数据的通道数转化为3，与第三部分待去雨图片的通道数相同后与第三部分相加得到含有先验信息的特征图，特征图经过1x1卷积和激活函数sigmod操作后得到注意力图F_att，第一部分原始数据第二次使用与注意力图一一相乘得到分配权重后的特征图，突出了与去雨任务相关的特征信息，同时为了防止信息的丢失以及防止梯度消失或爆炸，保证模型的稳定性，采用残差的思想，将第一部分和来自上一个特征提取模块的输入特征图的第二部分特征图卷积后加到分配权重后的特征图上，作为残差先验注意力模块的输出。

(3)特征融合微调网络

特征融合微调网络的作用是将雨线特征提取网络和图像细节提取网络的输出特征图融合，得到去雨后的图片。网络首先将来自雨线特征提取网络和图像细节提取网络的特征图通过通道拼接操作拼接在一起，随后通过三个3x3卷积-批归一化-激活模块LeakRelu完成特征的融合，三次卷积特征的通道数将逐渐减小，最后通过一个输出3x3卷积操作将输出维度转化为3，relu激活函数将数据控制在正值完成最后的输出，得到最终的去雨图像。

(4)损失函数设计:

显然，去雨后的无雨图像在像素级上应该与对应的无雨图像完全相同，也就是去雨图像和无雨图像的每个像素点数值相等。基于此，本发明采用均方误差(MSE)损失作为第一个损失函数：

式中，H、W、C代表输出图片的高宽和通道数。

代表去雨后的图像，B^x，y，z代表干净的无雨图像。

结构相似性(SSIM)是一种衡量两幅图像相似度的指标，应用亮度、对比度和结构三个不同标准评估两幅图像的相似度。两幅图像越相近，SSIM指标取值越靠近1。因此本发明将1减去去雨图像和干净图像的SSIM指标作为第二个损失函数：

结合上面给出两个损失函数，最终的模型损失函数为：

L＝L_MSE+L_SSIM。

本实验基于pytorch1.10.0框架，在ubuntu22.04系统上运行，模型训练通过GPU加速，在移动版NVIDIA3060显卡，CUDA11.2环境下计算，显存为6g。图像细节提取网络中一共使用7个并行的简化版Unet网络，雨线特征提取网络的卷积层通道数24，一共使用了6个RSAM网络。为了展现模型易于训练同时降低模型对超参数的要求，降低训练成本，本发明采用Adam优化器作为本次模型的优化器。Adam优化器对梯度的一阶矩和二阶矩进行综合考虑，计算更新步长，能够自适应优化学习率，降低训练成本。相较于其他优化器，对初始学习率要求不敏感，广泛应用在模型训练当中。本发明初始学习率设置为0.0005，共训练了2000个epoch。训练图片大小为128x128。

本发明在三个合成数据集上将提出的模型与现有模型进行了定量性能比较。使用目前使用最多的SSIM和PSNR作为性能指标，实验结果放置在表1中。可以看出，本发明提出的方法，在SSIM和PSNR指标相较于当前的方法都有很大的提升。具体来说，在Rain100L、Rain100H、Rain800上的PSNR指标取得了37.80db，32.24db，32.86db的结果，SSIM指标取得了0.982，0.937，0.926的结果。这两项指标均超过了对比的其他几种模型RESCAN，JORDER，DID-MDN。

表1在不同合成数据集上的模型性能对比

为了直观的展示本发明提出的方法性能，图6显示了Rain100H测试集当中的一些图片去雨结果。最左边一列为原始有雨图像，其他从左到右分别为DID-MDN，RESCAN和本发明的方法去雨结果，最右边为干净的无雨图片。很显然可以看出，本方法去雨效果最好，能够在去除雨纹的同时，有效的保留了纹理和结构细节。例如从第一列图片的横向对比，可以看出本发明的方法将曲线全部去除的同时将图中动物的毛发细节成果还原，背景相较于其他结果也比较和谐，没有雨线的条纹残留。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于残差先验注意力机制的并行单幅图像去雨方法，其特征在于，包括以下步骤：

1)获取待去雨图像；

2)通过图像细节提取网络提取图片细节特征信息；

3)通过雨线特征提取网络提取图片雨线特征信息；

4)通过特征融合网络融合所述细节特征信息和雨线特征信息；

5)完成去雨。

2.根据权利要求1所述的一种基于残差先验注意力机制的并行单幅图像去雨方法，其特征在于，所述步骤1)中首先获取模型训练图片，图像由不带雨的清晰图像和待去雨图像组成，待去雨图像通过在清晰图像上叠加仿真的雨线和雨滴获得，待去雨图像和不带雨的清晰图像一一对应，所有图像按照9:1的比例划分训练集和测试集。

3.根据权利要求1所述的一种基于残差先验注意力机制的并行单幅图像去雨方法，其特征在于，所述图像细节提取网络由多个Unet模块并联组成，如以下公式所示：

式中，

代表细节特征图，特征图大小为(Nx16)x128x128，Cat代表数组拼接操作，u_i代表Unet模块，x为待去雨图像，并包括编码器和解码器，该编码器和解码器主要由卷积模块，激活模块，上采样和下采样模块组成，编码器和解码器之间相同大小的特征层使用跳跃连接。

4.根据权利要求3所述的一种基于残差先验注意力机制的并行单幅图像去雨方法，其特征在于，所述图像细节提取网络的输入为待去雨图像，图像的通道数为3，首先将会送入编码器进行编码操作，编码器随着网络的深入，每经过一个卷积模块和激活模块进行特征提取，就会通过下采样方法将特征图的高和宽转化为原来的一半，一共经过四次下采样，各层通道数分别为16、32、64、128和256；解码器与编码器相反，每经过一次卷积模块和激活模块便会进行一次上采样操作。

5.根据权利要求4所述的一种基于残差先验注意力机制的并行单幅图像去雨方法，其特征在于，所述待去雨图像通过N个相互并联的轻量化的简化版Unet之后，将会得到n个通道数为16的特征图，随后通过拼接操作，在通道维度上将输出的各个特征图信息拼接在一起得到一个通道数为Nx16的最终特征信息作为所述图像细节提取网络的输出。

6.根据权利要求1所述的一种基于残差先验注意力机制的并行单幅图像去雨方法，其特征在于，所述雨线特征提取网络的输入为待去雨图像，输出为雨线特征图，雨线特征提取网络首先通过一个3x3的卷积运算，将通道数为3的待去雨图像转化为可用于后续计算的特征图，特征图层数由特征提取模块决定，随后送入多个串联的特征提取模块由浅入深提取图像特征信息，各个特征提取模块由残差先验注意力模块(RSAM)连接，如以下公式所示：

式中，

为第i次残差先验注意力模块的输出特征图，F_RSAM为残差先验注意力模块，δ为特征提取模块。

7.根据权利要求6所述的一种基于残差先验注意力机制的并行单幅图像去雨方法，其特征在于，所述特征提取模块由四个卷积模块串联组成，每个卷积模块由3x3卷积、激励压缩模块、批归一化以及激活函数Leaky Relu组成，每层卷积的通道数不固定，根据任务难度以及推演帧率决定；压缩激励模块放在卷积运算之后，学习卷积过程当中通道之间的相关性，通过融合每个特征内的全局信息，对输入的信息矩阵内的每一个通道分配一个权重。

8.根据权利要求3所述的一种基于残差先验注意力机制的并行单幅图像去雨方法，其特征在于，所述残差先验注意力模块输入分为三个部分，第一部分为上一个特征提取模块的输出特征图，第二部分为上一个特征提取模块的输入特征图，第三部分为待去雨图片的RGB图，第一部分的原始数据一共使用三次，第一次使用卷积后与第三部分相加得到含有先验信息的特征图，特征图经过1x1卷积和sigmod操作后得到注意力图，第一部分原始数据第二次使用与注意力图一一相乘得到分配权重后的特征图，突出了与去雨任务相关的特征信息，同时为了防止信息的丢失以及防止梯度消失或爆炸，保证模型的稳定性，采用残差的思想，将第一部分和来自上一个特征提取模块的输入特征图的第二部分特征图卷积后加到分配权重后的特征图上，作为残差先验注意力模块的输出。

9.根据权利要求1所述的一种基于残差先验注意力机制的并行单幅图像去雨方法，其特征在于，所述特征融合微调网络首先将来自雨线特征提取网络和图像细节提取网络的特征图通过通道拼接操作拼接在一起，随后通过三个卷积-批归一化-激活模块完成特征的融合，最后通过一个输出卷积操作将输出维度转化为3，relu激活函数将数据控制在正值完成最后的输出，得到最终的去雨图像。

10.根据权利要求9所述的一种基于残差先验注意力机制的并行单幅图像去雨方法，其特征在于，所述去雨图像和无雨图像的每个像素点数值相等，采用均方误差损失作为第一个损失函数：

式中，H、W、C代表输出图片的高宽和通道数，

代表去雨后的图像，B^x，y，z代表干净的无雨图像；

结构相似性(SSIM)是一种衡量两幅图像相似度的指标，应用亮度、对比度和结构三个不同标准评估两幅图像的相似度，两幅图像越相近，SSIM指标取值越靠近1，将1减去去雨图像和干净图像的SSIM指标作为第二个损失函数：

结合上面给出两个损失函数，最终的模型损失函数为：

L＝L_MSE+L_SSIM。

Images