CN115880170A - 基于图像先验和门控注意力学习的单图去雨方法和系统 - Google Patents

Abstract

本发明公开了一种基于图像先验和门控注意力学习的单图去雨方法及系统，该方法包括：构建基于图像先验和门控注意力学习的网络模型，所述网络模型包括顺序连接的特征提取器、编解码器和具有注意力机制的门控器；获取训练样本；构成有雨‑无雨图像对训练数据集；将所述有雨‑无雨图像对训练数据集进行预处理，将预处理后的数据输入到所述基于图像先验和门控注意力学习的网络模型中进行训练，得到训练好的基于图像先验和门控注意力学习的网络模型；将需要去雨的图像输入到训练好的基于图像先验和门控注意力学习的网络模型，最终获取去雨后的图像数据,本发明有效的提取图像的细节信息和识别出更多的雨条纹，从而增强了雨图的去雨效果。

Description

基于图像先验和门控注意力学习的单图去雨方法和系统

技术领域

本发明涉及图像处理领域，具体涉及一种基于图像先验和门控注意力学习的单图去雨方法和系统。

背景技术

在日常生活中，雨天中的拍摄会对图像产生影响，图像上会出现雨条纹，从而降低了图像的视觉质量，甚至会影响大部分基于图像视觉效果的视觉任务，例如视频监控、自动驾驶和目标识别等，因此对图像进行去雨处理变得尤为重要。

目前基于单幅图像的去雨方法大致分为模型驱动和数据驱动两类，模型驱动方法侧重于手动设计和利用图像的先验知识，通过添加约束和建模算法并求解优化模型来获得无雨图像；而数据驱动方法则是通过构建神经网络，从数据中学习有雨图像和无雨图像之间的映射关系；由于神经网络强大的表达能力，神经网络已经在图像去雨任务中取得较大成效。

然而，目前基于数据驱动方法的去雨方法仍然存在提取特征信息较少和忽略了图像自身的先验信息的问题，去雨效果还有待提升。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供了一种基于图像先验和门控注意力学习的单图去雨方法，有效的提取图像中的特征信息和先验信息并充分利用，从而高效的识别出更多雨条纹信息，增强了雨图的去雨效果。

为了达到上述目的，本发明采用以下技术方案：

一种基于图像先验和门控注意力学习的单图去雨方法，包括以下步骤：

S1、构建基于图像先验和门控注意力学习的网络模型，所述网络模型包括顺序连接的特征提取器、编解码器和具有注意力机制的门控器；

S2、获取训练样本；通过无雨的背景图片加上合成雨纹，得到对应的雨图样本，无雨的背景图片和雨图样本构成有雨-无雨图像对训练数据集；

S3、将所述有雨-无雨图像对训练数据集进行预处理，将预处理后的数据输入到所述基于图像先验和门控注意力学习的网络模型中进行训练，得到训练好的基于图像先验和门控注意力学习的网络模型；训练过程具体包括以下步骤：

S31所述特征提取器从输入的雨图样本中提取雨图特征和先验特征；

S32对雨图样本的雨图特征和先验特征进行标准化，然后将标准化后所对应的雨图特征和先验特征进行级联，将级联后的雨图特征和先验特征输入编解码器中进行特征分离，得到初步的雨条纹特征图；所述雨图特征包括雨图的纹理和边缘特征；

S33所述具有注意力机制的门控器提取初步的雨条纹特征图在空间方向上的特征依赖信息和在通道方向上的特征依赖信息，结合在空间方向上的特征依赖信息和在通道方向上的特征依赖信息识别初步的雨条纹特征图上的雨条纹和残余的背景层信息，在识别到雨条纹信息的同时将所述残余的背景层信息进行过滤，得到最终的雨条纹信息；

S34从输入的雨图样本中减去最终的雨条纹信息，得到去雨后的图像；

S4、将需要去雨的图像输入到训练好的基于图像先验和门控注意力学习的网络模型，最终获取去雨后的图像数据。

优选的，所述特征提取器由2个残差块并行组成，所述2个残差块中的一个用于提取输入雨图的雨图特征，另一个残差块用于提取所述输入雨图的先验特征。

优选的，所述编解码器设有5层，每层编解码器包括编码器和解码器；编码器和解码器中的每一层由2个利用带有Squeeze and Excitation操作的残差块构成。

优选的，所述编解码器采用跳连接来短接编码器和解码器的相应层。

优选的，所述具有注意力机制的门控器由残差门控单元和非局部通道块构成，所述残差门控单元和非局部通道块为串行结构，所述残差门控单元用于获取初步的雨条纹特征图在空间方向上特征依赖信息，所述非局部通道块用于获取初步的雨条纹特征图在通道方向上的特征依赖信息。

优选的，步骤S31中所述特征提取器从输入的雨图样本中提取雨图特征和先验特征，具体如下：

首先利用带有Squeeze and Excitation操作的残差块来提取输入雨图的雨图特征L，所述雨图特征L定义如下：

L＝SE(ResBlock(R))

其中，R表示输入的雨图样本，SE(·)表示Squeeze and Excitation操作，ResBlock(·)表示一个构成ResNet的残差块；

然后设定一个RCP先验，所述RCP先验定义如下：

I^P(x)＝I^M(x)-I^m(x)

其中x表示每个像素的位置,I表示RGB图像，I^M表示RGB图像的最大像素值，I^m表示RGB图像的最小像素值，I^P表示先验；

基于RCP先验获取残差通道图的灰度图像

最终提取雨图的先验特征P，所述先验特征P如下所示：

优选的，步骤S1中所述编解码器采用PReLU激活函数获得非线性，使用双线性下采样代替最大池化层操作。

优选的，步骤S33中所述具有注意力机制的门控器提取初步的雨条纹特征图在空间方向上的特征依赖信息和在通道方向上的特征依赖信息，具体如下：

首先利用残差门控单元来获取空间方向上的特征依赖信息，所述残差门控单元定义如下:

其中O∈R^H×W×C和X∈R^H×W×C分别表示输出门控特征图和输入特征图，Conv_3×3表示标准的3×3的2D卷积操作，将输入特征图沿着通道维度上分为N份，得到第一份子特征图X₁∈R^H×W×C和剩余的第i份子特征图X_i∈R^H×W×C，⊙表示进行哈达玛乘积，σ表示sigmoid激活函数来获取非线性；

然后利用非局部通道块来获取通道方向上的特征依赖信息，所述非局部通道块定义如下:

其中Z∈R^H×W×C和O∈R^H×W×C分别表示输出注意力特征图和输入门控特征图，Conv_1×1表示标准的1×1的2D卷积操作，将输入门控特征图经过卷积操作并调整大小得到g∈R^HW×C，θ∈R^C×HW，φ∈R^HW×C，

表示矩阵相乘，softmax表示进行softmax激活函数操作，注意力矩阵为C×C；

最终门控器通过上述获取的在空间方向上的特征依赖信息和在通道方向上的特征依赖信息过滤掉所述初步的雨条纹特征图中残余的背景层信息并检测出更多细小的雨条纹信息。

优选的，所述基于图像先验和门控注意力学习的网络模型的损失函数采用L1损失函数和边缘函数之和；

所述损失函数定义如下：

其中B表示经过处理后得到的去雨图像，G表示真实的无雨图像，△表示拉普拉斯操作，||B-G||₁表示L1损失函数，

表示边缘损失函数，λ和ε表示超参数。

本发明的第二方面提供一种基于图像先验和门控注意力学习的单图去雨系统，包括处理器和存储器，所述存储器上存储有非暂时性计算机指令，当所述非暂时性计算机指令被处理器运行时，执行所述的基于图像先验和门控注意力学习的单图去雨方法。

本发明相较于现有技术具有如下的优点及有益效果：

(1)本发明的一种基于图像先验和门控注意力学习的单图去雨方法，通过将图像先验和融合注意力学习的门控机制结合起来，更加充分的利用了单张雨图所提供的信息，更好地保留图像的细节信息和识别出更多的雨条纹，有效提升主观视觉效果。

(2)本发明采用的编解码器方案，在先验特征和雨图特征的基础上得到图像的全局和局部特征，增强对雨条纹的识别能力，

(3)本发明的带有注意力机制的门控器，通过构建空间和通道上的特征依赖关系，便于将雨条纹和背景层分离开来，从而识别出图像中更细小的雨条纹，从而提升了去雨效果；由于雨条纹较细小，建立空间上的特征依赖关系是为了在初步的雨条纹特征图上发现更多的雨条纹；随着神经网络的深度增加，背景层会和雨条纹在通道上特征分布叠加，通过建立通道上的特征依赖关系，让神经网络关注雨条纹的特征分布，从而将背景层过滤掉。

附图说明

图1为本发明实施例的基于图像先验和门控注意力学习的单图去雨方法的流程图。

图2为本发明实施例的基于图像先验和门控注意力学习的网络模型的工作流程图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

实施例1

如图1所示，本实施例的一种基于图像先验和门控注意力学习的单图去雨方法，包括以下步骤：

S1、构建基于图像先验和门控注意力学习的网络模型，所述网络模型包括顺序连接的特征提取器、编解码器和具有注意力机制的门控器；

具体的，所述特征提取器由2个残差块并行组成，所述2个残差块中的一个用于提取输入雨图的雨图特征，另一个残差块用于提取所述输入雨图的先验特征。

所述编解码器设有5层，每层编解码器包括有编码器和解码器；编码器和解码器中的每一层由2个利用带有Squeeze and Excitation操作的残差块构成,所述编解码器采用跳连接来短接编码器和解码器的相应层。

所述具有注意力机制的门控器由残差门控单元和非局部通道块构成，所述残差门控单元和非局部通道块为串行结构，所述残差门控单元用于获取初步的雨条纹特征图在空间方向上特征依赖信息，所述非局部通道块用于获取初步的雨条纹特征图在通道方向上的特征依赖信息。

所述基于图像先验和门控注意力学习的网络的损失函数包括保真项和细节项，具体采用L1损失函数和边缘函数之和；

具体的，所述损失函数定义如下：

其中B表示经过网络处理后得到的去雨图像，G表示真实的无雨图像，△表示拉普拉斯操作，||B-G||₁表示L1损失函数，

表示边缘损失函数，λ和ε表示超参数，其中经实验得出λ设置为0.05，ε设置为10^-3能取得较好的去雨效果。

传统的去雨方法采用了均方损失函数作为损失函数，由于对高频纹理的平方约束通常会产生模糊和过度平滑的去雨效果，因此本实施例采用L1损失函数和边缘函数构成损失函数来保证恢复图像的边缘信息与真实自然的效果。

S2、获取训练样本；通过对无雨的背景图片叠加不同密度和方向的合成雨条纹，得到对应的雨图样本，无雨的背景图片和雨图样本构成有雨-无雨图像对训练数据集；

S3、将所述有雨-无雨图像对训练数据集进行预处理，将预处理后的数据输入到所述基于图像先验和门控注意力学习的网络模型中进行训练，得到训练好的基于图像先验和门控注意力学习的网络模型；训练过程具体包括以下步骤：

S31所述特征提取器从输入的雨图样本中提取雨图特征和先验特征；具体如下：

(1)首先利用带有Squeeze and Excitation操作的残差块来提取输入雨图的雨图特征L，所述雨图特征L定义如下：

L＝SE(ResBlock(R))

其中，R表示输入雨图，SE(·)表示Squeeze and Excitation操作，ResBlock(·)表示一个构成ResNet的残差块。

(2)设定一个RCP先验来获取图像的先验特征表示为P，来补充图像的特征信息和保护恢复图像在训练过程中的背景细节不被丢失；

所述RCP先验定义如下：

I^P(x)＝I^M(x)-I^m(x)

其中x表示每个像素的位置,I表示RGB图像，I^M表示RGB图像的最大像素值，I^m表示RGB图像的最小像素值，I^P表示先验。

(3)基于RCP先验获取残差通道图的灰度图像

由于RCP先验是单通道的，残差通道图是沿着通道方向连接而成的三通道的灰度图像，所述残差通道图定义如下：

(4)基于残差通道图

提取雨图的先验特征P，所述先验特征P如下所示：

其中，

表示残差通道图像，SE(·)表示Squeeze and Excitation操作，ResBlock(·)表示一个构成ResNet的残差块。

相比于传统的从雨图中只提取雨图特征表示为L，本实施例采用RCP先验来获取图像的先验特征表示为P，来补充图像的特征信息和保护恢复图像在训练过程中的背景细节不被丢失。

S32对雨图样本的雨图特征和先验特征进行标准化，然后将标准化后所对应的雨图特征和先验特征进行级联，将级联后的雨图特征和先验特征输入编解码器中进行特征分离，得到初步的雨条纹特征图；所述雨图特征包括雨图的纹理和边缘特征；

具体的，所述编解码器采用基于U-Net的编解码器来提取初步的雨图特征，所述编解码器设置有5层，每一层由2个利用带有Squeeze and Excitation操作的残差块构成，采用PReLU激活函数获得非线性，使用双线性下采样代替最大池化层操作，使用跳连接来短接编码器和解码器的相应层来减少图像信息的丢失。

S33所述具有注意力机制的门控器提取初步的雨条纹特征图在空间方向上的特征依赖信息和在通道方向上的特征依赖信息，结合在空间方向上的特征依赖信息和在通道方向上的特征依赖信息识别初步的雨条纹特征图上的雨条纹和残余的背景层信息，在识别到雨条纹信息的同时将所述残余的背景层信息进行过滤，得到最终的雨条纹信息；具体如下：

(1)首先利用残差门控单元来获取空间方向上的特征依赖信息，所述门控器的残差门控单元定义如下:

其中O∈R^H×W×C和X∈R^H×W×C分别表示输出门控特征图和输入特征图，Conv_3×3表示标准的3×3的2D卷积操作，将输入特征图沿着通道维度上分为N份，得到第一份子特征图X₁∈R^H×W×C和剩余的第i份子特征图X_i∈R^H×W×C，⊙表示进行哈达玛乘积，σ表示sigmoid激活函数来获取非线性；通过将第一份子特征图作为掩膜来赋予其他子特征图在局部特征上更高的非线性程度，增强网络的表达能力，同时也将建立第一份子特征图和其他特征图的依赖关系，让网络将雨条纹作为兴趣区域，加强学习。

(2)利用非局部通道块来获取通道方向上的特征依赖信息，所述门控器的局部通道块定义如下:

其中Z∈R^H×W×C和O∈R^H×W×C分别表示输出注意力特征图和输入门控特征图，Conv_1×1表示标准的1×1的2D卷积操作，将输入门控特征图经过卷积操作并调整大小得到g∈R^HW×C，θ∈R^C×HW，φ∈R^HW×C，

表示矩阵相乘，softmax表示进行softmax激活函数操作，注意力矩阵为C×C；通过将注意力矩阵从HW×HW修改为C×C，非局部通道块提高了除雨性能同时无需花费大量参数来进行矩阵计算。

最终门控器通过上述获取的在空间方向上的特征依赖信息和在通道方向上的特征依赖信息过滤掉所述初步的雨条纹特征图中残余的背景层信息并检测出更多细小的雨条纹信息。

S34从输入的雨图样本中减去所述最终的雨条纹信息，得到去雨后的图像；

具体的，由于雨图物理建模的复杂性，通常将雨图认为是背景层和雨层的叠加，即雨的物理模型简单定义为：

I＝B+R

其中I代表雨的物理模型，B为背景层，R为雨层，因此清晰的图像可以通过从雨图中减去对应的雨条纹得到。

需要说明的是，所述基于图像先验和门控注意力学习的网络训练采用的优化方法是Adam，参数momentum是0.9，初始化学习率设置为2×10^-4；batch size大小设置为24，学习率调节器为带重启的余弦退火调节器，最低学习率设为1×10^-5。

所述基于图像先验和门控注意力学习的网络模型训练次数为300轮，每5轮在测试集上测试一次结果，测试结果采用峰值信噪比(PSNR)和结构相似性(SSIM)进行度量，选择最好的结果保存模型参数。

S4、将需要去雨的图像输入到训练好的基于图像先验和门控注意力学习的网络模型，最终获取去雨后的图像数据。

具体的，如图2所示，所述基于图像先验和门控注意力学习的网络模型的工作流程如下：

将需要去雨的图像输入到所述基于图像先验和门控注意力学习的网络；

网络中的特征提取器对输入的雨图相应的雨图特征和先验特征的提取；所述编解码器将两种特征作为输入来分离雨条纹层和分辨出不同的图像内容，得到初步的雨条纹特征图；所述具有注意力机制的门控器通过获取所述初步的雨条纹特征图在空间方向上的特征依赖信息和在通道方向上的特征依赖信息，识别得到最终的雨条纹信息；将所述最终的雨条纹信息从输入雨图中去除，得到去雨后的清晰图像。

实施例2

本实施例提供一种基于图像先验和门控注意力学习的单图去雨系统，包括处理器和存储器，所述存储器上存储有非暂时性计算机指令，当所述非暂时性计算机指令被处理器运行时，执行实施例1中所述的基于图像先验和门控注意力学习的单图去雨方法。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.基于图像先验和门控注意力学习的单图去雨方法，其特征在于，包括以下步骤：

S1、构建基于图像先验和门控注意力学习的网络模型，所述网络模型包括顺序连接的特征提取器、编解码器和具有注意力机制的门控器；

S2、获取训练样本；通过无雨的背景图片加上合成雨纹，得到对应的雨图样本，无雨的背景图片和雨图样本构成有雨-无雨图像对训练数据集；

S3、将所述有雨-无雨图像对训练数据集进行预处理，将预处理后的数据输入到所述基于图像先验和门控注意力学习的网络模型中进行训练，得到训练好的基于图像先验和门控注意力学习的网络模型；训练过程具体包括以下步骤：

S31所述特征提取器从输入的雨图样本中提取雨图特征和先验特征；

S32对雨图样本的雨图特征和先验特征进行标准化，然后将标准化后所对应的雨图特征和先验特征进行级联，将级联后的雨图特征和先验特征输入编解码器中进行特征分离，得到初步的雨条纹特征图；所述雨图特征包括雨图的纹理和边缘特征；

S33所述具有注意力机制的门控器提取初步的雨条纹特征图在空间方向上的特征依赖信息和在通道方向上的特征依赖信息，结合在空间方向上的特征依赖信息和在通道方向上的特征依赖信息识别初步的雨条纹特征图上的雨条纹和残余的背景层信息，在识别到雨条纹信息的同时将所述残余的背景层信息进行过滤，得到最终的雨条纹信息；

S34从输入的雨图样本中减去最终的雨条纹信息，得到去雨后的图像；

S4、将需要去雨的图像输入到训练好的基于图像先验和门控注意力学习的网络模型，最终获取去雨后的图像数据。

2.根据权利要求1所述的基于图像先验和门控注意力学习的单图去雨方法，其特征在于，

所述特征提取器由2个残差块并行组成，所述2个残差块中的一个用于提取输入雨图的雨图特征，另一个残差块用于提取所述输入雨图的先验特征。

3.根据权利要求1所述的基于图像先验和门控注意力学习的单图去雨方法，其特征在于，所述编解码器设有5层，每层编解码器包括编码器和解码器；编码器和解码器中的每一层由2个利用带有Squeeze and Excitation操作的残差块构成。

4.根据权利要求3所述的基于图像先验和门控注意力学习的单图去雨方法，其特征在于，所述编解码器采用跳连接来短接编码器和解码器的相应层。

5.根据权利要求1所述的基于图像先验和门控注意力学习的单图去雨方法，其特征在于，所述具有注意力机制的门控器由残差门控单元和非局部通道块构成，所述残差门控单元和非局部通道块为串行结构，所述残差门控单元用于获取初步的雨条纹特征图在空间方向上特征依赖信息，所述非局部通道块用于获取初步的雨条纹特征图在通道方向上的特征依赖信息。

6.根据权利要求1所述的一种基于图像先验和门控注意力学习的单图去雨方法，其特征在于，步骤S31中所述特征提取器从输入的雨图样本中提取雨图特征和先验特征，具体如下：

首先利用带有Squeeze and Excitation操作的残差块来提取输入雨图的雨图特征L，所述雨图特征L定义如下：

L＝SE(ResBlock(R))

其中，R表示输入的雨图样本，SE(·)表示Squeeze and Excitation操作，ResBlock(·)表示一个构成ResNet的残差块；

然后设定一个RCP先验，所述RCP先验定义如下：

I^P(x)＝I^M(x)-I^m(x)

其中x表示每个像素的位置，I表示RGB图像，I^M表示RGB图像的最大像素值，I^m表示RGB图像的最小像素值，I^P表示先验；

基于RCP先验获取残差通道图的灰度图像

最终提取雨图的先验特征P，所述先验特征P如下所示：

7.根据权利要求1所述的一种基于图像先验和门控注意力学习的单图去雨方法，其特征在于，步骤S1中所述编解码器采用PReLU激活函数获得非线性，使用双线性下采样代替最大池化层操作。

8.根据权利要求1所述的一种基于图像先验和门控注意力学习的单图去雨方法，其特征在于，步骤S33中所述具有注意力机制的门控器提取初步的雨条纹特征图在空间方向上的特征依赖信息和在通道方向上的特征依赖信息，具体如下：

首先利用残差门控单元来获取空间方向上的特征依赖信息，所述残差门控单元定义如下：

其中O∈R^H×W×C和X∈R^H×W×C分别表示输出门控特征图和输入特征图，Conv_3×3表示标准的3×3的2D卷积操作，将输入特征图沿着通道维度上分为N份，得到第一份子特征图X₁∈R^{H ×W×C}和剩余的第i份子特征图X_i∈R^H×W×C，⊙表示进行哈达玛乘积，σ表示sigmoid激活函数来获取非线性；

然后利用非局部通道块来获取通道方向上的特征依赖信息，所述非局部通道块定义如下：

其中Z∈R^H×W×C和O∈R^H×W×C分别表示输出注意力特征图和输入门控特征图，Conv_1×1表示标准的1×1的2D卷积操作，将输入门控特征图经过卷积操作并调整大小得到g∈R^HW×C，θ∈R^C×HW，φ∈R^HW×C，

表示矩阵相乘，softmax表示进行softmax激活函数操作，注意力矩阵为C×C；

最终门控器通过上述获取的在空间方向上的特征依赖信息和在通道方向上的特征依赖信息过滤掉所述初步的雨条纹特征图中残余的背景层信息并检测出更多细小的雨条纹信息。

9.根据权利要求1所述的一种基于图像先验和门控注意力学习的单图去雨方法，其特征在于，所述基于图像先验和门控注意力学习的网络模型的损失函数采用L1损失函数和边缘函数之和；

所述损失函数定义如下：

其中B表示经过处理后得到的去雨图像，G表示真实的无雨图像，Δ表示拉普拉斯操作，||B-G||₁表示L1损失函数，

表示边缘损失函数，λ和ε表示超参数。

10.一种基于图像先验和门控注意力学习的单图去雨系统，其特征在于，包括处理器和存储器，所述存储器上存储有非暂时性计算机指令，当所述非暂时性计算机指令被处理器运行时，执行如权利要求1-9任一项所述的基于图像先验和门控注意力学习的单图去雨方法。

Images