CN111861926B - 一种基于空域组增强机制与长短时记忆网络的图像去雨方法 - Google Patents

Abstract

本发明提出了一种基于空域组增强机制与长短时记忆网络的图像去雨方法，首先使用膨胀卷积模块提取多尺度的特征信息，并采用空域组增强模块检测条纹信息，然后引入长短时记忆神经网络传播不同阶段深度特征的依赖性关系，最后利用残差密集块提取丰富的局部特征信息来进一步地提升复原图像的质量。本发明方法在图像去雨上有更优的视觉效果，更好地保持了图像的原有信息，进一步解决了在处理含密集雨条纹图像中出现的雨条纹残留，避免图像出现模糊现象，而且该方法在定量指标上超过了目前先进的对比方法。

Description

一种基于空域组增强机制与长短时记忆网络的图像去雨方法

技术领域

本发明属于图像处理领域，具体涉及一种基于空域组增强机制与长短时记忆网络的图像去雨方法。

背景技术

近年来，人类社会正步入信息化的时代，以数字图像处理技术为基础的计算机视觉对各领域的发展日益重要，例如在智能交通、远程监控、医学研究、遥感成像和军事国防等领域都得到了广泛的应用。统计表明，视觉系统是信息传递的重要媒介，人类经由视觉系统获取的信息多达70％，其中对图像信息的获取、处理及使用尤为重要。计算机视觉是一种由计算机和摄像头来对人类视觉进行模拟的计算机智能化。然而，目前多数计算机视觉系统考虑室内工作或者天气良好的情况居多，恶劣天气拍摄的图像往往被忽略了。

通常，恶劣天气是致使视觉系统所收集到的图像质量下降的一类天气情况。Garg等人根据空气中颗粒物的大小将恶劣天气大致分为静态恶劣天气(如烟、雾和霾等)和动态恶劣天气(如雨、雪等)。静态恶劣天气中大气颗粒物的大小一般为1-10μm，在空中静态漂浮着，此状态下拍摄的图像质量下降，研究学者主要通过提高图像清晰度对静态恶劣天气的图像复原。动态恶劣天气中的大气颗粒物一般是毫米级别、人眼可见的。其中，雨是较为常见的动态天气，雨滴呈随机下落状态，下落时的速度很快，且在空中随机分布，在图像中雨滴主要以雨线的形状出现，易造成图像模糊、细节信息丢失和对比度下降，甚至会出现图像中部分区域被随机遮挡的情况，对图像的视觉效果造成了极大地影响，也降低了计算机视觉处理算法(如图像分割，目标识别，目标检测等)的性能。相对静态天气而言，对动态天气拍摄的图像进行复原通常更加困难，所以当务之急是对这类图像进行复原，最小化雨天天气对图像的影响，以提升户外计算机视觉系统的稳定性和实用性。

发明内容

发明目的：为了克服现有技术的不足，本发明提供一种基于空域组增强机制与长短时记忆网络的单幅图像去雨方法，更好地解决在单幅图像去雨中存在的雨线残留和细节模糊的问题。

技术方案：本发明所述的一种基于空域组增强机制与长短时记忆网络的图像去雨方法，包括以下步骤：

(1)构建基于空域组增强机制与长短时记忆网络的图像去雨网络架构，所述网络架构由膨胀卷积模块、空域组增强模块、长短时记忆循环神经网络及残差密集模块构成；使用膨胀卷积模块得到多尺度的条纹特征信息，并采用空域组增强模块，为每个语义组中的每个空间位置生成一个注意因子来调整每个子特征的重要性，使每个单独的组自主增强学习表达能力，并抑制噪声；所述长短时记忆循环神经网络传播不同阶段的深度特征的依赖性关系；所述残差密集模块由残差网络和密集连接网络构成，提取局部特征信息，并生成残差映射图，估计出图像中的条纹信息，用残差图与输入的条纹图相加得到去条纹图像；

(2)构造损失函数，提升去条纹效果及保留细节信息；

(3)获取不同方向和不同强度雨线的密集雨条纹数据集，并划分为训练集和测试集，对步骤(1)提出的基于空域组增强机制与长短时记忆网络的图像去雨网络架构进行训练。

进一步地，步骤(1)所述的空域组增强模块使用Sigmoid激活函数，残差密集模块使用ReLU激活函数。

进一步地，步骤(1)所述的膨胀卷积模块首先使用3×3的卷积核，通过四个具有不同尺度膨胀因子，分别为1、2、3和4的卷积层将输入图像转变到不同的特征空间；然后连接四个卷积层的输出得到增强的条纹图特征，并将提取的多尺度特征信息作为空域组增强模块的输入。

进一步地，步骤(1)所述的空域组增强模块首先将特征映射图按通道维度分为G个组；然后通过空间平均函数并使用全局统计特征去近似该组学习表示的语义向量，表示为：

其中，χ表示该组每个位置都能用一个向量表示，每组特征x_i在空间上与其全局池化后的特征g做点乘得到初始的注意掩模c_i＝g·x_i；在空间上进行减均值、除标准差处理，表示为：

其中，ε是用于增强数值的稳定性而设置的常数，设置为1e-5；为每个系数c_i'引入了参数γ,β，其缩放和偏移归一化值表示为：a_i＝γc′_i+β，γ、β与G的数量相同，将a_i输入至Sigmoid激活函数，再与原始特征组中每个位置的特征x_i相乘，获得增强特征向量x′_i，来对这些特征进行空间缩放，使其数值规范在0-1之间。

进一步地，步骤(1)中所述的残差密集块有3个，使用3×3的卷积核，通道数、密集层个数和增长率分别设置为32、3和8，卷积层1的核大小设置为1×1，卷积层2的核大小设置为3×3。

进一步地，步骤(2)所述损失函数表示为：

其中，s表示去条纹阶段数量，表示网络预测的条纹信息，R_s表示真实条纹信息。

进一步地，步骤(1)所述的基于空域组增强机制与长短时记忆网络的图像去雨网络架构，经过六次循环，第二至六次循环的输入由前一循环的输出和原始条纹图拼接后构成。

有益效果：与现有技术相比，本发明的有益效果：1、使用膨胀卷积模块得到多尺度的雨线特征信息，并采用空域组增强模块调整每个子特征的重要性且抑制可能的噪声，使用残差密集模块提取丰富的局部特征信息；2、该发明在图像去雨上有更优的视觉效果，更好地保持了图像的原有信息，避免图像出现模糊现象。

附图说明

图1是本发明的流程图；

图2是基于空域组增强机制与长短时记忆网络的架构示意图；

图3是膨胀模块结构图；

图4是残差密集模块结构图；

图5是在合成图像环境下本发明与其他去雨方法对比效果图；

图6是在真实图像环境下本发明与其他去雨方法对比效果图。

具体实施方式

下面结合附图对本发明作进一步详细说明。

如图1所示，本发明提供一种基于空域组增强机制与长短时记忆网络的单幅图像去雨方法，具体包括以下步骤：

步骤1：构建一个基于空域组增强机制与长短时记忆网络的单幅图像去雨网络架构(Spatial Group-wise Enhance Mechanism and Long Short Term Memory Network，SGEMLSTM-Net)，如图2所示，经过6次循环，其中当前循环阶段网络块的输入由前一循环阶段的输出和原始条纹图拼接后构成。首先使用膨胀卷积模块得到多尺度的条纹特征信息，并采用空域组增强模块，通过为每个语义组中的每个空间位置生成一个注意因子来调整每个子特征的重要性，以便每个单独的组可以自主增强其学习表达能力，并抑制可能的噪声；接着引入长短时记忆循环神经网络传播不同阶段的深度特征的依赖性关系；然后通过由残差网络和密集连接网络构成的残差密集模块提取丰富的局部特征信息；再使用一个3×3的卷积层生成残差映射图，估计出图像中的条纹信息；最后用残差图与输入的条纹图相加来得到去条纹图像。

空域组增强模块使用Sigmoid激活函数，残差密集模块使用ReLU激活函数。

多分支的膨胀卷积模块能够自动识别有条纹的区域，其结构如图3所示，在减少计算量的同时增加了网络的感受野，可以捕获不同尺度的特征信息。该模块首先使用3×3的卷积核，通过四个具有不同尺度膨胀因子(分别为1、2、3和4)的卷积层将输入图像转变到不同的特征空间；然后连接四个卷积层的输出得到增强的条纹图特征，并将提取的多尺度特征信息作为空域组增强模块的输入。

空域组增强模块(Spatial Group-wise Enhance，SGE)在几乎不增加参数量和计算量的情况下也能改善去条纹性能。与其他注意力模块相比，SGE模块使用全局统计特征与每个位置的局部特征之间的相似性作为注意掩模的生成源。受胶囊网络的启发，首先将特征分组，即将特征映射图按通道维度分为64个组，每组特征在学习过程中能够捕捉到某一个特定的语义。然后通过空间平均函数并使用全局统计特征去近似该组学习表示的语义向量，表示为：

接下来，每组特征x_i在空间上与其全局池化后的特征g做点乘得到初始的注意掩模c_i。由点乘的定义可知，模较大的特征及与全局特征向量方向更接近的特征会获得一个较大的初始注意掩模数值。因此，对于每个位置有c_i＝g·x_i。

由于不同样本在同一特征组上得到的注意掩模分布差异很大，因此在空间上进行减均值、除标准差处理，表示为：

其中，ε是用于增强数值的稳定性而设置的常数，设置为1e-5。

为了确保插入网络中的变换可以表示恒等变换，为每个系数c′_i引入了参数γ,β，其缩放和偏移归一化值表示为：a_i＝γc′_i+β。在SGE单元中，γ、β与G的数量相同，设置为64，这与整个网络的参数量相比几乎可忽略不计。

最后，为了获得增强特征向量x′_i，将a_i输入至Sigmoid激活函数，再与原始特征组中每个位置的特征x_i相乘，来对这些特征进行空间缩放，使其数值规范在0-1之间：

x′_i＝x_i·σ(a_i)。

残差密集块(Residual Dense Block，RDB)，如图4所示，由残差模块和密集模块融合后组成。RDB模块通过密集地连接卷积层来提取丰富的局部特征信息，它将前一个RDB模块的状态与当前RDB模块的所有层直接相连，来形成连接的内存机制。每个RDB模块都使用了密集连接，每个卷积层都可以连接其后所有的层，用于传递需保存的特征信息，从而有效解决了梯度消失的问题，在实现特征复用的同时减少了参数量。

假设第m个RDB的输入和输出分别是F_m-1和F_m，并且它们都具有相同的特征映射M₀。那么第m个RDB模块的第n个卷积层的输出F_m,n表示为：

F_m,n＝σ(W_m,n[F_m-1,F_m,1,...,F_m,n-1])

其中，σ为ReLU激活函数。W_m,n是第n个卷积层的权重，为了简单起见，省略了偏置项。[F_m-1,F_m,1,...,F_m,n-1]表示由第(m-1)个RDB模块产生的特征映射的串联。在第m个RDB模块中，卷积层1,...,(n-1)产生M₀+(n-1)×M个特征映射。RDB模块中所有层的操作都包含了残差处理。

RDB模块中引入了局部残差学习来进一步改善信息流，还可以进一步提高网络的表达能力，使网络性能更优。考虑到一个RDB模块中包含多个卷积层，可以通过下式得到第m个RDB模块的最终输出F_m：

F_m＝W_m*[F_1,n,...,F_m-1,n]

为了自适应融合前一个RDB模块和当前RDB模块中全部卷积层的状态，采用局部特征融合方法，来提取多层次的局部密集特征，使网络训练更加稳定。第m个RDB模块的局部特征操作表示为：

FL_k＝H_RDB,m(F_m-1)＝H_RDB,m(H_RDB,m-1(...(H_RDB,1(F₀))...)

其中，H_RDB,m表示第m个RDB模块的操作，由卷积层和ReLU激活函数组成。F_m是表示局部特征。使用RDB模块提取完分层特征后，将3个RDB模块按通道连接，再引入1×1的卷积层进行密集特征融合操作，充分利用前面所有层的特征信息，即通过融合所有RDB模块的特征来提取全局的特征信息，表示为：

F_AFM＝H_GFF([FL₁,FL₂,FL₃])

其中，F_AFM表示融合不同RDB模块后的特征信息。H_GFF表示核大小为1×1的卷积层，用于自适应地融合具有不同尺度的特征。[FL₁,FL₂,FL₃]表示由残差密集块1、2和3产生的特征映射图的串联。

由于输入图像中包含着不同的条纹层，仅通过一个阶段，很难将图像中的条纹去除干净，因此本方法采用循环神经网络将去条纹过程分解为6个阶段，每个阶段中卷积核的宽度设置为32，其中膨胀卷积模块使用3×3的卷积核，共设置4个分支，膨胀因子分别为1、2、3和4。SGE模块的组数设置为64。网络中包含3个RDB模块，使用3×3的卷积核，通道数、密集层个数和增长率分别设置为32、3和8，卷积层1的核大小设置为1×1，卷积层2的核大小设置为3×3。

步骤2：构造损失函数，本发明使用SSIM损失函数，来达到提升去条纹效果和更好的保留细节信息的目的。

其中，s表示去条纹阶段数量，表示网络预测的条纹信息，R_s表示真实条纹信息。

步骤3：获取不同方向和不同强度雨线的密集雨条纹数据集，并划分为训练集和测试集，对步骤(1)提出的基于空域组增强机制与长短时记忆网络的图像去雨网络架构进行训练，训练时SSIM和PSNR指标增加到一定程度，且网络趋于稳定。并用训练好的网络模型在雨图数据集上测试，得到的结果视觉效果较好且PSNR和SSIM指标较高时停止训练。

选取实验数据，本发明选择包含五种不同方向和不同强度雨线的密集雨条纹数据集RainH1800，训练和测试提出的SGEMLSTM-Net网络模型。训练数据集有1800对合成雨图和清晰图像。测试数据集包含100张尺寸为481×321和321×481的图像(RainH100)。此外，本实验选取了包含不同强度雨条纹的真实雨天图像测试SGEMLSTM-Net网络的性能。

设置训练策略，本发明使用Pytorch框架实现网络模型，并在NVIDIA GTX1080GPU上的工作站实现。训练时使用Adam算法优化损失函数，将图像块大小、训练的批量大小和初始学习率分别设置为100100、6和0.001，其中，第1、2、3、4和5阶段的网络在训练时将批量大小设置为10。训练的epoch轮次为43，当epoch为20和35时，分别将学习率除以0.2。

在模型训练之后，通过网络的输出层可得到去除雨线后的图像。

图5为合成带雨图像的恢复实例，从实验结果可以发现，GMM-LP方法处理后的去雨图像存在严重的雨条纹残留问题，原因在于GMM-LP方法未利用原始图像中较高水平的特征信息，当图像中的噪声严重时，该方法的去雨效果甚微。ResGuideNet和RESCAN方法能去除图像中的大部分雨条纹，但不能较好地保留图像的细节部分。PReNet、AMGR-Net和本发明方法充分利用了图像的深层特征信息，准确区分了图像中的非雨条纹和雨条纹信息，达到了既可以有效去除雨条纹又可以很好保留原始图像细节信息的效果，且这三种算法的保真度也较高。但本发明提出的SGEMLSTM-Net方法通过使用多分支的膨胀卷积模块在减少计算量的同时增加了网络的感受野，可以捕获不同尺度的特征信息，并采用空域组增强模块调整每个子特征的重要性，残差密集块用于进一步提取丰富的局部特征信息，使得SGEMLSTM-Net方法优于对比方法。而且本发明方法的去雨结果图与原始无雨图像相比，较好地保留了图像的色度信息，恢复的背景也较为清晰，达到了更优地视觉效果。

接下来对图5和图6及测试数据集RainH100进行PSNR和SSIM指标的对比，结果如表1所示，可以看出，本发明方法在指标上基本上都高于其他方法。通过对比实验可发现，SGEMLSTM-Net方法在含密集雨条纹的数据上效果更佳。

表1不同方法的图像复原质量评价结果

图6为真实带雨图像的去雨实例图，展示了真实雨天图像的去雨效果，观察得到，GMM-LP方法不能完全去除雨线。从视觉角度来看，在对真实雨图的恢复过程中，ResGuideNet、RESCAN、PReNet和AMGR-Net方法的去雨效果与本发明所提出的方法差距不大，但是本发明方法能够保留更多的图像细节，且恢复的结果图更清晰。

Claims (5)

1.一种基于空域组增强机制与长短时记忆网络的图像去雨方法，其特征在于，包括以下步骤：

(1)构建基于空域组增强机制与长短时记忆网络的图像去雨网络架构，所述网络架构由膨胀卷积模块、空域组增强模块、长短时记忆循环神经网络及残差密集模块构成；使用膨胀卷积模块得到多尺度的条纹特征信息，并采用空域组增强模块，为每个语义组中的每个空间位置生成一个注意因子来调整每个子特征的重要性，使每个单独的组自主增强学习表达能力，并抑制噪声；所述长短时记忆循环神经网络传播不同阶段的深度特征的依赖性关系；所述残差密集模块由残差网络和密集连接网络构成，提取局部特征信息，并生成残差映射图，估计出图像中的条纹信息，用残差图与输入的条纹图相加得到去条纹图像；

(2)构造损失函数，提升去条纹效果及保留细节信息；

(3)获取不同方向和不同强度雨线的密集雨条纹数据集，并划分为训练集和测试集，对步骤(1)提出的基于空域组增强机制与长短时记忆网络的图像去雨网络架构进行训练；

步骤(1)所述的空域组增强模块首先将特征映射图按通道维度分为G个组；然后通过空间平均函数并使用全局统计特征去近似该组学习表示的语义向量，表示为：

其中，χ表示该组每个位置都能用一个向量表示，χ'＝{x'_1,...,m},m＝H×W；每组特征x_i在空间上与其全局池化后的特征g做点乘得到初始的注意掩模c_i＝g·x_i；在空间上进行减均值、除标准差处理，表示为：

其中，ε是用于增强数值的稳定性而设置的常数，设置为1e-5；为每个系数c′_i引入了参数γ,β，其缩放和偏移归一化值表示为：a_i＝γc′_i+β，γ、β与G的数量相同，将a_i输入至Sigmoid激活函数，再与原始特征组中每个位置的特征x_i相乘，获得增强特征向量x′_i，来对这些特征进行空间缩放，使其数值规范在0-1之间；

步骤(2)所述损失函数表示为：

其中，s表示去条纹阶段数量，表示网络预测的条纹信息，R_s表示真实条纹信息。

2.根据权利要求1所述的一种基于空域组增强机制与长短时记忆网络的图像去雨方法，其特征在于，步骤(1)所述的空域组增强模块使用Sigmoid激活函数，残差密集模块使用ReLU激活函数。

3.根据权利要求1所述的一种基于空域组增强机制与长短时记忆网络的图像去雨方法，其特征在于，步骤(1)所述的膨胀卷积模块首先使用3×3的卷积核，通过四个具有不同尺度膨胀因子，分别为1、2、3和4的卷积层将输入图像转变到不同的特征空间；然后连接四个卷积层的输出得到增强的条纹图特征，并将提取的多尺度特征信息作为空域组增强模块的输入。

4.根据权利要求1所述的一种基于空域组增强机制与长短时记忆网络的图像去雨方法，其特征在于，步骤(1)中残差密集块有3个，使用3×3的卷积核，通道数、密集层个数和增长率分别设置为32、3和8，卷积层1的核大小设置为1×1，卷积层2的核大小设置为3×3。

5.根据权利要求1所述的一种基于空域组增强机制与长短时记忆网络的图像去雨方法，其特征在于，其特征在于，步骤(1)所述的基于空域组增强机制与长短时记忆网络的图像去雨网络架构，经过六次循环，第二至六次循环的输入由前一循环的输出和原始条纹图拼接后构成。