CN110310238A - 一种基于重用原始信息的压缩奖惩神经网络的单幅图像去雨方法 - Google Patents

Abstract

本发明涉及一种基于重用原始信息的压缩奖惩神经网络的单幅图像去雨方法，首先利用快速引导滤波将有雨图像分解为低频图层和高频图层；接着将高频图层输入到一个结合了压缩奖惩神经网络结构块、批归一化处理以及本方法提出的重用原始信息连接方式的神经网络中进行特征学习与提取，去除其中的雨线；最后将去除雨线之后的高频图层与原始的低频图层相加得到最终的去雨结果。本方法针对单幅有雨图像进行去雨，与现有的传统去雨方法、基于深度学习去雨方法相比，都能得到更高质量的无雨图像；并且本方法提出的网络是基于压缩奖惩神经网络的，而本方法提出的网络所使用的压缩奖惩结构块则可以很好地刻画特征通道之间的关系，从而提高网络的表达力，提升去雨效果。

Description

一种基于重用原始信息的压缩奖惩神经网络的单幅图像去雨 方法

技术领域

本发明涉及图像处理技术领域，尤其是一种基于重用原始信息的压缩奖惩神经网络的单幅图像去雨方法。

背景技术

在雨天情况下，雨滴颗粒一般大于100μm，容易被镜头捕捉，雨天会降低图像的质量，影响图像中的色彩信息。因此，受有雨天气状况的影响，户外镜头所采集图像的部分纹理与细节信息容易被雨线遮挡，造成局部区域过亮，背景图像模糊等问题。雨天图像质量的退化极大制约了如视觉监控、视觉导航与目标跟踪等户外智能视觉系统的功能。且雨滴颗粒状态多变，不同情形下的雨线方向和粗细均不相同，因此，研究如何从各类雨天降质图像中恢复出高质量的图像具有极高的研究与应用价值。

图像去雨研究主要包括视频图像去雨与单幅图像去雨。视频图像目前取得了较大的进展，但是由于这些算法所适用的视频图像中包含较为丰富的时域信息，这些信息又是单幅图像所不具备的，因此这些视频去雨的算法并不能直接应用到单幅图像去雨中。

例如，基于雨线动态模型与亮度模型实现雨线检测，利用图像帧之间的雨线亮度差异与背景亮度存在一定的线性关系，并通过对亮度取平均值消除雨线。

例如，利用受雨滴遮挡像素的RGB三个通道的亮度变化值基本不变，提出了一种色度约束模型解决雨滴的误检测问题，并采用K-means聚类实现视频去雨。

例如，基于HSV空间分析雨滴成像特性，构造了如何区分雨滴与其他运动目标的度量函数，大大提高了视频去雨的实时性。将灰色调代替亮度值，实现雨滴候选区域的提取，建立了雨滴方向的概率密度，并采用方向约束实现视频去雨，但去雨效果易受雨滴下降速度、风向及其他运动目标的影响，基于高斯混合模型拟合雨线方向直方图，并利用雨滴大小与亮度实现雨滴候选区域检测，但是雨线方向的变化或者交叠会造成很高的误检率。利用视频图像中雨滴像素的局部时空差异特征，提出了一种粘附雨滴的建模、检测及去除的方法，但该方法并不适合于非粘附的雨滴。

另外，Wu等人结合雨滴的颜色、纹理和形状特征构建雨滴显著图，实现候选雨滴区域的确定，提出一种基于学习的雨滴判断方法，并采用图像修复技术实现交通监控图像的去雨。然而，该方法认为雨滴在拍摄镜头玻璃上呈现出圆形具有一定的局限性，且无法适用风势和雨势较大的情况。Kim等假设雨滴呈椭圆形且雨线方向为垂直向下，利用椭圆核的形状与方向实现雨滴检测，并基于非局部均值滤波方法实现单幅图像去雨。Chen等利用图像中雨线呈现出较高的相似性与降雨图像的退化原理，基于雨线的时空相关性提出一种低秩模型实现单幅(视频)图像去雨，但这一方法并未考虑降雨时大风、雨雾等外界因素的影响。

再如Luo等人基于滤色图层混合模型提出了一种基于稀疏编码和字典学习的方法。但当图像中包含与雨线结构相似的物体时，该方法会误将这些物体当成雨线来进行处理，导致背景的模糊。Li等人提出了一种基于无雨图层和有雨图层块的先验方法。这种方法关键的地方在于高斯混合模型的构建，而这又依赖于用户选取合适的区域来提供先验信息，进而构建模型，因此操作比较繁琐，不太可靠，且运行时间相对会长一点。随着深度学习的再度兴起，也有一些基于深度学习的算法被提出，如Fu等人提出的两种网络DerainNet和DetailNet，以及Wang等人提出的DRCNN网络。这些算法虽然能获得比传统算法较好的效果，但去雨结果中仍会存在一些背景细节丢失的情况。同时有的网络层数过深，训练代价较大，如DetailNet就包含26层。因此，亟需要一种有效的单幅图像去雨方法。

发明内容

针对现有技术的不足，本发明的目的是提供一种基于重用原始信息的压缩奖惩神经网络的单幅图像去雨方法，该方法与传统的去雨方法相比，该方法运行效率高；而与现有的基于深度学习的算法相比，该方法网络结构较为简单，且对于背景细节的复原效果较好。

本发明的技术方案为：一种基于重用原始信息的压缩奖惩神经网络的单幅图像去雨方法，包括以下步骤：

S1)、构建一个重用原始信息的压缩奖惩神经网络架构，该压缩奖惩神经网络架构包含5层卷积层，并且每个卷积层都具有相应的权重W_i和偏置值b_i，其中前四层卷积层后均连接有一序列操作；

S2)、获取有雨图像X和对应的无雨图像Y，对有雨图像X执行快速引导滤波得到其低频图层X_base，接着分别用有雨图像X和无雨图像Y减去该低频图层X_base，分别得到有雨图像的高频图层X_detail和无雨图像的高频图层Y_detail作为数据集；

S3)、对数据集X_detail和Y_detail进行格式化处理，并基于Caffe框架训练网络中的参数；

S4)、将训练好的网络参数提取并应用到步骤S1)中构建的网络中，从而提取图像特征、以及刻画各特征通道之间的关系，并调整数据分布，保证网络的非线性表达能力；

S5)、对于一张有雨测试图像X^test，首先对其进行快速引导滤波得到低频图层然后用有雨图像减去低频图层得到高频图层

S6)、将得到的测试图像的高频图层输入到网络中进行去雨，得到去雨后的高频图层然后加上测试图像的低频图层进而得到最终去雨后的图像。

进一步的，步骤S1)中，所述的一序列操作包括批归一化处理、ReLU激活函数以及压缩奖惩结构块，其中每一个批归一化处理都具有尺度因子γ_i和平移因子β_i，而压缩奖惩结构块中也有相应的权重和偏置值。

进一步的，步骤S1)中，构建的压缩奖惩神经网络架构包含重用原始信息连接方式及批归一化处理，网络的结构为：

o_i＝W_iC_i-1+b_i，i＝5；

式中，max(0,·)为ReLU激活函数表达式，W_iX_detail+b_i和W_iC_i-1+b_i表示卷积操作，表示批归一化处理，SE(·)表示压缩奖惩结构块，其中，C_i-1＝[X_detail,O_i-1]，表示网络第i层的输入为网络原始输入与前一层输出基于通道维度合并的结果，这就是重用原始信息连接的体现，W_i，b_i分别表示网络第i层卷积层中卷积核核的权值和偏置值。

进一步的，步骤S2)中，图像高频图层的获取只经过一次快速引导滤波，具体为：

S201)、获取多张无雨图像，并根据滤色图层混合模型，通过Photoshop向图像中添加雨来生成相应的雨图像；

S202)、获取有雨图像X和对应的无雨图像Y后，对有雨图像执行一次快速引导滤波得到其低频图层X_base，然后分别用有雨图像和无雨图像减去该低频图层，得到有雨图像的高频图层X_detail和无雨图像的高频图层Y_detail，具体为：

Y_detail＝Y-X_base；

X_detail＝X-X_base；

进一步的，步骤S3)中，网络的所有参数都是在Caffe框架下经过样本训练学习得到的，具体的训练方法为：

S301)、在获得所有有雨图像及其相应的无雨图像的高频图层后，通过选取N对子图层对作为训练集，即

式中，Θ表示需要学习的所有参数，N为训练样本的数量，和分别为训练数据集中的第i对图层对中的有雨图像高频图层和对应的无雨图像的高频图层，F(·，Q)表示网络学习到的有雨图像高频图层到无雨图像高频图层的映射，其中，Caffe框架进行学习率为0.0001的1000000次迭代，训练网络学习各个参数。

进一步的，步骤S4)中，所述卷积层的权值和偏置值用于提取图像特征，压缩奖惩结构块中的参数用来刻画各特征通道之间的关系，而批归一化处理中的参数则用于调整数据分布，保证网络的非线性表达能力。

进一步的，步骤S5)和步骤S6)中，对于测试图像X^test的处理，具体为：

1)、给定有雨测试图像X^test，以及基于训练好的网络，先经过快速引导滤波获得低频图层然后减去低频图层得到高频图层

2)、通过五层不同滤波器大小的卷积层，同时辅以批归一化处理和压缩奖惩结构块进行背景纹理提取、非线性映射、高级特征提取及雨线区域复原等操作；具体为：

第一层卷积层使用9×9滤波器来提取输入雨图像的背景纹理结构，第一层的特征图的计算式如下：

其中，W₁和b₁分别为第一层卷积层中的权重和偏置值，γ₁、β₁分别为第一个批归一化处理中的尺度因子和平移因子，这一层中的压缩奖惩结构块使用到的压缩比例因子为8；

在第一层运算后，第二层卷积层用于对第一层提取出来的纹理结构信息作进一步非线性映射，滤波器大小设置为1×1，第二层的输出计算式为：

其中，W₂和b₂分别为第二层卷积层中的权重和偏置值，γ₂、β₂分别为第二个批归一化处理中的尺度因子和平移因子，这一层中的压缩奖惩结构块使用到的压缩比例因子为8，C₁为网络原始输入与第一层输出o₁基于通道维度合并的结果，即重用原始信息的体现；

基于第二层的特征图，通过第三层和第四层卷积对其进行进一步学习以便提取更高级的特征，同时通过第四层控制特征图数目，为后续转化到图像空间做准备，其中，第三层滤波器大小为5×5，第四层滤波器大小为3×3，这两层的计算公式为：

相应的，C₂为网络原始输入与第二层输出o₂基于通道维度合并的结果，即重用原始信息的体现；

C₃为网络原始输入与第三层输出o₃基于通道维度合并的结果，即重用原始信息的体现；

W₃和b₃分别为第三层卷积层中的权重和偏置值，γ₃、β₃分别为第三个批归一化处理中的尺度因子和平移因子；

W₄和b₄分别为第四层卷积层中的权重和偏置值，γ₄、β₄分别为第三个批归一化处理中的尺度因子和平移因子；

第三个和第四个压缩奖惩结构块的压缩比例因子均设为4；

第五层只通过一层卷积层来将前一层输出的特征图转化到图像空间，对雨线区域进行复原，形成去雨后的高频图层，这一层的滤波器大小为3×3，去雨后的高频图层可用以下公式表示：

式中，C₄为网络原始输入与第四层输出o₄基于通道维度合并的结果；W₅和b₅分别为第五层卷积层中的权重和偏置值；

在获得去雨后的高频图层后，高质量的清晰无雨图像Y^derain为：

其中，是原始有雨图像X^test通过快速引导滤波得到的低频图层。

本发明的有益效果为：

1、本发明提出了一种重用原始信息的网络连接方式，充分利用网络原始输入为网络提供更多关于背景的信息，辅助雨线的去除与雨线区域的背景复原；

2、本发明与现有的去雨神经网络相比，本方法提出的网络是基于压缩奖惩神经网络的，传统的网络只关注网络层与层之间的关系，却忽略了相同层不同特征图之间的关系，而本方法提出的网络所使用的压缩奖惩结构块则可以很好地刻画特征通道之间的关系，从而提高网络的表达力，提升去雨效果；

3、本发明使用了批归一化处理，同时结合新提出的重用原始信息连接方式，可以有效地避免梯度消失；

4、本发明与现有的图像去雨方法比较，无论是合成的有雨图像还是真实的有雨图像，本方法都能获得较高质量的无雨图像，在定性上能更多地恢复背景细节信息，提高图像的视觉效果，在定量上，所引入的峰值信噪比(PNSR)和结构相似性(SSIM)两个指标均优于现有的技术，性能更优越。

附图说明

图1为本发明基于重用原始信息的压缩奖惩神经网络的单幅图像去雨方法的流程示意图；

图2为本发明重用原始信息的压缩奖惩神经网络架构的结构示意图；

图3为本发明提供的方法与现有技术Rain12数据集上评分对比图；

图4为本发明提供的方法与现有算法在合成有雨图像上的去雨效果对比图；

图5为本发明方法与现有算法在真实有雨图像上的去雨效果对比图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步说明：

如图1所示，一种基于重用原始信息的压缩奖惩神经网络的单幅图像去雨方法，包括以下步骤：

S1)、构建一个重用原始信息的压缩奖惩神经网络架构，该压缩奖惩神经网络架构包含5层卷积层，并且每个卷积层都具有相应的权重W_i和偏置值b_i，其中前四层卷积层后均连接有一序列操作，所述的一序列操作包括批归一化处理、ReLU激活函数以及压缩奖惩结构块，其中每一个批归一化处理都具有尺度因子γ_i和平移因子β_i，而压缩奖惩结构块中也有相应的权重和偏置值；该网络是基于基于压缩奖惩神经网络，并结合了本方法提出的重用原始信息连接方式以及批归一化处理，如图2所示，网络的结构为：

o_i＝W_iC_i-1+b_i，i＝5；

式中，max(0,·)为ReLU激活函数表达式，W_iX_detail+b_i和W_iC_i-1+b_i表示卷积操作，表示批归一化处理，SE(·)表示压缩奖惩结构块，其中，C_i-1＝[X_detail,O_i-1]，表示网络第i层的输入为网络原始输入与前一层输出基于通道维度合并的结果，这就是重用原始信息连接的体现，W_i，b_i分别表示网络第i层卷积层中卷积核核的权值和偏置值。

S2)、获取有雨图像X和对应的无雨图像Y，对有雨图像X执行快速引导滤波得到其低频图层X_base，接着分别用有雨图像X和无雨图像Y减去该低频图层X_base，分别得到有雨图像的高频图层X_detail和无雨图像的高频图层Y_detail作为数据集；具体为：

S201)、获取多张无雨图像，并根据滤色图层混合模型，通过Photoshop向图像中添加雨来生成相应的雨图像，获取的无雨图像是通过Google和Flickr获取，获取的数量为125张室外清晰图像；

S202)、获取有雨图像X和对应的无雨图像Y后，对有雨图像执行一次快速引导滤波得到其低频图层X_base，然后分别用有雨图像和无雨图像减去该低频图层，得到有雨图像的高频图层X_detail和无雨图像的高频图层Y_detail，具体为：

Y_detail＝Y-X_base；

X_detail＝X-X_base；

S3)、对数据集X_detail和Y_detail进行格式化处理，并基于Caffe框架训练网络中的参数；

具体的训练方法为：

S301)、在获得所有有雨图像及其相应的无雨图像的高频图层后，通过选取96200对子图层对作为训练集，大约14500对子图层对作为验证集，即

式中，Θ表示需要学习的所有参数，N为训练样本的数量，和分别为训练数据集中的第i对图层对中的有雨图像高频图层和对应的无雨图像的高频图层，F(·，Q)表示网络学习到的有雨图像高频图层到无雨图像高频图层的映射，其中，Caffe框架进行学习率为0.0001的1000000次迭代，训练网络学习各个参数。

S4)、将训练好的网络参数提取并应用到步骤S1)中构建的网络中，其中卷积层的权值和偏置值用于提取图像特征，压缩奖惩结构块中的参数用来刻画各特征通道之间的关系，而批归一化处理中的参数则用于调整数据分布，保证网络的非线性表达能力；

S5)、对于一张有雨测试图像X^test，首先对其进行快速引导滤波得到低频图层然后用有雨图像减去低频图层得到高频图层

S6)、将得到的测试图像的高频图层输入到网络中进行去雨，得到去雨后的高频图层然后加上测试图像的低频图层进而得到最终去雨后的图像，具体为：

1)、给定有雨测试图像X^test，以及基于驯良好的网络，先经过快速引导滤波获得低频图层然后减去低频图层得到高频图层

2)、通过五层不同滤波器大小的卷积层，同时辅以批归一化处理和压缩奖惩结构块进行背景纹理提取、非线性映射、高级特征提取及雨线区域复原等操作；具体为：

第一层卷积层使用9×9滤波器来提取输入雨图像的背景纹理结构，第一层的特征图的计算式如下：

其中，W₁和b₁分别为第一层卷积层中的权重和偏置值，γ₁、β₁分别为第一个批归一化处理中的尺度因子和平移因子，这一层中的压缩奖惩结构块使用到的压缩比例因子为8；

在第一层运算后，第二层卷积层用于对第一层提取出来的纹理结构信息作进一步非线性映射，滤波器大小设置为1×1，第二层的输出计算式为：

其中，W₂和b₂分别为第二层卷积层中的权重和偏置值，γ₂、β₂分别为第二个批归一化处理中的尺度因子和平移因子，这一层中的压缩奖惩结构块使用到的压缩比例因子为8，C₁为网络原始输入与第一层输出o₁基于通道维度合并的结果，即重用原始信息的体现；

基于第二层的特征图，通过第三层和第四层卷积对其进行进一步学习以便提取更高级的特征，同时通过第四层控制特征图数目，为后续转化到图像空间做准备，其中，第三层滤波器大小为5×5，第四层滤波器大小为3×3，这两层的计算公式为：

相应的，C₂为网络原始输入与第二层输出o₂基于通道维度合并的结果，即重用原始信息的体现；

C₃为网络原始输入与第三层输出o₃基于通道维度合并的结果，即重用原始信息的体现；

W₃和b₃分别为第三层卷积层中的权重和偏置值，γ₃、β₃分别为第三个批归一化处理中的尺度因子和平移因子；

W₄和b₄分别为第四层卷积层中的权重和偏置值，γ₄、β₄分别为第三个批归一化处理中的尺度因子和平移因子；

第三个和第四个压缩奖惩结构块的压缩比例因子均设为4；

第五层只通过一层卷积层来将前一层输出的特征图转化到图像空间，对雨线区域进行复原，形成去雨后的高频图层，这一层的滤波器大小为3×3，去雨后的高频图层可用以下公式表示：

式中，C₄为网络原始输入与第四层输出o₄基于通道维度合并的结果；W₅和b₅分别为第五层卷积层中的权重和偏置值；

在获得去雨后的高频图层后，高质量的清晰无雨图像Y^derain为：

其中，是原始有雨图像X^test通过快速引导滤波得到的低频图层。

为了说明本发明方法使用的网络的优势，图3给出了本发明方法与现有一些算法在Rain12数据集上的PSNR和SSIM评分折线图。Rain12是由Li等人公开的一个数据集，目前在单幅图像去雨领域被广泛地用于评分。由图3可以看出，本发明方法获得了最高的PSNR值和SSIM值，表明本发明方法的去雨结果质量最高。图4和图5分别给出了本发明方法与现有算法在合成有雨图像和真实有雨图图像的去雨效果对比图。其中DSC为Luo等人提出的方法，LP为Li等人提出的方法，DerainNet和DetailNet为Fu等人提出的方法，DRCNN为Wang等人提出的方法。通过观察图4可以发现，相对于现有算法，本发明方法的去雨结果中雨线去除得最为干净。而在图5中，DSC的结果仍有较多雨线，而LP的结果则会造成背景过平滑；DerainNet在处理真实雨图时会包含一个增强操作，因此会造成颜色偏差；DRCNN的结果会造成人脸边缘的模糊；DetailNet则会错将袖子部分的褶皱当成雨线去除；相比较之下，本发明方法可以很好地去除图像中的雨线，同时可以保留更多背景细节，不会造成背景的过平滑或模糊。

上述实施例和说明书中描述的只是说明本发明的原理和最佳实施例，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims (8)

1.一种基于重用原始信息的压缩奖惩神经网络的单幅图像去雨方法，其特征在于，包括以下步骤：

S1)、构建一个重用原始信息的压缩奖惩神经网络架构，该压缩奖惩神经网络架构包含5层卷积层，并且每个卷积层都具有相应的权重W_i和偏置值b_i，其中前四层卷积层后均连接有一序列操作；

S2)、获取有雨图像X和对应的无雨图像Y，对有雨图像X执行快速引导滤波得到其低频图层X_base，接着分别用有雨图像X和无雨图像Y减去该低频图层X_base，分别得到有雨图像的高频图层X_detail和无雨图像的高频图层Y_detail作为数据集；

S3)、对数据集X_detail和Y_detail进行格式化处理，并基于Caffe框架训练网络中的参数；

S4)、将训练好的网络参数提取并应用到步骤S1)中构建的网络中，从而提取图像特征、以及刻画各特征通道之间的关系，并调整数据分布，保证网络的非线性表达能力；

S5)、对于一张有雨测试图像X^test，首先对其进行快速引导滤波得到低频图层然后用有雨图像减去低频图层得到高频图层

S6)、将得到的测试图像的高频图层输入到网络中进行去雨，得到去雨后的高频图层然后加上测试图像的低频图层进而得到最终去雨后的图像。

2.根据权利要求1所述的基于重用原始信息的压缩奖惩神经网络的单幅图像去雨方法，其特征在于：步骤S1)中，所述的一序列操作包括批归一化处理、ReLU激活函数以及压缩奖惩结构块，其中每一个批归一化处理都具有尺度因子γ_i和平移因子β_i，而压缩奖惩结构块中也有相应的权重和偏置值。

3.根据权利要求1所述的基于重用原始信息的压缩奖惩神经网络的单幅图像去雨方法，其特征在于：步骤S1)中，构建的压缩奖惩神经网络架构包含重用原始信息连接方式及批归一化处理，网络的结构为：

o_i＝W_iC_i-1+b_i，i＝5；

式中，max(0,·)为ReLU激活函数表达式，W_iX_detail+b_i和W_iC_i-1+b_i表示卷积操作，表示批归一化处理，SE(·)表示压缩奖惩结构块，其中，C_i-1＝[X_detail,O_i-1]，表示网络第i层的输入为网络原始输入与前一层输出基于通道维度合并的结果，这就是重用原始信息连接的体现，W_i，b_i分别表示网络第i层卷积层中卷积核核的权值和偏置值。

4.根据权利要求1所述的基于重用原始信息的压缩奖惩神经网络的单幅图像去雨方法，其特征在于：步骤S2)中，图像高频图层的获取只经过一次快速引导滤波，具体为：

S201)、获取多张无雨图像，并根据滤色图层混合模型，通过Photoshop向图像中添加雨来生成相应的雨图像；

S202)、获取有雨图像X和对应的无雨图像Y后，对有雨图像执行一次快速引导滤波得到其低频图层X_base，然后分别用有雨图像和无雨图像减去该低频图层，得到有雨图像的高频图层X_detail和无雨图像的高频图层Y_detail，具体为：

Y_detail＝Y-X_base；

X_detail＝X-X_base。

5.根据权利要求1所述的基于重用原始信息的压缩奖惩神经网络的单幅图像去雨方法，其特征在于：步骤S3)中，网络的所有参数都是在Caffe框架下经过样本训练学习得到的，具体的训练方法为：

S301)、在获得所有有雨图像及其相应的无雨图像的高频图层后，通过选取N对子图层对作为训练集，即

式中，Θ表示需要学习的所有参数，N为训练样本的数量，和分别为训练数据集中的第i对图层对中的有雨图像高频图层和对应的无雨图像的高频图层，F(·，Q)表示网络学习到的有雨图像高频图层到无雨图像高频图层的映射。

6.根据权利要求5所述的基于重用原始信息的压缩奖惩神经网络的单幅图像去雨方法，其特征在于：Caffe框架进行学习率为0.0001的1000000次迭代，训练网络学习各个参数。

7.根据权利要求2所述的基于重用原始信息的压缩奖惩神经网络的单幅图像去雨方法，其特征在于：步骤S4)中，所述卷积层的权值和偏置值用于提取图像特征，压缩奖惩结构块中的参数用来刻画各特征通道之间的关系，而批归一化处理中的参数则用于调整数据分布，保证网络的非线性表达能力。

8.根据权利要求1所述的基于重用原始信息的压缩奖惩神经网络的单幅图像去雨方法，其特征在于：步骤S5)和步骤S6)中，对于测试图像X^test的处理，具体包括以下步骤：

1)、给定有雨测试图像X^test，以及基于训练好的网络，先经过快速引导滤波获得低频图层然后减去低频图层得到高频图层

2)、通过五层不同滤波器大小的卷积层，同时辅以批归一化处理和压缩奖惩结构块进行背景纹理提取、非线性映射、高级特征提取及雨线区域复原等操作；具体为：

第一层卷积层使用9×9滤波器来提取输入雨图像的背景纹理结构，第一层的特征图的计算式如下：

其中，W₁和b₁分别为第一层卷积层中的权重和偏置值，γ₁、β₁分别为第一个批归一化处理中的尺度因子和平移因子，这一层中的压缩奖惩结构块使用到的压缩比例因子为8；

在第一层运算后，第二层卷积层用于对第一层提取出来的纹理结构信息作进一步非线性映射，滤波器大小设置为1×1，第二层的输出计算式为：

其中，W₂和b₂分别为第二层卷积层中的权重和偏置值，γ₂、β₂分别为第二个批归一化处理中的尺度因子和平移因子，这一层中的压缩奖惩结构块使用到的压缩比例因子为8，C₁为网络原始输入与第一层输出o₁基于通道维度合并的结果，即重用原始信息的体现；

基于第二层的特征图，通过第三层和第四层卷积对其进行进一步学习以便提取更高级的特征，同时通过第四层控制特征图数目，为后续转化到图像空间做准备，其中，第三层滤波器大小为5×5，第四层滤波器大小为3×3，这两层的计算公式为：

C₂为网络原始输入与第二层输出o₂基于通道维度合并的结果，即重用原始信息的体现；

C₃为网络原始输入与第三层输出o₃基于通道维度合并的结果，即重用原始信息的体现；

W₃和b₃分别为第三层卷积层中的权重和偏置值，γ₃、β₃分别为第三个批归一化处理中的尺度因子和平移因子；

W₄和b₄分别为第四层卷积层中的权重和偏置值，γ₄、β₄分别为第三个批归一化处理中的尺度因子和平移因子；

第三个和第四个压缩奖惩结构块的压缩比例因子均设为4；

第五层只通过一层卷积层来将前一层输出的特征图转化到图像空间，对雨线区域进行复原，形成去雨后的高频图层，这一层的滤波器大小为3×3，去雨后的高频图层可用以下公式表示：

式中，C₄为网络原始输入与第四层输出o₄基于通道维度合并的结果；W₅和b₅分别为第五层卷积层中的权重和偏置值；

在获得去雨后的高频图层后，高质量的清晰无雨图像Y^derain为：

其中，是原始有雨图像X^test通过快速引导滤波得到的低频图层。