CN111462013A - 一种基于结构化残差学习的单图去雨方法 - Google Patents

Abstract

本发明公开了一种基于结构化残差学习的单图去雨方法，通过多分支并行的编译码网络模块很好地提取多尺度残差雨层。首先，对图像数据预处理得到雨图和对应的干净无雨图；然后，根据雨图的生成机制，建立单图去雨模型；接着，根据雨条的先验特性，建立多尺度编译码网络(MSEDNet)；之后，将预处理后的雨图传入MSEDNet，根据训练损失函数，通过反向优化算法迭代更新MSEDNet，使得网络的输出结果逐渐逼近预处理后的干净无雨图，当达到设定的迭代次数时，保存此时的网络参数，即为训练模型；最后进入网络测试阶段，准备待测试的雨图，加载训练模型，将该雨图输入MSEDNet进行前向计算，网络的输出结果即测试雨图对应的去雨图像。本发明具有较强的去雨性能和较好的泛化能力。

Description

一种基于结构化残差学习的单图去雨方法

技术领域

本发明属于图像处理以及深度学习技术领域，特别涉及一种基于结构化残差学习的单图去雨方法。

背景技术

在室外拍摄的图像通常会受到雨天的影响而遭受到破坏，比如有效的背景和纹理细节会被高亮的雨滴和浓密的雨条遮挡。这不利于提升户外视觉任务的性能，比如目标追踪，视频监控和行人检测。因此，图像去雨是一项非常重要且必要的预处理任务，近年来已经受到广泛的研究关注。由于没有视频中多帧图像间的信息可以利用，单张图像去雨是一个富有挑战性的问题。

目前，已有的单图去雨技术大致可以分为三类：基于滤波器的方法，基于传统模型的方法和基于深度学习的方法。基于滤波器的方法将单张雨图通过导向滤波等方式分解为低频部分(背景层)和高频部分(雨层和纹理细节)，然后利用雨条的物体特性抽取高频部分的雨层，将低频部分和高频的纹理细节融合从而得到重构的去雨图。由于高低频分解的不精准性，该类方法通常导致去雨图丢失部分有效的图像细节。基于传统模型的方法主要通过使用不同的正则项分别刻画背景层和雨层的先验结构，然后利用传统的迭代优化算法获得重构后的背景层和雨层。由于正则项表达的有限性，该类方法通常只能在某些场景下适用。当面对多样的雨图时，由于雨模态分布的复杂性，这些正则项不能再很好地刻画这些雨条的先验分布。另外，由于牵涉到复杂的迭代优化推理计算过程，基于传统模型的方法通常是很费时的，这显然不利于实际应用。最近随着深度学习的快速发展，卷积神经网络也广泛应用到了单图去雨任务中，当前的基于深度学习的方法主要关注设计多样的网络模块，然后利用大量的成对训练样本进行端到端训练这些深度网络架构，从而获得去雨图。相比传统的基于模型的去雨方法，虽然该类方法实现了突出的去雨效果，但仍有一些缺陷。比如，他们设计的网络结构越来越复杂，没有过多地挖掘其结构的合理性，而是将其看成是一个封装好的端到端映射模块。另外，该类方法基本忽略了雨条内在的先验结构，比如稀疏性和局部模式的重复性，因此通常容易遇到样本过拟合问题，其泛化性能是受限的。

发明内容

为了克服上述现有技术的缺点，针对基于传统的单图去雨技术以及目前基于深度学习的单图去雨技术存在的问题，本发明的目的在于提供一种基于结构化残差学习的单图去雨方法，具有良好泛化能力。

为了实现上述目的，本发明采用的技术方案是：

一种基于结构化残差学习的单图去雨方法，包括如下步骤：

步骤1)数据准备阶段：对图像数据进行预处理，得到雨图和对应的干净无雨图；

步骤2)模型建立阶段：根据雨图的生成机制，建立单图去雨模型；

步骤3)网络设计阶段：根据雨条的先验特性，设计一个多尺度编译码网络(Multi-Scale Encoder-Decoder Network,MSEDNet)；

步骤4)网络训练阶段：加载步骤1)预处理后的雨图，然后将其传入步骤3)中的多尺度编译码网络，根据训练损失函数，通过反向优化算法迭代更新多尺度编译码网络，使得网络的输出结果逐渐逼近步骤1)预处理后的干净无雨图，当达到设定的迭代次数时，训练终止，保存此时的网络参数，即为训练模型；

步骤5)网络测试阶段：准备待测试的雨图，加载步骤4)中的训练模型，将该雨图输入多尺度编译码网络进行前向计算，网络的输出结果就是该测试雨图对应的去雨图像。

所述步骤1)中图像数据预处理方法为：分别将成对的雨图和干净无雨图的像素数值范围归一化到0～1之间。

所述步骤2)中，雨图是由背景层和雨层组合形成的，对应的单图去雨模型刻画为：O＝B+R，其中，

为雨图，H和W分别为该雨图的高度和宽度，

为该雨图所对应的背景层，即为干净的无雨图，

为该雨图所对应的雨层。

所述步骤3)中，根据雨条的多尺度和局部模式重复特性，设计一个多尺度编译码网络，步骤如下：首先，该网络依次使用一个3x3卷积层和两个残差块来获取浅层的特征信息，每个残差块均依次由3x3卷积层、ReLU层以及3x3卷积层构成，然后利用并行的网络参数共享的三路分支来分别提取小尺度、中尺度以及大尺度的雨条，将不同尺度的雨条相加融合，从而实现雨层的提取，最后根据步骤2)的单图去雨模型，从雨图O中减去获取到的该网络的输出，即雨层

即可求得去雨背景图

其中，三路并行的分支具有相同的网络结构，均由编译码网络(Encoder-DecoderNet)构成，该三路分支通过利用具有不同扩张率(Dilated Factor,DF)的空洞卷积运算来获取不同的感受野，从而分别提取小尺度、中尺度以及大尺度的雨条。

根据雨条的局部模式重复特性，多尺度编译码网络中每一个并行分支的编译码网络由对称的编码部分和译码部分构成。其中，编码部分由T个残差块构成，每个残差块紧跟着一个实现降采样的池化层MaxUnpooling；对称地，译码部分也是由T个残差块构成，每个残差块紧跟着一个实现非线性升采样的MaxUnpooling层，然后依次使用一个1x1卷积层和3x3卷积层进行特征信息融合，再结合全局跳连接从而获得稀疏的雨特征图，最后利用一个空洞卷积层进行卷积运算最终提取到不同尺度的雨条。

所述编码部分和译码部分对称的残差块和采样操作之间使用局部跳连接，以加速信息传递和特征充分利用。

对于每一个分支，MaxUnpooling和MaxUnpooling层所对应的核大小均为2x2，每个残差块均依次由空洞卷积层、ReLU层以及空洞卷积层构成，每个空洞卷积层对应的卷积核大小均为3x3，对应的扩张率为DF，对于不同的分支，DF大小不同，所提取的雨条的尺度也不同。

所述步骤4)中训练步骤具体包括：

(1)将雨图O输入多尺度编译码网络多尺度编译码网络得到输出的去雨背景图

(2)计算网络输出的去雨背景图

与干净的无雨图B的结构相相似性(structuresimilarity,SSIM)为：

对应的训练损失函数设计为

(3)通过随机梯度下降的方式减小训练损失函数L以优化多尺度编译码网络。

与现有技术相比，本发明的有益效果是：

本发明根据雨条的多尺度和局部模式重复特性，建立了一个多尺度编译码网络，以结构化的方式提取残差的雨层信息，这使得该网络具有良好的泛化能力，从而具有很强的实际应用意义。

附图说明

图1是基于结构化残差学习的单图去雨方法的操作流程图。

图2是本发明多尺度编译码网络(Multi-Scale Encoder-Decoder Network,MSEDNet)整体框图。

图3是以提取小尺度雨层为例(DF＝1)，对应的编译码网络Encoder-Decoder Net的结构。

图4是MSEDNet在合成雨图上的去雨性能，其中，(a1)-(a4)是依次来自合成数据集Rain100L、Rain100H、Rain1400以及Rain12的测试雨图；(b1)-(b4)是测试雨图(a1)-(a4)分别对应的干净无雨图；(c1)-(c4)是MSEDNet分别测试雨图(a1)-(a4)得到的去雨图像。

图5是MSEDNet在真实雨图上的泛化性能，其中，(a1)是来自真实数据集SPA-Data的测试雨图；(b1)是测试雨图(a1)对应的去雨图像；(a2)是来自真实数据集Internet-Data的测试雨图；(b2)是测试雨图(a2)对应的去雨图像。

图6是MSEDNet测试具有不同雨模式的雨图所恢复的去雨图和雨层，其中，(a)第一列是不同雨模式的测试雨图；(b)第二列是这些测试雨图分别对应的干净无雨图；(c)第三列是MSEDNet测试得到的去雨图；(d)是MSEDNet提取的雨层。

具体实施方式

下面结合附图和实施例详细说明本发明的实施方式。

如图1所示，本发明一种基于结构化残差学习的单图去雨方法，具体包括如下步骤：

1)数据准备阶段：对图像数据进行预处理，得到雨图和对应的干净无雨图；

2)模型建立阶段：根据雨图的生成机制，建立单图去雨模型；

3)网络设计阶段：根据雨条的先验特性，设计一个多尺度编译码网络(Multi-Scale Encoder-Decoder Network,MSEDNet)；

4)网络训练阶段：加载步骤1)预处理后的雨图，然后将其传入步骤3)中的MSEDNet，根据训练损失函数，通过反向优化算法迭代更新MSEDNet，使得网络的输出结果逐渐逼近步骤1)预处理后的干净无雨图，当达到设定的迭代次数时，训练终止，保存此时的网络参数，即为训练模型；

5)网络测试阶段：准备待测试的雨图，加载步骤4)中的训练模型，将该雨图输入MSEDNet进行前向计算，网络的输出结果就是该测试雨图对应的去雨图像。

上述方法中，部分步骤具体如下：

步骤1)中图像数据预处理方法为：分别将成对的雨图和干净无雨图的像素数值范围归一化到0～1之间。

步骤2)中，雨图通常是由背景层和雨层组合形成的，对应的单图去雨模型可以刻画为：O＝B+R，其中，

为雨图，H和W分别为该雨图的高度和宽度，

为该雨图所对应的背景层，即为干净的无雨图，

为该雨图所对应的雨层。

步骤3)中，根据雨条的多尺度和局部模式重复特性，设计一个多尺度编译码网络MSEDNet，MSEDNet结构参考图2，主要由三路并行的分支构成，每一分支使用相同的网络结构，均由编译码网络Encoder-Decoder Net构成，该三个分支通过分别使用扩张率(DilatedFactor,DF)为1，2，以及3的空洞卷积运算来获取不同的感受野，从而分别提取小尺度、中尺度以及大尺度的雨条，其中，(1)和(2)是局部跳连接为了减速信息传递，(3)是全局跳连接为了获得稀疏的雨特征图。

具体地，首先，该网络依次使用一个3x3卷积层和两个残差块来获取浅层的特征信息，每个残差块均依次由3x3卷积层、ReLU层以及3x3卷积层构成，然后利用并行的网络参数共享的三路分支来分别提取小尺度、中尺度以及大尺度的雨条，将不同尺度的雨条相加融合，从而实现雨层的提取，最后根据步骤3)的单图去雨模型，从雨图O中减去获取到的雨层，即可求得去雨后的背景图

其中，三路并行的分支具有相同的网络结构，均由编译码网络Encoder-Decoder Net构成，该三个分支通过分别利用扩张率为1，2，3的空洞卷积运算来获取不同的感受野，从而分别提取小尺度、中尺度以及大尺度的雨条。

根据雨条的局部模式重复特性，MSEDNet中每一个并行分支的编译码网络Encoder-Decoder Net是由对称的编码部分和译码部分构成。具体地，编码部分由T个残差块构成，每个残差块紧跟着一个实现降采样的池化层MaxUnpooling；对称地，译码部分也是由T个残差块构成，每个残差块紧跟着一个实现非线性升采样的MaxUnpooling层，然后依次使用一个1x1卷积层和3x3卷积层进行特征信息融合，再结合全局跳连接从而获得稀疏的雨特征图，最后利用一个空洞卷积层进行卷积运算最终提取到不同尺度的雨条。另外，为加速信息传递和特征充分利用，编码部分和译码部分对称的残差块和采样操作之间使用了局部跳连接。对于同一个分支，MaxUnpooling和MaxUnpooling层所对应的核大小均为2x2，每个残差块均依次由空洞卷积层、ReLU层以及空洞卷积层构成，每个空洞卷积层对应的卷积核大小均为3x3，并且使用相同的扩张率DF。对于不同的分支，DF大小不同，所提取的雨条的尺度也不同。以提取小尺度雨层为例(DF＝1)，对应的编译码网络Encoder-Decoder Net的结构参考图3。

步骤4)中训练步骤具体包括：

(1)将雨图O输入多尺度编译码网络MSEDNet得到的输出结果为

(2)计算输出的去雨图

与干净的无雨图B的结构相相似性(structuresimilarity,SSIM)为：

对应的训练损失函数设计为

(3)通过随机梯度下降的方式减小训练损失函数L以优化MSEDNet。

基于实验参数设置：编码部分和译码部分残差块个数T均为2,各个网络隐藏层卷积核个数为64，本发明方法与其他单图去雨技术在四个公开的合成数据集：Rain100L，Rain100H，Rain1400，和Rain12上的去雨性能比较结果如表1所示，表1给出了当前代表性的5种单图去雨技术和本发明方法在合成数据集上的去雨性能比较，其中，加粗黑体和加粗斜体分别表示第一和第二名。

在真实数据集SPA-Data上的泛化性能比较结果如表2所示，其去雨性能衡量标准是去雨图与干净无雨图之间的峰值信噪比(peak-signal-to-noise ratio,PSNR)和结构相相似性(structure similarity,SSIM)，表2给出了当前代表性的5种单图去雨技术和本发明方法在真实数据集SPA-Data上的泛化性能比较，其中，加粗黑体和加粗斜体分别表示第一和第二名。

观察比较结果，可以明显看出：在合成数据集以及真实数据集上，本发明方法的去雨性整体优于其他技术的实验效果，而且从表2得知：本发明方法有突出的泛化优势。

视觉上，MSEDNet在不同合成雨图上的去雨效果如图4所示，其中，(a1)-(a4)是依次来自合成数据集Rain100L、Rain100H、Rain1400以及Rain12的测试雨图；(b1)-(b4)是测试雨图(a1)-(a4)分别对应的干净无雨图；(c1)-(c4)是MSEDNet分别测试雨图(a1)-(a4)得到的去雨图像。

在真实雨图上的泛化性能如图5所示，其中，(a1)是来自真实数据集SPA-Data的测试雨图；(b1)是测试雨图(a1)对应的去雨图像；(a2)是来自真实数据集Internet-Data的测试雨图；(b2)是测试雨图(a2)对应的去雨图像。

从图4和图5中可以明显看出，本发明方法具有突出的去雨性能和良好的泛化能力。

表1

表2

性能指标	雨图	DSC	DDN	PReNet	SPANet	SIRR	MSEDNet
								PSNR	34.15	34.95	34.70	35.08	35.13	34.85	35.31
SSIM	0.9269	0.9416	0.9343	0.9424	0.9443	0.9357	0.9448

为验证本发明方法结构化残差学习的有效性，分别选用了具有不同雨模式的测试雨图，如图6中第一列(a)所示，对应的干净无雨图如第二列(b)所示，MSEDNet在这些雨图上进行测试，对应的去雨图如第三列(c),对应提取的雨层如第四列(d)所示。从中可以看出，面对复杂多样的雨图，MSEDNet总能获得很好的去雨图，并能充分提取有效的雨层，这正是本发明的结构化残差雨层学习所带来的有益效果。

本发明利用合成数据集和真实数据集对当前具有代表性的单图去雨技术以及本发明方法的去雨性能进行了公平定量对比，并且对本发明方法的实验结果进行了视觉展示，充分证实了本发明的单图去雨方法在合成数据和真实数据上均取得了较强的去雨性能并且具有较好的泛化能力，体现了本发明的去雨优势和合理可行性。

Claims (8)

1.一种基于结构化残差学习的单图去雨方法，其特征在于，包括如下步骤：

步骤1)数据准备阶段：对图像数据进行预处理，得到雨图和对应的干净无雨图；

步骤2)模型建立阶段：根据雨图的生成机制，建立单图去雨模型；

步骤3)网络设计阶段：根据雨条的先验特性，设计一个多尺度编译码网络(Multi-Scale Encoder-Decoder Network,MSEDNet)；

步骤4)网络训练阶段：加载步骤1)预处理后的雨图，然后将其传入步骤3)中的多尺度编译码网络，根据训练损失函数，通过反向优化算法迭代更新多尺度编译码网络，使得网络的输出结果逐渐逼近步骤1)预处理后的干净无雨图，当达到设定的迭代次数时，训练终止，保存此时的网络参数，即为训练模型；

步骤5)网络测试阶段：准备待测试的雨图，加载步骤4)中的训练模型，将该雨图输入多尺度编译码网络进行前向计算，网络的输出结果就是该测试雨图对应的去雨图像。

2.根据权利要求1所述基于结构化残差学习的单图去雨方法，其特征在于，所述步骤1)中图像数据预处理方法为：分别将成对的雨图和干净无雨图的像素数值范围归一化到0～1之间。

3.根据权利要求1所述基于结构化残差学习的单图去雨方法，其特征在于，所述步骤2)中，雨图是由背景层和雨层组合形成的，对应的单图去雨模型刻画为：O＝B+R，其中，

为雨图，H和W分别为该雨图的高度和宽度，

为该雨图所对应的背景层，即为干净的无雨图，

为该雨图所对应的雨层。

4.根据权利要求3所述基于结构化残差学习的单图去雨方法，其特征在于，所述步骤3)中，根据雨条的多尺度和局部模式重复特性，设计一个多尺度编译码网络，步骤如下：首先，该网络依次使用一个3x3卷积层和两个残差块来获取浅层的特征信息，每个残差块均依次由3x3卷积层、ReLU层以及3x3卷积层构成，然后利用并行的网络参数共享的三路分支来分别提取小尺度、中尺度以及大尺度的雨条，将不同尺度的雨条相加融合，从而实现雨层的提取，最后根据步骤2)的单图去雨模型，从雨图O中减去获取到的该网络的输出，即雨层

即可求得去雨背景图

其中，三路并行的分支具有相同的网络结构，均由编译码网络(Encoder-Decoder Net)构成，该三路分支通过利用具有不同扩张率(Dilated Factor,DF)的空洞卷积运算来获取不同的感受野，从而分别提取小尺度、中尺度以及大尺度的雨条。

5.根据权利要求4所述基于结构化残差学习的单图去雨方法，其特征在于，根据雨条的局部模式重复特性，多尺度编译码网络中每一个并行分支的编译码网络由对称的编码部分和译码部分构成，其中，编码部分由T个残差块构成，每个残差块紧跟着一个实现降采样的池化层MaxUnpooling；对称地，译码部分也是由T个残差块构成，每个残差块紧跟着一个实现非线性升采样的MaxUnpooling层，然后依次使用一个1x1卷积层和3x3卷积层进行特征信息融合，再结合全局跳连接从而获得稀疏的雨特征图，最后利用一个空洞卷积层进行卷积运算最终提取到不同尺度的雨条。

6.根据权利要求5所述基于结构化残差学习的单图去雨方法，其特征在于，所述编码部分和译码部分对称的残差块和采样操作之间使用局部跳连接，以加速信息传递和特征充分利用。

7.根据权利要求5或6所述基于结构化残差学习的单图去雨方法，其特征在于，对于每一个分支，MaxUnpooling和MaxUnpooling层所对应的核大小均为2x2，每个残差块均依次由空洞卷积层、ReLU层以及空洞卷积层构成，每个空洞卷积层对应的卷积核大小均为3x3，对应的扩张率为DF，对于不同的分支，DF大小不同，所提取的雨条的尺度也不同。

8.根据权利要求4或5或6所述基于结构化残差学习的单图去雨方法，其特征在于，所述步骤4)中训练步骤具体包括：

(1)将雨图O输入多尺度编译码网络多尺度编译码网络得到输出的去雨背景图

(2)计算网络输出的去雨背景图

与干净的无雨图B的结构相相似性(structuresimilarity,SSIM)为：

对应的训练损失函数设计为

(3)通过随机梯度下降的方式减小训练损失函数L以优化多尺度编译码网络。

Images