CN111815526A - 基于图像滤波和cnn的有雨图像雨条纹去除方法及系统 - Google Patents

Abstract

本发明提供了基于图像滤波和CNN的有雨图像雨条纹去除方法及系统，本发明使用雨图像数据集增强方法扩充训练雨图像数据集，获取多组有雨图像和标签图像，有雨图像通过图像滤波得到有雨图像高频部分，将有雨图像高频部分输入去雨网络得到去雨图像，并添加SSIM损失函数来优化去雨网络；去雨图像输入H‑G判别网络得到判别结果，判别结果反馈至去雨网络进一步提高去雨质量，解决了现有去雨方法精确刻画雨模型较为困难，雨条纹无法去除干净，细节容易丢失等问题。

Description

基于图像滤波和CNN的有雨图像雨条纹去除方法及系统

技术领域

本发明涉及图像处理领域，具体涉及一种基于图像滤波和CNN(卷积神经网络)的有雨图像雨条纹去除方法及系统。

背景技术

视觉图像系统在计算机视觉领域具有重要的应用。但是大部分视觉图像处理系统只考虑在室内或者天气好的理想情况，并未考虑实际环境所带来的影响。视觉图像系统在雨天采集到的图像往往含有雨条纹，这些雨条纹会影响图像的成像质量，从而导致目标检测、大坝监测等视觉图像系统的算法精度下降。因此，为了提高视觉图像系统在雨天的成像质量，对图像进行去雨研究具有十分重要的意义。

现实视觉传感图像系统中往往不一定是连续帧图像，没有先验知识可以利用，因此对于单图像去雨方法进行研究具有更大的实际意义。目前，单图像去雨方法主要包括基于稀疏表示的图像去雨方法、基于字典学习的图像去雨方法和基于高斯混合模型的图像去雨方法。这些主要是基于雨图像模型信息，通过优化算法分离雨层和背景层，从而实现去雨。但精确刻画雨模型较为困难，因此难以将背景图像和雨条纹分开，从而导致雨条纹无法去除干净，同时此类方法普遍存在算法复杂度高等问题。

随着深度学习的快速发展，神经网络作为一种新的方法，在图像处理及计算机视觉领域中发挥着越来越重要的作用。它可以提取图像深层次的特征信息，从而达到更好的去雨效果。近年来，卷积神经网络(Convolutional neural network,CNN)也被应用于图像去雨中，它能够直接学习输入和输出之间的非线性映射关系，去雨质量得到显著提升。

发明内容

本发明要解决的技术问题在于，针对上述目前现有的单图像去雨方法仍存在精确刻画雨模型较为困难，难以将背景图像和雨条纹分开导致雨条纹无法去除干净，同时现有方法普遍存在算法复杂度高的技术问题，提供了基于图像滤波和CNN的有雨图像雨条纹去除方法及系统解决上述技术缺陷。

本发明为解决其技术问题，所提供的一种基于图像滤波和CNN的有雨图像雨条纹去除方法包括以下步骤：

S1、建立雨图像数据集，使用雨图像数据集增强方法扩充训练所述雨图像数据集，获取多组图像对，所述图像对包括有雨图像和标签图像，根据所述多组图像对，得到训练集；

S2、利用所述训练集来训练有雨图像雨条纹去除网络，所述有雨图像雨条纹去除网络包含去雨网络以及H-G判别网络；所述有雨图像通过图像滤波得到有雨图像高频部分，将所述有雨图像高频部分输入去雨网络得到去雨图像；

所述去雨网络为全CNN，包括雨条纹图像生成网络、去雨图像生成网络和去雨网络优化；所述雨条纹图像生成网络接收所述有雨图像高频部分，输出雨条纹图像；所述去雨图像生成网络接收所述雨条纹图像和所述有雨图像，输出去雨图像；所述去雨网络优化通过相应的损失函数对所述雨条纹图像生成网络其中的参数进行优化；

所述去雨图像输入H-G判别网络得到判别结果，所述判别结果反馈至所述去雨网络，对所述去雨网络进行综合约束；所述H-G判别网络为全CNN，包括高频特征初提取网络、全局特征初提取网络和特征融合判别网络；所述高频特征初提取网络使用图像滤波获得所述去雨图像和所述标签图像的高频部分；所述全局特征初提取网络对所述去雨图像和所述标签图像进行特征的初步提取；所述特征融合判别网络将高频特征与全局特征进行融合；

S3、将要待处理的有雨图像输入训练好的所述有雨图像雨条纹去除网络，实现雨条纹去除。

进一步地，在本发明的一种基于图像滤波和CNN的有雨图像雨条纹去除方法，步骤S1中所述雨图像数据集增强方法具体为：选取一定数量的数据集图片，分别依次读取有雨图像和和对应标签图像，对其进行左右翻转、顺时针旋转90度、裁剪和reshape操作将数据集量扩充至4倍，并根据所得到图像，得到训练集。

进一步地，在本发明的一种基于图像滤波和CNN的有雨图像雨条纹去除方法，步骤S2中所述雨条纹图像生成网络包括13个卷积层、2个反卷积层、12个Relu激活函数、1个Tanh激活函数和BN层，同时还添加3个跳跃连接增强每层网络生成的特征图的上下文关联性，以生成更加准确的雨条纹图像。

进一步地，在本发明的一种基于图像滤波和CNN的有雨图像雨条纹去除方法，步骤S2中所述损失函数具体包括：像素对像素损失、生成对抗网络的损失、以及结构相似性指数SSIM损失，即将这些损失进行加权作为最终的损失；其中，SSIM损失包含雨条纹SSIM损失和最终生成图像的SSIM损失。

进一步地，在本发明的一种基于图像滤波和CNN的有雨图像雨条纹去除方法，步骤S3中所述特征融合判别网络将高频特征与全局特征进行融合具体为：

使用矩阵加法，将高频特征初提取网络的特征图所占权重和全局特征提取网络的特征图所占权重分别设置为0.2和0.8，得到融合特征图；后续网络对融合特征进行进一步特征提取，其最终输出为一个值在0-1之间的矩阵，对图像的不同区域进行分别判别。

本发明为解决其技术问题，还提供了一种基于图像滤波和CNN的有雨图像雨条纹去除系统，包括以下模块：

雨图像数据集建立模块，用于建立雨图像数据集，使用雨图像数据集增强方法扩充训练所述雨图像数据集，获取多组图像对，所述图像对包括有雨图像和标签图像，根据所述多组图像对，得到训练集；

有雨图像雨条纹去除模块，用于利用所述训练集来训练有雨图像雨条纹去除网络，所述有雨图像雨条纹去除网络包含去雨网络以及H-G判别网络；所述有雨图像通过图像滤波得到有雨图像高频部分，将所述有雨图像高频部分输入去雨网络得到去雨图像；

所述去雨网络为全CNN，包括雨条纹图像生成网络、去雨图像生成网络和去雨网络优化；所述雨条纹图像生成网络接收所述有雨图像高频部分，输出雨条纹图像；所述去雨图像生成网络接收所述雨条纹图像和所述有雨图像，输出去雨图像；所述去雨网络优化通过相应的损失函数对所述雨条纹图像生成网络其中的参数进行优化；

所述去雨图像输入H-G判别网络得到判别结果，所述判别结果反馈至所述去雨网络，对所述去雨网络进行综合约束；所述H-G判别网络为全CNN，包括高频特征初提取网络、全局特征初提取网络和特征融合判别网络；所述高频特征初提取网络使用图像滤波获得所述去雨图像和所述标签图像的高频部分；所述全局特征初提取网络对所述去雨图像和所述标签图像进行特征的初步提取；所述特征融合判别网络将高频特征与全局特征进行融合。

进一步地，在本发明的一种基于图像滤波和CNN的有雨图像雨条纹去除系统，雨图像数据集建立模块中所述雨图像数据集增强方法具体为：选取一定数量的数据集图片，分别依次读取有雨图像和和对应标签图像，对其进行左右翻转、顺时针旋转90度、裁剪和reshape操作将数据集量扩充至4倍，并根据所得到图像，得到训练集。

进一步地，在本发明的一种基于图像滤波和CNN的有雨图像雨条纹去除系统，有雨图像处理模块中所述雨条纹图像生成网络包括13个卷积层、2个反卷积层、12个Relu激活函数、1个Tanh激活函数和BN层，同时还添加3个跳跃连接增强每层网络生成的特征图的上下文关联性，以生成更加准确的雨条纹图像。

进一步地，在本发明的一种基于图像滤波和CNN的有雨图像雨条纹去除系统，有雨图像处理模块中所述损失函数具体包括：像素对像素损失、生成对抗网络的损失、以及结构相似性指数SSIM损失，即将这些损失进行加权作为最终的损失；其中，SSIM损失包含雨条纹SSIM损失和最终生成图像的SSIM损失。

进一步地，在本发明的一种基于图像滤波和CNN的有雨图像雨条纹去除系统，H-G判别网络判断模块中所述特征融合判别网络将高频特征与全局特征进行融合具体为：

使用矩阵加法，将高频特征初提取网络的特征图所占权重和全局特征提取网络的特征图所占权重分别设置为0.2和0.8，得到融合特征图；后续网络对融合特征进行进一步特征提取，其最终输出为一个值在0-1之间的矩阵，对图像的不同区域进行分别判别。

与现有技术相比，本发明的有益效果在于：

1、本发明将传统图像去雨方法中的图像滤波法和深度学习中的CNN方法相结合，相比于传统的图像去雨方法有更好的去雨效果；图像滤波的使用一定程度上减少了后续的CNN输入信息，使网络容易训练，可以一定程度上提高算法的执行速度。

2、在去雨网络优化部分，添加了雨条纹SSIM损失和最终生成图像的SSIM损失，优化网络参数，提高了去雨图像和真实无雨图像之间的结构相似性。

3、本发明设计的H-G判别网络可以从局部和全局两方面衡量生成的去雨图像的真实性，为去雨网络提供一个附加约束，从而提升去雨网络生成去雨图像的质量。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1为本发明的实现流程图；

图2为去雨网络结构框图；

图3为H-G判别网络结构框图；

图4为本发明的网络训练与测试示意图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

如图1所示，是本发明一种基于图像滤波和CNN的有雨图像雨条纹去除方法的实现流程图。以下结合附图对发明实施例的实施过程和细节进行详细描述。

步骤一：雨图像数据集增强。雨图像数据集是指包含多组图像对，包括有雨图像和标签图像，其中标签图像为真实的无雨的图像。现存雨图像数据集有限，因此，我们在现有数据集的基础上使用数据增强的方法来扩充训练图像数据集。具体为：选取一定数量的数据集图片，使用python软件，安装相应的opencv库文件，分别依次读取有雨图像和和对应标签图像，共计5000对图像。对其进行左右翻转、顺时针旋转90度、裁剪和reshape等操作将数据集量扩充至4倍，即：20000对图像。并将这些图像划分为训练集和测试集，其中，训练集为18000对图像，测试集为200对图像，图像划分规则为随机划分。

步骤二：去雨网络输入为有雨图像高频部分，输出为去雨图像，如图2所示。高频部分的获取通过图像滤波实现。使用python-opencv库的双边滤波函数得到原始的输入图像的低频部分，其中设置滤波窗口大小为25，sigma值为50。然后原始的输入图像与之进行矩阵减法运算，从而得到原始的图像的高频部分。去雨网络包括雨条纹图像生成网络、去雨图像生成网络和去雨网络优化。雨条纹图像生成网络为全CNN,包括13个卷积层和2个反卷积层，其具体的连接顺序为：Conv1至Conv13按顺序线性连接，Deconv1连接于Conv10与Conv11之间，Deconv2连接于Conv11与Conv12之间。其中，第1个卷积层Conv1使用5×5的卷积核来增加感受野，其余的卷积层使用3×3的卷积核；卷积层Conv3和Conv6的步长设置为2，每次卷积操作特征图大小变为原来的1/4；其余的卷积层步长设置为1，每次卷积操作特征图的大小不变。两个反卷积层Deconv1和Deconv2的卷积核设置为4×4，步长设置为2，每次反卷积操作特征图大小变为原来的4倍。除了Conv13外，网络的每层最后使用Relu激活函数来提高网络的非线性表达能力，Conv13使用Tanh函数将输出控制在-1到1之间，方便后续网络处理。每个卷积层之后都加入BN层，同时还在Conv8与Conv10；Conv6与Deconv1；Conv3与Deconv2之间添加跳跃连接增强去雨网络生成的特征图的上下文关联性，以便生成更加准确的雨条纹图像。去雨图像生成网络接收雨条纹图像和原始的输入图像，将原始的输入图像与雨条纹图像相减得到去雨后的图像。去雨网络优化通过相应的损失函数对雨条纹图像生成网络其中的参数进行优化，这些损失函数包括像素对像素损失(欧几里得损失)、生成对抗网络的损失、以及结构相似性指数SSIM损失，即将这些损失进行加权(权重不为0)作为最终的损失。其中，SSIM损失包含雨条纹SSIM损失和最终生成图像的SSIM损失。并且通过交叉验证给不同的损失分配不同的权重，本方法中我们设置以上3种损失的权重分别为1,1，0.01，对网络参数进行综合优化。

步骤三：H-G判别网络的作用是为去雨网络提供一种附加约束，进一步提高去雨的质量，如图3所示。其中包括高频特征初提取网络、全局特征初提取网络和特征融合判别网络。高频特征初提取网络首先也使用图像滤波获得图像的高频部分使用卷积核大小为3×3的卷积层Conv14_1对输入图像的高频部分进行特征的初步提取，步长设置为1，输出通道数设置为16。由于全局信息起主要作用，全局特征初提取网络使用卷积核大小为5×5卷积层Conv14_2对原始的输入图像进行特征的初步提取，步长设置为1，输出通道数设置为16。特征融合判别网络首先将高频特征初提取网络提取的高频特征与全局特征初提取网络提取的全局特征进行融合，由于这两个网络的输出特征图大小和通道数相同，这里的融合方法可以使用矩阵加法，并将高频特征初提取网络的特征图所占权重和全局特征提取网络的特征图所占权重w1和w2分别设置为0.2和0.8，得到融合特征图。然后后续网络对融合特征进行进一步特征提取，其中包含6个卷积层，连接方式为Conv15至Conv20按顺序线性连接，卷积核大小均为3×3。该网络与去雨网络均为全CNN，整个网络就组成了一个大的全CNN。因此，本方法对输入图像的尺寸大小没有限制，对输入图像的大小具有一定的适应能力。Conv15、Conv16、Conv17、Conv18、Conv19后面都加入平均池化层，使用的卷积核大小分别为4×4、4×4和2×2，步长分别为4,4,2，激活函数均使用Relu。Conv20的步长为1，输出通道数为1，激活函数使用Sigmiod。其最终输出为一个值在0-1之间的矩阵，可以对图像的不同区域进行分别判别，考虑了图像的局部信息，使得H-G判别器的判别结果更加综合。判别结果反馈至去雨网络，可以对去雨网络进行综合约束，优化去雨网络的输出，提升去雨网络对雨条纹的去除能力和对图像背景细节的保留能力。

在tensorflow框架下搭建上述网络模型，去雨网络的优化算法设置为ADAM，动量初始值为0.9。判别器选用的优化算法为SGD，学习率均设置为0.0001。迭代次数设置为120K。达到最大迭代次数后，保存训练好的模型。输入含有雨噪声的测试图像至训练好的网络模型，即可得到去雨后的无雨图像，其示意图如图4所示。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (10)

1.一种基于图像滤波和CNN的有雨图像雨条纹去除方法，其特征在于，包括以下步骤：

S1、建立雨图像数据集，使用雨图像数据集增强方法扩充训练所述雨图像数据集，获取多组图像对，所述图像对包括有雨图像和标签图像，根据所述多组图像对，得到训练集；

S2、利用所述训练集来训练有雨图像雨条纹去除网络，所述有雨图像雨条纹去除网络包含去雨网络以及H-G判别网络；所述有雨图像通过图像滤波得到有雨图像高频部分，将所述有雨图像高频部分输入去雨网络得到去雨图像；

所述去雨网络为全CNN，包括雨条纹图像生成网络、去雨图像生成网络和去雨网络优化；所述雨条纹图像生成网络接收所述有雨图像高频部分，输出雨条纹图像；所述去雨图像生成网络接收所述雨条纹图像和所述有雨图像，输出去雨图像；所述去雨网络优化通过相应的损失函数对所述雨条纹图像生成网络其中的参数进行优化；

所述去雨图像输入H-G判别网络得到判别结果，所述判别结果反馈至所述去雨网络，对所述去雨网络进行综合约束；所述H-G判别网络为全CNN，包括高频特征初提取网络、全局特征初提取网络和特征融合判别网络；所述高频特征初提取网络使用图像滤波获得所述去雨图像和所述标签图像的高频部分；所述全局特征初提取网络对所述去雨图像和所述标签图像进行特征的初步提取；所述特征融合判别网络将高频特征与全局特征进行融合；

S3、将要待处理的有雨图像输入训练好的所述有雨图像雨条纹去除网络，实现雨条纹去除。

2.根据权利要求1所述的一种基于图像滤波和CNN的有雨图像雨条纹去除方法，其特征在于，步骤S1中所述雨图像数据集增强方法具体为：选取一定数量的数据集图片，分别依次读取有雨图像和和对应标签图像，对其进行左右翻转、顺时针旋转90度、裁剪和reshape操作将数据集量扩充至4倍，并根据所得到图像，得到训练集。

3.根据权利要求1所述的一种基于图像滤波和CNN的有雨图像雨条纹去除方法，其特征在于，步骤S2中所述雨条纹图像生成网络包括13个卷积层、2个反卷积层、12个Relu激活函数、1个Tanh激活函数和BN层，同时还添加3个跳跃连接增强每层网络生成的特征图的上下文关联性，以生成更加准确的雨条纹图像。

4.根据权利要求1所述的一种基于图像滤波和CNN的有雨图像雨条纹去除方法，其特征在于，步骤S2中所述损失函数具体包括：像素对像素损失、生成对抗网络的损失、以及结构相似性指数SSIM损失，即将这些损失进行加权作为最终的损失；其中，SSIM损失包含雨条纹SSIM损失和最终生成图像的SSIM损失。

5.根据权利要求1所述的一种基于图像滤波和CNN的有雨图像雨条纹去除方法，其特征在于，步骤S3中所述特征融合判别网络将高频特征与全局特征进行融合具体为：

使用矩阵加法，将高频特征初提取网络的特征图所占权重和全局特征提取网络的特征图所占权重分别设置为0.2和0.8，得到融合特征图；后续网络对所述融合特征图进行进一步特征提取，其最终输出为一个值在0-1之间的矩阵，对图像的不同区域进行分别判别。

6.一种基于图像滤波和CNN的有雨图像雨条纹去除系统，其特征在于，包括以下模块：

雨图像数据集建立模块，用于建立雨图像数据集，使用雨图像数据集增强方法扩充训练所述雨图像数据集，获取多组图像对，所述图像对包括有雨图像和标签图像，根据所述多组图像对，得到训练集；

有雨图像雨条纹去除模块，用于利用所述训练集来训练有雨图像雨条纹去除网络，所述有雨图像雨条纹去除网络包含去雨网络以及H-G判别网络；所述有雨图像通过图像滤波得到有雨图像高频部分，将所述有雨图像高频部分输入去雨网络得到去雨图像；

所述去雨网络为全CNN，包括雨条纹图像生成网络、去雨图像生成网络和去雨网络优化；所述雨条纹图像生成网络接收所述有雨图像高频部分，输出雨条纹图像；所述去雨图像生成网络接收所述雨条纹图像和所述有雨图像，输出去雨图像；所述去雨网络优化通过相应的损失函数对所述雨条纹图像生成网络其中的参数进行优化；

所述去雨图像输入H-G判别网络得到判别结果，所述判别结果反馈至所述去雨网络，对所述去雨网络进行综合约束；所述H-G判别网络为全CNN，包括高频特征初提取网络、全局特征初提取网络和特征融合判别网络；所述高频特征初提取网络使用图像滤波获得所述去雨图像和所述标签图像的高频部分；所述全局特征初提取网络对所述去雨图像和所述标签图像进行特征的初步提取；所述特征融合判别网络将高频特征与全局特征进行融合。

7.根据权利要求6所述的一种基于图像滤波和CNN的有雨图像雨条纹去除系统，其特征在于，雨图像数据集建立模块中所述雨图像数据集增强方法具体为：选取一定数量的数据集图片，分别依次读取有雨图像和和对应标签图像，对其进行左右翻转、顺时针旋转90度、裁剪和reshape操作将数据集量扩充至4倍，并根据所得到图像，得到训练集。

8.根据权利要求6所述的一种基于图像滤波和CNN的有雨图像雨条纹去除系统，其特征在于，有雨图像雨条纹去除模块中所述雨条纹图像生成网络包括13个卷积层、2个反卷积层、12个Relu激活函数、1个Tanh激活函数和BN层，同时还添加3个跳跃连接增强每层网络生成的特征图的上下文关联性，以生成更加准确的雨条纹图像。

9.根据权利要求6所述的一种基于图像滤波和CNN的有雨图像雨条纹去除系统，其特征在于，有雨图像雨条纹去除模块中所述损失函数具体包括：像素对像素损失、生成对抗网络的损失、以及结构相似性指数SSIM损失，即将这些损失进行加权作为最终的损失；其中，SSIM损失包含雨条纹SSIM损失和最终生成图像的SSIM损失。

10.根据权利要求6所述的一种基于图像滤波和CNN的有雨图像雨条纹去除系统，其特征在于，有雨图像雨条纹去除模块中所述特征融合判别网络将高频特征与全局特征进行融合具体为：

使用矩阵加法，将高频特征初提取网络的特征图所占权重和全局特征提取网络的特征图所占权重分别设置为0.2和0.8，得到融合特征图；后续网络对所述融合特征图进行进一步特征提取，其最终输出为一个值在0-1之间的矩阵，对图像的不同区域进行分别判别。

Images