CN107133935A - 一种基于深度卷积神经网络的单图像精细去雨方法 - Google Patents

Abstract

本发明公开了一种基于深度卷积神经网络的单图像精细去雨方法，首先通过初始去雨网络对输入的雨图进行背景纹理结构的提取、非线性映射和雨线区域复原，最终得到初步清晰的无雨图像，然后将初步清晰无雨图像和原始图像同时输入到具有单个卷积层的精细去雨网络，从而恢复背景区域的更多细节，最终得到高清晰去雨图像，本方法通过采用caffe框架，对初始去雨网络和精细去雨网络进行训练，以准确得到每个卷积层的参数，并且对有雨图像进行精细去雨处理，与传统卷积神经网络去雨方法相比，能得到更高质量的无雨图像，并且本方法实用性强，可广泛使用多个场景。

Description

一种基于深度卷积神经网络的单图像精细去雨方法

技术领域

本发明涉及一种计算机视觉技术领域，尤其是一种基于深度卷积神经网络的单图像精细去雨方法。

背景技术

图像去雨是计算机视觉系统的重要模块，特别是对基于图像的决策应用，例如安全监视和机器人导航，图像去雨作为重要的预处理步骤，即使在极端雨天的环境中拍摄图像时，也期望恢复雨图中目标对象的视觉细节。

虽然在过去十年中已经提出了许多用于视频去噪的方法，但是由于动态视觉和时间提示不可用，它们不能直接扩展到单图像去噪问题。

最近，在单图像去雨问题中取得了显著的进步，其中，Kang等人提出通过字典学习和稀疏编码来检测和分离雨分量的方法获得了较好的结果，但是它不能处理具有复杂背景信息的雨图像；最具代表性的Luo等人基于非线性图层混合模型，可以通过有区别的稀疏编码恢复图像的雨层去雨结果，但它趋向于模糊图像的背景；类似的问题也在Li等人的方法中出现，Li等人基于雨线的先验信息，构建出高斯混合模型(GMM)，进而去除雨线，复原背景，这些现有技术的图像求解方法将雨图形成为线性模型，并恢复具有不同特征或先验的雨层，然而，这种方法不能适应真实场景，因为雨对图像的物理影响通常是复杂的。

发明内容

针对现有技术的不足，本发明提供一种基于深度卷积神经网络的单图像精细去雨方法，通过精细去雨网络对图像进行颜色和背景细节调整，从而得到更高质量的无雨图像。

本发明的技术方案为：一种基于深度卷积神经网络的单图像精细去雨方法，其特征在于，包括以下步骤：

S1)、构建由初始去雨网络和精细去雨网络组成的卷积神经网络架构，其中，初始去雨网络包括三个卷积层，精细去雨网络包括一个卷积层，每个网络的卷积层具有相应的权值W_i和偏置值B_i；

S2)、获取一组清晰无雨图像集d_train，并且对无雨图像集d_train进行人工加雨处理得到有雨图像集I_train，并将得到的无雨图像集d_train、有雨图像集I_train作为训练图像集；

S3)、对训练图像集I_train、d_train进行格式处理，并基于Caffe框架下训练得到初始去雨网络不同滤波器大小的卷积层的权值W_i(i＝1,2,3)和偏置值B_i(i＝1,2,3)；

S4)、将有雨图像集I_train输入到初始去雨网络中，从而得到初步清晰无雨数据集f_train，并对有雨图像集I_train、无雨数据集f_train进行格式处理，然后基于Caffe框架下训练得到精细去雨网络卷积层的权值W_i(i＝4)和偏置值B_i(i＝4)；

S5)、将步骤S3)、S4)中训练好的权值W_i(i＝1,2,3,4)和偏置值B_i(i＝1,2,3,4)应用于步骤S1)中构建的卷积神经网络架构中，从而得到更新权值W_i和偏置值B_i后的卷积神经网络架构；

S6)、获取一幅需要去雨处理的有雨图像I_test，将图像输入步骤S5)中更新权值和偏置值的卷积神经网络架构中，首先输入训练好的初始去雨网络中，产生初步清晰无雨图像f_test，然后将需要去雨处理图像I_test与产生的初步清晰的无雨图像f_test输入精细去雨网络中，经过单层卷积层对初步清晰无雨图像f_test进行调整，从而生成高质量无雨图像d_final。

上述技术方案中，步骤S1)中所述的卷积神经网络架构结构如下：

F_n(I)＝I,(n＝0)；

F_n(I)＝max(0,W_nF_n-1(I)+B_n),(n＝1,2)；

F_w(I)＝W_nF_n-1(I)+B_n),(n＝3)；

F^-1(I)＝W_nU+B_n,(n＝4)；

其中，n表示层数，n的变化范围为0～4，表示从底层到顶层，I为输入的图像，W_n、B_n分别表示第n的权值和偏置值，F_n(I)表示初始去雨网络第n层的输出，其采用ReLU激活函数，F^-1(I)表示精细去雨网络的输出，U＝{F₃(I),I}。

上述技术方案中，步骤S3)中，所述的格式处理包括分别从训练图像集中的有雨图像集和无雨图像集中随机选择k个有雨子图像和k个无雨子图像，

并通过训练得到初始去雨网络不同滤波器大小的卷积层的权值W_i(i＝1,2,3)和偏置值B_i(i＝1,2,3)；

其中，m为训练图像集的数量，J_i表示第i个无雨子图像，I_i表示第i个有雨子图像。

上述技术方案中，步骤S4)中，将初步清晰无雨数据集f_train中选择k个初步清晰无雨子图像，并通过训练得到精细去雨网络卷积层的权值W_i(i＝4)和偏置值B_i(i＝4)；

其中，T_i表示第i个初步清晰无雨子图像。

上述技术方案中，步骤S6)中，将去雨图像I_test输入卷积神经网络架构中具体包括以下步骤：

S601)、将去雨图像I_test输入初始去雨网络的第一层卷积层中，从而提取去雨图像I_test的背景纹理结构，其中，第一层卷积层采用11×11滤波器，具体为：

F₁(I_test)＝max(0,W₁I_test+B₁)，

其中，W₁和B₁为初始去雨网络的第一层卷积层的权值和偏置值；

S602)、将初始去雨网络的第一层卷积层输出的背景纹理结构信息输入初始去雨网络的第

二层卷积层进一步非线性映射，其中，第二层卷积层采用3×3滤波器，具体为：

F₂(I_test)＝max(0,W₂F₁(I_test)+B₂)，

其中，W₂和B₂为初始去雨网络的第二层卷积层的权值和偏置值；

S603)、通过初始去雨网络的第三层卷积对S602)中输出的结果进行雨线区域的复原，输出得到初步清晰无雨图像f_test，其中，第三层卷积层采用的滤波器大小为7×7，具体为：

f_test＝F₃(I_test)＝W₃F₂(I_test)+B₃)，

其中，W₃和B₃为初始去雨网络的第三层卷积层的权值和偏置值；

S604)、将初步清晰无雨图像f_test和有雨图像I_test输入精细去雨网络中以恢复初步清晰无雨图像f_test中平滑背景区域的更多细节，并对初步清晰无雨图像f_test的色彩进行调整，最终生成高质量清晰无雨图像d_final，其中，其采用的滤波器大小为5×5，具体为：

d_final＝F^-1(I_test)＝W₄U+B₄，

其中，W₄和B₄为精细去雨网络的权值和偏置值，U＝{f_test,I_test}。

本发明的有益效果为：1)、通过直接对无雨图像进行建模，取代了传统方法里对雨层建模的方法，不仅效率更高，而且复原后得到的无雨图像更为清晰；

2)、与简单的去雨神经网络相比，本方法具有更深度的单层卷积精细去雨网络，初步清晰无雨图通过与原始有雨图结合进行卷积运算，恢复了去雨后更多的背景细节，同时对图像色彩进行调整，从而获得更高质量的清晰无雨图；

3)、在卷积层上采用ReLU的激活函数，与其他激活函数相比，自动引入稀疏性，加速了收敛性，并且克服了梯度消失问题；

4)、与现有的图像去雨方法比较，本方法可以很好地恢复来自合成和现实世界雨图像的清晰的图像，在定性上能更多地恢复背景信息，从而提高了图像的视觉效果，在定量上，所引入的峰值信噪比(PNSR)和结构相似性(SSIM)两个指标均优于现有的技术，表明有雨图像的去雨效果性能更优越。

附图说明

图1为本发明卷积神经网络架构的结构图；

图2为本发明的流程示意图；

图3为本发明自然有雨图像与去雨结果的对比图。图中，从左至右依次为自然有雨图像、去雨后的效果图、去雨效果图的局部放大图；

图4为Luo方法自然有雨图像与去雨结果的对比图。图中，从左至右依次为自然有雨图像、去雨后的效果图、去雨效果图的局部放大图；

图5为Li方法自然有雨图像与去雨结果的对比图。图中，从左至右依次为自然有雨图像、去雨后的效果图、去雨效果图的局部放大图；

具体实施方式

下面结合附图对本发明的具体实施方式作进一步说明：

如图1和图2所示，一种基于深度卷积神经网络的单图像精细去雨方法，其特征在于，包括以下步骤：

S1)、构建由初始去雨网络和精细去雨网络组成的卷积神经网络架构，其中，初始去雨网络包括三个卷积层，精细去雨网络包括一个卷积层，每个网络的卷积层具有相应的权重和偏置值W_i、B_i，所述的卷积神经网络架构为：

F_n(I)＝I,(n＝0)；

F_n(I)＝max(0,W_nF_n-1(I)+B_n),(n＝1,2)；

F_w(I)＝W_nF_n-1(I)+B_n),(n＝3)；

F^-1(I)＝W_nU+B_n,(n＝4)；

其中，n表示层数，n的变化范围为0～4，表示从底层到顶层，I为输入的图像，W_n、B_n分别表示第n的权值和偏置值，F_n(I)表示初始去雨网络第n层的输出，F^-1(I)表示精细去雨网络的输出，U＝{F₃(I),I}；

S2)、获取一组无雨图像集d_train，然后采用Photoshop对无雨图像集d_train进行人工加雨得到相应的有雨图像集I_train，并将得到的有雨图像集I_train、无雨图像集d_train作为训练图像集，

本实施例主要是通过Google和Flickr获取75幅清晰的无雨图像作为无雨图像集d_train；

S3)、对训练图像集I_train、d_train进行格式处理，从而分别从训练图像集中的有雨图像集I_train和无雨图像集d_train中随机选择k个有雨子图像和k个无雨子图像，并基于Caffe框架下训练得到初始去雨网络不同滤波器大小的卷积层的权值W_i(i＝1,2,3)和偏置值B_i(i＝1,2,3)，具体为：

其中，m为训练图像集的数量，J_i表示第i个无雨子图像，I_i表示第i个有雨子图像，并且Caffe框架下进行学习率为0.001的1000000次迭代；

S4)、将有雨图像集I_train输入到初始去雨网络中，从而得到初步清晰无雨数据集f_train，并对有雨图像集I_train、无雨数据集f_train进行格式处理，从而从初步清晰无雨数据集f_train中选择k个初步清晰无雨子图像，然后将k个初步清晰无雨子图像与k个有雨子图像基于Caffe框架下训练得到精细去雨网络卷积层的权值W_i(i＝4)和偏置值B_i(i＝4)，具体为：

其中，T_i表示第i个初步清晰无雨子图像，并且Caffe框架下进行学习率为0.001的1000000次迭代；

S5)、将步骤S3)、S4)中训练好的权值W_i(i＝1,2,3,4)和偏置值B_i(i＝1,2,3,4)应用于步骤S1)中构建的卷积神经网络架构中，从而得到更新权值W_i和偏置值B_i后的卷积神经网络架构，从而通过权值和偏置值提取与雨相关的纹理结构特征以及进一步进行非线性映射；

S6)、获取一幅需要去雨处理的有雨图像I_test，将图像输入步骤S5)中更新权值和偏置值的卷积神经网络架构中，首先输入训练好的初始去雨网络中，产生初步清晰无雨图像f_test，然后将需要去雨处理图像I_test与产生的初步清晰的无雨图像f_test输入精细去雨网络中，经过单层卷积层对初步清晰无雨图像f_test进行调整，从而生成高质量无雨图像d_final，如图3所示。

上述技术方案中，步骤S6)中，将去雨图像I_test输入卷积神经网络架构中具体包括以下步骤：

S601)、将去雨图像I_test输入初始去雨网络的第一层卷积层中，从而提取去雨图像I_test的背景纹理结构，其中，第一层卷积层采用11×11滤波器，具体为：

F₁(I_test)＝max(0,W₁I_test+B₁)，

其中，W₁和B₁为初始去雨网络的第一层卷积层的权值和偏置值；

S602)、将初始去雨网络的第一层卷积层输出的背景纹理结构信息输入初始去雨网络的第

二层卷积层进一步非线性映射，其中，第二层卷积层采用3×3滤波器，具体为：

F₂(I_test)＝max(0,W₂F₁(I_test)+B₂)，

其中，W₂和B₂为初始去雨网络的第二层卷积层的权值和偏置值；

S603)、通过初始去雨网络的第三层卷积对S602)中输出的结果进行雨线区域的复原，输出得到初步清晰无雨图像f_test，其中，第三层卷积层采用的滤波器大小为7×7，具体为：

f_test＝F₃(I_test)＝W₃F₂(I_test)+B₃)，

其中，W₃和B₃为初始去雨网络的第三层卷积层的权值和偏置值；

S604)、将初步清晰无雨图像f_test和有雨图像I_test输入精细去雨网络中以恢复初步清晰无雨图像f_test中平滑背景区域的更多细节，并对初步清晰无雨图像f_test的色彩进行调整，最终生成高质量清晰无雨图像d_final，其中，其采用的滤波器大小为5×5，具体为：

d_final＝F^-1(I_test)＝W₄U+B₄，

其中，W₄和B₄为精细去雨网络的权值和偏置值，U＝{f_test,I_test}。

其中，图4和图5分别为Luo方法和Li方法去雨的效果图，通过与图3对比可知，本方法去雨的效果最好，与真实无雨效果图最为接近，在去除雨线的同时，恢复了去雨后更多的背景细节，同时对图像色彩进行调整，可以保持与原图像更接近的色彩，从而获得更高质量的清晰无雨图像，其中，结构相似性(SSIM)、峰值信噪比(PNSR)是用以衡量两张图像相似度的指标，其值越大，表示相似度越高，最大值为1，峰值信噪比(PNSR)值越大，表示处理后的图片与原图像越接近，其中，结构相似性(SSIM)、峰值信噪比(PNSR)的对比参见表1。

表1

Metric	Luo方法	Li方法	本方法
				PSNR	28.95dB	32.21dB	33.02dB
SSIM	0.8836	0.9442	0.9470

主要通过与Luo方法和Li方法进行对比，从表1中可以看出，本方法的结构相似性

(SSIM)、峰值信噪比(PNSR)值均大于Luo方法和Li方法，表明本发明所提的算法皆取得了最大值，即得到了最好的去雨效果。

上述实施例和说明书中描述的只是说明本发明的原理和最佳实施例，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims (5)

1.一种基于深度卷积神经网络的单图像精细去雨方法，其特征在于，包括以下步骤：

S1)、构建由初始去雨网络和精细去雨网络组成的卷积神经网络架构，其中，初始去雨网络包括三个卷积层，精细去雨网络包括一个卷积层，每个网络的卷积层具有相应的权值W_i和偏置值B_i；

S2)、获取一组清晰无雨图像集d_train，并且对无雨图像集d_train进行人工加雨处理得到有雨图像集I_train，并将得到的无雨图像集d_train、有雨图像集I_train作为训练图像集；

S3)、对训练图像集I_train、d_train进行格式处理，并基于Caffe框架下训练得到初始去雨网络不同滤波器大小的卷积层的权值W_i(i＝1,2,3)和偏置值B_i(i＝1,2,3)；

S4)、将有雨图像集I_train输入到初始去雨网络中，从而得到初步清晰无雨数据集f_train，并对有雨图像集I_train、初步清晰无雨数据集f_train进行格式处理，然后基于Caffe框架下训练得到精细去雨网络卷积层的权值W_i(i＝4)和偏置值B_i(i＝4)；

S5)、将步骤S3)、S4)中训练好的权值W_i(i＝1,2,3,4)和偏置值B_i(i＝1,2,3,4)应用于步骤S1)中构建的卷积神经网络架构中，从而得到更新权值W_i和偏置值B_i后的训练好的卷积神经网络架构；

S6)、获取一幅需要去雨处理的有雨图像I_test，将有雨图像I_test输入步骤S5)中更新权值和偏置值的训练好的卷积神经网络架构中，首先输入训练好的初始去雨网络中，产生初步清晰无雨图像f_test，然后将需要去雨处理的有雨图像I_test与产生的初步清晰的无雨图像f_test输入精细去雨网络中，经过单层卷积层对初步清晰无雨图像f_test进行调整，从而生成高质量的清晰的无雨图像d_final。

2.根据权利要求1所述的一种基于深度卷积神经网络的单图像精细去雨方法，其特征在于：步骤S1)中所述的卷积神经网络架构结构如下：

F_n(I)＝I,(n＝0)；

F_n(I)＝max(0,W_nF_n-1(I)+B_n),(n＝1,2)；

F_w(I)＝W_nF_n-1(I)+B_n),(n＝3)；

F^-1(I)＝W_nU+B_n,(n＝4)；

其中，n表示层数，n的变化范围为0～4，表示从底层到顶层，I为输入的图像，W_n、B_n分别表示第n的权值和偏置值，F_n(I)表示初始去雨网络第n层的输出，其采用ReLU激活函数，F^-1(I)表示精细去雨网络的输出，U＝{F₃(I),I}。

3.根据权利要求1所述的一种基于深度卷积神经网络的单图像精细去雨方法，其特征在于：步骤S3)中，所述的格式处理主要为分别从训练图像集中的有雨图像集和无雨图像集中随机选择k个有雨子图像和k个无雨子图像，

然后通过训练得到初始去雨网络不同滤波器大小的卷积层的权值W_i(i＝1,2,3)和偏置值B_i(i＝1,2,3)；

其中，m为训练图像集的数量，J_i表示第i个无雨子图像，I_i表示第i个有雨子图像。

4.根据权利要求1所述的一种基于深度卷积神经网络的单图像精细去雨方法，其特征在于：步骤S4)中，将初步清晰无雨数据集f_train中选择k个初步清晰无雨子图像，并通过训练得到精细去雨网络卷积层的权值W_i(i＝4)和偏置值B_i(i＝4)；

其中，T_i表示第i个初步清晰无雨子图像。

5.根据权利要求1所述的一种基于深度卷积神经网络的单图像精细去雨方法，其特征在于：步骤S6)中，将去雨图像I_test输入卷积神经网络架构中具体包括以下步骤：

S601)、将去雨图像I_test输入初始去雨网络的第一层卷积层中，从而提取去雨图像I_test的背景纹理结构，其中，第一层卷积层采用11×11滤波器，具体为：

F₁(I_test)＝max(0,W₁I_test+B₁)，

其中，W₁和B₁为初始去雨网络的第一层卷积层的权值和偏置值；

S602)、将初始去雨网络的第一层卷积层输出的背景纹理结构信息输入初始去雨网络的第二层卷积层进一步非线性映射，其中，第二层卷积层采用3×3滤波器，具体为：

F₂(I_test)＝max(0,W₂F₁(I_test)+B₂)，

其中，W₂和B₂为初始去雨网络的第二层卷积层的权值和偏置值；

S603)、通过初始去雨网络的第三层卷积对S602)中输出的结果进行雨线区域的复原，输出得到初步清晰无雨图像f_test，其中，第三层卷积层采用的滤波器大小为7×7，具体为：

f_test＝F₃(I_test)＝W₃F₂(I_test)+B₃)，

其中，W₃和B₃为初始去雨网络的第三层卷积层的权值和偏置值；

S604)、将初步清晰无雨图像f_test和有雨图像I_test输入精细去雨网络中以恢复初步清晰无雨图像f_test中平滑背景区域的更多细节，并对初步清晰无雨图像f_test的色彩进行调整，最终生成高质量清晰无雨图像d_final，其中，其采用的滤波器大小为5×5，具体为：d_final＝F^-1(I_test)＝W₄U+B₄，

其中，W₄和B₄为精细去雨网络的权值和偏置值，U＝{f_test,I_test}。