CN106204499A - 基于卷积神经网络的单幅图像去雨方法 - Google Patents

Abstract

基于卷积神经网络的单幅图像去雨方法，涉及图像处理。包括如下步骤：1)通过screen blend model对干净的清晰图像人工加雨，形成相应的有雨图像，建立图像库；2)确定卷积神经网络系统结构；3)从步骤1)中取64×64大小的相应的有雨无雨图像块对，以有雨无雨图像块对作为训练样本进行训练；4)对单幅有雨图像重叠地取块，输入训练好的去雨的滤波系统中，得到相应的无雨图像块，将这些图像块加权平均，得到无雨图像。克服基于字典学习的单幅图像去雨方法耗时太长的问题，同时实现了去雨的同时保证背景图像的清晰度，输入有雨图像后，能快速得到无雨图像，满足嵌入式设备实时化处理的需求。

Description

基于卷积神经网络的单幅图像去雨方法

技术领域

本发明涉及图像处理，具体是涉及一种基于卷积神经网络的单幅图像去雨方法。

背景技术

现有的单幅图像去雨方法，主要分为基于字典学习的方法和运用引导滤波等滤波器通过滤波的方法。

基于字典学习的方法认为雨线及背景边缘是属于不同的结构，它们应该通过不同的字典进行表示，以此来区分该边缘是否属于雨线进行去雨。但在现实生活中，雨线与某些背景边缘的方向颜色等特性有时会产生重叠。该类方法随后在字典分离步骤中，虽然通过不断引入新的特征来增加字典分类的区分度，在一定程度上将准确率提高了，但同时算法的复杂度也相应地提高，实时性降低，耗时较长，很难应用于实际工程中。

运用引导滤波等滤波器进行去雨，相当于将去雨问题回归到去噪问题。现在虽然已经有许多的保边滤波器，如常用的双边滤波器、引导滤波等。但是对于直接去雨这个任务来说，传统的滤波器都不能达到理想的效果。因为它们只能考虑到较小的局部邻域信息。而在较小的局部窗口内，雨线和边缘的结构区分度不够高，更容易相似，因此不能很好地区分它们，处理结果常在清晰度与去雨间折中，无法在去除雨线的同时很好地保留背景图像的信息。

中国专利CN104299200A公开一种彩色增强的单幅图像去雨处理方法，所述方法包括：S1、将图像由RGB空间转换到HSI空间，对HSI空间的H分量、I分量和S分量分别进行去雨处理；S2、对HSI空间中I分量进行直方图均衡化处理；S3、将图像由HSI空间转换回RGB空间，对去雨后的图像进行后处理。

发明内容

本发明的目的在于提供一种基于卷积神经网络的单幅图像去雨方法。

本发明包括如下步骤：

1)通过screen blend model对干净的清晰图像人工加雨，形成相应的有雨图像，建立图像库；

2)确定卷积神经网络系统结构；

3)从步骤1)中取64×64大小的相应的有雨无雨图像块对，以有雨无雨图像块对作为训练样本进行训练；

4)对单幅有雨图像重叠地取块，输入训练好的去雨的滤波系统中，得到相应的无雨图像块，将这些图像块加权平均，得到无雨图像。

在步骤2)中，所述卷积神经网络系统结构如下所示：

F_W(I)＝Wⁿ*F^n-1(I)+bⁿ,n＝3

Fⁿ(I)＝σ(Wⁿ*F^n-1(I)+bⁿ),n＝1,2

Fⁿ(I)＝I,n＝0,

式中，n表示第几层，n的变化范围为0～3，表示从底层到顶层，I表示输入图像，Fⁿ(I)表示第n层的输出，*表示网络连接卷积的方式，或者通常被称为权重分享。对于每个中间层进行一次卷积操作，Wⁿ在公式中表示相应n层所对应的卷积核，F^n-1(I)表示在n-1这一层的所有节点，即n层的输入，bⁿ为扰动向量，σ(·)是非线性的双曲正切函数，表达式为

在步骤3)中，所述训练的过程包括前向传导过程、反向传导过程和卷积核更新过程；

卷积神经网络系统中待确定参数有(W,b)＝(W⁽¹⁾,b⁽¹⁾,W⁽²⁾,b⁽²⁾,W⁽³⁾,b⁽³⁾)，在前向传导过程之前，对卷积核及扰动项进行初始化，随机初始化过程中令W的值服从以0为均值，以1为方差的正态分布，令b的值为0；

所述前向传导过程为三次卷积的过程：在第一次的卷积过程中，通过256个16×16的三维卷积核，对原始输入的3通道的彩色图像进行256次卷积，得到256个三维像素矩阵；第二次卷积的过程中，对这256个三维像素矩阵分别对应通过256个1×1的三维卷积核，得到相应256个三维像素矩阵；第三次卷积的过程中，对第二次卷积得到的结果通过8×8的三维卷积核，最终通过加权平均得到系统输出，完成前向传导过程。

所述反向传导过程和卷积核更新过程为：将前向传导过程得到的结果与图像库中的无雨图像的误差向输入层进行反向传播，将误差分配到各层所有单元中，两个图像块误差如下式所示：

$\frac{1}{2}\left|\right|F_W\left(I\right)-L\left(I\right)|{|}_2^2$

其中I表示输入的彩色图像，L(I)表示理想的去雨滤波算子，F_W(I)表示网络的前馈处理，F表示系统结构，W表示系统的参数；

从图像库中抽取一个图像块I_i，并从库中找到对应的无雨图像块{L(I_i)}，则对于每个样本的更新过程如下：

$W_{t+1}=W_t-\mathrm{\η}\frac{\∂F_W\left(I_i\right)}{\∂W}$

η是学习速率，在训练的过程中每次衰减0.001，W_t及W_t+1分别表示更新前后的系统系数；

通过反向传导过程实现卷积核的更新后，继续重复前向传导过程和卷积核更新过程，直到本次网络输出误差与上次网络输出的误差作差后，所得值较小，则认为该网络已收敛，停止训练。

本发明首先确定一个三层卷积神经网络系统，将对应的有雨无雨图像块对输入该系统，训练得到相应的参数，以得到一个适用于去雨的滤波系统。本发明可以使输入的有雨图像块非线性地映射得到相应的无雨图像块。因而将单幅有雨图像重叠地取块后输入该系统，得到相应的无雨图像块，最后将这些块加权平均可以得到最终无雨的图像。本发明克服了基于字典学习的单幅图像去雨方法耗时太长的问题，同时不像一般的滤波器只能考虑较小领域的信息，实现了去雨的同时保证背景图像的清晰度。本发明将卷积神经网络应用于单幅图像去雨，通过设计并训练得到一个适用于单幅图像的去雨滤波系统，使输入有雨图像后，能够快速得到无雨图像的一种新的单幅图像去雨方法，满足嵌入式设备实时化处理的需求。

附图说明

图1为清晰原始图像示例。

图2为人工合成的有雨图像示例。

图3为卷积神经网络的系统结构图。

图4为仿真有雨图像的实验结果对比图。在图4中，(a)为仿真有雨图像，(b)为Kang方法效果，(c)为Huang方法效果，(d)为Luo方法效果，(e)为本发明效果，(f)为真实无雨图像。

图5为仿真有雨图像的实验结果对比图。在图5中，(a)为仿真有雨图像，(b)为Kang方法效果，(c)为Huang方法效果，(d)为Luo方法效果，(e)为本发明效果，(f)为真实无雨图像。

图6为自然有雨图像的实验结果对比图。在图6中，(a)为仿真有雨图像，(b)为Kang方法效果，(c)为Huang方法效果，(d)为Luo方法效果，(e)为本发明效果。

图7为自然有雨图像的实验结果对比图。在图7中，(a)为仿真有雨图像，(b)为Kang方法效果，(c)为Huang方法效果，(d)为Luo方法效果，(e)为本发明效果。

具体实施方式

以下实施例将结合附图对本发明作进一步的说明。

本发明实施例包括以下步骤：

步骤1：通过screen blend model对干净的清晰图像人工加雨，形成相应的有雨图像，建立图像库。

在训练过程中，需要大量的有雨图像及无雨图像的图像对作为训练样本。在现实生活场景中，想要获得单幅的无雨图像或是单幅的有雨图像相对而言较简单。然而想要得到大量的相应图像对却是一件比较困难的事情。因而通过screen blend model人工合成有雨图像，具体步骤如下：

第一步：从网上找各种场景的440幅干净的图像，图像的一些示例如图1所示。

第二步：根据雨的物理特性来考虑雨线的可能性，通过screen blend model让雨线的角度从60度至120度每隔10度取值，对每幅图像添加了共7个角度的雨线。同时对每个角度设置了小雨及大雨两个场景，因而每幅无雨图像可以产生14幅不同的相应有雨图像。原始干净图像与合成后的图像示例如图2所示；

步骤2：确定卷积神经网络系统结构。

根据图3，卷积神经网络包含两个隐层，其网络结构如下式所示：

F_W(I)＝Wⁿ*F^n-1(I)+bⁿ,n＝3

Fⁿ(I)＝σ(Wⁿ*F^n-1(I)+bⁿ),n＝1,2

Fⁿ(I)＝I,n＝0,

式中，n表示第几层，它的变化范围从0～3(底层到顶层)，I表示输入图像，Fⁿ(I)表示第n层的输出，*表示网络连接卷积的方式，或者通常被称为权重分享。对于每个中间层进行一次卷积操作，Wⁿ在公式中表示相应n层所对应的卷积核，F^n-1(I)表示在n-1这一层的所有节点，即n层的输入，bⁿ为扰动向量，σ(·)是非线性的双曲正切函数，表达式为

步骤3：对卷积神经网络系统进行训练学习。

从步骤1中取64×64大小的相应的有雨无雨图像块对，以这些图像块对作为训练样本，对该网络进行训练。训练的过程包括前向传导、反向传导、卷积核更新三个过程，具体步骤如下：

第一步：系统初始化。系统中待确定参数有(W,b)＝(W⁽¹⁾,b⁽¹⁾,W⁽²⁾,b⁽²⁾,W⁽³⁾,b⁽³⁾)，在前向传导之前，对卷积核及扰动项进行初始化，随机初始化过程中令W的值服从以0为均值，以1为方差的正态分布，令b的值为0。

第二步：前向传导。所述前向传导过程为三次卷积的过程。在第一次的卷积过程中，通过256个16×16的三维卷积核，对原始输入的3通道的彩色图像进行256次卷积，得到256个三维像素矩阵；第二次卷积的过程中，对这256个三维像素矩阵分别对应通过256个1×1的三维卷积核，得到相应256个三维像素矩阵；第三次卷积的过程中，对第二次卷积得到的结果通过8×8的三维卷积核，最终通过加权平均得到系统输出，完成前向传导过程。

第三步：反向传导和卷积核更新。所述反向传导、卷积核更新过程为，将前向传导得到的结果与图像库中的无雨图像的误差向输入层进行反向传播，将误差分配到各层所有单元中，两个图像块误差如下式所示：

$\frac{1}{2}\left|\right|F_W\left(I\right)-L\left(I\right)|{|}_2^2$

其中I表示输入的彩色图像，L(I)表示理想的去雨滤波算子，F_W(I)表示网络的前馈处理，F表示系统结构，W表示系统的参数。

从图像库中抽取一个图像块I_i，并从库中找到对应的无雨图像块{L(I_i)}，则对于每个样本的更新过程如下：

$W_{t+1}=W_t-\mathrm{\η}\frac{\∂F_W\left(I_i\right)}{\∂W}$

其中η是学习速率，在训练过程中每次衰减0.001。W_t及W_t+1分别表示更新前后的系统系数。

通过反向传导实现卷积核的更新后，继续重复前向传导等更新过程。直到本次网络输出误差与上次网络输出的误差作差后，所得值较小，则认为该网络已收敛，停止训练。

步骤4：输入有雨图像进行去雨。

通过步骤3，已完成去雨滤波系统训练，所述去雨的具体步骤如下：

第一步：对单幅有雨图像重叠地取块，输入训练好的去雨的滤波系统中，得到相应的无雨图像块。

第二步：将得到的无雨图像块加权平均，得到最终的去雨图像。

本发明的优点为：1.首次将卷积神经网络应用于单幅图像去雨，克服了传统滤波器只能考虑较小领域的局限，更好地区分雨线与边缘；2.由于本发明训练得到的去雨滤波系统简单快速，比基于字典学习的方法快得多，适宜嵌入式平台的雨天图像处理，应用前景十分广泛。

本发明同目前国际上主流的单幅图像去雨算法：Kang(Kang L W,Lin C W,Fu YH.Automatic single-image-based rain streaks removal via image decomposition[J].IEEE Trans.Image Process.,2012,21(4):1742–1755.)在TIP 12’、Huang(Huang DA,Kang L W，Wang Y C F，Lin C W.Self-learning based image decomposition withapplicationsto single image denoising[J].IEEE Trans.on Multimedia，2014，16(1)：83-93)在TMM14’以及Luo(Luo Y，Xu Y，Ji H.Removing Rain From a Single Image viaDiscriminative Sparse Coding[C].IEEE International Conference on ComputerVision.2015：3397-340)在ICCV 15’所提出方法的运行时间和复原效果进行比较。本发明选取一幅仿真有雨图像及一幅自然场景的有雨图像，在配置为Intel(R)Core(TM)i5-4460CPU@3.20GHz内存8GB，Matlab R2014a的PC机上进行实验对比。通过图4及图5的仿真图像实验可以明显地看到，本发明所提的算法与真实无雨图像最为相近，在大雨场景的图5中更为明显。它能够在去除雨线的同时尽可能保留背景图像的信息。通过图6及图7的自然场景图像实验可以看出本发明所提的算法，在细节保留和去除雨线中，取得良好的平衡。马身上的小雨滴也基本去除。去雨运行时间表参见表1，通过表1的实验数据可以看出，在运行时间上本发明所提的算法要远低于另外三种算法。若将本发明的方法采用硬件加速，运行时间将会进一步减少，从而在保证主观效果的前提下，实现去雨的实时性。结构相似性(SSIM)是用以衡量两张图像相似度的指标，其值越大，表示相似度越高，最大值为1。

表1

表2

图像编号	Kang方法	Huang方法	Luo方法	本发明
					图4	0.68	0.60	0.62	0.74
图5	0.52	0.46	0.45	0.57

对仿真图像计算各方法去雨结果与相应真实无雨图像间的SSIM值，仿真图像SSIM对比表参见表2，通过表2的实验数据可以看出，本发明所提的算法皆取得了最大值，即得到了最好的去雨效果。

Claims (5)

1.基于卷积神经网络的单幅图像去雨方法，其特征在于包括如下步骤：

1)通过screen blend model对干净的清晰图像人工加雨，形成相应的有雨图像，建立图像库；

2)确定卷积神经网络系统结构；

3)从步骤1)中取64×64大小的相应的有雨无雨图像块对，以有雨无雨图像块对作为训练样本进行训练；

4)对单幅有雨图像重叠地取块，输入训练好的去雨的滤波系统中，得到相应的无雨图像块，将这些图像块加权平均，得到无雨图像。

2.如权利要求1所述基于卷积神经网络的单幅图像去雨方法，其特征在于在步骤2)中，所述卷积神经网络系统结构如下所示：

F_W(I)＝Wⁿ*F^n-1(I)+bⁿ, n＝3

Fⁿ(I)＝σ(Wⁿ*F^n-1(I)+bⁿ), n＝1,2

Fⁿ(I)＝I, n＝0,

式中，n表示第几层，n的变化范围为0～3，表示从底层到顶层，I表示输入图像，Fⁿ(I)表示第n层的输出，*表示网络连接卷积的方式，或者通常被称为权重分享。对于每个中间层进行一次卷积操作，Wⁿ在公式中表示相应n层所对应的卷积核，F^n-1(I)表示在n-1这一层的所有节点，即n层的输入，bⁿ为扰动向量，σ(·)是非线性的双曲正切函数，表达式为

3.如权利要求1所述基于卷积神经网络的单幅图像去雨方法，其特征在于在步骤3)中，所述训练的过程包括前向传导过程、反向传导过程和卷积核更新过程；

卷积神经网络系统中待确定参数有(W,b)＝(W⁽¹⁾,b⁽¹⁾,W⁽²⁾,b⁽²⁾,W⁽³⁾,b⁽³⁾)，在前向传导过程之前，对卷积核及扰动项进行初始化，随机初始化过程中令W的值服从以0为均值，以1为方差的正态分布，令b的值为0。

4.如权利要求3所述基于卷积神经网络的单幅图像去雨方法，其特征在于所述前向传导过程为三次卷积的过程：在第一次的卷积过程中，通过256个16×16的三维卷积核，对原始输入的3通道的彩色图像进行256次卷积，得到256个三维像素矩阵；第二次卷积的过程中，对这256个三维像素矩阵分别对应通过256个1×1的三维卷积核，得到相应256个三维像素矩阵；第三次卷积的过程中，对第二次卷积得到的结果通过8×8的三维卷积核，最终通过加权平均得到系统输出，完成前向传导过程。

5.如权利要求3所述基于卷积神经网络的单幅图像去雨方法，其特征在于所述反向传导过程和卷积核更新过程为：将前向传导过程得到的结果与图像库中的无雨图像的误差向输入层进行反向传播，将误差分配到各层所有单元中，两个图像块误差如下式所示：

$\frac{1}{2}\left|\right|F_W\left(I\right)-L\left(I\right)|{|}_2^2$

其中I表示输入的彩色图像，L(I)表示理想的去雨滤波算子，F_W(I)表示网络的前馈处理，F表示系统结构，W表示系统的参数；

从图像库中抽取一个图像块I_i，并从库中找到对应的无雨图像块{L(I_i)}，则对于每个样本的更新过程如下：

$W_{t+1}=W_t-\mathrm{\η}\frac{\∂F_W\left(I_i\right)}{\∂W}$

η是学习速率，在训练的过程中每次衰减0.001，W_t及W_t+1分别表示更新前后的系统系数；

通过反向传导过程实现卷积核的更新后，继续重复前向传导过程和卷积核更新过程，直到本次网络输出误差与上次网络输出的误差作差后，所得值较小，则认为该网络已收敛，停止训练。