CN107909556B - 基于卷积神经网络的视频图像去雨方法 - Google Patents

基于卷积神经网络的视频图像去雨方法 Download PDF

Info

Publication number
CN107909556B
CN107909556B CN201711208564.4A CN201711208564A CN107909556B CN 107909556 B CN107909556 B CN 107909556B CN 201711208564 A CN201711208564 A CN 201711208564A CN 107909556 B CN107909556 B CN 107909556B
Authority
CN
China
Prior art keywords
image
rain
component
neural network
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711208564.4A
Other languages
English (en)
Other versions
CN107909556A (zh
Inventor
郭继昌
郭昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201711208564.4A priority Critical patent/CN107909556B/zh
Publication of CN107909556A publication Critical patent/CN107909556A/zh
Application granted granted Critical
Publication of CN107909556B publication Critical patent/CN107909556B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于图像处理、计算机视觉技术领域,为提高视频图像视觉效果的视频图像去雨方法,本发明,基于卷积神经网络的视频图像去雨方法,首先选择几帧连续图像,提取每帧图像的亮度分量以及对应的图像高频成分,然后将高频成分图像输入构建和训练好的卷积神经网络,随后得到经过卷积神经网络处理后的高频非雨成分图像,最后将非雨成分图像与保留的低频成分综合得到去雨后的视频图像,其中卷积神经网络具体关系为:
Figure DDA0001484162410000011
式中,hP(·)表示卷积神经网络,P表示网络参数,I表示原始的有雨图像,J表示无雨图像,通过训练卷积神经网络,使得D(P)的值达到最小,得到最优参数值P*,进而得到去雨图像
Figure DDA0001484162410000012
本发明主要应用于图像处理场合。

Description

基于卷积神经网络的视频图像去雨方法
技术领域
本发明属于图像处理、计算机视觉技术领域,具体讲,涉及基于卷积神经网络的视频图像去雨方法。
背景技术
随着计算机科学技术的迅猛发展以及图像处理技术的日趋成熟,计算机视觉系统由于其精确、快速、可靠而且能直观、实时、全面反映被监测对象,及时获得大量丰富且高分辨率的图像信息等优点,尤其在某些不易人类直接观察的场合,可以解决观测难的问题,而被广泛的应用到各个领域。然而,在雨天气条件下获取的室外视频图像会受到天气环境的不利影响。雨线会模糊获取的户外视频图像,使图像丢失原有的细节信息和特征信息,并且使图像视觉效果下降,这极大地限制和影响了计算机视觉系统效用的发挥。
为了去除视频图像中雨线的影响,研究人员进行了广泛的研究,将视频图像去雨分为了两个步骤:雨线检测和雨线去除。雨线检测就是在视频图像中检测出雨线影响像素的位置,通常会利用视频图像的帧间信息和雨线特征。帧间信息是指雨线会增大影响像素的亮度,通过计算相邻两帧图像的差值图可以确定雨线的位置。但是,视频中往往会包含非雨的运动物体,这会干扰雨线的检测,需要通过雨线特征对雨线和运动物体进行区分。雨线去除就是利用帧间和帧内信息对检测出的雨线影响像素进行处理,通常会结合检测像素周围和前后帧的值进行计算和替换。现有的雨线特征在一定程度上可以实现雨线位置的准确检测,但是由于视频图像场景具有复杂性和多样性的特点,在很多条件下视频图像去雨算法的效果依旧不够理想。
发明内容
为克服现有技术的不足,本发明旨在提出有效去除视频图像中雨线影响,提高视频图像视觉效果的视频图像去雨方法。为此,本发明采用的技术方案是,基于卷积神经网络的视频图像去雨方法,首先选择几帧连续图像,提取每帧图像的亮度分量以及对应的图像高频成分,然后将高频成分图像输入构建和训练好的卷积神经网络,随后得到经过卷积神经网络处理后的高频非雨成分图像,最后将非雨成分图像与保留的低频成分综合得到去雨后的视频图像,其中卷积神经网络具体关系为:
Figure BDA0001484162390000011
式中,hP(·)表示卷积神经网络,P表示网络参数,I表示原始的有雨图像,J表示无雨图像,通过训练卷积神经网络,使得D(P)的值达到最小,得到最优参数值P*,进而得到去雨图像
Figure BDA0001484162390000012
具体地,首先将需要处理的视频进行分帧处理,即将视频分成一组图像序列,以便之后选择连续几帧图像输入网络进行处理;
对图像序列中的每帧图像进行颜色空间转换,由RGB颜色空间转换到YCbCr空间,得到亮度分量Y,蓝色差分量Cb和红色差分量Cr,Y分量进行后续的去雨处理,Cb、Cr分量留待最后的图像合成应用;
将图像Y分量首先分为两层,一层为图像Y分量的低频成分,为图像内容的大体轮廓;另一层为图像Y分量的高频成分,包括图像中的雨线和边缘纹理,如下式所示:
I=Ibase+Idetail
式中,Ibase表示图像Y分量的低频成分,Idetail表示图像Y分量的高频成分,将Idetail输入卷积神经网络进行进一步处理。
卷积神经网络处理的具体步骤如下:
同时将连续三帧图像的亮度分量高频成分输入图像,利用卷积神经网络三组并行的卷积层对输入图像进行特征提取,并将提取到的特征加以综合,使得时域特征融入其中,并行的三组卷积层之后均接有ReLU激励层,计算关系为:
F1i(I)=max(0,W1i*Ii+B1i)
式中,i表示图像的帧数,Ii表示输入的图像,W1i表示卷积层的权重,B1i表示卷积层的偏置值,将得到的特征整合,得到的整体特征集合为:
F1(I)={F1i(I)|i=1,2,3}
特征集合包含每帧图像中雨线的特征和图像帧间的时域特征,后续步骤根据这些得到的特征实现雨线的去除;
非线性映射关系估计:
通过对有雨图像特征的提取,得到了n1张特征图像,将n1张有雨特征图像根据映射关系转化为n2张去雨特征图像,可以看作是用n2个不同的滤波器对n1张特征图像进行卷积得到的结果,选择1×1尺寸大小的卷积核,利用一个卷积层来估计并实现由有雨特征图像到去雨特征图像的映射关系,该卷积层的计算关系为:
F2(I)=max(0,W2*F1(I)+B2),
式中,W2表示卷积层的权重,包含n2个1×1×n1尺寸大小的滤波器,B2包含n2个偏置值,得到的n2张去雨特征图像将用于后续去雨图像的重建。
综合得到去雨后的视频图像即图像重建步骤具体如下:
利用一个卷积层来实现去雨图像的重建,计算关系为:
F(I)=W3*F2(I)+B3,
式中,W3表示该卷积层的权重,W3包含1个f3×f3×n2尺寸大小的滤波器,B3表示滤波器的偏置值;
卷积神经网络输出图像为去雨图像亮度分量的高频成分,将高频成分与之前得到的低频成分综合得到原始有雨图像的Y分量,再将Y分量与Cb、Cr分量综合,并进行YCbCr颜色空间到RGB颜色空间的转换,得到最终中间帧图像的去雨图像。
卷积神经网络训练样本制作和训练步骤如下:
利用Photoshop软件制作模拟的有雨图像作为训练集,即从UCID数据集和BSD数据集中选择200张无雨原始图像,在每幅图像上增加不同方向和不同大小的雨线,制作成18幅不同的图像,构成总共包含3600张有雨图像的数据集,将其中的3400张有雨图像和其对应的无雨原始图像作为网络的训练集,剩余的200张用于模拟有雨图像实验测试,
针对网络的训练目标,将去雨图像
Figure BDA0001484162390000031
与无雨状态的原始图像Ji之间的均方误差作为损失函数,利用随机梯度下降的方法最小化均方误差,得到参数的最优值,均方误差的计算式为
Figure BDA0001484162390000032
式中:Ii表示一系列的有雨图像,Ji表示对应的无雨图像,n为训练样本的数量,
通过标准的后向传播方式对网络进行训练,使得目标损失函数最小化,式(8)表示网络权重参数的更新过程。
Figure BDA0001484162390000033
式中:l和i分别表示卷积层标识和迭代次数,η表示学习率,
Figure BDA0001484162390000034
表示导数。对于每个卷积层的权重参数,利用均值为0,标准差为0.001的高斯分布进行随机初始化。
本发明的特点及有益效果是:
1)本发明采用卷积神经网络提取视频图像图像特征,相较以往人工定义雨线特征的方法,本发明可以适应更多复杂场景的视频图像去雨,具有更好的鲁棒性。
2)本发明通过将连续多帧视频图像同时输入卷积神经网络处理,与现有其他方法相比,可以更好的利用帧间信息对雨线和非雨运动物体进行区分,达到更好的雨线检测效果。
3)本发明将包含雨线和边缘信息的图像高频成分输入网络处理,将处理结果与保留的低频成分综合得到最后结果,与现有其它方法相比,可以更好的保持原始图像的特征信息。
附图说明:
图1算法流程。
图2网络结构。
图3颜色空间和高低频。
其中,(a)为原始有雨图像,(b)为有雨图像Y分量图像,(c)为有雨图像Cb分量图像,(d)为有雨图像Cr分量图像,(e)为有雨图像低频成分图像,(f)为有雨图像高频成分图像。
图4样本制作。
具体实施方式
本发明通过综合利用雨线的高频特征和卷积神经网络,研究一种能够在保持原有图像细节特征的前提下,有效去除视频图像中雨线影响,提高视频图像视觉效果的视频图像去雨方法。本发明实现了一种基于卷积神经网络的视频图像去雨方法。
本发明综合利用雨线特征和卷积神经网络,实现了一种基于卷积神经网络的视频图像去雨方法。图像去雨算法的目标是根据原始的有雨图像,结合图像中雨线的特征,估计得到重建的去雨图像,并且使得去雨图像尽量接近无雨状态的原始图像。本发明基于卷积神经网络实现这一目标,具体关系为:
Figure BDA0001484162390000041
式中,hP(·)表示卷积神经网络,P表示网络参数,I表示原始的有雨图像,J表示无雨图像。通过训练卷积神经网络,使得D(P)的值达到最小,得到最优参数值P*,进而得到去雨图像
Figure BDA0001484162390000042
由于雨线仅对图像亮度分量具有较大影响,所以本发明仅对有雨图像亮度分量进行处理。
为了实现视频图像中的雨线去除,首先选择连续三帧图像,提取每帧图像的亮度分量以及对应的图像高频成分,然后将三幅高频成分图像输入构建和训练好的网络,随后得到经过网络处理后的高频非雨成分图像,最后将非雨成分图像与保留的低频成分综合得到去雨后的视频图像。具体技术方案详述如下:
1预处理
视频图像去雨研究与单幅图像去雨研究不同,视频图像具有冗余的时域信息可以利用,因而当处理视频中的某一帧图像时,可以利用相邻前后帧图像的相关性信息实现雨线去除。所以,本发明首先将需要处理的视频进行分帧处理,即将视频分成一组图像序列,以便之后选择连续几帧图像输入网络进行处理。
由于雨线仅对图像中的亮度分量造成影响,对颜色分量影响较小,可以忽略。所以对图像序列中的每帧图像进行颜色空间转换,由RGB颜色空间转换到YCbCr空间,Y分量井进行后续的去雨处理,Cb、Cr分量留待最后的图像合成应用。
有雨图像中的雨线属于高频成分,高频成分还包括边缘、纹理等图像内容。因此,可以将图像Y分量首先分为两层,一层为图像Y分量的低频成分,主要为图像内容的大体轮廓,一层为图像Y分量的高频成分,主要包括图像中的雨线和边缘纹理,如下式所示:
I=Ibase+Idetail
式中,Ibase表示图像Y分量的低频成分,Idetail表示图像Y分量的高频成分。为了实现图像中雨线的去除,Idetail需要输入卷积神经网络进行进一步处理。
利用引导滤波器将有雨图像Y分量分为低频成分和高频成分,低频成分为图像内容的大体轮廓,留待最后图像重建时使用,高频成分包括图像中的雨线和边缘纹理,后续设计的卷积神经网络将对其中的雨线进行去除。
2特征提取
由于视频图像去雨研究具有时间冗余信息,所以为了充分利用时域信息,本发明选择同时将连续三帧图像的亮度分量高频成分输入图像,利用卷积神经网络三组并行的卷积层对输入图像进行特征提取,并将提取到的特征加以综合,使得时域特征融入其中。并行的三组卷积层之后均接有ReLU激励层,计算关系为:
F1i(I)=max(0,W1i*Ii+B1i)
式中,i表示图像的帧数,Ii表示输入的图像,W1i表示卷积层的权重,B1i表示卷积层的偏置值。将得到的特征整合,得到的整体特征集合为:
F1(I)={F1i(I)|i=1,2,3}
特征集合包含每帧图像中雨线的特征和图像帧间的时域特征,后续步骤根据这些得到的特征实现雨线的去除。
3非线性映射关系估计
通过第一步对有雨图像特征的提取,得到了n1张特征图像。将n1张有雨特征图像根据映射关系转化为n2张去雨特征图像,可以看作是用n2个不同的滤波器对n1张特征图像进行卷积得到的结果。这里选择1×1尺寸大小的卷积核,利用一个卷积层来估计并实现由有雨特征图像到去雨特征图像的映射关系。虽然可以利用多个卷积层来估计和实现映射关系,但是多个卷积层会增加网络参数,提高模型和算法的复杂度。经过综合考虑,本发明选择使用一个卷积层完成这一步的操作。该卷积层的计算关系为:
F2(I)=max(0,W2*F1(I)+B2),
式中,W2表示卷积层的权重,包含n2个1×1×n1尺寸大小的滤波器,B2包含n2个偏置值。得到的n2张去雨特征图像将用于后续去雨图像的重建。
4图像重建
在很多图像复原的研究中,将预测得到的有重叠的图像块取均值重建图像是一种常见的方法。这种操作可以看作是用一种预先定义好的滤波器对图像进行处理,因此选择利用一个卷积层来实现去雨图像的重建,计算关系为:
F(I)=W3*F2(I)+B3,
式中,W3表示该卷积层的权重,由于去雨图像的重建仅针对图像的亮度分量,所以W3包含1个f3×f3×n2尺寸大小的滤波器,B3表示滤波器的偏置值。
卷积神经网络输出图像为去雨图像亮度分量的高频成分,将高频成分与之前得到的低频成分综合得到原始有雨图像的Y分量。再将Y分量与Cb、Cr分量综合,并进行YCbCr颜色空间到RGB颜色空间的转换,得到最终中间帧图像的去雨图像。
对图像序列中每帧图像进行处理后,将得到的图像序列合成为视频,即可得到最终的去雨视频图像。
下面结合算法流程框图对本发明进行详细的描述。
如图1所示,本发明提供一种基于卷积神经网络的视频图像去雨方法,其包括以下步骤:
步骤1:预处理
预处理过程主要包括视频分帧,图像颜色空间转换和图像高低频成分分离三部分。
视频图像去雨研究与单幅图像去雨研究不同,视频图像具有冗余的时域信息可以利用,因而当处理视频中的某一帧图像时,可以利用相邻前后帧图像的相关性信息实现雨线去除。所以,本发明首先将需要处理的视频进行分帧处理,即将视频分成一组图像序列,以便之后选择连续几帧图像输入网络进行处理。
如图3所示,由于雨线仅对图像中的亮度分量造成影响,对颜色分量影响较小,可以忽略。所以对图像序列中的每帧图像进行颜色空间转换,由RGB颜色空间转换到YCbCr空间,Y分量进行后续的去雨处理,Cb、Cr分量留待最后的图像合成应用。
有雨图像中的雨线属于高频成分,高频成分还包括边缘、纹理等图像内容。因此,将图像Y分量首先分为两层,一层为图像Y分量的低频成分,主要为图像内容的大体轮廓,一层为图像Y分量的高频成分,主要包括图像中的雨线和边缘纹理,如下式所示:
I=Ibase+Idetail
式中,Ibase表示图像Y分量的低频成分,Idetail表示图像Y分量的高频成分。为了实现图像中雨线的去除,Idetail需要输入卷积神经网络进行进一步处理。利用引导滤波器将有雨图像Y分量分为低频成分和高频成分,低频成分为图像内容的大体轮廓,留待最后图像重建时使用,高频成分包括图像中的雨线和边缘纹理,后续设计的卷积神经网络将对其中的雨线进行去除。
步骤2:训练样本制作和网络训练
为了实现去除输入有雨图像中的雨线这一目标,需要对构建的卷积神经网络进行训练,得到网络中参数P={W1i,W2,W3,B1i,B2,B3}的最优值P*,其中,W1i和B1i分别为特征提取网络层的权重和偏置值,W2和B2分别为非线性映射关系估计网络层的权重和偏置值,W3和B3分别为图像重建网络层的权重和偏置值,网络结构如图2所示。由于现实中很难找到大量的有雨和无雨图像对,所以利用Photoshop软件制作模拟的有雨图像作为训练集。即从UCID数据集和BSD数据集中选择200张无雨原始图像,在每幅图像上增加不同方向和不同大小的雨线,制作成18幅不同的图像,如图4所示,构成总共包含3600张有雨图像的数据集。将其中的3400张有雨图像和其对应的无雨原始图像作为网络的训练集,剩余的200张用于模拟有雨图像实验测试。
针对网络的训练目标,将去雨图像
Figure BDA0001484162390000061
与无雨状态的原始图像Ji之间的均方误差作为损失函数,利用随机梯度下降的方法最小化均方误差,得到参数的最优值。均方误差的计算式为
Figure BDA0001484162390000062
式中:Ii表示一系列的有雨图像,Ji表示对应的无雨图像,n为训练样本的数量。
通过标准的后向传播方式对网络进行训练,使得目标损失函数最小化。式(8)表示网络权重参数的更新过程。
Figure BDA0001484162390000063
式中:l和i分别表示卷积层标识和迭代次数,η表示学习率,
Figure BDA0001484162390000071
表示导数。对于每个卷积层的权重参数,利用均值为0,标准差为0.001的高斯分布进行随机初始化。本发明所有网络的训练过程都是在卷积神经网络框架(Convolutional Architecture for FastFeature Embedding,caffe)环境下进行的。
步骤3:特征提取
构建的卷积神经网络训练好之后,将得到的最优参数值载入网络,并将预处理得到的输入图像输入网络,网络首先要对输入图像进行特征提取。
由于视频图像去雨研究具有时间冗余信息,所以为了充分利用时域信息,本发明选择同时将连续三帧图像的亮度分量高频成分输入图像,利用卷积神经网络三组并行的卷积层对输入图像进行特征提取,并将提取到的特征加以综合,使得时域特征融入其中。并行的三组卷积层之后均接有ReLU激励层,计算关系为:
F1i(I)=max(0,W1i*Ii+B1i)
式中,i表示图像的帧数,Ii表示输入的图像,W1i表示卷积层的权重,B1i表示卷积层的偏置值。将得到的特征整合,得到的整体特征集合为:
F1(I)={F1i(I)|i=1,2,3}
特征集合包含每帧图像中雨线的特征和图像帧间的时域特征,后续步骤根据这些得到的特征实现雨线的去除。
步骤4:非线性映射关系估计
通过第一步对有雨图像特征的提取,得到了n1张特征图像。将n1张有雨特征图像根据映射关系转化为n2张去雨特征图像,可以看作是用n2个不同的滤波器对n1张特征图像进行卷积得到的结果。这里选择1×1尺寸大小的卷积核,利用一个卷积层来估计并实现由有雨特征图像到去雨特征图像的映射关系。虽然可以利用多个卷积层来估计和实现映射关系,但是多个卷积层会增加网络参数,提高模型和算法的复杂度。经过综合考虑,本发明选择使用一个卷积层完成这一步的操作。该卷积层的计算关系为:
F2(I)=max(0,W2*F1(I)+B2),
式中,W2表示卷积层的权重,包含n2个1×1×n1尺寸大小的滤波器,B2包含n2个偏置值。得到的n2张去雨特征图像将用于后续去雨图像的重建。
步骤5:图像重建
得到去雨图像的特征图像之后,需要根据这些特征图像复原去雨图像。在很多图像复原的研究中,将预测得到的有重叠的图像块取均值重建图像是一种常见的方法。这种操作可以看作是用一种预先定义好的滤波器对图像进行处理,因此选择利用一个卷积层来实现去雨图像的重建,计算关系为:
F(I)=W3*F2(I)+B3,
式中,W3表示该卷积层的权重,由于去雨图像的重建仅针对图像的亮度分量,所以W3包含1个f3×f3×n2尺寸大小的滤波器,B3表示滤波器的偏置值。
卷积神经网络输出图像为去雨图像亮度分量的高频成分,将高频成分与之前得到的低频成分综合得到原始有雨图像的Y分量。再将Y分量与Cb、Cr分量综合,并进行YCbCr颜色空间到RGB颜色空间的转换,得到最终中间帧图像的去雨图像。
对图像序列中每帧图像进行处理后,将得到的图像序列合成为视频,即可得到最终的去雨视频图像。

Claims (4)

1.一种基于卷积神经网络的视频图像去雨方法,其特征是,首先选择几帧连续图像,提取每帧图像的亮度分量以及亮度分量的图像高频成分,然后将高频成分图像输入构建和训练好的卷积神经网络,随后得到经过卷积神经网络处理后的高频非雨成分图像,最后将非雨成分图像与保留的低频成分综合得到去雨后的视频图像,具体步骤是,对图像序列中的每帧图像进行颜色空间转换,由RGB颜色空间转换到YCbCr空间,得到亮度分量Y,蓝色差分量Cb和红色差分量Cr,Y分量进行后续的去雨处理,Cb、Cr分量留待最后的图像合成应用;
将图像Y分量首先分为两层,一层为图像Y分量的低频成分,为图像内容的大体轮廓;另一层为图像Y分量的高频成分,包括图像中的雨线和边缘纹理,如下式所示:
I=Ibase+Idetail
式中,Ibase表示图像Y分量的低频成分,Idetail表示图像Y分量的高频成分,将Idetail输入卷积神经网络进行进一步处理;
卷积神经网络输出图像为去雨图像亮度分量的高频成分,将高频成分与之前得到的Y分量的低频成分综合得到原始去雨图像的Y分量,再将原始去雨图像的Y分量与Cb、Cr分量综合,并进行YCbCr颜色空间到RGB颜色空间的转换,得到最终中间帧图像的去雨图像;
其中卷积神经网络具体关系为:
Figure FDA0003233055700000011
式中,hP(·)表示卷积神经网络,P表示网络参数,I表示原始的有雨图像,J表示无雨图像,通过训练卷积神经网络,使得D(P)的值达到最小,得到最优参数值P*,进而得到去雨图像
Figure FDA0003233055700000012
其中,卷积神经网络处理的具体步骤如下:
同时将连续三帧图像的亮度分量高频成分输入图像,利用卷积神经网络三组并行的卷积层对输入图像进行特征提取,并将提取到的特征加以综合,使得时域特征融入其中,并行的三组卷积层之后均接有ReLU激励层,计算关系为:
F1i(I)=max(0,W1i*Ii+B1i)
式中,i表示图像的帧数,Ii表示输入的图像,W1i表示卷积层的权重,B1i表示卷积层的偏置值,将得到的特征整合,得到的整体特征集合为:
F1(I)={F1i(I)|i=1,2,3}
特征集合包含每帧图像中雨线的特征和图像帧间的时域特征,后续步骤根据这些得到的特征实现雨线的去除;
非线性映射关系估计:
通过对有雨图像特征的提取,得到了n1张特征图像,将n1张有雨特征图像根据映射关系转化为n2张去雨特征图像,可以看作是用n2个不同的滤波器对n1张特征图像进行卷积得到的结果,选择1×1尺寸大小的卷积核,利用一个卷积层来估计并实现由有雨特征图像到去雨特征图像的映射关系,该卷积层的计算关系为:
F2(I)=max(0,W2*F1(I)+B2),
式中,W2表示卷积层的权重,包含n2个1×1×n1尺寸大小的滤波器,B2包含n2个偏置值,得到的n2张去雨特征图像将用于后续去雨图像的重建。
2.如权利要求1所述的基于卷积神经网络的视频图像去雨方法,其特征是,具体地,首先将需要处理的视频进行分帧处理,即将视频分成一组图像序列,以便之后选择连续几帧图像输入网络进行处理。
3.如权利要求1所述的基于卷积神经网络的视频图像去雨方法,其特征是,综合得到去雨后的视频图像即图像重建步骤具体如下:
利用一个卷积层来实现去雨图像的重建,计算关系为:
F(I)=W3*F2(I)+B3,
式中,W3表示该卷积层的权重,W3包含1个f3×f3×n2尺寸大小的滤波器,B3表示滤波器的偏置值。
4.如权利要求1所述的基于卷积神经网络的视频图像去雨方法,其特征是,卷积神经网络训练样本制作和训练步骤如下:
利用Photoshop软件制作模拟的有雨图像作为训练集,即从UCID数据集和BSD数据集中选择200张无雨原始图像,在每幅图像上增加不同方向和不同大小的雨线,制作成18幅不同的图像,构成总共包含3600张有雨图像的数据集,将其中的3400张有雨图像和其对应的无雨原始图像作为网络的训练集,剩余的200张用于模拟有雨图像实验测试,
针对网络的训练目标,将去雨图像
Figure FDA0003233055700000021
与无雨状态的原始图像Ji之间的均方误差作为损失函数,利用随机梯度下降的方法最小化均方误差,得到参数的最优值,均方误差的计算式为
Figure FDA0003233055700000022
式中:Ii表示一系列的有雨图像,Ji表示对应的无雨图像,n为训练样本的数量,
通过标准的后向传播方式对网络进行训练,使得目标损失函数最小化,式(8)表示网络权重参数的更新过程:
Figure FDA0003233055700000023
式中:l和i分别表示卷积层标识和迭代次数,η表示学习率,
Figure FDA0003233055700000024
表示导数;对于每个卷积层的权重参数,利用均值为0,标准差为0.001的高斯分布进行随机初始化。
CN201711208564.4A 2017-11-27 2017-11-27 基于卷积神经网络的视频图像去雨方法 Active CN107909556B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711208564.4A CN107909556B (zh) 2017-11-27 2017-11-27 基于卷积神经网络的视频图像去雨方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711208564.4A CN107909556B (zh) 2017-11-27 2017-11-27 基于卷积神经网络的视频图像去雨方法

Publications (2)

Publication Number Publication Date
CN107909556A CN107909556A (zh) 2018-04-13
CN107909556B true CN107909556B (zh) 2021-11-23

Family

ID=61848790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711208564.4A Active CN107909556B (zh) 2017-11-27 2017-11-27 基于卷积神经网络的视频图像去雨方法

Country Status (1)

Country Link
CN (1) CN107909556B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108648159B (zh) * 2018-05-09 2022-02-11 华南师范大学 一种图像去雨方法及系统
CN108665769B (zh) * 2018-05-11 2021-04-06 深圳市鹰硕技术有限公司 基于卷积神经网络的网络教学方法以及装置
CN108765344A (zh) * 2018-05-30 2018-11-06 南京信息工程大学 一种基于深度卷积神经网络的单幅图像雨线去除的方法
CN110557521B (zh) * 2018-05-30 2020-12-04 北京大学 视频去雨的方法、装置、设备及计算机可读存储介质
CN109035157A (zh) * 2018-06-25 2018-12-18 华南师范大学 一种基于静态雨纹的图像去雨方法及系统
CN108900841B (zh) * 2018-07-10 2020-01-03 中国科学技术大学 基于图像去雨算法的视频编码方法
CN109064419A (zh) * 2018-07-12 2018-12-21 四川大学 一种基于wls滤波和多尺度稀疏表达的单幅图像去雨方法
CN109102475B (zh) * 2018-08-13 2021-03-09 苏州飞搜科技有限公司 一种图像去雨方法及装置
CN109360155B (zh) * 2018-08-17 2020-10-13 上海交通大学 基于多尺度特征融合的单帧图像去雨方法
CN110111268B (zh) * 2019-04-18 2021-08-03 上海师范大学 基于暗通道和模糊宽度学习的单幅图像去雨方法及装置
CN110310238B (zh) * 2019-06-18 2023-01-10 华南农业大学 一种基于重用原始信息的压缩奖惩神经网络的单幅图像去雨方法
CN110633626A (zh) * 2019-07-31 2019-12-31 浙江大学 一种针对雨天图片的卷积神经网络降雨强度在线量化方法
CN110503613B (zh) * 2019-08-13 2022-03-15 电子科技大学 基于级联空洞卷积神经网络的面向单幅图像去雨方法
CN110517199B (zh) * 2019-08-26 2022-03-08 电子科技大学 一种便于智能车辆驾驶的图像去雨方法
CN110717910B (zh) * 2019-10-16 2020-09-08 太原华瑞星辰医药科技有限公司 基于卷积神经网络的ct图像目标检测方法及ct扫描仪
CN110751612A (zh) * 2019-11-05 2020-02-04 哈尔滨理工大学 多通道多尺度卷积神经网络的单幅图像去雨方法
CN111918144A (zh) * 2020-08-12 2020-11-10 桂林电子科技大学 一种基于深度学习的去除视频水印的方法
CN112541880A (zh) * 2020-12-07 2021-03-23 南昌航空大学 基于深度学习分支图像去雨系统及控制方法
CN113962905B (zh) * 2021-12-03 2023-05-05 四川大学 基于多阶段特征互补网络的单幅图像去雨方法
WO2023102868A1 (en) * 2021-12-10 2023-06-15 Intel Corporation Enhanced architecture for deep learning-based video processing

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102186089A (zh) * 2011-04-19 2011-09-14 南京航空航天大学 单分量视频图像雨场去除方法
CN103714518A (zh) * 2013-12-12 2014-04-09 中国科学院深圳先进技术研究院 视频去雨方法
CN104299234A (zh) * 2014-09-30 2015-01-21 中国科学院深圳先进技术研究院 视频数据中雨场去除的方法和系统
CN106204499A (zh) * 2016-07-26 2016-12-07 厦门大学 基于卷积神经网络的单幅图像去雨方法
CN107133935A (zh) * 2017-05-25 2017-09-05 华南农业大学 一种基于深度卷积神经网络的单图像精细去雨方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9443142B2 (en) * 2014-07-24 2016-09-13 Exelis, Inc. Vision-based system for dynamic weather detection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102186089A (zh) * 2011-04-19 2011-09-14 南京航空航天大学 单分量视频图像雨场去除方法
CN103714518A (zh) * 2013-12-12 2014-04-09 中国科学院深圳先进技术研究院 视频去雨方法
CN104299234A (zh) * 2014-09-30 2015-01-21 中国科学院深圳先进技术研究院 视频数据中雨场去除的方法和系统
CN106204499A (zh) * 2016-07-26 2016-12-07 厦门大学 基于卷积神经网络的单幅图像去雨方法
CN107133935A (zh) * 2017-05-25 2017-09-05 华南农业大学 一种基于深度卷积神经网络的单图像精细去雨方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Clearing the Skies: A Deep Network Architecture for Single-Image Rain Removal;Xueyang Fu等;《IEEE Transactions on Image Processing》;20170630;第26卷(第6期);第2945-2946、2948-2949,图2,4-5,公式(1)、(4)-(5) *
End-to-End United Video Dehazing and Detection;Boyi Li等;《Computer Vision and Pattern Recognition》;20170912;第7016-7018页,图2 *
视频图像去雨技术研究前沿;徐波等;《中国科技论文》;20150430;第10卷(第8期);第916-927页 *

Also Published As

Publication number Publication date
CN107909556A (zh) 2018-04-13

Similar Documents

Publication Publication Date Title
CN107909556B (zh) 基于卷积神经网络的视频图像去雨方法
CN102663719B (zh) 基于非局部均值的Bayer型CFA图像去马赛克方法
CN105913419B (zh) 基于ICA学习和多通道融合的TFT-LCD mura缺陷检测方法
CN108921786A (zh) 基于残差卷积神经网络的图像超分辨率重构方法
CN105550989B (zh) 基于非局部高斯过程回归的图像超分辨方法
CN110517203B (zh) 一种基于参考图像重建的去雾方法
CN105447840B (zh) 基于主动采样与高斯过程回归的图像超分辨方法
CN111882489A (zh) 用于水下图像同时增强的超分辨率图形恢复方法
CN113284061B (zh) 一种基于梯度网络的水下图像增强方法
CN104504722A (zh) 一种利用灰色点校正图像颜色的方法
CN111080574A (zh) 一种基于信息熵和视觉注意机制的织物疵点检测方法
CN116309070A (zh) 一种高光谱遥感图像超分辨率重建方法、装置及计算机设备
CN113724164A (zh) 一种基于融合重构制导滤波的可见光图像噪声去除方法
Li et al. Adaptive weighted multiscale retinex for underwater image enhancement
CN111489333B (zh) 一种无参考夜间自然图像质量评价方法
CN111539434B (zh) 基于相似度的红外弱小目标检测方法
CN110415816B (zh) 一种基于迁移学习的皮肤病临床图像多分类方法
Yang et al. Detail-aware near infrared and visible fusion with multi-order hyper-Laplacian priors
CN115760640A (zh) 基于含噪Retinex模型的煤矿低光照图像增强方法
CN111681176B (zh) 自适应卷积的残差修正单幅图像去雨方法
Wang et al. Edge detection of color image using vector morphological operators
Meng et al. DedustGAN: Unpaired learning for image dedusting based on Retinex with GANs
Tang et al. Sky-preserved image dehazing and enhancement for outdoor scenes
Wang et al. Research on single image dehazing enhancement method based on cyclegan
CN109886901A (zh) 一种基于多通路分解的夜间图像增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant