CN109360155B - 基于多尺度特征融合的单帧图像去雨方法 - Google Patents
基于多尺度特征融合的单帧图像去雨方法 Download PDFInfo
- Publication number
- CN109360155B CN109360155B CN201810938303.6A CN201810938303A CN109360155B CN 109360155 B CN109360155 B CN 109360155B CN 201810938303 A CN201810938303 A CN 201810938303A CN 109360155 B CN109360155 B CN 109360155B
- Authority
- CN
- China
- Prior art keywords
- rain
- image
- layer
- scale
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000004927 fusion Effects 0.000 title claims abstract description 15
- 238000012360 testing method Methods 0.000 claims abstract description 45
- 230000006870 function Effects 0.000 claims abstract description 33
- 230000000694 effects Effects 0.000 claims abstract description 21
- 230000001737 promoting effect Effects 0.000 claims abstract description 5
- 238000000605 extraction Methods 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 230000003042 antagnostic effect Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 238000012805 post-processing Methods 0.000 abstract description 4
- 238000007781 pre-processing Methods 0.000 abstract description 4
- 230000008447 perception Effects 0.000 abstract description 3
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Abstract
本发明提供了一种基于多尺度特征融合的单帧图像去雨方法，通过运用不同尺度的感受野进行对有雨图像的特征提取，之后通过反卷积操作通过特征得到去雨结果，运用粗尺度的特征与细尺度特征的结合，促进细尺度生成的无雨图像达到最好去雨的效果。通过在多个尺度上去除雨线，能使用于多种雨水情况，去雨算法更加具有普适性。本发明引用了对抗误差与感知误差构建了新的误差函数，对去雨模型进行训练，不需要任何先验知识，也不需要对图像进行预处理和后处理，保证了整个结构的完整性；在多个测试集上的结果表明本发明同前沿的主流去雨算法结果相比，在亮度信号通道上的峰值信噪比上能够提升2‑5dB。
Description
技术领域
本发明涉及图像处理技术领域，具体地，涉及一种基于多尺度特征融合的单帧图像去雨方法，应用于处理单帧有雨的图像，达到去除图片雨水，还原背景图片且对原图色彩以及细节最大程度减少失真。
背景技术
在复杂多变的天气情况下，人们拍摄到的图片或者视频中常常会因为雨、雪、雾而受到干扰、变得模糊或者图片的主体会受到严重的干扰。而雨作为一种在生活中最常见的自然现象，会对于人的视觉造成退化。在有雨的情况下，距离的雨线会在光的影响下会有反射效应，拍摄到的图片和视频的质量会严重退化，同时雨线会累积生成雾气，会有雨雾的产生，看不清背景。特别是在大雨的情况下，图像会收到更多的影响。因此，图像去雨的课题作为图像去噪的分支，无论在理论和实用方面都有重大的意义，例如在视频监控，图像分析以及智能驾驶等领域中都有相对应的作用。
去雨算法可以分为两类：视频去雨和单帧图像去雨。在视频去雨中，Zhang等人运用了雨线的时间特性(每一个像素点都存在连续几帧都不被雨水遮挡的情况)以及色彩特性(雨的颜色和被雨线影响的像素点在R，G，B三通道通道上被影响的变化量都是相对固定的)得到了一个雨线检测与去除的模型。Garg基于物理性质描述了雨线光学特性的运动模糊模型，还构建了用以刻画雨线动态相关特性的模型，从而实现对视频中雨线的检测与去除。同时也提出了有关雨线动态特性的模型的同时提出合理的相机参数(如曝光时间，光圈大小)来得到更小的雨线对于图像的影响。Zhang和Li则对于雨水量小的视频中提出了与像素进行平均法的模型，由于像素收到雨滴的影响仅存在较短的一段时间中发生，所以可以采用对与每个像素在不同时间域中直接平均来得到去除雨水后的图像，并提出了用前后五帧的算法。
但是对于视频中的雨水去除的方法大多数并不适用于单张图片的去雨研究，由于没有时间域上的对比，因此单帧图片的去雨算法难度更加巨大。对于实用性方面，单张图片的去雨算法也能适用于视频去雨，所以应用将更加宽泛。
基于传统图像处理方法中，Kang等人运用形态学分析(morphological componentanalysis)，将图像分为高频分量和低频分量两个类别，由于雨滴会使画面突变所以基本上都存在于高频分量中。Kang通过字典学习以及稀疏编码对雨水图像进行训练生成字典，依靠分辨方向梯度的梯度算子，将字典分成描述有雨的原子和描述无雨的原子。对于高频分量，Kang通过无雨原子及其相对应的稀疏编码重建出高频分量中的无雨部分，同时将原始图像的低频分量与其进行叠加，得到最终的无雨图像。Chen则运用小波分析的方法对雨进行检测以及去除，通过与背景的对比，发现雨线颜色与景深有着明显的差异。基于Kang的方法加入了图像的景深以及色彩信息，以改善去雨效果。Zheng采用了双边滤波器，对于输入图像的高频分量进行滤波，再与原图像中的低频分量进行融合，得到最终的去雨图片。但是这些传统方法都存在共同的问题：1)对于图像的分解不能将雨水完全地分在高频中，在低频中会有雨水分量的残留。2)传统的图像处理方法中的滤波器并不能完全将雨的所有形态进行描述或者检测，这样就会导致雨水漏检的情况。
随着深度学习和神经网络在图像方面的发展，去雨的算法有了新的进展。Yang通过一个循环神经网络，将雨线特征，雨线分布预测和干净的背景做为三个训练的损失函数同时进行训练。循环结构的优点在于能够不断地将模型输出再做作为输入不断进行去雨的操作，从而最终得到理想的结果。Fu基于雨线集中存在于高频分量的特性将传统的字典和稀疏表示替换成卷积神经网络(convolutional neural network)已达到更精准的对于雨水的描述，从而在高频对图像进行去雨。大部分的去雨算法通过学习一个雨水层来反向叠加在原图上达到区域效果，所训练的模型往往会忽略背景中的细节部分，而导致模糊，颜色偏差等问题。其次，由于雨水的物理形态复杂，密集或稀疏，颗粒状或细线状。在处理图像的时候，主流的去雨算法缺少对图像细节以及整体的多尺度分析。
目前没有发现同本发明类似技术的说明或报道，也尚未收集到国内外类似的资料。
发明内容
本发明针对现有技术存在的上述不足，提供一种基于多尺度特征融合的单帧图像去雨方法，用于解决在的雨天下所拍摄的单张图像的复原问题。基于雨水在不同场合下呈现多样性的物理特征如雨线长短、雨势疏密，本发明通过运用不同尺度的感受野进行对有雨图像的特征提取，之后通过反卷积操作通过特征得到去雨结果，运用粗尺度的特征与细尺度特征的结合，还原出最逼近原图背景图片的效果。本发明不同于大多深度学习算法学习雨水层来达到去雨的效果，而是直接生成去雨图片，所以能很好地保留了图片细节，以及还原原有的背景颜色。此外，本发明也不需要任何先验知识或是对图像进行预处理和后处理，保证了整个图像结构的完整性。在两个测试集上的实验结果表明本发明所获得的去雨图像在亮度信号通道(1umiance channel)的峰值信噪比(PSNR)值，比目前前沿算法提高了2至5dB(亮度信号通道更能体现人眼的主观体验，是目前去雨算法主流的PSNR计算方法)。本发明采用多尺度下的图像特征提取，并将特征通过粗尺度与细尺度特征的相互融合，促进细尺度生成的无雨图像达到最好去雨的效果。
本发明是通过以下技术方案实现的。
一种基于多尺度特征融合的单帧图像去雨方法，包括以下步骤：
步骤S1：建立图像数据库。
所述的数据库包括两个部分：训练集和测试集。训练集中包含了有雨图像和其对应的无雨图像。其中有雨图像是在无雨的自然图片或者人物肖像的背景图片上添加人工合成的雨线。通过Photoshop等做图软件，运用添加杂色、高斯模糊以及动态模糊等操作可以生成逼真的雨水层。特别注意在添加雨水层的时候，需要使得雨线的形状、强度和方向具有多样性，这样训练出来的模型才能确保泛化能力。测试集分为两类：合成图片测试集和自然图片测试集。得到合成图片测试集的方法和得到训练集中有雨图像方法一致，由于合成图片测试集中含有无雨图像以及其对应的人工添加雨水的有雨图像，可以通过最后计算生成的去雨图像与原无雨图像在亮度信号通道的PSNR(峰值信噪比)量化指标来评价图像质量(去雨领域的评价体系中通常会通过计算在亮度信号通道上PSNR量化指标来评价去雨效果，因为光亮度通道更加突出雨水的位置，也更贴合人视觉感受。故而，本发明中采用亮度通道的PSNR值评价去雨深度网络对于合成图片测试集的去雨效果；)。而自然图片测试集是指真实生活中的诸多有雨图像，对这些图片的测试可以用来判断所训练的模型在现实的有雨图像中是否达到了好的效果。
步骤S2：运用训练集来训练多尺度的去雨深度网络，输入有雨图像进入去雨深度网络，得到的有雨图像通过损失函数，对网络进行反向传播。
其中，所述步骤S2包括如下子步骤：
步骤S21：所述去雨深度网络首先使用多个不同尺度下的卷积层构建的特征提取网络，所述特征提取网络提取输入有雨图像的图像特征。特征提取网络的输入是经过尺度归一化的雨水图像，大小为w*h*3，其中w为图像宽度，h为图像高度，图像通道为3。通过不同尺度下的卷积层，特征提取时能在细尺度和粗尺度都能够逐层提取由具体到抽象的图像特征。具体操作为：将输入的有雨图像通过3x3、7x7以及11x１１的卷积核并行卷积操作两层之后，进行三个尺度上特征的级联，形成特征提取过程。随后同上(将输入的有雨图像通过3x3、7x7以及11x11的卷积核并行卷积操作两层之后，进行三个尺度上特征级联的操作)，一共重复三次特征提取过程，形成三张三个尺度上的去雨图像；
具体的特征提取网络结构为：
其中I表示输入图像，C1表示感受野为3x3卷积层，C2表示感受野为7x7卷积层，C3表示感受野为11x11卷积层，CC表示三个尺度下的级联操作，R表示激活层PReLU
其中x为激活层ReLU的输入；所有卷积层的步长为1，每层卷积层的大小保持与输入的有雨图像一致，最后得到的特征大小为w*h*3。
将提取的特征经过反卷积层进行由粗尺度至细尺度的去雨图像生成；其中：
卷积核11x11的反卷积层操作结构为：CC(3)-DC3R(32)-DC3R(32)-SC31-DC3R(64)-DC3R(64)-DC3R(64)-DC3R(64)-SC32-DC3R(3)-Tanh-O3，其中，DC3表示感受野为11x11反卷积层，R表示激活层，SC31表示第二层反卷积之后，同感受野为11x11的卷积层倒数第二层C3R(32)相加的跳跃式直连的操作，SC32表示同感受野为11x11的卷积层第一层C3R(64)相加的跳跃式直连的操作，O3表示在粗尺度输出的去雨图像；
所述Tanh层定义为：
其中z为Tanh层的输入。
卷积核7x7的反卷积层操作结构为：CC(3)-DC2R(22)-DC2R(22)-SC21-DC2R(64)-CCDC3R(64)-DC2R(64)-DC2R(64)-DC2R(64)-SC22-DC3R(2)-Tanh-O2，DC2表示感受野为7x7反卷积层；其中在第三层反卷积后，加入CCDC3R(64)操作，表示与感受野为11x11尺度下倒数第一层反卷积的特征叠加，进而促进细尺度的去雨图像生成；。
卷积核3x3的反卷积层操作结构为：CC(3)-DC1R(22)-DC1R(22)-SC11-DC1R(64)-CCDC2R(64)-DC1R(64)-DC1R(64)-DC1R(64)-SC12-DC1R(2)-Tanh-O1，DC1表示感受野为3x3反卷积层；其中，在第三层反卷积操作后，加入CCDC2R(64)，表示与感受野为7x7尺度下倒数第一层反卷积的特征叠加。
将通过去雨深度网络输出的三张图像通过损失函数与无雨图像进行误差计算。我们运用三种误差函数
其中，
为均方误差函数，
对抗误差函数，
为视觉误差函数；其中，在感受野为11x11与7x7的尺度下生成的去雨图片通过损失函数
与无雨图像进行误差计算，在感受野为3x3的尺度下生成的去雨图片通过联合损失来计算，公式如下：
L＝λeLE+λaLA+λpLP
其中λe，λa，λp为相应损失函数的权重，我们取λa＝0.1，λe＝175，λp＝200。
在像素级上的欧式距离的均方误差函数LE定义如下所示：
其中，x为输入图像，φE为经过网络生成的去雨的操作，y为输入的有雨图像所对应的干净的无雨图像；C，W，H指的分别是图像的通道数，宽和高。
视觉误差函数LP定义如下：
其中，x为输入图像，φE为经过网络生成的去雨图片，y为输入的有雨图像所对应的干净的无雨图像；V指的是非线性CNN变换，从图像像素域转换到高维特征的领域，CiWiHi分别指的是高维空间中第i维的通道数，宽和高。
在对抗误差函数
中，运用一个判别器D，所述判别器D在输入去雨深度网络生成的去雨图像和测试集中真实的无雨图像之间判断真实的去雨图片；
所述判别器D的结构为：CB(K2)-CBP(2K2)-CBP(4K2)-CBP(8K2)-C(1)-Sigmoid；其中，C是指卷积，B是指批归一化，P是指激活层PReLU，Sigmoid是指Sigmoid层，K2是指通道数，定义K2＝48；所述激活层PReLU层定义为：
所述Sigmoid层定义为：
其中x为函数的输入；a为预设参数；对抗误差函数
定义如下，其中R为标准无雨图像，I为雨水图像，中E为经过多尺度去雨深度网络生成去雨图片的操作：
步骤S3：通过测试集中的有雨图像对本专利的去雨深度网络模型进行测试，得到的结果与其他主流去雨方法进行横向比对。
本发明提供的基于多尺度特征融合的单帧图像去雨方法，能够解决在各种类型的雨天下所拍摄的单张图像的复原问题。本发明通过运用不同尺度的感受野进行对有雨图像的特征提取作为编码器，之后通过反卷积操作作为解码器，运用粗尺度的特征与细尺度特征的结合，促进细尺度生成的无雨图像达到最好去雨的效果。通过在多个尺度上去除雨线，去雨的效果能使用于多种雨水情况，使得本发明的去雨算法更加具有普适性。为了更好地维持去雨图像块之间的结构、颜色等方面的一致性，本发明引用了对抗误差与感知误差构建了新的误差函数，对去雨模型进行训练。
本发明提供的基于多尺度特征融合的单帧图像去雨方法，通过运用不同尺度的感受野进行对有雨图像的特征提取，之后通过反卷积操作通过特征得到去雨结果，运用粗尺度的特征与细尺度特征的结合，促进细尺度生成的无雨图像达到最好去雨的效果。通过在多个尺度上去除雨线，去雨的效果能使用于多种雨水情况，使得本发明的去雨算法更加具有普适性。本发明引用了对抗误差与感知误差构建了新的误差函数，对去雨模型进行训练。本发明不需要任何先验知识，也不需要对图像进行预处理和后处理，保证了整个结构的完整性。在多个测试集上的结果表明本发明同前沿的主流去雨算法结果相比，在亮度信号通道(1umiance channel)上的峰值信噪比(PSNR)上能够提升2-5dB(亮度信号通道更能体现人眼的主观体验，是目前去雨算法主流的PSNR计算方法)。
与现有技术相比，本发明具有如下有益效果：
1、本发明运用粗尺度的特征与细尺度特征的结合，促进细尺度生成的无雨图像达到最好去雨的效果。
2、本发明通过在多个尺度上去除雨线，去雨的效果能使用于多种雨水情况，使得本发明的去雨算法更加具有普适性。
3、本发明不需要任何先验知识，也不需要对图像进行预处理和后处理，保证了整个结构的完整性。在多个测试集上的结果表明本发明同前沿的主流去雨算法结果相比，在亮度信号通道(1umiance channel)的峰值信噪比(PSNR)上能够提升2-5dB(亮度信号通道更能体现人眼的主观体验，是目前去雨算法主流的PSNR计算方法)。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1是本发明方法中去雨深度网络的去雨流程示意图。
图2是在Rain100数据集上的实验结果及对比结果图。
图3是在Rain40数据集上的实验结果及对比结果图。
具体实施方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例：
第一步：建立训练整个去雨模型的数据库。
所述的数据库包括两个部分：训练集和测试集。训练集中包含了有雨图像和其对应的无雨图像。该实施例中，训练集里面涵盖了700张图片，其中500张是从UCID图像数据库中的前800张图片中选取的，剩下的200张来自BSD-500数据库中的训练集。其中有雨图像是由人工添加雨线合成得到的，且雨线的形状、强度和方向都具有多样性，以确保泛化能力。测试集分为两类：合成图片测试集和自然图片测试集；合成图片测试集里面含有无雨的原图，所以最后可计算在亮度信号通道(luminance channel)上的峰值信噪比(PSNR)等量化指标来评价图像质量(亮度信号通道更能体现人眼的主观体验，是目前去雨算法主流的PSNR计算方法)。在多个测试集上的结果表明本发明同前沿的主流去雨算法结果相比，我们的去雨结果在峰值信噪比(PSNR)上能够提升2-5dB。自然图片测试集可以用来测试所训练的模型在现实生活中是否可行。该实施例中，合成图片测试集有Rain100和Rain40数据集。Rain100包含了在不同场合下的100张合成有雨图像。Rain40包含了40张有雨合成图片，雨水的形态、大小更加多样。而在自然图片测试集中，包含了30张来源于网上的自然有有雨图像。在训练之前所有图像都会放缩到同一个大小：300x300。
第二步S2：运用训练集来训练多尺度的去雨深度网络，输入有雨图像进入去雨深度网络，得到的有雨图像通过损失函数，对网络进行反向传播。
其中，所述步骤S2包括如下子步骤：
步骤S21：使用多个不同尺度下的卷积层构建特征提取网络，提取输入有雨图像的图像特征。特征提取网络的输入是经过尺度归一化的雨水图像，大小为w*h*3，其中w为图像宽度，h为图像高度，图像通道为3。通过不同尺度下的卷积层，特征提取时能在细尺度和粗尺度都能够逐层提取由具体到抽象的图像特征。具体操作为：将输入的有雨图像通过3x3、7x7以及11x11的卷积核并行卷积操作两层之后，进行三个尺度上特征的级联。随后同上(将输入的有雨图像通过3x3、7x7以及11x11的卷积核并行卷积操作两层之后，进行三个尺度上特征级联的操作)，一共重复三次三个尺度上的特征提取，形成三张三个尺度上的去雨图像；
具体的特征提取网络结构为：
其中I表示输入图像，C1表示感受野为3x3卷积层，C2表示感受野为7x7卷积层，C3表示感受野为11x11卷积层，CC表示三个尺度下的级联操作，R表示激活层PReLU
其中x为激活层ReLU的输入；所有卷积层的步长为1，每层卷积层的大小保持与有雨图像一致，最后得到的特征大小为w*h*3。
将提取的特征经过反卷积层进行由粗尺度至细尺度的去雨图像生成；其中：
卷积核11x11的反卷积层操作结构为：CC(3)-DC3R(32)-DC3R(32)-SC31-DC3R(64)-DC3R(64)-DC3R(64)-DC3R(64)-SC32-DC3R(3)-Tanh-O3，其中，DC3表示感受野为11x11反卷积层，R表示激活层，SC31表示第二层反卷积之后，同感受野为11x11的卷积层倒数第二层C3R(32)相加的跳跃式直连的操作，SC32表示同感受野为11x11的卷积层第一层C3R(64)相加的跳跃式直连的操作，O3表示在粗尺度输出的去雨图像；
所述Tanh层定义为：
其中z为Tanh层的输入。
卷积核7x7的反卷积层操作结构为：CC(3)-DC2R(22)-DC2R(22)-SC21-DC2R(64)-CCDC3R(64)-DC2R(64)-DC2R(64)-DC2R(64)-SC22-DC3R(2)-Tanh-O2，DC2表示感受野为7x7反卷积层；其中在第三层反卷积后，加入CCDC3R(64)操作，表示与感受野为11x11尺度下倒数第一层反卷积的特征叠加，进而促进细尺度的去雨图像生成；。
卷积核3x3的反卷积层操作结构为：CC(3)-DC1R(22)-DC1R(22)-SC11-DC1R(64)-CCDC2R(64)-DC1R(64)-DC1R(64)-DC1R(64)-SC12-DC1R(2)-Tanh-O1，DC1表示感受野为3x3反卷积层；其中，在第三层反卷积操作后，加入CCDC2R(64)，表示与感受野为7x7尺度下倒数第一层反卷积的特征叠加。
将通过去雨深度网络输出的三张图像通过损失函数与无雨图像进行误差计算。我们运用三种误差函数
其中，
为均方误差函数，
对抗误差函数，
为视觉误差函数；其中，在感受野为11x11与7x7的尺度下生成的去雨图片通过损失函数
与无雨图像进行误差计算，在感受野为3x3的尺度下生成的去雨图片通过联合损失来计算，公式如下：
L＝λeLE+λaLA+λpLP
其中λe，λa，λp为相应损失函数的权重，我们取λa＝0.1，λe＝175，λp＝200。
在像素级上的欧式距离的均方误差函数LE定义如下所示：
其中，x为输入图像，φE为经过网络生成的去雨的操作，y为输入的有雨图像所对应的干净的无雨图像；C，W，H指的分别是图像的通道数，宽和高。
视觉误差函数LP定义如下：
其中，x为输入图像，φE为经过网络生成的去雨图片，y为输入的有雨图像所对应的干净的无雨图像；V指的是非线性CNN变换，从图像像素域转换到高维特征的领域，CiWiHi分别指的是高维空间中第i维的通道数，宽和高。
在本实施例中，采用VGG模型将图像转换到高维特征空间。VGG能够有效地提取图像特征，因此其在许多领域上都有着优异的表现。VGG构建了多个不同层数的模型：VGG-11，VGG-13，VGG-16和VGG-19。本实施例使用的是VGG-16模型，其是在ImageNet数据库上预训练的。ImageNet数据库含有1300百万张图像，它们分别来自于1000个不同的类型。基于如此庞大的数据库，预训练好的VGG-16模型中的卷积层可以有效地提取图像中的特征信息，所以当两张图像的高级特征更相近时，则可以理解为两张图像的视觉效果更为相近。本实施例采用的是VGG-16中的ReLU2-2提取的特征图。
在对抗误差函数
中，运用一个判别器D，所述判别器D在输入去雨深度网络生成的去雨图像和测试集中真实的无雨图像之间判断真实的去雨图片；
所述判别器D的结构为：CB(K2)-CBP(2K2)-CBP(4K2)-CBP(8K2)-C(1)-Sigmoid；其中，C是指卷积，B是指批归一化，P是指激活层PReLU，Sigmoid是指Sigmoid层，K2是指通道数，定义K2＝48；所述激活层PReLU层定义为：
所述Sigmoid层定义为：
其中x为函数的输入；a为预设参数；对抗误差函数
定义如下，其中R为标准无雨图像，I为雨水图像，φE为经过多尺度去雨深度网络生成去雨图片的操作：
步骤S3：通过测试集中的有雨图像对本专利的去雨深度网络模型进行测试，得到的结果与其他主流去雨方法进行横向比对。
实施效果：
依据上述步骤，在两个合成图片测试集Rain100和Rain40以及自然图片测试集中进行去雨操作的实验。Rain100是由UCID数据库和BDS-500数据库中采取自然图像，而后进行雨线的添加而成。Rain40是由Microsoft Coco 2017数据库和BDS-500数据库中采取自然图像，人工添加雨线而成。在Rain40数据库中，添加雨水时着重于添加不同雨水的形状、强度和方向，可以测试去雨算法的泛化能力。而在自然图片测试集中，包含了30张来源于网上的自然有有雨图像。
本实施例去雨算法的效果表明，在多尺度特征融合的方法下，无论是去雨的效果，还是在还原原图象的背景的效果都能比其他主流方法更加有效。因为只有合成图片测试集才包含了无雨的原图，所以在图2、图3中列举出合成雨水数据集的去雨结果在亮度信号通道(1umiance channel)上的峰值信噪比(PSNR)，结构相似性(SSIM)，图像质量评价(UQI)等量化指标。其中LP表示Li采用高斯混合模型进行去雨的算法，CNN表示Fu运用卷积神经网络获取雨水特征生成雨水层的方法，RES表示Fu通过残差神经网络的结构来学习雨水层的方法，JORDER表示Yang通过多重卷积层分别学习雨水层和雨雾层对图像还原，ID-CGAN是Zhang采用类似U-Net(图像分割网络)的对抗神经网络实现去雨层的学习和去除。MSN-DID方式是Zhang先通过将雨分类成小、中、大雨，并将雨势特征加入去雨水时的图像特征中。实施效果表明本方法能够在更好地适应不同雨水场景和天气条件，更具有鲁棒性。较之于现有的单张图像的去雨方法，本实施例在合成图片测试集上的所有量化指标值都得到了显著的提高。在自然图片测试集上，本实施例也得到了更好的结果，保留更多的细节和去除了大部分的雨线。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。
Claims (6)
1.一种基于多尺度特征融合的单帧图像去雨方法，其特征在于，包括以下步骤：
第一步，建立图像数据库；
所述图像数据库包括训练集和测试集，其中训练集包括有雨图像和与有雨图像相对应的无雨图像；所述测试集包括合成图片测试集和自然图片测试集，所述合成图片测试集和自然图片测试集均包括有雨图像和与有雨图像相对应的无雨图像；
第二步，运用训练集来训练多尺度的去雨深度网络，输入有雨图像进入去雨深度网络，得到的有雨图像通过损失函数，对去雨深度网络进行反向传播；
第三步，通过测试集中的有雨图像对去雨深度网络进行测试，得到的结果与其他去雨方法进行横向比对，进而判断去雨深度网络的有效性；
所述训练集和合成图片测试集中的有雨图像均是在无雨图像上由人工添加雨线合成得到；所述自然图片测试集中的图片采用真实生活中的有雨图像；所述训练集和测试集中的所有图片具有相同的尺寸大小；
在第三步中，采用亮度通道的PSNR值评价去雨深度网络对合成图片测试集中的有雨图像进行去雨的去雨效果；
所述去雨深度网络首先使用多个不同尺度下的卷积层构建的特征提取网络；所述特征提取网络提取训练集中有雨图像的图像特征；特征提取网络的输入是经过尺度归一化的有雨图像，大小为w*h*3，其中w为图像宽度，h为图像高度，图像通道为3；其中：
提取有雨图像特征的操作为：
将输入的有雨图像通过3x3、7x7以及11x11的卷积核并行卷积操作两层之后，进行三个尺度上特征的级联，形成特征提取过程；
重复执行特征提取过程，实现在三个尺度上的特征提取，形成三张三个尺度上的去雨图像；
特征提取网络结构为：
其中I表示输入图像，C1表示感受野为3x3卷积层，C2表示感受野为7x7卷积层，C3表示感受野为11x11卷积层，CC表示三个尺度下的级联操作，R表示激活层PReLU
其中x为激活层ReLU的输入；所有卷积层的步长为1，每层卷积层的大小保持与输入的有雨图像一致，最后得到的特征大小为w*h*3；
将提取的特征经过反卷积层进行由粗尺度至细尺度的去雨图像生成；其中：
卷积核11x11的反卷积层操作结构为：CC(3)-DC3R(32)-DC3R(32)-SC31-DC3R(64)-DC3R(64)-DC3R(64)-DC3R(64)-SC32-DC3R(3)-Tanh-O3，其中，DC3表示感受野为11x11反卷积层，R表示激活层，SC31表示第二层反卷积之后，同感受野为11x11的卷积层倒数第二层C3R(32)相加的跳跃式直连的操作，SC32表示同感受野为11x11的卷积层第一层C3R(64)相加的跳跃式直连的操作，O3表示在粗尺度输出的去雨图像；
所述Tanh层定义为：
其中z为Tanh层的输入；
卷积核7x7的反卷积层操作结构为：CC(3)-DC2R(22)-DC2R(22)-SC21-DC2R(64)-CCDC3R(64)-DC2R(64)-DC2R(64)-DC2R(64)-SC22-DC3R(2)-Tanh-O2，DC2表示感受野为7x7反卷积层；其中在第三层反卷积后，加入CCDC3R(64)操作，表示与感受野为11x11尺度下倒数第一层反卷积的特征叠加，进而促进细尺度的去雨图像生成；
卷积核3x3的反卷积层操作结构为：CC(3)-DC1R(22)-DC1R(22)-SC11-DC1R(64)-CCDC2R(64)-DC1R(64)-DC1R(64)-DC1R(64)-SC12-DC1R(2)-Tanh-O1，DC1表示感受野为3x3反卷积层；其中，在第三层反卷积操作后，加入CCDC2R(64)，表示与感受野为7x7尺度下倒数第一层反卷积的特征叠加。
2.根据权利要求1所述的基于多尺度特征融合的单帧图像去雨方法，其特征在于，将通过去雨深度网络输出的三张图像通过损失函数与无雨图像进行误差计算；
所采用的损失函数包括：
其中，
为均方误差函数，
对抗误差函数，
为视觉误差函数；其中，在感受野为11x11与7x7的尺度下生成的去雨图片通过损失函数
与无雨图像进行误差计算，在感受野为3x3的尺度下生成的去雨图片通过联合损失来计算，公式如下：
L＝λeLE+λaLA+λpLP
其中λe，λa，λp为相应损失函数的权重。
3.根据权利要求2所述的基于多尺度特征融合的单帧图像去雨方法，其特征在于，表示在像素级上的欧式距离的均方误差函数LE定义如下所示：
其中，x为输入图像，φE为经过网络生成的去雨的操作，y为输入的有雨图像所对应的干净的无雨图像；C、W、H分别为图像的通道数、宽和高。
4.根据权利要求2所述的基于多尺度特征融合的单帧图像去雨方法，其特征在于，视觉误差函数LP定义如下：
其中，x为输入图像，φE为经过网络生成的去雨图片，y为输入的有雨图像所对应的干净的无雨图像；V指的是非线性CNN变换，从图像像素域转换到高维特征的领域，Ci、Wi、Hi分别为高维空间中第i维的通道数、宽和高。
5.根据权利要求2所述的基于多尺度特征融合的单帧图像去雨方法，其特征在于，在对抗误差函数
中，运用一个判别器D，所述判别器D在输入去雨深度网络生成的去雨图像和测试集中真实的无雨图像之间判断真实的去雨图片；
所述判别器D的结构为：CB(K2)-CBP(2K2)-CBP(4K2)-CBP(8K2)-C(1)–Sigmoid；其中，C是指卷积，B是指批归一化，P是指激活层PReLU，Sigmoid是指Sigmoid层，K2是指通道数，定义K2＝48；所述激活层PReLU层定义为：
所述Sigmoid层定义为：
其中x为函数的输入；a为预设参数；对抗误差函数
定义如下，其中R为标准无雨图像，I为雨水图像，φE为经过多尺度去雨深度网络生成去雨图片的操作：
6.根据权利要求2所述的基于多尺度特征融合的单帧图像去雨方法，其特征在于，取λa＝0.1,λe＝175,λp＝200。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810938303.6A CN109360155B (zh) | 2018-08-17 | 2018-08-17 | 基于多尺度特征融合的单帧图像去雨方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810938303.6A CN109360155B (zh) | 2018-08-17 | 2018-08-17 | 基于多尺度特征融合的单帧图像去雨方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109360155A CN109360155A (zh) | 2019-02-19 |
| CN109360155B true CN109360155B (zh) | 2020-10-13 |
Family
ID=65350072
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810938303.6A Active CN109360155B (zh) | 2018-08-17 | 2018-08-17 | 基于多尺度特征融合的单帧图像去雨方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109360155B (zh) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110097522B (zh) * | 2019-05-14 | 2021-03-19 | 燕山大学 | 一种基于多尺度卷积神经网络的单幅户外图像去雾方法 |
| CN110472634B (zh) * | 2019-07-03 | 2023-03-14 | 中国民航大学 | 基于多尺度深度特征差值融合网络的变化检测方法 |
| CN110503610B (zh) * | 2019-07-16 | 2023-07-18 | 江苏大学 | 一种基于gan网络的图像雨雪痕迹去除方法 |
| CN110443761B (zh) * | 2019-07-16 | 2022-02-15 | 大连理工大学 | 一种基于多尺度聚合特征的单幅图像去雨方法 |
| WO2021017445A1 (zh) * | 2019-07-31 | 2021-02-04 | 浙江大学 | 一种针对雨天图片的卷积神经网络降雨强度分类方法及量化方法 |
| CN110675330A (zh) * | 2019-08-12 | 2020-01-10 | 广东石油化工学院 | 基于通道级注意力机制的编码-解码网络的图像去雨方法 |
| CN110544217B (zh) * | 2019-08-30 | 2021-07-20 | 深圳市商汤科技有限公司 | 一种图像处理方法及装置、电子设备和存储介质 |
| CN110544221B (zh) * | 2019-09-05 | 2022-03-29 | 迪爱斯信息技术股份有限公司 | 训练方法及装置、去雨方法、终端设备、存储介质 |
| CN110751612A (zh) * | 2019-11-05 | 2020-02-04 | 哈尔滨理工大学 | 多通道多尺度卷积神经网络的单幅图像去雨方法 |
| CN110838095B (zh) * | 2019-11-06 | 2022-06-07 | 广西师范大学 | 一种基于循环密集神经网络的单幅图像去雨方法和系统 |
| CN110866879B (zh) * | 2019-11-13 | 2022-08-05 | 江西师范大学 | 一种基于多密度雨纹感知的图像去雨方法 |
| CN110992275B (zh) * | 2019-11-18 | 2023-05-23 | 天津大学 | 一种基于生成对抗网络的细化单幅图像去雨方法 |
| CN111127354B (zh) * | 2019-12-17 | 2022-07-26 | 武汉大学 | 一种基于多尺度字典学习的单图像去雨方法 |
| CN111429436B (zh) * | 2020-03-29 | 2022-03-15 | 西北工业大学 | 一种基于多尺度注意力和标签损失的本质图像分析方法 |
| CN111462013B (zh) * | 2020-04-03 | 2022-03-22 | 西安交通大学 | 一种基于结构化残差学习的单图去雨方法 |
| CN111583143A (zh) * | 2020-04-30 | 2020-08-25 | 广州大学 | 一种复杂图像去模糊方法 |
| CN111783934A (zh) * | 2020-05-15 | 2020-10-16 | 北京迈格威科技有限公司 | 卷积神经网络构建方法、装置、设备及介质 |
| CN112308156B (zh) * | 2020-11-05 | 2022-05-03 | 电子科技大学 | 一种基于对抗学习的两阶段图像变化检测方法 |
| CN112750093B (zh) * | 2021-01-25 | 2021-10-22 | 中国人民解放军火箭军工程大学 | 一种基于时序标签传递的视频图像去雾方法 |
| CN113450278B (zh) * | 2021-06-30 | 2022-02-18 | 中国矿业大学 | 一种基于跨域协同学习的图像去雨方法 |
| CN113256541B (zh) * | 2021-07-16 | 2021-09-17 | 四川泓宝润业工程技术有限公司 | 利用机器学习对钻井平台监控画面进行去水雾的方法 |
| CN113962905B (zh) * | 2021-12-03 | 2023-05-05 | 四川大学 | 基于多阶段特征互补网络的单幅图像去雨方法 |
| CN115578295B (zh) * | 2022-11-17 | 2023-04-07 | 中国科学技术大学 | 一种视频去雨方法、系统、设备及存储介质 |
| CN116188792B (zh) * | 2023-02-23 | 2023-10-20 | 四川大学 | 一种针对全血细胞散点图的定量分析方法及系统 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103729828A (zh) * | 2013-12-12 | 2014-04-16 | 中国科学院深圳先进技术研究院 | 视频去雨方法 |
| CN104299200A (zh) * | 2014-10-22 | 2015-01-21 | 中国科学院深圳先进技术研究院 | 一种彩色增强的单幅图像去雨处理方法 |
| CN104537622A (zh) * | 2014-12-31 | 2015-04-22 | 中国科学院深圳先进技术研究院 | 单幅图像中去除雨滴影响的方法和系统 |
| CN105139344A (zh) * | 2015-06-12 | 2015-12-09 | 中国科学院深圳先进技术研究院 | 基于频域及相位一致性的单幅图像去除雨滴影响的方法和系统 |
| CN106023112A (zh) * | 2016-05-24 | 2016-10-12 | 中国科学院深圳先进技术研究院 | 一种基于小波分析的图像去雨方法及系统 |
| CN106204499A (zh) * | 2016-07-26 | 2016-12-07 | 厦门大学 | 基于卷积神经网络的单幅图像去雨方法 |
| CN106971378A (zh) * | 2016-08-23 | 2017-07-21 | 上海海洋大学 | 一种基于深度去噪自编码器的单幅图像去雨方法 |
| CN107133935A (zh) * | 2017-05-25 | 2017-09-05 | 华南农业大学 | 一种基于深度卷积神经网络的单图像精细去雨方法 |
| CN107657593A (zh) * | 2017-04-20 | 2018-02-02 | 湘潭大学 | 一种单幅图像去雨方法 |
| CN107704857A (zh) * | 2017-09-25 | 2018-02-16 | 北京邮电大学 | 一种端到端的轻量级车牌识别方法及装置 |
| CN107909556A (zh) * | 2017-11-27 | 2018-04-13 | 天津大学 | 基于卷积神经网络的视频图像去雨方法 |
-
2018
- 2018-08-17 CN CN201810938303.6A patent/CN109360155B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103729828A (zh) * | 2013-12-12 | 2014-04-16 | 中国科学院深圳先进技术研究院 | 视频去雨方法 |
| CN104299200A (zh) * | 2014-10-22 | 2015-01-21 | 中国科学院深圳先进技术研究院 | 一种彩色增强的单幅图像去雨处理方法 |
| CN104537622A (zh) * | 2014-12-31 | 2015-04-22 | 中国科学院深圳先进技术研究院 | 单幅图像中去除雨滴影响的方法和系统 |
| CN105139344A (zh) * | 2015-06-12 | 2015-12-09 | 中国科学院深圳先进技术研究院 | 基于频域及相位一致性的单幅图像去除雨滴影响的方法和系统 |
| CN106023112A (zh) * | 2016-05-24 | 2016-10-12 | 中国科学院深圳先进技术研究院 | 一种基于小波分析的图像去雨方法及系统 |
| CN106204499A (zh) * | 2016-07-26 | 2016-12-07 | 厦门大学 | 基于卷积神经网络的单幅图像去雨方法 |
| CN106971378A (zh) * | 2016-08-23 | 2017-07-21 | 上海海洋大学 | 一种基于深度去噪自编码器的单幅图像去雨方法 |
| CN107657593A (zh) * | 2017-04-20 | 2018-02-02 | 湘潭大学 | 一种单幅图像去雨方法 |
| CN107133935A (zh) * | 2017-05-25 | 2017-09-05 | 华南农业大学 | 一种基于深度卷积神经网络的单图像精细去雨方法 |
| CN107704857A (zh) * | 2017-09-25 | 2018-02-16 | 北京邮电大学 | 一种端到端的轻量级车牌识别方法及装置 |
| CN107909556A (zh) * | 2017-11-27 | 2018-04-13 | 天津大学 | 基于卷积神经网络的视频图像去雨方法 |
Non-Patent Citations (2)
| Title |
|---|
| 《Removing Rain from Single Images via a Deep Detail Network》;Xueyang Fu等;《2017 IEEE Conference on Computer Vision and Pattern Recognition》;20171231;第1715-1723页 * |
| 《多尺度卷积神经网络的单幅图像去雨方法》;郭继昌等;《哈尔滨工业大学学报》;20180331;第50卷(第3期);第2.4节第1-3段，摘要，第3节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109360155A (zh) | 2019-02-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109360155B (zh) | 基于多尺度特征融合的单帧图像去雨方法 | |
| CN109360156B (zh) | 基于生成对抗网络的图像分块的单张图像去雨方法 | |
| CN106204467B (zh) | 一种基于级联残差神经网络的图像去噪方法 | |
| CN110443761B (zh) | 一种基于多尺度聚合特征的单幅图像去雨方法 | |
| CN111161360B (zh) | 基于Retinex理论的端到端网络的图像去雾方法 | |
| CN111553851B (zh) | 一种基于时间域的雨线分解和空间结构引导的视频去雨方法 | |
| CN112270654A (zh) | 基于多通道gan的图像去噪方法 | |
| CN113284061B (zh) | 一种基于梯度网络的水下图像增强方法 | |
| CN108564597A (zh) | 一种融合高斯混合模型和h-s光流法的视频前景目标提取方法 | |
| Fan et al. | Multiscale cross-connected dehazing network with scene depth fusion | |
| Gu et al. | A two-component deep learning network for SAR image denoising | |
| CN109064402A (zh) | 基于增强非局部总变分模型先验的单幅图像超分辨率重建方法 | |
| CN106709926B (zh) | 基于动态先验知识估计的快算去雨方法 | |
| Abo El Rejal | An end-to-end CNN approach for enhancing underwater images using spatial and frequency domain techniques | |
| Yang et al. | Detail-aware near infrared and visible fusion with multi-order hyper-Laplacian priors | |
| Zhang et al. | Multi-scale attentive feature fusion network for single image dehazing | |
| Jiang et al. | Haze relevant feature attention network for single image dehazing | |
| Ju et al. | Vrohi: Visibility recovery for outdoor hazy image in scattering media | |
| Matsui et al. | Single-image rain removal using residual deep learning | |
| Gong et al. | Wavelet based deep recursive pyramid convolution residual network for single image rain removal | |
| Chen et al. | Rain removal via residual generation cascading | |
| Li et al. | Extended neighborhood-based road and median filter for impulse noise removal from depth map | |
| Kim | Improvement of low-light image by convolutional neural network | |
| Wang et al. | Multistage Feature Complimentary Network for Single-Image Deraining | |
| CN111539889B (zh) | 一种基于多重卷积下确界振荡广义全变分的图像去雨方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |