CN109360156B - 基于生成对抗网络的图像分块的单张图像去雨方法 - Google Patents

基于生成对抗网络的图像分块的单张图像去雨方法 Download PDF

Info

Publication number
CN109360156B
CN109360156B CN201810938304.0A CN201810938304A CN109360156B CN 109360156 B CN109360156 B CN 109360156B CN 201810938304 A CN201810938304 A CN 201810938304A CN 109360156 B CN109360156 B CN 109360156B
Authority
CN
China
Prior art keywords
rain
image
network
picture
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810938304.0A
Other languages
English (en)
Other versions
CN109360156A (zh
Inventor
徐奕
倪冰冰
谌乔波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201810938304.0A priority Critical patent/CN109360156B/zh
Publication of CN109360156A publication Critical patent/CN109360156A/zh
Application granted granted Critical
Publication of CN109360156B publication Critical patent/CN109360156B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于生成对抗网络的图像分块的单张图像去雨方法，通过将图像划分成互不重叠的大小相同的图像块，将每个图像块作为条件生成对抗网络的输入，降低输入的维度；一个生成对抗网络被训练用来实现有雨图像块到无雨图像块的非线性映射，有效克服了许多细节部分被忽略的问题，并且可以尽可能地在每个尺度上去除雨线；为了更好地维持去雨图像块之间的结构、颜色等方面的一致性，引用了双边滤波器和非均值局部去噪算法，构建了新的误差函数，添加至条件生成对抗网络的总的误差函数中。本发明不需要任何先验知识，也不需要对图像进行预处理和后处理，保证了整个结构的完整性。在测试集上的结果显示本发明先比经典算法提高了4～7dB。

Description

基于生成对抗网络的图像分块的单张图像去雨方法
技术领域
本发明涉及的是一种单张图像增强处理技术领域的方法，具体是一种基于生成对抗网络的图像分块的单张图像去雨方法。
背景技术
自然界的恶劣天气，例如雨、雾等情况，在现实生活中是不可避免的。而这些情况会给所拍摄的图像带来许多负面影响，比如：导致场景内的结构变形，所拍摄的图像存在模糊现象。这会使得获取的图像或视频质量严重退化，最终影响目标检测、分割、识别等图像理解任务的实现效果。在雨天的恶劣条件中，如何去除雨线显得尤为重要。因为雨线会带来不同的视觉退化类型，而且图像去雨也一直是辅助驾驶系统的挑战难题。对于远距离拍摄的图像而言，雨线会累积生成雾气，进而影响视觉效果。而近距离的雨线会对光有强反射效应，导致看不清背景。尤其是在大雨的情况下，背景往往难以被看清。有雨图像被认为是背景图像层和雨线图像层的叠加，去除雨线可以被理解为将这两个图像层分离开来。因此，如何有效地分类背景层和雨线层是图像去雨的主要挑战。在不同场景下，雨线具有不一样的形状和不一样的方向，且所处的位置也很随机。同时，背景可能含有与雨线具有一定相似性的边缘和纹理。在这种情况下，如何有效地去除雨线并保留背景中的纹理是一个至关重要的问题。
经过对现有技术的文献检索发现，目前已有的去雨方法主要包括基于视频图像的去雨方法和基于单幅图像的去雨方法。基于视频图像的去雨方法可以利用上下帧之间的关联信息来捕捉雨线。Kshitiz Garg和Shree K.Nayar在2004年《IEEE InternationalConference on Computer Vision and Pattern Recognition》(IEEE计算机视觉和模式识别国际会议)上发表的“Detection and removal of rain from videos”(视频中雨的检测与去除)提出了一个捕捉雨线动态特征的关联模型和一个基于物理特性来描述雨的光度测定的运动模糊模型，但这类方法对于基于单张图像的雨线去除任务来说并不适用。基于单幅图像的去雨方法被进一步进行研究，可以分成三种：基于图像分解的去雨方法，基于原始图像的去雨方法和基于深度神经网络的去雨方法。基于图像分解的去雨方法首次是由Li-Wei Kang等人在2012年《IEEE Transactions on Image Processing》(IEEE图像处理汇刊)发表的“Automatic Single-Image-Based Rain Streaks Removal via ImageDecomposition”(基于图像分解的单张图像自动雨线去除)先采用双边滤波器将图像分解为高频分量和低频分量，针对高频分量使用字典学习和稀疏编码训练用于图像表达的字典，接着使用K-means的方法将字典原子集合分成有雨原子集合和无雨原子集合。无雨原子构成的字典重建出高频分量的无雨部分，和之前双边滤波器分解获得的低频分量相加，得到最终的去雨图片。这类方法很难将无雨原子和有雨原子有效地区分开来，导致去雨结果往往过于光滑，存在模糊现象。另外，低频部分往往也会存留雨雾甚至一些雨线，尤其是在大雨情况下。对于基于原始图像的去雨方法，Yu Li等人在2016年《IEEE Conference onComputer Vision and Pattern Recognition》(IEEE机器视觉和模式识别国际会议)发表的“Rain Streak removal using layer priors”(基于层先验知识的雨线去除)对背景和前景图像构造能有效描述多尺度多方向的雨线的高斯模型。此类方法利用了雨具有类似的结构特征，因此很容易去除背景里反复出现的纹理，但此类方法依赖于先验知识的准确性和普适性。随着深度神经网络在计算机视觉领域的广泛使用和优异表现，第三类方法被提出。Zhang He等人发表的“Image De-raining Using a Conditional GenerativeAdversarial Network”一文中提出训练生成对抗网络实现从有雨图像到无雨图像的非线性映射。然而，该方法将整张图片作为输入，导致输入维度过高，而模型往往会忽略背景中的细节，因此需要进一步构建更好的模型来实现单张图像的去雨任务。
发明内容
本发明针对现有技术存在的上述不足，提供一种基于生成对抗网络的图像分块的单张图像去雨方法，用于解决在各种类型的雨天下所拍摄的单张图像的复原问题。本发明通过对输入图像划分为多个互不重叠的相同大小的图像块，将每个图像块作为网络输入，从而可以降低输入的维度。同时，为了维持图像块之间颜色和结构的连贯性，我们借用了双边滤波器和非局部均值去噪算法，以相邻图像块的权重和来预测当前图像块。其中，权重是以当前图像块与相邻图像块间的相似性和距离来定义的。这样有效克服了许多图像细节部分被忽略的问题，并且可以尽可能地去除雨线。本发明不需要任何先验知识，也不需要对图像进行预处理和后处理，保证了整个图像结构的完整性。在测试集上的实验结果表明本发明所获得的去雨图像质量，比经典算法提高了3～6dB(以PSNR作为量化标准)。
本发明是通过以下技术方案实现的。
一种基于生成对抗网络的图像分块的单张图像去雨方法，包括以下步骤：
第S1步，建立去雨图像数据库；
第S2步，建立与去雨图像数据库相对应的去雨图像块数据库；
第S3步，将去雨图像块数据库作为条件生成对抗网络的输入，利用去雨图像数据库训练条件生成对抗网络，实现去雨图像块数据库中有雨图像块至无雨图像块的非线性映射；同时将条件生成对抗网络的原对抗误差函数修改为添加了均方误差、去噪预测误差和视觉误差的权重误差函数；
第S4步，将条件生成对抗网络生成的所有尺度上的无雨图像块整合在一起，形成去雨后无雨图像。
优选地，第S1步中：所述去雨图像数据库包括训练集和测试集，其中：
所述训练集包括有雨图像和其对应的无雨图像，用来训练整个条件生成对抗网络；
所述测试集包括合成图片测试集和自然图片测试集，其中合成图片测试集包括无雨原图像，用来评价去雨后无雨图像的图像质量，自然图片测试集用来测试所训练的条件生成对抗网络在现实生活中是否可行。
优选地，所述有雨图像中的雨线由人工添加合成得到的，其中雨线的形状、强度和方向均具有多样性，以确保泛化能力。
优选地，在训练整个条件生成对抗网络之前，将训练集中的所有图像放缩到同一个大小。
优选地，第S2步中：将去雨图像数据库的训练集中的有雨图像和其对应的无雨图像均划分成多个互不重叠的大小相同的图像块，即构建与训练集相对应的去雨图像块数据库；在对条件生成对抗网络的训练过程中，将每个图像块作为条件生成对抗网络的输入。
优选地，第S3步中：所述条件生成对抗网络包括两个子网络：生成器网络G和判别器网络D，通过两个子网络互相对抗来达到最后的生成效果；其中：
生成器网络G的输入是训练集中人工合成的有雨图像，记作向量z；通过生成器网络G得到去雨图片G(z)；而通过计算去雨图片G(z)与训练集中相对应的无雨图像的误差函数，更新生成器网络G参数，从而得到最优的条件生成对抗网络；
判别器网络D用于判断输入的图片是由生成器网络G生成的去雨结果图片还是真实图片，如果判断概率都是0.5，则说明区分不出来，生成器网络G已经训练成功；保持生成器网络G不变，训练判别器网络D，保持判别器网络D不变，训练生成器网络G；交替进行训练过程，最终生成器网络G生成多个尺度上的去雨结果图片。
优选地，生成器网络G的网络结构采用了对称的网络结构，其前半部分包括一系列的卷积层，所述卷积层结合了批归一化和PReLU激活函数层，用于提取图像的有效特征，并将这些有效特征结合起来，其后半部分是一系列的反卷积层，所述反卷积层结合了批归一化和PReLU激活函数层，用于卷积层的反向操作；生成器网络G同时采用了对称的跨越联系，即第一层卷积层与倒数第一层的反卷积层相加起来，以此类推；生成器网络G的最后一层为Tanh层；
生成器网络G的网络结构表示为：
CBP(K1)-CBP(K1)-CBP(K1)-CBP(K1)-CBP(K1/2)-CBP(1)-DBP(K1/2)-DBP(K1)-DBP(K1)-DBP(K1)-DBP(3)-Tanh
其中，C表示卷积层，B表示批归一化，P表示激活函数层，D表示反卷积层，K1表示通道数；
所述激活函数层定义为：
Figure BDA0001768461370000041
其中x为激活函数层的输入；
所述Tanh层定义为：
Figure BDA0001768461370000042
其中z为Tanh层的输入；
判别器网络D包括一系列的卷积层，所述卷积层结合了批归一化和PReLU激活函数层，用于提取图像的特征，以此判别器网络D根据这些图像的特征进行分类；判别器网络D最后一层为Sigmoid层，用以将输出映射成概率值；
判别器网络D的网络结构表示为：
CB(K2)-CBP(2K2)-CBP(4K2)-CBP(8K2)-C(1)-Sigmoid
其中，C表示卷积层，B表示批归一化，P表示激活函数层，K2表示通道数；
所述Sigmoid层定义为：
Figure BDA0001768461370000051
其中x为Sigmoid层的输入。
优选地，修改后的条件生成对抗网络误差函数(权重误差函数)为原对抗误差函数
Figure BDA0001768461370000052
均方误差函数
Figure BDA0001768461370000053
视觉误差函数
Figure BDA0001768461370000054
和去噪预测误差函数
Figure BDA0001768461370000055
的权重和，表示为：
Figure BDA0001768461370000056
其中，λα、λp和λn分别为
Figure BDA0001768461370000057
和
Figure BDA0001768461370000058
误差相对应的权重；
像素级上的均方误差函数定义如下所示：
Figure BDA0001768461370000059
其中，φE为生成器网络G输出的去雨结果图片，y为去雨结果图片所对应的真实图片，C、W、H分别是真实图片的图像通道数、宽和高；
原对抗误差函数定义如下所示：
Figure BDA00017684613700000510
其中，z为随机噪声，x为输入的有雨图片，y为目标的无雨图片；
视觉误差函数定义如下：
Figure BDA00017684613700000511
其中，φE为生成器网络G输出的去雨结果图片，y为去雨结果图片所对应的真实图片，V是非线性卷积神经网络变换，即从图像像素域转换到高维特征域，Ci、Wi、Hi分别是高维特征域上的图像通道数、宽和高；V(φE(xc，w，h))和V(yc，w，h)代表去雨结果图片和真实图片的高维特征；
去噪预测误差函数结合双边滤波器算法和非局部均值去噪算法，使用结构相似或者距离相近的图像块来预测当前图像块，最后计算所预测的图像块和当前的理想无雨图像块之间的均值误差作为条件生成对抗网络的额外误差；
双边滤波器和非局部均值去噪是图像处理中最为广泛应用的操作，在双边滤波器算法中，使用几何空间欧氏距离函数和像素差值函数来定义相邻像素值的权重：
权重系数w(i，j，k，l)的定义如下：
Figure BDA0001768461370000061
Figure BDA0001768461370000062
其中，y和
Figure BDA0001768461370000063
分别是带有噪声和去噪后的图像，i，j指的是当前像素的位置，k，l则指的是相邻像素的位置，σd和σr则是相对应的参数；
在非局部均值去噪算法中，设定两个固定大小的窗口：邻域窗口(d×d)和搜索窗口(D×D)，其中，d和D都为奇数，指的是窗口的边长，搜索区域的中心即是当前像素块R(xl)，R(xa)是邻域窗口，其中，R(xl)和R(xa)分别是以xl和xa为中心的矩形区域；随后，邻域窗口R(xa)将从上至下，从左至右地在搜索窗口中滑动，然后计算邻域窗口R(xa)和当前像素块R(xl)之间的相似度，来定义邻域窗口R(xa)应贡献的权值；
权重系数w(xa，xl)的定义如下：
Figure BDA0001768461370000064
其中
Figure BDA0001768461370000065
Figure BDA0001768461370000071
Figure BDA0001768461370000072
为平滑系数，用于控制高斯函数的随距离的衰减速度，
Figure BDA0001768461370000073
越大，则衰减速度越慢，去噪的图像更趋近于模糊；
Figure BDA0001768461370000074
越小，则衰减速度越快，图像能保持更多的细节纹理部分。
优选地，采用VGG模型将图像像素域转换到高维特征域。
优选地，第S4步中：将所有尺度上的无雨图像块整合在一起的融合方法为：将生成器网络G生成的无雨图像块拼接在一起；为了消除无雨图像块之间的拼接痕迹，在测试去雨效果的时候，将去雨图像块一个个像素地平移过去，将每次的去雨结果按照原先位置叠加，最后除以每个位置上叠加的次数，从而得到最后的去雨结果，即去雨后无雨图像。
本发明的原理是，考虑到若在整张无雨图片上进行操作的话，输入维度过高，难以训练去雨模型，纹理等细节信息往往会被认为不重要而被忽略，若在高频分量上进行区域，则其余分量上的雨线或雨雾又会被忽略。因此，将图像划分成多个大小相同的互不重叠的图像块，将每个图像块都作为生成对抗网络的输入，训练条件生成对抗网络，从而实现从有雨图像块到无雨图像块的非线性映射。如此一来，本发明既降低了输入的维度，又没有忽略任何图像中的信息，从而达到了去除尽可能多的雨线又保留背景中的细节部分的目的，并且避免了图像失真的问题。
与现有技术相比，本发明具有如下有益效果：
本发明对有雨图像划分成大小相同的互不重叠的图像块，将每个图像块都作为去除雨线的条件生成对抗网络的输入，最后将所有区域，既实现了去除尽可能多的雨线，也很好地保留了干净背景中的细节部分。在相同的实验条件和数据库下，该算法的去雨结果和原图的PSNR值可达到26dB，比现有算法的结果提高了3～7dB。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1是本发明方法中去雨步骤的流程图；
图2是本发明方法中非局部均值去噪的示意图，其中，R(xl)为当前像素块。R(xa)是邻域窗口；
图3是本发明方法中生成对抗网络的示意图；
图4是实施例中的去雨模型工作过程的示意图；
图5是实施例中去雨结果示意图，其中，(a)和(c)分别为有雨图像，(b)和(d)分别为与(a)和(c)相对应的无雨图像；
具体实施方式
下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
实施例
本实施例提供了一种基于生成对抗网络的图像分块的单张图像去雨方法，包括如下步骤：
第一步：建立训练整个模型的图像数据库。
所述的数据库包括两个部分：训练集和测试集。训练集中包含了有雨图像和其对应的无雨图像。其中有雨图像是由人工添加雨线合成得到的，且雨线的形状、强度和方向都具有多样性，以确保泛化能力。测试集分为两类：合成图片测试集和自然图片测试集。合成图片测试集里面含有无雨原图像，所以最后可计算PSNR等量化指标来评价去雨后无雨图像的图像质量。自然图片测试集可以用来测试所训练的模型在现实生活中是否可行。因为原图的大小都不一致，所以在训练之前所有图像都会放缩到同一个大小。
第二步：建立训练整个模型的与去雨图像数据库相对应的去雨图像块数据库。
将训练集中的有雨图像和其对应的无雨图像都划分成多个互不重叠的大小相同的图像块，即构建训练集的去雨图像块数据库。在对条件生成对抗网络的训练过程中，将每个图像块作为生成对抗网络的输入。
第三步：训练一个条件生成对抗网络(生成对抗网络的一种扩展)，用于实现对于有雨图像块至无雨图像块的非线性映射。为了得到更好视觉效果的图片，对条件生成对抗网络的误差函数进行修改。
所述的生成对抗网络主要包括两个子网络：生成器网络G和判别器网络D。通过两个子网络互相对抗来达到最后的生成效果。生成器的输入是随机生成的向量z，通过学习训练集的数据分布可生成与真实图片同类型的图片，而判别器用于判断输入图片是由生成器生成的图片还是真实图片，如果判断概率都是0.5，则说明区分不出来，则生成器已经训练成功。保持生成器不变，训练判别器。保持判别器不变，训练生成器。这样的训练过程交替进行。最终生成器可以生成一堆很真的假图片。
首先我们知道真实图片集的分布Pdata，x是一个真实图片，可以想象成一个向量，这个向量集合的分布就是Pdata。我们需要生成一些也在这个分布内的图片，如果直接就是这个分布的话，怕是做不到的。现有的生成器生成的分布可以假设为Pz(z；θ)，这是一个由θ控制的分布，θ是这个分布的参数(如果是高斯混合模型，那么θ就是每个高斯分布的平均值和方差)。假设我们在真实分布中取出一些数据，{x1，x2，……，xm}，我们想要计算一个似然Pz(xi；θ)。对于这些数据，在生成模型中的似然就是
Figure BDA0001768461370000091
我们想要最大化这个似然，等价于让generator生成那些真实图片的概率最大。这就变成了一个最大似然估计的问题了，我们需要找到一个θ来最大化这个似然。
Figure BDA0001768461370000092
所以最大化似然，让生成器最大概率的生成真实图片，也就是要找一个θ让Pz更接近于Pdata。神经网络只要有非线性激活函数，就可以去拟合任意的函数，分布也是一样，可以用正态分布，或者高斯分布，取样去训练一个神经网络，学习到一个很复杂的分布。而生成对抗网络就是用来寻找更接近的分布。首先随机一个向量z，通过G(z)＝x这个网络，生成图片x。生成对抗网络的公式如下：
Figure BDA0001768461370000093
这个式子的好处在于，固定G，max V(G，D)表示Pz和Pdata之间的差异，然后要找一个最好的G，让这个最大值最小，也就是两个分布之间的差异最小，即：G*＝arg minG maxD V(G，D)
Figure BDA0001768461370000101
D要让这个式子尽可能的大，也就是对于x是真实分布中，D(x)要接近与1，对于x来自于生成的分布，D(x)要接近于0，然后G要让式子尽可能的小，让来自于生成分布中的x，D(x)尽可能的接近1。
在本实施例中，生成器是用来实现从有雨图像块到无雨图像块的非线性映射，其生成出来的去雨图片需要能够欺骗判别器。而判别器是被训练为可分辨输入图片是由生成器生成的去雨图像块还是真实的无雨图像块。在生成对抗网络中，生成器的输入是随机噪声，为了添加有雨图像块作为输入，用条件生成对抗网络取代生成对抗网络。相比生成对抗网络而言，条件生成对抗网络添加了有雨图像块作为输入，从而可以实现有雨图像块到无雨图像块的映射。条件生成对抗网络的误差公式为：
Figure BDA0001768461370000102
在该误差公式中，z为随机噪声，x为输入的有雨图片，y为目标的无雨图片。
所述的修改后的误差函数为：在以上的条件生成对抗网络的误差公式的基础上，添加了均方误差函数(MSE：mean square error)
Figure BDA0001768461370000103
视觉误差函数函数(perceptual lossfunction)
Figure BDA0001768461370000104
和去噪预测误差函数
Figure BDA0001768461370000105
生成器的目标是去除尽可能的雨线，与此同时保留尽可能多的背景中的纹理和边缘等细节部分。所以主要关键在于生成器和判别器有好的网络结构。
所述的网络结果具体如下：
1.生成器
之前去雨的方法，不管是基于图像分解还是基于深度神经网络，其整体结构都是对称的。在本实施例中，生成器也是采用了对称的网络结构。前半部分是一系列的卷积层(结合了批归一化和PReLU激活函数层)。其作用是提取图像的有效特征，并将这些有效特征结合起来。生成器的后半部分是一系列的反卷积层(同样结合了批归一化和PReLU激活函数层)。反卷积层可以视为是卷积层的反向操作。此外，为了让训练更加有效和收敛，生成器采用了对称的跨越联系，即比如：第一层卷积网络会和倒数第一层的反卷积网络相加起来。最后一层为Tanh层。生成器的网络结构为：CBP(K1)-CBP(K1)-CBP(K1)-CBP(K1)-CBP(K1/2)-CBP(1)-DBP(K1/2)-DBP(K1)-DBP(K1)-DBP(K1)-DBP(3)-Tanh
其中，C是指卷积层(Convolutional layer)，B是指批归一化(Batchnormalization)，P是指激活层(PReLU)，D是指反卷积层(Deconvolutional layer)，K1是指通道数。
所述的PReLU层定义为：
Figure BDA0001768461370000111
所述的Tanh层定义为：
Figure BDA0001768461370000112
2.判别器
判别器是由一系列的卷积层(结合了批归一化和PReLU激活函数层)所构成的。这些卷积层能有效地提取图像的特征，以此判别器可根据这些特征将图像进行很好地分类。判别器最后一层是Sigmoid层，用以将输出映射成概率值。
判别器的网络结构为：CB(K2)-CBP(2K2)-CBP(4K2)-CBP(8K2)-C(1)-Sigmoid。
其中，C是指卷积层(Convolutional layer)，B是指批归一化(Batchnormalization)，P是指激活层(PReLU)，Sigmoid是指Sigmoid层，K2是指通道数。
所述的Sigmoid层定义为：
Figure BDA0001768461370000113
3.修改后的误差函数
生成对抗网络的误差函数：
Figure BDA0001768461370000114
其中，
Figure BDA0001768461370000115
为均方误差函数，
Figure BDA0001768461370000116
为CGAN的对抗误差函数，
Figure BDA0001768461370000117
为视觉误差函数，
Figure BDA0001768461370000118
为去噪预测误差函数。λα，λp和λn分别为
Figure BDA0001768461370000119
和
Figure BDA00017684613700001110
误差相对应的权重。
像素级上的欧式距离定义如下所示：
Figure BDA00017684613700001111
其中，中E为生成模型G输出的去雨图片，y为其所对应的干净的无雨图片。C，W，H指的分别是图像的通道数，宽和高。
CGAN的对抗误差函数即如下所示：
Figure BDA0001768461370000121
同理，视觉误差定义如下：
Figure BDA0001768461370000122
其中，φE为生成模型G输出的去雨图像块，y为其所对应的干净的无雨图像块。V指的是非线性CNN变换，从图像像素域转换到高维特征的领域，Ci，Wi，Hi指的分别是高维特征域上的通道数，宽和高。V(φE(xc，w，h))和V(yc，w，h)代表去雨结果和无雨图的高维特征。在实际实验中，我们采用的是VGG模型将图像转换到高维特征空间。VGG能够有效地提取图像特征，因此其在许多领域上都有着优异的表现。VGG构建了多个不同层数的模型：VGG-11，VGG-13，VGG-16和VGG-19。本文使用的是VGG-16模型，其是在ImageNet数据库上预训练的。ImageNet数据库含有1300百万张图像，它们分别来自于1000个不同的类型。基于如此庞大的数据库，预训练好的VGG-16模型中的卷积层可以有效地提取图像中的特征信息，所以当两张图像的高级特征更相近时，则可以理解为两张图像的视觉效果更为相近。本实施例采用的是VGG-16中的ReLU2-2提取的特征图。
去噪预测误差函数是根据双边滤波器和非局部均值去噪两个算法的概念所定义的。图像去噪算法的核心思想在于使用其他像素值的权重和来预测当前像素的数值。双边滤波器只考虑使用相邻的像素值来进行预测，而非局部均值去噪算法则是只考虑了采用结构相似的像素值进行预测。本实施例结合了这两个概念使用结构相似或者距离相近的图像块来预测当前图像块，最后计算所预测的图像块和当前的理想无雨图像块之间的均值误差作为生成对抗网络的额外误差。
双边滤波器中，使用几何空间欧氏距离函数和像素差值函数来定义相邻像素值的权重：
权重系数w(i，j，k，l)的定义如下：
Figure BDA0001768461370000131
Figure BDA0001768461370000132
其中，y和
Figure BDA0001768461370000133
分别是带有噪声和去噪后的图像。i，j指的是当前像素的位置，k，l则指的是相邻像素的位置，σd和σr则是相对应的参数。
非局部均值去噪的思想在于：在一张图片中，有很多像素块具有很高的相似度，甚至是相同的，因此可以利用图像的冗余信息进行去噪，同时能够尽可能地保存干净背景中的细节纹理。根据理论，我们需要计算图像中所有的图像块之间的相似度，但这会带来极大的计算量和耗费许多时间。考虑到算法效率，非局部均值去噪算法设定了两个固定大小的窗口：邻域窗口(d×d)和搜索窗口(D×D)。其中，d和D都为奇数，指的是窗口的边长。搜索区域的中心即是当前像素块R(xl)。R(xa)是邻域窗口。其中，R(xl)和R(xa)分别是以xl和xa为中心的矩形区域。随后，邻域窗口R(xa)将从上至下，从左至右地在搜索窗口中滑动，然后计算邻域窗口R(xa)和当前像素块R(xl)之间的相似度，来定义邻域窗口R(xa)应贡献的权值。
权重系数w(xa，xl)的定义如下：
Figure BDA0001768461370000134
其中
Figure BDA0001768461370000135
Figure BDA0001768461370000136
Figure BDA0001768461370000137
为平滑系数，用于控制高斯函数的随距离的衰减速度，
Figure BDA0001768461370000138
越大，则衰减速度越慢，去噪的图像更趋近于模糊；
Figure BDA0001768461370000139
越小，则衰减速度越快，图像能保持更多的细节纹理部分。
第四步：将生成器生成的无雨图像块最后拼接在一起，即可得到最后的去雨后无雨图像。为了更好地消除图像块之间的拼接痕迹，在测试去雨效果的时候，可以将图像块一个个像素地平移过去，将每次去雨结果按照原先位置叠加，最后除以每个位置上叠加的次数，从而得到最后的去雨结果。
下面对本实施例进一步详细描述。
第一步：建立训练整个模型的去雨图像数据库。
所述的数据库包括两个部分：训练集和测试集。训练集中包含了有雨图像和其对应的无雨图像。该实施例中，训练集里面涵盖了700张，其中500张是从UCID图像数据库中的前800张图片，剩下的200张来自BSD-500数据库中的训练集。其中有雨图像是由人工添加雨线合成得到的，且雨线的形状、强度和方向都具有多样性，以确保泛化能力。测试集分为两类：合成图片测试集和自然图片测试集合成图片测试集里面含有无雨的原图，所以最后可计算PSNR等量化指标来评价图像质量。自然图片测试集可以用来测试所训练的模型在现实生活中是否可行。该实施例中，合成图片测试集里面含有100张图，50张来自UCID数据库中的后500张图，另外50张测试图片来自于BDS-500数据库中的测试集。自然图片测试集里面包含了50张来源于网上的自然有雨图。因为原图的大小都不一致，所以在训练之前所有图像都会放缩到同一个大小：256×256。
第二步：建立训练整个模型的与去雨图像数据库相对应的去雨图像块数据库。
将训练集中的有雨图像和其对应的无雨图像都划分成多个互不重叠的大小相同的图像块，即构建训练集的图像块数据库。在训练过程中，将每个图像块作为生成对抗网络的输入。
第三步：训练一个条件生成对抗网络(生成对抗网络的一种扩展)，用于实现对于有雨图像块至无雨图像块的非线性映射。为了得到更好视觉效果的图片，条件生成对抗网络的误差函数被修改。
所述的生成对抗网络主要包括两个子网络：生成器G和判别器D。通过两个子网络互相对抗来达到最后的生成效果。生成器的输入是随机生成的向量z，通过学习训练集的数据分布可生成与真实图片同类型的图片，而判别器用于判断输入图片是由生成器生成的图片还是真实图片，如果判断概率都是0.5，则说明区分不出来，则生成器已经训练成功。保持生成器不变，训练判别器。保持判别器不变，训练生成器。这样的训练过程交替进行。最终生成器可以生成一堆很真的假图片。
首先我们知道真实图片集的分布Pdata，x是一个真实图片，可以想象成一个向量，这个向量集合的分布就是Pdata。我们需要生成一些也在这个分布内的图片，如果直接就是这个分布的话，怕是做不到的。现有的生成器生成的分布可以假设为Pz(z；θ)，这是一个由θ控制的分布，θ是这个分布的参数(如果是高斯混合模型，那么θ就是每个高斯分布的平均值和方差)。假设我们在真实分布中取出一些数据，{x1，x2，……，xm}，我们想要计算一个似然Pz(xi；θ)。对于这些数据，在生成模型中的似然就是
Figure BDA0001768461370000151
我们想要最大化这个似然，等价于让generator生成那些真实图片的概率最大。这就变成了一个最大似然估计的问题了，我们需要找到一个θ来最大化这个似然。
Figure BDA0001768461370000152
所以最大化似然，让生成器最大概率的生成真实图片，也就是要找一个θ让Pz更接近于Pdata。神经网络只要有非线性激活函数，就可以去拟合任意的函数，分布也是一样，可以用正态分布，或者高斯分布，取样去训练一个神经网络，学习到一个很复杂的分布。而生成对抗网络就是用来寻找更接近的分布。首先随机一个向量z，通过G(z)＝x这个网络，生成图片x。生成对抗网络的公式如下：
Figure BDA0001768461370000153
这个式子的好处在于，固定G，max V(G，D)表示Pz和Pdata之间的差异，然后要找一个最好的G，让这个最大值最小，也就是两个分布之间的差异最小，即：G*＝arg minG maxD V(G，D)
Figure BDA0001768461370000154
D要让这个式子尽可能的大，也就是对于x是真实分布中，D(x)要接近与1，对于x来自于生成的分布，D(x)要接近于0，然后G要让式子尽可能的小，让来自于生成分布中的x，D(x)尽可能的接近1。
在本实施例中，生成器是用来实现在某尺度上从有雨图像块到无雨图像块的非线性映射，其生成出来的去雨图像块需要能够欺骗判别器。而判别器是被训练为可分辨输入图片是由生成器生成的去雨图像块还是真实的无雨图像块。在生成对抗网络中，生成器的输入是随机噪声，为了添加有雨图片作为输入，用条件生成对抗网络取代生成对抗网络。相比生成对抗网络而言，条件生成对抗网络添加了有雨图像块作为输入，从而可以更好地实现有雨图像块到无雨图像块的映射。条件生成对抗网络的误差公式为：
Figure BDA0001768461370000161
在该误差公式中，z为随机噪声，x为输入的有雨图片，y为目标的无雨图片。
所述的修改后的误差函数为：在以上的条件生成对抗网络的误差公式的基础上，添加了均方误差(MSE：mean square error)
Figure BDA0001768461370000162
视觉误差函数
Figure BDA0001768461370000163
和去噪预测误差函数
Figure BDA0001768461370000164
生成器的目标是去除尽可能的雨线，与此同时保留尽可能多的背景中的纹理和边缘等细节部分。所以主要关键在于生成器和判别器有好的网络结构。
所述的网络结果具体如下：
1.生成器
之前去雨的方法，不管是基于图像分解还是基于深度神经网络，其整体结构都是对称的。在本实施例中，生成器也是采用了对称的网络结构。前半部分是一系列的卷积层(结合了批归一化和PReLU激活函数层)。其作用是提取图像的有效特征，并将这些有效特征结合起来。生成器的后半部分是一系列的反卷积层(同样结合了批归一化和PReLU激活函数层)。反卷积层可以视为是卷积层的反向操作。此外，为了让训练更加有效和收敛，生成器采用了对称的跨越联系，即比如：第一层卷积网络会和倒数第一层的反卷积网络相加起来。最后一层为Tanh层。
该实例中，生成器的网络结构为：CBP(K1)-CBP(K1)-CBP(K1)-CBP(K1)-CBP(K1/2)-CBP(1)-DBP(K1/2)-DBP(K1)-DBP(K1)-DBP(K1)-DBP(3)-Tanh
其中，C是指卷积层(Convolutional layer)，B是指批归一化(Batchnormalization)，P是指激活层(PReLU)，D是指反卷积层(Deconvolutional layer)，K1是指通道数。本实例中，K1＝64。
所述的PReLU层定义为：
Figure BDA0001768461370000171
该实例中，a＝0.0002。
所述的Tanh层定义为：
Figure BDA0001768461370000172
2.判别器
判别器是由一系列的卷积层(结合了批归一化和PReLU激活函数层)所构成的。这些卷积层能有效地提取图像的特征，以此判别器可根据这些特征将图像进行很好地分类。判别器最后一层是Sigmoid层，用以将输出映射成概率值。
判别器的网络结构为：CB(K2)-CBP(2K2)-CBP(4K2)-CBP(8K2)-C(1)-Sigmoid。
其中，C是指卷积层(Convolutional layer)，B是指批归一化(Batchnormalization)，P是指激活层(PReLU)，Sigmoid是指Sigmoid层，K2是指通道数。该实例中，K2＝48。
所述的Sigmoid层定义为：
Figure BDA0001768461370000173
3.修改后的误差函数
生成对抗网络的误差函数：
Figure BDA0001768461370000174
其中，
Figure BDA0001768461370000175
为均方误差函数，
Figure BDA0001768461370000176
为CGAN的对抗误差函数，
Figure BDA0001768461370000177
为视觉误差函数，
Figure BDA0001768461370000178
为去噪预测误差函数。λα，λp和λn分别为
Figure BDA0001768461370000179
和
Figure BDA00017684613700001710
误差相对应的权重。
像素级上的欧式距离定义如下所示：
Figure BDA00017684613700001711
其中，φE为生成模型G输出的去雨图片，y为其所对应的干净的无雨图片。C，W，H指的分别是图像的通道数，宽和高。
CGAN的对抗误差函数即如下所示：
Figure BDA00017684613700001712
同理，视觉误差定义如下：
Figure BDA0001768461370000181
其中，φE为生成模型G输出的去雨图像块，y为其所对应的干净的无雨图像块。V指的是非线性CNN变换，从图像像素域转换到高维特征的领域，Ci，Wi，Hi指的分别是高维特征域上的通道数，宽和高。V(φE(xc，w，h))和V(yc，w，h)代表去雨结果和无雨图的高维特征。在实际实验中，我们采用的是VGG模型将图像转换到高维特征空间。VGG能够有效地提取图像特征，因此其在许多领域上都有着优异的表现。VGG构建了多个不同层数的模型：VGG-11，VGG-13，VGG-16和VGG-19。本文使用的是VGG-16模型，其是在ImageNet数据库上预训练的。ImageNet数据库含有1300百万张图像，它们分别来自于1000个不同的类型。基于如此庞大的数据库，预训练好的VGG-16模型中的卷积层可以有效地提取图像中的特征信息，所以当两张图像的高级特征更相近时，则可以理解为两张图像的视觉效果更为相近。本实施例采用的是VGG-16中的ReLU2-2提取的特征图。
去噪预测误差函数是根据双边滤波器和非局部均值去噪两个算法的概念所定义的。图像去噪算法的核心思想在于使用其他像素值的权重和来预测当前像素的数值。双边滤波器只考虑使用相邻的像素值来进行预测，而非局部均值去噪算法则是只考虑了采用结构相似的像素值进行预测。本实施例结合了这两个概念使用结构相似或者距离相近的图像块来预测当前图像块，最后计算所预测的图像块和当前的理想无雨图像块之间的均值误差作为生成对抗网络的额外误差。
双边滤波器中，使用几何空间欧氏距离函数和像素差值函数来定义相邻像素值的权重：
权重系数w(i，j，k，l)的定义如下：
Figure BDA0001768461370000182
Figure BDA0001768461370000191
其中，y和
Figure BDA0001768461370000192
分别是带有噪声和去噪后的图像。i，j指的是当前像素的位置，k，l则指的是相邻像素的位置，σd和σr则是相对应的参数。
非局部均值去噪的思想在于：在一张图片中，有很多像素块具有很高的相似度，甚至是相同的，因此可以利用图像的冗余信息进行去噪，同时能够尽可能地保存干净背景中的细节纹理。根据理论，我们需要计算图像中所有的图像块之间的相似度，但这会带来极大的计算量和耗费许多时间。考虑到算法效率，非局部均值去噪算法设定了两个固定大小的窗口：邻域窗口(d×d)和搜索窗口(D×D)。其中，d和D都为奇数，指的是窗口的边长。搜索区域的中心即是当前像素块R(xl)。R(xa)是邻域窗口。其中，R(xl)和R(xa)分别是以xl和xa为中心的矩形区域。随后，邻域窗口R(xa)将从上至下，从左至右地在搜索窗口中滑动，然后计算邻域窗口R(xa)和当前像素块R(xl)之间的相似度，来定义邻域窗口R(xa)应贡献的权值。
权重系数w(xa，xl)的定义如下：
Figure BDA0001768461370000193
其中
Figure BDA0001768461370000194
Figure BDA0001768461370000195
Figure BDA0001768461370000196
为平滑系数，用于控制高斯函数的随距离的衰减速度，
Figure BDA0001768461370000197
越大，则衰减速度越慢，去噪的图像更趋近于模糊；
Figure BDA0001768461370000198
越小，则衰减速度越快，图像能保持更多的细节纹理部分。
第四步：将生成器生成的无雨图像块最后拼接在一起，即可得到最后的去雨图像。为了更好地消除图像块之间的拼接痕迹，在测试去雨效果的时候，可以将图像块一个个像素地平移过去，将每次去雨结果按照原先位置叠加，最后除以每个位置上叠加的次数，从而得到最后的去雨结果。所以，在本实施例中，可以实现一张高质量的无雨图片。
实施效果
依据上述步骤，对合成图片测试集和自然图片测试机进行去雨操作。合成图片测试集里面含有100张图，50张来自UCID数据库中的后500张图，另外50张测试图片来自于BDS-500数据库中的测试集。其中有雨图是由人工添加雨线合成得到的，且雨线的形状、强度和方向都具有多样性，以确保泛化能力。自然图片测试集里面包含了50张来源于网上的自然有雨图。因为只有合成图片测试集才包含了无雨的原图，所以只有在该测试集上才可以计算PSNR，VIF等量化指标。以下只展示在合成图片测试集上的结果。
采用Liwei Kang等人单张图像去雨的方法，去雨结果为：
当量化指标为PSNR时，其值为18.56；
当量化指标为SSIM时，其值为0.5996；
当量化指标为VIF时，其值为0.3325。
采用Yu Li等人单张图像去雨的方法，去雨结果为：
当量化指标为PSNR时，其值为22.27；
当量化指标为SSIM时，其值为0.7413；
当量化指标为VIF时，其值为0.4042。
采用Zhang He等人单张图像去雨的方法，去雨结果为：
当量化指标为PSNR时，其值为22.73；
当量化指标为SSIM时，其值为0.8133；
当量化指标为VIF时，其值为0.4148。
本实施例中单张图像去雨的方法，去雨结果为：
当量化指标为PSNR时，其值为25.37；
当量化指标为SSIM时，其值为0.8607；
当量化指标为VIF时，其值为0.6975。
实验表明，较之于现有的单张图像的去雨方法，本实施例在合成图片测试集上的所有量化指标值都得到了显著的提高。在自然图片测试集上，本实施例也得到了更好的结果，保留更多的细节和去除了大部分的雨线。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (7)

1.基于生成对抗网络的图像分块的单张图像去雨方法，其特征在于，包括以下步骤：
第S1步，建立去雨图像数据库；
第S2步，建立与去雨图像数据库相对应的去雨图像块数据库；
第S3步，将去雨图像块数据库作为条件生成对抗网络的输入，利用去雨图像数据库训练条件生成对抗网络，实现去雨图像块数据库中有雨图像块至无雨图像块的非线性映射；同时将条件生成对抗网络的原对抗误差函数修改为添加了均方误差、去噪预测误差和视觉误差的权重误差函数；
第S4步，将条件生成对抗网络生成的所有尺度上的无雨图像块整合在一起，形成去雨后无雨图像；
第S1步中：所述去雨图像数据库包括训练集和测试集，其中：
所述训练集包括有雨图像和与有雨图像对应的无雨图像，用来训练条件生成对抗网络；
所述测试集包括合成图片测试集和自然图片测试集，其中合成图片测试集包括无雨原图像，用来评价去雨后无雨图像的图像质量，自然图片测试集用来测试所训练的条件生成对抗网络在现实生活中的可行性；
第S3步中：所述条件生成对抗网络包括两个子网络：生成器网络G和判别器网络D，通过两个子网络互相对抗来达到最后的生成效果；其中：
生成器网络G的输入是训练集中的有雨图像，记作向量z；通过生成器网络G得到去雨图片G(z)；而通过计算去雨图片G(z)与训练集中相对应的无雨图像的误差函数，更新生成器网络G参数，从而得到最优的条件生成对抗网络；
判别器网络D用于判断输入的图片是由生成器网络G生成的去雨结果图片还是真实图片，如果判断概率都是0.5，则说明生成器网络G已经训练成功；保持生成器网络G不变，训练判别器网络D，保持判别器网络D不变，训练生成器网络G；交替进行训练过程，最终生成器网络G生成多个尺度上的去雨结果图片；
权重误差函数为原对抗误差函数
Figure FDA0002577257940000011
均方误差函数
Figure FDA0002577257940000012
视觉误差函数
Figure FDA0002577257940000013
和去噪预测误差函数
Figure FDA0002577257940000021
的权重和，表示为：
Figure FDA0002577257940000022
其中，λα、λp和λn分别为
Figure FDA0002577257940000023
和
Figure FDA0002577257940000024
误差相对应的权重；
像素级上的均方误差函数定义如下所示：
Figure FDA0002577257940000025
其中，φE为生成器网络G输出的去雨结果图片，x为输入的有雨图片，y为去雨结果图片所对应的真实图片，C、W、H分别是真实图片的图像通道数、宽和高；
原对抗误差函数定义如下所示：
Figure FDA0002577257940000026
其中，z为随机噪声，x为输入的有雨图片，y为目标的无雨图片；
视觉误差函数定义如下：
Figure FDA0002577257940000027
其中，φE为生成器网络G输出的去雨结果图片，y为去雨结果图片所对应的真实图片，V是非线性卷积神经网络变换，即从图像像素域转换到高维特征域，C、W、H分别是高维特征域上的图像通道数、宽和高；V(φE(xc,w,h))和V(yc,w,h)代表去雨结果图片和真实图片的高维特征；
去噪预测误差函数结合双边滤波器算法和非局部均值去噪算法，使用结构相似或者距离相近的图像块来预测当前图像块，最后计算所预测的图像块和当前的理想无雨图像块之间的均值误差作为条件生成对抗网络的额外误差；
在所述双边滤波器算法中，使用几何空间欧氏距离函数和像素差值函数来定义相邻像素值的权重：
权重系数w(i,j,k,l)的定义如下：
Figure FDA0002577257940000031
Figure FDA0002577257940000032
其中，y和
Figure FDA0002577257940000033
分别是带有噪声和去噪后的图像，i，j指的是当前像素的位置，k，l则指的是相邻像素的位置，σd和σr则是相对应的参数；
在非局部均值去噪算法中，设定两个固定大小的窗口：邻域窗口(d×d)和搜索窗口(D×D)，其中，d和D都为奇数，指的是窗口的边长，搜索区域的中心即是当前像素块R(xl)，R(xa)是邻域窗口，其中，R(xl)和R(xa)分别是以xl和xa为中心的矩形区域；随后，邻域窗口R(xa)将从上至下，从左至右地在搜索窗口中滑动，然后计算邻域窗口R(xa)和当前像素块R(xl)之间的相似度，来定义邻域窗口R(xa)应贡献的权值；
权重系数w(xa,xl)的定义如下：
Figure FDA0002577257940000034
其中
Figure FDA0002577257940000035
Figure FDA0002577257940000036
Figure FDA0002577257940000037
为平滑系数，用于控制高斯函数的随距离的衰减速度，
Figure FDA0002577257940000038
越大，则衰减速度越慢，去噪的图像更趋近于模糊；
Figure FDA0002577257940000039
越小，则衰减速度越快，图像能保持更多的细节纹理部分。
2.根据权利要求1所述的基于生成对抗网络的图像分块的单张图像去雨方法，其特征是，所述有雨图像中的雨线由人工添加合成得到的，其中雨线的形状、强度和方向均具有多样性，以确保泛化能力。
3.根据权利要求1所述的基于生成对抗网络的图像分块的单张图像去雨方法，其特征是，在训练条件生成对抗网络之前，将训练集中的所有图像放缩到同一大小。
4.根据权利要求1所述的基于生成对抗网络的图像分块的单张图像去雨方法，其特征是，第S2步中：将去雨图像数据库的训练集中的有雨图像和有雨图像对应的无雨图像均划分成多个互不重叠的大小相同的图像块，即构建与训练集相对应的去雨图像块数据库；在对条件生成对抗网络的训练过程中，将每个图像块作为条件生成对抗网络的输入。
5.根据权利要求1所述的基于生成对抗网络的图像分块的单张图像去雨方法，其特征是，生成器网络G的网络结构采用了对称的网络结构，其前半部分包括一系列的卷积层，所述卷积层结合了批归一化和PReLU激活函数层，用于提取图像的有效特征，并将这些有效特征结合起来，其后半部分是一系列的反卷积层，所述反卷积层结合了批归一化和PReLU激活函数层，用于卷积层的反向操作；生成器网络G同时采用了对称的跨越联系，即第一层卷积层与倒数第一层的反卷积层相加起来，以此类推；生成器网络G的最后一层为Tanh层；
生成器网络G的网络结构表示为：
ConvBP(K1)-ConvBP(K1)-ConvBP(K1)-ConvBP(K1)-ConvBP(K1/2)-ConvBP(1)-DconvBP(K1/2)-DconvBP(K1)-DconvBP(K1)-DconvBP(K1)-DconvBP(3)–Tanh
其中，Conv表示卷积层，B表示批归一化，P表示激活函数层，Dconv表示反卷积层，K1表示通道数；
所述激活函数层定义为：
Figure FDA0002577257940000041
其中m激活函数层的输入；p＝0.0002；
所述Tanh层定义为：
Figure FDA0002577257940000042
其中t为Tanh层的输入；
判别器网络D包括一系列的卷积层，所述卷积层结合了批归一化和PReLU激活函数层，用于提取图像的特征，判别器网络D根据图像的特征进行分类；判别器网络D最后一层为Sigmoid层，用以将输出映射成概率值；
判别器网络D的网络结构表示为：
ConvB(K2)-ConvBP(2K2)-ConvBP(4K2)-ConvBP(8K2)-Conv(1)–Sigmoid
其中，Conv表示卷积层，B表示批归一化，P表示激活函数层，K2表示通道数；
所述Sigmoid层定义为：
Figure FDA0002577257940000051
其中t为Sigmoid层的输入。
6.根据权利要求1所述的基于生成对抗网络的图像分块的单张图像去雨方法，其特征是，采用VGG模型将图像像素域转换到高维特征域。
7.根据权利要求1所述的基于生成对抗网络的图像分块的单张图像去雨方法，其特征是，第S4步中：将所有尺度上的无雨图像块整合在一起的融合方法为：将生成器网络G生成的无雨图像块拼接在一起；为了消除无雨图像块之间的拼接痕迹，在测试去雨效果的时候，将去雨图像块一个个像素地平移过去，将每次的去雨结果按照原先位置叠加，最后除以每个位置上叠加的次数，从而得到最后的去雨结果，即去雨后无雨图像。
CN201810938304.0A 2018-08-17 2018-08-17 基于生成对抗网络的图像分块的单张图像去雨方法 Active CN109360156B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810938304.0A CN109360156B (zh) 2018-08-17 2018-08-17 基于生成对抗网络的图像分块的单张图像去雨方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810938304.0A CN109360156B (zh) 2018-08-17 2018-08-17 基于生成对抗网络的图像分块的单张图像去雨方法

Publications (2)

Publication Number Publication Date
CN109360156A CN109360156A (zh) 2019-02-19
CN109360156B true CN109360156B (zh) 2020-08-28

Family

ID=65350077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810938304.0A Active CN109360156B (zh) 2018-08-17 2018-08-17 基于生成对抗网络的图像分块的单张图像去雨方法

Country Status (1)

Country Link
CN (1) CN109360156B (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110009580B (zh) * 2019-03-18 2023-05-12 华东师范大学 基于图片块雨滴密集度的单张图片双向去雨方法
CN109978807B (zh) * 2019-04-01 2020-07-14 西北工业大学 一种基于生成式对抗网络的阴影去除方法
CN110111288B (zh) * 2019-04-15 2022-11-08 电子科技大学 基于深度辅助学习的图像增强及盲图质量评价网络系统
CN110097522B (zh) * 2019-05-14 2021-03-19 燕山大学 一种基于多尺度卷积神经网络的单幅户外图像去雾方法
CN110503610B (zh) * 2019-07-16 2023-07-18 江苏大学 一种基于gan网络的图像雨雪痕迹去除方法
CN110390654B (zh) * 2019-07-29 2022-11-01 华侨大学 一种针对去雨图像的多级迭代协同表示的后处理方法
CN110428385A (zh) * 2019-08-09 2019-11-08 南京工业大学 一种基于无监督对抗神经网络的sd-oct去噪方法
CN110717863B (zh) * 2019-08-16 2023-07-04 天津大学 一种基于生成对抗网络的单图像去雪方法
CN112434780B (zh) * 2019-08-26 2023-05-30 上海高德威智能交通系统有限公司 目标对象识别网络模型及其训练方法、目标对象识别方法
WO2021052103A1 (zh) * 2019-09-18 2021-03-25 华为技术有限公司 图像生成的方法、装置以及计算机
KR20210045229A (ko) * 2019-10-16 2021-04-26 삼성전자주식회사 컴퓨팅 장치 및 그 동작 방법
CN110807749B (zh) * 2019-11-06 2022-11-25 联友智连科技有限公司 基于密集多尺度生成对抗网络的单幅图像去雨滴方法
CN110866879B (zh) * 2019-11-13 2022-08-05 江西师范大学 一种基于多密度雨纹感知的图像去雨方法
CN110992275B (zh) * 2019-11-18 2023-05-23 天津大学 一种基于生成对抗网络的细化单幅图像去雨方法
CN111260655B (zh) * 2019-12-31 2023-05-12 深圳云天励飞技术有限公司 基于深度神经网络模型的图像生成方法与装置
CN111179201B (zh) * 2019-12-31 2023-04-11 广州市百果园信息技术有限公司 一种视频去噪方法和电子设备
CN111210394A (zh) * 2020-01-03 2020-05-29 北京智云视图科技有限公司 一种基于深度分解合成网络的图像增强技术
CN111325667B (zh) * 2020-03-09 2023-05-30 Oppo广东移动通信有限公司 图像处理方法及相关产品
TWI734598B (zh) * 2020-08-26 2021-07-21 元智大學 影像雨紋去除方法
CN112163997A (zh) * 2020-09-15 2021-01-01 郑州金惠计算机系统工程有限公司 图片可拼接虚拟样本生成方法、装置、设备及存储介质
CN112651912A (zh) * 2020-12-07 2021-04-13 南昌航空大学 基于双通道多尺度判别模型去雨系统及控制方法
CN112986964B (zh) * 2021-02-26 2023-03-31 北京空间机电研究所 基于噪声邻域密度的光子计数激光点云自适应去噪方法
US11954837B2 (en) 2021-12-08 2024-04-09 Black Sesame Technologies Inc. Image enhancement system based on nonlocal features
CN116703739A (zh) * 2022-02-25 2023-09-05 索尼集团公司 图像增强方法及设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9443142B2 (en) * 2014-07-24 2016-09-13 Exelis, Inc. Vision-based system for dynamic weather detection
CN106204499B (zh) * 2016-07-26 2019-05-24 厦门大学 基于卷积神经网络的单幅图像去雨方法
CN106971378A (zh) * 2016-08-23 2017-07-21 上海海洋大学 一种基于深度去噪自编码器的单幅图像去雨方法
CN108230278B (zh) * 2018-02-24 2021-08-06 中山大学 一种基于生成对抗网络的图像去雨滴方法

Also Published As

Publication number Publication date
CN109360156A (zh) 2019-02-19

Similar Documents

Publication Publication Date Title
CN109360156B (zh) 基于生成对抗网络的图像分块的单张图像去雨方法
Tian et al. Deep learning on image denoising: An overview
Gurrola-Ramos et al. A residual dense u-net neural network for image denoising
Chen et al. Image blind denoising with generative adversarial network based noise modeling
Shahdoosti et al. Edge-preserving image denoising using a deep convolutional neural network
Varghese et al. Video denoising based on a spatiotemporal Gaussian scale mixture model
CN111091503B (zh) 基于深度学习的图像去失焦模糊方法
Yue et al. CID: Combined image denoising in spatial and frequency domains using Web images
Davy et al. Non-local video denoising by CNN
CN113284051A (zh) 一种基于频率分解多注意力机制的人脸超分辨方法
Liu et al. True wide convolutional neural network for image denoising
Sahu et al. Blind deblurring using deep learning: A survey
CN114897728A (zh) 图像增强方法、装置、终端设备以及存储介质
Fan et al. Multiscale cross-connected dehazing network with scene depth fusion
CN111210394A (zh) 一种基于深度分解合成网络的图像增强技术
Zhao et al. A simple and robust deep convolutional approach to blind image denoising
Lai et al. Mixed attention network for hyperspectral image denoising
CN115082336A (zh) 一种基于机器学习的sar图像相干斑抑制方法
KR102466061B1 (ko) 계층적 생성 적대 네트워크를 이용한 노이즈 제거 장치 및 그 방법
Ahn et al. Block-matching convolutional neural network (BMCNN): improving CNN-based denoising by block-matched inputs
Shin et al. Deep orthogonal transform feature for image denoising
Zhang et al. CFPNet: A denoising network for complex frequency band signal processing
Li et al. Distribution-transformed network for impulse noise removal
Choi et al. Fast super-resolution algorithm using ELBP classifier
Mishra et al. Experimental proof manifest bilateral blur as outstanding blurring technique for CNN based SR models to converge quickly

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant