CN112507817A - 一种基于特征监督生成对抗网络的去雨方法 - Google Patents

一种基于特征监督生成对抗网络的去雨方法 Download PDF

Info

Publication number
CN112507817A
CN112507817A CN202011335105.4A CN202011335105A CN112507817A CN 112507817 A CN112507817 A CN 112507817A CN 202011335105 A CN202011335105 A CN 202011335105A CN 112507817 A CN112507817 A CN 112507817A
Authority
CN
China
Prior art keywords
rain
image
training
network
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011335105.4A
Other languages
English (en)
Inventor
盖杉
卢贝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Hangkong University
Original Assignee
Nanchang Hangkong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Hangkong University filed Critical Nanchang Hangkong University
Priority to CN202011335105.4A priority Critical patent/CN112507817A/zh
Publication of CN112507817A publication Critical patent/CN112507817A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像处理技术领域，提供了一种基于特征监督生成对抗网络的去雨方法。为了提高网络的鲁棒性和参数利用率，本发明的方法在生成器将Dense Block模块作为U‑Net网络结构的组成部分。DenseNet的网络结构的每一个卷积层都能和其他的卷积层相互连接，加强了特征传播，提高了参数的利用率。此外，本发明的方法在网络的隐藏层的激活函数采用Leaky ReLu代替ReLU，以解决ReLU在输入值为负的时候，输出始终为0，这样会导致神经元不能更新参数，也就是神经元不学习的问题。

Description

一种基于特征监督生成对抗网络的去雨方法
技术领域
本发明涉及图像处理技术领域，具体涉及图像去雨的方法。
背景技术
在雨天的条件下，所获得的图像或者视频通常会因为雨水的干扰而产生模糊和遮盖等一些不好的影响。因此研究图像去雨技术是一个十分有意义的课题。
现有的去雨方法主要划分为两类：基于单图像和基于视频的去雨方法。在基于视频的去雨算法中，通常采用的方法是是利用额外的时间信息。在基于单图像去雨的方法中，基于先验的方法通常会导致背景的过度平滑，近年来除了基于先验的方法外，人们通常还会采用卷积神经网络的方法，实验证明卷积神经网络的方法在去雨的问题上表现很好，因此卷积神经网络在近些年得到了广泛的应用。例如，论文Density-aware single imagede-raining using a multi-stream dense network(DID-MDN)记载了一种多流密集连接的去雨网络，有效地利用了不同尺度的特征来去雨；论文Removing rain from singleimages via a deep detail network记载了利用先验图像域知识和深度细节网络来消除雨痕的方法；论文Single Image De-Raining Via Generative Adversarial Nets(GAN-SID)记载了采用生成对抗网络进行去雨的方法；论文Single-Image De-Raining WithFeature-Supervised Generative Adversarial Network(FS-GAN)记载了特征监督生成对抗网络的方法，其与一般的在网络输出层提供监督的方法不同，在生成器G中明确地施加了特征级监督提高去雨效果，因为这些特征给与更多的引导并且特征正则化为不同的层提供梯度信从而可以平滑和稳定训练。
发明内容
为了提升去雨效果，本发明提供一种基于特征监督生成对抗网络的去雨方法。
本发明提供的一种基于特征监督生成对抗网络的去雨方法，包括以下步骤：
(1)获取训练图像数据，所述训练图像数据包括为有雨图像和无雨图像对；
(2)对所述训练图像数据进行预处理；
(3)构建单图像去雨的神经网络模型，采用生成对抗网络模型，所述生成对抗网络模型包括生成器和判别器；其中，生成器整体采用U-Net结构，并采用跳跃连接；在U-Net结构中采用8个密集块(Dense Block)，每个密集块包含4个卷积层，每个密集块后面都有一个过渡层(transition layers)；
(4)将步骤(2)预处理后的所述训练图像数据输入步骤(3)的所述神经网络模型中，对所述神经网络模型进行训练，经过多次训练优化得到最优模型；
(5)将待去雨的图像输入到所述最优模型中，输出去雨图像。
进一步地，步骤(1)所述有雨图像和无雨图像对为三通道的RGB图像。
进一步地，步骤(2)所述预处理包括归一化处理。
进一步地，步骤(3)所述神经网络模型中隐藏层使用的激活函数为Leaky Relu函数。
进一步地，在步骤(4)的训练过程中，用一个特征正则化的正则化器使从有雨图像中提取的特征近似于从无雨图像中提取的特征。
本发明的有益效果：采用了一个DenseNet的网络结构，这种以前馈地方式将每个层与其它层连接的模式加强了特征传播，提高了参数的利用率；DenseNet的优点是改进了整个网络的信息流和梯度，这使得它们易于训练；每个层直接访问来自损失函数和原始输入信号的梯度，带来了隐式深度监控，这使得训练深层网络变得更简单；DenseNet这种模式改善了整个网络中梯度的流动从而缓解了消失梯度问题，加强了特征传播，鼓励特征重用，并大大减少了参数的数量；在网络的隐藏层的激活函数采用Leaky ReLu代替ReLU，以解决ReLU在输入值为负的时候，输出始终为0，这样会导致神经元不能更新参数，也就是神经元不学习了的问题。
附图说明
图1为本发明的基于特征监督生成对抗网络的去雨方法的总体技术框架图。
图2为本发明的生成器神经网络结构框架图。
图3为本发明的生成器神经网络结构框架图中密集块和过渡层的框架图。
图4为本发明的判别器神经网络结构框架图。
图5为本发明的神经网络训练流程图。
图6为本发明的ReLU函数图像。
图7为本发明的Leaky Relu函数图像。
图8为本发明的基于特征监督生成对抗网络的去雨方法的去雨性能测试的效果图。
图9为本发明的基于特征监督生成对抗网络的去雨方法与其他方法的去雨性能测试的效果图。
具体实施方式
在本发明中，使用了以下术语中的一个或多个。
卷积(Convolution,Conv)：卷积核就是图像处理时，输入图像中一个小区域中像素加权平均后成为输出图像中的每个对应像素，其中权值由一个函数定义，这个函数称为卷积核。
批量归一化(Batch Normalization,BN)：BN将输入值或卷积网络的张量进行类似标准化的操作，将其放缩到合适的范围，从而加快训练速度；另一方面使得每一层可以尽量面对同一特征分布的输入值，减少了变化带来的不确定性。
激活函数：激活函数对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用，它是指如何把“激活的神经元的特征”通过函数把特征保留并映射出来。
修正线性单元(Rectifified Linear Unit,ReLU)：出当输入信号<0时，输出都是0，当输入信号>0的情况下，输出等于输入。
泄露修正线性单元(Leaky Rectifified Linear Unit,Leaky ReLU)：ReLU是将所有的负值都设为零，相反，Leaky ReLU是给所有负值赋予一个非零斜率。
池化：一般用于卷积层后，它根据相邻数据的相关性，进一步对卷积后得到的特征图进行进一步的特征浓缩，既起到了降维作用又不会损失太多的信息。
损失函数：衡量训练模型好坏的标准并且一般优先选择容易被优化函数为标准。
不适定(ill-posed)问题：适定问题是指定解满足下面三个要求的问题：①解是存在的；②解是唯一的；③解连续依赖于定解条件，即解是稳定的。这三个要求中，只要有一个不满足，则称之为不适定问题。不适定问题对于图像处理来说就是一个输入图像会可能会对应多个合理输出图像，这样会导致实验的不稳定。
Adam优化算法：Adam是一种可以替代传统随机梯度下降过程的一阶优化算法，它能基于训练数据迭代地更新神经网络权重，适合解决含大规模数据和参数的优化问题。
丢弃学习(Dropout):是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃。
生成式对抗网络(Generative Adversarial Networks,GAN)：又称生成对抗网络，是一种深度学习模型。模型通过框架中的生成模型和判别模型的互相博弈学习产生相当好的输出。在网络中生成网络G的目标就是尽量生成真实的图片去欺骗判别网络D，而D的目标就是尽量把G生成的图片和真实的图片分别开来。这样，G和D构成了一个动态的“博弈过程”。
密集连结卷积网络(Densely Connected Convolutional Networks,DenseNet)：以前馈地方式将每个层与其它层连接的卷积网络。DenseNet的整体结构主要包含密集块(Dense Blocks)和过渡块(transition layers)。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种基于特征监督生成对抗网络的去雨方法，该方法的总体技术框架如图1所示。以下介绍该方法的主要步骤。
(1)建立数据集：
训练输入图像需要有大量的有雨图像和无雨图像对，有雨图像和无雨图像对是指一对有雨图像和无雨图像，其中有雨图像与无雨图像的区别在于有雨图像具有雨痕。有雨图像包含多种类型的雨痕，以增强模型的泛化能力，避免训练的模型过拟合。此外，模型的设置是建立在输入图像为三通道的RGB图像的基础上，而不是灰度图像。
(2)对输入图像进行预处理：
对训练图像数据进行处理，将输入图像归一化，便于后续进行图像去雨。
(3)设计生成对抗网络模型：
a)根据图2和图3设计生成器神经网络结构，其中，生成器中的密集块和过渡层视为一层且每一个层其中的密集块卷积层卷积核大小相同。整个卷积过程中(除过渡层)卷积核大小均为3×3×c，过渡层卷积核大小为1×1×c，c为通道数。生成器中第1、7、8层c＝64，第2、5层c＝128，第3层c＝256，第4层c＝512，第6层c＝120，第9层c＝16，第10层c＝3。第一层的卷积操作包括批量归一化、卷积、最大池化和修正线性单元。密集块中的每一个卷积块包含批量归一化、卷积和泄露修正单元作为激活函数函数；过渡层包括平均池化和卷积操作。最后的激活函数设为tanh函数。
b)根据图4设计判别器神经网络结构，其中，判别器中整个卷积过程中1～5层卷积核大小均为3×3×c，第6层为1×1×c，c为通道数。判别器中第1、4、5层c＝64，第2层c＝256，第3层c＝512。每一层为包含批量归一化、卷积、最大池化并采用泄露修正单元为激活函数。最后输出采用的激活函数为sigmoid函数。
在本发明中，卷积神经网络采用特征监督生成对抗网络进行更改。更改其生成器，将密集块融入生成器的结构，以提升网络性能。
(4)对设计好的模型进行训练：
生成对抗网络的训练过程：
a)初始化生成器G和辨别器D两个网络的参数；
b)从有雨图像和无雨图像对训练集抽取n个样本{(x1,y1),(x2,y2),…(xn,yn)}，其中n为正整数；
c)从随机噪声抽取n个样本{z1,z2,…zn}输入生成器得到Xi＝G(zi)，Xi为生成器的输出,其中n和i均为正整数；
d)固定生成器G，训练辨别器D，使用随机梯度下降法更新判别器D的参数使V(D)最大化，其尽可能区分真假；
Figure BDA0002796922240000051
D()表示判别器，如D(Xi)为生成器输出经过判别器得到的输出。D(xi)表示D判断真实图片是否真实的概率。而D(Xi)是D判断G生成的图片是否真实的概率。
e)循环更新k次辨别器D之后，从高斯分布噪声抽取n个样本{z1,z2,…zn}输入生成器更新1次生成器G的参数使V(G)尽可能小，使辨别器尽可能区分不了真假；
Figure BDA0002796922240000052
其中Lg为发生器的结果与相应的无雨图像之间的损失，Lf为特征正则化损失,λf、λg分别是Lf、Lg的加权因子。
多次更新迭代后，理想状态下，最终辨别器D无法区分图片到底是来自真实的训练样本集合，还是来自生成器G生成的样本即可，此时辨别的概率为0.5，完成训练。
神经网络训练的流程图见图5。
(5)对待去雨的图像进行去雨操作：
实际应用中需要把有雨的RGB图像作为输入，输入到训练好的网络模型中，就会输出对应的去雨结果图。将测试集输入训练好的模型中得到去雨结果图，对测试的结果图进行分析。
为了解决现有网络的不适定问题，本发明采用一个生成对抗网络结合特征监督，来使从雨天图像中提取的特征近似于从干净的图像中提取的特征，并且将DenseNet应用在生成器部分以提高网络性能。DenseNet可以减轻梯度消失，因此应用DenseNet来缓解网络可能出现梯度消失的问题。另外，DenseNet因为不需要重新学习冗余特征图，所以这种密集连接模式相对于传统的卷积网络只需要更少的参数提高了参数效率。DenseNet被证实比一般的卷积神经网络的在参数和计算成本更少的情形下能实现优秀的性能。因此，本发明将密集块融合到特征监督生成对抗网络从而提高网络的性能。此外，本发明还引入了跨越密集块的跳跃连接，以有效地利用不同层次的特征，并保证更好的收敛性。第j层密集块Dj表示为：
Figure BDA0002796922240000061
其中，Dji表示密集块Dj中第i层的特征。
通过本发明的方法以及其实验数据表明，它的去雨效果与传统的去雨算法的去雨效果相比，它的去雨效果得到了提高。
2)卷积神经网络算法的隐藏层通常使用的激活函数为ReLU函数，其数学表达式为：
f(x)＝max(0,x)
对应的函数图像如图6所示。
可以看出当输入信号<0时，输出都是0，当输入信号>0的情况下，输出等于输入。使用这个函数能使计算变得很快，因为无论是函数还是其导数都不包含复杂的数学运算。然而，当输入为负值的时候，ReLU的学习速度可能会变得很慢，甚至使神经元直接无效；因为输入小于零时梯度为零，从而其权重无法得到更新导致在剩下的训练过程中会一直保持静默。为了解决ReLU函数这个缺点，在ReLU函数的负半区间引入一个泄露(Leaky)值，即用Leaky Relu函数代替ReLU，Leaky ReLU函数的图像如下图7所示。
Leaky ReLU函数的表达式为：
Figure BDA0002796922240000062
令a为一个很小的数则该函数输出对负值输入有很小的坡度。由于导数总是不为零，这能减少静默神经元的出现，允许基于梯度的学习(虽然会很慢)，解决了ReLU函数进入负区间后，导致神经元不学习的问题。
3)由于缺乏来自真实世界数据的大量有雨图像和无雨图像对，可以使用合成数据集来训练模型。合成数据集中的有雨图像(生成图像)是在无雨图像(干净图像)上加入雨痕而形成的。
4)在残差块中适当的采用Dropout来防止参数过分依赖训练数据，增加参数对数据集的泛化能力，从而防止过拟合。
综上所述，生成器在特征提取和图像生成部分均使用了4个Dense Block模块作为网络结构的组成部分，从而能够提高网络的鲁棒性和参数利用率，加快网络的收敛。在U-Net的上采样模块和下采样模块全部采用Dense Block作为网络的基本构成加强了图像的特征提取，提高网络的学习能力，获得更加优秀的去雨结果。采用DenseNet作为主体网络，并且隐藏层使用的激活函数用Leaky ReLU代替ReLU，再通过Dropout来防止过拟合，最后通过实验表明本发明去雨效果得到了提升。
下面介绍一个具体的实验。
(1)获得训练和测试数据：对于网络的训练数据，使用合成数据集来训练模型。本实施例采用了现有技术论文(Zhang H,Patel V M.Density-Aware Single Image De-raining Using a Multi-stream Dense Network[C]//2018IEEE/CVF Conference onComputer Vision and Pattern Recognition(CVPR).IEEE,2018.)中的数据集，该数据集由12000幅图像组成，选取其中1000张图像作为本实施例的训练集。另外选择100张雨天图像来测试模型的性能。
(2)对训练图像数据进行处理，将输入图像归一化，便于后续进行图像去雨。
(3)构建单图像去雨的神经网络模型，采用生成对抗网络模型，生成对抗网络模型包括生成器和判别器。
参数和网络设置：生成器整体采用U-Net结构，并采用跳跃连接。在U-Net结构中采用8个Dense Block，每个Dense Block记为DB，每个Dense Block包含4个卷积层；每个DenseBlock后面都有一个过渡层，过渡层上采样记为T u，下采样记为T d，或无采样操作记为Tn。并且，将一幅无雨图像输入到模型中，在训练过程中使用卷积层从模型中提取特征。
密集块(Dense Block,DB)：包含4个卷积块即(BN+Leaky ReLU+Conv)。
过渡层(transition layers，T)：Conv(卷积核大小为1x1xc)+Averagepool(2x2)。
a)生成器(生成器中的密集块和过渡层视为一层)：
第1层：Conv+BN+ReLU+Maxpool(3x3)；
第2、3层：DB+Td；
第4、5、9层：DB+Tn；
第6、7、8层：DB+Tu；
第10层：Conv；
特征监督部分网络结构和生成器的前五层结构一样，除了特征监督部分输入为无雨图像而生成器输入为对应的有雨图像。
b)判别器：
第1～5层：BN+Leaky ReLU+Conv+maxpool；
第6层：Conv(卷积核大小为1x1xc)；
如无其他说明，默认卷积核大小为3x3xc，c为通道数；
参数设计：采用学习速率为0.0002、冲量为0.5的Adam优化算法进行优化。设置训练最大迭代次数为220K，mini-batch为8。在训练过程中的学习率从1e-1到1e-4成指数衰减。
在训练过程中，用一个特征正则化的正则化器使从有雨图像中提取的特征近似于从无雨图像中提取的特征，特征监督学习的特征正则化损失Lf计算为:
Figure BDA0002796922240000081
其中，x和y分别是配对的有雨图像和无雨图像；η1是第l层的一个预先定义的权重因子(η1＝log(L))；Gl表示第l层提取的特征映射，Exy表示x和y的交叉熵。
在发生器的结果与相应的无雨图像之间的损失Lg为：
Figure BDA0002796922240000082
式中，C、W和H分别为图像的通道、宽度和高度，y表示无雨图像，x为输入图像。G(Xc ,w,h)表示有雨图像输入生成器得到的输出。
通常生成对抗网络的损失函数LGAN为：
LGAN＝Exy[logD(x,y)]+Ex[log(1-D(G(x)))]
Ex为x的交叉熵，Exy为x,y的交叉熵。
整个网络的损失函数
L＝LGAN+λfLf+λgLg
其中λf、λg分别是Lf、Lg的加权因子：λf＝0.0001,λf＝100。
(4)将处理好的有雨图像训练集输入设计好的网络模型中，对网络进行训练，经过多次训练优化得到最优的模型。
(5)将测试集图像输入训练得到的最优模型中，输出去雨图像。
模型的评估与对比分析：最后通过训练优化与学习后，通过峰值信噪比PNSR(基于均方误差MSE)和结构相似性SSIM对测试数据在最优模型上的去雨性能进行评估，并与一些传统的去雨方法算法进行对比和分析，最后总结分析本发明方法的模型的性能的优劣。
PNSR：
Figure BDA0002796922240000091
Figure BDA0002796922240000092
其中，上述公式中MSE为两张大小均为m×n的灰度图像I和K的均方误差，MAXI为图像点灰度的最大值，m、n为图像的尺寸。
SSIM公式为图像x和y之间的亮度、对比度和结构的综合衡量：
Figure BDA0002796922240000093
Figure BDA0002796922240000094
Figure BDA0002796922240000095
一般取c3＝c2/2。μx、μy分别为x、y的均值；
Figure BDA0002796922240000096
分别为x、y的方差；σxy为x和y的协方差。c1＝(k1L)2、c2＝(k2L)2为两个常数，k1＝0.01，k2＝0.03。
SSIM(x,y)＝[l(x,y)αc(x,y)βs(x,y)γ]
将α，β，γ设为1，可以得到：
Figure BDA0002796922240000097
每次计算的时候都从图片上取一个M×N的窗口，然后不断滑动窗口进行计算，最后取平均值作为全局的SSIM。
为了让本发明与目前现有的相关技术更具有可比性和说服力，同时为了排除其他外界因素对本发明的去噪效果的干扰，本发明所涉及的技术实验均在相同环境进行实验的。
通过测试数据集对最终训练学习得到的去雨模型的去雨性能进行测试并可视化测试，结果如图8所示。
与其他去雨方案进行对比，去雨效果对比结果如图9所示。其中，方法1为现有技术论文(Fu X,Huang J,Zeng D,et al.Removing Rain from Single Images via a DeepDetail Network[C]//IEEE Conference on Computer Vision&PatternRecognition.IEEE,2017)中记载的方法，方法2为现有技术论文(P.Xiang,L.Wang,F.Wu,J.Cheng and M.Zhou,"Single-Image De-Raining With Feature-SupervisedGenerative Adversarial Network,"in IEEE Signal Processing Letters,vol.26,no.5,pp.650-654,May 2019,doi:10.1109/LSP.2019.2903874)中记载的方法。
本发明的方法和其他方法去雨结果图的结构相似指数(SSIM)和峰值性噪比(PSNR)对比如下表所示。
Figure BDA0002796922240000101
从对比实验结果图实验数据可以看出，本发明方法在去雨性能上优于方法1和方法2。在结果图中可以看出，在方法1的去雨结果图中明显存在雨痕的残留以及模糊效果，本发明的方法比方法2的雨痕残留要少，本发明去除大部分的雨痕使有雨图像变得清晰；从实验数据对比可以看出，本发明方法的PSNR和SSIM比方法1和方法2的数值要大，说明本发明的方法取得的去雨效果最佳。
以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的保护范围应由权利要求限定。

Claims (5)

1.一种基于特征监督生成对抗网络的去雨方法，包括以下步骤：
(1)获取训练图像数据，所述训练图像数据包括为有雨图像和无雨图像对；
(2)对所述训练图像数据进行预处理；
(3)构建单图像去雨的神经网络模型，采用生成对抗网络模型，所述生成对抗网络模型包括生成器和判别器；其中，生成器整体采用U-Net结构，并采用跳跃连接；在U-Net结构中采用8个密集块(Dense Block)，每个密集块包含4个卷积层，每个密集块后面都有一个过渡层(transition layers)；
(4)将步骤(2)预处理后的所述训练图像数据输入步骤(3)的所述神经网络模型中，对所述神经网络模型进行训练，经过多次训练优化得到最优模型；
(5)将待去雨的图像输入到所述最优模型中，输出去雨图像。
2.根据权利要求1所述的方法，其特征在于，步骤(1)所述有雨图像和无雨图像对为三通道的RGB图像。
3.根据权利要求1所述的方法，其特征在于，步骤(2)所述预处理包括归一化处理。
4.根据权利要求1所述的方法，其特征在于，步骤(3)所述神经网络模型中隐藏层使用的激活函数为Leaky Relu函数。
5.根据权利要求1～4任一权利要求所述的方法，其特征在于，在步骤(4)的训练过程中，用一个特征正则化的正则化器使从有雨图像中提取的特征近似于从无雨图像中提取的特征。
CN202011335105.4A 2020-11-24 2020-11-24 一种基于特征监督生成对抗网络的去雨方法 Pending CN112507817A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011335105.4A CN112507817A (zh) 2020-11-24 2020-11-24 一种基于特征监督生成对抗网络的去雨方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011335105.4A CN112507817A (zh) 2020-11-24 2020-11-24 一种基于特征监督生成对抗网络的去雨方法

Publications (1)

Publication Number Publication Date
CN112507817A true CN112507817A (zh) 2021-03-16

Family

ID=74958424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011335105.4A Pending CN112507817A (zh) 2020-11-24 2020-11-24 一种基于特征监督生成对抗网络的去雨方法

Country Status (1)

Country Link
CN (1) CN112507817A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807749A (zh) * 2019-11-06 2020-02-18 广西师范大学 基于密集多尺度生成对抗网络的单幅图像去雨滴方法
CN110992275A (zh) * 2019-11-18 2020-04-10 天津大学 一种基于生成对抗网络的细化单幅图像去雨方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807749A (zh) * 2019-11-06 2020-02-18 广西师范大学 基于密集多尺度生成对抗网络的单幅图像去雨滴方法
CN110992275A (zh) * 2019-11-18 2020-04-10 天津大学 一种基于生成对抗网络的细化单幅图像去雨方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
H.ZHANG ET.AL: "Image De-Raining Using a Conditional Generative Adversarial Network", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *
P.XIANG ET.AL: "Single-Image De-Raining With Feature-Supervised Generative Adversarial Network", 《IEEE SIGNAL PROCESSING LETTERS》 *
Y.REN ET.AL: "Single Image De-Raining via Improved Generative Adversarial Nets", 《SENSORS》 *

Similar Documents

Publication Publication Date Title
CN108133188B (zh) 一种基于运动历史图像与卷积神经网络的行为识别方法
WO2022036777A1 (zh) 基于卷积神经网络的人体动作姿态智能估计方法及装置
Zhang et al. Adaptive residual networks for high-quality image restoration
CN110048827B (zh) 一种基于深度学习卷积神经网络的类模板攻击方法
CN112784929B (zh) 一种基于双元组扩充的小样本图像分类方法及装置
CN107945210B (zh) 基于深度学习和环境自适应的目标跟踪方法
CN105260998A (zh) 基于mcmc采样和阈值低秩逼近的图像去噪方法
CN115588226A (zh) 一种高鲁棒性的深度伪造人脸检测方法
CN112990052A (zh) 基于人脸修复的部分遮挡人脸识别方法及装置
CN113627543B (zh) 一种对抗攻击检测方法
CN115457568B (zh) 一种基于生成对抗网络的历史文档图像降噪方法及系统
CN111145145A (zh) 一种基于MobileNets的图像表面缺陷检测方法
CN116912568A (zh) 基于自适应类别均衡的含噪声标签图像识别方法
CN114626042A (zh) 一种人脸验证攻击方法和装置
CN112488934B (zh) 一种基于cs-tcgan的指静脉图像去噪方法
CN113989256A (zh) 遥感图像建筑物的检测模型优化方法及检测方法、装置
CN113378620A (zh) 监控视频噪声环境下跨摄像头行人重识别方法
CN110569763B (zh) 一种用于细粒度人脸识别的眼镜去除方法
CN111047537A (zh) 一种图像去噪中恢复细节的系统
CN116703750A (zh) 基于边缘注意力和多阶微分损失的图像去雾方法及系统
CN116385281A (zh) 一种基于真实噪声模型与生成对抗网络的遥感图像去噪方法
CN113487506B (zh) 基于注意力去噪的对抗样本防御方法、装置和系统
Zhu et al. Research on denoising of finger vein image based on deep convolutional neural network
CN112507817A (zh) 一种基于特征监督生成对抗网络的去雨方法
CN114005157A (zh) 一种基于卷积神经网络的像素位移向量的微表情识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination