CN111145116A - 一种基于生成对抗网络的海面雨天图像样本增广方法 - Google Patents

一种基于生成对抗网络的海面雨天图像样本增广方法 Download PDF

Info

Publication number
CN111145116A
CN111145116A CN201911336661.0A CN201911336661A CN111145116A CN 111145116 A CN111145116 A CN 111145116A CN 201911336661 A CN201911336661 A CN 201911336661A CN 111145116 A CN111145116 A CN 111145116A
Authority
CN
China
Prior art keywords
picture
loss
generator
discriminator
fake
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911336661.0A
Other languages
English (en)
Other versions
CN111145116B (zh
Inventor
苏丽
崔浩浩
王立鹏
孙雨鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Engineering University
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN201911336661.0A priority Critical patent/CN111145116B/zh
Publication of CN111145116A publication Critical patent/CN111145116A/zh
Application granted granted Critical
Publication of CN111145116B publication Critical patent/CN111145116B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于神经网络深度学习技术领域，具体涉及一种基于生成对抗网络的海面雨天图像样本增广方法。本发明基于生成对抗网络，采用传统的L1损失和GAN损失相结合的方法来训练网络，在训练生成器的过程中除了传统的GAN损失外还加上了生成的假的雨天图片与真实雨天图片之间的L1损失；生成器采用残差网络，判别器采用Patch‑D，通过对图像分成N*N个小块分别进行判别来计算损失，提高图像的清晰度以及细节保持能力，生成样本时仍采用深度学习框架中的训练模式，即不对批归一化层的参数进行固定，继续启用dropout层。本发明中通过利用成对的图片来训练生成器，从而由多数类样本生成其对应的少数类样本，达到增广样本的目的。

Description

一种基于生成对抗网络的海面雨天图像样本增广方法
技术领域
本发明属于神经网络深度学习技术领域，具体涉及一种基于生成对抗网络的海面雨天图像样本增广方法。
背景技术
随着深度学习技术的发展，其在图像、语音、文本等领域均取得了巨大的成功，多年来各种深度神经网络层出不穷，随着计算机硬件技术的提高，神经网络的规模也越来越大，参数也越来越多。同时，对训练网络所用的样本数据的要求也越来越高，对于深度学习来说，样本数据往往是其至关重要的一环。使用深度学习训练模型实际上就是通过让神经网络对大量的已有样本进行学习，并对学习到的样本数据进行统计分析，根据分析结果来优化神经网络的参数，从而使得神经网络能够输出我们想要的结果。同人类的学习一样，要想让神经网络的学习效果足够好就需要对其提供足够数量和良好质量的样本数据。现如今，一些较大的神经网络拥有的参数量甚至达到了上亿级别，这就需要一个庞大的样本数据集来对其进行训练。
对于图像领域来说，虽然随着互联网的发展我们可以很容易的获得大量的目标图片，但是并不是只要数量足够就可以组成一个满足深度学习要求的数据集。一个合格的数据集不仅要保证数量，还要保证质量，不仅要满足样本数据的多样性要求，还要保证各个类别的样本数量均衡。而我们容易获得的照片更多的是摄影爱好者进行的拍照或者一些专业人员出于某种目的进行的拍摄，这就导致不同种类样本数量的不均衡，直接用这样的数据集进行训练很容易造成网络的过拟合，从而导致训练结果出错。
发明内容
本发明的目的在于提供通过利用成对的图片来训练生成器，从而由多数类样本生成其对应的少数类样本，实现增广样本的一种基于生成对抗网络的海面雨天图像样本增广方法。
本发明的目的通过如下技术方案来实现：包括以下步骤：
步骤1：输入待增广的图像样本，设定期望增广的纹理；
步骤2：根据期望增广的纹理，获取成对的原始图片-带纹理图片数据集；原始图片-带纹理图片数据集中包括同一场景下的原始图片A和带纹理图片B；
步骤3：构建神经网络；神经网络包含生成器和判别器，损失函数采用L1损失与GAN损失相结合的方法；
步骤4：训练神经网络；
步骤4.1：设定循环次数；
步骤4.2：将原始图片-带纹理图片数据集中的原始图片A输入到神经网络的生成器，输出假的带纹理图片fake-B；将假的带纹理图片fake-B作为判别器的输入，用判别器对其分布进行判别；若假的带纹理图片fake-B与真实的带纹理图片B分布相同则输出1，否则输出0；将判别器的输出结果与期望结果利用均方差进行损失计算，得到生成器的GAN损失函数；将假的带纹理图片fake-B与真实的带纹理图片B进行L1损失计算，得到生成器的L1损失；将生成器的GAN损失与L1损失结合，作为生成器的损失值，并通过对该损失值进行反向传播来训练生成器，提升生成器的生成能力；
步骤4.3：将假的带纹理图片fake-B与真实的带纹理图片B分别作为判别器的输入；当判别器的输入为假的带纹理图片fake-B时，期望输出为N*N大小的全0特征图；当判别器的输入为真实的带纹理图片B时，期望输出为N*N大小的全1特征图；计算判别器的实际输出与期望输出之间的均方差，得到判别器的损失值；通过将判别器的损失值反向传播来训练判别器，提升判别器的判别能力；
步骤4.4：重复进行步骤4.2与步骤4.3，将生成器与判别器交替训练，直至达到设定的循环次数，完成神经网络的训练；
步骤5：将待待增广的图像样本输入训练好的神经网络的生成器中，得到增广后带有期望增广的纹理的图像；在生成过程中不采用深度学习框架中的测试模式，仍然选择训练模式，即不对批归一化层的参数进行固定，继续启用dropout层。
本发明还可以包括：
所述的步骤3中神经网络的生成器具体为：
生成器采用残差网络，第一层采用9*9的卷积核进行步长为1的卷积，使得网络具有较大的感受野，之后两层用步长为2的卷积层进行下采样，对图像编码，接下来跟5层残差块，增加网络的深度，并在每个残差块加入dropout层引入噪声，两层步长为2的反卷积上采样解码过程，最后为一层卷积核为9*9步长为1的卷积层，除最后一层不使用批归一化与激活函数外，其余层均启用批归一化，并选用ReLu激活函数；
所述的步骤3中神经网络的判别器具体为：
判别器采用Patch-D，网络结构为四层步长为2的卷积下采样和一层步长为1的卷积层，最后一层不再进行全连接，而是保持为卷积层，使得输出为一个N*N大小的特征图。
所述的步骤3中L1损失与GAN损失相结合的方法具体为：由GAN损失重建图片的高频部分，由L1损失重建图像的低频部分，最终的损失函数为：
Figure BDA0002331113800000021
LGAN(G，D)＝Ey[||D(y)||2]+Ex，z[||(1-D(G(x，z)))||2]
LL1(G)＝Ex，y，z[||y-G(x,z)||1]
其中，G*为目标生成器；G为生成器；D为判别器；x为原始图片A；y为带纹理图片B；z为通过dropout引入的噪声；E表示求均值。
本发明的有益效果在于：
在深度学习技术中，样本集往往占据着相当重要的地位，能够直接影响到最终网络训练的好坏，但是在许多情况下我们往往很难得到理想的样本集，样本数量的绝对稀缺或相对稀缺都会对网络的训练造成很大的影响。本发明提供了一种基于生成对抗网络的样本增广方法，通过该方法可以在一些场景下实现由容易获得的多数类样本生成逼真的对应的少数类样本，从而解决样本图像绝对稀缺的问题。本发明基于生成对抗网络，采用传统的L1损失和GAN损失相结合的方法来训练网络，在训练生成器的过程中除了传统的GAN损失外还加上了生成的假的雨天图片与真实雨天图片之间的L1损失；生成器采用残差网络，判别器采用Patch-D，通过对图像分成N*N个小块分别进行判别来计算损失，提高图像的清晰度以及细节保持能力，测试阶段Batch_size选择为1，生成样本时仍采用深度学习框架中的训练模式，即不对批归一化层的参数进行固定，继续启用dropout层。本发明中通过利用成对的图片来训练生成器，从而由多数类样本生成其对应的少数类样本，达到增广样本的目的。
附图说明
图1是本发明的神经网络中生成器的结构示意图。
图2为本发明实施例中训练所用的部分样本示意图。
图3是本发明实施例中增广的雨天样本示意图。
具体实施方式
下面结合附图对本发明做进一步描述。
本发明涉及样本图像增广、深度学习和神经网络领域，尤指一种基于生成对抗网络的海面雨天图像样本增广方法。本发明基于生成对抗网络，采用传统的L1损失和GAN损失相结合的方法来训练网络，在训练生成器的过程中除了传统的GAN损失外还加上了生成的假的雨天图片与真实雨天图片之间的L1损失；生成器采用残差网络，判别器采用Patch-D，通过对图像分成N*N个小块分别进行判别来计算损失，提高图像的清晰度以及细节保持能力，测试阶段Batch_size选择为1，生成样本时仍采用深度学习框架中的训练模式，即不对批归一化层的参数进行固定，继续启用dropout层。本发明中通过利用成对的图片来训练生成器，从而由多数类样本生成其对应的少数类样本，达到增广样本的目的。
一种基于生成对抗网络的海面雨天图像样本增广方法，包括以下步骤：
步骤1：输入待增广的图像样本，设定期望增广的纹理；
步骤2：根据期望增广的纹理，获取成对的原始图片-带纹理图片数据集；原始图片-带纹理图片数据集中包括同一场景下的原始图片A和带纹理图片B；
步骤3：构建神经网络；神经网络包含生成器和判别器，损失函数采用L1损失与GAN损失相结合的方法；
生成器采用残差网络，第一层采用9*9的卷积核进行步长为1的卷积，使得网络具有较大的感受野，之后两层用步长为2的卷积层进行下采样，对图像编码，接下来跟5层残差块，增加网络的深度，并在每个残差块加入dropout层引入噪声，两层步长为2的反卷积上采样解码过程，最后为一层卷积核为9*9步长为1的卷积层，除最后一层不使用批归一化与激活函数外，其余层均启用批归一化，并选用ReLu激活函数；
判别器采用Patch-D，网络结构为四层步长为2的卷积下采样和一层步长为1的卷积层，最后一层不再进行全连接，而是保持为卷积层，使得输出为一个N*N大小的特征图。
L1损失与GAN损失相结合的方法具体为：由GAN损失重建图片的高频部分，由L1损失重建图像的低频部分，最终的损失函数为：
Figure BDA0002331113800000041
LGAN(G，D)＝Ey[||D(y)||2]+Ex，z[||(1-D(G(x，z)))||2]
LL1(G)＝Ex，y，z[||y-G(x，z)||1]
其中，G*为目标生成器；G为生成器；D为判别器；x为原始图片A；y为带纹理图片B；z为通过dropout引入的噪声；E表示求均值。
步骤4：训练神经网络；
步骤4.1：设定循环次数；
步骤4.2：将原始图片-带纹理图片数据集中的原始图片A输入到神经网络的生成器，输出假的带纹理图片fake-B；将假的带纹理图片fake-B作为判别器的输入，用判别器对其分布进行判别；若假的带纹理图片fake-B与真实的带纹理图片B分布相同则输出1，否则输出0；将判别器的输出结果与期望结果利用均方差进行损失计算，得到生成器的GAN损失函数；将假的带纹理图片fake-B与真实的带纹理图片B进行L1损失计算，得到生成器的L1损失；将生成器的GAN损失与L1损失结合，作为生成器的损失值，并通过对该损失值进行反向传播来训练生成器，提升生成器的生成能力；
步骤4.3：将假的带纹理图片fake-B与真实的带纹理图片B分别作为判别器的输入；当判别器的输入为假的带纹理图片fake-B时，期望输出为N*N大小的全0特征图；当判别器的输入为真实的带纹理图片B时，期望输出为N*N大小的全1特征图；计算判别器的实际输出与期望输出之间的均方差，得到判别器的损失值；通过将判别器的损失值反向传播来训练判别器，提升判别器的判别能力；
步骤4.4：重复进行步骤4.2与步骤4.3，将生成器与判别器交替训练，直至达到设定的循环次数，完成神经网络的训练；
步骤5：将待待增广的图像样本输入训练好的神经网络的生成器中，得到增广后带有期望增广的纹理的图像；在生成过程中不采用深度学习框架中的测试模式，仍然选择训练模式，即不对批归一化层的参数进行固定，继续启用dropout层。
实施例1：
对于深度学习来说，样本数据的好坏会直接影响到神经网络的训练成果，当某类样本的数量相对其他类差距较大时，就会造成神经网络对多数类样本的“过度学习”，从而导致网络出现过拟合，进而造成网络的识别分类等任务出现较大的偏差，无法对少数类样本进行准确的识别分类。而当某类样本数量绝对稀少时更是无法对其进行训练。本发明提供了一种基于生成对抗网络的方法，通过对成对样本图像进行训练，从而实现由多数类样本生成对应的少数类样本的方法，以下以晴天-雨天成对数据集为例进行详细介绍。
步骤1、从网络上下载人工制作的成对的晴天(A)-雨天(B)数据集。
步骤2、根据发明内容所述构建神经网络。其中生成器采用残差网络，判别器采用Patch-D，损失函数采用传统的L1损失与GAN损失相结合的方法。
步骤3、将数据集中的晴天图片(A)输入到神经网络的生成器，输出生成的假的雨天图片(fake-B)。
步骤4、将生成器生成的假的雨天图片(fake-B)作为判别器的输入，用判别器对其分布进行判别，若与真实的雨天图片分布相同则输出1，否则输出0，同时对假的雨天图片(fake-B)与真实的雨天图片(B)之间计算L1损失，从而对生成器进行训练。
步骤5、将生成器生成的假的雨天图片(fake-B)与数据集中真实的雨天图片(B)作为判别器的输入进行训练，当输入为假的雨天图片(fake-B)时网络输出1，当输入为数据集中真实的雨天图片时网络输出为0。
步骤6、生成器与判别器交替训练，共同进步，不断提升生成效果，直至最终能够由晴天图片生成足够逼真的雨天照片。
1、获取数据集
通过从网络下载或者人工制作得到数据集，数据集要求位于同一场景下的成对图片，例如同一场景下的晴天-雨天图片，白天-夜晚图片等；也可以是一些仿真图片中难以建模的纹理图片等，如仿真得到不带纹理的海面、大理石、木材等与真实的带有纹理的对应图片。以下以晴天(A)-雨天(B)成对图片为例继续进行说明。
2、构建神经网络
该算法基于生成对抗网络，网络主要包含两部分：生成器和判别器。其中生成器采用残差网络，第一层采用9*9的卷积核进行步长为1的卷积，使得网络具有较大的感受野，之后两层用步长为2的卷积层进行下采样，对图像编码，接下来跟5层残差块，增加网络的深度，并在每个残差块加入dropout层引入噪声，两层步长为2的反卷积上采样解码过程，最后为一层卷积核为9*9步长为1的卷积层。除最后一层不使用批归一化与激活函数外，其余层均启用批归一化，并选用ReLu激活函数；判别器采用Patch-D,网络结构为四层步长为2的卷积下采样和一层步长为1的卷积层，最后一层不再进行全连接，而是保持为卷积层，使得输出为一个N*N大小的特征图。
3、训练神经网络
将第一步中获取的成对数据集中的晴天图片(A)作为生成器的输入，输出假的雨天的图片(fake-B)，将该图片(fake-B)作为判别器的输入进行判别，判断其是否与雨天照片分布相同，分布相同返回1，否则返回0，将返回结果与我们期望返回的标签1利用均方差进行损失计算，得到生成器的GAN损失函数。本发明采用传统的L1-Loss与GAN相结合的方法，由GAN损失重建图片的高频部分，由L1损失来重建图像的低频部分，因此在训练生成器的时候，除了传统的GAN损失外，还要加上假的雨天图片(fake-B)与真的雨天图片(B)之间的L1损失，即将生成的假的雨天图片(fake-B)与真实的雨天图片(B)进行L1损失计算，得到两者之间的L1损失，将GAN损失与L1损失结合，作为生成器的损失值，并通过对该损失值进行反向传播来训练生成器，进而提升生成器的生成能力。
之后将生成的假的雨天图片(fake-B)与数据集中的真实的雨天图片(B)分别作为判别器的输入，这里由于判别器采用Patch-D结构，所以当在判别器中输入图片时，输出会得到一个N*N大小的特征图，我们希望输入为假的雨天图片(fake-B)时输出返回N*N大小的全0特征图，当输入为真的雨天图片(B)时，输出返回N*N大小的全1特征图，通过将返回值与期望的输出之间计算均方差得到判别器的损失值，通过将判别器的损失值反向传播来训练判别器，从而提升判别器的判别能力。通过该方法可以使得输出的图像具有更高的清晰度与更好的细节保持。
总的损失函数如下所示
目标函数为：G*＝arg minGmaxDLGAN(G,D)+λLL1(G)
其中：LGAN(G，D)＝Ey[||D(y)||2]+Ex，z[||(1-D(G(x，z)))||2]
LL1(G)＝Ex，y，z[||y-G(x，z)||1]
G代表生成器，D代表判别器，x代表晴天图片，y代表雨天图片，z为通过dropout引入的噪声，E表示求均值，G*为目标生成器。最后经过多次循环，将生成器与判别器交替训练，两者共同进步，从而不断提生成效果，最终能够生成逼真的雨天图片。
4、增广样本
从网络上下载所需的晴天下的海面目标图片，将其传入到训练好的生成器中即可得到对应的雨天场景下的海面目标图片，这里在生成过程中不采用深度学习框架中的测试模式，仍然选择训练模式，即不对批归一化层的参数进行固定。Batch_size选择1。
本发明的有益效果在于：
在深度学习技术中，样本集往往占据着相当重要的地位，能够直接影响到最终网络训练的好坏，但是在许多情况下我们往往很难得到理想的样本集，样本数量的绝对稀缺或相对稀缺都会对网络的训练造成很大的影响。本发明提供了一种基于生成对抗网络的样本增广方法，通过该方法可以在一些场景下实现由容易获得的多数类样本生成逼真的对应的少数类样本，从而解决样本图像绝对稀缺的问题。
实施例2：
1、从网络上下载人工制作的成对晴天-雨天数据集，数据集部分内容如附图中的图2所示，每组成对的图片中左边的图片为晴天图片，右边图片为人工制作的对应场景下的雨天图片。在这里由于要进行的是海面场景下的雨天样本图像增广，只关心雨丝的纹理，所以样本集中的背景选择对本发明没有影响。
2、构建生成对抗网络。
其中生成器采用残差网络，其结构图如附图中的图1所示，第一层采用9*9的卷积核进行步长为1的卷积，使得网络具有较大的感受野，之后两层用步长为2的卷积层进行下采样，对图像编码，接下来跟5层残差块儿，增加网络的深度，两层步长为2的反卷积上采样解码过程，最后为一层卷积核为9*9步长为1的卷积层。除最后一层不使用批归一化与激活函数外，其余层均启用批归一化，并选用ReLu激活函数。
判别器采用Patch-D,网络结构为四层步长为2的卷积下采样和一层步长为1的卷积层，最后一层不再进行全连接，而是保持为卷积层，输出一个N*N大小的特征图，并将其与同样大小的标签矩阵进行损失计算。相当于将原图分为N*N个小块儿，每个小块儿代表一个感受野，分别对每个感受野进行损失计算。
该算法采用传统的L1-Loss与GAN相结合的方法，由GAN重建图片的高频部分，由L1-Loss来重建图像的低频部分，因此在训练生成器的时候，除了传统的GAN损失外，还要加上假的雨天图片(fake-B)与真的雨天图片(B)之间的L1损失，最终算法的损失函数如下
目标函数为：G*＝arg minGmaxDLGAN(G，D)+λLL1(G)
其中：LGAN(G，D)＝Ey[||D(y)||2]+Ex，z[||(1-D(G(x，z)))||2]
LL1(G)＝Ex，y，z[||y-G(x，z)||1]
λ取值选择100。
G代表生成器，D代表判别器，x代表晴天图片，y代表雨天图片，z为通过dropout引入的噪声，E表示求均值，G*为目标生成器。
3、训练神经网络
将第一步中获取的成对数据集中的晴天图片(A)作为生成器的输入，输出假的雨天的图片(fake-B)，将该图片(fake-B)作为判别器的输入进行判别，判断其是否与雨天照片分布相同，分布相同返回1，否则返回0，将返回结果与我们期望返回的标签1利用均方差进行损失计算，得到生成器的GAN损失函数。本发明采用传统的L1-Loss与GAN相结合的方法，由GAN损失重建图片的高频部分，由L1损失来重建图像的低频部分，因此在训练生成器的时候，除了传统的GAN损失外，还要加上假的雨天图片(fake-B)与真的雨天图片(B)之间的L1损失，即将生成的假的雨天图片(fake-B)与真实的雨天图片(B)进行L1损失计算，得到两者之间的L1损失，将GAN损失与100倍的L1损失相加，作为生成器的损失值，并通过对该损失值进行反向传播来训练生成器，进而提升生成器的生成能力；
之后将生成的假的雨天图片(fake-B)与数据集中的真实的雨天图片(B)分别作为判别器的输入，这里由于判别器采用Patch-D结构，所以当在判别器中输入图片时，输出会得到一个N*N大小的特征图，我们希望输入为假的雨天图片(fake-B)时输出返回N*N大小的全0特征图，当输入为真的雨天图片(B)时，输出返回N*N大小的全1特征图，通过将返回值与期望的输出之间计算均方差得到判别器的损失值，通过将判别器的损失值反向传播来训练判别器，从而提升判别器的判别能力。通过该方法可以使得输出的图像具有更高的清晰度与更好的细节保持。
最后经过90次循环，将生成器与判别器交替训练，两者共同进步，从而不断提升生成效果，最终能够生成逼真的雨天图片。
4、增广样本
从网络上下载所需的晴天下的海面目标图片，将其传入到训练好的生成器中即可得到对应的雨天场景下的海面目标图片，这里在生成过程中不采用深度学习框架中的测试模式，仍然选择训练模式，即不对批归一化层的参数进行固定，继续启用dropout层。Batch_size选择1，得到的生成结果如附图中的图3所示，每组图片中左边代表网络上下载的晴天图片，右边部分为生成器生成的雨天下的海面目标图片。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于生成对抗网络的海面雨天图像样本增广方法，其特征在于，包括以下步骤：
步骤1：输入待增广的图像样本，设定期望增广的纹理；
步骤2：根据期望增广的纹理，获取成对的原始图片-带纹理图片数据集；原始图片-带纹理图片数据集中包括同一场景下的原始图片A和带纹理图片B；
步骤3：构建神经网络；神经网络包含生成器和判别器，损失函数采用L1损失与GAN损失相结合的方法；
步骤4：训练神经网络；
步骤4.1：设定循环次数；
步骤4.2：将原始图片-带纹理图片数据集中的原始图片A输入到神经网络的生成器，输出假的带纹理图片fake-B；将假的带纹理图片fake-B作为判别器的输入，用判别器对其分布进行判别；若假的带纹理图片fake-B与真实的带纹理图片B分布相同则输出1，否则输出0；将判别器的输出结果与期望结果利用均方差进行损失计算，得到生成器的GAN损失函数；将假的带纹理图片fake-B与真实的带纹理图片B进行L1损失计算，得到生成器的L1损失；将生成器的GAN损失与L1损失结合，作为生成器的损失值，并通过对该损失值进行反向传播来训练生成器，提升生成器的生成能力；
步骤4.3：将假的带纹理图片fake-B与真实的带纹理图片B分别作为判别器的输入；当判别器的输入为假的带纹理图片fake-B时，期望输出为N*N大小的全0特征图；当判别器的输入为真实的带纹理图片B时，期望输出为N*N大小的全1特征图；计算判别器的实际输出与期望输出之间的均方差，得到判别器的损失值；通过将判别器的损失值反向传播来训练判别器，提升判别器的判别能力；
步骤4.4：重复进行步骤4.2与步骤4.3，将生成器与判别器交替训练，直至达到设定的循环次数，完成神经网络的训练；
步骤5：将待待增广的图像样本输入训练好的神经网络的生成器中，得到增广后带有期望增广的纹理的图像；在生成过程中不采用深度学习框架中的测试模式，仍然选择训练模式，即不对批归一化层的参数进行固定，继续启用dropout层。
2.根据权利要求1所述的一种基于生成对抗网络的海面雨天图像样本增广方法，其特征在于：所述的步骤3中神经网络的生成器具体为：
生成器采用残差网络，第一层采用9*9的卷积核进行步长为1的卷积，使得网络具有较大的感受野，之后两层用步长为2的卷积层进行下采样，对图像编码，接下来跟5层残差块，增加网络的深度，并在每个残差块加入dropout层引入噪声，两层步长为2的反卷积上采样解码过程，最后为一层卷积核为9*9步长为1的卷积层，除最后一层不使用批归一化与激活函数外，其余层均启用批归一化，并选用ReLu激活函数；
所述的步骤3中神经网络的判别器具体为：
判别器采用Patch-D，网络结构为四层步长为2的卷积下采样和一层步长为1的卷积层，最后一层不再进行全连接，而是保持为卷积层，使得输出为一个N*N大小的特征图。
3.根据权利要求1或2所述的一种基于生成对抗网络的海面雨天图像样本增广方法，其特征在于：所述的步骤3中L1损失与GAN损失相结合的方法具体为：由GAN损失重建图片的高频部分，由L1损失重建图像的低频部分，最终的损失函数为：
Figure FDA0002331113790000021
LGAN(G,D)＝Ey[‖D(y)‖2]+Ex,z[||(1-D(G(x,z)))||2]
LL1(G)＝Ex,y,z[‖y-G(x,z)‖1]
其中，G*为目标生成器；G为生成器；D为判别器；x为原始图片A；y为带纹理图片B；z为通过dropout引入的噪声；E表示求均值。
CN201911336661.0A 2019-12-23 2019-12-23 一种基于生成对抗网络的海面雨天图像样本增广方法 Active CN111145116B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911336661.0A CN111145116B (zh) 2019-12-23 2019-12-23 一种基于生成对抗网络的海面雨天图像样本增广方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911336661.0A CN111145116B (zh) 2019-12-23 2019-12-23 一种基于生成对抗网络的海面雨天图像样本增广方法

Publications (2)

Publication Number Publication Date
CN111145116A true CN111145116A (zh) 2020-05-12
CN111145116B CN111145116B (zh) 2022-05-20

Family

ID=70519429

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911336661.0A Active CN111145116B (zh) 2019-12-23 2019-12-23 一种基于生成对抗网络的海面雨天图像样本增广方法

Country Status (1)

Country Link
CN (1) CN111145116B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583101A (zh) * 2020-05-13 2020-08-25 杭州云梯科技有限公司 基于深度学习的图像防盗系统和方法
CN111798359A (zh) * 2020-05-19 2020-10-20 佛山市南海区广工大数控装备协同创新研究院 一种基于深度学习的图像去水印方法
CN112257627A (zh) * 2020-10-29 2021-01-22 上海交通大学 一种水上图像数据集扩展方法
CN112258425A (zh) * 2020-11-24 2021-01-22 中电万维信息技术有限责任公司 一种二维码图像清晰化去模糊处理方法
CN112309068A (zh) * 2020-10-29 2021-02-02 电子科技大学中山学院 一种基于深度学习的森林火灾预警方法
CN112465697A (zh) * 2020-12-11 2021-03-09 哈尔滨工程大学 一种海上雾天图像模拟方法
CN112561782A (zh) * 2020-12-15 2021-03-26 哈尔滨工程大学 一种提高海上场景仿真图片真实度的方法
CN112614053A (zh) * 2020-12-25 2021-04-06 哈尔滨市科佳通用机电股份有限公司 基于对抗神经网络的单个图像生成多个图像的方法及系统
CN113033656A (zh) * 2021-03-24 2021-06-25 厦门航空有限公司 一种基于生成对抗网络的交互式孔探数据扩展方法
CN113378840A (zh) * 2020-12-22 2021-09-10 浙江大华技术股份有限公司 一种车牌的检测方法及装置
CN113537379A (zh) * 2021-07-27 2021-10-22 沈阳工业大学 一种基于CGANs的立体匹配方法
CN114140662A (zh) * 2021-11-29 2022-03-04 广州中科智巡科技有限公司 一种基于循环生成对抗网络的绝缘子雷击图像样本增广方法
CN114189695A (zh) * 2020-09-14 2022-03-15 四川大学 一种基于gan的hevc压缩视频视觉感知提升方法
CN115689947A (zh) * 2022-12-30 2023-02-03 杭州魔点科技有限公司 一种图像锐化的方法、系统、电子装置和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101843066B1 (ko) * 2017-08-23 2018-05-15 주식회사 뷰노 기계 학습에 있어서 데이터 확대를 이용하여 데이터의 분류를 수행하는 방법 및 이를 이용한 장치
CN109117863A (zh) * 2018-07-04 2019-01-01 全球能源互联网研究院有限公司 基于深度卷积生成对抗网络的绝缘子样本扩充方法及装置
CN109583474A (zh) * 2018-11-01 2019-04-05 华中科技大学 一种用于工业大数据处理的训练样本生成方法
CN109934282A (zh) * 2019-03-08 2019-06-25 哈尔滨工程大学 一种基于sagan样本扩充和辅助信息的sar目标分类方法
US20190332896A1 (en) * 2018-04-27 2019-10-31 Jianming Liang Methods, systems, and media for selecting candidates for annotation for use in training classifiers

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101843066B1 (ko) * 2017-08-23 2018-05-15 주식회사 뷰노 기계 학습에 있어서 데이터 확대를 이용하여 데이터의 분류를 수행하는 방법 및 이를 이용한 장치
US20190332896A1 (en) * 2018-04-27 2019-10-31 Jianming Liang Methods, systems, and media for selecting candidates for annotation for use in training classifiers
CN109117863A (zh) * 2018-07-04 2019-01-01 全球能源互联网研究院有限公司 基于深度卷积生成对抗网络的绝缘子样本扩充方法及装置
CN109583474A (zh) * 2018-11-01 2019-04-05 华中科技大学 一种用于工业大数据处理的训练样本生成方法
CN109934282A (zh) * 2019-03-08 2019-06-25 哈尔滨工程大学 一种基于sagan样本扩充和辅助信息的sar目标分类方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
ANTHREAS ANTONIOU 等: "Data Augmentation Generative Adversarial Networks", 《2018 ICLR CONFERENCE》 *
PHILLIP ISOLA 等: "Image-to-image translation with conditional adversarial networks", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION(CVPR)》 *
俞彬: "基于生成对抗网络的图像类别不平衡问题数据扩充方法", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
尤鸣宇 等: "基于样本扩充的小样本车牌识别", 《南京师大学报（自然科学版）》 *
杨懿男 等: "基于生成对抗网络的小样本数据生成技术研究", 《电力建设》 *
王娟 等: "HR-DCGAN方法的帕金森声纹样本扩充及识别研究", 《小型微型计算机系统》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583101A (zh) * 2020-05-13 2020-08-25 杭州云梯科技有限公司 基于深度学习的图像防盗系统和方法
CN111798359A (zh) * 2020-05-19 2020-10-20 佛山市南海区广工大数控装备协同创新研究院 一种基于深度学习的图像去水印方法
CN114189695A (zh) * 2020-09-14 2022-03-15 四川大学 一种基于gan的hevc压缩视频视觉感知提升方法
CN114189695B (zh) * 2020-09-14 2023-02-10 四川大学 一种基于gan的hevc压缩视频视觉感知提升方法
CN112257627A (zh) * 2020-10-29 2021-01-22 上海交通大学 一种水上图像数据集扩展方法
CN112309068A (zh) * 2020-10-29 2021-02-02 电子科技大学中山学院 一种基于深度学习的森林火灾预警方法
CN112257627B (zh) * 2020-10-29 2022-10-25 上海交通大学 一种水上图像数据集扩展方法
CN112258425A (zh) * 2020-11-24 2021-01-22 中电万维信息技术有限责任公司 一种二维码图像清晰化去模糊处理方法
CN112465697A (zh) * 2020-12-11 2021-03-09 哈尔滨工程大学 一种海上雾天图像模拟方法
CN112561782B (zh) * 2020-12-15 2023-01-03 哈尔滨工程大学 一种提高海上场景仿真图片真实度的方法
CN112561782A (zh) * 2020-12-15 2021-03-26 哈尔滨工程大学 一种提高海上场景仿真图片真实度的方法
CN113378840A (zh) * 2020-12-22 2021-09-10 浙江大华技术股份有限公司 一种车牌的检测方法及装置
CN112614053B (zh) * 2020-12-25 2021-08-24 哈尔滨市科佳通用机电股份有限公司 基于对抗神经网络的单个图像生成多个图像的方法及系统
CN112614053A (zh) * 2020-12-25 2021-04-06 哈尔滨市科佳通用机电股份有限公司 基于对抗神经网络的单个图像生成多个图像的方法及系统
CN113033656A (zh) * 2021-03-24 2021-06-25 厦门航空有限公司 一种基于生成对抗网络的交互式孔探数据扩展方法
CN113033656B (zh) * 2021-03-24 2023-12-26 厦门航空有限公司 一种基于生成对抗网络的交互式孔探数据扩展方法
CN113537379A (zh) * 2021-07-27 2021-10-22 沈阳工业大学 一种基于CGANs的立体匹配方法
CN113537379B (zh) * 2021-07-27 2024-04-16 沈阳工业大学 一种基于CGANs的立体匹配方法
CN114140662A (zh) * 2021-11-29 2022-03-04 广州中科智巡科技有限公司 一种基于循环生成对抗网络的绝缘子雷击图像样本增广方法
CN115689947A (zh) * 2022-12-30 2023-02-03 杭州魔点科技有限公司 一种图像锐化的方法、系统、电子装置和存储介质
CN115689947B (zh) * 2022-12-30 2023-05-26 杭州魔点科技有限公司 一种图像锐化的方法、系统、电子装置和存储介质

Also Published As

Publication number Publication date
CN111145116B (zh) 2022-05-20

Similar Documents

Publication Publication Date Title
CN111145116B (zh) 一种基于生成对抗网络的海面雨天图像样本增广方法
Golts et al. Unsupervised single image dehazing using dark channel prior loss
CN109815893B (zh) 基于循环生成对抗网络的彩色人脸图像光照域归一化的方法
CN109410261B (zh) 基于金字塔池化模块的单目图像深度估计方法
CN110458765B (zh) 基于感知保持卷积网络的图像质量增强方法
CN108875935B (zh) 基于生成对抗网络的自然图像目标材质视觉特征映射方法
CN110097609B (zh) 一种基于样本域的精细化绣花纹理迁移方法
CN112288658A (zh) 一种基于多残差联合学习的水下图像增强方法
CN112489164B (zh) 基于改进深度可分离卷积神经网络的图像着色方法
CN108805151B (zh) 一种基于深度相似性网络的图像分类方法
CN110880165A (zh) 一种基于轮廓和颜色特征融合编码的图像去雾方法
CN110717953A (zh) 基于cnn-lstm组合模型的黑白图片的着色方法和系统
CN110852935A (zh) 一种人脸图像随年龄变化的图像处理方法
CN111127331A (zh) 基于像素级全局噪声估计编解码网络的图像去噪方法
CN115424088A (zh) 图像处理模型训练方法以及装置
CN114581552A (zh) 一种基于生成对抗网络的灰度图像彩色化方法
CN111882516B (zh) 一种基于视觉显著性和深度神经网络的图像质量评价方法
CN116935043A (zh) 一种基于多任务生成对抗网络的典型地物遥感图像生成方法
CN109887023B (zh) 一种基于加权梯度幅度的双目融合立体图像质量评价方法
CN111553424A (zh) 一种基于cgan的图像数据平衡和分类方法
CN115908600A (zh) 基于先验正则化的大批量图像重建方法
CN115294424A (zh) 一种基于生成对抗网络的样本数据增强方法
CN111862253B (zh) 一种基于深度卷积生成对抗网络的草图着色方法及系统
CN114897884A (zh) 基于多尺度边缘特征融合的无参考屏幕内容图像质量评估方法
CN113538484A (zh) 一种深度细化的多重信息嵌套边缘检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant