CN109658347A - 一种同时生成多种图片风格的数据增强方法 - Google Patents

Abstract

本发明涉及一种同时生成多种图片风格的数据增强方法，包括下列步骤：准备待转换数据集及想转化的目标类型数据集；根据任务的需求，建立多任务图片生成模型；利用上述的三个数据集训练修改后的多任务图片生成模型，设L_dis为对抗损失，L_cyc为循环一致性损失，L_vae为AVE损失，另外三个为本身的重构损失，则训练模型的总损失；尝试多种训练策略并根据测试集的效果图选取最佳的模型进行图片数据的生成。

Description

一种同时生成多种图片风格的数据增强方法

技术领域

本发明涉及深度学习、图像风格转换，生成对抗网络及数据增强，尤其是利用生成对抗网络进行多种图片风格的数据生成。

背景技术

随着深度学习的发展，越来越多的深度学习技术逐步嵌入到现实生活中的应用中，也在性能上超越了很多传统算法。目前，利用深度卷积神经网络在很多应用上拥有很好的性能，主要归功于卷积层能够自动提取有用的特征，该特征与传统的手动提取特征相比，拥有更强的判别性的信息，从而能够提升网络在各任务上的表现。但让网络学习到这些特征的基本前提是拥有大量的训练数据，而现实生活中，这样的要求往往很难被满足。除此之外，在真实的场景中，由于各种现实因素的制约，导致采集到的数据存在着极度的不平衡现象，例如用于自动驾驶场景的训练数据就存在着晴天的数据远远大于雨天数据的现象。因此，如何利用现有的技术生成图片数据进行一定程度的数据增强，从而缓解深度学习数据不足的现状至关重要。

为获得足够的图片训练数据，目前已经提出的方法大致可分为两种：一是使用自动编码器(VAE)进行图片生成[1,2,3,7]，VAE有一个编码器和解码器组成，其本质是让一张图片经过编码器的编码和解码器的解码后能够恢复出原图，在测试阶段，通过随机生成的编码利用解码器随机生成图片。但利用VAE方式一般只能生成和训练集很相似的图片，不具备普遍性。二是利用生成对抗网络生(GAN)成图片数据，例如最原始的GAN可以利用一个固定维数的噪声生成某种类型的图片[5]，而ConditionalGAN可以在生成图片的同时加入额外的人为信息[6]，弥补原始GAN只能随机生成图片的缺陷。除此之外，Cycle-GAN则能够利用不匹配的图片对进行图片间的风格转换[7]。虽然利用GAN能够生成大量的图片，但一个模型基本上只能生成某一种类型的图片，而现实生活中，为获得一个泛化性及精度足够好的模型，经常需要多种分布的数据类型进行联和训练，因此，此种方法也有一定的局限性。

参考文献：

[1]张赛,芮挺,李华兵,方虎生.基于监督学习自动编码器图像重构[J].江苏科技信息,2017,(28):43-45.

[2]孟令恒.自动编码器相关理论研究与应用[D].中国矿业大学,

[3]DiederikP.Kingma,MaxWelling.Auto-EncodingVariationalBayes[J].2013,CoRRabs/1312.6114

[4]Ian J.Goodfellow,Jean Pouget-Abadie,Mehdi Mirza.GenerativeAdversarial Networks[J].2014,CoRR abs/1406.2661

[5]MehdiMirza,SimonOsindero.ConditionalGenerativeAdversarialNets[J].2014,CoRRabs/1411.1784

[6]Jun-Yan Zhu,Taesung Park,Phillip Isola.Unpaired Image-to-ImageTranslation Using Cycle-Consistent AdversarialNetworks[C].ICCV,2017:2242-2251.

[7]夏春秋.一种基于变分自动编码器和生成对抗网络的图像转化方法[P].广东：CN107123151A,2017-09-01

[8]袁克虹,范宏伟,张生泽.一种基于深度学习的图片生成方法及生成对抗网络[P].广东：CN107220600A,2017-09-29

发明内容

本发明的目的是提供一种能够同时生成多种图片风格的多任务生成模型，利用所有生成的图片做数据增强进行联和训练的方法。技术方案如下：

一种同时生成多种图片风格的数据增强方法，包括下列步骤：

步骤1：准备待转换数据集A_s及想转化的目标类型数据集B_s，C_s；

步骤2：根据任务的需求，建立多任务图片生成模型；

步骤3：利用上述的三个数据集训练修改后的多任务图片生成模型，设L_dis为对抗损失， L_cyc为循环一致性损失，L_vae为AVE损失，另外三个为本身的重构损失，则训练模型的总损失：

L＝L_dis+L_cyc+L_vae+L_A-self+L_B-self+L_C-self；

步骤4：尝试多种训练策略并根据测试集的效果图选取最佳的模型进行图片数据的生成，方法如下：

1)生成对抗模型对学习率比较敏感，需对尝试多个学习率进行效果对比；

2)多任务生成对抗网络对图片的大小比较敏感，需要尝试多种图片大小进行效果对比；

3)不同相似度度量函数在保证各共享特征一致性方面拥有不同的性能，需尝试不同相似度测量函数进行效果对比；

4)调整几个损失间的损失权重，各个损失权重依次为：1，1，0.2，0.1，0.1，0.1；

步骤5：搭建相似度度量网络，用于之后度量原图和生成图之间的相似度；

步骤6：训练相似度度量网络；

步骤7：利用相似度度量网络度量原图和生成图之间差异，筛选出质量好的生成图；

步骤8：将筛选后的图片加入到特定任务的训练集中进行该任务的模型训练。

附图说明

图1是本发明所设计的多任务图片生成模型的网络结构

图2是多任务图片生成模型的生成结果示例图

图3是多任务图片生成模型的不好结果示例图

图4是本发明的相似度度量网络框架图

表1是相似度度量模型网络结构配置表

具体实施方式

本发明的目的是设计一个多任务的图片生成模型同时生成多种风格的图片，因此首先需要准备需要转化的原始数据集A_s，以及目标的风格图片数据集B_s，C_s。其次，为同时生成B风格的图片和C风格的图片，需要同时进行两个Cycle-GAN的联和训练，及多任务图片生成模型的训练。最后，需要筛选出质量高的生成图作为数据增强加入到真正任务所对应的模型中进行训练。

本发明所提方法具体处理过程包括：数据准备、多任务图片生成模型的设计与训练、相似度度量网络的设计与训练三个主要步骤。

1、数据准备

为训练多任务图片生成模型，需要准备至少三种风格类型的图片。本发明所使用的三个数据集由三个不同时间点的城市街景图组成，分别是晴天场景、雨天场景及夜晚场景。众所皆知，在训练自动驾驶模型时需要有大量的数据，但在进行数据采集时，往往只能采集到晴天的数据，而对雨天和夜晚这种受限于天气的数据往往很难采集到，因此如何用生成模型同时生成雨天及夜晚的图片对于自动驾驶感知模型的提升有很大的帮助。

2、多任务图片生成模型的设计与训练

多任务图片生成模型是为了解决Cycle-GAN只能生成一种风格类型图片的弊端，而在真实的场景中，往往需要多种类型的图片进行联和训练，例如雨天和夜晚的数据。如果无法满足这样的条件，会使得模型在雨天和夜晚场景下的测试性能差。具体的，该部分内容主要包括：多任务生成模型的设计，多任务生成模型的训练。

(1)多任务图片生成模型的设计：

传统的Cycle-GAN网络由两个生成器及其对应的两个判别器组成，分别是G:A→B和 F:B→A。设A和B分别是两种风格的图片，Cycle-GAN利用循环一致性损失保证了任何一张A风格的图片在经过G:A→B及F:B→A转化后得到的A′在内容上和A之间的差距尽可能小。

为避免训练多个Cycle-GAN模型生成多种风格的图片，本发明设计了一个端到端的网络能够同时生成多种风格的图片，粗略的网络结构如图1所示。其中，A，B，C分别代表三种不同风格的图片，为极大的加快模型的运行速度和提高模型的性能，该网络的生成器部分，模型针对A，B，C三种风格的图片共享部分的Encoder和Decoder，该共享的Encoder 和Decoder能够使网络学习到和风格无关的信息，使得不同风格的图片在该部分有用相同的特征，而图片的风格信息则编码于属于自己特有的Encoder和Decoder分支中(例如Decoder_A、Decoder_B及Decoder_C)。这样，A风格的图片经过Encoder_A、Encoder_share及Decoder_share后，能够通过Decoder_A、Decoder_B及Decoder_C三个特定风格分支生成特定风格的图片。

当然，为保证模型学习到真正的风格信息，而不是将图片内容误认为风格信息，需要对网络添加约束，在该网络中我们添加的约束仍旧是循环一致性损失，及一张图片A在经过A→B→A′转换后，A和A′应当尽可能相似。因此，在网络的训练过程中本发明最小化如下两个的距离：

L_cyc(G,F,A,B)＝Ε_x～A[||G(F(x))-x||]-Εy_～B[||F(G(y))-y||] (1)

L_cyc(G,F,A,C)＝Ε_x～A[||G(F(x))-x||]-Εy_～C[||F(G(y))-y||] (2)

(2)多任务图片生成模型的其他损失

为进一步提升生成图片的质量，除了生成对抗网络肯定需要的对抗损失外，本发明还额外设计了两种其他类型的损失保证网络在共享部分(Encoder_share和Decoder_share)学习更加通用内容特征，而不是风格信息，包括VAE损失和L1的重构损失。

VAE损失的计算如式(3)所示，其中mean表示求均值，Out_share表示多任务 Encoder_share共享层的输出。根据深度学习风格迁移领域的经验，图片的风格信息和分布信息在经过网络后会编码于对应卷积层输出的通道内，可以对这些通道进行转换以得到更加通用的分布或者进行风格转换。因此，在试验中，将A、B及C类型的图片通过网络后，能够得到这三种风格的图片在Encoder_share卷积层的输出，此时求取这三个输出的均值作为网络最优化的目标，能够约束网络去学习一个均值为0且通用的分布，相当在 Encoder_share层消除了所有图片的风格信息，而只保留图片的内容信息，使得该层的特征在所有风格中都通用。

L_vae＝mean(Out_share) (3)

每一种风格的图片都有一个L1重构损失，其用于保证一张图片在经过两次转换后，在内容上应该是不变的。例如，设风格A的图片经过网络转换为B′，此时B′再次通过网络以后，其在Encoder_share层输出应该尽可能和A在Encoder_share层的输出一致，本发明采用式(4)所示的方式计算保证这种两次转换后的一致性，B和C风格的图片依此类推。

L_A-self＝mean(Out_A-B'-A) (4)

因此，本发明的多任务图片生成模型最终的损失如式(5)所示，其中L_dis表示对抗损失，L_gen表示生成损失，其余四个为上述所说的VAE损失和L1重构损失。

L＝L_dis+L_gen+L_vae+L_A-self+L_B-self+L_C-self (5)

(3)多任务图片生成模型的训练

虽然生成对抗网络能够很好的生成图片，但其训练的难度也大大提升，生成对抗网络对参数敏感是众所皆知的一件事。本发明训练配置为：总迭代次数为500000次，每一次迭代的Batch_Size为1，即风格为A，B，C的图片各一张，学习率的大小为0.0001。与此同时，本发明在训练的过程中也需要注意几个方面，分别是：

A)生成对抗模型对学习率比较敏感，需对尝试多个学习率进行效果对比

B)多任务生成对抗网络对图片的大小比较敏感，需要尝试多种图片大小进行效果对比，本发明发现使用504x336的效果对城市街景图效果最好

C)不同相似度度量函数在保证各共享特征一致性方面拥有不同的性能，需尝试不同相似度测量函数进行效果对比

D)如式(5)所示的几个损失间的损失权重对网络的影响较大，需要根据任务进行调整，本发明所示使用的损失权重依次为：1，1，0.2，0.1，0.1，0.1

(3)相似度度量网络的设计与训练

如图2所示，为本发明多任务图片生成模型利用晴天的图片同时生成雨天和夜晚的图片示例图，可以发现模型能够很好的进行风格转换。但如图3所示，经过模型转换后，图片内容出现了较大的扭曲，这样的图片如果加入到特定任务的训练当中，会使得网络的性能降低。所以，即使设计了多个损失，虽然生成了对应风格的图片，但仍旧会出现质量不好的图片，因此很有必要对所有生成的图片进行筛选，只利用结果的生成图进行特定任务模型的训练。具体的，该部分包括：相似度度量网络的设计及其训练。

(1)相似度度量网络的设计

如图4所示的网络结构为本发明相似度度量网络的结构示意图，其输入为原图和生成图，该输入经过特定网络提取固定维数的特征后，利用L1距离的大小来衡量两张图片间的相似度。在进行筛选时，可以设置一个距离阈值，和原图的距离大于该阈值就说明该生成图片的质量不好，不应该加入到特定任务的训练当中。

本发明所使用的相似度度量网络的具体网络配置如表1所示。我们采用变体的VGG16 网络作为特征提取器，网络的输入大小为224x224，图片经过特征提取后，会进入3个全连接层，并得到最终的128特征向量，最后利用原图和生成图的特征向量进行相似度计算。

(2)相似度度量网络的训练

在设计好相似度度量网络后，需要进行该网络的训练。本发明采用图片对的方式进行训练，输入的图片总共有三张，首先随机从训练集当中挑选两张图片X_p和X_n，这两张图片肯定是不一样的，与此同时对其中一张图片做随机的高斯噪声得到X_p′，即对该图片进行微小的改动。这样，就形成了相似图片对和不相似图片对，利用相似度度量网络分别计算出两对图片的距离，网络需要保证相似图片间的距离要小于不相似图片间的距离，即使用式(6) 的所示的损失进行训练：

L_similarity＝max(||f(x^p)-f(xⁿ)||²-||f(x^p)-f(x^p′)||²-α,0)

本发明的步骤总结如下：

步骤1：准备待转换数据集及想转化的目标类型数据集。

步骤2：根据任务需求，修改本发明所提出的多任务图片生成模型。

步骤3：利用准备好的数据集进行多任务图片生成模型训练。

步骤4：尝试多种训练策略并根据测试集的效果图选取最佳的模型进行图片数据的生成。

步骤5：训练相似度度量网络，并利用训练好的模型对所生成的图片进行筛选。

步骤6：将筛选后的图片进入到特定任务的训练集中进行该任务的训练。

层名	卷积层参数	激活函数
			Input	224x224
Conv1	32,3x3,1	Relu
			Conv2	64,3x3,2	Relu
Conv3	64,3x3,1	Relu
			Conv4	128,3x3,2	Relu
Conv5	128,3x3,1	Relu
			Conv6	128,3x3,1	Relu
Conv7	256,3x3,2	Relu
			Conv8	256,3x3,1	Relu
Conv9	256,3x3,1	Relu
			Conv10	256,3x3,2	Relu
Conv11	256,3x3,1	Relu
			Conv12	256,3x3,1	Relu
FC1	50176	Relu
			FC2	1024	Relu
FC3	128	Relu

表1相似度度量模型网络结构配置表。

Claims (1)

1.一种同时生成多种图片风格的数据增强方法，包括下列步骤：

步骤1：准备待转换数据集A_s及想转化的目标类型数据集B_s，C_s；

步骤2：根据任务的需求，建立多任务图片生成模型；

步骤3：利用上述的三个数据集训练修改后的多任务图片生成模型，设L_dis为对抗损失，L_cyc为循环一致性损失，L_vae为AVE损失，另外三个为本身的重构损失，则训练模型的总损失：

L＝L_dis+L_cyc+L_vae+L_A-self+L_B-self+L_C-self。

步骤4：尝试多种训练策略并根据测试集的效果图选取最佳的模型进行图片数据的生成，方法如下：

1)生成对抗模型对学习率比较敏感，需对尝试多个学习率进行效果对比；

2)多任务生成对抗网络对图片的大小比较敏感，需要尝试多种图片大小进行效果对比；

3)不同相似度度量函数在保证各共享特征一致性方面拥有不同的性能，需尝试不同相似度测量函数进行效果对比；

4)调整几个损失间的损失权重，各个损失权重依次为：1，1，0.2，0.1，0.1，0.1；

步骤5：搭建相似度度量网络，用于之后度量原图和生成图之间的相似度；

步骤6：训练相似度度量网络；

步骤7：利用相似度度量网络度量原图和生成图之间差异，筛选出质量好的生成图；

步骤8：将筛选后的图片加入到特定任务的训练集中进行该任务的模型训练。