CN108985464A

CN108985464A - 基于信息最大化生成对抗网络的人脸连续特征生成方法

Info

Publication number: CN108985464A
Application number: CN201810780662.3A
Authority: CN
Inventors: 陈国荣; 罗建伟; 杜晓霞; 任虹; 刘灿; 刘垚; 何宏黎; 利节
Original assignee: Chongqing University of Science and Technology
Current assignee: Chongqing University of Science and Technology
Priority date: 2018-07-17
Filing date: 2018-07-17
Publication date: 2018-12-11

Abstract

本发明公开了一种基于信息最大化生成对抗网络的人脸连续特征生成方法，它能够生成特征属性连续变化的人脸图像，包括：S1、选择数据集；S2、预处理；S3、搭建基于信息最大化的生成对抗网络模型：模型包括生成器G与判别器D，生成器G通过控制潜在变量c的类型以及维度，从而利用随机噪声向量z生成与真实样本概率密度分布接近的生成样本G(z,c)，将生成样本G(z,c)与真实样本X分别作为判别器D的输入，判别器D负责对输入的生成样本G(z,c)与真实样本X进行“真”与“假”的判断。最终在基于信息最大化的生成对抗网络模型中，生成器G与判别器D进行不断的交替训练，直到判别器D无法判断某一个人脸样本是来自于生成样本还是真实样本X时，该模型训练完成。

Description

基于信息最大化生成对抗网络的人脸连续特征生成方法

技术领域

本发明属于机器学习领域，特别涉及一种基于信息最大化生成对抗网络的人脸连续特征生成方法。

背景技术

有监督学习是机器学习领域一种常用的方法，它是指分别将大规模数据集中的数据以及对应的标签作为某种数学模型的输入，然后对该模型进行训练使其学习到已知数据的特征，从而对未知的数据进行判断的过程。由有监督学习的定义可知，数据集是决定最终模型性能优劣的关键环节之一。随着深度学习技术的不断发展以及在不同领域中开源数据集的出现，有监督学习方法得到了更加广泛的应用。但是，目前开源的数据集还是存在一些不足。以人脸数据集为例，一方面存在总体样本有限的问题，另一方面对于单个人脸样本而言，它包含的特征属性十分有限，同时数据集的收集、整理、标记是一个非常耗费时间与精力的过程，所以想要在一个大规模数据集中将所有单个人脸样本的一系列连续变化的特征属性包含在内显得十分困难。

无监督学习是指将未标记的数据集中的数据作为某种数学模型的输入，然后对该模型进行训练使其学习到数据集中的潜在特征，从而对未知的数据进行判断的过程。

生成对抗网络(简称:GAN)，是近年来无监督学习领域最具潜力的模型之一。该模型的目标是通过不断的训练，得到一个性能优异的生成模型。

发明内容

本发明针对现有人脸数据集存在的一些不足之处，提供一种基于信息最大化生成对抗网络的人脸连续特征生成方法，本发根据基于信息最大化的生成对抗网络模型，能够生成特征属性连续变化的人脸图像，弥补了现有数据集样本不足的问题，为相关问题的科学研究奠定了数据基础。

本发明的目的是这样实现的：

一种基于信息最大化生成对抗网络的人脸连续特征生成方法，包括以下步骤：

S1、选择数据集；

S2、数据集预处理；

S3、搭建基于信息最大化的生成对抗网络模型：

基于信息最大化的生成对抗网络模型包括生成器G与判别器D，生成器G通过控制潜在变量c的类型以及维度，从而利用随机噪声向量z生成与真实样本X概率密度分布接近的生成样本G(z,c)，将生成样本G(z,c)与真实样本X分别作为判别器D的输入，判别器D负责对输入的生成样本G(z,c)与真实样本X进行“真”与“假”的判断，最终在基于信息最大化的生成对抗网络模型中，生成器G与判别器D进行不断的交替训练，生成器G不断提升自己的生成能力，判别器D则不断优化自己的分类能力，当判别器D无法判断某一个人脸样本是来自于生成样本还是真实样本X时，该模型训练完成。

优选地，S1中，选择香港中文大学的开源人脸数据集CelebA，作为数据集。

优选地，S2中预处理方法如下：对数据集中的图像进行裁剪，并进行归一化处理，将图像的像素值统一到[-1,1]之间。

优选地，S3中，搭建基于信息最大化的生成对抗网络模型的方法包括以下步骤：

S31、搭建生成器模型G

将输入生成器G的随机噪声向量分为不可压缩变量z、潜在变量c，生成器G利用随机噪声向量生成与数据集中人脸的真实样本概率密度分布接近的生成样本G(z,c)；

引入了信息论，用I(c,G(c,z))表示潜在变量c与生成器G的输出G(z,c)之间的互信息，两者之间的互信息如下所示：

I(c,G(c,z))＝H(c)-H(c|G(z,c))＝H(G(z,c))-H(G(z,c)|c)(1)

由上式可得：当潜在变量c一定时，可以减少输出样本G(z,c)的不确定性，如果潜在变量c与输出样本G(z,c)不相关，那么I(c,G(c,z))＝0；为了通过控制潜在变量c获得预期的输出，将互信息项I(c,G(c,z))最大化，原始生成对抗网络的目标函数为：

引入互信息项I(c,G(c,z))之后，基于信息最大化的生成对抗网络的目标函数为：

同时在生成器G中，使用反卷积层进行上采样，并使用relu激活函数，从而使得噪声逐渐变为高分辨率的图像；

S32、搭建判别器模型D

判别器D由一个四层的卷积神经网络构成，它的目标尽可能将真实样本X判断为1，生成样本判断为0，于是，设定生成样本G(z,c)为0，真实样本X为1，然后进入判别器D中进行训练，最终得到一个性能优异的分类器；

S33、选择优化器

选择Adam作为优化器。

优选地，S31中，定义不可压缩变量z的维度为128维，潜在变量c的维度为58维，潜在变量c由5个10维的离散变量以及8个连续变量构成，其中，5个10维的离散变量用于控制特征的种类，8个连续变量用于控制特征的连续变化。

优选地，S33中，Adam的内部参数设定为：学习速率lr＝0.0005，β＝0.5。

由于采用了上述技术方案，本发明具有如下有益效果：

本发明中搭建了基于信息最大化的生成对抗网络，英文简称：InfoGAN。利用该模型能够有效控制输入的随机噪声向量的优势，使其输出我们想要的人脸样本，从而对现有的人脸数据集进行增强，有效的缓解了现有数据集总体样本有限以及单个人脸样本所包含的特征属性不足等问题。

现有的条件生成对抗网络(CGAN)不属于完全意义上的无监督模型，因为该模型中将标签信息c分别引入到样本的生成过程及判别过程：1)将随机噪声变量z与标签信息c共同作为生成器G的输入。引入标签信息c，使得生成器G不再是随机生成样本。而是产生标签信息c指定的样本；2)在判别器D训练过程中也引入了标签信息c,将原始数据集与标签信息c拼接在一起，从而提高了判别器训练的稳定性。本发明基于信息最大化对抗生成网络(即InfoGAN)是一个无监督学习模型，它是利用未知的样本(即样本不含标签)进行训练，通过控制潜在变量c的类型及维度，并且尝试最大化潜在变量c与生成样本G(z,c)之间的关联性，以达到控制生成样本特征属性变化的目的，该模型能够生成大量原有数据集中不存在的样本。

附图说明

图1为基于信息最大化的生成对抗网络用于人脸特征生成的网络框架；

图2为基于信息最大化的生成对抗网络内部参数；

图3为人脸生成过程中部分样本；

图4为模型训练完成后生成的部分样本；

图5为合成的眼睛大小连续变化的人脸图像；

图6为合成的人脸朝向连续变化的图像；

图7为合成的鼻子大小连续变化的人脸图像；

图8为合成的嘴唇厚薄连续变化的人脸图像；

图9为合成的发型连续变化的人脸图像；

图10为合成的性别变化人脸图像；

图11为合成的肤色连续变化的人脸图像；

图12为合成的发色连续变化的人脸图像；

图13为合成的情绪连续变化的人脸图像；

图14为合成的是否戴眼镜的人脸图像；

图15为合成的脸大小连续变化的人脸图像；

图16为合成的胡子连续变化的人脸图像；

图17为基于信息最大化的生成对抗模型训练过程中的损失函数曲线。

具体实施方式

参见图1、图2，一种基于信息最大化生成对抗网络的人脸连续特征生成方法，包括以下步骤：

S1、选择合适的数据集

经过对比，本发明中选择了香港中文大学的开源人脸数据集--CelebA，作为模型训练的数据源。该数据集包含了20万张左右的名人人脸图像以及40余种人脸特征标签，为本发明中生成相应的连续变化的特征奠定了数据基础。

S2、数据集预处理

CelebA数据集中图像的原始尺寸为178×218，这将给后期的训练带来较大的计算负担，所以我们将其裁剪至32×32。同时对它们进行归一化处理，将图像的像素值统一到[-1,1]之间。

S3、搭建基于信息最大化的生成对抗网络模型(InfoGAN)

本发明中所使用的模型框架如图1所示。基于信息最大化的生成对抗网络模型包括生成器G与判别器D，生成器G通过控制潜在变量c的类型(分为离散变量与连续变量)以及维度，从而利用随机噪声向量z生成与真实样本概率密度分布接近的生成样本(“假”样本)G(z,c)，将生成样本G(z,c)与真实样本(“真”样本)X分别作为判别器D的输入，对其进行训练，使其得到一个二分类器。两个模型进行不断的交替训练，生成器G不断提升自己的生成能力，生成的人脸样本越发逼真；而判别器D则不断优化自己的分类能力，从而得到一个分类性能优异的分类器。最终当两个模型的能力都很强时，即判别器D无法判断某一个人脸样本是来自于“假”数据集G(z,c)还是“真”样本集X时，该模型训练完成。

S3中，搭建基于信息最大化的生成对抗网络模型的方法包括以下步骤：

S31、搭建生成器模型G

为了弥补原始生成对抗模型(GAN)中随机噪声向量的不可控性以及不可解释性，本发明中将输入的噪声向量分为两个部分：1)不可压缩变量z；2)潜在变量c。并定义了不可压缩噪声的z维度为128维。潜在变量c的维度为58维，其中包括5个10维的离散变量用于控制特征的种类，8个连续变量用于控制特征的连续变化。

为了能够达到通过有效控制输入，从而得到我们预期的图像样本的目的，即使得潜在变量c与生成模型的输出G(z,c)之间建立高度的相关性，我们引入了信息论。在信息论中，I(X；Y)代表X与Y之间的互信息。而在本发明中I(c,G(c,z))表示潜在变量c与生成模型的输出G(z,c)之间的互信息。两者之间的互信息如下所示：

I(c,G(c,z))＝H(c)-H(c|G(z,c))＝H(G(z,c))-H(G(z,c)|c)(1)

由上式可得：I(c,G(c,z))项代表着当潜在变量c一定时，可以减少输出样本G(z,c)的不确定性。如果潜在变量c与输出样本G(z,c)不相关，那么I(c,G(c,z))＝0；在本发明中，想要通过有效的控制潜在变量c，从而获得预期的输出，则需将互信息项I(c,G(c,z))最大化。原始生成对抗网络的目标函数为：

同时在生成器G中，本发明使用了反卷积层，进行上采样，并使用了“relu”的激活函数，从而使得噪声逐渐变为高分辨的图像。

S32、搭建判别器模型

判别器D由一个四层的卷积神经网络构成，它的目标尽可能将“真”样本X判断为1，“假”样本判断为0.于是我们人为地给“假”样本G(z,c)贴上标签“0”；给“真”样本X贴上标签“1”，然后进入判别器D中进行训练。最终得到一个性能优异的分类器。

S33、选择合适的优化器

选择合适的优化器不仅能够提升训练的速度，还会影响模型最终的性能。我们基于谷歌开源的深度学习工具--TensorFlow,搭建了基于信息最大化的生成对抗网络(InfoGAN)。TensorFlow中为我们集成了多种优化器：Adam,SGD,RMSprop,Adagrad,Adadelta.经过对比，本发明中选择了Adam优化器，它的内部参数设定为；学习速率lr＝0.0005，β＝0.5。

参见图3-图16，为基于生成对抗网络的人脸连续特征生成中的人脸图像；参见图17为，基于信息最大化的生成对抗模型训练过程中的损失函数曲线。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims

1.一种基于信息最大化生成对抗网络的人脸连续特征生成方法，其特征在于：包括以下步骤：

S1、选择数据集；

S2、数据集预处理；

S3、搭建基于信息最大化的生成对抗网络模型：

2.根据权利要求1所述的一种基于信息最大化生成对抗网络的人脸连续特征生成方法，其特征在于：S1中，选择香港中文大学的开源人脸数据集CelebA，作为数据集。

3.根据权利要求1所述的一种基于信息最大化生成对抗网络的人脸连续特征生成方法，其特征在于：S2中预处理方法如下：对数据集中的图像进行裁剪，并进行归一化处理，将图像的像素值统一到[-1,1]之间。

4.根据权利要求1所述的一种基于信息最大化生成对抗网络的人脸连续特征生成方法，其特征在于，S3中，搭建基于信息最大化的生成对抗网络模型的方法包括以下步骤：

S31、搭建生成器模型G

I(c,G(c,z))＝H(c)-H(c|G(z,c))＝H(G(z,c))-H(G(z,c)|c) (1)

S32、搭建判别器模型D

S33、选择优化器

选择Adam作为优化器。

5.根据权利要求4所述的一种基于信息最大化生成对抗网络的人脸连续特征生成方法，其特征在于，S31中，定义不可压缩变量z的维度为128维，潜在变量c的维度为58维，潜在变量c由5个10维的离散变量以及8个连续变量构成，其中，5个10维的离散变量用于控制特征的种类，8个连续变量用于控制特征的连续变化。

6.根据权利要求4所述的一种基于信息最大化生成对抗网络的人脸连续特征生成方法，其特征在于，S33中，Adam的内部参数设定为：学习速率lr＝0.0005，β＝0.5。