CN109102029A - 信息最大化生成对抗网络模型合成人脸样本质量评估方法 - Google Patents

Abstract

本发明公开了一种信息最大化生成对抗网络模型合成人脸样本质量评估方法，本发明使合成人脸样本的质量评估变得更加客观，具有较高的可靠性。评估方法包括：S1、数据预处理；S2、采用卷积神经网络构建合成人脸样本集的评估模型；S3、通过S2中构建的评估模型对合成人脸样本进行评估质量好的合成人脸样本,由于生成对抗网络模型的机制，质量好的样本其概率分布p_g(x)与原始样本的概率分布p_data(x)相近，所以通过分类模型训练测试时可以得到较高的准确率；质量差的合成人脸样本,则因其分布p_g(x)离原始样本分布p_data(x)较远，且存在较多的可能性，所以其样本间差别较大，经分类模型进行训练测试时准确率较低。

Description

信息最大化生成对抗网络模型合成人脸样本质量评估方法

技术领域

本发明属于机器学习领域，特别涉及信息最大化生成对抗网络模型合成人脸样本质量评估方法。

背景技术

近年来，生成对抗网络(GANs)模型利用“零和博弈”的思想在图像合成上取得了许多显著的成果。例如:SRGAN可将低分辨率图像转化为高分辨；CycleGAN可实现两种不同绘画风格之间的转换。基于信息最大化的生成对抗网络作为一种生成模型，其内部相互博弈的机制使得在理论上合成人脸样本的概率分布p_g(x)应该与原始样本的概率分布p_data(x)尽可能相似，此时合成人脸样本的质量可达到最佳。但是在实际的训练过程中很难达到这一平衡点，因此经该模型合成的样本的质量参次不齐。这为如何评估合成人脸样本的质量提出了一个难题。目前通常采用定性的方法，即人主观的对合成人脸样本的质量进行评估，判断其好坏。但是这种方法因人而异缺乏客观性，不能作为一种通用的质量评估方法。

发明内容

本发明针对现有人脸数据集存在的一些不足之处，提供一种信息最大化生成对抗网络模型合成人脸样本质量评估方法，本发明使合成人脸样本的质量评估变得更加客观，具有较高的可靠性。

本发明的目的是这样实现的：

一种信息最大化生成对抗网络模型合成人脸样本质量评估方法，信息最大化生成对抗网络合成的一系列特征连续变化的人脸样本，构成合成人脸样本集，并作为评估对象，评估方法包括：

S1、数据预处理；

S2、采用卷积神经网络构建合成人脸样本集的评估模型，包括：

输入层

输入层读取合成人脸样本，将图像数据转化为二维矩阵；

卷积-池化层

卷积层提取合成人脸样本的特征，不同的卷积核用于提取不同的特征，浅层卷积层用于提取低级特征，深层卷积层用于提取高级的语义特征，根据图像的复杂程度选择合适的卷积层数，卷积层中输出的新的像素点由以下公式计算得出：

其中，f(·)代表激活函数，代表上一层特征图像的某个像素值，代表卷积核，*代表卷积运算；考虑到本层输出可以与上一层多个特征图像关联，M_j表示参与运算的上一层的特征图像的子集；代表偏置项，上标l表示第l层，

池化层进一步对提取的特征进行降维处理，在卷积运算后得到的特征矩阵的基础上，加入最大池化处理，池化操作中每个神经元对应卷积中每一个N×1位置，其公式为：

其中，u(n,1)是卷积操作的一个窗函数，a_j对应图像区域的最大值；

SoftMax层

SoftMax层将池化层的输出值映射为相应的概率值，最终选择概率值最大所在的类别作为模型分类的结果，假设输入特征记为x⁽ⁱ⁾，样本标签记为y⁽ⁱ⁾，构成训练集S＝{(x⁽¹⁾,y⁽¹⁾),…,(x^(m),y^(m))}，对于给定的输入x，利用假设模型对每个类别j估算其概率值p(y＝j|x)，假设函数为：

其中，θ₁,θ₂,…,θ_k为可学习的模型参数，为归一化项，使得所有概率之和为1，从而得到代价函数：

其中，1{·}为一个指示性函数，当括号内的值为真时，函数的结果为1，否则为0；所述假设函数是对逻辑回归的推广，因此代价函数可以改为：

对于SoftMax代价函数J(θ)求其偏导数，得到梯度公式：

为一个向量，它的第l个元素是J(θ)对θ_j的第l个分量的偏导数；

得到以上求解偏导数公式后，使用随机梯度下降算法对代价函数J(θ)进行最小化，在每次迭代过程中都需要对参数进行更新：最后实现SoftMax回归分类模型；

S3、通过S2中构建的评估模型对合成人脸样本进行评估

质量好的合成人脸样本,由于生成对抗网络模型的机制，质量好的样本其概率分布p_g(x)与原始样本的概率分布p_data(x)相近，所以通过分类模型训练测试时可以得到较高的准确率；

质量差的合成人脸样本,则因其分布p_g(x)离原始样本分布p_data(x)较远，且存在较多的可能性，所以其样本间差别较大，经分类模型进行训练测试时准确率较低。

优选地，所述合成人脸样本集以香港中文大学开源的CelebA数据集作为基准生成。

优选地，S1中，数据预处理方法为：对合成人脸样本集进行归一化处理，使合成人脸样本的像素值统一到[0,1]之间，合成人脸样本集中的80％用于训练，20％用于测试。

由于采用了上述技术方案，本发明具有如下有益效果：

本发明为生成对抗网络合成人脸样本的质量评估提供了一种思路。即通过引入第三方评价机制，使得卷积神经网络模型对基于信息最大化的生成对抗网络合成人脸样本的质量评估变得更加客观，具有较高的可靠性。

具体实施方式

基于信息最大化的生成对抗网络由生成器G与判别器D构成，生成器G负责利用随机噪声向量z与潜在编码c合成我们预期的样本G(z,c)，并通过调节潜在编码c的维度，使其合成的样本具有可解释性；而判别器D则负责对合成人脸样本G(z,c)与真实样本X进行区分，生成器G与判别器D交替训练，直到判别器D无法区分某一个样本是来自合成人脸样本集还是真实样本集为止，基于信息最大化的生成对抗网络的目标函数为：

I(c；G(z,c))表示潜在编码c与合成人脸样本G(z,c)之间的互信息，

若固定G，则I(c；G(z,c))保持不变，此时我们仅需要考虑如何最大化D，此时的目标函数可以简化为：

为了计算V(D^*,G)的最大值，可以转化为求下面公式(3)的最大值，

f(D(x))＝p_data(x)logD(x)+p_g(x)log(1-D(x)) (3)

由于G固定，所以p_g(x)是已知的；同时真实样本集X是已知的，所以p_data(x)是已知的，那么这就转化为一个极值问题，当且仅当D＝D^*时，f(D(x))取得最大值，

将D^*带入到公式(2)中可得：

在信息论中，KL散度用于衡量近似分布P(x)与真实分布Q(x)的差异，表达式为：

于是在公式(5)中引入KL散度，可得：

由于KL散度是不对称的并且它不能表示近似分布与真实分布之间的距离，所以KL散度不适合用于生成对抗网络，于是引入了JS散度，

因此公式(7)可以转化为：

V(D^*,G)＝-2log2+2JSD(p_data(x)||p_g(x)) (9)

初始时刻合成分布p_g(x)与真实分布p_data(x)之间的距离对JSD影响较大，假如初始时刻两个分布不重叠，那么JSD为常数，此时会出现梯度消失的现象，不利于训练的继续进行；当两个分布重叠时，JSD的值为log2，JSD的变化是不连续的，所以JSD仍然不能作为评估合成人脸样本质量的指标，因此需要提出一种新的样本质量评估方法十分必要，

现实生活中，在进行一个工程项目的验收时，为了保证公正性与客观性，往往需要专业的第三方机构介入，并且以第三方机构的评估结果作为该项目的衡量标准，

本发明中，借鉴了这种思想，引入了第三方评估的机制，即通过不同的分类模型，利用其分类准确率这一指标来反映样本质量，实现方案如下：

一种信息最大化生成对抗网络模型合成人脸样本质量评估方法，包括：

①评估对象

本发明中需要进行质量评估的对象来自于信息最大化生成对抗网络合成的一系列特征连续变化的人脸样本，这些人脸样本是以香港中文大学开源的CelebA数据集作为基准而生成的，

②数据预处理

合成的人脸样本为128×128的彩色图像，为了保证训练过程的稳定性，对合成的样本进行归一化处理，使其像素值统一到[0,1]之间，样本的总数量为1000，其中800张用于训练，200张用于测试，

③构建评估模型

鉴于卷积神经网络在图像识别领域的突出表现，本发明中引入了卷积神经网络模型作为合成人脸样本的评估模型，

1)输入层

输入层负责读取合成人脸样本，将图像数据转化为计算机能够识别二维矩阵，

2)卷积-池化层

与传统的全连接层相比，卷积层凭借它独特的局部感受野与全局共享权值的机制，能够有效的减少训练参数，提升训练的效率，卷积层的目标是提取合成人脸样本的特征，所以只要从卷积层的深度与宽度上进行调整，就能提升模型的评估能力，一方面，不同的卷积核用于提取不同的特征，所以选择合适数量的卷积核十分重要；另一方面，浅层卷积层用于提取低级特征；深层卷积层用于提取高级的语义特征，因此，需要根据图像的复杂程度选择合适的卷积层数，卷积层中输出的新的像素点可由公式(10)计算得出：

其中，f(·)代表激活函数，代表上一层特征图像的某个像素值，代表卷积核，*代表卷积运算；考虑到本层输出可以与上一层多个特征图像关联，M_j表示参与运算的上一层的特征图像的子集；代表偏置项，上标l表示第l层，

池化层的目标并不是提取合成人脸样本的特征，而是进一步对提取的特征进行降维处理，在卷积运算后得到的特征矩阵的基础上，我们加入了最大池化处理，即在一个2×2的子矩阵中，使用其中最大值来代替该矩阵，从而达到突出某种特征以及降低数据维度的目的，池化操作中每个神经元对应卷积中每一个N×1位置，其公式为：

其中，u(n,1)是卷积操作的一个窗函数，a_j对应图像区域的最大值，

3)SoftMax层

SoftMax层作为卷积神经网络模型的最后一层，它的作用是将前一层的输出值映射为相应的概率值，最终选择概率值最大所在的类别作为模型分类的结果，本发明中，我们将对合成人脸样本集中不同的连续特征进行评估，假设输入特征记为x⁽ⁱ⁾，样本标签记为y⁽ⁱ⁾(y⁽ⁱ⁾经过矢量编码后变为0、1、2三类)，这样就构成了训练集S＝{(x⁽¹⁾,y⁽¹⁾),…,(x^(m),y^(m))}，对于给定的输入x，利用假设模型对每个类别j估算其概率值p(y＝j|x)，其中假设函数为：

其中，θ₁,θ₂,…,θ_k为可学习的模型参数，为归一化项，使得所有概率之和为1，从而得到代价函数

其中，1{·}为一个指示性函数，当括号内的值为真时，函数的结果为1，否则为0，

式(8)是对逻辑回归的推广，因此代价函数可以改为：

对于SoftMax代价函数J(θ)求其偏导数，得到梯度公式：

为一个向量，它的第l个元素是J(θ)对θ_j的第l个分量的偏导数，

得到以上求解偏导数公式后，使用随机梯度下降算法对代价函数J(θ)进行最小化，在每次迭代过程中都需要对参数进行更新：最后实现SoftMax回归分类模型，

④定性定量评估

1)在合成的样本集中，人为的挑选出质量好的样本,由于生成对抗网络模型的机制，质量好的样本其概率分布p_g(x)与原始样本的概率分布p_data(x)相近，所以通过分类模型训练测试时可以得到较高的准确率；

2)在合成人脸样本集中挑选出质量差的样本，质量差的样本则因其分布p_g(x)离原始样本分布p_data(x)较远，且存在较多的可能性，所以其样本间差别较大，经分类模型进行训练测试时准确率较低；

3)将前面步骤1，步骤2中挑选出的质量好的样本与质量差的样本进行混合，通过分类模型进行训练测试，发现准确率介于两者之间，

通过这样一个预评估，我们发现合成人脸样本的质量与分类模型的准确率之间确实存在着对应关系，验证了我们想法的正确性。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (3)

1.一种信息最大化生成对抗网络模型合成人脸样本质量评估方法，其特征在于：信息最大化生成对抗网络合成的一系列特征连续变化的人脸样本，构成合成人脸样本集，并作为评估对象，评估方法包括：

S1、数据预处理；

S2、采用卷积神经网络构建合成人脸样本集的评估模型，包括：

输入层

输入层读取合成人脸样本，将图像数据转化为二维矩阵；

卷积-池化层

卷积层提取合成人脸样本的特征，不同的卷积核用于提取不同的特征，浅层卷积层用于提取低级特征，深层卷积层用于提取高级的语义特征，根据图像的复杂程度选择合适的卷积层数，卷积层中输出的新的像素点由以下公式计算得出：

其中，f(·)代表激活函数，代表上一层特征图像的某个像素值，代表卷积核，*代表卷积运算；考虑到本层输出可以与上一层多个特征图像关联，M_j表示参与运算的上一层的特征图像的子集；代表偏置项，上标l表示第l层，

池化层进一步对提取的特征进行降维处理，在卷积运算后得到的特征矩阵的基础上，加入最大池化处理，池化操作中每个神经元对应卷积中每一个N×1位置，其公式为：

其中，u(n,1)是卷积操作的一个窗函数，a_j对应图像区域的最大值；

SoftMax层

SoftMax层将池化层的输出值映射为相应的概率值，最终选择概率值最大所在的类别作为模型分类的结果，假设输入特征记为x⁽ⁱ⁾，样本标签记为y⁽ⁱ⁾，构成训练集S＝{(x⁽¹⁾,y⁽¹⁾),…,(x^(m),y^(m))}，对于给定的输入x，利用假设模型对每个类别j估算其概率值p(y＝j|x)，假设函数为：

其中，θ₁,θ₂,…,θ_k为可学习的模型参数，为归一化项，使得所有概率之和为1，从而得到代价函数：

其中，1{·}为一个指示性函数，当括号内的值为真时，函数的结果为1，否则为0；所述假设函数是对逻辑回归的推广，因此代价函数可以改为：

对于SoftMax代价函数J(θ)求其偏导数，得到梯度公式：

为一个向量，它的第l个元素是J(θ)对θ_j的第l个分量的偏导数；

得到以上求解偏导数公式后，使用随机梯度下降算法对代价函数J(θ)进行最小化，在每次迭代过程中都需要对参数进行更新：最后实现SoftMax回归分类模型；

S3、通过S2中构建的评估模型对合成人脸样本进行评估

质量好的合成人脸样本,由于生成对抗网络模型的机制，质量好的样本其概率分布p_g(x)与原始样本的概率分布p_data(x)相近，所以通过分类模型训练测试时可以得到较高的准确率；

质量差的合成人脸样本,则因其分布p_g(x)离原始样本分布p_data(x)较远，且存在较多的可能性，所以其样本间差别较大，经分类模型进行训练测试时准确率较低。

2.根据权利要求1所述的信息最大化生成对抗网络模型合成人脸样本质量评估方法，其特征在于：所述合成人脸样本集以香港中文大学开源的CelebA数据集作为基准生成。

3.根据权利要求1所述的信息最大化生成对抗网络模型合成人脸样本质量评估方法，其特征在于：S1中，数据预处理方法为：对合成人脸样本集进行归一化处理，使合成人脸样本的像素值统一到[0,1]之间，合成人脸样本集中的80％用于训练，20％用于测试。