CN109711254A - 基于对抗生成网络的图像处理方法和装置 - Google Patents

Abstract

本发明提供一种基于对抗生成网络的图像处理方法和装置，所述方法包括：步骤S1，获取第一人脸样本图像；获取第一人脸多属性条件；步骤S2，将所述第一人脸样本图像和所述第一人脸多属性条件，输入训练好的对抗生成网络的生成网络，得到第一合成图像；步骤S3，将所述第一合成图像作为符合所述第一人脸多属性条件的人脸图像，并输出。

Description

基于对抗生成网络的图像处理方法和装置

技术领域

本发明涉及对抗生成网络技术领域，尤其是基于对抗生成网络的图像处理方法和装置。

背景技术

随着神经网络技术的发展，神经网络技术正应用在越来越多的场景中，比如模式识别、数据压缩、函数逼近等，而人脸识别作为生物特征识别中最活跃的分支之一，也越来越受到重视。其中，图像视频检索以及人脸属性分析等又是人脸识别的重要应用，以人脸识别中的年龄估计为例，在传统的年龄估计技术中，由于缺乏人脸图像样本数据，只能基于有限的数据进行年龄分布挖掘，或者在获取人脸不同区域的图像信息后，结合所获取的图像信息进行年龄估计。目前，可以采用数据增广方法对人脸图像样本进行扩充，但是常规的数据增广方法无法对包含特定年龄和性别等属性信息的人脸图像样本进行扩充，从而影响人脸识别的准确性，进而限制人脸识别的应用和推广。

如何在有限数据条件下运用生成数据强化有限的真实数据优化模型性能是生成对抗网络生成数据的主要用处和目的。因此，如何保留光照、遮挡、姿态、表情的多样性，完美分离出上述多样性与目标属性(年龄、性别和种族)之间的特征并再现至合成人脸上以提高合成人脸的生成准确性，以及如何在大批量合成人脸数据中选择出人脸数据用于增强有限的真实人脸数据并优化预训练的人脸属性分析模型是生成数据辅助属性分析需要解决的主要问题。目前现有技术中的生成对抗网络算法主要集中生成图像的视觉效果，在图像实用有效性上很少进行讨论和应用。生成数据优化模型的算法的有效性也进一步证实生成对抗网络的生成数据在实际应用和辅助增强有限的数据集上的重要作用。

发明内容

本发明的实例提供了一种基于对抗生成网络的图像处理方法和装置，能够运用生成数据强化现有数据。

为了实现上述目的，本发明采取了如下技术方案。

一种基于对抗生成网络的图像处理方法，包括：

步骤S1，获取第一人脸样本图像；获取第一人脸多属性条件；

步骤S2，将所述第一人脸样本图像和所述第一人脸多属性条件，输入训练好的对抗生成网络的生成网络，得到第一合成图像；

步骤S3，将所述第一合成图像作为符合所述第一人脸多属性条件的人脸图像，并输出。

一种基于对抗生成网络的图像处理装置，包括：

获取单元，获取第一人脸样本图像；获取第一人脸多属性条件；

输入单元，将所述第一人脸样本图像和所述第一人脸多属性条件，输入训练好的对抗生成网络的生成网络，得到第一合成图像；

输出单元，将所述第一合成图像作为符合所述第一人脸多属性条件的人脸图像，并输出。

由上述本发明的实例提供的技术方案可以看出，本发明实例通过利用FM-GAN生成批量不同属性(年龄、性别和种族)的人脸数据，在原始模型预训练性能的基础上，采用在线自训练方法结合生成数据和真实数据提升模型性能，解决了有限数据环境下模型性能瓶颈的问题。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实例的技术方案，下面将对实例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实例提供的一种基于对抗生成网络的图像处理方法的流程图；

图2为本发明实例提供的一种基于对抗生成网络的图像处理方法中训练所述对抗生成网络的步骤的流程图；

图3为本发明实例提供的基于对抗生成网络的图像处理装置的连接示意图；

图4为本发明应用场景提供的一种基于细粒度多属性生成对抗网络生成批量人脸数据的算法流程图；

图5为本发明应用场景在优化阶段的在线自训练优化现有模型性能的算法流程图；

图6为本发明应用场景所使用的细粒度多属性生成对抗网络中判别网络和生成网络的网络结构图；

图7为本发明应用场景的优化阶段中批处理数据不同输入生成数据数量的模型优化情况，也就是说生成网络的损失函数图像；

图8为本发明应用场景在不同数据库上优化预训练好的年龄估计AlexNet模型，基准为模型优化前的性能。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。

如图1所示，为本发明所述的一种基于对抗生成网络的图像处理方法，包括：

步骤S1，获取第一人脸样本图像；获取第一人脸多属性条件；

步骤S2，将所述第一人脸样本图像和所述第一人脸多属性条件，输入训练好的对抗生成网络的生成网络，得到第一合成图像；

步骤S3，将所述第一合成图像作为符合所述第一人脸多属性条件的人脸图像，并输出。

其中，如图2所示，所述训练所述对抗生成网络的步骤包括：

步骤S11，获取训练用人脸样本图像；获取训练用人脸多属性条件；

步骤S12，将所述训练用人脸样本图像和所述训练用人脸多属性条件，输入待训练的对抗生成网络的生成网络，得到训练用合成图像；

步骤S13，分别将所述训练用合成图像与所述训练用人脸样本图像输入所述对抗生成网络的判别网络，使得所述判别网络对所述训练用合成图像和所述训练用人脸样本图像进行区分；

步骤S14，若所述判别网络能够区分所述训练用人脸合成图像和所述训练用人脸样本图像，则优化所述对抗生成网络的所述生成网络和所述判别网络，生成更新后的述生成网络和所述判别网络，并跳到所述步骤S12；若所述判别网络无法区分所述训练用人脸合成图像和所述训练用人脸样本图像，则所述对抗生成网络训练完成。

可选的，所述步骤S1之后，所述步骤S2之前，所述方法还包括：

S11,对所述第一人脸样本图像进行人脸检测，判断所述第一人脸样本图像中是否存在人脸；

当所述第一人脸样本图像中存在人脸时，则执行步骤S2；

当所述第一人脸样本图像中不存在人脸时，则结束处理。

其中，所述判别网络对所述训练用合成图像和所述训练用人脸样本图像进行区分的步骤具体为：

根据所述训练用合成图像和所述训练用人脸样本图像，分别输出真伪判别概率以及多属性特征层；

根据所述真伪判别概率以及所述多属性特征层，分别计算所述判别网络的损失函数的对抗损失项以及所述生成网络的损失函数的多属性交叉熵损失项；

若所述对抗损失项趋于平稳状态且所述多属性交叉熵损失项收敛状态，则判断为：所述判别网络无法区分所述训练用合成图像和所述训练用人脸样本图像；反之，判断为所述判别网络能够区分所述训练用人脸合成图像和所述训练用人脸样本图像。

其中，所述计算所述判别网络的损失函数的对抗损失项以及所述生成网络的损失函数的多属性交叉熵损失项具体为：

L_D←log(s_r)+log(1-s_f)+LS(y′_a)+LS(y′_g)+LS(y′_e)+L_regularL_D

←log(s_r)+log(1-s_f)+LS(y′_a)+LS(y′_g)+LS(y′_e)+L_regular

L_G←log(s_f)+LS(a′)+LS(g′)+LS(e′)+L_f-match

其中，L_D代表判别网络的判别损失项；

log(s_f)代表图片中人脸真假的模糊程度的损失函数，log(1-s_f)代表图片中人脸真假的清晰程度的损失函数，LS表示多属性交叉熵损失项，LS(y′_a)、LS(y′_g)和LS(y′_e)表示属性损失项，分别代表年龄、性别和种族的属性损失项；L_G代表生成网络的生成损失项；LS(j)表示交叉熵损失项，它表示上下两个函数的概率分布的差异性：表示预测图片值为真时的概率，表示预测图片值为假时的概率，差异越大则相对熵越大，差异越小则相对熵越小，若两者相同则熵为0；

L_f-match表示特征匹配损失项，利用欧式距离度量匹配度，该处数值越大，表示越不匹配。L_regular代表正则化项，γ是正则系数。

其中，所述优化所述对抗生成网络的所述生成网络和所述判别网络的步骤包括：

步骤111：利用原始真实训练数据训练FM-GAN，预训练保证根据指定的多属性条件：年龄a、性别g和种族e生成想要的生成图像x′_j←G(z，a，g，e)；

步骤112：用FM-GAN中的生成网络G指定条件生成图像x′_j，送入到待优化模型中只进行前向传播，获得当前模型的预测输出值y_pred←m·p_m(x′_j)，m∈[0，FC]，其中m为年龄属性值，FC为年龄分布的最大值，P为m对应的属于该年龄的概率，y为待优化模型对生成人脸x′_j的年龄预测；

步骤113：将符合条件要求分界线Borderline的生成数据x′_j存储到缓存池DataPool中，计算网络实际的输出值y_pred和理想的实际值y′_j之间的差距DataPool←x′_j{|y_pred-y′_j|≤Borderline}；

步骤114：从缓存池中取出N个生成样本，从原始训练集中打乱随机取出M个训练样本，组成一个容量为K＝M+N的批处理数据，送入到待优化的年龄估计网络E中，经过前向传递计算输出值，然后根据输出值和期望值计算损失函数L(θ)，调整网络的参数，以最小化损失函数，减小误差为目标；

步骤115：返回到步骤112中循环执行，同时输出观察待优化模型的性能变化，每优化一轮就计算模型在真实测试集上的性能效果，年龄的度量标准选择Mean AbsoluteError平均绝对误差，以反映预测值误差的实际情况。

如图3所示，为本发明所述的一种基于对抗生成网络的图像处理装置，包括：

获取单元21，获取第一人脸样本图像；获取第一人脸多属性条件；

输入单元22，将所述第一人脸样本图像和所述第一人脸多属性条件，输入训练好的对抗生成网络的生成网络，得到第一合成图像；

输出单元23，将所述第一合成图像作为符合所述第一人脸多属性条件的人脸图像，并输出。

可选的，所述的装置，其特征在于，还包括：训练单元24，用于所述训练所述对抗生成网络。

其中，所述训练单元24包括：

获取模块241，获取训练用人脸样本图像；获取训练用人脸多属性条件；

第一输入模块242，将所述训练用人脸样本图像和所述训练用人脸多属性条件，输入待训练的对抗生成网络的生成网络，得到训练用合成图像；

第二输入模块243，分别将所述训练用合成图像与所述训练用人脸样本图像输入所述对抗生成网络的判别网络，使得所述判别网络对所述训练用合成图像和所述训练用人脸样本图像进行区分；

优化模块244，若所述判别网络能够区分所述训练用人脸合成图像和所述训练用人脸样本图像，则优化所述对抗生成网络的所述生成网络和所述判别网络，生成更新后的述生成网络和所述判别网络。

可选的，所述的装置，还包括：

判断单元25，对所述第一人脸样本图像进行人脸检测，判断所述第一人脸样本图像中是否存在人脸；当所述第一人脸样本图像中存在人脸时，则启动所述第一输入模块；当所述第一人脸样本图像中不存在人脸时，则结束处理。

以下描述本发明的应用场景。本发明提供了基于对抗生成网络的多属性人脸生成及辅助人脸属性分析方法，主要描述多属性人脸数据集的合成以及优化策略的设计，主要创新点在于很好地提取出人脸多属性特征，并再现到合成人脸上构造生成数据集，利用生成数据集以在线自训练的方式，挑选符合要求的生成人脸优化预训练年龄估计模型，起到增强数据，提升性能的目的。

本发明实施例提供了一种对抗生成网络中利用生成数据辅助优化模型的方法。所述方法包括如下步骤：(1)将人脸样本图像和预设的人脸多属性条件向量输入对抗生成网络，并在步骤(2)中进行筛选；(2)分别对预设的噪声向量和所述预设的人脸多属性条件向量进行随机取样，将取样结果输入所述对抗生成网络的生成网络；(3)分别将所述合成图像与所述人脸样本图像输入所述对抗生成网络的判别网络；(4)根据所述合成图像和所述人脸样本图像，分别输出真伪判别概率以及多属性特征层。

细粒度多属性对抗生成网络能够很完好地从真实人脸数据集中分析细粒度年龄、性别和种族特征分布并提取重现到合成人脸上，生成人脸时考虑到人脸除了目标多属性(年龄、性别和种族)之外还有其他变化影响因素，所以通过一个随机变量控制这种多样性；对于训练部分复杂数据集存在不稳定、生成样本严重失真或者过拟合的问题，提出在原始损失的基础上添加特征匹配和正则化，特征匹配弥补了整个过程只依赖于判别网络最后一层判别输出而导致生成网络学习不到足够的信息的问题，对判别网络进行正则化则有助于整个训练过程的稳定。无论是视觉感官上还是实际运用上都有一定的使用潜力，通过不同数据集上的定性和定量的实验结果比较都可以体现出该方法的可行性和有效性。

在模型优化阶段，如何合理地从大批量的生成数据中挑选出有效可利用的合成人脸数据是主要的考虑问题，于是在上述的实验结果下，提出一种在线训练优化的方法，基于对抗生成网络的自训练优化模型方法的主要创新点在于利用自训练的方式让待优化的模型直接参与到优化评判过程中，使整个模型在一个闭环内自优化完成，生成的数据通过缓存池进行缓存，然后与真实数据组成一定比例的批处理训练现有模型，通过在上述多个公开数据库上进行实验，结果体现出该方法的有效性和优越性。

下面的步骤1-步骤6是自训练优化模型过程大概可以分为三个阶段，即训练FM-GAN生成数据；预训练网络前向传播挑选用于优化的生成图像并暂时存储到缓存池；预训练网络再训练，通过后向传播学习生成图像和真实图像调整网络参数。

本发明应用场景提供的一种基于对抗生成网络的多属性人脸生成及辅助人脸属性分析方法的处理流程如图4、图5所示，图6为本发明应用场景所使用的细粒度多属性生成对抗网络中判别网络和生成网络的网络结构图；图7为本发明应用场景的优化阶段中批处理数据不同输入生成数据数量的模型优化情况；图8为本发明应用场景在不同数据库上优化预训练好的年龄估计AlexNet模型。以下结合图来描述。

包括如下的处理步骤：

细粒度多属性人脸数据合成阶段：

步骤1：从指定维度的随机分布(如均匀分布)中随机取样噪声向量z，从预处理后的训练集中取出一组训练数据，包括图像和其对应的多属性标签信息(x，y_a，y_b，y_e)，把三个标签转换为one-hot向量，one-hot的基本思想：将离散型特征的每一种取值都看成一种状态，one-hot编码保证了每一个取值只会使得一种状态处于“激活态”，多种状态中只有一个状态位值为1，其他状态位都是0。与随机噪声z一起输入生成网络；

步骤2：通过计算，从生成网络G获得生成图像x′，如公式(1)所示；

x′＝f_n(..(f₁((z，y_a，y_g，y_e)·W¹)·W²))·Wⁿ (1)

步骤3：把获得生成图像x′和(1)中用于取出标签的真实图像x分别输入到判别网络D中，通过计算，对不同输入分别获得一组真假概率判定和多属性预测输出值，s_f，a′，g′，e′)←D(x′)和(s_γ，y′_a，y′_g，y′_e)←D(x)；。

步骤4：对于训练图像，理想目标值y_a，y_g，y_e与实际网络输出y′_a，y′_g，y′_e进行对比，根据使用的损失函数项计算他们之间的差距，这里使用Softmax Loss；判别网络理想情况下对真实图像判别为真，对生成图像判别为假，计算对抗损失函数，利用Adam优化算法计算判别网络梯度更新，此时固定生成网络参数不变，正则化参数设置为0.1，判别网络具体梯度更新公式如(2)，(3)，(4)所示；

L_D←log(s_r)+log(1-s_f)+LS(y′_a)+LS(y′_g)+LS(y′_e)+L_regular (2)

步骤5：对于生成图像，理想目标值y_a，y_g，y_e与实际网络输出y′_a，y′_g，y′_e进行对比，根据使用的损失函数项计算他们之间的差距，不同的是让判别网络尽力误判为真，计算损失函数，利用Adam优化算法计算生成网络梯度，此时固定判别网络参数不变，生成网络具体梯度更新公式如(5)，(6)所示；

L_G←log(s_f)+LS(a′)+LS(g′)+LS(e′)+L_f-match (5)

式子中，LS代表标准的Softmax多分类损失函数，用于计算预测多属性标签值与实际标签信息的差距，输出层相关的误差在初步训练中就可以得出，其他的网络层在后向传播的过程中反向推导计算得出，通过多次前向和后向传播，不断优化判别网络和生成网络，网络在训练过程中可能会出现陷入局部最优，这时通过调整学习率和权值衰减值控制网络学习的步伐，对于训练过拟合可以通过观察模型生成一批图像的效果来判定，如果人脸出现相似或者大面积一致时可以认为出现过拟合，可以采取各种防止过拟合的措施进行调整。

步骤6：在达到高质量生成效果前(年龄、性别和种族特征被很好地提取出来，批量的生成人脸具有高度的多样性)，返回步骤1继续训练：

综上所述，本发明实例通过指定不同属性(年龄、性别和种族)通过FM-GAN生成多样批量的合成人脸数据。同时提出了一种运用生成数据在线自训练优化模型的方法，解决了原始人脸数据集训练模型时性能陷入局部性能瓶颈的问题，提升了人脸属性分析模型对人脸的检测性能，从而进一步提高了整个算法在人脸定位和分析上的准确程度。

本方法在Morph，CACD和FG-NET等多个人脸年龄数据库上都表现有优越的性能提升，这三个数据集都是数以万计，相对于用原始有限的真实人脸数据集训练出的模型比较，在性别、年龄和种族估计上都有一定的识别率提升，解决过拟合的问题并且提高属性分析识别的精确度。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种基于对抗生成网络的图像处理方法，其特征在于，包括：

步骤S1，获取第一人脸样本图像；获取第一人脸多属性条件；

步骤S2，将所述第一人脸样本图像和所述第一人脸多属性条件，输入训练好的对抗生成网络的生成网络，得到第一合成图像；

步骤S3，将所述第一合成图像作为符合所述第一人脸多属性条件的人脸图像，并输出。

2.根据权利要求1所述的方法，其特征在于，所述训练所述对抗生成网络的步骤包括：

步骤S11，获取训练用人脸样本图像；获取训练用人脸多属性条件；

步骤S12，将所述训练用人脸样本图像和所述训练用人脸多属性条件，输入待训练的对抗生成网络的生成网络，得到训练用合成图像；

步骤S13，分别将所述训练用合成图像与所述训练用人脸样本图像输入所述对抗生成网络的判别网络，使得所述判别网络对所述训练用合成图像和所述训练用人脸样本图像进行区分；

步骤S14，若所述判别网络能够区分所述训练用人脸合成图像和所述训练用人脸样本图像，则优化所述对抗生成网络的所述生成网络和所述判别网络，生成更新后的述生成网络和所述判别网络，并跳到所述步骤S12；若所述判别网络无法区分所述训练用人脸合成图像和所述训练用人脸样本图像，则所述对抗生成网络训练完成。

3.根据权利要求1所述的方法，其特征在于，所述步骤S1之后，所述步骤S2之前，所述方法还包括：

对所述第一人脸样本图像进行人脸检测，判断所述第一人脸样本图像中是否存在人脸；

当所述第一人脸样本图像中存在人脸时，则执行步骤S2；

当所述第一人脸样本图像中不存在人脸时，则结束处理。

4.根据权利要求1所述的方法，其特征在于，所述判别网络对所述训练用合成图像和所述训练用人脸样本图像进行区分的步骤具体为：

根据所述训练用合成图像和所述训练用人脸样本图像，分别输出真伪判别概率以及多属性特征层；

根据所述真伪判别概率以及所述多属性特征层，分别计算所述判别网络的损失函数的对抗损失项以及所述生成网络的损失函数的多属性交叉熵损失项；

若所述对抗损失项趋于平稳状态且所述多属性交叉熵损失项收敛状态，则判断为：所述判别网络无法区分所述训练用合成图像和所述训练用人脸样本图像；反之，判断为所述判别网络能够区分所述训练用人脸合成图像和所述训练用人脸样本图像。

5.根据权利要求4所述的方法，其特征在于，

所述计算所述判别网络的损失函数的对抗损失项以及所述生成网络的损失函数的多属性交叉熵损失项具体为：

L_D←log(s_r)+log(1-s_f)+LS(y′_a)+LS(y′_g)+LS(y′_e)+L_regularL_D

←log(sr)+log(1-s_f)+LS(y′_a)+LS(y′_g)+LS(y′_e)+L_regular

L_G←log(s_f)+LS(a′)+LS(g′)+LS(e′)+L_f-match

其中，L_D代表判别网络的判别损失项；log(s_r)和log(1-s_f)是指找到满足分布的函数的极值，以满足找到使生成器最小、判别器最大的参数，也就是调参的过程。

log(s_f)代表图片中人脸真假的模糊程度的损失函数，log(1-s_f)代表图片中人脸真假的清晰程度的损失函数，LS表示多属性交叉熵损失项，LS(y′_a)、LS(y′_g)和LS(y′_e)表示属性损失项，分别代表年龄、性别和种族的属性损失项；L_G代表生成网络的生成损失项；LS(j)表示交叉熵损失项，它表示上下两个函数的概率分布的差异性：表示预测图片值为真时的概率，表示预测图片值为假时的概率，差异越大则相对熵越大，差异越小则相对熵越小，若两者相同则熵为0；k是代表欧式距离矩阵的元素，n是代表n个元素组成该图像的特征组形成的n维空间，Y_i代表两个图像矩阵在n维空间下形成的一个点，ω_i表示参数。

L_f-match表示特征匹配损失项，利用欧式距离度量匹配度，该处数值越大，表示越不匹配。L_regular代表正则化项，γ是正则系数，γ过小，则对“防止过拟合”几乎无影响。γ过大，则使损失函数权重大大降低，如果γ接近无限大，最终的结果是所有的ω_i都接近0，因此需要选择适当的γ。

6.根据权利要求2所述的方法，所述优化所述对抗生成网络的所述生成网络和所述判别网络的步骤包括：

步骤111：利用原始真实训练数据训练生成对抗网络算法，在这里，我们应用的该网络叫做FM-GAN，预训练保证根据指定的多属性条件：年龄a、性别g和种族e生成想要的生成图像x′_j←G(z，a，g，e)；z是代表的随机变量。

步骤112：用FM-GAN中的生成网络G指定条件生成图像x′_j，送入到待优化模型中只进行前向传播，获得当前模型的预测输出值y_pred←m·p_m(x′_j)，m∈[0，FC]，其中m为年龄属性值，FC为年龄分布的最大值，P为m对应的属于该年龄的概率，y为待优化模型对生成人脸x′_j的年龄预测；

步骤113：将符合条件要求分界线Borderline的生成数据x′_j存储到缓存池DataPool中，计算网络实际的输出值y_pred和理想的实际值y′_j之间的差距，公式如下，DataPool←x′_j{|y_pred-y′_j|≤Borderline}；

步骤114：从缓存池中取出N个生成样本，从原始训练集中打乱随机取出M个训练样本，组成一个容量为K＝M+N的批处理数据，送入到待优化的年龄估计网络E中，经过前向传递计算输出值，然后根据输出值和期望值计算损失函数L(θ)，调整网络的参数，以最小化损失函数，减小误差为目标；

步骤115：返回到步骤112中循环执行，同时输出观察待优化模型的性能变化，每优化一轮就计算模型在真实测试集上的性能效果，年龄的度量标准选择Mean Absolute Error平均绝对误差，以反映预测值误差的实际情况。

7.一种基于对抗生成网络的图像处理装置，其特征在于，包括：

获取单元，获取第一人脸样本图像；获取第一人脸多属性条件；

输入单元，将所述第一人脸样本图像和所述第一人脸多属性条件，输入训练好的对抗生成网络的生成网络，得到第一合成图像；

输出单元，将所述第一合成图像作为符合所述第一人脸多属性条件的人脸图像，并输出。

8.根据权利要求7所述的装置，其特征在于，还包括：训练单元，用于所述训练所述对抗生成网络。

9.根据权利要求8所述的装置，其特征在于，所述训练单元包括：

获取模块，获取训练用人脸样本图像；获取训练用人脸多属性条件；

第一输入模块，将所述训练用人脸样本图像和所述训练用人脸多属性条件，输入待训练的对抗生成网络的生成网络，得到训练用合成图像；

第二输入模块，分别将所述训练用合成图像与所述训练用人脸样本图像输入所述对抗生成网络的判别网络，使得所述判别网络对所述训练用合成图像和所述训练用人脸样本图像进行区分；

优化模块，若所述判别网络能够区分所述训练用人脸合成图像和所述训练用人脸样本图像，则优化所述对抗生成网络的所述生成网络和所述判别网络，生成更新后的述生成网络和所述判别网络。

10.根据权利要求7所述的装置，其特征在于，还包括：

判断单元，对所述第一人脸样本图像进行人脸检测，判断所述第一人脸样本图像中是否存在人脸；当所述第一人脸样本图像中存在人脸时，则启动所述第一输入模块；当所述第一人脸样本图像中不存在人脸时，则结束处理。