CN115984911A - 属性生成对抗网络以及基于该网络的人脸图像连续变换方法 - Google Patents

Abstract

本发明公开了一种属性生成对抗网络以及基于该网络的人脸图像的连续变换方法，该属性生成对抗网络包含一个生成器和一个判别器，所述生成器包括身份特征编码器、年龄特征编码器和解码器；所述解码器使用基于自适应权值标准化的渐进式特征融合的结构，所述判别器使用多任务结构。该方法在训练该属性生成对抗网络时使用的目标损失函数包括对抗损失函数、循环一致损失函数、重建损失函数、身份特征损失函数和年龄特征损失函数。本发明公开的技术方案通过基于自适应权值标准化的解码器模拟人脸软组织和颅骨形状随年龄的变化，通过多任务结构的判别器减少了模型计算的参数量，在维持计算资源的低耗前提下，实现任意年龄跨度的人脸图像精准连续变换。

Description

属性生成对抗网络以及基于该网络的人脸图像连续变换方法

技术领域

本发明属于计算机视觉技术领域，涉及人脸图像连续变换方法。

背景技术

对于人脸年龄变换问题，难以使用监督学习的方法来完成。因为监督学 习需要对每个身份采集其不同年龄的人脸图像，存在数据采集的时间跨度 大、容易产生缺失值等问题。基于生成对抗网络的人脸图像编辑方法能够改 变人脸的固有属性，如年龄、性别等。

现有技术中国发明专利申请CN 201810896017.8公开了一种基于生成 对抗网络的脸部变化预测方法。该方法将年轻人脸图像输入生成对抗网络模 型中，输出年老人脸图像。一方面，该方法在网络学习训练过程中，需要同 时具有一个身份人脸的两个不同年龄的人脸图像输入，对学习样本要求较 高，构建学习样本的工作量较大。另一方面，由于该方法使用的网络为单任 务变换网络，一次只能从一个年龄域变换到另一个年龄域，不能从一个人脸 图像生成大跨度的一系列连续变换的人脸图像。

发明内容

基于此，本发明的目的在于通过构造渐进式融合结构的解码器和多任务 结构的判别器，解决现有技术中人脸图像变换的失真以及单一的技术问题。

为了达到上述目的，本发明提供了如下的技术方案。

一种基于属性生成对抗网络的人脸图像连续变换的方法，该方法包括如 下步骤：

S1、构建包含大量人脸图像数据的数据集,所述人脸图像数据包括人脸 图像以及与人脸图像相对应的图像信息，所述图像信息包括年龄信息和身份 ID信息；

S2、构建属性生成对抗网络，所述属性生成对抗网络包括一个生成器和 一个判别器；

所述生成器包括身份特征编码器，用于提取输入人脸图像的身份特征； 年龄特征编码器，用于提取参考人脸图像的年龄特征，作为目标条件；解码 器，使用基于自适应权值标准化(AdaWN adaptive weight normalization) 模块的渐进式特征融合结构，用于将所述身份特征和所述目标条件通过风格 融合的方法生成目标人脸图像；

所述判别器为年龄属性判别器，所述判别器使用多任务结构，所述多任 务结构包括多个全连接层以及与之相对应的多个二分类器，每一个二分类器 对应一个目标年龄域，用于判断所述目标人脸图像是否真实以及判断所述目 标人脸图像的人脸年龄是否属于目标年龄域；

其中，所述属性生成对抗网络使用的目标损失函数包括对抗损失函数、 循环一致损失函数、重建损失函数、身份特征损失函数和年龄特征损失函数；

S3、训练属性生成对抗网络，从所述数据集随机选择两张年龄信息不同 的人脸图像分别作为输入人脸图像和参考人脸图像输入至所述生成器，所述 生成器将生成的人脸图像输出至所述判别器，根据判别器损失函数训练所述 判别器，根据生成器损失函数训练生成器，完成所述属性生成对抗网络的训 练；

S4、进行人脸图像变换：将源人脸图像输入至训练好的属性生成对抗网 络，生成多个目标人脸图像，每一个目标人脸图像对应一个目标年龄域，通 过年龄特征线性插值生成连续的年龄变换图像。

具体地，所述循环一致损失函数用于所述生成器在生成过程中维持人脸 的身份特征，具体表示为

其中，

且

为属于源年龄域的第二参 考人脸图像

经过所述年龄特征编码器E_age提取的源年龄特征，y是所 述生成器根据源年龄域的输入人脸图像x_id生成的目标人脸图像，F为解码 器。

具体地，所述重建损失函数表示为

其中，x_rec为重建图像。

具体地，所述身份特征损失函数表示为

所述年龄特征损失函数表示为

其中，

为目标年龄隐向量。

具体地，所述步骤C的训练过程使用生成器判别器交替梯度下降算法、 小批量的随机梯度下降算法以及Adam算法进行训练，所述对抗损失函数 为非饱和对抗损失函数，具体表示为：

其中D_t为所述判别器第t类的softmax概率输出。

本发明另外还提供一种用于人脸连续变换的属性生成对抗网络，该网络 包括

一个生成器和一个判别器；

所述生成器包括身份特征编码器，包括四个第一残差块和一个第一平均 池化层，用于提取输入人脸图像的身份特征；年龄特征编码器，包括多个第 二残差块、一个第二平均池化层和一个全连接层，每一个第二残差块对应一 个目标年龄域，所述年龄特征编码器用于提取参考人脸图像的年龄特征，作 为目标条件；和

解码器，包括多个特征融合层，每一个特征融合层包括一个第三残差块 和一个自适应权值标准化模块，所述自适应权值标准化模块将所述目标条件 进行权值调整和权值标准化处理输出至第三残差块，所述第三残差块上采样 所述身份特征，将所述身份特征和所述目标条件融合输出至下一个特征融合 层，所述解码器通过基于自适应权值标准化模块的渐进式融合输出目标人脸 图像；

所述判别器为年龄属性判别器，所述判别器使用多任务结构，所述多任 务结构包括多个第二全连接层以及与之相对应的多个二分类器，每一个二分 类器对应一个目标年龄域，所述多任务结构的判别器用于在训练阶段判断所 述目标人脸图像是否真实以及判断所述目标人脸图像的人脸年龄是否属于 目标年龄域，以此调整所述生成器的网络参数。

本发明通过上述技术方案达到的有益效果是：

(1)利用权值共享原理，用一个生成器和一个判别器实现一对多的人脸 图像变换任务，结构简单，计算资源消耗低，速度快，成本低；

(2)使用自适应权值标准化模块的渐进式融合结构解码器，使生成器在 训练中能学习人脸软组织和颅骨的变化，增强身份特征鲁棒性，提升人脸图 像变换真实度；

(3)在编码器和判别器的多任务结构中对各年龄域进行权值均分处理， 结合线性插值实现了任意年龄跨度的人脸连续变换。

附图说明

图1是本发明的基于属性生成对抗网络的人脸图像连续变换的方法流 程图；

图2是本发明的属性生成对抗网络的模块结构示意图；

图3是本发明AdaWN模块的结构示意图；

图4是本发明一个实施例方法变换结果图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例 对本发明的具体实施方式作进一步详细描述。应该理解，此处所描述的实施 例仅用于解释本发明，但不用于限制本发明的范围。

请参阅图1～3，本发明实施例提供了一种基于属性生成对抗网络的人 脸图像连续变换的方法，该方法包括如下步骤：

S1、构建包含大量人脸图像数据的数据集,人脸图像数据包括人脸图像 以及与人脸图像相对应的图像信息，图像信息包括年龄信息和身份ID信息。

S2、构建属性生成对抗网络，属性生成对抗网络包括一个生成器和一个 判别器。

生成器包括身份特征编码器，用于提取输入人脸图像的身份特征。年龄 特征编码器，用于提取参考人脸图像的年龄特征，作为目标条件。

特别地，本发明实施例披露了一种基于AdaWN模块的渐进式特征融 合的解码器结构。该解码器把身份特征与年龄特征进行融合，得到目标人脸 图像y。具体表示为：

y＝G(s,t)＝F(E_id(s),E_id(t))

在本发明的一个实施例中，解码器包括六个特征融合层，每一个特征融 合层包括一个第三残差块和一个AdaWN模块，AdaWN模块将目标条件进 行权值调整和权值标准化处理后输出至第三残差块，第三残差块上采样，将 身份特征和目标条件通过卷积层融合输出至下一个特征融合层，在本发明的 一个实施例中，解码器通过六次上述的基于AdaWN模块的渐进式融合方 式，最终输出目标人脸图像。该结构通过融合身份特征与年龄特征，去除图 像伪影，通过合成全局的几何形状信息以及局部的纹理细节，捕捉年龄变换 过程中的人脸软组织和颅骨的变化，增强图像质量及身份特征鲁棒性，使输 出的人脸图像更精美真实，年龄跨度更大。特别地，后四个特征融合层使用 双线性插值方法进行上采样，以提升身份特征图的分辨率以及学习不同尺度 上的年龄属性编辑。

本发明实施例的AdaWN模块基于传入的特征图的期望属性来自适应 地调整卷积层的参数，而不是显式地调整输入数据的分布。请参阅图3， AdaWN模块接受两个输入，分别为年龄特征S_i及上一个特征融合层输出 的身份特征C_i，对年龄特征S_i权值调整与权值标准化处理。在本发明一个 实施例中，卷积层输入通道为3×3矩阵，首先通过一个全连接层把各特征 维度调整到卷积层输入通道维度，然后对卷积层的参数进行调整。具体的权 值调整操作为

w′_ijk＝s_iw_ijk

其中，i是卷积层的序号，j是卷积层输入通道的序号，k是卷积层输出通道 的序号。w_ijk表示第i个卷积层的第(j,k)个参数。卷积层的参数调整意味 着对输入特征分布的控制是隐式的，这样避免了现有技术中传统AdaIN的 强制标准化。

接下来是权值标准化操作。因为第一步修改了卷积层的权值，会导致输 出的分布改变。为了保证输入输出的分布一致，所以需要解调操作。假设卷 积层的输入是独立同分布的，则输出的标准差表达如下

把卷积层权重除以输出的标准差得到

其中，∈设置为一个小量，防止分母等于零出现计算溢出。

判别器为年龄属性判别器，判别器使用多任务结构，多任务结构包括多 个第二全连接层以及与之相对应的多个二分类器，每一个二分类器对应一个 目标年龄域，多任务结构的判别器用于在训练阶段判断目标人脸图像是否真 实以及判断目标人脸图像的人脸年龄是否属于目标年龄域，以此调整生成器 的网络参数。

其中，属性生成对抗网络使用的目标损失函数包括对抗损失函数、循环 一致损失函数、重建损失函数、身份特征损失函数和年龄特征损失函数。

S3、训练属性生成对抗网络，从数据集随机选择两张年龄信息不同的人 脸图像分别作为输入人脸图像和参考人脸图像输入至生成器，生成器将生成 的人脸图像输出至判别器，属性生成对抗网络的根据判别器损失函数训练判 别器，根据生成器损失函数训练生成器，更新参数，完成训练。

S4、进行人脸图像变换：将源人脸图像输入至训练好的属性生成对抗网 络，生成多个目标人脸图像，每一个目标人脸图像对应一个目标年龄域，通 过年龄特征线性插值生成连续的年龄变换图像。

循环一致损失函数用于生成器在生成过程中维持人脸的身份特征，具体 表示为

其中，

且

为属于源年龄域的第二参 考人脸图像

经过年龄特征编码器E_age提取的源年龄特征，y是生成器 根据源年龄域的输入人脸图像x_id生成的目标人脸图像，F为解码器。

当给定目标年龄类标源域人脸年龄类标一致是，生成图像应与原图像一 致，原图像与生成图像的L1损失，就是要构建的重建损失。该损失能够指 导编码器的特征编码能力。在本发明的一个实施例中，重建损失函数表示为

其中，x_rec为重建图像。

本发明的一个实施例提出了基于自编码器的多任务编码网络，其作用是 把目标年龄域编码到隐空间中，以提取人脸特征中具有年龄区分度的特征， 通过各个维度上蕴含人脸年龄变换的语义信息来指导不同年龄变换的图像 生成过程。

特别地，多任务编码网络输出k个分支，分别对应k个目标年龄域，表 示不同的年龄特征。本发明的一个实施例中，选择k＝6,即六个目标年龄 域分别是0-2，3-6，7-9，15-19，30-39，50-69。本发明的一个实施例中，多 任务编码网络向每个分支输出64维的年龄隐向量。

自编码器是一种用于表示学习的神经网络结构。自编码器的出发点是将 高维的信息嵌入到一个低维的空间中，生成包含关键特征的编码。自编码器 中的编码器负责这个特征提取的过程。解码器负责从嵌入表示中还原出原始 的高维信息。如果自编码器的目的仅仅是还原原始信息，那么是毫无意义的。 自编码器的价值在于嵌入后的低维表示。从自编码器获得有价值特征的一种 方法是，限制嵌入表征的维度。这就表示自编码器的编码过程是有损的，并 不能保证解码器能完全还原原始信息。但是正是因为这个有损的压缩，才能 让编码器能够提取到数据中最重要、最关键的信息。此外，在低维嵌入表示 上实现语义编辑，比在高维信息中直接编辑简单。

本发明实施例中为了保持变换过程中的人脸身份特征一致性以及进行 精准年龄变换，构造了重构误差损失作为目标损失函数，包括身份特征损失 函数和年龄特征损失函数。

在本发明的一个实施例中，身份特征损失函数表示为

在本发明的一个实施例中，年龄特征损失函数表示为

其中，

为目标年龄隐向量。

为了将融合源人脸图像身份特征的年龄特征在解码过程中提取出来，本 发明的一个实施例公开了多任务结构的年龄特征判别器，并以此更新生成器 网络参数。

在该多任务结构的年龄判别器中，输出层是k个并行的全连接层，对应 k个二分类器。因此多任务结构的年龄判别器有k个任务，每个任务是一个 二分类任务，以判断目标人脸图像的人脸年龄是属于目标年龄域。

步骤C的训练过程使用生成器判别器交替梯度下降算法、小批量的随 机梯度下降算法以及Adam算法进行训练，对抗损失函数为非饱和对抗损 失函数，具体表示为：

其中D_t为判别器第t类的softmax概率输出。

在生成器和判别器的交替训练过程中，首先随机选择源年龄和目标年 龄，分别从源年龄和目标年龄中选择输入图像和参考图像输入生成器，并设 置好目标年龄范围，生成器将生成人脸图像输出至多任务判别器。对于判别 器，把输入人脸图像和生成人脸图像进行对比，根据目标损失函数进行参数 调整，以使对抗损失函数最小化；对于生成器，根据总目标损失函数进行训 练调整参数。在本发明一个实施例中，总目标损失函数为

其中，λ为超参数。由于本发明实施例判别器同时对生成器的生成图像 进行真伪和年龄域的判定，所以，训练样本的输入人脸图像和参考人脸图像 不需要具有相同的身份，降低了对训练样本集要求，节省了构建训练样本集 的成本。

另外，在基于线性插值的连续变换过程中，线性插值表示为：

当β从0均匀地变换到1时，w_age为相邻的目标年龄域之间连续的年 龄特征编码。

请参阅图4，列举了本发明实施例中的方法在数据集FFHQ上的测试 结果，从图中可以看出生成的人脸图像年龄变化平滑，生成效果真实清晰， 背景改变较小，且较好地保持了输入图像输出图像的人脸身份一致性，展示 了较优的效果。

最后应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非 限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人 员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本 发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种基于属性生成对抗网络的人脸图像连续变换的方法，其特征在于，该方法包括如下步骤：

S1、构建包含大量人脸图像数据的数据集,所述人脸图像数据包括人脸图像以及与人脸图像相对应的图像信息，所述图像信息包括年龄信息和身份ID信息；

S2、构建属性生成对抗网络，所述属性生成对抗网络包括一个生成器和一个判别器；

所述生成器包括身份特征编码器，用于提取输入人脸图像的身份特征；年龄特征编码器，用于提取参考人脸图像的年龄特征，作为目标条件；解码器，使用基于自适应权值标准化模块的渐进式特征融合结构，用于将所述身份特征和所述目标条件通过风格融合的方法生成目标人脸图像；

所述判别器为年龄属性判别器，所述判别器使用多任务结构，所述多任务结构包括多个全连接层以及与之相对应的多个二分类器，每一个二分类器对应一个目标年龄域，用于判断所述目标人脸图像是否真实以及判断所述目标人脸图像的人脸年龄是否属于目标年龄域；

其中，所述属性生成对抗网络使用的目标损失函数包括对抗损失函数、循环一致损失函数、重建损失函数、身份特征损失函数和年龄特征损失函数；

S3、训练属性生成对抗网络，从所述数据集随机选择两张年龄信息不同的人脸图像分别作为输入人脸图像和参考人脸图像输入至所述生成器，所述生成器将生成的人脸图像输出至所述判别器，根据目标损失函数训练所述判别器和所述生成器；

S4、进行人脸图像变换：将一张源人脸图像输入至由步骤C训练好的属性生成对抗网络，生成多个目标人脸图像，每一个目标人脸图像对应一个目标年龄域，通过年龄特征线性插值生成连续的年龄变换图像。

2.根据权利要求1所述的基于属性生成对抗网络的人脸图像连续变换的方法，其特征在于，所述循环一致损失函数用于所述生成器在生成过程中维持人脸的身份特征，具体表示为

其中，

且

为属于源年龄域的第二参考人脸图像

经过所述年龄特征编码器E_age提取的源年龄特征，y是所述生成器根据源年龄域的输入人脸图像x_id生成的目标人脸图像，F为解码器。

3.根据权利要求1所述的基于属性生成对抗网络的人脸图像连续变换的方法，其特征在于，所述重建损失函数表示为

其中，x_rec为重建图像。

4.根据权利要求1所述的基于属性生成对抗网络的人脸图像连续变换的方法，其特征在于，所述身份特征损失函数表示为

所述年龄特征损失函数表示为

其中，

为目标年龄隐向量。

5.根据权利要求1所述的基于属性生成对抗网络的人脸图像连续变换的方法，其特征在于，所述步骤C的训练过程使用生成器判别器交替梯度下降算法、小批量的随机梯度下降算法以及Adam算法进行训练，所述对抗损失函数为非饱和对抗损失函数，具体表示为：

其中D_t为所述判别器第t类的softmax概率输出。

6.一种使用权利要求1-6所述的人脸连续变换方法的属性生成对抗网络，其特征在于，该网络包括

一个生成器和一个判别器；

所述生成器包括身份特征编码器，包括四个第一残差块和一个第一平均池化层，用于提取输入人脸图像的身份特征；年龄特征编码器，包括多个第二残差块、一个第二平均池化层和一个全连接层，每一个第二残差块对应一个目标年龄域，所述年龄特征编码器用于提取参考人脸图像的年龄特征，作为目标条件；和解码器，包括多个特征融合层，每一个特征融合层包括一个第三残差块和一个自适应权值标准化模块，所述自适应权值标准化模块将所述目标条件进行权值调整和权值标准化处理输出至第三残差块，所述第三残差块上采样所述身份特征，将所述身份特征和所述目标条件融合输出至下一个特征融合层，所述解码器通过基于自适应权值标准化模块的渐进式融合输出目标人脸图像；

所述判别器为年龄属性判别器，所述判别器使用多任务结构，所述多任务结构包括多个第二全连接层以及与之相对应的多个二分类器，每一个二分类器对应一个目标年龄域，所述多任务结构的判别器用于在训练阶段判断所述目标人脸图像是否真实以及判断所述目标人脸图像的人脸年龄是否属于目标年龄域，以此调整所述生成器的网络参数。

Images