CN113947520A - 一种基于生成对抗网络实现人脸妆容转换的方法 - Google Patents

Abstract

本发明公开了一种基于生成对抗网络实现人脸妆容迁移的方法，在有效保证妆容准确的转移到人脸各化妆区域的基础上，更好的维持了未化妆图像人脸身份特征和背景与源图像的一致性。首先利用一个双输入输出对抗网络，接收两张非成对化妆/未化妆图像，来实现跨域图像的妆容转移和妆容去除。同时，在对抗网络中引入化妆损失，身份保留损失，背景不变损失等五类损失函数，以帮助训练一个准确、逼真、稳定的面部化妆转移网络。对于训练完成的网络，导入任意两张化妆和未化妆的人脸图片，即可自动完成精准的化妆转移，同时保留未化妆人脸图片的身份特征和背景特征。

Description

一种基于生成对抗网络实现人脸妆容转换的方法

技术领域

本发明涉及计算机视觉图像风格迁移领域，特别涉及一种用于实现人脸妆容自动转换方法。

背景技术

近年来，基于神经网络的风格转换和图像到图像的转换技术的发展，为化妆合成领域带来了新的进展。妆容风格自动转换的任务是从参考肖像图像中提取妆容风格，并将其应用到不同人物的目标图像中，这一任务已经得到了广泛的研究。然而，现有的方法往往只关注转换过程中一个或两个的需求，无法同时实现人脸身份保留、背景保留和准确的化妆转移。此外，对于获得成对排列整齐的、代表不同化妆风格的人脸图像数据集也比较困难。

本发明的系统主要针对的是对人脸妆容自动迁移的任务。普遍的深度学习框架人脸识别模型在此任务上主要存在以下挑战：(1)身份特征保留。浓妆可以显着改变面部特征，使识别面部身份变得具有挑战性和难以置信。因此，不能识别化妆脸和未化妆脸是否来自同一个人是不可取的。(2)背景信息保留。背景信息涉及耳朵、眼球、颈部、头发和其他与化妆无关的区域。当背景复杂时，传输过程可能会修改背景样式并导致不真实的伪像。对于一个优秀的妆容改造模特来说，也是不能接受的。(3)准确的风格转移。对于大多数日常化妆的人来说，化妆区域直接影响用户的视觉效果和直观体验。具体来说，化妆品主要包括以下几个区域：皮肤上的粉底、嘴上的口红、眼睛上的眼影、眉毛上的眉粉。

近年来，也有相关研究工作尝试解决此类问题。

文献1(Li,T.,Qian,R.,Dong,C.,Liu,S.,Yan,Q.,Zhu,W.,Lin,L.:BeautyGAN:Instance-level facial makeup transfer with deep generative adversarialnetwork.In:ACM MM(2018).)提出了一种妆容转换网络，它可以通过在局部区域上应用像素级直方图损失来实现实例级风格转移。然而，它不能很好地保留源图像的人脸身份和背景信息。

文献2(Huang,Z.K.,Zheng,Z.D.,Yan,C.G.,Xie,H.T.,Sun,Y.Q.,Wang,J.Z.,Zhang,J.Y.:Real-world automatic makeup via identity preservation makeupnet.In IJCAI(2020))将人脸图像分解为个人身份内容代码和妆容风格代码，不仅可以保留背景，还可以保留原始身份的关键模式。但该方法生成的图像妆容转移效果存在失真，不合乎实际。

发明内容

本发明的目的是提供一种用于实现人脸妆容自动转换方法，考虑到人脸数据集本身的特殊性，以及妆容转换的复杂性和保真性，以此设计了基与生成对抗网络无监督的妆容转移网络模型，通过一系列精准的损失函数，从而解决了妆容转换过程中出现的身份特征和背景信息发生改变的问题，同时获得更加准确美观的妆容风格。基于以上改进，本发明提出的基于生成对抗网络实现人脸妆容转换的方法更具真实系统的实用性，且可以大幅度提升妆容转换的质量。

为了实现以上目的，本发明是通过以下技术方案实现的：

一种用于化妆人脸图像的妆容自动转换方法，其特征在于，包括如下步骤：

S1，构建人脸妆容数据将其分为化妆和未化妆两部分，并分成训练集和测试集；

S2，生成器G1从数据集中同时接收两张未化妆和化妆的人脸图像并生成妆容转移和去除后的两幅图像；

S3，生成后的两幅图像的分别输入至不同图域的判别器，求出对应的妆容损失、身份特征损失、背景特征损失以及感知损失再反向传播至生成器G1，而得到的判别损失传至两个图域的判别器；

S4，生成器G2从G1的生成结果中接收化妆转移和去除后的人脸图像后再次进行转换，恢复成初始图像，其循环损失也反向传播至生成器；

S5，不断迭代重复步骤S2，步骤S3和步骤S4，直至网络收敛，实现人脸妆容转移网络的训练；

S6，在测试数据集上，给定待转换的化妆前后人脸图像，输入到训练得到的妆容转移网络，从而实现妆容转移。

所述步骤S1包括：

步骤S1.1，将收集到的图片去除部分低质量、不清晰图片后，分为化妆和未化妆两部分；

步骤S1.2，将两部分图片分别进行人脸关键点检测，并根据关键点将基准图片分割为对应的人脸解析图像。

所述的步骤S2具体为：

该网络包含两个独立的具有卷积的输入分支，将两个分支相连后置于残差块中，输出的特征映射将被两个单独的转置卷积分支上采样，生成两幅结果图像。

所述的步骤S3具体为：

通过采用直方图匹配策略，提前生成地面真值重映射图像得到妆容损失；身份特征和背景特征的保留则通过人脸解析精准提取对应区域进行损失计算；而内容感知损失则通过计算深度卷积网络提取的高级特征之间的差异。

所述的直方图匹配策略包括：先对x和y进行脸、眉毛、鼻子、嘴唇四个部位的局部直方图匹配以获得重新映射图像HM(x,y),求出HM(x,y)与生成器妆容转换后图像对应区域之间的MSE损失，再反向传播梯度进行优化。

所述的身份特征和背景信息的保留包括：利用解析图像的人脸部分和背景部分进行损失计算。

所述的内容感知损失计算包括：利用预训练的VGG-16网络中的relu_4_1和relu_5_1特征层进行计算。

所述的步骤S4具体为：

生成器G2以输入的化妆图像为源图像，去妆图像为参考图像进行妆容的再次转移，构成闭合循环，并与最初的原始图像之间计算循环损失。

本发明与现有技术相比，具有以下优点：

本发明考虑到人脸数据集本身的特殊性，以及妆容转换的复杂性和保真性，以此设计了基与生成对抗网络无监督的妆容转换网络模型，通过一系列精准的损失函数，从而解决了妆容转换过程中出现的身份特征和背景信息发生改变的问题，同时获得更加准确美观的妆容风格。基于以上改进，本发明提出的基于生成对抗网络实现人脸妆容转换的方法更具真实系统的实用性，且可以大幅度提升妆容转换的质量。

使用双输入输出生成对抗网络，解决了需要成对化妆图像进行训练的数据集问题，从而扩大了面部化妆数据收集来源，从而避免了训练过程中的模型过拟合问题，保证了模型训练的稳定性。

使用直方图匹配的妆容损失，以及人脸解析的背景信息和人脸特征的损失，将转换的焦点集中于与身份信息密切相关的重点局部区域(眼睛和嘴唇等)，有效提升妆容转换的精确度和保真性。

附图说明

图1为本发明一种用于实现人脸妆容自动转换方法的流程图；

图2是基于人脸妆容局部区域的直方图匹配过程的示意图；

图3为身份特征和背景信息保留过程的示意图。

具体实施方式

以下结合附图，通过详细说明一个较佳的具体实施例，对本发明做进一步阐述。

图1示出了用于实现人脸妆容自动转换方法的流程图，如图1所示，包括了构建妆容数据训练集，各类损失函数的反向传播梯度优化、输入图像的循环生成检验，该用于人脸妆容自动转换方法，具体包括如下步骤：

S1，构建人脸妆容数据将其分为化妆和未化妆两部分，并分成训练集和测试集；

S2，生成器G1从数据集中同时接收两张未化妆和化妆的人脸图像并生成妆容转移和去除后的两幅图像；

S3，生成后的两幅图像的分别输入至不同图域的判别器，求出对应的妆容损失、身份特征损失、背景特征损失以及感知损失再反向传播至生成器G1，而得到的判别损失传至两个图域的判别器；

S4，生成器G2从G1的生成结果中接收化妆转移和去除后的人脸图像后再次进行转换，恢复成初始图像，其循环损失也反向传播至生成器；

S5，不断迭代重复步骤S2，步骤S3和步骤S4，直至网络收敛，实现人脸妆容转移网络的训练；

S6，在测试数据集上，给定待转换的化妆前后人脸图像，输入到训练得到的妆容转移网络，从而实现妆容转移。

进一步地，所述的步骤S1包括：

步骤S1.1，将收集到的图片去除部分低质量、不清晰图片后，分为化妆和未化妆两部分；

步骤S1.2，对于任意一对未化妆人脸图片和参考妆容人脸图片，可以使用MTCNN网络对人脸图片进行68个关键点检测，并根据关键点将基准图片分割为对应的人脸解析图像。

人脸解析是指对于每个输入图像x，预训练的人脸解析模型将生成一个索引掩码M，表示嘴唇、眼睛、面部皮肤(对应粉底)、头发、背景等不同人脸部位。

所述的步骤S2具体为：

该网络包含两个独立的具有卷积的输入分支，将两个分支相连后置于残差块中，输出的特征映射将被两个单独的转置卷积分支上采样，生成两幅结果图像。

所述的步骤S3具体为：

通过采用直方图匹配策略，提前生成地面真值重映射图像得到妆容损失；身份特征和背景特征的保留则通过人脸解析精准提取对应区域进行损失计算；而内容感知损失则通过计算深度卷积网络提取的高级特征之间的差异。

图2为基于人脸妆容局部区域的直方图匹配过程示意图，将转换过程中各化妆区域的风格迁移过程进行细致的描绘。

参见图2，它由分别作用于面部、唇部、眼影和眉毛的四个局部直方图损失项组成。具体来说，我们首先利用人脸解析模型来获得不同的美容区域。然后，我们对源图像和参考图像的不同化妆区域执行直方图匹配，以产生真实匹配图像。最后，在匹配图像和转换图像每个妆容区域之间计算化妆损失。具体计算公式如下：

我们将图像与其相应的二进制人脸解析掩码相乘，并处理地面实况和生成图像之间的空间直方图匹配。我们将局部直方图损失定义如下：

M¹＝FP(I_src),M²＝FP(I_ref) (1)

在构建损失函数中我们使用交叉熵损失函数(cross-entropy loss)作为整个网络的目标函数。这个目标函数可以有效地表示模型的预测能力和实际结果的差距。

L_makeup＝λ_faceL_face+λ_lipL_lip+λ_eyeL_eye+λ_browL_brow (3)

其中L_face,L_lip,L_eye,L_brow分别对应于局部妆容区域的目标函数，四个λ的参数分别代表每个区域的权重。

图3为身份特征和背景信息保留过程的示意图。我们定义了身份保留损失函数来最小化输入图像的身份与重建图像的身份之间的差距，以保留人脸身份。

L_ip＝L_{fore_src}+L_{fore_ref} (6)

同时，我们定义了背景信息损失函数来最小化输入图像的背景与重建图像的背景之间的差距，以保留背景信息。

L_bi＝L_{back_src}+L_{back_ref} (9)

此网络模型完整的目标函数是：

其中λ_adv,λ_ip,λ_bi,λ_per,λ_cyc是控制每项相对重要性的权重因子。

在上述网络模型训练之前，我们将根据两眼的位置把数据集转换为相同的256*256空间尺寸。在训练方面，我们使用Adam从头开始训练网络，学习率为0.0002和β1＝0.5,β2＝0.999。由于GPU内存限制，我们将批量大小设置为1。我们总共训练300轮周期，其中学习率在前200个时期固定为0.0002，并在接下来的100轮线性衰减至0。对于其他参数，我们进行多次尝试并最终得出了一个合适的组合：

λ_lip＝λ_eye＝λ_brow＝1,λ_adv＝1,λ_ip＝10,λ_bi＝10,λ_face＝0.1。

Claims (5)

1.一种用于化妆人脸图像的妆容自动转换方法，其特征在于，包括如下步骤：

S1，构建人脸妆容数据将其分为化妆和未化妆两部分，并分成训练集和测试集；

S2，生成器G1从数据集中同时接收两张未化妆和化妆的人脸图像并生成妆容转移和去除后的两幅图像；

S3，生成后的两幅图像的分别输入至不同图域的判别器，求出对应的妆容损失、身份特征损失、背景特征损失以及感知损失再反向传播至生成器G1，而得到的判别损失传至两个图域的判别器；

S4，生成器G2从G1的生成结果中接收化妆转移和去除后的人脸图像后再次进行转换，恢复成初始图像，其循环损失也反向传播至生成器；

S5，不断迭代重复步骤S2，步骤S3和步骤S4，直至网络收敛，实现人脸妆容转移网络的训练；

S6，在测试数据集上，给定待转换的化妆前后人脸图像，输入到训练得到的妆容转移网络，从而实现妆容转移。

2.如权利要求1所述的用于化妆人脸图像的妆容自动转移方法，其特征在于，所述的步骤S1包括：

步骤S1.1，将收集到的图片去除部分低质量、不清晰图片后，分为化妆和未化妆两部分；

步骤S1.2，将两部分图片分别进行人脸关键点检测，并根据关键点将基准图片分割为对应的人脸解析图像。

3.如权利要求1所述的用于化妆人脸图像的妆容自动转移方法，其特征在于，所述的步骤S2具体为：

该网络包含两个独立的具有卷积的输入分支，将两个分支相连后置于残差块中，输出的特征映射将被两个单独的转置卷积分支上采样，生成两幅结果图像。

4.如权利要求1所述的用于化妆人脸图像的妆容自动转移方法，其特征在于，所述的步骤S3具体为：

通过采用直方图匹配策略，提前生成地面真值重映射图像得到妆容损失；身份特征和背景特征的保留则通过人脸解析精准提取对应区域进行损失计算；而内容感知损失则通过计算深度卷积网络提取的高级特征之间的差异；

所述的直方图匹配策略包括：先对x和y进行脸、眉毛、鼻子、嘴唇四个部位的局部直方图匹配以获得重新映射图像HM(x,y),求出HM(x,y)与生成器妆容转换后图像对应区域之间的MSE损失，再反向传播梯度进行优化；

所述的身份特征和背景信息的保留包括：利用解析图像的人脸部分和背景部分进行损失计算；

所述的内容感知损失计算包括：利用预训练的VGG-16网络中的relu_4_1和relu_5_1特征层进行计算。

5.如权利要求1所述的用于化妆人脸图像的妆容自动转移方法，其特征在于，所述的步骤S4具体为：

生成器G2以输入的化妆图像为源图像，去妆图像为参考图像进行妆容的再次转移，构成闭合循环，并与最初的原始图像之间计算循环损失。

Images