CN109886881B - 人脸妆容去除方法 - Google Patents
人脸妆容去除方法 Download PDFInfo
- Publication number
- CN109886881B CN109886881B CN201910024060.XA CN201910024060A CN109886881B CN 109886881 B CN109886881 B CN 109886881B CN 201910024060 A CN201910024060 A CN 201910024060A CN 109886881 B CN109886881 B CN 109886881B
- Authority
- CN
- China
- Prior art keywords
- makeup
- face image
- network
- free
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000013508 migration Methods 0.000 claims abstract description 88
- 230000005012 migration Effects 0.000 claims abstract description 88
- 230000004927 fusion Effects 0.000 claims abstract description 57
- 230000006870 function Effects 0.000 claims description 80
- 238000000605 extraction Methods 0.000 claims description 62
- 238000012549 training Methods 0.000 claims description 58
- 230000014759 maintenance of location Effects 0.000 claims description 22
- 238000013527 convolutional neural network Methods 0.000 claims description 15
- 239000002537 cosmetic Substances 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000010801 machine learning Methods 0.000 claims description 5
- 238000009499 grossing Methods 0.000 claims description 4
- 230000003042 antagnostic effect Effects 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 claims description 2
- 235000009508 confectionery Nutrition 0.000 claims 1
- 230000014509 gene expression Effects 0.000 abstract description 8
- 238000012795 verification Methods 0.000 description 17
- 230000001815 facial effect Effects 0.000 description 11
- 238000012360 testing method Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 230000036544 posture Effects 0.000 description 5
- 239000000126 substance Substances 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003416 augmentation Effects 0.000 description 2
- 238000013434 data augmentation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Abstract
本发明涉及计算机视觉技术领域，具体提供了一种人脸妆容去除方法，旨在解决如何在保持人脸姿态、表情和身份不变的情况下，根据化妆人脸图像生成更为真实的无妆人脸图像的技术问题。为此目的本发明提供的人脸妆容去除方法主要包括：基于预设的形状保持网络并且根据待测化妆人脸图像，获取待测化妆人脸图像对应的形状信息；基于预设的纹理风格迁移网络并且根据待测化妆人脸图像，获取待测化妆人脸图像对应的无妆纹理风格信息；基于预设的融合网络并且根据形状信息与无妆纹理风格信息，获取待测化妆人脸图像对应的无妆人脸图像。基于上述步骤可以在保持人脸姿态、表情和身份不变的情况下合成更为逼真的无妆人脸图像。
Description
技术领域
本发明涉及计算机视觉技术领域，具体提供了一种人脸妆容去除方法。
背景技术
人脸妆容去除是一种在保持人脸姿态、表情和身份不变的情况下，将化妆人脸图像生成对应的无妆人脸图像的技术，其在人脸识别、人脸验证等诸多领域具有广泛应用。但是，由于人脸具有复杂的几何形式、不可计数的脸部皱纹、细微的颜色变化及细微的纹理变化的特点，使得根据化妆人脸图像合成“真实的”无妆人脸仍具有一定的难度。
相应地，本领域需要一种新的人脸妆容去除方法来解决上述问题。
发明内容
为了解决现有技术中的上述问题，即为了解决如何在保持人脸姿态、表情和身份不变的情况下，根据化妆人脸图像生成更为真实的无妆人脸图像的技术问题。本发明提供了一种人脸妆容去除方法，所述方法包括：
基于预设的形状保持网络并且根据待测化妆人脸图像，获取所述待测化妆人脸图像对应的形状信息；
基于预设的纹理风格迁移网络并且根据所述待测化妆人脸图像，获取所述待测化妆人脸图像对应的无妆纹理风格信息；
基于预设的融合网络并且根据所述形状信息与所述无妆纹理风格信息，获取所述待测化妆人脸图像对应的无妆人脸图像；
其中，所述形状保持网络、所述纹理风格迁移网络和所述融合网络均是利用机器学习算法构建的卷积神经网络。
进一步地，本发明提供的一个优选实施方案为：
在“基于预设的形状保持网络并且根据待测化妆人脸图像，获取所述待测化妆人脸图像对应的形状信息”的步骤之前，所述方法还包括：
对预设训练数据库中每个化妆人脸图像样本进行UV映射得到所述每个化妆人脸图像样本对应的UV关联场；
基于所述化妆人脸图像样本及其对应的UV关联场并且根据下式所示的形状保持网络损失函数Lshape训练所述形状保持网络：
其中，所述
表示基于IA在概率分布下的期望，所述IA表示所述化妆人脸图像样本，所述SNet表示所述形状保持网络，所述S表示所述IA对应的UV关联场，所述|| ||1表示1范数。
进一步地，本发明提供的一个优选实施方案为：
所述纹理风格迁移网络包括迁移网络，所述迁移网络配置为获取化妆人脸图像对应的无妆纹理风格信息，“获取所述待测化妆人脸图像对应的无妆纹理风格信息”的步骤包括：
通过所述迁移网络获取所述待测化妆人脸图像对应的无妆纹理风格信息。
进一步地，本发明提供的一个优选实施方案为：
所述训练数据库还包括分别与所述每个化妆人脸图像样本对应的无妆人脸图像样本，在“获取所述待测化妆人脸图像对应的无妆纹理风格信息”的步骤之前，所述方法还包括：
以所述化妆人脸图像样本中预设人脸关键点的位置信息为参照信息并且根据该化妆人脸图像样本对应的无妆人脸图像样本中所述人脸关键点的位置信息对所述无妆人脸图像样本进行变形，得到第一无妆人脸图像；
分别对所述化妆人脸图像样本及其对应的第一无妆人脸图像进行图像分割，并且将从所述第一无妆人脸图像中分割出的图像反贴至所述化妆人脸图像样本中相应的分割区域，得到第二无妆人脸图像；
基于所述化妆人脸图像样本及其对应的第二无妆人脸图像对所述纹理风格迁移网络进行网络训练；
其中，所述纹理风格迁移网络还包括第一特征提取网络和生成对抗网络，所述第一特征提取网络用于对所述迁移网络所获取的所述化妆人脸图像样本对应的无妆纹理风格信息进行特征提取并且将提取结果作为假样本，以及用于对所述第二无妆人脸图像进行特征提取并且将提取结果作为真样本；所述生成对抗网络用于根据所述假样本与所述真样本判断所述无妆纹理风格信息的真假。
进一步地，本发明提供的一个优选实施方案为：
“基于所述化妆人脸图像样本及其对应的第二无妆人脸图像对所述纹理风格迁移网络进行网络训练”的步骤包括：
基于所述化妆人脸图像样本及其对应的第二无妆人脸图像并且根据下式所示的损失函数L总1训练所述纹理风格迁移网络：
L总1＝Lstyle+LT
其中，所述Lstyle为所述纹理风格迁移网络中迁移网络对应的损失函数，所述LT为所述纹理风格迁移网络中生成对抗网络对应的损失函数。
进一步地，本发明提供的一个优选实施方案为：
所述纹理风格迁移网络中迁移网络对应的损失函数Lstyle如下式所示：
其中，所述Lc为图像内容损失函数，所述Ls为图像风格损失函数，所述
表示预设的权重系数；
并且其中，所述图像内容损失函数Lc如下式所示：
Lc＝||Kn[(f(GT(IA)))T(f(GT(IA)))-(f(IA))T(f(IA))]||2
其中，所述“|| ||2”表示2范数，所述Kn表示预设的所述第一特征提取网络中第n个特征提取层对应的归一化因子，且
所述Cn、Hn、Wn分别表示所述第n个特征提取层的通道数、高度和宽度，所述“f()”表示所述第一特征提取网络，所述GT表示所述迁移网络，所述IA表示所述化妆人脸图像样本，所述T表示矩阵转置符号；
所述图像风格损失函数Ls如下式所示：
其中，所述Kn表示预设的所述第一特征提取网络中第n个特征提取层对应的归一化因子，所述N表示所述第一特征提取网络中特征提取层的数量，所述“fn()”表示所述第一特征提取网络中第n个特征提取层，所述IB'表示所述第二无妆人脸图像。
进一步地，本发明提供的一个优选实施方案为：
所述纹理风格迁移网络中生成对抗网络对应的损失函数LT如下式所示：
其中，所述
表示基于IB'在概率分布下的期望，所述IB'表示所述第二无妆人脸图像，所述
表示基于IA在概率分布下的期望，所述IA表示所述化妆人脸图像样本，所述DT表示所述纹理风格迁移网络中的生成对抗网络。
进一步地，本发明提供的一个优选实施方案为：
所述融合网络包括生成器和判别器，“基于预设的融合网络并且根据所述形状信息与所述无妆纹理风格信息，获取所述待测化妆人脸图像对应的无妆人脸图像”的步骤包括：
通过所述生成器并且根据所述形状信息与所述无妆纹理风格信息，获取所述待测化妆人脸图像对应的无妆人脸图像。
进一步地，本发明提供的一个优选实施方案为：
在“基于预设的融合网络并且根据所述形状信息与所述无妆纹理风格信息，获取所述待测化妆人脸图像对应的无妆人脸图像”的步骤之前，所述方法还包括：
获取所述形状保持网络得到的所述训练数据库中每个化妆人脸图像样本对应的形状信息；
获取所述纹理风格迁移网络得到的所述每个化妆人脸图像样本对应无妆纹理风格信息；
基于所述化妆人脸图像样本对应的第二无妆人脸图像、所述形状信息与所述无妆纹理风格信息对所述融合网络进行网络训练；
其中，所述融合网络还包括第二特征提取网络，所述第二特征提取网络用于分别对所述第二无妆人脸图像和所述生成器根据所述化妆人脸图像样本对应的形状信息与所述无妆纹理风格信息生成无妆人脸图像进行特征提取，所述判别器用于根据预设的假样本对与预设的真样本对判断所述生成器所生成的无妆人脸图像的真假；所述假样本对包括所述生成器所生成的无妆人脸图像和化妆人脸图像样本，所述真样本对包括第二无妆人脸图像和化妆人脸图像样本。
进一步地，本发明提供的一个优选实施方案为：
“基于所述化妆人脸图像样本对应的第二无妆人脸图像、所述形状信息与所述无妆纹理风格信息对所述融合网络进行网络训练”的步骤包括：
基于所述第二无妆人脸图像、所述形状信息与所述无妆纹理风格信息并且根据下式所示的损失函数L总2训练所述融合网络：
L总2＝LI+Lpixel+LF
其中，所述LI表示所述融合网络损失函数中的身份保持损失函数，所述Lpixel表示所述融合网络损失函数中的图像内容保持损失函数，所述LF表示所述融合网络损失函数中的生成对抗损失函数。
进一步地，本发明提供的一个优选实施方案为：
所述融合网络损失函数中的身份保持损失函数LI如下式所示：
其中，所述
表示预设的权重系数，所述
表示基于Ir，IB在概率分布下的期望，所述Ir表示所述融合网络生成的无妆人脸图像，所述IB表示所述化妆人脸图像样本对应的无妆人脸图像样本，所述“|| ||2”表示2范数，所述M()表示所述第二特征提取网络；
所述融合网络损失函数中的图像内容保持损失函数Lpixel如下式所示：
其中，所述
表示预设的权重系数，所述L1表示预设的基于1范数度量的图像内容一致性损失函数并且
所述
表示基于Ir，IB'在概率分布下的期望，所述IB'表示所述第二无妆人脸图像，所述Ltv表示预设的平滑损失函数并且
所述
分别表示所述融合网络生成的无妆人脸图像Ir中位置(i,j)，(i,j+1)，(i+1,j)处的像素值；
所述融合网络损失函数中的生成对抗损失函数LF如下式所示：
其中，所述
表示基于IB'在概率分布下的期望，所述
表示基于Ir在概率分布下的期望，DF表示所述融合网络。
与最近的现有技术相比，上述技术方法至少具有如下有益效果：
本发明提供的人脸妆容去除方法至少包括如下步骤：基于预设的形状保持网络并且根据待测化妆人脸图像，获取待测化妆人脸图像对应的形状信息；基于预设的纹理风格迁移网络并且根据待测化妆人脸图像，获取待测化妆人脸图像对应的无妆纹理风格信息；基于预设的融合网络并且根据形状信息与无妆纹理风格信息，获取待测化妆人脸图像对应的无妆人脸图像。基于上述步骤可以在保持人脸姿态、表情和身份不变的情况下，根据化妆人脸图像生成更为真实的无妆人脸图像。
进一步地，对纹理风格迁移网络和融合网络进行生成对抗训练，使得纹理风格迁移网络和融合网络对人脸图像的身份信息和纹理细节方面处理能力更强，合成更加逼真的无妆人脸图像。
附图说明
图1为本发明实施例中的一种人脸妆容去除方法的主要步骤示意图；
图2为本发明实施例中的一种人脸妆容去除方法的主要流程示意图；
图3为本发明实施例中的一种基于本发明方法在训练数据库FAM、Dataset1和Dataset2上的测试结果示意图；
图4为本发明实施例中的一种基于本发明方法在训练数据库FAM、Dataset1和Dataset2上的人脸验证结果示意图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
随着科学技术的进步，人脸识别和人脸验证等技术在众多领域得到了广泛的应用，例如，门禁、设备登记、机场、公共区域的监控等等，根据化妆人脸图像合成逼真的无妆人脸图像对提高人脸验证和识别的准确率都具有重要意义。深度学习在计算机视觉的众多领域中都取得了令人瞩目的效果，尤其是生成对抗网络。生成对抗网络启发自博弈论中二人零和博弈的思想，具有生成式网络和判别式网络，生成式网络对输入数据进行非线性处理得到生成数据，判别式网络对生成的数据进行真假判断并进行参数反向传播，利用这两个网络之间的互相竞争使两个网络达到最终的平衡，从而提升网络的性能。基于生成对抗网络的思想，可以衍生出多种变种网络，并且这些网络可以在图像合成、图像超分、图像风格转移和人脸合成等方面取得较为显著的效果。为此，本发明提供了一种人脸妆容去除方法利用化妆人脸图像的形状信息和无妆纹理风格信息合成较为逼真的无妆人脸图像，并且在一些实施例中利用生成对抗网络的思想进一步提高无妆人脸图像的合成效果。
为了在实现人脸妆容去除任务时，能够保持原有的身份特征、姿态和表情，本发明提供的人脸妆容去除方法采用了形状信息和无妆纹理风格信息分离的两个子网络，并基于一个融合网络利用形状信息和无妆纹理风格信息合成逼真的无妆人脸图像。另外，为了减小由于化妆人脸图像样本与其对应无妆人脸图像样本在姿态表情方面的不一致对人脸合成结果造成的影响，本发明对无妆人脸图像样本进行了扭曲反贴处理，构造更为真实的无妆人脸图像样本，并作为网络的训练数据。为了保持合成的无妆人脸图像与化妆人脸图像的身份特征的一致性，本发明使用了特征层面的损失函数作为约束，以提高网络的准确性和鲁棒性。并且在一些实施例中使用生成对抗网络作为基础网络框架，通过分别学习形状信息和无妆纹理风格信息并进行融合实现人脸妆容的去除，合成的人脸图像更加逼真。下面结合附图，对发明提供的人脸妆容去除方法进行详细说明。
参阅附图1，图1示例性示出了人脸妆容去除方法的主要步骤，如图1所示人脸妆容去除方法可以包括如下步骤：
步骤S1：基于预设的形状保持网络并且根据待测化妆人脸图像，获取待测化妆人脸图像对应的形状信息。
形状保持网络可以是利用机器学习算法构建的卷积神经网络模型，即利用一个训练好的卷积神经网络模型并且根据待测化妆人脸图像获取待测化妆人脸图像对应的形状信息。在一些实施例中，形状保持网络采用全卷积神经网络结构，先进行降采样再进行升采样，并使用跳级结构辅助升采样。本实施例中，形状保持网络为由29个残差块构成的全卷积神经网络，每个残差块包括3个卷积层，其卷积核的大小分别是1×1,3×3,1×1，需要说明的是，形状保持网络中每个卷积层中的滤波器的个数及大小可以根据实际情况进行选择设置，本发明对卷积层中的滤波器的个数及大小不作固定限制。
形状保持网络的网络训练过程可以包括如下步骤：
对预设训练数据库中每个化妆人脸图像样本进行UV映射得到每个化妆人脸图像样本对应的UV关联场；本实施例中，基于化妆人脸图像样本构建化妆人脸图像样本对应的3D表面网格，根据化妆人脸图像样本与3D表面网格的关联映射关系得到化妆人脸图像样本对应的UV关联场。化妆人脸图像样本与其对应的UV关联场的大小一致，维度为2维，即UV关联场包含2维的信息。
基于化妆人脸图像样本及其对应的UV关联场并且根据公式(1)所示的形状保持网络损失函数Lshape训练形状保持网络：
其中，
表示基于IA在概率分布下的期望，IA表示化妆人脸图像样本，SNet表示形状保持网络，S表示IA对应的UV关联场，|| ||1表示1范数。
本实施中，化妆人脸图像样本和UV关联场的像素大小均为128×128。更为具体地，本实施例中形状保持网络的训练步骤可以包括：初始化形状保持网络的网络权重参数，其中，批处理大小为4，学习率为2×10-4；以化妆人脸图像样本作为形状保持网络SNet的输入数据，得到化妆人脸图像样本对应的形状信息；最后以化妆人脸图像样本对应的UV关联场作为真实图像标签，以公式(1)作为形状保持网络的损失函数，迭代训练形状保持网络SNet使形状保持网络SNet的输出与真实图像标签之间的损失逐渐减低至趋于稳定。
为了提升形状保持网络的泛化能力，在训练形状保持网络的过程中可以对训练数据进行增广处理，具体地，先将训练数据(例如化妆人脸图像样本)扩大到特定像素大小(例如132×132)，然后根据形状保持网络输入数据的像素大小(例如128×128)从扩大后的训练数据中随机裁剪得到与形状保持网络输入数据的像素大小相同的数据，并通过水平翻转进行数据增广。在形状保持网络的测试过程中直接输入数据增广处理后的训练数据。
步骤S2：基于预设的纹理风格迁移网络并且根据待测化妆人脸图像，获取待测化妆人脸图像对应的无妆纹理风格信息。
无妆纹理风格信息为化妆人脸图像对应的无妆人脸图像的纹理风格信息。纹理风格迁移网络可以是利用机器学习算法构建的卷积神经网络。纹理风格迁移网络可以包括迁移网络，迁移网络配置为获取化妆人脸图像对应的无妆纹理风格信息，即通过迁移网络获取待测化妆人脸图像对应的无妆纹理风格信息。在一些实施例中，迁移网络为编码-解码结构的卷积神经网络，并且使用跳层连接的方式以保留更多的原始输入数据的信息。本实施例中，迁移网络包括7个编码器(编码卷积层)和7个解码器(解码卷积层)，其中每个卷积层都是4×4大小的滤波器，步长为2，填充为1，滤波器的个数随着卷积层递增先增加后减少，在上下采样过程中滤波器数量和输出大小相同的卷积层之间有前传连接，需要说明的是，本发明中的迁移网络中卷积层的层数和每个卷积层中滤波器的个数及大小可以根据实际使用情况进行选择设置，本发明对迁移网络中卷积层的层数和每个卷积层中滤波器的个数及大小不作固定限制。
在一些实施例中，训练数据库还包括分别与每个化妆人脸图像样本对应的无妆人脸图像样本，在训练纹理风格迁移网络之前还包括对无妆人脸图像进行预处理的步骤，具体地，以化妆人脸图像样本中预设人脸关键点的位置信息为参照信息并且根据该化妆人脸图像样本对应的无妆人脸图像样本中人脸关键点的位置信息对无妆人脸图像样本进行变形，得到第一无妆人脸图像；分别对化妆人脸图像样本及其对应的第一无妆人脸图像进行图像分割，并且将从第一无妆人脸图像中分割出的图像反贴至化妆人脸图像样本中相应的分割区域，得到第二无妆人脸图像。
本实施例中，对无妆人脸图像进行预处理的步骤包括：对训练数据库中化妆人脸图像样本及其对应的无妆人脸图像样本进行68个人脸关键点的提取，选取其中重要的19个人脸关键点并以选取的19个人脸关键点的位置信息为参照信息对无妆人脸图像样本进行扭曲变形得到第一无妆人脸图像，然后针对化妆人脸图像样本和第一无妆人脸图像中分别提取眼睛中心、鼻尖和嘴角的5个关键点，并利用训练好的人脸分割模型得到化妆人脸图像样本和第一无妆人脸图像的分割图像，其中，分割图像包括脸部五官和脸皮(不包括头发)的分割图像，最后将第一无妆人脸图像的分割图像反贴到化妆人脸图像样本相应位置，得到与化妆人脸图像样本姿态、表情和身份更加接近的第二无妆人脸图像。本实施例中，化妆人脸图像样本、第一无妆人脸图像和第二无妆人脸图像的像素大小均为128×128。
在一些实施例中，基于化妆人脸图像样本及其对应的第二无妆人脸图像对纹理风格迁移网络进行网络训练；在此情况下，纹理风格迁移网络还包括第一特征提取网络和生成对抗网络，第一特征提取网络用于对迁移网络所获取的化妆人脸图像样本对应的无妆纹理风格信息进行特征提取并且将提取结果作为假样本，以及用于对第二无妆人脸图像进行特征提取并且将提取结果作为真样本；生成对抗网络用于根据假样本与真样本判断无妆纹理风格信息的真假。
本实施例中，将化妆人脸图像样本输入迁移网络，迁移网络输出无妆纹理风格信息；采用Simonyan等人在文章“Very deep convolutional networks for large-scaleimage recognition”中提出的VGG-19作为第一特征提取网络，分别将化妆人脸图像样本、迁移网络输出的无妆纹理风格信息以及第二无妆人脸图像输入VGG-19中，计算化妆人脸图像样本与迁移网络输出的无妆纹理风格信息之间特征层面的欧几里得距离，以得到化妆人脸图像样本与迁移网络输出的无妆纹理风格信息的内容相似性；计算迁移网络输出的无妆纹理风格信息与第二无妆人脸图像之间特征层面的欧几里得距离，以得到迁移网络输出的无妆纹理风格信息与第二无妆人脸图像的风格相似性；将VGG-19利用迁移网络输出的无妆纹理风格信息提取的特征作为假样本，将VGG-19利用第二无妆人脸图像提取的特征作为真样本，将真样本和假样本输入到生成对抗网络(判别器)中进行真假判断；迭代上述步骤直至纹理风格迁移网络稳定。可选的，为了提升纹理风格迁移网络的泛化能力，在训练纹理风格迁移网络的过程中同样可以对训练数据进行增广处理，增广处理的步骤可以参考形状保持网络的训练过程，这里不再赘述。
具体地，可以按照公式(2)所示的损失函数L总1训练纹理风格迁移网络：
L总1＝Lstyle+LT (2)
其中，Lstyle为纹理风格迁移网络中迁移网络对应的损失函数，LT为纹理风格迁移网络中生成对抗网络对应的损失函数。
并且其中，纹理风格迁移网络中迁移网络对应的损失函数Lstyle如公式(3)所示：
其中，Lc为图像内容损失函数，Ls为图像风格损失函数，
表示预设的权重系数；
图像内容损失函数Lc如公式(4)所示：
Lc＝||Kn[(f(GT(IA)))T(f(GT(IA)))-(f(IA))T(f(IA))]||2 (4)
其中，“|| ||2”表示2范数，Kn表示预设的第一特征提取网络中第n个特征提取层对应的归一化因子，且
Cn、Hn、Wn分别表示第n个特征提取层的通道数、高度和宽度，“f()”表示第一特征提取网络，GT表示迁移网络，IA表示化妆人脸图像样本，T表示矩阵转置符号；
图像风格损失函数Ls如公式(5)所示：
其中，Kn表示预设的第一特征提取网络中第n个特征提取层对应的归一化因子，N表示第一特征提取网络中特征提取层的数量，“fn()”表示第一特征提取网络中第n个特征提取层，IB'表示第二无妆人脸图像样本。
纹理风格迁移网络中生成对抗网络对应的损失函数LT如公式(6)所示：
其中，
表示基于IB'在概率分布下的期望，
表示基于IA在概率分布下的期望，DT表示纹理风格迁移网络中的生成对抗网络。
本实施中，可以按照如下步骤训练纹理风格迁移网络：初始化纹理风格迁移网络的网络权重参数，
为100，批处理的大小为4，学习率为2×10-4；将化妆人脸图像样本输入迁移网络，输出无妆纹理风格信息；将输出的无妆纹理风格信息和化妆人脸图像样本的同时输入VGG-19中，以保证输出的无妆纹理风格信息与化妆人脸图像样本之间内容的一致；以第二无妆人脸图像作为无妆纹理风格信息的真实图像标签，将输出的无妆纹理风格信息与第二无妆人脸图像同时输入VGG-19中，以保证输出的无妆纹理风格信息与第二化妆人脸图像的风格一致；将输出的无妆纹理风格信息输入VGG-19，输出假样本，将第二无妆人脸图像输入VGG-19，输出真样本，再将真样本和假样本输入到生成对抗网络(即判别器)中，迭代训练纹理风格迁移网络，使图像内容损失函数Lc、图像风格损失函数Ls、生成对抗网络对应的损失函数LT均降低至趋于稳定。
步骤S3：基于预设的融合网络并且根据形状信息与无妆纹理风格信息，获取待测化妆人脸图像对应的无妆人脸图像。
融合网络是利用机器学习算法构建的卷积神经网络。在一些实施例中，融合网络包括生成器和判别器，融合网络通过生成器并且根据形状信息与无妆纹理风格信息，获取待测化妆人脸图像对应的无妆人脸图像。在融合网络的判别器中将化妆人脸图像样本和生成的无妆人脸图像作为输入，并采用预设的生成对抗损失函数进行真假判断。本实施例中，融合网络中生成器的输入数据的像素大小为128×128，维度为5维，分别包含来自形状保持网络的2维和迁移网络的3维。融合网络包括6个残差块，其中每个残差块的卷积层都是3×3大小的滤波器。需要说明的是，融合网络中的残差块的个数和每层卷积层中滤波器器的个数以及大小可以根据实际情况进行选择设置，本发明对融合网络中的残差块的个数和每层卷积层中滤波器器的个数以及大小不作固定限制。
在一些实施例中，人脸妆容去除方法还包括融合网络的网络训练步骤，并在此情况下，融合网络还包括第二特征提取网络，第二特征提取网络用于分别对第二无妆人脸图像和生成器根据化妆人脸图像样本对应的形状信息与无妆纹理风格信息生成无妆人脸图像进行特征提取，判别器用于根据预设的假样本对与预设的真样本对判断生成器所生成的无妆人脸图像的真假；假样本对包括生成器所生成的无妆人脸图像和化妆人脸图像样本，真样本对包括第二无妆人脸图像和化妆人脸图像样本。
融合网络的网络训练步骤可以包括：获取形状保持网络得到的训练数据库中每个化妆人脸图像样本对应的形状信息；获取纹理风格迁移网络得到的每个化妆人脸图像样本对应无妆纹理风格信息；基于化妆人脸图像样本对应的第二无妆人脸图像、形状信息与无妆纹理风格信息对融合网络进行网络训练。
在一些实施例中，基于第二无妆人脸图像、形状信息与无妆纹理风格信息并且根据公式(7)所示的损失函数L总2训练融合网络：
L总2＝LI+Lpixel+LF (7)
其中，LI表示融合网络损失函数中的身份保持损失函数，Lpixel表示融合网络损失函数中的图像内容保持损失函数，LF表示融合网络损失函数中的生成对抗损失函数。
融合网络损失函数中的身份保持损失函数LI如公式(8)所示：
其中，
表示预设的权重系数，
表示基于Ir，IB在概率分布下的期望，“|| ||2”表示2范数，M()表示第二特征提取网络，Ir表示融合网络生成的无妆人脸图像，IB表示化妆人脸图像样本对应的无妆人脸图像样本；
融合网络损失函数中的图像内容保持损失函数Lpixel如公式(9)所示：
其中，
表示预设的权重系数，L1表示预设的基于1范数度量的图像内容一致性损失函数并且
表示基于IB'在概率分布下的期望，Ltv表示预设的平滑损失函数并且
分别表示融合网络生成的无妆人脸图像Ir中位置(i,j)，(i,j+1)，(i+1,j)处的像素值，IB'表示第二无妆人脸图像样本；
融合网络损失函数中的生成对抗损失函数LF如公式(10)所示：
其中，
表示基于IB'在概率分布下的期望，
表示基于Ir在概率分布下的期望，DF表示融合网络。
本实施例中，是利用Wu等人在论文“A light cnn for deep facerepresentation with noisy labels”中提出的Light CNN作为第二特征提取网络。将融合网络中生成器生成的无妆人脸图像与化妆人脸图像样本对应的无妆人脸图像样本同时输入Light CNN中，在特征层面计算生成的无妆人脸图像与无妆人脸图像样本之间的欧几里得距离，以得到二者之间身份信息的相似性。另外，计算融合网络中生成器生成的无妆人脸图像与第二无妆人脸图像之间的曼哈顿距离，以得到二者之间像素级别的相似性，并通过像素级别的相似性度量进行平滑。将生成的无妆人脸图像和化妆人脸图像样本构成假样本对，将第二无妆人脸图像和化妆人脸图像样本构成真样本对。将假样本对和真样本对输入判别器中进行生成对抗损失函数的计算，迭代上述过程直至融合网络趋至稳定。
更为具体地，本实施中训练融合网络包括如下步骤：初始化融合网络的网络权重系数，其中，
分别设置为0.1,100，批处理大小为4，学习率为2×10-4；将形状保持网络生成的形状信息和纹理风格迁移网络生成的无妆纹理风格信息输入到融合网络的生成器中，得到无妆人脸图像；以第二无妆人脸图像作为真实图像的标签，将生成的无妆人脸图像与化妆人脸图像样本对应的无妆人脸图像样本输入Light CNN中，以计算身份保持损失函数LI；将生成的无妆人脸图像与第二无妆人脸图像输入Light CNN中，以计算图像内容保持损失函数Lpixel；将生成的无妆人脸图像和化妆人脸图像样本构成假样本对，将第二无妆人脸图像和化妆人脸图像样本构成真样本对，将假样本对和真样本对输入判别器进行生成对抗损失函数LF的计算，迭代上述过程使身份保持损失函数LI、图像内容保持损失函数Lpixel以及生成对抗损失函数LF均降低至趋于稳定。
本发明的人脸妆容去除方法可以利用生成对抗网络的高度非线性拟合能力，针对人脸妆容去除任务，以化妆人脸图像作为输入数据，分别学习化妆人脸图像对应的形状信息和无妆纹理风格信息，通过融合网络将形状信息和无妆纹理风格信息进行融合以生成无妆人脸图形。特别的，形状保持网络通过3D引导的UV域映射方式可以很好的保持形状信息，另外，通过额外地增加网络的损失函数可以很好地保持人脸身份信息和内容信息。
参阅附图2，图2示例性示出了人脸妆容去除方法的主要流程，如图2所示，基于训练好的形状保持网络、纹理风格迁移网络和融合网络，以化妆人脸图像作为输入数据，基于形状保持网络学习形状信息，基于纹理风格迁移网络学习无妆纹理风格信息，基于融合网络对形状信息和无妆纹理风格信息进行融合生成无妆人脸图像。本发明的人脸妆容去除方法可以在有效完成人脸妆容去除任务的同时很好地保持身份信息和内容信息，合成无妆人脸图像更加逼真、自然。为了验证本发明人脸妆容去除方法的有效性，下面结合附图对本发明方法的测试实验进行详细说明。
参阅附图3，图3示例性示出了人脸妆容去除方法在训练数据库FAM、Dataset1和Dataset2上测试数据，图3中从上向下数，第一行为化妆人脸图像，第二行为pix2pix生成的无妆人脸图像，第三行为BLAN生成的无妆人脸图像，第四行为本发明方法生成无妆人脸图像，第五行为真实的无妆人脸图像。训练数据库FAM是Hu等人在发表的文章“Makeup-robustface verification”中提出的人脸数据库；训练数据库Dataset1是Guo等人在发表的文章“Face authentication with makeup changes”中提出的人脸数据库；训练数据库Dataset2是Sun等人在发表的文章“A weakly supervised method for makeup-invariantface verification”中提出的人脸数据库；pix2pix是Phillip Isola等人在发表的文章“Image-to-Image Translation with Conditional Adversarial Networks”中提出来的模型；BLAN是Yi Li等人在发表的文章“Anti-Makeup:Learning A Bi-Level AdversarialNetwork for Makeup-Invariant Face Verification”中提出的模型。
将本发明提供的人脸妆容去除方法应用于公开的训练数据库FAM、Dataset1和Dataset2。其中，FAM数据库包括519对人脸图像，Dataset1包括501对人脸图像，Dataset2包括203对人脸图像，每对图像包含一张化妆人脸图像和一张无妆人脸图像。本实施例中，将所有图像统一调整到128×128像素大小。针对三个训练数据库，分别通过五折交叉方式训练和测试。利用3D引导的关联映射得到化妆人脸的UV关联场，作为形状保持网络的真实标签，同时利用脸部关键点信息得到与化妆人脸图像姿态一致的无妆人脸的扭曲反贴图，作为纹理风格迁移网络和融合网络的真实标签，将化妆人脸图像作为输入，分别通过形状保持网络学习形状信息和纹理风格迁移网络学习无妆纹理风格信息，最后通过融合网络进行融合生成无妆人脸。训练过程中不断调整不同任务的权重，直至最后网络收敛，得到可以用来进行人脸妆容去除的网络。为了测试形状保持网络、纹理风格迁移网络和融合网络的有效性，按照五折交叉验证方式分别针对三个训练数据库进行人脸妆容去除的操作，可视化的测试结果如图3所示。
参阅附图4，图4示例性示出了基于本发明方法在训练数据库FAM、Dataset1和Dataset2上的人脸验证结果，如图4所示，为了验证本发明中的形状保持网络、纹理风格迁移网络和融合网络的具有身份保持的能力，我们利用融合网络生成的无妆人脸图像和真实的无妆人脸图像进行人脸验证实验。在人脸验证试验中应用了当前比较鲁棒的人脸验证方法或模型，人脸验证的准确率如图4所示。其中，(Guo,Wen,and Yan 2014)表示Guo等人在发表的文章“Face authentication with makeup changes”中提出来的人脸妆容去除方法；(Sun et al.2017)表示Sun等人在发表的文章“A weakly supervised method formakeup-invariant face verification.”中提出来的人脸妆容去除方法；VGG表示Simonyan等人在发表的文章“Very deep convolutional networks for large-scaleimage recognition”中提出的模型；Light CNN表示Wu等人在发表的文章“A light cnnfor deep face representation with noisy labels.”中提出来的模型；BLAN表示Yi Li等人在发表的文章“Anti-Makeup:Learning A Bi-Level Adversarial Network forMakeup-Invariant Face Verification”中提出的模型；ST-GAN表示本申请提出的模型；(Nguyen and Bai 2010)表示Nguyen等人在发表的文章“Cosine similarity metriclearning for face verification”中提出来的人脸妆容去除方法；(Hu et al.2013)表示Hu等人在发表的文章“Makeup-robust face verification.In InternationalConference on Acoustics.”中提出的方法。通过对比人脸验证的准确率可以有效证明本发明方法对人脸妆容去除和身份信息保持的有效性。
本领域技术人员应该能够意识到，虽然本申请提供了如实施例或流程图所述的方法操作步骤，但基于常规或者创造性的劳动可以包括更多或者更少的操作步骤。本实施例中列举的步骤仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的方法及步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种人脸妆容去除方法，其特征在于，所述方法包括：
基于预设的形状保持网络并且根据待测化妆人脸图像，获取所述待测化妆人脸图像对应的形状信息；
基于预设的纹理风格迁移网络并且根据所述待测化妆人脸图像，获取所述待测化妆人脸图像对应的无妆纹理风格信息；
基于预设的融合网络并且根据所述形状信息与所述无妆纹理风格信息，获取所述待测化妆人脸图像对应的无妆人脸图像；
其中，所述形状保持网络、所述纹理风格迁移网络和所述融合网络均是利用机器学习算法构建的卷积神经网络；
其中，训练数据库包括化妆人脸图像样本以及分别与每个所述化妆人脸图像样本对应的无妆人脸图像样本，在“获取所述待测化妆人脸图像对应的无妆纹理风格信息”的步骤之前，所述方法还包括：
以所述化妆人脸图像样本中预设人脸关键点的位置信息为参照信息并且根据该化妆人脸图像样本对应的无妆人脸图像样本中所述人脸关键点的位置信息对所述无妆人脸图像样本进行变形，得到第一无妆人脸图像；
分别对所述化妆人脸图像样本及其对应的第一无妆人脸图像进行图像分割，并且将从所述第一无妆人脸图像中分割出的图像反贴至所述化妆人脸图像样本中相应的分割区域，得到第二无妆人脸图像；
基于所述化妆人脸图像样本及其对应的第二无妆人脸图像对所述纹理风格迁移网络进行网络训练；
其中，所述纹理风格迁移网络还包括第一特征提取网络、生成对抗网络和迁移网络，所述第一特征提取网络用于对所述迁移网络所获取的所述化妆人脸图像样本对应的无妆纹理风格信息进行特征提取并且将提取结果作为假样本，以及用于对所述第二无妆人脸图像进行特征提取并且将提取结果作为真样本；所述生成对抗网络用于根据所述假样本与所述真样本判断所述无妆纹理风格信息的真假。
2.根据权利要求1所述的人脸妆容去除方法，其特征在于，在“基于预设的形状保持网络并且根据待测化妆人脸图像，获取所述待测化妆人脸图像对应的形状信息”的步骤之前，所述方法还包括：
对预设训练数据库中每个化妆人脸图像样本进行UV映射得到所述每个化妆人脸图像样本对应的UV关联场；
基于所述化妆人脸图像样本及其对应的UV关联场并且根据下式所示的形状保持网络损失函数Lshape训练所述形状保持网络：
其中，所述
表示基于IA在概率分布下的期望，所述IA表示所述化妆人脸图像样本，所述SNet表示所述形状保持网络，所述S表示所述IA对应的UV关联场，所述|| ||1表示1范数。
3.根据权利要求2所述的人脸妆容去除方法，其特征在于，所述迁移网络配置为获取化妆人脸图像对应的无妆纹理风格信息，“获取所述待测化妆人脸图像对应的无妆纹理风格信息”的步骤包括：
通过所述迁移网络获取所述待测化妆人脸图像对应的无妆纹理风格信息。
4.根据权利要求1所述的人脸妆容去除方法，其特征在于，“基于所述化妆人脸图像样本及其对应的第二无妆人脸图像对所述纹理风格迁移网络进行网络训练”的步骤包括：
基于所述化妆人脸图像样本及其对应的第二无妆人脸图像并且根据下式所示的损失函数L总1训练所述纹理风格迁移网络：
L总1＝Lstyle+LT
其中，所述Lstyle为所述纹理风格迁移网络中迁移网络对应的损失函数，所述LT为所述纹理风格迁移网络中生成对抗网络对应的损失函数。
5.根据权利要求4所述的人脸妆容去除方法，其特征在于，所述纹理风格迁移网络中迁移网络对应的损失函数Lstyle如下式所示：
其中，所述Lc为图像内容损失函数，所述Ls为图像风格损失函数，所述
表示预设的权重系数；
并且其中，所述图像内容损失函数Lc如下式所示：
Lc＝||Kn[(f(GT(IA)))T(f(GT(IA)))-(f(IA))T(f(IA))]||2
其中，所述“|| ||2”表示2范数，所述Kn表示预设的所述第一特征提取网络中第n个特征提取层对应的归一化因子，且
所述Cn、Hn、Wn分别表示所述第n个特征提取层的通道数、高度和宽度，所述“f()”表示所述第一特征提取网络，所述GT表示所述迁移网络，所述IA表示所述化妆人脸图像样本，所述T表示矩阵转置符号；
所述图像风格损失函数Ls如下式所示：
其中，所述Kn表示预设的所述第一特征提取网络中第n个特征提取层对应的归一化因子，所述N表示所述第一特征提取网络中特征提取层的数量，所述“fn()”表示所述第一特征提取网络中第n个特征提取层，所述IB'表示所述第二无妆人脸图像样本。
6.根据权利要求5所述的人脸妆容去除方法，其特征在于，所述纹理风格迁移网络中生成对抗网络对应的损失函数LT如下式所示：
其中，所述
表示基于IB'在概率分布下的期望，所述
表示基于IA在概率分布下的期望，所述DT表示所述纹理风格迁移网络中的生成对抗网络。
7.根据权利要求1所述的人脸妆容去除方法，其特征在于，所述融合网络包括生成器和判别器，“基于预设的融合网络并且根据所述形状信息与所述无妆纹理风格信息，获取所述待测化妆人脸图像对应的无妆人脸图像”的步骤包括：
通过所述生成器并且根据所述形状信息与所述无妆纹理风格信息，获取所述待测化妆人脸图像对应的无妆人脸图像。
8.根据权利要求7所述的人脸妆容去除方法，其特征在于，在“基于预设的融合网络并且根据所述形状信息与所述无妆纹理风格信息，获取所述待测化妆人脸图像对应的无妆人脸图像”的步骤之前，所述方法还包括：
获取所述形状保持网络得到的所述训练数据库中每个化妆人脸图像样本对应的形状信息；
获取所述纹理风格迁移网络得到的所述每个化妆人脸图像样本对应无妆纹理风格信息；
基于所述化妆人脸图像样本对应的第二无妆人脸图像、所述形状信息与所述无妆纹理风格信息对所述融合网络进行网络训练；
其中，所述融合网络还包括第二特征提取网络，所述第二特征提取网络用于分别对所述第二无妆人脸图像和所述生成器根据所述化妆人脸图像样本对应的形状信息与所述无妆纹理风格信息生成无妆人脸图像进行特征提取，所述判别器用于根据预设的假样本对与预设的真样本对判断所述生成器所生成的无妆人脸图像的真假；所述假样本对包括所述生成器所生成的无妆人脸图像和化妆人脸图像样本，所述真样本对包括第二无妆人脸图像和化妆人脸图像样本。
9.根据权利要求8所述的人脸妆容去除方法，其特征在于，“基于所述化妆人脸图像样本对应的第二无妆人脸图像、所述形状信息与所述无妆纹理风格信息对所述融合网络进行网络训练”的步骤包括：
基于所述第二无妆人脸图像、所述形状信息与所述无妆纹理风格信息并且根据下式所示的损失函数L总2训练所述融合网络：
L总2＝LI+Lpixel+LF
其中，所述LI表示所述融合网络损失函数中的身份保持损失函数，所述Lpixel表示所述融合网络损失函数中的图像内容保持损失函数，所述LF表示所述融合网络损失函数中的生成对抗损失函数。
10.根据权利要求9所述的人脸妆容去除方法，其特征在于，
所述融合网络损失函数中的身份保持损失函数LI如下式所示：
其中，所述
表示预设的权重系数，所述
表示基于Ir，IB在概率分布下的期望，所述Ir表示所述融合网络生成的无妆人脸图像，所述“|| ||2”表示2范数，所述M()表示所述第二特征提取网络，所述IB表示所述化妆人脸图像样本对应的无妆人脸图像样本；
所述融合网络损失函数中的图像内容保持损失函数Lpixel如下式所示：
其中，所述
表示预设的权重系数，所述L1表示预设的基于1范数度量的图像内容一致性损失函数并且
所述
表示基于Ir，IB′在概率分布下的期望，所述Ltv表示预设的平滑损失函数并且
所述融合网络损失函数中的生成对抗损失函数LF如下式所示：
其中，所述
表示基于IB′在概率分布下的期望，所述
表示基于Ir在概率分布下的期望，DF表示所述融合网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910024060.XA CN109886881B (zh) | 2019-01-10 | 2019-01-10 | 人脸妆容去除方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910024060.XA CN109886881B (zh) | 2019-01-10 | 2019-01-10 | 人脸妆容去除方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109886881A CN109886881A (zh) | 2019-06-14 |
| CN109886881B true CN109886881B (zh) | 2021-03-09 |
Family
ID=66925899
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910024060.XA Active CN109886881B (zh) | 2019-01-10 | 2019-01-10 | 人脸妆容去除方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109886881B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110414397A (zh) * | 2019-07-19 | 2019-11-05 | 三星电子（中国）研发中心 | 卸妆方案推荐方法及装置 |
| CN110415261B (zh) * | 2019-08-06 | 2021-03-16 | 山东财经大学 | 一种分区域训练的表情动画转换方法及系统 |
| CN110853119B (zh) * | 2019-09-15 | 2022-05-20 | 北京航空航天大学 | 一种鲁棒的基于参考图片的妆容迁移方法 |
| CN111325657A (zh) * | 2020-02-18 | 2020-06-23 | 北京奇艺世纪科技有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
| CN111523413B (zh) * | 2020-04-10 | 2023-06-23 | 北京百度网讯科技有限公司 | 生成人脸图像的方法和装置 |
| CN111582067B (zh) * | 2020-04-22 | 2022-11-29 | 西南大学 | 人脸表情识别方法、系统、存储介质、计算机程序、终端 |
| CN111640057B (zh) * | 2020-05-25 | 2022-04-15 | 武汉理工大学 | 基于隐藏变量解耦的人脸图像局部特征迁移网络及方法 |
| CN111950430A (zh) * | 2020-08-07 | 2020-11-17 | 武汉理工大学 | 基于颜色纹理的多尺度妆容风格差异度量及迁移方法、系统 |
| CN112802160B (zh) * | 2021-01-12 | 2023-10-17 | 西北大学 | 一种基于u-gat-it改进的秦腔角色卡通化风格迁移的方法 |
| CN112767287A (zh) * | 2021-03-10 | 2021-05-07 | 百果园技术(新加坡)有限公司 | 一种模型训练、图像处理方法、装置、设备及介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107123083A (zh) * | 2017-05-02 | 2017-09-01 | 中国科学技术大学 | 人脸编辑方法 |
| CN107437073A (zh) * | 2017-07-19 | 2017-12-05 | 竹间智能科技（上海）有限公司 | 基于深度学习与生成对抗网路的人脸肤质分析方法及系统 |
| CN108090465A (zh) * | 2017-12-29 | 2018-05-29 | 国信优易数据有限公司 | 一种妆容效果处理模型训练方法及妆容效果处理方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180349978A1 (en) * | 2017-06-01 | 2018-12-06 | The Gillette Company Llc | Method for providing a customized product recommendation |
-
2019
- 2019-01-10 CN CN201910024060.XA patent/CN109886881B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107123083A (zh) * | 2017-05-02 | 2017-09-01 | 中国科学技术大学 | 人脸编辑方法 |
| CN107437073A (zh) * | 2017-07-19 | 2017-12-05 | 竹间智能科技（上海）有限公司 | 基于深度学习与生成对抗网路的人脸肤质分析方法及系统 |
| CN108090465A (zh) * | 2017-12-29 | 2018-05-29 | 国信优易数据有限公司 | 一种妆容效果处理模型训练方法及妆容效果处理方法 |
Non-Patent Citations (5)
| Title |
|---|
| A weakly supervised method for makeup-invariant face verification;Sun, Yao 等;《Pattern Recognition》;20171231;全文 * |
| Anti-Makeup: Learning A Bi-Level Adversarial Network for Makeup-Invariant Face Verification;Yi Li 等;《arXiv》;20171122;论文第1-5页 * |
| Joint 3D Face Reconstruction and Dense Alignment with Position Map Regression Network;Yao Feng 等;《ECCV 2018》;20181231;论文摘要，第3节 * |
| Weakly-Supervised Dual Generative Adversarial Networks for Makeup-Removal;Xuedong Hou 等;《International Conference on Neural Information Processing》;20171231;全文 * |
| 基于半监督学习生成对抗网络的人脸还原算法研究;曹志义 等;《电子与信息学报》;20180228;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109886881A (zh) | 2019-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109886881B (zh) | 人脸妆容去除方法 | |
| Meng et al. | Sdedit: Guided image synthesis and editing with stochastic differential equations | |
| US11645835B2 (en) | Hypercomplex deep learning methods, architectures, and apparatus for multimodal small, medium, and large-scale data representation, analysis, and applications | |
| CN108537743B (zh) | 一种基于生成对抗网络的面部图像增强方法 | |
| CN109815893B (zh) | 基于循环生成对抗网络的彩色人脸图像光照域归一化的方法 | |
| CN110348330B (zh) | 基于vae-acgan的人脸姿态虚拟视图生成方法 | |
| CN111241958B (zh) | 一种基于残差-胶囊网络的视频图像鉴别方法 | |
| Yan et al. | Fine-grained attention and feature-sharing generative adversarial networks for single image super-resolution | |
| Hou et al. | Improving variational autoencoder with deep feature consistent and generative adversarial training | |
| Li et al. | Anti-makeup: Learning a bi-level adversarial network for makeup-invariant face verification | |
| CN111242841B (zh) | 一种基于语义分割和深度学习的图片背景风格迁移方法 | |
| CN109829959B (zh) | 基于人脸解析的表情编辑方法及装置 | |
| CN112818764B (zh) | 一种基于特征重建模型的低分辨率图像人脸表情识别方法 | |
| CN107316004A (zh) | 基于深度学习的空间目标识别方法 | |
| CN112836602B (zh) | 基于时空特征融合的行为识别方法、装置、设备及介质 | |
| Kumar et al. | A GAN-based model of deepfake detection in social media | |
| Chandaliya et al. | Conditional perceptual adversarial variational autoencoder for age progression and regression on child face | |
| Sharma et al. | An improved technique for face age progression and enhanced super-resolution with generative adversarial networks | |
| CN113221660B (zh) | 一种基于特征融合的跨年龄人脸识别方法 | |
| Bian et al. | Conditional adversarial consistent identity autoencoder for cross-age face synthesis | |
| Tang et al. | SRARNet: A unified framework for joint superresolution and aircraft recognition | |
| CN112288645B (zh) | 一种颅骨面貌复原模型构建方法及复原方法与系统 | |
| CN116310008B (zh) | 一种基于少样本学习的图像处理方法及相关设备 | |
| CN109887023B (zh) | 一种基于加权梯度幅度的双目融合立体图像质量评价方法 | |
| CN109165551B (zh) | 一种自适应加权融合显著性结构张量和lbp特征的表情识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |