CN108230239A - 人脸表情图像合成装置 - Google Patents
人脸表情图像合成装置 Download PDFInfo
- Publication number
- CN108230239A CN108230239A CN201711421598.1A CN201711421598A CN108230239A CN 108230239 A CN108230239 A CN 108230239A CN 201711421598 A CN201711421598 A CN 201711421598A CN 108230239 A CN108230239 A CN 108230239A
- Authority
- CN
- China
- Prior art keywords
- facial image
- generator
- amimia
- espressiove
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008921 facial expression Effects 0.000 title claims abstract description 42
- 230000015572 biosynthetic process Effects 0.000 title claims abstract description 24
- 238000003786 synthesis reaction Methods 0.000 title claims abstract description 24
- 230000001815 facial effect Effects 0.000 claims abstract description 117
- 206010053238 Amimia Diseases 0.000 claims abstract description 59
- 230000014509 gene expression Effects 0.000 claims abstract description 24
- 238000009826 distribution Methods 0.000 claims description 12
- 238000005457 optimization Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 4
- 230000004069 differentiation Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 51
- 230000006399 behavior Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000034 method Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 235000015055 Talinum crassifolium Nutrition 0.000 description 1
- 244000010375 Talinum crassifolium Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003115 biocidal effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理技术领域，具体提供了一种人脸表情图像合成装置，旨在解决如何提高人脸表情图像合成真实性的技术问题。为此目的，本发明中人脸表情图像合成装置能够基于几何先验对抗生成网络模型，对目标图像生成特定的人脸表情图像。具体地，几何先验对抗生成网络模型中，第一生成器生成有表情人脸图像，第一判别器对所生成的有表情人脸图像进行判别。第二生成器生成无表情人脸图像，第二判别器对所生成的无表情人脸图像进行判别。优化训练模块对几何先验对抗生成网络模型进行网络训练，得到优化后的几何先验对抗生成网络模型。本发明的技术方案，不仅能够对人脸图像进行表情编辑，即生成表情和去除表情，还能够有效保持人脸图像的身份信息。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种人脸表情图像合成装置。
背景技术
人脸表情图像合成指的是一种利用图像处理合成特定人物的特定表情的技术。当前，人脸表情图像合成技术广泛应用于在动画制作、脸部编辑、脸部数据扩增和人脸识别等领域。但是，由于人脸复杂的几何形式、不可计数的脸部皱纹和细微的颜色与纹理变化，使得人脸表情图像合成的真实度较低。
发明内容
为了解决现有技术中的上述问题，即为了解决如何提高人脸表情图像合成真实性的技术问题，本发明提供了一种人脸表情图像合成装置。
本发明中人脸表情图像合成装置包括几何先验对抗生成网络模型，其配置为获取目标图像，并依据所获取的目标图像生成特定的人脸表情图像；
所述几何先验对抗生成网络模型包括第一生成器、第二生成器、第一判别器、第二判别器和优化训练模块；
所述第一生成器，配置为依据无表情人脸图像，生成有表情人脸图像；所述第一判别器，配置为依据真实的有表情人脸图像，对所述第一生成器所生成的有表情人脸图像进行判别；
所述第二生成器，配置为依据有表情人脸图像，生成无表情人脸图像；所述第二判别器，配置为依据真实的无表情人脸图像，对所述第二生成器所生成的无表情人脸图像进行判别；
所述优化训练模块，配置为按照预设目标函数对所述几何先验对抗生成网络模型进行网络训练，得到优化后的几何先验对抗生成网络模型。
进一步地，本发明提供的一个优选技术方案为：
所述优化训练模块包括第一训练单元，其配置为依据预设训练集，并按照下式所示的目标函数对所述第一生成器与第一判别器所构成的表情生成网络进行训练：
其中，所述为第一生成器对应的目标函数，所述为第一判别器对应的目标函数，所述为真实的有表情人脸图像与所述第一生成器所生成的有表情人脸图像之间的对抗损失函数，所述Lpixel为所述真实的有表情人脸图像与所述生成的有表情人脸图像之间的像素损失函数，所述Lcyc为真实的有表情人脸图像与所述生成的有表情人脸图像之间的循环一致性函数，所述Lidentity为特征层损失函数，所述α1、α2与α3均为预设的权重系数；
所述I表示真实的无表情人脸图像，所述I′表示真实的有表情人脸图像，所述H表示人脸表情热力图，所述G1表示第一生成器，所述D1表示第一判别器，所述G1(I,H)为所述第一生成器所生成的有表情人脸图像，所述E表示期望，所述P(I,H,I')为I,H,I'的数据分布，所述P(I,H)为I,H的数据分布。
进一步地，本发明提供的一个优选技术方案为：
所述对抗损失函数如下式所示：
所述像素损失函数Lpixel如下式所示：
Lpixel＝EI,H,I'～P(I,H,I')||I'-G1(I,H)||1
所述循环一致性函数Lcyc如下式所示：
Lcyc＝EI,H～P(I,H)||I-G2(G1(I,H))||1
所述特征层损失函数Lidentity如下式所示：
Lidentity＝EI,H～P(I,H)||F(I)-F(G1(I,H))||1
其中，所述|| ||1表示L1范数，所述G2为第二生成器，所述F表示所述装置中预设的人脸图像特征提取器。
进一步地，本发明提供的一个优选技术方案为：
所述优化训练模块包括第二训练单元，其配置为依据预设训练集，并按照下式所示的目标函数对所述第二生成器与第二判别器所构成的表情去除网络进行训练：
其中，所述为第二生成器对应的目标函数，所述为第二判别器对应的目标函数，所述为真实的无表情人脸图像与所述第二生成器所生成的无表情人脸图像之间的对抗损失函数，所述Lpixel'为所述真实的无表情人脸图像与所述生成的无表情人脸图像之间的像素损失函数，所述Lcyc'为真实的无表情人脸图像与所述生成的无表情人脸图像之间的循环一致性函数，所述Lidentity'为特征层损失函数，所述β1、β2与β3均为预设的权重系数；
所述J表示真实的有表情人脸图像，所述J′表示真实的无表情人脸图像，所述H表示人脸表情热力图，所述G2表示第二生成器，所述D2表示第二判别器，所述G2(J,H)为所述第二生成器所生成的无表情人脸图像，所述E表示期望，所述P(J,H,J')为J,H,J'的数据分布，所述P(J,H)为J,H的数据分布。
进一步地，本发明提供的一个优选技术方案为：
所述对抗损失函数如下式所示：
所述像素损失函数Lpixel'如下式所示：
Lpixel'＝EJ,H,J'～P(J,H,J')||J'-G2(J,H)||1
所述循环一致性函数Lcyc'如下式所示：
Lcyc'＝EJ,H～P(J,H)||J-G1(G2(J,H))||1
所述特征层损失函数Lidentity'如下式所示：
Lidentity'＝EJ,H～P(J,H)||F(J)-F(G2(J,H))||1
其中，所述|| ||1表示L1范数，所述G2为第二生成器，所述F表示所述装置中预设的人脸图像特征提取器。
与最接近的现有技术相比，上述技术方案至少具有以下有益效果：
1、本发明中几何先验对抗生成网络模型包括第一生成器和第一判别器，其中，第一生成器可以依据无表情人脸图像，生成有表情人脸图像。第一判别器可以依据真实的有表情人脸图像，对第一生成器所生成的有表情人脸图像进行判别。基于上述结构，几何先验对抗生成网络模型能够有效地获取无表情人脸图像。
2、本发明中几何先验对抗生成网络模型包括第二生成器和第二判别器，其中，第二生成器可以依据有表情人脸图像，生成无表情人脸图像。第二判别器可以依据真实的无表情人脸图像，对第二生成器所生成的无表情人脸图像进行判别。基于上述结构，几何先验对抗生成网络模型能够有效地获取有表情人脸图像。
3、本发明中优化训练模块可以按照预设目标函数对几何先验对抗生成网络模型进行网络训练，得到优化后的几何先验对抗生成网络模型。其中，预设目标函数包括特征层损失函数Lidentity与Lidentity'，使得几何先验对抗生成网络模型不仅能够对人脸图像进行表情编辑，即生成表情和去除表情，还能够有效保持人脸图像的身份信息。
附图说明
图1是本发明实施例中几何先验对抗生成网络模型的主要结构示意图；
图2是本发明实施例中人脸表情图像合成装置的效果示意图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
当前，深度学习中的对抗生成网络在图像处理领域得到了广泛应用，其在图像合成、图像超分和图像风格转换等方面均取得了显著的效果。基于此，本发明提供了一种基于对抗生成网络的人脸表情图像合成装置，该装置通过几何先验对抗生成网络模型，能够准确地得到特定的人脸表情图像。
下面结合附图，对本发明实施例中的人脸表情图像合成装置进行说明。本实施例中人脸表情图像合成装置可以包括几何先验对抗生成网络模型，该模型可以配置为获取目标图像，并依据所获取的目标图像生成特定的人脸表情图像。
参阅附图1，图1示例性示出了本实施例中一种几何先验对抗生成网络模型的主要结构。如图1所示，本实施例中几何先验对抗生成网络模型可以包括第一生成器11、第一判别器12、第二生成器13、第二判别器14和优化训练模块15。其中，第一生成器11可以配置为依据无表情人脸图像，生成有表情人脸图像。第一判别器12可以配置为依据真实的有表情人脸图像，对第一生成器11所生成的有表情人脸图像进行判别。第二生成器13可以配置为依据有表情人脸图像，生成无表情人脸图像。第二判别器14可以配置为依据真实的无表情人脸图像，对第二生成器13所生成的无表情人脸图像进行判别。优化训练模块15可以配置为按照预设目标函数对几何先验对抗生成网络模型进行网络训练，得到优化后的几何先验对抗生成网络模型。
本实施例中第一生成器11和第二生成器13均为基于卷积神经网络结构的生成器，且该卷积神经网络结构包括上采样结构和下采样结构，使得输入输出图像的大小一致。第一判别器12和第二判别器14均为基于卷积神经网络结构的判别器。在本实施例的一个优选实施方案中，第一生成器11和第二生成器13均为基于13层卷积层的神经网络结构的生成器，其中，卷积层的卷积核为4×4，步长为2，填充为1，并且卷积核的数量先增加后减小，上下采样过程中卷积核的数量和输出大小相同的层之间有前传连接。
本实施例中优化训练模块15可以包括第一训练单元和第二训练单元，其中，第一训练单元可以配置为依据预设训练集，并按照预设的第一目标函数对第一生成器与第一判别器所构成的表情生成网络进行训练。第二训练单元可以配置为依据预设训练集，并按照预设的第二目标函数对第二生成器与第二判别器所构成的表情去除网络进行训练。
具体地，本实施例中预设的第一目标函数如下式(1)所示：
公式(1)中各参数含义为：
为第一生成器11对应的目标函数，为第一判别器12对应的目标函数，为真实的有表情人脸图像与第一生成器11所生成的有表情人脸图像之间的对抗损失函数，Lpixel为真实的有表情人脸图像与生成的有表情人脸图像之间的像素损失函数，Lcyc为真实的有表情人脸图像与生成的有表情人脸图像之间的循环一致性函数，Lidentity为特征层损失函数，α1、α2与α3均为预设的权重系数。I表示真实的无表情人脸图像，I′表示真实的有表情人脸图像，H表示人脸表情热力图，G1表示第一生成器11，D1表示第一判别器12，G1(I,H)为第一生成器11所生成的有表情人脸图像，E表示期望，所述P(I,H,I')为I,H,I'的数据分布，所述P(I,H)为I,H的数据分布。
本实施例中真实的有表情人脸图像与第一生成器11所生成的有表情人脸图像之间的对抗损失函数如下式(2)所示：
本实施例中真实的有表情人脸图像与第一生成器11所生成的有表情人脸图像之间的像素损失函数Lpixel如下式(3)所示：
Lpixel＝EI,H,I'～P(I,H,I')||I'-G1(I,H)||1 (3)
本实施例中真实的有表情人脸图像与第一生成器11所生成的有表情人脸图像之间的循环一致性函数Lcyc如下式(4)所示：
Lcyc＝EI,H～P(I,H)||I-G2(G1(I,H))||1 (4)
本实施例中特征层损失函数Lidentity如下式(5)所示：
Lidentity＝EI,H～P(I,H)||F(I)-F(G1(I,H))||1 (5)
公式(2)～(5)中各参数含义为：|| ||1表示L1范数，G2为第二生成器，F表示人脸表情图像合成装置中预设的人脸图像特征提取器。
进一步地，本实施例中预设的第二目标函数如下式(6)所示：
公式(6)中各项参数含义为：
为第二生成器13对应的目标函数，为第二判别器14对应的目标函数，为真实的无表情人脸图像与第二生成器14所生成的无表情人脸图像之间的对抗损失函数，Lpixel'为真实的无表情人脸图像与生成的无表情人脸图像之间的像素损失函数，Lcyc'为真实的无表情人脸图像与生成的无表情人脸图像之间的循环一致性函数，Lidentity'为特征层损失函数，β1、β2与β3均为预设的权重系数。J表示真实的有表情人脸图像，J′表示真实的无表情人脸图像，H表示人脸表情热力图，G2表示第二生成器13，D2表示第二判别器14，G2(J,H)为第二生成器13所生成的无表情人脸图像，E表示期望，所述P(J,H,J')为J,H,J'的数据分布，所述P(J,H)为J,H的数据分布。
本实施例中真实的无表情人脸图像与第二生成器14所生成的无表情人脸图像之间的对抗损失函数如下式(7)所示：
本实施例中真实的无表情人脸图像与第二生成器14生成的无表情人脸图像之间的像素损失函数Lpixel'如下式(8)所示：
Lpixel'＝EJ,H,J'～P(J,H,J')||J'-G2(J,H)||1 (8)
本实施例中真实的无表情人脸图像与生成的无表情人脸图像之间的循环一致性函数Lcyc'如下式(9)所示：
Lcyc'＝EJ,H～P(J,H)||J-G1(G2(J,H))||1 (9)
本实施例中特征层损失函数Lidentity'如下式(10)所示：
Lidentity'＝EJ,H～P(J,H)||F(J)-F(G2(J,H))||1 (10)
进一步地，基于上述公式(1)～(10)，本实施例中可以按照下述步骤对几何先验对抗生成网络模型进行网络训练：
步骤S101：对预设训练集中的训练样本图像进行预处理。
具体地，本实施例中首先对训练样本图像进行人脸特征提取，得到各训练样本图像的人脸特征点，如68个人脸特征点。然后对训练样本图像进行裁剪，如144×144，并对裁剪后的图像再次进行人脸特征提取，得到新的人脸特征点，如68个新的人脸特征点。最后依据两次提取到的136个人脸特征点制作人脸表情热力图。
步骤S102：将预设训练集中的训练样本图像，以及步骤S101得到的各人脸表情热力图作为训练输入数据，并依据公式(1)～(10)，对几何先验对抗生成网络模型进行网络训练。
在本实施例的一个优选实施方案中，可以对训练输入数据进行数据扩增，以提高几何先验对抗生成网络模型的泛化能力。例如，可以从图像的中心区域裁剪预设尺寸的图像作为新的图像，并与原图像一起作为训练输入数据。同时，第一判别器12和第二判别器14均采用14×14的特征图分别判别第一生成器11与第二生成器13所生成图像的真伪。
本实施例中第一生成器11可以依据无表情人脸图像与人脸表情热力图构成的训练输入数据，生成有表情人脸图像，第一判别器12可以依据真实的有表情人脸图像，判别第一生成器11所生成的有表情人脸图像的真伪。
本实施例中第二生成器13可以依据有表情人脸图像与人脸表情热力图构成的训练输入数据，生成无表情人脸图像，第二判别器14可以依据真实的无表情人脸图像，判别第二生成器13所生成的无表情人脸图像的真伪。
本实施例中利用对抗生成网络的高度非线性拟合能力，针对人脸表情生成和人脸表情去除这两个任务，构造以无表情图像和有表情图像作为输入，人脸表情生成和去除的图像作为输出的对抗生成网络。基于此，能够同时进行表情生成和去除，从而可以进行无表情人脸图像的表情编辑和恢复。
参阅附图2，图2示例性示出了本实施例中人脸表情图像合成装置的实施效果，其中，第一行为表情数据库CK+中真实的无表情人脸图像，第二行为表情数据库CK+中真实的有表情人脸图像，第三行为本实施例中人脸表情图像合成装置得到的无表情人脸图像，第四行为本实施例中人脸表情图像合成装置得到的有表情人脸图像。
为了进一步说明本发明中人脸表情图像合成装置的技术效果，本实施例中利用人脸表情图像合成装置得到无表情人脸图像，进行人脸识别，并与原始图像的识别结果进行比较，证明了本发明中人脸表情图像合成装置不仅能够对人脸图像进行表情编辑，即生成表情和去除表情，还能够有效保持人脸图像的身份信息。其中，人脸识别比较结果如下表1所示：
表1
其中，“无Lcyc、Lidentity”表示去除循环一致性函数与特征层损失函数后的几何先验对抗生成网络模型。“无Lcyc”表示去除循环一致性函数后的几何先验对抗生成网络模型。“无Lidentity”表示去除特征层损失函数后的几何先验对抗生成网络模型。Rank-1为预测最相似的人脸极为正确人脸的概率，FAR＝1％为误识率(False Accept Rate)为1％，FAR＝0.1％为误识率(False Accept Rate)为0.1％。
本领域技术人员可以理解，上述人脸表情图像合成装置还包括一些其他公知结构，例如处理器、控制器、存储器等，其中，存储器包括但不限于随机存储器、闪存、只读存储器、可编程只读存储器、易失性存储器、非易失性存储器、串行存储器、并行存储器或寄存器等，处理器包括但不限于CPLD/FPGA、DSP、ARM处理器、MIPS处理器等，为了不必要地模糊本公开的实施例，这些公知的结构未在图1中示出。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在本发明的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包括”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的PC来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (5)
1.一种人脸表情图像合成装置，其特征在于，所述装置包括几何先验对抗生成网络模型，其配置为获取目标图像，并依据所获取的目标图像生成特定的人脸表情图像；
所述几何先验对抗生成网络模型包括第一生成器、第二生成器、第一判别器、第二判别器和优化训练模块；
所述第一生成器，配置为依据无表情人脸图像，生成有表情人脸图像；所述第一判别器，配置为依据真实的有表情人脸图像，对所述第一生成器所生成的有表情人脸图像进行判别；
所述第二生成器，配置为依据有表情人脸图像，生成无表情人脸图像；所述第二判别器，配置为依据真实的无表情人脸图像，对所述第二生成器所生成的无表情人脸图像进行判别；
所述优化训练模块，配置为按照预设目标函数对所述几何先验对抗生成网络模型进行网络训练，得到优化后的几何先验对抗生成网络模型。
2.根据权利要求1所述的装置，其特征在于，所述优化训练模块包括第一训练单元，其配置为依据预设训练集，并按照下式所示的目标函数对所述第一生成器与第一判别器所构成的表情生成网络进行训练：
其中，所述为第一生成器对应的目标函数，所述为第一判别器对应的目标函数，所述为真实的有表情人脸图像与所述第一生成器所生成的有表情人脸图像之间的对抗损失函数，所述Lpixel为所述真实的有表情人脸图像与所述生成的有表情人脸图像之间的像素损失函数，所述Lcyc为真实的有表情人脸图像与所述生成的有表情人脸图像之间的循环一致性函数，所述Lidentity为特征层损失函数，所述α1、α2与α3均为预设的权重系数；
所述I表示真实的无表情人脸图像，所述I'表示真实的有表情人脸图像，所述H表示人脸表情热力图，所述G1表示第一生成器，所述D1表示第一判别器，所述G1(I,H)为所述第一生成器所生成的有表情人脸图像，所述E表示期望，所述P(I,H,I')为I,H,I'的数据分布，所述P(I,H)为I,H的数据分布。
3.根据权利要求2所述的装置，其特征在于，
所述对抗损失函数如下式所示：
所述像素损失函数Lpixel如下式所示：
Lpixel＝EI,H,I'～P(I,H,I')||I'-G1(I,H)||1
所述循环一致性函数Lcyc如下式所示：
Lcyc＝EI,H～P(I,H)||I-G2(G1(I,H))||1
所述特征层损失函数Lidentity如下式所示：
Lidentity＝EI,H～P(I,H)||F(I)-F(G1(I,H))||1
其中，所述|| ||1表示L1范数，所述G2为第二生成器，所述F表示所述装置中预设的人脸图像特征提取器。
4.根据权利要求2所述的装置，其特征在于，所述优化训练模块包括第二训练单元，其配置为依据预设训练集，并按照下式所示的目标函数对所述第二生成器与第二判别器所构成的表情去除网络进行训练：
其中，所述为第二生成器对应的目标函数，所述为第二判别器对应的目标函数，所述为真实的无表情人脸图像与所述第二生成器所生成的无表情人脸图像之间的对抗损失函数，所述Lpixel'为所述真实的无表情人脸图像与所述生成的无表情人脸图像之间的像素损失函数，所述Lcyc'为真实的无表情人脸图像与所述生成的无表情人脸图像之间的循环一致性函数，所述Lidentity'为特征层损失函数，所述β1、β2与β3均为预设的权重系数；
所述J表示真实的有表情人脸图像，所述J'表示真实的无表情人脸图像，所述H表示人脸表情热力图，所述G2表示第二生成器，所述D2表示第二判别器，所述G2(J,H)为所述第二生成器所生成的无表情人脸图像，所述E表示期望，所述P(J,H,J')为J,H,J'的数据分布，所述P(J,H)为J,H的数据分布。
5.根据权利要求4所述的装置，其特征在于，
所述对抗损失函数如下式所示：
所述像素损失函数Lpixel'如下式所示：
Lpixel'＝EJ,H,J'～P(J,H,J')||J'-G2(J,H)||1
所述循环一致性函数Lcyc'如下式所示：
Lcyc'＝EJ,H～P(J,H)||J-G1(G2(J,H))||1
所述特征层损失函数Lidentity'如下式所示：
Lidentity'＝EJ,H～P(J,H)||F(J)-F(G2(J,H))||1
其中，所述|| ||1表示L1范数，所述G2为第二生成器，所述F表示所述装置中预设的人脸图像特征提取器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711421598.1A CN108230239A (zh) | 2017-12-25 | 2017-12-25 | 人脸表情图像合成装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711421598.1A CN108230239A (zh) | 2017-12-25 | 2017-12-25 | 人脸表情图像合成装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108230239A true CN108230239A (zh) | 2018-06-29 |
Family
ID=62648298
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711421598.1A Pending CN108230239A (zh) | 2017-12-25 | 2017-12-25 | 人脸表情图像合成装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108230239A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109472764A (zh) * | 2018-11-29 | 2019-03-15 | 广州市百果园信息技术有限公司 | 图像合成和图像合成模型训练的方法、装置、设备和介质 |
| CN109829959A (zh) * | 2018-12-25 | 2019-05-31 | 中国科学院自动化研究所 | 基于人脸解析的表情编辑方法及装置 |
| CN109902615A (zh) * | 2019-02-25 | 2019-06-18 | 中国计量大学 | 一种基于对抗网络的多个年龄段图像生成方法 |
| CN110070129A (zh) * | 2019-04-23 | 2019-07-30 | 上海联影智能医疗科技有限公司 | 一种图像检测方法、装置及存储介质 |
| CN110276252A (zh) * | 2019-05-15 | 2019-09-24 | 北京大学 | 一种基于生成式对抗网络的抗表情干扰的人脸识别方法 |
| CN110427864A (zh) * | 2019-07-29 | 2019-11-08 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置及电子设备 |
| CN110765976A (zh) * | 2019-11-01 | 2020-02-07 | 重庆紫光华山智安科技有限公司 | 人脸特征点的生成方法、数据网络的训练方法及相关装置 |
| CN111105013A (zh) * | 2019-11-05 | 2020-05-05 | 中国科学院深圳先进技术研究院 | 对抗网络架构的优化方法、图像描述生成方法和系统 |
| CN111652121A (zh) * | 2020-06-01 | 2020-09-11 | 腾讯科技（深圳）有限公司 | 一种表情迁移模型的训练方法、表情迁移的方法及装置 |
| CN112634392A (zh) * | 2020-12-30 | 2021-04-09 | 天津中科智能识别产业技术研究院有限公司 | 一种基于几何先验对抗生成网络的人脸表情合成方法 |
| CN113486842A (zh) * | 2021-07-23 | 2021-10-08 | 北京达佳互联信息技术有限公司 | 表情编辑模型的训练方法和装置及表情编辑方法和装置 |
| CN114724214A (zh) * | 2022-03-31 | 2022-07-08 | 华南理工大学 | 一种基于面部动作单元的微表情编辑方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090088675A (ko) * | 2008-02-15 | 2009-08-20 | 한양대학교 산학협력단 | 비선형 회귀 분석을 이용한 얼굴 표정 합성 시스템 및 방법 |
| CN105354798A (zh) * | 2015-08-25 | 2016-02-24 | 西安电子科技大学 | 基于几何先验和分布相似性测度的sar图像去噪方法 |
| CN107220600A (zh) * | 2017-05-17 | 2017-09-29 | 清华大学深圳研究生院 | 一种基于深度学习的图片生成方法及生成对抗网络 |
| CN107423707A (zh) * | 2017-07-25 | 2017-12-01 | 深圳帕罗人工智能科技有限公司 | 一种基于复杂环境下的人脸情绪识别方法 |
-
2017
- 2017-12-25 CN CN201711421598.1A patent/CN108230239A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090088675A (ko) * | 2008-02-15 | 2009-08-20 | 한양대학교 산학협력단 | 비선형 회귀 분석을 이용한 얼굴 표정 합성 시스템 및 방법 |
| CN105354798A (zh) * | 2015-08-25 | 2016-02-24 | 西安电子科技大学 | 基于几何先验和分布相似性测度的sar图像去噪方法 |
| CN107220600A (zh) * | 2017-05-17 | 2017-09-29 | 清华大学深圳研究生院 | 一种基于深度学习的图片生成方法及生成对抗网络 |
| CN107423707A (zh) * | 2017-07-25 | 2017-12-01 | 深圳帕罗人工智能科技有限公司 | 一种基于复杂环境下的人脸情绪识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| LING XIAO SONG: "Geometry Guided Adversarial Facial Expression Synthesis", 《HTTPS://ARXIV.ORG/PDF/1712.03474.PDF》 * |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109472764A (zh) * | 2018-11-29 | 2019-03-15 | 广州市百果园信息技术有限公司 | 图像合成和图像合成模型训练的方法、装置、设备和介质 |
| CN109829959A (zh) * | 2018-12-25 | 2019-05-31 | 中国科学院自动化研究所 | 基于人脸解析的表情编辑方法及装置 |
| CN109902615A (zh) * | 2019-02-25 | 2019-06-18 | 中国计量大学 | 一种基于对抗网络的多个年龄段图像生成方法 |
| CN109902615B (zh) * | 2019-02-25 | 2020-09-29 | 中国计量大学 | 一种基于对抗网络的多个年龄段图像生成方法 |
| CN110070129A (zh) * | 2019-04-23 | 2019-07-30 | 上海联影智能医疗科技有限公司 | 一种图像检测方法、装置及存储介质 |
| CN110276252A (zh) * | 2019-05-15 | 2019-09-24 | 北京大学 | 一种基于生成式对抗网络的抗表情干扰的人脸识别方法 |
| CN110427864A (zh) * | 2019-07-29 | 2019-11-08 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置及电子设备 |
| CN110765976A (zh) * | 2019-11-01 | 2020-02-07 | 重庆紫光华山智安科技有限公司 | 人脸特征点的生成方法、数据网络的训练方法及相关装置 |
| CN111105013B (zh) * | 2019-11-05 | 2023-08-11 | 中国科学院深圳先进技术研究院 | 对抗网络架构的优化方法、图像描述生成方法和系统 |
| CN111105013A (zh) * | 2019-11-05 | 2020-05-05 | 中国科学院深圳先进技术研究院 | 对抗网络架构的优化方法、图像描述生成方法和系统 |
| CN111652121A (zh) * | 2020-06-01 | 2020-09-11 | 腾讯科技（深圳）有限公司 | 一种表情迁移模型的训练方法、表情迁移的方法及装置 |
| WO2021244217A1 (zh) * | 2020-06-01 | 2021-12-09 | 腾讯科技（深圳）有限公司 | 一种表情迁移模型的训练方法、表情迁移的方法及装置 |
| CN111652121B (zh) * | 2020-06-01 | 2023-11-03 | 腾讯科技（深圳）有限公司 | 一种表情迁移模型的训练方法、表情迁移的方法及装置 |
| JP7482242B2 (ja) | 2020-06-01 | 2024-05-13 | テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド | 表情トランスファーモデルの訓練方法、表情トランスファー方法及び装置並びにコンピュータ装置及びプログラム |
| CN112634392A (zh) * | 2020-12-30 | 2021-04-09 | 天津中科智能识别产业技术研究院有限公司 | 一种基于几何先验对抗生成网络的人脸表情合成方法 |
| CN113486842A (zh) * | 2021-07-23 | 2021-10-08 | 北京达佳互联信息技术有限公司 | 表情编辑模型的训练方法和装置及表情编辑方法和装置 |
| CN114724214A (zh) * | 2022-03-31 | 2022-07-08 | 华南理工大学 | 一种基于面部动作单元的微表情编辑方法及系统 |
| CN114724214B (zh) * | 2022-03-31 | 2024-05-14 | 华南理工大学 | 一种基于面部动作单元的微表情编辑方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108230239A (zh) | 人脸表情图像合成装置 | |
| Geng et al. | 3d guided fine-grained face manipulation | |
| CN110490881A (zh) | 医学影像分割方法、装置、计算机设备及可读存储介质 | |
| CN108288072A (zh) | 一种基于生成对抗网络的面部表情合成方法 | |
| CN108334816A (zh) | 基于轮廓对称约束生成式对抗网络的多姿态人脸识别方法 | |
| CN110070483A (zh) | 一种基于生成式对抗网络的人像卡通化方法 | |
| CN108921782A (zh) | 一种图像处理方法、装置及存储介质 | |
| JP7246811B2 (ja) | 顔画像生成用のデータ処理方法、データ処理機器、コンピュータプログラム、及びコンピュータ機器 | |
| CN110070124A (zh) | 一种基于生成式对抗网络的图像扩增方法及系统 | |
| US9877791B2 (en) | System and method for virtual treatments based on aesthetic procedures | |
| KR102014660B1 (ko) | 개선된 나이 모델링 방법 | |
| CN108229348A (zh) | 遮挡人脸图像的识别装置 | |
| CN108229349A (zh) | 网纹人脸图像识别装置 | |
| CN111127309B (zh) | 肖像风格迁移模型训练方法、肖像风格迁移方法以及装置 | |
| CN109859107A (zh) | 遥感图像超分辨率方法、装置、设备及可读存储介质 | |
| CN109325951A (zh) | 一种基于生成对抗网络的转化和分割医学卷的方法 | |
| CN109191366A (zh) | 基于人体姿态的多视角人体图像合成方法及装置 | |
| CN110288513A (zh) | 用于改变人脸属性的方法、装置、设备和存储介质 | |
| CN109785399A (zh) | 合成病变图像的生成方法、装置、设备及可读存储介质 | |
| JP2008140385A (ja) | キャラクタアニメーション時の皮膚のしわのリアルタイム表現方法及び装置 | |
| CN109064548A (zh) | 视频生成方法、装置、设备及存储介质 | |
| CN110619598B (zh) | 一种图像处理方法、装置及系统 | |
| KR102247481B1 (ko) | 나이 변환된 얼굴을 갖는 직업영상 생성 장치 및 방법 | |
| CN110019662A (zh) | 一种标签重建方法及装置 | |
| Xia et al. | Semantic translation of face image with limited pixels for simulated prosthetic vision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180629 |