CN110188667B - 一种基于三方对抗生成网络的人脸摆正方法 - Google Patents

一种基于三方对抗生成网络的人脸摆正方法 Download PDF

Info

Publication number
CN110188667B
CN110188667B CN201910453170.8A CN201910453170A CN110188667B CN 110188667 B CN110188667 B CN 110188667B CN 201910453170 A CN201910453170 A CN 201910453170A CN 110188667 B CN110188667 B CN 110188667B
Authority
CN
China
Prior art keywords
face
image
size
real
generator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910453170.8A
Other languages
English (en)
Other versions
CN110188667A (zh
Inventor
姜育刚
程君同
李旻骏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN201910453170.8A priority Critical patent/CN110188667B/zh
Publication of CN110188667A publication Critical patent/CN110188667A/zh
Application granted granted Critical
Publication of CN110188667B publication Critical patent/CN110188667B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于计算机图像生成技术领域，具体为一种基于三方对抗生成网络的人脸摆正方法。本发明引入两个生成器：轮廓生成器
Figure DEST_PATH_IMAGE002
和面部特征生成器
Figure DEST_PATH_IMAGE004
，分别用于进行两者摆正的训练，使得生成正面人脸更好保留原面部特征并且轮廓清晰；引入判别器D，与两个生成器进行对抗，使得生成的图片逼真；此外，引进了循环一致损失，提高面部特征（身份特征和表情特征）保留的精确度。本发明方法能将大角度侧脸进行摆正并还原面部特征信息。

Description

一种基于三方对抗生成网络的人脸摆正方法
技术领域
本发明属于计算机图像生成技术领域，具体涉及一种基于三方对抗生成网络的人脸摆正方法。
背景技术
人脸摆正一直是一个重要的领域。近年来，随着生成对抗网络的迅速发展以及人脸数据集的不断丰富，人脸摆正技术得到了广泛关注和研究，并取得了重大的突破。然而，人脸摆正的过程中，仍存在许多挑战，例如生成正脸图要保留原侧脸的面部特征(身份特征和表情特征)。
本发明的主要针对人脸摆正并充分保留面部特征的任务。传统的基于深度学习框架的人脸摆正模型主要存在以下挑战：首先，当侧脸的角度超过45度时候，随着侧脸角度的增大(45度-90度)，侧脸包含的面部信息也会减小，侧脸和正面图片差异也会增大，从侧脸图生成正面图片是高度非线性的过程，在此学习过程中需要大量的包含侧脸和正脸的数据训练模型；其次，在生成逼真的正面人脸图的基础上，生成的正脸图应该能够保留原侧脸图的面部特征信息。为此，我们将面部特征分为两点：身份特征和表情特征，身份特征的保留要求生成的正脸图的五官，肤色，发色，年龄，性别等信息应与原侧脸图等相应信息相同，表情特征的保留要求生成的正脸图的情绪应与原侧脸图的相符。
近年来，也有相关研究工作尝试解决此类问题。
文[1]提出了一种分离表示学习生成对抗网络的方法进行人脸摆正，利用由编码器和解码器组成的生成器学习侧脸生成正脸的过程，并加入姿势代码做输入条件辅助训练过程。其生成的正面人脸图可以一定程度上保留原侧脸的身份特征，但却不能良好保留其表情特征。
文[2]提出了两种路线生成器组成的生成对抗网络，其中一条路线负责从侧脸生成脸部正面轮廓，另一条路线负责从侧脸中提取五官并将他们摆正，最终将摆正的轮廓和五官进行融合得到生成的正脸图。该方法需要大量的人脸数据集做训练。
文[3]提出了利用3DMM技术进行辅助人脸姿势和表情变化的人脸摆正技术，并且能够取得出色的结果，通过3DMM来制定姿势的旋转和表情的变换，能够精准的还原侧脸的面部特征，但是该方法引入3DMM技术增加了训练时间和成本。
通常情况下，人脑在进行人脸摆正时，会大致分为两个步骤：首先将侧面人脸的轮廓进行摆正，然后根据观察到的侧面信息将人脸的五官等面部细节进行填补。本发明受到人脑进行人脸摆正的过程的启发，设计了两个生成器与判别器共同对抗(三方合作)的生成对抗网络。并且通过引入循环一致损失，保证摆正人脸能够保留原侧脸的身份特征和表情特征。本发明提出的网络结构可以在小数据集上通过训练得到良好结果，提高了实用性，节约了成本，并且可以大幅提升保留人脸面部特征的能力。本发明不需要通过3DMM技术的辅助，即可实现人脸摆正，并保证正脸的面部特征(身份特征和表情特征)与原侧脸一致。
发明内容
本发明的目的在于提出一种精度高、效果好、成本低的基于三方对抗生成网络的人脸摆正方法。
在进行人脸摆正的过程中，通过模拟人脑进行人脸摆正的过程可以发现，该过程被分为两部分：轮廓的摆正和面部特征的摆正。两者的生成都是高度非线性过程，但也存在不同侧重点，所以本发明引入两个生成器：轮廓生成器和面部特征生成器，分别进行两者摆正的训练，使得生成正面人脸更好保留原面部特征并且轮廓清晰；同时引入判别器D，与两个生成器进行对抗，使得生成的图片逼真。人脸的五官等关键区域蕴含着年龄、身份和表情等信息，本发明能够对相关信息进行最大程度上的保留。
本发明提出的基于三方对抗生成网络的人脸摆正方法，具体步骤如下：
(1)对数据集中的图片进行预处理。将所有图片按朝向方向和角度的不同来分类，例如，将所有角度为向左45度的人脸图片汇总到一起，所有向右45度的人脸图片汇总到一起；将所有角度为向左50度的人脸图片汇总到一起，所有向右50度的人脸图片汇总到一起，以此类推。然后对图片进行按中心裁剪、对齐以及重设大小的预处理，最终得到人脸在中心的分辨率为128×128×3的图片；从图片中随机选取90％用于训练，剩余10％用于测试；最终得到人脸在中心的分辨率为128×128×3的图片；
(2)由轮廓生成器Gc将输入的侧脸图x的轮廓进行摆正，生成正面轮廓图xc；
(3)将正面轮廓图xc和真实的正面人脸图片xr随机送入到判别器D中，判别器D判断图像是真实的还是生成的；
(4)通过对抗损失
Figure BDA0002075781210000031
和轮廓特征保留损失
Figure BDA0002075781210000032
来优化网络，不断训练和微调网络；
其中，优化网络所使用的对抗损失函数为下面式(1)所示，轮廓特征保留损失函数为式(3)所示；
(5)不断迭代重复流程步骤2-4，直至判别器D不能判断出轮廓生成器Gc生成的轮廓图xc是真实的还是生成的；
(6)将生成的轮廓图xc和原图x一同输入到面部特征生成器Gf中，面部特征生成器Gf将原图x中的面部五官等特征进行摆正，并且通过张量拟合，将生成的面部特征与轮廓图xc进行拟合，得到最终的摆正人脸图xf；
(7)将摆正人脸图xf和真实的正面人脸图片xr随机送入到判别器D中，D判断图像是真实的还是生成的；
(8)通过对抗损失
Figure BDA0002075781210000033
和循环一致损失
Figure BDA0002075781210000034
来优化网络，不断训练和微调网络；
其中，优化网络所使用的对抗损失函数为式(2)所示，循环一致损失函数为式(4)所示；
(9)不断迭代重复步骤6-8，直至判别器D不能判断出面部特征生成器Gf生成的图片xf是真实的还是生成的；
(10)将测试集中的侧脸图片数据依次输入到训练好的轮廓生成器Gc和面部特征生成器Gf中，生成正面人脸图片，实现人脸摆正。
本发明中，所述轮廓生成器Gc由编码器和解码器组成，其中编码器由14个卷积层组成，每个卷积层的滤波器大小均为3×3，输入图片张量大小为128×128×3，输出张量大小为8×8×320，解码器由14个反卷积层组成，每个反卷积层的滤波器大小也均为3×3，输入张量大小为8×8×320，输出图片张量大小为128×128×3；所述面部特征生成器Gf由编码器、残差层和解码器组成，其中编码器由3个卷积层组成，每个卷积层对应的滤波器大小分别为7×7、4×4和4×4，输入图片张量大小为128×128×3，输出张量大小为32×32×256，残差层由6个卷积层组成，每个卷积层的滤波器大小均为3×3，输入张量和输出张量均为32×32×256，解码器由3个反卷积层组成，每个反卷积层的滤波器大小与解码器相对应，输入张量为32×32×256，输出图片张量为128×128×3；所述判别器由3组卷积组成，每组包含3个卷积层，每组三个滤波器大小分别为4×4、3×3和3×3。
本发明中，选取四个损失函数来优化网络，分别是：
轮廓生成器Gc和判别器D对抗函数：
Figure BDA0002075781210000041
其中，D中随机送入真实图片xr和生成轮廓图Gc(x)，D进行判断是否为真实的，真实为1，否则为0，D的目标是增大
Figure BDA0002075781210000042
而Gc的目标是减小
Figure BDA0002075781210000043
面部特征生成器Gf和判别器D对抗函数：
Figure BDA0002075781210000044
其中，D中随机送入真实图片xr和生成正脸图Gf(xc,x)，D进行判断是否为真实的，真实为1，否则为0，D的目标是增大
Figure BDA0002075781210000045
而Gf的目标是减小
Figure BDA0002075781210000046
轮廓特征保留函数：
Figure BDA0002075781210000047
其中，
Figure BDA0002075781210000048
采用L1正则化，Gc目标为减小
Figure BDA0002075781210000049
面部特征保留循环一致函数：
Figure BDA00020757812100000410
其中，利用生成正脸图xf做输入，生成原侧脸图Gf(xf,Gc(xf))，并与原侧脸图x进行L1正则化计算，Gf目标为减小
Figure BDA00020757812100000411
对于判别器D，优化函数整体为：
Figure BDA00020757812100000412
对于生成器Gc和Gf，优化函数整体为：
Figure BDA00020757812100000413
本发明的创新之处在于：
1、不同于传统的双方对抗生成网络，采用新型的三方对抗的生成网络，对于人脸摆正的不同步骤进行分步实现。两个生成器分别负责轮廓的生成和面部特征的生成，并且通过与判别器的对抗，使生成效果更加逼真；
2、通过引入循环一致损失，提升了面部的身份特征和表情特征的保留能力。摆正后的人脸的表情等信息与真实的正脸相比，精度得到了提升。
附图说明
图1为本发明的人脸摆正系统图。
图2为本发明引入的循环一致损失的工作原理图。
图3为本发明设计的三方对抗生成网络结构示意图。
图4为本发明的结果展示图。
图5为本发明方法流程图示。
具体实施方式
下面结合附图和实施例，进一步介绍本发明。
图1展示了人脸摆正的系统图。主要包括两个生成器和一个判别器。
图2展示了循环一致损失的工作原理图。循环一致包含生成过程和重建过程。负责生成面部特征的生成器Gf生成的最终正脸图xf作为输入，依次输入到Gc和Gf中，生成重建的图片xrec，完成重建过程。
图3展示了三方对抗生成网络结构示意图。两个生成器都是由编码器和解码器组成，共同负责将输入的侧面人脸图进行摆正。每一个生成器生成的图片和真实正脸图片都将被随机送入到判别器中，通过判别器的判断训练生成器和判别器。判别器和生成器的对抗保证生成的图片是具有真实感的。
图4展示了使用本发明进行人脸摆正的结果展示。本发明不仅能够摆正侧面人脸，同时也可以保留身份特征和面部表情特征。
具体步骤为
步骤1.对数据集中的图片进行按中心裁剪、对齐以及重设大小的预处理，最终得到人脸在中心的分辨率为128×128×3的图片。将所有图片按人脸方向和角度分类到不同的文件夹中，以45度向左人脸图片摆正为例，所有45度向左人脸图为一个文件夹，所有正面人脸图为一个文件夹。将90％的图片用于训练，剩余10％用于测试。
步骤2.构建网络结构。轮廓生成器Gc由编码器和解码器组成，面部特征生成器Gf由编码器、残差层和解码器组成。判别器由3组卷积组成，每组包含3个卷积层。
步骤3.构建损失函数。我们选取了四个损失函数来优化网络，分别是轮廓生成器Gc和判别器D对抗函数：
Figure BDA0002075781210000061
面部特征生成器Gf和判别器D对抗函数：
Figure BDA0002075781210000062
轮廓特征保留函数：
Figure BDA0002075781210000063
面部特征保留循环一致函数：
Figure BDA0002075781210000064
对于判别器D，优化函数整体为：
Figure BDA0002075781210000065
对于生成器Gc和Gf，优化函数整体为：
Figure BDA0002075781210000066
步骤4.训练神经网络模型。向左45度人脸图片输入到轮廓生成器Gc中，生成图片和真实正面人脸图随机送入到判别器D中，D通过判断图片是否是真实的，并利用结果训练轮廓生成器Gc。生成器Gc和判别器D的学习率设置为0.0002，并采用Adam优化方法对网络进行训练。经过总轮数为1000轮的训练后，将生成的轮廓图和原侧脸图输入到生成器Gf中，生成器Gf摆正的面部细节和轮廓进行张量融合，并和真实正面人脸图随机送入到判别器D中，D通过判断图片是否是真实的，并利用结果训练轮廓生成器Gf。生成器Gf的学习率初始设置为0.0001，训练100轮后，在接下来的100轮内线性衰减至0，生成器Gf训练的总轮数为100000。最终生成真实的正面人脸照片。
参考文献
[1]Luan Tran,Xi Yin,and Xiaoming Liu.2017.Disentangled representationlearning gan for pose-invariant face recognition.In Proceedings of the IEEEConference on Computer Vision and Pattern Recognition.1415–1424.
[2]Rui Huang,Shu Zhang,Tianyu Li,and Ran He.2017.Beyond facerotation:Global and local perception gan for photorealistic and identitypreserving frontal view synthesis.In Proceedings of the IEEE InternationalConference on Computer Vision.2439–2448.
[3]Yujun Shen,Ping Luo,Junjie Yan,Xiaogang Wang,and XiaoouTang.2018.FaceIDGAN:Learning a symmetry three-player GAN for identity-preserving face synthesis.In Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition.821–830.。

Claims (3)

1.一种基于三方对抗生成网络的人脸摆正方法，其特征在于，引入两个生成器：轮廓生成器Gc和面部特征生成器Gf，分别用于进行两者摆正的训练，使得生成正面人脸更好保留原面部特征并且轮廓清晰；同时引入判别器D，与两个生成器进行对抗，使得生成的图片逼真；具体步骤如下：
(1)对数据集中的图片进行预处理；将所有图片按朝向方向和角度的不同来分类，然后对图片进行按中心裁剪、对齐以及重设大小的预处理，最终得到人脸在中心的分辨率为128×128×3的图片；从图片中随机选取90％用于训练，剩余10％用于测试；
(2)由轮廓生成器Gc将输入的侧脸图x的轮廓进行摆正，生成正面轮廓图xc；
(3)将正面轮廓图xc和真实的正面人脸图片xr随机送入到判别器D中，判别器D判断图像是真实的还是生成的；
(4)通过对抗损失
Figure FDA0002634727330000011
和轮廓特征保留损失
Figure FDA0002634727330000012
来优化网络，不断训练和微调网络；
(5)不断迭代重复流程步骤2-4，直至判别器D不能判断出轮廓生成器Gc生成的轮廓图xc是真实的还是生成的；
(6)将生成的轮廓图xc和原图x一同输入到面部特征生成器Gf中，面部特征生成器Gf将原图x中的面部五官等特征进行摆正，并且通过张量拟合，将生成的面部特征与轮廓图xc进行拟合，得到最终的摆正人脸图xf；
(7)将摆正人脸图xf和真实的正面人脸图片xr随机送入到判别器D中，D判断图像是真实的还是生成的；
(8)通过对抗损失
Figure FDA0002634727330000013
和循环一致损失
Figure FDA0002634727330000014
来优化网络，不断训练和微调网络；
(9)不断迭代重复步骤6-8，直至判别器D不能判断出面部特征生成器Gf生成的图片xf是真实的还是生成的；
(10)将测试集中的侧脸图片数据依次输入到训练好的轮廓生成器Gc和面部特征生成器Gf中，生成正面人脸图片，实现人脸摆正；
步骤(4)中所述通过对抗损失
Figure FDA0002634727330000021
和轮廓特征保留损失
Figure FDA0002634727330000022
来优化网络，使用的损失函数为：
Figure FDA0002634727330000023
Figure FDA0002634727330000024
式(1)中，D中随机送入真实图片xr和生成轮廓图Gc(x)，D进行判断是否为真实的，真实为1，否则为0，D的目标是增大
Figure FDA0002634727330000025
而Gc的目标是减小
Figure FDA0002634727330000026
式(3)中，
Figure FDA0002634727330000027
采用L1正则化，Gc目标为减小
Figure FDA0002634727330000028
步骤(8)中所述通过对抗损失
Figure FDA0002634727330000029
和循环一致损失
Figure FDA00026347273300000210
来优化网络，使用的损失函数为：
Figure FDA00026347273300000211
Figure FDA00026347273300000212
式(2)中，D中随机送入真实图片xr和生成正脸图Gf(xc，x)，D进行判断是否为真实的，真实为1，否则为0，D的目标是增大
Figure FDA00026347273300000213
而Gf的目标是减小
Figure FDA00026347273300000216
式(4)中，利用生成正脸图xf做输入，生成原侧脸图Gf(xf，Gc(xf))，并与原侧脸图x进行L1正则化计算，Gf目标为减小
Figure FDA00026347273300000215
2.根据权利要求1所述的基于三方对抗生成网络的人脸摆正方法，其特征在于，所述轮廓生成器Gc由编码器和解码器组成；所述面部特征生成器Gf由编码器、残差层和解码器组成；所述判别器由3组卷积组成，每组包含3个卷积层。
3.根据权利要求2所述的基于三方对抗生成网络的人脸摆正方法，其特征在于：
所述轮廓生成器Gc由编码器和解码器组成，其中，编码器由14个卷积层组成，每个卷积层的滤波器大小均为3×3，输入图片张量大小为128×128×3，输出张量大小为8×8×320，解码器由14个反卷积层组成，每个反卷积层的滤波器大小也均为3×3，输入张量大小为8×8×320，输出图片张量大小为128×128×3；
所述面部特征生成器Gf由编码器、残差层和解码器组成，其中，编码器由3个卷积层组成，每个卷积层对应的滤波器大小分别为7×7、4×4和4×4，输入图片张量大小为128×128×3，输出张量大小为32×32×256，残差层由6个卷积层组成，每个卷积层的滤波器大小均为3×3，输入张量和输出张量均为32×32×256，解码器由3个反卷积层组成，每个反卷积层的滤波器大小与解码器相对应，输入张量为32×32×256，输出图片张量为128×128×3；
所述判别器由3组卷积组成，每组包含3个卷积层，每组三个滤波器大小分别为4×4、3×3和3×3。
CN201910453170.8A 2019-05-28 2019-05-28 一种基于三方对抗生成网络的人脸摆正方法 Expired - Fee Related CN110188667B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910453170.8A CN110188667B (zh) 2019-05-28 2019-05-28 一种基于三方对抗生成网络的人脸摆正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910453170.8A CN110188667B (zh) 2019-05-28 2019-05-28 一种基于三方对抗生成网络的人脸摆正方法

Publications (2)

Publication Number Publication Date
CN110188667A CN110188667A (zh) 2019-08-30
CN110188667B true CN110188667B (zh) 2020-10-30

Family

ID=67718322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910453170.8A Expired - Fee Related CN110188667B (zh) 2019-05-28 2019-05-28 一种基于三方对抗生成网络的人脸摆正方法

Country Status (1)

Country Link
CN (1) CN110188667B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110796029B (zh) * 2019-10-11 2022-11-11 北京达佳互联信息技术有限公司 人脸校正及模型训练方法、装置、电子设备及存储介质
CN112102928B (zh) * 2020-09-02 2022-11-01 上海壁仞智能科技有限公司 病理图像染色风格归一化方法及装置
CN113033288B (zh) * 2021-01-29 2022-06-24 浙江大学 一种基于生成对抗网络的侧脸图片生成正脸图片的方法
CN113361489B (zh) * 2021-07-09 2022-09-16 重庆理工大学 基于解耦表示的人脸正面化模型构建方法和训练方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107239766A (zh) * 2017-06-08 2017-10-10 深圳市唯特视科技有限公司 一种利用对抗网络和三维形态模型的大幅度人脸摆正方法
CN108319932A (zh) * 2018-03-12 2018-07-24 中山大学 一种基于生成式对抗网络的多图像人脸对齐的方法及装置
CN108537743A (zh) * 2018-03-13 2018-09-14 杭州电子科技大学 一种基于生成对抗网络的面部图像增强方法
CN108776983A (zh) * 2018-05-31 2018-11-09 北京市商汤科技开发有限公司 基于重建网络的人脸重建方法和装置、设备、介质、产品
CN109598671A (zh) * 2018-11-29 2019-04-09 北京市商汤科技开发有限公司 图像生成方法、装置、设备及介质
CN109635745A (zh) * 2018-12-13 2019-04-16 广东工业大学 一种基于生成对抗网络模型生成多角度人脸图像的方法
CN109636742A (zh) * 2018-11-23 2019-04-16 中国人民解放军空军研究院航空兵研究所 基于对抗生成网络的sar图像和可见光图像的模式转换方法
US10275473B2 (en) * 2017-04-27 2019-04-30 Sk Telecom Co., Ltd. Method for learning cross-domain relations based on generative adversarial networks
CN109711283A (zh) * 2018-12-10 2019-05-03 广东工业大学 一种联合双字典和误差矩阵的遮挡表情识别算法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10504004B2 (en) * 2016-09-16 2019-12-10 General Dynamics Mission Systems, Inc. Systems and methods for deep model translation generation
US10595039B2 (en) * 2017-03-31 2020-03-17 Nvidia Corporation System and method for content and motion controlled action video generation

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10275473B2 (en) * 2017-04-27 2019-04-30 Sk Telecom Co., Ltd. Method for learning cross-domain relations based on generative adversarial networks
CN107239766A (zh) * 2017-06-08 2017-10-10 深圳市唯特视科技有限公司 一种利用对抗网络和三维形态模型的大幅度人脸摆正方法
CN108319932A (zh) * 2018-03-12 2018-07-24 中山大学 一种基于生成式对抗网络的多图像人脸对齐的方法及装置
CN108537743A (zh) * 2018-03-13 2018-09-14 杭州电子科技大学 一种基于生成对抗网络的面部图像增强方法
CN108776983A (zh) * 2018-05-31 2018-11-09 北京市商汤科技开发有限公司 基于重建网络的人脸重建方法和装置、设备、介质、产品
CN109636742A (zh) * 2018-11-23 2019-04-16 中国人民解放军空军研究院航空兵研究所 基于对抗生成网络的sar图像和可见光图像的模式转换方法
CN109598671A (zh) * 2018-11-29 2019-04-09 北京市商汤科技开发有限公司 图像生成方法、装置、设备及介质
CN109711283A (zh) * 2018-12-10 2019-05-03 广东工业大学 一种联合双字典和误差矩阵的遮挡表情识别算法
CN109635745A (zh) * 2018-12-13 2019-04-16 广东工业大学 一种基于生成对抗网络模型生成多角度人脸图像的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Multi-poses Face Frontalization based on Pose Weighted GAN";Jiaxin Ma等;《Information Technology,Networking,Electronic and Automation Control Conference》;20190317;第1271-1276页 *
"协作式生成对抗网络";张龙等;《自动化学报》;20180531;第44卷(第5期);第804-810页 *

Also Published As

Publication number Publication date
CN110188667A (zh) 2019-08-30

Similar Documents

Publication Publication Date Title
CN110188667B (zh) 一种基于三方对抗生成网络的人脸摆正方法
Chen et al. Fsrnet: End-to-end learning face super-resolution with facial priors
Zhou et al. Photorealistic facial expression synthesis by the conditional difference adversarial autoencoder
CN111401216B (zh) 图像处理、模型训练方法、装置、计算机设备和存储介质
CN108596024A (zh) 一种基于人脸结构信息的肖像生成方法
CN111932444A (zh) 基于生成对抗网络的人脸属性编辑方法及信息处理终端
CN112733795B (zh) 人脸图像的视线矫正方法、装置、设备及存储介质
KR102602112B1 (ko) 얼굴 이미지 생성을 위한 데이터 프로세싱 방법 및 디바이스, 및 매체
CN112541864A (zh) 一种基于多尺度生成式对抗网络模型的图像修复方法
CN109741247A (zh) 一种基于神经网络的肖像漫画生成方法
CN113807265B (zh) 一种多样化的人脸图像合成方法及系统
CN113255813B (zh) 一种基于特征融合的多风格图像生成方法
CN111553267A (zh) 图像处理方法、图像处理模型训练方法及设备
Liu et al. Psgan++: Robust detail-preserving makeup transfer and removal
CN112233012A (zh) 一种人脸生成系统及方法
CN113658040A (zh) 一种基于先验信息和注意力融合机制的人脸超分辨方法
CN110930500A (zh) 一种基于单视角视频的动态头发建模方法
CN116704079B (zh) 图像生成方法、装置、设备及存储介质
CN111462274A (zh) 一种基于smpl模型的人体图像合成方法及系统
CN112419455A (zh) 基于人体骨架序列信息的人物动作视频生成方法、系统及存储介质
CN112800869A (zh) 图像人脸表情迁移方法、装置、电子设备及可读存储介质
CN113822114A (zh) 一种图像处理方法、相关设备及计算机可读存储介质
CN115984949B (zh) 一种带有注意力机制的低质量人脸图像识别方法及设备
CN110097615B (zh) 一种联合风格化和去风格化的艺术字编辑方法和系统
CN116342385A (zh) 文本图像超分辨率网络的训练方法、装置以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201030