CN111798546B - 一种基于生成对抗机制的多人表情迁移方法 - Google Patents

一种基于生成对抗机制的多人表情迁移方法 Download PDF

Info

Publication number
CN111798546B
CN111798546B CN202010494513.8A CN202010494513A CN111798546B CN 111798546 B CN111798546 B CN 111798546B CN 202010494513 A CN202010494513 A CN 202010494513A CN 111798546 B CN111798546 B CN 111798546B
Authority
CN
China
Prior art keywords
landmark
migration
expression
reference person
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010494513.8A
Other languages
English (en)
Other versions
CN111798546A (zh
Inventor
刘勇
张江宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202010494513.8A priority Critical patent/CN111798546B/zh
Publication of CN111798546A publication Critical patent/CN111798546A/zh
Application granted granted Critical
Publication of CN111798546B publication Critical patent/CN111798546B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于生成对抗机制的多人表情迁移方法，包括Landmark转换器(ψ)和人脸生成器
Figure DDA0002522329490000011
参考人员静止状态下图像记为
Figure DDA0002522329490000012
对应landmark向量记为
Figure DDA0002522329490000013
待迁移表情图像
Figure DDA0002522329490000014
对应landmark向量为
Figure DDA0002522329490000015
对参考人员静止状态下landmark向量
Figure DDA0002522329490000016
进行特征处理的网络结构
Figure DDA0002522329490000017
对参考人员迁移表情landmark向量
Figure DDA0002522329490000018
进行特征处理的网络结构
Figure DDA0002522329490000019
其中经上述网络结构
Figure DDA00025223294900000110
和网络结构
Figure DDA00025223294900000111
的特征在通道层面进行拼接后送入网络结构
Figure DDA00025223294900000112
本发明方法基于Py‑Torch深度学习框架，先在几何空间对人员表情的landmark进行转换，然后使用对抗生成模型设计思想将转换后的landmark与参考图像结合并生成真实的目标图像。

Description

一种基于生成对抗机制的多人表情迁移方法
技术领域
本发明涉及一种表情迁移方法，具体地，涉及一种基于生成对抗机制的多人表情迁移方法。
背景技术
表情迁移技术在很多场景下都有极大的应用潜力，比如电影制作，动画制作等。随着深度学习的发展及计算机算力的增加，许多基于深度学习的表情迁移方法都取得了不错的效果，能够实现不同人之间的表情迁移且生成逼真的迁移人脸图像。但已有的方法一般只能针对特定人物进行训练，当模型训练完毕后只能对该特定人物进行表情迁移及人脸生成，不能适用于同时针对多人表情迁移的场景，极大地限制了该方法的应用潜力。针对这一问题，亟待一种更普世的多人之间表情迁移方法，其能够在训练完毕后实现不同人(多人)之间的表情迁移，甚至可以在未知的人物上进行表情迁移。
发明内容
本发明针对目前的方法不能很好地使用一个模型实现多人之间表情迁移这一问题，提出了一种基于生成对抗机制的多人表情迁移方法。
为达到上述目的，本发明采取了如下的技术方案：
一种基于生成对抗机制的多人表情迁移方法，包括Landmark转换器(ψ)和人脸生成器
Figure BDA0002522329470000011
所述Landmark转换器(ψ)是由多个全连接层、ReLU激活函数层组成，其中，参考人员静止状态下(面无表情面朝镜头方向)图像记为
Figure BDA0002522329470000012
对应landmark向量记为
Figure BDA0002522329470000013
待迁移表情图像
Figure BDA0002522329470000014
对应landmark向量为
Figure BDA0002522329470000015
对参考人员静止状态下landmark向量
Figure BDA0002522329470000016
进行特征处理的网络结构
Figure BDA0002522329470000017
对参考人员迁移表情landmark向量
Figure BDA0002522329470000018
进行特征处理的网络结构
Figure BDA0002522329470000019
其中经上述网络结构
Figure BDA00025223294700000110
和网络结构
Figure BDA00025223294700000111
的特征在通道层面进行拼接后送入网络结构
Figure BDA00025223294700000112
输入参考人员静止状态下landmark向量
Figure BDA00025223294700000113
待迁移表情landmark向量
Figure BDA00025223294700000114
分别经网络结构
Figure BDA00025223294700000115
网络结构
Figure BDA00025223294700000116
提取图像特征后由网络结构
Figure BDA00025223294700000117
进一步进行特征融合，这样经过网络结构
Figure BDA00025223294700000118
和
Figure BDA00025223294700000119
后得到偏置landmark向量(lshift)，其值代表每个landmark向量相对于参考人员静止状态landmark向量
Figure BDA0002522329470000021
的偏移量，最后偏置landmark向量(lshift)通过和参考人员静止状态landmark向量
Figure BDA0002522329470000022
相加输出参考人员表情迁移后的landmark向量
Figure BDA0002522329470000023
从而完成在landmark向量几何空间上的表情迁移；
Landmark转换器(ψ)生成的参考人员表情迁移后的landmark向量
Figure BDA0002522329470000024
在送入人脸生成器
Figure BDA0002522329470000025
前需转换为参考人员表情迁移后的landmark图像
Figure BDA0002522329470000026
其方式为以参考人员表情迁移后的landmark向量
Figure BDA0002522329470000027
包含的每一个landmark坐标点为中心，在128*128大小的图像上画半径为2的实心圆；
所述人脸生成器
Figure BDA0002522329470000028
是由多个卷积层、反卷积层、批归一化层和ReLU激活函数层组成，输入参考人员图像
Figure BDA0002522329470000029
参考人员表情迁移后的landmark向量
Figure BDA00025223294700000210
分别经网络结构
Figure BDA00025223294700000211
网络结构
Figure BDA00025223294700000212
提取图像特征后由网络结构
Figure BDA00025223294700000213
进一步进行特征融合，最后经网络结构
Figure BDA00025223294700000214
解码得到参考人员表情迁移后的图像
Figure BDA00025223294700000215
在进行前向推理时，输入参考人员静止状态landmark向量
Figure BDA00025223294700000216
和迁移表情landmark 向量
Figure BDA00025223294700000217
先通过Landmark转换器(ψ)生成参考人员表情迁移后的landmark向量
Figure BDA00025223294700000218
并将之转化为landmark图像形式
Figure BDA00025223294700000219
然后和参考人员图像
Figure BDA00025223294700000220
一起送入人脸生成器
Figure BDA00025223294700000221
生成参考人员表情迁移后的图像
Figure BDA00025223294700000222
使用不同的迁移表情landmark向量
Figure BDA00025223294700000223
和不同的参考人员图像
Figure BDA00025223294700000224
作为输入，生成不同的参考人员表情迁移后的图像
Figure BDA00025223294700000225
这样使用一个模型即可实现了多人表情迁移。
作为优选地，所述Landmark转换器(ψ)在训练时，除了采用L1损失函数，还额外使用对抗思路设计了landmark真假鉴别器(DTF)和身份鉴别器(DS)去进一步增强网络回归landmark的准确性。
作为优选地，所述Landmark转换器(ψ)包含
Figure BDA00025223294700000226
和
Figure BDA00025223294700000227
由6层全连接和激活函数组成，
Figure BDA00025223294700000228
由5层全连接和激活函数组成，
Figure BDA00025223294700000229
由5层全连接和激活函数组成。
作为优选地，所述landmark真假鉴别器(DTF)由6层全连接和激活函数组成，身份鉴别器(DS)由6层全连接和激活函数组成。
作为优选地，人脸生成器
Figure BDA00025223294700000230
在训练时，采用L1损失函数进行像素级别的约束，同时采用了对抗思想的图像鉴别器(Dimg)以进一步增加生成图像的真实性。
作为优选地，网络结构
Figure BDA00025223294700000231
由3层卷积层组成，网络结构
Figure BDA00025223294700000232
由6层卷积层组成，网络结构
Figure BDA00025223294700000233
由18层卷积层组成，网络结构φ4由2层反卷积层和1层卷积层组成。
作为优选地，所述图像鉴别器(DTF)由6层卷积层和激活函数组成。
与现有技术相比，本发明具有如下有益效果：
本发明方法基于Py-Torch深度学习框架，先在几何空间对人员表情的landmark进行转换，然后使用对抗生成模型设计思想将转换后的landmark与参考图像结合并生成真实的目标图像。其中landmark定义为面部的106个关键点，如左眼左眼角或右嘴角。这样的设计不仅使得我们可以实现多人之间人脸表情迁移，同时还将人脸的几何特征和纹理特征解耦开来，具有更高的可编辑特性。
附图说明：
图1为本发明整体系统流程示意图；
图2为本发明中Landmark转换器(ψ)的流程示意图；
图3为本发明中人脸生成器
Figure BDA0002522329470000031
的流程示意图；
图4为本发明应用在RaFD数据集上的效果示意图；
图5为本发明应用Multi-PIE数据集上的效果示意图。
具体实施方式：
以下结合说明书附图及具体实施例来对本发明作进一步的描述。
如图1～3所示，本发明提供一种基于生成对抗机制的多人表情迁移方法，包括Landmark转换器(ψ)和人脸生成器
Figure BDA0002522329470000032
所述Landmark转换器(ψ)是由多个全连接层、ReLU激活函数层组成，其中，参考人员静止状态下(面无表情面朝镜头方向)图像记为
Figure BDA0002522329470000033
对应landmark向量记为
Figure BDA0002522329470000034
待迁移表情图像
Figure BDA0002522329470000035
对应landmark向量为
Figure BDA0002522329470000036
对参考人员静止状态下landmark向量
Figure BDA0002522329470000037
进行特征处理的网络结构
Figure BDA0002522329470000038
对参考人员迁移表情 landmark向量
Figure BDA0002522329470000039
进行特征处理的网络结构
Figure BDA00025223294700000310
其中经上述网络结构
Figure BDA00025223294700000311
和网络结构的特征在通道层面进行拼接后送入网络结构
Figure BDA00025223294700000312
输入参考人员静止状态下landmark向量
Figure BDA00025223294700000313
待迁移表情landmark向量
Figure BDA00025223294700000314
分别经网络结构
Figure BDA00025223294700000315
网络结构
Figure BDA00025223294700000316
提取图像特征后由网络结构
Figure BDA00025223294700000317
进一步进行特征融合，这样经过网络结构
Figure BDA00025223294700000318
和
Figure BDA00025223294700000325
后得到偏置landmark向量(lshift)，其值代表每个landmark向量相对于参考人员静止状态landmark向量
Figure BDA00025223294700000319
的偏移量，最后偏置landmark向量(lshift)通过和参考人员静止状态landmark向量
Figure BDA00025223294700000320
相加输出参考人员表情迁移后的landmark向量
Figure BDA00025223294700000321
从而完成在landmark向量几何空间上的表情迁移；
Landmark转换器(ψ)生成的参考人员表情迁移后的landmark向量
Figure BDA00025223294700000322
在送入人脸生成器
Figure BDA00025223294700000323
前需转换为参考人员表情迁移后的landmark图像
Figure BDA00025223294700000324
其方式为以参考人员表情迁移后的landmark向量
Figure BDA0002522329470000041
包含的每一个landmark坐标点为中心，在128*128大小的图像上画半径为2的实心圆；
所述人脸生成器
Figure BDA0002522329470000042
是由多个卷积层、反卷积层、批归一化层和ReLU激活函数层组成，输入参考人员图像
Figure BDA0002522329470000043
参考人员表情迁移后的landmark向量
Figure BDA0002522329470000044
分别经网络结构
Figure BDA0002522329470000045
网络结构
Figure BDA0002522329470000046
提取图像特征后由网络结构
Figure BDA0002522329470000047
进一步进行特征融合，最后经网络结构
Figure BDA0002522329470000048
解码得到参考人员表情迁移后的图像
Figure BDA0002522329470000049
在进行前向推理时，输入参考人员静止状态landmark向量
Figure BDA00025223294700000410
和迁移表情landmark 向量
Figure BDA00025223294700000411
先通过Landmark转换器(ψ)生成参考人员表情迁移后的landmark向量
Figure BDA00025223294700000412
并将之转化为landmark图像形式
Figure BDA00025223294700000413
然后和参考人员图像
Figure BDA00025223294700000414
一起送入人脸生成器
Figure BDA00025223294700000415
生成参考人员表情迁移后的图像
Figure BDA00025223294700000416
使用不同的迁移表情landmark向量
Figure BDA00025223294700000417
和不同的参考人员图像
Figure BDA00025223294700000418
作为输入，生成不同的参考人员表情迁移后的图像
Figure BDA00025223294700000419
这样使用一个模型即可实现了多人表情迁移。
所述Landmark转换器(ψ)在训练时，除了采用L1损失函数，还额外使用对抗思路设计了landmark真假鉴别器(DTF)和身份鉴别器(DS)去进一步增强网络回归landmark的准确性。
所述Landmark转换器(ψ)包含
Figure BDA00025223294700000420
和
Figure BDA00025223294700000421
由6层全连接和激活函数组成，
Figure BDA00025223294700000422
由5层全连接和激活函数组成，
Figure BDA00025223294700000423
由5层全连接和激活函数组成。
所述landmark真假鉴别器(DTF)由6层全连接和激活函数组成，身份鉴别器(DS) 由6层全连接和激活函数组成。
人脸生成器
Figure BDA00025223294700000424
在训练时，采用L1损失函数进行像素级别的约束，同时采用了对抗思想的图像鉴别器(Dimg)以进一步增加生成图像的真实性。
网络结构
Figure BDA00025223294700000425
由3层卷积层组成，网络结构
Figure BDA00025223294700000426
由6层卷积层组成，网络结构
Figure BDA00025223294700000427
由18 层卷积层组成，网络结构φ4由2层反卷积层和1层卷积层组成。
所述图像鉴别器(DTF)由6层卷积层和激活函数组成。
所述Landmark转换器(ψ)在训练时需要大于60个id的同步(具有相同的表情)landmark数据，且每个id的landmark数据不少于24个。
所述人脸生成器
Figure BDA00025223294700000428
在训练时需要大于60个id的同步(具有相同的表情)图像数据，且每个id的图像数据不少于24张。
本发明一种基于生成对抗机制的多人表情迁移方法能够生成高真实度的表情迁移图像，由于人脸生成器
Figure BDA0002522329470000051
采用全卷机网络结构，故其输出分辨率不受限制。考虑到算力代价及应用效果，该方法通常生成512*512分辨率的图像。
本发明方法不同于其他的方法，在表情迁移人脸图像生成过程中将人脸的几何信息和纹理信息进行了解耦，具有更灵活的应用价值，比如可以通过对landmark中的嘴巴开合程度操作，从而控制生成图像中人脸的嘴巴开合程度。
本发明方法不同于已有的单人表情迁移方法，其仅适用一个模型即可实现多人之间的表情迁移，大大降低了网络训练的算力成本以及应用的存储成本。
所述的参考人员表情迁移后的landmark向量
Figure BDA0002522329470000052
定义为长度为212的向量，由face++人脸属性检测模型得到。
其中，landmark向量
Figure BDA0002522329470000053
lshift和
Figure BDA0002522329470000054
为长度212的向量，landmark图像
Figure BDA0002522329470000055
和
Figure BDA0002522329470000056
为分辨率512*512的3通道彩色图像，landmark图像
Figure BDA0002522329470000057
为分辨率128*128的单通道图像。
如图4所示，在RaFD数据集上的效果，第一列为参考人员图像，第一行为不同的待迁移表情人员图像，其余为生成的表情迁移后的参考人员图像。
如图5所示，在Multi-PIE数据集上的效果，第一行为参考人员图像，第一列为不同的待迁移表情人员图像，其余为生成的表情迁移后的参考人员图像。
本实施例中其余未记载的内容可以参考前文人脸表情的迁移方法的相关描述，在此不作赘述。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (7)

1.一种基于生成对抗机制的多人表情迁移方法，其特征在于，包括Landmark转换器(ψ)和人脸生成器
Figure FDA0002522329460000011
所述Landmark转换器(ψ)是由多个全连接层、ReLU激活函数层组成，
输入参考人员静止状态下landmark向量
Figure FDA0002522329460000012
待迁移表情landmark向量
Figure FDA0002522329460000013
分别经网络结构
Figure FDA0002522329460000014
网络结构
Figure FDA0002522329460000015
提取图像特征后由网络结构
Figure FDA0002522329460000016
进一步进行特征融合，这样经过网络结构
Figure FDA0002522329460000017
和
Figure FDA0002522329460000018
后得到偏置landmark向量(lshift)，其值代表每个landmark向量相对于参考人员静止状态landmark向量
Figure FDA0002522329460000019
的偏移量，最后偏置landmark向量(lshift)通过和参考人员静止状态landmark向量
Figure FDA00025223294600000110
相加输出参考人员表情迁移后的landmark向量
Figure FDA00025223294600000111
从而完成在landmark向量几何空间上的表情迁移；
Landmark转换器(ψ)生成的参考人员表情迁移后的landmark向量
Figure FDA00025223294600000112
在送入人脸生成器
Figure FDA00025223294600000113
前需转换为参考人员表情迁移后的landmark图像
Figure FDA00025223294600000114
其方式为以参考人员表情迁移后的landmark向量
Figure FDA00025223294600000115
包含的每一个landmark坐标点为中心，在128*128大小的图像上画半径为2的实心圆；
所述人脸生成器
Figure FDA00025223294600000116
是由多个卷积层、反卷积层、批归一化层和ReLU激活函数层组成，输入参考人员图像
Figure FDA00025223294600000117
参考人员表情迁移后的landmark向量
Figure FDA00025223294600000118
分别经网络结构
Figure FDA00025223294600000119
网络结构
Figure FDA00025223294600000120
提取图像特征后由网络结构
Figure FDA00025223294600000121
进一步进行特征融合，最后经网络结构
Figure FDA00025223294600000122
解码得到参考人员表情迁移后的图像
Figure FDA00025223294600000123
在进行前向推理时，输入参考人员静止状态landmark向量
Figure FDA00025223294600000124
和迁移表情landmark向量
Figure FDA00025223294600000125
先通过Landmark转换器(ψ)生成参考人员表情迁移后的landmark向量
Figure FDA00025223294600000126
并将之转化为landmark图像形式
Figure FDA00025223294600000127
然后和参考人员图像
Figure FDA00025223294600000128
一起送入人脸生成器
Figure FDA00025223294600000129
生成参考人员表情迁移后的图像
Figure FDA00025223294600000130
使用不同的迁移表情landmark向量
Figure FDA00025223294600000131
和不同的参考人员图像
Figure FDA00025223294600000132
作为输入，生成不同的参考人员表情迁移后的图像
Figure FDA00025223294600000133
这样使用一个模型即可实现了多人表情迁移。
2.根据权利要求1中所述的一种基于生成对抗机制的多人表情迁移方法，其特征在于，所述Landmark转换器(ψ)在训练时，除了采用L1损失函数，还额外使用对抗思路设计了landmark真假鉴别器(DTF)和身份鉴别器(DS)去进一步增强网络回归landmark的准确性。
3.根据权利要求1中所述的一种基于生成对抗机制的多人表情迁移方法，其特征在于，所述Landmark转换器(ψ)包含
Figure FDA00025223294600000134
和
Figure FDA00025223294600000135
由6层全连接和激活函数组成，
Figure FDA00025223294600000136
由5层全连接和激活函数组成，
Figure FDA00025223294600000137
由5层全连接和激活函数组成。
4.根据权利要求2中所述的一种基于生成对抗机制的多人表情迁移方法，其特征在于，所述landmark真假鉴别器(DTF)由6层全连接和激活函数组成，身份鉴别器(DS)由6层全连接和激活函数组成。
5.根据权利要求1中所述的一种基于生成对抗机制的多人表情迁移方法，其特征在于，人脸生成器
Figure FDA0002522329460000021
在训练时，采用L1损失函数进行像素级别的约束，同时采用了对抗思想的图像鉴别器(Dimg)以进一步增加生成图像的真实性。
6.根据权利要求1中所述的一种基于生成对抗机制的多人表情迁移方法，其特征在于，网络结构
Figure FDA0002522329460000022
由3层卷积层组成，网络结构
Figure FDA0002522329460000023
由6层卷积层组成，网络结构
Figure FDA0002522329460000024
由18层卷积层组成，网络结构φ4由2层反卷积层和1层卷积层组成。
7.根据权利要求5中所述的一种基于生成对抗机制的多人表情迁移方法，其特征在于，所述图像鉴别器(DTF)由6层卷积层和激活函数组成。
CN202010494513.8A 2020-06-03 2020-06-03 一种基于生成对抗机制的多人表情迁移方法 Active CN111798546B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010494513.8A CN111798546B (zh) 2020-06-03 2020-06-03 一种基于生成对抗机制的多人表情迁移方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010494513.8A CN111798546B (zh) 2020-06-03 2020-06-03 一种基于生成对抗机制的多人表情迁移方法

Publications (2)

Publication Number Publication Date
CN111798546A CN111798546A (zh) 2020-10-20
CN111798546B true CN111798546B (zh) 2022-04-26

Family

ID=72806202

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010494513.8A Active CN111798546B (zh) 2020-06-03 2020-06-03 一种基于生成对抗机制的多人表情迁移方法

Country Status (1)

Country Link
CN (1) CN111798546B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010016678A (ja) * 2008-07-04 2010-01-21 Casio Comput Co Ltd 画像合成装置、画像合成プログラム及び画像合成方法
CN108710829A (zh) * 2018-04-19 2018-10-26 北京红云智胜科技有限公司 一种基于深度学习的表情分类及微表情检测的方法
CN109508669A (zh) * 2018-11-09 2019-03-22 厦门大学 一种基于生成式对抗网络的人脸表情识别方法
CN110084121A (zh) * 2019-03-27 2019-08-02 南京邮电大学 基于谱归一化的循环生成式对抗网络的人脸表情迁移的实现方法
WO2020001082A1 (zh) * 2018-06-30 2020-01-02 东南大学 一种基于迁移学习的人脸属性分析方法
CN110706152A (zh) * 2019-09-25 2020-01-17 中山大学 基于生成对抗网络的人脸光照迁移方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010016678A (ja) * 2008-07-04 2010-01-21 Casio Comput Co Ltd 画像合成装置、画像合成プログラム及び画像合成方法
CN108710829A (zh) * 2018-04-19 2018-10-26 北京红云智胜科技有限公司 一种基于深度学习的表情分类及微表情检测的方法
WO2020001082A1 (zh) * 2018-06-30 2020-01-02 东南大学 一种基于迁移学习的人脸属性分析方法
CN109508669A (zh) * 2018-11-09 2019-03-22 厦门大学 一种基于生成式对抗网络的人脸表情识别方法
CN110084121A (zh) * 2019-03-27 2019-08-02 南京邮电大学 基于谱归一化的循环生成式对抗网络的人脸表情迁移的实现方法
CN110706152A (zh) * 2019-09-25 2020-01-17 中山大学 基于生成对抗网络的人脸光照迁移方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于条件生成式对抗网络的面部表情迁移模型;陈军波等;《计算机工程》;20200415(第04期);第228-235 *

Also Published As

Publication number Publication date
CN111798546A (zh) 2020-10-20

Similar Documents

Publication Publication Date Title
US12067690B2 (en) Image processing method and apparatus, device, and storage medium
CN115205949B (zh) 图像生成方法以及相关设备
CN112949535B (zh) 一种基于生成式对抗网络的人脸数据身份去识别方法
CN112164130B (zh) 基于深度对抗网络的视频-动画风格迁移方法
CN115187706B (zh) 一种人脸风格迁移的轻量化方法、系统、存储介质和电子设备
CN116634242A (zh) 语音驱动的说话视频生成方法、系统、设备和存储介质
CN114187165A (zh) 图像处理方法和装置
Wang et al. (2+ 1) D-SLR: an efficient network for video sign language recognition
WO2023024653A1 (zh) 图像处理方法、图像处理装置、电子设备以及存储介质
CN111798546B (zh) 一种基于生成对抗机制的多人表情迁移方法
CN116311455A (zh) 一种基于改进Mobile-former的表情识别方法
Tze et al. Cartoonized Anonymization of Sign Language Videos
CN117808934A (zh) 一种数据处理方法及相关设备
CN113436302B (zh) 一种人脸动画合成方法及系统
CN112463936B (zh) 一种基于三维信息的视觉问答方法及系统
Serra et al. Easy generation of facial animation using motion graphs
CN115578298A (zh) 一种基于内容感知的深度肖像视频合成方法
Wang et al. [Retracted] Convolution‐Based Design for Real‐Time Pose Recognition and Character Animation Generation
Sun et al. Robust pose transfer with dynamic details using neural video rendering
CN113763236A (zh) 一种商业短视频根据地域动态调整脸部特征的方法
CN112132915B (zh) 一种基于生成对抗机制的多样化动态延时视频生成方法
Zhao et al. Generating diverse gestures from speech using memory networks as dynamic dictionaries
Yang et al. Shapeediter: a stylegan encoder for face swapping
Liu et al. Confusable facial expression recognition with geometry-aware conditional network
CN116030167B (zh) 虚拟人物的驱动方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant