CN113792705B - 一种视频表情迁移方法及系统、计算机设备 - Google Patents
一种视频表情迁移方法及系统、计算机设备 Download PDFInfo
- Publication number
- CN113792705B CN113792705B CN202111163304.6A CN202111163304A CN113792705B CN 113792705 B CN113792705 B CN 113792705B CN 202111163304 A CN202111163304 A CN 202111163304A CN 113792705 B CN113792705 B CN 113792705B
- Authority
- CN
- China
- Prior art keywords
- video stream
- expression
- target video
- character
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000014509 gene expression Effects 0.000 title claims abstract description 201
- 238000013508 migration Methods 0.000 title claims abstract description 56
- 230000005012 migration Effects 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000012937 correction Methods 0.000 claims abstract description 10
- 238000013528 artificial neural network Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 4
- 230000036544 posture Effects 0.000 claims description 4
- 238000013461 design Methods 0.000 abstract description 8
- 230000000694 effects Effects 0.000 abstract description 7
- 230000015572 biosynthetic process Effects 0.000 abstract 1
- 238000003786 synthesis reaction Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及一种视频表情迁移方法，采用全新设计逻辑，基于源视频流中人脸对象、目标视频流中人脸对象分别对应预设各维度特征分量，通过视频流中expression分量的替换，实现源视频流中的人物表情向目标视频流的迁移，提高了表情迁移的工作执行效率，并且迁移后目标视频流中的人物表情更加符合目标视频流中人物的姿态，同时结合目标视频流中人物表情关键点的修正、以及对目标视频流的抖动处理，更新目标视频流，进一步提高迁移后目标视频流的效果；同时，本发明设计了实现视频表情迁移方法的系统，能够在实际应用中，高效实现视频中人物表情的迁移，提高视频合成的效率。
Description
技术领域
本发明涉及一种视频表情迁移方法及系统、计算机设备，属于视频人物表情处理技术领域。
背景技术
现在互联网和媒体领域有很多视频内容生成的需求，并且现有技术方法是通过样本对深度学习网络进行训练，然后应用训练后的模型，生成新人物的人脸关键点，进而利用人脸关键点生成对应的人脸图像。但是这类方法的问题是，所得到的人脸关键点位置会和训练所用样本数据高度类似，因此在实际应用中，若所需要的人脸脸型和训练样本数据中人脸脸型不一致，则无法使用网络生成的人脸关键点。
发明内容
本发明所要解决的技术问题是提供一种视频表情迁移方法，采用全新逻辑，通过视频流中expression分量的替换，结合人物表情关键点的进一步处理，实现视频流中人物表情的迁移，使得表情效果的应用更加自然。
本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种视频表情迁移方法，用于将源视频流中的人物表情迁移至目标视频流中，包括如下步骤：
步骤A.基于3DDFA-V2对3DMM模型的应用，确定源视频流中人脸对象、目标视频流中人脸对象分别对应预设各维度特征分量，然后进入步骤B；
步骤B.基于源视频流中人脸对象、目标视频流中人脸对象分别对应预设各维度特征分量，应用源视频流对应神经网络expression层的 expression分量替换目标视频流对应神经网络expression层的expression 分量，实现源视频流中的人物表情向目标视频流的迁移，更新目标视频流。
作为本发明的一种优选技术方案：还包括如下步骤C，执行完步骤 B之后，进入步骤C；
步骤C.基于所述应用源视频流对应神经网络expression层的 expression分量替换目标视频流对应神经网络expression层的expression 分量，实现源视频流中的人物表情向目标视频流的迁移后，应用 3DDFA-V2对目标视频流中各视频帧上的各个人物表情关键点进行修正，更新目标视频流。
作为本发明的一种优选技术方案：还包括如下步骤D，执行完步骤 C之后，进入步骤D；
步骤D.针对目标视频流，处理视频帧之间人物表情之间的抖动，更新目标视频流。
作为本发明的一种优选技术方案，所述步骤D包括如下步骤D1至步骤D2；
步骤D1.应用指定2D关键点检测方法，确定目标视频流中各视频帧上的各个人物表情关键点，然后进入步骤D2；
步骤D2.应用3DDFA-V2开源代码中的video_smooth方法，修正目标视频流中各视频帧上各个人物表情关键点的位置，实现相邻视频帧中人物表情关键点抖动的降低，更新目标视频流。
作为本发明的一种优选技术方案：所述步骤D1中，应用训练好的人物表情关键点确定模型，确定目标视频流中各视频帧上的各个人物表情关键点；
其中，人物表情关键点确定模型是基于预设各姿态下人物表情图像、以及人物表情图像中人物表情关键点位置信息作为样本，以人物表情图像为输入、人物表情图像中人物表情关键点位置信息为输出，针对 VGNet与像素对像素网络的融合网络进行训练所获得的。
作为本发明的一种优选技术方案：还包括如下步骤D1-D2，执行完步骤D1之后，进入步骤D1-D2
步骤D1-D2.针对目标视频流中各视频帧上人物表情关键点中的嘴部关键点，替换为源视频流中人物表情中的嘴部关键点，更新目标视频流，然后进入步骤D2。
作为本发明的一种优选技术方案：还包括执行如下步骤I至步骤，实现人物表情关键点误差的获得；
应用步骤A至步骤D的方法，将源视频流中的人物表情迁移至预设次级视频流中，更新次级视频流；然后基于目标视频流中人物表情与次级视频流中人物表情，通过计算关键点XY的L2距离，量化目标视频流中各视频帧上人物表情关键点的位置误差。
作为本发明的一种优选技术方案：所述预设各维度特征分量包括预设12维姿态分量、40维形状分量、10维表情分量。
与上述相对应，本发明所要解决的技术问题是提供一种视频表情迁移方法的系统，采用全新逻辑，通过视频流中expression分量的替换，结合人物表情关键点的进一步处理，实现视频流中人物表情的迁移，使得表情效果的应用更加自然。
本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种视频表情迁移方法的系统，包括特征分量提取模块、表情迁移模块、关键点修正模块、视频抖动处理模块；
特征分量提取模块，用于通过3DDFA-V2对3DMM模型的应用，确定源视频流中人脸对象、目标视频流中人脸对象分别对应预设各维度特征分量；
表情迁移模块，用于根据源视频流中人脸对象、目标视频流中人脸对象分别对应预设各维度特征分量，应用源视频流对应神经网络expression层的expression分量替换目标视频流对应神经网络expression 层的expression分量，实现源视频流中的人物表情向目标视频流的迁移，更新目标视频流；
关键点修正模块，用于应用3DDFA-V2对目标视频流中各视频帧上的各个人物表情关键点进行修正，更新目标视频流；
视频抖动处理模块，用于针对目标视频流，处理视频帧之间人物表情之间的抖动，更新目标视频流。
相应，本发明还设计一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。
本发明所述一种视频表情迁移方法，采用以上技术方案与现有技术相比，具有以下技术效果：
本发明所设计一种视频表情迁移方法，采用全新设计逻辑，基于源视频流中人脸对象、目标视频流中人脸对象分别对应预设各维度特征分量，通过视频流中expression分量的替换，实现源视频流中的人物表情向目标视频流的迁移，提高了表情迁移的工作执行效率，并且迁移后目标视频流中的人物表情更加符合目标视频流中人物的姿态，同时结合目标视频流中人物表情关键点的修正、以及对目标视频流的抖动处理，更新目标视频流，进一步提高迁移后目标视频流的效果。
附图说明
图1是本发明所设计视频表情迁移方法的流程示意图；
图2是本发明所设计视频表情迁移方法实施应用中源视频帧中3D 关键点示意；
图3是本发明所设计视频表情迁移方法实施应用中目标视频帧中 3D关键点示意；
图4是本发明所设计视频表情迁移方法实施应用中目标视频帧对应人物表情迁移后的3D关键点示意；
图5是本发明所设计视频表情迁移方法实施应用中目标视频帧对应人物表情与姿态迁移后的3D关键点示意
图6是本发明所设计视频表情迁移方法实施应用中目标视频帧对应嘴部特征点替换后的示意图；
图7是本发明所设计视频表情迁移方法实施应用中替换嘴部关键点、并变换到与目标视频帧姿态一致的示意。
具体实施方式
下面结合附图和实施例对本发明发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明发明，而非对本发明发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明发明相关的部分而非全部结构。
本发明设计了一种视频表情迁移方法，用于将源视频流中的人物表情迁移至目标视频流中，如图1所示，具体执行如下步骤。
步骤A.基于3DDFA-V2对3DMM模型的应用，确定源视频流中人脸对象、目标视频流中人脸对象分别对应预设各维度特征分量，然后进入步骤B。
实际应用中，这里的预设各维度特征分量包括预设12维姿态分量、 40维形状分量、10维表情分量，即实际应用中，上述步骤A中，基于 3DDFA-V2对3DMM模型的应用，确定源视频流中人脸对象、目标视频流中人脸对象分别均对应的12维姿态分量、40维形状分量、10维表情分量，即获得各人脸对象对应的62维特征分量，通过指定的62维特征分量唯一标记各个人脸对象。
步骤B.基于源视频流中人脸对象、目标视频流中人脸对象分别对应预设各维度特征分量，应用源视频流对应神经网络表情层(即神经网络expression层)的表情分量(即expression分量)替换目标视频流对应神经网络expression层的expression分量，即源视频流的表情分量替换目标视频流的表情分量，实现源视频流中的人物表情向目标视频流的迁移，更新目标视频流。
通过上述步骤实施应用，即通过视频流中expression分量的替换，实现视频流中人物表情的迁移，此方法的实时，能够使得来自源视频流中的人物表情更加符合目标视频流中的人物姿态，实际的实施应用当中，可以在此基础上，针对步骤B所获更新后的目标视频流，进一步增设如下应用。
步骤C.基于所述应用源视频流对应神经网络expression层的 expression分量替换目标视频流对应神经网络expression层的expression 分量，实现源视频流中的人物表情向目标视频流的迁移后，应用 3DDFA-V2对目标视频流中各视频帧上的各个人物表情关键点进行修正，即对各个人物表情关键点的值进行替换，更新目标视频流，然后进入步骤D；其中，目标视频流中各视频帧上的各个人物表情关键点按人脸68关键点方法进行确定。
通畅神经网络生成的表情关键点，往往不能保证帧与帧之间的连续性，因此普通方法生成的人脸表情和嘴部动作在视频中会有“抖动”。因此上述步骤中“修正”的目的是微调关键点使得去除这样的抖动。
步骤D.针对目标视频流，按如下步骤D1至步骤D2，处理视频帧之间人物表情之间的抖动，更新目标视频流。
步骤D1.应用指定2D关键点检测方法，确定目标视频流中各视频帧上的各个人物表情关键点，然后进入步骤D2。
上述步骤D1中，应用训练好的人物表情关键点确定模型，确定目标视频流中各视频帧上的各个人物表情关键点，然后进入步骤D1-D2；其中，人物表情关键点确定模型是基于预设各姿态下人物表情图像、以及人物表情图像中人物表情关键点位置信息作为样本，以人物表情图像为输入、人物表情图像中人物表情关键点位置信息为输出，针对VGNet 与像素对像素网络的融合网络进行训练所获得的。
由于3DDFA-V2中所涉及到的2D关键点是3D关键点在图像平面的映射，与一般意义上的2D关键点不同，因此这里在步骤D1中，应用指定2D关键点检测方法，确定目标视频流中各视频帧上的各个人物表情关键点，即上述通过对融合网络进行训练获得的人物表情关键点确定模型进行实施应用。
步骤D1-D2.针对目标视频流中各视频帧上人物表情关键点中的嘴部关键点，替换为源视频流中人物表情中的嘴部关键点，更新目标视频流，然后进入步骤D2。
上述步骤D1-D2的执行，即使得来自源视频流中的人物表情与目标视频流中的人物姿态更加吻合的同时，使得目标视频流中的人物嘴部、及下巴运动与源视频流中的人物嘴部、及下巴运动更加相似，提高表情迁移后目标视频流的效果。
步骤D2.应用3DDFA-V2开源代码中的video_smooth方法，修正目标视频流中各视频帧上各个人物表情关键点的位置，实现相邻视频帧中人物表情关键点抖动的降低，更新目标视频流，并且从结果来看，使用video_smooth方法，可在一定程度上改善抖动问题。
在通过上述步骤A至步骤D方法的实施应用，实际应用实施中，还可以进一步对人物表情关键点误差进行分析，即应用步骤A至步骤 D的方法，将源视频流中的人物表情迁移至预设次级视频流中，更新次级视频流；然后基于目标视频流中人物表情与次级视频流中人物表情，通过计算关键点XY的L2距离，量化目标视频流中各视频帧上人物表情关键点的位置误差。
将上述设计方法应用于实际当中，即可以以实现该方法的系统去实施，具体包括特征分量提取模块、表情迁移模块、关键点修正模块、视频抖动处理模块。
特征分量提取模块，用于通过3DDFA-V2对3DMM模型的应用，确定源视频流中人脸对象、目标视频流中人脸对象分别对应预设各维度特征分量。
表情迁移模块，用于根据源视频流中人脸对象、目标视频流中人脸对象分别对应预设各维度特征分量，应用源视频流对应神经网络 expression层的expression分量替换目标视频流对应神经网络expression 层的expression分量，即源视频流的表情分量替换目标视频流的表情分量，实现源视频流中的人物表情向目标视频流的迁移，更新目标视频流。
关键点修正模块，用于应用3DDFA-V2对目标视频流中各视频帧上的各个人物表情关键点进行修正，即对各个人物表情关键点的值进行替换，更新目标视频流，更新目标视频流，其中，目标视频流中各视频帧上的各个人物表情关键点按人脸68关键点方法进行确定。
视频抖动处理模块，用于针对目标视频流，处理视频帧之间人物表情之间的抖动，更新目标视频流。
实际的实时应用中，即基于计算机设备进行实现，其中计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述视频表情迁移方法的步骤。
本发明所设计视频表情迁移方法在实际的实施应用中，如图2至图7所示，依次为源视频帧中3D关键点示意、目标视频帧中3D关键点示意、目标视频帧对应人物表情迁移后的3D关键点示意、目标视频帧对应人物表情与姿态迁移后的3D关键点示意、目标视频帧对应嘴部特征点替换后的示意图、替换嘴部关键点、并变换到与目标视频帧姿态一致的示意。
上述技术方案所设计视频表情迁移方法，采用全新设计逻辑，基于源视频流中人脸对象、目标视频流中人脸对象分别对应预设各维度特征分量，通过视频流中expression分量的替换，实现源视频流中的人物表情向目标视频流的迁移，提高了表情迁移的工作执行效率，并且迁移后目标视频流中的人物表情更加符合目标视频流中人物的姿态，同时结合目标视频流中人物表情关键点的修正、以及对目标视频流的抖动处理，更新目标视频流，进一步提高迁移后目标视频流的效果。
下面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。
对于本领域普通技术人员来说，根据本发明的上述实施方式所作出的任何修改、变动，在不脱离本发明宗旨的情况下，均应包含于本发明的保护范围之内。
Claims (6)
1.一种视频表情迁移方法，用于将源视频流中的人物表情迁移至目标视频流中，其特征在于，包括如下步骤：
步骤A.基于3DDFA-V2对3DMM模型的应用，确定源视频流中人脸对象、目标视频流中人脸对象分别对应预设各维度特征分量，然后进入步骤B；
步骤B.基于源视频流中人脸对象、目标视频流中人脸对象分别对应预设各维度特征分量，应用源视频流对应神经网络表情层的表情分量替换目标视频流对应神经网络表情层的表情分量，实现源视频流中的人物表情向目标视频流的迁移，更新目标视频流，然后进入步骤C；
步骤C.应用3DDFA-V2对目标视频流中各视频帧上的各个人物表情关键点进行修正，更新目标视频流，然后进入步骤D；
步骤D.针对目标视频流，处理视频帧之间人物表情之间的抖动，更新目标视频流；
其中，步骤D进一步包括以下步骤：
步骤D1.应用指定2D关键点检测方法，确定目标视频流中各视频帧上的各个人物表情关键点，然后进入步骤D1-D2；
步骤D1-D2.针对目标视频流中各视频帧上人物表情关键点中的嘴部关键点，替换为源视频流中人物表情中的嘴部关键点，更新目标视频流，然后进入步骤D2；
步骤D2.应用3DDFA-V2开源代码中的video_smooth方法，修正目标视频流中各视频帧上各个人物表情关键点的位置，实现相邻视频帧中人物表情关键点抖动的降低，更新目标视频流。
2.根据权利要求1所述一种视频表情迁移方法，其特征在于：所述步骤D1中，应用训练好的人物表情关键点确定模型，确定目标视频流中各视频帧上的各个人物表情关键点；
其中，人物表情关键点确定模型是基于预设各姿态下人物表情图像、以及人物表情图像中人物表情关键点位置信息作为样本，以人物表情图像为输入、人物表情图像中人物表情关键点位置信息为输出，针对VGNet与像素对像素网络的融合网络进行训练所获得的。
3.根据权利要求1或2所述一种视频表情迁移方法，其特征在于：还包括执行如下步骤，实现人物表情关键点误差的获得：
应用步骤A至步骤D的方法，将源视频流中的人物表情迁移至预设次级视频流中，更新次级视频流；然后基于目标视频流中人物表情与次级视频流中人物表情，量化目标视频流中各视频帧上人物表情关键点的位置误差。
4.根据权利要求1所述一种视频表情迁移方法，其特征在于：所述预设各维度特征分量包括预设12维姿态分量、40维形状分量、10维表情分量。
5.一种实现权利要求2所述一种视频表情迁移方法的系统，其特征在于：包括特征分量提取模块、表情迁移模块、关键点修正模块、视频抖动处理模块；
特征分量提取模块，用于通过3DDFA-V2对3DMM模型的应用，确定源视频流中人脸对象、目标视频流中人脸对象分别对应预设各维度特征分量；
表情迁移模块，用于根据源视频流中人脸对象、目标视频流中人脸对象分别对应预设各维度特征分量，应用源视频流对应神经网络表情层的表情分量替换目标视频流对应神经网络表情层的表情分量，实现源视频流中的人物表情向目标视频流的迁移，更新目标视频流；
关键点修正模块，用于应用3DDFA-V2对目标视频流中各视频帧上的各个人物表情关键点进行修正，更新目标视频流；
视频抖动处理模块，用于针对目标视频流，处理视频帧之间人物表情之间的抖动，更新目标视频流；
其中，所述针对目标视频流，处理视频帧之间人物表情之间的抖动，更新目标视频流进一步包括：应用指定2D关键点检测方法，确定目标视频流中各视频帧上的各个人物表情关键点；针对目标视频流中各视频帧上人物表情关键点中的嘴部关键点，替换为源视频流中人物表情中的嘴部关键点，更新目标视频流；应用3DDFA-V2开源代码中的video_smooth方法，修正目标视频流中各视频帧上各个人物表情关键点的位置，实现相邻视频帧中人物表情关键点抖动的降低，更新目标视频流。
6.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111163304.6A CN113792705B (zh) | 2021-09-30 | 2021-09-30 | 一种视频表情迁移方法及系统、计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111163304.6A CN113792705B (zh) | 2021-09-30 | 2021-09-30 | 一种视频表情迁移方法及系统、计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113792705A CN113792705A (zh) | 2021-12-14 |
| CN113792705B true CN113792705B (zh) | 2024-04-23 |
Family
ID=78877692
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111163304.6A Active CN113792705B (zh) | 2021-09-30 | 2021-09-30 | 一种视频表情迁移方法及系统、计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113792705B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107610209A (zh) * | 2017-08-17 | 2018-01-19 | 上海交通大学 | 人脸表情合成方法、装置、存储介质和计算机设备 |
| WO2018184140A1 (en) * | 2017-04-04 | 2018-10-11 | Intel Corporation | Facial image replacement using 3-dimensional modelling techniques |
| CN109151340A (zh) * | 2018-08-24 | 2019-01-04 | 太平洋未来科技（深圳）有限公司 | 视频处理方法、装置及电子设备 |
| CN110517339A (zh) * | 2019-08-30 | 2019-11-29 | 腾讯科技（深圳）有限公司 | 一种基于人工智能的动画形象驱动方法和装置 |
| CN110660076A (zh) * | 2019-09-26 | 2020-01-07 | 北京紫睛科技有限公司 | 一种人脸交换方法 |
| CN111508050A (zh) * | 2020-04-16 | 2020-08-07 | 北京世纪好未来教育科技有限公司 | 图像处理方法及装置、电子设备和计算机存储介质 |
| CN111598977A (zh) * | 2020-05-21 | 2020-08-28 | 北京中科深智科技有限公司 | 一种表情迁移并动画化的方法及系统 |
| WO2021103698A1 (zh) * | 2019-11-29 | 2021-06-03 | 广州华多网络科技有限公司 | 换脸方法、装置、电子设备及存储介质 |
| CN112927328A (zh) * | 2020-12-28 | 2021-06-08 | 北京百度网讯科技有限公司 | 表情迁移方法、装置、电子设备及存储介质 |
| CN113222876A (zh) * | 2021-06-02 | 2021-08-06 | 广州虎牙科技有限公司 | 人脸图像生成方法、装置、电子设备和存储介质 |
| CN113221840A (zh) * | 2021-06-02 | 2021-08-06 | 广东工业大学 | 一种人像视频处理方法 |
| CN113240575A (zh) * | 2021-05-12 | 2021-08-10 | 中国科学技术大学 | 人脸伪造视频效果增强方法 |
-
2021
- 2021-09-30 CN CN202111163304.6A patent/CN113792705B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018184140A1 (en) * | 2017-04-04 | 2018-10-11 | Intel Corporation | Facial image replacement using 3-dimensional modelling techniques |
| CN107610209A (zh) * | 2017-08-17 | 2018-01-19 | 上海交通大学 | 人脸表情合成方法、装置、存储介质和计算机设备 |
| CN109151340A (zh) * | 2018-08-24 | 2019-01-04 | 太平洋未来科技（深圳）有限公司 | 视频处理方法、装置及电子设备 |
| CN110517339A (zh) * | 2019-08-30 | 2019-11-29 | 腾讯科技（深圳）有限公司 | 一种基于人工智能的动画形象驱动方法和装置 |
| CN110660076A (zh) * | 2019-09-26 | 2020-01-07 | 北京紫睛科技有限公司 | 一种人脸交换方法 |
| WO2021103698A1 (zh) * | 2019-11-29 | 2021-06-03 | 广州华多网络科技有限公司 | 换脸方法、装置、电子设备及存储介质 |
| CN111508050A (zh) * | 2020-04-16 | 2020-08-07 | 北京世纪好未来教育科技有限公司 | 图像处理方法及装置、电子设备和计算机存储介质 |
| CN111598977A (zh) * | 2020-05-21 | 2020-08-28 | 北京中科深智科技有限公司 | 一种表情迁移并动画化的方法及系统 |
| CN112927328A (zh) * | 2020-12-28 | 2021-06-08 | 北京百度网讯科技有限公司 | 表情迁移方法、装置、电子设备及存储介质 |
| CN113240575A (zh) * | 2021-05-12 | 2021-08-10 | 中国科学技术大学 | 人脸伪造视频效果增强方法 |
| CN113222876A (zh) * | 2021-06-02 | 2021-08-06 | 广州虎牙科技有限公司 | 人脸图像生成方法、装置、电子设备和存储介质 |
| CN113221840A (zh) * | 2021-06-02 | 2021-08-06 | 广东工业大学 | 一种人像视频处理方法 |
Non-Patent Citations (4)
| Title |
|---|
| 3DMM 与 GAN 结合的实时人脸表情迁移方法;高翔 等;《计算机应用与软》;第37卷(第4期);119-126 * |
| Face2Face: Real-time Face Capture and Reenactment of RGB Videos;Justus Thies 等;《arXiv》;1-12 * |
| Towards Fast, Accurate and Stable 3D Dense Face Alignment;Jianzhu Guo 等;《arXiv》;1-22 * |
| 基于 3DMM 的人脸表情移植研究;王永辉 等;《中国优秀硕士学位论文全文数据库 信息科技辑》(第2012年07期);I138-1676 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113792705A (zh) | 2021-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11055521B2 (en) | Real-time gesture recognition method and apparatus | |
| US11954904B2 (en) | Real-time gesture recognition method and apparatus | |
| US11455496B2 (en) | System and method for domain adaptation using synthetic data | |
| WO2021047396A1 (zh) | 图像处理方法及装置、电子设备和计算机可读存储介质 | |
| CN109325398B (zh) | 一种基于迁移学习的人脸属性分析方法 | |
| WO2020156245A1 (zh) | 动作识别方法、装置、设备及存储介质 | |
| CN110503703B (zh) | 用于生成图像的方法和装置 | |
| Xu et al. | Efficient hand pose estimation from a single depth image | |
| US11514634B2 (en) | Personalized speech-to-video with three-dimensional (3D) skeleton regularization and expressive body poses | |
| WO2023077821A1 (zh) | 基于多清晰度集成自训练的小样本低质量图像目标检测方法 | |
| WO2021218040A1 (zh) | 图像处理的方法及装置 | |
| WO2023050650A1 (zh) | 动画视频生成方法、装置、设备及存储介质 | |
| CN111639527A (zh) | 英文手写文本识别方法、装置、电子设备及存储介质 | |
| CN110555426A (zh) | 视线检测方法、装置、设备及存储介质 | |
| CN104834459A (zh) | 使用特征检测和语义标注来提供绘图辅助 | |
| CN114549557A (zh) | 一种人像分割网络训练方法、装置、设备及介质 | |
| CN115933868A (zh) | 翻转讲台的立体综合教学场系统及其工作方法 | |
| WO2022148248A1 (zh) | 图像处理模型的训练方法、图像处理方法、装置、电子设备及计算机程序产品 | |
| CN113792705B (zh) | 一种视频表情迁移方法及系统、计算机设备 | |
| Hong et al. | Dagan++: Depth-aware generative adversarial network for talking head video generation | |
| CN111862061A (zh) | 图片美学质量的评估方法、系统、设备和介质 | |
| CN112464924A (zh) | 一种构建训练集的方法及装置 | |
| WO2022262337A1 (zh) | 视频标注方法、装置、计算设备和计算机可读存储介质 | |
| CN117252914A (zh) | 深度估计网络的训练方法、装置、电子设备及存储介质 | |
| WO2020193972A1 (en) | Facial analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |