CN111598977B - 一种表情迁移并动画化的方法及系统 - Google Patents
一种表情迁移并动画化的方法及系统 Download PDFInfo
- Publication number
- CN111598977B CN111598977B CN202010433641.1A CN202010433641A CN111598977B CN 111598977 B CN111598977 B CN 111598977B CN 202010433641 A CN202010433641 A CN 202010433641A CN 111598977 B CN111598977 B CN 111598977B
- Authority
- CN
- China
- Prior art keywords
- face
- image
- frame image
- key point
- current frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000014509 gene expression Effects 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000013508 migration Methods 0.000 claims abstract description 39
- 230000005012 migration Effects 0.000 claims abstract description 39
- 230000036544 posture Effects 0.000 claims abstract description 38
- 238000013507 mapping Methods 0.000 claims abstract description 29
- 230000001815 facial effect Effects 0.000 claims abstract description 10
- 230000003068 static effect Effects 0.000 claims abstract description 7
- 238000001514 detection method Methods 0.000 claims description 16
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 14
- 230000009466 transformation Effects 0.000 claims description 14
- 230000015572 biosynthetic process Effects 0.000 claims description 12
- 238000003786 synthesis reaction Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 11
- 230000008439 repair process Effects 0.000 claims description 8
- 238000002372 labelling Methods 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 238000012546 transfer Methods 0.000 abstract description 11
- 238000012549 training Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 3
- 230000008451 emotion Effects 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种表情迁移并动画化的方法及系统，其中方法包括：给定一源图像和一驱动视频；通过—预先训练的表情迁移并动画化模型预测所述源图像中的第一人脸关键点；通过所述表情迁移并动画化模型预测所述驱动视频中的第二人脸关键点，并预测得到各所述第二人脸关键点对应的人脸运动姿态；所述表情迁移并动画化模型根据所述第二人脸关键点和所述第一人脸关键点的映射关系，将关联所述第二人脸关键的所述人脸运动姿态迁移到具有映射关系的所述第一人脸关键点上，以实现静态的所述源图像跟随所述驱动视频中的人脸运动姿态作同步运动的动画化。本发明实现了对表情的实时迁移，满足了人们对于表情“真人化”实时迁移的需求。
Description
技术领域
本发明涉及表情迁移和表情捕捉技术领域，具体涉及一种表情迁移并动画化的方法及系统。
背景技术
早期的换脸软件通过即时抓取摄像头视频中的人脸关键点，将表情、头部姿态等信息转化到三维虚拟化角色身上，比如一只猫、一个虚拟卡通人物上，然后在使用即时视频通讯软件时，其他人看到的就是拥有使用者当前表情的虚拟形象了。
随着换脸、表情迁移的科技浪潮汹涌而至，人们不再满足于使用卡通形象、动漫人物来充当自己的化身，而是希望使用真人的形象。但是将源脸替换到目标脸上，需要使用大量的双方人脸图像的数据进行事先的表情迁移训练，但是在即时的视频通讯应用场景中，根本无法获取双方大量的人脸图像数据集，也就无法对表情的真人迁移进行事先的模型训练。而且模型训练需要足够的训练时间，在即时的视频通讯应用场景中，也不具备模型训练该有的时间条件，所以现有技术中的表情迁移方法无法实现实时的表情迁移，无法满足人们希望以“真人”作为替身进行即时的角色变换的需求。
发明内容
本发明的目的在于提供一种表情迁移并动画化的方法及系统，以解决上述技术问题。
为达此目的，本发明采用以下技术方案：
提供一种表情迁移并动画化的方法，包括：
给定一源图像和—驱动视频；
通过—预先训练的表情迁移并动画化模型预测所述源图像中的第一人脸关键点；
通过所述表情迁移并动画化模型预测所述驱动视频中的第二人脸关键点，并预测得到关联各所述第二人脸关键点的人脸运动姿态；
根据所述第二人脸关键点和所述第一人脸关键点的映射关系，将关联所述第二人脸关键点的所述人脸运动姿态迁移到具有映射关系的所述第一人脸关键点上，以实现静态的所述源图像上的物体跟随所述驱动视频中的人脸运动姿态作同步运动。
作为本发明的一种优选方案，预测关联各所述第二人脸关键点的所述人脸运动姿态的方法为：
对所述驱动视频中的驱动图像上相邻的所述第二人脸关键点进行局部仿射变换，以模拟出所述驱动图像上的人脸运动姿态；
按时间轴提取模拟出的所述人脸运动姿态对应的人脸运动姿态特征，得到关联所述第二人脸关键点的多张人脸运动姿态特征图；
将关联同一个所述第二人脸关键点的各所述人脸运动姿态特征图按时间轴进行视频合成，得到关联所述第二人脸关键点的所述人脸运动姿态。
作为本发明的一种优选方案，将所述人脸运动姿态从所述驱动视频上迁移到所述源图像上的方法为：
步骤A1，判断所述第一人脸关键点和所述第二人脸关键点之间是否存在映射关系，
若是，则进入步骤A2；
若否，则不执行人脸运动姿态迁移；
步骤A2，将关联所述第二人脸关键点的所述人脸运动姿态迁移到与所述第二人脸关键点具有映射关系的所述第一人脸关键点上；
步骤A3，按照时间帧顺序将迁移的所述人脸运动姿态合成为人脸运动视频，以实现静态的所述源图像跟随所述驱动视频中的所述人脸运动姿态同步运动的动画化。
作为本发明的一种优选方案，所述表情迁移并动画化模型预测所述驱动视频中的所述第二人脸关键点的同时还对所述驱动视频中的驱动图像上是否存在人脸遮挡区域进行检测，当检测到所述驱动图像上存在遮挡人脸的区域时，所述表情迁移并动画化模型将对遮挡人脸的区域进行图像修复，修复人脸遮挡区域的具体方法包括如下步骤：
步骤B1，在检测到当前帧图像存在遮挡人脸的区域时截取当前帧图像并存储；
步骤B2，提取所述当前帧图像上遮挡住人脸的区域图像，并对所述区域图像在所述当前帧图像上的所处位置进行标注；
步骤B3，截取所述当前帧图像的前后帧图像并存储；
步骤B4，将所述当前帧图像与当前帧的前一帧图像或后一帧图像进行图像比对，以判断所述前一帧图像或所述后一帧图像上是否存在人脸遮挡区域，
若是，则以所述前一帧图像或所述后一帧图像为当前帧图像并返回所述步骤B1；
若否，则进入步骤B5；
步骤B5，在所述前一帧图像或所述后一帧图像上匹配出与所述当前帧图像中遮挡住人脸的所述区域图像相同位置处的匹配图像；
步骤B6，从所述前一帧图像或所述后一帧图像上提取出所述匹配图像并存储；
步骤B7，将所述匹配图像填充到所述步骤B2中标注的所述当前帧图像遮挡住人脸的所述区域图像的位置处，以实现对所述当前帧图像的修复。
作为本发明的一种优选方案，训练所述表情迁移并动画化模型的样本数据集为VoxCeleb数据集或UvA-Nemo数据集。
本发明还提供了一种表情迁移并动画化的系统，可实现上述方法，该系统包括：
源图像输入模块，用于提供给用户输入希望动画化的所述源图像；
驱动视频输入模块，用于提供给所述用户输入所述驱动视频；
第一人脸关键点检测模块，连接所述源图像输入模块，用于自动检测所述源图像上的所述第一人脸关键点；
第二人脸关键点检测模块，连接所述驱动视频输入模块，用于检测所述驱动视频中的所述第二人脸关键点；
相邻关键点局部仿射变换模块，连接所述第二人脸关键点检测模块，用于对相邻的所述第二人脸关键点进行局部仿射变换，以模拟出所述驱动视频中的人脸运动姿态；
人脸运动姿态特征提取模块，连接所述相邻关键点局部仿射变换模块，用于提取模拟出的所述人脸运动姿态对应的人脸运动姿态特征，得到关联所述第二人脸关键点的多张人脸运动姿态特征图；
人脸运动姿态合成模块，连接所述人脸运动姿态特征提取模块，用于将关联所述第二人脸关键点的多张所述人脸运动姿态特征图按时间轴进行视频合成，得到关联所述第二人脸关键点的所述人脸运动姿态；
人脸关键点映射关系确定模块，分别连接所述第一人脸关键点检测模块和所述第二人脸关键点检测模块，用于确定所述第一人脸关键点和所述第二人脸关键点之间的映射关系；
人脸运动姿态迁移模块，分别连接所述人脸运动姿态合成模块和所述人脸关键点映射关系确定模块，用于将所述人脸运动姿态从所述第二人脸关键点上迁移到与所述第二人脸关键点具有映射关系的所述第一人脸关键点上。
作为本发明的一种优选方案，所述系统还包括：
遮挡区域检测模块，连接所述驱动视频输入模块，用于检测所述驱动视频中的驱动图像上是否存在遮挡住人脸的区域；
图像修复模块，连接所述遮挡区域检测模块，用于根据当前帧的前后帧图像信息，对当前帧图像中遮挡住人脸的区域进行图像修复。
作为本发明的一种优选方案，所述图像修复模块中具体包括：
当前帧图像截取单元，用于在检测到当前帧图像存在遮挡人脸的区域时截取当前帧图像并存储；
人脸遮挡区域提取单元，连接所述当前帧图像截取单元，用于提取所述当前帧图像中的遮挡住人脸的区域图像；
人脸遮挡区域位置标注单元，连接所述人脸遮挡区域提取单元，用于对提取的所述区域图像在所述当前帧图像上的所处位置进行标注；
前后帧图像截取单元，用于截取所述当前帧图像的前后帧图像并存储；
人脸遮挡区域比对单元，分别连接所述人脸遮挡区域提取单元和所述前后帧图像截取单元，用于将遮挡人脸的所述区域图像与当前帧的前一帧图像或后一帧图像进行图像比对，以确定所述前一帧图像或所述后一帧图像中是否同样存在遮挡人脸的区域；
人脸遮挡区域匹配单元，分别连接所述人脸遮挡区域比对单元、所述当前帧图像截取单元和所述前后帧图像截取单元，用于在所述前一帧图像或所述后一帧图像中不存在人脸遮挡区域时，在所述前一帧图像或所述后一帧图像上匹配出与所述当前帧图像中遮挡住人脸的所述区域图像相同位置处的匹配图像；
匹配图像提取单元，连接所述人脸遮挡区域匹配单元，用于从所述前一帧图像或所述后一帧图像上提取出所述匹配图像并存储；
图像填充单元，连接所述匹配图像提取单元，用于将所述匹配图像填充到所述当前帧图像中的遮挡住人脸的所述区域图像的所处位置处，以实现对所述当前帧图像的修复。
本发明实现了对表情的实时迁移并动画化，可以满足人们即时“变脸”的需求，本发明通过一预先训练的表情迁移并动画化模型完成了对表情实时迁移的全过程，整个表情迁移并动画化过程避免了传统的表情迁移方法需要事先进行模型训练，以及由于需要大量的训练数据以及较长地训练时间而无法实现表情实时迁移的技术问题。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例所述的表情迁移并动画化的方法步骤图；
图2是预测所述第二人脸关键点对应的所述人脸运动姿态的方法步骤图；
图3是将所述人脸运动姿态从所述驱动图像上迁移到所述源图像上的方法步骤图；
图4是修复所述驱动图像上的人脸遮挡区域的方法步骤图；
图5是本发明—实施例所述的表情迁移并动画化的系统结构示意图；
图6是所述系统中的所述图像修复模块的内部结构示意图。
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若出现术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
在本发明的描述中，除非另有明确的规定和限定，若出现术语“连接”等指示部件之间的连接关系，该术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个部件内部的连通或两个部件的相互作用关系。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
本发明实施例提供的表情迁移并动画化的方法，请参照图1，包括如下步骤：
步骤S1，给定一源图像和一驱动视频；
步骤S2，通过一预先训练的表情迁移并动画化模型预测源图像中的第一人脸关键点；
步骤S3，通过表情迁移并动画化模型预测驱动视频中的第二人脸关键点，并预测得到关联各第二人脸关键点的人脸运动姿态；
步骤S4，根据第二人脸关键点和第一人脸关键点的映射关系，将关联第二人脸关键点的人脸运动姿态迁移到具有映射关系的第一人脸关键点上，第一人脸关键点按时间帧同步于对应的第二人脸关键点作人脸运动，以实现静态的源图像上的物体(人脸)跟随驱动视频中的人脸运动姿态作同步运动。作为一种优选方案，第一人脸关键点和第二人脸关键点的映射关系可以通过人脸关键点的类型确定，比如第二人脸关键点为嘴巴，那么与该第二人脸关键点具有映射关系的第一人脸关键点同样为嘴巴。
请参照图2，预测关联各第二人脸关键点的人脸运动姿态的方法包括：
步骤L1，对驱动视频中的驱动图像上相邻的第二人脸关键点进行具体仿射变换，以模拟出驱动图像上的人脸运动姿态；对相邻关键点进行仿射变换的方法为现有方法，所以具体的仿射变换过程在此不做阐述；
步骤L2，按时间轴提取模拟出的人脸运动姿态对应的人脸运动姿态特征，得到关联第二人脸关键点的多张人脸运动姿态特征图；本实施例中，可以通过现有的特征提取器提取人脸运动姿态对应的人脸运动姿态特征图，所以关于人脸运动姿态特征的具体提取过程在此不做阐述；
步骤L3，将关联同一个第二人脸关键点的各人脸运动姿态特征图按时间轴进行视频合成，得到关联第二人脸关键点的人脸运动姿态。
请参照图3，将人脸运动姿态从驱动视频中迁移到源图像上的方法包括：
步骤A1，确定第一人脸关键点和第二人脸关键点之间是否存在映射关系，
若是，则进入步骤A2；
若否，则不执行人脸运动姿态迁移；
步骤A2，将关联第二人脸关键点的人脸运动姿态迁移到与第二人脸关键点具有映射关系的第一人脸关键点上，以实现静态的源图像上的物体跟随驱动视频中的人脸运动姿态作同步运动。
上述技术方案中，优选地，迁移人脸运动姿态可通过表情迁移并动画化模型实现。优选地，表情迁移并动画化模型为一阶动画模型，一阶动画模型为现有的可实现表情迁移的模型，所以关于一阶动画模型迁移表情的具体过程在此不作阐述。
由于驱动视频的帧图像中可能存在部分人脸关键点被遮挡的情况，遮挡区域影响对人脸关键点的检测，进而影响对人脸运动姿态的迁移，所以为了解决这个问题，本实施例中提供的表情迁移并动画化模型在预测驱动视频中的第二人脸关键点的同时还对驱动视频中的驱动图像上是否存在人脸遮挡区域进行检查，当检测到驱动图像上存在遮挡人脸的区域时，表情迁移并动画化模型将对遮挡人脸的区域进行图像修复。请参照图4，修复人脸遮挡区域的具体方法包括如下步骤：
步骤B1，在检测到当前帧图像存在遮挡人脸的区域时截取当前帧图像并存储；
步骤B2，提取当前帧图像上遮挡住人脸的区域图像，并对该区域图像在当前帧图像上的所处位置进行标注；
步骤B3，截取当前帧图像的前后帧图像并存储；
步骤B4，将当前帧图像与当前帧图像的前一帧图像或后一帧图像进行图像比对，以判断前一帧图像或后一帧图像上是否存在人脸遮挡区域，
若是，则以前一帧图像或后一帧图像为当前帧图像并返回步骤B1；
若否，则进入步骤B5；
步骤B5，在前一帧图像或后一帧图像上匹配出与当前帧图像中遮挡住人脸的区域图像相同位置处的匹配图像；匹配图像中保留了第二人脸关键点；
步骤B6，从前一帧图像或后一帧图像上提取出匹配图像并存储；
步骤B7，将匹配图像填充到步骤B2中标注的当前帧图像遮挡住人脸的区域图像的所处位置处，以实现对当前帧图像的修复。图像修复后便可将第二人脸关键点上的人脸运动姿态迁移到具有映射关系的第一人脸关键点上，解决了第二人脸关键点上人脸运动姿态缺失而无法进行正常的表情迁移的技术问题。
由于训练表情迁移并动画化模型需要大量的训练数据，但是在一些对“变脸”实时性要求较高地应用场景中，比如即时视频通讯中，很难获取到大量的训练数据，为了解决这个问题，本发明以现有的VoxCeleb数据集或UvA-Nemo数据集作为表情迁移并动画化模型的训练样本。VoxCeleb和UvA-Nemo数据集为目前使用较广的人脸图像数据集，关于VoxCeleb和UvA-Nemo数据集的具体介绍在此不作阐述。本发明以现有的人脸图像数据集为训练样本，预先训练好表情迁移并动画化模型，解决了“变脸”实时性的问题。由于对表情迁移并动画化模型的训练过程并非本发明要求权利保护的范围，所以关于表情迁移并动画化的具体训练过程在此不做阐述。
请参照图5，本发明还提供了一种表情迁移并动画化的系统，可实现上述的方法，该系统包括：
源图像输入模块1，用于提供给用户输入希望动画化的源图像；
驱动视频输入模块2，用于提供给用户输入驱动视频；
第一人脸关键点检测模块3，连接源图像输入模块1，用于检测源图像上的第一人脸关键点；
第二人脸关键点检测模块4，连接驱动视频输入模块2，用于检测驱动视频中的第二人脸关键点；
相邻关键点局部仿射变换模块5，连接第二人脸关键点检测模块4，用于对相邻的第二人脸关键点进行局部仿射变换，以模拟出驱动视频中的人脸运动姿态；
人脸运动姿态特征提取模块6，连接相邻关键点局部仿射变换模块5，用于提取模拟出的人脸运动姿态对应的人脸运动姿态特征，得到关联第二人脸关键点的多张人脸运动姿态特征图；
人脸运动姿态合成模块7，连接人脸运动姿态特征提取模块6，用于将关联第二人脸关键点的多张人脸运动姿态特征图按时间轴进行视频合成，得到关联第二人脸关键点的人脸运动姿态；
人脸关键点映射关系确定模块8，分别连接第一人脸关键点检测模块3和第二人脸关键点检测模块4，用于确定第一人脸关键点和第二人脸关键点之间的映射关系；
人脸运动姿态迁移模块9，分别连接人脸运动姿态合成模块7和人脸关键点映射关系确定模块8，用于将人脸运动姿态从第二人脸关键点上迁移到与第二人脸关键点具有映射关系的第一人脸关键点上；
由于驱动视频的帧图像中可能存在部分人脸关键点被遮挡的情况，遮挡区域影响对人脸关键点的检测，进而影响对人脸运动姿态的迁移，所以为了解决这个问题，本实施例提供的系统还包括：
遮挡区域检测模块10，连接驱动视频输入模块2，用于检测驱动视频中的驱动图像上是否存在遮挡住人脸(包括部分遮挡)的区域；
图像修复模块11，连接遮挡区域检测模块10，用于根据当前帧的前后帧图像信息，对当前帧图像中遮挡住人脸的区域进行修复。具体地，请参照图6，图像修复模块11中具体包括：
当前帧图像截取单元111，用于在检测到当前帧图像存在遮挡人脸的区域时截取当前帧图像并存储；
人脸遮挡区域提取单元112，连接当前帧图像截取单元111，用于提取当前帧图像中的遮挡住人脸的区域图像；
人脸遮挡区域位置标注单元113，连接人脸遮挡区域提取单元112，用于对提取的区域图像在当前帧图像上的所处位置进行标注；
前后帧图像截取单元114，用于截取当前帧图像的前后帧图像并存储；
人脸遮挡区域比对单元115，分别连接人脸遮挡区域提取单元112和前后帧图像截取单元114，用于将遮挡人脸的区域图像与当前帧的前一帧图像或后一帧图像进行图像比对，以确定前一帧图像或后一帧图像中是否同样存在遮挡人脸的区域；
人脸遮挡区域匹配单元116，分别连接人脸遮挡区域比对单元115、当前帧图像截取单元111和前后帧图像截取单元114，用于在前一帧图像或后一帧图像中不存在人脸遮挡区域时，在前一帧图像或后一帧图像上匹配出与当前帧图像中遮挡住人脸的区域图像相同位置处的匹配图像；匹配图像保留了前一帧图像或后一帧图像上的与当前帧图像遮挡住人脸的区域图像相同位置处的原始图像信息；为了确保能够匹配到当前帧图像与前一帧图像或后一帧图像上的相同位置，截取的当前帧图像和前一帧图像或后一帧图像的图像尺寸一致；
匹配图像提取单元117，连接人脸遮挡区域匹配单元116，用于从前一帧图像或后一帧图像上提取出匹配图像并存储；
图像填充单元118，连接匹配图像提取单元117，用于将匹配图像填充到当前帧图像中的遮挡住人脸的区域图像的所处位置处，以实现对当前帧图像的修复。
综上，本发明实现了对表情的实时迁移，满足了人们对于表情“真人化”实时迁移的需求。
需要声明的是，上述具体实施方式仅仅为本发明的较佳实施例及所运用技术原理。本领域技术人员应该明白，还可以对本发明做各种修改、等同替换、变化等等。但是，这些变换只要未背离本发明的精神，都应在本发明的保护范围之内。另外，本申请说明书和权利要求书所使用的一些术语并不是限制，仅仅是为了便于描述。
Claims (6)
1.一种表情迁移并动画化的方法，其特征在于，包括：
给定一源图像和—驱动视频；
通过—预先训练的表情迁移并动画化模型预测所述源图像中的第一人脸关键点；
通过所述表情迁移并动画化模型预测所述驱动视频中的第二人脸关键点，并预测得到关联各所述第二人脸关键点的人脸运动姿态；
根据所述第二人脸关键点和所述第一人脸关键点的映射关系，将关联所述第二人脸关键点的所述人脸运动姿态迁移到具有映射关系的所述第一人脸关键点上，以实现静态的所述源图像上的物体跟随所述驱动视频中的人脸运动姿态作同步运动；
预测关联各所述第二人脸关键点的所述人脸运动姿态的方法为：
对所述驱动视频中的驱动图像上相邻的所述第二人脸关键点进行局部仿射变换，以模拟出所述驱动图像上的人脸运动姿态；
按时间轴提取模拟出的所述人脸运动姿态对应的人脸运动姿态特征，得到关联所述第二人脸关键点的多张人脸运动姿态特征图；
将关联同一个所述第二人脸关键点的各所述人脸运动姿态特征图按时间轴进行视频合成，得到关联所述第二人脸关键点的所述人脸运动姿态。
2.如权利要求1所述的方法，其特征在于，将所述人脸运动姿态从所述驱动视频上迁移到所述源图像上的方法为：
步骤A1，判断所述第一人脸关键点和所述第二人脸关键点之间是否存在映射关系，
若是，则进入步骤A2；
若否，则不执行人脸运动姿态迁移；
步骤A2，将关联所述第二人脸关键点的所述人脸运动姿态迁移到与所述第二人脸关键点具有映射关系的所述第一人脸关键点上；
步骤A3，按照时间帧顺序将迁移的所述人脸运动姿态合成为人脸运动视频，以实现静态的所述源图像跟随所述驱动视频中的所述人脸运动姿态同步运动的动画化。
3.如权利要求1所述的方法，其特征在于，所述表情迁移并动画化模型预测所述驱动视频中的所述第二人脸关键点的同时还对所述驱动视频中的驱动图像上是否存在人脸遮挡区域进行检测，当检测到所述驱动图像上存在遮挡人脸的区域时，所述表情迁移并动画化模型将对遮挡人脸的区域进行图像修复，修复人脸遮挡区域的具体方法包括如下步骤：
步骤B1，在检测到当前帧图像存在遮挡人脸的区域时截取当前帧图像并存储；
步骤B2，提取所述当前帧图像上遮挡住人脸的区域图像，并对所述区域图像在所述当前帧图像上的所处位置进行标注；
步骤B3，截取所述当前帧图像的前后帧图像并存储；
步骤B4，将所述当前帧图像与当前帧的前一帧图像或后一帧图像进行图像比对，以判断所述前一帧图像或所述后一帧图像上是否存在人脸遮挡区域，
若是，则以所述前一帧图像或所述后一帧图像为当前帧图像并返回所述步骤B1；
若否，则进入步骤B5；
步骤B5，在所述前一帧图像或所述后一帧图像上匹配出与所述当前帧图像中遮挡住人脸的所述区域图像相同位置处的匹配图像；
步骤B6，从所述前一帧图像或所述后一帧图像上提取出所述匹配图像并存储；
步骤B7，将所述匹配图像填充到所述步骤B2中标注的所述当前帧图像遮挡住人脸的所述区域图像的位置处，以实现对所述当前帧图像的修复。
4.一种表情迁移并动画化的系统，可实现如权利要求1～3任意一项所述的方法，其特征在于，包括：
源图像输入模块，用于提供给用户输入希望动画化的所述源图像；
驱动视频输入模块，用于提供给所述用户输入所述驱动视频；
第一人脸关键点检测模块，连接所述源图像输入模块，用于自动检测所述源图像上的所述第一人脸关键点；
第二人脸关键点检测模块，连接所述驱动视频输入模块，用于检测所述驱动视频中的所述第二人脸关键点；
相邻关键点局部仿射变换模块，连接所述第二人脸关键点检测模块，用于对相邻的所述第二人脸关键点进行局部仿射变换，以模拟出所述驱动视频中的人脸运动姿态；
人脸运动姿态特征提取模块，连接所述相邻关键点局部仿射变换模块，用于提取模拟出的所述人脸运动姿态对应的人脸运动姿态特征，得到关联所述第二人脸关键点的多张人脸运动姿态特征图；
人脸运动姿态合成模块，连接所述人脸运动姿态特征提取模块，用于将关联所述第二人脸关键点的多张所述人脸运动姿态特征图按时间轴进行视频合成，得到关联所述第二人脸关键点的所述人脸运动姿态；
人脸关键点映射关系确定模块，分别连接所述第一人脸关键点检测模块和所述第二人脸关键点检测模块，用于确定所述第一人脸关键点和所述第二人脸关键点之间的映射关系；
人脸运动姿态迁移模块，分别连接所述人脸运动姿态合成模块和所述人脸关键点映射关系确定模块，用于将所述人脸运动姿态从所述第二人脸关键点上迁移到与所述第二人脸关键点具有映射关系的所述第一人脸关键点上。
5.如权利要求4所述的系统，其特征在于，还包括：
遮挡区域检测模块，连接所述驱动视频输入模块，用于检测所述驱动视频中的驱动图像上是否存在遮挡住人脸的区域；
图像修复模块，连接所述遮挡区域检测模块，用于根据当前帧的前后帧图像信息，对当前帧图像中遮挡住人脸的区域进行图像修复。
6.如权利要求5所述的系统，其特征在于，所述图像修复模块中具体包括：
当前帧图像截取单元，用于在检测到当前帧图像存在遮挡人脸的区域时截取当前帧图像并存储；
人脸遮挡区域提取单元，连接所述当前帧图像截取单元，用于提取所述当前帧图像中的遮挡住人脸的区域图像；
人脸遮挡区域位置标注单元，连接所述人脸遮挡区域提取单元，用于对提取的所述区域图像在所述当前帧图像上的所处位置进行标注；
前后帧图像截取单元，用于截取所述当前帧图像的前后帧图像并存储；
人脸遮挡区域比对单元，分别连接所述人脸遮挡区域提取单元和所述前后帧图像截取单元，用于将遮挡人脸的所述区域图像与当前帧的前一帧图像或后一帧图像进行图像比对，以确定所述前一帧图像或所述后一帧图像中是否同样存在遮挡人脸的区域；
人脸遮挡区域匹配单元，分别连接所述人脸遮挡区域比对单元、所述当前帧图像截取单元和所述前后帧图像截取单元，用于在所述前一帧图像或所述后一帧图像中不存在人脸遮挡区域时，在所述前一帧图像或所述后一帧图像上匹配出与所述当前帧图像中遮挡住人脸的所述区域图像相同位置处的匹配图像；
匹配图像提取单元，连接所述人脸遮挡区域匹配单元，用于从所述前一帧图像或所述后一帧图像上提取出所述匹配图像并存储；
图像填充单元，连接所述匹配图像提取单元，用于将所述匹配图像填充到所述当前帧图像中的遮挡住人脸的所述区域图像的所处位置处，以实现对所述当前帧图像的修复。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010433641.1A CN111598977B (zh) | 2020-05-21 | 2020-05-21 | 一种表情迁移并动画化的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010433641.1A CN111598977B (zh) | 2020-05-21 | 2020-05-21 | 一种表情迁移并动画化的方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111598977A CN111598977A (zh) | 2020-08-28 |
| CN111598977B true CN111598977B (zh) | 2021-01-29 |
Family
ID=72187604
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010433641.1A Active CN111598977B (zh) | 2020-05-21 | 2020-05-21 | 一种表情迁移并动画化的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111598977B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112270733A (zh) * | 2020-09-29 | 2021-01-26 | 北京五八信息技术有限公司 | Ar表情包的生成方法、装置、电子设备及存储介质 |
| CN112101320A (zh) * | 2020-11-18 | 2020-12-18 | 北京世纪好未来教育科技有限公司 | 模型训练方法、图像生成方法、装置、设备及存储介质 |
| CN112927328B (zh) * | 2020-12-28 | 2023-09-01 | 北京百度网讯科技有限公司 | 表情迁移方法、装置、电子设备及存储介质 |
| TWI792845B (zh) | 2021-03-09 | 2023-02-11 | 香港商數字王國企業集團有限公司 | 追蹤臉部表情的動畫產生方法及其神經網路訓練方法 |
| CN115708120A (zh) * | 2021-08-10 | 2023-02-21 | 腾讯科技（深圳）有限公司 | 脸部图像处理方法、装置、设备以及存储介质 |
| CN113792705B (zh) * | 2021-09-30 | 2024-04-23 | 北京跳悦智能科技有限公司 | 一种视频表情迁移方法及系统、计算机设备 |
| CN113868472A (zh) * | 2021-10-18 | 2021-12-31 | 深圳追一科技有限公司 | 数字人视频的生成方法以及相关设备 |
| CN113870313B (zh) * | 2021-10-18 | 2023-11-14 | 南京硅基智能科技有限公司 | 一种动作迁移方法 |
| CN113870314B (zh) * | 2021-10-18 | 2023-09-19 | 南京硅基智能科技有限公司 | 一种动作迁移模型的训练方法及动作迁移方法 |
| CN114140320B (zh) * | 2021-12-09 | 2023-09-01 | 北京百度网讯科技有限公司 | 图像迁移方法和图像迁移模型的训练方法、装置 |
| CN114998977B (zh) * | 2022-07-28 | 2022-10-21 | 广东玄润数字信息科技股份有限公司 | 一种虚拟直播形象训练系统及方法 |
| CN116228939B (zh) * | 2022-12-13 | 2024-06-21 | 数虹智擎(上海)数字科技有限公司 | 数字人驱动方法、装置、电子设备及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109493403A (zh) * | 2018-11-13 | 2019-03-19 | 北京中科嘉宁科技有限公司 | 一种基于运动单元表情映射实现人脸动画的方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7751599B2 (en) * | 2006-08-09 | 2010-07-06 | Arcsoft, Inc. | Method for driving virtual facial expressions by automatically detecting facial expressions of a face image |
| CN101354795A (zh) * | 2008-08-28 | 2009-01-28 | 北京中星微电子有限公司 | 基于视频的三维人脸动画驱动方法和系统 |
| CN106791032A (zh) * | 2016-11-30 | 2017-05-31 | 世优（北京）科技有限公司 | 静态图像转换为动态影像的方法和装置 |
| CN108399383B (zh) * | 2018-02-14 | 2021-03-23 | 深圳市商汤科技有限公司 | 表情迁移方法、装置存储介质及程序 |
| CN110941332A (zh) * | 2019-11-06 | 2020-03-31 | 北京百度网讯科技有限公司 | 表情驱动方法、装置、电子设备及存储介质 |
-
2020
- 2020-05-21 CN CN202010433641.1A patent/CN111598977B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109493403A (zh) * | 2018-11-13 | 2019-03-19 | 北京中科嘉宁科技有限公司 | 一种基于运动单元表情映射实现人脸动画的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111598977A (zh) | 2020-08-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111598977B (zh) | 一种表情迁移并动画化的方法及系统 | |
| Sharp et al. | Accurate, robust, and flexible real-time hand tracking | |
| Zimmermann et al. | Learning to estimate 3d hand pose from single rgb images | |
| US10854006B2 (en) | AR-enabled labeling using aligned CAD models | |
| US10839585B2 (en) | 4D hologram: real-time remote avatar creation and animation control | |
| WO2018177379A1 (zh) | 手势识别、控制及神经网络训练方法、装置及电子设备 | |
| US11978243B2 (en) | System and method using augmented reality for efficient collection of training data for machine learning | |
| KR100974900B1 (ko) | 동적 임계값을 이용한 마커 인식 장치 및 방법 | |
| Dornaika et al. | Simultaneous facial action tracking and expression recognition in the presence of head motion | |
| CN114041175A (zh) | 一种用于使用真实感合成数据估计头部姿势和视线的神经网络 | |
| WO2013074153A1 (en) | Generating three dimensional models from range sensor data | |
| WO2024001095A1 (zh) | 面部表情识别方法、终端设备及存储介质 | |
| CN111046734A (zh) | 基于膨胀卷积的多模态融合视线估计方法 | |
| US11961266B2 (en) | Multiview neural human prediction using implicit differentiable renderer for facial expression, body pose shape and clothes performance capture | |
| CN112648994B (zh) | 基于深度视觉里程计和imu的相机位姿估计方法及装置 | |
| WO2023168957A1 (zh) | 姿态确定方法、装置、电子设备、存储介质及程序 | |
| CN112308977A (zh) | 视频处理方法、视频处理装置和存储介质 | |
| Lepetit | Recent advances in 3d object and hand pose estimation | |
| Biswas et al. | Halsie: Hybrid approach to learning segmentation by simultaneously exploiting image and event modalities | |
| US11748913B2 (en) | Modeling objects from monocular camera outputs | |
| Lupión et al. | 3D Human Pose Estimation from multi-view thermal vision sensors | |
| KR101189043B1 (ko) | 영상통화 서비스 및 그 제공방법, 이를 위한 영상통화서비스 제공서버 및 제공단말기 | |
| CN110717384B (zh) | 一种视频交互式行为识别方法及装置 | |
| US11410398B2 (en) | Augmenting live images of a scene for occlusion | |
| US20230093827A1 (en) | Image processing framework for performing object depth estimation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP02 | Change in the address of a patent holder |
Address after: 100000 room 311a, floor 3, building 4, courtyard 4, middle Yongchang Road, Beijing Economic and Technological Development Zone, Beijing Patentee after: Beijing Zhongke Shenzhi Technology Co.,Ltd. Address before: 303 platinum international building, block C, fortune World Building, 1 Hangfeng Road, Fengtai District, Beijing Patentee before: Beijing Zhongke Shenzhi Technology Co.,Ltd. |
|
| CP02 | Change in the address of a patent holder | ||
| CP03 | Change of name, title or address |
Address after: Room 911, 9th Floor, Block B, Xingdi Center, Building 2, No.10, Jiuxianqiao North Road, Jiangtai Township, Chaoyang District, Beijing, 100000 Patentee after: Beijing Zhongke Shenzhi Technology Co.,Ltd. Country or region after: China Address before: 100000 room 311a, floor 3, building 4, courtyard 4, middle Yongchang Road, Beijing Economic and Technological Development Zone, Beijing Patentee before: Beijing Zhongke Shenzhi Technology Co.,Ltd. Country or region before: China |
|
| CP03 | Change of name, title or address |