CN116863044A - 人脸模型的生成方法、装置、电子设备及可读存储介质 - Google Patents
人脸模型的生成方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN116863044A CN116863044A CN202310826412.XA CN202310826412A CN116863044A CN 116863044 A CN116863044 A CN 116863044A CN 202310826412 A CN202310826412 A CN 202310826412A CN 116863044 A CN116863044 A CN 116863044A
- Authority
- CN
- China
- Prior art keywords
- face
- model
- vertex
- target
- static
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 230000003068 static effect Effects 0.000 claims abstract description 172
- 230000033001 locomotion Effects 0.000 claims abstract description 92
- 230000014509 gene expression Effects 0.000 claims abstract description 48
- 230000009471 action Effects 0.000 claims abstract description 16
- 230000008921 facial expression Effects 0.000 claims description 37
- 238000012545 processing Methods 0.000 claims description 32
- 239000013598 vector Substances 0.000 claims description 28
- 239000011159 matrix material Substances 0.000 claims description 25
- 210000003205 muscle Anatomy 0.000 claims description 22
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 210000003128 head Anatomy 0.000 description 37
- 238000010586 diagram Methods 0.000 description 9
- 210000000887 face Anatomy 0.000 description 8
- 210000001097 facial muscle Anatomy 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 238000013519 translation Methods 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 4
- 210000002027 skeletal muscle Anatomy 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 240000004282 Grewia occidentalis Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
Abstract
本发明提供了一种人脸模型的生成方法、装置、电子设备及可读存储介质，该方法包括：获取目标人脸的静态目标模型，以及包含有所述目标人脸的第一视频数据；根据所述静态目标模型上的顶点，从所述第一视频数据中提取得到所述目标人脸的表情对应的顶点运动轨迹；通过所述顶点运动轨迹驱动所述静态目标模型上的顶点偏移，生成所述目标人脸的动态目标模型。本发明能够解决现有技术中的人脸模型生成方式不能获得具有表情动作的动态人脸模型的问题。
Description
技术领域
本发明涉及通信技术领域，尤其涉及一种人脸模型的生成方法、装置、电子设备及可读存储介质。
背景技术
现有技术中生成3D虚拟形象(也即是3D人脸模型或称为数字人)的方式有以下几种：(1)基于一个参数化三维人脸模型，通过改变参数值来得到最终形状的人脸模型。(2)基于目标人脸的单张图像或多张图像，通过计算机算法获得三维人脸模型。目前的这些人脸模型生成方式均是得到单一动作的人脸模型(也即是静态的人脸模型)，无法得到具有表情动作的动态人脸模型。
发明内容
本发明提供一种人脸模型的生成方法、装置、电子设备及可读存储介质，解决了现有技术中的人脸模型生成方式不能获得具有表情动作的动态人脸模型的问题。
本发明的实施例提供一种人脸模型的生成方法，包括：
获取目标人脸的静态目标模型，以及包含有所述目标人脸的第一视频数据；
根据所述静态目标模型上的顶点，从所述第一视频数据中提取得到所述目标人脸的表情对应的顶点运动轨迹；
通过所述顶点运动轨迹驱动所述静态目标模型上的顶点偏移，生成所述目标人脸的动态目标模型。
可选地，所述获取目标人脸的静态目标模型，包括：
获取一基础人脸模型，以及目标人脸的静态初始模型；其中，所述基础人脸模型上的顶点包括：人脸特征关键点和/或人脸肌肉流向的关键点，所述静态初始模型基于目标人脸的图像数据生成；
根据所述静态初始模型，对所述基础人脸模型进行几何形变处理，得到所述静态目标模型；其中，所述基础人脸模型与所述静态目标模型具有相同的顶点拓扑结构。
可选地，所述根据所述静态初始模型，对所述基础人脸模型进行几何形变处理，得到所述静态目标模型，包括：
确定所述静态初始模型上的第一顶点；其中，所述第一顶点是与所述基础人脸模型上的第二顶点一一对应的一个或多个顶点；
根据所述第一顶点和所述第二顶点，将所述静态初始模型与所述基础人脸模型进行空间对齐；
根据所述静态初始模型的形状，对所述基础人脸模型进行几何形变处理，得到与所述静态初始模型的形状相似的基础人脸模型；
将与所述静态初始模型的形状相似的的基础人脸模型，确定为所述静态目标模型。
可选地，所述根据所述第一顶点和所述第二顶点，将所述静态初始模型与所述基础人脸模型进行空间对齐，包括：
从所述第一顶点和所述第二顶点中，确定相同的多个关键顶点；
根据所述静态初始模型对应的所述关键顶点的位置信息，以及所述基础人脸模型对应的所述关键顶点的位置信息，构建空间对齐向量；
根据所述空间对齐向量，调整所述第一顶点和/或所述第二顶点的位置信息，将所述静态初始模型与所述基础人脸模型进行空间对齐。
可选地，所述根据所述静态初始模型对应的所述关键顶点的位置信息，以及所述基础人脸模型对应的所述关键顶点的位置信息，构建空间对齐向量，包括：
根据所述静态初始模型上的所述关键顶点相对于第一质心的位置偏移，构建第一矩阵；其中，所述第一质心是所述静态初始模型上所述关键顶点的质心；
根据所述基础人脸模型上的所述关键顶点相对于第二质心的位置偏移，构建第二矩阵；其中，所述第二质心是所述基础人脸模型上所述关键顶点的质心；
根据所述第一矩阵、所述第二矩阵、所述第一质心的位置信息和所述第二质心的位置信息，构建所述空间对齐向量。
可选地，所述根据所述静态目标模型上的顶点，从所述第一视频数据中提取得到所述目标人脸的表情对应的顶点运动轨迹，包括：
根据所述静态目标模型上的顶点，从所述第一视频数据中的目标人脸提取与所述顶点对应的人脸特征，获得所述目标人脸的头部动作数据；
根据所述静态目标模型上的顶点，对所述第一视频数据中的所述目标人脸进行表情识别处理，得到与所述顶点对应的人脸表情数据；
从所述人脸表情数据中排除所述头部动作数据，得到所述目标人脸的表情对应的顶点运动轨迹。
可选地，所述根据所述静态目标模型上的顶点，从所述第一视频数据中的目标人脸提取与所述顶点对应的人脸特征，获得所述目标人脸的头部动作数据，包括：
将所述静态目标模型对应的三维的顶点拓扑结构，投影得到二维的顶点拓扑结构；
从所述第一视频数据中的多个关键帧中，分别提取得到目标人脸上多个关键点的人脸特征；
根据所述二维的顶点拓扑结构与所述多个关键帧的人脸特征，获得所述目标人脸的头部动作数据。
可选地，所述根据所述二维的顶点拓扑结构与所述多个关键帧的人脸特征，获得所述目标人脸的头部动作数据，包括：
将多个关键帧的人脸特征进行归一化处理，得到每个关键帧中对应正面标准人脸的人脸特征；
根据所述二维的顶点拓扑结构，以及每个关键帧中对应正面标准人脸的人脸特征，通过非线性最小二乘算法计算得到所述目标人脸的头部动作数据。
可选地，所述根据所述静态目标模型上的顶点，对所述第一视频数据中的所述目标人脸进行表情识别处理，得到与所述顶点对应的人脸表情数据，包括：
确定所述第一视频数据的多个关键帧中的所述目标人脸的人脸肌肉区域；
根据所述静态目标模型上对应人脸肌肉流向的顶点，对所述目标人脸的人脸肌肉区域进行表情识别处理，得到与所述顶点对应的人脸表情数据。
可选地，所述通过所述顶点运动轨迹驱动所述静态目标模型上的顶点偏移，生成所述目标人脸的动态目标模型，包括：
确定所述静态目标模型上与所述顶点运动轨迹对应的多个关键顶点；
将所述顶点运动轨迹的顶点数据一一对应地叠加到所述多个关键顶点的顶点数据上，驱动所述静态目标模型上的顶点偏移，生成所述目标人脸的动态目标模型。
本发明实施例还提供一种人脸模型的生成装置，包括：
获取模块，用于获取目标人脸的静态目标模型，以及包含有所述目标人脸的第一视频数据；
提取模块，用于根据所述静态目标模型上的顶点，从所述第一视频数据中提取得到所述目标人脸的表情对应的顶点运动轨迹；
生成模块，用于通过所述顶点运动轨迹驱动所述静态目标模型上的顶点偏移，生成所述目标人脸的动态目标模型。
本发明实施例还提供一种电子设备，其特征在于，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的人脸模型的生成方法的步骤。
本发明实施例还提供一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的人脸模型的生成方法的步骤。
本发明的实施例，获取目标人脸的静态目标模型，以及包含有所述目标人脸的第一视频数据，以及根据所述静态目标模型上的顶点，从所述第一视频数据中提取得到所述目标人脸的表情对应的顶点运动轨迹，并通过所述顶点运动轨迹驱动所述静态目标模型上的顶点偏移，生成所述目标人脸的动态目标模型。这样即获得了通过目标人脸的表情对应的顶点运动轨迹驱动的目标人脸的动态目标模型，即获得具有人脸表情的动态人脸模型，解决了现有技术中的人脸模型生成方式不能获得具有表情动作的动态人脸模型的问题。
附图说明
图1表示本发明实施例的人脸模型的生成方法的流程图；
图2表示本发明实施例的基础人脸模型的示意图；
图3a表示本发明实施例的人脸轮廓关键点的运动轨迹示意图之一；
图3b表示本发明实施例的人脸轮廓关键点的运动轨迹示意图之二；
图3c表示本发明实施例的人脸轮廓关键点的运动轨迹示意图之三；
图4表示本发明实施例的双流级联深度网络的示意图；
图5表示本发明实施例的顶点运动轨迹驱动静态目标模型的示意图；
图6表示本发明实施例的人脸模型的生成装置的框图；
图7表示本发明实施例的电子设备的框图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。在下面的描述中，提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本发明的实施例。因此，本领域技术人员应该清楚，可以对这里描述的实施例进行各种改变和修改而不脱离本发明的范围和精神。另外，为了清楚和简洁，省略了对已知功能和构造的描述。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
在本发明的各种实施例中，应理解，下述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。另外，本文中术语“系统”和“网络”在本文中常可互换使用。
在本发明所提供的实施例中，应理解，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其它信息确定B。
如图1所示，本发明实施例提供一种人脸模型的生成方法，包括以下步骤：
步骤11：获取目标人脸的静态目标模型，以及包含有所述目标人脸的第一视频数据。
可选地，所述静态目标模型的顶点拓扑结构中包括：人脸特征关键点和/或人脸肌肉流向的关键点，以便于更好的结合顶点运动轨迹获得具有人脸表情的动态目标模型。
例如：静态目标模型的顶点拓扑结构可以是：基于单张或多张目标人脸的图像数据(包括视频数据等)生成静态人脸模型的拓扑结构，再添加补充一定的人脸特征关键点和/或人脸肌肉流向的关键点得到。或者也可以是基于预先配置的包含有人脸特征关键点和/或人脸肌肉流向的关键点的顶点拓扑结构的基础人脸模型，通过几何形变等操作得到等，本发明实施例不以此为限。
可选地，第一视频数据可以通过相机等图形采集设备采集单张或多张目标人脸的图像数据得到，一般帧率为200fps。或者基于帧率30fps采集视频数据，并且采集第一视频数据时同步获得相机内参及外参(比如也可以只获得采集正面人脸的相机的内外参等)。该实施例中，考虑微表情的持续时间非常短，一般持续时间不超过500毫秒。为了保证通用性，可采用时域插值模型增加微表情片段所包含的图像数从而延长了微表情的持续时间。
步骤12：根据所述静态目标模型上的顶点，从所述第一视频数据中提取得到所述目标人脸的表情对应的顶点运动轨迹。
可选地，所述顶点运动轨迹包括人脸肌肉流向的关键点的运动轨迹，以更好的反映人脸表情动作。
步骤13：通过所述顶点运动轨迹驱动所述静态目标模型上的顶点偏移，生成所述目标人脸的动态目标模型。
该实施例中，获取目标人脸的静态目标模型，以及包含有所述目标人脸的第一视频数据，以及根据所述静态目标模型上的顶点，从所述第一视频数据中提取得到所述目标人脸的表情对应的顶点运动轨迹，并通过所述顶点运动轨迹驱动所述静态目标模型上的顶点偏移，生成所述目标人脸的动态目标模型。这样即获得了通过目标人脸的表情对应的顶点运动轨迹驱动的目标人脸的动态目标模型，即获得具有人脸表情的动态人脸模型，解决了现有技术中的人脸模型生成方式不能获得具有表情动作的动态人脸模型的问题。
可选地，所述获取目标人脸的静态目标模型，包括：
获取一基础人脸模型，以及目标人脸的静态初始模型；其中，所述基础人脸模型上的顶点包括：人脸特征关键点和/或人脸肌肉流向的关键点，所述静态初始模型基于目标人脸的图像数据生成；
根据所述静态初始模型，对所述基础人脸模型进行几何形变处理，得到所述静态目标模型；其中，所述基础人脸模型与所述静态目标模型具有相同的顶点拓扑结构。
可选地，基于目标人脸的图像数据生成静态初始模型时，该目标人脸的图像数据可以是体现目标人脸多角度人脸特征的图像数据，或者体现目标人脸主要人脸特征的图像数据(比如包含眼睛、鼻子、嘴巴等的正面人脸图像)等，本发明实施例不以此为限。例如：静态初始模型可以采用以下方式获得：
方式1：线下人脸三维扫描获取多个固定角度的目标人脸的人脸照片(即目标人脸的图像数据)，再通过计算机视觉算法(比如三维重建算法)得到与目标人脸高度保真的静态初始模型(也可以称为数字人)。
方式2：通过检测目标人脸的单张照片(即目标人脸的图像数据)的人脸关键点，基于关键点将二维人脸照片拟合到一个三维可变形人脸模型(3DMM)，从而可求解出3DMM的形状和纹理系数。其中，3DMM是从一个三维人脸数据库训练学习得到人脸的基向量空间表示。基于3DMM求解任意三维人脸的模型，等价于求解各个基向量的系数。因此根据求解的形状和纹理系数可得到与二维人脸照片中的目标人脸一致的三维静态初始模型。
考虑到目前的人脸模型生产方法不能很好的结合人脸表情动作，本发明实施例中，通过预先配置一包含有人脸特征关键点和/或人脸肌肉流向的关键点的顶点拓扑结构的基础人脸模型，并按照上述方式获得的静态初始模型的形状对该基础人脸模型进行形变处理，得到具有目标人脸形状、且包含有人脸特征关键点和/或人脸肌肉流向的关键点的顶点拓扑结构的静态目标模型，以更好的结合人脸表情动作，得到具有人脸表情的动态人脸模型。
具体的，基础人脸模型(base mesh，BM)可以由动画建模师提供，并已标记好三维人脸关键点并编号，即关键点对应的几何模型顶点。同时根据面部肌肉分布和骨骼肌肉运动特征标记肌肉运动流方向，不同肌肉运动方向所涉及的模型顶点用不同颜色标记，颜色信息作为附加数据写入模型顶点数据。从骨骼肌肉动力学角度，肌肉运动导致皮肤形变从而产生面部表情。从计算机动画角度，面部表情的实现是修改模型顶点的空间位置。因此，建立在面部骨骼肌肉运动特征的模型关键顶点区域划分符合面部表情产生的物理规律，如图2所示，在该基础人脸模型中每个线条所覆盖的顶点集合为面部表情发生的关键区域。
可选地，所述根据所述静态初始模型，对所述基础人脸模型进行几何形变处理，得到所述静态目标模型，包括：
确定所述静态初始模型上的第一顶点；其中，所述第一顶点是与所述基础人脸模型上的第二顶点一一对应的一个或多个顶点；
根据所述第一顶点和所述第二顶点，将所述静态初始模型与所述基础人脸模型进行空间对齐；
根据所述静态初始模型的形状，对所述基础人脸模型进行几何形变处理，得到与所述静态初始模型的形状相似的基础人脸模型；
将与所述静态初始模型的形状相似的的基础人脸模型，确定为所述静态目标模型。
该实施例中，将静态初始模型与基础人脸模型先粗对齐，再对基础人脸模型进行几何形变，完成对静态初始模型的包裹(比如基于粗对齐后关键点的对齐关系，通过拉普拉斯形变，将基础人脸模型形变逼近静态初始模型的几何形状，完成对静态初始模型的包裹)，得到具有目标人脸形状、且包含有人脸特征关键点和/或人脸肌肉流向的关键点的顶点拓扑结构的静态目标模型。
可选地，所述根据所述第一顶点和所述第二顶点，将所述静态初始模型与所述基础人脸模型进行空间对齐，包括：
从所述第一顶点和所述第二顶点中，确定相同的多个关键顶点；
根据所述静态初始模型对应的所述关键顶点的位置信息，以及所述基础人脸模型对应的所述关键顶点的位置信息，构建空间对齐向量；
根据所述空间对齐向量，调整所述第一顶点和/或所述第二顶点的位置信息，将所述静态初始模型与所述基础人脸模型进行空间对齐。
其中，多个关键顶点数量最少为3个。当然其数量也可以大于3，并按照3个关键顶点为一组，构建空间对齐向量，以使得计算结果更精确。
可选地，所述根据所述静态初始模型对应的所述关键顶点的位置信息，以及所述基础人脸模型对应的所述关键顶点的位置信息，构建空间对齐向量，包括：
根据所述静态初始模型上的所述关键顶点相对于第一质心的位置偏移，构建第一矩阵；其中，所述第一质心是所述静态初始模型上所述关键顶点的质心；
根据所述基础人脸模型上的所述关键顶点相对于第二质心的位置偏移，构建第二矩阵；其中，所述第二质心是所述基础人脸模型上所述关键顶点的质心；
根据所述第一矩阵、所述第二矩阵、所述第一质心的位置信息和所述第二质心的位置信息，构建所述空间对齐向量。
具体的，通过人脸关键点检测器从静态初始模型的纹理贴图检测出语义上与基础人脸模型的顶点编号一致的二维人脸关键点。由于三维模型中纹理贴图的像素点是通过UV映射和基础人脸模型的顶点一一对应，因此静态初始模型纹理贴图的像素级人脸关键点通过UV映射关系，即可得到与基础人脸模型上对应的顶点，即得到静态初始模型的三维的顶点拓扑结构。
基于映射的静态初始模型的三维的顶点拓扑结构，以及基础人脸模型的顶点拓扑结构，分别从两个模型中选择三个编号对齐且非共线的顶点(这里可以选择人脸关键点)，并分别以A和B表示。其中，A表示这3个顶点在静态初始模型中，B表示这3个顶点在基础人脸模型中，并分别以PA表示这3个顶点在静态初始模型中的位置信息，以PB表示这3个顶点在基础人脸模型中的位置信息。
进一步地，基于PA计算这3个顶点在静态初始模型中质心centroid A(即第一质心)，以及基于PB计算这3个顶点在基础人脸模型中的质心centroid B(即第二质心)。并基于P＝PA-centroid A构建得到第一矩阵P，以及基于Q＝PB-centroid B，构建得到第二矩阵Q。
基于上述第一矩阵P、第二矩阵Q、质心centroid A和质心centroid B，构建得到空间对齐向量t：t＝-R×centroid A+centroid B；其中，R＝PQT。这样基于该空间对齐向量，可以调整所述第一顶点和/或所述第二顶点的位置信息，以使得静态初始模型和/或所述基础人脸模型旋转到相同的方向且处于同一位置，即实现所述静态初始模型与所述基础人脸模型在空间对齐。
可选地，所述根据所述静态目标模型上的顶点，从所述第一视频数据中提取得到所述目标人脸的表情对应的顶点运动轨迹，包括：
根据所述静态目标模型上的顶点，从所述第一视频数据中的目标人脸提取与所述顶点对应的人脸特征，获得所述目标人脸的头部动作数据；
根据所述静态目标模型上的顶点，对所述第一视频数据中的所述目标人脸进行表情识别处理，得到与所述顶点对应的人脸表情数据；
从所述人脸表情数据中排除所述头部动作数据，得到所述目标人脸的表情对应的顶点运动轨迹。
该实施例中，考虑第一视频数据中的各关键帧的人脸关键点位置是动态的，因此每个关键点偏移都形成了一条运动轨迹。而经过上述表情识别获得的人脸表情数据，去除了头部动作数据的成分(比如头部动作数据可以包括头部的旋转角度，头部平移向量等)，从而获得了真实的表情驱动数据(即目标人脸的表情对应的顶点运动轨迹)。如图3a、图3b和图3c所示，其中面部线条分别从三个角度可视化了人脸轮廓关键点的运动轨迹，由于该运动轨迹已去除了头部动作数据的成分，从而获得了真实的表情驱动数据。
可选地，所述根据所述静态目标模型上的顶点，从所述第一视频数据中的目标人脸提取与所述顶点对应的人脸特征，获得所述目标人脸的头部动作数据，包括：
将所述静态目标模型对应的三维的顶点拓扑结构，投影得到二维的顶点拓扑结构；
从所述第一视频数据中的多个关键帧中，分别提取得到目标人脸上多个关键点的人脸特征；
根据所述二维的顶点拓扑结构与所述多个关键帧的人脸特征，获得所述目标人脸的头部动作数据。
例如：将所述静态目标模型对应的三维的顶点拓扑结构，投影得到二维的顶点拓扑结构，具体为：将静态目标模型的坐标系变换到世界坐标系中，在世界坐标系下设置观察点(即相机位置以及相机方向，具体由相机外参平移向量决定)，把世界坐标系下的坐标变换到相机空间，最后由上述相机内外参构成的透视矩阵投影到二维，即得到二维的顶点拓扑结构。
其中，透视矩阵表示为：
其中，(u,v)表示第一视频数的关键帧中目标人脸的关键点的像素坐标，(Xw，Yw，Zw)为静态目标模型对应的三维的顶点拓扑结构的顶点坐标，(u0,v0)表示像素空间的原点，为为相机内参的焦距。[R T]为头部动作数据，其中R表示头部旋转角度，T表示头部平移向量。
这样基于上述透视矩阵将所述静态目标模型对应的三维的顶点拓扑结构，投影得到二维的顶点拓扑结构，以能够与第一视频数据中采集的二维人脸关键点的人脸特征进行统一，进而获得所述目标人脸的头部动作数据。
可选地，所述根据所述二维的顶点拓扑结构与所述多个关键帧的人脸特征，获得所述目标人脸的头部动作数据，包括：
将多个关键帧的人脸特征进行归一化处理，得到每个关键帧中对应正面标准人脸的人脸特征；
根据所述二维的顶点拓扑结构，以及每个关键帧中对应正面标准人脸的人脸特征，通过非线性最小二乘算法计算得到所述目标人脸的头部动作数据。
例如：通过仿射变换(α,β,γ)即头部在三轴的旋转角度，对第一视频数据中多个关键帧在不同姿态下的人脸关键点对齐到正面标准人脸，即归一化多个关键帧的人脸特征，以尽可能的消除人脸形变和头部动作对于人脸表情运动估计的影响。
具体的，从所述第一视频数据中提取得到目标人脸的头部动作数据，即头部动作估计，可转换为如何旋转三维人脸模型到一定角度并投影到像素空间，经过二维投影的静态目标模型的顶点集合Pc与第一视频数据中的关键帧检测出的二维人脸关键点尽量重合，即满足误差最小，从而计算得到头部动作数据。
比如上述头部动作估计的问题可以转换为非线性最小二乘方程算法来计
算得到，其中非线性最小二乘方程表示为：
基于该非线性最小二乘方程，采用高斯牛顿法(Levenberg–Marquardt)，即可求解得到头部旋转角度(α,β,γ)和头部的平移向量T，即获得第一视频数据中目标人脸的头部动作数据。
其中，(α,β,γ)代表头部绕三轴的旋转角度，Pi表示静态目标模型的三维的顶点拓扑结构中的顶点(也即是三维关键点)，fi为第一视频数的关键帧中目标人脸的关键点i的像素空间位置信息(即人脸特征)，i表示关键点的编号。P roj()为二维投影矩阵，T为头部的平移向量，|B|表示中的元素个数，R()为三轴角度对应的3×3旋转矩阵。
可选地，所述根据所述静态目标模型上的顶点，对所述第一视频数据中的所述目标人脸进行表情识别处理，得到与所述顶点对应的人脸表情数据，包括：
确定所述第一视频数据的多个关键帧中的所述目标人脸的人脸肌肉区域；
根据所述静态目标模型上对应人脸肌肉流向的顶点，对所述目标人脸的人脸肌肉区域进行表情识别处理，得到与所述顶点对应的人脸表情数据。
具体的，人脸关键点运动轨迹较好地表达了宏观表情的运动，考虑目前的微表情识别只集中于人脸图像的关键区域(即人脸特征点，比如眼睛、鼻子、嘴巴、眉毛等)，并不能很好的表达人脸表情动作，而本发明实施例中则考虑人脸肌肉区域(即上述基础人脸模型中的面部肌肉和骨骼肌肉区域等)识别微表情特征。
其中，在通过神经网络进行微表情识别时，可以采用四角面片或三角面片等划分方式，具体取决于基础人脸模型的划分方式。例如：为了能够模拟非常细腻的面部表情，需要对基础人脸模型进行网格细分。由于网格细分会极大增加面片(网格上的三角形或四边形)和顶点数量，从而会极大增加数据存储量和渲染成像时间，故本发明实施例中可以采用自适应细分方法，在关键区域(比如重点采集面部表情的区域)加大细分迭代次数，而在非关键区域只执行细分关键区域一半的细分次数。其中，细分的次数可控，一般为4次，取决于基础人脸模型的顶点数量，其数量越多，细分迭代次数越少。可选地，四角面片划分方式可以采用Catmull–Clark细分算法，三角面片划分方式可以采用Loop细分算法等，本发明实施例不以此为限。
在微表情识别中，一个微表情视频序列以Onset帧开始，以Offset帧结束，通常保持中性的表情。其中，Apex帧是在序列中变化强度最大的一帧。一个微表情序列的Apex帧，在微表情分类中能提供丰富的特征。考虑光流图像可以较好地表达微表情的运动，可以降低微表情识别歧义，在应用中使用光流可以显著提高识别准确率，将Apex帧检测、光流、关键点信息融合输入到一个深度网络，识别准确率可得到显著提升。而在本发明实施例中的表情识别，主要目的在于识别持续时间与人脸关键区域像素变化均最明显的微表情，即实现与面部表情动画流程兼容的动态微表情识别，同时考虑Apex帧检测耗时较长，但是用于提取微表情的第一视频数据的视频时长可能较短，将造成Apex检测的准确率降低，因此本发明实施例采用双流级联深度网络，来提取微表情数据。
具体的，本发明实施例中的双流级联深度网络可以在CASEME，SAMM，MMVIEW这三种数据集中训练深度网络。比如采用Lucas-Kanade计算人脸视频关键帧光流，采用长短期记忆(LSTM)模型处理持续时间未知的时间序列，采用focal loss增强分类未知的微表情。这样可以使得微表情不局限于微表情识别训练数据集所定义好的微表情类别，以更好的表示个性化的多种面部细微变化。
例如：由于微表情之间的差异不是很明显，可能只集中于图像的某部分细节，这就需要对图像需要精细处理。因此本发明实施例中的双流级联深度网络选用小的3×3卷积核同时增加层数。如图4所示，给出了采用VGGFace2作为backbone网络的级联结构的双流级联深度网络，具体为：人脸灰度图输入一个backbone网络，光流图输入一个backbone网络，每个backbone网络级联2个LSTM模型，再级联一个特征融合层和一个全连接层。其中，backbone网络分别用来提取人脸特征点，光流图在微表情关键区域的特征。
基于上述构建的双流级联深度网络预测个性化微表情，即基于该双流级联深度网络从所述第一视频数据中识别得到目标人脸的人脸表情数据，具体实施细节为：对第一视频数据的关键帧进行归一化处理，得到224*224大小的关键帧，使其符合该双流级联深度网络的输入要求。通过该双流级联深度网络预测出采集的第一视频数据中持续时长及变化最为显著的微表情，并采用基于相位的视频动作放大识别出的代表个性化的微表情，即得到目标人脸的人脸表情数据。进一步地将该目标人脸的人脸表情数据去除掉头部动作数据，并采用顶点运动的轨迹向量来表示，即得到目标人脸的表情对应的顶点运动轨迹。
可选地，所述通过所述顶点运动轨迹驱动所述静态目标模型上的顶点偏移，生成所述目标人脸的动态目标模型，包括：
确定所述静态目标模型上与所述顶点运动轨迹对应的多个关键顶点；
将所述顶点运动轨迹的顶点数据一一对应地叠加到所述多个关键顶点的顶点数据上，驱动所述静态目标模型上的顶点偏移，生成所述目标人脸的动态目标模型。
该实施例中，基于人脸关键点估计表情运动的系数(即顶点运动轨迹)，再根据系数融合使得人脸模型生成面部表情，即是将上述顶点运动轨迹按照顶点编号叠加到静态目标模型上相应编号的顶点系数中，从而驱动静态目标模型上顶点位移，即可复刻视频数据中的微表情到人脸模型，即得到动态人脸模型，如图5所示，在表情动画驱动中，个性化微表情在人脸模型重现为：嘴角右侧微微向右形变，额头区域微微向上形变。
如图6所示，本发明实施例还提供一种人脸模型的生成装置600，包括：
获取模块610，用于获取目标人脸的静态目标模型，以及包含有所述目标人脸的第一视频数据；
提取模块620，用于根据所述静态目标模型上的顶点，从所述第一视频数据中提取得到所述目标人脸的表情对应的顶点运动轨迹；
生成模块630，用于通过所述顶点运动轨迹驱动所述静态目标模型上的顶点偏移，生成所述目标人脸的动态目标模型。
可选地，所述获取模块610包括：
获取子模块，用于获取一基础人脸模型，以及目标人脸的静态初始模型；其中，所述基础人脸模型上的顶点包括：人脸特征关键点和/或人脸肌肉流向的关键点，所述静态初始模型基于目标人脸的图像数据生成；
形变子模块，用于根据所述静态初始模型，对所述基础人脸模型进行几何形变处理，得到所述静态目标模型；其中，所述基础人脸模型与所述静态目标模型具有相同的顶点拓扑结构。
可选地，所述形变子模块还包括：
第一确定单元，用于确定所述静态初始模型上的第一顶点；其中，所述第一顶点是与所述基础人脸模型上的第二顶点一一对应的一个或多个顶点；
对齐单元，用于根据所述第一顶点和所述第二顶点，将所述静态初始模型与所述基础人脸模型进行空间对齐；
形变单元，用于根据所述静态初始模型的形状，对所述基础人脸模型进行几何形变处理，得到与所述静态初始模型的形状相似的基础人脸模型；
第二确定单元，用于将与所述静态初始模型的形状相似的的基础人脸模型，确定为所述静态目标模型。
可选地，所述形变单元还用于：
从所述第一顶点和所述第二顶点中，确定相同的多个关键顶点；
根据所述静态初始模型对应的所述关键顶点的位置信息，以及所述基础人脸模型对应的所述关键顶点的位置信息，构建空间对齐向量；
根据所述空间对齐向量，调整所述第一顶点和/或所述第二顶点的位置信息，将所述静态初始模型与所述基础人脸模型进行空间对齐。
可选地，所述形变单元执行根据所述静态初始模型对应的所述关键顶点的位置信息，以及所述基础人脸模型对应的所述关键顶点的位置信息，构建空间对齐向量的步骤，还具体包括：
根据所述静态初始模型上的所述关键顶点相对于第一质心的位置偏移，构建第一矩阵；其中，所述第一质心是所述静态初始模型上所述关键顶点的质心；
根据所述基础人脸模型上的所述关键顶点相对于第二质心的位置偏移，构建第二矩阵；其中，所述第二质心是所述基础人脸模型上所述关键顶点的质心；
根据所述第一矩阵、所述第二矩阵、所述第一质心的位置信息和所述第二质心的位置信息，构建所述空间对齐向量。
可选地，所述提取模块620包括：
提取子模块，用于根据所述静态目标模型上的顶点，从所述第一视频数据中的目标人脸提取与所述顶点对应的人脸特征，获得所述目标人脸的头部动作数据；
识别子模块，用于根据所述静态目标模型上的顶点，对所述第一视频数据中的所述目标人脸进行表情识别处理，得到与所述顶点对应的人脸表情数据；
处理子模块，用于从所述人脸表情数据中排除所述头部动作数据，得到所述目标人脸的表情对应的顶点运动轨迹。
可选地，所述提取子模块包括：
投影单元，用于将所述静态目标模型对应的三维的顶点拓扑结构，投影得到二维的顶点拓扑结构；
提取单元，用于从所述第一视频数据中的多个关键帧中，分别提取得到目标人脸上多个关键点的人脸特征；
处理单元，用于根据所述二维的顶点拓扑结构与所述多个关键帧的人脸特征，获得所述目标人脸的头部动作数据。
可选地，所述处理单元还用于：
将多个关键帧的人脸特征进行归一化处理，得到每个关键帧中对应正面标准人脸的人脸特征；
根据所述二维的顶点拓扑结构，以及每个关键帧中对应正面标准人脸的人脸特征，通过非线性最小二乘算法计算得到所述目标人脸的头部动作数据。
可选地，所述识别子模块包括：
第三确定单元，用于确定所述第一视频数据的多个关键帧中的所述目标人脸的人脸肌肉区域；
识别单元，用于根据所述静态目标模型上对应人脸肌肉流向的顶点，对所述目标人脸的人脸肌肉区域进行表情识别处理，得到与所述顶点对应的人脸表情数据。
可选地，所述生成模块630包括：
确定子模块，用于确定所述静态目标模型上与所述顶点运动轨迹对应的多个关键顶点；
生成子模块，用于将所述顶点运动轨迹的顶点数据一一对应地叠加到所述多个关键顶点的顶点数据上，驱动所述静态目标模型上的顶点偏移，生成所述目标人脸的动态目标模型。
需要说明的是，本发明实施例中的上述装置能够实现上述人脸模型的生成方法的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
如图7所示，本发明实施例还提供一种电子设备，包括：处理器71；以及通过总线接口72与所述处理器71相连接的存储器73，所述存储器73用于存储所述处理器71在执行操作时所使用的程序和数据，处理器71调用并执行所述存储器73中所存储的程序和数据。其中，收发机74与总线接口72连接，用于在处理器71的控制下接收和发送数据；处理器71用于读取存储器73中的程序实现上述人脸模型的生成方法的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，在图7中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器71代表的一个或多个处理器和存储器73代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发机74可以是多个元件，即包括发送机和收发机，提供用于在传输介质上与各种其他装置通信的单元。针对不同的终端，用户接口75还可以是能够外接内接需要设备的接口，连接的设备包括但不限于小键盘、显示器、扬声器、麦克风、操纵杆等。处理器71负责管理总线架构和通常的处理，存储器73可以存储处理器71在执行操作时所使用的数据。
本领域技术人员可以理解，实现上述实施例的全部或者部分步骤可以通过硬件来完成，也可以通过计算机程序来指示相关的硬件来完成，所述计算机程序包括执行上述方法的部分或者全部步骤的指令；且该计算机程序可以存储于一可读存储介质中，存储介质可以是任何形式的存储介质。
另外，本发明具体实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的人脸模型的生成方法中的步骤。且能达到相同的技术效果，为避免重复，这里不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述收发方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述的是本发明的优选实施方式，应当指出对于本技术领域的普通人员来说，在不脱离本发明所述的原理前提下还可以作出若干改进和润饰，这些改进和润饰也在本发明的保护范围内。
Claims (13)
1.一种人脸模型的生成方法，其特征在于，包括：
获取目标人脸的静态目标模型，以及包含有所述目标人脸的第一视频数据；
根据所述静态目标模型上的顶点，从所述第一视频数据中提取得到所述目标人脸的表情对应的顶点运动轨迹；
通过所述顶点运动轨迹驱动所述静态目标模型上的顶点偏移，生成所述目标人脸的动态目标模型。
2.根据权利要求1所述的方法，其特征在于，所述获取目标人脸的静态目标模型，包括：
获取一基础人脸模型，以及目标人脸的静态初始模型；其中，所述基础人脸模型上的顶点包括：人脸特征关键点和/或人脸肌肉流向的关键点，所述静态初始模型基于目标人脸的图像数据生成；
根据所述静态初始模型，对所述基础人脸模型进行几何形变处理，得到所述静态目标模型；其中，所述基础人脸模型与所述静态目标模型具有相同的顶点拓扑结构。
3.根据权利要求2所述的方法，其特征在于，所述根据所述静态初始模型，对所述基础人脸模型进行几何形变处理，得到所述静态目标模型，包括：
确定所述静态初始模型上的第一顶点；其中，所述第一顶点是与所述基础人脸模型上的第二顶点一一对应的一个或多个顶点；
根据所述第一顶点和所述第二顶点，将所述静态初始模型与所述基础人脸模型进行空间对齐；
根据所述静态初始模型的形状，对所述基础人脸模型进行几何形变处理，得到与所述静态初始模型的形状相似的基础人脸模型；
将与所述静态初始模型的形状相似的的基础人脸模型，确定为所述静态目标模型。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一顶点和所述第二顶点，将所述静态初始模型与所述基础人脸模型进行空间对齐，包括：
从所述第一顶点和所述第二顶点中，确定相同的多个关键顶点；
根据所述静态初始模型对应的所述关键顶点的位置信息，以及所述基础人脸模型对应的所述关键顶点的位置信息，构建空间对齐向量；
根据所述空间对齐向量，调整所述第一顶点和/或所述第二顶点的位置信息，将所述静态初始模型与所述基础人脸模型进行空间对齐。
5.根据权利要求4所述的方法，其特征在于，所述根据所述静态初始模型对应的所述关键顶点的位置信息，以及所述基础人脸模型对应的所述关键顶点的位置信息，构建空间对齐向量，包括：
根据所述静态初始模型上的所述关键顶点相对于第一质心的位置偏移，构建第一矩阵；其中，所述第一质心是所述静态初始模型上所述关键顶点的质心；
根据所述基础人脸模型上的所述关键顶点相对于第二质心的位置偏移，构建第二矩阵；其中，所述第二质心是所述基础人脸模型上所述关键顶点的质心；
根据所述第一矩阵、所述第二矩阵、所述第一质心的位置信息和所述第二质心的位置信息，构建所述空间对齐向量。
6.根据权利要求1所述的方法，其特征在于，所述根据所述静态目标模型上的顶点，从所述第一视频数据中提取得到所述目标人脸的表情对应的顶点运动轨迹，包括：
根据所述静态目标模型上的顶点，从所述第一视频数据中的目标人脸提取与所述顶点对应的人脸特征，获得所述目标人脸的头部动作数据；
根据所述静态目标模型上的顶点，对所述第一视频数据中的所述目标人脸进行表情识别处理，得到与所述顶点对应的人脸表情数据；
从所述人脸表情数据中排除所述头部动作数据，得到所述目标人脸的表情对应的顶点运动轨迹。
7.根据权利要求6所述的方法，其特征在于，所述根据所述静态目标模型上的顶点，从所述第一视频数据中的目标人脸提取与所述顶点对应的人脸特征，获得所述目标人脸的头部动作数据，包括：
将所述静态目标模型对应的三维的顶点拓扑结构，投影得到二维的顶点拓扑结构；
从所述第一视频数据中的多个关键帧中，分别提取得到目标人脸上多个关键点的人脸特征；
根据所述二维的顶点拓扑结构与所述多个关键帧的人脸特征，获得所述目标人脸的头部动作数据。
8.根据权利要求7所述的方法，其特征在于，所述根据所述二维的顶点拓扑结构与所述多个关键帧的人脸特征，获得所述目标人脸的头部动作数据，包括：
将多个关键帧的人脸特征进行归一化处理，得到每个关键帧中对应正面标准人脸的人脸特征；
根据所述二维的顶点拓扑结构，以及每个关键帧中对应正面标准人脸的人脸特征，通过非线性最小二乘算法计算得到所述目标人脸的头部动作数据。
9.根据权利要求6所述的方法，其特征在于，所述根据所述静态目标模型上的顶点，对所述第一视频数据中的所述目标人脸进行表情识别处理，得到与所述顶点对应的人脸表情数据，包括：
确定所述第一视频数据的多个关键帧中的所述目标人脸的人脸肌肉区域；
根据所述静态目标模型上对应人脸肌肉流向的顶点，对所述目标人脸的人脸肌肉区域进行表情识别处理，得到与所述顶点对应的人脸表情数据。
10.根据权利要求1所述的方法，其特征在于，所述通过所述顶点运动轨迹驱动所述静态目标模型上的顶点偏移，生成所述目标人脸的动态目标模型，包括：
确定所述静态目标模型上与所述顶点运动轨迹对应的多个关键顶点；
将所述顶点运动轨迹的顶点数据一一对应地叠加到所述多个关键顶点的顶点数据上，驱动所述静态目标模型上的顶点偏移，生成所述目标人脸的动态目标模型。
11.一种人脸模型的生成装置，其特征在于，包括：
获取模块，用于获取目标人脸的静态目标模型，以及包含有所述目标人脸的第一视频数据；
提取模块，用于根据所述静态目标模型上的顶点，从所述第一视频数据中提取得到所述目标人脸的表情对应的顶点运动轨迹；
生成模块，用于通过所述顶点运动轨迹驱动所述静态目标模型上的顶点偏移，生成所述目标人脸的动态目标模型。
12.一种电子设备，其特征在于，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至10中任一项所述的人脸模型的生成方法的步骤。
13.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至10中任一项所述的人脸模型的生成方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310826412.XA CN116863044A (zh) | 2023-07-06 | 2023-07-06 | 人脸模型的生成方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310826412.XA CN116863044A (zh) | 2023-07-06 | 2023-07-06 | 人脸模型的生成方法、装置、电子设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116863044A true CN116863044A (zh) | 2023-10-10 |
Family
ID=88228056
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310826412.XA Pending CN116863044A (zh) | 2023-07-06 | 2023-07-06 | 人脸模型的生成方法、装置、电子设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116863044A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117373455A (zh) * | 2023-12-04 | 2024-01-09 | 翌东寰球(深圳)数字科技有限公司 | 一种音视频的生成方法、装置、设备及存储介质 |
-
2023
- 2023-07-06 CN CN202310826412.XA patent/CN116863044A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117373455A (zh) * | 2023-12-04 | 2024-01-09 | 翌东寰球(深圳)数字科技有限公司 | 一种音视频的生成方法、装置、设备及存储介质 |
| CN117373455B (zh) * | 2023-12-04 | 2024-03-08 | 翌东寰球(深圳)数字科技有限公司 | 一种音视频的生成方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109636831B (zh) | 一种估计三维人体姿态及手部信息的方法 | |
| US11748934B2 (en) | Three-dimensional expression base generation method and apparatus, speech interaction method and apparatus, and medium | |
| Beymer et al. | Example based image analysis and synthesis | |
| EP3992919B1 (en) | Three-dimensional facial model generation method and apparatus, device, and medium | |
| Fyffe et al. | Multi‐view stereo on consistent face topology | |
| CN107657664B (zh) | 人脸表情合成后的图像优化方法、装置、存储介质和计算机设备 | |
| CN113366491B (zh) | 眼球追踪方法、装置及存储介质 | |
| CN113421328B (zh) | 一种三维人体虚拟化重建方法及装置 | |
| CN110796593A (zh) | 基于人工智能的图像处理方法、装置、介质及电子设备 | |
| EP4217974A1 (en) | Methods and systems for personalized 3d head model deformation | |
| CN112734890A (zh) | 基于三维重建的人脸替换方法及装置 | |
| JP7462120B2 (ja) | ２次元（２ｄ）顔画像から色を抽出するための方法、システム及びコンピュータプログラム | |
| US10885708B2 (en) | Automated costume augmentation using shape estimation | |
| CN111462274A (zh) | 一种基于smpl模型的人体图像合成方法及系统 | |
| Pighin et al. | Realistic facial animation using image-based 3D morphing | |
| CN112085835A (zh) | 三维卡通人脸生成方法、装置、电子设备及存储介质 | |
| CN110458924A (zh) | 一种三维脸部模型建立方法、装置和电子设备 | |
| CN116863044A (zh) | 人脸模型的生成方法、装置、电子设备及可读存储介质 | |
| CN114450719A (zh) | 人体模型重建方法、重建系统及存储介质 | |
| US11443473B2 (en) | Systems and methods for generating a skull surface for computer animation | |
| KR20230110787A (ko) | 개인화된 3d 머리 및 얼굴 모델들을 형성하기 위한 방법들 및 시스템들 | |
| CN111754622B (zh) | 脸部三维图像生成方法及相关设备 | |
| CN115393480A (zh) | 基于动态神经纹理的说话人合成方法、装置和存储介质 | |
| Jian et al. | Realistic face animation generation from videos | |
| CN117315211B (zh) | 数字人合成及其模型训练方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |