CN115661310B - 虚拟数字人表情逼近方法、装置、存储介质、电子设备 - Google Patents

Abstract

本申请提供了一种虚拟数字人表情逼近方法、装置、存储介质和电子设备，所述方法包括：获取初始化的动画网格数据、表情数据和骨骼数据；从所述动画网格数据中获取与所述表情数据相关的三角形数据以及从所述表情数据中获取骨骼权重信息；获取捏脸操作时发生变化后传入的骨骼名称和骨骼序列以及变换矩阵；根据所述变换矩阵计算所述三角形数据中每个顶点的基于所述骨骼数据中所有骨骼的新变换矩阵及逆矩阵；计算捏脸操作时发生变化后的顶点数据；对所述顶点的数据和所述变化后的顶点数据进行顶点逼近计算，更新计算后的顶点数据。本发明可以避免捏脸操作后在表情驱动时出现表情缺陷的情况。

Description

虚拟数字人表情逼近方法、装置、存储介质、电子设备

技术领域

本申请涉及虚拟数字人表情逼近技术领域，具体涉及一种虚拟数字人表情逼近方法、装置、存储介质及电子设备。

背景技术

2021年，元宇宙概念席卷全球，国内各大厂加速赛道布局，通过元宇宙为不同的应用场景的相关内容生态进行赋能。元宇宙（Metaverse），是人类运用数字技术构建的，由现实世界映射或超越现实世界，可与现实世界交互的虚拟世界，具备新型社会体系的数字生活空间。现实中的人可以在元宇宙拥有自己的个性化虚拟形象。

虚拟形象需要采用相应的开发软件进行开发，UE就是这样的一款开发软件。UE，是软件Unreal Engine的简称，中文名称为虚幻引擎。虚幻引擎是由Epic Games公司推出的一款游戏开发引擎，相比其他引擎，虚幻引擎不仅高效、全能，还能直接预览开发效果，赋予了开发商更强的能力。

由于个性化虚拟形象需要定制人脸特征和表情，因此带有捏脸功能的个性化虚拟形象，成为其中重要的一个亮点。捏脸功能具有改变脸部的表情和特征的功能。目前的捏脸功能在表情变形的应用中，是使用骨骼控制，只能让变形控制在一个小范围内才能确保表情变形后的表现合理，超出小范围就表情就会出现穿帮等情况。根本原因在于捏脸后的虚拟人物跟标准表情吻合度会存在一定的瑕疵和缝隙，进行表情驱动时就会出现表情缺陷。

发明内容

鉴于上述问题，本申请提供了一种虚拟数字人表情逼近方法、装置、存储介质及电子设备，以解决目前虚拟人物表情在变形时存在一定瑕疵和缝隙，进行表情驱动时就会出现表情缺陷的问题。

第一方面，本申请实施例提供了一种虚拟数字人表情逼近方法，所述方法包括以下步骤：

获取初始化的动画网格数据、表情数据和骨骼数据；

从所述动画网格数据中获取与所述表情数据相关的三角形数据以及从所述表情数据中获取骨骼权重信息；

获取捏脸操作时发生变化后传入的骨骼名称和骨骼序列以及变换矩阵；

根据所述变换矩阵计算所述三角形数据中每个顶点的基于所述骨骼数据中所有骨骼的新变换矩阵及逆矩阵；

根据所述骨骼权重信息、所述骨骼名称和骨骼序列中骨骼的新变换矩阵及逆矩阵和所述顶点的数据计算捏脸操作时发生变化后的顶点数据；

对所述顶点的数据和所述变化后的顶点数据进行顶点逼近计算，更新计算后的顶点数据。

第二方面，本申请实施例提供了一种虚拟数字人表情逼近装置，所述装置包括：数据获取单元，用于获取初始化的动画网格数据、表情数据和骨骼数据，以及用于从所述动画网格数据中获取与所述表情数据相关的三角形数据以及从所述表情数据中获取骨骼权重信息；数据标记单元，用于获取捏脸操作时发生变化后传入的骨骼名称和骨骼序列以及变换矩阵；数据计算单元，用于根据所述变换矩阵计算所述三角形数据中每个顶点的基于所述骨骼数据中所有骨骼的新变换矩阵及逆矩阵，用于根据所述骨骼权重信息、所述骨骼名称和骨骼序列中骨骼的新变换矩阵及逆矩阵和所述顶点的数据计算捏脸操作时发生变化后的顶点数据；以及用于对所述顶点的数据和所述变化后的顶点数据进行顶点逼近计算，更新计算后的顶点数据。

第三方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如第一方面所述的虚拟数字人表情逼近方法的步骤。

第四方面，本申请实施例还提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如第一方面所述的虚拟数字人表情逼近方法的步骤。

区别于现有技术，本申请实施例提供的虚拟数字人表情逼近方法、装置、存储介质和电子设备，所述方法首先获取对表情相关的数据，而后获取到捏脸操作后的骨骼数据，再根据骨骼数据计算新变换矩阵，并根据所述骨骼名称和骨骼序列中骨骼的新变换矩阵及逆矩阵和所述顶点的数据计算捏脸操作时发生变化后的顶点数据，最后再根据所述顶点的数据和所述变化后顶点数据进行顶点逼近计算并更新计算后的顶点数据。这样通过捏脸操作的表情数据和骨骼数据进行顶点逼近计算，可以让表情数据贴合变换后的顶点数据，使得捏脸后的虚拟人物跟标准表情更加吻合，避免在表情驱动时出现表情缺陷的情况。

上述发明内容相关记载仅是本申请技术方案的概述，为了让本领域普通技术人员能够更清楚地了解本申请的技术方案，进而可以依据说明书的文字及附图记载的内容予以实施，并且为了让本申请的上述目的及其它目的、特征和优点能够更易于理解，以下结合本申请的具体实施方式及附图进行说明。

附图说明

附图仅用于示出本申请具体实施方式以及其他相关内容的原理、实现方式、应用、特点以及效果等，并不能认为是对本申请的限制。

在说明书附图中：

图1为本申请一示例性实施例所述的虚拟数字人表情逼近方法的流程图；

图2为本申请一示例性实施例涉及的获取与所述表情数据相关的三角形数据的流程图；

图3为本申请一示例性实施例涉及的对三角形数据进行进一步处理的流程图；

图4为本申请一示例性实施例所述的虚拟数字人表情逼近装置的结构示意图；

图5为本申请一示例性实施例涉及的电子设备的模块示意图；

上述各附图中涉及的附图标记说明如下：

10、虚拟数字人表情逼近装置；101、数据获取单元；102、数据标记单元；103、数据计算单元；

500、电子设备；501、处理器；502、存储器；503、总线。

具体实施方式

为详细说明本申请可能的应用场景，技术原理，可实施的具体方案，能实现目的与效果等，以下结合所列举的具体实施例并配合附图详予说明。本文所记载的实施例仅用于更加清楚地说明本申请的技术方案，因此只作为示例，而不能以此来限制本申请的保护范围。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中各个位置出现的“实施例”一词并不一定指代相同的实施例，亦不特别限定其与其它实施例之间的独立性或关联性。原则上，在本申请中，只要不存在技术矛盾或冲突，各实施例中所提到的各项技术特征均可以以任意方式进行组合，以形成相应的可实施的技术方案。

除非另有定义，本文所使用的技术术语的含义与本申请所属技术领域的技术人员通常理解的含义相同；本文中对相关术语的使用只是为了描述具体的实施例，而不是旨在限制本申请。

在本申请的描述中，用语“和/或”是一种用于描述对象之间逻辑关系的表述，表示可以存在三种关系，例如A和/或B，表示：存在A，存在B，以及同时存在A和B这三种情况。另外，本文中字符“/”一般表示前后关联对象是一种“或”的逻辑关系。

在本申请中，诸如“第一”和“第二”之类的用语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何实际的数量、主次或顺序等关系。

在没有更多限制的情况下，在本申请中，语句中所使用的“包括”、“包含”、“具有”或者其他类似的开放式表述，意在涵盖非排他性的包含，这些表述并不排除在包括所述要素的过程、方法或者产品中还可以存在另外的要素，从而使得包括一系列要素的过程、方法或者产品中不仅可以包括那些限定的要素，而且还可以包括没有明确列出的其他要素，或者还包括为这种过程、方法或者产品所固有的要素。

与《审查指南》中的理解相同，在本申请中，“大于”、“小于”、“超过”等表述理解为不包括本数；“以上”、“以下”、“以内”等表述理解为包括本数。此外，在本申请实施例的描述中“多个”的含义是两个以上（包括两个），与之类似的与“多”相关的表述亦做此类理解，例如“多组”、“多次”等，除非另有明确具体的限定。

在进行本发明实施例说明以前，首先需要说明的是，本发明的虚拟数字人可以是用虚拟人物开发软件开发得到的虚拟人物数据，虚拟人物数据包含有脸部的表情数据，该虚拟人物开发软件可以是虚幻引擎，本发明实施例的说明会结合虚幻引擎中的部分名称进行说明，但是并不限定本发明的方案只能用在虚幻引擎上，所有采用与虚幻引擎类似方法进行虚拟人物生成的开发软件都可以应用本发明的方案。

第一方面，请参阅图1，为本申请第一示例性实施例所述的虚拟数字人表情逼近方法的流程图，所述方法包括以下步骤：首先进入步骤S101获取初始化的动画网格数据、表情数据和骨骼数据。其中，动画网格数据是动画基础的网格对应的数据，表示动画空间的基础信息，是动画数据的基础。在虚幻引擎中，动画网格数据对应的名称是FSkeletalMeshRenderData。表情数据是可以操作的表情对应的数据，如表情中的嘴巴、眼睛部分的数据。在虚幻引擎中，动画网格数据对应的名称是TArray<UMorphTarget*>。骨骼数据是支撑表情的骨骼的数据。在虚幻引擎中，动画网格数据对应的名称是USkeletalMesh。在进行处理以前需要获取到上述的动画网格数据、表情数据和骨骼数据。这里的初始化可以表明这些数据是初始状态的，或者还可以包括对动画网格数据、表情数据和骨骼数据进行一系列的初始化操作，如基于LOD数据（level of detail，细节等级）进行数据初始化操作。

获取数据后进入步骤S102从所述动画网格数据中获取与所述表情数据相关的三角形数据以及从所述表情数据中获取骨骼权重信息。三角形数据是表示人物表面数据的基础，人物表面数据可以由许许多多的互相连接的三角形构成。三角形数据越多，表面的细节越清楚。这里获取到与表情数据相关的三角形数据，便于后续只针对该部分数据进行处理，避免对所有的三角形数据进行处理。在虚幻引擎中，三角形数据对应的名称是TArray<AFDTri>。从所述表情数据中获取骨骼权重信息可以确定与表情数据有关的骨骼的权重信息，骨骼权重信息表明表情数据中受到骨骼影响的占比大小。

获取上述信息后进入步骤S103获取捏脸操作时发生变化后传入的骨骼名称和骨骼序列以及变换矩阵。这里需要说明的是，本实施例中的捏脸操作实际上是对于表情的操作，捏脸是用于说明操作的名称，而不是限制操作是狭义理解的捏动脸部，实际上对于表情部分的操作都可以采用本发明的方法进行处理。不同位置的捏脸操作对应有不同的骨骼，这些对应关系在生成原始的虚拟数字人数据的时候就由美术人员进行美术标识并设定好。当捏脸操作发生后，捏脸操作会有对应的变化的骨骼，骨骼包含有骨骼名称和骨骼序列，通过读取接口可以获取到该骨骼。在虚幻引擎中，该骨骼接口可以是AvatarFaceDataMgr::MaskMorphChangeWithBone接口。以及捏脸操作会对骨骼产生位置变化，这个变化信息可以用变换矩阵表示，通过读取对应的接口可以获取到该变换矩阵。在虚幻引擎中，该变换矩阵接口可以是AvatarFaceDataMgr::AddMorphTransformData接口。

步骤S103完成了对需要处理的数据的标记，而后需要循环处理所有的LOD数据和表情数据。具体地，进入步骤S104根据所述变换矩阵计算所述三角形数据中每个顶点的基于所述骨骼数据中所有骨骼的新变换矩阵及逆矩阵。三角形数据中包含有顶点，由于顶点不止受到一个骨骼的影响，而受到多个骨骼的影响，所以要基于受到的多个骨骼计算出新变换矩阵，新变换矩阵表示顶点受到影响其位置变化的所有骨骼的位置变化信息。这里的所有骨骼指的是影响顶点的所有骨骼，而并非骨骼数据中的所有骨骼。逆矩阵用于表示基于新变换矩阵的位置变化后回到原始位置的变化信息，通过逆矩阵可以让顶点回到原始位置。在虚幻引擎中，可以聚合计算相关的系列变换矩阵。具体的计算方法可以是：TransInfo.AVatarBoneTM（新变换矩阵） = TransInfo.NewBoneTM（骨骼矩阵） *TransSacle.ToMatrixWithScale(矩阵比例) * TransInfo.AVatarBoneTM（变换矩阵）。在步骤S104中，还可以根据骨骼的性质进行差异化处理，如果是公共骨骼（如带动整个头部转动的骨骼）则可以叠加变换。如果是特殊骨骼 （受标记的特定的几个骨骼），则进行基于这些骨骼进行特别变换，其它剩余骨骼则正常变换。

而后进入步骤S105根据所述骨骼权重信息、所述骨骼名称和骨骼序列中骨骼的新变换矩阵及逆矩阵和所述顶点的数据计算捏脸操作时发生变化后的顶点数据。在某些实施例中，需要一并计算和记录所述顶点的数据的逆矩阵，通过记录逆矩阵，可以知道表情的顶点数据的原始位置后对表情进行还原。在虚幻引擎中，可以调用CreateSkinningOnlyAvatarMatrix接口计算捏脸操作时发生变化后的顶点数据。而后进入步骤S106对所述顶点的数据和所述变化后的顶点数据进行顶点逼近计算，更新计算后的顶点数据。顶点逼近是所述顶点的数据、所述变化后的顶点数据计算出逼近的这两者顶点数据的顶点数据。通过顶点逼近计算，可以让最终的顶点数据是介于所述顶点的数据、所述变化后的顶点数据之间的。这样得到最终的顶点数据并进行更新，就会使得表情与更新后的顶点数据进行叠加呈现，可以让表情数据更加贴合，使得捏脸后的虚拟人物跟标准表情更加吻合，避免在表情驱动时出现表情缺陷的情况。

在某些实施例中，可以应用双调和算法进行顶点逼近计算，双调和算法有应用在图像计算技术领域，可以将双调和算法作为一个接口（LapLaction()接口），这样通过调用该接口就可以实现顶点逼近计算。以及具体更新计算后的顶点数据可以通过数据接口向GPU（graphics processing unit，图形处理器）进行更新，从而实现更新后的表情的显示。在虚幻引擎中，所述数据接口为SkeletalMeshInfo.UpdateMorphData。以及需要说明的是，上述的数据，如动画网格数据、表情数据、骨骼数据、三角形数据、顶点数据都是数据集合，而并非一个单一的数据。

在前述方法实施例的基础上，如图2所示，所述从所述动画网格数据中获取与所述表情数据相关的三角形数据可以通过动画网格渲染数据来获取。具体包括如下步骤：步骤S201循环所述动画网格数据中的所有的动画网格渲染数据，在虚幻引擎中，动画网格渲染数据对应的名称是FSkelMeshRenderSection。而后进入步骤S202根据动画网格渲染数据中的顶点数据是否与表情数据相关来获取相关的顶点数据对应的三角形数据，即先确定动画网格渲染数据中的与表情相关的顶点数据，在获取这些顶点对应的三角形数据，从而确定与表情相关的三角形数据。具体地，以虚幻引擎为例，可以根据动画网格渲染数据中的基础索引信息（BaseIndex）和三角形编号（NumTriangles），在索引缓存区（FRawStaticIndexBuffer16or32Interface）的顶点数据缓存（buff）里进行三角形数据定位，顶点数据uint32nA = IndexBuffer.Get(SectionBaseIndex + j * 3); uint32 nB = IndexBuffer.Get(SectionBaseIndex + j * 3+1);uint32 nC = IndexBuffer.Get(SectionBaseIndex + j* 3+2)，IndexBuffer.Get为获取接口，SectionBaseIndex为索引信息，j为序号。这样根据顶点数据是否与表情数据相关进行三角形数据收集，收集后的数据为与所述表情数据相关的三角形数据。

在前述方法实施例的基础上，所述从所述表情数据中获取骨骼权重信息包括：循环处理所有的表情数据，获取所有表情数据中的顶点数据，根据顶点数据中的标识信息在骨骼顶点权重缓存数据中获取骨骼权重信息。以虚幻引擎为例，具体的步骤包括如下：循环处理所有的表情数据，获取所有表情数据（FMorphTargetLODModel）中的顶点数据（TArray<FMorphTargetDelta>），根据顶点数据中的源标识（SourceIdx）在骨骼顶点权重缓存数据（FSkinWeightVertexBuffer）数据中获取骨骼权重的相关信息。以及为了进一步提高处理的效率，可以结合动画网格渲染数据（TArray<FSkelMeshRenderSection>）中的骨骼贴图（BoneMap）数据，对骨骼数据进行必要的处理和收集，如基于骨骼与骨骼之间的层级关系对骨骼进行排序和归类，还可以进行叠加操作等，这样便于后续处理，提高处理效率。

在前述方法实施例的基础上，由于获取到的三角形数据还可能存在部分不需要的三角形数据，则需要对三角形数据进行进一步处理。具体如图3所示，所述获取与所述表情数据相关的三角形数据还包括步骤：步骤S301循环处理所有三角形数据，步骤S302剔除三角形数据中不符合预设要求的顶点数据，这里的不符合预设要求即不满足要求的顶点数据，如有些顶点数据不包含在三角形中或者在三角形平面后面，这些顶点数据无需进行处理，从而只处理完整包含在三角形内的顶点，可以节省处理资源，提高处理效率。而后进入步骤S303进行三角形数据重映射，即由处理后的顶点数据重新确定三角形数据。最后在步骤S304输出新的三角形数据。后续在步骤S104中就需要使用新的三角形数据进行相关处理。这样减少了不必要的三角形数据，提升了处理效率。

在前述方法实施例的基础上，所述计算捏脸操作时发生变化后的顶点数据还包括步骤：如果顶点数据是移动顶点，则计算时剔除捏脸操作对应的移动顶点数据。其中，移动顶点指的是标记的顶点，即在生成原始的虚拟数字人数据的时候就由美术人员进行美术标记，如眼睛和嘴巴的顶点，这些顶点不会产生变化，无需进行变换操作。在虚幻引擎中，可以调用CreateSkinningOnlyRawMatrix接口计算剔除捏脸数据的移动顶点数据，这样最终变换时的顶点数据中不包含有移动顶点，剔除后的顶点数据在表情显示时更加贴近实际情况，使得最终生成的表情更加自然。

在前述方法实施例的基础上，在所述获取捏脸操作时发生变化后传入的骨骼名称和骨骼序列以及变换矩阵后还包括步骤：按照所述骨骼序列对所述变换矩阵进行排序。通过对所述骨骼序列对所述变换矩阵进行排序，使得数据更加有序，可以在后续处理时，提高处理的效率。

在前述方法实施例的基础上，在所述获取捏脸操作时发生变化后传入的骨骼名称和骨骼序列以及变换矩阵后还包括步骤：循环处理所述骨骼数据中所有骨骼需要的TPose空间的当前变换数据，更新所述变换矩阵为新的变换矩阵，而后在步骤S104中需要应用新的变换矩阵进行处理。其中，TPose（T型姿势或称作绑定姿势）是骨骼的一个初始状态，虚拟数字人模型和骨骼的绑定就是在这个状态下进行的，绑定即指定虚拟数字人模型的顶点受哪些骨骼影响，每个骨骼影响的权重是多少，这些一般都是美术在美术工具软件中做好，而后可以直接获取和使用。这样计算出来TPose空间的变换矩阵是基于实际受到影响的骨骼的变换矩阵，满足实际的处理要求。

第二方面，如图4所示，对应于上述虚拟数字人表情逼近方法，本申请实施例还提供了一种虚拟数字人表情逼近装置10，所述装置包括：数据获取单元101，用于获取初始化的动画网格数据、表情数据和骨骼数据，以及用于从所述动画网格数据中获取与所述表情数据相关的三角形数据以及从所述表情数据中获取骨骼权重信息；数据标记单元102，用于获取捏脸操作时发生变化后传入的骨骼名称和骨骼序列以及变换矩阵；数据计算单元103，用于根据所述变换矩阵计算所述三角形数据中每个顶点的基于所述骨骼数据中所有骨骼的新变换矩阵及逆矩阵，用于根据所述骨骼权重信息、所述骨骼名称和骨骼序列中骨骼的新变换矩阵及逆矩阵和所述顶点的数据计算捏脸操作时发生变化后的顶点数据；以及用于对所述的顶点数据和所述变化后的顶点数据进行顶点逼近计算，更新计算后的顶点数据。在某些实施例中，数据计算单元103还可以一并计算和记录所述顶点的数据的逆矩阵，通过记录逆矩阵，可以知道表情的顶点数据的原始位置后对表情进行还原。这样通过捏脸操作的表情数据和骨骼数据进行顶点逼近计算，可以让表情数据贴合变换后的顶点数据，使得捏脸后的虚拟人物跟标准表情更加吻合，避免在表情驱动时出现表情缺陷的情况。

本申请实施例提供的虚拟数字人表情逼近装置，其实现过程与本申请实施例提供的虚拟数字人表情逼近方法一致，所能达到的效果也与本申请实施例提供的虚拟数字人表情逼近方法相同，在此不再赘述。

第三方面，对应于上述虚拟数字人表情逼近方法，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述虚拟数字人表情逼近方法的步骤。通过读取该存储介质和运行上面的方法可以实现本发明的效果，从而可以让表情数据贴合变换后的顶点数据，使得捏脸后的虚拟人物跟标准表情更加吻合，避免在表情驱动时出现表情缺陷的情况。

第四方面，如图5所示，本申请实施例还提供了一种电子设备500，包括：处理器501、存储器502和总线503，所述存储器502存储有所述处理器501可执行的机器可读指令，当电子设备运行时，所述处理器501与所述存储器502之间通过总线503通信，所述处理器501执行所述机器可读指令，以执行如上述虚拟数字人表情逼近方法的步骤。该电子设备可以让表情数据贴合变换后的顶点数据，使得捏脸后的虚拟人物跟标准表情更加吻合，避免在表情驱动时出现表情缺陷的情况。

具体地，上述存储器502和处理器501可以为通用的存储器和处理器，这里不做具体限定，当处理器501运行存储器502存储的计算机程序时，能够执行上述虚拟数字人表情逼近方法。

需要说明的是，所述电子设备500可以是云端服务器，也可以是用户终端设备。当所述电子设备500为云端服务器时，该云端服务器可以获取用户终端设备传输的捏脸操作数据，根据对用户捏脸操作数据进行数据处理，并最终生成顶点数据后更新用户终端设备上的虚拟数字人的表情。当所述电子设备500为用户终端设备时，可以先在用户终端设备中预先下载相应的应用程序，用户终端可以在本地根据用户的捏脸操作生成最终的顶点数据并直接发送到GPU上进行显示。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本申请中不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后需要说明的是，尽管在本申请的说明书文字及附图中已经对上述各实施例进行了描述，但并不能因此限制本申请的专利保护范围。凡是基于本申请的实质理念，利用本申请说明书文字及附图记载的内容所作的等效结构或等效流程替换或修改产生的技术方案，以及直接或间接地将以上实施例的技术方案实施于其他相关的技术领域等，均包括在本申请的专利保护范围之内。

Claims (10)

1.一种虚拟数字人表情逼近方法，其特征在于，所述方法包括以下步骤：

获取初始化的动画网格数据、表情数据和骨骼数据；

从所述动画网格数据中获取与所述表情数据相关的三角形数据以及从所述表情数据中获取骨骼权重信息；

获取捏脸操作时发生变化后传入的骨骼名称和骨骼序列以及变换矩阵；

根据所述变换矩阵计算所述三角形数据中每个顶点的基于所述骨骼数据中所有骨骼的新变换矩阵及逆矩阵；

根据所述骨骼权重信息、所述骨骼名称和骨骼序列中骨骼的新变换矩阵及逆矩阵和所述顶点的数据计算捏脸操作时发生变化后的顶点数据；

对所述顶点的数据和所述变化后的顶点数据进行顶点逼近计算，更新计算后的顶点数据。

2.如权利要求1所述的虚拟数字人表情逼近方法，其特征在于，所述从所述动画网格数据中获取与所述表情数据相关的三角形数据包括步骤：

循环所述动画网格数据中的所有的动画网格渲染数据，根据动画网格渲染数据中的顶点数据是否与表情数据相关来获取相关的顶点数据对应的三角形数据。

3.如权利要求1所述的虚拟数字人表情逼近方法，其特征在于，所述从所述表情数据中获取骨骼权重信息包括：

循环处理所有的表情数据，获取所有表情数据中的顶点数据，根据顶点数据中的标识信息在骨骼顶点权重缓存数据中获取骨骼权重信息。

4.如权利要求1所述的虚拟数字人表情逼近方法，其特征在于，所述获取与所述表情数据相关的三角形数据还包括步骤：

循环处理所有三角形数据，剔除三角形数据中不符合预设要求的顶点数据，进行三角形数据重映射，输出新的三角形数据。

5.如权利要求1所述的虚拟数字人表情逼近方法，其特征在于，所述计算捏脸操作时发生变化后的顶点数据还包括步骤：

如果顶点数据是移动顶点，则计算时剔除捏脸操作对应的移动顶点数据。

6.如权利要求1所述的虚拟数字人表情逼近方法，其特征在于：在所述获取捏脸操作时发生变化后传入的骨骼名称和骨骼序列以及变换矩阵后还包括步骤：

按照所述骨骼序列对所述变换矩阵进行排序。

7.如权利要求1所述的虚拟数字人表情逼近方法，其特征在于：在所述获取捏脸操作时发生变化后传入的骨骼名称和骨骼序列以及变换矩阵后还包括步骤：

循环处理所述骨骼数据中所有骨骼需要的TPose空间的当前变换数据，更新所述变换矩阵为新的变换矩阵。

8.一种虚拟数字人表情逼近装置，其特征在于，所述装置包括：

数据获取单元，用于获取初始化的动画网格数据、表情数据和骨骼数据，以及用于从所述动画网格数据中获取与所述表情数据相关的三角形数据以及从所述表情数据中获取骨骼权重信息；

数据标记单元，用于获取捏脸操作时发生变化后传入的骨骼名称和骨骼序列以及变换矩阵；

数据计算单元，用于根据所述变换矩阵计算所述三角形数据中每个顶点的基于所述骨骼数据中所有骨骼的新变换矩阵及逆矩阵，用于根据所述骨骼权重信息、所述骨骼名称和骨骼序列中骨骼的新变换矩阵及逆矩阵和所述顶点的数据计算捏脸操作时发生变化后的顶点数据；以及用于对所述顶点的数据和所述变化后的顶点数据进行顶点逼近计算，更新计算后的顶点数据。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至7任一项所述的虚拟数字人表情逼近方法的步骤。

10.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至7任一项所述的虚拟数字人表情逼近方法的步骤。

Images