CN120339552B - 三维数字人骨骼生成与绑定方法、存储介质、装置及设备 - Google Patents

Abstract

本发明涉及三维数字人骨骼生成与绑定方法、存储介质、装置及设备，涉及计算机图形学和人工智能技术领域，其包括步骤：获取三维数字人网格模型；识别出主体部分和辅助部分；基于骨骼生成神经网络生成数字人的骨架；将骨骼主体部分绑定到对应的网格顶点上，获取平滑蒙皮权重；将骨骼辅助部分绑定到对应网格顶点并计算平滑蒙皮权重；其中，采用将主体部分网格向内收缩、根据欧式距离初始化蒙皮区域、使用曲线工具精调骨骼影响区域、刚性骨骼平滑蒙皮分解算法得到主体部分平滑蒙皮权重；采用最近距离法，欧式距离自动计算出辅助部分的平滑蒙皮权重。本发明有利于解决现有技术中手动创建和绑定骨骼效率低，及现有自动方法绑定精度不高的问题。

Description

三维数字人骨骼生成与绑定方法、存储介质、装置及设备

技术领域

本申请涉及计算机图形学和人工智能技术领域，具体而言，涉及一种三维数字人骨骼智能生成与绑定方法、存储介质、装置及电子设备，特别是基于深度学习和草图交互的智能绑骨技术。

背景技术

随着虚拟现实、游戏、影视制作等技术的快速发展，三维数字人的应用需求显著增长。三维数字人的骨骼生成和绑定技术，是决定其动作表现真实感的关键环节。传统方法中，三维数字人的骨骼创建和蒙皮绑定通常需要专业艺术家手动完成，这种方式学习成本高、操作繁琐、耗时长，难以满足快速迭代及大规模生产的需求。现有自动化方法虽然缩短了制作时间，但自动生成骨骼和蒙皮权重的质量仍有较大提升空间。

发明内容

本发明提供一种三维数字人骨骼生成与绑定方法、存储介质、装置及设备，以至少解决现有技术中手动创建和绑定骨骼效率低，及现有自动方法绑定精度不高的问题。

为了达到上述目的，第一方面，本发明提供了一种三维数字人骨骼生成与绑定方法，其包括以下步骤：

步骤S101，获取待绑定的三维数字人网格模型；

步骤S102，基于网格分割神经网络识别出三维数字人网格模型的主体部分和辅助部分，主体部分包括贴体部分，辅助部分包括非贴体部分；

步骤S103，基于骨骼生成神经网络生成数字人的骨架，骨架包括主体部分和辅助部分；

步骤S104，在获取到骨骼主体部分的情况下，将其绑定到三维数字人网格模型的主体部分对应的网格顶点上，获取可产生自然形变的平滑蒙皮权重；

步骤S105，在获取到骨骼辅助部分的情况下，将其绑定到对应三维数字人网格模型的辅助部分对应网格顶点上，并计算平滑蒙皮权重；

其中，采用将主体部分网格向内收缩、根据内缩顶点到骨骼的欧式距离初始化蒙皮区域、使用曲线工具精调各骨骼的影响区域、刚性骨骼平滑蒙皮分解算法四步得到可产生自然形变的主体部分的平滑蒙皮权重；采用最近距离法，根据原始网格顶点到骨骼的欧式距离自动计算出辅助部分的平滑蒙皮权重。

优选的，步骤S102中，采用基于MeshCNN架构的三维网格分割网络，对于四边形网格，首先在保持网格顶点数不变的情况下，将其三角化为三角网格；然后再输入到MeshCNN中；网络的核心卷积操作可表示为：

其中，表示当前边，、、、表示与e相邻的四条边，表示边的特征向量，为可学习参数矩阵，为激活函数。

优选的，步骤S103中，骨架生成神经网络基于图神经网络架构，以模板骨架为基础，借助关节点预测模块和骨骼预测模块，分别推断出关节点位置及骨骼连接关系；图神经网络为两个模块共享的骨干神经网络，用于从三维网格中学习出网格顶点的深度特征，该骨干神经网络的输入包括网格顶点位置、顶点法线以及边。

优选的，步骤S103中，采用EdgeConv操作符作为骨干神经网络的基本操作单元，其定义如下：

其中，表示第i个顶点的深度特征，表示顶点的的邻居，MLP表示多层感知机，l表示图神经网络的第l层，表示神经网络学习得到的参数。

优选的，关节点预测模块，用于从三维网格顶点的深度特征中回归预测出关节位置，包括主体关节和辅助关节；针对关节位置的预测，首先基于网格顶点的深度特征分别预测出主体关节热度图和辅助关节热度图，其中n代表三维网格顶点的数量，m代表主关节的数量，给定来自骨干神经网络的深度特征，采用一个三层的MLP神经网络来预测关节热度图，可定义如下公式：

其中，是由主体关节热度图和辅助关节热度图合并组成的矩阵；针对主体关节的关节位置预测，采用前m个通道的主体关节热度图和获取得到的三维网格顶点的位置，由以下公式拟合得到：

其中，为归一化后的第j个关节对第i个顶点的热度值。

优选的，骨骼预测模块，用于连接各个关节以形成骨架结构，该模块首先通过预定义的主体关节的骨架模板构建主体骨骼；随后，自适应地生成辅助骨骼；

在辅助骨骼的生成过程中，采用骨流场引导方式来自适应地生成；骨流场定义为三维网格顶点上的骨骼连接方向向量，每个顶点上的向量方向从子关节指向父关节；通过三层的MLP神经网络来预测骨流场，定义如下：

其中，代表定义在三维网格顶点上的骨骼连接方向，为三维网格顶点的深度特征，为上述三层的MLP神经网络的可学习参数；

在得到骨流场之后结合关节间的欧式距离和骨流场构建骨架，定义为如下公式：

其中，表示连接第i个关节和第j个关节的总成本，和分别表示第i个关节和第j个关节的位置，表示受第i个关节影响的网格顶点集合，表示第i个网格顶点上骨流场的方向；上式第一项代表第i个关节和第j个关节之间的欧式距离，则衡量骨流场方向向量和两个关节连接方向之间的角度偏差。

优选的，步骤S104中，包括以下步骤：

基于网格收缩算法，将主体网格顶点向内推进，使网格紧密贴合到骨架，从而获得初步的蒙皮区域定义；

根据内收缩后的顶点与骨骼之间的欧式距离进行蒙皮区域的初始化；

利用草图交互式曲线工具对骨骼影响区域进行精细调整，以改善复杂区域蒙皮效果的自然性；

使用基于目标形变序列的平滑蒙皮权重反求算法，将初始刚性权重转换为适合动画驱动的平滑蒙皮权重，确保骨骼驱动网格时实现自然逼真的动画效果。

优选的，步骤S105中，采用最近距离法对辅助区域的骨骼进行绑定，距离采用网格顶点到骨骼的欧式距离，其中，距离骨骼近的网格顶点一般受该骨骼的影响较大，距离骨骼远的网格顶点受该骨骼的影响较小。

第二方面，本发明还提供了一种三维数字人骨骼生成与绑定存储介质，存储介质存储有计算机可读的执行指令，其中，执行指令可用于执行上述的三维数字人骨骼生成与绑定方法。

第三方面，本发明还提供了一种三维数字人骨骼生成与绑定装置，可执行上述的三维数字人骨骼生成与绑定方法。

第四方面，本发明还提供了一种三维数字人骨骼生成与绑定设备，包括至少一个处理器、与处理器通信连接的存储器，存储器存储有可被处理器执行的指令，指令用于使处理器执行上述的三维数字人骨骼生成与绑定方法。

综上所述，本发明包括以下有益技术效果：

在本发明的S102步骤中，通过对三维数字人网格模型进行分割，能够高效且准确地区分贴体部分和非贴体部分，从而为后续骨骼结构生成和绑定提供清晰的边界划分，进而提高骨骼创建流程中的前期处理效率。

本发明S103步骤中采用基于图神经网络的骨骼生成方式，既能自动生成符合人体解剖结构的主体骨架，又能生成自适应附属区域变化的辅助骨架，从而有效减少人工创建骨架所需的时间。

对于主体区域的骨骼绑定，本发明的S104步骤中通过网格向内收缩方式能够获取精确的初始蒙皮权重，并结合曲线编辑和平滑蒙皮权重求解方式，在保证精度的同时有效时缩短了人工交互的时间。

对于辅助区域的骨骼绑定，本发明的S105步骤采用基于欧式距离的自动绑定策略，实现对服饰、发饰等非贴体区域的自动权重分配，进一步降低人工参与度，提高整体绑定效率。

最后，本发明实现了三维数字人智能骨骼生成与绑定程序，在应用层面，有助于推进三维数字人的快速迭代和大规模生产。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为三维数字人骨骼智能生成与绑定流程示意图；

图2为获取到数字人的三维网格示意图；

图3为基于网格分割神经网络识别出数字人的主体部分和辅助部分示意图；

图4为基于骨骼生成神经网络生成出数字人的骨架，包括主体骨骼和辅助骨骼示意图；

图5为基于四步法将主体骨骼绑定到主体部分的网格顶点上示意图；

图6为基于最近距离法将辅助骨骼绑定到辅助部分的网格顶点示意图；

图7为骨骼绑定完成后动起来的三维数字人示意图；

图8为三维数字人的骨骼生成与绑定装置示意图；

图9为电子设备示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

实施例1：

为方便理解，对三维网格分割、骨骼生成、骨骼绑定这三个名词做出解释：

三维网格分割是将复杂的三维模型按照语义或几何特征自动划分为多个有意义子区域的过程。在本实施例中，需要将数字人三维模型分割为主体部分和辅助非贴体部分，以便进行差异化的骨骼绑定处理。传统方法依赖手工标注，效率低下且主观性强。本申请采用基于深度学习的自动分割方法，能够智能识别主辅区域的边界，为后续骨骼生成提供精确的区域划分。

骨骼生成是指根据三维网格模型，自动推理出角色内部的骨架结构。这个骨架用于控制三维数字人表面皮肤（三维网格）的动画变形，相当于三维模型的运动驱动器。本实施例基于图神经网络技术，自动学习三维网格的几何特征和拓扑关系，预测关节位置和骨骼连接关系。相比传统基于几何中轴线的方法，神经网络方法能够结合大量训练数据中的先验知识，生成更符合人体解剖结构的骨架。

骨骼绑定技术是确定网格顶点与骨骼之间影响关系的过程，通过蒙皮权重矩阵描述每个顶点受到各骨骼的影响程度，一般来讲，骨骼绑定又可被称为蒙皮。本实施例结合网格收缩、曲线编辑和基于目标形变的权重反求等多种技术，实现高质量的骨骼绑定。

本发明实施例提供一种三维数字人骨骼智能生成与绑定方法，其具体包括以下步骤：

步骤S101，获取待绑定的三维数字人网格模型，三维数字人网格模型可由人体主体，以及服装、头发、配饰等多个辅助组件构成；

步骤S102，运用网格分割神经网络对输入的三维数字人网格模型进行自动分割，识别出人体主体部分以及辅助部分，如图3所示。其中，人体主体包括躯干、四肢等关键区域，辅助部分则包括非身贴的服装、头发、配饰等。

本实施例采用基于MeshCNN架构的三维网格分割网络，该网络专为三角网格数据设计，能有效处理网格的不规则拓扑结构。针对四边形网格，本实施例采取如下处理方式：在不改变网格顶点数的前提下，将其三角化为三角网格；然后，将其输入至MeshCNN中。MeshCNN将传统卷积神经网络的概念拓展至三角网格上，通过在网格边上定义卷积操作来提取局部特征。网络输入为三角网格的边特征，具体包含边长、二面角、边与相邻面法向量的夹角等几何属性。网络的核心卷积操作可表达为：

其中，表示当前边， 、 、 、 表示与e相邻的四条边，表示边的特征向量，为可学习参数矩阵，为激活函数。对于主体部分和辅助部分的二分类任务，网络最后一层的输出层采用Sigmoid激活函数。由于该任务属于二分类任务，在训练时本实施例采用二元交叉熵损失来监督MeshCNN的学习。

步骤S103，基于骨架生成神经网络来智能生成数字人的骨架结构，该骨架结构包括主体骨骼和辅助骨骼，如图4所示。主体骨骼通常采用预定义的65个关节点模板，对于不同三维数字人均会生成该主体骨骼；辅助骨骼则根据三维数字人的发型、服装、配饰等情况动态自适应生成。

具体地，本实施例的骨架生成神经网络基于图神经网络架构，以模板骨架为基础，借助关节点预测模块和骨骼预测模块，自动高效地分别推断出关节点位置及骨骼连接关系。

其中，图神经网络为两个模块共享的骨干神经网络，用于从三维网格中学习出网格顶点的深度特征。具体而言，该骨干神经网络的输入包括网格顶点位置、顶点法线以及边等信息。本实施例采用EdgeConv操作符作为骨干神经网络的基本操作单元，其定义如下：

其中，表示第i个顶点的深度特征，表示顶点的的邻居，MLP表示多层感知机，l表示图神经网络的第l层，表示神经网络学习得到的参数。本实施例采用max操作来聚合与顶点i相邻的顶点的特征。可选地，本领域其他技术人员可采用其他自定义的操作符来聚合相邻顶点的特征。

上述的关节点预测模块，用于从三维网格顶点的深度特征中回归预测出关节位置，包括如图4所示的主体关节和辅助关节，主体关节包括肩关节、肘关节、膝关节等人体不可或缺的关节，辅助关节则包括在头发、服装、配饰等非贴体变化部位上自适应生成的关节。

针对关节位置的预测，本实施例首先基于网格顶点的深度特征分别预测出主体关节热度图和辅助关节热度图，其中n代表三维网格顶点的数量，m代表主关节的数量，在本实施例中m=65，代表65个人体主关节。可选地，本领域其他技术人员可根据实际需求设定不同的m值。给定来自骨干神经网络的深度特征，本实施例采用一个三层的MLP神经网络来预测关节热度图，可定义如下公式：

其中，是由主体关节热度图和辅助关节热度图合并组成的矩阵。针对主体关节的关节位置预测，本实施例采用前m个通道的主体关节热度图和获取得到的三维网格顶点的位置，由以下公式拟合得到：

其中，为归一化后的第j个关节对第i个顶点的热度值。针对辅助关节的关节位置，由于辅助关节的数量不确定，本实施例通过聚类算法得到辅助关节的位置，首先对辅助关节的热度图进行阈值处理来筛选出重要的网格顶点，其次将筛选后的顶点作为均值漂移聚类算法的输入，最后将聚类中心作为辅助关节的位置。可选地，本领域其他技术人员可采用其他聚类算法来得到辅助关节的位置。在训练过程中，本实施例采用对热度图的Dice Loss和对关节位置的均方误差损失（Mean Squared Error Loss，MSE Loss）来监督。

上述的骨骼预测模块，用于连接各个关节以形成骨架结构。该模块首先通过预定义的65个主体关节的骨架模板构建主体骨骼，如图4中间所示；随后，自适应地生成头发、衣物、配饰等部位的辅助骨骼，如图4右侧所示。在辅助骨骼的生成过程中，本实施例采用骨流场引导的方式来自适应地生成。骨流场定义为三维网格顶点上的骨骼连接方向向量，每个顶点上的向量方向从子关节指向父关节。本实施例通过一个三层的MLP神经网络来预测骨流场，定义如下：

其中，代表定义在三维网格顶点上的骨骼连接方向（即骨流场），为三维网格顶点的深度特征，为上述三层的MLP神经网络的可学习参数。在得到骨流场之后，本实施例则结合关节间的欧式距离和骨流场构建骨架，定义为如下公式：

其中，表示连接第i个关节和第j个关节的总成本，成本越小，则两个关节直接连接形成一根骨骼的可能性越大。和分别表示第i个关节和第j个关节的位置，表示受第i个关节影响的网格顶点集合，表示第i个网格顶点上骨流场的方向。上式第一项代表第i个关节和第j个关节之间的欧式距离，则衡量骨流场方向向量和两个关节连接方向之间的角度偏差。

本发明实施例首先将所有辅助关节附加到对应模板关节上，然后再根据连接成本将辅助级关节重新附加到另一个辅助关节上；即，如果形成新的骨架连接的成本小于当前的成本，则将辅助级关节重新附加到另一个辅助关节上，以此类推，最终构建出整个骨架。在训练过程中，本实施例采用对骨流场的MSE Loss来监督。

步骤S104，在获取到主体骨骼的情况下，将其绑定到对应的主体部分的网格顶点上，采用“将主体部分网格向内收缩、根据内缩顶点到骨骼的欧式距离初始化蒙皮区域、使用曲线工具精调各骨骼的影响区域、刚性骨骼平滑蒙皮分解算法”四步得到可产生自然形变的平滑蒙皮权重；

如图5所示，本实施例采用以下四步流程：

第一步，基于网格收缩算法，将主体网格顶点向内推进，使网格紧密贴合到骨架，从而获得初步的蒙皮区域定义；

第二步，根据内收缩后的顶点与骨骼之间的欧式距离进行蒙皮区域的初始化；

第三步，利用草图交互式曲线工具对骨骼影响区域进行精细调整，以改善复杂区域，如肩膀、腋窝等，蒙皮效果的自然性；

第四步，使用基于目标形变序列的平滑蒙皮权重反求算法，将初始刚性权重转换为适合动画驱动的平滑蒙皮权重，确保骨骼驱动网格时实现自然逼真的动画效果。

该蒙皮数据生成方法提高了骨骼绑定效率与质量，减少了手动微调的需求。

上述第一步的网格收缩算法，本实施例采用基于Voronoi引导的网格收缩算法。给定初始的网格顶点位置，该算法通过平衡收缩力、原位引力和中轴引力来找到最优的收缩后的网格顶点位置。收缩能量迫使顶点沿着顶点的逆法线方向向内移动，促进骨架结构的出现。同时，吸引能量将顶点锚定在它们原来的位置，作为收缩能量的平衡力，以防止在收缩过程中顶点位置过渡偏移。中轴能量鼓励顶点向网格中轴位置移动，优化的目标公式表示如下：

其中，是离散拉普拉斯算子，是网格收缩过程中的关键组成部分，因为它是表面曲率的度量，促进顶点向内移动。本实施例采用Cotangent拉普拉斯，可选地，本领域其他技术人员可采用其他形式的拉普阿斯算子。代表与第i个顶点关联的Voronoi极点。

上述第二步的蒙皮区域初始化算法，本实施例基于欧式距离，将网格顶点分配到距离它最近的骨骼上，该距离公式定义如下：

其中，是骨骼和向量之间的夹角；上式第三项表示投影到线段内时，网格顶点到线段的距离；上式前两项则表示投影到线段外时，网格顶点到关节点的欧式距离。

上述第三步的基于草图曲线工具的蒙皮区域优化方法，本实施例旨在让各骨骼的控制区域更加精确。具体地，该曲线工具的实施分两步组成：曲线初始化、编辑曲线修改蒙皮区域。首先，本实施例自动生成不同骨骼影响区域之间的初始边界曲线，采用三次Hermite样条曲线，该曲线的数学公式包括一系列基函数，每个基函数只影响曲线的一小部分。每对控制点之间的三次Hermite样条曲线段定义为：

其中，代表沿着曲线变化的参数，和分别是样条曲线段的起始控制点和结束控制点，和是这些控制点的切向向量。在构建不同影响区域之间边界曲线的过程中，首先识别出位于两个区域边界上的所有边，构成连续的边带。这些边的中点被视为样条曲线的潜在控制点。由于边界曲线多成圆形，符合圆的周长公式，因此本实施例一般会等分得到6个控制点。可选地，本领域的其他技术人员可根据需求选择不同数量的控制点。

使用上式得到的边界样条曲线一般不在三维网格表面上，接下来需要将插值的曲线点映射到网格表面上，对于每个插值点，算法最初尝试将其直接投影到最后成功映射的三维网格面片上。投影的方向是沿着两个控制点对应三角面的平均法线向量的反方向。如果在当前面上没有找到合适的映射点，算法将迭代搜索相邻的三角面片，直到找到合适的映射点。每次找到合适的映射点时，相应的样条曲线段都会调整，以确保曲线平滑地经过网格表面。最终，会产生一组紧贴网格表面的曲线，代表骨骼影响区域的边界线。其次，本实施例提供了一种简单直观的曲线编辑功能，可以让用户精确地调整蒙皮权重的区域。用户可以通过增加、删除、拖拽控制点来编辑曲线，也可以通过绘制草图曲线和延长线来创建新的曲线。完成这些修改之后，骨骼的新的影响区域将会变成由这些调整后的曲线所围成的区域。

上述第四步的基于目标形变序列的平滑蒙皮权重反求算法，本实施例以目标形变序列作为输入，该目标形变序列由高级的形变算法Direct Delta Mush得到，然后基于SSDR（Smooth Skinning Decomposition for Rigid Bones）算法从目标形变序列中反推出线性混合蒙皮（Linear Blend Skinning, LBS）参数，这些参数包括平滑蒙皮权重和每一帧骨骼的仿射变换,。LBS数学上可表示为：

其中，表示第i个顶点初始姿态下的位置，而则表示第i个顶点经由LBS形变后的位置，该位置受到第j个骨骼的旋转和平移的影响，代表第j个骨骼对第i个顶点的影响权重。给定高质量的目标形变序列，SSDR算法寻找最优的平滑权重矩阵，以最小化目标形变与LBS形变之间的差异。优化目标表示为：

其中，是在时间后经由目标形变后第i个顶点所在的位置。通过最小化上述目标公式，本实施例得到最终的平滑蒙皮权重矩阵，从而使得数字人的主体部分产生自然的动画形变效果。

步骤S105，对于辅助部分的蒙皮数据生成，则采用最近距离法，根据原始网格顶点到骨骼的欧式距离自动计算出辅助部分的平滑蒙皮权重，将辅助网格顶点自动绑定到最近的辅助骨骼上，以确保辅助部分在运动中呈现合适的动态效果。可选地，本领域的其他技术人员可采用热扩散、有界双调和权重（Bounded Bi-harmonic Weights）等其他自动蒙皮算法来绑定辅助区域的骨骼。结合S104步骤，得到完整绑定的三维数字人，绑定后的三维数字人可进行动画驱动，实现丰富、流畅的运动表现，如图7所示，本实施例采用主流引擎采用的LBS方法实现骨骼对网格的驱动。可选地，本领域其他技术人员可采用其他形变驱动方法，如对偶四元数蒙皮（Dual Quaternion Skinning，DQS）。

在本发明的S102步骤中，通过对三维数字人网格模型进行分割，能够高效且准确地区分贴体部分和非贴体部分，从而为后续骨骼结构生成和绑定提供清晰的边界划分，进而提高骨骼创建流程中的前期处理效率。

本发明S103步骤中采用基于图神经网络的骨骼生成方式，既能自动生成符合人体解剖结构的主体骨架，又能生成自适应附属区域变化的辅助骨架，从而有效减少人工创建骨架所需的时间。

对于主体区域的骨骼绑定，本发明的S104步骤中通过网格向内收缩方式能够获取精确的初始蒙皮权重，并结合曲线编辑和平滑蒙皮权重求解方式，在保证精度的同时有效时缩短了人工交互的时间。

对于辅助区域的骨骼绑定，本发明的S105步骤采用基于欧式距离的自动绑定策略，实现对服饰、发饰等非贴体区域的自动权重分配，进一步降低人工参与度，提高整体绑定效率。

最后，本发明实现了三维数字人智能骨骼生成与绑定程序，在应用层面，有助于推进三维数字人的快速迭代和大规模生产。

实施例2：

本实施例提供一种三维数字人骨骼智能生成与绑定计算机程序产品，包括计算机程序，计算机程序在被至少一个处理器执行时可实现实施例1所提供的方法。

实施例3：

本实施例提供一种三维数字人骨骼智能生成与绑定存储介质，该存储介质为非瞬时计算机可读存储介质，存储有计算机可读的执行指令，其中，执行指令可用于使计算机执行实施例1所提供的方法。

实施例4：

本实施例提供一种三维数字人骨骼智能生成与绑定装置，可执行实施例1所述提供的方法，具体包括：

三维网格分割单元，用于对输入的三维数字人网格模型进行语义分割，识别出输入三维网格的主体部分和辅助部分，主体部分和辅助部分的三维网格将被用于后续的骨骼生成单元；

骨骼生成单元，用用于基于分割结果和图神经网络自动推断并生成数字人的主体骨骼和辅助骨骼，其中，基于上述主体部分的三维网格生成主体骨骼，基于上述辅助部分的三维网格生成辅助骨骼，主体骨骼为不同数字人共有的骨架，辅助骨骼则随着数字人发型、服装、配饰的不同而变化；

骨骼绑定单元，用于将上述生成的骨骼绑定到对应的三维网格顶点上，包括主体骨骼的四步蒙皮绑定流程和辅助骨骼的最近距离绑定方法，从而骨骼在运动时可以驱动表面网格发生形变，其中，上述主体骨骼采用“网格内缩→初始化蒙皮区域→曲线工具精调骨骼影响区域→刚性骨骼平滑蒙皮分解算法”四步法进行绑定。

在一些可选的实施方式中，网格分割单元可包括：MeshCNN分割子单元，用于提取边特征并完成二分类或多分类；骨骼生成单元可包括GNN骨干神经网络子单元、关节预测子单元和骨流场预测子单元，分别用于预测主关节、辅助关节位置及骨骼连接方向；骨骼绑定单元包括主体绑定子单元和辅助部分绑定子单元，其中主体部分绑定子单元可进一步细分为：网格收缩子单元，用于将主体网格顶点沿逆法线方向内收；蒙皮区域初始化子单元，根据内收缩后顶点与骨骼的欧式距离划分初始绑定区域；曲线编辑子单元，通过草图交互式曲线精调各骨骼影响区域边界；平滑权重优化子单元，基于目标形变序列反求平滑蒙皮权重。

实施例5：

本发明本实施例一种三维数字人骨骼智能生成与绑定电子设备，包括：

至少一个处理器，与处理器通过总线通信连接的至少一个存储器，存储器存储有可被至少一个处理器执行的指令，以使至少一个处理器能够执行实施例1所提供的方法。

电子设备可进一步包括显示器、输入/输出接口及通信单元等，用于实现人机交互和数据网络传输。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种三维数字人骨骼生成与绑定方法，其特征在于，包括以下步骤：

步骤S101，获取待绑定的三维数字人网格模型；

步骤S102，基于网格分割神经网络识别出三维数字人网格模型的主体部分和辅助部分，主体部分包括贴体部分，辅助部分包括非贴体部分；

步骤S103，基于骨骼生成神经网络生成数字人的骨架，骨架包括主体部分和辅助部分；

步骤S104，在获取到骨骼主体部分的情况下，将其绑定到三维数字人网格模型的主体部分对应的网格顶点上，获取可产生自然形变的平滑蒙皮权重；

步骤S105，在获取到骨骼辅助部分的情况下，将其绑定到对应三维数字人网格模型的辅助部分对应网格顶点上，并计算平滑蒙皮权重；

其中，采用将主体部分网格向内收缩、根据内缩顶点到骨骼的欧式距离初始化蒙皮区域、使用曲线工具精调各骨骼的影响区域、刚性骨骼平滑蒙皮分解算法四步得到可产生自然形变的主体部分的平滑蒙皮权重；采用最近距离法，根据原始网格顶点到骨骼的欧式距离自动计算出辅助部分的平滑蒙皮权重；

步骤S103中，骨骼生成神经网络基于图神经网络架构，以模板骨架为基础，借助关节点预测模块和骨骼预测模块，分别推断出关节点位置及骨骼连接关系；图神经网络为两个模块共享的骨干神经网络，用于从三维网格中学习出网格顶点的深度特征，该骨干神经网络的输入包括网格顶点位置、顶点法线以及边；

关节点预测模块，用于从三维网格顶点的深度特征中回归预测出关节位置，包括主体关节和辅助关节；针对关节位置的预测，首先基于网格顶点的深度特征分别预测出主体关节热度图和辅助关节热度图，其中n代表三维网格顶点的数量，m代表主关节的数量，给定来自骨干神经网络的深度特征，采用一个三层的MLP神经网络来预测关节热度图，可定义如下公式：

其中，是由主体关节热度图和辅助关节热度图合并组成的矩阵；针对主体关节的关节位置预测，采用前m个通道的主体关节热度图和获取得到的三维网格顶点的位置，由以下公式拟合得到：

其中，为归一化后的第j个关节对第i个顶点的热度值；

骨骼预测模块，用于连接各个关节以形成骨架结构，该模块首先通过预定义的主体关节的骨架模板构建主体骨骼；随后，自适应地生成辅助骨骼；

在辅助骨骼的生成过程中，采用骨流场引导方式来自适应地生成；骨流场定义为三维网格顶点上的骨骼连接方向向量，每个顶点上的向量方向从子关节指向父关节；通过三层的MLP神经网络来预测骨流场，定义如下：

其中，代表定义在三维网格顶点上的骨骼连接方向，为三维网格顶点的深度特征，为上述三层的MLP神经网络的可学习参数；

在得到骨流场之后结合关节间的欧式距离和骨流场构建骨架，定义为如下公式：

其中，表示连接第i个关节和第j个关节的总成本，和分别表示第i个关节和第j个关节的位置，表示受第i个关节影响的网格顶点集合，表示第i个网格顶点上骨流场的方向；上式第一项代表第i个关节和第j个关节之间的欧式距离，则衡量骨流场方向向量和两个关节连接方向之间的角度偏差。

2.根据权利要求1所述的三维数字人骨骼生成与绑定方法，其特征在于，步骤S102中，采用基于MeshCNN架构的三维网格分割网络，对于四边形网格，首先在保持网格顶点数不变的情况下，将其三角化为三角网格；然后再输入到MeshCNN中；网络的核心卷积操作可表示为：

其中，表示当前边，、、、表示与e相邻的四条边，表示边的特征向量，为可学习参数矩阵，为激活函数。

3.根据权利要求2所述的三维数字人骨骼生成与绑定方法，其特征在于，步骤S103中，采用EdgeConv操作符作为骨干神经网络的基本操作单元，其定义如下：

其中，表示第i个顶点的深度特征，表示顶点的的邻居，MLP表示多层感知机，l表示图神经网络的第l层，表示神经网络学习得到的参数。

4.根据权利要求3所述的三维数字人骨骼生成与绑定方法，其特征在于，步骤S104中，包括以下步骤：

基于网格收缩算法，将主体网格顶点向内推进，使网格紧密贴合到骨架，从而获得初步的蒙皮区域定义；

根据内收缩后的顶点与骨骼之间的欧式距离进行蒙皮区域的初始化；

利用草图交互式曲线工具对骨骼影响区域进行精细调整，以改善复杂区域蒙皮效果的自然性；

使用基于目标形变序列的平滑蒙皮权重反求算法，将初始刚性权重转换为适合动画驱动的平滑蒙皮权重，确保骨骼驱动网格时实现自然逼真的动画效果。

5.一种三维数字人骨骼生成与绑定存储介质，其特征在于，存储介质存储有计算机可读的执行指令，其中，执行指令可用于执行权利要求1-4任一项所述的三维数字人骨骼生成与绑定方法。

6.一种三维数字人骨骼生成与绑定装置，其特征在于，可执行权利要求1-4任一项所述的三维数字人骨骼生成与绑定方法。

7.一种三维数字人骨骼生成与绑定设备，其特征在于，包括至少一个处理器、与处理器通信连接的存储器，存储器存储有可被处理器执行的指令，指令用于使处理器执行权利要求1-4任一项所述的三维数字人骨骼生成与绑定方法。