CN109993819A - 虚拟角色的蒙皮方法及装置、电子设备 - Google Patents

虚拟角色的蒙皮方法及装置、电子设备 Download PDF

Info

Publication number
CN109993819A
CN109993819A CN201910281847.4A CN201910281847A CN109993819A CN 109993819 A CN109993819 A CN 109993819A CN 201910281847 A CN201910281847 A CN 201910281847A CN 109993819 A CN109993819 A CN 109993819A
Authority
CN
China
Prior art keywords
vertex
feature
virtual role
binding
artis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910281847.4A
Other languages
English (en)
Other versions
CN109993819B (zh
Inventor
刘丽娟
唐迪
袁燚
范长杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN201910281847.4A priority Critical patent/CN109993819B/zh
Publication of CN109993819A publication Critical patent/CN109993819A/zh
Application granted granted Critical
Publication of CN109993819B publication Critical patent/CN109993819B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种虚拟角色的蒙皮方法及装置、电子设备。其中，该方法包括：加载虚拟角色的三维模型以及与虚拟角色对应的骨骼数据，其中，三维模型对应有虚拟角色的多个顶点的网格数据，骨骼数据对应有多个关节点的数据；确定网格数据中每个顶点的顶点特征以及骨骼数据中每个顶点至各个关节点的距离特征；拟合顶点特征和距离特征，以得到虚拟角色各个顶点的绑定特征，其中，绑定特征用于确定每个关节点与顶点的绑定权值；利用绑定权值对虚拟角色执行蒙皮操作，将三维模型绑定到虚拟角色的骨骼上。

Description

虚拟角色的蒙皮方法及装置、电子设备
技术领域
本发明涉及游戏相关技术领域，具体而言，涉及一种虚拟角色的蒙皮方法及装置、电子设备。
背景技术
在相关技术，对于游戏开发而言，创作游戏角色是一个重要过程，在游戏角色创作中，3D模型动画扮演了十分重要的角色，其基本原理是让模型中各个顶点的位置随着时间推进产生变化，在3D模型动画中，涉及到一个分支路径就是骨骼蒙皮动画。正如其名，骨骼蒙皮动画包含骨骼和蒙皮两个部分。通常动画美术师在创作一个动画角色的过程中，首先是建模，即创建一个角色模型，然后为该模型加入骨骼并制作骨骼动画，最后将角色模型绑定到骨骼上，如此，当骨骼层次变化之后，可以根据绑定信息计算出新的模型网格顶点坐标，以此达到驱动网格变形的目的。
在蒙皮过程中比较耗费时间的步骤在于绑定过程，也就是对于模型中的网格顶点，确定每个顶点受到哪些关节点/骨骼影响，并指定骨骼的影响权值。传统的蒙皮算法，基于角色模型的网格顶点和骨骼中关节点之间的距离计算得到，这类算法在遇到复杂的角色模型时通常无法取得好的结果，因此需要大量的美术手工辅助。
例如，对于刚性蒙皮算法，主要基于表示模型的网格数据和表示骨骼的关节点之间的距离来计算，如基于热扩散的绑定算法、基于测地线距离的绑定算法等。第一种，基于热扩散的算法，其基本假设是骨骼关节会向其附近的网格传递热量，通过求解在其附近的网格表面上的热扩散方程就能计算出当前骨骼对这一片网格上不同顶点的影响权值。第二种，基于测地线距离的算法首先将网格表面转化为体素表示，然后对于每个关节，选顶与其在空间上有交叉的体素顶点集合，然后在计算当前关节通过其集内顶点传递到网格表面上其它顶点的测地线距离，进而基于此距离换算出对不同顶点的影响权值。
但是上述两种蒙皮方式，在为每个顶点选择唯一影响骨骼时，都转化为了一个寻找顶点到骨骼集合中距离最短的骨骼这一问题，传统的刚性蒙皮算法需要一个非常强的先验假设，也就是关节点一定会影响与其空间距离最近的网格顶点。然而，很多角色模型都不能满足该约束，尤其是当模型的骨骼结构变得十分复杂时，该类约束基本无法满足。例如，如果角色模型包含复杂的服饰、头饰时，为了获得更好的动画效果，美术工作人员通常会设置复杂的骨骼空间，如加入服饰或者头饰相关的关节，用于对应动画。这类添加辅助关节之后的骨骼结构，通常都不能满足传统刚性蒙皮算法的先验假设，故而，传统的刚性蒙皮算法也不能在此类问题上取得好的结果。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种虚拟角色的蒙皮方法及装置、电子设备，以至少解决相关技术中，在对虚拟对象进行蒙皮操作时，无法应对复杂的角色模型，导致需要大量的美术手工辅助，增加美术手工人员的工作量的技术问题。
根据本发明实施例的一个方面，提供了一种虚拟角色的蒙皮方法，包括：加载虚拟角色的三维模型以及与所述虚拟角色对应的骨骼数据，其中，所述三维模型对应有所述虚拟角色的多个顶点的网格数据，所述骨骼数据对应有多个关节点的数据；确定所述网格数据中每个所述顶点的顶点特征以及所述骨骼数据中每个所述顶点至各个关节点的距离特征；拟合所述顶点特征和所述距离特征，以得到所述虚拟角色各个顶点的绑定特征，其中，所述绑定特征用于确定每个关节点与顶点的绑定权值；利用所述绑定权值对所述虚拟角色执行蒙皮操作，将所述三维模型绑定到所述虚拟角色的骨骼上。
可选地，确定所述网格数据中每个所述顶点的顶点特征包括：提取所述网格数据中每个顶点的顶点坐标以及各个顶点之间的连通关系；基于所述顶点坐标和各个顶点之间的连通关系，计算每个所述顶点的几何特征，其中，所述几何特征包括下述至少之一：法向量、曲率、拉普拉斯参数；基于每个所述顶点的几何特征，提取各个所述顶点的特征算子；根据所述几何特征和所述特征算子，确定每个所述顶点的顶点特征。
可选地，在确定每个所述顶点的顶点特征之后，所述方法还包括：获取所述骨骼数据中每个所述顶点至各个所述关节点的第一距离值；将所述第一距离值作为所述距离特征。
可选地，在确定所述网格数据中每个所述顶点的顶点特征以及所述骨骼数据中每个所述顶点至各个关节点的距离特征的步骤之后，所述方法还包括：拼接各个顶点的所述特征算子，以得到与每个所述顶点对应的顶点特征向量；合并所述距离特征和所述顶点特征向量，以得到第一输入参数。
可选地，拟合所述顶点特征和所述距离特征，以得到所述虚拟角色各个顶点的绑定特征的步骤，包括：将所述第一输入参数输入至预设的投影矩阵学习网络，以预估得到与每个顶点对应的投影矩阵参数；利用所述投影矩阵参数对所述顶点特征进行投影变换；拼接经过投影变换后的顶点特征和所述距离特征，得到第二输入参数；将所述第二输入参数输入预设的绑定特征学习网络，以得到各个顶点的绑定特征。
可选地，所述绑定特征学习网络至少包括：多个全连接层和中间层，将所述第二输入参数输入预设的绑定特征学习网络，以得到各个顶点的绑定特征的步骤，包括：通过与每个所述顶点关联的多个全连接层对所述顶点特征进行特征变换，以得到所述顶点的局部特征；通过所述绑定特征学习网络的中间层对所述顶点特征进行池化操作，以得到所述顶点的全局特征；拼接所述局部特征和所述全局特征，以得到所述顶点的绑定特征。
可选地，在得到所述顶点的绑定特征的步骤之后，所述方法还包括：确定所述骨骼数据中每个关节点的节点维度；通过预设的归一化指数函数将所述顶点特征向量在所述节点维度上进行归一化处理，以确定每个关节点对各个所述顶点的权值影响概率。
可选地，在利用所述绑定权值对所述虚拟角色执行蒙皮操作的步骤之前，所述方法还包括：获取投影矩阵网络的正则化损失函数和每个关节点对各个所述顶点的权值影响概率；计算所述权值影响概率与真实权值概率的第二距离值；根据所述第二距离值，确定权值距离损失函数；组合所述正则化损失函数和所述权值距离损失函数，计算总损失函数。
可选地，利用所述绑定权值对所述虚拟角色执行蒙皮操作的步骤，包括：根据所述总损失函数，迭代调整所述投影矩阵网络的投影矩阵参数；在迭代调整的次数达到预设调整次数时，确定迭代得到的目标权值影响概率和与所述目标权值影响概率对应的目标关节点；确定与所述目标关节点对应的蒙皮绑定权值；利用所述蒙皮绑定权值，确定每个顶点对应的待绑定关节点；根据每个顶点对应的待绑定关节点，将所述三维模型绑定到所述虚拟角色的骨骼上，以完成对所述虚拟角色的蒙皮操作。
可选地，所述蒙皮操作为刚性蒙皮的蒙皮操作。
根据本发明实施例的另一方面，还提供了一种虚拟角色的蒙皮装置，包括：加载单元，用于加载虚拟角色的三维模型以及与所述虚拟角色对应的骨骼数据，其中，所述三维模型对应有所述虚拟角色的多个顶点的网格数据，所述骨骼数据对应有多个关节点的数据；确定单元，用于确定所述网格数据中每个所述顶点的顶点特征以及所述骨骼数据中每个所述顶点至各个关节点的距离特征；拟合单元，用于拟合所述顶点特征和所述距离特征，以得到所述虚拟角色各个顶点的绑定特征，其中，所述绑定特征用于确定每个关节点与顶点的绑定权值；蒙皮单元，用于利用所述绑定权值对所述虚拟角色执行蒙皮操作，将所述三维模型绑定到所述虚拟角色的骨骼上。
可选地，所述确定单元包括：第一提取模块，用于提取所述网格数据中每个顶点的顶点坐标以及各个顶点之间的连通关系；第一计算模块，用于基于所述顶点坐标和各个顶点之间的连通关系，计算每个所述顶点的几何特征，其中，所述几何特征包括下述至少之一：法向量、曲率、拉普拉斯参数；第二提取模块，用于基于每个所述顶点的几何特征，提取各个所述顶点的特征算子；第一确定模块，用于根据所述几何特征和所述特征算子，确定每个所述顶点的顶点特征。
可选地，所述虚拟角色的蒙皮装置还包括：第一获取单元，用于在确定每个所述顶点的顶点特征之后，获取所述骨骼数据中每个所述顶点至各个所述关节点的第一距离值；第二确定模块，用于将所述第一距离值作为所述距离特征。
可选地，所述虚拟角色的蒙皮装置还包括：第一拼接单元，用于在确定所述网格数据中每个所述顶点的顶点特征以及所述骨骼数据中每个所述顶点至各个关节点的距离特征的步骤之后，拼接各个顶点的所述特征算子，以得到与每个所述顶点对应的顶点特征向量；第一合并单元，用于合并所述距离特征和所述顶点特征向量，以得到第一输入参数。
可选地，所述拟合单元包括：第一输入模块，用于将所述第一输入参数输入至预设的投影矩阵学习网络，以预估得到与每个顶点对应的投影矩阵参数；变换模块，用于利用所述投影矩阵参数对所述顶点特征进行投影变换；第一拼接模块，用于拼接经过投影变换后的顶点特征和所述距离特征，得到第二输入参数；第二输入模块，用于将所述第二输入参数输入预设的绑定特征学习网络，以得到各个顶点的绑定特征。
可选地，所述绑定特征学习网络至少包括：多个全连接层和中间层，所述第二输入模块包括：第一变换子模块，用于通过与每个所述顶点关联的多个全连接层对所述顶点特征进行特征变换，以得到所述顶点的局部特征；池化子模块，用于通过所述绑定特征学习网络的中间层对所述顶点特征进行池化操作，以得到所述顶点的全局特征；拼接子模块，用于拼接所述局部特征和所述全局特征，以得到所述顶点的绑定特征。
可选地，所述虚拟角色的蒙皮装置还包括：第三确定模块，用于在得到所述顶点的绑定特征的步骤之后，确定所述骨骼数据中每个关节点的节点维度；归一化模块，用于通过预设的归一化指数函数将所述顶点特征向量在所述节点维度上进行归一化处理，以确定每个关节点对各个所述顶点的权值影响概率。
可选地，所述虚拟角色的蒙皮装置还包括：第二获取单元，用于在利用所述绑定权值对所述虚拟角色执行蒙皮操作的步骤之前，获取投影矩阵网络的正则化损失函数和每个关节点对各个所述顶点的权值影响概率；第二计算模块，用于计算所述权值影响概率与真实权值概率的第二距离值；第四确定模块，用于根据所述第二距离值，确定权值距离损失函数；组合模块，用于组合所述正则化损失函数和所述权值距离损失函数，计算总损失函数。
可选地，所述蒙皮单元包括：调整模块，用于根据所述总损失函数，迭代调整所述投影矩阵网络的投影矩阵参数；第五确定模块，用于在迭代调整的次数达到预设调整次数时，确定迭代得到的目标权值影响概率和与所述目标权值影响概率对应的目标关节点；第六确定模块，用于确定与所述目标关节点对应的蒙皮绑定权值；第七确定模块，用于利用所述蒙皮绑定权值，确定每个顶点对应的待绑定关节点；绑定模块，用于根据每个顶点对应的待绑定关节点，将所述三维模型绑定到所述虚拟角色的骨骼上，以完成对所述虚拟角色的蒙皮操作。
可选地，所述蒙皮操作为刚性蒙皮的蒙皮操作。
根据本发明实施例的另一方面，还提供了一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的虚拟角色的蒙皮方法。
根据本发明实施例的另一方面，还提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述任意一项所述的虚拟角色的蒙皮方法。
在本发明实施例中，采用加载虚拟角色的三维模型以及与虚拟角色对应的骨骼数据，其中，三维模型对应有虚拟角色的多个顶点的网格数据，骨骼数据对应有多个关节点的数据，然后确定网格数据中每个顶点的顶点特征以及骨骼数据中每个顶点至各个关节点的距离特征，拟合顶点特征和距离特征，以得到虚拟角色各个顶点的绑定特征，其中，绑定特征用于确定每个关节点与顶点的绑定权值，最后利用绑定权值对虚拟角色执行蒙皮操作，将三维模型绑定到虚拟角色的骨骼上。在该实施例中，为每个顶点快速确定出绑定的关节点，实现三维模型与骨骼的快速绑定，基于虚拟角色的三维模型和骨骼数据，对待绑定的虚拟角色的三维模型自动且快速给出蒙皮结果，减少美术手工人员的辅助工作量，进而解决相关技术中，在对虚拟对象进行蒙皮操作时，无法应对复杂的角色模型，导致需要大量的美术手工辅助，增加美术手工人员的工作量的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种可选的虚拟角色的蒙皮方法的流程图；
图2是根据本发明实施例的一种可选的刚性蒙皮方式的示意图；
图3是根据本发明实施例的另一种可选的虚拟角色的蒙皮方法的流程图；
图4是根据本发明实施例的一种可选的虚拟角色的蒙皮装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于用户理解本发明，下面对本发明各实施例中涉及的部分术语或名词做出解释：
蒙皮，在本发明中指示将可变形对象绑定到骨架结构的过程，使得骨骼驱动模型产生合理的运动，属于三维动画角色的一个创作过程。在本发明实施例中，可变形对象可以设置为虚拟角色的三维模型，而骨架结构可以设置为虚拟角色的骨骼价格，为了让骨骼驱动虚拟角色的三维模型产生合理的运动，需要将虚拟角色的三维模型绑定到骨骼上。可选的，蒙皮操作包括柔性蒙皮操作和刚性蒙皮操作，在本发明实施例中，主要以刚性蒙皮操作进行示例性说明。
刚性蒙皮，在本发明中指示在绑定过程中，模型上的每个顶点或者晶格点仅受一个关节点影响。
智能蒙皮，在本发明中指示通过端到端的深度学习算法学习获得蒙皮绑定结果的过程。
点云分割，在本发明中指示根据空间、几何和纹理等特征对点云进行划分，使得同一划分内的点云拥有相似的特征的过程。
深度学习，在本发明中指示通过大规模神经元构成的机器学习算法。
在下述各项实施例，可以应用于各种三维模型开发中，尤其是对于游戏虚拟角色的创作，可以实现虚拟角色的骨骼蒙皮操作。本发明实施例中主要对蒙皮操作进行说明，在完成虚拟角色的三维模型和骨骼设计后，就需要进行绑定动作了，即需要指定三维模型中的网格顶点受到哪些骨骼影响，并指定骨骼的影响权值。在本发明实施例中，对于蒙皮绑定过程，可以分解为两个步骤，首先确定三维模型上每个网格顶点受到哪个骨骼影响，如设定网格顶点和关节点的绑定权值为1，从而在该绑定权值为1时进行绑定，也就是完成刚性蒙皮；然后，根据刚性蒙皮的结果进行权值平滑，得到最终的绑定效果。
相对于传统蒙皮方式中基于角色模型的网格顶点和骨骼中关节点之间的距离完成蒙皮动作，无法应对复杂的虚拟角色模型，需要大量的美术手工辅助的缺陷，本发明实施例中可以考虑网格数据中每个顶点的顶点特征以及骨骼数据中每个顶点至各个关节点的距离特征，从而得到虚拟角色各个顶点的绑定特征，以确定每个关节点与顶点的绑定权值，进而对虚拟角色执行蒙皮操作，将三维模型绑定到虚拟角色的骨骼上，能够基于角色模型和骨骼系统自动给出准确的蒙皮结果，减少美术绑定师的辅助工作量，提高游戏中开发虚拟角色的速度，提高游戏创作效率。下面对本发明各实施例进行说明。
根据本发明实施例，提供了一种虚拟角色的蒙皮方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种可选的虚拟角色的蒙皮方法的流程图，如图1所示，该方法包括如下步骤：
步骤S102，加载虚拟角色的三维模型以及与虚拟角色对应的骨骼数据，其中，三维模型对应有虚拟角色的多个顶点的网格数据，骨骼数据对应有多个关节点的数据；
步骤S104，确定网格数据中每个顶点的顶点特征以及骨骼数据中每个顶点至各个关节点的距离特征；
步骤S106，拟合顶点特征和距离特征，以得到虚拟角色各个顶点的绑定特征，其中，绑定特征用于确定每个关节点与顶点的绑定权值；
步骤S108，利用绑定权值对虚拟角色执行蒙皮操作，将三维模型绑定到虚拟角色的骨骼上。
通过上述步骤，可以采用加载虚拟角色的三维模型以及与虚拟角色对应的骨骼数据，其中，三维模型对应有虚拟角色的多个顶点的网格数据，骨骼数据对应有多个关节点的数据，然后确定网格数据中每个顶点的顶点特征以及骨骼数据中每个顶点至各个关节点的距离特征，拟合顶点特征和距离特征，以得到虚拟角色各个顶点的绑定特征，其中，绑定特征用于确定每个关节点与顶点的绑定权值，最后利用绑定权值对虚拟角色执行蒙皮操作，将三维模型绑定到虚拟角色的骨骼上。在该实施例中，为每个顶点快速确定出绑定的关节点，实现三维模型与骨骼的快速绑定，即可以基于虚拟角色的三维模型和骨骼数据，对待绑定的虚拟角色的三维模型自动且快速给出蒙皮结果，减少美术手工人员的辅助工作量，进而解决相关技术中，在对虚拟对象进行蒙皮操作时，无法应对复杂的角色模型，导致需要大量的美术手工辅助，增加美术手工人员的工作量的技术问题。
优选地，本发明实施例中以刚性蒙皮操作进行说明。在刚性蒙皮操作中，对于每一个网格顶点仅仅会受到一个关节点的影响，因此，需要顶点与各个关节点之间的绑定权值，取绑定权值最高的关节点作为该顶点的绑定关节点。
下面对上述各步骤进行详细说明。
步骤S102，加载虚拟角色的三维模型以及与虚拟角色对应的骨骼数据，其中，三维模型对应有虚拟角色的多个顶点的网格数据，骨骼数据对应有多个关节点的数据。
可选的，虚拟角色的三维模型和骨骼数据都是预先利用开发软件开发的，在3D模型动画创作过程中，先创作虚拟角色的三维模型，该三维模型通常表示为一个网格(Mesh)数据结构。其中，虚拟角色的三维模型，是指对应于虚拟角色的模型，主要是待创作的虚拟角色的外形特征，如包含服装的人形角色、包含外皮的动物角色。在动画中，通常希望虚拟角色的三维模型能在不同姿态下表现出良好的形变。
虚拟角色的三维模型更多的是表示虚拟角色的外部结构，如虚拟角色的表皮、服饰、头巾等。
而对于骨骼数据，可以是指虚拟角色的骨骼结构的相关数据，在骨骼蒙皮动画中，会开发大量的骨骼，该骨骼数据包含有各种关节点数据以及关节点之间的骨头数据。在骨骼开发中，通常会赋予骨骼结构旋转和平移，然后通过绑定权值来计算骨骼在不同的动作下虚拟角色的三维模型是如何运动的。在本发明实施例中，骨骼结构可以表示为一棵包含多个骨骼关节点的骨骼树，该骨骼书会包含大量的关节点。
骨骼结构更多的是表示虚拟角色的内部实体结构，如虚拟角色的内部骨骼。
在一种可选的实施例中，表示虚拟角色的三维模型的网格数据会包含多个网格的顶点，表示骨骼结构的骨骼数据会包含多个关节点的数据。
步骤S104，确定网格数据中每个顶点的顶点特征以及骨骼数据中每个顶点至各个关节点的距离特征。
本发明实施例提出对网格数据的每个顶点抽取合适的底层特征，用于丰富每个顶点的特征。一种可选的实施例，确定网格数据中每个顶点的顶点特征包括：提取网格数据中每个顶点的顶点坐标以及各个顶点之间的连通关系；基于顶点坐标和各个顶点之间的连通关系，计算每个顶点的几何特征，其中，几何特征包括下述至少之一：法向量、曲率、拉普拉斯参数；基于每个顶点的几何特征，提取各个顶点的特征算子；根据几何特征和特征算子，确定每个顶点的顶点特征。即本发明实施例中，在传统特征提取过程中，可以提取虚拟角色的三维模型的底层特征，通过输入三维模型的网格数据，得到几何特征和特征算子，其中，特征算子包括但不限于：波形核特征(Wave kernel signature,简称WKS)、热核特征(Heatkernel signature，简称HKS)。
本发明实施例中，还会在提取顶点的顶点特征后，提取对应于骨骼的距离特征，可选地，在确定每个顶点的顶点特征之后，可以获取骨骼数据中每个顶点至各个关节点的第一距离值，并将第一距离值作为距离特征。即可以将每个顶点到各个关节点的距离作为网格数据关联骨骼数据的一个特征，得到距离特征。
本发明实施例会计算每个顶点到全部关节点的距离。
另一种可选地实施例，在确定网格数据中每个顶点的顶点特征以及骨骼数据中每个顶点至各个关节点的距离特征的步骤之后，可以拼接各个顶点的特征算子，以得到与每个顶点对应的顶点特征向量；合并距离特征和顶点特征向量，以得到第一输入参数。即在顶点特征表示过程中，对于每个顶点，可以采取拼接方式将所有这些底层特征算子合并为一个顶点特征向量，每个顶点对应有一个顶点特征向量，这样拼接到顶点特征向量后，可以合并距离特征，以作为投影矩阵学习网络的输入参数。
图2是根据本发明实施例的一种可选的刚性蒙皮方式的示意图，如图2所示，可以分别通过虚拟角色的三维模型得到顶点特征，并通过骨骼架构得到顶点到各个骨骼的距离特征，然后合并距离特征和顶点特征，将合并后的数据作为投影矩阵学习网络的输入参数。
步骤S106，拟合顶点特征和距离特征，以得到虚拟角色各个顶点的绑定特征，其中，绑定特征用于确定每个关节点与顶点的绑定权值。
在本发明实施例中，拟合顶点特征和距离特征，以得到虚拟角色各个顶点的绑定特征的步骤，包括：将第一输入参数输入至预设的投影矩阵学习网络，以预估得到与每个顶点对应的投影矩阵参数；利用投影矩阵参数对顶点特征进行投影变换；拼接经过投影变换后的顶点特征和距离特征，得到第二输入参数；将第二输入参数输入预设的绑定特征学习网络，以得到各个顶点的绑定特征。
上述投影矩阵学习网络，目的是对输入数据中的网格顶点特征部分进行规范化处理，在三维模型中增加规范化处理的目的是为了增强三维模型对投影变换的鲁棒性；同时模型训练也更加稳顶。具体进行投影变换的流程是：对输入特征x∈RN×M,x是输入特征，RN×M表示数据维度，R指实数集合，N指采样顶点数，M指单个输入特征维度，通过几层全连接计算，估计一个投影参数矩阵A∈RM×M，然后计算投影变换后的特征x′＝xA，在投影参数估计过程中加入正则化约束：
而绑定特征学习网络，可以是基于POINTNET(点云分割网络模型)深度学习模型学习的每个顶点的绑定特征，输入参数是经过变换处理的顶点特征和顶点到骨骼系统中各关节点之间的距离特征，输出是通过深度学习模型拟合损失函数所优化出来的各个顶点的绑定特征。
如图2所示，在通过投影矩阵学习网络预估得到投影参数矩阵后，可以计算投影变换后的特征，并将该投影变换后的特征的数据输入至绑定特征学习网络中，通过绑定特征学习网络可以得到每个顶点的绑定特征。
可选地，绑定特征学习网络至少包括：多个全连接层和中间层，则将第二输入参数输入预设的绑定特征学习网络，以得到各个顶点的绑定特征的步骤，包括：通过与每个顶点关联的多个全连接层对顶点特征进行特征变换，以得到顶点的局部特征；通过绑定特征学习网络的中间层对顶点特征进行池化操作，以得到顶点的全局特征；拼接局部特征和全局特征，以得到顶点的绑定特征。即可以先对顶点特征进行投影变换，然后合并距离特征，得到第二输入参数，将第二输入参数输入至绑定特征学习网络中，通过几个全连接层来学习特征层面的变换，得到对应于各个顶点的局部特征；然后在全连接的中间层，可以进行池化操作(例如，全局平均池化操作)，得到全局特征。
在得到局部特征和全局特征后，可以在每个顶点的局部特征上拼接全局特征，以得到顶点的绑定特征。本发明实施例中所有的特征变换可以是涉及顶点特征的特征维度，与输入顶点的数量无关，以此使得模型有足够的通用性。
另一种可选地，在得到顶点的绑定特征的步骤之后，方法还包括：确定骨骼数据中每个关节点的节点维度；通过预设的归一化指数函数将顶点特征向量在节点维度上进行归一化处理，以确定每个关节点对各个顶点的权值影响概率。
优选的，归一化指数函数为softmax函数。通过softmax函数可以将顶点特征转化为每个关节点对各个顶点的权值影响概率，将顶点特征向量在骨骼(关节点)维度上归一化，得到顶点受每个骨骼影响的概率，即定每个关节点对各个顶点的权值影响概率。
在本发明一个可选的实施例中，在利用绑定权值对虚拟角色执行蒙皮操作的步骤之前，可以获取投影矩阵网络的正则化损失函数和每个关节点对各个顶点的权值影响概率；并计算权值影响概率与真实权值概率的第二距离值；根据第二距离值，确定权值距离损失函数；组合正则化损失函数和权值距离损失函数，计算总损失函数。即对于每个顶点特征，通过概率映射计算得到每个关节点影响各个顶点的概率，再计算与真实绑定关系的距离，在计算得到顶点的权值影响概率和真实权值概率的距离后，可以结合投影矩阵网络的正则化损失函数，确定总损失函数，该总损失函数用于调整绑定特征网络模型的参数，从而调整得到与每个顶点关联最大的一个关节点。
步骤S108，利用绑定权值对虚拟角色执行蒙皮操作，将三维模型绑定到虚拟角色的骨骼上。
在本发明实施例中，绑定权值指示每个顶点受到各个关节点的影响概率，对于每个顶点，可以选取影响概率最大关节点作为其绑定关节点，在执行蒙皮操作时，一个顶点对应有一个绑定关节点，将三维模型绑定到虚拟角色的骨骼上，即完成蒙皮操作。
作为本发明一个可选的实施例，利用绑定权值对虚拟角色执行蒙皮操作的步骤，包括：根据总损失函数，迭代调整投影矩阵网络的投影矩阵参数；在迭代调整的次数达到预设调整次数时，确定迭代得到的目标权值影响概率和与目标权值影响概率对应的目标关节点；确定与目标关节点对应的蒙皮绑定权值；利用蒙皮绑定权值，确定每个顶点对应的待绑定关节点；根据每个顶点对应的待绑定关节点，将三维模型绑定到虚拟角色的骨骼上，以完成对虚拟角色的蒙皮操作。
如图2所示，在通过绑定特征学习网络得到每个顶点的绑定特征后，可以一系列的全连接网络变换，通过归一化指数函数将顶点特征转化为每个关节点(或者骨骼)对各个顶点的权值影响概率，从而预估得到每个顶点的绑定权值，完成刚性蒙皮绑定权值。
在上述迭代调整投影矩阵网络的投影矩阵参数时，可以通过梯度下降算法迭代调整投影矩阵网络的投影矩阵参数。
而对于预设调整次数，可以是开发人员或者其它用户自行设置的，以最优跌打次数作为选取项。这样在迭代达到最大迭代次数时，可以根据此时记录的预测结果，选取影响概率最大的关节点作为目标关节点，确定该目标关节点与待绑定的顶点的蒙皮绑定权值(例如，设置蒙皮绑定权值为1)，也就是最终的刚性蒙皮绑定权值。通过对每个顶点确定待绑定的关节点，为后续蒙皮绑定做准备。
可选的，在本发明实施例中，可以为每个顶点和每个关节点进行编号处理，这样在确定每个顶点的目标绑定关节点时，可以通过一对一的编号匹配来实现顶点和关节点绑定(即实现顶点和骨骼架构的绑定)，进而完成对虚拟角色的蒙皮操作。
本发明上述实施例，能够高效的解决刚性蒙皮的相关问题，通过提取虚拟角色的三维模型的传统特征集合能够有效的表示每个顶点，然后通过绑定特征网络模型能够有效的拟合刚性蒙皮的结果，进而能学习到有效的绑定特征，对于新的待绑定的虚拟角色的三维模型，该过程能够快速给出足够精度的刚性蒙皮结果，很大程度上减少美术的绑定工作量。
下面通过另一个实施例来说明本发明。
下述实施例中，以角色模型作为上述实施例的虚拟角色的三维模型。
图3是根据本发明实施例的另一种可选的虚拟角色的蒙皮方法的流程图，如图3所示，该方法包括如下步骤：
301，加载角色模型和对应的骨骼架构。
302，提取角色模型的顶点数据，并从骨骼架构中提取骨骼关节坐标和关节点之间的连通关系。
可选的，顶点数据包括：顶点坐标和顶点之间的连通关系。
303，确定角色模型的几何特征。该几何特征包括但不限于：法向量、曲率。
304，提取角色模型的特征算子。该特征算子可以是基于几何特征得打的，包括但不限于：WKS、HKS。
305，基于几何特征、顶点坐标和特征算子，拼接得到顶点特征。
306，提取顶点到骨骼的距离特征。
307，将顶点特征输入投影矩阵学习网络，预估得到投影矩阵参数。
308，将经过投影变换后的顶点特征拼接距离特征，输入到绑定特征学习网络，得到顶点的绑定特征。
309，对绑定特征进行特征变换，并通过softmax将顶点特征转换为每个骨骼对当前顶点的权值影响概率。
310，计算对应于权值影响概率和真实权值概率之间的权值距离损失函数。
311，计算正则化损失函数。
312，结合正则化损失函数和和权值距离损失函数，得到总损失函数。
313，基于总损失函数，通过梯度下降算法迭代调整投影矩阵学习网络的投影矩阵参数。
314，在迭代调整次数达到预设迭代次数后，根据记录的绑定权值，选取最大绑定权值所对应的骨骼作为该顶点的绑定骨骼，设定两者之间的权值为1，得到刚性蒙皮绑定权值。
其中，绑定权值是基于总损失函数和权值影响概率确定的，通过softmax将顶点特征转化为每个骨骼对当前顶点的权值影响概率，利用权值影响概率得到顶点与关节点之间的绑定权值。
利用上述的绑定权值，对每个顶点确定绑定的骨骼，实现顶点的分类绑定，这样在完成所有顶点与各个骨骼的绑定后，确定完成该虚拟角色的蒙皮操作。通过该种方式，能够高效的解决刚性蒙皮的相关问题，通过提取角色模型的特征集合，能够有效的表示每个顶点，然后通过绑定特征网络，有效的拟合刚性蒙皮的结果，进而能学习到有效的绑定特征，对于新的待绑定的角色模型，该过程能够快速给出足够精度的刚性蒙皮结果，很大程度上减少美术的绑定工作量。
下面通过另一种可选的实施例来说明本发明。
图4是根据本发明实施例的一种可选的虚拟角色的蒙皮装置的示意图，如图4所示，该装置可以包括：加载单元41，确定单元43，拟合单元45，蒙皮单元47，其中，
加载单元41，用于加载虚拟角色的三维模型以及与虚拟角色对应的骨骼数据，其中，三维模型对应有虚拟角色的多个顶点的网格数据，骨骼数据对应有多个关节点的数据；
确定单元43，用于确定网格数据中每个顶点的顶点特征以及骨骼数据中每个顶点至各个关节点的距离特征；
拟合单元45，用于拟合顶点特征和距离特征，以得到虚拟角色各个顶点的绑定特征，其中，绑定特征用于确定每个关节点与顶点的绑定权值；
蒙皮单元47，用于利用绑定权值对虚拟角色执行蒙皮操作，将三维模型绑定到虚拟角色的骨骼上。
上述虚拟角色的蒙皮装置，可以通过加载单元41加载虚拟角色的三维模型以及与虚拟角色对应的骨骼数据，其中，三维模型对应有虚拟角色的多个顶点的网格数据，骨骼数据对应有多个关节点的数据，然后通过确定单元43确定网格数据中每个顶点的顶点特征以及骨骼数据中每个顶点至各个关节点的距离特征，通过拟合单元45拟合顶点特征和距离特征，以得到虚拟角色各个顶点的绑定特征，其中，绑定特征用于确定每个关节点与顶点的绑定权值，最后通过蒙皮单元47利用绑定权值对虚拟角色执行蒙皮操作，将三维模型绑定到虚拟角色的骨骼上。在该实施例中，为每个顶点快速确定出绑定的关节点，实现三维模型与骨骼的快速绑定，即可以基于虚拟角色的三维模型和骨骼数据，对待绑定的虚拟角色的三维模型自动且快速给出蒙皮结果，减少美术手工人员的辅助工作量，进而解决相关技术中，在对虚拟对象进行蒙皮操作时，无法应对复杂的角色模型，导致需要大量的美术手工辅助，增加美术手工人员的工作量的技术问题。
可选地，确定单元包括：第一提取模块，用于提取网格数据中每个顶点的顶点坐标以及各个顶点之间的连通关系；第一计算模块，用于基于顶点坐标和各个顶点之间的连通关系，计算每个顶点的几何特征，其中，几何特征包括下述至少之一：法向量、曲率、拉普拉斯参数；第二提取模块，用于基于每个顶点的几何特征，提取各个顶点的特征算子；第一确定模块，用于根据几何特征和特征算子，确定每个顶点的顶点特征。
另一种可选地，虚拟角色的蒙皮装置还包括：第一获取单元，用于在确定每个顶点的顶点特征之后，获取骨骼数据中每个顶点至各个关节点的第一距离值；第二确定模块，用于将第一距离值作为距离特征。
在本发明实施例中，虚拟角色的蒙皮装置还包括：第一拼接单元，用于在确定网格数据中每个顶点的顶点特征以及骨骼数据中每个顶点至各个关节点的距离特征的步骤之后，拼接各个顶点的特征算子，以得到与每个顶点对应的顶点特征向量；第一合并单元，用于合并距离特征和顶点特征向量，以得到第一输入参数。
另一种可选地，拟合单元包括：第一输入模块，用于将第一输入参数输入至预设的投影矩阵学习网络，以预估得到与每个顶点对应的投影矩阵参数；变换模块，用于利用投影矩阵参数对顶点特征进行投影变换；第一拼接模块，用于拼接经过投影变换后的顶点特征和距离特征，得到第二输入参数；第二输入模块，用于将第二输入参数输入预设的绑定特征学习网络，以得到各个顶点的绑定特征。
在本发明实施例中，绑定特征学习网络至少包括：多个全连接层和中间层，第二输入模块包括：第一变换子模块，用于通过与每个顶点关联的多个全连接层对顶点特征进行特征变换，以得到顶点的局部特征；池化子模块，用于通过绑定特征学习网络的中间层对顶点特征进行池化操作，以得到顶点的全局特征；拼接子模块，用于拼接局部特征和全局特征，以得到顶点的绑定特征。
可选地，虚拟角色的蒙皮装置还包括：第三确定模块，用于在得到顶点的绑定特征的步骤之后，确定骨骼数据中每个关节点的节点维度；归一化模块，用于通过预设的归一化指数函数将顶点特征向量在节点维度上进行归一化处理，以确定每个关节点对各个顶点的权值影响概率。
另一种可选地，虚拟角色的蒙皮装置还包括：第二获取单元，用于在利用绑定权值对虚拟角色执行蒙皮操作的步骤之前，获取投影矩阵网络的正则化损失函数和每个关节点对各个顶点的权值影响概率；第二计算模块，用于计算权值影响概率与真实权值概率的第二距离值；第四确定模块，用于根据第二距离值，确定权值距离损失函数；组合模块，用于组合正则化损失函数和权值距离损失函数，计算总损失函数。
可选地，蒙皮单元包括：调整模块，用于根据总损失函数，迭代调整投影矩阵网络的投影矩阵参数；第五确定模块，用于在迭代调整的次数达到预设调整次数时，确定迭代得到的目标权值影响概率和与目标权值影响概率对应的目标关节点；第六确定模块，用于确定与目标关节点对应的蒙皮绑定权值；第七确定模块，用于利用蒙皮绑定权值，确定每个顶点对应的待绑定关节点；绑定模块，用于根据每个顶点对应的待绑定关节点，将三维模型绑定到虚拟角色的骨骼上，以完成对虚拟角色的蒙皮操作。
上述的虚拟角色的蒙皮装置还可以包括处理器和存储器，上述加载单元41，确定单元43，拟合单元45，蒙皮单元47等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
上述处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来完成对虚拟角色的蒙皮操作。
上述存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
根据本发明实施例的另一方面，还提供了一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行如下方法步骤的程序：加载虚拟角色的三维模型以及与虚拟角色对应的骨骼数据，其中，三维模型对应有虚拟角色的多个顶点的网格数据，骨骼数据对应有多个关节点的数据；确定网格数据中每个顶点的顶点特征以及骨骼数据中每个顶点至各个关节点的距离特征；拟合顶点特征和距离特征，以得到虚拟角色各个顶点的绑定特征，其中，绑定特征用于确定每个关节点与顶点的绑定权值；利用绑定权值对虚拟角色执行蒙皮操作，将三维模型绑定到虚拟角色的骨骼上。
可选地，上述处理器还可以配置为经由执行可执行指令来执行如下方法步骤的程序：提取网格数据中每个顶点的顶点坐标以及各个顶点之间的连通关系；基于顶点坐标和各个顶点之间的连通关系，计算每个顶点的几何特征，其中，几何特征包括下述至少之一：法向量、曲率、拉普拉斯参数；基于每个顶点的几何特征，提取各个顶点的特征算子；根据几何特征和特征算子，确定每个顶点的顶点特征。
可选地，上述处理器还可以配置为经由执行可执行指令来执行如下方法步骤的程序：在确定每个顶点的顶点特征之后，获取骨骼数据中每个顶点至各个关节点的第一距离值；将第一距离值作为距离特征。
可选地，上述处理器还可以配置为经由执行可执行指令来执行如下方法步骤的程序：在确定网格数据中每个顶点的顶点特征以及骨骼数据中每个顶点至各个关节点的距离特征的步骤之后，拼接各个顶点的特征算子，以得到与每个顶点对应的顶点特征向量；合并距离特征和顶点特征向量，以得到第一输入参数。
可选地，上述处理器还可以配置为经由执行可执行指令来执行如下方法步骤的程序：将第一输入参数输入至预设的投影矩阵学习网络，以预估得到与每个顶点对应的投影矩阵参数；利用投影矩阵参数对顶点特征进行投影变换；拼接经过投影变换后的顶点特征和距离特征，得到第二输入参数；将第二输入参数输入预设的绑定特征学习网络，以得到各个顶点的绑定特征。
可选地，绑定特征学习网络至少包括：多个全连接层和中间层，上述处理器还可以配置为经由执行可执行指令来执行如下方法步骤的程序：通过与每个顶点关联的多个全连接层对顶点特征进行特征变换，以得到顶点的局部特征；通过绑定特征学习网络的中间层对顶点特征进行池化操作，以得到顶点的全局特征；拼接局部特征和全局特征，以得到顶点的绑定特征。
可选地，上述处理器还可以配置为经由执行可执行指令来执行如下方法步骤的程序：在得到顶点的绑定特征的步骤之后，确定骨骼数据中每个关节点的节点维度；通过预设的归一化指数函数将顶点特征向量在节点维度上进行归一化处理，以确定每个关节点对各个顶点的权值影响概率。
可选地，上述处理器还可以配置为经由执行可执行指令来执行如下方法步骤的程序：在利用绑定权值对虚拟角色执行蒙皮操作的步骤之前，获取投影矩阵网络的正则化损失函数和每个关节点对各个顶点的权值影响概率；计算权值影响概率与真实权值概率的第二距离值；根据第二距离值，确定权值距离损失函数；组合正则化损失函数和权值距离损失函数，计算总损失函数。
可选地，上述处理器还可以配置为经由执行可执行指令来执行如下方法步骤的程序：根据总损失函数，迭代调整投影矩阵网络的投影矩阵参数；在迭代调整的次数达到预设调整次数时，确定迭代得到的目标权值影响概率和与目标权值影响概率对应的目标关节点；确定与目标关节点对应的蒙皮绑定权值；利用蒙皮绑定权值，确定每个顶点对应的待绑定关节点；根据每个顶点对应的待绑定关节点，将三维模型绑定到虚拟角色的骨骼上，以完成对虚拟角色的蒙皮操作。
根据本发明实施例的另一方面，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述任意一项的虚拟角色的蒙皮方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (13)

1.一种虚拟角色的蒙皮方法，其特征在于，包括：
加载虚拟角色的三维模型以及与所述虚拟角色对应的骨骼数据，其中，所述三维模型对应有所述虚拟角色的多个顶点的网格数据，所述骨骼数据对应有多个关节点的数据；
确定所述网格数据中每个所述顶点的顶点特征以及所述骨骼数据中每个所述顶点至各个关节点的距离特征；
拟合所述顶点特征和所述距离特征，以得到所述虚拟角色各个顶点的绑定特征，其中，所述绑定特征用于确定每个关节点与顶点的绑定权值；
利用所述绑定权值对所述虚拟角色执行蒙皮操作，将所述三维模型绑定到所述虚拟角色的骨骼上。
2.根据权利要求1所述的方法，其特征在于，确定所述网格数据中每个所述顶点的顶点特征包括：
提取所述网格数据中每个顶点的顶点坐标以及各个顶点之间的连通关系；
基于所述顶点坐标和各个顶点之间的连通关系，计算每个所述顶点的几何特征，其中，所述几何特征包括下述至少之一：法向量、曲率、拉普拉斯参数；
基于每个所述顶点的几何特征，提取各个所述顶点的特征算子；
根据所述几何特征和所述特征算子，确定每个所述顶点的顶点特征。
3.根据权利要求2所述的方法，其特征在于，在确定每个所述顶点的顶点特征之后，所述方法还包括：
获取所述骨骼数据中每个所述顶点至各个所述关节点的第一距离值；
将所述第一距离值作为所述距离特征。
4.根据权利要求3所述的方法，其特征在于，在确定所述网格数据中每个所述顶点的顶点特征以及所述骨骼数据中每个所述顶点至各个关节点的距离特征的步骤之后，所述方法还包括：
拼接各个顶点的所述特征算子，以得到与每个所述顶点对应的顶点特征向量；
合并所述距离特征和所述顶点特征向量，以得到第一输入参数。
5.根据权利要求4所述的方法，其特征在于，拟合所述顶点特征和所述距离特征，以得到所述虚拟角色各个顶点的绑定特征的步骤，包括：
将所述第一输入参数输入至预设的投影矩阵学习网络，以预估得到与每个顶点对应的投影矩阵参数；
利用所述投影矩阵参数对所述顶点特征进行投影变换；
拼接经过投影变换后的顶点特征和所述距离特征，得到第二输入参数；
将所述第二输入参数输入预设的绑定特征学习网络，以得到各个顶点的绑定特征。
6.根据权利要求5所述的方法，其特征在于，所述绑定特征学习网络至少包括：多个全连接层和中间层，将所述第二输入参数输入预设的绑定特征学习网络，以得到各个顶点的绑定特征的步骤，包括：
通过与每个所述顶点关联的多个全连接层对所述顶点特征进行特征变换，以得到所述顶点的局部特征；
通过所述绑定特征学习网络的中间层对所述顶点特征进行池化操作，以得到所述顶点的全局特征；
拼接所述局部特征和所述全局特征，以得到所述顶点的绑定特征。
7.根据权利要求6所述的方法，其特征在于，在得到所述顶点的绑定特征的步骤之后，所述方法还包括：
确定所述骨骼数据中每个关节点的节点维度；
通过预设的归一化指数函数将所述顶点特征向量在所述节点维度上进行归一化处理，以确定每个关节点对各个所述顶点的权值影响概率。
8.根据权利要求1所述的方法，其特征在于，在利用所述绑定权值对所述虚拟角色执行蒙皮操作的步骤之前，所述方法还包括：
获取投影矩阵网络的正则化损失函数和每个关节点对各个所述顶点的权值影响概率；
计算所述权值影响概率与真实权值概率的第二距离值；
根据所述第二距离值，确定权值距离损失函数；
组合所述正则化损失函数和所述权值距离损失函数，计算总损失函数。
9.根据权利要求8所述的方法，其特征在于，利用所述绑定权值对所述虚拟角色执行蒙皮操作的步骤，包括：
根据所述总损失函数，迭代调整所述投影矩阵网络的投影矩阵参数；
在迭代调整的次数达到预设调整次数时，确定迭代得到的目标权值影响概率和与所述目标权值影响概率对应的目标关节点；
确定与所述目标关节点对应的蒙皮绑定权值；
利用所述蒙皮绑定权值，确定每个顶点对应的待绑定关节点；
根据每个顶点对应的待绑定关节点，将所述三维模型绑定到所述虚拟角色的骨骼上，以完成对所述虚拟角色的蒙皮操作。
10.根据权利要求1至9中任意一项所述的方法，其特征在于，所述蒙皮操作为刚性蒙皮的蒙皮操作。
11.一种虚拟角色的蒙皮装置，其特征在于，包括：
加载单元，用于加载虚拟角色的三维模型以及与所述虚拟角色对应的骨骼数据，其中，所述三维模型对应有所述虚拟角色的多个顶点的网格数据，所述骨骼数据对应有多个关节点的数据；
确定单元，用于确定所述网格数据中每个所述顶点的顶点特征以及所述骨骼数据中每个所述顶点至各个关节点的距离特征；
拟合单元，用于拟合所述顶点特征和所述距离特征，以得到所述虚拟角色各个顶点的绑定特征，其中，所述绑定特征用于确定每个关节点与顶点的绑定权值；
蒙皮单元，用于利用所述绑定权值对所述虚拟角色执行蒙皮操作，将所述三维模型绑定到所述虚拟角色的骨骼上。
12.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至10中任意一项所述的虚拟角色的蒙皮方法。
13.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至10中任意一项所述的虚拟角色的蒙皮方法。
CN201910281847.4A 2019-04-09 2019-04-09 虚拟角色的蒙皮方法及装置、电子设备 Active CN109993819B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910281847.4A CN109993819B (zh) 2019-04-09 2019-04-09 虚拟角色的蒙皮方法及装置、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910281847.4A CN109993819B (zh) 2019-04-09 2019-04-09 虚拟角色的蒙皮方法及装置、电子设备

Publications (2)

Publication Number Publication Date
CN109993819A true CN109993819A (zh) 2019-07-09
CN109993819B CN109993819B (zh) 2023-06-20

Family

ID=67132729

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910281847.4A Active CN109993819B (zh) 2019-04-09 2019-04-09 虚拟角色的蒙皮方法及装置、电子设备

Country Status (1)

Country Link
CN (1) CN109993819B (zh)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110992495A (zh) * 2019-12-26 2020-04-10 珠海金山网络游戏科技有限公司 一种虚拟模型的变形方法及装置
CN111028321A (zh) * 2019-12-16 2020-04-17 网易（杭州）网络有限公司 蒙皮检测方法、装置以及电子终端
CN111210495A (zh) * 2019-12-31 2020-05-29 深圳市商汤科技有限公司 三维模型驱动方法、装置、终端及计算机可读存储介质
CN111598980A (zh) * 2020-05-14 2020-08-28 北京华严互娱科技有限公司 一种蒙皮权重自动计算方法及计算系统
CN111714885A (zh) * 2020-06-22 2020-09-29 网易（杭州）网络有限公司 游戏角色模型生成、角色调整方法、装置、设备及介质
CN111784805A (zh) * 2020-07-03 2020-10-16 珠海金山网络游戏科技有限公司 一种虚拟角色交互反馈方法和装置
CN112509099A (zh) * 2020-11-30 2021-03-16 北京百度网讯科技有限公司 虚拟形象驱动方法、装置、设备和存储介质
CN112562043A (zh) * 2020-12-08 2021-03-26 北京百度网讯科技有限公司 图像处理方法、装置和电子设备
CN112581571A (zh) * 2020-12-02 2021-03-30 北京达佳互联信息技术有限公司 虚拟形象模型的控制方法、装置、电子设备及存储介质
CN112755523A (zh) * 2021-01-12 2021-05-07 网易（杭州）网络有限公司 目标虚拟模型构建方法及装置、电子设备、存储介质
CN112802161A (zh) * 2021-01-27 2021-05-14 青岛联合创智科技有限公司 一种三维虚拟角色智能蒙皮方法
CN112862933A (zh) * 2021-02-04 2021-05-28 北京百度网讯科技有限公司 用于优化模型的方法、装置、设备以及存储介质
CN112843701A (zh) * 2021-03-09 2021-05-28 腾讯科技（深圳）有限公司 可穿戴元素的替换方法、装置、终端及存储介质
CN112884869A (zh) * 2021-03-25 2021-06-01 北京爱奇艺科技有限公司 运动重定向策略选择方法、装置、设备及存储介质
CN112884868A (zh) * 2021-04-30 2021-06-01 腾讯科技（深圳）有限公司 三维网格顶点特征确定方法、骨骼蒙皮方法及相关装置
CN112991502A (zh) * 2021-04-22 2021-06-18 腾讯科技（深圳）有限公司 一种模型训练方法、装置、设备及存储介质
CN112991501A (zh) * 2021-03-19 2021-06-18 腾讯科技（深圳）有限公司 一种数据处理方法、装置及计算机可读存储介质
CN113409430A (zh) * 2021-06-01 2021-09-17 北京百度网讯科技有限公司 可驱动三维人物生成方法、装置、电子设备及存储介质
CN113610949A (zh) * 2021-08-25 2021-11-05 腾讯科技（深圳）有限公司 虚拟手臂骨骼的蒙皮方法、装置、设备以及存储介质
CN113658305A (zh) * 2021-07-19 2021-11-16 广州虎牙科技有限公司 三维模型的蒙皮方法、装置、设备及计算机可读存储介质
CN113658309A (zh) * 2021-08-25 2021-11-16 北京百度网讯科技有限公司 三维重建方法、装置、设备以及存储介质
CN114241100A (zh) * 2022-02-25 2022-03-25 腾讯科技（深圳）有限公司 虚拟对象的蒙皮处理方法、装置、设备、介质及程序产品
CN114373143A (zh) * 2021-12-06 2022-04-19 北京爱奇艺科技有限公司 虚拟模型中节点间距离数据的获取方法及装置
WO2022143179A1 (zh) * 2020-12-31 2022-07-07 魔珐(上海)信息科技有限公司 虚拟角色模型创建方法、装置、电子设备和存储介质
CN114882153A (zh) * 2022-04-01 2022-08-09 网易（杭州）网络有限公司 一种动画生成的方法及装置
CN116486108A (zh) * 2023-06-20 2023-07-25 腾讯科技（深圳）有限公司 一种图像处理方法、装置、设备及存储介质
WO2024037591A1 (zh) * 2022-08-19 2024-02-22 腾讯科技（深圳）有限公司 数据处理方法、装置、设备及存储介质
WO2024120096A1 (zh) * 2022-12-09 2024-06-13 腾讯科技（深圳）有限公司 关键点检测方法、训练方法、装置、电子设备、计算机可读存储介质及计算机程序产品

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100173707A1 (en) * 2007-06-07 2010-07-08 Konami Digital Entertainment Co., Ltd. Game device, game device control method, program, and information storage medium
CN112802161A (zh) * 2021-01-27 2021-05-14 青岛联合创智科技有限公司 一种三维虚拟角色智能蒙皮方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100173707A1 (en) * 2007-06-07 2010-07-08 Konami Digital Entertainment Co., Ltd. Game device, game device control method, program, and information storage medium
CN112802161A (zh) * 2021-01-27 2021-05-14 青岛联合创智科技有限公司 一种三维虚拟角色智能蒙皮方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
何青等: "虚拟人骨架驱动皮肤变形的改进的热平衡法", 《计算机仿真》 *

Cited By (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111028321A (zh) * 2019-12-16 2020-04-17 网易（杭州）网络有限公司 蒙皮检测方法、装置以及电子终端
CN110992495A (zh) * 2019-12-26 2020-04-10 珠海金山网络游戏科技有限公司 一种虚拟模型的变形方法及装置
CN110992495B (zh) * 2019-12-26 2023-09-08 珠海金山数字网络科技有限公司 一种虚拟模型的变形方法及装置
CN111210495A (zh) * 2019-12-31 2020-05-29 深圳市商汤科技有限公司 三维模型驱动方法、装置、终端及计算机可读存储介质
CN111598980A (zh) * 2020-05-14 2020-08-28 北京华严互娱科技有限公司 一种蒙皮权重自动计算方法及计算系统
CN111714885A (zh) * 2020-06-22 2020-09-29 网易（杭州）网络有限公司 游戏角色模型生成、角色调整方法、装置、设备及介质
CN111784805A (zh) * 2020-07-03 2020-10-16 珠海金山网络游戏科技有限公司 一种虚拟角色交互反馈方法和装置
CN111784805B (zh) * 2020-07-03 2024-02-09 珠海金山数字网络科技有限公司 一种虚拟角色交互反馈方法和装置
CN112509099A (zh) * 2020-11-30 2021-03-16 北京百度网讯科技有限公司 虚拟形象驱动方法、装置、设备和存储介质
CN112509099B (zh) * 2020-11-30 2024-02-06 北京百度网讯科技有限公司 虚拟形象驱动方法、装置、设备和存储介质
CN112581571A (zh) * 2020-12-02 2021-03-30 北京达佳互联信息技术有限公司 虚拟形象模型的控制方法、装置、电子设备及存储介质
CN112581571B (zh) * 2020-12-02 2024-03-12 北京达佳互联信息技术有限公司 虚拟形象模型的控制方法、装置、电子设备及存储介质
CN112562043A (zh) * 2020-12-08 2021-03-26 北京百度网讯科技有限公司 图像处理方法、装置和电子设备
CN112562043B (zh) * 2020-12-08 2023-08-08 北京百度网讯科技有限公司 图像处理方法、装置和电子设备
WO2022143179A1 (zh) * 2020-12-31 2022-07-07 魔珐(上海)信息科技有限公司 虚拟角色模型创建方法、装置、电子设备和存储介质
CN112755523B (zh) * 2021-01-12 2024-03-15 网易（杭州）网络有限公司 目标虚拟模型构建方法及装置、电子设备、存储介质
CN112755523A (zh) * 2021-01-12 2021-05-07 网易（杭州）网络有限公司 目标虚拟模型构建方法及装置、电子设备、存储介质
CN112802161A (zh) * 2021-01-27 2021-05-14 青岛联合创智科技有限公司 一种三维虚拟角色智能蒙皮方法
CN112802161B (zh) * 2021-01-27 2022-11-15 青岛联合创智科技有限公司 一种三维虚拟角色智能蒙皮方法
CN112862933A (zh) * 2021-02-04 2021-05-28 北京百度网讯科技有限公司 用于优化模型的方法、装置、设备以及存储介质
CN112862933B (zh) * 2021-02-04 2023-06-27 北京百度网讯科技有限公司 用于优化模型的方法、装置、设备以及存储介质
CN112843701A (zh) * 2021-03-09 2021-05-28 腾讯科技（深圳）有限公司 可穿戴元素的替换方法、装置、终端及存储介质
CN112991501B (zh) * 2021-03-19 2024-07-09 腾讯科技（深圳）有限公司 一种数据处理方法、装置及计算机可读存储介质
CN112991501A (zh) * 2021-03-19 2021-06-18 腾讯科技（深圳）有限公司 一种数据处理方法、装置及计算机可读存储介质
CN112884869A (zh) * 2021-03-25 2021-06-01 北京爱奇艺科技有限公司 运动重定向策略选择方法、装置、设备及存储介质
CN112991502A (zh) * 2021-04-22 2021-06-18 腾讯科技（深圳）有限公司 一种模型训练方法、装置、设备及存储介质
CN112991502B (zh) * 2021-04-22 2021-07-16 腾讯科技（深圳）有限公司 一种模型训练方法、装置、设备及存储介质
CN112884868A (zh) * 2021-04-30 2021-06-01 腾讯科技（深圳）有限公司 三维网格顶点特征确定方法、骨骼蒙皮方法及相关装置
CN112884868B (zh) * 2021-04-30 2021-07-13 腾讯科技（深圳）有限公司 三维网格顶点特征确定方法、骨骼蒙皮方法及相关装置
CN113409430A (zh) * 2021-06-01 2021-09-17 北京百度网讯科技有限公司 可驱动三维人物生成方法、装置、电子设备及存储介质
CN113658305A (zh) * 2021-07-19 2021-11-16 广州虎牙科技有限公司 三维模型的蒙皮方法、装置、设备及计算机可读存储介质
CN113658309B (zh) * 2021-08-25 2023-08-01 北京百度网讯科技有限公司 三维重建方法、装置、设备以及存储介质
CN113610949B (zh) * 2021-08-25 2023-06-16 腾讯科技（深圳）有限公司 虚拟手臂骨骼的蒙皮方法、装置、设备以及存储介质
CN113658309A (zh) * 2021-08-25 2021-11-16 北京百度网讯科技有限公司 三维重建方法、装置、设备以及存储介质
CN113610949A (zh) * 2021-08-25 2021-11-05 腾讯科技（深圳）有限公司 虚拟手臂骨骼的蒙皮方法、装置、设备以及存储介质
CN114373143A (zh) * 2021-12-06 2022-04-19 北京爱奇艺科技有限公司 虚拟模型中节点间距离数据的获取方法及装置
CN114241100A (zh) * 2022-02-25 2022-03-25 腾讯科技（深圳）有限公司 虚拟对象的蒙皮处理方法、装置、设备、介质及程序产品
WO2023160051A1 (zh) * 2022-02-25 2023-08-31 腾讯科技（深圳）有限公司 虚拟对象的蒙皮处理方法、装置、电子设备、存储介质及计算机程序产品
CN114241100B (zh) * 2022-02-25 2022-06-03 腾讯科技（深圳）有限公司 虚拟对象的蒙皮处理方法、装置、设备、介质及程序产品
CN114882153A (zh) * 2022-04-01 2022-08-09 网易（杭州）网络有限公司 一种动画生成的方法及装置
WO2024037591A1 (zh) * 2022-08-19 2024-02-22 腾讯科技（深圳）有限公司 数据处理方法、装置、设备及存储介质
WO2024120096A1 (zh) * 2022-12-09 2024-06-13 腾讯科技（深圳）有限公司 关键点检测方法、训练方法、装置、电子设备、计算机可读存储介质及计算机程序产品
CN116486108B (zh) * 2023-06-20 2023-09-01 腾讯科技（深圳）有限公司 一种图像处理方法、装置、设备及存储介质
CN116486108A (zh) * 2023-06-20 2023-07-25 腾讯科技（深圳）有限公司 一种图像处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN109993819B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
CN109993819A (zh) 虚拟角色的蒙皮方法及装置、电子设备
Jiang et al. Bcnet: Learning body and cloth shape from a single image
CN109636831B (zh) 一种估计三维人体姿态及手部信息的方法
US11367239B2 (en) Textured neural avatars
Bartle et al. Physics-driven pattern adjustment for direct 3D garment editing.
Bertiche et al. Pbns: Physically based neural simulator for unsupervised garment pose space deformation
CN108510577B (zh) 基于已有动作数据的真实感动作迁移和生成方法及系统
Rose et al. Developable surfaces from arbitrary sketched boundaries
US20200151963A1 (en) Training data set generation apparatus and method for machine learning
CN103942822B (zh) 一种基于单视频摄像机的面部特征点跟踪和人脸动画方法
CN100530244C (zh) 一种基于骨骼的任意拓扑结构虚拟角色的驱动方法
CN112991502B (zh) 一种模型训练方法、装置、设备及存储介质
CN109685819A (zh) 一种基于特征增强的三维医学图像分割方法
EP2817749A1 (en) System and method for simulating realistic clothing
KR101102778B1 (ko) 리깅 복제를 통한 캐릭터 리깅 자동화 방법 및 장치
CN107680167A (zh) 一种基于用户形象的三维人体模型创建方法及系统
Liao et al. Skeleton-free pose transfer for stylized 3d characters
CN110298916A (zh) 一种基于合成深度数据的三维人体重建方法
CN105654334A (zh) 虚拟试衣方法和系统
CN113593001A (zh) 目标对象三维重建方法、装置、计算机设备和存储介质
Zollhöfer et al. GPU based ARAP Deformation using Volumetric Lattices.
CN110472691A (zh) 目标定位模块训练方法、装置、机器人及存储介质
CN116362133A (zh) 一种基于骨架的预测目标姿势下布料静态变形的双相流网络方法
Shi et al. Automatic 3D virtual fitting system based on skeleton driving
CN101116104A (zh) 用于分割多维数据集中的表面的方法、系统和计算机程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant