CN112991503A - 一种基于蒙皮权重的模型训练方法、装置、设备及介质 - Google Patents

一种基于蒙皮权重的模型训练方法、装置、设备及介质 Download PDF

Info

Publication number
CN112991503A
CN112991503A CN202110433248.7A CN202110433248A CN112991503A CN 112991503 A CN112991503 A CN 112991503A CN 202110433248 A CN202110433248 A CN 202110433248A CN 112991503 A CN112991503 A CN 112991503A
Authority
CN
China
Prior art keywords
vertex
sample
model
target
wearing article
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110433248.7A
Other languages
English (en)
Other versions
CN112991503B (zh
Inventor
邱炜彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110433248.7A priority Critical patent/CN112991503B/zh
Publication of CN112991503A publication Critical patent/CN112991503A/zh
Application granted granted Critical
Publication of CN112991503B publication Critical patent/CN112991503B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Abstract

本申请实施例公开了一种基于蒙皮权重的模型训练方法、装置、设备及介质,该方法包括:获取具有样本权重标签的样本穿戴物品模型,提取样本骨骼结构;基于模型顶点的顶点位置信息以及法向量信息确定样本顶点基础特征;基于顶点拓扑结构确定样本顶点连接关系矩阵;对样本穿戴物品模型进行体素化得到样本穿戴物品模型的体素,基于体素确定样本测地距离特征;基于样本顶点基础特征、样本顶点连接关系矩阵、样本测地距离特征以及初始网络模型,得到预测权重标签,基于预测权重标签以及样本权重标签对初始网络模型进行训练,得到用于预测目标蒙皮权重的目标网络模型。采用本申请实施例,可以提高预测蒙皮权重的准确度。

Description

一种基于蒙皮权重的模型训练方法、装置、设备及介质
技术领域
本申请涉及计算机技术领域,尤其涉及一种基于蒙皮权重的模型训练方法、装置、设备及介质。
背景技术
目前在动画制作过程中,由于穿戴物品模型(例如,三维人体服饰模型)与分布在该三维人体服饰中的骨骼结构是相互独立的,因此,为了让骨骼结构驱动三维人体服饰模型产生合理的运动,具有蒙皮功能的计算机设备在创建该三维人体服饰模型的过程中,需要通过设置模型顶点与骨骼结构之间的蒙皮权重,以实现将三维人体服饰模型绑定在骨骼结构上的效果。
可以理解的是,现有的蒙皮算法可以通过计算模型顶点与骨骼结构之间的欧氏距离,来确定模型顶点与骨骼结构对应的距离特征,从而可以得到该模型顶点与骨骼结构之间的蒙皮权重。然而,在涉及到曲面这样的实际应用中,欧氏距离无法准确的表示骨骼结构与三维人体服饰模型上的模型顶点之间的距离,进而导致最终的蒙皮权重设置不够精准。比如,在三维人体服饰模型自然站立的情况下,某一骨骼结构1(例如,肘关节所在骨骼结构)可能贴近于肋下放置,因此该计算机设备所确定的骨骼结构1与肋下区域的模型顶点之间的欧氏距离较小,以至于最终确定出的肋下区域的模型顶点与骨骼结构1之间的蒙皮权重较大,即肋下区域的模型顶点很大程度上受到肘关节的影响,而实际情况上肋下区域的模型顶点应当较少甚至于不会受到肘关节的影响,这样,在三维人体服饰模型随着骨骼结构运动时,三维人体服饰模型可能产生诸如面片严重变形,穿插等异常情况,从而降低了蒙皮权重的准确度。
发明内容
本申请实施例提供一种基于蒙皮权重的模型训练方法、装置、设备及介质,可以提高预测蒙皮权重的准确度。
本申请实施例一方面提供一种基于蒙皮权重的模型训练方法,包括:
获取具有样本权重标签的样本穿戴物品模型,提取分布在样本穿戴物品模型中的样本骨骼结构;样本权重标签用于指示样本穿戴物品模型的模型顶点与样本骨骼结构之间的样本蒙皮权重;
基于模型顶点的顶点位置信息以及模型顶点所属网格平面的法向量信息,确定模型顶点的样本顶点基础特征;
基于模型顶点所构成的顶点拓扑结构,确定与模型顶点相关联的样本顶点连接关系矩阵;
对样本穿戴物品模型进行体素化,得到样本穿戴物品模型的体素,基于体素确定模型顶点与样本骨骼结构之间的样本测地距离特征;
基于样本顶点基础特征、样本顶点连接关系矩阵、样本测地距离特征以及样本穿戴物品模型对应的初始网络模型,得到初始网络模型对应的预测权重标签,基于预测权重标签以及样本权重标签对初始网络模型进行训练,得到用于预测目标蒙皮权重的目标网络模型。
本申请实施例一方面提供一种基于蒙皮权重的模型应用方法,包括:
在获取到分布有目标骨骼结构的目标穿戴物品模型时,确定目标穿戴物品模型对应的目标输入特征;目标输入特征是由与目标穿戴物品模型相关联的目标顶点基础特征,目标顶点连接关系矩阵以及目标测地距离特征所确定的;
获取与目标穿戴物品模型相关联的目标网络模型,将目标顶点基础特征、目标顶点连接关系矩阵以及目标测地距离特征输入目标网络模型,由目标网络模型输出目标穿戴物品模型对应的目标蒙皮权重;
基于目标蒙皮权重,将目标穿戴物品模型的目标模型顶点与目标骨骼结构进行绑定。
本申请实施例一方面提供一种基于蒙皮权重的模型训练装置,包括:
样本模型获取模块,用于获取具有样本权重标签的样本穿戴物品模型,提取分布在样本穿戴物品模型中的样本骨骼结构;样本权重标签用于指示样本穿戴物品模型的模型顶点与样本骨骼结构之间的样本蒙皮权重;
样本顶点特征确定模块,用于基于模型顶点的顶点位置信息以及模型顶点所属网格平面的法向量信息,确定模型顶点的样本顶点基础特征;
样本矩阵确定模块,用于基于模型顶点所构成的顶点拓扑结构,确定与模型顶点相关联的样本顶点连接关系矩阵;
样本测地距离特征确定模块,用于对样本穿戴物品模型进行体素化,得到样本穿戴物品模型的体素,基于体素确定模型顶点与样本骨骼结构之间的样本测地距离特征;
模型训练模块,用于基于样本顶点基础特征、样本顶点连接关系矩阵、样本测地距离特征以及样本穿戴物品模型对应的初始网络模型,得到初始网络模型对应的预测权重标签,基于预测权重标签以及样本权重标签对初始网络模型进行训练,得到用于预测目标蒙皮权重的目标网络模型。
其中,模型顶点包括N个顶点,且N个顶点存储在样本穿戴物品模型对应的原始数据索引集;原始数据索引集是基于样本穿戴物品模型所确定的;N为大于或者等于3的正整数;
该样本顶点特征确定模块包括:
顶点拓扑结构构建单元,用于获取模型顶点所属的原始数据索引集,基于原始数据索引集构建样本穿戴物品模型的顶点拓扑结构;顶点拓扑结构包括N个顶点;
顶点位置信息确定单元,用于从N个顶点中确定用于进行向量编码处理的顶点Vi,且在样本穿戴物品模型所在的空间坐标系中,确定顶点Vi的顶点位置信息;i为小于或者等于N的正整数;
初始法向量确定单元,用于获取顶点Vi所属的M个网格平面,确定M个网格平面中的每个网格平面的初始法向量信息;M为正整数;
目标法向量确定单元,用于对确定的M个初始法向量信息进行向量求和处理,得到待处理法向量信息,对待处理法向量信息进行归一化处理,将归一化处理后的待处理法向量信息作为与顶点Vi相关联的目标法向量信息;
样本顶点特征确定单元,用于将顶点Vi的顶点位置信息与目标法向量信息进行拼接处理,得到顶点Vi的顶点特征,且基于顶点Vi的顶点特征,确定模型顶点的样本顶点基础特征。
其中,该样本矩阵确定模块包括:
拆分处理单元,用于基于模型顶点所构成的顶点拓扑结构,从样本穿戴物品模型对应的原始数据索引集中,确定与模型顶点具有索引关系的网格平面,基于网格平面所指示的索引关系,对网格平面进行拆分处理,得到与网格平面相关联的模型顶点的连接边集合;
矩阵元素确定单元,用于基于连接边集合,确定待构建样本顶点连接关系矩阵的矩阵元素Aij;矩阵元素Aij的数值用于指示模型顶点中的顶点Vi与顶点Vj之间的连接关系;i和j均为小于或者等于N的正整数;N为模型顶点的顶点总数量;
样本矩阵确定单元,用于基于矩阵元素Aij,确定与模型顶点相关联的样本顶点连接关系矩阵;样本顶点连接关系矩阵为N行N列的矩阵。
其中,该样本矩阵确定模块还包括:
第一确定单元,用于若i等于j,则将矩阵元素Aij确定为样本顶点连接关系矩阵的对角线矩阵元素,且将对角线矩阵元素的数值确定为第一数值;
第二确定单元,用于若i不等于j,且连接边集合指示顶点Vi与顶点Vj之间存在连接边,则将矩阵元素Aij的数值确定为第一数值;
第三确定单元,用于若i不等于j,且连接边集合指示顶点Vi与顶点Vj之间不存在连接边,则将矩阵元素Aij的数值确定为第二数值;第二数值与第一数值不同。
其中,该样本测地距离特征确定模块包括:
体素化单元,用于对样本穿戴物品模型进行体素化,得到样本穿戴物品模型的体素,通过体素,构建样本穿戴物品模型的体素拓扑结构;
测地距离集确定单元,用于在体素拓扑结构中,基于体素拓扑结构中的任意两个体素之间的测地距离,得到与样本穿戴物品模型相关联的测地距离集;
种子体素确定单元,用于获取属于样本骨骼结构的骨骼辅助点,从骨骼辅助点发射X个不同方向的射线,得到骨骼辅助点对应的X个种子体素;一个种子体素是在一个方向的射线上所确定的与骨骼辅助点具有最小欧氏距离的体素;X为正整数;
初始距离确定单元,用于基于X个种子体素中的每个种子体素以及测地距离集,分别确定骨骼辅助点与模型顶点所在的体素之间的距离,得到X个初始距离;
样本测地距离特征确定单元,用于在X个初始距离中,将具有最小值的初始距离作为目标距离,且基于目标距离确定模型顶点与样本骨骼结构之间的样本测地距离特征。
其中,该体素化单元包括:
关键点位置确定子单元,用于基于顶点拓扑结构获取用于构成网格平面的关键顶点,确定关键顶点的顶点位置信息;关键顶点的顶点位置信息为样本穿戴物品模型所在的空间坐标系中的三维坐标位置信息;空间坐标系中包含三个维度;
包围盒确定子单元,用于基于关键顶点的三维坐标位置信息,在每个维度上确定具有最小坐标位置的第一坐标点和具有最大坐标位置的第二坐标点,且基于在每个维度上所确定的第一坐标点和第二坐标点,确定网格平面所占据的最小轴对称包围盒;
体素空间分割子单元,用于获取与样本穿戴物品模型相关联的分割阈值,基于分割阈值对最小轴对称包围盒进行体素空间分割,得到与最小轴对称包围盒相关联的体素集合;
体素拓扑结构构建子单元,用于若体素集合中存在与网格平面相交的初始体素,则将相交的初始体素作为样本穿戴物品模型的体素,且通过体素,构建样本穿戴物品模型的体素拓扑结构。
其中,该初始距离确定单元包括:
衔接体素获取子单元,用于将模型顶点所在的体素作为目标体素,且在X个种子体素中,遍历获取一个种子体素作为中间衔接体素;中间衔接体素用于衔接骨骼辅助点与目标体素;
距离获取子单元,用于确定骨骼辅助点与中间衔接体素之间的欧氏距离,且在测地距离集中,获取中间衔接体素与目标体素之间的目标测地距离;
初始距离确定子单元,用于对欧氏距离与目标测地距离进行求和处理,将求和处理后的距离和作为骨骼辅助点与目标体素之间的初始距离,且在遍历完成时,得到X个初始距离。
其中,该模型训练模块包括:
距离权重特征确定单元,用于获取用于对样本测地距离特征进行特征转换的可调整系数,基于可调整系数以及样本测地距离特征,得到样本穿戴物品模型对应的距离权重特征;
样本特征确定单元,用于将距离权重特征以及样本顶点基础特征进行拼接处理,得到顶点拼接特征,将顶点拼接特征以及样本顶点连接关系矩阵作为用于训练样本穿戴物品模型对应的初始网络模型的样本特征;
预测权重标签输出单元,用于将样本特征输入初始网络模型,由初始网络模型输出样本穿戴物品模型对应的预测权重标签;预测权重标签用于指示模型顶点与样本骨骼结构之间的预测蒙皮权重;
模型训练单元,用于基于预测权重标签以及样本权重标签,对初始网络模型进行训练,得到用于预测目标蒙皮权重的目标网络模型。
其中,初始网络模型包括第一多层全连接感知层、全局网络、图注意力网络以及第二多层全连接感知层;
该预测权重标签输出单元包括:
顶点隐藏特征确定子单元,用于将样本特征中的顶点拼接特征输入第一多层全连接感知层,由第一多层全连接感知层输出顶点拼接特征对应的顶点隐藏特征;
全局信息特征确定子单元,用于将顶点隐藏特征输入全局网络,通过全局网络中的第三多层全连接感知层以及全局最大池化层,得到样本穿戴物品模型的全局信息特征;
局部信息特征确定子单元,用于将顶点隐藏特征以及样本特征中的样本顶点连接关系矩阵输入图注意力网络,由图注意力网络输出样本穿戴物品模型的局部信息特征;
预测权重标签输出子单元,用于对全局信息特征以及局部信息特征进行拼接处理,得到信息拼接特征,将信息拼接特征输入第二多层全连接感知层,由第二多层全连接感知层输出样本穿戴物品模型对应的预测权重标签。
其中,图注意力网络包括采用稠密连接模式所连接的图卷积层L1、图卷积层L2以及图卷积层L3
该局部信息特征确定子单元包括:
第一输出特征确定子单元,用于将顶点隐藏特征以及样本特征中的样本顶点连接关系矩阵作为图卷积层L1的第一输入特征,通过图卷积层L1对第一输入特征进行特征提取,得到图卷积层L1的第一输出特征;
第二输出特征确定子单元,用于对第一输入特征以及第一输出特征进行拼接处理,得到第一拼接聚合特征,将第一拼接聚合特征作为图卷积层L2的第二输入特征,通过图卷积层L2对第二输入特征进行特征提取,得到图卷积层L2的第二输出特征;
第三输出特征确定子单元,用于对第二输入特征以及第二输出特征进行拼接处理,得到第二拼接聚合特征,将第二拼接聚合特征作为图卷积层L3的第三输入特征,通过图卷积层L3对第三输入特征进行特征提取,得到图卷积层L3的第三输出特征;
拼接处理子单元,用于对第三输入特征以及第三输出特征进行拼接处理,将拼接处理后的特征作为样本穿戴物品模型的局部信息特征。
其中,图卷积层L1包括k个图注意力层;k为正整数;
第一输出特征确定子单元还用于:
将顶点隐藏特征以及样本特征中的样本顶点连接关系矩阵作为图卷积层L1的第一输入特征;
从k个图注意力层中确定目标图注意力层,获取与目标图注意力层相关联的可训练权重参数,且基于可训练权重参数,对第一输入特征进行线性变换,得到线性变换特征;
从线性变换特征中,获取顶点Vi对应的特征Zi以及顶点Vi的邻居顶点Vx的特征Zx;i和x均为小于或者等于N的正整数;N为模型顶点的顶点总数量;
获取与目标图注意力层相关联的可学习网络参数,基于可学习网络参数、特征Zi 以及特征Zx,确定顶点Vi与邻居顶点Vx之间的注意力系数
Figure 100002_DEST_PATH_IMAGE001
基于注意力系数
Figure 278851DEST_PATH_IMAGE001
以及特征Zx,确定顶点Vi的顶点注意力特征,且基于顶点Vi的 顶点注意力特征,得到目标图注意力层的图注意力特征;
基于目标图注意力层的图注意力特征,得到k个图注意力特征,且对k个图注意力特征进行拼接处理,将拼接处理后的图注意力特征作为图卷积层L1的第一输出特征。
本申请实施例一方面提供一种基于蒙皮权重的模型应用装置,包括:
目标输入特征确定模块,用于在获取到分布有目标骨骼结构的目标穿戴物品模型时,确定目标穿戴物品模型对应的目标输入特征;目标输入特征是由与目标穿戴物品模型相关联的目标顶点基础特征,目标顶点连接关系矩阵以及目标测地距离特征所确定的;
目标蒙皮权重输出模块,用于获取与目标穿戴物品模型相关联的目标网络模型,将目标顶点基础特征、目标顶点连接关系矩阵以及目标测地距离特征输入目标网络模型,由目标网络模型输出目标穿戴物品模型对应的目标蒙皮权重;
绑定模块,用于基于目标蒙皮权重,将目标穿戴物品模型的目标模型顶点与目标骨骼结构进行绑定。
本申请实施例一方面提供了一种计算机设备,包括:处理器和存储器;
处理器与存储器相连,其中,存储器用于存储计算机程序,计算机程序被处理器执行时,使得该计算机设备执行本申请实施例提供的方法。
本申请实施例一方面提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,该计算机程序适于由处理器加载并执行,以使得具有该处理器的计算机设备执行本申请实施例提供的方法。
本申请实施例一方面提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本申请实施例提供的方法。
在本申请实施例中,具备自动蒙皮功能的计算机设备在获取到具有样本权重标签(即真实蒙皮权重)的样本穿戴物品模型时,可以提取分布在该样本穿戴物品模型中的样本骨骼结构,进而可以根据该样本穿戴物品模型,获取用于表达顶点自身信息的样本顶点基础特征、用于表达模型顶点之间的连接信息的样本顶点连接关系矩阵以及用于表达模型顶点与样本骨骼结构之间的影响亲疏关系的样本测地距离特征。其中,样本测地距离特征是该计算机设备对样本穿戴物品模型进行体素化之后,根据体素化后的体素所确定的能够较为准确表示影响亲疏关系的距离特征。进一步地,该计算机设备可以基于这三个特征,得到能够用于准确表示输入初始网络模型的样本特征,进而在基于该样本特征对该初始网络模型进行训练之后,可以更加准确地得到用于预测目标蒙皮权重的目标网络模型,以提高预测蒙皮权重的准确度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种网络架构的结构示意图;
图2是本申请实施例提供的一种进行数据交互的场景示意图;
图3是本申请实施例提供的一种基于蒙皮权重的模型训练方法的流程示意图;
图4是本申请实施例提供的一种确定样本顶点连接关系矩阵的示意图;
图5是本申请实施例提供的一种对样本穿戴物品模型进行体素化的场景示意图;
图6是本申请实施例提供的一种确定样本测地距离特征的场景示意图;
图7是本申请实施例提供的一种确定样本测地距离特征的场景示意图;
图8是本申请实施例提供的一种初始网络模型的模型架构图;
图9是本申请实施例提供的一种基于表面体素化距离特征的深度学习自动蒙皮方法的流程示意图;
图10是本申请实施例提供的一种目标穿戴物品模型随骨骼动画进行相应动作的场景示意图;
图11是本申请实施例提供的一种基于蒙皮权重的模型训练装置的结构示意图;
图12是本申请实施例提供的一种基于蒙皮权重的模型应用装置的结构示意图;
图13是本申请实施例提供的一种计算机设备的示意图;
图14是本申请实施例提供的一种数据处理系统的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参见图1,图1是本申请实施例提供的一种网络架构的结构示意图。如图1所示,该网络架构可以包括服务器10和用户终端集群。该用户终端集群可以包括一个或者多个用户终端,这里将不对用户终端的数量进行限制。如图1所示,具体可以包括用户终端100a、用户终端100b、用户终端100c、…、用户终端100n。如图1所示,用户终端100a、用户终端100b、用户终端100c、…、用户终端100n可以分别与上述服务器10进行网络连接,以便于每个用户终端可以通过该网络连接与服务器10进行数据交互。其中,这里的网络连接不限定连接方式,可以通过有线通信方式进行直接或间接地连接,也可以通过无线通信方式进行直接或间接地连接,还可以通过其他方式,本申请在此不做限制。
其中,该用户终端集群中的每个用户终端均可以包括:智能手机、平板电脑、笔记本电脑、桌上型电脑、可穿戴设备、智能家居、头戴设备等具有预测蒙皮权重功能的智能终端。应当理解,如图1所示的用户终端集群中的每个用户终端均可以安装有目标应用(即应用客户端),当该应用客户端运行于各用户终端中时,可以分别与上述图1所示的服务器10之间进行数据交互。其中,该应用客户端可以包括社交客户端、多媒体客户端(例如,视频客户端)、娱乐客户端(例如,游戏客户端)、教育客户端、直播客户端等应用客户端。其中,该应用客户端可以为独立的客户端,也可以为集成在某客户端(例如,社交客户端、教育客户端以及多媒体客户端等)中的嵌入式子客户端,在此不做限定。
如图1所示,本申请实施例中的服务器10可以为该应用客户端对应的服务器。该服务器10可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
为便于理解,本申请实施例可以在图1所示的多个用户终端中选择一个用户终端作为目标用户终端。例如,本申请实施例可以将图1所示的用户终端100a作为目标用户终端,该目标用户终端中可以集成有目标应用(即应用客户端)。此时,该目标用户终端可以通过该应用客户端对应的业务数据平台与服务器10之间实现数据交互。这里的目标应用可以运行有已经训练完成的自动蒙皮神经网络模型(即目标网络模型),该目标网络模型可以为具备自动蒙皮功能的计算机设备(例如,图1所示的服务器10)通过获取到的具有样本权重标签(即真实蒙皮权重)的样本穿戴物品模型所训练的图神经网络模型,该目标网络模型可以用于预测目标穿戴物品模型对应的蒙皮权重,以实现将目标穿戴物品模型绑定在分布在该目标穿戴物品模型的目标骨骼结构的效果。其中,这里的目标穿戴物品模型可以为开发人员通过一种三维动画的制作技术,在模型创建软件(例如,三维软件)上所创建的虚拟模型,例如,三维人体服饰模型(例如,某一枪战类游戏中的职业枪手角色所对应的模型)、三维动物模型(例如,兔子模型)以及动画模型(例如,某一动画片中机器人角色对应的模型)。
应当理解,本申请实施例提出了一种基于表面体素化距离特征的深度学习自动蒙皮方法,该方法可以涉及人工智能领域中的机器学习方向。可以理解的是,所谓人工智能(Artificial Intelligence,简称AI)是指利用数字计算机或者数据计算机控制的计算机设备(例如,图1所示的服务器10)来进行模拟、延伸和扩展人的智能的理论、方法、技术以及应用系统的一门新的技术科学。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等方向。
其中,机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
可以理解的是,本申请实施例中的目标网络模型在三维动画制作场景下具有重要的应用价值,可以自动生成蒙皮权重,大大缩短了美工人员的人工作业时间,降低了人工成本,以至于提高了蒙皮效率。此外,本申请实施例中的计算机设备在确定用于训练初始网络模型的输入特征时,可以对获取到的样本穿戴物品模型进行体素化,以得到能够用于准确表示模型顶点到骨骼结构之间的样本测地距离特征,进而可以基于样本测地距离特征、模型顶点的样本顶点基础特征以及与该模型顶点相关联的样本顶点连接关系矩阵,得到用于输入初始网络模型的样本特征。这样,在基于样本特征对初始网络模型进行训练之后,可以准确得到用于预测目标蒙皮权重的目标网络模型,进而可以提高预测蒙皮权重的准确度。
为便于理解,进一步地,请参见图2,图2是本申请实施例提供的一种进行数据交互的场景示意图。如图2所示,本申请实施例中的计算机设备可以为具备模型训练功能的计算机设备,该计算机设备可以为上述图1所示的用户终端集群中的任意一个用户终端,例如,用户终端100a,该计算机设备也可以为上述图1所示的服务器10,这里将不对计算机设备进行限定。
应当理解,本申请实施例中的计算机设备可以获取具有样本权重标签的样本穿戴物品模型(例如,三维人体服饰模型),进而可以提取分布在该样本穿戴物品模型中的样本骨骼结构。可以理解的是,这里的样本权重标签可以用于指示该样本穿戴物品模型的模型顶点与该样本骨骼结构之间的样本蒙皮权重(例如,美工人员所提供的真实蒙皮权重)。
其中,图2所示的穿戴物品模型20A可以为用于训练初始网络模型的一批训练样本数据中的任意一个样本穿戴物品模型。可以理解的是,这批训练样本数据中的所有样本穿戴物品模型的样本骨骼结构所对应的骨骼根数均相同,而每个样本穿戴物品模型的模型顶点的顶点总数量可以相同,也可以不同,在此不做限定。比如,该穿戴物品模型20A的模型顶点可以为N个,分布在该穿戴物品模型20A中的样本骨骼结构(即骨骼结构20B)所对应的骨骼根数可以为K根。其中,N为大于或者等于3的正整数,K为正整数。
进一步地,该计算机设备可以在该穿戴物品模型20A所在的空间坐标系(例如,三维空间坐标系)中,确定该穿戴物品模型20A的模型顶点的顶点位置信息以及该模型顶点所属网格平面的法向量信息,进而可以基于该顶点位置信息以及法向量信息,确定该模型顶点的样本顶点基础特征。其中,对于该模型顶点中的任意一个顶点(例如,顶点Vi)而言,该顶点Vi的顶点位置信息可以为(xi,yi,zi),法向量信息可以为(Nxi,Nyi,Nzi)。那么,该样本顶点基础特征可以用N×6的张量(Tensor)来表示,以表达顶点自身的信息。其中,i可以为小于或者等于N的正整数。
此外,该计算机设备可以基于模型顶点所构成的顶点拓扑结构,确定与该模型顶点相关联的样本顶点连接关系矩阵(Adjacency Matrix,简称Adj连接矩阵)。这里的样本顶点连接关系矩阵可以用一个N×N的邻接矩阵来表示,以表达模型顶点之间的连接信息。
与此同时,为了准确获取模型顶点与骨骼结构20B之间的距离,该计算机设备还可以对穿戴物品模型20A进行体素化,得到该穿戴物品模型20A的体素,进而可以基于体素,确定模型顶点与骨骼结构20B之间的样本测地距离特征。这里的样本测地距离特征可以用N×K的矩阵张量来表示,以较为准确地表达模型顶点与骨骼结构20B之间的影响亲疏关系。
进一步地,该计算机设备可以基于样本顶点基础特征、样本顶点连接关系矩阵以及样本测地距离特征,确定该穿戴物品模型20A的样本特征。以此类推,该计算机设备可以参见上述对穿戴物品模型20A的特征提取,得到所有样本穿戴物品模型的样本特征,进而可以将每一个样本穿戴物品模型的样本特征均作为用于训练初始网络模型(例如,图2所示的网络模型200a)的训练数据。比如,该计算机设备可以将穿戴物品模型20A的样本特征输入该网络模型200a,由该网络模型200a输出穿戴物品模型20A对应的预测权重标签。这里的预测权重标签可以用于指示该穿戴物品模型20A的模型顶点与该骨骼结构20B之间的预测蒙皮权重。
可以理解的是,该计算机设备可以基于预测权重标签以及样本权重标签,对网络模型200a进行训练,在训练完成时,能够得到用于预测目标蒙皮权重的目标网络模型(例如,图2所示的网络模型200b)。其中,网络模型200b可以为该计算机设备在训练完成时所得到的满足模型收敛条件的网络模型。
由此可见,本申请实施例中的计算机设备在获取到具有样本权重标签(即真实蒙皮权重)的穿戴物品模型20A(即样本穿戴物品模型)时,可以提取分布在该穿戴物品模型20A中的骨骼结构20B(即样本骨骼结构),进而可以根据该穿戴物品模型20A,获取用于表达顶点自身信息的样本顶点基础特征、用于表达模型顶点之间的连接信息的样本顶点连接关系矩阵以及用于表达模型顶点与骨骼结构20B之间的影响亲疏关系的样本测地距离特征。其中,样本测地距离特征是通过对穿戴物品模型20A进行体素化之后,根据体素化后的体素所确定的距离特征。进一步地,该计算机设备可以基于这三个特征,得到能够用于准确表示输入网络模型200a(即初始网络模型)的样本特征,进而在基于该样本特征对网络模型200a进行训练之后,可以更加准确地得到用于预测目标蒙皮权重的目标网络模型,进而可以提高预测蒙皮权重的准确度。
其中,具备模型训练功能的计算机设备在获取到具有样本权重标签的样本穿戴物品模型时,通过对样本穿戴物品模型进行体素化,以得到能够用于表示模型顶点与样本骨骼结构之间的样本测地距离特征,进而根据获取到的样本顶点基础特征、样本顶点连接关系矩阵以及该样本测地距离特征,得到用于训练初始网络模型的样本特征,且基于该样本特征对初始网络模型进行训练,以得到用于预测目标蒙皮权重的目标网络模型。该计算机设备确定用于训练初始网络模型的样本特征,以得到目标网络模型的具体实现方式可以参见下述图3-图10所对应的实施例。
进一步地,请参见图3,图3是本申请实施例提供的一种基于蒙皮权重的模型训练方法的流程示意图。如图3所示,该方法可以由具备模型训练功能的计算机设备执行,该计算机设备可以为用户终端(例如,上述图1所示的用户终端100a),也可以为服务器(例如,上述图1所示的服务器10),在此不做限定。为便于理解,本申请实施例以该方法由服务器执行为例进行说明,该方法至少可以包括以下步骤S101-步骤S105:
步骤S101,获取具有样本权重标签的样本穿戴物品模型,提取分布在样本穿戴物品模型中的样本骨骼结构。
具体地,具备模型训练功能的计算机设备可以获取具有样本权重标签的样本穿戴物品模型,进而可以提取分布在该样本穿戴物品模型中的样本骨骼结构。其中,该样本权重标签可以用于指示样本穿戴物品模型的模型顶点与样本骨骼结构之间的样本蒙皮权重。可以理解的是,样本蒙皮权重可以为美工人员所提供的用于将该样本穿戴物品模型绑定在样本骨骼结构上的真实蒙皮权重。
其中,与样本穿戴物品模型相关联的三维模型网格(即Mesh)可以为本申请中需要进行蒙皮的服饰网格,该三维模型网格是指具有拓扑结构的流行表面,比如,一个球状的表面被划分为多个模型顶点与多条边的组合。可以理解的是,样本穿戴物品模型中分布有样本骨骼结构,换言之,三维模型网格分布有骨架。由于制作动画时往往是制作骨骼动画,因此该计算机设备需要根据骨骼动画中的骨骼关节的运动,确定三维模型网格表面所发生的运动和形变。这个过程一般依赖于经典的线性混合蒙皮算法(LBS),该算法通过设置模型顶点与若干与之相关的骨骼关节的蒙皮权重,从而达到某些特定关节控制某些区域的模型顶点运动的目的。其中,蒙皮权重的准确度与整个动画的质量息息相关,当蒙皮权重设置不准确时,随着骨骼动画的运动,穿戴物品模型(例如,三维人体服饰模型)可能会产生面片变形或者穿插等怪异情况。
其中,人工参与蒙皮权重的设置,往往会导致蒙皮成本高且蒙皮准确度低,因此,该计算机设备需要根据获取到的样本穿戴物品模型,对初始网络模型进行训练,且在训练完成时得到能够用于准确预测目标蒙皮权重的目标网络模型,从而提升蒙皮效率以及蒙皮准确度。
步骤S102,基于模型顶点的顶点位置信息以及模型顶点所属网格平面的法向量信息,确定模型顶点的样本顶点基础特征。
其中,模型顶点包括N个顶点,且这N个顶点可以存储在样本穿戴物品模型对应的原始数据索引集,该原始数据索引集是基于样本穿戴物品模型所确定的,这里的N为大于或者等于3的正整数。具体地,该计算机设备可以获取模型顶点所属的该原始数据索引集,进而可以基于该原始数据索引集构建样本穿戴物品模型的顶点拓扑结构。其中,顶点拓扑结构可以包括N个顶点。进一步地,该计算机设备可以从N个顶点中确定用于进行向量编码处理的顶点Vi,且在样本穿戴物品模型所在的空间坐标系中,确定顶点Vi的顶点位置信息。其中,i为小于或者等于N的正整数。与此同时,该计算机设备还可以获取顶点Vi所属的M个网格平面,进而可以确定M个网格平面中的每个网格平面的初始法向量信息。其中,M为正整数。进一步地,该计算机设备可以对确定的M个初始法向量信息进行向量求和处理,得到待处理法向量信息,且对待处理法向量信息进行归一化处理,将归一化处理后的待处理法向量信息作为与顶点Vi相关联的目标法向量信息。此时,该计算机设备可以将顶点Vi的顶点位置信息与目标法向量信息进行拼接处理,得到顶点Vi的顶点特征,进而可以基于顶点Vi的顶点特征,确定模型顶点的样本顶点基础特征。
其中,可以理解的是,样本穿戴物品模型对应的原始数据索引集可以以wavefront形式存储模型顶点的顶点坐标以及网格平面关系,即根据该原始数据索引集可以明确得知每个网格平面(例如,三角面片)是由哪三个索引代表的模型顶点所构成的。比如,该原始数据集中的某个三角面片(例如,网格平面1)可以由顶点V1,顶点V2以及顶点V3这三个顶点构成。
可以理解的是,该计算机设备可以根据原始数据索引集中的模型顶点的顶点坐标以及网格平面所指示的索引关系,构建样本穿戴物品模型的顶点拓扑结构。进一步地,该计算机设备可以从该顶点拓扑结构所包括的N个顶点中,确定用于进行向量编码处理的顶点Vi。在样本穿戴物品模型所在的空间坐标系中,确定顶点Vi的顶点位置信息。其中,该计算机设备可以在样本穿戴物品模型所在的空间坐标系中,从原始数据索引集中确定顶点Vi的初始位置信息,进而可以对该顶点Vi的初始位置信息进行尺度缩放,以将尺度缩放后的位置信息作为该顶点Vi的顶点位置信息。
比如,该计算机设备可以从获取到的所有样本穿戴物品模型的模型尺度中,确定最大模型尺度(即沿身高方向的最大值,例如200),进而可以将初始位置信息与该最大模型尺度的比值作为该顶点Vi的顶点位置信息(xi,yi,zi)。其中,x,y,z分别表示该空间坐标系中的三个维度的坐标轴。其中,样本穿戴物品模型(例如,三维人体服饰模型)的模型尺度可以是参考真实世界中的人体身高所确定的,该模型尺度可以以厘米为单位,因此,该计算机设备在将模型顶点的初始位置信息除以200进行尺度缩放时,可以得到该模型顶点的顶点位置信息,进而可以有助于深度神经网络进行特征学习。
与此同时,该计算机设备还可以获取顶点Vi所属的M个网格平面,进而可以确定M个网格平面中的每个网格平面的初始法向量信息。其中,M为正整数。进一步地,该计算机设备可以对确定的M个初始法向量信息进行向量求和处理,得到待处理法向量信息,且对待处理法向量信息进行归一化处理,将归一化处理后的待处理法向量信息作为与顶点Vi相关联的目标法向量信息。比如,该顶点Vi所属的网格平面可以包括网格平面1、网格平面2以及网格平面3。因此,该计算机设备需要确定网格平面1的初始法向量信息(例如,法向量信息1),网格平面2的初始法向量信息(例如,法向量信息2)以及网格平面3的初始法向量信息(例如,法向量信息3),以对这3个初始法向量信息进行向量求和处理,且对向量求和处理后的初始法向量信息进行归一化处理,从而可以得到与顶点Vi相关联的目标法向量信息(Nxi,Nyi,Nzi)。
此时,该计算机设备可以将顶点Vi的顶点位置信息(xi,yi,zi)与目标法向量信息(Nxi,Nyi,Nzi)进行拼接处理,得到顶点Vi的顶点特征,进而可以基于顶点Vi的顶点特征,确定模型顶点的样本顶点基础特征。
步骤S103,基于模型顶点所构成的顶点拓扑结构,确定与模型顶点相关联的样本顶点连接关系矩阵。
具体地,该计算机设备可以基于模型顶点所构成的顶点拓扑结构,从样本穿戴物品模型对应的原始数据索引集中,确定与模型顶点具有索引关系的网格平面,进而可以基于网格平面所指示的索引关系,对网格平面进行拆分处理,得到与网格平面相关联的模型顶点的连接边集合。此时,该计算机设备可以基于连接边集合,确定待构建样本顶点连接关系矩阵的矩阵元素Aij。其中,该矩阵元素Aij的数值可以用于指示模型顶点中的顶点Vi与顶点Vj之间的连接关系;其中,i和j均为小于或者等于N的正整数,这里的N为模型顶点的顶点总数量。进一步地,该计算机设备可以基于矩阵元素Aij,确定与模型顶点相关联的样本顶点连接关系矩阵。其中,该样本顶点连接关系矩阵可以为N行N列的矩阵。
可以理解的是,这里的顶点拓扑结构可以采用无向图,所以矩阵元素Aij与矩阵元素Aji是成对设置的。其中,为了保证在图卷积计算过程中对当前顶点特征的有效利用,需要在构建样本顶点连接关系矩阵的过程中加入自连接的成分,即将对角线矩阵元素的数值设置为第一数值。其中,第一数值(例如,1)可以表示顶点间相互连通,第二数值(例如,0)可以表示顶点间相互不连通。该第二数值与该第一数值不同。
应当理解,若i等于j,则该计算机设备可以将矩阵元素Aij确定为样本顶点连接关系矩阵的对角线矩阵元素,且将对角线矩阵元素的数值确定为第一数值。可选的,若i不等于j,且连接边集合指示顶点Vi与顶点Vj之间存在连接边(即顶点Vi与顶点Vj之间相互连通),则该计算机设备可以将矩阵元素Aij的数值确定为第一数值。可选的,若i不等于j,且连接边集合指示顶点Vi与顶点Vj之间不存在连接边,则该计算机设备可以将矩阵元素Aij的数值确定为第二数值。
进一步地,请参见图4,图4是本申请实施例提供的一种确定样本顶点连接关系矩阵的示意图。如图4所示,本申请实施例中的顶点拓扑结构4是具有模型训练功能的计算机设备,基于样本穿戴物品模型对应的原始数据索引集所构建的。该计算机设备可以为上述图1所示的服务器10。
如图4所示,该顶点拓扑结构4中可以包括5个顶点,具体可以包括顶点V1、顶点V2、顶点V3、顶点V4以及顶点V5。可以理解的是,该计算机设备可以基于这5个模型顶点所构成的顶点拓扑结构4,从原始数据索引集中确定与模型顶点具有索引关系的网格平面。其中,该原始数据索引集中可以包括网格平面1(例如,由顶点V1、顶点V2以及顶点V3所构成的网格平面)以及网格平面2(例如,由顶点V2、顶点V4以及顶点V5所构成的网格平面)。
进一步地,该计算机设备可以基于网格平面所指示的索引关系,分别对网格平面进行拆分处理,以得到与网格平面相关联的模型顶点的连接边集合(例如,图4所示的连接边集合400)。其中,该连接边集合400中可以包括边12、边13、边23、边24、边25以及边45。可以理解的是,边12、边13以及边23可以为该计算机设备基于网格平面1所指示的索引关系,对网格平面1进行拆分处理后得到的连接边。边24、边25以及边45可以为该计算机设备基于网格平面2所指示的索引关系,对网格平面2进行拆分处理后得到的连接边。
此时,该计算机设备可以基于连接边集合,确定待构建样本顶点连接关系矩阵(例如,图4所示的顶点连接关系矩阵40A)的矩阵元素Aij。其中,该矩阵元素Aij的数值可以用于指示模型顶点中的顶点Vi与顶点Vj之间的连接关系。其中,i和j均为小于或者等于5的正整数。
若i等于j,则该计算机设备可以将矩阵元素Aij确定为顶点连接关系矩阵40A的对角线矩阵元素,且将对角线矩阵元素的数值确定为第一数值(例如,1)。比如,该计算机设备可以将矩阵元素A11、矩阵元素A22、矩阵元素A33、矩阵元素A44以及矩阵元素A55确定为该顶点连接关系矩阵40A的对角线矩阵元素,为了保证在图卷积计算过程中对当前顶点特征的有效利用,该计算机设备需要在构建样本顶点连接关系矩阵的过程中加入自连接的成分,即将对角线矩阵元素的数值设置为第一数值。
可选的,若i不等于j,且连接边集合指示顶点Vi与顶点Vj之间存在连接边(即顶点Vi与顶点Vj之间相互连通),则该计算机设备可以将矩阵元素Aij的数值确定为第一数值。比如,对于矩阵元素A12而言,图4所示的连接边集合400指示顶点V1与顶点V2之间存在连接边(即边12),此时,该计算机设备可以将矩阵元素A12的数值确定为第一数值(例如,1)。
可选的,若i不等于j,且连接边集合指示顶点Vi与顶点Vj之间不存在连接边,则该计算机设备可以将矩阵元素Aij的数值确定为第二数值。比如,对于矩阵元素A34而言,图4所示的连接边集合400指示顶点V3与顶点V4之间不存在连接边,此时,该计算机设备可以将矩阵元素A34的数值确定为第二数值(例如,0)。
进一步地,该计算机设备在获取到该用于构建顶点连接关系矩阵40A中的25个矩阵元素分别对应的数值,进而可以基于这25个矩阵元素,确定与模型顶点相关联的顶点连接关系矩阵40A。其中,该顶点连接关系矩阵40A可以为图4所示的一个5行5列的矩阵。
步骤S104,对样本穿戴物品模型进行体素化,得到样本穿戴物品模型的体素,基于体素确定模型顶点与样本骨骼结构之间的样本测地距离特征。
具体地,该计算机设备可以对样本穿戴物品模型进行体素化,得到样本穿戴物品模型的体素,进而可以通过体素,构建样本穿戴物品模型的体素拓扑结构。在体素拓扑结构中,该计算机设备可以基于体素拓扑结构中的任意两个体素之间的测地距离,得到与样本穿戴物品模型相关联的测地距离集。应当理解,该计算机设备可以获取属于样本骨骼结构的骨骼辅助点,进而可以从骨骼辅助点发射X个不同方向的射线,得到骨骼辅助点对应的X个种子体素。其中,一个种子体素是在一个方向的射线上所确定的与骨骼辅助点具有最小欧氏距离的体素。其中,X为正整数。进一步地,该计算机设备可以基于X个种子体素中的每个种子体素以及测地距离集,分别确定骨骼辅助点与模型顶点所在的体素之间的距离,得到X个初始距离。在X个初始距离中,该计算机设备可以将具有最小值的初始距离作为目标距离,且基于目标距离确定模型顶点与样本骨骼结构之间的样本测地距离特征。
由于很多样本穿戴物品模型(例如,三维人体服饰模型)在实际制作过程中往往存在空间交叉但网格平面(例如,三角面片)关系非连通的情况,这种情况会导致三维空间相近的顶点之间无法直接计算基于顶点连通关系的表面测地距离,而通过体素化,则可以有效得将顶点转化为密集的体素,从而串联起来。因此,该计算机设备需要对样本穿戴物品模型进行体素化,以得到样本穿戴物品模型的体素。
其中,体素是体积像素(volume pixel)的简称,类似于二维空间中的最小单位—像素,体素是三维空间分割中的最小单位,被广泛应用于三位成像、科学数据与医学影像等领域。可以理解的是,体素化分为表面体素化(surface voxelization)和实心体素化(solid voxelization)两种。
为便于理解,进一步地,请参见图5,图5是本申请实施例提供的一种对样本穿戴物品模型进行体素化的场景示意图。如图5所示,本申请实施例中的穿戴物品模型50A可以为该计算机设备所获取的具有样本权重标签的样本穿戴物品模型。该穿戴物品模型50A可以为某一动画片中的一个曲面密闭的三维兔子模型。
如图5所示,从某个视角的剖面图来看,本申请实施例中的体素化效果图1可以为计算机设备对穿戴物品模型50A进行实体体素化的效果图。本申请实施例中的体素化效果图2可以为该计算机设备对该穿戴物品模型50A进行表面体素化的效果图。可以理解的是,体素化效果图1是在体素化效果图2的基础上增加了对内部区域进行体素化后得到的体素p。
两种体素化的算法原理实质上差异较大,实心体素化算法要求样本穿戴物品模型是流型(manifold)且水密性的(watertight),而很多三维人体服饰模型往往存在单层非水密封闭的情况(尤其是裙子),所以本申请实施例以表面体素化为例,用以阐述将样本穿戴物品模型进行体素化的具体实施方式。
其中,本申请实施例可以使用了Schwarz等人的表面体素化经典算法(Fastparallel surface and solid voxelization on GPUs)。应当理解,该计算机设备可以基于顶点拓扑结构,获取用于构成网格平面的关键顶点,进而可以确定关键顶点的顶点位置信息。这里的顶点位置信息可以为样本穿戴物品模型所在的空间坐标系中的三维坐标位置信息,该空间坐标系中可以包含三个维度。进一步地,该计算机设备可以基于关键顶点的三维坐标位置信息,在每个维度上确定具有最小坐标位置的第一坐标点和具有最大坐标位置的第二坐标点,且基于在每个维度上所确定的第一坐标点和第二坐标点,确定网格平面所占据的最小轴对称包围盒。此时,该计算机设备可以获取与样本穿戴物品模型相关联的分割阈值(例如,1立方厘米),进而可以基于分割阈值对最小轴对称包围盒进行体素空间分割,以得到初始体素,这些初始体素可以用于构成与最小轴对称包围盒相关联的体素集合。若体素集合中存在与网格平面相交的初始体素,则该计算机设备可以将相交的初始体素作为样本穿戴物品模型的体素,且通过体素,构建样本穿戴物品模型的体素拓扑结构。
换言之,对样本穿戴物品模型的表面体素化就是对该样本穿戴物品模型所在的三维空间进行离散化,从而分割成小立方空间,并判断每个小空间是否处于该样本穿戴物品模型上。表面体素化是在网格表面生成尺度一致的体素集合,使这些体素集合刚好覆盖所有网格面片所处的空间,即将网格面片的二维形式转化为类似点云的表现形式。简单而言,对于由网格平面(例如,三角面片)所构成三维人体服饰模型的表面体素化可以等效于每个面片的体素化后求并集。例如,针对三角面片的体素化,该计算机设备可以对该三角面片所占据的最小轴对称包围盒((Axis-aligned bounding box,简称AABB包围盒)空间进行尺度一致的体素空间分割,然后对每个已经划分好的体素,判断与三角面片是否相交,如果相交则将该体素标记为最终所需的表面体素。
可以理解的是,网格平面相邻的体素是相互连通的,因此,当完成样本穿戴物品模型的体素化之后,该计算机设备可以通过体素,构建样本穿戴物品模型的体素拓扑结构,进而可以在体素拓扑结构中,确定体素拓扑结构中的任意两个体素之间的测地距离,进而可以基于确定的测地距离,得到与样本穿戴物品模型相关联的测地距离集。其中,任意两个体素之间的距离应当沿着体素形成的表面进行计算,而不是根据两个体素的坐标位置直接进行线段长度计算。在体素拓扑结构中连通的节点(Node,其实就是体素)之间设置了权重(Weight)为1的边(Edge),进而可以通过一种图最短路径搜索算法(例如,Dijkstra算法),计算任意两个体素之间的最短路径(即测地距离)。
进一步地,由于对样本穿戴物品模型进行了体素化,因此某个骨骼结构的骨骼关节到体素之间的距离无法通过体素或者图结构的方式连接起来。那么,该计算机设备可以获取属于样本骨骼结构的骨骼辅助点,进而可以从骨骼辅助点发射X个不同方向的射线,得到骨骼辅助点对应的X个种子体素。其中,一个种子体素是在一个方向的射线上所确定的与骨骼辅助点具有最小欧氏距离的体素。其中,这里的骨骼辅助点可以为属于骨骼结构上的任意辅助点。
比如,该计算机设备所确定的骨骼辅助点可以为某一骨骼结构上的骨骼关节点,此时,该计算机设备可以从该骨骼关节点向外发射方向稠密且均匀分布的X个射线(例如,26条射线),进而可以找到该骨骼关节点对应的26个种子体素。
进一步地,该计算机设备可以基于X个种子体素中的每个种子体素以及测地距离集,分别确定骨骼辅助点与模型顶点所在的体素之间的距离,得到X个初始距离。可以理解的是,该计算机设备可以将模型顶点所在的体素作为目标体素,且在X个种子体素中,遍历获取一个种子体素作为中间衔接体素。其中,该中间衔接体素可以用于衔接骨骼辅助点与目标体素。进一步地,该计算机设备可以确定骨骼辅助点与中间衔接体素之间的欧氏距离,且在测地距离集中,获取中间衔接体素与目标体素之间的目标测地距离。此时,该计算机设备可以对欧氏距离与目标测地距离进行求和处理,将求和处理后的距离和作为骨骼辅助点与目标体素之间的初始距离,且在遍历完成时,得到X个初始距离。在X个初始距离中,该计算机设备可以将具有最小值的初始距离作为目标距离,且基于目标距离确定模型顶点与样本骨骼结构之间的样本测地距离特征。
比如,若该计算机设备所确定的样本骨骼结构的骨骼辅助点的个数为1个,例如,骨骼关节点,且该骨骼关节点对应的种子体素为20个,那么该计算机设备可以确定20个用于表示骨骼关节点与模型顶点所在的体素之间的初始距离。此时,该计算机设备可以将从这20个初始距离中获取到的具有最小值的初始距离(即目标距离),直接作为该模型顶点与该样本骨骼结构之间的样本测地距离特征。
为便于理解,进一步地,请参见图6,图6是本申请实施例提供的一种确定样本测地距离特征的场景示意图。如图6所示,本申请实施例中的样本穿戴物品模型可以为穿戴物品模型61A,该穿戴物品模型61A可以是指为某虚拟游戏的虚拟对象(例如,士兵)所创建的三维人体服饰模型。该穿戴物品模型61A中分布有样本骨骼结构(例如,图6所示的骨骼结构61B,腿骨骼)。
应当理解,具备模型训练功能的计算机设备(例如,上述图1所示的服务器10)在确定骨骼结构61B与模型顶点之间的测地距离特征时,可以在该骨骼结构61B上确定多个骨骼辅助点(以2个为例),具体可以包括骨骼辅助点1(例如,骨骼关节点)以及骨骼辅助点2(例如,骨骼中心点)。
可以理解的是,对于骨骼辅助点1而言,该计算机设备可以从骨骼辅助点1(例如,骨骼关节点)发射X个不同方向的射线,得到骨骼辅助点1对应的X个种子体素。本申请实施例可以以5个方向为例,分别在这5个方向的每个方向上确定与该骨骼辅助点1具有最小欧氏距离的体素,进而可以将确定的体素作为该骨骼辅助点1对应的5个种子体素,具体可以包括种子体素11、种子体素12、种子体素13、种子体素14以及种子体素15。进一步地,该计算机设备可以基于骨骼辅助点1对应的5个种子体素中的每个种子体素以及测地距离集,分别确定该骨骼辅助点1与模型顶点所在的体素(即图6所示的目标体素)之间的距离,得到5个初始距离,进而可以从这5个初始距离中获取具有最小值的初始距离,将获取到的初始距离作为目标距离(例如,目标距离1)。
同理,对于骨骼辅助点2而言,该计算机设备可以从骨骼辅助点2(例如,骨骼中心点)发射X个不同方向的射线,得到骨骼辅助点2对应的X个种子体素。本申请实施例可以以4个方向为例,分别在这4个方向的每个方向上确定与该骨骼辅助点2具有最小欧氏距离的体素,进而可以将确定的体素作为该骨骼辅助点2对应的4个种子体素。如图6所示,这4个种子体素具体可以包括种子体素21、种子体素22、种子体素23以及种子体素24。进一步地,该计算机设备可以基于骨骼辅助点2对应的4个种子体素中的每个种子体素以及测地距离集,分别确定该骨骼辅助点2与模型顶点所在的体素(即目标体素)之间的距离,得到4个初始距离,进而可以从这4个初始距离中获取具有最小值的初始距离,将获取到的初始距离作为目标距离(例如,目标距离2)。
其中,以目标距离2为例,该计算机设备可以将模型顶点所在的体素作为目标体素,且在图6所示的4个种子体素中,遍历获取一个种子体素作为中间衔接体素。其中,该中间衔接体素可以用于衔接骨骼辅助点2与目标体素。进一步地,该计算机设备可以确定骨骼辅助点2与中间衔接体素之间的欧氏距离,且在测地距离集中,获取中间衔接体素与目标体素之间的目标测地距离。此时,该计算机设备可以对欧氏距离与目标测地距离进行求和处理,将求和处理后得到的距离和作为骨骼辅助点2与目标体素之间的初始距离,且在遍历完成时,得到X个初始距离。
比如,该计算机设备在将种子体素21作为中间衔接体素时,可以确定骨骼辅助点2与种子体素21之间的欧氏距离(例如,欧氏距离1),与此同时,该计算机设备还可以在测地距离集中直接获取种子体素21与目标体素之间的目标测地距离(例如,测地距离1),进而可以对该欧氏距离1与测地距离1进行求和处理,以得到骨骼辅助点2与目标体素之间的初始距离(例如,初始距离1)。
同理,该计算机设备在将种子体素22作为中间衔接体素时,可以确定骨骼辅助点2与种子体素22之间的欧氏距离(例如,欧氏距离2),与此同时,该计算机设备还可以在测地距离集中直接获取种子体素22与目标体素之间的目标测地距离(例如,测地距离2),进而可以对该欧氏距离2与测地距离2进行求和处理,以得到骨骼辅助点2与目标体素之间的初始距离(例如,初始距离2)。
同理,该计算机设备在将种子体素23作为中间衔接体素时,可以确定骨骼辅助点2与种子体素23之间的欧氏距离(例如,欧氏距离3),与此同时,该计算机设备还可以在测地距离集中直接获取种子体素23与目标体素之间的目标测地距离(例如,测地距离3),进而可以对该欧氏距离3与测地距离3进行求和处理,以得到骨骼辅助点2与目标体素之间的初始距离(例如,初始距离3)。
同理,该计算机设备在将种子体素24作为中间衔接体素时,可以确定骨骼辅助点2与种子体素24之间的欧氏距离(例如,欧氏距离4),与此同时,该计算机设备还可以在测地距离集中直接获取种子体素24与目标体素之间的目标测地距离(例如,测地距离4),进而可以对该欧氏距离4与测地距离4进行求和处理,以得到骨骼辅助点2与目标体素之间的初始距离(例如,初始距离4)。
此时,该计算机设备可以从初始距离1、初始距离2、初始距离3以及初始距离4中确定具有最小值的初始距离,进而可以将确定出的初始距离作为目标距离2。进一步地,该计算机设备可以从目标距离1和目标距离2中,选出具有最小值的目标距离作为该模型顶点与该骨骼结构61B之间的样本测地距离特征。
为便于理解,进一步地,请参见图7,图7是本申请实施例提供的一种确定样本测地距离特征的场景示意图。如图7所示,本申请实施例中的样本穿戴物品模型可以为穿戴物品模型72A,该穿戴物品模型72A可以与图7所示的穿戴物品模型61A为同一穿戴物品模型。该穿戴物品模型72A可以分布有样本骨骼结构(例如,图7所示的骨骼结构72B,肘关节所在骨骼)。其中,图6与图7可以为展示同一穿戴物品模型的不同区域的两个示意图。
应当理解,具备模型训练功能的计算机设备(例如,上述图1所示的服务器10)在确定骨骼结构72B与肋下区域的模型顶点之间的测地距离特征时,可以在该骨骼结构72B上确定骨骼辅助点(以1个为例),即骨骼辅助点1(例如,骨骼中心点)。
可以理解的是,对于骨骼辅助点1而言,该计算机设备可以从骨骼辅助点1发射X个不同方向的射线,得到骨骼辅助点1对应的X个种子体素。为便于阐述,本申请实施例可以以2个方向为例,分别在这2个方向的每个方向上确定与该骨骼辅助点1具有最小欧氏距离的体素,进而可以将确定的体素作为该骨骼辅助点1对应的种子体素,具体可以包括种子体素11以及种子体素12。进一步,该计算机设备可以基于骨骼辅助点1对应的2个种子体素中的每个种子体素以及测地距离集,分别确定该骨骼辅助点1与该肋下区域的模型顶点所在的体素(即图7所示的目标体素)之间的距离,以得到2个初始距离,进而可以从这2个初始距离中获取具有最小值的初始距离,将获取到的初始距离作为目标距离,且将该目标距离作为肋下区域的模型顶点与该骨骼结构72B之间的样本测地距离特征。
可以理解的是,本申请通过采用欧氏距离与测地距离之间的距离和,能够准确表示肋下区域的模型顶点与该骨骼结构72B之间的样本测地距离特征。其中,该计算机设备所确定的肋下区域的模型顶点与该骨骼结构72B之间的样本测地距离特征较大,这意味着肋下区域的模型顶点将有较小可能性受到骨骼结构72B的影响,也就是说该肋下区域的模型顶点不会随着骨骼结构72B的运动而运动。
步骤S105,基于样本顶点基础特征、样本顶点连接关系矩阵、样本测地距离特征以及样本穿戴物品模型对应的初始网络模型,得到初始网络模型对应的预测权重标签,基于预测权重标签以及样本权重标签对初始网络模型进行训练,得到用于预测目标蒙皮权重的目标网络模型。
具体地,该计算机设备可以获取用于对样本测地距离特征进行特征转换的可调整系数,进而可以基于可调整系数以及样本测地距离特征,得到样本穿戴物品模型对应的距离权重特征。进一步地,该计算机设备可以将距离权重特征以及样本顶点基础特征进行拼接处理,得到顶点拼接特征,且将顶点拼接特征以及样本顶点连接关系矩阵作为用于训练样本穿戴物品模型对应的初始网络模型的样本特征。此时,该计算机设备可以将样本特征输入初始网络模型,由初始网络模型输出样本穿戴物品模型对应的预测权重标签。其中,该预测权重标签可以用于指示模型顶点与样本骨骼结构之间的预测蒙皮权重。进一步地,该计算机设备可以基于预测权重标签以及样本权重标签,对初始网络模型进行训练,得到用于预测目标蒙皮权重的目标网络模型。
其中,该计算机设备确定样本穿戴物品模型对应的距离权重特征的具体公式可以参见下述公式(1):
Figure DEST_PATH_IMAGE002
(1);
其中,
Figure DEST_PATH_IMAGE003
可以表示第i个模型顶点到第y根骨骼结构之间的测地距离特征;这里 的i为小于或者等于N的正整数,N为模型顶点的顶点总数量;这里的y为小于或者等于K的正 整数,其中,K是指骨骼结构的骨骼总根数;
Figure DEST_PATH_IMAGE004
可以表示用于对样本测地距离特征进行特征 转换的可调整系数,范围为[0,1],越接近1,得到的距离权重特征
Figure DEST_PATH_IMAGE005
分布更加集中。
应当理解,该计算机设备可以将N行K列的距离权重特征以及N行6列的样本顶点基础特征进行拼接处理,得到N行(6+K)列的顶点拼接特征。进一步地,该计算机设备可以将N行(6+K)列的顶点拼接特征以及N行N列的样本顶点连接关系矩阵作为用于训练样本穿戴物品模型对应的初始网络模型的样本特征。
其中,初始网络模型包括第一多层全连接感知层(Multilayer Perceptron,简称MLP模块)、全局网络、图注意力网络(Dense GATs)以及第二多层全连接感知层。可以理解的是,该计算机设备可以将样本特征中的顶点拼接特征输入该第一多层全连接感知层,由该第一多层全连接感知层输出顶点拼接特征对应的顶点隐藏特征。进一步地,该计算机设备可以将顶点隐藏特征输入全局网络,通过全局网络中的第三多层全连接感知层以及全局最大池化层,得到样本穿戴物品模型的全局信息特征。
由于样本穿戴物品模型是天然存在图结构关系的,同时这种关系又不像二维图像像素点那样紧凑规律排布,因此直接采用传统卷积神经网络(CNN)是不合时宜的,本申请实施例可以采用稠密连接模式,将多个图卷积层(Graph Attention Network,GAT)进行连接,从而得到图注意力网络(Dense GATs)。其中,对于每一个图卷积层而言,当前图卷积层的输入特征可以为前一图卷积层的输入特征和输出特征进行拼接后的拼接聚合特征。其中,每个图卷积层均可以包括k个图注意力层(即GAT基础网络),其中k为正整数。
其中,该计算机设备确定k个图注意力层中的任意一个图注意力层(即目标图注意力层)的输出特征,可以参见下述公式(2)-公式(8):
具体地,目标图注意力层的输入特征可以参见下述公式(2)-(3):
Figure DEST_PATH_IMAGE006
(2);
Figure DEST_PATH_IMAGE007
(3);
其中,F是输入特征维度,
Figure DEST_PATH_IMAGE008
可以为模型顶点中的每个顶点输入该 目标图注意力层的特征向量。
应当理解,该计算机设备可以对输入目标图注意力层的特征向量h进行线性变换,以得到新的特征向量(即线性变换特征)。具体地,该计算机设备确定线性变换特征的具体公式可以参加下述公式(4):
Figure DEST_PATH_IMAGE009
(4);
其中,
Figure DEST_PATH_IMAGE010
可以为第i个模型顶点输入该目标图注意力层的特征向量,W为与目标 图注意力层相关联的可训练权重参数。
应当理解,该计算机设备可以采用Attention机制可以为不同的邻居顶点分配不 同的注意力系数。比如,该计算机设备可以使用Attention机制计算邻居顶点Vx对顶点Vi的 重要性,即该计算机设备可以基于上述线性变换特征,将顶点Vi的特征向量与邻居顶点Vx的 特征向量拼接在一起,进而可以基于与该目标图注意力层相关联的一个可学习网络参数, 得到顶点Vi与邻居顶点Vx之间的注意力系数
Figure 258308DEST_PATH_IMAGE001
具体地,该顶点Vi与邻居顶点Vx之间的注意力系数
Figure 38045DEST_PATH_IMAGE001
的具体公式可以参见下述 公式(5)-(7):
Figure DEST_PATH_IMAGE011
(5);
Figure DEST_PATH_IMAGE012
(6);
Figure DEST_PATH_IMAGE013
(7);
其中,
Figure DEST_PATH_IMAGE014
为与目标图注意力层相关联的可学习网络参数,是一个2F维的向量,
Figure DEST_PATH_IMAGE015
为顶点Vi的特征Zi
Figure DEST_PATH_IMAGE016
为顶点Vi的邻居顶点Vx的特征Zx,LeakReLU为激活函数,
Figure DEST_PATH_IMAGE017
是指顶点Vi的邻居顶点所构成的顶点集合(即邻域顶点集)。
应当理解,该计算机设备可以经过目标图注意力层,确定顶点Vi的顶点注意力特征。具体地,第k个图注意力层(即目标图注意力层)所确定的顶点Vi的顶点注意力特征的具体公式可以参见下述公式(8):
Figure DEST_PATH_IMAGE018
(8);
其中,
Figure DEST_PATH_IMAGE019
是指第k个图注意力层中所确定的顶点Vi与邻居顶点Vx之间的注意力 系数,
Figure DEST_PATH_IMAGE020
是指第k个图注意力层中所确定的邻居顶点Vx的特征Zx
由于每个图卷积层均可以由k个图注意力层拼接而成,因此,每个图卷积层的输出特征则需要将这k个图注意力层生成的向量拼接在一起。具体地,某一图卷积层(GAT模块)的输出特征可以参见下述公式(9):
Figure DEST_PATH_IMAGE021
(9);
其中,
Figure DEST_PATH_IMAGE022
可以是指第k个图注意力层中所确定的顶点Vi 的顶点注意力特征。可以理解的是,GAT不依赖于完整的顶点拓扑结构,仅依赖于连接边,因 此应用起来相对灵活。
其中,由于GAT模块与MLP模块的特点,同一网络结构并不需要限定样本穿戴物品模型的模型顶点数量,这就导致了无论在后续训练初始网络模型的阶段,还是实际应用目标网络模型的阶段,不同模型顶点数量的样本穿戴物品模型(例如,三维人体服饰模型)均可以作为训练样本数据,从而使得该计算机设备训练的目标网络模型具备一种较广的适应性。
为便于理解,进一步地,请参见图8,图8是本申请实施例提供的一种初始网络模型的模型架构图。如图8所示,本申请实施例中的初始网络模型(例如,网络模型800)可以为计算机设备(例如,图1所示的服务器10)所需训练的自动蒙皮神经网络模型。其中,该网络模型800可以包括第一多层全连接感知层、全局网络、图注意力网络以及第二多层全连接感知层。
其中,该计算机设备所获取到的样本穿戴物品模型的样本特征可以包括N×(6+K)的顶点拼接特征以及N×N的样本顶点连接关系矩阵。这里的N可以表示该样本穿戴物品模型的模型顶点的顶点总数量,且N为大于或者等于3的正整数,这里的K为分布在该样本穿戴物品模型的样本骨骼结构的骨骼根数,K为正整数。可以理解的是,N×(6+K)的顶点拼接特征是该计算机设备对该样本穿戴物品模型的N×K的距离权重特征和N×6的样本顶点基础特征进行拼接处理后所得到的。其中,该计算机设备将测地距离特征转换为归一化后的距离权重特征,能够使得初始网络模型较为直接地学习到正相关关系(即模型顶点与样本骨骼结构之间的距离权重特征越大,往往需要输出较大的蒙皮权重)。本申请实施例通过这一距离特征转换方式,可以提升初始网络模型的表达能力,以至于提升蒙皮效果。
应当理解,该计算机设备在获取到样本穿戴物品模型的样本特征时,可以将样本特征中的顶点拼接特征输入该网络模型800的第一多层全连接感知层,由该第一多层全连接感知层输出该顶点拼接特征对应的顶点隐藏特征。比如,该顶点拼接特征可以先经过一个隐藏层维度为[128,64]的第一多层全连接感知层,得到一个N×64的初步的隐藏层特征(即顶点隐藏特征)。
此时,该计算机设备可以将该顶点隐藏特征分为两路,一路可以将该顶点隐藏特征输入该网络模型800中的全局网络,以得到该样本穿戴物品模型的全局信息特征,另一路可以将该顶点隐藏特征与样本顶点连接关系矩阵一并输入到该网络模型800中的图注意力网络,以得到该样本穿戴物品模型的局部信息特征。
其中,对于全局网络而言,该计算机设备可以将该顶点隐藏特征输入一个隐藏层维度为[512,1024]的第三多层全连接感知层,得到一个N×1024的隐藏层特征,进而可以将该N×1024的隐藏特征输入全局最大池化层,对该N×1024的隐藏特征进行最大池化(即Max-pooling)操作,以得到一个1×1024的池化特征。进一步地,该计算机设备可以对这1×1024的池化特征进行重复扩展,以得到一个N×1024的全局信息特征。
其中,该图注意力网络可以包括采用稠密连接模式所连接的多层图卷积层,本申请实施例可以以图卷积层L1、图卷积层L2以及图卷积层L3这三层图卷积层(即GAT模块)为例,用以阐述该计算机设备确定局部信息特征的具体实施方式。可以理解的是,每个图卷积层均可以包括k个图注意力层(即Attention基础网络)。本申请实施例中的网络模型800中的图卷积层可以以8个图注意力层为例,且每个图卷积层的维度可以为48。
对于图注意力网络而言,该计算机设备可以将顶点隐藏特征以及样本特征中的样本顶点连接关系矩阵一并输入该图注意力网络中的图卷积层L1。其中,该计算机设备可以将顶点隐藏特征以及样本特征中的样本顶点连接关系矩阵作为图卷积层L1的第一输入特征,进而可以通过图卷积层L1对第一输入特征进行特征提取,得到图卷积层L1的第一输出特征。
该图卷积层L1所包括的8个图注意力层具体可以包括图注意力层1、图注意力层2、…、以及图注意力层8。其中,该计算机设备可以将这8个图注意力层中的每一个图注意力层均作为目标图注意力层,且每个图注意力层的输入特征均相同,即图卷积层L1中的每个图注意力层的输入特征均可以为该图卷积层L1的第一输入特征(即顶点隐藏特征以及样本顶点连接关系矩阵)。
如图8所示,该计算机设备可以从图卷积层L1中的8个图注意力层中确定第k个图注意力层为目标图注意力层,并可以获取与该目标图注意力层相关联的可训练权重参数(W),进而可以基于可训练权重参数,以及上述公式(4),对输入该目标图注意力层的输入特征(即第一输入特征)进行线性变换,以得到线性变换特征。
可以理解的是,该计算机设备可以从线性变换特征中,获取顶点Vi对应的特征Zi (即Whi)以及顶点Vi的邻居顶点Vx的特征Zx(即Whx)。该邻居顶点Vx是指与顶点Vi具有连接关 系的顶点。进一步地,该计算机设备可以获取与目标图注意力层相关联的可学习网络参数 (即
Figure 761151DEST_PATH_IMAGE014
),基于可学习网络参数、特征Zi以及特征Zx以及上述公式(7),确定顶点Vi与邻居顶 点Vx之间的注意力系数
Figure 404884DEST_PATH_IMAGE001
应当理解,该计算机设备可以基于注意力系数
Figure 227346DEST_PATH_IMAGE001
、特征Zx以及上述公式(8),确 定顶点Vi的顶点注意力特征,进而可以基于顶点Vi的顶点注意力特征,得到目标图注意力层 的图注意力特征。在8个图注意力层分别输出的图注意力特征时,该计算机设备可以基于上 述公式(9)对这8个图注意力特征进行拼接处理,以将拼接处理后的图注意力特征作为图卷 积层L1的第一输出特征。
进一步地,该计算机设备可以对第一输入特征以及第一输出特征进行拼接处理,得到第一拼接聚合特征,且将第一拼接聚合特征作为图卷积层L2的第二输入特征,进而可以通过图卷积层L2对第二输入特征进行特征提取,得到图卷积层L2的第二输出特征。其中,图卷积层L2中的每个图注意力层的输入特征均可以为该图卷积层L2的第二输入特征(即包括顶点隐藏特征、样本顶点连接关系矩阵以及该图卷积层L1的第一输出特征)。
进一步地,该计算机设备可以对第二输入特征以及第二输出特征进行拼接处理,得到第二拼接聚合特征,将第二拼接聚合特征作为图卷积层L3的第三输入特征,通过图卷积层L3对第三输入特征进行特征提取,得到图卷积层L3的第三输出特征。其中,图卷积层L3中的每个图注意力层的输入特征均可以为该图卷积层L3的第三输入特征(即包括顶点隐藏特征、样本顶点连接关系矩阵、该图卷积层L1的第一输出特征以及图卷积层L2的第二输出特征)。其中,该计算机设备确定第二输出特征和第三输出特征的具体实施方式均可以参见上述确定第一输出特征的具体实施方式,这里将不再继续赘述。
如图8所示,该计算机设备可以对第三输入特征以及第三输出特征进行拼接处理,将拼接处理后的特征作为样本穿戴物品模型的局部信息特征。进一步地,该计算机设备可以对全局信息特征以及局部信息特征进行拼接处理,得到信息拼接特征,且将该信息拼接特征输入该初始网络模型的第二多层全连接感知层,由该第二多层全连接感知层输出样本穿戴物品模型对应的预测权重标签。其中,预测权重标签可以用于指示样本穿戴物品模型与样本骨骼结构之间的预测蒙皮权重。该预测蒙皮权重可以为一个N×67的矩阵。
进一步地,该计算机设备可以基于该预测权重标签和样本权重标签对初始网络模型进行训练,以得到用于预测目标蒙皮权重的目标网络模型。其中,该初始网络模型的模型损失函数可以包括第一损失函数以及第二损失函数。可以理解的是,该第一损失函数与该第二损失函数可以成正相关关系。
其中,第一损失函数可以为采用KL散度函数(Kullback-Leibler divergenceloss)来衡量自动蒙皮神经网络(比如,初始网络模型)输出的预测蒙皮权重与真实蒙皮权重之间的损失。具体地,该第一损失函数的具体公式可以参见下述公式(10):
Figure DEST_PATH_IMAGE023
(10);
其中,
Figure DEST_PATH_IMAGE024
可以表示样本权重标签所指示的第i个模型顶点到第y根骨骼结构之 间的真实蒙皮权重,
Figure DEST_PATH_IMAGE025
可以表示预测权重标签所指示的第i个模型顶点到第y根骨骼结 构之间的预测蒙皮权重。N可以为该样本穿戴物品模型的模型顶点的顶点总数量,且N为大 于或者等于3的正整数。K为骨骼结构中的骨骼根数,且K为正整数。可以理解的是,该第一损 失函数的损失值恒大于等于0,当真实蒙皮权重和预测蒙皮权重完全一致的情况下,该第一 损失函数的损失值取得0值。
其中,第二损失函数可以为用于衡量蒙皮权重预测优劣的L1差距。对于每一个模型顶点而言,均有和为1的K维蒙皮权重,代表着K根骨骼结构影响当前模型顶点的程度。具体地,第二损失函数的具体公式可以参见下述公式(11):
Figure DEST_PATH_IMAGE026
(11);
应当理解,该计算机设备可以基于公式(10)、样本权重标签以及预测权重标签,确定第一损失函数对应的第一损失值。该计算机设备可以基于公式(11)、样本权重标签以及预测权重标签,确定每一个模型顶点的L1差距,进而可以对所有模型顶点的L1差距进行平均处理,将平均处理后的L1差距作为最终的平均L1差距(即第二损失函数对应的第二损失值)。
进一步地,该计算机设备可以获取与该初始网络模型相关联的模型收敛条件。该模型收敛条件可以包括第一损失函数对应的第一收敛阈值,以及第二损失函数对应的第二收敛阈值(例如,0.14)。此时,该计算机设备可以基于第一损失值、第二损失值以及该模型收敛条件,对初始网络模型进行训练,得到模型训练结果。
可以理解的是,当该模型训练结果指示初始网络模型的模型损失函数满足该模型收敛条件(即第一损失值未达到该第一收敛阈值,且第二损失值未达到该第二收敛阈值)时,该计算机设备可以将满足该模型收敛条件的初始网络模型直接作为用于预测目标蒙皮权重的目标网络模型。当该模型训练结果指示该初始网络模型的模型损失函数不满足模型收敛条件(即第一损失值达到该第一收敛阈值,或者第二损失值达到该第二收敛阈值)时,该计算机设备可以基于不满足该模型收敛条件的模型损失函数,对该初始网络模型的模型参数进行调整。进一步地,该计算机设备可以将调整模型参数后的初始网络模型确定为过渡网络模型,进而可以对该过渡网络模型进行训练,直到训练后的过渡网络模型满足该模型收敛条件时,该计算机设备可以将满足该模型收敛条件的过渡网络模型,作为用于预测目标蒙皮权重的目标网络模型。
在本申请实施例中,具备自动蒙皮功能的计算机设备在获取到具有样本权重标签(即真实蒙皮权重)的样本穿戴物品模型时,可以提取分布在该样本穿戴物品模型中的样本骨骼结构,进而可以根据该样本穿戴物品模型,获取用于表达顶点自身信息的样本顶点基础特征、用于表达模型顶点之间的连接信息的样本顶点连接关系矩阵以及用于表达模型顶点与样本骨骼结构之间的影响亲疏关系的样本测地距离特征。其中,样本测地距离特征是该计算机设备对样本穿戴物品模型进行体素化之后,根据体素化后的体素所确定的能够较为准确表示影响亲疏关系的距离特征。进一步地,该计算机设备可以基于这三个特征,得到能够用于准确表示输入初始网络模型的样本特征,进而在基于该样本特征对该初始网络模型进行训练之后,可以更加准确地得到用于预测目标蒙皮权重的目标网络模型,进而可以提高预测蒙皮权重的准确度。此外,该目标网络模型可以用于自动生成目标穿戴物品模型与目标骨骼结构之间的目标蒙皮权重,能够大量节省美术人员的人工成本,从而可以加速整个模型动画的制作过程,进而可以提高蒙皮效率。其中,由于初始网络模型中的GAT模块与MLP模块的特点,同一网络结构并不需要限定样本穿戴物品模型的模型顶点数量,因此当进行监督学习训练之后,训练完成的目标网络模型可以广泛应用于顶点稠密程度不一的目标穿戴物品模型的自动蒙皮过程,使得该目标网络模型具有较广的适应性。
进一步地,请参见图9,图9是本申请实施例提供的一种基于表面体素化距离特征的深度学习自动蒙皮方法的流程示意图。该方法涉及自动蒙皮系统中的计算机设备。如图9所示,该方法可以由具备自动蒙皮功能的用户终端(例如,上述图1所示的用户终端100a)执行,也可以由具备自动蒙皮功能的服务器(例如,上述图1所示的服务器10)执行,还可以由具备模型应用功能的用户终端和具备模型训练功能的服务器共同执行。为便于理解,本申请实施例以该方法由服务器执行为例进行说明,该方法至少可以包括以下步骤S201-步骤S208:
步骤S201,获取具有样本权重标签的样本穿戴物品模型,提取分布在样本穿戴物品模型中的样本骨骼结构。
步骤S202,基于模型顶点的顶点位置信息以及模型顶点所属网格平面的法向量信息,确定模型顶点的样本顶点基础特征。
步骤S203,基于模型顶点所构成的顶点拓扑结构,确定与模型顶点相关联的样本顶点连接关系矩阵。
步骤S204,对样本穿戴物品模型进行体素化,得到样本穿戴物品模型的体素,基于体素确定模型顶点与样本骨骼结构之间的样本测地距离特征。
步骤S205,基于样本顶点基础特征、样本顶点连接关系矩阵、样本测地距离特征以及样本穿戴物品模型对应的初始网络模型,得到初始网络模型对应的预测权重标签,基于预测权重标签以及样本权重标签对初始网络模型进行训练,得到用于预测目标蒙皮权重的目标网络模型。
可以理解的是,本申请实施例中的深度学习自动蒙皮方法可以包括模型训练过程以及模型应用过程。其中,该步骤S201-步骤S205阐述了模型训练过程,该模型训练过程的具体实施方式可参见上述图3所对应实施例中对步骤S101-步骤S105的描述,这里将不再赘述。其中,步骤S206-步骤S208阐述了模型应用过程。
步骤S206,在获取到分布有目标骨骼结构的目标穿戴物品模型时,确定目标穿戴物品模型对应的目标输入特征。
具体地,该计算机设备在获取到分布有目标骨骼结构的目标穿戴物品模型时,可以确定该目标穿戴物品模型的模型顶点的目标顶点基础特征,与目标穿戴物品模型的模型顶点相关联的目标顶点连接关系矩阵,以及该目标穿戴物品模型的模型顶点与目标骨骼结构之间的目标测地距离特征。进一步地,该计算机设备可以基于该目标顶点基础特征、目标顶点连接关系矩阵以及目标顶点连接关系矩阵,确定该目标穿戴物品模型对应的目标输入特征。其中,该计算机设备确定目标输入特征的具体实施方式可以参见上述图3所示的确定样本穿戴物品模型的样本特征的具体实施方式,这里将不再继续进行赘述。
步骤S207,获取与目标穿戴物品模型相关联的目标网络模型,将目标顶点基础特征、目标顶点连接关系矩阵以及目标测地距离特征输入目标网络模型,由目标网络模型输出目标穿戴物品模型对应的目标蒙皮权重。
具体地,该计算机设备可以根据分布在该目标穿戴物品模型的目标骨骼结构的骨骼根数,获取与该骨骼根数相关联的目标网络模型。可以理解的是,目标网络模型能够预测与训练样本数据(即样本穿戴物品模型)具有相同骨骼根数的目标穿戴物品模型。比如,该目标穿戴物品模型的目标骨骼根数为67根,则该计算机设备获取到的目标网络模型可以是基于一批具有67根骨骼结构的样本穿戴物品模型所训练得到的。进一步地,该计算机设备可以将目标顶点基础特征、目标顶点连接关系矩阵以及目标测地距离特征输入目标网络模型,由该目标网络模型输出该目标穿戴物品模型对应的目标蒙皮权重。
步骤S208,基于目标蒙皮权重,将目标穿戴物品模型的目标模型顶点与目标骨骼结构进行绑定。
具体地,该计算机设备可以基于该目标蒙皮权重,将目标穿戴物品模型的目标模型顶点与目标骨骼结构进行绑定,以实现目标穿戴物品模型随骨骼动画进行相应动作的效果。
为便于理解,进一步地,请参见图10,图10是本申请实施例提供的一种目标穿戴物品模型随骨骼动画进行相应动作的场景示意图。如图10所示,本申请实施例中的穿戴物品模型90A可以为计算机设备(例如,上述图1所示的用户终端集群中的某一运行有目标网络模型的用户终端,比如,用户终端100b)所获取到的需要进行蒙皮的目标穿戴物品模型。该穿戴物品模型90A可以分布有目标骨骼结构(例如,图10所示的骨骼结构90B)。
可以理解的是,该计算机设备可以确定该穿戴物品模型90A的模型顶点的目标顶点基础特征,与穿戴物品模型90A的模型顶点相关联的目标顶点连接关系矩阵,以及该穿戴物品模型90A的模型顶点与骨骼结构90B之间的目标测地距离特征。进一步地,该计算机设备可以基于该目标顶点基础特征、目标顶点连接关系矩阵以及目标测地距离特征,确定该穿戴物品模型90A对应的目标输入特征。
此时,该计算机设备可以获取用于预测该穿戴物品模型90A的目标网络模型(例如,图10所示的网络模型900),进而可以将该目标输入特征输入该网络模型900,由该网络模型900输出该穿戴物品模型90A对应的目标蒙皮权重。进一步地,该计算机设备可以基于该目标蒙皮权重,将穿戴物品模型90A的目标模型顶点与骨骼结构90B进行绑定,以实现穿戴物品模型90A随骨骼动画进行相应动作的效果。其中,绑定后的穿戴物品模型90A中的某一骨骼结构(例如,右上臂骨骼)上所显示的颜色深浅,可以用于表示被该右上臂骨骼的骨骼关节所影响的模型顶点区域。颜色越浅区域的模型顶点与该右上臂骨骼之间的蒙皮权重越大,即被该右上臂骨骼影响越大。
如图10所示,动画帧90a可以为某一时刻(例如,第一时刻)时,穿戴物品模型90A(例如,夹克服饰三维模型)的形态,此时,分布在穿戴物品模型90A的骨骼结构90B的骨骼状态为状态1(即第一骨骼状态,例如,自然站立状态)。当骨骼动画中的右上臂骨骼的骨骼关节发生旋转位移时,该计算机设备可以检测到骨骼动画中的骨骼结构90B的骨骼状态由状态1变更为状态2(即第二骨骼状态,例如,右上臂骨骼水平伸直状态),此时,该计算机设备可以将骨骼状态变更的时刻确定为第二时刻,进而可以结合线性混合蒙皮算法在Maya插件这一三维软件中,通过网络模型900所输出的目标蒙皮权重,自动更新被该右上臂骨骼影响的模型顶点的新坐标位置,从而实现所骨骼动画进行相应动作的效果,进而可以得到图10所示的动画帧90b。可以理解的是,该计算机设备可以基于随骨骼动画进行相应动作的动画帧(例如,动画帧90a和动画帧90b),生成用于展示给移动终端(例如,图1所示的用户终端集群中的任意一个用户终端,例如,用户终端100b)的动画文件。
可以理解的是,该目标网络模型基于图神经网络深度监督学习,能够准确的预测目标蒙皮权重,使得整个算法具有较强的鲁棒性。此外,目标网络模型的正向演算速度极快,算法整体上可能花费数秒就能生成目标穿戴物品模型的模型顶点与目标结构信息之间的目标蒙皮权重,在蒙皮效率上有了极大的提高。
进一步地,请参见图11,图11是本申请实施例提供的一种基于蒙皮权重的模型训练装置的结构示意图。如图11所示,该基于蒙皮权重的模型训练装置1可以是运行于计算机设备中的一个计算机程序(包括程序代码),例如,该基于蒙皮权重的模型训练装置1为一个应用软件;该基于蒙皮权重的模型训练装置1可以用于执行本申请实施例提供的方法中的相应步骤。如图11所示,该基于蒙皮权重的模型训练装置1可以运行于具有模型训练功能的计算机设备,该计算机设备可以为上述图1所对应实施例中的服务器10。该基于蒙皮权重的模型训练装置1可以包括:样本模型获取模块10,样本顶点特征确定模块20,样本矩阵确定模块30,样本测地距离特征确定模块40以及模型训练模块50。
该样本模型获取模块10,用于获取具有样本权重标签的样本穿戴物品模型,提取分布在样本穿戴物品模型中的样本骨骼结构;样本权重标签用于指示样本穿戴物品模型的模型顶点与样本骨骼结构之间的样本蒙皮权重。
该样本顶点特征确定模块20,用于基于模型顶点的顶点位置信息以及模型顶点所属网格平面的法向量信息,确定模型顶点的样本顶点基础特征。
其中,模型顶点包括N个顶点,且N个顶点存储在样本穿戴物品模型对应的原始数据索引集;原始数据索引集是基于样本穿戴物品模型所确定的;N为大于或者等于3的正整数;
该样本顶点特征确定模块20包括:顶点拓扑结构构建单元201,顶点位置信息确定单元202,初始法向量确定单元203,目标法向量确定单元204以及样本顶点特征确定单元205。
该顶点拓扑结构构建单元201,用于获取模型顶点所属的原始数据索引集,基于原始数据索引集构建样本穿戴物品模型的顶点拓扑结构;顶点拓扑结构包括N个顶点;
该顶点位置信息确定单元202,用于从N个顶点中确定用于进行向量编码处理的顶点Vi,且在样本穿戴物品模型所在的空间坐标系中,确定顶点Vi的顶点位置信息;i为小于或者等于N的正整数;
该初始法向量确定单元203,用于获取顶点Vi所属的M个网格平面,确定M个网格平面中的每个网格平面的初始法向量信息;M为正整数;
该目标法向量确定单元204,用于对确定的M个初始法向量信息进行向量求和处理,得到待处理法向量信息,对待处理法向量信息进行归一化处理,将归一化处理后的待处理法向量信息作为与顶点Vi相关联的目标法向量信息;
该样本顶点特征确定单元205,用于将顶点Vi的顶点位置信息与目标法向量信息进行拼接处理,得到顶点Vi的顶点特征,且基于顶点Vi的顶点特征,确定模型顶点的样本顶点基础特征。
其中,该顶点拓扑结构构建单元201,顶点位置信息确定单元202,初始法向量确定单元203,目标法向量确定单元204以及样本顶点特征确定单元205的具体实现方式可以参见上述图3所对应实施例中对步骤S102的描述,这里将不再继续进行赘述。
该样本矩阵确定模块30,用于基于模型顶点所构成的顶点拓扑结构,确定与模型顶点相关联的样本顶点连接关系矩阵。
其中,该样本矩阵确定模块30包括:拆分处理单元301,矩阵元素确定单元302,样本矩阵确定单元303,第一确定单元304,第二确定单元305以及第三确定单元306。
该拆分处理单元301,用于基于模型顶点所构成的顶点拓扑结构,从样本穿戴物品模型对应的原始数据索引集中,确定与模型顶点具有索引关系的网格平面,基于网格平面所指示的索引关系,对网格平面进行拆分处理,得到与网格平面相关联的模型顶点的连接边集合;
该矩阵元素确定单元302,用于基于连接边集合,确定待构建样本顶点连接关系矩阵的矩阵元素Aij;矩阵元素Aij的数值用于指示模型顶点中的顶点Vi与顶点Vj之间的连接关系;i和j均为小于或者等于N的正整数;N为模型顶点的顶点总数量;
该样本矩阵确定单元303,用于基于矩阵元素Aij,确定与模型顶点相关联的样本顶点连接关系矩阵;样本顶点连接关系矩阵为N行N列的矩阵。
该第一确定单元304,用于若i等于j,则将矩阵元素Aij确定为样本顶点连接关系矩阵的对角线矩阵元素,且将对角线矩阵元素的数值确定为第一数值;
该第二确定单元305,用于若i不等于j,且连接边集合指示顶点Vi与顶点Vj之间存在连接边,则将矩阵元素Aij的数值确定为第一数值;
该第三确定单元306,用于若i不等于j,且连接边集合指示顶点Vi与顶点Vj之间不存在连接边,则将矩阵元素Aij的数值确定为第二数值;第二数值与第一数值不同。
其中,该拆分处理单元301,矩阵元素确定单元302,样本矩阵确定单元303,第一确定单元304,第二确定单元305以及第三确定单元306的具体实现方式可以参见上述图3所对应实施例中对步骤S103的描述,这里将不再继续进行赘述。
该样本测地距离特征确定模块40,用于对样本穿戴物品模型进行体素化,得到样本穿戴物品模型的体素,基于体素确定模型顶点与样本骨骼结构之间的样本测地距离特征。
其中,该样本测地距离特征确定模块40包括:体素化单元401,测地距离集确定单元402,种子体素确定单元403,初始距离确定单元404以及样本测地距离特征确定单元405。
该体素化单元401,用于对样本穿戴物品模型进行体素化,得到样本穿戴物品模型的体素,通过体素,构建样本穿戴物品模型的体素拓扑结构。
其中,该体素化单元401包括:关键点位置确定子单元4011,包围盒确定子单元4012,体素空间分割子单元4013以及体素拓扑结构构建子单元4014。
该关键点位置确定子单元4011,用于基于顶点拓扑结构获取用于构成网格平面的关键顶点,确定关键顶点的顶点位置信息;关键顶点的顶点位置信息为样本穿戴物品模型所在的空间坐标系中的三维坐标位置信息;空间坐标系中包含三个维度;
该包围盒确定子单元4012,用于基于关键顶点的三维坐标位置信息,在每个维度上确定具有最小坐标位置的第一坐标点和具有最大坐标位置的第二坐标点,且基于在每个维度上所确定的第一坐标点和第二坐标点,确定网格平面所占据的最小轴对称包围盒;
该体素空间分割子单元4013,用于获取与样本穿戴物品模型相关联的分割阈值,基于分割阈值对最小轴对称包围盒进行体素空间分割,得到与最小轴对称包围盒相关联的体素集合;
该体素拓扑结构构建子单元4014,用于若体素集合中存在与网格平面相交的初始体素,则将相交的初始体素作为样本穿戴物品模型的体素,且通过体素,构建样本穿戴物品模型的体素拓扑结构。
其中,该关键点位置确定子单元4011,包围盒确定子单元4012,体素空间分割子单元4013以及体素拓扑结构构建子单元4014的具体实现方式可以参见上述图3所对应实施例中对体素拓扑结构的描述,这里将不再继续进行赘述。
该测地距离集确定单元402,用于在体素拓扑结构中,基于体素拓扑结构中的任意两个体素之间的测地距离,得到与样本穿戴物品模型相关联的测地距离集;
该种子体素确定单元403,用于获取属于样本骨骼结构的骨骼辅助点,从骨骼辅助点发射X个不同方向的射线,得到骨骼辅助点对应的X个种子体素;一个种子体素是在一个方向的射线上所确定的与骨骼辅助点具有最小欧氏距离的体素;X为正整数;
该初始距离确定单元404,用于基于X个种子体素中的每个种子体素以及测地距离集,分别确定骨骼辅助点与模型顶点所在的体素之间的距离,得到X个初始距离。
其中,该初始距离确定单元404包括:衔接体素获取子单元4041,距离获取子单元4042以及初始距离确定子单元4043。
该衔接体素获取子单元4041,用于将模型顶点所在的体素作为目标体素,且在X个种子体素中,遍历获取一个种子体素作为中间衔接体素;中间衔接体素用于衔接骨骼辅助点与目标体素;
该距离获取子单元4042,用于确定骨骼辅助点与中间衔接体素之间的欧氏距离,且在测地距离集中,获取中间衔接体素与目标体素之间的目标测地距离;
该初始距离确定子单元4043,用于对欧氏距离与目标测地距离进行求和处理,将求和处理后的距离和作为骨骼辅助点与目标体素之间的初始距离,且在遍历完成时,得到X个初始距离。
其中,该衔接体素获取子单元4041,距离获取子单元4042以及初始距离确定子单元4043的具体实现方式可以参见上述图6所对应实施例中对初始距离的描述,这里将不再继续进行赘述。
该样本测地距离特征确定单元405,用于在X个初始距离中,将具有最小值的初始距离作为目标距离,且基于目标距离确定模型顶点与样本骨骼结构之间的样本测地距离特征。
其中,该体素化单元401,测地距离集确定单元402,种子体素确定单元403,初始距离确定单元404以及样本测地距离特征确定单元405的具体实现方式可以参见上述图3所对应实施例中对步骤S104的描述,这里将不再继续进行赘述。
该模型训练模块50,用于基于样本顶点基础特征、样本顶点连接关系矩阵、样本测地距离特征以及样本穿戴物品模型对应的初始网络模型,得到初始网络模型对应的预测权重标签,基于预测权重标签以及样本权重标签对初始网络模型进行训练,得到用于预测目标蒙皮权重的目标网络模型。
其中,该模型训练模块50包括:距离权重特征确定单元501,样本特征确定单元502,预测权重标签输出单元503以及模型训练单元504。
该距离权重特征确定单元501,用于获取用于对样本测地距离特征进行特征转换的可调整系数,基于可调整系数以及样本测地距离特征,得到样本穿戴物品模型对应的距离权重特征;
该样本特征确定单元502,用于将距离权重特征以及样本顶点基础特征进行拼接处理,得到顶点拼接特征,将顶点拼接特征以及样本顶点连接关系矩阵作为用于训练样本穿戴物品模型对应的初始网络模型的样本特征;
该预测权重标签输出单元503,用于将样本特征输入初始网络模型,由初始网络模型输出样本穿戴物品模型对应的预测权重标签;预测权重标签用于指示模型顶点与样本骨骼结构之间的预测蒙皮权重。
其中,初始网络模型包括第一多层全连接感知层、全局网络、图注意力网络以及第二多层全连接感知层;
该预测权重标签输出单元503包括:顶点隐藏特征确定子单元5031,全局信息特征确定子单元5032,局部信息特征确定子单元5033以及预测权重标签输出子单元5034。
该顶点隐藏特征确定子单元5031,用于将样本特征中的顶点拼接特征输入第一多层全连接感知层,由第一多层全连接感知层输出顶点拼接特征对应的顶点隐藏特征;
该全局信息特征确定子单元5032,用于将顶点隐藏特征输入全局网络,通过全局网络中的第三多层全连接感知层以及全局最大池化层,得到样本穿戴物品模型的全局信息特征;
该局部信息特征确定子单元5033,用于将顶点隐藏特征以及样本特征中的样本顶点连接关系矩阵输入图注意力网络,由图注意力网络输出样本穿戴物品模型的局部信息特征。
其中,图注意力网络包括采用稠密连接模式所连接的图卷积层L1、图卷积层L2以及图卷积层L3
该局部信息特征确定子单元5033包括:第一输出特征确定子单元50331,第二输出特征确定子单元50332,第三输出特征确定子单元50333以及拼接处理子单元50334。
该第一输出特征确定子单元50331,用于将顶点隐藏特征以及样本特征中的样本顶点连接关系矩阵作为图卷积层L1的第一输入特征,通过图卷积层L1对第一输入特征进行特征提取,得到图卷积层L1的第一输出特征。
其中,图卷积层L1包括k个图注意力层;k为正整数;
该第一输出特征确定子单元50331还用于:
将顶点隐藏特征以及样本特征中的样本顶点连接关系矩阵作为图卷积层L1的第一输入特征;
从k个图注意力层中确定目标图注意力层,获取与目标图注意力层相关联的可训练权重参数,且基于可训练权重参数,对第一输入特征进行线性变换,得到线性变换特征;
从线性变换特征中,获取顶点Vi对应的特征Zi以及顶点Vi的邻居顶点Vx的特征Zx;i和x均为小于或者等于N的正整数;N为模型顶点的顶点总数量;
获取与目标图注意力层相关联的可学习网络参数,基于可学习网络参数、特征Zi 以及特征Zx,确定顶点Vi与邻居顶点Vx之间的注意力系数
Figure 963221DEST_PATH_IMAGE001
基于注意力系数
Figure 162121DEST_PATH_IMAGE001
以及特征Zx,确定顶点Vi的顶点注意力特征,且基于Vi的顶点 注意力特征,得到目标图注意力层的图注意力特征;
基于目标图注意力层的图注意力特征,得到k个图注意力特征,且对k个图注意力特征进行拼接处理,将拼接处理后的图注意力特征作为图卷积层L1的第一输出特征。
该第二输出特征确定子单元50332,用于对第一输入特征以及第一输出特征进行拼接处理,得到第一拼接聚合特征,将第一拼接聚合特征作为图卷积层L2的第二输入特征,通过图卷积层L2对第二输入特征进行特征提取,得到图卷积层L2的第二输出特征;
该第三输出特征确定子单元50333,用于对第二输入特征以及第二输出特征进行拼接处理,得到第二拼接聚合特征,将第二拼接聚合特征作为图卷积层L3的第三输入特征,通过图卷积层L3对第三输入特征进行特征提取,得到图卷积层L3的第三输出特征;
该拼接处理子单元50334,用于对第三输入特征以及第三输出特征进行拼接处理,将拼接处理后的特征作为样本穿戴物品模型的局部信息特征。
其中,该第一输出特征确定子单元50331,第二输出特征确定子单元50332,第三输出特征确定子单元50333以及拼接处理子单元50334的具体实现方式可以参见上述图3所对应实施例中对局部信息特征的描述,这里将不再继续进行赘述。
该预测权重标签输出子单元5034,用于对全局信息特征以及局部信息特征进行拼接处理,得到信息拼接特征,将信息拼接特征输入第二多层全连接感知层,由第二多层全连接感知层输出样本穿戴物品模型对应的预测权重标签。
其中,该顶点隐藏特征确定子单元5031,全局信息特征确定子单元5032,局部信息特征确定子单元5033以及预测权重标签输出子单元5034的具体实现方式可以参见上述图3所对应实施例中对预测权重标签的描述,这里将不再继续进行赘述。
该模型训练单元504,用于基于预测权重标签以及样本权重标签,对初始网络模型进行训练,得到用于预测目标蒙皮权重的目标网络模型。
其中,该距离权重特征确定单元501,样本特征确定单元502,预测权重标签输出单元503以及模型训练单元504的具体实现方式可以参见上述图3所对应实施例中对步骤S105的描述,这里将不再继续进行赘述。
其中,该样本模型获取模块10,样本顶点特征确定模块20,样本矩阵确定模块30,样本测地距离特征确定模块40以及模型训练模块50的具体实现方式可以参见上述图3所对应实施例中对步骤S101-步骤S105的描述,这里将不再继续进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
进一步地,请参见图12,图12是本申请实施例提供的一种基于蒙皮权重的模型应用装置的结构示意图。如图12所示,该基于蒙皮权重的模型应用装置2可以是运行于计算机设备中的一个计算机程序(包括程序代码),例如,该基于蒙皮权重的模型应用装置2为一个应用软件;该基于蒙皮权重的模型应用装置2可以用于执行本申请实施例提供的方法中的相应步骤。如图12所示,该基于蒙皮权重的模型应用装置2可以运行于具备模型应用功能的计算机设备,该计算机设备可以为上述图1所对应实施例中的用户终端集群中的任意一个用户终端,例如,运行有目标网络模型的用户终端100b,也可以为图1所对应实施例中的服务器10(该服务器10可以运行有目标网络模型),这里将不对计算机设备进行限定。该基于蒙皮权重的模型应用装置2可以包括:目标输入特征确定模块100,目标蒙皮权重输出模块200以及绑定模块300。
该目标输入特征确定模块100,用于在获取到分布有目标骨骼结构的目标穿戴物品模型时,确定目标穿戴物品模型对应的目标输入特征;目标输入特征是由与目标穿戴物品模型相关联的目标顶点基础特征,目标顶点连接关系矩阵以及目标测地距离特征所确定的;
该目标蒙皮权重输出模块200,用于获取与目标穿戴物品模型相关联的目标网络模型,将目标顶点基础特征、目标顶点连接关系矩阵以及目标测地距离特征输入目标网络模型,由目标网络模型输出目标穿戴物品模型对应的目标蒙皮权重;
该绑定模块300,用于基于目标蒙皮权重,将目标穿戴物品模型的目标模型顶点与目标骨骼结构进行绑定。
其中,该目标输入特征确定模块100,目标蒙皮权重输出模块200以及绑定模块300的具体实现方式可以参见上述图9所对应实施例中对步骤S206-步骤S208的描述,这里将不再继续进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
进一步地,请参见图13,图13是本申请实施例提供的一种计算机设备的示意图。如图13所示,该计算机设备1000可以为上述图1对应实施例中的具备自动蒙皮功能的计算机设备,该计算机设备1000可以包括:至少一个处理器1001,例如CPU,至少一个网络接口1004,用户接口1003,存储器1005,至少一个通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。其中,用户接口1003可以包括显示屏(Display)、键盘(Keyboard),网络接口1004可选地可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器1005可选地还可以是至少一个位于远离前述处理器1001的存储装置。如图13所示,作为一种计算机存储介质的存储器1005可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
在图13所示的计算机设备1000中,网络接口1004主要用于进行网络通信;而用户接口1003主要用于为用户提供输入的接口;而处理器1001可以用于调用存储器1005中存储的设备控制应用程序。
应当理解,本申请实施例中所描述的计算机设备1000可执行前文图3所对应实施例中对基于蒙皮权重的模型训练方法的描述或者图9所对应实施例中对该基于表面体素化距离特征的深度学习自动蒙皮方法的描述,也可执行前文图11所对应实施例中对该基于蒙皮权重的模型训练装置1或者图12所对应实施例中对该基于蒙皮权重的模型应用装置2的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
此外,这里需要指出的是:本申请实施例还提供了一种计算机可读存储介质,且该计算机可读存储介质中存储有前文提及的基于蒙皮权重的模型训练装置1或者基于蒙皮权重的模型应用装置2所执行的计算机程序,且该计算机程序包括程序指令,当该处理器执行该程序指令时,能够执行前文图3所对应实施例中对基于蒙皮权重的模型训练方法的描述或者图9所对应实施例中对该基于表面体素化距离特征的深度学习自动蒙皮方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述。作为示例,程序指令可被部署为在一个计算设备上执行,或者在位于一个地点的多个计算设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算设备上执行,分布在多个地点且通过通信网络互连的多个计算设备可以组成区块链系统。
本申请一方面提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备可执行前文图3所对应实施例中对基于蒙皮权重的模型训练方法的描述或者图9所对应实施例中对该基于表面体素化距离特征的深度学习自动蒙皮方法的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
进一步的,请参见图14,图14是本申请实施例提供的一种数据处理系统的结构示意图。该数据处理系统3可以包含数据处理装置1a和数据处理装置2a。其中,数据处理装置1a可以为上述图11所对应实施例中的基于蒙皮权重的模型训练装置1,可以理解的是,该数据处理装置1a可以集成在具有模型训练功能的计算机设备(例如,图1所示的服务器10),因此,这里将不再进行赘述。其中,数据处理装置2a可以为上述图12所对应实施例中的基于蒙皮权重的模型应用装置2,可以理解的是,该数据处理装置2a可以集成在具有模型应用功能的计算机设备(例如,图1所示的用户终端集群中的任意一个运行有目标网络模型的用户终端,比如,用户终端100b),因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的数据处理系统实施例中未披露的技术细节,请参照本申请方法实施例的描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,上述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,上述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。

Claims (15)

1.一种基于蒙皮权重的模型训练方法,其特征在于,包括:
获取具有样本权重标签的样本穿戴物品模型,提取分布在所述样本穿戴物品模型中的样本骨骼结构;所述样本权重标签用于指示所述样本穿戴物品模型的模型顶点与所述样本骨骼结构之间的样本蒙皮权重;
基于所述模型顶点的顶点位置信息以及所述模型顶点所属网格平面的法向量信息,确定所述模型顶点的样本顶点基础特征;
基于所述模型顶点所构成的顶点拓扑结构,确定与所述模型顶点相关联的样本顶点连接关系矩阵;
对所述样本穿戴物品模型进行体素化,得到所述样本穿戴物品模型的体素,基于所述体素确定所述模型顶点与所述样本骨骼结构之间的样本测地距离特征;
基于所述样本顶点基础特征、所述样本顶点连接关系矩阵、所述样本测地距离特征以及所述样本穿戴物品模型对应的初始网络模型,得到所述初始网络模型对应的预测权重标签,基于所述预测权重标签以及所述样本权重标签对所述初始网络模型进行训练,得到用于预测目标蒙皮权重的目标网络模型。
2.根据权利要求1所述的方法,其特征在于,所述模型顶点包括N个顶点,且所述N个顶点存储在所述样本穿戴物品模型对应的原始数据索引集;所述原始数据索引集是基于所述样本穿戴物品模型所确定的;所述N为大于或者等于3的正整数;
所述基于所述模型顶点的顶点位置信息以及所述模型顶点所属网格平面的法向量信息,确定所述模型顶点的样本顶点基础特征,包括:
获取所述模型顶点所属的所述原始数据索引集,基于所述原始数据索引集构建所述样本穿戴物品模型的顶点拓扑结构;所述顶点拓扑结构包括所述N个顶点;
从所述N个顶点中确定用于进行向量编码处理的顶点Vi,且在所述样本穿戴物品模型所在的空间坐标系中,确定所述顶点Vi的顶点位置信息;所述i为小于或者等于所述N的正整数;
获取所述顶点Vi所属的M个网格平面,确定所述M个网格平面中的每个网格平面的初始法向量信息;所述M为正整数;
对确定的M个初始法向量信息进行向量求和处理,得到待处理法向量信息,对所述待处理法向量信息进行归一化处理,将归一化处理后的待处理法向量信息作为与所述顶点Vi相关联的目标法向量信息;
将所述顶点Vi的顶点位置信息与所述目标法向量信息进行拼接处理,得到所述顶点Vi的顶点特征,且基于所述顶点Vi的顶点特征,确定所述模型顶点的样本顶点基础特征。
3.根据权利要求1所述的方法,其特征在于,所述基于所述模型顶点所构成的顶点拓扑结构,确定与所述模型顶点相关联的样本顶点连接关系矩阵,包括:
基于所述模型顶点所构成的顶点拓扑结构,从所述样本穿戴物品模型对应的原始数据索引集中,确定与所述模型顶点具有索引关系的网格平面,基于所述网格平面所指示的索引关系,对所述网格平面进行拆分处理,得到与所述网格平面相关联的所述模型顶点的连接边集合;
基于所述连接边集合,确定待构建样本顶点连接关系矩阵的矩阵元素Aij;所述矩阵元素Aij的数值用于指示所述模型顶点中的顶点Vi与顶点Vj之间的连接关系;所述i和所述j均为小于或者等于N的正整数;所述N为所述模型顶点的顶点总数量;
基于所述矩阵元素Aij,确定与所述模型顶点相关联的所述样本顶点连接关系矩阵;所述样本顶点连接关系矩阵为N行N列的矩阵。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
若所述i等于所述j,则将所述矩阵元素Aij确定为所述样本顶点连接关系矩阵的对角线矩阵元素,且将所述对角线矩阵元素的数值确定为第一数值;
若所述i不等于所述j,且所述连接边集合指示所述顶点Vi与所述顶点Vj之间存在连接边,则将所述矩阵元素Aij的数值确定为所述第一数值;
若所述i不等于所述j,且所述连接边集合指示所述顶点Vi与所述顶点Vj之间不存在连接边,则将所述矩阵元素Aij的数值确定为第二数值;所述第二数值与所述第一数值不同。
5.根据权利要求1所述的方法,其特征在于,所述对所述样本穿戴物品模型进行体素化,得到所述样本穿戴物品模型的体素,基于所述体素确定所述模型顶点与所述样本骨骼结构之间的样本测地距离特征,包括:
对所述样本穿戴物品模型进行体素化,得到所述样本穿戴物品模型的体素,通过所述体素,构建所述样本穿戴物品模型的体素拓扑结构;
在所述体素拓扑结构中,基于所述体素拓扑结构中的任意两个体素之间的测地距离,得到与所述样本穿戴物品模型相关联的测地距离集;
获取属于所述样本骨骼结构的骨骼辅助点,从所述骨骼辅助点发射X个不同方向的射线,得到所述骨骼辅助点对应的X个种子体素;一个种子体素是在一个方向的射线上所确定的与所述骨骼辅助点具有最小欧氏距离的体素;所述X为正整数;
基于所述X个种子体素中的每个种子体素以及所述测地距离集,分别确定所述骨骼辅助点与所述模型顶点所在的体素之间的距离,得到X个初始距离;
在所述X个初始距离中,将具有最小值的初始距离作为目标距离,且基于所述目标距离确定所述模型顶点与所述样本骨骼结构之间的样本测地距离特征。
6.根据权利要求5所述的方法,其特征在于,所述对所述样本穿戴物品模型进行体素化,得到所述样本穿戴物品模型的体素,通过所述体素,构建所述样本穿戴物品模型的体素拓扑结构,包括:
基于所述顶点拓扑结构获取用于构成所述网格平面的关键顶点,确定所述关键顶点的顶点位置信息;所述关键顶点的顶点位置信息为所述样本穿戴物品模型所在的空间坐标系中的三维坐标位置信息;所述空间坐标系中包含三个维度;
基于所述关键顶点的三维坐标位置信息,在每个维度上确定具有最小坐标位置的第一坐标点和具有最大坐标位置的第二坐标点,且基于在所述每个维度上所确定的第一坐标点和第二坐标点,确定所述网格平面所占据的最小轴对称包围盒;
获取与所述样本穿戴物品模型相关联的分割阈值,基于所述分割阈值对所述最小轴对称包围盒进行体素空间分割,得到与所述最小轴对称包围盒相关联的体素集合;
若所述体素集合中存在与所述网格平面相交的初始体素,则将相交的初始体素作为所述样本穿戴物品模型的体素,且通过所述体素,构建所述样本穿戴物品模型的体素拓扑结构。
7.根据权利要求5所述的方法,其特征在于,所述基于所述X个种子体素中的每个种子体素以及所述测地距离集,分别确定所述骨骼辅助点与所述模型顶点所在的体素之间的距离,得到X个初始距离,包括:
将所述模型顶点所在的体素作为目标体素,且在所述X个种子体素中,遍历获取一个种子体素作为中间衔接体素;所述中间衔接体素用于衔接所述骨骼辅助点与所述目标体素;
确定所述骨骼辅助点与所述中间衔接体素之间的欧氏距离,且在所述测地距离集中,获取所述中间衔接体素与所述目标体素之间的目标测地距离;
对所述欧氏距离与所述目标测地距离进行求和处理,将求和处理后的距离和作为所述骨骼辅助点与所述目标体素之间的初始距离,且在遍历完成时,得到X个初始距离。
8.根据权利要求1所述的方法,其特征在于,所述基于所述样本顶点基础特征、所述样本顶点连接关系矩阵、所述样本测地距离特征以及所述样本穿戴物品模型对应的初始网络模型,得到所述初始网络模型对应的预测权重标签,基于所述预测权重标签以及所述样本权重标签对所述初始网络模型进行训练,得到用于预测目标蒙皮权重的目标网络模型,包括:
获取用于对所述样本测地距离特征进行特征转换的可调整系数,基于所述可调整系数以及所述样本测地距离特征,得到所述样本穿戴物品模型对应的距离权重特征;
将所述距离权重特征以及所述样本顶点基础特征进行拼接处理,得到顶点拼接特征,将所述顶点拼接特征以及所述样本顶点连接关系矩阵作为用于训练所述样本穿戴物品模型对应的初始网络模型的样本特征;
将所述样本特征输入所述初始网络模型,由所述初始网络模型输出所述样本穿戴物品模型对应的预测权重标签;所述预测权重标签用于指示所述模型顶点与所述样本骨骼结构之间的预测蒙皮权重;
基于所述预测权重标签以及所述样本权重标签,对所述初始网络模型进行训练,得到用于预测目标蒙皮权重的目标网络模型。
9.根据权利要求8所述的方法,其特征在于,所述初始网络模型包括第一多层全连接感知层、全局网络、图注意力网络以及第二多层全连接感知层;
所述将所述样本特征输入所述初始网络模型,由所述初始网络模型输出所述样本穿戴物品模型对应的预测权重标签,包括:
将所述样本特征中的所述顶点拼接特征输入所述第一多层全连接感知层,由所述第一多层全连接感知层输出所述顶点拼接特征对应的顶点隐藏特征;
将所述顶点隐藏特征输入所述全局网络,通过所述全局网络中的第三多层全连接感知层以及全局最大池化层,得到所述样本穿戴物品模型的全局信息特征;
将所述顶点隐藏特征以及所述样本特征中的所述样本顶点连接关系矩阵输入所述图注意力网络,由所述图注意力网络输出所述样本穿戴物品模型的局部信息特征;
对所述全局信息特征以及所述局部信息特征进行拼接处理,得到信息拼接特征,将所述信息拼接特征输入所述第二多层全连接感知层,由所述第二多层全连接感知层输出所述样本穿戴物品模型对应的预测权重标签。
10.根据权利要求9所述的方法,其特征在于,所述图注意力网络包括采用稠密连接模式所连接的图卷积层L1、图卷积层L2以及图卷积层L3
所述将所述顶点隐藏特征以及所述样本特征中的所述样本顶点连接关系矩阵输入所述图注意力网络,由所述图注意力网络输出所述样本穿戴物品模型的局部信息特征,包括:
将所述顶点隐藏特征以及所述样本特征中的所述样本顶点连接关系矩阵作为所述图卷积层L1的第一输入特征,通过所述图卷积层L1对所述第一输入特征进行特征提取,得到所述图卷积层L1的第一输出特征;
对所述第一输入特征以及所述第一输出特征进行拼接处理,得到第一拼接聚合特征,将所述第一拼接聚合特征作为所述图卷积层L2的第二输入特征,通过所述图卷积层L2对所述第二输入特征进行特征提取,得到所述图卷积层L2的第二输出特征;
对所述第二输入特征以及所述第二输出特征进行拼接处理,得到第二拼接聚合特征,将所述第二拼接聚合特征作为所述图卷积层L3的第三输入特征,通过所述图卷积层L3对所述第三输入特征进行特征提取,得到所述图卷积层L3的第三输出特征;
对所述第三输入特征以及所述第三输出特征进行拼接处理,将拼接处理后的特征作为所述样本穿戴物品模型的局部信息特征。
11.根据权利要求10所述的方法,其特征在于,所述图卷积层L1包括k个图注意力层;所述k为正整数;
所述将所述顶点隐藏特征以及所述样本特征中的所述样本顶点连接关系矩阵作为所述图卷积层L1的第一输入特征,通过所述图卷积层L1对所述第一输入特征进行特征提取,得到所述图卷积层L1的第一输出特征,包括:
将所述顶点隐藏特征以及所述样本特征中的所述样本顶点连接关系矩阵作为所述图卷积层L1的第一输入特征;
从所述k个图注意力层中确定目标图注意力层,获取与所述目标图注意力层相关联的可训练权重参数,且基于所述可训练权重参数,对所述第一输入特征进行线性变换,得到线性变换特征;
从所述线性变换特征中,获取顶点Vi对应的特征Zi以及所述顶点Vi的邻居顶点Vx的特征Zx;所述i和所述x均为小于或者等于N的正整数;所述N为所述模型顶点的顶点总数量;
获取与所述目标图注意力层相关联的可学习网络参数,基于所述可学习网络参数、所 述特征Zi以及所述特征Zx,确定所述顶点Vi与所述邻居顶点Vx之间的注意力系数
Figure DEST_PATH_IMAGE001
基于所述注意力系数
Figure 376807DEST_PATH_IMAGE001
以及所述特征Zx,确定所述顶点Vi的顶点注意力特征,且基于 所述顶点Vi的顶点注意力特征,得到所述目标图注意力层的图注意力特征;
基于所述目标图注意力层的图注意力特征,得到k个图注意力特征,且对所述k个图注意力特征进行拼接处理,将拼接处理后的图注意力特征作为所述图卷积层L1的第一输出特征。
12.一种基于蒙皮权重的模型应用方法,其特征在于,包括:
在获取到分布有目标骨骼结构的目标穿戴物品模型时,确定所述目标穿戴物品模型对应的目标输入特征;所述目标输入特征是由与所述目标穿戴物品模型相关联的目标顶点基础特征,目标顶点连接关系矩阵以及目标测地距离特征所确定的;
获取与所述目标穿戴物品模型相关联的目标网络模型,将所述目标顶点基础特征、所述目标顶点连接关系矩阵以及所述目标测地距离特征输入所述目标网络模型,由所述目标网络模型输出所述目标穿戴物品模型对应的目标蒙皮权重;
基于所述目标蒙皮权重,将所述目标穿戴物品模型的目标模型顶点与所述目标骨骼结构进行绑定。
13.一种基于蒙皮权重的模型训练装置,其特征在于,包括:
样本模型获取模块,用于获取具有样本权重标签的样本穿戴物品模型,提取分布在所述样本穿戴物品模型中的样本骨骼结构;所述样本权重标签用于指示所述样本穿戴物品模型的模型顶点与所述样本骨骼结构之间的样本蒙皮权重;
样本顶点特征确定模块,用于基于所述模型顶点的顶点位置信息以及所述模型顶点所属网格平面的法向量信息,确定所述模型顶点的样本顶点基础特征;
样本矩阵确定模块,用于基于所述模型顶点所构成的顶点拓扑结构,确定与所述模型顶点相关联的样本顶点连接关系矩阵;
样本测地距离特征确定模块,用于对所述样本穿戴物品模型进行体素化,得到所述样本穿戴物品模型的体素,基于所述体素确定所述模型顶点与所述样本骨骼结构之间的样本测地距离特征;
模型训练模块,用于基于所述样本顶点基础特征、所述样本顶点连接关系矩阵、所述样本测地距离特征以及所述样本穿戴物品模型对应的初始网络模型,得到所述初始网络模型对应的预测权重标签,基于所述预测权重标签以及所述样本权重标签对所述初始网络模型进行训练,得到用于预测目标蒙皮权重的目标网络模型。
14.一种基于蒙皮权重的模型应用装置,其特征在于,包括:
目标输入特征确定模块,用于在获取到分布有目标骨骼结构的目标穿戴物品模型时,确定所述目标穿戴物品模型对应的目标输入特征;所述目标输入特征是由与所述目标穿戴物品模型相关联的目标顶点基础特征,目标顶点连接关系矩阵以及目标测地距离特征所确定的;
目标蒙皮权重输出模块,用于获取与所述目标穿戴物品模型相关联的目标网络模型,将所述目标顶点基础特征、所述目标顶点连接关系矩阵以及所述目标测地距离特征输入所述目标网络模型,由所述目标网络模型输出所述目标穿戴物品模型对应的目标蒙皮权重;
绑定模块,用于基于所述目标蒙皮权重,将所述目标穿戴物品模型的目标模型顶点与所述目标骨骼结构进行绑定。
15.一种计算机设备,其特征在于,包括:处理器和存储器;
所述处理器与存储器相连,其中,所述存储器用于存储计算机程序,所述处理器用于调用所述计算机程序,以使得所述计算机设备执行权利要求1-12任一项所述的方法。
CN202110433248.7A 2021-04-22 2021-04-22 一种基于蒙皮权重的模型训练方法、装置、设备及介质 Active CN112991503B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110433248.7A CN112991503B (zh) 2021-04-22 2021-04-22 一种基于蒙皮权重的模型训练方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110433248.7A CN112991503B (zh) 2021-04-22 2021-04-22 一种基于蒙皮权重的模型训练方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN112991503A true CN112991503A (zh) 2021-06-18
CN112991503B CN112991503B (zh) 2021-07-27

Family

ID=76339724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110433248.7A Active CN112991503B (zh) 2021-04-22 2021-04-22 一种基于蒙皮权重的模型训练方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN112991503B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116453220A (zh) * 2023-04-19 2023-07-18 北京百度网讯科技有限公司 目标对象姿态确定方法、训练方法、装置及电子设备
CN116468831A (zh) * 2023-06-20 2023-07-21 腾讯科技(深圳)有限公司 模型处理方法、装置、设备及存储介质
CN116486108A (zh) * 2023-06-20 2023-07-25 腾讯科技(深圳)有限公司 一种图像处理方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021584A (zh) * 2014-06-25 2014-09-03 无锡梵天信息技术股份有限公司 一种骨骼蒙皮动画的实现方法
CN106228592A (zh) * 2016-09-12 2016-12-14 武汉布偶猫科技有限公司 一种服装三维模型自动绑定蒙皮信息的方法
CN108537888A (zh) * 2018-04-09 2018-09-14 浙江大学 一种基于骨架的快速试衣方法
US20180279696A1 (en) * 2017-02-14 2018-10-04 Salvador Navarro Garment for Water Weight-Loss
CN111179418A (zh) * 2019-12-31 2020-05-19 中国人民解放军陆军工程大学 一种无需用户裸体的三维人体测量方法和装置
CN112598773A (zh) * 2020-12-31 2021-04-02 珠海金山网络游戏科技有限公司 骨骼蒙皮动画的实现方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021584A (zh) * 2014-06-25 2014-09-03 无锡梵天信息技术股份有限公司 一种骨骼蒙皮动画的实现方法
CN106228592A (zh) * 2016-09-12 2016-12-14 武汉布偶猫科技有限公司 一种服装三维模型自动绑定蒙皮信息的方法
US20180279696A1 (en) * 2017-02-14 2018-10-04 Salvador Navarro Garment for Water Weight-Loss
CN108537888A (zh) * 2018-04-09 2018-09-14 浙江大学 一种基于骨架的快速试衣方法
CN111179418A (zh) * 2019-12-31 2020-05-19 中国人民解放军陆军工程大学 一种无需用户裸体的三维人体测量方法和装置
CN112598773A (zh) * 2020-12-31 2021-04-02 珠海金山网络游戏科技有限公司 骨骼蒙皮动画的实现方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GUNANTO, SG等: ""Improved 3D Face Feature-Point Nearest Neighbor Clustering Using Orthogonal Face Map"", 《ADVANCED SCIENCE LETTERS》 *
何青: ""骨架驱动的虚拟人皮肤变形及其动画"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
胡鹏鹏: ""基于RGBD深度相机的三维扫描系统开发与多重着装仿真算法研究"", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116453220A (zh) * 2023-04-19 2023-07-18 北京百度网讯科技有限公司 目标对象姿态确定方法、训练方法、装置及电子设备
CN116468831A (zh) * 2023-06-20 2023-07-21 腾讯科技(深圳)有限公司 模型处理方法、装置、设备及存储介质
CN116486108A (zh) * 2023-06-20 2023-07-25 腾讯科技(深圳)有限公司 一种图像处理方法、装置、设备及存储介质
CN116468831B (zh) * 2023-06-20 2023-08-22 腾讯科技(深圳)有限公司 模型处理方法、装置、设备及存储介质
CN116486108B (zh) * 2023-06-20 2023-09-01 腾讯科技(深圳)有限公司 一种图像处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112991503B (zh) 2021-07-27

Similar Documents

Publication Publication Date Title
CN112991503B (zh) 一种基于蒙皮权重的模型训练方法、装置、设备及介质
WO2021184933A1 (zh) 一种人体三维模型重建方法
CN112991502B (zh) 一种模型训练方法、装置、设备及存储介质
Lei et al. Cadex: Learning canonical deformation coordinate space for dynamic surface representation via neural homeomorphism
CN112085835B (zh) 三维卡通人脸生成方法、装置、电子设备及存储介质
Gan et al. Research on role modeling and behavior control of virtual reality animation interactive system in Internet of Things
KR20220081261A (ko) 객체 포즈 추정 방법 및 장치
CN112884868B (zh) 三维网格顶点特征确定方法、骨骼蒙皮方法及相关装置
CN113096249A (zh) 训练顶点重建模型的方法、图像重建方法及电子设备
WO2022179603A1 (zh) 一种增强现实方法及其相关设备
CN116012626B (zh) 建筑立面图像的素材匹配方法、装置、设备和存储介质
CN113593001A (zh) 目标对象三维重建方法、装置、计算机设备和存储介质
CN115965736B (zh) 图像处理方法、装置、设备及存储介质
CN115330979A (zh) 表情迁移的方法、装置、电子设备及存储介质
US20220284624A1 (en) 3d pose estimation in robotics
CN115147564A (zh) 一种三维模型构建方法、神经网络训练方法以及装置
Chang et al. Using line consistency to estimate 3D indoor Manhattan scene layout from a single image
CN116486108B (zh) 一种图像处理方法、装置、设备及存储介质
CN117557699B (zh) 动画数据生成方法、装置、计算机设备和存储介质
CN116468831B (zh) 模型处理方法、装置、设备及存储介质
CN115049764B (zh) Smpl参数预测模型的训练方法、装置、设备及介质
CN116433852B (zh) 数据处理方法、装置、设备及存储介质
Orlova et al. 3D recognition: state of the art and trends
CN116958337A (zh) 虚拟对象动画生成方法、装置、电子设备及可读存储介质
CN117437361A (zh) 一种场景模型的生成方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40046387

Country of ref document: HK