CN112991502B - 一种模型训练方法、装置、设备及存储介质 - Google Patents

一种模型训练方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112991502B
CN112991502B CN202110433239.8A CN202110433239A CN112991502B CN 112991502 B CN112991502 B CN 112991502B CN 202110433239 A CN202110433239 A CN 202110433239A CN 112991502 B CN112991502 B CN 112991502B
Authority
CN
China
Prior art keywords
feature
vertex
sample
features
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110433239.8A
Other languages
English (en)
Other versions
CN112991502A (zh
Inventor
常天元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110433239.8A priority Critical patent/CN112991502B/zh
Publication of CN112991502A publication Critical patent/CN112991502A/zh
Application granted granted Critical
Publication of CN112991502B publication Critical patent/CN112991502B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data

Abstract

本申请实施例公开了一种模型训练方法、装置、设备及存储介质,该方法包括:获取包括样本顶点拼接特征和样本邻接矩阵的样本特征,将样本顶点拼接特征输入初始网络模型中的第一网络,由第一网络输出顶点隐藏特征;将顶点隐藏特征输入第一分支网络,得到全局信息特征;将样本邻接矩阵和顶点隐藏特征输入第二分支网络,得到局部信息特征;将顶点隐藏特征输入第三分支网络,得到近邻信息特征;基于全局信息特征、局部信息特征、近邻信息特征以及第三网络,得到预测关节权重,将预测关节权重作为预测标签;基于样本标签和预测标签对初始网络模型进行迭代训练,得到目标网络模型。采用本申请实施例,可以提高蒙皮准确度和蒙皮效率。

Description

一种模型训练方法、装置、设备及存储介质
技术领域
本申请涉及计算机技术领域,尤其涉及一种模型训练方法、装置、设备及存储介质。
背景技术
在动画制作过程中,具有蒙皮功能的计算机设备可以需要为创建的服饰模型添加模型骨骼,由于模型骨骼与服饰模型是相互独立的,因此,为了让模型骨骼驱动服饰模型产生合理的运动,需要采用人工刷蒙皮权重的方式,将服饰模型绑定在模型骨骼上。
可以理解的是,美工人员往往从类似的服饰模型拷贝基础的蒙皮权重到当前需要制作的服饰模型中,然后根据自身经验,以“刷子”的形式逐骨骼逐顶点区域的手动地调整蒙皮权重,并在调整蒙皮权重的过程中不断地尝试改变骨骼旋转情况,以校验当前的蒙皮权重是否符合骨骼动画的预期。这种人工刷蒙皮权重的方式很难一次到位,往往需要投入过多的人力和时间成本,以至于导致蒙皮效率降低。此外,这种人工刷蒙皮权重的方式依赖于美工人员的自身经验,具有较强的主观性,即针对于同一服饰模型,不同的美工人员调整的蒙皮权重不同,进而导致蒙皮的准确度降低。
发明内容
本申请实施例提供一种模型训练方法、装置、设备及存储介质,可以提高蒙皮准确度和蒙皮效率。
本申请实施例一方面提供一种模型训练方法,包括:
获取用于训练初始网络模型的样本特征,将样本特征中的样本顶点拼接特征输入初始网络模型中的第一网络,由第一网络输出样本顶点拼接特征对应的顶点隐藏特征;样本特征是由具有样本标签的样本服饰网格所确定的;样本标签用于指示样本服饰网格的样本顶点与样本骨骼关节之间的样本关节权重;初始网络模型包括第一网络、第二网络以及第三网络;第二网络包括第一分支网络、第二分支网络和第三分支网络;
将顶点隐藏特征输入第一分支网络,由第一分支网络对顶点隐藏特征进行全局特征提取,得到样本服饰网格的全局信息特征;
将样本特征中的样本邻接矩阵和顶点隐藏特征输入第二分支网络,由第二分支网络对样本邻接矩阵和顶点隐藏特征进行局部特征提取,得到样本顶点之间的局部信息特征;
将顶点隐藏特征输入第三分支网络,由第三分支网络对顶点隐藏特征进行近邻特征提取,得到样本顶点的近邻信息特征;
对全局信息特征、局部信息特征以及近邻信息特征进行特征拼接,得到第二网络的拼接信息特征,将拼接信息特征输入第三网络,通过第三网络得到样本顶点与样本骨骼关节之间的预测关节权重,将预测关节权重作为样本服饰网格的预测标签;
基于样本标签和预测标签,对初始网络模型进行迭代训练,得到用于预测目标关节权重的目标网络模型。
本申请实施例一方面提供一种模型训练装置,包括:
样本特征获取模块,用于获取用于训练初始网络模型的样本特征,将样本特征中的样本顶点拼接特征输入初始网络模型中的第一网络,由第一网络输出样本顶点拼接特征对应的顶点隐藏特征;样本特征是由具有样本标签的样本服饰网格所确定的;样本标签用于指示样本服饰网格的样本顶点与样本骨骼关节之间的样本关节权重;初始网络模型包括第一网络、第二网络以及第三网络;第二网络包括第一分支网络、第二分支网络和第三分支网络;
全局特征提取模块,用于将顶点隐藏特征输入第一分支网络,由第一分支网络对顶点隐藏特征进行全局特征提取,得到样本服饰网格的全局信息特征;
局部特征提取模块,用于将样本特征中的样本邻接矩阵和顶点隐藏特征输入第二分支网络,由第二分支网络对样本邻接矩阵和顶点隐藏特征进行局部特征提取,得到样本顶点之间的局部信息特征;
近邻特征提取模块,用于将顶点隐藏特征输入第三分支网络,由第三分支网络对顶点隐藏特征进行近邻特征提取,得到样本顶点的近邻信息特征;
预测标签确定模块,用于对全局信息特征、局部信息特征以及近邻信息特征进行特征拼接,得到第二网络的拼接信息特征,将拼接信息特征输入第三网络,通过第三网络得到样本顶点与样本骨骼关节之间的预测关节权重,将预测关节权重作为样本服饰网格的预测标签;
模型训练模块,用于基于样本标签和预测标签,对初始网络模型进行迭代训练,得到用于预测目标关节权重的目标网络模型。
其中,该样本特征获取模块包括:
拓扑结构构建单元,用于在获取到具有样本标签的样本服饰网格时,构建样本服饰网格对应的图拓扑结构数据;图拓扑结构数据包括样本服饰网格的样本顶点以及与样本顶点相关联的样本邻接矩阵;
顶点基础特征确定单元,用于基于样本顶点的顶点位置信息以及样本顶点所属网格平面的法向量信息,确定样本顶点的顶点基础特征;
欧氏距离特征确定单元,用于获取分布在样本服饰网格中的骨骼结构对应的样本骨骼关节,确定样本顶点与样本骨骼关节之间的欧氏距离特征;
样本特征确定单元,用于将顶点基础特征与欧氏距离特征进行拼接处理,得到样本顶点拼接特征,且将样本顶点拼接特征与样本邻接矩阵作为用于训练初始网络模型的样本特征;
顶点隐藏特征确定单元,用于将样本特征中的样本顶点拼接特征输入初始网络模型中的第一网络,由第一网络输出样本顶点拼接特征对应的顶点隐藏特征。
其中,第一网络包括第一多层感知层以及第一近邻特征学习层;
该顶点隐藏特征确定单元包括:
第一特征提取子单元,用于将样本特征中的样本顶点拼接特征输入初始网络模型中的第一网络,由第一多层感知层对样本顶点拼接特征进行特征提取,得到样本顶点拼接特征对应的第一提取特征;
第二特征提取子单元,用于由第一近邻特征学习层对样本顶点拼接特征进行特征提取,得到样本顶点拼接特征对应的第二提取特征;
叠加处理子单元,用于对第一提取特征和第二提取特征进行叠加处理,将叠加处理后的特征作为样本顶点拼接特征对应的顶点隐藏特征。
其中,第一分支网络包括第二多层感知层和全局最大池化层;第二多层感知层包括第一子卷积层和第二子卷积层;
该全局特征提取模块包括:
第一特征变换单元,用于将顶点隐藏特征输入第一分支网络中的第二多层感知层,由第二多层感知层中的第一子卷积层对顶点隐藏特征进行特征变换,得到第一卷积特征;
第二特征变换单元,用于将第一卷积特征输入第二多层感知层中的第二子卷积层,通过第二子卷积层,对第一卷积特征进行特征变换,得到第二卷积特征;
最大池化操作单元,用于将第二卷积特征输入第一分支网络中的全局最大池化层,由全局最大池化层对第二卷积特征进行最大池化操作,得到最大池化特征,且基于最大池化特征,得到样本服饰网格的全局信息特征。
其中,第二分支网络包括采用稠密连接模式所连接的第一图卷积层、第二图卷积层以及第三图卷积层;
该局部特征提取模块包括:
第一局部特征提取单元,用于将样本特征中的样本邻接矩阵和顶点隐藏特征作为第一图卷积层的第一输入特征,通过第一图卷积层对第一输入特征进行局部特征提取,得到第一图卷积层的第一输出特征;
第二局部特征提取单元,用于对第一输入特征以及第一输出特征进行拼接聚合处理,得到第一拼接聚合特征,将第一拼接聚合特征作为第二图卷积层的第二输入特征,通过第二图卷积层对第二输入特征进行局部特征提取,得到第二图卷积层的第二输出特征;
第三局部特征提取单元,用于对第二输入特征以及第二输出特征进行拼接聚合处理,得到第二拼接聚合特征,将第二拼接聚合特征作为第三图卷积层的第三输入特征,通过第三图卷积层对第三输入特征进行局部特征提取,得到第三图卷积层的第三输出特征;
局部信息特征确定单元,用于对第三输入特征以及第三输出特征进行拼接聚合处理,将拼接聚合处理后的特征作为样本顶点之间的局部信息特征。
其中,该第一局部特征提取单元包括:
输入特征确定子单元,用于将样本特征中的样本邻接矩阵和顶点隐藏特征作为第一图卷积层的第一输入特征;第一图卷积层包括m个图注意力层;m为正整数;
目标图注意力层确定子单元,用于从m个图注意力层中确定目标图注意力层;目标图注意力层包括自增强子层以及图注意力子层;
线性变换子单元,用于获取与自增强子层相关联的第一可训练权重参数,基于第一可训练权重参数,对第一输入特征进行线性变换,得到第一线性变换特征,且获取与图注意力子层相关联的第二可训练权重参数,基于第二可训练权重参数,对第一输入特征进行线性变换,得到第二线性变换特征;
图注意力特征确定子单元,用于基于样本邻接矩阵确定样本顶点的第一邻域顶点集,基于第二线性变换特征,获取样本顶点与第一邻域顶点集中的每个邻居顶点之间的注意力系数,且基于获取到的注意力系数,第二线性变换特征以及第一线性变换特征,得到目标图注意力层的图注意力特征;
输出特征确定子单元,用于当m个图注意力层中的每个图注意力层均确定为目标图注意力层时,得到m个图注意力层的m个图注意力特征,对m个图注意力特征进行特征拼接,将特征拼接后的特征作为第一图卷积层的第一输出特征。
其中,样本邻接矩阵为N行N列的特征矩阵;N为样本顶点中的顶点总数量;样本顶点包括顶点Vi;i为小于或者等于N的正整数;
该图注意力特征确定子单元还用于:
基于N行N列的样本邻接矩阵,确定顶点Vi的第一邻域顶点集;顶点Vi的第一邻域顶点集包括顶点Vi的M个邻居顶点;M为小于N的正整数;M个邻居顶点包括邻居顶点Vj;j为小于或者等于M的正整数;
从第二线性变换特征中,确定顶点Vi的顶点特征Zi以及邻居顶点Vj的顶点特征Zj,基于顶点特征Zi以及顶点特征Zj,得到顶点Vi与邻居顶点Vj之间的注意力系数
Figure 100002_DEST_PATH_IMAGE001
将顶点特征Zi与注意力系数
Figure 968589DEST_PATH_IMAGE001
之间的乘积作为顶点Vi的顶点注意力特征,将顶点Vi的顶点注意力特征与第一线性变换特征中的顶点Vi的顶点特征Si进行特征拼接,得到顶点Vi的拼接特征Gi
基于顶点Vi的拼接特征Gi,得到目标图注意力层的图注意力特征。
其中,第三分支网络包括第二近邻特征学习层以及第三近邻特征学习层;
该近邻特征提取模块包括:
第一近邻特征提取单元,用于将顶点隐藏特征输入第三分支网络,由第三分支网络中的第二近邻特征学习层,对顶点隐藏特征进行近邻特征提取,得到顶点隐藏特征对应的第一近邻信息特征;
第二近邻特征提取单元,用于将第一近邻信息特征输入第三分支网络中的第三近邻特征学习层,由第三近邻特征学习层对第一近邻信息特征进行近邻特征提取,得到第一近邻信息特征对应的第二近邻信息特征,且将第二近邻信息特征作为样本顶点的近邻信息特征。
其中,样本顶点包括N个顶点;N个顶点包括顶点Vi;i为小于或者等于N的正整数;
该第一近邻特征提取单元包括:
相似顶点获取子单元,用于在将顶点隐藏特征输入第三分支网络中的第二近邻特征学习层时,将顶点隐藏特征输入第二近邻特征学习层中的近邻特征学习子层,在近邻特征学习子层中,基于顶点隐藏特征中的每个顶点的顶点特征,获取与顶点Vi的具有相似关系的k个相似顶点;k为小于或者等于N的正整数;
相似特征确定子单元,用于在所述近邻特征学习子层中,分别确定k个相似顶点中的每个相似顶点与顶点Vi之间的特征差异度,基于k个特征差异度与顶点Vi的顶点特征xi,得到顶点Vi的相似特征;
相似拼接特征确定子单元,用于基于顶点Vi的相似特征,得到样本顶点的相似拼接特征,且将相似拼接特征输入第二近邻特征学习层中的第三子卷积层;
近邻信息特征确定子单元,用于获取与第三子卷积层相关联的第三可训练权重参数,基于相似拼接特征以及第三可训练权重参数,得到顶点隐藏特征对应的第一近邻信息特征。
其中,该模型训练模块包括:
损失函数获取单元,用于获取初始网络模型对应的模型损失函数,从模型损失函数中确定为第一损失参数分配的第一损失权重参数、以及为第二损失参数分配的第二损失权重参数;
第一损失值确定单元,用于基于样本标签以及预测标签,确定与第一损失参数相关联的关节损失权重,基于关节损失权重、样本标签以及预测标签,确定第一损失参数对应的第一损失值;
第二损失值确定单元,用于基于样本标签、预测标签以及样本邻接矩阵,确定第二损失参数对应的第二损失值;
迭代训练单元,用于基于第一损失值、第二损失值、第一损失权重参数以及第二损失权重参数,确定初始网络模型对应的目标损失值,且基于目标损失值,对初始网络模型进行迭代训练,得到模型训练结果;
目标网络模型确定单元,用于若模型训练结果指示目标损失值小于或者等于模型收敛条件中的损失阈值,则将初始网络模型确定为满足模型收敛条件的初始网络模型,且将满足模型收敛条件的初始网络模型确定为用于预测目标关节权重的目标网络模型。
其中,该第二损失值确定单元包括:
邻域顶点集确定子单元,用于基于样本邻接矩阵,确定样本顶点的第一邻域顶点集,且在第一邻域顶点集中筛选满足权重分布相似条件的顶点,基于筛选出的顶点,得到样本顶点的第二邻域顶点集;
权重相似度确定子单元,用于基于样本标签以及第二邻域顶点集,确定样本顶点的样本关节权重相似度,且基于预测标签以及第二邻域顶点集,确定样本顶点的预测关节权重相似度;
第二损失值确定子单元,用于基于样本关节权重相似度以及预测关节权重相似度,确定第二损失参数对应的第二损失值。
其中,该装置还包括:
目标输入特征确定模块,用于在获取到待与目标骨骼关节进行蒙皮的目标服饰网格时,确定目标服饰网格的目标输入特征;
目标权重输出模块,用于获取与目标服饰网格相关联的目标网络模型,将目标输入特征输入目标网络模型,由目标网络模型输出目标服饰网格对应的目标关节权重;
绑定模块,用于基于目标关节权重,将目标服饰网格的目标顶点与目标骨骼关节进行绑定。
本申请实施例一方面提供了一种计算机设备,包括:处理器和存储器;
处理器与存储器相连,其中,存储器用于存储计算机程序,计算机程序被处理器执行时,使得该计算机设备执行本申请实施例提供的方法。
本申请实施例一方面提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,该计算机程序适于由处理器加载并执行,以使得具有该处理器的计算机设备执行本申请实施例提供的方法。
本申请实施例一方面提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本申请实施例提供的方法。
在本申请实施例中,具备自动蒙皮功能的计算机设备(例如,图1所示的服务器10)可以根据具有样本标签(即美工人员提供的样本关节权重,又称真实关节权重)的样本服饰网格,确定样本特征,进而可以将该样本特征输入包括第一网络、第二网络(包括第一分支网络、第二分支网络以及第三分支网络)以及第三网络的初始网络模型,以训练初始网络模型。其中,这里的样本特征可以包括样本顶点拼接特征以及样本邻接矩阵。可以理解的是,第一网络可以用于确定样本顶点拼接特征对应的顶点隐藏特征,第二网络可以用于对三个分支网络的输出特征进行特征拼接,以得到拼接信息特征。其中,这三个分支网络的输出特征可以包括第一分支网络输出的样本服饰网格的全局信息特征、第二分支网络输出的样本顶点之间的局部信息特征、以及第三分支网络输出的近邻信息特征。第三网络可以用于输出样本顶点与样本骨骼关节之间的预测关节权重。进一步地,该计算机设备可以将第三网络输出的预测关节权重作为样本服饰网格的预测标签,进而可以基于预测标签和样本标签对初始网络模型进行迭代训练,以在训练完成时,得到用于自动预测目标关节权重的目标网络模型。其中,在预测目标关节权重的过程中,本申请实施例无需根据美工人员的工作经验进行手动调整,而是通过使用目标网络模型,自动预测用于进行蒙皮的目标关节权重,进而提升了蒙皮的准确度。此外,整个蒙皮过程无需人工参与,不仅可以节省人工成本,还可以提高蒙皮效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种网络架构的结构示意图;
图2是本申请实施例提供的一种自动蒙皮神经网络模型的模型架构图;
图3是本申请实施例提供的一种模型训练方法的流程示意图;
图4是本申请实施例提供的一种服饰网格的示意图;
图5是本申请实施例提供的一种不同网格精度以及对应标准骨骼的示意图;
图6是本申请实施例提供的一种第一分支网络的网络示意图;
图7是本申请实施例提供的一种第二分支网络的网络示意图;
图8是本申请实施例提供的一种第三分支网络的网络示意图;
图9是本申请实施例提供的一种属于同一图连通区域的场景示意图;
图10是本申请实施例提供的一种数据处理方法的流程示意图;
图11是本申请实施例提供的一种目标服饰网格随骨骼动画进行相应动作的场景示意图;
图12是本申请实施例提供的一种模型训练装置的结构示意图;
图13是本申请实施例提供的一种计算机设备的示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参见图1,图1是本申请实施例提供的一种网络架构的结构示意图。如图1所示,该网络架构可以包括服务器10和用户终端集群。该用户终端集群可以包括一个或者多个用户终端,这里将不对用户终端的数量进行限制。如图1所示,具体可以包括用户终端100a、用户终端100b、用户终端100c、…、用户终端100n。如图1所示,用户终端100a、用户终端100b、用户终端100c、…、用户终端100n可以分别与上述服务器10进行网络连接,以便于每个用户终端可以通过该网络连接与服务器10进行数据交互。
其中,该用户终端集群中的每个用户终端均可以包括:智能手机、平板电脑、笔记本电脑、桌上型电脑、可穿戴设备、智能家居、头戴设备等具有预测关节权重功能的智能终端。应当理解,如图1所示的用户终端集群中的每个用户终端均可以安装有目标应用(即应用客户端),当该应用客户端运行于各用户终端中时,可以分别与上述图1所示的服务器10之间进行数据交互。其中,该应用客户端可以包含社交客户端、多媒体客户端(例如,视频客户端)、娱乐客户端(例如,游戏客户端)、教育客户端、直播客户端等的应用客户端。其中,该应用客户端可以为独立的客户端,也可以为集成在某客户端(例如,社交客户端、教育客户端以及多媒体客户端等)中的嵌入式子客户端,在此不做限定。
如图1所示,本申请实施例中的服务器10可以为该应用客户端对应的服务器。该服务器10可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
为便于理解,本申请实施例可以在图1所示的多个用户终端中选择一个用户终端作为目标用户终端。例如,本申请实施例可以将图1所示的用户终端100a作为目标用户终端,该目标用户终端中可以集成有目标应用(即应用客户端)。此时,该目标用户终端可以通过该应用客户端对应的业务数据平台与服务器10之间实现数据交互。这里的目标应用可以运行有已经训练完成的自动蒙皮神经网络模型(即目标网络模型),该目标网络模型可以为具备自动蒙皮功能的计算机设备(例如,图1所示的服务器10)通过获取到的样本特征(包括样本顶点拼接特征以及样本邻接矩阵)所训练的图神经网络模型。其中,该样本特征是由具有样本标签的样本服饰网格所确定的。这里的样本服饰网格可以为美工人员通过一种三维动画的制作技术,在模型创建软件(例如,三维软件)上所创建的穿戴物品模型对应的服饰网格(例如,3D Mesh),例如,三维人体服饰模型(例如,某一枪战类游戏中的职业枪手角色所对应的模型)对应的服饰网格、三维动物模型(例如,兔子模型)对应的服饰网格以及动画模型(例如,某一动画片中机器人角色对应的模型)对应的服饰网格。
应当理解,本申请实施例提出了一种基于图神经网络的贴身服饰自动蒙皮方法,该方法可以涉及人工智能领域中的机器学习方向。可以理解的是,所谓人工智能(Artificial Intelligence,简称AI)是指利用数字计算机或者数据计算机控制的计算机设备(例如,图1所示的具备自动蒙皮功能的服务器10)来进行模拟、延伸和扩展人的智能的理论、方法、技术以及应用系统的一门新的技术科学。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等方向。
其中,机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
可以理解的是,具备自动蒙皮功能的计算机设备(例如,图1所示的服务器10)可以通过上述目标网络模型,预测某一服饰网格(即目标服饰网格)中的目标顶点与目标骨骼关节(即分布在该目标服饰网格中的骨骼架构对应的骨骼关节)之间的目标关节权重,以实现将目标服饰网格绑定在该目标骨骼关节的效果。由于目标网络模型是基于样本服饰网格对应的样本特征所训练的,因此,该计算机设备在预测目标关节权重时,无需根据美工人员的工作经验进行手动调整,而是通过该目标网络模型自动预测出目标关节权重,进而提升了蒙皮的准确度。此外,整个蒙皮过程无需人工参与,不仅可以节省人工成本,还可以提高蒙皮效率。
为便于理解,进一步地,请参见图2,图2是本申请实施例提供的一种自动蒙皮神经网络模型的模型架构图。如图2所示,本申请实施例中的计算机设备可以为具备模型训练功能的计算机设备,该计算机设备可以为上述图1所示的用户终端集群中的任意一个用户终端,例如,用户终端100a,该计算机设备也可以为上述图1所示的服务器10,这里将不对计算机设备进行限定。
应当理解,本申请实施例中的计算机设备在获取到具有样本标签的样本服饰网格时,可以将该样本服饰网格抽象出图拓扑结构数据,进而可以基于该图拓扑结构数据确定用于训练初始网络模型(例如,图2所示的网络模型200a)的样本特征。其中,样本标签可以用于指示样本服饰网格的样本顶点与样本骨骼关节之间的样本关节权重(例如,美工人员提供的真实关节权重)。这里的样本骨骼关节是指分布在该样本服饰网格中的骨骼结构所对应的骨骼关节。比如,图2所示的服饰网格20A可以为用于训练网络模型200a的一批训练样本数据中的任意一个样本服饰网格。该服饰网格20A可以是指为某虚拟游戏中的虚拟对象(例如,士兵)所创建的三维人体服饰模型对应的服饰网格,该服饰网格20A的样本顶点的顶点总数量可以为N个,这里的N可以为大于或者等于3的正整数,分布在该服饰网格20A中的骨骼结构所对应的样本骨骼关节的关节数目可以为B个,这里的B为正整数。
其中,该计算机设备可以对服饰网格20A进行图形构建处理,以得到与该服饰网格20A对应的图拓扑结构数据(例如,图拓扑结构数据20G)。其中,这里的图拓扑结构数据20G可以包括该服饰网格20A中的N个顶点所构成的顶点集合、与这N个顶点相关联的连接边集合以及用于表达模型顶点之间的连接信息的邻接矩阵。
进一步地,该计算机设备可以基于该图拓扑结构数据20G,确定服饰网格20A对应的样本特征。其中,该样本特征可以包括样本顶点拼接特征以及样本邻接矩阵。该样本顶点拼接特征可以用一个N×(6+K)的张量(Tensor)来表示,该样本顶点拼接特征是基于顶点基础特征(用于表示顶点自身信息)以及样本顶点与样本骨骼关节之间的欧氏距离特征(用于表示样本顶点与样本骨骼关节之间的影响亲疏关系)所拼接的。该样本邻接矩阵可以用一个N×N的矩阵来表示,以表示顶点与顶点(即顶点对)之间的连通性,该样本邻接矩阵即为图拓扑结构数据20G中的邻接矩阵。
如图2所示,网络模型200a可以包括第一网络、第二网络以及第三网络。可以理解的是,该计算机设备可以将样本顶点拼接特征输入图2所示的第一网络,进而可以通过该第一网络,将样本顶点拼接特征的特征属性在保留空间结构的同时转换抽象为更高层级的特征表达,以得到该样本顶点拼接特征对应的顶点隐藏特征。其中,这里的顶点隐藏特征可以用一个N×C的张量来表示,其中,C可以表示该顶点隐藏特征的特征维度。可以理解的是,这里的第一网络可以包括一个多层感知层(Multi-layer Transform,简称MLP模块或者MLP层)和一个近邻特征学习层(KnearestConv)。其中,本申请实施例可以将第一网络中的多层感知层称之为第一多层感知层,将第一网络中的近邻特征学习层称之为第一近邻特征学习层。
进一步地,该计算机设备可以将该顶点隐藏特征以及样本邻接矩阵一并输入该网络模型200a中的第二网络,进而可以通过该第二网络,得到服饰网格20A对应的拼接信息特征。其中,第二网络可以包括三个分支网络,这三个分支网络具体可以包括如图2所示的第一分支网络、第二分支网络以及第三分支网络。
其中,可以理解的是,该计算机设备可以将该顶点隐藏特征输入图2所示的第一分支网络,由该第一分支网络对顶点隐藏特征进行全局特征提取,得到该服饰网格20A的全局信息特征。其中,这里的全局信息特征可以用一个N×1024的张量来表示。其中,这里的第一分支网络可以为全局分支网络(Global Branch),该全局分支网络可以包括一个多层感知层和一个全局最大池化层(Graph Max Pooling)。应当理解,本申请实施例可以将全局分支网络中的多层感知层称之为第二多层感知层。
与此同时,该计算机设备可以将样本邻接矩阵和顶点隐藏特征一并输入图2所示的第二分支网络,由第二分支网络对该样本邻接矩阵和该顶点隐藏特征进行局部特征提取,得到样本顶点之间的局部信息特征(又称图邻域信息特征)。其中,该第二分支网络可以为图注意力分支网络(Graph Attention Branch),该图注意分支网络可以采用稠密连接(dense connection)模式,将多个图卷积层(GraphConvUnit)组合成稠密图注意力模块(DenseGAT模块),以有效解决网络模型层数过多所导致的梯度消失的问题。
此外,该计算机设备还可以将该顶点隐藏特征输入图2所示的第三分支网络,由第三分支网络对顶点隐藏特征进行近邻特征提取,得到样本顶点的近邻信息特征。其中,该第三分支网络可以为特征近邻分支网络(Feature Nearest Branch),该特征近邻分支网络可以基于顶点特征间的相似性将特征相似的顶点进行特征聚合,该特征近邻分支网络可以包括两个近邻特征学习层,即图2所示的第二近邻特征学习层和第三近邻特征学习层。
进一步地,该计算机设备可以对全局信息特征、局部信息特征以及近邻信息特征进行特征拼接,得到第二网络的拼接信息特征。此时,该计算机设备可以将该拼接信息特征输入图2所示的第三网络,进而可以通过该第三网络对拼接信息特征进行特征提取,以得到样本顶点与样本骨骼关节之间的预测关节权重,进而可以将预测关节权重作为该服饰网格20A的预测标签。其中,这里的预测关节权重可以用一个N×B的张量来表示。该第三网络可以包括一个多层感知层,本申请实施例可以将第三网络中的多层感知层称之为第三多层感知层。
应当理解,该计算机设备可以基于服饰网格20A的样本标签以及由该网络模型200a所确定的服饰网格20A的预测标签,对网络模型200a进行迭代训练,进而可以在训练完成时,得到用于预测目标关节权重的目标网络模型。
由此可见,本申请实施例中的样本特征可以是基于具备样本标签的服饰网格20A所确定的,具备模型训练功能的计算机设备在获取到用于训练网络模型200a(即初始网络模型)的样本特征时,可以将该样本特征输入该网络模型200a中,进而可以由该网络模型输出该服饰网格20A的样本顶点与样本骨骼关节之间的预测关节权重,以得到服饰网格20A的预测标签。进一步地,该计算机设备可以基于样本标签与预测标签,对网络模型200a进行迭代训练,且在训练完成时,能够得到用于自动预测目标关节权重的目标网络模型。由于该目标网络模型可以自动预测目标关节权重,而无需美工人员手动调整目标关节权重,因此,在基于目标关节权重进行蒙皮,以绑定对应顶点与骨骼关节的过程中,不仅可以提高蒙皮准确度,还可以降低人工成本,提高蒙皮效率。
其中,具备自动蒙皮功能的计算机设备在获取到用于训练初始网络模型的样本特征时,可以将样本特征输入包括第一网络、第二网络(包括第一分支网络、第二分支网络和第三分支网络)以及第三网络的初始网络模型中,由该初始网络模型输出用于作为预测标签的预测关节权重。进一步地,该计算机设备基于预测标签以及样本标签对初始网络模型进行迭代训练,得到用于预测目标关节权重的目标网络模型的具体实现方式可以参见下述图3-图11所对应的实施例。
进一步地,请参见图3,图3是本申请实施例提供的一种模型训练方法的流程示意图。如图3所示,该方法可以由具备自动蒙皮功能的计算机设备执行,该计算机设备可以为用户终端(例如,上述图1所示的用户终端集群中的任意一个用户终端,例如,具备模型训练功能的用户终端100a),也可以为服务器(例如,上述图1所示的服务器10),在此不做限定。为便于理解,本申请实施例以该方法由具备模型训练功能的服务器执行为例进行说明,该方法至少可以包括以下步骤S101-步骤S106:
步骤S101,获取用于训练初始网络模型的样本特征,将样本特征中的样本顶点拼接特征输入初始网络模型中的第一网络,由第一网络输出样本顶点拼接特征对应的顶点隐藏特征。
具体地,具备模型训练功能的计算机设备在获取到具有样本标签的样本服饰网格时,可以构建样本服饰网格对应的图拓扑结构数据。其中,该图拓扑结构数据可以包括样本服饰网格的样本顶点以及与样本顶点相关联的样本邻接矩阵。进一步地,该计算机设备可以基于样本顶点的顶点位置信息以及样本顶点所属网格平面的法向量信息,确定样本顶点的顶点基础特征。与此同时,该计算机设备还可以获取分布在样本服饰网格中的骨骼结构对应的样本骨骼关节,进而可以确定样本顶点与样本骨骼关节之间的欧氏距离特征。此时,该计算机设备可以将顶点基础特征与欧氏距离特征进行拼接处理,得到样本顶点拼接特征,且将样本顶点拼接特征与样本邻接矩阵作为用于训练初始网络模型的样本特征,进而可以将样本特征中的样本顶点拼接特征输入初始网络模型中的第一网络,由第一网络输出该样本顶点拼接特征对应的顶点隐藏特征。
其中,本申请实施例中的样本服饰网格可以为某一穿戴物品模型对应的三维模型网格(即3D Mesh),且该样本服饰网格中可以分布有骨骼结构对应的骨骼关节(即样本骨骼关节)。这里的三维模型网格是指具有拓扑结构的流行表面,比如,一个球状的表面被划分为多个模型顶点与多条边的组合。由于制作动画时往往是制作骨骼动画,因此该计算机设备需要根据骨骼动画中的骨骼关节的运动,确定三维模型网格表面所发生的运动和形变。这个过程一般依赖于经典的线性混合蒙皮算法(LBS),该算法通过设置样本顶点与若干与之相关的骨骼关节的蒙皮权重,从而达到某些特定关节控制某些区域的模型顶点运动的目的。
为便于理解,进一步地,请参见图4,图4是本申请实施例提供的一种服饰网格的示意图。如图4所示,本申请实施例中的服饰网格41A、服饰网格42A以及服饰网格43A均为美工人员为某一虚拟游戏的游戏角色所创建的贴身服饰网格。
其中,该服饰网格41A可以为某一种服饰类型(例如,风衣)对应的服饰网格,服饰网格42A可以为另一种服饰类型(例如,作战服)对应的服饰网格,服饰网格43A可以为另一种服饰类型(例如,兜帽衫)对应的服饰网格。虚拟游戏对应的游戏用户可以根据用户自己的喜好,选择一种服饰类型作为可控制对象的服饰网格,从而可以提高用户体验。
可以理解的是,贴身服饰网格的整体风格比较相似统一,不会包含大量复杂的配饰和装饰品。其中,本申请实施例中的计算机设备获取到的具有样本标签的样本服饰网格可以包括图4所示的服饰网格41A、服饰网格42A和服饰网格43A,且该服饰网格41A、服饰网格42A以及服饰网格43A呈现的骨骼状态均可以称之为第一骨骼状态(例如,自然站立状态)。可以理解的是,同一虚拟游戏中的不同角色对应的同一网格精度的服饰网格(例如,三维人体模型对应的服饰网格)大部分是基于一套标准骨骼进行绑定,标准骨骼的大小、高度大致决定了该服饰网格各个身体区域的位置,因此,当该计算机设备将图4所示的服饰网格(即具备第一骨骼状态的服饰网格)作为用于训练初始网络模型的样本服饰网格时,有助于该初始网络模型学习数据的特征分布。
应当理解,本申请实施例提供的方法可以适用于基于标准骨架下不用网格精度的服饰网格(即目标服饰网格)的目标关节权重自动预测的场景,适用范围比较广。比如,该方法可以适用于某一虚拟游戏中的不同网格精度以及对应不同关节数目的骨骼蒙皮任务中。其中,一个服饰网格可以对应一个网格精度(即Mesh精度)。例如,这里的贴身服饰网格可以包括关节数目为29的低精度服饰网格,关节数目为65的中精度服饰网格,以及关节数目为67的高精度服饰网格。
为便于理解,进一步地,请参见图5,图5是本申请实施例提供的一种不同网格精度以及对应标准骨骼的示意图。如图5所示,本申请实施例中的服饰网格51A可以为具备第一网格精度的服饰网格,分布在该服饰网格51A中的标准骨骼可以为图5所示的骨骼结构51B。本申请实施例中的服饰网格52A可以为具备第二网格精度的服饰网格,分布在该服饰网格52A中的标准骨骼可以为图5所示的骨骼结构52B。
例如,本申请实施例中的服饰网格51A所具备的第一网格精度可以为低精度,对应的骨骼结构51B的关节数目可以为29个。本申请实施例中的服饰网格52A所具备的第二网格精度可以为高精度,对应的骨骼结构52B的关节数目可以为67。
如图5所示,服饰网格52A相较于服饰网格51A的网格精度更高,这意味着服饰网格52A的顶点总数量多于服饰网格51A的顶点总数量。可以理解的是,某一服饰网格的网格精度越高,那么该服饰网格的顶点总数量越多,进而导致服饰网格中的网格平面(即网格面片,例如三角面片)的密度增加,在运动形变过程中的细节变化会更加丰富,这对于顶点关节权重的精准度要求更高。
应当理解,在计算机设备获取到具有样本标签的样本服饰网格时,可以对该样本服饰网格进行图形构建处理,以得到该样本服饰网格对应的图拓扑结构数据。这里的图拓扑结构数据可以表示为
Figure DEST_PATH_IMAGE002
。其中,V可以表示该样本服饰网格的样本顶点,这里的样本顶点可以包括N个顶点,N为大于或者等于3的正整数。
Figure DEST_PATH_IMAGE003
可以表示与该样本顶点相关联的连接边集合。A可以表示一个用于指示模型顶点之间的连接信息的邻接矩阵,该邻接矩阵可以用一个N×N的矩阵来表示,以表示顶点与顶点(即顶点对)之间的连通性。
邻接矩阵A中的矩阵元素Aab的数值可以用于指示样本顶点中的顶点Va与顶点Vb之间的连接关系。其中,a和b均为小于或者等于N的正整数。可以理解的是,由于样本服饰网格所抽象的图拓扑结构可以采用无向图,所以矩阵元素Aab与矩阵元素Aba是成对设置的。为了保证在图卷积计算过程中对当前顶点特征的有效利用,可以在构建样本顶点连接关系矩阵的过程中加入自连接的成分,即将对角线矩阵元素的数值设置为第一数值。其中,第一数值(例如,1)可以表示顶点间相互连通,第二数值(例如,0)可以表示顶点间相互不连通。该第二数值与该第一数值不同。
应当理解,若a等于b,则该计算机设备可以将矩阵元素Aab确定为样本顶点连接关系矩阵的对角线矩阵元素,且将对角线矩阵元素的数值确定为第一数值。可选的,若a不等于b,且连接边集合指示顶点Va与顶点Vb之间存在连接边(即顶点Va与顶点Vb之间相互连通),则该计算机设备可以将矩阵元素Aab的数值确定为第一数值。可选的,若a不等于b,且连接边集合指示顶点Va与顶点Vb之间不存在连接边,则该计算机设备可以将矩阵元素Aab的数值确定为第二数值。
进一步地,该计算机设备可以基于样本顶点的顶点位置信息以及样本顶点所属网格平面的法向量信息,确定样本顶点的顶点基础特征。其中,可以理解的是,该计算机设备可以从图拓扑结构数据中的样本顶点中,确定用于进行向量编码处理的顶点Vi。其中,i为小于或者等于N的正整数。在样本服饰网格所在的空间坐标系(例如,笛卡尔坐标系)中,该计算机设备可以确定顶点Vi的顶点位置信息
Figure DEST_PATH_IMAGE004
,即(pix,piy,piz)。其中,
Figure DEST_PATH_IMAGE005
,这里的R可以表示实数集,pix可以表示顶点Vi在笛卡尔坐标系中的第一维度对应的坐标位置,piy可以表示顶点Vi在笛卡尔坐标系中的第二维度对应的坐标位置,piz可以表示顶点Vi在笛卡尔坐标系中的第三维度对应的坐标位置。与此同时,该计算机设备还可以获取顶点Vi所属的n个网格平面,进而可以确定n个网格平面中的每个网格平面的初始法向量信息。其中,n为正整数。进一步地,该计算机设备可以对确定的n个初始法向量信息进行向量求和处理,得到待处理法向量信息,且对待处理法向量信息进行归一化处理,将归一化处理后的待处理法向量信息作为与顶点Vi相关联的目标法向量信息
Figure DEST_PATH_IMAGE006
,即(nix,niy,niz)。比如,该顶点Vi所属的网格平面可以包括网格平面1、网格平面2以及网格平面3。因此,该计算机设备需要确定网格平面1的初始法向量信息(例如,法向量信息1),网格平面2的初始法向量信息(例如,法向量信息2)以及网格平面3的初始法向量信息(例如,法向量信息3),以对这3个初始法向量信息进行向量求和处理,且对向量求和处理后的初始法向量信息进行归一化处理,从而可以得到与顶点Vi相关联的目标法向量信息。此时,该计算机设备可以将顶点Vi的顶点位置信息与目标法向量信息进行拼接处理,得到顶点Vi的顶点特征,进而可以基于顶点Vi的顶点特征,确定样本顶点的顶点基础特征。其中,该顶点基础特征可以用一个N×6的张量表示。
进一步地,该计算机设备还可以获取分布在样本服饰网格中的骨骼结构对应的样本骨骼关节,进而可以确定样本顶点与样本骨骼关节之间的欧氏距离特征。其中,在样本骨骼关节的关键数目为B时,对于顶点Vi而言,该计算机设备用
Figure DEST_PATH_IMAGE007
表示顶点Vi到这B个骨骼关节之间的欧氏距离。B为正整数。此时,该计算机设备可以将顶点基础特征与欧氏距离特征进行拼接处理,得到样本顶点拼接特征,即
Figure DEST_PATH_IMAGE008
进一步地,该计算机设备可以将样本顶点拼接特征与样本邻接矩阵作为用于训练初始网络模型的样本特征。其中,该初始网络模型(图2所示的网络模型200a)的第一网络可以包括第一多层感知层以及第一近邻特征学习层。可以理解的是,该计算机设备可以将样本特征中的样本顶点拼接特征输入该第一网络中的第一多层感知层,进而可以由第一多层感知层对该样本顶点拼接特征进行特征提取,以得到样本顶点拼接特征对应的第一提取特征。与此同时,该计算机设备还可以将样本顶点拼接特征输入该第一近邻特征学习层,进而可以由第一近邻特征学习层对样本顶点拼接特征进行特征提取,以得到样本顶点拼接特征对应的第二提取特征。此时,该计算机设备可以对第一提取特征和第二提取特征进行叠加处理,将叠加处理后的特征作为样本顶点拼接特征对应的顶点隐藏特征。
步骤S102,将顶点隐藏特征输入第一分支网络,由第一分支网络对顶点隐藏特征进行全局特征提取,得到样本服饰网格的全局信息特征。
其中,这里的第一分支网络可以包括第二多层感知层和全局最大池化层;该第二多层感知层可以包括第一子卷积层和第二子卷积层。具体地,该计算机设备可以将顶点隐藏特征输入第一分支网络中的第二多层感知层,由该第二多层感知层中的第一子卷积层,对顶点隐藏特征进行特征变换,以得到第一卷积特征,且将第一卷积特征输入该第二多层感知层中的第二子卷积层,进而可以通过第二子卷积层,对第一卷积特征进行特征变换,得到第二卷积特征。进一步地,该计算机设备可以将第二卷积特征输入第一分支网络中的全局最大池化层,由该全局最大池化层对第二卷积特征进行最大池化操作,以得到最大池化特征,且基于最大池化特征,得到样本服饰网格的全局结构信息特征(简称全局信息特征)。
为便于理解,进一步地,请参见图6,图6是本申请实施例提供的一种第一分支网络的网络示意图。图6所示的第一分支网络(例如,全局分支网络)可以通过多层感知层61(即第二多层感知层)以及全局最大池化层62来汇总样本服饰网格中的所有顶点的信息,以学习样本服饰网格的全局信息特征。其中,该图6所示的第一分支网络可以为上述图2所示的网络模型200a中的第一分支网络。
其中,该计算机设备获取到的顶点隐藏特征的特征维度可以为(N,C)。其中,N可以表示样本服饰网格中的样本顶点的顶点总数量,C可以表示顶点隐藏特征的大小。如图6所示,多层感知层61中可以包括两个一维卷积层,具体可以包括子卷积层610(即第一子卷积层)和子卷积层620(即第二子卷积层)。可以理解的是,这两个一维子卷积层均可以使N个顶点共享一个权重参数矩阵,来进行特征变换,以得到对应的卷积特征。
如图6所示,在该顶点隐藏特征输入第一分支网络中的多层感知层61时,该计算机设备可以通过多层感知层61中的子卷积层610(例如,conv1d(512))对顶点隐藏特征进行特征变换,得到第一卷积特征。其中,第一卷积特征的特征维度可以为(N,512)。
进一步地,该计算机设备可以第一卷积特征输入该多层感知层61中的子卷积层620(例如,conv1d(1024)),进而可以通过子卷积层620,对该第一卷积特征进行特征变换,得到第二卷积特征。其中,第二卷积特征的特征维度可以为(N,1024),本申请实施例可以将第二卷积特征记为h(V),在该第二卷积特征中,顶点V1的特征h1可以表示为(
Figure DEST_PATH_IMAGE009
),顶点V2的特征h2可以表示为(
Figure DEST_PATH_IMAGE010
),顶点V3的特征h3可以表示为(
Figure DEST_PATH_IMAGE011
),…,顶点VN的特征hN可以表示为(
Figure DEST_PATH_IMAGE012
)。
进一步地,该计算机设备可以将第二卷积特征输入图6所示的全局最大池化层62,由该全局最大池化层62对第二卷积特征进行最大池化操作,以得到最大池化特征。换言之,该计算机设备可以通过该全局最大池化层62,对这N个顶点的每一维特征求max运算,进而可以将max运算后的N个顶点的特征汇聚成一个特征,即最大池化特征。其中,该最大池化特征可以表示为(
Figure DEST_PATH_IMAGE013
),即最大池化特征的特征维度可以为(1,1024)。进一步地,该计算机设备可以将该最大池化特征进行重复扩展(Repeat),以得到样本服饰网格的全局信息特征。其中,该全局信息特征的特征维度可以为(N,1024)。
步骤S103,将样本特征中的样本邻接矩阵和顶点隐藏特征输入第二分支网络,由第二分支网络对样本邻接矩阵和顶点隐藏特征进行局部特征提取,得到样本顶点之间的局部信息特征。
其中,该第二分支网络可以包括第一图卷积层、第二图卷积层以及第三图卷积层。具体地,该计算机设备可以将样本特征中的样本邻接矩阵和顶点隐藏特征作为第一图卷积层的第一输入特征,进而可以通过第一图卷积层对第一输入特征进行局部特征提取,得到第一图卷积层的第一输出特征。进一步地,该计算机设备可以对第一输入特征以及第一输出特征进行拼接聚合处理,得到第一拼接聚合特征,且将第一拼接聚合特征作为第二图卷积层的第二输入特征,进而可以通过第二图卷积层对第二输入特征进行局部特征提取,得到第二图卷积层的第二输出特征。进一步地,该计算机设备可以对第二输入特征以及第二输出特征进行拼接聚合处理,得到第二拼接聚合特征,且将第二拼接聚合特征作为第三图卷积层的第三输入特征,进而可以通过第三图卷积层对第三输入特征进行局部特征提取,得到第三图卷积层的第三输出特征。此时,该计算机设备可以对第三输入特征以及第三输出特征进行拼接聚合处理,将拼接聚合处理后的特征作为样本顶点之间的局部信息特征。
可以理解的是,由于样本服饰网格中存在大量复杂的图邻域信息特征需要自动蒙皮神经网络模型(即初始网络模型)去学习,网络模型的深度越深越有利于模型去抽象和学习更高层次的顶点特征,但是对于图拓扑结构这种数据结构而言,随着网络模型层数的增多,很容易在网络模型训练过程中出现梯度消失的问题。因此本申请实施例可以采用稠密连接(dense connection)的方式将多个图卷积层(GraphConvUnit)组合起来可以有效解决网络模型层数过多所导致梯度消失的问题。
其中,该第二分支网络(例如,DenseGAT模块)可以包括采用稠密连接模式所连接的多层图卷积层。具体地,若第一个图卷积层记为l层,那么第(l+m)层图卷积层的输入特征可以参见下述公式(1):
Figure DEST_PATH_IMAGE014
(1);
其中,
Figure DEST_PATH_IMAGE015
可以表示第(l+m-1)层的输出特征,
Figure DEST_PATH_IMAGE016
可以表示第(l+m-1)层的输入特征。
Figure DEST_PATH_IMAGE017
表示当前层的输入特征可以融合当前图卷积层之前的所有图卷积层的输出特征以及第一图卷积层的输入特征,即将各层图卷积层输出的特征拼接起来作为最终的特征表达。
Figure DEST_PATH_IMAGE018
可以表示相关图卷积层特征变换的参数。
比如,对于图卷积层L5而言,该图卷积层L5的输入特征可以融合该图卷积层L5之前的所有图卷积层的输出特征以及图卷积层L1的输入特征,即该图卷积层L5的输入特征包括图卷积层L1的输入特征(即顶点隐藏特征和样本邻接矩阵),图卷积层L1的输出特征、图卷积层L2的输出特征、图卷积层L3的输出特征、以及该图卷积层L4的输出特征。
其中,每层图卷积层中均可以由m个并行的图注意力层(即GraphAttentionLayer,简称GAT模块)构成。这里的m为正整数。其中,每个图注意力层均可以包括自增强(selfreinforced)子层以及图注意力(graph attention)子层。可以理解的是,在图拓扑结构中,图注意力层可以通过自增强子层(又称自增强分支)对顶点自身特征进行特征转换,且通过图注意力子层(又称图注意力分支)将每个顶点的邻居顶点特征聚合起来形成新的顶点特征,进而可以将这两个分支得到的特征进行聚合,这样聚合后的特征(即图注意力特征)不仅会考虑到邻居顶点对顶点特征的隐藏,同时还会考虑到顶点自身的特征。
其中,自增强子层主要是对顶点自身特征进行线性变换,以得到更高层次的特征表达。具体地,该计算机设备通过自增强子层,对输入某一图注意力层的特征进行线性变换,以得到第一线性变换特征具体公式可以参见下述公式(2):
Figure DEST_PATH_IMAGE019
(2);
其中,
Figure DEST_PATH_IMAGE020
可以为可训练的权重参数矩阵(即第一可训练权重参数),
Figure DEST_PATH_IMAGE021
为超参代表自增强子层在新的顶点特征表达中的重要性。
Figure DEST_PATH_IMAGE022
可以表示输入该自增强子层的顶点Vi的特征(例如,第一输入特征)。
其中,图注意力子层首先可以对顶点自身特征进行线性变换,以得到更高层次的特征表达,进而可以在将顶点周围的邻居顶点聚合成新的顶点特征表达时,可以引入图注意力系数
Figure DEST_PATH_IMAGE023
来表示邻居顶点j的特征对应顶点i的重要性。具体地,该计算机设备通过图注意力子层,对输入目标图注意力层的特征进行线性变换,以得到第二线性变换特征具体公式可以参见下述公式(3):
Figure DEST_PATH_IMAGE024
(3);
其中,
Figure DEST_PATH_IMAGE025
为可训练的权重参数矩阵(即第二可训练权重参数),H为线性变换前的特征维度,F代表线性变换后的特征维度。
Figure 237127DEST_PATH_IMAGE022
可以表示输入该图注意力子层的顶点Vi的特征(例如,第一输入特征)。
为了方便在不同顶点之间比较该系数,本申请实施例可以对注意力系数加入softmax函数来进行归一化操作,具体可以参见下述公式(4)-(6):
Figure DEST_PATH_IMAGE026
(4);
Figure DEST_PATH_IMAGE027
(5);
Figure DEST_PATH_IMAGE028
(6);
其中,
Figure DEST_PATH_IMAGE029
可以表示第二线性变换特征中顶点Vi的顶点特征,
Figure DEST_PATH_IMAGE030
可以表示第二线性变换特征中顶点Vi的邻居顶点Vj顶点特征,
Figure DEST_PATH_IMAGE031
可以表示顶点Vi的第一邻域顶点集,
Figure DEST_PATH_IMAGE032
可以为模型可训练的一组参数,
Figure DEST_PATH_IMAGE033
代表将顶点Vi的顶点特征
Figure 943920DEST_PATH_IMAGE029
与顶点Vi的邻居顶点Vj的顶点特征
Figure 40183DEST_PATH_IMAGE030
拼接起来作为新的特征之后,与可训练参数
Figure DEST_PATH_IMAGE034
进行点乘运算。对注意力系数
Figure 659384DEST_PATH_IMAGE023
加入LeakyReLU激活函数能够增强特征的非线性表达能力。
进一步地,该计算机设备获取某一卷积层中的第m个图注意力层的输出特征(即图注意力特征)的具体公式可以参见下述公式(7):
Figure DEST_PATH_IMAGE035
(7);
其中,
Figure DEST_PATH_IMAGE036
可以代表通过第m个图注意力层(即目标图注意力层)所得到的顶点Vi的输出特征,
Figure DEST_PATH_IMAGE037
可以为ReLU激活函数,
Figure 831477DEST_PATH_IMAGE031
可以表示顶点Vi的第一邻域顶点集,
Figure DEST_PATH_IMAGE038
可以代表通过第m个图注意力层所确定的顶点Vi与邻居顶点Vj之间的注意力系数,
Figure DEST_PATH_IMAGE039
可以表示第m个图注意力层中的图注意力子层所输出的顶点Vi的特征,
Figure DEST_PATH_IMAGE040
可以表示第m个图注意力层中的自增强子层所输出的顶点Vi的特征。
为便于理解,进一步地,请参见图7,图7是本申请实施例提供的一种第二分支网络的网络示意图。应当理解,图7所示的第二分支网络可以为上述图2所示的网络模型200a中的第二分支网络。如图7所示,本申请实施例中的第二分支网络中的采用稠密连接方式连接的图卷积层可以以3层为例,用以阐述该计算机设备确定局部信息特征的具体实施方式。这3层图卷积层具体可以包括第一图卷积层、第二图卷积层以及第三图卷积层。其中,每层图卷积层中均可以由m个并行的图注意力层(即GraphAttentionLayer,简称GAT模块)构成。这里的m为正整数。
其中,本申请实施例中的计算机设备在获取到顶点隐藏特征时,可以将样本特征中的样本邻接矩阵以及该顶点隐藏特征一并输入该第二分支网络。其中,顶点隐藏特征的特征维度可以为(N,C),这里的N可以表示样本服饰网格中的样本顶点的顶点总数量,C可以表示顶点隐藏特征的大小。样本邻接矩阵可以为一个N行N列的特征矩阵;样本顶点可以包括顶点Vi;i为小于或者等于N的正整数。
对于第一图卷积层而言,该计算机设备可以将该样本邻接矩阵和顶点隐藏特征作为第一图卷积层的第一输入特征,进而可以通过第一图卷积层对第一输入特征进行局部特征提取,以得到第一图卷积层的第一输出特征。
如图7所示,该第一图卷积层中的m个图注意力层具体可以包括图注意力层1、图注意力层2、…、以及图注意力层m。其中,该计算机设备可以将这m个图注意力层中的每一个图注意力层分别作为目标图注意力层,且每个图注意力层的输入特征均相同,即第一图卷积层中的每个图注意力层的输入特征均可以为该第一图卷积层的第一输入特征(即顶点隐藏特征以及样本邻接矩阵)。
如图7所示,目标图注意力层中可以包括自增强子层和图注意力子层。当计算机设备将第一输入特征输入该目标图注意力层时,该计算机设备可以获取与自增强子层相关联的第一可训练权重参数,进而可以基于第一可训练权重参数以及上述公式(2),对第一输入特征进行线性变换,得到第一线性变换特征。其中,该第一线性变换特征的特征维度可以为(N,βF)。
与此同时,该计算机设备还可以获取与图注意力子层相关联的第二可训练权重参数,进而可以基于该第二可训练权重参数以及上述公式(3),对第一输入特征进行线性变换,得到第二线性变换特征。其中,第二线性变换特征的特征维度可以为(N,F)。
进一步地,该计算机设备可以基于该第一输入特征中的样本邻接矩阵,确定样本顶点的第一邻域顶点集,进而可以基于该第二线性变换特征以及上述公式(4)-(6),获取样本顶点与第一邻域顶点集中的每个邻居顶点之间的注意力系数。该计算机设备可以基于获取到的注意力系数,第二线性变换特征、第一线性变换特征以及上述公式(7),得到图7所示的目标图注意力层的图注意力特征。其中,该图注意力特征的特征维度可以为(N,βF+F)。
其中,可以理解的是,该计算机设备可以基于N行N列的样本邻接矩阵,确定顶点Vi的第一邻域顶点集。这里的第一邻域顶点集可以包括顶点Vi的M个邻居顶点;M为小于N的正整数;M个邻居顶点具体可以包括邻居顶点Vj;j为小于或者等于M的正整数。进一步地,该计算机设备可以从第二线性变换特征中,确定顶点Vi的顶点特征Zi以及邻居顶点Vj的顶点特征Zj,进而可以基于顶点特征Zi、顶点特征Zj以及上述公式(6),得到顶点Vi与邻居顶点Vj之间的注意力系数
Figure 171322DEST_PATH_IMAGE001
。应当理解,该计算机设备可以基于上述公式(7),将顶点特征Zi与注意力系数
Figure 620627DEST_PATH_IMAGE001
之间的乘积作为顶点Vi的顶点注意力特征,进而可以将顶点Vi的顶点注意力特征与第一线性变换特征中的顶点Vi的顶点特征Si进行特征拼接,得到顶点Vi的拼接特征Gi。此时,该计算机设备可以基于顶点Vi的拼接特征Gi,得到目标图注意力层的图注意力特征。
可以理解的是,当m个图注意力层中的每个图注意力层均确定为目标图注意力层时,该计算机设备可以获取这m个图注意力层分别输出的图注意力特征,即得到m个图注意力特征。此时,该计算机设备可以将这m个图注意力特征进行特征拼接,进而可以将特征拼接后的特征作为第一图卷积层的第一输出特征。其中,该第一输出特征的特征维度可以为(H,M),其中,M的维度可以为m×GAToutput。这里的GAToutput可以为βF+F。
在得到第一图卷积层的第一输出特征时,该计算机设备可以对该第一图卷积层的第一输入特征以及第一输出特征进行拼接聚合处理,得到第一拼接聚合特征(即包括顶点隐藏特征、样本邻接矩阵以及第一输出特征),且将第一拼接聚合特征作为第二图卷积层的第二输入特征,进而可以通过第二图卷积层对第二输入特征进行局部特征提取,得到第二图卷积层的第二输出特征。
进一步地,在得到第二图卷积层的第二输出特征时,该计算机设备可以对第二输入特征以及第二输出特征进行拼接聚合处理,得到第二拼接聚合特征(即包括顶点隐藏特征、样本邻接矩阵、第一输出特征以及第二输出特征),且将第二拼接聚合特征作为第三图卷积层的第三输入特征,进而可以通过第三图卷积层对第三输入特征进行局部特征提取,得到第三图卷积层的第三输出特征。其中,该计算机设备确定第二输出特征和第三输出特征的具体实施方式均可以参见上述确定第一输出特征的具体实施方式,这里将不再继续赘述。
应当理解,该计算机设备可以对第三输入特征以及第三输出特征进行拼接聚合处理,将拼接聚合处理后的特征作为样本顶点之间的局部信息特征。其中,该局部信息特征是由顶点隐藏特征、样本邻接矩阵、第一输出特征、第二输出特征以及第三输出特征进行拼接聚合处理后所得到的,该局部信息特征的特征维度可以为(N,H)。
步骤S104,将顶点隐藏特征输入第三分支网络,由第三分支网络对顶点隐藏特征进行近邻特征提取,得到样本顶点的近邻信息特征。
其中,该第三分支网络可以包括第二近邻特征学习层以及第三近邻特征学习层。具体地,该计算机设备可以将顶点隐藏特征输入第三分支网络,由该第三分支网络中的第二近邻特征学习层,对顶点隐藏特征进行近邻特征提取,得到顶点隐藏特征对应的第一近邻信息特征,进而可以将第一近邻信息特征输入第三分支网络中的第三近邻特征学习层,由第三近邻特征学习层对第一近邻信息特征进行近邻特征提取,得到第一近邻信息特征对应的第二近邻信息特征,且将第二近邻信息特征作为样本顶点的近邻信息特征。
由于样本服饰网格中的部分顶点虽然没有近邻关系,但是它们的特征表达时非常相似的,比如,该样本服饰网格上可以具有对称结构的顶点集。第三分支网络(例如,Feature Nearest Branch)则主要是基于顶点特征间的相似性将特征相似的顶点进行特征聚合。其中,该第三分支网络是由两个近邻特征学习层(KnearestConv)构成。
具体地,该计算机设备确定顶点的近邻信息特征的具体公式可以参见下述公式(8)-公式(9):
Figure DEST_PATH_IMAGE041
(8);
其中,
Figure DEST_PATH_IMAGE042
可以表示该计算机设备通过近邻特征学习层,确定出的顶点Vi与该顶点Vi的相似顶点(例如,顶点Vik)之间的相似特征,
Figure DEST_PATH_IMAGE043
可以表示在顶点隐藏特征中,顶点Vi的顶点特征
Figure DEST_PATH_IMAGE044
与相似顶点Vik的顶点特征
Figure DEST_PATH_IMAGE045
之间的特征差异度。
Figure DEST_PATH_IMAGE046
(9);
其中,
Figure DEST_PATH_IMAGE047
可以表示该计算机设备通过第(l+1)个近邻特征学习层中的第三子卷积层(例如,二维卷积层),所确定出的顶点Vi的特征;
Figure DEST_PATH_IMAGE048
可以为该第三子卷积层中的可学习权重矩阵参数(即第三可训练权重参数)。
为便于理解,进一步地,请参见图8,图8是本申请实施例提供的一种第三分支网络的网络示意图。应当理解,图8所示的第三分支网络可以为上述图2所示的网络模型200a中的第三分支网络。如图8所示,本申请实施例中的第三分支网络可以包括两个近邻特征学习层,具体可以包括近邻特征学习层81(即第一近邻特征学习层)以及近邻特征学习层82(即第二近邻特征学习层)。
其中,本申请实施例中的计算机设备在获取到顶点隐藏特征时,可以将该顶点隐藏特征输入该第三分支网络中的近邻特征学习层81。其中,顶点隐藏特征的特征维度可以为(N,C),这里的N可以表示样本服饰网格中的样本顶点的顶点总数量,C可以表示顶点隐藏特征的大小。这N个顶点可以包括顶点Vi;i为小于或者等于N的正整数。如图8所示,本申请实施例中的近邻特征学习层81中可以包括近邻特征学习子层810(例如,K近邻)以及子卷积层811(例如,二维卷积层)。
可以理解的是,在图8所示的近邻特征学习子层810时,该计算机设备可以基于该顶点隐藏特征中的每个顶点的顶点特征,获取与顶点Vi的具有相似关系的k个相似顶点。其中,k为小于或者等于N的正整数。换言之,该计算机设备可以通过近邻特征学习子层810,对顶点隐藏特征中的样本顶点的顶点特征进行近邻运算(即k近邻运算),从而可以得到与该样本顶点的顶点特征最相似的k个相似顶点的索引{Vi1,Vi2,…,Vik}。
进一步地,该计算机设备可以通过上述公式(8),分别确定k个相似顶点中的每个相似顶点与顶点Vi之间的特征差异度(例如,{xi1-xi,xi2-xi,…,xik-xi}),进而可以基于k个特征差异度与顶点Vi的顶点特征xi,得到顶点Vi的相似特征。比如,该计算机设备所确定出的特征差异度可以包括可以分别将每个特征差异度与顶点Vi的顶点特征xi进行特征拼接,以得到该顶点Vi的k个相似特征。
此时,该计算机设备可以基于顶点Vi的相似特征,获取样本顶点中的N个顶点的相似特征,进而可以基于这N个顶点的相似特征,得到该样本顶点的相似拼接特征。其中,该相似拼接特征的特征维度可以为(2C,N,k)。
进一步地,该计算机设备可以将该相似拼接特征输入图8所示的子卷积层811,获取与该子卷积特征811相关联的第三可训练权重参数,进而可以基于相似拼接特征以及第三可训练权重参数,对该相似拼接特征进行特征变换,以得到特征维度为(H,N,k)的新特征。进一步地,该计算机设备可以根据上述公式(9),对该新特征的最后一维的k个特征通道求最大运算(即max运算),以得到特征维度为(H,N)的最大特征,且对得到的最大特征进行转置(transpose),以得到该顶点隐藏特征对应的第一近邻信息特征,其中,该第一近邻信息特征的特征维度可以为(N,H)。
可以理解的是,该计算机设备在获取到该第一近邻信息特征时,可以将第一近邻信息特征输入图8所示的近邻特征学习层82,进而可以由该近邻特征学习层82,对第一近邻信息特征进行近邻特征提取,得到第一近邻信息特征对应的第二近邻信息特征,且将第二近邻信息特征作为样本顶点的近邻信息特征。其中,该计算机设备确定第二近邻信息特征的具体实施方式可以参见上述确定第一近邻信息特征的具体实施方式,这里将不再继续进行赘述。
步骤S105,对全局信息特征、局部信息特征以及近邻信息特征进行特征拼接,得到第二网络的拼接信息特征,将拼接信息特征输入第三网络,通过第三网络得到样本顶点与样本骨骼关节之间的预测关节权重,将预测关节权重作为样本服饰网格的预测标签。
具体地,如图2所示,该计算机设备可以对第一分支网络输出的全局信息特征、第二分支网络输出的局部信息特征、以及第三分支网络输出的近邻信息特征进行特征拼接,从而可以得到该第二网络的输出特征(即拼接信息特征)。此时,该计算机设备可以将该拼接信息特征输入第三网络,从而可以得到样本顶点与样本骨骼关节之间的预测关节权重,进而可以将预测关节权重作为样本服饰网格的预测标签。
其中,预测关节权重的特征维度可以为(N,B)。该预测关节权重中的某一顶点(例如,顶点Vi)的关节权重可以记为wi∈RB。可以理解的是,
Figure DEST_PATH_IMAGE049
可以代表该顶点Vi与样本骨骼关节中的某一骨骼关节(例如,第j个骨骼关节)之间的预测关节权重。其中,
Figure DEST_PATH_IMAGE050
。换言之,关节权重概率
Figure 456734DEST_PATH_IMAGE049
的取值范围为0≤
Figure 492954DEST_PATH_IMAGE049
≤1,
Figure 964387DEST_PATH_IMAGE049
的权重大小可以代表第j个骨骼关节的旋转和平移,在样本服饰网格的形变过程中对顶点Vi的影响有多大。
步骤S106,基于样本标签和预测标签,对初始网络模型进行迭代训练,得到用于预测目标关节权重的目标网络模型。
具体地,该计算机设备可以获取初始网络模型对应的模型损失函数,进而可以从模型损失函数中确定为第一损失参数分配的第一损失权重参数、以及为第二损失参数分配的第二损失权重参数。此时,该计算机设备可以基于样本标签以及预测标签,确定与第一损失参数相关联的关节损失权重,进而可以基于关节损失权重、样本标签以及预测标签,确定第一损失参数对应的第一损失值。与此同时,该计算机设备可以基于样本标签、预测标签以及样本邻接矩阵,确定第二损失参数对应的第二损失值。进一步地,该计算机设备可以基于第一损失值、第二损失值、第一损失权重参数以及第二损失权重参数,确定初始网络模型对应的目标损失值,且基于目标损失值,对初始网络模型进行迭代训练,得到模型训练结果。若模型训练结果指示目标损失值小于或者等于模型收敛条件中的损失阈值,则该计算机设备可以将初始网络模型确定为满足模型收敛条件的初始网络模型,且将满足模型收敛条件的初始网络模型确定为用于预测目标关节权重的目标网络模型。
其中,该计算机设备所获取的模型损失函数(即loss函数)可以由两个约束项组成,具体可以为第一损失参数(例如,scale kl loss)以及第二损失函数(例如,adjacencyloss)。可以理解的是,该第一损失参数不仅可以对服饰网格的每个顶点的预测关节权重和美工提供的真实关节权重之间的差异进行最小化,还能解决部分关节权重影响区域过大的问题。该第二损失参数可以在图连通区域内,确定具有相似关节权重分布的多个顶点,进而通过约束和优化这些顶点的关节权重使其尽可能相近,以解决图连通区域部分顶点关节权重跳变的问题。
具体地,初始网络模型对应的模型损失函数具体可以参见下述公式(10):
Figure DEST_PATH_IMAGE051
(10);
其中,
Figure DEST_PATH_IMAGE052
可以是指第一损失参数,
Figure DEST_PATH_IMAGE053
可以是指为第一损失参数分配的第一损失权重参数,
Figure DEST_PATH_IMAGE054
可以是指第二损失参数,
Figure DEST_PATH_IMAGE055
可以是指为第二损失参数分配的第二损失权重参数。
可以理解的是,目标网络模型(即自动蒙皮神经网络模型)的模型输出可以用于预测某一贴身服饰网格(即目标服饰网格)的目标顶点的关节权重(即目标关节权重)。其中,本申请实施例可以将这里的关节权重视作一个概率分布,对于每个顶点Vi而言,在由B个骨骼关节的树状结构组成的标准骨架中,关节权重
Figure DEST_PATH_IMAGE056
的值可以用于指示不同概率大小下对不同骨骼关节的选择。自动蒙皮神经网络模型的学习目标是对样本服饰网格的每个顶点的预测关节权重和真实关节权重之间的差异进行最小化。
应当理解,Kullback-Leibler divergence loss(KL loss)被广泛用于度量两个分布之间的距离(即差异),即对预测关节权重和真实关节权重之间的差异进行最小化,具体可以参见下述公式(11):
Figure DEST_PATH_IMAGE057
(11);
其中,
Figure 737040DEST_PATH_IMAGE056
可以表示第i个顶点与第j个骨骼关节之间的真实关节权重,
Figure DEST_PATH_IMAGE058
可以表示第i个顶点与第j个骨骼关节之间的预测关节权重。
为了解决部分关节权重影响范围较大的问题,本申请实施例中的第一损失参数可以在公式(11)的基础上进行改进,即为预测关节权重
Figure DEST_PATH_IMAGE059
引入一个关节损失权重
Figure DEST_PATH_IMAGE060
,该关节损失权重能够根据预测关节权重动态进行调整。具体地,第一损失参数的具体公式可以参见下述(12)-(13):
Figure DEST_PATH_IMAGE061
(12);
Figure DEST_PATH_IMAGE062
(13);
其中,
Figure 603102DEST_PATH_IMAGE056
可以表示第i个顶点与第j个骨骼关节之间的真实关节权重,
Figure 375886DEST_PATH_IMAGE058
可以表示第i个顶点与第j个骨骼关节之间的预测关节权重,
Figure DEST_PATH_IMAGE063
可以表示第i个顶点与第j个骨骼关节之间的关节损失权重。
当预测关节权重
Figure DEST_PATH_IMAGE064
,且对应真实关节权重
Figure DEST_PATH_IMAGE065
时,关节损失权重会根据
Figure 526376DEST_PATH_IMAGE058
的值得到对应的
Figure 747010DEST_PATH_IMAGE063
的值,
Figure 613335DEST_PATH_IMAGE058
的值越小,关节损失权重
Figure 76678DEST_PATH_IMAGE063
则会分配一个越大的值来增大该关节权重的损失值。本申请实施例通过引入关节损失权重,从而可以根据预测关节权重动态的调整每一个顶点对骨骼关节的影响,这样可以进一步惩罚真实关节权重不存在,但预测关节权重有值的情况,从而可以解决关节权重范围影响过大的问题,以提升顶点预测关节权重的准确性。
为了使服饰网格(例如,3D Mesh)随着骨骼关节运动时形变更加的自然和平滑,在服饰网格中位置相近的某一图连通区域内的顶点的预测关节权重应该尽可能的保持一致,这样在运动过程中形变才会更加的自然逼真。
为便于理解,进一步地,请参见图9,图9是本申请实施例提供的一种属于同一图连通区域的场景示意图。如图9所示,本申请实施例中的服饰网格90A可以为具备模型训练功能的计算机设备所获取到的具有样本标签的样本服饰网格,该服饰网格90A中可以分布有图9所示的骨骼结构90B,其中,该骨骼结构90B对应的样本骨骼关节的关节数目可以为B个,为便于阐述,本申请实施例可以以2个骨骼关节为例,具体可以包括骨骼关节a和骨骼关节b。
图9所示的界面900可以为运行有某一动画软件(例如,maya软件)的用户终端(例如,图1所示的用户终端集群中的任意一个用户终端,例如,具备模型训练功能的用户终端100a)对应的界面图。其中,图9所示的图连通区域9可以为该服饰网格90A中的图连通区域(例如,传呼机天线上方),该图连通区域中可以包括5个顶点,具体可以包括顶点V1、顶点V2、顶点V3、顶点V4以及顶点V5。其中,这5个顶点中的任意两个顶点均可以具有连接关系。
对于顶点V1而言,该图连通区域9中的顶点V2、顶点V3、顶点V4以及顶点V5均可以视作该顶点V1的邻居顶点。其中,图9所示的界面900可以包括用于显示样本顶点与样本骨骼关节之间的关节权重的显示区域,根据该显示区域中的显示数据,本申请可以得知顶点V1、顶点V2、顶点V3、顶点V4以及顶点V5对于同一骨骼关节(例如,骨骼关节a)的关节权重均为0.750,顶点V1、顶点V2、顶点V3、顶点V4以及顶点V5对于同一骨骼关节(例如,骨骼关节b)的关节权重均为0.250。此外,对于同一样本顶点而言,该样本顶点对于样本骨骼关节中的所有骨骼关节的关节权重之和为1,比如,图9所示的关节权重wia(顶点Vi与骨骼关节a之间的关节权重)与关节权重wib(顶点Vi与骨骼关节b之间的关节权重)之和为1。
由此可知,该计算机设备需要将位于同一连通区域中的5个顶点对于同一个骨骼关节的关节权重设置尽可能相似,从而使得服饰网格90A在随着骨骼关节运动时的形变更加自然和平滑。对于这种位置相近的图连通区域内的顶点与邻居顶点关节权重分布相似的需求,通过第一损失参数(即scale kl loss函数)是无法促使模型学习权重分布相近图连通区域顶点间的关节权重约束,因此该计算机设备可以通过第二损失参数来约束和优化图连通区域内的预测关节权重,以使满足权重分布相似条件的顶点的关节权重尽可能相似。这里的权重分布相似条件可以为对同一骨骼关节而言,关节权重相似度小于关节权重相似度阈值(例如,0.1)的顶点。其中,这里的关节权重相似度可以是指属于同一图连通区域内的任意两个顶点之间的关节权重的L1距离(L1 distance)。
具体地,第二损失参数的具体公式可以参见下述(14)-(15):
Figure DEST_PATH_IMAGE066
(14);
其中,
Figure DEST_PATH_IMAGE067
可以表示为属于同一图连通区域内的顶点Vi与顶点Vj(即顶点Vi的第一邻域顶点集中的邻居顶点)之间的关节权重相似度。
Figure DEST_PATH_IMAGE068
可以表示样本顶点中的顶点Vi与第m个骨骼关节之间的关节权重,
Figure DEST_PATH_IMAGE069
可以表示顶点Vj与第m个骨骼关节之间的关节权重。j为小于或者等于M的正整数,这里的M可以为顶点Vi的第一邻域顶点集中的邻居顶点的顶点总数量。
Figure DEST_PATH_IMAGE070
(15);
其中,
Figure DEST_PATH_IMAGE071
可以表示顶点Vi与顶点Vj(即顶点Vi的第二邻域顶点集中的邻居顶点)之间的样本关节权重相似度(即真实关节权重相似度),该样本关节权重相似度可以记为
Figure DEST_PATH_IMAGE072
Figure DEST_PATH_IMAGE073
可以表示顶点Vi与顶点Vj之间的预测关节权重相似度,该预测关节权重相似度可以记为
Figure DEST_PATH_IMAGE074
。其中,N可以表示该样本服饰网格的样本顶点的顶点总数量,k可以表示顶点Vi的第二邻域顶点集中的邻居顶点的顶点总数量。
应当理解,该计算机设备可以通过样本邻接矩阵
Figure DEST_PATH_IMAGE075
的图连通性,确定每个样本顶点的第一邻域顶点集,进而可以从第一邻域顶点集中抽取出L1距离小于0.1的邻居顶点作为权重分布相似的邻域顶点集(即第二邻域顶点集)。其中,可以理解的是,该计算机设备可以基于样本标签以及上述公式(14),确定样本顶点与每一个邻居顶点之间的L1距离(即真实关节权重相似度)。在真实关节权重相似度小于关节权重相似度阈值(例如,0.1)时,该计算机设备可以将该真实关节权重相似度对应的邻居顶点确定为满足权重分布相似条件的顶点,进而可以在第一邻域顶点集中筛选出这些满足权重分布相似条件的顶点,且基于筛选出的顶点,得到与该样本顶点相关联的第二邻域顶点集。
比如,对于样本顶点中的某一顶点(例如,顶点Vi)而言,该顶点Vi的第一邻域顶点集可以表示为N(i),该第一邻域顶点集中的邻居顶点的总数量可以为M。顶点Vi的第二邻域顶点集可以表示为N'(i),该第二邻域顶点集中的权重分布相似的邻居顶点的总数量可以为k。这里的k为小于或者等于M的正整数。
进一步地,该计算机设备可以基于样本标签(即美工提供的样本标签所指示的样本关节权重
Figure DEST_PATH_IMAGE076
)、第二邻域顶点集以及上述公式(14),确定样本顶点的样本关节权重相似度,同理,该计算机设备还可以基于预测标签(即模型预测出的预测标签所指示的预测关节权重)、第二邻域顶点集以及上述公式(14),确定样本顶点的预测关节权重相似度。此时,该计算机设备可以基于样本关节权重相似度、预测关节权重相似度以及上述公式(15),确定第二损失参数对应的第二损失值。
进一步地,该计算机设备可以基于第一损失值、第二损失值、第一损失权重参数、第二损失权重参数以及上述公式(10),确定初始网络模型对应的目标损失值,进而可以基于目标损失值,对初始网络模型进行迭代训练,得到模型训练结果。其中,该初始网络模型对应的模型收敛条件可以是指目标损失值小于或者等于损失阈值。
若模型训练结果指示目标损失值小于或者等于模型收敛条件中的损失阈值,则该计算机设备可以确定初始网络模型满足模型收敛条件,且将满足模型收敛条件的初始网络模型确定为用于预测目标关节权重的目标网络模型。可选的,若模型训练结果指示目标损失值大于模型收敛条件中的损失阈值,则该计算机设备可以确定该初始网络模型不满足模型收敛条件的初始网络模型,进而可以对该初始网络模型的模型参数进行调整,将调整模型参数后的初始网络模型确定为过渡网络模型。进一步地,该计算机设备可以对该过渡网络模型进行迭代训练,直到迭代训练后的过渡网络模型满足该模型收敛条件时,该计算机设备可以将满足该模型收敛条件的过渡网络模型,作为用于预测目标关节权重的目标网络模型。
在本申请实施例中,该计算机设备可以根据样本服饰网格的样本特征,对初始网络模型进行迭代训练,以得到能够用于准确预测目标关节权重的目标网络模型,整个过程无需根据美工人员的工作经验进行手动调整,进而提升了蒙皮的准确度。此外,整个蒙皮过程无需人工逐顶点逐区域的调整关节权重,不仅可以节省人工成本,还可以提高蒙皮效率。
进一步地,请参见图10,图10是本申请实施例提供的一种数据处理方法的流程示意图。如图10所示,该数据处理方法可以是基于一种图神经网络(即自动蒙皮神经网络模型)的贴身服饰自动蒙皮方法。该方法涉及自动蒙皮系统中的计算机设备。如图8所示,该方法可以由具备自动蒙皮功能的用户终端(例如,上述图1所示的用户终端100a)执行,也可以由具备自动蒙皮功能的服务器(例如,上述图1所示的服务器10)执行,还可以由具备模型应用功能的用户终端和具备模型训练功能的服务器共同执行。为便于理解,本申请实施例以该方法由服务器执行为例进行说明,该方法至少可以包括以下步骤S201-步骤S209:
步骤S201,获取用于训练初始网络模型的样本特征,将样本特征中的样本顶点拼接特征输入初始网络模型中的第一网络,由第一网络输出样本顶点拼接特征对应的顶点隐藏特征。
步骤S202,将顶点隐藏特征输入第一分支网络,由第一分支网络对顶点隐藏特征进行全局特征提取,得到样本服饰网格的全局信息特征。
步骤S203,将样本特征中的样本邻接矩阵和顶点隐藏特征输入第二分支网络,由第二分支网络对样本邻接矩阵和顶点隐藏特征进行局部特征提取,得到样本顶点之间的局部信息特征。
步骤S204,将顶点隐藏特征输入第三分支网络,由第三分支网络对顶点隐藏特征进行近邻特征提取,得到样本顶点的近邻信息特征。
步骤S205,对全局信息特征、局部信息特征以及近邻信息特征进行特征拼接,得到第二网络的拼接信息特征,将拼接信息特征输入第三网络,通过第三网络得到样本顶点与样本骨骼关节之间的预测关节权重,将预测关节权重作为样本服饰网格的预测标签。
步骤S206,基于样本标签和预测标签,对初始网络模型进行迭代训练,得到用于预测目标关节权重的目标网络模型。
其中,本申请实施例中的数据处理方法可以包括模型训练过程以及模型应用过程。其中,该步骤S201-步骤S206阐述了模型训练过程,该模型训练过程的具体实施方式可参见上述图3所对应实施例中对步骤S101-步骤S106的描述,这里将不再赘述。其中,该模型应用过程具体可以参见下述步骤S206-步骤S208的描述。
步骤S207,在获取到待与目标骨骼关节进行蒙皮的目标服饰网格时,确定目标服饰网格的目标输入特征。
具体地,该计算机设备在获取到待与目标骨骼关节进行蒙皮的目标服饰网格时,可以确定该目标服饰网格的目标顶点的目标顶点拼接特征以及目标邻接矩阵。其中,该目标顶点拼接特征是基于目标顶点的顶点基础特征以及目标顶点与目标骨骼关节之间的欧氏距离特征所拼接而成的。其中,该计算机设备确定目标输入特征的具体实施方式可以参见上述图3所示的获取样本服饰网格的样本特征的具体实施方式,这里将不再继续进行赘述。
步骤S208,获取与目标服饰网格相关联的目标网络模型,将目标输入特征输入目标网络模型,由目标网络模型输出目标服饰网格对应的目标关节权重。
具体地,该计算机设备可以获取与该目标服饰网格相关联的目标网络模型。其中,这里的目标网络模型可以为上述步骤S201-步骤S206所阐述的基于样本特征所训练的自动蒙皮神经网络模型。进一步地,该计算机设备可以将目标输入特征输入目标网络模型,由该目标网络模型输出目标服饰网格对应的目标关节权重。
由于该样本服饰网格所具备的样本标签是美工人员所提供的用于指示样本顶点与样本骨骼关节之间的样本关节权重(即真实关节权重)。在实际应用中,需要进行蒙皮的服饰网络的每一个顶点的关节权重的总数量可以小于某一阈值(例如,3),这意味着该顶点将主要受到3个骨骼关节的影响,且这3个关节权重之和为1。为了进一步增强模型预测关节权重的稀疏性,以及和真实关节权重的吻合,在实际落地应用中,该计算机设备可以基于目标网络模型输出的目标关节权重,针对每一个目标顶点而言,该计算机设备可以将该目标顶点与目标骨骼关节中的所有骨骼关节之间的关节权重进行排序处理,进而可以从中排序处理后的排序结果中,筛选出排名前3的关节权重,并将筛选出的关节权重进行保留。
步骤S209,基于目标关节权重,将目标服饰网格的目标顶点与目标骨骼关节进行绑定。
具体地,该计算机设备可以基于该目标关节权重,将目标服饰网格的目标顶点与目标骨骼关节进行绑定,以实现目标穿戴物品模型随骨骼动画进行相应动作的效果。
为便于理解,进一步地,请参见图11,图11是本申请实施例提供的一种目标服饰网格随骨骼动画进行相应动作的场景示意图。如图11所示,本申请实施例中的服饰网格11A可以为计算机设备(例如,上述图1所示的用户终端集群中的某一运行有目标网络模型的用户终端,比如,用户终端100b)所获取到的需要进行蒙皮的目标服饰网格。该服饰网格11A可以分布有图11所示的骨骼结构11B。
可以理解的是,该计算机设备可以确定该服饰网格11A的目标顶点的目标顶点拼接特征以及与目标顶点相关联的目标邻接矩阵。其中,该目标顶点拼接特征可以是由目标顶点的顶点基础特征以及目标顶点与骨骼结构11B之间的欧氏距离特征所拼接而成的。进一步地,该计算机设备可以基于该目标顶点拼接特征以及目标邻接矩阵,确定该服饰网格11A对应的目标输入特征。
此时,该计算机设备可以获取用于预测该服饰网格11A的目标网络模型,进而可以将该目标输入特征输入该目标网络模型,由该目标网络模型输出该服饰网格11A对应的目标关节权重。进一步地,该计算机设备可以基于该目标关节权重,将服饰网格11A的目标顶点与骨骼结构11B进行绑定,通过这种方式来决定服饰网格11A在运动过程中各个身体区域受不同关节权重作用而产生形变和拉伸。
如图11所示,动画帧1101和动画帧1102中的服饰网格均为绑定后的服饰网格11A。动画帧1101可以为某一时刻(例如,第一时刻)时,服饰网格11A所呈现的形态,此时,分布在服饰网格11A的骨骼结构11B的骨骼状态为状态1(即第一骨骼状态,例如,自然站立状态)。当骨骼动画中的躯干脊椎骨骼的骨骼关节发生旋转位移(例如,躯干脊椎骨骼的骨骼关节旋转45度)时,该计算机设备可以检测到骨骼动画中的骨骼结构11B的骨骼状态由状态1变更为状态2(即第二骨骼状态,例如,躯干脊椎骨骼旋转状态),此时,该计算机设备可以将骨骼状态变更的时刻确定为第二时刻,进而可以结合线性混合蒙皮算法在Maya插件这一三维软件中,通过目标网络模型所输出的目标关节权重,自动更新被该躯干脊椎骨骼的骨骼关节所影响的目标顶点的新坐标位置,从而实现所骨骼动画进行相应动作的效果,进而可以得到图11所示的动画帧1102。动画帧1102可以明确展示躯干脊椎骨骼的骨骼关节所影响的周围区域的目标顶点发生了明显的拉伸和形变。
可以理解的是,该计算机设备可以基于随骨骼动画进行相应动作的动画帧(例如,动画帧1101和动画帧1102),生成用于展示给移动终端(例如,图1所示的用户终端集群中的任意一个用户终端,例如,用户终端100b)的动画文件。
在本申请实施例中,该计算机设备可以通过训练完成的目标网络模型,快速的对需要进行蒙皮的目标服饰网格的目标顶点与目标骨骼关节之间的目标关节权重进行预测,整个过程无需根据美工人员的工作经验进行手动调整,进而提升了蒙皮的准确度。此外,使用目标网络模型预测目标关节权重,无需人工逐顶点逐区域的调整关节权重,不仅可以节省人工成本,还可以提高蒙皮效率。
进一步地,请参见图12,图12是本申请实施例提供的一种模型训练装置的结构示意图。该模型训练装置1可以是运行于计算机设备中的一个计算机程序(包括程序代码),例如,该模型训练装置1为一个应用软件;该模型训练装置1可以用于执行本申请实施例提供的方法中的相应步骤。如图12所示,该模型训练装置1可以运行于具有模型训练功能的计算机设备,该计算机设备可以为上述图1所对应实施例中的服务器10。该模型训练装置1可以包括:样本特征获取模块10,全局特征提取模块20,局部特征提取模块30,近邻特征提取模块40,预测标签确定模块50、模型训练模块60、目标输入特征确定模块70,目标权重输出模块80以及绑定模块90。
该样本特征获取模块10,用于获取用于训练初始网络模型的样本特征,将样本特征中的样本顶点拼接特征输入初始网络模型中的第一网络,由第一网络输出样本顶点拼接特征对应的顶点隐藏特征;样本特征是由具有样本标签的样本服饰网格所确定的;样本标签用于指示样本服饰网格的样本顶点与样本骨骼关节之间的样本关节权重;初始网络模型包括第一网络、第二网络以及第三网络;第二网络包括第一分支网络、第二分支网络和第三分支网络。
其中,该样本特征获取模块10包括:拓扑结构构建单元101,顶点基础特征确定单元102,欧氏距离特征确定单元103,样本特征确定单元104以及顶点隐藏特征确定单元105。
该拓扑结构构建单元101,用于在获取到具有样本标签的样本服饰网格时,构建样本服饰网格对应的图拓扑结构数据;图拓扑结构数据包括样本服饰网格的样本顶点以及与样本顶点相关联的样本邻接矩阵;
该顶点基础特征确定单元102,用于基于样本顶点的顶点位置信息以及样本顶点所属网格平面的法向量信息,确定样本顶点的顶点基础特征;
该欧氏距离特征确定单元103,用于获取分布在样本服饰网格中的骨骼结构对应的样本骨骼关节,确定样本顶点与样本骨骼关节之间的欧氏距离特征;
该样本特征确定单元104,用于将顶点基础特征与欧氏距离特征进行拼接处理,得到样本顶点拼接特征,且将样本顶点拼接特征与样本邻接矩阵作为用于训练初始网络模型的样本特征;
该顶点隐藏特征确定单元105,用于将样本特征中的样本顶点拼接特征输入初始网络模型中的第一网络,由第一网络输出样本顶点拼接特征对应的顶点隐藏特征。
其中,第一网络包括第一多层感知层以及第一近邻特征学习层;
该顶点隐藏特征确定单元105包括:第一特征提取子单元1051,第二特征提取子单元1052以及叠加处理子单元1053。
该第一特征提取子单元1051,用于将样本特征中的样本顶点拼接特征输入初始网络模型中的第一网络,由第一多层感知层对样本顶点拼接特征进行特征提取,得到样本顶点拼接特征对应的第一提取特征;
该第二特征提取子单元1052,用于由第一近邻特征学习层对样本顶点拼接特征进行特征提取,得到样本顶点拼接特征对应的第二提取特征;
该叠加处理子单元1053,用于对第一提取特征和第二提取特征进行叠加处理,将叠加处理后的特征作为样本顶点拼接特征对应的顶点隐藏特征。
其中,该第一特征提取子单元1051,第二特征提取子单元1052以及叠加处理子单元1053的具体实现方式可以参见上述图3所对应实施例中对顶点隐藏特征的描述,这里将不再继续进行赘述。
其中,该拓扑结构构建单元101,顶点基础特征确定单元102,欧氏距离特征确定单元103,样本特征确定单元104以及顶点隐藏特征确定单元105的具体实现方式可以参见上述图3所对应实施例中对步骤S101的描述,这里将不再继续进行赘述。
该全局特征提取模块20,用于将顶点隐藏特征输入第一分支网络,由第一分支网络对顶点隐藏特征进行全局特征提取,得到样本服饰网格的全局信息特征。
其中,第一分支网络包括第二多层感知层和全局最大池化层;第二多层感知层包括第一子卷积层和第二子卷积层;
该全局特征提取模块20包括:第一特征变换单元201、第二特征变换单元202以及最大池化操作单元203。
该第一特征变换单元201,用于将顶点隐藏特征输入第一分支网络中的第二多层感知层,由第二多层感知层中的第一子卷积层,对顶点隐藏特征进行特征变换,得到第一卷积特征;
该第二特征变换单元202,用于将第一卷积特征输入第二多层感知层中的第二子卷积层,通过第二子卷积层,对第一卷积特征进行特征变换,得到第二卷积特征;
该最大池化操作单元203,用于将第二卷积特征输入第一分支网络中的全局最大池化层,由全局最大池化层对第二卷积特征进行最大池化操作,得到最大池化特征,且基于最大池化特征,得到样本服饰网格的全局信息特征。
其中,该第一特征变换单元201,第二特征变换单元202以及最大池化操作单元203的具体实现方式可以参见上述图3所对应实施例中对步骤S102的描述,这里将不再继续进行赘述。
该局部特征提取模块30,用于将样本特征中的样本邻接矩阵和顶点隐藏特征输入第二分支网络,由第二分支网络对样本邻接矩阵和顶点隐藏特征进行局部特征提取,得到样本顶点之间的局部信息特征。
其中,第二分支网络包括采用稠密连接模式所连接的第一图卷积层、第二图卷积层以及第三图卷积层;
该局部特征提取模块30包括:第一局部特征提取单元301,第二局部特征提取单元302,第三局部特征提取单元303以及局部信息特征确定单元304。
该第一局部特征提取单元301,用于将样本特征中的样本邻接矩阵和顶点隐藏特征作为第一图卷积层的第一输入特征,通过第一图卷积层对第一输入特征进行局部特征提取,得到第一图卷积层的第一输出特征。
其中,该第一局部特征提取单元301包括:输入特征确定子单元3011,目标图注意力层确定子单元3012,线性变换子单元3013,图注意力特征确定子单元3014以及输出特征确定子单元3015。
该输入特征确定子单元3011,用于将样本特征中的样本邻接矩阵和顶点隐藏特征作为第一图卷积层的第一输入特征;第一图卷积层包括m个图注意力层;m为正整数;
该目标图注意力层确定子单元3012,用于从m个图注意力层中确定目标图注意力层;目标图注意力层包括自增强子层以及图注意力子层;
该线性变换子单元3013,用于获取与自增强子层相关联的第一可训练权重参数,基于第一可训练权重参数,对第一输入特征进行线性变换,得到第一线性变换特征,且获取与图注意力子层相关联的第二可训练权重参数,基于第二可训练权重参数,对第一输入特征进行线性变换,得到第二线性变换特征;
该图注意力特征确定子单元3014,用于基于样本邻接矩阵确定样本顶点的第一邻域顶点集,基于第二线性变换特征,获取样本顶点与第一邻域顶点集中的每个邻居顶点之间的注意力系数,且基于获取到的注意力系数,第二线性变换特征以及第一线性变换特征,得到目标图注意力层的图注意力特征。
其中,样本邻接矩阵为N行N列的特征矩阵;N为样本顶点中的顶点总数量;样本顶点包括顶点Vi;i为小于或者等于N的正整数;
该图注意力特征确定子单元3014还用于:
基于N行N列的样本邻接矩阵,确定顶点Vi的第一邻域顶点集;顶点Vi的第一邻域顶点集包括顶点Vi的M个邻居顶点;M为小于N的正整数;M个邻居顶点包括邻居顶点Vj;j为小于或者等于M的正整数;
从第二线性变换特征中,确定顶点Vi的顶点特征Zi以及邻居顶点Vj的顶点特征Zj,基于顶点特征Zi以及顶点特征Zj,得到顶点Vi与邻居顶点Vj之间的注意力系数
Figure 76864DEST_PATH_IMAGE001
将顶点特征Zi与注意力系数
Figure 355267DEST_PATH_IMAGE001
之间的乘积作为顶点Vi的顶点注意力特征,将顶点Vi的顶点注意力特征与第一线性变换特征中的顶点Vi的顶点特征Si进行特征拼接,得到顶点Vi的拼接特征Gi
基于顶点Vi的拼接特征Gi,得到目标图注意力层的图注意力特征。
该输出特征确定子单元3015,用于当m个图注意力层中的每个图注意力层均确定为目标图注意力层时,得到m个图注意力层的m个图注意力特征,对m个图注意力特征进行特征拼接,将特征拼接后的特征作为第一图卷积层的第一输出特征。
其中,该输入特征确定子单元3011,目标图注意力层确定子单元3012,线性变换子单元3013,图注意力特征确定子单元3014以及输出特征确定子单元3015的具体实现方式可以参见上述图3所对应实施例中对第一输出特征的描述,这里将不再继续进行赘述。
该第二局部特征提取单元302,用于对第一输入特征以及第一输出特征进行拼接聚合处理,得到第一拼接聚合特征,将第一拼接聚合特征作为第二图卷积层的第二输入特征,通过第二图卷积层对第二输入特征进行局部特征提取,得到第二图卷积层的第二输出特征;
该第三局部特征提取单元303,用于对第二输入特征以及第二输出特征进行拼接聚合处理,得到第二拼接聚合特征,将第二拼接聚合特征作为第三图卷积层的第三输入特征,通过第三图卷积层对第三输入特征进行局部特征提取,得到第三图卷积层的第三输出特征;
该局部信息特征确定单元304,用于对第三输入特征以及第三输出特征进行拼接聚合处理,将拼接聚合处理后的特征作为样本顶点之间的局部信息特征。
其中,该第一局部特征提取单元301,第二局部特征提取单元302,第三局部特征提取单元303以及局部信息特征确定单元304的具体实现方式可以参见上述图3所对应实施例中对步骤S103的描述,这里将不再继续进行赘述。
该近邻特征提取模块40,用于将顶点隐藏特征输入第三分支网络,由第三分支网络对顶点隐藏特征进行近邻特征提取,得到样本顶点的近邻信息特征。
其中,第三分支网络包括第二近邻特征学习层以及第三近邻特征学习层;
该近邻特征提取模块40包括:第一近邻特征提取单元401以及第二近邻特征提取单元402。
该第一近邻特征提取单元401,用于将顶点隐藏特征输入第三分支网络,由第三分支网络中的第二近邻特征学习层,对顶点隐藏特征进行近邻特征提取,得到顶点隐藏特征对应的第一近邻信息特征。
其中,样本顶点包括N个顶点;N个顶点包括顶点Vi;i为小于或者等于N的正整数;
该第一近邻特征提取单元401包括:相似顶点获取子单元4011,相似特征确定子单元4012,相似拼接特征确定子单元4013以及近邻信息特征确定子单元4014。
该相似顶点获取子单元4011,用于在将顶点隐藏特征输入第三分支网络中的第二近邻特征学习层时,将顶点隐藏特征输入第二近邻特征学习层中的近邻特征学习子层,在近邻特征学习子层中,基于顶点隐藏特征中的每个顶点的顶点特征,获取与顶点Vi的具有相似关系的k个相似顶点;k为小于或者等于N的正整数;
该相似特征确定子单元4012,用于在近邻特征学习子层中,分别确定k个相似顶点中的每个相似顶点与顶点Vi之间的特征差异度,基于k个特征差异度与顶点Vi的顶点特征xi,得到顶点Vi的相似特征;
该相似拼接特征确定子单元4013,用于基于顶点Vi的相似特征,得到样本顶点的相似拼接特征,且将相似拼接特征输入第二近邻特征学习层中的第三子卷积层;
该近邻信息特征确定子单元4014,用于获取与第三子卷积层相关联的第三可训练权重参数,基于相似拼接特征以及第三可训练权重参数,得到顶点隐藏特征对应的第一近邻信息特征。
其中,该相似顶点获取子单元4011,相似特征确定子单元4012,相似拼接特征确定子单元4013以及近邻信息特征确定子单元4014的具体实现方式可以参见上述图3所对应实施例中对第一近邻信息特征的描述,这里将不再继续进行赘述。
该第二近邻特征提取单元402,用于将第一近邻信息特征输入第三分支网络中的第三近邻特征学习层,由第三近邻特征学习层对第一近邻信息特征进行近邻特征提取,得到第一近邻信息特征对应的第二近邻信息特征,且将第二近邻信息特征作为样本顶点的近邻信息特征。
其中,该第一近邻特征提取单元401以及第二近邻特征提取单元402的具体实现方式可以参见上述图3所对应实施例中对步骤S104的描述,这里将不再继续进行赘述。
该预测标签确定模块50,用于对全局信息特征、局部信息特征以及近邻信息特征进行特征拼接,得到第二网络的拼接信息特征,将拼接信息特征输入第三网络,通过第三网络得到样本顶点与样本骨骼关节之间的预测关节权重,将预测关节权重作为样本服饰网格的预测标签;
该模型训练模块60,用于基于样本标签和预测标签,对初始网络模型进行迭代训练,得到用于预测目标关节权重的目标网络模型。
其中,该模型训练模块60包括:损失函数获取单元601,第一损失值确定单元602,第二损失值确定单元603,迭代训练单元604以及目标网络模型确定单元605。
该损失函数获取单元601,用于获取初始网络模型对应的模型损失函数,从模型损失函数中确定为第一损失参数分配的第一损失权重参数、以及为第二损失参数分配的第二损失权重参数;
该第一损失值确定单元602,用于基于样本标签以及预测标签,确定与第一损失参数相关联的关节损失权重,基于关节损失权重、样本标签以及预测标签,确定第一损失参数对应的第一损失值;
该第二损失值确定单元603,用于基于样本标签、预测标签以及样本邻接矩阵,确定第二损失参数对应的第二损失值;
其中,该第二损失值确定单元603包括:邻域顶点集确定子单元6031,权重相似度确定子单元6032以及第二损失值确定子单元6033。
该邻域顶点集确定子单元6031,用于基于样本邻接矩阵,确定样本顶点的第一邻域顶点集,且在第一邻域顶点集中筛选满足权重分布相似条件的顶点,基于筛选出的顶点,得到样本顶点的第二邻域顶点集;
该权重相似度确定子单元6032,用于基于样本标签以及第二邻域顶点集,确定样本顶点的样本关节权重相似度,且基于预测标签以及第二邻域顶点集,确定样本顶点的预测关节权重相似度;
该第二损失值确定子单元6033,用于基于样本关节权重相似度以及预测关节权重相似度,确定第二损失参数对应的第二损失值。
其中,该邻域顶点集确定子单元6031,权重相似度确定子单元6032以及第二损失值确定子单元6033的具体实现方式可以参见上述图3所对应实施例中对第二损失值的描述,这里将不再继续进行赘述。
该迭代训练单元604,用于基于第一损失值、第二损失值、第一损失权重参数以及第二损失权重参数,确定初始网络模型对应的目标损失值,且基于目标损失值,对初始网络模型进行迭代训练,得到模型训练结果;
该目标网络模型确定单元605,用于若模型训练结果指示目标损失值小于或者等于模型收敛条件中的损失阈值,则将初始网络模型确定为满足模型收敛条件的初始网络模型,且将满足模型收敛条件的初始网络模型确定为用于预测目标关节权重的目标网络模型。
其中,该损失函数获取单元601,第一损失值确定单元602,第二损失值确定单元603,迭代训练单元604以及目标网络模型确定单元605的具体实现方式可以参见上述图3所对应实施例中对步骤S106的描述,这里将不再继续进行赘述。
该目标输入特征确定模块70,用于在获取到待与目标骨骼关节进行蒙皮的目标服饰网格时,确定目标服饰网格的目标输入特征;
该目标权重输出模块80,用于获取与目标服饰网格相关联的目标网络模型,将目标输入特征输入目标网络模型,由目标网络模型输出目标服饰网格对应的目标关节权重;
该绑定模块90,用于基于目标关节权重,将目标服饰网格的目标顶点与目标骨骼关节进行绑定。
其中,该样本特征获取模块10,全局特征提取模块20,局部特征提取模块30,近邻特征提取模块40,预测标签确定模块50、模型训练模块60、目标输入特征确定模块70,目标权重输出模块80以及绑定模块90的具体实现方式可以参见上述图7所对应实施例中对步骤S201-步骤S209的描述,这里将不再继续进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
进一步地,请参见图13,图13是本申请实施例提供的一种计算机设备的示意图。如图13所示,该计算机设备3000可以为上述图1对应实施例中的具备自动蒙皮功能的计算机设备(例如,服务器10),该计算机设备3000可以包括:至少一个处理器3001,例如CPU,至少一个网络接口3004,用户接口3003,存储器3005,至少一个通信总线3002。其中,通信总线3002用于实现这些组件之间的连接通信。其中,用户接口3003可以包括显示屏(Display)、键盘(Keyboard),网络接口3004可选地可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器3005可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatilememory),例如至少一个磁盘存储器。存储3005可选地还可以是至少一个位于远离前述处理器3001的存储装置。如图13所示,作为一种计算机存储介质的存储器3005可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
在图13所示的计算机设备3000中,网络接口3004主要用于进行网络通信;而用户接口3003主要用于为用户提供输入的接口;而处理器3001可以用于调用存储器3005中存储的设备控制应用程序。
应当理解,本申请实施例中所描述的计算机设备3000可执行前文图3所对应实施例中对该模型训练方法或者图10所对应实施例中对该数据处理方法的描述,也可执行前文图12所对应实施例中对该模型训练装置1的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
此外,这里需要指出的是:本申请实施例还提供了一种计算机可读存储介质,且该计算机可读存储介质中存储有前文提及的模型训练装置1所执行的计算机程序,且该计算机程序包括程序指令,当该处理器执行该程序指令时,能够执行前文图3所对应实施例中对该模型训练方法或者图10所对应实施例中对该数据处理方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述。作为示例,程序指令可被部署为在一个计算设备上执行,或者在位于一个地点的多个计算设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算设备上执行,分布在多个地点且通过通信网络互连的多个计算设备可以组成区块链系统。
本申请一方面提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备可执行前文图3所对应实施例中对该模型训练方法或者图10所对应实施例中对数据处理方法的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,上述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,上述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。

Claims (15)

1.一种模型训练方法,其特征在于,包括:
获取用于训练初始网络模型的样本特征,将所述样本特征中的样本顶点拼接特征输入所述初始网络模型中的第一网络,由所述第一网络输出所述样本顶点拼接特征对应的顶点隐藏特征;所述样本特征是由具有样本标签的样本服饰网格所确定的;所述样本标签用于指示所述样本服饰网格的样本顶点与样本骨骼关节之间的样本关节权重;所述初始网络模型包括所述第一网络、第二网络以及第三网络;所述第二网络包括第一分支网络、第二分支网络和第三分支网络;
将所述顶点隐藏特征输入所述第一分支网络,由所述第一分支网络对所述顶点隐藏特征进行全局特征提取,得到所述样本服饰网格的全局信息特征;
将所述样本特征中的样本邻接矩阵和所述顶点隐藏特征输入所述第二分支网络,由所述第二分支网络对所述样本邻接矩阵和所述顶点隐藏特征进行局部特征提取,得到所述样本顶点之间的局部信息特征;
将所述顶点隐藏特征输入所述第三分支网络,由所述第三分支网络对所述顶点隐藏特征进行近邻特征提取,得到所述样本顶点的近邻信息特征;
对所述全局信息特征、所述局部信息特征以及所述近邻信息特征进行特征拼接,得到所述第二网络的拼接信息特征,将所述拼接信息特征输入所述第三网络,通过所述第三网络得到所述样本顶点与所述样本骨骼关节之间的预测关节权重,将所述预测关节权重作为所述样本服饰网格的预测标签;
基于所述样本标签和所述预测标签,对所述初始网络模型进行迭代训练,得到用于预测目标关节权重的目标网络模型。
2.根据权利要求1所述的方法,其特征在于,所述获取用于训练初始网络模型的样本特征,将所述样本特征中的样本顶点拼接特征输入所述初始网络模型中的第一网络,由所述第一网络输出所述样本顶点拼接特征对应的顶点隐藏特征,包括:
在获取到具有样本标签的样本服饰网格时,构建所述样本服饰网格对应的图拓扑结构数据;所述图拓扑结构数据包括所述样本服饰网格的样本顶点以及与所述样本顶点相关联的样本邻接矩阵;
基于所述样本顶点的顶点位置信息以及所述样本顶点所属网格平面的法向量信息,确定所述样本顶点的顶点基础特征;
获取分布在所述样本服饰网格中的骨骼结构对应的样本骨骼关节,确定所述样本顶点与所述样本骨骼关节之间的欧氏距离特征;
将所述顶点基础特征与所述欧氏距离特征进行拼接处理,得到样本顶点拼接特征,且将所述样本顶点拼接特征与所述样本邻接矩阵作为用于训练初始网络模型的样本特征;
将所述样本特征中的所述样本顶点拼接特征输入所述初始网络模型中的第一网络,由所述第一网络输出所述样本顶点拼接特征对应的顶点隐藏特征。
3.根据权利要求2所述的方法,其特征在于,所述第一网络包括第一多层感知层以及第一近邻特征学习层;
所述将所述样本特征中的所述样本顶点拼接特征输入所述初始网络模型中的第一网络,由所述第一网络输出所述样本顶点拼接特征对应的顶点隐藏特征,包括:
将所述样本特征中的所述样本顶点拼接特征输入所述初始网络模型中的第一网络,由所述第一多层感知层对所述样本顶点拼接特征进行特征提取,得到所述样本顶点拼接特征对应的第一提取特征;
由所述第一近邻特征学习层对所述样本顶点拼接特征进行特征提取,得到所述样本顶点拼接特征对应的第二提取特征;
对所述第一提取特征和所述第二提取特征进行叠加处理,将叠加处理后的特征作为所述样本顶点拼接特征对应的顶点隐藏特征。
4.根据权利要求1所述的方法,其特征在于,所述第一分支网络包括第二多层感知层和全局最大池化层;所述第二多层感知层包括第一子卷积层和第二子卷积层;
所述将所述顶点隐藏特征输入所述第一分支网络,由所述第一分支网络对所述顶点隐藏特征进行全局特征提取,得到所述样本服饰网格的全局信息特征,包括:
将所述顶点隐藏特征输入所述第一分支网络中的所述第二多层感知层,由所述第二多层感知层中的所述第一子卷积层对所述顶点隐藏特征进行特征变换,得到第一卷积特征;
将所述第一卷积特征输入所述第二多层感知层中的所述第二子卷积层,通过所述第二子卷积层,对所述第一卷积特征进行特征变换,得到第二卷积特征;
将所述第二卷积特征输入所述第一分支网络中的所述全局最大池化层,由所述全局最大池化层对所述第二卷积特征进行最大池化操作,得到最大池化特征,且基于所述最大池化特征,得到所述样本服饰网格的全局信息特征。
5.根据权利要求1所述的方法,其特征在于,所述第二分支网络包括采用稠密连接模式所连接的第一图卷积层、第二图卷积层以及第三图卷积层;
所述将所述样本特征中的样本邻接矩阵和所述顶点隐藏特征输入所述第二分支网络,由所述第二分支网络对所述样本邻接矩阵和所述顶点隐藏特征进行局部特征提取,得到所述样本顶点之间的局部信息特征,包括:
将所述样本特征中的样本邻接矩阵和所述顶点隐藏特征作为所述第一图卷积层的第一输入特征,通过所述第一图卷积层对所述第一输入特征进行局部特征提取,得到所述第一图卷积层的第一输出特征;
对所述第一输入特征以及所述第一输出特征进行拼接聚合处理,得到第一拼接聚合特征,将所述第一拼接聚合特征作为所述第二图卷积层的第二输入特征,通过所述第二图卷积层对所述第二输入特征进行局部特征提取,得到所述第二图卷积层的第二输出特征;
对所述第二输入特征以及所述第二输出特征进行拼接聚合处理,得到第二拼接聚合特征,将所述第二拼接聚合特征作为所述第三图卷积层的第三输入特征,通过所述第三图卷积层对所述第三输入特征进行局部特征提取,得到所述第三图卷积层的第三输出特征;
对所述第三输入特征以及所述第三输出特征进行拼接聚合处理,将拼接聚合处理后的特征作为所述样本顶点之间的局部信息特征。
6.根据权利要求5所述的方法,其特征在于,所述将所述样本特征中的样本邻接矩阵和所述顶点隐藏特征作为所述第一图卷积层的第一输入特征,通过所述第一图卷积层对所述第一输入特征进行局部特征提取,得到所述第一图卷积层的第一输出特征,包括:
将所述样本特征中的样本邻接矩阵和所述顶点隐藏特征作为所述第一图卷积层的第一输入特征;所述第一图卷积层包括m个图注意力层;所述m为正整数;
从所述m个图注意力层中确定目标图注意力层;所述目标图注意力层包括自增强子层以及图注意力子层;
获取与所述自增强子层相关联的第一可训练权重参数,基于所述第一可训练权重参数,对所述第一输入特征进行线性变换,得到第一线性变换特征,且获取与所述图注意力子层相关联的第二可训练权重参数,基于所述第二可训练权重参数,对所述第一输入特征进行线性变换,得到第二线性变换特征;
基于所述样本邻接矩阵确定所述样本顶点的第一邻域顶点集,基于所述第二线性变换特征,获取所述样本顶点与所述第一邻域顶点集中的每个邻居顶点之间的注意力系数,且基于获取到的注意力系数,所述第二线性变换特征以及所述第一线性变换特征,得到所述目标图注意力层的图注意力特征;
当所述m个图注意力层中的每个图注意力层均确定为所述目标图注意力层时,得到所述m个图注意力层的m个图注意力特征,对所述m个图注意力特征进行特征拼接,将特征拼接后的特征作为所述第一图卷积层的第一输出特征。
7.根据权利要求6所述的方法,其特征在于,所述样本邻接矩阵为N行N列的特征矩阵;所述N为所述样本顶点中的顶点总数量;所述样本顶点包括顶点Vi;所述i为小于或者等于所述N的正整数;
所述基于所述样本邻接矩阵确定所述样本顶点的第一邻域顶点集,基于所述第二线性变换特征,获取所述样本顶点与所述第一邻域顶点集中的每个邻居顶点之间的注意力系数,且基于获取到的注意力系数,所述第二线性变换特征以及所述第一线性变换特征,得到所述目标图注意力层的图注意力特征,包括:
基于所述N行N列的样本邻接矩阵,确定所述顶点Vi的第一邻域顶点集;所述顶点Vi的第一邻域顶点集包括所述顶点Vi的M个邻居顶点;所述M为小于所述N的正整数;所述M个邻居顶点包括邻居顶点Vj;所述j为小于或者等于M的正整数;
从所述第二线性变换特征中,确定所述顶点Vi的顶点特征Zi以及所述邻居顶点Vj的顶点特征Zj,基于所述顶点特征Zi以及所述顶点特征Zj,得到所述顶点Vi与所述邻居顶点Vj之间的注意力系数
Figure DEST_PATH_IMAGE001
将所述顶点特征Zi与所述注意力系数
Figure 576351DEST_PATH_IMAGE001
之间的乘积作为所述顶点Vi的顶点注意力特征,将所述顶点Vi的顶点注意力特征与所述第一线性变换特征中的顶点Vi的顶点特征Si进行特征拼接,得到所述顶点Vi的拼接特征Gi
基于所述顶点Vi的拼接特征Gi,得到所述目标图注意力层的图注意力特征。
8.根据权利要求1所述的方法,其特征在于,所述第三分支网络包括第二近邻特征学习层以及第三近邻特征学习层;
所述将所述顶点隐藏特征输入所述第三分支网络,由所述第三分支网络对所述顶点隐藏特征进行近邻特征提取,得到所述样本顶点的近邻信息特征,包括:
将所述顶点隐藏特征输入所述第三分支网络,由所述第三分支网络中的所述第二近邻特征学习层,对所述顶点隐藏特征进行近邻特征提取,得到所述顶点隐藏特征对应的第一近邻信息特征;
将所述第一近邻信息特征输入所述第三分支网络中的所述第三近邻特征学习层,由所述第三近邻特征学习层对所述第一近邻信息特征进行近邻特征提取,得到所述第一近邻信息特征对应的第二近邻信息特征,且将所述第二近邻信息特征作为所述样本服饰网格的近邻信息特征。
9.根据权利要求8所述的方法,其特征在于,所述样本顶点包括N个顶点;所述N个顶点包括顶点Vi;所述i为小于或者等于N的正整数;
所述将所述顶点隐藏特征输入所述第三分支网络,由所述第三分支网络中的所述第二近邻特征学习层,对所述顶点隐藏特征进行近邻特征提取,得到所述顶点隐藏特征对应的第一近邻信息特征,包括:
在将所述顶点隐藏特征输入所述第三分支网络中的所述第二近邻特征学习层时,将所述顶点隐藏特征输入所述第二近邻特征学习层中的近邻特征学习子层,在所述近邻特征学习子层中,基于所述顶点隐藏特征中的每个顶点的顶点特征,获取与所述顶点Vi的具有相似关系的k个相似顶点;所述k为小于或者等于N的正整数;
在所述近邻特征学习子层中,分别确定k个相似顶点中的每个相似顶点与所述顶点Vi之间的特征差异度,基于k个所述特征差异度与所述顶点Vi的顶点特征xi,得到所述顶点Vi的相似特征;
基于所述顶点Vi的相似特征,得到所述样本顶点的相似拼接特征,且将所述相似拼接特征输入所述第二近邻特征学习层中的第三子卷积层;
获取与所述第三子卷积层相关联的第三可训练权重参数,基于所述相似拼接特征以及所述第三可训练权重参数,得到所述顶点隐藏特征对应的第一近邻信息特征。
10.根据权利要求1所述的方法,其特征在于,所述基于所述样本标签和所述预测标签,对所述初始网络模型进行迭代训练,得到用于预测目标关节权重的目标网络模型,包括:
获取所述初始网络模型对应的模型损失函数,从所述模型损失函数中确定为第一损失参数分配的第一损失权重参数、以及为第二损失参数分配的第二损失权重参数;
基于所述样本标签以及所述预测标签,确定与所述第一损失参数相关联的关节损失权重,基于所述关节损失权重、所述样本标签以及所述预测标签,确定所述第一损失参数对应的第一损失值;
基于所述样本标签、所述预测标签以及所述样本邻接矩阵,确定所述第二损失参数对应的第二损失值;
基于所述第一损失值、所述第二损失值、所述第一损失权重参数以及所述第二损失权重参数,确定所述初始网络模型对应的目标损失值,且基于所述目标损失值,对所述初始网络模型进行迭代训练,得到模型训练结果;
若所述模型训练结果指示所述目标损失值小于或者等于模型收敛条件中的损失阈值,则确定所述初始网络模型满足所述模型收敛条件,且将满足所述模型收敛条件的初始网络模型确定为用于预测目标关节权重的目标网络模型。
11.根据权利要求10所述的方法,其特征在于,所述基于所述样本标签、所述预测标签以及所述样本邻接矩阵,确定所述第二损失参数对应的第二损失值,包括:
基于所述样本邻接矩阵,确定所述样本顶点的第一邻域顶点集,且在所述第一邻域顶点集中筛选满足权重分布相似条件的顶点,基于筛选出的顶点,得到所述样本顶点的第二邻域顶点集;
基于样本标签以及所述第二邻域顶点集,确定所述样本顶点的样本关节权重相似度,且基于预测标签以及所述第二邻域顶点集,确定所述样本顶点的预测关节权重相似度;
基于所述样本关节权重相似度以及所述预测关节权重相似度,确定所述第二损失参数对应的第二损失值。
12.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在获取到待与目标骨骼关节进行蒙皮的目标服饰网格时,确定所述目标服饰网格的目标输入特征;
获取与所述目标服饰网格相关联的所述目标网络模型,将所述目标输入特征输入所述目标网络模型,由所述目标网络模型输出所述目标服饰网格对应的所述目标关节权重;
基于所述目标关节权重,将所述目标服饰网格的目标顶点与所述目标骨骼关节进行绑定。
13.一种模型训练装置,其特征在于,包括:
样本特征获取模块,用于获取用于训练初始网络模型的样本特征,将所述样本特征中的样本顶点拼接特征输入所述初始网络模型中的第一网络,由所述第一网络输出所述样本顶点拼接特征对应的顶点隐藏特征;所述样本特征是由具有样本标签的样本服饰网格所确定的;所述样本标签用于指示所述样本服饰网格的样本顶点与样本骨骼关节之间的样本关节权重;所述初始网络模型包括所述第一网络、第二网络以及第三网络;所述第二网络包括第一分支网络、第二分支网络和第三分支网络;
全局特征提取模块,用于将所述顶点隐藏特征输入所述第一分支网络,由所述第一分支网络对所述顶点隐藏特征进行全局特征提取,得到所述样本服饰网格的全局信息特征;
局部特征提取模块,用于将所述样本特征中的样本邻接矩阵和所述顶点隐藏特征输入所述第二分支网络,由所述第二分支网络对所述样本邻接矩阵和所述顶点隐藏特征进行局部特征提取,得到所述样本顶点之间的局部信息特征;
近邻特征提取模块,用于将所述顶点隐藏特征输入所述第三分支网络,由所述第三分支网络对所述顶点隐藏特征进行近邻特征提取,得到所述样本顶点的近邻信息特征;
预测标签确定模块,用于对所述全局信息特征、所述局部信息特征以及所述近邻信息特征进行特征拼接,得到所述第二网络的拼接信息特征,将所述拼接信息特征输入所述第三网络,通过所述第三网络得到所述样本顶点与所述样本骨骼关节之间的预测关节权重,将所述预测关节权重作为所述样本服饰网格的预测标签;
模型训练模块,用于基于所述样本标签和所述预测标签,对所述初始网络模型进行迭代训练,得到用于预测目标关节权重的目标网络模型。
14.一种计算机设备,其特征在于,包括:处理器和存储器;
所述处理器与存储器相连,其中,所述存储器用于存储计算机程序,所述处理器用于调用所述计算机程序,以使得所述计算机设备执行权利要求1-12任一项所述的方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序适于由处理器加载并执行,以使得具有所述处理器的计算机设备执行权利要求1-12任一项所述的方法。
CN202110433239.8A 2021-04-22 2021-04-22 一种模型训练方法、装置、设备及存储介质 Active CN112991502B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110433239.8A CN112991502B (zh) 2021-04-22 2021-04-22 一种模型训练方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110433239.8A CN112991502B (zh) 2021-04-22 2021-04-22 一种模型训练方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112991502A CN112991502A (zh) 2021-06-18
CN112991502B true CN112991502B (zh) 2021-07-16

Family

ID=76339819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110433239.8A Active CN112991502B (zh) 2021-04-22 2021-04-22 一种模型训练方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112991502B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113902876B (zh) * 2021-12-06 2022-02-11 腾讯科技(深圳)有限公司 骨骼蒙皮方法、装置、计算机设备和存储介质
CN114360007B (zh) * 2021-12-22 2023-02-07 浙江大华技术股份有限公司 人脸识别模型训练、人脸识别方法、装置、设备及介质
CN114241100B (zh) * 2022-02-25 2022-06-03 腾讯科技(深圳)有限公司 虚拟对象的蒙皮处理方法、装置、设备、介质及程序产品
CN115049769B (zh) * 2022-08-17 2022-11-04 深圳泽森软件技术有限责任公司 角色动画生成方法、装置、计算机设备和存储介质
CN115578393B (zh) * 2022-12-09 2023-03-10 腾讯科技(深圳)有限公司 关键点检测方法、训练方法、装置、设备、介质及产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101794462A (zh) * 2010-03-12 2010-08-04 中山大学 一种基于纹理的三维网格模型变形方法及系统
CN109993819A (zh) * 2019-04-09 2019-07-09 网易(杭州)网络有限公司 虚拟角色的蒙皮方法及装置、电子设备
CN110288681A (zh) * 2019-06-25 2019-09-27 网易(杭州)网络有限公司 角色模型的蒙皮方法、装置、介质及电子设备
CN111433757A (zh) * 2017-07-28 2020-07-17 北奥拜勃工作室有限公司 用于实时复杂角色动画和交互性的系统和方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10395411B2 (en) * 2015-06-24 2019-08-27 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Skinned multi-person linear model

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101794462A (zh) * 2010-03-12 2010-08-04 中山大学 一种基于纹理的三维网格模型变形方法及系统
CN111433757A (zh) * 2017-07-28 2020-07-17 北奥拜勃工作室有限公司 用于实时复杂角色动画和交互性的系统和方法
CN111465965A (zh) * 2017-07-28 2020-07-28 北奥拜勃工作室有限公司 用于实时复杂角色动画和交互性的系统和方法
CN109993819A (zh) * 2019-04-09 2019-07-09 网易(杭州)网络有限公司 虚拟角色的蒙皮方法及装置、电子设备
CN110288681A (zh) * 2019-06-25 2019-09-27 网易(杭州)网络有限公司 角色模型的蒙皮方法、装置、介质及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
骨骼蒙皮动画的真实感处理技术研究;陈玉龙;《中国优秀硕士学位论文全文数据库 社会科学Ⅱ辑》;20210115;全文 *

Also Published As

Publication number Publication date
CN112991502A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN112991502B (zh) 一种模型训练方法、装置、设备及存储介质
CN110705448B (zh) 一种人体检测方法及装置
CN111626218B (zh) 基于人工智能的图像生成方法、装置、设备及存储介质
WO2021184933A1 (zh) 一种人体三维模型重建方法
CN109902798A (zh) 深度神经网络的训练方法和装置
CN112991503B (zh) 一种基于蒙皮权重的模型训练方法、装置、设备及介质
CN113902876B (zh) 骨骼蒙皮方法、装置、计算机设备和存储介质
CN112884868B (zh) 三维网格顶点特征确定方法、骨骼蒙皮方法及相关装置
CN113012282A (zh) 三维人体重建方法、装置、设备及存储介质
CN111462274A (zh) 一种基于smpl模型的人体图像合成方法及系统
CN110176063B (zh) 一种基于人体拉普拉斯变形的服装变形方法
CN116363308A (zh) 人体三维重建模型训练方法、人体三维重建方法和设备
CN108830782A (zh) 图像处理方法、装置、计算机设备和存储介质
CN115115752A (zh) 虚拟服装的形变预测方法和装置、存储介质及电子设备
CN109658508A (zh) 一种多尺度细节融合的地形合成方法
CN115965736A (zh) 图像处理方法、装置、设备及存储介质
CN116152419A (zh) 数据处理方法、装置、设备及存储介质
CN116168152A (zh) 人脸图像生成方法、电子设备及计算机可读存储介质
CN114638744A (zh) 人体姿态迁移方法及装置
CN108304930A (zh) 网络裁剪方法、装置及计算机可读存储介质
Izumi et al. Mass game simulator: an entertainment application of multiagent control
CN116468831B (zh) 模型处理方法、装置、设备及存储介质
CN117557699B (zh) 动画数据生成方法、装置、计算机设备和存储介质
CN117218300B (zh) 三维模型的构建方法、三维构建模型的训练方法及装置
Han et al. The Application of Artificial Neural Network Combined with Virtual Reality Technology in Environment Art Design

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40046386

Country of ref document: HK