CN116468831A - 模型处理方法、装置、设备及存储介质 - Google Patents
模型处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116468831A CN116468831A CN202310731208.XA CN202310731208A CN116468831A CN 116468831 A CN116468831 A CN 116468831A CN 202310731208 A CN202310731208 A CN 202310731208A CN 116468831 A CN116468831 A CN 116468831A
- Authority
- CN
- China
- Prior art keywords
- joint
- skin
- vertex
- deformation
- clothing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 33
- 230000003068 static effect Effects 0.000 claims abstract description 89
- 238000000034 method Methods 0.000 claims abstract description 53
- 238000002372 labelling Methods 0.000 claims abstract description 17
- 239000011159 matrix material Substances 0.000 claims description 53
- 238000012545 processing Methods 0.000 claims description 49
- 239000013598 vector Substances 0.000 claims description 30
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 238000010276 construction Methods 0.000 claims description 9
- 230000000875 corresponding effect Effects 0.000 description 162
- 230000036544 posture Effects 0.000 description 149
- 210000001503 joint Anatomy 0.000 description 38
- 230000006870 function Effects 0.000 description 29
- 238000005457 optimization Methods 0.000 description 21
- 238000004364 calculation method Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 16
- 238000004590 computer program Methods 0.000 description 12
- 238000012549 training Methods 0.000 description 11
- 238000013473 artificial intelligence Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 238000010801 machine learning Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000005452 bending Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 241000282414 Homo sapiens Species 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000002156 mixing Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 238000007665 sagging Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000001680 brushing effect Effects 0.000 description 1
- 244000309466 calf Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002500 effect on skin Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 210000000323 shoulder joint Anatomy 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Architecture (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请公开一种模型处理方法、装置、设备及存储介质,方法包括:获取虚拟对象的蒙皮衣物和虚拟对象的关节旋转信息;调用目标模型对蒙皮衣物中的各个顶点的关节蒙皮权重进行预测,得到第一蒙皮权重信息;并采用第一蒙皮权重信息和关节旋转信息,驱动静止的蒙皮衣物进行运动形变,得到蒙皮衣物的第一形变姿势;获取对蒙皮衣物中的各个顶点的关节蒙皮权重进行标注所得到的第二蒙皮权重信息;并采用第二蒙皮权重信息和关节旋转信息,驱动静止的蒙皮衣物进行运动形变,得到蒙皮衣物的第二形变姿势;基于第一形变姿势和第二形变姿势之间的差异,优化目标模型的模型参数。通过本申请,可以提升模型的精度。
Description
技术领域
本申请涉及互联网技术领域,具体涉及人工智能技术领域,尤其涉及一种模型处理方法、装置、设备及存储介质。
背景技术
随着技术发展,衣物蒙皮技术应运而生;所谓的衣物蒙皮技术三维动画中的一种制作技术,其具体是指将蒙皮衣服(即待蒙皮的虚拟衣物)中的各个顶点以一定的关节蒙皮权重绑定到虚拟对象的对应关节上。通过衣物蒙皮技术,可使得蒙皮衣物中的每个顶点被虚拟对象的多个不同的关节所控制,任一顶点受不同关节影响的大小取决于该顶点在各个关节下的关节蒙皮权重。
为了实现自动蒙皮,以提升蒙皮工作的工作效率和缩减人力成本,业界开始尝试基于数据驱动的深度学习方法,通过设计端到端的网络模型(简称模型)来学习和预测蒙皮衣物中的各个顶点的关节蒙皮权重,然后根据预测的蒙皮权重信息优化模型,使得后续可通过优化后的模型来自动预测各个顶点的关节蒙皮权重,从而基于预测出的关节蒙皮权重达到自动蒙皮的效果。
目前,业界在根据预测的蒙皮权重信息优化模型时,通常是直接根据预测的蒙皮权重信息和标注的蒙皮权重信息之间的差异,对模型进行优化以得到优化后的模型。这样的模型优化方式较为简单,会使得模型在优化过程中,只聚焦于如何将预测的蒙皮权重信息尽可能地拟合成标注的蒙皮权重信息,从而导致优化后的模型只具有学习一些简单特征来预测输出蒙皮权重信息的能力。这样的蒙皮权重信息通常是不准确的,容易使得蒙皮衣物在运动时出现异常形变;由此可见,现有的模型优化方式容易导致模型的精度较低。
发明内容
本申请实施例提供了一种模型处理方法、装置、设备及存储介质,可以提升模型的精度。
一方面,本申请实施例提供了一种模型处理方法,所述方法包括:
获取虚拟对象的蒙皮衣物和所述虚拟对象的关节旋转信息,所述蒙皮衣物中的任一顶点随着所述虚拟对象的至少一个关节的旋转而发生运动,且任一顶点受任一关节的影响程度与相应顶点在所述任一关节下的关节蒙皮权重相关;
调用目标模型对所述蒙皮衣物中的各个顶点的关节蒙皮权重进行预测,得到第一蒙皮权重信息;并采用所述第一蒙皮权重信息和所述关节旋转信息,驱动静止的所述蒙皮衣物进行运动形变,得到所述蒙皮衣物的第一形变姿势;
获取对所述蒙皮衣物中的各个顶点的关节蒙皮权重进行标注所得到的第二蒙皮权重信息;并采用所述第二蒙皮权重信息和所述关节旋转信息,驱动静止的所述蒙皮衣物进行运动形变,得到所述蒙皮衣物的第二形变姿势;
基于所述第一形变姿势和所述第二形变姿势之间的差异,优化所述目标模型的模型参数,得到优化后的目标模型。
另一方面,本申请实施例提供了一种模型处理装置,所述装置包括:
获取单元,用于获取虚拟对象的蒙皮衣物和所述虚拟对象的关节旋转信息,所述蒙皮衣物中的任一顶点随着所述虚拟对象的至少一个关节的旋转而发生运动,且任一顶点受任一关节的影响程度与相应顶点在所述任一关节下的关节蒙皮权重相关;
处理单元,用于调用目标模型对所述蒙皮衣物中的各个顶点的关节蒙皮权重进行预测,得到第一蒙皮权重信息;并采用所述第一蒙皮权重信息和所述关节旋转信息,驱动静止的所述蒙皮衣物进行运动形变,得到所述蒙皮衣物的第一形变姿势;
所述处理单元,还用于获取对所述蒙皮衣物中的各个顶点的关节蒙皮权重进行标注所得到的第二蒙皮权重信息;并采用所述第二蒙皮权重信息和所述关节旋转信息,驱动静止的所述蒙皮衣物进行运动形变,得到所述蒙皮衣物的第二形变姿势;
所述处理单元,还用于基于所述第一形变姿势和所述第二形变姿势之间的差异,优化所述目标模型的模型参数,得到优化后的目标模型。
再一方面,本申请实施例提供了一种计算机设备,所述计算机设备包括输入接口和输出接口,所述计算机设备还包括:处理器以及计算机存储介质;
其中,所述处理器适于实现一条或多条指令,所述计算机存储介质存储有一条或多条指令,所述一条或多条指令适于由所述处理器加载并执行上述所提及的模型处理方法。
示例性的,所述一条或多条指令适于由所述处理器加载并执行如下步骤:
获取虚拟对象的蒙皮衣物和所述虚拟对象的关节旋转信息,所述蒙皮衣物中的任一顶点随着所述虚拟对象的至少一个关节的旋转而发生运动,且任一顶点受任一关节的影响程度与相应顶点在所述任一关节下的关节蒙皮权重相关;
调用目标模型对所述蒙皮衣物中的各个顶点的关节蒙皮权重进行预测,得到第一蒙皮权重信息;并采用所述第一蒙皮权重信息和所述关节旋转信息,驱动静止的所述蒙皮衣物进行运动形变,得到所述蒙皮衣物的第一形变姿势;
获取对所述蒙皮衣物中的各个顶点的关节蒙皮权重进行标注所得到的第二蒙皮权重信息;并采用所述第二蒙皮权重信息和所述关节旋转信息,驱动静止的所述蒙皮衣物进行运动形变,得到所述蒙皮衣物的第二形变姿势;
基于所述第一形变姿势和所述第二形变姿势之间的差异,优化所述目标模型的模型参数,得到优化后的目标模型。
再一方面,本申请实施例提供了一种计算机存储介质,所述计算机存储介质存储有一条或多条指令,所述一条或多条指令适于由处理器加载并执行上述所提及的模型处理方法。
再一方面,本申请实施例提供了一种计算机程序产品,该计算机程序产品包括一条或多条指令;所述计算机程序中的一条或多条指令被处理器执行时,实现上述所提及的模型处理方法。
本申请实施例在优化目标模型时,可先给定虚拟对象的一组关节旋转信息,使得在调用目标模型对虚拟对象的蒙皮衣物中的各个顶点的关节蒙皮权重进行预测,得到第一蒙皮权重信息后,可采用第一蒙皮权重信息和关节旋转信息,驱动静止的蒙皮衣物进行运动形变,得到蒙皮衣物的第一形变姿势。以及,采用标注的第二蒙皮权重信息和关节旋转信息,驱动静止的蒙皮衣物进行运动形变,得到蒙皮衣物的第二形变姿势。然后,基于第一形变姿势和第二形变姿势之间的差异,优化目标模型的模型参数,可以使得模型在优化过程中,不仅可以学习到蒙皮权重信息相关的简单特征,还可学习到蒙皮权重信息对蒙皮衣物的运动形变的影响以及虚拟对象的关节旋转对蒙皮衣物的运动形变的影响等复杂特征,从而使得优化后的模型具有学习这些复杂特征来预测输出蒙皮权重信息的能力,进而有效提升模型的精度,使得模型具备预测输出较为准确的蒙皮权重信息的能力。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a是本申请实施例提供的一种虚拟对象的关节示意图;
图1b是本申请实施例提供的一种将顶点绑定至相应关节的示意图;
图1c是本申请实施例提供的一种复杂的蒙皮衣物的示意图;
图1d是本申请实施例提供的一种模型处理方法的原理示意图;
图1e是本申请实施例提供的一种服务器和终端共同执行该模型处理方法的示意图;
图2是本申请实施例提供的一种模型处理方法的流程示意图;
图3是本申请实施例提供的一种处于站立姿势的蒙皮衣物的示意图;
图4是本申请另一实施例提供的一种模型处理方法的流程示意图;
图5a是本申请实施例提供的一种关节链的示意图;
图5b是本申请实施例提供的一种驱动蒙皮衣物进行运动形变的示意图;
图5c是本申请实施例提供的一种蒙皮衣物的对比示意图;
图5d是本申请实施例提供的一种蒙皮衣物出现粘连问题的示意图;
图5e是本申请实施例提供的一种对蒙皮衣物的两个形变姿势进行可视化分析的示意图;
图5f是本申请实施例提供的一种蒙皮衣物出现布线曲折的示意图;
图5g是本申请实施例提供的另一种对蒙皮衣物的两个形变姿势进行可视化分析的示意图;
图5h是本申请实施例提供的一种实验结果的示意图;
图6是本申请实施例提供的一种模型处理装置的结构示意图;
图7是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
在本申请实施例中,蒙皮衣物是指:待蒙皮的虚拟衣物;任一蒙皮衣物均可包括多个顶点以及多条连接边,连接边是指连接蒙皮衣物中的两个顶点的边。蒙皮衣物中的每个顶点可对应虚拟对象的一个或多个关节,所谓的关节是指用于连接虚拟对象的两个骨骼的部位,如图1a所示。进一步的,蒙皮衣物中的每个顶点可基于一定的关节蒙皮权重绑定至虚拟对象的相应关节上,使得该顶点可随着相应关节的旋转而发生运动。其中,顶点在某一关节下的关节蒙皮权重可理解成是:用于指示该顶点受该关节的影响程度的数值;且顶点在任一关节下的关节蒙皮权重与该顶点受相应关节的影响程度成正相关,即影响程度越大,则关节蒙皮权重越大。
示例性的,假设顶点a在关节11下的关节蒙皮权重为0.2,在关节12下的关节蒙皮权重为0.3,在关节13下的关节蒙皮权重为0.5,则将该顶点a基于一定的关节蒙皮权重绑定至相应关节的示意图可参见图1b所示。应理解的是,图1b只是示例性展示了一个简单的蒙皮衣物,并不对此进行限定。蒙皮衣物的复杂度可根据业务需求进行设定,图1c展示了一个复杂的蒙皮衣物的样例,图1c中的实线显示的各条边即为衣物布线的连接边。通过图1c可以直观地看到越复杂的蒙皮衣物,其造型设计更加多样化和丰富,这样会使得该蒙皮衣物对于模型预测顶点的关节蒙皮权重的难度越大。
为了提升用于预测顶点的关节蒙皮权重的模型的精度,本申请实施例基于AI(Artificial Intelligence,人工智能)技术,提出了一种模型处理方法。其中,所谓的AI技术是指利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术;其主要通过了解智能的实质,生产出一种新的能以人类智能相似的方式做出反应的智能机器,使得智能机器具有感知、推理与决策等多种功能。相应的,AI技术是一门综合学科,其主要包括计算机视觉技术(Computer Vision,CV)、语音处理技术、自然语言处理技术以及机器学习(Machine Learning,ML)/深度学习等几大方向。
其中,机器学习是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是AI的核心,是使计算机设备具有智能的根据途径;所谓的机器学习是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科;其专门研究计算机设备怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。而深度学习则是一种利用深层神经网络系统,进行机器学习的技术。机器学习/深度学习通常可包括人工神经网络、强化学习(Reinforcement Learning,RL)、有监督学习、无监督学习等多种技术;所谓的有监督学习是指采用类别已知(具有标注信息)的训练样本进行模型优化训练的处理方式,无监督学习是指采用类别未知(没有被标记)的训练样本进行模型优化训练的处理方式。
本申请实施例提出的模型处理方法主要涉及上述提及的AI技术中的机器学习/深度学习技术。具体的,针对基于机器学习/深度学习技术构建的目标模型,该模型处理方法设计了一种衣物运动形变模块,并将该衣物运动形变模块加入到目标模型的训练过程中,以此来引导目标模型输出合理衣物形变所对应的蒙皮权重信息(即关节蒙皮权重分布),提升模型的精度。参见图1d所示,该模型处理方法的大致原理如下:
首先,可获取用于训练优化目标模型的虚拟对象的蒙皮衣物,该蒙皮衣物中的任一顶点随着虚拟对象的至少一个关节的旋转而发生运动,且任一顶点受任一关节的影响程度与相应顶点在任一关节下的关节蒙皮权重相关。其次,可将该蒙皮衣物输入至目标模型,使目标模型对该蒙皮衣物中的各个顶点的关节蒙皮权重进行预测以输出第一蒙皮权重信息。然后,可将第一蒙皮权重信息输入至衣物运动形变模块,使衣物运动形变模块可根据目标模型输出的第一蒙皮权重信息和给定的关节旋转信息,驱动静止的蒙皮衣物进行运动形变,得到蒙皮衣物的第一形变姿势;另外,还可获取对蒙皮衣物中的各个顶点的关节蒙皮权重进行标注所得到的第二蒙皮权重信息,并将第二蒙皮权重信息输入至衣物运动形变模块,使衣物运动形变模块可根据该第二蒙皮权重信息和给定的关节旋转信息,驱动静止的蒙皮衣物进行运动形变,得到蒙皮衣物的第二形变姿势。然后,通过有监督学习技术,基于衣物运动形变模块输出的第一形变姿势和第二形变姿势,加入用于衣物形变约束的目标函数来引导目标模型学习合理衣物形变所对应的蒙皮权重信息,从而优化目标模型的模型参数,使得模型在优化过程中,不仅可以学习到蒙皮权重信息相关的简单特征,还可学习到蒙皮权重信息对蒙皮衣物的运动形变的影响以及虚拟对象的关节旋转对蒙皮衣物的运动形变的影响等复杂特征,从而使得优化后的模型具有学习这些复杂特征来预测输出蒙皮权重信息的能力,进而有效提升模型的精度,使得模型具备预测输出较为准确的蒙皮权重信息的能力。
在具体实现中,上述所提及的模型处理方法可由一个计算机设备执行,该计算机设备可以是终端或服务器。或者,上述提及的模型处理方法也可由终端和服务器共同执行。例如:可由终端负责获取虚拟对象的蒙皮衣物以及虚拟对象的关节旋转信息,然后将获取到的信息均发送给服务器;由服务器负责调用目标模型获取第一蒙皮权重信息,通过第一蒙皮权重信息和关节旋转信息得到蒙皮衣物的第一形变姿势,以及负责获取标注的第二蒙皮信息,通过第二蒙皮权重信息和关节旋转信息得到蒙皮衣物的第二形变姿势,然后服务器根据第一形变姿势和第二形变姿势优化目标模型,如图1e所示。又如:可由终端负责将虚拟对象的蒙皮衣物发送给服务器,使服务器调用目标模型获取并返回第一蒙皮权重信息;然后,终端可根据服务器返回的第一蒙皮权重信息和关节旋转信息得到蒙皮衣物的第一形变姿势,以及通过第二蒙皮权重信息和关节旋转信息得到蒙皮衣物的第二形变姿势,并将第一形变姿势和第二形变姿势发送给服务器,由服务器根据第一形变姿势和第二形变姿势优化目标模型的模型参数。
其中,上述提及的终端可以是智能手机、电脑(如平板电脑、笔记本电脑、台式计算机等)、智能穿戴设备(如智能手表、智能眼镜)、智能语音交互设备、智能家电(如智能电视)、车载终端或飞行器等。另外,上述提及的服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(ContentDelivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器,等等。进一步的,终端和服务器可位于区块链网络内或区块链网络外,对此不作限定;更进一步的,终端和服务器还可将内部所存储的任一数据上传至区块链网络进行存储,以防止内部所存储的数据被篡改,提升数据安全性。
基于上述描述,下面以计算机设备为执行主体为例,结合图2所示的方法流程图,对本申请实施例提出的模型处理方法进行阐述。请参见图2所示,该模型处理方法可包括步骤S201-S204:
S201,获取虚拟对象的蒙皮衣物和虚拟对象的关节旋转信息。
其中,虚拟对象是指虚拟场景中的可活动对象,而此处提及的虚拟场景可以理解成是可在设备屏幕中进行显示的场景。具体的,该虚拟场景可以是该虚拟场景还可以是纯虚构的场景,例如游戏场景、影视剧或电影中的场景;此情况下,虚拟对象可以例如是游戏场景中的虚拟角色或虚拟动物等;或者,该虚拟场景可以是对真实世界中的场景进行仿真所得到的场景,例如对真实世界中的自动驾驶场景或景区游玩场景进行仿真所得到的场景;此情况下,虚拟对象可以例如是虚拟场景中的仿真人物。又或者,该虚拟场景也可以是半仿真半虚构的场景,例如在真实世界对应的仿真世界中叠加了虚构人物的场景;此情况下,虚拟对象可以例如是虚拟场景中的虚构人物等。
虚拟对象可包括多个关节,这多个关节可包括根关节,多个关节中除根关节以外的其他关节则为该根关节的子孙。所谓的根关节可以是创建的第一个关节,也可以是根据需求在多个关节中指定的一个关节,对此不作限定。多个关节中除根关节以外的其他任一个关节均具有相应的父关节,任一关节的父关节是指:与任一关节相连且可影响任一关节运动的关节。例如关节a和关节b相连,关节a的运动旋转可影响关节b的运动旋转,则关节a为关节b的父关节,关节b为关节a的子关节,关节b的运动旋转对关节a不产生影响。
虚拟对象的蒙皮衣物可以根据实际需求确定,该蒙皮衣物可包括多个顶点以及多条连接边,任一条连接边连接两个顶点。蒙皮衣物中的任一顶点可以随着虚拟对象的至少一个关节的旋转而发生运动,且任一顶点受任一关节的影响程度与相应顶点在任一关节下的关节蒙皮权重相关。
虚拟对象的关节旋转信息可以根据实际需求设定,该关节旋转信息可包括虚拟对象的各个关节的旋转角度;应理解的是,若根据实际需求确定只旋转虚拟对象的一部分关节,则这一部分关节的旋转角度是有效值(即非零值),而除这一部分关节以外的其他关节的旋转角度则是无效值(即零值)。另外,还需说明的是,此处提及的关节旋转信息中包括的任一关节的旋转角度可以是局部旋转角度,也可以是全局旋转角度,对此不作限定。其中,任一关节的局部旋转角度是指任一关节相对于任一关节的父关节的旋转角度,任一关节的全局旋转角度是指任一关节相对于虚拟对象的根关节的旋转角度。
S202,调用目标模型对蒙皮衣物中的各个顶点的关节蒙皮权重进行预测,得到第一蒙皮权重信息;并采用第一蒙皮权重信息和关节旋转信息,驱动静止的蒙皮衣物进行运动形变,得到蒙皮衣物的第一形变姿势。
其中,目标模型可以是具有预测关节蒙皮权重能力的任一网络模型,如图神经网络模型,卷积神经网络模型,等等。本申请实施例对目标模型的模型结构不作任何限定,任一个可用于预测顶点的关节蒙皮权重的模型均可作为本申请实施例提及的目标模型。
在具体实现中,可将虚拟对象和蒙皮衣物输入至目标模型中,使目标模型通过对虚拟对象和蒙皮衣物进行特征提取,从而基于提取出的特征预测蒙皮衣物中的各个顶点在每个关节下的关节蒙皮权重,得到第一蒙皮权重信息。可见,第一蒙皮权重信息包括了:预测出的每个顶点在每个关节下的关节蒙皮权重。需说明的是,考虑到不同虚拟对象对应的同一Mesh(蒙皮)精度的蒙皮衣物,大部分都是基于一套标准骨架(即骨骼结构)进行绑定,标准骨架的大小和高度大致决定了3D mesh(蒙皮衣物)的各个身体区域中的顶点的位置坐标,因此在蒙皮过程中,虚拟对象和蒙皮衣物呈a-pose(半举着)站立姿势,有助于模型学习数据的特征分布。基于此,本申请实施例可以是将呈a-pose站立姿势的虚拟对象和蒙皮衣物输入至目标模型中,以使目标模型可以更好地学习到数据的特征分布,从而提升预测出的第一蒙皮权重信息的准确性。
其中,上述提及的a-pose站立姿势是指:符合虚拟对象的自然姿态的站立姿势;在a-pose站立姿势下,虚拟对象呈站立姿态且手臂处于下垂和平举之间,肩关节的旋转范围大多处于下垂和平举之间。示例性地参见图3所示,左图为处于a-pose站立姿势的蒙皮衣物;其中,实线树状结构就是这个蒙皮衣物对应的骨骼结构。通过蒙皮衣物中的各个顶点在每个关节下的关节蒙皮权重,将蒙皮衣物中的各个顶点与相应关节进行绑定,可以使得蒙皮衣物在运动过程中,各个身体区域中的顶点受不同关节蒙皮权重作用而产生形变和拉伸。图3中的右图是在软件中通过对spine关节(脊柱关节)旋转一定角度后,使得带有顶点的关节蒙皮权重的蒙皮衣物发生运动形变的效果,可以看到spine关节周围的衣物区域发生了明显的拉伸和形变。
计算机设备在采用第一蒙皮权重信息和关节旋转信息,驱动静止的蒙皮衣物进行运动形变,得到蒙皮衣物的第一形变姿势时,可以遍历蒙皮衣物中的各个顶点,确定当前遍历的顶点在每个关节的关节空间下的初始顶点位置;任一关节的关节空间可理解成是以任一关节作为原点所构建的三维空间,且任一顶点在任一关节的关节空间下的初始顶点位置是指:任一顶点在该任一关节的关节空间中进行旋转前所处的位置。然后,根据当前遍历的顶点在每个关节的关节空间下的初始顶点位置,第一蒙皮权重信息包括的当前遍历的顶点在每个关节下的关节蒙皮权重,以及关节旋转信息,预估当前遍历的顶点的全局顶点位置;此处提及的全局顶点位置可理解成是:综合考虑各个关节的旋转对顶点所产生的影响,所确定出的顶点在世界坐标系中的位置。然后,驱动当前遍历的顶点运动至相应的全局顶点位置;并继续遍历,直至各个顶点均被遍历,且各个顶点均被驱动至相应的全局顶点位置,得到蒙皮衣物的第一形变姿势。
或者,计算机设备在采用第一蒙皮权重信息和关节旋转信息,驱动静止的蒙皮衣物进行运动形变,得到蒙皮衣物的第一形变姿势时,可以根据关节旋转信息确定每个关节的全局旋转角度,并遍历蒙皮衣物中的各个顶点,从第一蒙皮权重信息中确定当前遍历的顶点在每个关节下的关节蒙皮权重;然后根据当前遍历的顶点在每个关节下的关节蒙皮权重,对每个关节的全局旋转角度进行整合,得到目标旋转角度;然后,可根据目标旋转角度驱动当前遍历的顶点进行旋转。继续遍历,直至各个顶点均被遍历,并确定各个顶点旋转后,得到蒙皮衣物的第一形变姿势。
S203,获取对蒙皮衣物中的各个顶点的关节蒙皮权重进行标注所得到的第二蒙皮权重信息;并采用第二蒙皮权重信息和关节旋转信息,驱动静止的蒙皮衣物进行运动形变,得到蒙皮衣物的第二形变姿势。
需要说明的是,与第一蒙皮权重类似,第二蒙皮权重信息包括了:标注的每个顶点在每个关节下的关节蒙皮权重。采用第二蒙皮权重信息和关节旋转信息,驱动静止的蒙皮衣物进行运动形变,得到第二形变姿势的具体实施方式,与步骤S202提及的如何得到第一形变姿势的具体实施方式类似,在此不再赘述。
另外,本申请实施例对步骤S202和步骤S203的执行顺序不作限定。例如,可以先执行步骤S202,再执行步骤S203;也可以先执行步骤S203,再执行步骤S202;还可以同时执行步骤S202和步骤S203,等等。
S204,基于第一形变姿势和第二形变姿势之间的差异,优化目标模型的模型参数,得到优化后的目标模型。
在一种具体实现中,可先根据第一形变姿势从蒙皮衣物中确定出形变连接边,形变连接边是指发生形变的连接边。其次,可获取各条形变连接边所对应的顶点的第一位置坐标和第二位置坐标。第一位置坐标是指:在蒙皮衣物处于第一形变姿势时,顶点在世界坐标系中的位置坐标;第二位置坐标是指:在蒙皮衣物处于第二形变姿势时,顶点在世界坐标系中的位置坐标。然后,可根据各条形变连接边所对应的顶点的第一位置坐标和第二位置坐标,计算目标模型的损失值;并基于目标模型的损失值优化目标模型的模型参数,得到优化后的目标模型。可见,通过此实施方式是通过对发生形变的连接边进行一系列处理来优化模型的,这样可避免浪费处理资源来对未发生形变的连接边进行处理,可有效节省处理资源,并缩短计算时间,提升模型优化效率。
另一种具体实现中,可以遍历蒙皮衣物中的各个顶点,获取当前遍历的顶点在第一形变姿势下的第一位置坐标,以及当前遍历的顶点在第二形变姿势下的第二位置坐标;然后,根据第一位置坐标和第二位置坐标之间的坐标差值,确定当前遍历的顶点所对应的损失值。继续遍历各个顶点,直至各个顶点均被遍历以得到各个顶点所对应的损失值后,对各个顶点所对应的损失值进行求和,得到目标模型的损失值;然后,基于目标模型的损失值优化目标模型的模型参数,得到优化后的目标模型。
需要说明的是,在实际训练过程中,可以迭代上述步骤S201-S204,直至目标模型达到收敛。每次执行步骤S201-S204得到优化后的目标模型后,可检测目标模型是否达到收敛;若达到收敛,则停止迭代;若未达到收敛,则可再次迭代执行步骤S201-S204。其中,目标模型达到收敛是指:目标模型的模型参数不再发生变化,或模型参数的变化幅度小于阈值;或者目标模型达到收敛是指:目标模型的损失值不再减小,或目标模型的损失值的减小幅度小于阈值,等等。
本申请实施例在优化目标模型时,可先给定虚拟对象的一组关节旋转信息,使得在调用目标模型对虚拟对象的蒙皮衣物中的各个顶点的关节蒙皮权重进行预测,得到第一蒙皮权重信息后,可采用第一蒙皮权重信息和关节旋转信息,驱动静止的蒙皮衣物进行运动形变,得到蒙皮衣物的第一形变姿势。以及,采用标注的第二蒙皮权重信息和关节旋转信息,驱动静止的蒙皮衣物进行运动形变,得到蒙皮衣物的第二形变姿势。然后,基于第一形变姿势和第二形变姿势之间的差异,优化目标模型的模型参数,可以使得模型在优化过程中,不仅可以学习到蒙皮权重信息相关的简单特征,还可学习到蒙皮权重信息对蒙皮衣物的运动形变的影响以及虚拟对象的关节旋转对蒙皮衣物的运动形变的影响等复杂特征,从而使得优化后的模型具有学习这些复杂特征来预测输出蒙皮权重信息的能力,进而有效提升模型的精度,使得模型具备预测输出较为准确的蒙皮权重信息的能力。
基于上述图2所示的方法实施例的描述,本申请实施例进一步提出了一种更为具体的模型处理方法;在本申请实施例中,仍以计算机设备执行该模型处理方法为例进行阐述。请参见图4所示,该模型处理方法可包括以下步骤S401-S409:
S401,获取虚拟对象的蒙皮衣物和虚拟对象的关节旋转信息,蒙皮衣物中的任一顶点随着虚拟对象的至少一个关节的旋转而发生运动,且任一顶点受任一关节的影响程度与相应顶点在任一关节下的关节蒙皮权重相关。
S402,调用目标模型对蒙皮衣物中的各个顶点的关节蒙皮权重进行预测,得到第一蒙皮权重信息。
在本申请实施例中,为便于后续计算,可将每个顶点在每个关节下的关节蒙皮权重以矩阵的形式进行组合。基于此,通过步骤S402所得到的第一蒙皮权重信息可以是一个蒙皮权重矩阵(采用W表示),其维度为[N,M],N是顶点的数量,M是关节的数量;也就是说,蒙皮衣物通过目标模型可输出维度为[N,M]的蒙皮权重矩阵W。
S403,采用第一蒙皮权重信息和关节旋转信息,驱动静止的蒙皮衣物进行运动形变,得到蒙皮衣物的第一形变姿势。
在步骤S403的具体实现中,计算机设备可具体执行以下步骤s11-s14:
s11,获取静止的蒙皮衣物中的每个顶点在每个关节的关节空间下的初始顶点位置。
在具体实现中,计算机设备可获取蒙皮衣物的静止姿态信息,静止姿态信息包括蒙皮衣物中的各个顶点的静止顶点位置;其中,顶点的静止顶点位置是指:在蒙皮衣物处于静止姿势时,顶点在世界坐标系中所处的位置。然后,可获取每个关节的静止关节位置,关节的静止关节位置是指:在虚拟对象处于静止姿势时,关节在世界坐标系中所处的位置。然后,计算机设备可遍历蒙皮衣物中的各个顶点,从静止姿态信息中确定当前遍历的顶点的静止顶点位置;根据当前遍历的顶点的静止顶点位置与每个关节的静止关节位置之间的差异,分别确定当前遍历的顶点在每个关节的关节空间下的初始顶点位置。
设当前遍历的顶点为N个顶点中的第n个顶点,n∈[1,N];采用表示第n个顶点的静止顶点位置,采用/>表示虚拟对象的第m个关节的静止关节位置,采用表示第n个顶点在第m个关节的关节空间下的初始顶点位置(也可称为局部位置),那么可通过如下公式1.1计算得到/>:
式1.1
基于公式1.1可知,第n个顶点在第m个关节的关节空间下的初始顶点位置,可理解成是第m个顶点在世界坐标系中针对第m个关节的相对位置。基于此,本申请实施例可设定虚拟对象所处的静止姿势和蒙皮衣物所处的静止姿势相同,使得顶点可以更好地与关节相对应,使得顶点的静止顶点位置(即世界坐标系中的位置)和关键的静止关节位置(即世界坐标系中的位置)是基于同一条件(即静止姿势相同)获取到的,从而使得静止顶点位置和静止关节位置之间的差值更具合理性,从而提升初始顶点位置的准确性。
s12,根据关节旋转信息和每个顶点在每个关节的关节空间下的初始顶点位置,分别确定每个顶点在相应关节空间中随着相应关节进行旋转后的目标顶点位置。
在具体实现中,可先根据关节旋转信息分别确定虚拟对象的各个关节的全局旋转矩阵,任一关节的全局旋转矩阵用于指示:相应关节相对于虚拟对象的根关节的旋转角度。具体的,当关节旋转信息包括虚拟对象的各个关节的局部旋转角度时,此步骤具体实施方式可以如下:
首先,可采用关节旋转信息中的各个关节的局部旋转角度,分别构建相应关节的局部旋转矩阵。针对任一关节而言,该任一关节的局部旋转角度可包括:相应关节在X轴上的局部旋转角度(采用表示),相应关节在Y轴上的局部旋转角度(采用/>表示),以及相应关节在Z轴上的局部旋转角度(采用/>表示);基于此,计算机设备可通过下述公式1.2将该关节的局部旋转角度转换为局部旋转矩阵(采用R表示):
式1.2
其次,计算机设备可基于虚拟对象的各个关节之间的连接关系,确定各个关节与根关节之间的关节链;任一关节对应的关节链包括依次连接的多个关节,且任一关节和根关节分别位于任一关节对应的关节链的两端。例如参见图5a所示,设任一关节为关节51,根关节为关节50,则该任一关节与根关节之间的关节链包括:关节51、关节52、关节53、关节54和关节50。
然后,计算机设备可根据各个关节对应的关节链以及各个关节的局部旋转矩阵,分别构建相应关节的全局旋转矩阵。其中,任一关节的全局旋转矩阵为相应关节对应的关节链中的所有关节的局部旋转矩阵之间的乘积。基于此,采用表示第i个关节的局部旋转矩阵,设第i个关节的父关节为第j个关节并采用/>表示第j个关节的局部旋转矩阵(i和j的取值均属于[1,M]),采用/>表示根关节的局部旋转矩阵,则第i个关节的全局旋转矩阵(采用/>表示)可通过下述公式1.3计算得到:
式1.3
示例性的,以图5a所示的关节链为例,设任一关节为关节51,采用R1-R4分别表示关节51、关节52、关节53以及关节54的局部旋转矩阵,采用Rroot表示根关节的局部旋转矩阵,则任一关节的全局旋转矩阵(采用表示)的计算公式如下述公式1.4所示:
式1.4
需说明的是,上述只是示例性地阐述了计算机设备根据关节旋转信息分别确定虚拟对象的各个关节的全局旋转矩阵的一种实施方式,并不对此进行限定。例如,在其他实施例中,关节旋转信息也可包括虚拟对象的各个关节的全局旋转角度;在此情况下,计算机设备可直接根据各个关节的全局旋转角度,分别构建相应关节的全局旋转矩阵,构建方式可参考前述公式1.2,在此不做赘述。
在基于上述方式得到各个关节的全局旋转矩阵后,计算机设备可以针对任一顶点,对任一顶点在每个关节的关节空间下的初始顶点位置和相应关节的全局旋转矩阵进行矩阵乘法运算,得到任一顶点在相应关节空间中随着相应关节进行旋转后的目标顶点位置。
或者,计算机设备也可采用各个顶点在每个关节的关节空间下的初始顶点位置构成一个顶点位置矩阵,以及对各个关节的全局旋转矩阵进行整合,得到整合后的全局旋转矩阵。然后,对顶点位置矩阵和整合后的全局旋转矩阵进行矩阵乘法运算,得到目标位置矩阵;该目标位置矩阵的维度为[N,M,3],其包括每个顶点在每个关节空间中随着相应关节进行旋转后的目标顶点位置。示例性的,采用Rglobal表示顶点位置矩阵,采用vlocal表示整合后的全局旋转矩阵,则目标位置矩阵(采用vtransform表示)的计算公式如下述公式1.5所示:
式1.5
s13,基于第一蒙皮权重信息,分别对每个顶点对应的各个目标顶点位置进行整合,得到每个顶点的全局顶点位置。
其中,任一顶点的全局顶点位置是对相应顶点所对应的各个目标顶点位置进行整合得到的。具体的,第一蒙皮权重信息包括:预测得到的每个顶点在每个关节下的关节蒙皮权重;基于此,计算机设备遍历虚拟对象的各个顶点,将当前遍历的顶点作为当前顶点;采用第一蒙皮权重信息中的当前顶点在每个关节下的关节蒙皮权重,对当前顶点在相应关节的关节空间中的目标顶点位置进行加权求和,得到当前顶点的全局顶点位置。
或者,若计算机设备在执行步骤s12时,得到了目标位置矩阵(vtransform),该目标位置矩阵包括了每个顶点在每个关节空间中随着相应关节进行旋转后的目标顶点位置,则计算机设备可基于LBS(Linear Blending Skinning,线性混合蒙皮)算法对第一蒙皮权重信息(W)和目标位置矩阵(vtransform)进行线性混合,得到混合矩阵,该混合矩阵包括了每个顶点的全局顶点位置。其中,采用vdeformation表示混合矩阵,则该混合矩阵的计算公式可参见下述公式1.6所示:
式1.6
s14,驱动静止的蒙皮衣物中的每个顶点运动至相应的全局顶点位置,得到蒙皮衣物的第一形变姿势。
基于上述步骤s11-s14的描述,可采用图5b示例性地表示计算机设备执行步骤S403的一种实施流程:先确定各个顶点在每个关节的关节空间下的初始顶点位置,以及根据关节旋转信息生成各个关节的全局旋转矩阵;然后,根据各顶点在每个关节的关节空间下的初始顶点位置和每个关节的全局旋转矩阵,确定各个顶点在每个关节的关节空间下进行旋转后的目标顶点位置;然后基于LBS算法根据第一蒙皮权重信息和每个顶点对应的目标顶点位置,计算每个顶点的全局顶点位置,并将各个顶点驱动至相应的全局顶点位置,得到第一形变姿势。
S404,获取对蒙皮衣物中的各个顶点的关节蒙皮权重进行标注所得到的第二蒙皮权重信息。与前述提及的第一蒙皮权重信息类似,此处提及的第二蒙皮权重信息也可以是一个蒙皮权重矩阵。
S405,采用第二蒙皮权重信息和关节旋转信息,驱动静止的蒙皮衣物进行运动形变,得到蒙皮衣物的第二形变姿势。其具体实施方式与步骤S403的具体实施方式类似,在此不作赘述。
S406,根据第一形变姿势从蒙皮衣物中确定出形变连接边,形变连接边是指发生形变的连接边。
在具体实现中,计算机设备可将第一形变姿势和蒙皮衣物的静止姿势进行比对,根据比对结果从蒙皮衣物中选取发生形变的连接边作为形变连接边。其中,若某条连接边在第一形变姿势下的形态与该条连接边在静止姿势下的形态不一致,则可认为该条连接边发生形变;或者,若某条连接边在第一形变姿势下的形态与该条连接边在静止姿势下的形态之间的差异程度大于程度阈值,则可认为该条连接边发生形变。
可选的,计算机设备也可将第一形变姿势和第二形变姿势进行比对,从而根据比对结果从蒙皮衣物中选取发生形变的连接边作为形变连接边。此情况下,若某条连接边在第一形变姿势下的形态与该条连接边在第二形变姿势下的形态不一致,或者若某条连接边在第一形变姿势下的形态与该条连接边在第二形变姿势下的形态之间的差异程度大于程度阈值,则可认为该条连接边发生形变。
S407,获取各条形变连接边所对应的顶点的第一位置坐标和第二位置坐标。第一位置坐标是指:在蒙皮衣物处于第一形变姿势时,顶点在世界坐标系中的位置坐标;第二位置坐标是指:在蒙皮衣物处于第二形变姿势时,顶点在世界坐标系中的位置坐标。
S408,根据各条形变连接边所对应的顶点的第一位置坐标和第二位置坐标,计算目标模型的损失值。
在具体实现中,本申请实施例通过分析大量带有人工标注的蒙皮权重信息的复杂蒙皮衣物,发现部分复杂的蒙皮衣物存在数据二义性问题;数据二义性问题是指:对于衣物形状相似且关节结构相似的两个蒙皮衣物而言,其对应的标注的蒙皮权重信息之间存在较大的差异。例如参见图5c所示:两个裙摆衣物的形状和关节结构非常相似,但是在两个裙摆衣物的左大腿关节区域处标注的关节蒙皮权重分布的差异非常大,以及在两个裙摆衣物的左小腿关节区域处标注的关节蒙皮权重分布的差异也非常大。产生数据二义性问题的主要原因通常包括:①在对复杂非贴身区域的蒙皮衣物的关节蒙皮权重进行标注时,缺乏较为精准的规范来进行约束;②不同美术师对蒙皮衣物的蒙皮权重信息的刷法(即标注方式),具有自己隐式的经验和理解。
蒙皮衣物的数据二义性问题,容易导致基于模型预测的蒙皮权重信息的衣物形变出现如下问题:
(1)蒙皮衣物的数据二义性问题容易导致基于模型预测的蒙皮权重信息的衣物形变会出现较为严重的形变粘连误绑问题。例如参见图5d所示,可以明显看到形变后的蒙皮衣物出现异常粘连问题。
针对蒙皮衣物出现较为严重的衣物形变粘连问题,本申请实施例通过大量样例分析发现衣物形变粘连误绑程度越大,处于预测形变姿势(即第一形变姿势)的蒙皮衣物中的粘连区域的连接边异常拉伸越明显,该连接边在预测形变姿势下的长度与该连接边在目标形变姿势(即第二形变姿势)下的长度偏差越大。进一步参见图5e可知,通过将基于标注的第二蒙皮权重信息得到的第二形变姿势和基于模型预测出的第一蒙皮权重信息所得到的第一形变姿势组合在一起进行可视化分析,可以看出预测形变姿势(即第一形变姿势)下的蒙皮衣物中的粘连区域中的连接边55异常拉伸非常明显。
基于上述对衣物形变粘连误绑问题的分析,本申请实施例提出了DeformedLength Loss目标函数(形变长度损失函数)来有效解决复杂蒙皮衣物的数据二义性导致衣物运动形变出现粘连误绑的问题。具体的,Deformed Length Loss目标函数可将虚拟衣物的目标形变姿势(即第二形变姿势)和虚拟衣物的预测形变姿势(第一形变姿势)之间的形变连接边的长度误差进行量化,并通过优化目标模型,使形变连接边在基于目标模型预测出的蒙皮权重信息所得到的预测形变姿势下的长度,尽可能逼近该形变连接边在基于标注的蒙皮权重信息所得到的目标形变姿势下的长度,以此来减少衣物形变粘连误绑的问题。在此情况下,目标模型的损失值可包括形变长度损失值(即通过Deformed Length Loss目标函数计算出的损失值)。其中,Deformed Length Loss目标函数主要是通过分别计算各条形变连接边在两个形变姿势下的长度之间的差值,来得到各条形变连接边对应的长度损失值,从而对各条形变连接边对应的长度损失值进行求和,得到形变长度损失值的。
基于此,步骤S408的具体实施方式可以包括:遍历各条形变连接边,将当前遍历的形变连接边作为当前形变连接边。其次,根据当前形变连接边对应的两个顶点的第一位置坐标,计算当前形变连接边在第一形变姿势下的长度;以及,根据当前形变连接边对应的两个顶点的第二位置坐标,计算当前形变连接边在第二形变姿势下的长度。然后,可基于当前形变连接边在第一形变姿势下的长度,与当前形变连接边在第二形变姿势下的长度之间的差值,确定当前形变连接边对应的长度损失值。继续遍历,并在遍历所述各条形变连接边后,对所述各条形变连接边对应的长度损失值进行求和,得到形变长度损失值。
其中,根据当前形变连接边对应的两个顶点的第一位置坐标,计算当前形变连接边在第一形变姿势下的长度的具体实施方式可以是:根据当前形变连接边对应的两个顶点的第一位置坐标进行欧式距离的计算,将计算得到的欧式距离作为当前形变连接边在第一形变姿势下的长度。同理,计算机设备也可根据当前形变连接边对应的两个顶点的第二位置坐标进行欧式距离的计算,将计算得到的欧式距离作为当前形变连接边在第二形变姿势下的长度。
另外,在基于当前形变连接边在第一形变姿势下的长度,与当前形变连接边在第二形变姿势下的长度之间的差值,确定当前形变连接边对应的长度损失值时,计算机设备可以将该差值的绝对值作为当前形变连接边对应的长度损失值,或者根据加权系数对该差值的绝对值进行加权处理,得到当前连接边对应的长度损失值,加权系数可根据当前形变连接边对应的关节的重要度进行设置或根据经验值设置。
综上,若是直接将每条形变连接边在两个形变姿势下的长度之间的差值的绝对值,作为相应形变连接边对应的长度损失值的,则本申请实施例提出的Deformed LengthLoss目标函数的表达形式可以参见下述公式1.7:
式1.7
在公式1.7中,表示第k条形变连接边在目标形变姿势(即第二形变姿势)下的长度,/>表示第k条形变连接边在预测形变姿势(即第一形变姿势)下的长度,k∈[1,K],K为蒙皮衣物中的形变连接边的数量。
(2)蒙皮衣物的数据二义性问题容易导致基于模型预测的蒙皮权重信息的衣物形变出现布线曲折问题。例如参见图5f所示,可以明显看到形变后的蒙皮衣物出现布线曲折问题。
针对蒙皮衣物出现较为严重的衣物布线曲折问题,本申请实施例通过大量样例分析发现衣物布线的曲折度越大,蒙皮衣物中的相关连接边在预测形变姿势(即第一形变姿势)下所对应的线段与该连接边在目标形变姿势(即第二形变姿势)下所对应的线段之间的夹角越大。进一步参见图5g可知,通过将基于标注的第二蒙皮权重信息得到的第二形变姿势和基于模型预测出的第一蒙皮权重信息所得到的第一形变姿势组合在一起进行可视化分析,可以看出形变连接边在预测形变姿势下对应的线段与该形变连接边在目标形变姿势下对应的线段之间的夹角56较大。
基于上述对衣物形变布线曲折问题的分析,本申请实施例提出了Deformed AngleLoss目标函数(形变夹角损失函数)来有效解决复杂蒙皮衣物的数据二义性导致的衣物布线形变曲折问题。具体的,Deformed Angle Loss目标函数可将衣物布线形变曲折程度通过形变连接边在目标形变姿势(即第二形变姿势)和预测形变姿势(第一形变姿势)下所产生的夹角进行量化,并通过优化目标模型,使形变连接边在基于目标模型预测出的蒙皮权重信息所得到的预测形变姿势下所对应的线段,和该形变连接边在基于标注的蒙皮权重信息所得到的目标形变姿势下所对应的线段之间的夹角尽可能小,以此来减少衣物布线形变曲折的问题。在此情况下,目标模型的损失值可包括形变夹角损失值(即通过Deformed AngleLoss目标函数计算出的损失值)。其中,Deformed Angle Loss目标函数主要是通过分别基于各条形变连接边在两个形变姿势下的边向量,来得到各条形变连接边对应的夹角损失值,从而对各条形变连接边对应的夹角损失值进行求和,得到形变夹角损失值的。
基于此,步骤S408的具体实施方式可以包括:遍历各条形变连接边,将当前遍历的形变连接边作为当前形变连接边;采用当前形变连接边对应的两个顶点的第一位置坐标,构建当前形变连接边在第一形变姿势下的边向量,此边向量用于表示当前形变连接边在第一形变姿势下对应的线段;并采用当前形变连接边对应的两个顶点的第二位置坐标,构建当前形变连接边在第二形变姿势下的边向量,此边向量用于表示当前形变连接边在第二形变姿势下对应的线段。然后,根据构建得到的两个边向量,确定当前形变连接边对应的夹角损失值。继续遍历,并在遍历各条形变连接边后,对各条形变连接边对应的夹角损失值进行求和,得到形变夹角损失值。
其中,根据构建得到的两个边向量,确定当前形变连接边对应的夹角损失值的一种实施方式可以是:可采用向量夹角的计算公式,计算构建得到的两个边向量之间的夹角(即当前形变连接边所产生的夹角),根据计算出的夹角确定当前形变连接边对应的夹角损失值;如直接将计算出的夹角作为当前形变连接边对应的夹角损失值,或者根据夹角和夹角损失值之间的映射关系,将计算出的夹角所映射的夹角损失值作为当前形变连接边对应的夹角损失值。
进一步的,考虑到夹角的计算方式通常比较复杂,因此为降低计算复杂度,提升损失值计算效率,从而提升模型优化效率,本申请实施例可将夹角计算转换为夹角余弦值计算,夹角余弦值的大小与夹角的大小成负相关,从而基于夹角余弦值确定夹角损失值。基于此,根据构建得到的两个边向量,确定当前形变连接边对应的夹角损失值的另一种实施方式可以是:采用余弦相似度算法,计算构建得到的两个边向量之间的夹角余弦值,对基准数值(如数值1)和计算得到的夹角余弦值进行差值运算,得到当前形变连接边对应的夹角损失值。
在此情况下,本申请实施例提出的Deformed Angle Loss目标函数的表达形式可以参见下述公式1.8:
式1.8
在公式1.8中,为第k条形变连接边在目标形变姿势(第二形变姿势)下的边向量,此边向量用于表示第k条形变连接边在目标形变姿势下对应的线段,/>为第k条形变连接边在预测形变姿势(第一形变姿势)下的边向量,此边向量用于表示第k条形变连接边在预测形变姿势下对应的线段;k∈[1,K],K为蒙皮衣物中的形变连接边的数量。/>
基于上述描述,需要说明的是:在实际应用中,计算机设备可仅使用DeformedLength Loss目标函数来进行损失值计算;此情况下,目标模型的损失值仅包括形变长度损失值。或者,计算机设备也可仅使用Deformed Angle Loss目标函数来进行损失值计算;此情况下,目标模型的损失值仅包括形变夹角损失值。又或者,计算机设备可同时使用Deformed Length Loss目标函数和Deformed Angle Loss目标函数来进行损失值计算;此情况下,目标模型的损失值可同时包括形变长度损失值和形变夹角损失值,且此情况下,不对Deformed Length Loss目标函数和Deformed Angle Loss目标函数的使用顺序进行限定。
S409,基于目标模型的损失值优化目标模型的模型参数,得到优化后的目标模型。
当目标模型的损失值仅包括形变长度损失值或者形变夹角损失值时,步骤S409的具体实施方式可以是:将目标模型的损失值作为模型损失值,按照减小模型损失值的方向,优化目标模型的模型参数,得到优化后的目标模型。当目标模型的损失值包括形变长度损失值和形变夹角损失值时,步骤S409的具体实施方式可以是:对目标模型的损失值中的形变长度损失值和形变夹角损失值进行求和处理,得到模型损失值。此处提及的求和处理可以是直接求和的处理,也可以是加权求和的处理;当求和处理是加权求和的处理时,形变长度损失值对应的加权值和形变夹角损失值对应的加权值可根据业务需求设置。在得到模型损失值后,可按照减小模型损失值的方向,优化目标模型的模型参数,得到优化后的目标模型。
其中,在按照减小模型损失值的方向,优化目标模型的模型参数,得到优化后的目标模型时,计算机设备可按照减小模型损失值的方向,采用梯度下降算法根据该模型损失值进行梯度后向计算,得到目标模型的模型参数的更新值,将目标模型的模型参数更新成该更新值,以优化目标模型。此处的梯度下降算法可包括但不限于:SGD(StochasticGradient Descent,随机梯度下降)算法、GD(Gradient Dropping,梯度下降)算法、BGD(Batch Gradient Descent,批量梯度下降法),等等。
本申请实施例所提及的“按照减小模型损失值的方向”是指:以最小化模型损失值为目标的模型优化方向;通过此方向进行模型优化,使得目标模型在每次优化后所再次产生的模型损失值,需小于目标模型在优化前所产生的模型损失值。例如,本次计算得到的目标模型的模型损失值为0.85,那么通过按照减小模型损失值的方向优化目标模型后,通过优化目标模型所产生的模型损失值应小于0.85。
基于上述描述可知,本申请实施例为了提升复杂的蒙皮衣物的蒙皮效果,在模型训练优化阶段设计了衣物运动形变模块,并将该衣物运动形变模块加入到网络模型的训练优化流程,可实现在给定一组关节旋转角度后,分别利用模型预测的蒙皮权重信息和标注的蒙皮权重信息实时驱动虚拟衣物进行运动形变,从而基于两个形变姿势之间的差异来优化目标模型,使得目标模型可以学习到蒙皮权重信息对蒙皮衣物的运动形变的影响以及虚拟对象的关节旋转对蒙皮衣物的运动形变的影响等复杂特征,从而使得优化后的模型具有学习这些复杂特征来预测输出蒙皮权重信息的能力,进而有效提升模型的精度,使得模型具备预测输出较为准确的蒙皮权重信息的能力。进一步的,基于衣物形变通用问题提出了两种deformed loss目标函数来引导网络模型学习合理衣物形变所对应的蒙皮权重分布,同时辅助模型来判断当前预测的蒙皮权重信息的好坏,这样可有效解决复杂蒙皮衣物的数据二义性导致衣物出现严重形变粘连误绑和衣物布线形变曲折问题。
通过图5h所示的实验结果对比图,可以清晰看到:针对相同的网络模型,相较于现有技术(即直接基于预测的蒙皮权重信息和标注的蒙皮权重信息之间的差异优化模型的方案)而言,本申请实施例在网络模型训练阶段通过加入衣物形变效果约束,有效解决了复杂蒙皮衣物由于数据二义性导致衣物形变粘连误绑严重和衣物布线形变曲折问题,显著提升了蒙皮精度。同时,本申请实施例设计的衣物形变模块和提出的两个损失函数可以适配任意网络模型结构,具有较强的通用性。
在实际应用中,本申请实施例所提出的模型处理方法适用于不同Mesh精度,不同造型设计的虚拟衣物的顶点关节蒙皮权重的自动预测场景,例如对游戏场景中的游戏对象的虚拟衣物中的各个顶点的关节蒙皮权重进行自动预测的场景,或者对仿真场景中的仿真人物的虚拟衣服中的各个顶点的关节蒙皮权重进行自动预测的场景,等等。
以游戏场景为例,本申请实施例提出的模型处理方法的应用过程大致包括以下两个阶段:
第一阶段,模型训练优化。首先,可获取用于训练优化目标模型的游戏对象的蒙皮衣物,并将该蒙皮衣物输入至目标模型,使目标模型对该蒙皮衣物中的各个顶点的关节蒙皮权重进行预测以输出第一蒙皮权重信息。然后,可将第一蒙皮权重信息输入至衣物运动形变模块,使衣物运动形变模块可根据目标模型输出的第一蒙皮权重信息、给定的关节旋转信息以及蒙皮衣物的静止姿态信息,通过一系列矩阵变换计算,最终基于LBS线性混合蒙皮算法来得到蒙皮衣物基于第一蒙皮权重信息发生运动形变后的各个顶点的全局顶点位置,从而基于得到的各个顶点的全局顶点位置,驱动静止的蒙皮衣物进行运动形变,得到蒙皮衣物的第一形变姿势。同理,还可获取对蒙皮衣物中的各个顶点的关节蒙皮权重进行标注所得到的第二蒙皮权重信息,并将第二蒙皮权重信息输入至衣物运动形变模块,使衣物运动形变模块根据第二蒙皮权重信息、给定的关节旋转信息以及蒙皮衣物的静止姿态信息,得到蒙皮衣物基于第二蒙皮权重信息发生运动形变后的各个顶点的全局顶点位置,从而基于得到的各个顶点的全局顶点位置,驱动静止的蒙皮衣物进行运动形变,得到蒙皮衣物的第二形变姿势。然后,基于衣物运动形变模块输出的第一形变姿势和第二形变姿势,使用上述提及的两个deformed loss目标函数来引导目标模型学习合理衣物形变所对应的蒙皮权重信息,从而优化目标模型的模型参数,得到优化后的目标模型。
第二阶段,模型推理阶段。首先,可获取需进行蒙皮权重预测的目标衣物,其次,可将该目标衣物输入至优化后的目标模型中,使优化后的目标模型对目标衣物中的各个顶点的关节蒙皮权重进行预测,得到预测的蒙皮权重信息。然后,可基于预测的蒙皮权重信息执行后续的业务处理,如蒙皮处理、游戏画面渲染等处理。
通过将本申请实施例提出的模型处理方法应用在游戏场景中,可使得优化目标模型具有较高的精度,从而可以较为准确地预测出游戏对象的虚拟衣物中的各个顶点的关节蒙皮权重,进而可以使得在基于较为准确的关节蒙皮权重进行蒙皮处理和游戏画面渲染等处理时,可以有效解决因游戏中的复杂蒙皮衣物的数据二义性而出现衣物严重形变粘连误绑以及衣物布线形变曲折等问题,可显著提示复杂蒙皮衣物的蒙皮精度,从而提升游戏画面的渲染显示效果。
基于上述模型处理方法实施例的描述,本申请实施例还公开了一种模型处理装置;所述模型处理装置可以是运行于计算机设备中的一个计算机程序(包括一条或多条指令),且该模型处理装置可以执行图2或图4所示的方法流程中的各个步骤。请参见图6,所述模型处理装置可以运行如下单元:
获取单元601,用于获取虚拟对象的蒙皮衣物和所述虚拟对象的关节旋转信息,所述蒙皮衣物中的任一顶点随着所述虚拟对象的至少一个关节的旋转而发生运动,且任一顶点受任一关节的影响程度与相应顶点在所述任一关节下的关节蒙皮权重相关;
处理单元602,用于调用目标模型对所述蒙皮衣物中的各个顶点的关节蒙皮权重进行预测,得到第一蒙皮权重信息;并采用所述第一蒙皮权重信息和所述关节旋转信息,驱动静止的所述蒙皮衣物进行运动形变,得到所述蒙皮衣物的第一形变姿势;
所述处理单元602,还用于获取对所述蒙皮衣物中的各个顶点的关节蒙皮权重进行标注所得到的第二蒙皮权重信息;并采用所述第二蒙皮权重信息和所述关节旋转信息,驱动静止的所述蒙皮衣物进行运动形变,得到所述蒙皮衣物的第二形变姿势;
所述处理单元602,还用于基于所述第一形变姿势和所述第二形变姿势之间的差异,优化所述目标模型的模型参数,得到优化后的目标模型。
在一种实施方式中,处理单元602在用于采用所述第一蒙皮权重信息和所述关节旋转信息,驱动静止的所述蒙皮衣物进行运动形变,得到所述蒙皮衣物的第一形变姿势时,可具体用于:
获取静止的所述蒙皮衣物中的每个顶点在每个关节的关节空间下的初始顶点位置;
根据所述关节旋转信息和所述每个顶点在每个关节的关节空间下的初始顶点位置,分别确定所述每个顶点在相应关节空间中随着相应关节进行旋转后的目标顶点位置;
基于所述第一蒙皮权重信息,分别对所述每个顶点对应的各个目标顶点位置进行整合,得到所述每个顶点的全局顶点位置;其中,任一顶点的全局顶点位置是对相应顶点所对应的各个目标顶点位置进行整合得到的;
驱动静止的所述蒙皮衣物中的每个顶点运动至相应的全局顶点位置,得到所述蒙皮衣物的第一形变姿势。
另一种实施方式中,处理单元602在用于所述获取静止的所述蒙皮衣物中的每个顶点在每个关节的关节空间下的初始顶点位置时,可具体用于:
获取所述蒙皮衣物的静止姿态信息,所述静止姿态信息包括所述蒙皮衣物中的各个顶点的静止顶点位置;其中,顶点的静止顶点位置是指:在所述蒙皮衣物处于静止姿势时,顶点在世界坐标系中所处的位置;
获取每个关节的静止关节位置,关节的静止关节位置是指:在所述虚拟对象处于所述静止姿势时,关节在世界坐标系中所处的位置;
遍历所述蒙皮衣物中的各个顶点,从所述静止姿态信息中确定当前遍历的顶点的静止顶点位置;
根据所述当前遍历的顶点的静止顶点位置与所述每个关节的静止关节位置之间的差异,分别确定所述当前遍历的顶点在所述每个关节的关节空间下的初始顶点位置。
另一种实施方式中,处理单元602在用于根据所述关节旋转信息和所述每个顶点在每个关节的关节空间下的初始顶点位置,分别确定所述每个顶点在相应关节空间中随着相应关节进行旋转后的目标顶点位置时,可具体用于:
根据所述关节旋转信息分别确定所述虚拟对象的各个关节的全局旋转矩阵,任一关节的全局旋转矩阵用于指示:相应关节相对于所述虚拟对象的根关节的旋转角度;
针对任一顶点,对所述任一顶点在每个关节的关节空间下的初始顶点位置和相应关节的全局旋转矩阵进行矩阵乘法运算,得到所述任一顶点在相应关节空间中随着相应关节进行旋转后的目标顶点位置。
另一种实施方式中,所述关节旋转信息包括:所述虚拟对象的各个关节的局部旋转角度,任一关节的局部旋转角度是指所述任一关节相对于所述任一关节的父关节的旋转角度;
相应的,处理单元602在用于根据所述关节旋转信息分别确定所述虚拟对象的各个关节的全局旋转矩阵时,可具体用于:
采用所述关节旋转信息中的各个关节的局部旋转角度,分别构建相应关节的局部旋转矩阵;
基于所述虚拟对象的各个关节之间的连接关系,确定所述各个关节与根关节之间的关节链;任一关节对应的关节链包括依次连接的多个关节,且所述任一关节和所述根关节分别位于所述任一关节对应的关节链的两端;
根据所述各个关节对应的关节链以及所述各个关节的局部旋转矩阵,分别构建相应关节的全局旋转矩阵;其中,任一关节的全局旋转矩阵为相应关节对应的关节链中的所有关节的局部旋转矩阵之间的乘积。
另一种实施方式中,所述第一蒙皮权重信息包括:预测得到的每个顶点在每个关节下的关节蒙皮权重;
相应的,处理单元602在用于基于所述第一蒙皮权重信息,分别对所述每个顶点对应的各个目标顶点位置进行整合,得到所述每个顶点的全局顶点位置时,可具体用于:
遍历所述虚拟对象的各个顶点,将当前遍历的顶点作为当前顶点;
采用所述第一蒙皮权重信息中的所述当前顶点在每个关节下的关节蒙皮权重,对所述当前顶点在相应关节的关节空间中的目标顶点位置进行加权求和,得到所述当前顶点的全局顶点位置。
另一种实施方式中,处理单元602在用于基于所述第一形变姿势和所述第二形变姿势之间的差异,优化所述目标模型的模型参数,得到优化后的目标模型时,可具体用于:
根据所述第一形变姿势从所述蒙皮衣物中确定出形变连接边,形变连接边是指发生形变的连接边,连接边是指连接所述蒙皮衣物中的两个顶点的边;
获取各条形变连接边所对应的顶点的第一位置坐标和第二位置坐标,第一位置坐标是指:在所述蒙皮衣物处于所述第一形变姿势时,顶点在世界坐标系中的位置坐标;第二位置坐标是指:在所述蒙皮衣物处于所述第二形变姿势时,顶点在世界坐标系中的位置坐标;
根据所述各条形变连接边所对应的顶点的第一位置坐标和第二位置坐标,计算目标模型的损失值;
基于所述目标模型的损失值优化所述目标模型的模型参数,得到优化后的目标模型。
另一种实施方式中,所述目标模型的损失值包括形变长度损失值;相应的,处理单元602在用于所述根据所述各条形变连接边所对应的顶点的第一位置坐标和第二位置坐标,计算目标模型的损失值时,可具体用于:
遍历所述各条形变连接边,将当前遍历的形变连接边作为当前形变连接边;
根据所述当前形变连接边对应的两个顶点的第一位置坐标,计算所述当前形变连接边在所述第一形变姿势下的长度;以及,根据所述当前形变连接边对应的两个顶点的第二位置坐标,计算所述当前形变连接边在所述第二形变姿势下的长度;
基于所述当前形变连接边在所述第一形变姿势下的长度,与所述当前形变连接边在所述第二形变姿势下的长度之间的差值,确定所述当前形变连接边对应的长度损失值;
继续遍历,并在遍历所述各条形变连接边后,对所述各条形变连接边对应的长度损失值进行求和,得到所述形变长度损失值。
另一种实施方式中,所述目标模型的损失值包括形变夹角损失值;相应的,处理单元602在用于根据所述各条形变连接边所对应的顶点的第一位置坐标和第二位置坐标,计算目标模型的损失值时,可具体用于:
遍历所述各条形变连接边,将当前遍历的形变连接边作为当前形变连接边;
采用所述当前形变连接边对应的两个顶点的第一位置坐标,构建所述当前形变连接边在所述第一形变姿势下的边向量;并采用所述当前形变连接边对应的两个顶点的第二位置坐标,构建所述当前形变连接边在所述第二形变姿势下的边向量;
根据构建得到的两个边向量,确定所述当前形变连接边对应的夹角损失值;
继续遍历,并在遍历所述各条形变连接边后,对所述各条形变连接边对应的夹角损失值进行求和,得到所述形变夹角损失值。
另一种实施方式中,处理单元602在用于根据构建得到的两个边向量,确定所述当前形变连接边对应的夹角损失值时,可具体用于:
采用余弦相似度算法,计算构建得到的两个边向量之间的夹角余弦值,夹角余弦值的大小与夹角的大小成负相关;
对基准数值和计算得到的夹角余弦值进行差值运算,得到所述当前形变连接边对应的夹角损失值。
另一种实施方式中,所述目标模型的损失值包括形变长度损失值和形变夹角损失值;相应的,处理单元602在用于基于所述目标模型的损失值优化所述目标模型的模型参数,得到优化后的目标模型时,可具体用于:
对所述目标模型的损失值中的所述形变长度损失值和所述形变夹角损失值进行求和处理,得到模型损失值;
按照减小所述模型损失值的方向,优化所述目标模型的模型参数,得到优化后的目标模型。
根据本申请的另一个实施例,图6所示的模型处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的,在实际应用中,一个单元的功能也可以由多个单元来实现,或者多个单元的功能由一个单元实现。在本申请的其它实施例中,基于模型处理装置也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由多个单元协作实现。
根据本申请的另一个实施例,可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2或图4中所示的相应方法所涉及的各步骤的计算机程序(包括一条或多条指令),来构造如图6中所示的模型处理装置设备,以及来实现本申请实施例的模型处理方法。所述计算机程序可以记载于例如计算机可读存储介质上,并通过计算机可读存储介质装载于上述计算设备中,并在其中运行。
本申请实施例在优化目标模型时,可先给定虚拟对象的一组关节旋转信息,使得在调用目标模型对虚拟对象的蒙皮衣物中的各个顶点的关节蒙皮权重进行预测,得到第一蒙皮权重信息后,可采用第一蒙皮权重信息和关节旋转信息,驱动静止的蒙皮衣物进行运动形变,得到蒙皮衣物的第一形变姿势。以及,采用标注的第二蒙皮权重信息和关节旋转信息,驱动静止的蒙皮衣物进行运动形变,得到蒙皮衣物的第二形变姿势。然后,基于第一形变姿势和第二形变姿势之间的差异,优化目标模型的模型参数,可以使得模型在优化过程中,不仅可以学习到蒙皮权重信息相关的简单特征,还可学习到蒙皮权重信息对蒙皮衣物的运动形变的影响以及虚拟对象的关节旋转对蒙皮衣物的运动形变的影响等复杂特征,从而使得优化后的模型具有学习这些复杂特征来预测输出蒙皮权重信息的能力,进而有效提升模型的精度,使得模型具备预测输出较为准确的蒙皮权重信息的能力。
基于上述方法实施例以及装置实施例的描述,本申请实施例还提供一种计算机设备。请参见图7,该计算机设备至少包括处理器701、输入接口702、输出接口703以及计算机存储介质704。其中,计算机设备内的处理器701、输入接口702、输出接口703以及计算机存储介质704可通过总线或其他方式连接。计算机存储介质704可以存储在计算机设备的存储器中,所述计算机存储介质704用于存储计算机程序,所述计算机程序包括一条或多条指令,所述处理器701用于执行所述计算机存储介质704存储的计算机程序中的一条或多条指令。处理器701(或称CPU(Central Processing Unit,中央处理器))是计算机设备的计算核心以及控制核心,其适于实现一条或多条指令,具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能。
在一个实施例中,本申请实施例所述的处理器701可以用于目标模型进行一系列的模型优化处理,具体包括:获取虚拟对象的蒙皮衣物和所述虚拟对象的关节旋转信息,所述蒙皮衣物中的任一顶点随着所述虚拟对象的至少一个关节的旋转而发生运动,且任一顶点受任一关节的影响程度与相应顶点在所述任一关节下的关节蒙皮权重相关;调用目标模型对所述蒙皮衣物中的各个顶点的关节蒙皮权重进行预测,得到第一蒙皮权重信息;并采用所述第一蒙皮权重信息和所述关节旋转信息,驱动静止的所述蒙皮衣物进行运动形变,得到所述蒙皮衣物的第一形变姿势;获取对所述蒙皮衣物中的各个顶点的关节蒙皮权重进行标注所得到的第二蒙皮权重信息;并采用所述第二蒙皮权重信息和所述关节旋转信息,驱动静止的所述蒙皮衣物进行运动形变,得到所述蒙皮衣物的第二形变姿势;基于所述第一形变姿势和所述第二形变姿势之间的差异,优化所述目标模型的模型参数,得到优化后的目标模型,等等。
本申请实施例还提供了一种计算机存储介质(Memory),所述计算机存储介质是计算机设备中的记忆设备,用于存放计算机程序和数据。可以理解的是,此处的计算机存储介质既可以包括计算机设备中的内置存储介质,当然也可以包括计算机设备所支持的扩展存储介质。计算机存储介质提供存储空间,该存储空间存储了计算机设备的操作系统。并且,在该存储空间中还存放了计算机程序,该计算机程序包括适于被处理器701加载并执行的一条或多条的指令,这些指令可以是一个或一个以上的程序代码。需要说明的是,此处的计算机存储介质可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatilememory),例如至少一个磁盘存储器;可选的,还可以是至少一个位于远离前述处理器的计算机存储介质。
在一个实施例中,可由处理器加载并执行计算机存储介质中存放的一条或多条指令,以实现上述有关图2或图4所示的方法实施例中的相应步骤;具体实现中,计算机存储介质中的一条或多条指令可由处理器加载并执行如下步骤:
获取虚拟对象的蒙皮衣物和所述虚拟对象的关节旋转信息,所述蒙皮衣物中的任一顶点随着所述虚拟对象的至少一个关节的旋转而发生运动,且任一顶点受任一关节的影响程度与相应顶点在所述任一关节下的关节蒙皮权重相关;
调用目标模型对所述蒙皮衣物中的各个顶点的关节蒙皮权重进行预测,得到第一蒙皮权重信息;并采用所述第一蒙皮权重信息和所述关节旋转信息,驱动静止的所述蒙皮衣物进行运动形变,得到所述蒙皮衣物的第一形变姿势;
获取对所述蒙皮衣物中的各个顶点的关节蒙皮权重进行标注所得到的第二蒙皮权重信息;并采用所述第二蒙皮权重信息和所述关节旋转信息,驱动静止的所述蒙皮衣物进行运动形变,得到所述蒙皮衣物的第二形变姿势;
基于所述第一形变姿势和所述第二形变姿势之间的差异,优化所述目标模型的模型参数,得到优化后的目标模型。
在一种实施方式中,在采用所述第一蒙皮权重信息和所述关节旋转信息,驱动静止的所述蒙皮衣物进行运动形变,得到所述蒙皮衣物的第一形变姿势时,所述一条或多条指令可由处理器加载并具体执行:
获取静止的所述蒙皮衣物中的每个顶点在每个关节的关节空间下的初始顶点位置;
根据所述关节旋转信息和所述每个顶点在每个关节的关节空间下的初始顶点位置,分别确定所述每个顶点在相应关节空间中随着相应关节进行旋转后的目标顶点位置;
基于所述第一蒙皮权重信息,分别对所述每个顶点对应的各个目标顶点位置进行整合,得到所述每个顶点的全局顶点位置;其中,任一顶点的全局顶点位置是对相应顶点所对应的各个目标顶点位置进行整合得到的;
驱动静止的所述蒙皮衣物中的每个顶点运动至相应的全局顶点位置,得到所述蒙皮衣物的第一形变姿势。
另一种实施方式中,在获取静止的所述蒙皮衣物中的每个顶点在每个关节的关节空间下的初始顶点位置时,所述一条或多条指令可由处理器加载并具体执行:
获取所述蒙皮衣物的静止姿态信息,所述静止姿态信息包括所述蒙皮衣物中的各个顶点的静止顶点位置;其中,顶点的静止顶点位置是指:在所述蒙皮衣物处于静止姿势时,顶点在世界坐标系中所处的位置;
获取每个关节的静止关节位置,关节的静止关节位置是指:在所述虚拟对象处于所述静止姿势时,关节在世界坐标系中所处的位置;
遍历所述蒙皮衣物中的各个顶点,从所述静止姿态信息中确定当前遍历的顶点的静止顶点位置;
根据所述当前遍历的顶点的静止顶点位置与所述每个关节的静止关节位置之间的差异,分别确定所述当前遍历的顶点在所述每个关节的关节空间下的初始顶点位置。
另一种实施方式中,在根据所述关节旋转信息和所述每个顶点在每个关节的关节空间下的初始顶点位置,分别确定所述每个顶点在相应关节空间中随着相应关节进行旋转后的目标顶点位置时,所述一条或多条指令可由处理器加载并具体执行:
根据所述关节旋转信息分别确定所述虚拟对象的各个关节的全局旋转矩阵,任一关节的全局旋转矩阵用于指示:相应关节相对于所述虚拟对象的根关节的旋转角度;
针对任一顶点,对所述任一顶点在每个关节的关节空间下的初始顶点位置和相应关节的全局旋转矩阵进行矩阵乘法运算,得到所述任一顶点在相应关节空间中随着相应关节进行旋转后的目标顶点位置。
另一种实施方式中,所述关节旋转信息包括:所述虚拟对象的各个关节的局部旋转角度,任一关节的局部旋转角度是指所述任一关节相对于所述任一关节的父关节的旋转角度;
相应的,在根据所述关节旋转信息分别确定所述虚拟对象的各个关节的全局旋转矩阵时,所述一条或多条指令可由处理器加载并具体执行:
采用所述关节旋转信息中的各个关节的局部旋转角度,分别构建相应关节的局部旋转矩阵;
基于所述虚拟对象的各个关节之间的连接关系,确定所述各个关节与根关节之间的关节链;任一关节对应的关节链包括依次连接的多个关节,且所述任一关节和所述根关节分别位于所述任一关节对应的关节链的两端;
根据所述各个关节对应的关节链以及所述各个关节的局部旋转矩阵,分别构建相应关节的全局旋转矩阵;其中,任一关节的全局旋转矩阵为相应关节对应的关节链中的所有关节的局部旋转矩阵之间的乘积。
另一种实施方式中,所述第一蒙皮权重信息包括:预测得到的每个顶点在每个关节下的关节蒙皮权重;
相应的,在基于所述第一蒙皮权重信息,分别对所述每个顶点对应的各个目标顶点位置进行整合,得到所述每个顶点的全局顶点位置时,所述一条或多条指令可由处理器加载并具体执行:
遍历所述虚拟对象的各个顶点,将当前遍历的顶点作为当前顶点;
采用所述第一蒙皮权重信息中的所述当前顶点在每个关节下的关节蒙皮权重,对所述当前顶点在相应关节的关节空间中的目标顶点位置进行加权求和,得到所述当前顶点的全局顶点位置。
另一种实施方式中,在基于所述第一形变姿势和所述第二形变姿势之间的差异,优化所述目标模型的模型参数,得到优化后的目标模型时,所述一条或多条指令可由处理器加载并具体执行:
根据所述第一形变姿势从所述蒙皮衣物中确定出形变连接边,形变连接边是指发生形变的连接边,连接边是指连接所述蒙皮衣物中的两个顶点的边;
获取各条形变连接边所对应的顶点的第一位置坐标和第二位置坐标,第一位置坐标是指:在所述蒙皮衣物处于所述第一形变姿势时,顶点在世界坐标系中的位置坐标;第二位置坐标是指:在所述蒙皮衣物处于所述第二形变姿势时,顶点在世界坐标系中的位置坐标;
根据所述各条形变连接边所对应的顶点的第一位置坐标和第二位置坐标,计算目标模型的损失值;
基于所述目标模型的损失值优化所述目标模型的模型参数,得到优化后的目标模型。
另一种实施方式中,所述目标模型的损失值包括形变长度损失值;相应的,在根据所述各条形变连接边所对应的顶点的第一位置坐标和第二位置坐标,计算目标模型的损失值时,所述一条或多条指令可由处理器加载并具体执行:
遍历所述各条形变连接边,将当前遍历的形变连接边作为当前形变连接边;
根据所述当前形变连接边对应的两个顶点的第一位置坐标,计算所述当前形变连接边在所述第一形变姿势下的长度;以及,根据所述当前形变连接边对应的两个顶点的第二位置坐标,计算所述当前形变连接边在所述第二形变姿势下的长度;
基于所述当前形变连接边在所述第一形变姿势下的长度,与所述当前形变连接边在所述第二形变姿势下的长度之间的差值,确定所述当前形变连接边对应的长度损失值;
继续遍历,并在遍历所述各条形变连接边后,对所述各条形变连接边对应的长度损失值进行求和,得到所述形变长度损失值。
另一种实施方式中,所述目标模型的损失值包括形变夹角损失值;相应的,在根据所述各条形变连接边所对应的顶点的第一位置坐标和第二位置坐标,计算目标模型的损失值时,所述一条或多条指令可由处理器加载并具体执行:
遍历所述各条形变连接边,将当前遍历的形变连接边作为当前形变连接边;
采用所述当前形变连接边对应的两个顶点的第一位置坐标,构建所述当前形变连接边在所述第一形变姿势下的边向量;并采用所述当前形变连接边对应的两个顶点的第二位置坐标,构建所述当前形变连接边在所述第二形变姿势下的边向量;
根据构建得到的两个边向量,确定所述当前形变连接边对应的夹角损失值;
继续遍历,并在遍历所述各条形变连接边后,对所述各条形变连接边对应的夹角损失值进行求和,得到所述形变夹角损失值。
另一种实施方式中,在根据构建得到的两个边向量,确定所述当前形变连接边对应的夹角损失值时,所述一条或多条指令可由处理器加载并具体执行:
采用余弦相似度算法,计算构建得到的两个边向量之间的夹角余弦值,夹角余弦值的大小与夹角的大小成负相关;
对基准数值和计算得到的夹角余弦值进行差值运算,得到所述当前形变连接边对应的夹角损失值。
另一种实施方式中,所述目标模型的损失值包括形变长度损失值和形变夹角损失值;相应的,在基于所述目标模型的损失值优化所述目标模型的模型参数,得到优化后的目标模型时,所述一条或多条指令可以由处理器加载并具体执行:
对所述目标模型的损失值中的所述形变长度损失值和所述形变夹角损失值进行求和处理,得到模型损失值;
按照减小所述模型损失值的方向,优化所述目标模型的模型参数,得到优化后的目标模型。
本申请实施例在优化目标模型时,可先给定虚拟对象的一组关节旋转信息,使得在调用目标模型对虚拟对象的蒙皮衣物中的各个顶点的关节蒙皮权重进行预测,得到第一蒙皮权重信息后,可采用第一蒙皮权重信息和关节旋转信息,驱动静止的蒙皮衣物进行运动形变,得到蒙皮衣物的第一形变姿势。以及,采用标注的第二蒙皮权重信息和关节旋转信息,驱动静止的蒙皮衣物进行运动形变,得到蒙皮衣物的第二形变姿势。然后,基于第一形变姿势和第二形变姿势之间的差异,优化目标模型的模型参数,可以使得模型在优化过程中,不仅可以学习到蒙皮权重信息相关的简单特征,还可学习到蒙皮权重信息对蒙皮衣物的运动形变的影响以及虚拟对象的关节旋转对蒙皮衣物的运动形变的影响等复杂特征,从而使得优化后的模型具有学习这些复杂特征来预测输出蒙皮权重信息的能力,进而有效提升模型的精度,使得模型具备预测输出较为准确的蒙皮权重信息的能力。
需要说明的是,根据本申请的一个方面,还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括一条或多条指令,该一条或多条指令存储在计算机存储介质中。计算机设备的处理器从计算机存储介质读取一条或多条指令,处理器执行该一条或多条指令,使得该计算机设备执行上述图2或图4所示的方法实施例方面的各种可选方式中提供的方法。
示例性的,计算机设备的处理器可从计算机存储介质读取一条或多条指令,处理器执行该一条或多条指令,使得计算机设备执行如下步骤:
获取虚拟对象的蒙皮衣物和所述虚拟对象的关节旋转信息,所述蒙皮衣物中的任一顶点随着所述虚拟对象的至少一个关节的旋转而发生运动,且任一顶点受任一关节的影响程度与相应顶点在所述任一关节下的关节蒙皮权重相关;
调用目标模型对所述蒙皮衣物中的各个顶点的关节蒙皮权重进行预测,得到第一蒙皮权重信息;并采用所述第一蒙皮权重信息和所述关节旋转信息,驱动静止的所述蒙皮衣物进行运动形变,得到所述蒙皮衣物的第一形变姿势;
获取对所述蒙皮衣物中的各个顶点的关节蒙皮权重进行标注所得到的第二蒙皮权重信息;并采用所述第二蒙皮权重信息和所述关节旋转信息,驱动静止的所述蒙皮衣物进行运动形变,得到所述蒙皮衣物的第二形变姿势;
基于所述第一形变姿势和所述第二形变姿势之间的差异,优化所述目标模型的模型参数,得到优化后的目标模型。
应理解的是,以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。
Claims (14)
1.一种模型处理方法,其特征在于,包括:
获取虚拟对象的蒙皮衣物和所述虚拟对象的关节旋转信息,所述蒙皮衣物中的任一顶点随着所述虚拟对象的至少一个关节的旋转而发生运动,且任一顶点受任一关节的影响程度与相应顶点在所述任一关节下的关节蒙皮权重相关;
调用目标模型对所述蒙皮衣物中的各个顶点的关节蒙皮权重进行预测,得到第一蒙皮权重信息;并采用所述第一蒙皮权重信息和所述关节旋转信息,驱动静止的所述蒙皮衣物进行运动形变,得到所述蒙皮衣物的第一形变姿势;
获取对所述蒙皮衣物中的各个顶点的关节蒙皮权重进行标注所得到的第二蒙皮权重信息;并采用所述第二蒙皮权重信息和所述关节旋转信息,驱动静止的所述蒙皮衣物进行运动形变,得到所述蒙皮衣物的第二形变姿势;
基于所述第一形变姿势和所述第二形变姿势之间的差异,优化所述目标模型的模型参数,得到优化后的目标模型。
2.如权利要求1所述的方法,其特征在于,所述采用所述第一蒙皮权重信息和所述关节旋转信息,驱动静止的所述蒙皮衣物进行运动形变,得到所述蒙皮衣物的第一形变姿势,包括:
获取静止的所述蒙皮衣物中的每个顶点在每个关节的关节空间下的初始顶点位置;
根据所述关节旋转信息和所述每个顶点在每个关节的关节空间下的初始顶点位置,分别确定所述每个顶点在相应关节空间中随着相应关节进行旋转后的目标顶点位置;
基于所述第一蒙皮权重信息,分别对所述每个顶点对应的各个目标顶点位置进行整合,得到所述每个顶点的全局顶点位置;其中,任一顶点的全局顶点位置是对相应顶点所对应的各个目标顶点位置进行整合得到的;
驱动静止的所述蒙皮衣物中的每个顶点运动至相应的全局顶点位置,得到所述蒙皮衣物的第一形变姿势。
3.如权利要求2所述的方法,其特征在于,所述获取静止的所述蒙皮衣物中的每个顶点在每个关节的关节空间下的初始顶点位置,包括:
获取所述蒙皮衣物的静止姿态信息,所述静止姿态信息包括所述蒙皮衣物中的各个顶点的静止顶点位置;其中,顶点的静止顶点位置是指:在所述蒙皮衣物处于静止姿势时,顶点在世界坐标系中所处的位置;
获取每个关节的静止关节位置,关节的静止关节位置是指:在所述虚拟对象处于所述静止姿势时,关节在世界坐标系中所处的位置;
遍历所述蒙皮衣物中的各个顶点,从所述静止姿态信息中确定当前遍历的顶点的静止顶点位置;
根据所述当前遍历的顶点的静止顶点位置与所述每个关节的静止关节位置之间的差异,分别确定所述当前遍历的顶点在所述每个关节的关节空间下的初始顶点位置。
4.如权利要求2或3所述的方法,其特征在于,所述根据所述关节旋转信息和所述每个顶点在每个关节的关节空间下的初始顶点位置,分别确定所述每个顶点在相应关节空间中随着相应关节进行旋转后的目标顶点位置,包括:
根据所述关节旋转信息分别确定所述虚拟对象的各个关节的全局旋转矩阵,任一关节的全局旋转矩阵用于指示:相应关节相对于所述虚拟对象的根关节的旋转角度;
针对任一顶点,对所述任一顶点在每个关节的关节空间下的初始顶点位置和相应关节的全局旋转矩阵进行矩阵乘法运算,得到所述任一顶点在相应关节空间中随着相应关节进行旋转后的目标顶点位置。
5.如权利要求4所述的方法,其特征在于,所述关节旋转信息包括:所述虚拟对象的各个关节的局部旋转角度,任一关节的局部旋转角度是指所述任一关节相对于所述任一关节的父关节的旋转角度;
所述根据所述关节旋转信息分别确定所述虚拟对象的各个关节的全局旋转矩阵,包括:
采用所述关节旋转信息中的各个关节的局部旋转角度,分别构建相应关节的局部旋转矩阵;
基于所述虚拟对象的各个关节之间的连接关系,确定所述各个关节与根关节之间的关节链;任一关节对应的关节链包括依次连接的多个关节,且所述任一关节和所述根关节分别位于所述任一关节对应的关节链的两端;
根据所述各个关节对应的关节链以及所述各个关节的局部旋转矩阵,分别构建相应关节的全局旋转矩阵;其中,任一关节的全局旋转矩阵为相应关节对应的关节链中的所有关节的局部旋转矩阵之间的乘积。
6.如权利要求2或3所述的方法,其特征在于,所述第一蒙皮权重信息包括:预测得到的每个顶点在每个关节下的关节蒙皮权重;
所述基于所述第一蒙皮权重信息,分别对所述每个顶点对应的各个目标顶点位置进行整合,得到所述每个顶点的全局顶点位置,包括:
遍历所述虚拟对象的各个顶点,将当前遍历的顶点作为当前顶点;
采用所述第一蒙皮权重信息中的所述当前顶点在每个关节下的关节蒙皮权重,对所述当前顶点在相应关节的关节空间中的目标顶点位置进行加权求和,得到所述当前顶点的全局顶点位置。
7.如权利要求1所述的方法,其特征在于,所述基于所述第一形变姿势和所述第二形变姿势之间的差异,优化所述目标模型的模型参数,得到优化后的目标模型,包括:
根据所述第一形变姿势从所述蒙皮衣物中确定出形变连接边,形变连接边是指发生形变的连接边,连接边是指连接所述蒙皮衣物中的两个顶点的边;
获取各条形变连接边所对应的顶点的第一位置坐标和第二位置坐标,第一位置坐标是指:在所述蒙皮衣物处于所述第一形变姿势时,顶点在世界坐标系中的位置坐标;第二位置坐标是指:在所述蒙皮衣物处于所述第二形变姿势时,顶点在世界坐标系中的位置坐标;
根据所述各条形变连接边所对应的顶点的第一位置坐标和第二位置坐标,计算目标模型的损失值;
基于所述目标模型的损失值优化所述目标模型的模型参数,得到优化后的目标模型。
8.如权利要求7所述的方法,其特征在于,所述目标模型的损失值包括形变长度损失值,所述根据所述各条形变连接边所对应的顶点的第一位置坐标和第二位置坐标,计算目标模型的损失值,包括:
遍历所述各条形变连接边,将当前遍历的形变连接边作为当前形变连接边;
根据所述当前形变连接边对应的两个顶点的第一位置坐标,计算所述当前形变连接边在所述第一形变姿势下的长度;以及,根据所述当前形变连接边对应的两个顶点的第二位置坐标,计算所述当前形变连接边在所述第二形变姿势下的长度;
基于所述当前形变连接边在所述第一形变姿势下的长度,与所述当前形变连接边在所述第二形变姿势下的长度之间的差值,确定所述当前形变连接边对应的长度损失值;
继续遍历,并在遍历所述各条形变连接边后,对所述各条形变连接边对应的长度损失值进行求和,得到所述形变长度损失值。
9.如权利要求7所述的方法,其特征在于,所述目标模型的损失值包括形变夹角损失值,所述根据所述各条形变连接边所对应的顶点的第一位置坐标和第二位置坐标,计算目标模型的损失值,包括:
遍历所述各条形变连接边,将当前遍历的形变连接边作为当前形变连接边;
采用所述当前形变连接边对应的两个顶点的第一位置坐标,构建所述当前形变连接边在所述第一形变姿势下的边向量;并采用所述当前形变连接边对应的两个顶点的第二位置坐标,构建所述当前形变连接边在所述第二形变姿势下的边向量;
根据构建得到的两个边向量,确定所述当前形变连接边对应的夹角损失值;
继续遍历,并在遍历所述各条形变连接边后,对所述各条形变连接边对应的夹角损失值进行求和,得到所述形变夹角损失值。
10.如权利要求9所述的方法,其特征在于,所述根据构建得到的两个边向量,确定所述当前形变连接边对应的夹角损失值,包括:
采用余弦相似度算法,计算构建得到的两个边向量之间的夹角余弦值,夹角余弦值的大小与夹角的大小成负相关;
对基准数值和计算得到的夹角余弦值进行差值运算,得到所述当前形变连接边对应的夹角损失值。
11.如权利要求7-10任一项所述的方法,其特征在于,所述目标模型的损失值包括形变长度损失值和形变夹角损失值,所述基于所述目标模型的损失值优化所述目标模型的模型参数,得到优化后的目标模型,包括:
对所述目标模型的损失值中的所述形变长度损失值和所述形变夹角损失值进行求和处理,得到模型损失值;
按照减小所述模型损失值的方向,优化所述目标模型的模型参数,得到优化后的目标模型。
12.一种模型处理装置,其特征在于,包括:
获取单元,用于获取虚拟对象的蒙皮衣物和所述虚拟对象的关节旋转信息,所述蒙皮衣物中的任一顶点随着所述虚拟对象的至少一个关节的旋转而发生运动,且任一顶点受任一关节的影响程度与相应顶点在所述任一关节下的关节蒙皮权重相关;
处理单元,用于调用目标模型对所述蒙皮衣物中的各个顶点的关节蒙皮权重进行预测,得到第一蒙皮权重信息;并采用所述第一蒙皮权重信息和所述关节旋转信息,驱动静止的所述蒙皮衣物进行运动形变,得到所述蒙皮衣物的第一形变姿势;
所述处理单元,还用于获取对所述蒙皮衣物中的各个顶点的关节蒙皮权重进行标注所得到的第二蒙皮权重信息;并采用所述第二蒙皮权重信息和所述关节旋转信息,驱动静止的所述蒙皮衣物进行运动形变,得到所述蒙皮衣物的第二形变姿势;
所述处理单元,还用于基于所述第一形变姿势和所述第二形变姿势之间的差异,优化所述目标模型的模型参数,得到优化后的目标模型。
13.一种计算机设备,包括输入接口和输出接口,其特征在于,还包括:处理器以及计算机存储介质;
其中,所述处理器适于实现一条或多条指令,所述计算机存储介质存储有一条或多条指令,所述一条或多条指令适于由所述处理器加载并执行如权利要求1-11任一项所述的模型处理方法。
14.一种计算机存储介质,其特征在于,所述计算机存储介质存储有一条或多条指令,所述一条或多条指令适于由处理器加载并执行如权利要求1-11任一项所述的模型处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310731208.XA CN116468831B (zh) | 2023-06-20 | 2023-06-20 | 模型处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310731208.XA CN116468831B (zh) | 2023-06-20 | 2023-06-20 | 模型处理方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116468831A true CN116468831A (zh) | 2023-07-21 |
CN116468831B CN116468831B (zh) | 2023-08-22 |
Family
ID=87177458
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310731208.XA Active CN116468831B (zh) | 2023-06-20 | 2023-06-20 | 模型处理方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116468831B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170032055A1 (en) * | 2015-07-27 | 2017-02-02 | Technische Universiteit Delft | Linear Blend Skinning Weight Optimization Utilizing Skeletal Pose Sampling |
US20180315230A1 (en) * | 2015-06-24 | 2018-11-01 | Max-Planck-Gesellschaft Zur Förderung Dur Wissenschaften E.V. | Skinned multi-person linear model |
CN112991503A (zh) * | 2021-04-22 | 2021-06-18 | 腾讯科技(深圳)有限公司 | 一种基于蒙皮权重的模型训练方法、装置、设备及介质 |
CN114241100A (zh) * | 2022-02-25 | 2022-03-25 | 腾讯科技(深圳)有限公司 | 虚拟对象的蒙皮处理方法、装置、设备、介质及程序产品 |
US20220319140A1 (en) * | 2020-05-12 | 2022-10-06 | Zhejiang University | An example-based real-time clothing synthesis method |
CN116229018A (zh) * | 2023-02-03 | 2023-06-06 | 阿里巴巴(中国)有限公司 | 对象显示方法、三维人物换装方法以及计算设备 |
WO2023103581A1 (zh) * | 2021-12-06 | 2023-06-15 | 腾讯科技(深圳)有限公司 | 骨骼蒙皮方法、装置、计算机设备和存储介质 |
-
2023
- 2023-06-20 CN CN202310731208.XA patent/CN116468831B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180315230A1 (en) * | 2015-06-24 | 2018-11-01 | Max-Planck-Gesellschaft Zur Förderung Dur Wissenschaften E.V. | Skinned multi-person linear model |
US20170032055A1 (en) * | 2015-07-27 | 2017-02-02 | Technische Universiteit Delft | Linear Blend Skinning Weight Optimization Utilizing Skeletal Pose Sampling |
US20220319140A1 (en) * | 2020-05-12 | 2022-10-06 | Zhejiang University | An example-based real-time clothing synthesis method |
CN112991503A (zh) * | 2021-04-22 | 2021-06-18 | 腾讯科技(深圳)有限公司 | 一种基于蒙皮权重的模型训练方法、装置、设备及介质 |
WO2023103581A1 (zh) * | 2021-12-06 | 2023-06-15 | 腾讯科技(深圳)有限公司 | 骨骼蒙皮方法、装置、计算机设备和存储介质 |
CN114241100A (zh) * | 2022-02-25 | 2022-03-25 | 腾讯科技(深圳)有限公司 | 虚拟对象的蒙皮处理方法、装置、设备、介质及程序产品 |
CN116229018A (zh) * | 2023-02-03 | 2023-06-06 | 阿里巴巴(中国)有限公司 | 对象显示方法、三维人物换装方法以及计算设备 |
Non-Patent Citations (1)
Title |
---|
JIANG B 等: "Bcnet: Learning body and cloth shape from a single image", COMPUTER VISION–ECCV 2020: 16TH EUROPEAN CONFERENCE, pages 18 - 35 * |
Also Published As
Publication number | Publication date |
---|---|
CN116468831B (zh) | 2023-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111260764B (zh) | 一种制作动画的方法、装置及存储介质 | |
CN109902798A (zh) | 深度神经网络的训练方法和装置 | |
CN110020633A (zh) | 姿态识别模型的训练方法、图像识别方法及装置 | |
US20200410733A1 (en) | Method for skinning character model, device for skinning character model, storage medium and electronic device | |
WO2023160051A1 (zh) | 虚拟对象的蒙皮处理方法、装置、电子设备、存储介质及计算机程序产品 | |
CN113902876B (zh) | 骨骼蒙皮方法、装置、计算机设备和存储介质 | |
CN111095170B (zh) | 虚拟现实场景及其交互方法、终端设备 | |
CN112991502B (zh) | 一种模型训练方法、装置、设备及存储介质 | |
CN112819971A (zh) | 虚拟形象的生成方法、装置、设备和介质 | |
CN114241597A (zh) | 一种姿态识别方法及其相关设备 | |
WO2022179603A1 (zh) | 一种增强现实方法及其相关设备 | |
CN112991503B (zh) | 一种基于蒙皮权重的模型训练方法、装置、设备及介质 | |
CN114677572A (zh) | 对象描述参数的生成方法、深度学习模型的训练方法 | |
CN112308952B (zh) | 模仿给定视频中人物动作的3d角色动作生成系统和方法 | |
CN116468831B (zh) | 模型处理方法、装置、设备及存储介质 | |
CN115965736A (zh) | 图像处理方法、装置、设备及存储介质 | |
CN114707070A (zh) | 一种用户行为预测方法及其相关设备 | |
CN112507940A (zh) | 一种基于差分指导表示学习网络的骨骼动作识别方法 | |
CN117557699B (zh) | 动画数据生成方法、装置、计算机设备和存储介质 | |
CN116912314A (zh) | 一种姿态估计方法及其相关设备 | |
CN116958337A (zh) | 虚拟对象动画生成方法、装置、电子设备及可读存储介质 | |
CN116681596A (zh) | 一种物体模型旋转方法及其相关设备 | |
CN117649500A (zh) | 数据处理方法、装置、设备及存储介质 | |
CN114119861A (zh) | 人体重构网络的训练、人体重构、试衣方法及相关装置 | |
CN116901071A (zh) | 基于多尺度序列模型的模仿学习机械臂抓取方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40088862 Country of ref document: HK |