CN115115752A - 虚拟服装的形变预测方法和装置、存储介质及电子设备 - Google Patents
虚拟服装的形变预测方法和装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN115115752A CN115115752A CN202210467386.1A CN202210467386A CN115115752A CN 115115752 A CN115115752 A CN 115115752A CN 202210467386 A CN202210467386 A CN 202210467386A CN 115115752 A CN115115752 A CN 115115752A
- Authority
- CN
- China
- Prior art keywords
- target
- virtual
- garment
- clothing
- position coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
本发明公开了一种虚拟服装的形变预测方法和装置、存储介质及电子设备。其中,该方法包括:获取目标虚拟对象的身体动作特征序列,并将目标虚拟对象的身体动作特征序列转化成第一虚拟骨骼动作特征序列;根据第一虚拟骨骼动作特征序列,确定各个服装顶点在第一维度上的空间位置坐标,并根据第一虚拟骨骼动作特征序列以及各个服装顶点在第一维度上的空间位置坐标,确定各个服装顶点在第二维度上的空间位置坐标;根据各个服装顶点在第一维度上的空间位置坐标,以及,各个服装顶点在第二维度上的空间位置坐标,确定目标虚拟服装中的各个服装顶点的预测空间位置坐标。本发明解决了无法准确预测虚拟服装的形变信息的技术问题。
Description
技术领域
本发明涉及计算机技术领域,具体而言,涉及一种虚拟服装的形变预测方法和装置、存储介质及电子设备。
背景技术
服装在装饰角色的过程中起了重要作用,尤其是具有复杂形变的宽松服装。例如舞蹈的角色中,裙子的飞舞、旋转和掉落等形变,能够帮助角色表达情感,展现角色的个性。很多交互式应用,例如虚拟现实(VR)和游戏都需要为角色穿上宽松服装。
模拟服装形变的方法可以分为两类:物理模拟和数据驱动的方法。物理模拟的方法可以生成真实高质量的服装动画,然而计算时间过长,对于较为复杂的衣物难以达到实时的运算速度。为了达到实时性,人们提出了许多数据驱动的方法来预测服装的形变,然而,大多数方法仅关注紧身服装,或者仅能预测静态姿势下的形变,而对于宽松服装的动态形变的预测结果鲁棒性较差。从而造成了无法准确预测虚拟服装的动态形变的技术问题。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种虚拟服装的形变预测方法和装置、存储介质及电子设备,以至少解决相关技术中无法准确预测虚拟服装的形变信息的技术问题。
根据本发明实施例的一个方面,提供了一种虚拟服装的形变预测方法,包括:获取目标虚拟对象的身体动作特征序列,并将目标虚拟对象的身体动作特征序列转化成第一虚拟骨骼动作特征序列,其中,第一虚拟骨骼动作特征序列用于确定在目标虚拟对象执行身体动作特征序列所表示的目标动作时,目标虚拟服装中的各个服装顶点的预测空间位置坐标,目标虚拟服装是穿在目标虚拟对象身上的虚拟服装;根据第一虚拟骨骼动作特征序列,确定各个服装顶点在第一维度上的空间位置坐标,并根据第一虚拟骨骼动作特征序列以及各个服装顶点在第一维度上的空间位置坐标,确定各个服装顶点在第二维度上的空间位置坐标,其中,在目标虚拟对象执行目标动作时,目标虚拟服装中的各个服装顶点的预测空间位置坐标被分解为各个服装顶点在第一维度上的空间位置坐标和各个服装顶点在第二维度上的空间位置坐标;根据各个服装顶点在第一维度上的空间位置坐标,以及,各个服装顶点在第二维度上的空间位置坐标,确定在目标虚拟对象执行目标动作时,目标虚拟服装中的各个服装顶点的预测空间位置坐标。
可选地,上述将目标虚拟对象的身体动作特征序列转化成第一虚拟骨骼动作特征序列,包括:在身体动作特征序列包括目标虚拟对象的身体平移特征以及N个身体骨骼旋转特征的情况下,将目标虚拟对象的身体平移特征以及N个身体骨骼旋转特征转化成第一虚拟骨骼动作特征序列,其中,N个身体骨骼旋转特征包括在目标虚拟对象执行目标动作时,目标虚拟对象的N个身体骨骼中的每个身体骨骼的旋转特征,第一虚拟骨骼动作特征序列包括M个第一虚拟骨骼平移特征以及M个第一虚拟骨骼旋转特征,M个第一虚拟骨骼平移特征包括在目标虚拟对象执行目标动作时,预设的M个虚拟骨骼中的每个虚拟骨骼的平移特征,M个第一虚拟骨骼旋转特征包括在目标虚拟对象执行目标动作时,预设的M个虚拟骨骼中的每个虚拟骨骼的旋转特征,N为大于或等于2的正整数,M为大于或等于2的正整数。
可选地,上述将目标虚拟对象的身体平移特征以及N个身体骨骼旋转特征转化成第一虚拟骨骼动作特征序列,包括:将目标虚拟对象的身体平移特征以及N个身体骨骼旋转特征输入到第一目标动作网络模型中的第一目标神经网络子模型,得到M个第一虚拟骨骼平移特征以及M个第一虚拟骨骼旋转特征,其中,第一目标动作网络模型用于根据身体动作特征序列,确定在目标虚拟对象按照第一模拟参数执行目标动作时,目标虚拟服装中的各个服装顶点的预测空间位置坐标,第一目标动作网络模型中的参数取值与第一模拟参数对应。
可选地,上述根据第一虚拟骨骼动作特征序列,确定各个服装顶点在第一维度上的空间位置坐标,包括:在第一虚拟骨骼动作特征序列包括M个第一虚拟骨骼平移特征以及M个第一虚拟骨骼旋转特征、且目标虚拟服装包括V个服装顶点的情况下,根据M个第一虚拟骨骼平移特征以及M个第一虚拟骨骼旋转特征,确定V个服装顶点在第一维度上的空间位置坐标;其中,M个第一虚拟骨骼平移特征包括在目标虚拟对象执行目标动作时,预设的M个虚拟骨骼中的每个虚拟骨骼的平移特征,M个第一虚拟骨骼旋转特征包括在目标虚拟对象执行目标动作时,预设的M个虚拟骨骼中的每个虚拟骨骼的旋转特征,M为大于或等于2的正整数,V为大于或等于2的正整数。
可选地,上述根据M个第一虚拟骨骼平移特征以及M个第一虚拟骨骼旋转特征,确定V个服装顶点在第一维度上的空间位置坐标,包括:利用线性混合蒙皮LBS算法,根据M个第一虚拟骨骼平移特征以及M个第一虚拟骨骼旋转特征,确定V个服装顶点在第一维度上的空间位置坐标,其中,M个第一虚拟骨骼平移特征以及M个第一虚拟骨骼旋转特征是LBS算法的输入参数,V个服装顶点在第一维度上的空间位置坐标是LBS算法的输出参数。
可选地,上述根据第一虚拟骨骼动作特征序列以及各个服装顶点在第一维度上的空间位置坐标,确定各个服装顶点在第二维度上的空间位置坐标,包括:将第一虚拟骨骼动作特征序列转化成服装顶点全局信息特征序列,其中,服装顶点全局信息特征序列包括各个服装顶点的全局信息特征;将各个服装顶点在第一维度上的空间位置坐标转化为服装顶点局部信息特征序列,其中,服装顶点局部信息特征序列包括各个服装顶点的局部信息特征;根据服装顶点全局信息特征序列和服装顶点局部信息特征序列,确定各个服装顶点在第二维度上的空间位置坐标。
可选地,上述将第一虚拟骨骼动作特征序列转化成服装顶点全局信息特征序列,包括:
将第一虚拟骨骼动作特征序列输入到第一目标动作网络模型中的第二目标神经网络子模型,得到服装顶点全局信息特征序列,其中,第一目标动作网络模型用于根据身体动作特征序列,确定在目标虚拟对象按照第一模拟参数执行目标动作时,目标虚拟服装中的各个服装顶点的预测空间位置坐标,第一目标动作网络模型中的参数取值与第一模拟参数对应。
可选地,上述将各个服装顶点在第一维度上的空间位置坐标转化为服装顶点局部信息特征序列,包括:在目标虚拟服装包括V个服装顶点的情况下,将V个服装顶点在第一维度上的空间位置坐标输入到第一目标动作网络模型中的第三目标神经网络子模型,得到服装顶点局部信息特征序列,其中,第一目标动作网络模型用于根据身体动作特征序列,确定在目标虚拟对象按照第一模拟参数执行目标动作时,V个服装顶点的预测空间位置坐标,第一目标动作网络模型中的参数取值与第一模拟参数对应,V为大于或等于2的正整数。
可选地,根据上述根据服装顶点全局信息特征序列和服装顶点局部信息特征序列,确定各个服装顶点在第二维度上的空间位置坐标,包括:将服装顶点全局信息特征序列与服装顶点局部信息特征序列进行拼接,得到第一拼接特征向量;将第一拼接特征向量输入到第一目标动作网络模型中的第一多层神经网络MLP结构,得到第一MLP结构输出的各个服装顶点在第二维度上的空间位置坐标,其中,第一目标动作网络模型用于根据身体动作特征序列,确定在目标虚拟对象按照第一模拟参数执行目标动作时,各个服装顶点的预测空间位置坐标,第一目标动作网络模型中的参数取值与第一模拟参数对应。
可选地,上述根据各个服装顶点在第一维度上的空间位置坐标,以及,各个服装顶点在第二维度上的空间位置坐标,确定在目标虚拟对象执行目标动作时,目标虚拟服装中的各个服装顶点的预测空间位置坐标,包括:在目标虚拟服装包括V个服装顶点的情况下,将V个服装顶点在第一维度上的空间位置坐标与V个服装顶点在第二维度上的空间位置坐标进行相加,得到V个服装顶点的第一预测空间位置坐标,其中,V为大于或等于2的正整数;根据V个服装顶点的第一预测空间位置坐标,确定在目标虚拟对象执行目标动作时,V个服装顶点的预测空间位置坐标。
可选地,上述将V个服装顶点在第一维度上的空间位置坐标与V个服装顶点在第二维度上的空间位置坐标进行相加,得到V个服装顶点的第一预测空间位置坐标,包括:在第一目标动作网络模型中将V个服装顶点在第一维度上的空间位置坐标与V个服装顶点在第二维度上的空间位置坐标进行相加,得到V个服装顶点的第一预测空间位置坐标,其中,第一目标动作网络模型用于根据身体动作特征序列,确定在目标虚拟对象按照第一模拟参数执行目标动作时,目标虚拟服装中的V个服装顶点的第一预测空间位置坐标,第一目标动作网络模型中的参数取值与第一模拟参数对应。
可选地,上述根据V个服装顶点的第一预测空间位置坐标,确定在目标虚拟对象执行目标动作时,V个服装顶点的预测空间位置坐标,包括:将V个服装顶点中的各个服装顶点的K个预测空间位置坐标进行加权求和,得到在目标虚拟对象执行目标动作时的V个服装顶点的预测空间位置坐标;其中,K为大于或等于2的正整数,K个预测空间位置坐标包括第一预测空间位置坐标,V个服装顶点中的各个服装顶点的每个预测空间位置坐标是通过K个目标动作网络模型中对应的一个目标动作网络模型根据身体动作特征序列确定的预测空间位置,K个目标动作网络模型与K个模拟参数分别对应,K个模拟参数包括第一模拟参数,K个目标动作网络模型中的每个目标动作网络模型用于根据身体动作特征序列,确定在目标虚拟对象按照K个模拟参数中对应的模拟参数执行目标动作时,V个服装顶点的预测空间位置坐标。
可选地,上述将V个服装顶点中的各个服装顶点的K个预测空间位置坐标进行加权求和,包括:将V个服装顶点中的各个服装顶点的K个预测空间位置坐标分别与K个权重值进行加权求和,其中,K个权重值与K个模拟参数分别对应,K个权重值中的每个权重值是根据K个模拟参数中对应的模拟参数确定得到的权重值。
根据本发明实施例的另一方面,还提供了一种虚拟服装的形变预测装置,包括:第一处理单元,用于获取目标虚拟对象的身体动作特征序列,并将目标虚拟对象的身体动作特征序列转化成第一虚拟骨骼动作特征序列,其中,第一虚拟骨骼动作特征序列用于确定在目标虚拟对象执行身体动作特征序列所表示的目标动作时,目标虚拟服装中的各个服装顶点的预测空间位置坐标,目标虚拟服装是穿在目标虚拟对象身上的虚拟服装;第二处理单元,用于根据第一虚拟骨骼动作特征序列,确定各个服装顶点在第一维度上的空间位置坐标,并根据第一虚拟骨骼动作特征序列以及各个服装顶点在第一维度上的空间位置坐标,确定各个服装顶点在第二维度上的空间位置坐标,其中,在目标虚拟对象执行目标动作时,目标虚拟服装中的各个服装顶点的预测空间位置坐标被分解为各个服装顶点在第一维度上的空间位置坐标和各个服装顶点在第二维度上的空间位置坐标;第三处理单元,用于根据各个服装顶点在第一维度上的空间位置坐标,以及,各个服装顶点在第二维度上的空间位置坐标,确定在目标虚拟对象执行目标动作时,目标虚拟服装中的各个服装顶点的预测空间位置坐标。
根据本发明实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述虚拟服装的形变预测方法。
根据本发明实施例的又一方面,还提供了一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现上述方法的步骤。
根据本发明实施例的又一方面,还提供了一种电子设备,包括存储器和处理器,上述存储器中存储有计算机程序,上述处理器被设置为通过计算机程序执行上述虚拟服装的形变预测方法。
在本发明实施例中,基于虚拟骨骼,对目标虚拟对象上的虚拟服装进行形变预测,其中,将目标虚拟对象的身体动作序列转化成第一虚拟骨骼动作序列,并根据第一虚拟骨骼动作序列,确定虚拟服装上的各个服装顶点的低频形变信息(例如,各个服装顶点在第一维度上的空间位置坐标),然后,根据虚拟服装上的各个服装顶顶的低频形变信息以及第一虚拟骨骼动作序列,预测虚拟服装上的各个服装顶点的高频形变信息(例如,各个服装顶点在第二维度上的空间位置坐标),然后将各个服装顶点的低频形变信息和高频形变信息进行结合,得到在目标虚拟对象执行目标动作时,虚拟服装上的各个服装顶点的预测空间位置坐标,即,得到了虚拟服装的形变信息。通过上述方式,可以预测得到目标虚拟对象执行不同动作时的虚拟服装的形变信息,即本申请实施例提出的方案可以适用于不同动作,包括幅度较大的动作,增加了方案的适用性。进一步,在目标虚拟对象执行每个动作时,根据虚拟骨骼动作序列,分别确定低频形变信息和高频形变信息,然后根据低频形变信息和高频形变信息,确定虚拟服装的形变信息,这样使得得到的虚拟服装的形变信息包含更为准确的细节信息,例如,虚拟对象摆动时产生的虚拟服装的褶皱,解决了相关技术中无法准确预测虚拟服装的形变信息的技术问题,提高了预测虚拟服装的形变信息的准确性。
进一步,在本申请实施例中,对于相同动作,可以使用与不同模拟参数对应的动作网络,得到虚拟服装上的各个服装顶点的不同预测空间位置坐标(即,得到了虚拟服装的形变信息),然后将各个服装顶点的不同预测空间位置坐标拟合成各个服装顶点的预测空间位置坐标,进一步提高了预测虚拟服装的形变信息的准确性。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种可选的虚拟服装的形变预测方法的应用场景的示意图;
图2是根据本发明实施例的一种可选的虚拟服装的形变预测方法的流程图;
图3是根据本发明实施例的另一种可选的虚拟服装的形变预测方法的示意图;
图4是根据本发明实施例的又一种可选的虚拟服装的形变预测方法的示意图;
图5是根据本发明实施例的一种可选的动作网络模型的训练过程的示意图;
图6是一种可选的本发明实施例的预测结果与真实结果的对比示意图;
图7是图6对应的线条化示意图;
图8是根据本发明实施例的一种可选的不同模拟参数下的预测结果的示意图;
图9是图8对应的线条化示意图;
图10是一种可选的本发明实施例的预测结果、其他方案的预测结果与真实结果的对比示意图;
图11是图10对应的线条化示意图;
图12是另一种可选的本发明实施例的预测结果、其他方案的预测结果与真实结果的对比示意图;
图13是图12对应的线条化示意图;
图14是根据本发明实施例的一种可选的虚拟服装的形变预测装置的结构示意图;
图15是根据本发明实施例的一种可选的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了便于描述和理解本申请的各个实施例,现对本申请实施例所保护的方案中涉及到的一些术语进行描述:
蒙皮(skinning)和蒙皮分解(skin decomposition):蒙皮是三维动画的一种制作技术,在三维软件中创建的模型基础上,为模型添加骨骼并使用一定的蒙皮权重将两者相互联系起来,从而使用骨骼来驱动模型动画。蒙皮分解就是从一段模型动画中提取出对应骨骼和蒙皮权重的技术。
虚拟骨骼(virtual bones):使用蒙皮分解从模拟数据集中提取到的一组骨骼,这些骨骼使用蒙皮技术驱动服装的动画。
动作网络(motion network):一个神经网络,输入身体的动作,输出服装的网格。该网络由两个部分组成,低频部分和高频部分:低频部分使用一个神经网络将身体动作转化为虚拟骨骼的动作,并使用对应的蒙皮技术生成低频网格,高频部分的输入由虚拟骨骼和低频网格组成,生成高频的网格。低频网格和高频网格相加得到最终的结果。
模拟参数(simulation parameters):物理模拟中物体的物理参数,例如弯曲强度、剪切强度等;以及模拟器的参数,例如时间步长、重力大小等。
可以理解的是,上述术语的描述只是一种参考的示例。
根据本发明实施例的一个方面,提供了一种虚拟服装的形变预测方法。作为一种可选的实施方式,上述虚拟服装的形变预测方法可以但不限于应用于如图1所示的应用场景。在如图1所示的应用场景中,终端设备102可以但不限于通过网络104与服务器106进行通信,服务器106可以但不限于对数据库108执行操作,例如,写数据操作或读数据操作。上述终端设备102可以但不限包括人机交互屏幕、处理器及存储器。上述人机交互屏幕可以但不限于用于显示根据上述虚拟服装的形变预测方法得到的各个服装顶点的预测空间位置坐标,对发生形变后的虚拟服装进行渲染的结果(例如,虚拟舞蹈演员旋转后发生形变的裙子、虚拟运动员跳跃后发生形变的服装等)。上述处理器可以但不限于用于响应上述人机交互操作,执行对应的操作,或者,生成对应的指令,并将生成的指令发送给服务器106。上述存储器用于存储相关的数据,如目标虚拟对象的身体动作特征序列、第一虚拟骨骼动作特征序列、第一维度上的空间位置坐标等。上述终端设备102包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端等。
作为一种可选的方式,可以在服务器106上执行虚拟服装的形变预测方法中的以下步骤:步骤S102,获取目标虚拟对象的身体动作特征序列,并将目标虚拟对象的身体动作特征序列转化成第一虚拟骨骼动作特征序列,其中,第一虚拟骨骼动作特征序列用于确定在目标虚拟对象执行身体动作特征序列所表示的目标动作时,目标虚拟服装中的各个服装顶点的预测空间位置坐标,目标虚拟服装是穿在目标虚拟对象身上的虚拟服装;步骤S104,根据第一虚拟骨骼动作特征序列,确定各个服装顶点在第一维度上的空间位置坐标,并根据第一虚拟骨骼动作特征序列以及各个服装顶点在第一维度上的空间位置坐标,确定各个服装顶点在第二维度上的空间位置坐标,其中,在目标虚拟对象执行目标动作时,目标虚拟服装中的各个服装顶点的预测空间位置坐标被分解为各个服装顶点在第一维度上的空间位置坐标和各个服装顶点在第二维度上的空间位置坐标;步骤S106,根据各个服装顶点在第一维度上的空间位置坐标,以及,各个服装顶点在第二维度上的空间位置坐标,确定在目标虚拟对象执行目标动作时,目标虚拟服装中的各个服装顶点的预测空间位置坐标。上述仅是一种示例,本实施例中对此不作任何限定。
作为一种可选的示例,本实施例对上述步骤S102至S106的执行主体不做限定,例如,上述步骤S102至S106都可以在终端设备102上执行,也都可以在服务器106上执行,或者,可以部分在终端设备102上执行,部分在与终端设备102通信的运算服务器上执行。
通过上述方式,基于虚拟骨骼,对目标虚拟对象上的虚拟服装进行形变预测,其中,将目标虚拟对象的身体动作序列转化成第一虚拟骨骼动作序列,并根据第一虚拟骨骼动作序列,确定虚拟服装上的各个服装顶点的低频形变信息(例如,各个服装顶点在第一维度上的空间位置坐标),然后,根据虚拟服装上的各个服装顶顶的低频形变信息以及第一虚拟骨骼动作序列,预测虚拟服装上的各个服装顶点的高频形变信息(例如,各个服装顶点在第二维度上的空间位置坐标),然后将各个服装顶点的低频形变信息和高频形变信息进行结合,得到在目标虚拟对象执行目标动作时,虚拟服装上的各个服装顶点的预测空间位置坐标,即,得到了虚拟服装的形变信息。通过上述方式,可以预测得到目标虚拟对象执行不同动作时的虚拟服装的形变信息,即本申请实施例提出的方案可以适用于不同动作,包括幅度较大的动作,增加了方案的适用性。进一步,在目标虚拟对象执行每个动作时,根据虚拟骨骼动作序列,分别确定低频形变信息和高频形变信息,然后根据低频形变信息和高频形变信息,确定虚拟服装的形变信息,这样使得得到的虚拟服装的形变信息包含更为准确的细节信息,例如,虚拟对象摆动时产生的虚拟服装的褶皱,解决了相关技术中无法准确预测虚拟服装的形变信息的技术问题,提高了预测虚拟服装的形变信息的准确性。
根据本发明实施例的一个方面,提供了一种虚拟服装的形变预测方法,图2是根据本发明实施例的虚拟服装的形变预测方法的流程图,该流程包括如下步骤:
步骤S202,获取目标虚拟对象的身体动作特征序列,并将目标虚拟对象的身体动作特征序列转化成第一虚拟骨骼动作特征序列,其中,第一虚拟骨骼动作特征序列用于确定在目标虚拟对象执行身体动作特征序列所表示的目标动作时,目标虚拟服装中的各个服装顶点的预测空间位置坐标,目标虚拟服装是穿在目标虚拟对象身上的虚拟服装。
作为一种可选的应用场景,上述目标虚拟对象可以但不限于是游戏中的虚拟角色,或者,虚拟现实(VR)应用或者增强现实(AR)应用中的虚拟角色。作为一种可选的应用场景,上述目标虚拟对象执行的目标动作可以但不限于是穿戴了目标虚拟服装的目标虚拟角色执行的动作,例如,舞动动作,竞技动作等。
作为另一种可选的应用场景,上述目标虚拟对象可以但不限于是直播中的虚拟人或数字人。上述目标虚拟对象执行的目标动作可以但不限于是穿戴了目标虚拟服装的目标数字人执行的动作,例如,为了展示目标虚拟服装的上身效果的旋转、弯腰等动作。
作为一种可选的示例,可以从数据库或者网站或者应用中提取虚拟对象的图像帧集合,其中,图像帧集合包括多个图像帧子集,每个图像帧子集用于展示虚拟对象的一个身体动作;然后,根据每个图像帧子集,提取虚拟对象的一个身体动作对应的身体动作特征序列。可选的,上述每个图像帧子集可以但不限于是一个视频中的连续多帧或者不全部连续的多帧。
作为另一种可选的示例,还可以通过其他方式来获取虚拟对象的身体动作特征序列,例如,可以通过动画生成软件,编辑虚拟对象执行的动作,然后根据该虚拟对象的动作参数,确定该虚拟对象的身体动作特征序列。
作为一种可选的示例,上述身体动作特征序列可以但不限于包括目标虚拟对象的身体平移特征和各个身体骨骼的身体骨骼旋转特征,如下所示:
其中,Mb表示上述身体动作特征序列,Tb表示目标虚拟对象的身体平移特征,表示目标虚拟对象的N个身体骨骼的身体骨骼旋转特征,N表示目标虚拟对象的身体骨骼的数量,N为大于或等于2的正整数。可选的,N的取值是预先设置的。
可选的,Tb可以但不限于包括3个坐标差值,例如,目标虚拟对象执行目标动作前的空间坐标为(X1,Y1,Z1),目标虚拟对象执行目标动作后的空间坐标为(X2,Y2,Z2),则Tb={(X2-X1),(Y2-Y1),(Z2-Z1)}。上述使用3个坐标差值表示Tb,只是一种示例,本申请实施例对此不做限定,还可以根据不同的场景采用不同的参数或者不同的参数取值来表示上述Tb。
可选的,可以但不限于包括3个旋转角度,其中,1≤i≤N,例如,目标虚拟对象执行目标动作前的空间坐标为(X1,Y1,Z1),目标虚拟对象执行目标动作后的空间坐标为(X2,Y2,Z2),这样,在目标虚拟对象执行了目标动作的情况下,目标虚拟对象在XY平面,XZ平面以及YZ平面分别旋转的角度为α1,α2,α3,因此,上述使用3个旋转角度表示只是一种示例,本申请实施例对此不做限定,还可以根据不同的场景采用不同的参数或者不同的参数取值来表示上述
作为一种可选的示例,上述第一虚拟骨骼动作特征序列可以但不限于包括M个第一虚拟骨骼平移特征以及M个第一虚拟骨骼旋转特征,所述M个第一虚拟骨骼平移特征包括在所述目标虚拟对象执行所述目标动作时,预设的M个虚拟骨骼中的每个虚拟骨骼的平移特征,所述M个第一虚拟骨骼旋转特征包括在所述目标虚拟对象执行所述目标动作时,预设的所述M个虚拟骨骼中的每个虚拟骨骼的旋转特征,M为大于或等于2的正整数。
可选的,上述第一虚拟骨骼动作特征序列如下所示:
其中,Mv表示上述第一虚拟骨骼动作特征序列,表示M个第一虚拟骨骼平移特征,表示M个第一虚拟骨骼旋转特征,M表示虚拟骨骼的数量,M为大于或等于2的正整数。可选的,M的取值是预先设置的,例如,M=60,或,80,100。
可选的,可以但不限于包括3个坐标差值,其中,1≤i≤M,具体的示例可以参照上述Tb,在此不再赘述。上述使用3个坐标差值表示只是一种示例,本申请实施例对此不做限定,还可以根据不同的场景采用不同的参数或者不同的参数取值来表示上述
可选的,可以但不限于包括3个旋转角度,其中,1≤i≤M,具体的示例可以参照上述在此不再赘述。上述使用3个旋转角度表示只是一种示例,本申请实施例对此不做限定,还可以根据不同的场景采用不同的参数或者不同的参数取值来表示上述
步骤S204,根据第一虚拟骨骼动作特征序列,确定各个服装顶点在第一维度上的空间位置坐标,并根据第一虚拟骨骼动作特征序列以及各个服装顶点在第一维度上的空间位置坐标,确定各个服装顶点在第二维度上的空间位置坐标,其中,在目标虚拟对象执行目标动作时,目标虚拟服装中的各个服装顶点的预测空间位置坐标被分解为各个服装顶点在第一维度上的空间位置坐标和各个服装顶点在第二维度上的空间位置坐标。
作为一种可选的示例,上述第一维度可以但不限于为低频维度,上述第二维度可以但不限于为高频维度。可选地,各个服装顶点在第二维度上的空间位置坐标所表示的目标虚拟服装的形变细节信息高于各个服装顶点在所述第一维度上的空间位置坐标所表示的目标虚拟服装的形变细节信息。
为例便于理解,各个服装顶点在第一维度上的空间位置坐标对应较粗略的形变信息,各个服装顶点在第二维度上的空间位置坐标对应较细节的形变信息。
举例来说,如图10所示,在本申请实施例的方案所对应的展示效果中,上面的裙身的形变信息相比于下面的裙摆的形变信息较为粗略,即,下面的裙摆的形变信息中的细节信息较多。这样,上面的裙身的形变信息可以由裙身对应的服装顶点在第一维度上的空间位置坐标和在第二维度上的空间位置坐标共同确定得到,其中,在第一维度上的空间位置坐标对于展示效果的贡献权重大于在第二维度上的空间位置坐标对于展示效果的贡献权重,这是因为裙身上的形变信息中细节信息较少。相应的,上面的裙摆的形变信息可以由裙摆对应的服装顶点在第一维度上的空间位置坐标和在第二维度上的空间位置坐标共同确定得到,其中,在第一维度上的空间位置坐标对于展示效果的贡献权重小于在第二维度上的空间位置坐标对于展示效果的贡献权重,这是因为裙摆上的形变信息中细节信息较少。
换句话说,目标虚拟服装的形变信息中的细节信息可以更多地由目标虚拟服装的各个服装顶点在第二维度上的空间位置坐标表示,目标虚拟服装的形变信息中的粗略信息可以更多地由目标虚拟服装的各个服装顶点在第一维度上的空间位置坐标表示。
作为一种可选的示例,各个服装顶点在第一维度上的空间位置坐标可以由如图3或图4中的GLF表示,相应地,各个服装顶点在第二维度上的空间位置坐标可以由如图3或图4中的GHF表示。后续会结合附图3和附图4详细地描述确定GLF和GHF的步骤。
在上述步骤,可以基于虚拟骨骼的虚拟骨骼动作特征序列,确定各个服装顶点在低频维度上的空间位置坐标,并根据各个服装顶点在低频维度上的空间位置坐标以及虚拟骨骼动作特征序列,预测各个服装顶点在高频维度上的空间位置坐标,从而根据各个服装顶点在低频维度上的空间位置坐标和各个服装顶点在高频维度上的空间位置坐标,得到较为准确的各个服装顶点的预测空间位置坐标。
步骤S206,根据各个服装顶点在第一维度上的空间位置坐标,以及,各个服装顶点在第二维度上的空间位置坐标,确定在目标虚拟对象执行目标动作时,目标虚拟服装中的各个服装顶点的预测空间位置坐标。
作为一种可选的示例,通过上述步骤所示的方式可以预测得到多帧中的目标虚拟服装中的各个服装顶点的空间位置坐标,例如,可以得到目标虚拟服装的预测服装顶点位置坐标序列G{1,2,...,t}∈Rt×V×3,其中,t为目标动作对应的帧数,V为目标虚拟服装的服装顶点的数量(或称为服装网格顶点数),t为大于或等于2的正整数,V为大于或等于2的正整数,上述的“3”表示3个坐标(X轴的坐标,Y轴的坐标以及Z轴的坐标)。换句话说,假设目标虚拟服装的服装顶点的数量为V,在目标虚拟对象执行目标动作时,需要通过t帧来展示执行目标动作的过程,这样,可以获取t帧中的每帧对应的身体动作特征序列Mb,即,共得到t个Mb,然后针对每个Mb,分别执行上述步骤,得到t个位置坐标序列,每个位置坐标序列包括V个服装顶点的预测空间位置坐标(每个预测空间位置坐标包括上述3个坐标),这样可以将上述t个位置坐标序列组合成目标虚拟服装的预测服装顶点位置坐标序列G{1,2,...,t}∈Rt×v×3。
通过上述方式,基于虚拟骨骼,对目标虚拟对象上的虚拟服装进行形变预测,其中,将目标虚拟对象的身体动作序列转化成第一虚拟骨骼动作序列,并根据第一虚拟骨骼动作序列,确定虚拟服装上的各个服装顶点的低频形变信息(例如,各个服装顶点在第一维度上的空间位置坐标),然后,根据虚拟服装上的各个服装顶顶的低频形变信息以及第一虚拟骨骼动作序列,预测虚拟服装上的各个服装顶点的高频形变信息(例如,各个服装顶点在第二维度上的空间位置坐标),然后将各个服装顶点的低频形变信息和高频形变信息进行结合,得到在目标虚拟对象执行目标动作时,虚拟服装上的各个服装顶点的预测空间位置坐标,即,得到了虚拟服装的形变信息。通过上述方式,可以预测得到目标虚拟对象执行不同动作时的虚拟服装的形变信息,即本申请实施例提出的方案可以适用于不同动作,包括幅度较大的动作,增加了方案的适用性。进一步,在目标虚拟对象执行每个动作时,根据虚拟骨骼动作序列,分别确定低频形变信息和高频形变信息,然后根据低频形变信息和高频形变信息,确定虚拟服装的形变信息,这样使得得到的虚拟服装的形变信息包含更为准确的细节信息,例如,虚拟对象摆动时产生的虚拟服装的褶皱,解决了相关技术中无法准确预测虚拟服装的形变信息的技术问题,提高了预测虚拟服装的形变信息的准确性。
作为一种可选的示例,上述将目标虚拟对象的身体动作特征序列转化成第一虚拟骨骼动作特征序列,包括:
在身体动作特征序列包括目标虚拟对象的身体平移特征以及N个身体骨骼旋转特征的情况下,将目标虚拟对象的身体平移特征以及N个身体骨骼旋转特征转化成第一虚拟骨骼动作特征序列,其中,N个身体骨骼旋转特征包括在目标虚拟对象执行目标动作时,目标虚拟对象的N个身体骨骼中的每个身体骨骼的旋转特征,第一虚拟骨骼动作特征序列包括M个第一虚拟骨骼平移特征以及M个第一虚拟骨骼旋转特征,M个第一虚拟骨骼平移特征包括在目标虚拟对象执行目标动作时,预设的M个虚拟骨骼中的每个虚拟骨骼的平移特征,M个第一虚拟骨骼旋转特征包括在目标虚拟对象执行目标动作时,预设的M个虚拟骨骼中的每个虚拟骨骼的旋转特征,N为大于或等于2的正整数,M为大于或等于2的正整数。
下面结合附图3和图4,描述获取第一虚拟骨骼动作特征序列的过程。
如前述所提到的,作为一种可选的示例,上述身体动作特征序列可以但不限于包括目标虚拟对象的身体平移特征和各个身体骨骼的身体骨骼旋转特征,如下所示:
其中,Mb表示上述身体动作特征序列,Tb表示目标虚拟对象的身体平移特征,表示目标虚拟对象的N个身体骨骼的身体骨骼旋转特征,N表示目标虚拟对象的身体骨骼的数量,N为大于或等于2的正整数。可选的,N的取值是预先设置的。
可选的,上述第一虚拟骨骼动作特征序列如下所示:
其中,Mv表示上述第一虚拟骨骼动作特征序列,表示M个第一虚拟骨骼平移特征,表示M个第一虚拟骨骼旋转特征,M表示虚拟骨骼的数量,M为大于或等于2的正整数。可选的,M的取值是预先设置的,例如,M=60,或,80,100。
作为一种可选的实现方式,上述将目标虚拟对象的身体平移特征以及N个身体骨骼旋转特征转化成第一虚拟骨骼动作特征序列,包括:
将目标虚拟对象的身体平移特征以及N个身体骨骼旋转特征输入到第一目标动作网络模型中的第一目标神经网络子模型,得到M个第一虚拟骨骼平移特征以及M个第一虚拟骨骼旋转特征,其中,第一目标动作网络模型用于根据身体动作特征序列,确定在目标虚拟对象按照第一模拟参数执行目标动作时,目标虚拟服装中的各个服装顶点的预测空间位置坐标,第一目标动作网络模型中的参数取值与第一模拟参数对应。
如图3和图4所示,在动作网络模型1中,可以通过循环神经网络模型(例如,GatedRecurrent Unit,简称为GRU网络模型,或称为,门控循环网络模型),将身体动作特征序列Mb转化为第一虚拟骨骼动作特征序列Mv。
可选地,图3和图4中的动作网络模型1可以为上述的第一目标动作网络模型,图3和图4中左侧的GRU网络模型可以为上述的第一目标神经网络子模型。作为一种可选的示例,后续会结合附图对第一目标神经网络子模型的训练过程进行描述,例如,图5中所示的训练过程。
作为一种可选的示例,上述第一目标神经网络子模型的训练过程可以采用的损失函数可以但不限于如下所示:
作为一种可选的示例,GRU网络模型中的特征维度可以但不限于为Q1维,其中,Q1为大于或等于2的正整数,例如,Q=400,或600,或800。
本申请实施例中,采用GRU网络模型将身体动作特征序列Mb转化为第一虚拟骨骼动作特征序列Mv,这只是一种示例,本申请实施例对此不做限定,还可以根据不同的场景选择对应的神经网络模型,将身体动作特征序列Mb转化为第一虚拟骨骼动作特征序列Mv。
作为一种可选的示例,上述根据第一虚拟骨骼动作特征序列,确定各个服装顶点在第一维度上的空间位置坐标,包括:
在第一虚拟骨骼动作特征序列包括M个第一虚拟骨骼平移特征以及M个第一虚拟骨骼旋转特征、且目标虚拟服装包括V个服装顶点的情况下,根据M个第一虚拟骨骼平移特征以及M个第一虚拟骨骼旋转特征,确定V个服装顶点在第一维度上的空间位置坐标;
其中,M个第一虚拟骨骼平移特征包括在目标虚拟对象执行目标动作时,预设的M个虚拟骨骼中的每个虚拟骨骼的平移特征,M个第一虚拟骨骼旋转特征包括在目标虚拟对象执行目标动作时,预设的M个虚拟骨骼中的每个虚拟骨骼的旋转特征,M为大于或等于2的正整数,V为大于或等于2的正整数。
如图3和图4所示,可以但不限于使用线性混合蒙皮算法(LBS,Linear BlendingSkinning)对第一虚拟骨骼动作特征序列Mv进行处理,得到各个服装顶点在第一维度上的空间位置坐标GLF,即,
GLF=LBS(Mv)
作为一种可选地示例,上述根据M个第一虚拟骨骼平移特征以及M个第一虚拟骨骼旋转特征,确定V个服装顶点在第一维度上的空间位置坐标,包括:
利用线性混合蒙皮LBS算法,根据M个第一虚拟骨骼平移特征以及M个第一虚拟骨骼旋转特征,确定V个服装顶点在第一维度上的空间位置坐标,其中,M个第一虚拟骨骼平移特征以及M个第一虚拟骨骼旋转特征是LBS算法的输入参数,V个服装顶点在第一维度上的空间位置坐标是LBS算法的输出参数。
可选地,在目标虚拟服装包括V个服装顶点的情况下,GLF可以包括维度V×3的特征序列,其中,维度V×3的特征序列包括V个特征,每个特征包括3个坐标(X轴的坐标,Y轴的坐标以及Z轴的坐标)。
在本申请实施例中,采用LBS算法确定各个服装顶点在第一维度上的空间位置坐标,这只是一种示例,本申请实施例对此不做限定,还可以根据不同的场景选择对应的蒙皮算法或其他类型的算法,确定各个服装顶点在第一维度上的空间位置坐标。
可选的,上述各个服装顶点在第一维度上的空间位置坐标GLF以及第一虚拟骨骼动作特征序列Mv可以进一步用于预测各个服装顶点在第二维度上的空间位置坐标GHF。下面将结合附图3和附图4进一步描述确定GHF的过程。
作为一种可选地示例,上述根据第一虚拟骨骼动作特征序列以及各个服装顶点在第一维度上的空间位置坐标,确定各个服装顶点在第二维度上的空间位置坐标,包括:
将第一虚拟骨骼动作特征序列转化成服装顶点全局信息特征序列,其中,服装顶点全局信息特征序列包括各个服装顶点的全局信息特征;
将各个服装顶点在第一维度上的空间位置坐标转化为服装顶点局部信息特征序列,其中,服装顶点局部信息特征序列包括各个服装顶点的局部信息特征;
根据服装顶点全局信息特征序列和服装顶点局部信息特征序列,确定各个服装顶点在第二维度上的空间位置坐标。
如图3和图4所示,fglobal表示上述服装顶点全局信息特征序列,flocal表示上述服装顶点局部信息特征序列。
在动作网络模型1中,可以通过循环神经网络模型(例如,Gated Recurrent Unit,简称为GRU网络模型,或称为,门控循环网络模型),将第一虚拟骨骼动作特征序列Mv转化成服装顶点全局信息特征序列fglobal。
作为一种可选地示例,上述将第一虚拟骨骼动作特征序列转化成服装顶点全局信息特征序列,包括:
将第一虚拟骨骼动作特征序列输入到第一目标动作网络模型中的第二目标神经网络子模型,得到服装顶点全局信息特征序列,其中,第一目标动作网络模型用于根据身体动作特征序列,确定在目标虚拟对象按照第一模拟参数执行目标动作时,目标虚拟服装中的各个服装顶点的预测空间位置坐标,第一目标动作网络模型中的参数取值与第一模拟参数对应。
可选地,图3和图4中的动作网络模型1可以为上述的第一目标动作网络模型,图3和图4中中间的GRU网络模型可以为上述的第二目标神经网络子模型。作为一种可选的示例,后续会结合附图对第一目标神经网络子模型的训练过程进行描述,例如,图5中所示的训练过程。
作为一种可选的示例,作为第二目标神经网络子模型的GRU网络模型中的特征维度可以但不限于为Q2维,其中,Q2为大于或等于2的正整数,例如,Q=400,或600,或800。该GRU网络模型在训练的时候使用的损失函数可以但不限于是预测的服装顶点的位置和实际结果(或称模拟结果)中的服装顶点的位置之间的位置差。
本申请实施例中,采用GRU网络模型将第一虚拟骨骼动作特征序列Mv转化成服装顶点全局信息特征序列fglobal,这只是一种示例,本申请实施例对此不做限定,还可以根据不同的场景选择对应的神经网络模型,将第一虚拟骨骼动作特征序列Mv转化成服装顶点全局信息特征序列fglobal。
作为一种可选的示例,在目标虚拟服装包括V个服装顶点的情况下,fglobal可以包括维度V×P1的特征序列,其中,维度V×P1的特征序列包括V个特征,每个特征包括P1个参数取值,即,P1个参数取值用于表征服装顶点的全局信息。可选的,P1为大于或等于2的正整数。
进一步,在动作网络模型1中,可以通过图神经网络模型(Graph Neural Network,简称为GNN模型,或,GNN网络模型)将各个服装顶点在第一维度上的空间位置坐标GLF转化为服装顶点局部信息特征序列flocal。
作为一种可选地示例,上述实施例中将各个服装顶点在第一维度上的空间位置坐标转化为服装顶点局部信息特征序列,包括:
在目标虚拟服装包括V个服装顶点的情况下,将V个服装顶点在第一维度上的空间位置坐标输入到第一目标动作网络模型中的第三目标神经网络子模型,得到服装顶点局部信息特征序列,其中,第一目标动作网络模型用于根据身体动作特征序列,确定在目标虚拟对象按照第一模拟参数执行目标动作时,V个服装顶点的预测空间位置坐标,第一目标动作网络模型中的参数取值与第一模拟参数对应,V为大于或等于2的正整数。
可选地,图3和图4中的动作网络模型1可以为上述的第一目标动作网络模型,图3和图4中中间的GNN网络模型可以为上述的第三目标神经网络子模型。作为一种可选的示例,后续会结合附图对第一目标神经网络子模型的训练过程进行描述,例如,图5中所示的训练过程。
作为一种可选的示例,作为第三目标神经网络子模型的上述GNN网络模型可以但不限于采用三层EdgeConv图神经网络,每一层的维度分别为[6,8,10]。该GNN网络模型在训练的时候使用的损失函数可以但不限于是预测的服装顶点的位置和实际结果(或称模拟结果)中的服装顶点的位置之间的位置差。
本申请实施例中,采用GNN网络模型将各个服装顶点在第一维度上的空间位置坐标GLF转化为服装顶点局部信息特征序列flocal,这只是一种示例,本申请实施例对此不做限定,还可以根据不同的场景选择对应的图神经网络模型或其他类型的神经网络模型,将各个服装顶点在第一维度上的空间位置坐标GLF转化为服装顶点局部信息特征序列flocal。
作为一种可选的示例,在目标虚拟服装包括V个服装顶点的情况下,flocal可以包括维度V×P2的特征序列,其中,维度V×P2的特征序列包括V个特征,每个特征包括P2个参数取值,即,P2个参数取值用于表征服装顶点的局部信息。可选的,P2为大于或等于2的正整数。
作为一种可选的示例,根据上述根据服装顶点全局信息特征序列和服装顶点局部信息特征序列,确定各个服装顶点在第二维度上的空间位置坐标,包括:
将服装顶点全局信息特征序列与服装顶点局部信息特征序列进行拼接,得到第一拼接特征向量;
将第一拼接特征向量输入到第一目标动作网络模型中的第一多层神经网络MLP(Multi Layer Perceptron)结构,得到第一MLP结构输出的各个服装顶点在第二维度上的空间位置坐标,其中,第一目标动作网络模型用于根据身体动作特征序列,确定在目标虚拟对象按照第一模拟参数执行目标动作时,各个服装顶点的预测空间位置坐标,第一目标动作网络模型中的参数取值与第一模拟参数对应。
如图3和图4所示,在动作网络模型1中,可以通过MLP结构将上述服装顶点全局信息特征序列与服装顶点局部信息特征序列转化成各个服装顶点在第二维度上的空间位置坐标GHF。
本申请实施例中,采用MLP结构将上述服装顶点全局信息特征序列与服装顶点局部信息特征序列转化成各个服装顶点在第二维度上的空间位置坐标GHF,这只是一种示例,本申请实施例对此不做限定,还可以根据不同的场景选择对应的网络结构,将上述服装顶点全局信息特征序列与服装顶点局部信息特征序列转化成各个服装顶点在第二维度上的空间位置坐标GHF。
作为一种可选的示例,在目标虚拟服装包括V个服装顶点的情况下,fglobal可以包括维度V×P1的特征序列,flocal可以包括维度V×P2的特征序列,GHF可以包括维度V×3的特征序列,其中,维度V×3的特征序列包括V个特征,每个特征包括3个坐标(X轴的坐标,Y轴的坐标以及Z轴的坐标)。换句话说,对应每个服装顶点,可以使用用于表征全局信息的P1个参数取值以及用于表征局部信息的P2个参数取值,通过MLP结构中的激活函数,得到对应的3个坐标。
可选地,上述实施例中根据各个服装顶点在第一维度上的空间位置坐标,以及,各个服装顶点在第二维度上的空间位置坐标,确定在目标虚拟对象执行目标动作时,目标虚拟服装中的各个服装顶点的预测空间位置坐标,包括:
在目标虚拟服装包括V个服装顶点的情况下,将V个服装顶点在第一维度上的空间位置坐标与V个服装顶点在第二维度上的空间位置坐标进行相加,得到V个服装顶点的第一预测空间位置坐标,其中,V为大于或等于2的正整数;
根据V个服装顶点的第一预测空间位置坐标,确定在目标虚拟对象执行目标动作时,V个服装顶点的预测空间位置坐标。
如图3和图4所示,在动作网络模型1中,将各个服装顶点在第一维度上的空间位置坐标GLF与各个服装顶点在第二维度上的空间位置坐标GHF相加,得到各个服装顶点的第一预测空间位置坐标。
作为一种可选的示例,在目标虚拟服装包括V个服装顶点的情况下,GLF可以包括维度V×3的特征序列,其中,维度V×3的特征序列包括V个特征,每个特征包括3个坐标(X轴的坐标,Y轴的坐标以及Z轴的坐标),GHF可以包括维度V×3的特征序列,其中,维度V×3的特征序列包括V个特征,每个特征包括3个坐标(X轴的坐标,Y轴的坐标以及Z轴的坐标)。将GLF与GHF相加,得到V个服装顶点的第一预测空间位置坐标,其中,V个服装顶点的第一预测空间位置坐标包括维度V×3的特征序列,其中,维度V×3的特征序列包括V个特征,每个特征包括3个坐标(X轴的坐标,Y轴的坐标以及Z轴的坐标)。
在本申请实施例中,可以提供多种方式来根据V个服装顶点的第一预测空间位置坐标,确定在目标虚拟对象执行目标动作时,V个服装顶点的预测空间位置坐标。
方式一:如图3所示,当使用一个动作网络模型1时,可以将各个服装顶点的预测空间位置坐标确定为等于上述确定得到的各个服装顶点的第一预测空间位置坐标。
方式二:如图4所示,当使用多个动作网络模型,可以将各个动作网络模型输出的结果进行加权求和,得到各个服装顶点的第一预测空间位置坐标。
针对上述方式一和方式二,作为一种可选的示例,上述将V个服装顶点在第一维度上的空间位置坐标与V个服装顶点在第二维度上的空间位置坐标进行相加,得到V个服装顶点的第一预测空间位置坐标,包括:
在第一目标动作网络模型中将V个服装顶点在第一维度上的空间位置坐标与V个服装顶点在第二维度上的空间位置坐标进行相加,得到V个服装顶点的第一预测空间位置坐标,其中,第一目标动作网络模型用于根据身体动作特征序列,确定在目标虚拟对象按照第一模拟参数执行目标动作时,目标虚拟服装中的V个服装顶点的第一预测空间位置坐标,第一目标动作网络模型中的参数取值与第一模拟参数对应。
针对上述方式二,作为一种可选的示例,上述根据V个服装顶点的第一预测空间位置坐标,确定在目标虚拟对象执行目标动作时,V个服装顶点的预测空间位置坐标,包括:
将V个服装顶点中的各个服装顶点的K个预测空间位置坐标进行加权求和,得到在目标虚拟对象执行目标动作时的V个服装顶点的预测空间位置坐标;
其中,K为大于或等于2的正整数,K个预测空间位置坐标包括第一预测空间位置坐标,V个服装顶点中的各个服装顶点的每个预测空间位置坐标是通过K个目标动作网络模型中对应的一个目标动作网络模型根据身体动作特征序列确定的预测空间位置,K个目标动作网络模型与K个模拟参数分别对应,K个模拟参数包括第一模拟参数,K个目标动作网络模型中的每个目标动作网络模型用于根据身体动作特征序列,确定在目标虚拟对象按照K个模拟参数中对应的模拟参数执行目标动作时,V个服装顶点的预测空间位置坐标。
作为一种可选的示例,如图4所示,K个目标动作网络模型包括动作网络模型1,动作网络模型2,...,动作网络模型K,K个模拟参数可以包括θ1...θK,W1...WK表示K个预测空间位置坐标对应的K个权重值,K个目标动作网络模型输入的身体动作特征序列可以相同,即,相同身体动作的身体动作特征序列。可选的,上述K个目标动作网络模型中的模型结构相同,上述K个目标动作网络模型中的模型参数可以不全部相同,不同的目标动作网络模型中的模型参数与对应的模拟参数对应。
作为一种可选的示例,上述将V个服装顶点中的各个服装顶点的K个预测空间位置坐标进行加权求和,包括:
将V个服装顶点中的各个服装顶点的K个预测空间位置坐标分别与K个权重值进行加权求和,其中,K个权重值与K个模拟参数分别对应,K个权重值中的每个权重值是根据K个模拟参数中对应的模拟参数确定得到的权重值。
如图4所示,K个权重值W1...WK可以但不限于与K个模拟参数θ1...θK分别对应,例如,权重值W1与模拟参数θ1对应,权重值W2与模拟参数θ2对应。
作为一种可选的示例,可以通过如下方式确定上述K个权重值W1...WK:
其中,Ψ(θi,θ)表示K个权重值中的Wi,θi表示K个模拟参数中的第i个模拟参数,θ为预设的模拟参数,g(θi)表示将θi中的模拟参数取值投射到隐空间中得到的特征(或,特征向量),σ为预设值。
上述确定K个权重值W1...WK的方式,仅是本申请实施例的一个示例,本申请实施例对此不做限定,还可以根据不同的场景选择不同的方式确定K个权重值W1...WK。
在本申请实施例中,对于相同动作,可以使用与不同模拟参数对应的动作网络,得到虚拟服装上的各个服装顶点的不同预测空间位置坐标(即,得到了虚拟服装的形变信息),然后将各个服装顶点的不同预测空间位置坐标拟合成各个服装顶点的预测空间位置坐标,进一步提高了预测虚拟服装的形变信息的准确性。
下面结合附图4和附图5对K个目标动作网络模型的训练过程进行描述。
如附图4所示,K个目标动作网络模型输入的身体动作特征序列可以相同,即,相同身体动作的身体动作特征序列。可选的,上述K个目标动作网络模型中的模型结构相同,上述K个目标动作网络模型中的模型参数可以不全部相同,不同的目标动作网络模型中的模型参数与对应的模拟参数对应。
为了训练得到K个目标动作网络模型,使得K个目标动作网络模型中的模型参数与K个模拟参数θ1...θK分别对应,可以采用如图5所示的训练方案:
可以采用不同的训练样本分别对不同的待训练的动作网络模型进行训练,得到不同的目标动作网络模型,其中,上述不同的训练样本可以是分别与不同的模拟参数对应的训练样本。
举例来说,训练样本1中的样本与模拟参数θ1对应,训练样本2中的样本与模拟参数θ2对应,训练样本K中的样本与模拟参数θK对应。其中,以训练样本1中的样本与模拟参数θ1对应为例,训练样本1中的样本可以但不限于包括样本虚拟对象按照模拟参数θ1执行样本动作时的样本身体动作特征序列1,以及对应的真实形变结果1(或称为模拟形变结果1);以训练样本1中的样本与模拟参数θ2对应为例,训练样本1中的样本可以但不限于包括上述样本虚拟对象按照模拟参数θ2执行上述相同的样本动作时的样本身体动作特征序列2,以及对应的真实形变结果2(或称为模拟形变结果2),其他以此类推。
作为另一种可选的方式,还可以使不同的待训练的动作网络模型对应的损失函数与不同的模拟参数相关,以训练得到K个目标动作网络模型,使得K个目标动作网络模型中的模型参数与K个模拟参数θ1...θK分别对应。
举例来说,待训练的动作网络模型1对应的损失函数1与模拟参数θ1相关,如,损失函数1中包括根据模拟参数θ1确定得到的参数;待训练的动作网络模型2对应的损失函数2与模拟参数θ2相关,如,损失函数2中包括根据模拟参数θ2确定得到的参数,其他以此类推。
可选地,上述不同地方式可以独立使用或相互结合使用,本申请实施例对此不做限定。
作为一种可选的示例,通过上述各个实施例中的方案,可以得到准确的在目标虚拟对象执行目标动作时,目标虚拟服装中的各个服装顶点的预测空间位置坐标。这样,可以根据上述得到的目标虚拟服装中的各个服装顶点的预测空间位置坐标,对上述目标虚拟服装进行形变渲染,以展示更为真实的动画效果。
为了进一步说明本申请实施例的优点,下面将结合附图展示本申请实施例中的方案所达到的效果。
图6是针对具有复杂形变的宽松服装(例如,裙子),采用本发明实施例中的虚拟服装的形变预测的预测结果与真实结果的对比示意图,图7是图6对应的线条化示意图。图6和图7示出了本发明实施例的预测结果与真实结果(或称为模拟结果)的对比,最上方一行是模拟结果,中间一行是本发明实施例的预测结果,下方是本发明实施例的预测结果和模拟结果的逐顶点差值。通过图6和图7中的最上方一行可以看出,在虚拟对象执行不同的动作时,裙摆的褶皱会根据动作的变化而发生变化,并且动作的幅度越大,裙摆的褶皱越深。而通过图6和图7中的中间一行可以看出,对于执行任一动作下的裙摆的动态形变,本发明实施例的预测结果均较为接近模拟结果,且可以表现出较为复杂的服装形变效果。也就是说,对于宽松服装的动态形变,发明实施例中的预测结果均表现出较好的鲁棒性。
此外,图8是根据本发明实施例的一种可选的不同模拟参数下的预测结果的示意图;图9是图8对应的线条化示意图。图8和图9示出了在同一动作下生成不同模拟参数对应的预测结果,例如,从左到右弯曲强度下降,模拟的时间尺度上升,可以看到裙子的褶皱变深了,这样通过调整不同的模拟参数,可以得到不同的预测结果,而不需要重新构建模型,提高了方案实现的效率和灵活性。
进一步,图10是一种可选的本发明实施例的预测结果、其他方案的预测结果与真实结果的对比示意图;图11是图10对应的线条化示意图。图10和图11示出了在相同情况下,本申请实施例的预测结果与其他方案的预测结果与真实结果的对比情况。如图10和图11所示,在极端的姿势(例如,目标虚拟对象执行了幅度较大的动作)下,本申请实施例的方案依然能达到合理的预测结果。作为一种可选的示例,其他方案1为采用DNG模型的形变预测方案,其他方案2为采用TailorNet模型的形变预测方案,其他方案3为采用Santesteban etal.模型的形变预测方案。
进一步,图12是另一种可选的本发明实施例的预测结果、其他方案的预测结果与真实结果的对比示意图;图13是图12对应的线条化示意图。图12和图13示出了本发明实施例的方案与其他方案在高频部分上的对比,如图12和图13所示,本发明实施例的预测结果与真实结果最为接近、且误差最小。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的另一个方面,还提供了如图14所示的一种虚拟服装的形变预测装置,该装置包括:
第一处理单元1402,用于获取目标虚拟对象的身体动作特征序列,并将目标虚拟对象的身体动作特征序列转化成第一虚拟骨骼动作特征序列,其中,第一虚拟骨骼动作特征序列用于确定在目标虚拟对象执行身体动作特征序列所表示的目标动作时,目标虚拟服装中的各个服装顶点的预测空间位置坐标,目标虚拟服装是穿在目标虚拟对象身上的虚拟服装;
作为一种可选的应用场景,上述目标虚拟对象可以但不限于是游戏中的虚拟角色,或者,虚拟现实(VR)应用或者增强现实(AR)应用中的虚拟角色。作为一种可选的应用场景,上述目标虚拟对象执行的目标动作可以但不限于是穿戴了目标虚拟服装的目标虚拟角色执行的动作,例如,舞动动作,竞技动作等。
作为另一种可选的应用场景,上述目标虚拟对象可以但不限于是直播中的虚拟人或数字人。上述目标虚拟对象执行的目标动作可以但不限于是穿戴了目标虚拟服装的目标数字人执行的动作,例如,为了展示目标虚拟服装的上身效果的旋转、弯腰等动作。
作为一种可选的示例,可以从数据库或者网站或者应用中提取虚拟对象的图像帧集合,其中,图像帧集合包括多个图像帧子集,每个图像帧子集用于展示虚拟对象的一个身体动作;然后,根据每个图像帧子集,提取虚拟对象的一个身体动作对应的身体动作特征序列。可选的,上述每个图像帧子集可以但不限于是一个视频中的连续多帧或者不全部连续的多帧。
作为另一种可选的示例,还可以通过其他方式来获取虚拟对象的身体动作特征序列,例如,可以通过动画生成软件,编辑虚拟对象执行的动作,然后根据该虚拟对象的动作参数,确定该虚拟对象的身体动作特征序列。
作为一种可选的示例,上述身体动作特征序列可以但不限于包括目标虚拟对象的身体平移特征和各个身体骨骼的身体骨骼旋转特征,如下所示:
其中,Mb表示上述身体动作特征序列,Tb表示目标虚拟对象的身体平移特征,表示目标虚拟对象的N个身体骨骼的身体骨骼旋转特征,N表示目标虚拟对象的身体骨骼的数量,N为大于或等于2的正整数。可选的,N的取值是预先设置的。
可选的,Tb可以但不限于包括3个坐标差值,例如,目标虚拟对象执行目标动作前的空间坐标为(X1,Y1,Z1),目标虚拟对象执行目标动作后的空间坐标为(X2,Y2,Z2),则Tb={(X2-X1),(Y2-Y1),(Z2-Z1)}。上述使用3个坐标差值表示Tb,只是一种示例,本申请实施例对此不做限定,还可以根据不同的场景采用不同的参数或者不同的参数取值来表示上述Tb。
可选的,可以但不限于包括3个旋转角度,其中,1≤i≤N,例如,目标虚拟对象执行目标动作前的空间坐标为(X1,Y1,Z1),目标虚拟对象执行目标动作后的空间坐标为(X2,Y2,Z2),这样,在目标虚拟对象执行了目标动作的情况下,目标虚拟对象在XY平面,XZ平面以及YZ平面分别旋转的角度为α1,α2,α3,因此,上述使用3个旋转角度表示只是一种示例,本申请实施例对此不做限定,还可以根据不同的场景采用不同的参数或者不同的参数取值来表示上述
作为一种可选的示例,上述第一虚拟骨骼动作特征序列可以但不限于包括M个第一虚拟骨骼平移特征以及M个第一虚拟骨骼旋转特征,所述M个第一虚拟骨骼平移特征包括在所述目标虚拟对象执行所述目标动作时,预设的M个虚拟骨骼中的每个虚拟骨骼的平移特征,所述M个第一虚拟骨骼旋转特征包括在所述目标虚拟对象执行所述目标动作时,预设的所述M个虚拟骨骼中的每个虚拟骨骼的旋转特征,M为大于或等于2的正整数。
可选的,上述第一虚拟骨骼动作特征序列如下所示:
其中,Mv表示上述第一虚拟骨骼动作特征序列,表示M个第一虚拟骨骼平移特征,表示M个第一虚拟骨骼旋转特征,M表示虚拟骨骼的数量,M为大于或等于2的正整数。可选的,M的取值是预先设置的,例如,M=60,或,80,100。
可选的,可以但不限于包括3个坐标差值,其中,1≤i≤M,具体的示例可以参照上述Tb,在此不再赘述。上述使用3个坐标差值表示只是一种示例,本申请实施例对此不做限定,还可以根据不同的场景采用不同的参数或者不同的参数取值来表示上述
可选的,可以但不限于包括3个旋转角度,其中,1≤i≤M,具体的示例可以参照上述在此不再赘述。上述使用3个旋转角度表示只是一种示例,本申请实施例对此不做限定,还可以根据不同的场景采用不同的参数或者不同的参数取值来表示上述
第二处理单元1404,用于根据第一虚拟骨骼动作特征序列,确定各个服装顶点在第一维度上的空间位置坐标,并根据第一虚拟骨骼动作特征序列以及各个服装顶点在第一维度上的空间位置坐标,确定各个服装顶点在第二维度上的空间位置坐标,其中,在目标虚拟对象执行目标动作时,目标虚拟服装中的各个服装顶点的预测空间位置坐标被分解为各个服装顶点在第一维度上的空间位置坐标和各个服装顶点在第二维度上的空间位置坐标。
作为一种可选的示例,上述第一维度可以但不限于为低频维度,上述第二维度可以但不限于为高频维度。可选地,各个服装顶点在第二维度上的空间位置坐标所表示的目标虚拟服装的形变细节信息高于各个服装顶点在所述第一维度上的空间位置坐标所表示的目标虚拟服装的形变细节信息。
为例便于理解,各个服装顶点在第一维度上的空间位置坐标对应较粗略的形变信息,各个服装顶点在第二维度上的空间位置坐标对应较细节的形变信息。
举例来说,如图10所示,在本申请实施例的方案所对应的展示效果中,上面的裙身的形变信息相比于下面的裙摆的形变信息较为粗略,即,下面的裙摆的形变信息中的细节信息较多。这样,上面的裙身的形变信息可以由裙身对应的服装顶点在第一维度上的空间位置坐标和在第二维度上的空间位置坐标共同确定得到,其中,在第一维度上的空间位置坐标对于展示效果的贡献权重大于在第二维度上的空间位置坐标对于展示效果的贡献权重,这是因为裙身上的形变信息中细节信息较少。相应的,上面的裙摆的形变信息可以由裙摆对应的服装顶点在第一维度上的空间位置坐标和在第二维度上的空间位置坐标共同确定得到,其中,在第一维度上的空间位置坐标对于展示效果的贡献权重小于在第二维度上的空间位置坐标对于展示效果的贡献权重,这是因为裙摆上的形变信息中细节信息较少。
换句话说,目标虚拟服装的形变信息中的细节信息可以更多地由目标虚拟服装的各个服装顶点在第二维度上的空间位置坐标表示,目标虚拟服装的形变信息中的粗略信息可以更多地由目标虚拟服装的各个服装顶点在第一维度上的空间位置坐标表示。
作为一种可选的示例,各个服装顶点在第一维度上的空间位置坐标可以由如图3或图4中的GLF表示,相应地,各个服装顶点在第二维度上的空间位置坐标可以由如图3或图4中的GHF表示。后续会结合附图3和附图4详细地描述确定GLF和GHF的步骤。
在上述步骤,可以基于虚拟骨骼的虚拟骨骼动作特征序列,确定各个服装顶点在低频维度上的空间位置坐标,并根据各个服装顶点在低频维度上的空间位置坐标以及虚拟骨骼动作特征序列,预测各个服装顶点在高频维度上的空间位置坐标,从而根据各个服装顶点在低频维度上的空间位置坐标和各个服装顶点在高频维度上的空间位置坐标,得到较为准确的各个服装顶点的预测空间位置坐标。
第三处理单元1406,用于根据各个服装顶点在第一维度上的空间位置坐标,以及,各个服装顶点在第二维度上的空间位置坐标,确定在目标虚拟对象执行目标动作时,目标虚拟服装中的各个服装顶点的预测空间位置坐标。
作为一种可选的示例,通过上述步骤所示的方式可以预测得到多帧中的目标虚拟服装中的各个服装顶点的空间位置坐标,例如,可以得到目标虚拟服装的预测服装顶点位置坐标序列G{1,2,...,t}∈Rt×V×3,其中,t为目标动作对应的帧数,V为目标虚拟服装的服装顶点的数量(或称为服装网格顶点数),t为大于或等于2的正整数,V为大于或等于2的正整数,上述的“3”表示3个坐标(X轴的坐标,Y轴的坐标以及Z轴的坐标)。换句话说,假设目标虚拟服装的服装顶点的数量为V,在目标虚拟对象执行目标动作时,需要通过t帧来展示执行目标动作的过程,这样,可以获取t帧中的每帧对应的身体动作特征序列Mb,即,共得到t个Mb,然后针对每个Mb,分别执行上述步骤,得到t个位置坐标序列,每个位置坐标序列包括V个服装顶点的预测空间位置坐标(每个预测空间位置坐标包括上述3个坐标),这样可以将上述t个位置坐标序列组合成目标虚拟服装的预测服装顶点位置坐标序列G{1,2,...,t}∈Rt×V×3。
通过上述方式,基于虚拟骨骼,对目标虚拟对象上的虚拟服装进行形变预测,其中,将目标虚拟对象的身体动作序列转化成第一虚拟骨骼动作序列,并根据第一虚拟骨骼动作序列,确定虚拟服装上的各个服装顶点的低频形变信息(例如,各个服装顶点在第一维度上的空间位置坐标),然后,根据虚拟服装上的各个服装顶顶的低频形变信息以及第一虚拟骨骼动作序列,预测虚拟服装上的各个服装顶点的高频形变信息(例如,各个服装顶点在第二维度上的空间位置坐标),然后将各个服装顶点的低频形变信息和高频形变信息进行结合,得到在目标虚拟对象执行目标动作时,虚拟服装上的各个服装顶点的预测空间位置坐标,即,得到了虚拟服装的形变信息。通过上述方式,可以预测得到目标虚拟对象执行不同动作时的虚拟服装的形变信息,即本申请实施例提出的方案可以适用于不同动作,包括幅度较大的动作,增加了方案的适用性。进一步,在目标虚拟对象执行每个动作时,根据虚拟骨骼动作序列,分别确定低频形变信息和高频形变信息,然后根据低频形变信息和高频形变信息,确定虚拟服装的形变信息,这样使得得到的虚拟服装的形变信息包含更为准确的细节信息,例如,虚拟对象摆动时产生的虚拟服装的褶皱,解决了相关技术中无法准确预测虚拟服装的形变信息的技术问题,提高了预测虚拟服装的形变信息的准确性。
可选地,上述第一处理单元1402包括:
第一处理模块,用于在身体动作特征序列包括目标虚拟对象的身体平移特征以及N个身体骨骼旋转特征的情况下,将目标虚拟对象的身体平移特征以及N个身体骨骼旋转特征转化成第一虚拟骨骼动作特征序列,其中,N个身体骨骼旋转特征包括在目标虚拟对象执行目标动作时,目标虚拟对象的N个身体骨骼中的每个身体骨骼的旋转特征,第一虚拟骨骼动作特征序列包括M个第一虚拟骨骼平移特征以及M个第一虚拟骨骼旋转特征,M个第一虚拟骨骼平移特征包括在目标虚拟对象执行目标动作时,预设的M个虚拟骨骼中的每个虚拟骨骼的平移特征,M个第一虚拟骨骼旋转特征包括在目标虚拟对象执行目标动作时,预设的M个虚拟骨骼中的每个虚拟骨骼的旋转特征,N为大于或等于2的正整数,M为大于或等于2的正整数。
下面结合附图3和图4,描述将上述第一处理模块应用于获取第一虚拟骨骼动作特征序列的过程。
如前述所提到的,作为一种可选的示例,上述身体动作特征序列可以但不限于包括目标虚拟对象的身体平移特征和各个身体骨骼的身体骨骼旋转特征,如下所示:
其中,Mb表示上述身体动作特征序列,Tb表示目标虚拟对象的身体平移特征,表示目标虚拟对象的N个身体骨骼的身体骨骼旋转特征,N表示目标虚拟对象的身体骨骼的数量,N为大于或等于2的正整数。可选的,N的取值是预先设置的。
可选地,上述第一处理单元1402,还包括:
第二处理模块,用于将目标虚拟对象的身体平移特征以及N个身体骨骼旋转特征输入到第一目标动作网络模型中的第一目标神经网络子模型,得到M个第一虚拟骨骼平移特征以及M个第一虚拟骨骼旋转特征,其中,第一目标动作网络模型用于根据身体动作特征序列,确定在目标虚拟对象按照第一模拟参数执行目标动作时,目标虚拟服装中的各个服装顶点的预测空间位置坐标,第一目标动作网络模型中的参数取值与第一模拟参数对应。
如图3和图4所示,在动作网络模型1中,可以通过循环神经网络模型(例如,GatedRecurrent Unit,简称为GRU网络模型,或称为,门控循环网络模型),将身体动作特征序列Mb转化为第一虚拟骨骼动作特征序列Mv。
可选地,图3和图4中的动作网络模型1可以为上述的第一目标动作网络模型,图3和图4中左侧的GRU网络模型可以为上述的第一目标神经网络子模型。作为一种可选的示例,后续会结合附图对第一目标神经网络子模型的训练过程进行描述,例如,图5中所示的训练过程。
作为一种可选的示例,上述第一目标神经网络子模型的训练过程可以采用的损失函数可以但不限于如下所示:
作为一种可选的示例,GRU网络模型中的特征维度可以但不限于为Q1维,其中,Q1为大于或等于2的正整数,例如,Q=400,或600,或800。
本申请实施例中,采用GRU网络模型将身体动作特征序列Mb转化为第一虚拟骨骼动作特征序列Mv,这只是一种示例,本申请实施例对此不做限定,还可以根据不同的场景选择对应的神经网络模型,将身体动作特征序列Mb转化为第一虚拟骨骼动作特征序列Mv。
可选地,上述根据第二处理单元1404包括:
第三处理模块,用于在第一虚拟骨骼动作特征序列包括M个第一虚拟骨骼平移特征以及M个第一虚拟骨骼旋转特征、且目标虚拟服装包括V个服装顶点的情况下,根据M个第一虚拟骨骼平移特征以及M个第一虚拟骨骼旋转特征,确定V个服装顶点在第一维度上的空间位置坐标;
其中,M个第一虚拟骨骼平移特征包括在目标虚拟对象执行目标动作时,预设的M个虚拟骨骼中的每个虚拟骨骼的平移特征,M个第一虚拟骨骼旋转特征包括在目标虚拟对象执行目标动作时,预设的M个虚拟骨骼中的每个虚拟骨骼的旋转特征,M为大于或等于2的正整数,V为大于或等于2的正整数。
如图3和图4所示,可以但不限于使用线性混合蒙皮算法(LBS,Linear BlendingSkinning)对第一虚拟骨骼动作特征序列Mv进行处理,得到各个服装顶点在第一维度上的空间位置坐标GLF,即,
GLF=LBS(Mv)
可选地,上述第三处理模块包括:
第一处理子模块,用于利用线性混合蒙皮LBS算法,根据M个第一虚拟骨骼平移特征以及M个第一虚拟骨骼旋转特征,确定V个服装顶点在第一维度上的空间位置坐标,其中,M个第一虚拟骨骼平移特征以及M个第一虚拟骨骼旋转特征是LBS算法的输入参数,V个服装顶点在第一维度上的空间位置坐标是LBS算法的输出参数。
可选地,在目标虚拟服装包括V个服装顶点的情况下,GLF可以包括维度V×3的特征序列,其中,维度V×3的特征序列包括V个特征,每个特征包括3个坐标(X轴的坐标,Y轴的坐标以及Z轴的坐标)。
在本申请实施例中,采用LBS算法确定各个服装顶点在第一维度上的空间位置坐标,这只是一种示例,本申请实施例对此不做限定,还可以根据不同的场景选择对应的蒙皮算法或其他类型的算法,确定各个服装顶点在第一维度上的空间位置坐标。
可选的,上述各个服装顶点在第一维度上的空间位置坐标GLF以及第一虚拟骨骼动作特征序列Mv可以进一步用于预测各个服装顶点在第二维度上的空间位置坐标GHF。下面将结合附图3和附图4进一步描述确定GHF的过程。
可选地,上述第二处理单元1404还包括:
第四处理模块,用于将第一虚拟骨骼动作特征序列转化成服装顶点全局信息特征序列,其中,服装顶点全局信息特征序列包括各个服装顶点的全局信息特征;
第五处理模块,用于将各个服装顶点在第一维度上的空间位置坐标转化为服装顶点局部信息特征序列,其中,服装顶点局部信息特征序列包括各个服装顶点的局部信息特征;
第一确定模块,用于根据服装顶点全局信息特征序列和服装顶点局部信息特征序列,确定各个服装顶点在第二维度上的空间位置坐标。
如图3和图4所示,fglobal表示上述服装顶点全局信息特征序列,flocal表示上述服装顶点局部信息特征序列。
在动作网络模型1中,可以通过循环神经网络模型(例如,Gated Recurrent Unit,简称为GRU网络模型,或称为,门控循环网络模型),将第一虚拟骨骼动作特征序列Mv转化成服装顶点全局信息特征序列fglobal。
可选地,上述将第四处理模块包括:
第二处理子模块,用于将第一虚拟骨骼动作特征序列输入到第一目标动作网络模型中的第二目标神经网络子模型,得到服装顶点全局信息特征序列,其中,第一目标动作网络模型用于根据身体动作特征序列,确定在目标虚拟对象按照第一模拟参数执行目标动作时,目标虚拟服装中的各个服装顶点的预测空间位置坐标,第一目标动作网络模型中的参数取值与第一模拟参数对应。
可选地,图3和图4中的动作网络模型1可以为上述的第一目标动作网络模型,图3和图4中中间的GRU网络模型可以为上述的第二目标神经网络子模型。作为一种可选的示例,后续会结合附图对第一目标神经网络子模型的训练过程进行描述,例如,图5中所示的训练过程。
作为一种可选的示例,作为第二目标神经网络子模型的GRU网络模型中的特征维度可以但不限于为Q2维,其中,Q2为大于或等于2的正整数,例如,Q=400,或600,或800。该GRU网络模型在训练的时候使用的损失函数可以但不限于是预测的服装顶点的位置和实际结果(或称模拟结果)中的服装顶点的位置之间的位置差。
本申请实施例中,采用GRU网络模型将第一虚拟骨骼动作特征序列Mv转化成服装顶点全局信息特征序列fglobal,这只是一种示例,本申请实施例对此不做限定,还可以根据不同的场景选择对应的神经网络模型,将第一虚拟骨骼动作特征序列Mv转化成服装顶点全局信息特征序列fglobal。
作为一种可选的示例,在目标虚拟服装包括V个服装顶点的情况下,fglobal可以包括维度V×P1的特征序列,其中,维度V×P1的特征序列包括V个特征,每个特征包括P1个参数取值,即,P1个参数取值用于表征服装顶点的全局信息。可选的,P1为大于或等于2的正整数。
进一步,在动作网络模型1中,可以通过图神经网络模型(Graph Neural Network,简称为GNN模型,或,GNN网络模型)将各个服装顶点在第一维度上的空间位置坐标GLF转化为服装顶点局部信息特征序列flocal。
可选地,上述第五处理模块包括:
第三处理子模块,用于在目标虚拟服装包括V个服装顶点的情况下,将V个服装顶点在第一维度上的空间位置坐标输入到第一目标动作网络模型中的第三目标神经网络子模型,得到服装顶点局部信息特征序列,其中,第一目标动作网络模型用于根据身体动作特征序列,确定在目标虚拟对象按照第一模拟参数执行目标动作时,V个服装顶点的预测空间位置坐标,第一目标动作网络模型中的参数取值与第一模拟参数对应,V为大于或等于2的正整数。
可选地,图3和图4中的动作网络模型1可以为上述的第一目标动作网络模型,图3和图4中中间的GNN网络模型可以为上述的第三目标神经网络子模型。作为一种可选的示例,后续会结合附图对第一目标神经网络子模型的训练过程进行描述,例如,图5中所示的训练过程。
作为一种可选的示例,作为第三目标神经网络子模型的上述GNN网络模型可以但不限于采用三层EdgeConv图神经网络,每一层的维度分别为[6,8,10]。该GNN网络模型在训练的时候使用的损失函数可以但不限于是预测的服装顶点的位置和实际结果(或称模拟结果)中的服装顶点的位置之间的位置差。
本申请实施例中,采用GNN网络模型将各个服装顶点在第一维度上的空间位置坐标GLF转化为服装顶点局部信息特征序列flocal,这只是一种示例,本申请实施例对此不做限定,还可以根据不同的场景选择对应的图神经网络模型或其他类型的神经网络模型,将各个服装顶点在第一维度上的空间位置坐标GLF转化为服装顶点局部信息特征序列flocal。
作为一种可选的示例,在目标虚拟服装包括V个服装顶点的情况下,flocal可以包括维度V×P2的特征序列,其中,维度V×P2的特征序列包括V个特征,每个特征包括P2个参数取值,即,P2个参数取值用于表征服装顶点的局部信息。可选的,P2为大于或等于2的正整数。
可选地,第一确定模块包括:
拼接子模块,用于将服装顶点全局信息特征序列与服装顶点局部信息特征序列进行拼接,得到第一拼接特征向量;
第四处理子模块,用于将第一拼接特征向量输入到第一目标动作网络模型中的第一多层神经网络MLP结构,得到第一MLP结构输出的各个服装顶点在第二维度上的空间位置坐标,其中,第一目标动作网络模型用于根据身体动作特征序列,确定在目标虚拟对象按照第一模拟参数执行目标动作时,各个服装顶点的预测空间位置坐标,第一目标动作网络模型中的参数取值与第一模拟参数对应。
如图3和图4所示,在动作网络模型1中,可以通过MLP结构将上述服装顶点全局信息特征序列与服装顶点局部信息特征序列转化成各个服装顶点在第二维度上的空间位置坐标GHF。
本申请实施例中,采用MLP结构将上述服装顶点全局信息特征序列与服装顶点局部信息特征序列转化成各个服装顶点在第二维度上的空间位置坐标GHF,这只是一种示例,本申请实施例对此不做限定,还可以根据不同的场景选择对应的网络结构,将上述服装顶点全局信息特征序列与服装顶点局部信息特征序列转化成各个服装顶点在第二维度上的空间位置坐标GHF。
作为一种可选的示例,在目标虚拟服装包括V个服装顶点的情况下,fglobal可以包括维度V×P1的特征序列,flocal可以包括维度V×P2的特征序列,GHF可以包括维度V×3的特征序列,其中,维度V×3的特征序列包括V个特征,每个特征包括3个坐标(X轴的坐标,Y轴的坐标以及Z轴的坐标)。换句话说,对应每个服装顶点,可以使用用于表征全局信息的P1个参数取值以及用于表征局部信息的P2个参数取值,通过MLP结构中的激活函数,得到对应的3个坐标。
可选地,上述第三处理单元1406包括:
第六处理模块,用于在目标虚拟服装包括V个服装顶点的情况下,将V个服装顶点在第一维度上的空间位置坐标与V个服装顶点在第二维度上的空间位置坐标进行相加,得到V个服装顶点的第一预测空间位置坐标,其中,V为大于或等于2的正整数;
第二确定模块,用于根据V个服装顶点的第一预测空间位置坐标,确定在目标虚拟对象执行目标动作时,V个服装顶点的预测空间位置坐标。
如图3和图4所示,在动作网络模型1中,将各个服装顶点在第一维度上的空间位置坐标GLF与各个服装顶点在第二维度上的空间位置坐标GHF相加,得到各个服装顶点的第一预测空间位置坐标。
作为一种可选的示例,在目标虚拟服装包括V个服装顶点的情况下,GLF可以包括维度V×3的特征序列,其中,维度V×3的特征序列包括V个特征,每个特征包括3个坐标(X轴的坐标,Y轴的坐标以及Z轴的坐标),GHF可以包括维度V×3的特征序列,其中,维度V×3的特征序列包括V个特征,每个特征包括3个坐标(X轴的坐标,Y轴的坐标以及Z轴的坐标)。将GLF与GHF相加,得到V个服装顶点的第一预测空间位置坐标,其中,V个服装顶点的第一预测空间位置坐标包括维度V×3的特征序列,其中,维度V×3的特征序列包括V个特征,每个特征包括3个坐标(X轴的坐标,Y轴的坐标以及Z轴的坐标)。
在本申请实施例中,可以提供多种方式来根据V个服装顶点的第一预测空间位置坐标,确定在目标虚拟对象执行目标动作时,V个服装顶点的预测空间位置坐标。
方式一:如图3所示,当使用一个动作网络模型1时,可以将各个服装顶点的预测空间位置坐标确定为等于上述确定得到的各个服装顶点的第一预测空间位置坐标。
方式二:如图4所示,当使用多个动作网络模型,可以将各个动作网络模型输出的结果进行加权求和,得到各个服装顶点的第一预测空间位置坐标。
可选地,上述第六处理模块包括:
第五处理子模块,用于在第一目标动作网络模型中将V个服装顶点在第一维度上的空间位置坐标与V个服装顶点在第二维度上的空间位置坐标进行相加,得到V个服装顶点的第一预测空间位置坐标,其中,第一目标动作网络模型用于根据身体动作特征序列,确定在目标虚拟对象按照第一模拟参数执行目标动作时,目标虚拟服装中的V个服装顶点的第一预测空间位置坐标,第一目标动作网络模型中的参数取值与第一模拟参数对应。
可选地,上述第六处理模块还包括:
第六处理子模块,用于将V个服装顶点中的各个服装顶点的K个预测空间位置坐标进行加权求和,得到在目标虚拟对象执行目标动作时的V个服装顶点的预测空间位置坐标。
其中,K为大于或等于2的正整数,K个预测空间位置坐标包括第一预测空间位置坐标,V个服装顶点中的各个服装顶点的每个预测空间位置坐标是通过K个目标动作网络模型中对应的一个目标动作网络模型根据身体动作特征序列确定的预测空间位置,K个目标动作网络模型与K个模拟参数分别对应,K个模拟参数包括第一模拟参数,K个目标动作网络模型中的每个目标动作网络模型用于根据身体动作特征序列,确定在目标虚拟对象按照K个模拟参数中对应的模拟参数执行目标动作时,V个服装顶点的预测空间位置坐标。
作为一种可选的示例,如图4所示,K个目标动作网络模型包括动作网络模型1,动作网络模型2,...,动作网络模型K,K个模拟参数可以包括θ1...θK,W1...WK表示K个预测空间位置坐标对应的K个权重值,K个目标动作网络模型输入的身体动作特征序列可以相同,即,相同身体动作的身体动作特征序列。可选的,上述K个目标动作网络模型中的模型结构相同,上述K个目标动作网络模型中的模型参数可以不全部相同,不同的目标动作网络模型中的模型参数与对应的模拟参数对应。
可选地,上述第六处理模块包括:
第七处理子模块,用于将V个服装顶点中的各个服装顶点的K个预测空间位置坐标分别与K个权重值进行加权求和,其中,K个权重值与K个模拟参数分别对应,K个权重值中的每个权重值是根据K个模拟参数中对应的模拟参数确定得到的权重值。
如图4所示,K个权重值W1...WK可以但不限于与K个模拟参数θ1...θK分别对应,例如,权重值W1与模拟参数θ1对应,权重值W2与模拟参数θ2对应。
作为一种可选的示例,可以通过如下方式确定上述K个权重值W1...WK:
其中,Ψ(θi,θ)表示K个权重值中的Wi,θi表示K个模拟参数中的第i个模拟参数,θ为预设的模拟参数,g(θi)表示将θi中的模拟参数取值投射到隐空间中得到的特征(或,特征向量),σ为预设值。
上述确定K个权重值W1...WK的方式,仅是本申请实施例的一个示例,本申请实施例对此不做限定,还可以根据不同的场景选择不同的方式确定K个权重值W1...WK。
在本申请实施例中,对于相同动作,可以使用与不同模拟参数对应的动作网络,得到虚拟服装上的各个服装顶点的不同预测空间位置坐标(即,得到了虚拟服装的形变信息),然后将各个服装顶点的不同预测空间位置坐标拟合成各个服装顶点的预测空间位置坐标,进一步提高了预测虚拟服装的形变信息的准确性。
下面结合附图4和附图5对K个目标动作网络模型的训练过程进行描述。
如附图4所示,K个目标动作网络模型输入的身体动作特征序列可以相同,即,相同身体动作的身体动作特征序列。可选的,上述K个目标动作网络模型中的模型结构相同,上述K个目标动作网络模型中的模型参数可以不全部相同,不同的目标动作网络模型中的模型参数与对应的模拟参数对应。
为了训练得到K个目标动作网络模型,使得K个目标动作网络模型中的模型参数与K个模拟参数θ1...θK分别对应,可以采用如图5所示的训练方案:
可以采用不同的训练样本分别对不同的待训练的动作网络模型进行训练,得到不同的目标动作网络模型,其中,上述不同的训练样本可以是分别与不同的模拟参数对应的训练样本。
举例来说,训练样本1中的样本与模拟参数θ1对应,训练样本2中的样本与模拟参数θ2对应,训练样本K中的样本与模拟参数θK对应。其中,以训练样本1中的样本与模拟参数θ1对应为例,训练样本1中的样本可以但不限于包括样本虚拟对象按照模拟参数θ1执行样本动作时的样本身体动作特征序列1,以及对应的真实形变结果1(或称为模拟形变结果1);以训练样本1中的样本与模拟参数θ2对应为例,训练样本1中的样本可以但不限于包括上述样本虚拟对象按照模拟参数θ2执行上述相同的样本动作时的样本身体动作特征序列2,以及对应的真实形变结果2(或称为模拟形变结果2),其他以此类推。
作为另一种可选的方式,还可以使不同的待训练的动作网络模型对应的损失函数与不同的模拟参数相关,以训练得到K个目标动作网络模型,使得K个目标动作网络模型中的模型参数与K个模拟参数θ1...θK分别对应。
举例来说,待训练的动作网络模型1对应的损失函数1与模拟参数θ1相关,如,损失函数1中包括根据模拟参数θ1确定得到的参数;待训练的动作网络模型2对应的损失函数2与模拟参数θ2相关,如,损失函数2中包括根据模拟参数θ2确定得到的参数,其他以此类推。
可选地,上述不同地方式可以独立使用或相互结合使用,本申请实施例对此不做限定。
通过上述方式,基于虚拟骨骼,对目标虚拟对象上的虚拟服装进行形变预测,其中,将目标虚拟对象的身体动作序列转化成第一虚拟骨骼动作序列,并根据第一虚拟骨骼动作序列,确定虚拟服装上的各个服装顶点的低频形变信息(例如,各个服装顶点在第一维度上的空间位置坐标),然后,根据虚拟服装上的各个服装顶顶的低频形变信息以及第一虚拟骨骼动作序列,预测虚拟服装上的各个服装顶点的高频形变信息(例如,各个服装顶点在第二维度上的空间位置坐标),然后将各个服装顶点的低频形变信息和高频形变信息进行结合,得到在目标虚拟对象执行目标动作时,虚拟服装上的各个服装顶点的预测空间位置坐标,即,得到了虚拟服装的形变信息。通过上述方式,可以预测得到目标虚拟对象执行不同动作时的虚拟服装的形变信息,即本申请实施例提出的方案可以适用于不同动作,包括幅度较大的动作,增加了方案的适用性。进一步,在目标虚拟对象执行每个动作时,根据虚拟骨骼动作序列,分别确定低频形变信息和高频形变信息,然后根据低频形变信息和高频形变信息,确定虚拟服装的形变信息,这样使得得到的虚拟服装的形变信息包含更为准确的细节信息,例如,虚拟对象摆动时产生的虚拟服装的褶皱,解决了相关技术中无法准确预测虚拟服装的形变信息的技术问题,提高了预测虚拟服装的形变信息的准确性。
需要说明的是,这里的虚拟服装的形变预测装置的实施例可以参考上述虚拟服装的形变预测方法的实施例,这里不再赘述。
根据本申请实施例的又一个方面,还提供了一种用于实施上述虚拟服装的形变预测方法的电子设备,该电子设备可以是图15所示的终端设备。本实施例以该电子设备为后台设备为例来说明。如图15所示,该电子设备包括存储器1502和处理器1504,该存储器1502中存储有计算机程序,该处理器1504被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,获取目标虚拟对象的身体动作特征序列,并将目标虚拟对象的身体动作特征序列转化成第一虚拟骨骼动作特征序列,其中,第一虚拟骨骼动作特征序列用于确定在目标虚拟对象执行身体动作特征序列所表示的目标动作时,目标虚拟服装中的各个服装顶点的预测空间位置坐标,目标虚拟服装是穿在目标虚拟对象身上的虚拟服装;
S2,根据第一虚拟骨骼动作特征序列,确定各个服装顶点在第一维度上的空间位置坐标,并根据第一虚拟骨骼动作特征序列以及各个服装顶点在第一维度上的空间位置坐标,确定各个服装顶点在第二维度上的空间位置坐标,其中,在目标虚拟对象执行目标动作时,目标虚拟服装中的各个服装顶点的预测空间位置坐标被分解为各个服装顶点在第一维度上的空间位置坐标和各个服装顶点在第二维度上的空间位置坐标;
S3,根据各个服装顶点在第一维度上的空间位置坐标,以及,各个服装顶点在第二维度上的空间位置坐标,确定在目标虚拟对象执行目标动作时,目标虚拟服装中的各个服装顶点的预测空间位置坐标。
可选地,本领域普通技术人员可以理解,图15所示的结构仅为示意,电子装置电子设备也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices,MID)、PAD等目标终端。图15其并不对上述电子装置电子设备的结构造成限定。例如,电子装置电子设备还可包括比图15中所示更多或者更少的组件(如网络接口等),或者具有与图15所示不同的配置。
其中,存储器1502可用于存储软件程序以及模块,如本申请实施例中的视图显示方法和装置对应的程序指令/模块,处理器1504通过运行存储在存储器1502内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现虚拟服装的形变预测方法。存储器1502可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器1502可进一步包括相对于处理器1504远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中,存储器1502具体可以但不限于用于存储如目标虚拟对象的身体动作特征序列、第一虚拟骨骼动作特征序列、各个服装顶点的预测空间位置坐标等。作为一种示例,如图15所示,上述存储器1502中可以但不限于包括上述虚拟服装的形变预测装置中的第一处理单元1402、第二处理单元1404、第三处理单元1406。此外,还可以包括但不限于上述虚拟服装的形变预测装置中的其他模块单元,本示例中不再赘述。
可选地,上述的传输装置1506用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输装置1506包括一个网络适配器(Network Interface Controller,NIC),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输装置1506为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
此外,上述电子设备还包括:显示器1508,用于显示上述根据形变预测结果渲染得到的虚拟服装;和连接总线1510,用于连接上述电子设备中的各个模块部件。
在其他实施例中,上述目标终端或者服务器可以是一个分布式系统中的一个节点,其中,该分布式系统可以为区块链系统,该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中,节点之间可以组成点对点(P2P,Peer To Peer)网络,任意形式的计算设备,比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述服务器校验处理等方面各种可选实现方式中提供的虚拟服装的形变预测方法,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,获取目标虚拟对象的身体动作特征序列,并将目标虚拟对象的身体动作特征序列转化成第一虚拟骨骼动作特征序列,其中,第一虚拟骨骼动作特征序列用于确定在目标虚拟对象执行身体动作特征序列所表示的目标动作时,目标虚拟服装中的各个服装顶点的预测空间位置坐标,目标虚拟服装是穿在目标虚拟对象身上的虚拟服装;
S2,根据第一虚拟骨骼动作特征序列,确定各个服装顶点在第一维度上的空间位置坐标,并根据第一虚拟骨骼动作特征序列以及各个服装顶点在第一维度上的空间位置坐标,确定各个服装顶点在第二维度上的空间位置坐标,其中,在目标虚拟对象执行目标动作时,目标虚拟服装中的各个服装顶点的预测空间位置坐标被分解为各个服装顶点在第一维度上的空间位置坐标和各个服装顶点在第二维度上的空间位置坐标;
S3,根据各个服装顶点在第一维度上的空间位置坐标,以及,各个服装顶点在第二维度上的空间位置坐标,确定在目标虚拟对象执行目标动作时,目标虚拟服装中的各个服装顶点的预测空间位置坐标。
可选地,在本实施例中,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令目标终端相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random Access Memory,RAM)、磁盘或光盘等。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (17)
1.一种虚拟服装的形变预测方法,其特征在于,包括:
获取目标虚拟对象的身体动作特征序列,并将所述目标虚拟对象的身体动作特征序列转化成第一虚拟骨骼动作特征序列,其中,所述第一虚拟骨骼动作特征序列用于确定在所述目标虚拟对象执行所述身体动作特征序列所表示的目标动作时,目标虚拟服装中的各个服装顶点的预测空间位置坐标,所述目标虚拟服装是穿在所述目标虚拟对象身上的虚拟服装;
根据所述第一虚拟骨骼动作特征序列,确定所述各个服装顶点在第一维度上的空间位置坐标,并根据所述第一虚拟骨骼动作特征序列以及所述各个服装顶点在第一维度上的空间位置坐标,确定所述各个服装顶点在第二维度上的空间位置坐标,其中,在所述目标虚拟对象执行所述目标动作时,所述目标虚拟服装中的各个服装顶点的预测空间位置坐标被分解为所述各个服装顶点在所述第一维度上的空间位置坐标和所述各个服装顶点在所述第二维度上的空间位置坐标;
根据所述各个服装顶点在第一维度上的空间位置坐标,以及,所述各个服装顶点在第二维度上的空间位置坐标,确定在所述目标虚拟对象执行所述目标动作时,所述目标虚拟服装中的各个服装顶点的预测空间位置坐标。
2.根据权利要求1所述的方法,其特征在于,所述将所述目标虚拟对象的身体动作特征序列转化成第一虚拟骨骼动作特征序列,包括:
在所述身体动作特征序列包括所述目标虚拟对象的身体平移特征以及N个身体骨骼旋转特征的情况下,将所述目标虚拟对象的身体平移特征以及N个身体骨骼旋转特征转化成所述第一虚拟骨骼动作特征序列,其中,所述N个身体骨骼旋转特征包括在所述目标虚拟对象执行所述目标动作时,所述目标虚拟对象的N个身体骨骼中的每个身体骨骼的旋转特征,所述第一虚拟骨骼动作特征序列包括M个第一虚拟骨骼平移特征以及M个第一虚拟骨骼旋转特征,所述M个第一虚拟骨骼平移特征包括在所述目标虚拟对象执行所述目标动作时,预设的M个虚拟骨骼中的每个虚拟骨骼的平移特征,所述M个第一虚拟骨骼旋转特征包括在所述目标虚拟对象执行所述目标动作时,预设的所述M个虚拟骨骼中的每个虚拟骨骼的旋转特征,N为大于或等于2的正整数,M为大于或等于2的正整数。
3.根据权利要求2所述的方法,其特征在于,所述将所述目标虚拟对象的身体平移特征以及N个身体骨骼旋转特征转化成所述第一虚拟骨骼动作特征序列,包括:
将所述目标虚拟对象的身体平移特征以及N个身体骨骼旋转特征输入到第一目标动作网络模型中的第一目标神经网络子模型,得到所述M个第一虚拟骨骼平移特征以及所述M个第一虚拟骨骼旋转特征,其中,所述第一目标动作网络模型用于根据所述身体动作特征序列,确定在所述目标虚拟对象按照第一模拟参数执行所述目标动作时,所述目标虚拟服装中的各个服装顶点的预测空间位置坐标,所述第一目标动作网络模型中的参数取值与所述第一模拟参数对应。
4.根据权利要求1所述的方法,其特征在于,所述根据所述第一虚拟骨骼动作特征序列,确定所述各个服装顶点在第一维度上的空间位置坐标,包括:
在所述第一虚拟骨骼动作特征序列包括M个第一虚拟骨骼平移特征以及M个第一虚拟骨骼旋转特征、且所述目标虚拟服装包括V个服装顶点的情况下,根据所述M个第一虚拟骨骼平移特征以及所述M个第一虚拟骨骼旋转特征,确定所述V个服装顶点在所述第一维度上的空间位置坐标;
其中,所述M个第一虚拟骨骼平移特征包括在所述目标虚拟对象执行所述目标动作时,预设的M个虚拟骨骼中的每个虚拟骨骼的平移特征,所述M个第一虚拟骨骼旋转特征包括在所述目标虚拟对象执行所述目标动作时,预设的所述M个虚拟骨骼中的每个虚拟骨骼的旋转特征,M为大于或等于2的正整数,V为大于或等于2的正整数。
5.根据权利要求4所述的方法,其特征在于,所述根据所述M个第一虚拟骨骼平移特征以及所述M个第一虚拟骨骼旋转特征,确定所述V个服装顶点在所述第一维度上的空间位置坐标,包括:
利用线性混合蒙皮LBS算法,根据所述M个第一虚拟骨骼平移特征以及所述M个第一虚拟骨骼旋转特征,确定所述V个服装顶点在所述第一维度上的空间位置坐标,其中,所述M个第一虚拟骨骼平移特征以及所述M个第一虚拟骨骼旋转特征是所述LBS算法的输入参数,所述V个服装顶点在所述第一维度上的空间位置坐标是所述LBS算法的输出参数。
6.根据权利要求1所述的方法,其特征在于,所述根据所述第一虚拟骨骼动作特征序列以及所述各个服装顶点在第一维度上的空间位置坐标,确定所述各个服装顶点在第二维度上的空间位置坐标,包括:
将所述第一虚拟骨骼动作特征序列转化成服装顶点全局信息特征序列,其中,所述服装顶点全局信息特征序列包括所述各个服装顶点的全局信息特征;
将所述各个服装顶点在第一维度上的空间位置坐标转化为服装顶点局部信息特征序列,其中,所述服装顶点局部信息特征序列包括所述各个服装顶点的局部信息特征;
根据所述服装顶点全局信息特征序列和所述服装顶点局部信息特征序列,确定所述各个服装顶点在第二维度上的空间位置坐标。
7.根据权利要求6所述的方法,其特征在于,所述将所述第一虚拟骨骼动作特征序列转化成服装顶点全局信息特征序列,包括:
将所述第一虚拟骨骼动作特征序列输入到第一目标动作网络模型中的第二目标神经网络子模型,得到所述服装顶点全局信息特征序列,其中,所述第一目标动作网络模型用于根据所述身体动作特征序列,确定在所述目标虚拟对象按照第一模拟参数执行所述目标动作时,所述目标虚拟服装中的各个服装顶点的预测空间位置坐标,所述第一目标动作网络模型中的参数取值与所述第一模拟参数对应。
8.根据权利要求6所述的方法,其特征在于,所述将所述各个服装顶点在第一维度上的空间位置坐标转化为服装顶点局部信息特征序列,包括:
在所述目标虚拟服装包括V个服装顶点的情况下,将所述V个服装顶点在所述第一维度上的空间位置坐标输入到第一目标动作网络模型中的第三目标神经网络子模型,得到所述服装顶点局部信息特征序列,其中,所述第一目标动作网络模型用于根据所述身体动作特征序列,确定在所述目标虚拟对象按照第一模拟参数执行所述目标动作时,所述V个服装顶点的预测空间位置坐标,所述第一目标动作网络模型中的参数取值与所述第一模拟参数对应,V为大于或等于2的正整数。
9.根据权利要求6所述的方法,其特征在于,根据所述服装顶点全局信息特征序列和所述服装顶点局部信息特征序列,确定所述各个服装顶点在第二维度上的空间位置坐标,包括:
将所述服装顶点全局信息特征序列与所述服装顶点局部信息特征序列进行拼接,得到第一拼接特征向量;
将所述第一拼接特征向量输入到第一目标动作网络模型中的第一多层神经网络MLP结构,得到所述第一MLP结构输出的所述各个服装顶点在所述第二维度上的空间位置坐标,其中,所述第一目标动作网络模型用于根据所述身体动作特征序列,确定在所述目标虚拟对象按照第一模拟参数执行所述目标动作时,所述各个服装顶点的预测空间位置坐标,所述第一目标动作网络模型中的参数取值与所述第一模拟参数对应。
10.根据权利要求1至9中任一项所述的方法,其特征在于,所述根据所述各个服装顶点在第一维度上的空间位置坐标,以及,所述各个服装顶点在第二维度上的空间位置坐标,确定在所述目标虚拟对象执行所述目标动作时,所述目标虚拟服装中的各个服装顶点的预测空间位置坐标,包括:
在所述目标虚拟服装包括V个服装顶点的情况下,将所述V个服装顶点在所述第一维度上的空间位置坐标与所述V个服装顶点在所述第二维度上的空间位置坐标进行相加,得到所述V个服装顶点的第一预测空间位置坐标,其中,V为大于或等于2的正整数;
根据所述V个服装顶点的第一预测空间位置坐标,确定在所述目标虚拟对象执行所述目标动作时,所述V个服装顶点的预测空间位置坐标。
11.根据权利要求10所述的方法,其特征在于,所述将所述V个服装顶点在所述第一维度上的空间位置坐标与所述V个服装顶点在所述第二维度上的空间位置坐标进行相加,得到所述V个服装顶点的第一预测空间位置坐标,包括:
在第一目标动作网络模型中将所述V个服装顶点在所述第一维度上的空间位置坐标与所述V个服装顶点在所述第二维度上的空间位置坐标进行相加,得到所述V个服装顶点的所述第一预测空间位置坐标,其中,所述第一目标动作网络模型用于根据所述身体动作特征序列,确定在所述目标虚拟对象按照第一模拟参数执行所述目标动作时,所述目标虚拟服装中的所述V个服装顶点的第一预测空间位置坐标,所述第一目标动作网络模型中的参数取值与所述第一模拟参数对应。
12.根据权利要求11所述的方法,其特征在于,所述根据所述V个服装顶点的第一预测空间位置坐标,确定在所述目标虚拟对象执行所述目标动作时,所述V个服装顶点的预测空间位置坐标,包括:
将所述V个服装顶点中的各个服装顶点的K个预测空间位置坐标进行加权求和,得到在所述目标虚拟对象执行所述目标动作时的所述V个服装顶点的预测空间位置坐标;
其中,K为大于或等于2的正整数,所述K个预测空间位置坐标包括所述第一预测空间位置坐标,所述V个服装顶点中的各个服装顶点的每个预测空间位置坐标是通过K个目标动作网络模型中对应的一个目标动作网络模型根据所述身体动作特征序列确定的预测空间位置,所述K个目标动作网络模型与K个模拟参数分别对应,所述K个模拟参数包括所述第一模拟参数,所述K个目标动作网络模型中的每个目标动作网络模型用于根据所述身体动作特征序列,确定在所述目标虚拟对象按照所述K个模拟参数中对应的模拟参数执行所述目标动作时,所述V个服装顶点的预测空间位置坐标。
13.根据权利要求12所述的方法,其特征在于,所述将所述V个服装顶点中的各个服装顶点的K个预测空间位置坐标进行加权求和,包括:
将所述V个服装顶点中的各个服装顶点的所述K个预测空间位置坐标分别与K个权重值进行加权求和,其中,所述K个权重值与所述K个模拟参数分别对应,所述K个权重值中的每个权重值是根据所述K个模拟参数中对应的模拟参数确定得到的权重值。
14.一种虚拟服装的形变预测装置,其特征在于,包括:
第一处理单元,用于获取目标虚拟对象的身体动作特征序列,并将所述目标虚拟对象的身体动作特征序列转化成第一虚拟骨骼动作特征序列,其中,所述第一虚拟骨骼动作特征序列用于确定在所述目标虚拟对象执行所述身体动作特征序列所表示的目标动作时,目标虚拟服装中的各个服装顶点的预测空间位置坐标,所述目标虚拟服装是穿在所述目标虚拟对象身上的虚拟服装;
第二处理单元,用于根据所述第一虚拟骨骼动作特征序列,确定所述各个服装顶点在第一维度上的空间位置坐标,并根据所述第一虚拟骨骼动作特征序列以及所述各个服装顶点在第一维度上的空间位置坐标,确定所述各个服装顶点在第二维度上的空间位置坐标,其中,在所述目标虚拟对象执行所述目标动作时,所述目标虚拟服装中的各个服装顶点的预测空间位置坐标被分解为所述各个服装顶点在所述第一维度上的空间位置坐标和所述各个服装顶点在所述第二维度上的空间位置坐标;
第三处理单元,用于根据所述各个服装顶点在第一维度上的空间位置坐标,以及,所述各个服装顶点在第二维度上的空间位置坐标,确定在所述目标虚拟对象执行所述目标动作时,所述目标虚拟服装中的各个服装顶点的预测空间位置坐标。
15.一种计算机可读的存储介质,其特征在于,所述计算机可读的存储介质包括存储的程序,其中,所述程序被处理器运行时执行所述权利要求1至13任一项中的所述方法。
16.一种计算机程序产品,包括计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时实现权利要求1至13任一项中所述方法的步骤。
17.一种电子设备,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行所述权利要求1至13任一项中的所述方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210467386.1A CN115115752A (zh) | 2022-04-29 | 2022-04-29 | 虚拟服装的形变预测方法和装置、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210467386.1A CN115115752A (zh) | 2022-04-29 | 2022-04-29 | 虚拟服装的形变预测方法和装置、存储介质及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115115752A true CN115115752A (zh) | 2022-09-27 |
Family
ID=83326373
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210467386.1A Pending CN115115752A (zh) | 2022-04-29 | 2022-04-29 | 虚拟服装的形变预测方法和装置、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115115752A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116051694A (zh) * | 2022-12-20 | 2023-05-02 | 百度时代网络技术(北京)有限公司 | 虚拟形象生成方法、装置、电子设备以及存储介质 |
CN116664733A (zh) * | 2023-07-28 | 2023-08-29 | 腾讯科技(深圳)有限公司 | 虚拟服装预测方法、装置、设备及计算机可读存储介质 |
-
2022
- 2022-04-29 CN CN202210467386.1A patent/CN115115752A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116051694A (zh) * | 2022-12-20 | 2023-05-02 | 百度时代网络技术(北京)有限公司 | 虚拟形象生成方法、装置、电子设备以及存储介质 |
CN116051694B (zh) * | 2022-12-20 | 2023-10-03 | 百度时代网络技术(北京)有限公司 | 虚拟形象生成方法、装置、电子设备以及存储介质 |
CN116664733A (zh) * | 2023-07-28 | 2023-08-29 | 腾讯科技(深圳)有限公司 | 虚拟服装预测方法、装置、设备及计算机可读存储介质 |
CN116664733B (zh) * | 2023-07-28 | 2024-01-30 | 腾讯科技(深圳)有限公司 | 虚拟服装预测方法、装置、设备及计算机可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111626218B (zh) | 基于人工智能的图像生成方法、装置、设备及存储介质 | |
KR101947650B1 (ko) | 게임 엔진 기반의 머신 러닝 학습이미지 생성 장치 및 방법 | |
CN111260764B (zh) | 一种制作动画的方法、装置及存储介质 | |
JP7299414B2 (ja) | 画像処理方法、装置、電子機器及びコンピュータプログラム | |
CN115115752A (zh) | 虚拟服装的形变预测方法和装置、存储介质及电子设备 | |
CN111714880B (zh) | 画面的显示方法和装置、存储介质、电子装置 | |
CN113012282A (zh) | 三维人体重建方法、装置、设备及存储介质 | |
US11514638B2 (en) | 3D asset generation from 2D images | |
CN109035415B (zh) | 虚拟模型的处理方法、装置、设备和计算机可读存储介质 | |
CN112950769A (zh) | 三维人体重建方法、装置、设备及存储介质 | |
CN112991502B (zh) | 一种模型训练方法、装置、设备及存储介质 | |
CN106575158A (zh) | 环境映射虚拟化机构 | |
CN111773688B (zh) | 柔性对象的渲染方法和装置、存储介质、电子装置 | |
CN112184862A (zh) | 虚拟对象的控制方法、装置及电子设备 | |
CN115018959A (zh) | 三维虚拟模型的驱动处理方法、装置、设备和存储介质 | |
CN115331265A (zh) | 姿态检测模型的训练方法和数字人的驱动方法、装置 | |
CN116363308A (zh) | 人体三维重建模型训练方法、人体三维重建方法和设备 | |
US20230177755A1 (en) | Predicting facial expressions using character motion states | |
US20140285513A1 (en) | Animation of a virtual object | |
Qinping | A survey on virtual reality | |
CN116958344A (zh) | 虚拟形象的动画生成方法、装置、计算机设备及存储介质 | |
CN110853131A (zh) | 一种用于行为识别的虚拟视频数据生成方法 | |
CN116342782A (zh) | 生成虚拟形象渲染模型的方法和装置 | |
CN115797517A (zh) | 虚拟模型的数据处理方法、装置、设备和介质 | |
Hempe et al. | A semantics-based, active render framework to realize complex eRobotics applications with realistic virtual testing environments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |