CN114333069B - 对象的姿态处理方法、装置、设备及存储介质 - Google Patents
对象的姿态处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114333069B CN114333069B CN202210203431.2A CN202210203431A CN114333069B CN 114333069 B CN114333069 B CN 114333069B CN 202210203431 A CN202210203431 A CN 202210203431A CN 114333069 B CN114333069 B CN 114333069B
- Authority
- CN
- China
- Prior art keywords
- feature
- posture
- target object
- attitude
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title description 9
- 238000012545 processing Methods 0.000 claims abstract description 148
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 95
- 238000000034 method Methods 0.000 claims abstract description 70
- 238000005070 sampling Methods 0.000 claims abstract description 25
- 230000001131 transforming effect Effects 0.000 claims abstract description 7
- 238000004364 calculation method Methods 0.000 claims description 68
- 239000011159 matrix material Substances 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 18
- 238000010276 construction Methods 0.000 claims description 14
- 230000009466 transformation Effects 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 11
- 230000000694 effects Effects 0.000 abstract description 14
- 230000036544 posture Effects 0.000 description 382
- 210000003141 lower extremity Anatomy 0.000 description 66
- 210000001364 upper extremity Anatomy 0.000 description 66
- 238000005516 engineering process Methods 0.000 description 26
- 230000008569 process Effects 0.000 description 21
- 241000282414 Homo sapiens Species 0.000 description 13
- 238000013473 artificial intelligence Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 9
- 239000000203 mixture Substances 0.000 description 9
- 230000009471 action Effects 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种对象的姿态处理方法、装置、设备及存储介质,其中对象的姿态处理方法包括:获取目标对象的第一姿态描述信息;对第一姿态描述信息中的各对象部位的姿态信息进行层次化的特征组合编码,得到第一姿态特征;基于第一姿态特征构建目标对象的姿态特征分布空间,姿态特征分布空间中包括一个或多个新的姿态特征;当需对目标对象进行姿态变换时,对姿态特征分布空间进行特征采样,得到第二姿态特征;对第二姿态特征进行层次化的特征分解解码,得到目标对象的第二姿态描述信息;根据第二姿态描述信息,将目标对象的姿态变换成第二姿态。本申请实施例可提升姿态生成效果。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种对象的姿态处理方法、装置、设备及存储介质。
背景技术
目前,当需根据输入数据所描述的对象的动作姿态,生成对象的新姿态时,通常采用高斯混合模型来学习输入数据,以得到对象的新姿态。但高斯混合模型的方法过于简单,且用于描述对象的动作姿态的输入数据的维度较高、分布复杂,使得现有技术难以拟合,即难以较为准确地对输入数据进行学习,导致生成的新姿态的效果较差。基于此,如何生成对象的新姿态,提升姿态生成效果成为一个研究热点。
发明内容
本申请实施例提供了一种对象的姿态处理方法、装置、设备及存储介质,可以提升姿态处理的准确性,即可得到准确性较高的第二姿态描述信息,从而生成准确性较高的第二姿态。
一方面,本申请实施例提供了一种对象的姿态处理方法,所述方法包括:
获取目标对象的第一姿态描述信息,所述第一姿态描述信息包括:在所述目标对象处于第一姿态时,所述目标对象的各对象部位的姿态信息;
对所述第一姿态描述信息中的各对象部位的姿态信息进行层次化的特征组合编码,得到第一姿态特征;
基于所述第一姿态特征构建所述目标对象的姿态特征分布空间,所述姿态特征分布空间中包括一个或多个新的姿态特征,且一个新的姿态特征用于解码得到所述目标对象的一个新的姿态描述信息;
当需对所述目标对象进行姿态变换时,对所述姿态特征分布空间进行特征采样,得到第二姿态特征;
对所述第二姿态特征进行层次化的特征分解解码,得到所述目标对象的第二姿态描述信息;所述第二姿态描述信息包括:在所述目标对象处于第二姿态时,所述目标对象的各对象部位的姿态信息;
根据所述第二姿态描述信息,将所述目标对象的姿态变换成所述第二姿态。
另一方面,本申请实施例提供了一种对象的姿态处理装置,所述装置包括:
获取单元,用于获取目标对象的第一姿态描述信息,所述第一姿态描述信息包括:在所述目标对象处于第一姿态时,所述目标对象的各对象部位的姿态信息;
处理单元,用于对所述第一姿态描述信息中的各对象部位的姿态信息进行层次化的特征组合编码,得到第一姿态特征;
所述处理单元,还用于基于所述第一姿态特征构建所述目标对象的姿态特征分布空间,所述姿态特征分布空间中包括一个或多个新的姿态特征,且一个新的姿态特征用于解码得到所述目标对象的一个新的姿态描述信息;
所述处理单元,还用于当需对所述目标对象进行姿态变换时,对所述姿态特征分布空间进行特征采样,得到第二姿态特征;
所述处理单元,还用于对所述第二姿态特征进行层次化的特征分解解码,得到所述目标对象的第二姿态描述信息;所述第二姿态描述信息包括:在所述目标对象处于第二姿态时,所述目标对象的各对象部位的姿态信息;
所述处理单元,还用于根据所述第二姿态描述信息,将所述目标对象的姿态变换成所述第二姿态。
再一方面,本申请实施例提供了一种计算机设备,所述计算机设备包括处理器、存储器,其中,所述存储器用于存储计算机程序,所述计算机程序被所述处理器执行时实现如下步骤:
获取目标对象的第一姿态描述信息,所述第一姿态描述信息包括:在所述目标对象处于第一姿态时,所述目标对象的各对象部位的姿态信息;
对所述第一姿态描述信息中的各对象部位的姿态信息进行层次化的特征组合编码,得到第一姿态特征;
基于所述第一姿态特征构建所述目标对象的姿态特征分布空间,所述姿态特征分布空间中包括一个或多个新的姿态特征,且一个新的姿态特征用于解码得到所述目标对象的一个新的姿态描述信息;
当需对所述目标对象进行姿态变换时,对所述姿态特征分布空间进行特征采样,得到第二姿态特征;
对所述第二姿态特征进行层次化的特征分解解码,得到所述目标对象的第二姿态描述信息;所述第二姿态描述信息包括:在所述目标对象处于第二姿态时,所述目标对象的各对象部位的姿态信息;
根据所述第二姿态描述信息,将所述目标对象的姿态变换成所述第二姿态。
再一方面,本申请实施例提供了一种计算机存储介质,所述计算机存储介质存储有计算机程序,所述计算机程序适于由处理器加载并执行如下步骤:
获取目标对象的第一姿态描述信息,所述第一姿态描述信息包括:在所述目标对象处于第一姿态时,所述目标对象的各对象部位的姿态信息;
对所述第一姿态描述信息中的各对象部位的姿态信息进行层次化的特征组合编码,得到第一姿态特征;
基于所述第一姿态特征构建所述目标对象的姿态特征分布空间,所述姿态特征分布空间中包括一个或多个新的姿态特征,且一个新的姿态特征用于解码得到所述目标对象的一个新的姿态描述信息;
当需对所述目标对象进行姿态变换时,对所述姿态特征分布空间进行特征采样,得到第二姿态特征;
对所述第二姿态特征进行层次化的特征分解解码,得到所述目标对象的第二姿态描述信息;所述第二姿态描述信息包括:在所述目标对象处于第二姿态时,所述目标对象的各对象部位的姿态信息;
根据所述第二姿态描述信息,将所述目标对象的姿态变换成所述第二姿态。
再一方面,本申请实施例提供了一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现上述所提及的对象的姿态处理方法。
本申请实施例在获取到目标对象的第一姿态描述信息后,可对第一姿态描述信息中的各对象部位的姿态信息进行层次化的特征组合编码,从而通过特征组合编码分别得到目标对象处于第一姿态时的各层次化特征,以实现局部特征到整体特征的编码过程,即能够很好地对目标对象的局部特征进行特征组合编码,以得到准确性较高的第一姿态特征。进一步的,可基于准确性较高的第一姿态特征,更好地构建目标对象的姿态特征分布空间,该姿态特征分布空间中包括一个或多个新的姿态特征,且有效减小任一新的姿态特征所对应的新姿态,为不允许目标对象所具有的姿态的可能性。然后,当需对目标对象进行姿态变换时,可对姿态特征分布空间进行特征采样,得到第二姿态特征;并对第二姿态特征进行层次化的特征分解解码,得到目标对象的第二姿态描述信息,也就是说,可通过特征分解解码分别得到目标对象处于第二姿态时的各层次化特征,以实现整体特征到局部特征的解码过程,从而使得第二姿态描述信息可更加准确地对第二姿态的局部动作进行描述,进而将目标对象的姿态变换成效果较好的第二姿态,即可提升姿态生成效果。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a是本申请实施例提供的一种对象的姿态处理方案的流程示意图;
图1b是本申请实施例提供的一种终端和服务器交互的示意图;
图2是本申请实施例提供的一种对象的姿态处理方法的流程示意图;
图3是本申请实施例提供的另一种对象的姿态处理方法的流程示意图;
图4a是本申请实施例提供的一种目标对象的骨架结构的示意图;
图4b是本申请实施例提供的一种目标对象的手部骨架的示意图;
图5a是本申请实施例提供的一种层次化的特征组合编码过程的示意图;
图5b是本申请实施例提供的又一种对象的姿态处理方法的流程示意图;
图5c是本申请实施例提供的一种层次化的特征分解解码过程的示意图;
图6是本申请实施例提供的一种对象的姿态处理装置的结构示意图;
图7是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
随着互联网技术的不断发展,人工智能(Artificial Intelligence,AI)技术也随之得到更好的发展。所谓的人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
其中,计算机视觉技术(Computer Vision,CV)是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition,光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D(3 Dimensions,三维)技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。而深度学习则是一种利用深层神经网络系统,进行机器学习的技术;机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
基于AI技术中的计算机视觉技术和机器学习/深度学习技术,本申请实施例提出了一种对象的姿态处理方案,以实现通过特征组合编码和特征分解解码,学习目标对象的各对象部位之间的层次化的特征,从而更好地将目标对象的姿态变换成第二姿态;其中,目标对象包括但不限于:人物、动物等。需要说明的是,本申请实施例可应用于各种场景,包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。
参见图1a所示,本申请实施例所提出的对象的姿态处理方案的大致原理如下:
首先,在获取到目标对象的第一姿态描述信息后,可对第一姿态描述信息中的各对象部位的姿态信息进行层次化的特征组合编码,得到第一姿态特征;并基于第一姿态特征构建目标对象的姿态特征分布空间,该姿态特征分布空间中包括一个或多个新的姿态特征,且一个新的姿态特征用于解码得到目标对象的一个新的姿态描述信息,也就是说,可基于姿态特征分布空间中的任一新的姿态特征,解码得到目标对象的新的姿态描述信息所描述的新姿态。在此种情况下,若需对目标对象进行姿态变换,则可对姿态特征分布空间进行特征采样,得到第二姿态特征,也就是说,可在姿态特征分布空间中包括的一个或多个新的姿态特征中,选取一个姿态特征作为第二姿态特征。然后,可对第二姿态特征进行层次化的特征分解解码,得到目标对象的第二姿态描述信息;并根据第二姿态描述信息,将目标对象的姿态变换成第二姿态,即生成目标对象的第二姿态。
经实践表明,本申请实施例提出的对象的姿态处理方案可至少具有如下几点有益效果:①可对各对象部位的姿态信息进行层次化的特征组合编码,依次得到目标对象处于第一姿态时的各层次化特征,从而得到第一姿态特征;可以理解的是,可从任一对象部位的姿态信息中提取出该任一对象部位的局部特征,即可通过层次化的特征组合编码得到编码了各个局部特征的第一姿态特征,有效提高第一姿态特征的准确性。②基于准确性较高的第一姿态特征,可更好地构建目标对象的姿态特征分布空间,使得对姿态特征分布空间进行特征采样得到的第二姿态特征可更好地描述目标对象的相应姿态。③可对第二姿态特征进行层次化的特征分解解码,依次得到目标对象处于第二姿态时的各层次化特征,从而得到各对象部位的局部特征,使得得到的第二姿态描述信息可更加准确地对第二姿态进行描述,进而提升姿态生成效果。
在具体实现中,上述所提及的对象的姿态处理方案可由一个计算机设备执行,该计算机设备可以是终端或者服务器;其中,此处所提及的终端可以包括但不限于:智能手机、平板电脑、笔记本电脑、台式计算机、智能手表、智能语音交互设备、智能家电、车载终端、飞行器等;终端内可运行各式各样的客户端(application,APP),如视频播放客户端、社交客户端、浏览器客户端、信息流客户端、教育客户端,等等。此处所提及的服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算(cloud computing)、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器,等等。并且,本申请实施例所提及的计算机设备可以位于区块链网络外,也可以位于区块链网络内,对此不作限定;所谓的区块链网络是一种由点对点网络(P2P网络)和区块链所构成的网络,而区块链则是指一种分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式,其本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块(或称为区块)。
或者,在其他实施例中,上述所提及的对象的姿态处理方案也可由服务器和终端共同执行;终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。例如:可由终端负责获取目标对象的第一姿态描述信息,并将第一姿态描述信息发送至服务器,使得服务器可基于第一姿态描述信息确定目标对象的姿态特征分布空间,以得到第二姿态特征,进而对第二姿态特征进行层次化的特征分解解码,得到目标对象的第二姿态描述信息,然后将第二姿态描述信息发送至终端,再由终端根据第二姿态描述信息,将目标对象的姿态变换成第二姿态,如图1b所示。又如,可由终端负责获取目标对象的第一姿态描述信息,并根据第一姿态描述信息确定姿态特征分布空间,从而将确定的姿态特征分布空间发送至服务器;当需对目标对象进行姿态变换时,使得服务器可对姿态特征分布空间进行特征采样得到第二姿态特征,进而通过层次化的特征分解解码得到目标对象的第二姿态描述信息;然后服务器可将第二姿态描述信息发送至终端,再由终端根据第二姿态描述信息,将目标对象的姿态变换成第二姿态。应理解的是,此处只是示例性地阐述了终端和服务器共同执行上述对象的姿态处理方案的两种情况,并非穷举。
基于上述对象的姿态处理方案的相关描述,本申请实施例提出一种对象的姿态处理方法,该对象的姿态处理方法可以由上述所提及的计算机设备(终端或服务器)执行;或者,该对象的姿态处理方法可由终端和服务器共同执行。为便于阐述,后续均以计算机设备执行该对象的姿态处理方法为例进行说明;请参见图2,该对象的姿态处理方法可包括以下步骤S201-S206:
S201,获取目标对象的第一姿态描述信息,第一姿态描述信息包括:在目标对象处于第一姿态时,目标对象的各对象部位的姿态信息。
其中,上述目标对象可以是包括一个或多个对象部位的任一人物或动物等;例如,该目标对象可以是游戏应用中的游戏角色,也可以是互联网中的虚拟形象,还可以是图像或者视频中的任一形象等,本申请对此不作限定。应当理解的是,当目标对象为人物或者动物时,目标对象的对象部位包括但不限于左上肢、右上肢、左下肢、右下肢以及躯干,等等。
在具体实现中,计算机设备获取目标对象的第一姿态描述信息的方式包括但不限于以下几种:
第一种获取方式:计算机设备可获取包含处于第一姿态的目标对象的图像,并从该图像中提取出目标对象的第一姿态描述信息,也就是说,计算机设备可从该图像中分别提取出目标对象的各对象部位的姿态信息;或者,计算机设备可将该图像作为目标对象的第一姿态描述信息,等等。
第二种获取方式:计算机设备可获取目标对象的驱动信息,并根据该驱动信息确定目标对象的第一姿态描述信息。其中,该驱动信息可以是用于描述目标对象所处姿态的音频数据;举例来说,假设目标对象的对象部位包括对象部位A,且该音频数据中包括“对象部位A垂直向上举起”的语音,则计算机设备可以确定目标对象的对象部位A的姿态信息为垂直向上举起。另外,上述驱动信息也可以是作用于目标对象的轨迹运动信息;举例来说,假设目标对象的对象部位包括对象部位A和对象部位B,对象部位A和对象部位B用于驱使目标对象的移动,且在移动目标对象的过程中,首先改变对象部位A的姿态信息;又假设该轨迹运动信息用于指示目标对象向右移动一定距离,那么在计算机设备按照轨迹运动信息对目标对象进行驱动,以生成第一帧图像时,计算机设备可以确定对象部位A的姿态信息为向右上方旋转一定角度,对象部位B的姿态信息保持不变,基于此,计算机设备可根据目标对象的各对象部位的姿态信息确定目标对象在移动过程中的第一帧图像。本申请对驱动信息的具体表现形式不作限定。
第三种获取方式:计算机设备可以直接获取目标对象的第一姿态描述信息;例如,计算机设备可获取第一姿态描述信息的下载链接,并采用该下载链接下载第一姿态描述信息;又如,若计算机设备自身的存储空间中存储有目标对象的一个或多个姿态描述信息,那么计算机设备可在存储的一个或多个姿态描述信息中选取一个姿态描述信息,并将选取的姿态描述信息作为第一姿态描述信息,等等。
值得注意的是,当本申请实施例运用到具体产品或技术中时,涉及与目标对象相关的一系列数据(如第一姿态描述信息等)的获取,均需要获得目标对象许可或者同意,或者均需要获得目标对象的管理者的许可或者同意等,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如,若计算机设备是通过拍摄处于某一姿态的目标对象的图像来得到第一姿态描述信息的,则计算机设备在进行拍摄之前,可以先显示提示界面或提示弹窗,该提示界面或提示弹窗用于提示目标对象:是否允许拍摄相应的图像来得到第一姿态描述信息,且该提示界面或提示弹窗中包括确认选项;若目标对象对上述提示界面或提示弹窗中的确认选项进行了选择操作,则计算机设备可执行拍摄操作以获取第一姿态描述信息的相关步骤,否则结束。
S202,对第一姿态描述信息中的各对象部位的姿态信息进行层次化的特征组合编码,得到第一姿态特征。
需要说明的是,第一姿态特征可以指的是用于描述目标对象的整体结构的特征,也可以指的是目标对象的一个或多个部位中的各个部位的部位特征,即第一姿态特征也可以包括目标对象的一个或多个部位中的各个部位的部位特征,本申请对此不作限定。值得注意的是,上述特征组合编码可以指的是特征提取,则对第一姿态描述信息中的各对象部位的姿态信息进行层次化的特征组合编码可以指的是:对第一姿态描述信息中的各对象部位的姿态信息进行层次化的特征提取。
S203,基于第一姿态特征构建目标对象的姿态特征分布空间,姿态特征分布空间中包括一个或多个新的姿态特征。
其中,一个新的姿态特征用于解码得到目标对象的一个新的姿态描述信息;也就是说,一个新的姿态特征可用于解码得到目标对象的一个新的姿态。
需要说明的是,目标对象的姿态特征分布空间也可称为目标对象的隐空间(latent space),一个比用于描述目标对象的各姿态的原数据空间更低维的空间;其中,原数据空间可以指的是包括一个或多个姿态描述信息的空间,也可以指的是包括一个或多个姿态数据(如包含处于某一姿态的目标对象的图像或用于描述所处姿态的音频数据等)的空间,等等。相应的,一个新的姿态特征也可称为一个隐变量,上述姿态特征分布空间(即隐空间)可由隐变量组成,且隐变量是原数据(如姿态描述信息或姿态数据等)的一种低维特征表示;也就是说,姿态特征分布空间可由各个新的姿态特征组成,且一个新的姿态特征是原数据的一种低维特征表示。
S204,当需对目标对象进行姿态变换时,对姿态特征分布空间进行特征采样,得到第二姿态特征。
需要说明的是,计算机设备可在获取到目标对象的第一姿态描述信息时,确定需对目标对象进行姿态变换;也可在接收到姿态变换指令时,确定需对目标对象进行姿态变换,本申请对此不作限定。
应当理解的是,由于姿态特征分布空间包括一个或多个新的姿态特征,那么在计算机设备对姿态特征分布空间进行特征采样时,可在姿态特征分布空间中选取一个新的姿态特征作为第二姿态特征;或者,姿态特征分布空间对应一个特征分布,该特征分布为一个或多个新的姿态特征所构成的分布,那么计算机设备在对姿态特征分布空间进行特征采样时,可基于姿态特征分布空间对应的特征分布进行特征采样,以得到第二姿态特征,等等。
S205,对第二姿态特征进行层次化的特征分解解码,得到目标对象的第二姿态描述信息;第二姿态描述信息包括:在目标对象处于第二姿态时,目标对象的各对象部位的姿态信息。
需要说明的是,由于上述第二姿态特征为计算机设备对姿态特征分布空间进行特征采样得到的姿态特征,则第二姿态特征为计算机设备从姿态特征分布空间采样的一个低维向量,那么计算机设备可通过层次化的特征分解解码将第二姿态特征解码到高维空间,并得到目标对象的第二姿态描述信息。值得注意的是,上述特征分解解码可以指的是特征提取,则对第二姿态特征进行层次化的特征分解解码可以指的是:对第二姿态特征进行层次化的特征提取。
S206,根据第二姿态描述信息,将目标对象的姿态变换成第二姿态。
值得注意的是,当需生成目标图像,且该目标图像包括处于第二姿态的目标对象时,计算机设备可根据第二姿态描述信息,生成上述目标图像。基于此,本申请实施例所提出的对象的姿态处理方法可应用于2D(Two Dimensions,二维)或3D(Three Dimensions,三维)虚拟对象动作合成的相关应用,该相关应用包括但不限于:虚拟新闻主播、虚拟游戏解说、虚拟门迎以及虚拟导购,等等。为了便于阐述,后续均以该对象的姿态处理方法应用于3D虚拟对象动作合成的相关应用为例进行说明。
例如,当本申请实施例所涉及的应用为虚拟新闻主播时,计算机设备可将目标对象作为新闻主播,并根据针对目标对象的姿态变换需求和图像生成需求,依次生成目标对象处于相应姿态的图像,并将生成的图像与新闻播报内容相结合,以得到目标对象进行新闻播报的一系列动作;又如,当本申请实施例所涉及的应用为虚拟门迎时,计算机设备可将目标对象作为用于虚拟门迎的讲解员,并根据针对目标对象的姿态变换需求和图像生成需求,依次生成目标对象处于相应姿态的图像,并将生成的图像与所需讲解的内容相结合,以得到目标对象进行内容讲解的一系列动作,那么在观众走近屏幕时,作为讲解员的目标对象则可活动起来,为观众介绍相应的讲解内容,等等。
需要说明的是,计算机设备在依次生成目标对象处于相应姿态的图像的过程中,可每获取到目标对象的一个第一姿态描述信息后,生成一个包括处于第二姿态的目标对象的图像;计算机设备也可在获取到目标对象的一个第一姿态描述信息后,基于该第一姿态描述信息确定目标对象的姿态特征分布空间,并依次对该姿态特征分布空间进行特征采样,得到多个第二姿态特征,从而分别生成多个图像,且每个图像分别包括处于对应的第二姿态的目标对象,也就是说,计算机设备可以基于目标对象的一个第一姿态描述信息,生成多个图像;本申请对此不作限定。
本申请实施例在获取到目标对象的第一姿态描述信息后,可对第一姿态描述信息中的各对象部位的姿态信息进行层次化的特征组合编码,从而通过特征组合编码分别得到目标对象处于第一姿态时的各层次化特征,以实现局部特征到整体特征的编码过程,即能够很好地对目标对象的局部特征进行特征组合编码,以得到准确性较高的第一姿态特征。进一步的,可基于准确性较高的第一姿态特征,更好地构建目标对象的姿态特征分布空间,该姿态特征分布空间中包括一个或多个新的姿态特征,且有效减小任一新的姿态特征所对应的新姿态,为不允许目标对象所具有的姿态的可能性。然后,当需对目标对象进行姿态变换时,可对姿态特征分布空间进行特征采样,得到第二姿态特征;并对第二姿态特征进行层次化的特征分解解码,得到目标对象的第二姿态描述信息,也就是说,可通过特征分解解码分别得到目标对象处于第二姿态时的各层次化特征,以实现整体特征到局部特征的解码过程,从而使得第二姿态描述信息可更加准确地对第二姿态的局部动作进行描述,进而将目标对象的姿态变换成效果较好的第二姿态,即可提升姿态生成效果。
请参见图3,是本申请实施例提供的另一种对象的姿态处理方法的流程示意图。该对象的姿态处理方法可以由上述所提及的计算机设备(终端或服务器)执行;或者,该对象的姿态处理方法可由终端和服务器共同执行。为便于阐述,后续均以计算机设备执行该对象的姿态处理方法为例进行说明;请参见图3,该对象的姿态处理方法可包括以下步骤S301-S308:
S301,获取目标对象的第一姿态描述信息,第一姿态描述信息包括:在目标对象处于第一姿态时,目标对象的各对象部位的姿态信息。
需要说明的是,任一对象部位包括一个或多个关节点,且任一对象部位的姿态信息包括:相应的各个关节点的关节信息。其中,任一关节点的关节信息可以指的是该任一关节点的轴角表示,也可以指的是该任一关节点的四元数表示,还可以指的是该任一关节点的旋转矩阵,等等;其中,任一关节点的轴角表示、四元数表示以及旋转矩阵等均可以表示该任一关节点在空间中的旋转信息,且可对任一关节点的轴角表示、四元数表示以及旋转矩阵等进行相互转换。
具体的,目标对象的一个或多个关节点可看作是一个树状结构,且任一父节点的旋转会影响相应的子关节点的关节信息;并且,目标对象的一个或多个关节点中,除根节点以外的任一关节点的关节信息是指针对于相应父节点的旋转情况。
例如,如图4a所示,当目标对象为人物时,人体骨架可以看作是一个树状结构,通常以盆骨关节点作为根节点,向躯干和四肢(即左上肢、右上肢、左下肢以及右下肢)生长成一颗树。需要说明的是,计算机设备可以将SMPL模型(Skinned Multi-PersonLinearModel,一种三维人体模型)设置下的人体骨架所包含的关节点,作为目标对象的一个或多个关节点,如图4a所示,此时目标对象可包括24个关节点;计算机设备也可以将SMPL-H(Learning joint reconstruction of hands and manipulated objects,一种基于SMPL模型的推广方法)模型或者SMPL-X(SMPL eXpressive,一种基于SMPL模型的推广方法)模型设置下的人体骨架所包含的关节点,作为目标对象的一个或多个关节点,如图4b所示,SMPL-H模型或者SMPL-X模型设置下的人体骨架可增加手部骨架,一个手部骨架包括21个关节点,等等。本申请对目标对象所包含的一个或多个关节点的具体设置方式不作限定。
S302,对第一姿态描述信息中的各对象部位的姿态信息进行层次化的特征组合编码,得到第一姿态特征。
需要说明的是,目标对象可包括M个层级的部位,M为正整数;且任意相邻两个层级中的下一层级中的任一部位,由上一层级中的至少两个部位组合得到;其中,目标对象的各对象部位均是指位于M个层级中的第k层级的部位,k为正整数且小于M。
在此种情况下,计算机设备可获取编码先验知识,该编码先验知识用于指示:M个层级中的至少一个层级所涉及的一个或多个部位组合关系,一个部位组合关系对应至少两个部位,且同一部位组合关系对应的各部位被允许进行组合;并且,计算机设备可对第一姿态描述信息中的各对象部位的姿态信息进行特征提取,得到各对象部位的第一部位特征。
例如,假设M是取值为4,且M个层级中的第1层级包括左上肢、右上肢、左下肢、右下肢以及躯干这五个部位,并假设编码先验知识可用于指示第1层级所涉及的四个部位组合关系,一个部位组合关系对应左上肢和躯干、一个部位组合关系对应右上肢和躯干、一个部位组合关系对应左下肢和躯干以及一个部位组合关系对应右下肢和躯干,那么第2层级可包括由左上肢和躯干组成的第一组合部位、由右上肢和躯干组合成的第二组合部位、由左下肢和躯干组合成的第三组合部位以及由右下肢和躯干组合成的第四组合部位;又假设该编码先验知识可用于指示第2层级所涉及的两个部位组合关系,一个部位组合关系对应第一组合部位和第二组合部位,以及一个部位组合关系对应第三组合部位和第四组合部位,那么第3层级可包括由第一组合部位和第二组合部位组成的上肢部位,以及由第三组合部位和第四组合部位组成的下肢部位;又假设该编码先验知识可用于指示第3层级所涉及的一个部位组合关系,且该部位组合关系对应上肢部位和下肢部位,那么M个层级中的第4层级可包括由上肢部位和下肢部位组成的目标对象的整体结构。在此种情况下,假设目标对象的对象部位包括左上肢、右上肢、左下肢、右下肢以及躯干这五个部位,则k的取值为1,即目标对象的各对象部位均是指位于M个层级中的第1层级的部位。
又如,假设M是取值为3,M个层级中的第1层级包括左上肢、右上肢、左下肢、右下肢、左手部、右手部以及躯干这七个部位,并假设编码先验知识可用于指示第1层级所涉及的两个部位组合关系,一个部位组合关系对应左上肢和左手部、一个部位组合关系对应右上肢和右手部,那么第2层级可包括由左上肢和左手部组成的第一组合部位、由右上肢和右手部组合成的第二组合部位、左下肢、右下肢以及躯干;又假设编码先验知识可用于指示第2层级所涉及的两个部位组合关系,一个部位组合关系对应第一组合部位、第二组合部位以及躯干、一个部位组合关系对应左下肢、右下肢以及躯干,那么第3层级可包括由第一组合部位、第二组合部位以及躯干组成的第三组合部位、以及由左下肢、右下肢以及躯干组成的第四组合部位。在此种情况下,假设目标对象的对象部位包括左上肢、右上肢、左下肢、右下肢、左手部、右手部以及躯干这七个部位,则k的取值为1。
需要说明的是,本申请对M个层级中的各个层级所包括的具体部位不作限定;并且,对编码先验知识的具体内容不作限定,也就是说,本申请对M个层级中的至少一个层级所涉及的一个或多个部位组合关系,以及各个部位组合关系所对应的部位不作限定。
进一步的,计算机设备可从第k层级开始,按照层级从低到高的顺序,根据编码先验知识指示的各个层级涉及的部位组合关系以及各对象部位的第一部位特征,迭代地进行特征组合编码,得到第一姿态特征。
具体的,计算机设备可从第k层级开始,按照层级从低到高的顺序遍历编码先验知识所指示的第i层级涉及的各个部位组合关系,i∈[k,M-1];确定当前遍历的部位组合关系所涉及的各个部位,并对确定出的各个部位的第一部位特征进行特征组合编码,得到由确定出的各个部位组合得到的,且位于第i+1层级中的相应部位的第一部位特征;其中,当i=M-1时,通过特征组合编码得到第一姿态特征;第一姿态特征包括位于第M层级中的各个部位的第一部位特征。
例如,如图5a所示,假设M的取值为4,M个层级中的第1层级包括左上肢、右上肢、左下肢、右下肢以及躯干,且目标对象的对象部位包括左上肢、右上肢、左下肢、右下肢以及躯干,则k的取值为1,且计算机设备可对各对象部位的姿态信息进行特征提取,得到各对象部位的第一部位特征;又假设编码先验知识所指示的第1层级涉及四个部位组合关系,一个部位组合关系所涉及的部位包括左上肢和躯干、一个部位组合关系所涉及的部位包括右上肢和躯干、一个部位组合关系所涉及的部位包括左下肢和躯干、以及一个部位组合关系所涉及的部位包括右下肢和躯干,那么计算机设备可分别对四个部位组合关系中的每个部位组合关系所涉的各个部位的第一部位特征进行特征组合编码,得到由每个部位组合关系所涉及的各个部位组合得到的,且位于第2层级中的相应部位的第一部位特征,即得到由左上肢和躯干组合得到的第一组合部位的第一部位特征、由右上肢和躯干组合得到的第二组合部位的第一部位特征、由左下肢和躯干组合得到的第三组合部位的第一部位特征、以及由右下肢和躯干组合得到的第四组合部位的第一部位特征;也就是说,第2层级可包括第一组合部位、第二组合部位、第三组合部位以及第四组合部位。又假设编码先验知识所指示的第2层级涉及两个部位组合关系,一个部位组合关系所涉及的部位包括第一组合部位和第二组合部位、以及一个部位组合关系所涉及的部位包括第三组合部位和第四组合部位,那么计算机设备可分别对两个部位组合关系中的每个部位组合关系所涉的各个部位的第一部位特征进行特征组合编码,得到由每个部位组合关系所涉及的各个部位组合得到的,且位于第3层级中的相应部位的第一部位特征,即得到由第一组合部位和第二组合部位组合得到的上肢部位的第一部位特征、以及由第三组合部位和第四组合部位组合得到的下肢部位的第一部位特征;也就是说,第3层级可包括上肢部位和下肢部位。进一步的,假设编码先验知识所指示的第3层级涉及一个部位组合关系,该部位组合关系所涉及的部位包括上肢部位和下肢部位,那么计算机设备可对该部位组合关系所涉的各个部位的第一部位特征进行特征组合编码,得到由该部位组合关系所涉及的各个部位组合得到的,且位于第4层级中的相应部位的第一部位特征,即得到第一姿态特征。在此种情况下,计算机设备通过特征组合编码得到的第一姿态特征包括:位于第4层级中的各个部位的第一部位特征;由于第4层级包括由上肢部位和下肢部位组合得到的目标对象的整体结构,则第一姿态特征包括目标对象的整体结构的第一部位特征。
应当理解的是,图5a仅示例性的表示了对各对象部位的姿态信息进行层次化的特征组合编码的过程,本申请对层次化的特征组合编码的具体实施过程不作限定。例如,若编码先验知识所指示的第1层级涉及两个部位组合关系,一个部位组合关系所涉及的部位包括左上肢、右上肢和躯干、以及一个部位组合关系所涉及的部位包括左下肢、右下肢和躯干,那么计算机设备可分别对两个部位组合关系中的每个部位组合关系所涉的各个部位的第一部位特征进行特征组合编码,得到由左上肢、右上肢和躯干所组合成的上肢部位的第一部位特征,以及由左下肢、右下肢和躯干所组合成的下肢部位的第一部位特征;又如,若编码先验知识所指示的第1层级涉及一个部位组合关系,该部位组合关系所涉及的部位包括左上肢、右上肢、左下肢、右下肢和躯干,那么计算机设备可对该部位组合关系所涉及的各个部位的第一部位特征进行特征组合编码,得到相应部位的第一部位特征,即目标对象的整体结构的第一部位特征,等等。
需要说明的是,计算机设备可通过一个或多个全连接层,对各对象部位的姿态信息进行特征提取,得到各对象部位的第一部位特征,也可分别通过一个或多个全连接层,从第k层级开始,按照层级从低到高的顺序,根据编码先验知识指示的各个层级涉及的部位组合关系以及各对象部位的第一部位特征,迭代地进行特征组合编码,得到第一姿态特征。可选的,计算机设备也可采用卷积神经网络或残差网络等,对各对象部位的姿态信息进行特征提取,得到各对象部位的第一部位特征;并可采用卷积神经网络或残差网络等,根据编码先验知识指示的各个层级涉及的部位组合关系以及各对象部位的第一部位特征,迭代地进行特征组合编码,得到第一姿态特征,本申请对此不作限定。
在具体实现过程中,计算机设备可调用姿态处理模型中的编码器,来对各对象部位的姿态信息进行层次化的特征组合编码,该编码器可包括一层或多层网络。示例性的,如图5a所示,计算机设备可通过编码器中的至少一层网络来对各对象部位的姿态信息进行特征提取,以得到各对象部位的第一部位特征,并依次采用编码器中的相应网络来对确定出的各部位的第一部位特征进行特征组合编码,进而得到第一姿态特征。
S303,基于第一姿态特征构建目标对象的姿态特征分布空间,姿态特征分布空间中包括一个或多个新的姿态特征,且一个新的姿态特征用于解码得到目标对象的一个新的姿态描述信息。
具体的,计算机设备可调用特征学习网络对第一姿态特征进行特征学习,得到第一姿态特征对应的均值向量和方差向量;并基于该均值向量和方差向量,确定出第一姿态对应的高斯分布,从而基于确定出的高斯分布构建目标对象的姿态特征分布空间。其中,该特征学习网络可以包括一个或多个全连接层。
例如,如图5b所示,假设x为目标对象的第一姿态描述信息,且编码器中包括上述特征学习网络,那么计算机设备可通过编码器得到第一姿态特征对应的均值向量和方差向量,以确定出第一姿态对应的高斯分布,进而基于确定出的高斯分布构建目标对象的姿态特征分布空间;其中,z用于表示姿态特征分布空间中的新的姿态特征,也就是说,姿态特征分布空间中的新的姿态特征服从上述高斯分布。应当理解的是,图5b仅示例性的表示姿态特征分布空间的构建过程,本申请对此不作限定;例如,特征学习网络也可以是位于编码器以外的网络结构等。
S304,当需对目标对象进行姿态变换时,对姿态特征分布空间进行特征采样,得到第二姿态特征。
可以理解的是,当姿态特征分布空间对应的特征分布为高斯分布时,即姿态特征分布空间中的新的姿态特征服从高斯分布时,计算机设备可基于该高斯分布,对姿态特征分布空间进行特征采样,以得到第二姿态特征。
S305,对第二姿态特征进行层次化的特征分解解码,得到目标对象的第二姿态描述信息;第二姿态描述信息包括:在目标对象处于第二姿态时,目标对象的各对象部位的姿态信息。
需要说明的是,目标对象可包括M个层级的部位,M为正整数;其中,目标对象的各对象部位均是指位于M个层级中的第k层级的部位,k为正整数且小于M,第二姿态特征包括位于第M层级中的各个部位的第二部位特征。
在此种情况下,计算机设备可获取解码先验知识,该解码先验知识用于指示:M个层级中除第k层级以外的各层级中的至少一个部位的部位分解信息;任一层级中的任一部位的部位分解信息用于指示:该任一部位被分解后所得到的、位于该任一层级的上一层级中的至少两个部位。
值得注意的是,该解码先验知识可与上述编码先验知识相同,也就是说,任一层级中的任一部位组合关系所涉及的各个部位可组合成该任一层级的下一层级中的一个组合部位,那么该组合部位的部位分解信息可用于指示:该组合部位被分解后所得到的至少两个部位为上述任一部位组合关系所涉及的各个部位,即计算机设备可根据解码先验知识将该组合部位分解为上述任一部位组合关系所涉及的各个部位,且分解后的至少两个部位位于上述任一层级。举例来说,假设第1层级包括部位A、部位B、部位C以及部位D,第2层级包括部位E和部位F,编码先验知识可用于指示第1层级所涉及的两个部位组合关系,一个部位组合关系对应部位A和部位B,一个部位组合关系对应部位C和部位D,且部位E是由部位A和部位B组合所得到的,部位F是由部位C和部位D组合所得到的,那么解码先验知识可用于指示第2层级中的部位E和部位F的部位分解信息,且部位E的部位分解信息用于指示:部位E被分解后所得到的,位于第1层级中的至少两个部位包括部位A和部位B,部位F的部位分解信息用于指示:部位F被分解后所得到的,位于第1层级中的至少两个部位包括部位C和部位D。
进一步的,计算机设备可从第M层级开始,按照层级从高到低的顺序,根据解码先验知识指示的各个层级涉及的部位分解信息以及第二姿态特征,迭代地进行特征分解解码,得到目标对象的第二姿态描述信息。
具体的,计算机设备可从第M层级开始,按照层级从高到低的顺序遍历解码先验知识所指示的第j层级涉及的各个部位的部位分解信息,j∈[M,k+1];根据当前遍历的当前部位的部位分解信息,确定当前部位被分解后所得到的、位于第j-1层级中的至少两个部位;并对当前部位的第二部位特征进行特征分解解码,得到确定出的至少两个部位中的每个部位的初始特征。在第j层级涉及的各个部位的部位分解信息均被遍历后,分别对位于第j-1层级中的每个部位的各个初始特征进行特征融合,得到第j-1层级中的每个部位的第二部位特征;其中,当j=k+1时,根据得到的第j-1层级中的每个部位的第二部位特征,确定在目标对象处于第二姿态时,目标对象的各对象部位的姿态信息,以得到目标对象的第二姿态描述信息。需要说明的是,分别对位于第j-1层级中的每个部位的各个初始特征进行特征融合可以是指:分别对位于第j-1层级中的每个部位的各个初始特征进行加权求和,也可以指的是:分别对位于第j-1层级中的每个部位的各个初始特征进行串行连接等,本申请对此不作限定。
例如,如图5c所示,假设M的取值为4,M个层级中的第1层级中的部位包括左上肢、右上肢、躯干、左下肢以及右下肢,第M层级中的部位为目标对象的整体结构,且目标对象的对象部位包括左上肢、右上肢、躯干、左下肢以及右下肢,则k的取值为1;又假设解码先验知识所指示的第4层级涉及目标对象的整体结构的部位分解信息,且该部位分解信息用于指示:目标对象的整体结构被分解后所得到的、位于第3层级中的至少两个部位包括上肢部位和下肢部位,则计算机设备可根据该部位分解信息,对第二姿态特征(即目标对象的整体结构的第二部位特征)进行特征分解解码,得到上肢部位的第二部位特征和下肢部位的第二部位特征。然后,又假设解码先验知识所指示的第3层级涉及上肢部位和下肢部位的部位分解信息,且上肢部位的部位分解信息用于指示:上肢部位被分解后所得到的、位于第2层级中的至少两个部位包括第一组合部位和第二组合部位,下肢部位的部位分解信息用于指示:下肢部位被分解后所得到的、位于第2层级中的至少两个部位包括第三组合部位和第四组合部位,那么计算机设备可根据上肢部位的部位分解信息,对上肢部位的第二部位特征进行特征分解解码,以得到第一组合部位的第二部位特征和第二组合部位的第二部位特征,并对下肢部位的第二部位特征进行特征分解解码,以得到第三组合部位的第二部位特征和第四组合部位的第二部位特征。进一步的,假设解码先验知识所指示的第2层级涉及第一组合部位的部位分解信息、第二组合部位的部位分解信息、第三组合部位的部位分解信息以及第四组合部位的部位分解信息,且第一组合部位的部位分解信息用于指示:第一组合部位被分解后所得到的、位于第1层级中的至少两个部位包括左上肢和躯干、第二组合部位被分解后所得到的、位于第1层级中的至少两个部位包括右上肢和躯干、第三组合部位被分解后所得到的、位于第1层级中的至少两个部位包括左下肢和躯干、以及第四组合部位被分解后所得到的、位于第1层级中的至少两个部位包括右下肢和躯干,那么计算机设备可对第一组合部位的第二部位特征进行特征分解解码,得到左上肢的初始特征和躯干的初始特征;对第二组合部位的第二部位特征进行特征分解解码,得到右上肢的初始特征和躯干的初始特征;对第三组合部位的第二部位特征进行特征分解解码,得到左下肢的初始特征和躯干的初始特征;以及对第四组合部位的第二部位特征进行特征分解解码,得到右下肢的初始特征和躯干的初始特征;然后,计算机设备可分别对位于第1层级中的每个部位的各个初始特征进行特征融合,得到左上肢的第二部位特征、右上肢的第二部位特征、躯干的第二部位特征、左下肢的第二部位特征以及右下肢的第二部位特征。相应的,计算机设备可根据第1层级中的每个部位的第二部位特征,确定在目标对象处于第二姿态时,目标对象的各对象部位的姿态信息,以得到目标对象的第二姿态描述信息。
需要说明的是,图5c仅示例性的表示了层次化的特征分解解码过程,本申请对此不作限定;例如,若计算机设备根据解码先验知识确定出目标对象的整体结构被分解为左上肢、右上肢、左下肢、右下肢和躯干这五个部位,则计算机设备可对第二姿态特征进行特征分解解码,分别得到上述五个部位的第二部位特征;又如,若计算机设备根据解码先验知识确定出目标对象的整体结构被分解为由左上肢和躯干所组成的第一组合部位、由右上肢和躯干所组合成的第二组合部位、由左下肢和躯干所组合成的第三组合部位、以及由右下肢和躯干所组合成的第四组合部位,那么计算机设备可对第二姿态特征进行特征分解解码,得到第一组合部位的第二部位特征、第二组合部位的第二部位特征、第三组合部位的第二部位特征以及第四组合部位的第二部位特征,等等。
在具体实现过程中,计算机设备可调用姿态处理模型中的解码器,来对第二姿态特征进行层次化的特征分解解码,该解码器可包括一层或多层网络。示例性的,如图5c所示,计算机设备可通过解码器中的至少一层网络来对第二姿态特征进行特征分解解码,得到上肢部位的第二部位特征和下肢部位的第二部位特征,并通过解码器中的相应网络对上肢部位的第二部位特征进行特征分解解码,以及对下肢部位的第二部位特征进行特征分解解码,直至得到目标对象的第二姿态描述信息。
需要说明的是,本申请实施例基于目标对象的各对象部位以及各关节点,可采用姿态处理模型(如层次化全连接神经网络)中的编码器和解码器,学习目标对象的第一姿态到一个姿态特征分布空间的映射;并在进行姿态变换时,姿态处理模型从姿态特征分布空间采样一个第二姿态特征,通过解码器得到符合目标对象的结构规律的第二姿态。基于此,当网络中的每一层都是一个全连接模块时,计算机设备可采用公式1.1,计算第l层的输出结果:
其中,input l 表示第l层的输入,output l 表示第l层的输出;例如,假设第l层用于对各对象部位的第一部位特征进行特征组合编码,则第l层的输入为各对象部位的第一部位特征,且第l层的输出为由相应的对象部位组合得到的各部位的第一部位特征;而concat为串连函数,Dense表示全连接层,LReLU为一个激活函数,且Dropout可在训练过程中采用概率p使一个或多个神经元变为零,以达到缓解过拟合的目的,并在应用过程中与概率(1-p)相乘,以平衡训练和应用的差异;其中,p大于0且小于1。需要说明的是,姿态处理模型中的每一层网络均能提取到从关节点到各部位,再到目标对象的整体结构的不同尺度下的特征。
S306,根据第二姿态描述信息,将目标对象的姿态变换成第二姿态。
S307,根据第一姿态描述信息和第二姿态描述信息,确定姿态处理模型的模型损失值。
需要说明的是,任一对象部位包括一个或多个关节点,第一姿态描述信息中的任一对象部位的姿态信息包括:相应的各个关节点的第一关节信息,第二姿态描述信息中的任一对象部位的姿态信息包括:相应的各个关节点的第二关节信息。
在此种情况下,计算机设备在根据第一姿态描述信息和第二姿态描述信息,确定姿态处理模型的模型损失值时,可遍历基于关节信息的一个或多个损失值计算指标,确定当前遍历的当前损失值计算指标;并根据各对象部位中的每个关节点的第一关节信息,确定每个关节点在当前损失值计算指标下的第一指标值;以及根据每个关节点的第二关节信息确定每个关节点在当前损失值计算指标下的第二指标值。然后,计算机设备可根据每个关节点对应的第一指标值和相应的第二指标值之间的差异,计算每个关节点在所述当前损失值计算指标下的损失值;并对计算得到的各个损失值进行求和,得到姿态处理模型在当前损失值计算指标下的损失值。进一步的,在各个损失值计算指标均被遍历后,计算机设备可对姿态处理模型在各个损失值计算指标下的损失值进行整合,以得到姿态处理模型的模型损失值。
值得注意的是,任一姿态的目标对象通过绘制多个网格(mesh)进行呈现,一个网格的网格顶点与目标对象的至少一个关节点相绑定,且任一网格顶点的顶点位置是根据对应的各个关节点的关节信息确定的。进一步的,上述一个或多个损失值计算指标可以包括以下至少一个:旋转矩阵差异损失值计算指标、关节位置差异损失值计算指标以及顶点位置差异损失值计算指标。
其中,当上述当前损失值计算指标为旋转矩阵差异损失值指标时,任一关节点对应的第一指标值包括该任一关节点的第一旋转矩阵,且该任一关节点对应的第二指标值包括该任一关节点的第二旋转矩阵;相应的,计算机设备可以根据该任一关节点的第一关节信息以及旋转矩阵转换公式,计算该任一关节点的第一旋转矩阵,并根据该任一关节点的第二关节信息以及旋转矩阵转换公式,计算该任一关节点的第二旋转矩阵。在此种情况下,计算机设备可采用公式1.2,根据任一关节点的第一旋转矩阵与相应的第二旋转矩阵之间的差异,计算该任一关节点在当前损失值计算指标下的损失值:
其中,R为上述任一关节点的第一旋转矩阵,R rec 为上述任一关节点的第二旋转矩阵,geodesic用于计算第一旋转矩阵与第二旋转矩阵之间的测地距离。
当上述当前损失值计算指标为关节位置差异损失值计算指标时,任一关节点对应的第一指标值包括该任一关节点的第一关节位置,且该任一关节点对应的第二指标值包括该任一关节点的第二关节位置;相应的,计算机设备可采用SMPL模型、SMPL-H模型或者SMPL-X模型等,以及该任一关节点的第一关节信息,计算该任一关节点的第一关节位置,并采用同一模型以及该任一关节点的第二关节信息,计算该任一关节点的第二关节位置。在此种情况下,计算机设备可采用公式1.3,根据任一关节点的第一关节位置与相应的第二关节位置之间的差异,计算该任一关节点在当前损失值计算指标下的损失值:
其中,position j 为上述任一关节点的第一关节位置,position jrec 为上述任一关节点的第二关节位置。可选的,计算机设备还可以采用欧式距离来计算上述任一关节点的第一关节位置与相应的第二关节位置之间的差异,本申请对此不作限定。
当上述当前损失值计算指标为顶点位置差异损失值计算指标时,任一关节点对应的第一指标值包括与该任一关节点相绑定的各个网格的网格顶点的第一顶点位置,且该任一关节点对应的第二指标值包括与该任一关节点相绑定的各个网格的网格顶点的第二顶点位置。在此种情况下,计算机设备在计算任一关节点对应的第一指标值与相应的第二指标值之间的差异时,可分别计算与该任一关节点相绑定的各个网格的网格顶点的第一顶点位置,与相应的第二顶点位置之间的差异,得到各个网格顶点差异值,并对各个网格顶点差异值进行求和运算,得到该任一关节点在当前损失值计算指标下的损失值。相应的,计算机设备可以采用公式1.4,计算任一网格顶点的第一顶点位置和相应的第二顶点位置之间的差异:
其中,vertex表示上述任一网格顶点的第一顶点位置,vertex rec 表示上述任一网格顶点的第二顶点位置。可选的,计算机设备也可采用欧式距离来计算上述任一网格顶点的第一顶点位置与相应的第二顶点位置之间的差异,本申请对此不作限定。值得注意的是,若任一网格顶点与多个关节点相绑定,则此处的多个关节点中的每个关节点对应的第一指标值包括的该任一网格顶点的第一顶点位置相同,且此处的多个关节点中的每个关节点对应的第二指标包括的该任一网格顶点的第二顶点位置相同。
需要说明的是,计算机设备在计算各个网格顶点的顶点位置时,可采用SMPL模型对相应的关节点的关节信息进行计算,以得到各个网格顶点的顶点位置;也可采用SMPL-H模型对相应的关节点的关节信息进行计算,以得到各个网格顶点的顶点位置;还可采用SMPL-X模型对相应的关节点的关节信息进行计算,以得到各个网格顶点的顶点位置,本申请对此不作限定。
在具体的实现中,计算机设备在对姿态处理模型在各个损失值计算指标下的损失值进行整合,以得到姿态处理模型的模型损失值时,可对姿态处理模型在各个损失值计算指标下的损失值进行整合,得到姿态处理模型的姿态处理损失值。然后,计算机设备可根据允许目标对象具有的各个姿态对应的姿态特征的分布情况,确定基准特征分布;并根据姿态特征分布空间对应的特征分布和基准特征分布之间的差异,计算姿态处理模型的空间构建损失值;进而对姿态处理损失值和空间构建损失值进行整合,得到姿态处理模型的模型损失值。应当理解的是,目标对象的姿态可以采用目标关节点的关节信息来表示,由于目标对象的生理限制,并不是所有的关节信息都能构成合理的姿态,合理的姿态是指允许目标对象具有的各个姿态,则合理的各姿态所构成的分布则为上述基准特征分布(即先验分布);那么计算机设备可根据基准特征分布来约束姿态特征分布空间对应的特征分布,避免得到不合理的姿态,即避免得到不允许目标对象具有的姿态。
需要说明的是,上述基准特征分布通常是指标准正态分布,那么计算机设备可采用公式1.5,根据姿态特征分布空间对应的特征分布和基准特征分布之间的差异,计算姿态处理模型的空间构建损失值:
其中,q(z|x)表示姿态特征分布空间对应的特征分布,是指数据x作为条件下,姿态特征分布空间中新的姿态特征的分布;当数据x为第一姿态描述信息时,即为针对目标对象的第一姿态描述信息所得到的姿态特征分布空间对应的特征分布;而N(0,1)为标准正态分布。
进一步的,计算机设备对姿态处理损失值和空间构建损失值进行整合,得到姿态处理模型的模型损失值可以指的是:对姿态处理损失值和空间构建损失值进行加权求和,得到姿态处理模型的模型损失值;相应的,由于姿态处理损失值是对姿态处理模型在各个损失值计算指标下的损失值进行整合所得到的,那么计算机设备对姿态处理损失值和空间构建损失值进行整合,得到姿态处理模型的模型损失值也可以指的是:对姿态处理模型在各个损失值计算指标下的损失值,以及空间构建损失值进行加权求和,得到姿态处理模型的模型损失值。
具体的,当上述一个或多个损失值计算指标包括旋转矩阵差异损失值计算指标、关节位置差异损失值计算指标以及顶点位置差异损失值计算指标时,计算机设备可以采用公式1.6,对姿态处理模型在各个损失值计算指标下的损失值,以及空间构建损失值进行加权求和,得到姿态处理模型的模型损失值:
其中,P KL 表示空间构建损失值,TP rmesh 表示各个网格顶点的顶点位置差异损失值的融合结果(即各个网格顶点的第一顶点位置与相应的第二顶点位置之间的差异的融合结果),TP rmatrot 表示各个关节点的旋转矩阵差异损失值的融合结果(即各个关节点的第一旋转矩阵与相应的第二旋转矩阵之间的差异的融合结果)、以及TP rjoin 表示各个关节点的关节位置差异损失值的融合结果(即各个关节点的第一关节位置与相应的第二关节位置之间的差异的融合结果)。相应的,c 1~c 4的取值可均为1,也可分别设置为不同的数值,本申请对此不作限定。
需要说明的是,计算机设备也可采用其他生成模型(如对抗生成网络)来对姿态处理模型的模型参数进行优化;在此种情况下,计算机设备可采用判别网络来对第一姿态描述信息和第二姿态描述信息进行判别,以计算对抗损失值,并对姿态处理损失值和该对抗损失值进行整合,得到姿态处理模型的模型损失值。
S308,按照减小模型损失值的方向,优化姿态处理模型的模型参数。
需要说明的是,计算机设备在对姿态处理模型的模型参数进行优化的过程中,可采用AMASS(一种大规模的人体姿态数据集)数据集作为训练集;也就是说,在训练过程中,计算机设备可从AMASS数据集中获取数据,以根据获取到的数据确定目标对象的第一姿态描述信息。
本申请实施例可通过层次化的特征组合编码和层次化的特征分解解码,学习到各关节点之间、各关节点与各对象部位、以及各对象部位与目标对象的整体结构的层次化的特征,更好地构建目标对象的姿态特征分布空间对应的特征分布,进而更好地构建姿态特征分布空间,提高对姿态特征分布空间进行特征采样,得到的第二姿态特征的质量,从而提高第二姿态的姿态生成效果。另外,本申请实施例可根据编码先验知识对各对象部位的姿态信息进行特征组合编码,并根据解码先验知识对第二姿态特征进行特征分解解码,从而将编码先验知识和解码先验知识显式地对应到网络结构中,可以更好地学习到相连关节点之间的关系和约束、以及各部位的局部特征,进而可在生成第二姿态时,对目标对象的局部动作进行建模,如打字或者抓物等。进一步的,在模型训练过程中,可基于第一姿态描述特征和第二姿态描述特征,对姿态处理模型的模型参数进行优化;并通过基准特征分布对姿态特征分布空间对应的特征分布进行约束,进而优化姿态处理模型的模型参数,提高模型性能。
基于上述对象的姿态处理方法的相关实施例的描述,本申请实施例还提出了一种对象的姿态处理装置,该对象的姿态处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码)。该对象的姿态处理装置可以执行图2或图3所示的对象的姿态处理方法;请参见图6,所述对象的姿态处理装置可以运行如下单元:
获取单元601,用于获取目标对象的第一姿态描述信息,所述第一姿态描述信息包括:在所述目标对象处于第一姿态时,所述目标对象的各对象部位的姿态信息;
处理单元602,用于对所述第一姿态描述信息中的各对象部位的姿态信息进行层次化的特征组合编码,得到第一姿态特征;
所述处理单元602,还用于基于所述第一姿态特征构建所述目标对象的姿态特征分布空间,所述姿态特征分布空间中包括一个或多个新的姿态特征,且一个新的姿态特征用于解码得到所述目标对象的一个新的姿态描述信息;
所述处理单元602,还用于当需对所述目标对象进行姿态变换时,对所述姿态特征分布空间进行特征采样,得到第二姿态特征;
所述处理单元602,还用于对所述第二姿态特征进行层次化的特征分解解码,得到所述目标对象的第二姿态描述信息;所述第二姿态描述信息包括:在所述目标对象处于第二姿态时,所述目标对象的各对象部位的姿态信息;
所述处理单元602,还用于根据所述第二姿态描述信息,将所述目标对象的姿态变换成所述第二姿态。
在一种实施方式中,目标对象包括M个层级的部位,M为正整数;且任意相邻两个层级中的下一层级中的任一部位,由上一层级中的至少两个部位组合得到;其中,所述目标对象的各对象部位均是指位于所述M个层级中的第k层级的部位,k为正整数且小于M;处理单元602在对所述第一姿态描述信息中的各对象部位的姿态信息进行层次化的特征组合编码,得到第一姿态特征时,可具体用于:
获取编码先验知识,所述编码先验知识用于指示:所述M个层级中的至少一个层级所涉及的一个或多个部位组合关系,一个部位组合关系对应至少两个部位,且同一个部位组合关系对应的各部位被允许进行组合;
对所述第一姿态描述信息中的各对象部位的姿态信息进行特征提取,得到所述各对象部位的第一部位特征;
从所述第k层级开始,按照层级从低到高的顺序,根据所述编码先验知识指示的各个层级涉及的部位组合关系以及所述各对象部位的第一部位特征,迭代地进行特征组合编码,得到第一姿态特征。
另一种实施方式中,处理单元602在从所述第k层级开始,按照层级从低到高的顺序,根据所述编码先验知识指示的各个层级涉及的部位组合关系以及所述各对象部位的第一部位特征,迭代地进行特征组合编码,得到第一姿态特征时,可具体用于:
从所述第k层级开始,按照层级从低到高的顺序遍历所述编码先验知识所指示的第i层级涉及的各个部位组合关系,i∈[k,M-1];
确定当前遍历的部位组合关系所涉及的各个部位,并对确定出的各个部位的第一部位特征进行特征组合编码,得到由所述确定出的各个部位组合得到的,且位于第i+1层级中的相应部位的第一部位特征;
其中,当i=M-1时,通过特征组合编码得到第一姿态特征;所述第一姿态特征包括位于第M层级中的各个部位的第一部位特征。
另一种实施方式中,目标对象包括M个层级的部位,M为正整数;其中,所述目标对象的各对象部位均是指位于所述M个层级中的第k层级的部位,k为正整数且小于M,所述第二姿态特征包括位于第M层级中的各个部位的第二部位特征;处理单元602在对所述第二姿态特征进行层次化的特征分解解码,得到所述目标对象的第二姿态描述信息时,可具体用于:
获取解码先验知识,所述解码先验知识用于指示:所述M个层级中除所述第k层级以外的各层级中的至少一个部位的部位分解信息;任一层级中的任一部位的部位分解信息用于指示:所述任一部位被分解后所得到的、位于所述任一层级的上一层级中的至少两个部位;
从第M层级开始,按照层级从高到低的顺序,根据所述解码先验知识指示的各个层级涉及的部位分解信息以及所述第二姿态特征,迭代地进行特征分解解码,得到所述目标对象的第二姿态描述信息。
另一种实施方式中,处理单元602在从第M层级开始,按照层级从高到低的顺序,根据所述解码先验知识指示的各个层级涉及的部位分解信息以及所述第二姿态特征,迭代地进行特征分解解码,得到所述目标对象的第二姿态描述信息时,可具体用于:
从第M层级开始,按照层级从高到低的顺序遍历所述解码先验知识所指示的第j层级涉及的各个部位的部位分解信息,j∈[M,k+1];
根据当前遍历的当前部位的部位分解信息,确定所述当前部位被分解后所得到的、位于第j-1层级中的至少两个部位;
对所述当前部位的第二部位特征进行特征分解解码,得到确定出的至少两个部位中的每个部位的初始特征;
在所述第j层级涉及的各个部位的部位分解信息均被遍历后,分别对位于所述第j-1层级中的每个部位的各个初始特征进行特征融合,得到所述第j-1层级中的每个部位的第二部位特征;
其中,当j=k+1时,根据得到的第j-1层级中的每个部位的第二部位特征,确定在所述目标对象处于所述第二姿态时,所述目标对象的各对象部位的姿态信息,以得到所述目标对象的第二姿态描述信息。
另一种实施方式中,处理单元602在基于所述第一姿态特征构建所述目标对象的姿态特征分布空间时,可具体用于:
调用特征学习网络对所述第一姿态特征进行特征学习,得到所述第一姿态特征对应的均值向量和方差向量;
基于所述均值向量和所述方差向量,确定出所述第一姿态特征对应的高斯分布,并基于确定出的高斯分布构建所述目标对象的姿态特征分布空间。
另一种实施方式中,层次化的特征组合编码通过调用姿态处理模型中的编码器执行,所述层次化的特征分解解码通过调用所述姿态处理模型中的解码器执行;处理单元602还可用于:
根据所述第一姿态描述信息和所述第二姿态描述信息,确定所述姿态处理模型的模型损失值;
按照减小所述模型损失值的方向,优化所述姿态处理模型的模型参数。
另一种实施方式中,任一对象部位包括一个或多个关节点;所述第一姿态描述信息中的任一对象部位的姿态信息包括:相应的各个关节点的第一关节信息,所述第二姿态描述信息中的任一对象部位的姿态信息包括:相应的各个关节点的第二关节信息;处理单元602在根据所述第一姿态描述信息和所述第二姿态描述信息,确定所述姿态处理模型的模型损失值时,可具体用于:
遍历基于关节信息的一个或多个损失值计算指标,确定当前遍历的当前损失值计算指标;
根据所述各对象部位中的每个关节点的第一关节信息,确定所述每个关节点在所述当前损失值计算指标下的第一指标值;以及根据所述每个关节点的第二关节信息确定所述每个关节点在所述当前损失值计算指标下的第二指标值;
根据所述每个关节点对应的第一指标值和相应的第二指标值之间的差异,计算所述每个关节点在所述当前损失值计算指标下的损失值;
对计算得到的各个损失值进行求和,得到所述姿态处理模型在所述当前损失值计算指标下的损失值;
在各个损失值计算指标均被遍历后,对所述姿态处理模型在所述各个损失值计算指标下的损失值进行整合,以得到所述姿态处理模型的模型损失值。
另一实施方式中,任一姿态的目标对象通过绘制多个网格进行呈现,一个网格的网格顶点与所述目标对象的至少一个关节点相绑定,且任一网格顶点的顶点位置是根据对应的各个关节点的关节信息确定的;所述一个或多个损失值计算指标包括以下至少一个:旋转矩阵差异损失值计算指标、关节位置差异损失值计算指标以及顶点位置差异损失值计算指标;其中:
当所述当前损失值计算指标为所述旋转矩阵差异损失值指标时,任一关节点对应的第一指标值包括所述任一关节点的第一旋转矩阵,且所述任一关节点对应的第二指标值包括所述任一关节点的第二旋转矩阵;
当所述当前损失值计算指标为关节位置差异损失值计算指标时,任一关节点对应的第一指标值包括所述任一关节点的第一关节位置,且所述任一关节点对应的第二指标值包括所述任一关节点的第二关节位置;
当所述当前损失值计算指标为顶点位置差异损失值计算指标时,任一关节点对应的第一指标值包括与所述任一关节点相绑定的各个网格的网格顶点的第一顶点位置,且所述任一关节点对应的第二指标值包括与所述任一关节点相绑定的各个网格的网格顶点的第二顶点位置。
另一实施方式中,处理单元602在对所述姿态处理模型在所述各个损失值计算指标下的损失值进行整合,以得到所述姿态处理模型的模型损失值时,可具体用于:
对所述姿态处理模型在所述各个损失值计算指标下的损失值进行整合,得到所述姿态处理模型的姿态处理损失值;
根据允许所述目标对象具有的各个姿态对应的姿态特征的分布情况,确定基准特征分布;并根据所述姿态特征分布空间对应的特征分布和所述基准特征分布之间的差异,计算所述姿态处理模型的空间构建损失值;
对所述姿态处理损失值和所述空间构建损失值进行整合,得到所述姿态处理模型的模型损失值。
根据本申请的一个实施例,图2或图3所示的方法所涉及的各个步骤均可由图6所示的对象的姿态处理装置中的各个单元来执行的。例如,图2中所示的步骤S201可由图6中所示的获取单元601执行,步骤S202-S206均可由图6中所示的处理单元602执行。又如,图3中所示的步骤S301可由图6所示的获取单元601执行,步骤S302-S308均可由图6所示的处理单元602执行,等等。
根据本申请的另一个实施例,图6所示的对象的姿态处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的,在实际应用中,一个单元的功能也可以由多个单元来实现,或者多个单元的功能由一个单元实现。在本申请的其它实施例中,对象的姿态处理装置也可以包括其他单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由多个单元协作实现。
根据本申请的另一个实施例,可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2或图3中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码),来构造如图6中所示的对象的姿态处理装置,以及来实现本申请实施例的对象的姿态处理方法。所述计算机程序可以记载于例如计算机存储介质上,并通过计算机存储介质装载于上述计算设备中,并在其中运行。
本申请实施例在获取到目标对象的第一姿态描述信息后,可对第一姿态描述信息中的各对象部位的姿态信息进行层次化的特征组合编码,从而通过特征组合编码分别得到目标对象处于第一姿态时的各层次化特征,以实现局部特征到整体特征的编码过程,即能够很好地对目标对象的局部特征进行特征组合编码,以得到准确性较高的第一姿态特征。进一步的,可基于准确性较高的第一姿态特征,更好地构建目标对象的姿态特征分布空间,该姿态特征分布空间中包括一个或多个新的姿态特征,且有效减小任一新的姿态特征所对应的新姿态,为不允许目标对象所具有的姿态的可能性。然后,当需对目标对象进行姿态变换时,可对姿态特征分布空间进行特征采样,得到第二姿态特征;并对第二姿态特征进行层次化的特征分解解码,得到目标对象的第二姿态描述信息,也就是说,可通过特征分解解码分别得到目标对象处于第二姿态时的各层次化特征,以实现整体特征到局部特征的解码过程,从而使得第二姿态描述信息可更加准确地对第二姿态的局部动作进行描述,进而将目标对象的姿态变换成效果较好的第二姿态,即可提升姿态生成效果。
基于上述方法实施例以及装置实施例的描述,本申请实施例还提供一种计算机设备。请参见图7,该计算机设备至少包括处理器701、输入接口702、输出接口703以及计算机存储介质704。其中,计算机设备内的处理器701、输入接口702、输出接口703以及计算机存储介质704可通过总线或其他方式连接。
计算机存储介质704可以存储在计算机设备的存储器中,所述计算机存储介质704用于存储计算机程序,所述计算机程序包括程序指令,所述处理器701 用于执行所述计算机存储介质704存储的程序指令。处理器701(或称CPU(Central Processing Unit,中央处理器))是计算机设备的计算核心以及控制核心,其适于实现一条或多条指令,具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能;在一个实施例中,本申请实施例所述的处理器701可以用于进行一系列的姿态处理,具体包括:获取目标对象的第一姿态描述信息,所述第一姿态描述信息包括:在所述目标对象处于第一姿态时,所述目标对象的各对象部位的姿态信息;对所述第一姿态描述信息中的各对象部位的姿态信息进行层次化的特征组合编码,得到第一姿态特征;基于所述第一姿态特征构建所述目标对象的姿态特征分布空间,所述姿态特征分布空间中包括一个或多个新的姿态特征,且一个新的姿态特征用于解码得到所述目标对象的一个新的姿态描述信息;当需对所述目标对象进行姿态变换时,对所述姿态特征分布空间进行特征采样,得到第二姿态特征;对所述第二姿态特征进行层次化的特征分解解码,得到所述目标对象的第二姿态描述信息;所述第二姿态描述信息包括:在所述目标对象处于第二姿态时,所述目标对象的各对象部位的姿态信息;根据所述第二姿态描述信息,将所述目标对象的姿态变换成所述第二姿态。
本申请实施例还提供了一种计算机存储介质(Memory),所述计算机存储介质是计算机设备中的记忆设备,用于存放程序和数据。可以理解的是,此处的计算机存储介质既可以包括计算机设备中的内置存储介质,当然也可以包括计算机设备所支持的扩展存储介质。计算机存储介质提供存储空间,该存储空间存储了计算机设备的操作系统。并且,在该存储空间中还存放了适于被处理器加载并执行的一条或多条的指令,这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是,此处的计算机存储介质可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器;可选的,还可以是至少一个位于远离前述处理器的计算机存储介质。在一个实施例中,可由处理器加载并执行计算机存储介质中存放的一条或多条指令,以实现上述有关图2或图3所示的对象的姿态处理方法的实施例中的各个方法步骤。
本申请实施例在获取到目标对象的第一姿态描述信息后,可对第一姿态描述信息中的各对象部位的姿态信息进行层次化的特征组合编码,从而通过特征组合编码分别得到目标对象处于第一姿态时的各层次化特征,以实现局部特征到整体特征的编码过程,即能够很好地对目标对象的局部特征进行特征组合编码,以得到准确性较高的第一姿态特征。进一步的,可基于准确性较高的第一姿态特征,更好地构建目标对象的姿态特征分布空间,该姿态特征分布空间中包括一个或多个新的姿态特征,且有效减小任一新的姿态特征所对应的新姿态,为不允许目标对象所具有的姿态的可能性。然后,当需对目标对象进行姿态变换时,可对姿态特征分布空间进行特征采样,得到第二姿态特征;并对第二姿态特征进行层次化的特征分解解码,得到目标对象的第二姿态描述信息,也就是说,可通过特征分解解码分别得到目标对象处于第二姿态时的各层次化特征,以实现整体特征到局部特征的解码过程,从而使得第二姿态描述信息可更加准确地对第二姿态的局部动作进行描述,进而将目标对象的姿态变换成效果较好的第二姿态,即可提升姿态生成效果。
需要说明的是,根据本申请的一个方面,还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机存储介质中。计算机设备的处理器从计算机存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述图2或图3所示的对象的姿态处理方法实施例方面的各种可选方式中提供的方法。
并且,应理解的是,以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。
Claims (11)
1.一种对象的姿态处理方法,其特征在于,包括:
获取目标对象的第一姿态描述信息,所述第一姿态描述信息包括:在所述目标对象处于第一姿态时,所述目标对象的各对象部位的姿态信息;所述目标对象包括M个层级的部位,M为正整数;且任意相邻两个层级中的下一层级中的任一部位,由上一层级中的至少两个部位组合得到;所述目标对象的各对象部位均是指位于所述M个层级中的第k层级的部位,k为正整数且小于M;
对所述第一姿态描述信息中的各对象部位的姿态信息进行层次化的特征组合编码,得到第一姿态特征,包括:获取编码先验知识,所述编码先验知识用于指示:所述M个层级中的至少一个层级所涉及的一个或多个部位组合关系,一个部位组合关系对应至少两个部位,且同一个部位组合关系对应的各部位被允许进行组合;对所述第一姿态描述信息中的各对象部位的姿态信息进行特征提取,得到所述各对象部位的第一部位特征;从所述第k层级开始,按照层级从低到高的顺序,根据所述编码先验知识指示的各个层级涉及的部位组合关系以及所述各对象部位的第一部位特征,迭代地进行特征组合编码,得到第一姿态特征;
基于所述第一姿态特征构建所述目标对象的姿态特征分布空间,所述姿态特征分布空间中包括一个或多个新的姿态特征,且一个新的姿态特征用于解码得到所述目标对象的一个新的姿态描述信息;
当需对所述目标对象进行姿态变换时,对所述姿态特征分布空间进行特征采样,得到第二姿态特征,所述第二姿态特征包括位于第M层级中的各个部位的第二部位特征;
对所述第二姿态特征进行层次化的特征分解解码,得到所述目标对象的第二姿态描述信息,包括:获取解码先验知识,所述解码先验知识用于指示:所述M个层级中除所述第k层级以外的各层级中的至少一个部位的部位分解信息;任一层级中的任一部位的部位分解信息用于指示:所述任一部位被分解后所得到的、位于所述任一层级的上一层级中的至少两个部位;从第M层级开始,按照层级从高到低的顺序,根据所述解码先验知识指示的各个层级涉及的部位分解信息以及所述第二姿态特征,迭代地进行特征分解解码,得到所述目标对象的第二姿态描述信息;所述第二姿态描述信息包括:在所述目标对象处于第二姿态时,所述目标对象的各对象部位的姿态信息;
根据所述第二姿态描述信息,将所述目标对象的姿态变换成所述第二姿态。
2.根据权利要求1所述的方法,其特征在于,所述从所述第k层级开始,按照层级从低到高的顺序,根据所述编码先验知识指示的各个层级涉及的部位组合关系以及所述各对象部位的第一部位特征,迭代地进行特征组合编码,得到第一姿态特征,包括:
从所述第k层级开始,按照层级从低到高的顺序遍历所述编码先验知识所指示的第i层级涉及的各个部位组合关系,i∈[k,M-1];
确定当前遍历的部位组合关系所涉及的各个部位,并对确定出的各个部位的第一部位特征进行特征组合编码,得到由所述确定出的各个部位组合得到的,且位于第i+1层级中的相应部位的第一部位特征;
其中,当i=M-1时,通过特征组合编码得到第一姿态特征;所述第一姿态特征包括位于第M层级中的各个部位的第一部位特征。
3.根据权利要求1所述的方法,其特征在于,所述从第M层级开始,按照层级从高到低的顺序,根据所述解码先验知识指示的各个层级涉及的部位分解信息以及所述第二姿态特征,迭代地进行特征分解解码,得到所述目标对象的第二姿态描述信息,包括:
从第M层级开始,按照层级从高到低的顺序遍历所述解码先验知识所指示的第j层级涉及的各个部位的部位分解信息,j∈[M,k+1];
根据当前遍历的当前部位的部位分解信息,确定所述当前部位被分解后所得到的、位于第j-1层级中的至少两个部位;
对所述当前部位的第二部位特征进行特征分解解码,得到确定出的至少两个部位中的每个部位的初始特征;
在所述第j层级涉及的各个部位的部位分解信息均被遍历后,分别对位于所述第j-1层级中的每个部位的各个初始特征进行特征融合,得到所述第j-1层级中的每个部位的第二部位特征;
其中,当j=k+1时,根据得到的第j-1层级中的每个部位的第二部位特征,确定在所述目标对象处于所述第二姿态时,所述目标对象的各对象部位的姿态信息,以得到所述目标对象的第二姿态描述信息。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述基于所述第一姿态特征构建所述目标对象的姿态特征分布空间,包括:
调用特征学习网络对所述第一姿态特征进行特征学习,得到所述第一姿态特征对应的均值向量和方差向量;
基于所述均值向量和所述方差向量,确定出所述第一姿态特征对应的高斯分布,并基于确定出的高斯分布构建所述目标对象的姿态特征分布空间。
5.根据权利要求1-3任一项所述的方法,其特征在于,所述层次化的特征组合编码通过调用姿态处理模型中的编码器执行,所述层次化的特征分解解码通过调用所述姿态处理模型中的解码器执行;所述方法还包括:
根据所述第一姿态描述信息和所述第二姿态描述信息,确定所述姿态处理模型的模型损失值;
按照减小所述模型损失值的方向,优化所述姿态处理模型的模型参数。
6.根据权利要求5所述的方法,其特征在于,任一对象部位包括一个或多个关节点;所述第一姿态描述信息中的任一对象部位的姿态信息包括:相应的各个关节点的第一关节信息,所述第二姿态描述信息中的任一对象部位的姿态信息包括:相应的各个关节点的第二关节信息;
所述根据所述第一姿态描述信息和所述第二姿态描述信息,确定所述姿态处理模型的模型损失值,包括:
遍历基于关节信息的一个或多个损失值计算指标,确定当前遍历的当前损失值计算指标;
根据所述各对象部位中的每个关节点的第一关节信息,确定所述每个关节点在所述当前损失值计算指标下的第一指标值;以及根据所述每个关节点的第二关节信息确定所述每个关节点在所述当前损失值计算指标下的第二指标值;
根据所述每个关节点对应的第一指标值和相应的第二指标值之间的差异,计算所述每个关节点在所述当前损失值计算指标下的损失值;
对计算得到的各个损失值进行求和,得到所述姿态处理模型在所述当前损失值计算指标下的损失值;
在各个损失值计算指标均被遍历后,对所述姿态处理模型在所述各个损失值计算指标下的损失值进行整合,以得到所述姿态处理模型的模型损失值。
7.根据权利要求6所述的方法,其特征在于,任一姿态的目标对象通过绘制多个网格进行呈现,一个网格的网格顶点与所述目标对象的至少一个关节点相绑定,且任一网格顶点的顶点位置是根据对应的各个关节点的关节信息确定的;
所述一个或多个损失值计算指标包括以下至少一个:旋转矩阵差异损失值计算指标、关节位置差异损失值计算指标以及顶点位置差异损失值计算指标;其中:
当所述当前损失值计算指标为所述旋转矩阵差异损失值指标时,任一关节点对应的第一指标值包括所述任一关节点的第一旋转矩阵,且所述任一关节点对应的第二指标值包括所述任一关节点的第二旋转矩阵;
当所述当前损失值计算指标为关节位置差异损失值计算指标时,任一关节点对应的第一指标值包括所述任一关节点的第一关节位置,且所述任一关节点对应的第二指标值包括所述任一关节点的第二关节位置;
当所述当前损失值计算指标为顶点位置差异损失值计算指标时,任一关节点对应的第一指标值包括与所述任一关节点相绑定的各个网格的网格顶点的第一顶点位置,且所述任一关节点对应的第二指标值包括与所述任一关节点相绑定的各个网格的网格顶点的第二顶点位置。
8.根据权利要求6或7所述的方法,其特征在于,所述对所述姿态处理模型在所述各个损失值计算指标下的损失值进行整合,以得到所述姿态处理模型的模型损失值,包括:
对所述姿态处理模型在所述各个损失值计算指标下的损失值进行整合,得到所述姿态处理模型的姿态处理损失值;
根据允许所述目标对象具有的各个姿态对应的姿态特征的分布情况,确定基准特征分布;并根据所述姿态特征分布空间对应的特征分布和所述基准特征分布之间的差异,计算所述姿态处理模型的空间构建损失值;
对所述姿态处理损失值和所述空间构建损失值进行整合,得到所述姿态处理模型的模型损失值。
9.一种对象的姿态处理装置,其特征在于,包括:
获取单元,用于获取目标对象的第一姿态描述信息,所述第一姿态描述信息包括:在所述目标对象处于第一姿态时,所述目标对象的各对象部位的姿态信息;所述目标对象包括M个层级的部位,M为正整数;且任意相邻两个层级中的下一层级中的任一部位,由上一层级中的至少两个部位组合得到;所述目标对象的各对象部位均是指位于所述M个层级中的第k层级的部位,k为正整数且小于M;
处理单元,用于对所述第一姿态描述信息中的各对象部位的姿态信息进行层次化的特征组合编码,得到第一姿态特征,包括:获取编码先验知识,所述编码先验知识用于指示:所述M个层级中的至少一个层级所涉及的一个或多个部位组合关系,一个部位组合关系对应至少两个部位,且同一个部位组合关系对应的各部位被允许进行组合;对所述第一姿态描述信息中的各对象部位的姿态信息进行特征提取,得到所述各对象部位的第一部位特征;从所述第k层级开始,按照层级从低到高的顺序,根据所述编码先验知识指示的各个层级涉及的部位组合关系以及所述各对象部位的第一部位特征,迭代地进行特征组合编码,得到第一姿态特征;
所述处理单元,还用于基于所述第一姿态特征构建所述目标对象的姿态特征分布空间,所述姿态特征分布空间中包括一个或多个新的姿态特征,且一个新的姿态特征用于解码得到所述目标对象的一个新的姿态描述信息;
所述处理单元,还用于当需对所述目标对象进行姿态变换时,对所述姿态特征分布空间进行特征采样,得到第二姿态特征,所述第二姿态特征包括位于第M层级中的各个部位的第二部位特征;
所述处理单元,还用于对所述第二姿态特征进行层次化的特征分解解码,得到所述目标对象的第二姿态描述信息,包括:获取解码先验知识,所述解码先验知识用于指示:所述M个层级中除所述第k层级以外的各层级中的至少一个部位的部位分解信息;任一层级中的任一部位的部位分解信息用于指示:所述任一部位被分解后所得到的、位于所述任一层级的上一层级中的至少两个部位;从第M层级开始,按照层级从高到低的顺序,根据所述解码先验知识指示的各个层级涉及的部位分解信息以及所述第二姿态特征,迭代地进行特征分解解码,得到所述目标对象的第二姿态描述信息;所述第二姿态描述信息包括:在所述目标对象处于第二姿态时,所述目标对象的各对象部位的姿态信息;
所述处理单元,还用于根据所述第二姿态描述信息,将所述目标对象的姿态变换成所述第二姿态。
10.一种计算机设备,其特征在于,包括处理器、存储器,其中,所述存储器用于存储计算机程序,所述计算机程序被所述处理器执行时,实现如权利要求1至8中任一项所述的方法。
11.一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-8中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210203431.2A CN114333069B (zh) | 2022-03-03 | 2022-03-03 | 对象的姿态处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210203431.2A CN114333069B (zh) | 2022-03-03 | 2022-03-03 | 对象的姿态处理方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114333069A CN114333069A (zh) | 2022-04-12 |
CN114333069B true CN114333069B (zh) | 2022-05-17 |
Family
ID=81031425
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210203431.2A Active CN114333069B (zh) | 2022-03-03 | 2022-03-03 | 对象的姿态处理方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114333069B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115451937A (zh) * | 2022-08-12 | 2022-12-09 | 合肥未来计算机技术开发有限公司 | 复杂环境下安全通道的电子地图生成系统及方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111047548A (zh) * | 2020-03-12 | 2020-04-21 | 腾讯科技(深圳)有限公司 | 姿态变换数据处理方法、装置、计算机设备和存储介质 |
CN112232106A (zh) * | 2020-08-12 | 2021-01-15 | 北京工业大学 | 一种二维到三维人体姿态估计方法 |
CN112419455A (zh) * | 2020-12-11 | 2021-02-26 | 中山大学 | 基于人体骨架序列信息的人物动作视频生成方法、系统及存储介质 |
WO2021221657A1 (en) * | 2020-04-30 | 2021-11-04 | Google Llc | Generative nonlinear human shape models |
CN113763532A (zh) * | 2021-04-19 | 2021-12-07 | 腾讯科技(深圳)有限公司 | 基于三维虚拟对象的人机交互方法、装置、设备及介质 |
CN113780215A (zh) * | 2021-09-16 | 2021-12-10 | 上海商汤智能科技有限公司 | 一种信息处理方法、装置、计算机设备及存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11648480B2 (en) * | 2020-04-06 | 2023-05-16 | Electronic Arts Inc. | Enhanced pose generation based on generative modeling |
CN113870431A (zh) * | 2020-06-30 | 2021-12-31 | 复旦大学 | 三维模型动作迁移方法 |
-
2022
- 2022-03-03 CN CN202210203431.2A patent/CN114333069B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111047548A (zh) * | 2020-03-12 | 2020-04-21 | 腾讯科技(深圳)有限公司 | 姿态变换数据处理方法、装置、计算机设备和存储介质 |
WO2021221657A1 (en) * | 2020-04-30 | 2021-11-04 | Google Llc | Generative nonlinear human shape models |
CN112232106A (zh) * | 2020-08-12 | 2021-01-15 | 北京工业大学 | 一种二维到三维人体姿态估计方法 |
CN112419455A (zh) * | 2020-12-11 | 2021-02-26 | 中山大学 | 基于人体骨架序列信息的人物动作视频生成方法、系统及存储介质 |
CN113763532A (zh) * | 2021-04-19 | 2021-12-07 | 腾讯科技(深圳)有限公司 | 基于三维虚拟对象的人机交互方法、装置、设备及介质 |
CN113780215A (zh) * | 2021-09-16 | 2021-12-10 | 上海商汤智能科技有限公司 | 一种信息处理方法、装置、计算机设备及存储介质 |
Non-Patent Citations (6)
Title |
---|
Dynamic Movement Primitive based Motion Retargeting for Dual-Arm Sign Language Motions;Yuwei Liang;《2021 IEEE International Conference on Robotics and Automation (ICRA)》;20211018;第8195-8201页 * |
SIGGRAPH | 2D人体动作迁移与特征分解(附论文及代码链接);机器之心Pro;《https://baijiahao.baidu.com/s?id=1636020666546719326&wfr=spider&for=pc》;20190611;第1页 * |
三维人体点云模型姿态变换方法研究;张翔宇;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170315(第3期);第I138-4383页 * |
基于人体姿态迁移的视频生成方法研究;李园;《中国优秀硕士学位论文全文数据库 信息科技辑》;20220115(第01期);第I138-1551页 * |
基于姿势特征编码的运动数据分层检索;聂永丹等;《吉林大学学报(信息科学版)》;20170715;第35卷(第4期);第410-417页 * |
基于改进多视图投影的机器人姿态解码器设计研究;卜文锐;《自动化与仪器仪表》;20210925(第9期);第249-252页 * |
Also Published As
Publication number | Publication date |
---|---|
CN114333069A (zh) | 2022-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110796111B (zh) | 图像处理方法、装置、设备及存储介质 | |
CN112418292B (zh) | 一种图像质量评价的方法、装置、计算机设备及存储介质 | |
CN116958323A (zh) | 图像生成方法、装置、电子设备、存储介质及程序产品 | |
CN114282013A (zh) | 一种数据处理方法、装置及存储介质 | |
CN116975350A (zh) | 图文检索方法、装置、设备及存储介质 | |
CN118229844B (zh) | 图像生成数据的处理方法、图像生成方法和装置 | |
CN116246213B (zh) | 数据处理方法、装置、设备以及介质 | |
CN112258625A (zh) | 基于注意力机制的单幅图像到三维点云模型重建方法及系统 | |
CN117437317A (zh) | 图像生成方法、装置、电子设备、存储介质和程序产品 | |
CN114998583B (zh) | 图像处理方法、图像处理装置、设备及存储介质 | |
CN116977457A (zh) | 一种数据处理方法、设备以及计算机可读存储介质 | |
CN114333069B (zh) | 对象的姿态处理方法、装置、设备及存储介质 | |
CN117216536A (zh) | 一种模型训练的方法、装置和设备及存储介质 | |
CN116431827A (zh) | 信息处理方法、装置、存储介质及计算机设备 | |
CN117218300A (zh) | 三维模型的构建方法、三维构建模型的训练方法及装置 | |
CN113657272B (zh) | 一种基于缺失数据补全的微视频分类方法及系统 | |
CN114328943A (zh) | 基于知识图谱的问题回答方法、装置、设备及存储介质 | |
CN116740078A (zh) | 图像分割处理方法、装置、设备以及介质 | |
CN115392365B (zh) | 多模态特征的获取方法、装置及电子设备 | |
CN116958337A (zh) | 虚拟对象动画生成方法、装置、电子设备及可读存储介质 | |
CN116977502A (zh) | 运动重定向方法、装置、电子设备及计算机可读存储介质 | |
CN113822117B (zh) | 一种数据处理方法、设备以及计算机可读存储介质 | |
CN117808934A (zh) | 一种数据处理方法及相关设备 | |
CN117034133A (zh) | 一种数据处理方法、装置、设备和介质 | |
CN114299517A (zh) | 图像处理方法、装置、设备、存储介质及计算机程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |