CN114782661B - 下半身姿态预测模型的训练方法及装置 - Google Patents

Abstract

本申请实施例提供了一种下半身姿态预测模型的训练方法及装置，包括：获取至少一个骨架姿态样本，以及与骨架姿态样本对应的至少一个场景信息样本；骨架姿态样本包括上半身关节姿态样本、下半身关节姿态样本；利用上半身关节姿态样本、场景信息样本和下半身关节姿态样本的对应关系训练初始模型，获得下半身姿态预测模型。由于本申请在引入了场景信息后，下半身姿态预测模型输出的下半身关节姿态精度更高，在下半身关节姿态与上半身关节姿态匹配的基础上，使得下半身关节姿态更加符合当前目标对象所处的场景，降低了模型输出的下半身关节姿态和场景不匹配的几率。

Description

下半身姿态预测模型的训练方法及装置

技术领域

本申请涉及计算机技术领域，特别是涉及一种下半身姿态预测模型的训练方法、下半身姿态预测方法、虚拟现实场景中的建模展示方法及装置、电子设备、机器可读介质。

背景技术

随着元宇宙技术的不断发展，虚拟现实（VR，Virtual Reality）的应用场景也在不断增加，其中针对用户的动作跟踪，在VR场景中展示用户的虚拟形象是元宇宙的重要体验内容。

相关技术中，可以由用户佩戴传感器采集用户的头、双手的位姿，再由头和双手的位姿渲染出用户的上半身虚拟形象进行展示，若一些场景需要展示全身虚拟形象，则可以进一步为上半身虚拟形象拼接一个默认的下半身虚拟形象。

但是，发明人经过研究发现，目前的方案仅展示用户的上半身虚拟形象，会降低VR的沉浸式体验效果，而通过拼接一个默认的下半身虚拟形象来展示完整虚拟形象，又会存在拼接的下半身虚拟形象和用户的上半身虚拟形象不匹配的现象，也影响了用户体验。

发明内容

本申请实施例提供了一种下半身姿态预测模型的训练方法、下半身姿态预测和虚拟现实场景中的建模展示方法，以解决相关技术中仅展示用户的上半身虚拟形象，会降低VR的沉浸式体验效果，而通过拼接一个默认的下半身虚拟形象来展示完整虚拟形象，又会存在拼接的下半身虚拟形象和用户的上半身虚拟形象不匹配的问题。

相应的，本申请实施例还提供了一种下半身姿态预测模型的训练装置、下半身姿态预测装置、虚拟现实场景中的建模展示装置、电子设备以及存储介质，用以保证上述方法的实现及应用。

为了解决上述问题，本申请实施例公开了一种下半身姿态预测模型的训练方法，所述方法包括：

获取至少一个骨架姿态样本，以及与所述骨架姿态样本对应的至少一个场景信息样本；所述骨架姿态样本包括上半身关节姿态样本、下半身关节姿态样本；所述场景信息样本包括场景的建模和场景中物体的建模；

利用所述上半身关节姿态样本、所述场景信息样本和所述下半身关节姿态样本的对应关系训练初始模型，获得下半身姿态预测模型，所述下半身姿态预测模型用于根据上半身关节姿态和场景信息，预测与所述上半身关节姿态匹配的下半身关节姿态。

本申请实施例公开了一种下半身姿态预测方法，所述方法包括：

获取目标对象的姿态信息，所述姿态信息包括所述目标对象的头部位姿参数和双手位姿参数；

根据所述姿态信息进行姿态预测，获得所述目标对象的上半身关节姿态，以及获取所述上半身关节姿态与场景信息的对应关系，所述场景信息包括所述目标对象所处场景的建模和所述场景中物体的建模；

根据所述目标对象的上半身关节姿态与所述场景信息的对应关系、所述上半身关节姿态，以及下半身姿态预测模型，获取与所述目标对象的上半身关节姿态匹配的下半身关节姿态，所述下半身姿态预测模型由所述的下半身姿态预测模型的训练方法训练得到。

本申请实施例公开了一种虚拟现实场景中的建模展示方法，应用于虚拟现实设备，所述虚拟现实设备与姿态传感器连接，包括：

获取由姿态传感器采集的目标对象的姿态信息；所述姿态信息包括所述目标对象的头部位姿参数和双手位姿参数；

根据所述姿态信息进行姿态预测，获得所述目标对象的上半身关节姿态；以及获取所述上半身关节姿态与虚拟现实场景信息的对应关系，所述虚拟现实场景信息包括虚拟现实场景的建模和所述虚拟现实场景中物体的建模；

根据所述目标对象的上半身关节姿态与所述虚拟现实场景信息的对应关系、所述上半身关节姿态，以及下半身姿态预测模型，获取与所述目标对象的上半身关节姿态匹配的下半身关节姿态，所述下半身姿态预测模型由下半身姿态预测模型的训练方法训练得到；

将所述上半身关节姿态和所述下半身关节姿态合成为全身关节姿态；

按照预设的蒙皮渲染算法对所述全身关节姿态进行渲染，获得与所述目标对象对应的全身姿态建模，并在所述虚拟现实场景的建模中展示所述全身姿态建模。

本申请实施例公开了一种下半身姿态预测模型的训练装置，所述装置包括：

第一获取模块，用于获取至少一个骨架姿态样本，以及与所述骨架姿态样本对应的至少一个场景信息样本；所述骨架姿态样本包括上半身关节姿态样本、下半身关节姿态样本；所述场景信息样本包括场景的建模和场景中物体的建模；

训练模块，用于利用所述上半身关节姿态样本、所述场景信息样本和所述下半身关节姿态样本的对应关系训练初始模型，获得下半身姿态预测模型，所述下半身姿态预测模型用于根据上半身关节姿态和场景信息，预测与所述上半身关节姿态匹配的下半身关节姿态。

本申请实施例公开了一种下半身姿态预测装置，所述装置包括：

第二获取模块，用于获取目标对象的姿态信息，所述姿态信息包括所述目标对象的头部位姿参数和双手位姿参数；

第一预测模块，用于根据所述姿态信息进行姿态预测，获得所述目标对象的上半身关节姿态，以及获取所述上半身关节姿态与场景信息的对应关系，所述场景信息包括所述目标对象所处场景的建模和所述场景中物体的建模；

第二预测模块，用于根据所述目标对象的上半身关节姿态与所述场景信息的对应关系、所述上半身关节姿态，以及下半身姿态预测模型，获取与所述目标对象的上半身关节姿态匹配的下半身关节姿态，所述下半身姿态预测模型由下半身姿态预测模型的训练装置训练得到。

本申请实施例公开了一种虚拟现实场景中的建模展示装置，应用于虚拟现实设备，所述虚拟现实设备与姿态传感器连接，包括：

第三获取模块，用于获取由姿态传感器采集的目标对象的姿态信息；所述姿态信息包括所述目标对象的头部位姿参数和双手位姿参数；

第三预测模块，用于根据所述姿态信息进行姿态预测，获得所述目标对象的上半身关节姿态；以及获取所述上半身关节姿态与虚拟现实场景信息的对应关系，所述虚拟现实场景信息包括虚拟现实场景的建模和所述虚拟现实场景中物体的建模；

第四预测模块，用于根据所述目标对象的上半身关节姿态与所述虚拟现实场景信息的对应关系、所述上半身关节姿态，以及下半身姿态预测模型，获取与所述目标对象的上半身关节姿态匹配的下半身关节姿态，所述下半身姿态预测模型由下半身姿态预测模型的训练装置训练得到；

合成模块，用于将所述上半身关节姿态和所述下半身关节姿态合成为全身关节姿态；

渲染模块，用于按照预设的蒙皮渲染算法对所述全身关节姿态进行渲染，获得与所述目标对象对应的全身姿态建模，并在所述虚拟现实场景的建模中展示所述全身姿态建模。

本申请实施例还公开了一种电子设备，包括：处理器；和存储器，其上存储有可执行代码，当所述可执行代码被执行时，使得所述处理器执行如本申请实施例中一个或多个所述的方法。

本申请实施例还公开了一个或多个机器可读介质，其上存储有可执行代码，当所述可执行代码被执行时，使得处理器执行如本申请实施例中一个或多个所述的方法。

与相关技术相比，本申请实施例包括以下优点：

本申请实施例中，通过对不同场景中目标对象的动作姿态进行关联性分析，可以发现动作姿态和场景以及场景中的物体具有紧密关联，本申请可以基于上述特性，构建对象的骨架姿态样本和对象所处场景的场景信息样本之间的关联，之后基于这种构建的关联来训练下半身姿态预测模型，使得下半身姿态预测模型可以学习上半身关节姿态和下半身关节姿态之间的关联性，以及动作姿态和场景信息之间的关联性，在引入了场景信息后，下半身姿态预测模型输出的下半身关节姿态精度更高，在下半身关节姿态与上半身关节姿态匹配的基础上，使得下半身关节姿态更加符合当前目标对象所处的场景，降低了模型输出的下半身关节姿态和场景不匹配的几率。

附图说明

图1是本申请实施例的一种训练过程的系统架构图；

图2是本申请实施例的一种预测过程的系统架构图；

图3是本申请实施例的一种在虚拟现实场景下的建模展示示意图；

图4是本申请实施例的一种电商卖货直播场景下的建模展示示意图；

图5是本申请实施例的一种下半身姿态预测模型的训练方法的步骤流程图；

图6是本申请实施例的一种图结构数据的示意图；

图7是本申请实施例的一种下半身姿态预测方法的步骤流程图；

图8是本申请实施例的一种虚拟现实场景中的建模展示方法的步骤流程图；

图9是本申请实施例的一种下半身姿态预测模型的训练装置的框图；

图10是本申请实施例的一种下半身姿态预测装置的框图；

图11是本申请实施例的一种虚拟现实场景中的建模展示装置的框图；

图12是本申请一实施例提供的装置的结构示意图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

为使本领域技术人员更好地理解本申请，以下对本申请涉及的概念进行说明：

虚拟现实：是利用计算设备模拟产生一个三维空间的虚拟世界，提供用户关于视觉等感官的模拟，让用户感觉仿佛身临其境，可以即时、没有限制地观察三维空间内的事物，用户进行位置移动时，可以立即进行复杂的运算，将精确的三维世界影像传回产生临场感。

虚拟现实设备：是一种可穿戴设备，可以包括一个头戴式眼镜和两个控制手柄，头戴式眼镜可以提供用户头部的位置姿态、两个控制手柄可以提供用户的左右手位置姿态。

虚拟现实全身跟踪：利用虚拟现实设备提供的三点位姿信息，追踪用户头部、左右手位置姿态的技术。

骨架姿态：三维的人型骨骼结构，由多个关节依次连接构成，关节具有对应的位姿信息，位姿信息可以反映该关节的位置和方向，骨架姿态可以包括上半身关节姿态、下半身关节姿态，上半身关节姿态样本是根据骨架姿态中上半身关节构建的姿态；下半身关节姿态样本是根据骨架姿态中下半身关节构建的姿态。关节之间相对位置关系的不同，骨架姿态可以有多种动作姿态的表现，如跳跃、跑步、走、蹲等，骨架姿态不局限于人的骨架姿态，也可以为其他动物的骨架姿态，本申请实施例的骨架姿态可以基于预设的unity骨骼标准格式构建，其中包含16个关键关节。

反向动力学：通过先确定子骨骼的位置，然后反求推导出其所在骨骼链上n级父骨骼位置，从而确定整条骨骼链以获得骨架姿态的方法。

场景信息：反映用户所处的场景的信息，以及场景中物体的信息，场景的信息例如教室场景、卧室场景、街道场景等；物体的信息例如椅子、桌子、台阶等，场景信息的一种实现形式可以为三维建模。

图结构：一种反映数据之间关系的数据结构，图结构中，一个节点可以链接到任意节点，所有节点链接而成的结构即为图结构，图结构中两个节点之间的连线称作边，边用于反映两个节点具有关联关系。

图结构特征：图结构的特征向量表达，可以便于计算机处理。

图神经网络（GNN，GraphNeuralNetworks）：是一种对图结构数据进行处理的深度学习网络，可以实现对异构数据的学习与表示。

本申请实施例中的下半身姿态预测模型的训练方法中，基于训练数据中上半身关节姿态样本、场景信息样本和下半身关节姿态样本的对应关系，可以训练获得下半身姿态预测模型，下半身姿态预测模型能够以用户与场景信息的对应关系、用户的上半身关节姿态为输入，从而输出用户的下半身关节姿态。

下半身姿态预测模型可以应用于用户完整的全身姿态建模展示的场景，一种具体实现方式为虚拟现实场景，虚拟现实场景中，可以先收集用户与虚拟现实场景信息之间的关联关系，之后基于用户佩戴的虚拟现实设备的姿态传感器采集的三点位姿数据，通过反向动力学求解出用户的上半身关节姿态，再根据用户与虚拟现实场景信息的对应关系、用户的上半身关节姿态，以及下半身姿态预测模型，获得用户的下半身关节姿态，将用户的下半身关节姿态和上半身关节姿态进行拼接即得到用户的全身关节姿态，最后通过预设的蒙皮渲染算法对全身关节姿态进行渲染，可以获得用户的全身姿态建模并在虚拟现实场景中进行展示。

参照图1，其示出了本申请实施例提供的一种训练过程的系统架构图，训练服务端包括：数据库模块、第一模型输入构建模块、训练模块。

数据库模块包括大量的骨架姿态样本和场景信息样本，骨架姿态样本可以是基于预设骨骼标准格式（如unity骨骼标准格式）构建的用于反映动作姿态（如跳跃、跑步、走、蹲等）的样本，骨架姿态样本中由多个关节点依次相连构成一个动作姿态，骨架姿态样本包括上半身关节姿态样本和下半身关节姿态样本。场景信息样本则包含各种各样的场景建模，以及场景中的物体建模。

本申请实施例通过对不同场景中目标对象的动作姿态进行关联性分析，可以发现动作姿态和场景以及场景中的物体具有紧密关联，如目标对象所处场景中存在椅子和桌子时，目标对象的下半身姿态大概率为坐姿，上半身姿态为双手平放姿势；目标对象处于卧室场景时，目标对象的下半身姿态大概率为躺姿，上半身姿态为双手平放姿势或双手叠放姿势；目标对象处于马路场景，且目标对象身边存在自行车时，目标对象的下半身姿态大概率为骑自行车姿势，上半身姿态为双手俯撑姿势，针对不同的场景和物体，会使得目标对象的下半身姿态和上半身姿态具有不同的表现形式。

因此，本申请实施例可以基于上述特性，通过第一模型输入构建模块，构建对象的骨架姿态样本（用于表征动作姿态）和对象所处场景的场景信息样本之间的关联，之后通过训练模块，基于这种构建的关联来训练下半身姿态预测模型，使得下半身姿态预测模型可以学习上半身关节姿态和下半身关节姿态之间的关联性，以及动作姿态和场景信息之间的关联性，本申请实施例在引入了场景信息后，使得下半身姿态预测模型输出的下半身关节姿态精度更高，在下半身关节姿态与目标对象基于反向运动学求得的上半身关节姿态匹配的基础上，更加符合当前目标对象所处的场景，降低了模型输出的下半身关节姿态和场景不匹配的几率。如，待预测下半身姿态的用户若处于客厅场景，用户的上半身姿态为双手平放姿态，且用户周边存在沙发时，下半身姿态预测模型输出的下半身关节姿态大概率为坐姿。

具体的，由于动作姿态和关联的场景信息可以构成一种图结构的数据形式，骨架姿态中关节之间的关联也可以构成一种图结构的数据形式，则为了模型能够更好的学习动作姿态和场景信息之间的关联性，本申请实施例可以将骨架姿态样本和场景信息样本的对应关系构建成第一图结构样本，第一图结构样本中的节点用于表征骨架姿态样本或场景信息样本，本申请实施例还可以将骨架姿态样本构建为第二图结构样本，第二图结构样本中的节点用于表征关节，第一图结构样本利用图神经网络降维处理后获得图结构样本特征，图结构样本特征可以添加至第二图结构样本中的节点以实现属性映射，骨架姿态样本中上半身关节姿态样本的关节的位姿信息可以映射至第二图结构样本中的对应节点以实现位姿映射，从而获得与骨架姿态样本对应的目标图结构样本，目标图结构样本中表征了上半身关节姿态样本以及关联的场景信息样本。

训练模块可以将目标图结构样本输入下半身姿态预测模型，并基于由下半身姿态预测模型输出值和作为标注值的骨架姿态样本的下半身关节姿态样本计算获得的损失值，来训练初始模型的参数，经过多轮迭代训练，即可获得训练好的下半身姿态预测模型，下半身姿态预测模型可以以用户的上半身关节姿态和关联的场景信息为输入，输出预测的下半身关节姿态。

进一步的参照图2，其示出了本申请实施例提供的一种预测过程的系统架构图，预测服务端包括：下半身预测模块、第二模型输入构建模块、预测模块。

下半身预测模块可以基于传感器采集的目标对象的三点姿态信息（目标对象的头部位姿参数和双手位姿参数），基于反向运动学计算得到目标对象的上半身关节姿态；第二模型输入构建模块可以收集目标对象的上半身关节姿态与场景信息的对应关系，并基于目标对象的上半身关节姿态与场景信息的对应关系构建目标图结构，该构建过程可以参照上述第一模型输入构建模块的相关描述（第一图结构中的节点用于反映目标对象的上半身关节姿态或场景信息），最后，下半身预测模型可以以目标图结构为输入，以下半身关节姿态为输出，输出后的下半身关节姿态可以与目标对象的上半身关节姿态拼接得到目标对象的全身关节姿态。

需要说明的是，基于本申请实施例提供下半身姿态预测模型，可以实现的几种具体场景如下：

在一种实现方式中，参照图3，其示出了本申请实施例提供的一种在虚拟现实场景下的建模展示示意图，包括：VR眼镜11和姿态传感器12，VR眼镜11和姿态传感器12都是可穿戴设备，VR眼镜11内置有姿态传感器，可以检测用户头部的位姿信息，用户双手穿戴的姿态传感器12则可以检测双手位姿信息，VR眼镜11基于三点位姿信息（头、双手），可以通过反向动力学计算出用户的上半身关节姿态，并且VR眼镜11可以收集用户与VR场景20以及VR场景20中物体21之间的关联关系，基于这种关联关系、用户的上半身关节姿态和上述实施例中训练获得的下半身姿态预测模型，可以获得下半身姿态预测模型输出的用户的下半身关节姿态，将用户的上半身关节姿态和下半身关节姿态合并后，获得用户的全身关节姿态，VR眼镜11再对全身关节姿态渲染后，可以获得用户全身的虚拟形象22并在VR场景20中进行展示，其中，用户全身的虚拟形象22严格追踪并复制了用户的自身形态，提高了VR场景中虚拟形象的展示效果。

在另一种实现方式中，参照图4，其示出了本申请实施例提供的一种电商卖货直播场景下的建模展示示意图，其中，主播的头部、双手分别佩戴有姿态传感器31，姿态传感器31则可以检测获得三点位姿信息（头、双手），并将三点位姿信息传输给预测服务端32，预测服务端32可以通过反向动力学计算出主播的上半身关节姿态，并且预测服务端32可以收集主播与直播场景41以及直播场景41中物体42之间的关联关系，预测服务端32基于这种关联关系、主播的上半身关节姿态和上述实施例中训练获得的下半身姿态预测模型，可以获得下半身姿态预测模型输出的主播的下半身关节姿态，将主播的上半身关节姿态和下半身关节姿态合并后，获得主播的全身关节姿态，预测服务端32再对全身关节姿态渲染后，可以获得主播全身的虚拟形象52并在直播场景51中进行展示，其中，主播全身的虚拟形象52严格追踪并复制了主播的自身形态，提高了直播效果。

需要说明的是，本申请实施例中获取骨架姿态样本、场景信息样本、姿态信息、场景信息以及其他使用到的信息、信号或数据的过程，都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。

本申请实施例中，通过对不同场景中目标对象的动作姿态进行关联性分析，可以发现动作姿态和场景以及场景中的物体具有紧密关联，本申请可以基于上述特性，构建对象的骨架姿态样本和对象所处场景的场景信息样本之间的关联，之后基于这种构建的关联来训练下半身姿态预测模型，使得下半身姿态预测模型可以学习上半身关节姿态和下半身关节姿态之间的关联性，以及动作姿态和场景信息之间的关联性，在引入了场景信息后，下半身姿态预测模型输出的下半身关节姿态精度更高，在下半身关节姿态与上半身关节姿态匹配的基础上，使得下半身关节姿态更加符合当前目标对象所处的场景，降低了模型输出的下半身关节姿态和场景不匹配的几率。

参照图5，其示出了本申请实施例提供的一种下半身姿态预测模型的训练方法的步骤流程图，包括：

步骤101，获取至少一个骨架姿态样本，以及与所述骨架姿态样本对应的至少一个场景信息样本。

其中，所述骨架姿态样本包括上半身关节姿态样本、下半身关节姿态样本；所述场景信息样本包括场景的建模和场景中物体的建模。

在本申请实施例中，骨架姿态样本是预先大量收集的训练数据，具体是一种三维的人型骨骼结构，骨架姿态样本由多个关节依次连接构成，关节具有对应的位姿信息，位姿信息可以反映该关节的位置和方向，骨架姿态可以包括上半身关节姿态、下半身关节姿态，一个骨架姿态可以表征一种动作姿态，如跳跃、跑步、走、蹲等，本申请实施例的骨架姿态可以基于预设的unity骨骼标准格式构建，其中包含16个关键关节。

场景信息则反映用户所处的场景的信息，以及场景中物体的信息，场景的信息例如教室场景、卧室场景、街道场景等；物体的信息例如椅子、桌子、台阶等，场景信息的一种实现形式可以为三维建模。

步骤102，利用所述上半身关节姿态样本、所述场景信息样本和所述下半身关节姿态样本的对应关系训练初始模型，获得下半身姿态预测模型，所述下半身姿态预测模型用于根据上半身关节姿态和场景信息，预测与所述上半身关节姿态匹配的下半身关节姿态。

在本申请实施例中，基于动作姿态和场景以及场景中的物体具有紧密关联的特性，可以构建骨架姿态样本和场景的场景信息样本之间的关联，之后基于这种构建的关联来训练下半身姿态预测模型，使得下半身姿态预测模型学习上半身关节姿态和下半身关节姿态之间的关联性，以及动作姿态和场景信息之间的关联性，训练后的下半身姿态预测模型输出的下半身关节姿态精度更高，且更加符合当前目标对象所处的场景，如，待预测下半身姿态的用户若处于客厅场景，用户的上半身姿态为双手平放姿态，且用户周边存在沙发时，下半身姿态预测模型输出的下半身关节姿态大概率为坐姿。

可选的，步骤102具体可以包括：

子步骤1021、根据与所述骨架姿态样本对应的场景信息样本，构建与所述骨架姿态样本对应的目标图结构样本，所述目标图结构样本中的节点用于表征所述上半身关节姿态样本中的关节，所述节点关联有与所述骨架姿态样本对应的场景信息样本。

子步骤1022、将所述目标图结构样本输入初始模型，并根据所述初始模型的输出值、与所述目标图结构样本对应的骨架姿态样本中的下半身关节姿态样本确定损失值。

子步骤1023、根据所述损失值和预设损失函数训练所述初始模型的参数，获得所述下半身姿态预测模型。

可选的，第一图结构样本中的节点之间的边的长度，与所述节点表征的对象之间的关联紧密度成反比例关系。

在本申请实施例中，针对子步骤1021-1023，由于骨架姿态和场景信息的对应关系，以及骨架姿态中关节之间的对应关系可以构成一种图结构的数据形式，例如，参照图6，其示出了本申请实施例提供的一种图结构数据的示意图，假设存在一个反映坐姿的骨架姿态，以及存在客厅场景和客厅场景中的椅子、桌子、盆栽、电视等物体，则可以构建如图6所示的图结构数据，图结构中一个节点可以表示一个对象，该对象可以为骨架姿态、场景、物体中的任一种，节点之间的连线为边，边的长度越短，说明两个对象的关联紧密度越高。在图6中，可见坐姿骨架姿态与客厅场景、椅子、桌子、电视有关联关系，其中，坐姿骨架姿态与客厅场景、椅子的关联紧密度较高，且客厅场景、椅子、桌子之间也具有较高关联紧密度，而客厅场景和电视之间的关联紧密度较低，坐姿骨架姿态和桌子之间的关联紧密度也较低。

因此为了模型能够更好的学习动作姿态和场景信息之间的关联性，也为了能将数据处理为模型能够处理的形式，本申请实施例可以根据与骨架姿态样本对应的场景信息样本，构建与骨架姿态样本对应的目标图结构样本。

目标图结构样本中的节点用于表征上半身关节姿态样本中的关节，节点可以关联有与骨架姿态样本对应的场景信息样本。这样在将目标图结构样本输入初始模型后，初始模型可以以预测的下半身关节姿态为输出，基于预测的下半身关节姿态和作为标注值的骨架姿态样本的下半身关节姿态样本计算获得的损失值，来训练初始模型的参数，经过多轮迭代训练，即可获得训练好的下半身姿态预测模型，下半身姿态预测模型可以以用户的上半身关节姿态和关联的场景信息为输入，输出预测的下半身关节姿态。

进一步的，在图结构数据中，一个节点可以由编码表示，如V椅子=(0,0,…0,1,0)、V梯子=(0,1,…0,0,0)，V表示一个节点，节点之间的边E的值为两个节点之间的距离，如E人-椅子=0.25，E椅子-箱子=0.64。

可选的，子步骤1021具体可以包括：

子步骤A1、根据所述骨架姿态样本和所述场景信息样本的对应关系，构建与所述骨架姿态样本对应的第一图结构样本；所述第一图结构样本中的节点用于表征所述骨架姿态样本或所述场景信息样本，所述第一图结构样本中的节点之间的边用于表征所述骨架姿态样本、所述场景信息样本之间的关联紧密度。

子步骤A2、根据所述骨架姿态样本中关节之间的关系，构建与所述骨架姿态样本对应的第二图结构样本，所述第二图结构样本中的节点用于表征所述骨架姿态样本中的关节。

子步骤A3、将所述第一图结构样本和所述第二图结构样本合成为所述目标图结构样本。

在本申请实施例中，针对子步骤A1-A3，基于骨架姿态样本和场景信息样本的对应关系，可以构建类似于图6所示的第一图结构样本，第一图结构样本能够便于模型学习骨架姿态样本和场景信息样本之间的关联性。

可选的，第二图结构样本中第一节点之间的边的长度，与所述第一节点对应的关节之间的长度成正比例关系。

进一步的，基于骨架姿态样本中关节之间的关系，也可以构建第二图结构样本，第二图结构样本能够便于模型学习骨架姿态中关节点之间的关联性，具体为学习上半身关节姿态和下半身关节姿态之间的关联性。另外，由于动作姿态中，第一关节存在对另一相邻的第二关节的控制，且第一关节和第二关节之间的骨骼长度越长，第一关节对第二关节的控制力就越弱，第一关节和第二关节之间的关联紧密度就越弱，因此，基于这种特性，可以设定第二图结构样本中第一节点之间的边的长度，与所述第一节点对应的关节之间的长度成正比例关系，这可以提高后续模型的学习维度，提高模型的鲁棒性。

在将第一图结构样本和第二图结构样本合成为目标图结构样本后，目标图结构样本中的节点用于表征上半身关节姿态样本中的关节，且目标图结构样本中的节点可以关联有与骨架姿态样本对应的场景信息样本，即目标图结构样本中融合了骨架姿态样本和场景信息样本之间的关联性，以及骨架姿态中关节点之间的关联性，后续通过将目标图结构样本输入初始模型，可以达到对模型的训练目的。

可选的，子步骤A3具体可以包括：

子步骤A31、提取所述第一图结构样本的图结构样本特征。

子步骤A32、将所述骨架姿态样本的上半身关节姿态样本中的第一关节的位姿信息，添加至所述第二图结构样本中与所述第一关节对应的第一节点。

子步骤A33、为所述第一节点添加所述图结构样本特征，获得与所述骨架姿态样本对应的目标图结构样本。

在本申请实施例中，针对子步骤A31-A33，为了使得第一图结构样本能更容易的与第二图结构样本进行合成，第一图结构样本可以利用图神经网络降维处理后获得图结构样本特征，之后可以将骨架姿态样本中上半身关节姿态样本的关节的位姿信息映射至第二图结构样本中的对应节点以实现位姿映射，以及将图结构样本特征添加至第二图结构样本中的节点以实现属性映射，从而获得与骨架姿态样本对应的目标图结构样本，使得目标图结构样本中表征了上半身关节姿态样本以及关联的场景信息样本。

综上所述，本申请实施例中，通过对不同场景中目标对象的动作姿态进行关联性分析，可以发现动作姿态和场景以及场景中的物体具有紧密关联，本申请可以基于上述特性，构建对象的骨架姿态样本和对象所处场景的场景信息样本之间的关联，之后基于这种构建的关联来训练下半身姿态预测模型，使得下半身姿态预测模型可以学习上半身关节姿态和下半身关节姿态之间的关联性，以及动作姿态和场景信息之间的关联性，在引入了场景信息后，下半身姿态预测模型输出的下半身关节姿态精度更高，在下半身关节姿态与上半身关节姿态匹配的基础上，使得下半身关节姿态更加符合当前目标对象所处的场景，降低了模型输出的下半身关节姿态和场景不匹配的几率。

参照图7，其示出了本申请实施例提供的一种下半身姿态预测方法的步骤流程图，包括：

步骤201，获取目标对象的姿态信息。

其中，所述姿态信息包括所述目标对象的头部位姿参数和双手位姿参数。

在本申请实施例中，目标对象的姿态信息可以由位姿传感器采集实现，在一种三点位姿采集实现场景下，可以由目标对象分别在头部、双手佩戴位姿传感器，从而获得目标对象的头部位姿参数和双手位姿参数作为姿态信息。需要说明的是，本申请实施例对位姿传感器的数量并不作限定，如若需要更高的检测精度，还可以增加目标对象佩戴的位姿传感器的数量和佩戴位置，以提供8点位姿采集甚至10点位姿采集。

步骤202，根据所述姿态信息进行姿态预测，获得所述目标对象的上半身关节姿态，以及获取所述上半身关节姿态与场景信息的对应关系。

其中，所述场景信息包括所述目标对象所处场景的建模和所述场景中物体的建模。

可选的，步骤202具体可以通过：根据所述姿态信息和预设的三角函数预测算法，获得所述目标对象的双臂姿态；根据所述姿态信息和预设的前向后向抵达预测算法，获得所述目标对象的脊柱姿态；将所述双臂姿态和所述脊柱姿态合成为所述上半身关节姿态的方式进行实现。

在本申请实施例中，根据姿态信息进行基于反向运动学的姿态预测，可以获得目标对象的上半身关节姿态，例如，针对三点追踪的场景，姿态信息包括：T头部、T左手、T右手，T=(PxPyPzQxQyQzQw)，PxPyPz表示3D坐标，QxQyQzQw表示四元数方向，本申请实施例可以将上半身关节姿态分为三个部分：左手胳膊、脊柱、右手胳膊，以T头部、T左手、T右手作为反向动力学算法的输入，最后得到上半身关节姿态，P上半身=(T左手T左小臂T左大臂T头部T胸部T脊柱T胯骨T右手T右小臂T右大臂)。常见的方案中，可以利用Trigonometric IK算法（三角函数预测算法）求解左右手胳膊的姿态，以及利用FABR IK算法（前向后向抵达预测算法）求解脊柱的姿态，左右手胳膊的姿态和脊柱姿态合并后即得到上半身关节姿态。

进一步的，可以对目标对象所处场景和场景中物体与目标对象的上半身关节姿态之间的关联性进行分析，获得上半身关节姿态与场景信息的对应关系，如目标对象的上半身姿态为双手平放姿势，且目标对象所处的客厅场景中存在椅子和桌子时，则可以建立目标对象的上半身关节姿态与客厅场景、椅子、桌子之间的对应关系。

步骤203，根据所述目标对象的上半身关节姿态与所述场景信息的对应关系、所述上半身关节姿态，以及下半身姿态预测模型，获取与所述目标对象的上半身关节姿态匹配的下半身关节姿态。

其中，下半身姿态预测模型由上述训练方法训练得到。

在本申请实施例中，下半身预测模型的训练目标是：以目标对象的上半身关节姿态与场景信息的对应关系，以及目标对象的上半身关节姿态为输入，以下半身关节姿态为输出，因此，根据所述目标对象的上半身关节姿态与所述场景信息的对应关系、所述上半身关节姿态，以及下半身姿态预测模型，可以获取与所述目标对象的上半身关节姿态匹配的下半身关节姿态，模型输出后的下半身关节姿态可以与目标对象的上半身关节姿态拼接得到目标对象的全身关节姿态。

可选的，步骤203具体可以包括：

子步骤2031、根据所述目标对象的上半身关节姿态与所述场景信息的对应关系，构建第一图结构信息，所述第一图结构信息中的节点用于表征所述上半身关节姿态或所述场景信息，所述第一图结构信息中的节点之间的边用于表征所述目标对象、所述场景信息之间的关联紧密度。

子步骤2032、提取所述第一图结构信息的图结构特征。

子步骤2033、根据所述图结构特征和所述上半身关节姿态，构建第二图结构信息，所述第二图结构信息中的节点用于表征所述上半身关节姿态中的关节，且针对所述第二图结构信息中的节点添加有所述图结构特征。

子步骤2034、将所述第二图结构信息输入所述下半身姿态预测模型，获得与所述目标对象的上半身关节姿态匹配的下半身关节姿态。

在本申请实施例中，针对子步骤2031-2034，由于上半身关节姿态和场景信息的对应关系，以及骨架姿态中关节之间的对应关系可以构成一种图结构的数据形式，则为了模型能够更好的处理动作姿态和场景信息之间的关联性，本申请实施例可以根据与上半身关节姿态对应的场景信息，构建第一图结构，第一图结构能够便于模型处理上半身关节姿态和场景信息之间的关联性，同时，基于骨架姿态中关节之间的关系，也可以基于图结构特征和上半身关节姿态，构建第二图结构信息，第二图结构信息中的节点用于表征上半身关节姿态中的关节，且针对第二图结构信息中的节点添加有所述图结构特征。

在将第二图结构输入下半身姿态预测模型后，下半身姿态预测模型可以输出与目标对象的上半身关节姿态匹配的下半身关节姿态。

可选的，在步骤203之后，还可以包括：

步骤204、将所述上半身关节姿态和所述下半身关节姿态合成为全身关节姿态。

步骤205、按照预设的蒙皮渲染算法对所述全身关节姿态进行渲染，获得与所述目标对象对应的全身姿态建模进行展示。

在本申请实施例中，针对步骤204-205，将通过反向动力学计算得到的上半身关节姿态和模型预测的下半身关节姿态拼接合成，即可获得目标对象的全身关节姿态，全身关节姿态再通过预设的蒙皮渲染算法的渲染，即可获得与目标对象对应的全身姿态建模进行展示，全身姿态建模即为目标对象三维的虚拟形象展示动画，全身姿态建模严格追踪并复制了目标对象的自身形态和动作姿态，具有较高的展示效果。

综上所述，本申请实施例中，通过对不同场景中目标对象的动作姿态进行关联性分析，可以发现动作姿态和场景以及场景中的物体具有紧密关联，本申请可以基于上述特性，构建对象的骨架姿态样本和对象所处场景的场景信息样本之间的关联，之后基于这种构建的关联来训练下半身姿态预测模型，使得下半身姿态预测模型可以学习上半身关节姿态和下半身关节姿态之间的关联性，以及动作姿态和场景信息之间的关联性，在引入了场景信息后，下半身姿态预测模型输出的下半身关节姿态精度更高，在下半身关节姿态与上半身关节姿态匹配的基础上，使得下半身关节姿态更加符合当前目标对象所处的场景，降低了模型输出的下半身关节姿态和场景不匹配的几率。

参照图8，其示出了本申请实施例提供的一种虚拟现实场景中的建模展示方法的步骤流程图，应用于虚拟现实设备，所述虚拟现实设备与姿态传感器连接，包括：

步骤301，获取由姿态传感器采集的目标对象的姿态信息；所述姿态信息包括所述目标对象的头部位姿参数和双手位姿参数。

步骤302，根据所述姿态信息进行姿态预测，获得所述目标对象的上半身关节姿态；以及获取所述上半身关节姿态与虚拟现实场景信息的对应关系，所述虚拟现实场景信息包括虚拟现实场景的建模和所述虚拟现实场景中物体的建模。

步骤303，根据所述目标对象的上半身关节姿态与所述虚拟现实场景信息的对应关系、所述上半身关节姿态，以及下半身姿态预测模型，获取与所述目标对象的上半身关节姿态匹配的下半身关节姿态，所述下半身姿态预测模型由上述的训练方法训练得到。

步骤304，将所述上半身关节姿态和所述下半身关节姿态合成为全身关节姿态。

步骤305，按照预设的蒙皮渲染算法对所述全身关节姿态进行渲染，获得与所述目标对象对应的全身姿态建模，并在所述虚拟现实场景的建模中展示所述全身姿态建模。

该实施例具体可以参照上述实施例以及图3的相关描述，此处不作赘述。

综上所述，本申请实施例中，通过对不同场景中目标对象的动作姿态进行关联性分析，可以发现动作姿态和场景以及场景中的物体具有紧密关联，本申请可以基于上述特性，构建对象的骨架姿态样本和对象所处场景的场景信息样本之间的关联，之后基于这种构建的关联来训练下半身姿态预测模型，使得下半身姿态预测模型可以学习上半身关节姿态和下半身关节姿态之间的关联性，以及动作姿态和场景信息之间的关联性，在引入了场景信息后，下半身姿态预测模型输出的下半身关节姿态精度更高，在下半身关节姿态与上半身关节姿态匹配的基础上，使得下半身关节姿态更加符合当前目标对象所处的场景，降低了模型输出的下半身关节姿态和场景不匹配的几率。

参照图9，其示出了本申请实施例提供的一种下半身姿态预测模型的训练装置的框图，包括：

第一获取模块401，用于获取至少一个骨架姿态样本，以及与所述骨架姿态样本对应的至少一个场景信息样本；所述骨架姿态样本包括上半身关节姿态样本、下半身关节姿态样本；所述场景信息样本包括场景的建模和场景中物体的建模；

训练模块402，用于利用所述上半身关节姿态样本、所述场景信息样本和所述下半身关节姿态样本的对应关系训练初始模型，获得下半身姿态预测模型，所述下半身姿态预测模型用于根据上半身关节姿态和场景信息，预测与所述上半身关节姿态匹配的下半身关节姿态。

可选的，所述训练模块402，包括：

第一构建子模块，用于根据与所述骨架姿态样本对应的场景信息样本，构建与所述骨架姿态样本对应的目标图结构样本，所述目标图结构样本中的节点用于表征所述上半身关节姿态样本中的关节，所述节点关联有与所述骨架姿态样本对应的场景信息样本；

第一输入子模块，用于将所述目标图结构样本输入初始模型，并根据所述初始模型的输出值、与所述目标图结构样本对应的骨架姿态样本中的下半身关节姿态样本确定损失值；

训练子模块，用于根据所述损失值和预设损失函数训练所述初始模型的参数，获得所述下半身姿态预测模型。

可选的，所述第一构建子模块，包括：

第一构建单元，用于根据所述骨架姿态样本和所述场景信息样本的对应关系，构建与所述骨架姿态样本对应的第一图结构样本；所述第一图结构样本中的节点用于表征所述骨架姿态样本或所述场景信息样本，所述第一图结构样本中的节点之间的边用于表征所述骨架姿态样本、所述场景信息样本之间的关联紧密度；

第二构建单元，用于根据所述骨架姿态样本中关节之间的关系，构建与所述骨架姿态样本对应的第二图结构样本，所述第二图结构样本中的节点用于表征所述骨架姿态样本中的关节；

合成单元，用于将所述第一图结构样本和所述第二图结构样本合成为所述目标图结构样本。

可选的，所述合成单元，包括：

提取子单元，用于提取所述第一图结构样本的图结构样本特征；

第一添加子单元，用于将所述骨架姿态样本的上半身关节姿态样本中的第一关节的位姿信息，添加至所述第二图结构样本中与所述第一关节对应的第一节点；

第二添加子单元，用于为所述第一节点添加所述图结构样本特征，获得与所述骨架姿态样本对应的目标图结构样本。

可选的，所述第一图结构样本中的节点之间的边的长度，与所述节点表征的对象之间的关联紧密度成反比例关系。

可选的，所述第二图结构样本中第一节点之间的边的长度，与所述第一节点对应的关节之间的长度成正比例关系。

综上所述，本申请实施例中，通过对不同场景中目标对象的动作姿态进行关联性分析，可以发现动作姿态和场景以及场景中的物体具有紧密关联，本申请可以基于上述特性，构建对象的骨架姿态样本和对象所处场景的场景信息样本之间的关联，之后基于这种构建的关联来训练下半身姿态预测模型，使得下半身姿态预测模型可以学习上半身关节姿态和下半身关节姿态之间的关联性，以及动作姿态和场景信息之间的关联性，在引入了场景信息后，下半身姿态预测模型输出的下半身关节姿态精度更高，在下半身关节姿态与上半身关节姿态匹配的基础上，使得下半身关节姿态更加符合当前目标对象所处的场景，降低了模型输出的下半身关节姿态和场景不匹配的几率。

参照图10，其示出了本申请实施例提供的一种下半身姿态预测装置的框图，包括：

第二获取模块501，用于获取目标对象的姿态信息，所述姿态信息包括所述目标对象的头部位姿参数和双手位姿参数；

第一预测模块502，用于根据所述姿态信息进行姿态预测，获得所述目标对象的上半身关节姿态，以及获取所述上半身关节姿态与场景信息的对应关系，所述场景信息包括所述目标对象所处场景的建模和所述场景中物体的建模；

第二预测模块503，用于根据所述目标对象的上半身关节姿态与所述场景信息的对应关系、所述上半身关节姿态，以及下半身姿态预测模型，获取与所述目标对象的上半身关节姿态匹配的下半身关节姿态，所述下半身姿态预测模型由所述训练装置训练得到。

可选的，所述第二预测模块503，包括：

第二构建子模块，用于根据所述目标对象的上半身关节姿态与所述场景信息的对应关系，构建第一图结构信息，所述第一图结构信息中的节点用于表征所述上半身关节姿态或所述场景信息，所述第一图结构信息中的节点之间的边用于表征所述目标对象、所述场景信息之间的关联紧密度；

提取子模块，用于提取所述第一图结构信息的图结构特征；

第三构建子模块，用于根据所述图结构特征和所述上半身关节姿态，构建第二图结构信息，所述第二图结构信息中的节点用于表征所述上半身关节姿态中的关节，且针对所述第二图结构信息中的节点添加有所述图结构特征；

预测子模块，用于将所述第二图结构信息输入所述下半身姿态预测模型，获得与所述目标对象的上半身关节姿态匹配的下半身关节姿态。

可选的，所述装置还包括：

姿态合成模块，用于将所述上半身关节姿态和所述下半身关节姿态合成为全身关节姿态；

建模模块，用于按照预设的蒙皮渲染算法对所述全身关节姿态进行渲染，获得与所述目标对象对应的全身姿态建模进行展示。

可选的，所述第一预测模块502，包括：

第一预测算法子模块，用于根据所述姿态信息和预设的三角函数预测算法，获得所述目标对象的双臂姿态；

第二预测算法子模块，用于根据所述姿态信息和预设的前向后向抵达预测算法，获得所述目标对象的脊柱姿态；

上半身合成子模块，用于将所述双臂姿态和所述脊柱姿态合成为所述上半身关节姿态。

综上所述，本申请实施例中，通过对不同场景中目标对象的动作姿态进行关联性分析，可以发现动作姿态和场景以及场景中的物体具有紧密关联，本申请可以基于上述特性，构建对象的骨架姿态样本和对象所处场景的场景信息样本之间的关联，之后基于这种构建的关联来训练下半身姿态预测模型，使得下半身姿态预测模型可以学习上半身关节姿态和下半身关节姿态之间的关联性，以及动作姿态和场景信息之间的关联性，在引入了场景信息后，下半身姿态预测模型输出的下半身关节姿态精度更高，在下半身关节姿态与上半身关节姿态匹配的基础上，使得下半身关节姿态更加符合当前目标对象所处的场景，降低了模型输出的下半身关节姿态和场景不匹配的几率。

参照图11，其示出了本申请实施例提供的一种虚拟现实场景中的建模展示装置的框图，应用于虚拟现实设备，所述虚拟现实设备与姿态传感器连接，包括：

第三获取模块601，用于获取由姿态传感器采集的目标对象的姿态信息；所述姿态信息包括所述目标对象的头部位姿参数和双手位姿参数；

第三预测模块602，用于根据所述姿态信息进行姿态预测，获得所述目标对象的上半身关节姿态；以及获取所述上半身关节姿态与虚拟现实场景信息的对应关系，所述虚拟现实场景信息包括虚拟现实场景的建模和所述虚拟现实场景中物体的建模；

第四预测模块603，用于根据所述目标对象的上半身关节姿态与所述虚拟现实场景信息的对应关系、所述上半身关节姿态，以及下半身姿态预测模型，获取与所述目标对象的上半身关节姿态匹配的下半身关节姿态，所述下半身姿态预测模型由所述的训练装置训练得到；

合成模块604，用于将所述上半身关节姿态和所述下半身关节姿态合成为全身关节姿态；

渲染模块605，用于按照预设的蒙皮渲染算法对所述全身关节姿态进行渲染，获得与所述目标对象对应的全身姿态建模，并在所述虚拟现实场景的建模中展示所述全身姿态建模。

综上所述，本申请实施例中，通过对不同场景中目标对象的动作姿态进行关联性分析，可以发现动作姿态和场景以及场景中的物体具有紧密关联，本申请可以基于上述特性，构建对象的骨架姿态样本和对象所处场景的场景信息样本之间的关联，之后基于这种构建的关联来训练下半身姿态预测模型，使得下半身姿态预测模型可以学习上半身关节姿态和下半身关节姿态之间的关联性，以及动作姿态和场景信息之间的关联性，在引入了场景信息后，下半身姿态预测模型输出的下半身关节姿态精度更高，在下半身关节姿态与上半身关节姿态匹配的基础上，使得下半身关节姿态更加符合当前目标对象所处的场景，降低了模型输出的下半身关节姿态和场景不匹配的几率。

本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块（programs），该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例中各方法步骤的指令（instructions）。

本申请实施例提供了一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得电子设备执行如上述实施例中一个或多个所述的方法。本申请实施例中，所述电子设备包括终端设备、服务端（集群）等各类型的设备。

本公开的实施例可被实现为使用任意适当的硬件，固件，软件，或及其任意组合进行想要的配置的装置，该装置可包括终端设备、服务端（集群）等电子设备。图12示意性地示出了可被用于实现本申请实施例中所述的各个实施例的示例性装置1000 。

对于一个实施例，图12示出了示例性装置1000，该装置具有一个或多个处理器1002、被耦合到(一个或多个)处理器1002中的至少一个的控制模块（芯片组）1004、被耦合到控制模块1004的存储器1006、被耦合到控制模块1004的非易失性存储器(NVM)/存储设备1008、被耦合到控制模块1004的一个或多个输入/输出设备1010，以及被耦合到控制模块1004的网络接口1012。

处理器1002可包括一个或多个单核或多核处理器，处理器1002可包括通用处理器或专用处理器（例如图形处理器、应用处理器、基频处理器等）的任意组合。在一些实施例中，装置1000 能够作为本申请实施例中所述终端设备、服务端（集群）等设备。

在一些实施例中，装置1000 可包括具有指令1014的一个或多个计算机可读介质(例如，存储器1006或NVM/ 存储设备1008) 以及与该一个或多个计算机可读介质相合并被配置为执行指令1014以实现模块从而执行本公开中所述的动作的一个或多个处理器1002。

对于一个实施例，控制模块1004可包括任意适当的接口控制器，以向(一个或多个)处理器1002中的至少一个和/或与控制模块1004通信的任意适当的设备或组件提供任意适当的接口。

控制模块1004可包括存储器控制器模块，以向存储器1006提供接口。存储器控制器模块可以是硬件模块、软件模块和/或固件模块。

存储器1006可被用于例如为装置1000加载和存储数据和/或指令1014。对于一个实施例，存储器1006可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，存储器1006可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM) 。

对于一个实施例，控制模块1004可包括一个或多个输入/输出控制器，以向NVM/存储设备1008及(一个或多个)输入/输出设备1010 提供接口。

例如，NVM/存储设备1008可被用于存储数据和/或指令1014。NVM/存储设备1008可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(HDD) 、一个或多个光盘(CD) 驱动器和/或一个或多个数字通用光盘(DVD) 驱动器)。

NVM/存储设备1008可包括在物理上作为装置1000 被安装在其上的设备的一部分的存储资源，或者其可被该设备访问可不必作为该设备的一部分。例如， NVM/存储设备1008可通过网络经由(一个或多个)输入/输出设备1010 进行访问。

(一个或多个)输入/输出设备1010 可为装置1000 提供接口以与任意其他适当的设备通信，输入/输出设备1010可以包括通信组件、音频组件、传感器组件等。网络接口1012可为装置1000 提供接口以通过一个或多个网络通信，装置1000 可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信，例如接入基于通信标准的无线网络，如WiFi、2G、3G、4G、5G等，或它们的组合进行无线通信。

对于一个实施例，(一个或多个)处理器1002中的至少一个可与控制模块1004的一个或多个控制器(例如，存储器控制器模块) 的逻辑封装在一起。对于一个实施例，(一个或多个)处理器1002中的至少一个可与控制模块1004的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP) 。对于一个实施例， (一个或多个)处理器1002中的至少一个可与控制模块1004的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例， (一个或多个)处理器1002中的至少一个可与控制模块1004的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC) 。

在各个实施例中，装置1000可以但不限于是：服务端、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)等终端设备。在各个实施例中，装置1000 可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，装置1000包括一个或多个摄像机、键盘、液晶显示器(LCD) 屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC) 和扬声器。

其中，检测装置中可采用主控芯片作为处理器或控制模块，传感器数据、位置信息等存储到存储器或NVM/存储设备中，传感器组可作为输入/输出设备，通信接口可包括网络接口。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本申请所提供的一种下半身姿态预测模型的训练方法、下半身姿态预测方法、虚拟现实场景中的建模展示方法及装置、电子设备、机器可读介质，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (8)

1.一种下半身姿态预测模型的训练方法，其特征在于，包括：

获取至少一个骨架姿态样本，以及与所述骨架姿态样本对应的至少一个场景信息样本；所述骨架姿态样本包括上半身关节姿态样本、下半身关节姿态样本；所述场景信息样本包括场景的建模和场景中物体的建模；所述场景为所述骨架姿态样本所处的环境场景，所述场景的建模为所述环境场景的三维建模数据；

根据与所述骨架姿态样本对应的场景信息样本，构建与所述骨架姿态样本对应的目标图结构样本，所述目标图结构样本中的节点用于表征所述上半身关节姿态样本中的关节，所述节点关联有与所述骨架姿态样本对应的场景信息样本；所述节点之间具有连接关系；

将所述目标图结构样本输入初始模型，并根据所述初始模型的输出值、与所述目标图结构样本对应的骨架姿态样本中的下半身关节姿态样本确定损失值；

根据所述损失值和预设损失函数训练所述初始模型的参数，获得所述下半身姿态预测模型；所述下半身姿态预测模型用于根据上半身关节姿态和场景信息，预测与所述上半身关节姿态匹配的下半身关节姿态；

其中，所述根据与所述骨架姿态样本对应的场景信息样本，构建与所述骨架姿态样本对应的目标图结构样本，包括：

根据所述骨架姿态样本和所述场景信息样本的对应关系，构建与所述骨架姿态样本对应的第一图结构样本；所述第一图结构样本中的节点用于表征所述骨架姿态样本或所述场景信息样本，所述第一图结构样本中的节点之间的边用于表征所述骨架姿态样本、所述场景信息样本之间的关联紧密度；

根据所述骨架姿态样本中关节之间的关系，构建与所述骨架姿态样本对应的第二图结构样本，所述第二图结构样本中的节点用于表征所述骨架姿态样本中的关节；所述第二图结构样本中第一节点之间的边的长度，与所述第一节点对应的关节之间的长度成正比例关系；

提取所述第一图结构样本的图结构样本特征；

将所述骨架姿态样本的上半身关节姿态样本中的第一关节的位姿信息，添加至所述第二图结构样本中与所述第一关节对应的第一节点；

为所述第一节点添加所述图结构样本特征，获得与所述骨架姿态样本对应的目标图结构样本。

2.根据权利要求1所述的方法，其特征在于，所述第一图结构样本中的节点之间的边的长度，与所述节点表征的对象之间的关联紧密度成反比例关系。

3.一种下半身姿态预测方法，其特征在于，包括：

获取目标对象的姿态信息，所述姿态信息包括所述目标对象的头部位姿参数和双手位姿参数；

根据所述姿态信息进行姿态预测，获得所述目标对象的上半身关节姿态，以及获取所述上半身关节姿态与场景信息的对应关系，所述场景信息包括所述目标对象所处场景的建模和所述场景中物体的建模；所述场景的建模为所述目标对象所处的环境场景的三维建模数据；

根据与所述上半身关节姿态与场景信息的对应关系，构建第二图结构信息，所述第二图结构信息中的节点用于表征所述上半身关节姿态中的关节，所述节点关联有所述场景信息；所述节点之间具有连接关系；

根据所述第二图结构信息，以及下半身姿态预测模型，获取与所述目标对象的上半身关节姿态匹配的下半身关节姿态，所述下半身姿态预测模型由权利要求1-2任一项所述的方法训练得到；

其中，所述根据与所述上半身关节姿态与场景信息的对应关系，构建第二图结构信息，包括：

根据所述目标对象的上半身关节姿态与所述场景信息的对应关系，构建第一图结构信息，所述第一图结构信息中的节点用于表征所述上半身关节姿态或所述场景信息，所述第一图结构信息中的节点之间的边用于表征所述目标对象、所述场景信息之间的关联紧密度；

提取所述第一图结构信息的图结构特征；

根据所述图结构特征和所述上半身关节姿态，构建第二图结构信息，所述第二图结构信息中的节点用于表征所述上半身关节姿态中的关节，且针对所述第二图结构信息中的节点添加有所述图结构特征，所述第二图结构信息中节点之间的边的长度，与所述节点对应的关节之间的长度成正比例关系。

4.根据权利要求3所述的方法，其特征在于，在所述获取与所述目标对象的上半身关节姿态匹配的下半身关节姿态之后，还包括：

将所述上半身关节姿态和所述下半身关节姿态合成为全身关节姿态；

按照预设的蒙皮渲染算法对所述全身关节姿态进行渲染，获得与所述目标对象对应的全身姿态建模进行展示。

5.根据权利要求3所述的方法，其特征在于，所述根据所述姿态信息进行姿态预测，获得所述目标对象的上半身关节姿态，包括：

根据所述姿态信息和预设的三角函数预测算法，获得所述目标对象的双臂姿态；

根据所述姿态信息和预设的前向后向抵达预测算法，获得所述目标对象的脊柱姿态；

将所述双臂姿态和所述脊柱姿态合成为所述上半身关节姿态。

6.一种虚拟现实场景中的建模展示方法，应用于虚拟现实设备，所述虚拟现实设备与姿态传感器连接，其特征在于，包括：

获取由姿态传感器采集的目标对象的姿态信息；所述姿态信息包括所述目标对象的头部位姿参数和双手位姿参数；

根据所述姿态信息进行姿态预测，获得所述目标对象的上半身关节姿态；以及获取所述上半身关节姿态与虚拟现实场景信息的对应关系，所述虚拟现实场景信息包括虚拟现实场景的建模和所述虚拟现实场景中物体的建模；所述虚拟现实场景的建模为所述目标对象所处的虚拟现实环境场景的三维建模数据；

根据与所述上半身关节姿态与虚拟现实场景信息的对应关系，构建图结构信息，所述图结构信息中的节点用于表征所述上半身关节姿态中的关节，所述节点关联有所述虚拟现实场景信息；所述节点之间具有连接关系；

根据所述图结构信息，以及下半身姿态预测模型，获取与所述目标对象的上半身关节姿态匹配的下半身关节姿态，所述下半身姿态预测模型由权利要求1-2任一项所述的方法训练得到；

将所述上半身关节姿态和所述下半身关节姿态合成为全身关节姿态；

按照预设的蒙皮渲染算法对所述全身关节姿态进行渲染，获得与所述目标对象对应的全身姿态建模，并在所述虚拟现实场景的建模中展示所述全身姿态建模；

其中，所述根据与所述上半身关节姿态与虚拟现实场景信息的对应关系，构建图结构信息，包括：

根据所述目标对象的上半身关节姿态与所述虚拟现实场景信息的对应关系，构建第一图结构信息，所述第一图结构信息中的节点用于表征所述上半身关节姿态或所述虚拟现实场景信息，所述第一图结构信息中的节点之间的边用于表征所述目标对象、所述虚拟现实场景信息之间的关联紧密度；

提取所述第一图结构信息的图结构特征；

根据所述图结构特征和所述上半身关节姿态，构建所述图结构信息，所述图结构信息中的节点用于表征所述上半身关节姿态中的关节，且针对所述图结构信息中的节点添加有所述图结构特征，所述图结构信息中节点之间的边的长度，与所述节点对应的关节之间的长度成正比例关系。

7.一种电子设备，其特征在于，包括：

处理器；和

存储器，其上存储有可执行代码，当所述可执行代码被执行时，使得所述处理器执行如权利要求1至6任一所述的方法。

8.一个或多个机器可读介质，其上存储有可执行代码，当所述可执行代码被执行时，使得处理器执行如权利要求1至6任一所述的方法。

Images