CN116524081A - 虚拟现实画面调整方法、装置、设备及介质 - Google Patents

Abstract

本发明公开了虚拟现实画面调整方法、装置、设备及介质。方法包括：获取虚拟现实设备的至少一个运动跟踪器的第一跟踪数据；将所述第一跟踪数据输入预先训练的半身姿态预测模型中进行预测，得到半身姿态预测结果；将所述半身姿态预测结果输入预先训练的全身姿态预测模型中进行预测，得到全身姿态预测结果；根据所述全身姿态预测结果对虚拟现实画面下一帧的虚拟人物的全身姿态进行调整。本发明的技术方案能够在虚拟现实设备的跟踪数据有限的情况下，通过预测模型预测并调整虚拟人物的全身姿态进行调整，使其符合用户的真实身体姿态，提高虚拟现实设备的沉浸式体验效果。

Description

虚拟现实画面调整方法、装置、设备及介质

技术领域

本发明涉及虚拟现实技术领域，尤其涉及虚拟现实画面调整方法、装置、设备及介质。

背景技术

虚拟现实(Virtual Reality，VR)借助虚拟现实设备产生一个逼真的虚拟世界，从而使处于虚拟世界中的用户产生一种身临其境的感觉。目前的消费级VR设备的运动检测单元通常包括头戴式VR眼镜以及两个VR手柄，对用户的运动情况进行检测并根据运动情况在虚拟现实画面中显示对应的虚拟人物的身体姿态动画。

受到运动检测单元的数量限制，无法使虚拟人物的身体姿态动画与用户的动作保持一致，特别是在用户进行四处行走或跑动等幅度较大的运动时，虚拟人物上半身和下半身运动将会非常不协调，并不符合运动中的真实身体姿态。

因此，需要一种方式来对虚拟人物的身体姿态动画进行调整，使其符合用户的真实身体姿态。

发明内容

本发明提供了虚拟现实画面调整方法、装置、设备及介质，能够对虚拟人物的身体姿态动画进行调整，使其符合用户的真实身体姿态。

根据本发明的一方面，提供了一种虚拟现实画面调整方法，包括：获取虚拟现实设备的至少一个运动跟踪器的第一跟踪数据；将所述第一跟踪数据输入预先训练的半身姿态预测模型中进行预测，得到半身姿态预测结果；将所述半身姿态预测结果输入预先训练的全身姿态预测模型中进行预测，得到全身姿态预测结果；根据所述全身姿态预测结果对虚拟现实画面下一帧的虚拟人物的全身姿态进行调整。

可选的，所述半身姿态预测模型，通过如下方式训练：获取运动数据样本集和运动信号样本集，所述运动数据样本集包括人体运动对应的至少一种运动特征数据，所述运动信号包括虚拟现实设备的运动跟踪器获取的至少一种运动信号数据；创建人体三维模型并将所述运动数据样本集以及所述运动信号样本集映射到所述人体三维模型，得到动作姿态样本集；将动作姿态样本集输入至预设学习模型中训练直至收敛，得到所述半身姿态预测模型。

可选的，所述全身姿态预测模型，通过如下方式训练：获取所述运动数据样本集；确定所述运动数据样本集中每种所述运动特征数据中的关节点位；通过所述关节点位对每种所述运动特征数据进行标注，得到全身姿态样本集；将所述全身姿态样本集输入至预设学习模型中训练直至收敛，得到所述全身姿态预测模型。

可选的，所述将所述第一跟踪数据输入预先训练的半身姿态预测模型中进行预测，得到半身姿态预测结果，包括：通过所述半身姿态预测模型根据所述第一跟踪数据得到上半身预测姿态；通过所述半身姿态预测模型根据所述上半身预测姿态得到至少一种下半身预测姿态，将所述上半身预测姿态和至少一种所述下半身预测姿态作为所述半身姿态预测结果。

可选的，所述将所述姿态预测结果输入预先训练的全身姿态预测模型中进行预测，得到全身姿态预测结果，包括：通过所述全身姿态预测模型从所述至少一种下半身预测姿态中选择目标下半身预测姿态；根据所述上半身预测姿态和所述目标下半身预测姿态得到所述全身姿态预测结果。

可选的，在所述根据所述全身姿态预测结果对虚拟现实画面下一帧的所述虚拟人物的全身姿态进行调整后，该方法还包括：确定所述全身姿态预设结果与所述虚拟人物的全身姿态的差异值；根据所述差异值确定针对于至少一个所述运动跟踪器的校正参数；根据所述校正参数对至少一个所述运动跟踪器进行校正。

可选的，在所述根据所述全身姿态预测结果对虚拟现实画面下一帧的虚拟人物的全身姿态进行调整之前，该方法还包括：在所述虚拟现实画面下一帧前获取虚拟现实设备的至少一个运动跟踪器的第二跟踪数据；确定所述第二跟踪数据与所述全身姿态预测结果的差异值；当所述差异值小于预设阈值时，执行根据所述全身姿态预测结果对虚拟现实画面下一帧的虚拟人物的全身姿态进行调整。

根据本发明的另一方面，提供了一种虚拟现实画面调整装置，包括：跟踪数据获取单元，用于获取虚拟现实设备的至少一个运动跟踪器的第一跟踪数据；第一预测结果获取单元，用于将所述第一跟踪数据输入预先训练的半身姿态预测模型中进行预测，得到半身姿态预测结果；第二预测结果获取单元，用于将所述半身姿态预测结果输入预先训练的全身姿态预测模型中进行预测，得到全身姿态预测结果；全身姿态调整单元，用于根据所述全身姿态预测结果对虚拟现实画面下一帧的虚拟人物的全身姿态进行调整。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的虚拟现实画面调整方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的虚拟现实画面调整方法。

本发明实施例的技术方案，获取虚拟现实设备的至少一个运动跟踪器的第一跟踪数据；将所述第一跟踪数据输入预先训练的半身姿态预测模型中进行预测，得到半身姿态预测结果；将所述半身姿态预测结果输入预先训练的全身姿态预测模型中进行预测，得到全身姿态预测结果；根据所述全身姿态预测结果对虚拟现实画面下一帧的虚拟人物的全身姿态进行调整。本发明的技术方案能够在虚拟现实设备的跟踪数据有限的情况下，通过预测模型预测并调整虚拟人物的全身姿态进行调整，使其符合用户的真实身体姿态，提高虚拟现实设备的沉浸式体验效果。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的一种虚拟现实画面调整方法的流程图；

图2为本发明实施例二提供的一种半身姿态预测模型训练方法的流程图；

图3为本发明实施例三提供的一种全身姿态预测模型训练方法的流程图；

图4为本发明实施例四提供的一种虚拟现实画面调整装置的结构示意图；

图5是实现本发明实施例的虚拟现实画面调整方法的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1为本发明实施例一提供的一种虚拟现实画面调整方法的流程图，本实施例可适用于对虚拟现实画面中的虚拟人物的全身姿态进行调整的情况，该方法可以由虚拟现实画面调整装置来执行，该虚拟现实画面调整装置可以采用硬件和/或软件的形式实现，该虚拟现实画面调整装置可配置于虚拟显示设备中。如图1所示，该方法包括：

S110、获取虚拟现实设备的至少一个运动跟踪器的第一跟踪数据。

其中虚拟现实，就是虚拟和现实相互结合，利用计算机生成一种模拟环境，使用户沉浸到该环境中。虚拟现实技术就是利用现实生活中的数据，通过计算机技术产生的电子信号，将其与各种输出设备结合使其转化为能够让人们感受到的现象，这些现象可以是现实中真真切切的物体，也可以是我们肉眼所看不到的物质，通过三维模型表现出来。因为这些现象不是我们直接所能看到的，而是通过计算机技术模拟出来的现实中的世界，故称为虚拟现实。

用户在虚拟现实世界中看到自己的身体是沉浸式体验的重要组成部分。但是由于现在的消费级的虚拟现实设备要做到非常困难。虚拟现实设备指的是与虚拟现实技术领域相关的硬件产品，是虚拟现实解决方案中用到的硬件设备。通常，虚拟现实设备在默认配置中最多只提供三个跟踪设备，包括一个头戴式VR眼镜和两个VR手柄，三者能够根据自身的位置信息来实现跟踪用户动作的效果，第一跟踪数据即根据运动跟踪器的位置信息得到。

由于设备跟踪数据的数量非常有限，从而无法让虚拟世界的人物形象和操控者的行动保持一致，在坐着或者站立不动的情况下，虚拟人物动画还能够保证相对高的质量，但是在操控者四处行走或跑动的情况下，人物上半身和下半身运动将会非常不协调，并不符合真实运动情况，因此，需要对虚拟人物的运动姿态进行调整。

S120、将所述第一跟踪数据输入预先训练的半身姿态预测模型中进行预测，得到半身姿态预测结果。

其中，半身姿态预测结果指的是用户的上半身和下半身分别的预测姿态。由于目前的运动跟踪器头戴式VR眼镜和两个VR手柄，因此根据第一跟踪数据只能对上半身的姿态进行预测，由于下半身的姿态无法通过运动跟踪器来获取跟踪数据，因此需要半身姿态预测模型来分别对上半身和下半身的姿态进行预测，得到半身姿态预测结果。由于运动跟踪器的位置无法得到下半身的跟踪数据，因此得到的下半身预测姿态不止一套。

S130、将所述半身姿态预测结果输入预先训练的全身姿态预测模型中进行预测，得到全身姿态预测结果。

其中，全身姿态预测结果为根据半身姿态预测结果得到的最符合用户真实姿态的目标姿态，由于下半身预测姿态不止一套，因此需要训练全身姿态预测模型，从多种姿态中选择最符合的姿态，确定全身姿态预测结果，即，全身姿态预测模型通过训练能够根据上半身预测姿态和下半身预测姿态输出一个最终的全身姿态预测结果。

S140、根据所述全身姿态预测结果对虚拟现实画面下一帧的虚拟人物的全身姿态进行调整。

其中，在得到全身姿态预测结果后，可以通过虚拟现实设备的模拟模块执行物理模拟并更新虚拟人物的全身姿态，这个全身姿态将被用作下一帧的输出，即根据该全身姿态对虚拟人物及背景画面进行渲染，并在虚拟现实设备的显示单元中进行显示。

本发明实施例的技术方案，获取虚拟现实设备的至少一个运动跟踪器的第一跟踪数据；将所述第一跟踪数据输入预先训练的半身姿态预测模型中进行预测，得到半身姿态预测结果；将所述半身姿态预测结果输入预先训练的全身姿态预测模型中进行预测，得到全身姿态预测结果；根据所述全身姿态预测结果对虚拟现实画面下一帧的虚拟人物的全身姿态进行调整。本发明的技术方案能够在虚拟现实设备的跟踪数据有限的情况下，通过预测模型预测并调整虚拟人物的全身姿态进行调整，使其符合用户的真实身体姿态，提高虚拟现实设备的沉浸式体验效果。

在本发明实施例中，在所述根据所述全身姿态预测结果对虚拟现实画面下一帧的所述虚拟人物的全身姿态进行调整后，该方法还包括：确定所述全身姿态预设结果与所述虚拟人物的全身姿态的差异值；根据所述差异值确定针对于至少一个所述运动跟踪器的校正参数；根据所述校正参数对至少一个所述运动跟踪器进行校正。

由于预测的全身姿态预测结果和真实的运动跟踪器的跟踪数据会存在误差，因此可以对该误差进行矫正。根据全身姿态预测结果，计算控制器(VR眼镜及手柄)的目标位姿，并结合跟踪器位置校正模块计算必要的关节力矩以补偿运动跟踪器的跟踪误差。

在本发明实施例中，在所述根据所述全身姿态预测结果对虚拟现实画面下一帧的虚拟人物的全身姿态进行调整之前，该方法还包括：在所述虚拟现实画面下一帧前获取虚拟现实设备的至少一个运动跟踪器的第二跟踪数据；确定所述第二跟踪数据与所述全身姿态预测结果的差异值；当所述差异值小于预设阈值时，执行根据所述全身姿态预测结果对虚拟现实画面下一帧的虚拟人物的全身姿态进行调整。

由于人的动作为持续连贯的，因此当运动跟踪器的跟踪数据偏离了全身姿态预测结果，那么就属于出现了突发动作。如果发生了突发动作，则可以重新对全身姿态预测结果进行重新预测。为了应对不可预测的突发动作产生，会延时3帧左右(可根据需求自行设定延时帧数)，以来应对这种情况，留出处理时间通过算法修正成新的全身姿态预测结果。

实施例二

图2为本发明实施例二提供的一种半身姿态预测模型训练方法的流程图。如图2所示，该方法包括：

S210、获取运动数据样本集和运动信号样本集，所述运动数据样本集包括人体运动对应的至少一种运动特征数据，所述运动信号包括虚拟现实设备的运动跟踪器获取的至少一种运动信号数据。

其中，运动数据样本集中的运动特征数据可以通过对人体进行动作捕捉来实现，比如使用运动捕获系统捕获数小时的随机性的人体运动数据。捕获对象被要求在捕捉体积中站立或行走，同时表现得就像在玩VR游戏一样。举例来说，让运动捕捉对象佩戴好运动捕捉设备在预设的空间中自由运动，并做出走路、蹲下、坐下以及VR游戏的一些特定动作，比如打招呼、与其他人交流时常出现的肢体动作；也可以通过提供动作样本使佩戴运动捕捉设备的人员做出指定的动作。运动信号数据的获取可以根据运动跟踪器在工作时采集的运动信号数据进行汇总获得，根据运动信号数据能够对人体的姿态进行预估。

S220、创建人体三维模型并将所述运动数据样本集以及所述运动信号样本集映射到所述人体三维模型，得到动作姿态样本集。

S230、将动作姿态样本集输入至预设学习模型中训练直至收敛，得到所述半身姿态预测模型。

在本发明实施例中，所述将所述第一跟踪数据输入预先训练的半身姿态预测模型中进行预测，得到半身姿态预测结果，包括：通过所述半身姿态预测模型根据所述第一跟踪数据得到上半身预测姿态；通过所述半身姿态预测模型根据所述上半身预测姿态得到至少一种下半身预测姿态，将所述上半身预测姿态和至少一种所述下半身预测姿态作为所述半身姿态预测结果。

其中，人体三维模型为带有动画骨骼，能够映射人体姿态，使模型实现与人体姿态相同的姿态的三维模型。人体三维模型在训练开始时有一个初始的姿态，和真人保持一致。运动信号样本集可以为头戴式VR眼镜和两个VR手柄三个点的运动跟踪数据的合集，将运动跟踪数据分别作为输入，结合通过动作捕捉得到的运动数据样本集就可以预测人员可能会做的目标姿态，人体三维模型会根据目标姿态去做对应的动作。此外，还可以通过一些补正工具或物理模块让动作匹配头戴式VR眼镜和VR手柄的位置以避免误差，保证预估的姿态符合正常的姿态，防止人体三维模型的动画骨骼的关节出现不符合人体的旋转。通过上述过程，根据人体三维模型根据运动数据样本集以及运动信号样本集做出的姿态的合集作为动作姿态样本集对预设学习模型进行训练，收敛后得到半身姿态预测模型。由于头戴式VR眼镜和VR手柄为上半身的跟踪数据，因此半身姿态预测模型根据跟踪数据能够预测出一套上半身预测姿态，但由于运动数据样本集中一种上半身预测姿态可能会对应多种下半身预测姿态，即人员上半身姿态固定，但下半身的姿态并不只有一种，因此半身姿态预测模型输出的结果为上半身预测姿态与多种下半身预测姿态的组合。

实施例三

图3为本发明实施例三提供的一种全身姿态预测模型训练方法的流程图，如图3所示，该方法包括：

S310、获取所述运动数据样本集。

如上一实施例所述，运动数据样本集中的运动特征数据可以通过对人体进行动作捕捉来实现，比如使用运动捕获系统捕获数小时的随机性的人体运动数据。该实施例使用的运动数据样本集与半身姿态预测模型可以相同，也可以另外创建不同的运动数据样本集。

S320、确定所述运动数据样本集中每种所述运动特征数据中的关节点位。

其中，关节点位为手腕、手肘、脚腕、膝盖等关节部位对应的点位，由于运动特征数据通过动作捕捉采集捕获对象的运动数据，因此可以根据捕获对象来确定各关节点位的位置。

S330、通过所述关节点位对每种所述运动特征数据进行标注，得到全身姿态样本集。

S340、将所述全身姿态样本集输入至预设学习模型中训练直至收敛，得到所述全身姿态预测模型。

在本发明实施例中，所述将所述姿态预测结果输入预先训练的全身姿态预测模型中进行预测，得到全身姿态预测结果，包括：通过所述全身姿态预测模型从所述至少一种下半身预测姿态中选择目标下半身预测姿态；根据所述上半身预测姿态和所述目标下半身预测姿态得到所述全身姿态预测结果。

其中，通过关节点位对运动特征数据进行标注，标记后的运动特征数据的集合为全身姿态样本集，通过全身姿态样本集对学习模型进行训练，得到全身姿态预测模型，全身姿态预测模型的训练目标为通过上半身预测姿态和至少一种所述下半身预测姿态输出一个最终的全身姿态预测结果。

具体来说，运动跟踪器为头戴式VR眼镜和VR手柄，对应三个点的跟踪位置，得到跟踪数据(头部和两只手)，根据跟踪数据半身姿态预测模型可以得到上半身预测姿态和至少一种所述下半身预测姿态，每一种上半身预测姿态和所述下半身预测姿态的组合，包含手腕、手肘、脚腕、膝盖等关节点位，通过这些点位对运动特征数据进行标记，得到全身姿态样本集，并对全身姿态预测模型进行训练。由于在对学习模型进行训练时，需要大量使用带有标注的样本(即本发明实施例中通过关节点位对运动特征数据进行标注)，通过人工进行标注是一样费时又费力的工作，因此本发明实施例中优选使用labelimg标注融合样本图像的所述第二评分值和所述第二融合值，获得融合图像样本集。labelImg是一个图形图像注释工具，采用Python编写而成，并使用Qt作为其图形界面。注释以PASCAL VOC格式保存为XML文件，格式使用了ImageNet。

本发明的目的是在消费级VR设备的有限的跟踪数据下，利用深度学习算法预测并补全虚拟人物的身体姿态动画，并符合操纵者的真实身体姿态。实现补全没有跟踪数据的腿部动画，以及上半身看不见部分姿态动画。提高用户的沉浸式体验效果。补全主要原理是通过输入当前的跟踪位置信息，来预测一个未来可能呈现的目标姿势并进行过渡动画处理。然后与弄懂跟踪器位置的校正模块来修正跟踪的误差以及不合理的姿势。最后模拟模块执行物理模拟并更新角色的状态。

实施例四

图4为本发明实施例四提供的一种虚拟现实画面调整装置的结构示意图。如图4所示，该装置包括：

跟踪数据获取单元410，用于获取虚拟现实设备的至少一个运动跟踪器的第一跟踪数据；

第一预测结果获取单元420，用于将所述第一跟踪数据输入预先训练的半身姿态预测模型中进行预测，得到半身姿态预测结果；

第二预测结果获取单元430，用于将所述半身姿态预测结果输入预先训练的全身姿态预测模型中进行预测，得到全身姿态预测结果；

全身姿态调整单元440，用于根据所述全身姿态预测结果对虚拟现实画面下一帧的虚拟人物的全身姿态进行调整。

可选的，如图4所示，该装置还包括：第一模型训练单元450。第一模型训练单元450，用于通过如下方式训练半身姿态预测模型：获取运动数据样本集和运动信号样本集，所述运动数据样本集包括人体运动对应的至少一种运动特征数据，所述运动信号包括虚拟现实设备的运动跟踪器获取的至少一种运动信号数据；创建人体三维模型并将所述运动数据样本集以及所述运动信号样本集映射到所述人体三维模型，得到动作姿态样本集；将动作姿态样本集输入至预设学习模型中训练直至收敛，得到所述半身姿态预测模型。

可选的，如图4所示，该装置还包括：第二模型训练单元460。第二模型训练单元460，用于通过如下方式训练全身姿态预测模型：获取所述运动数据样本集；确定所述运动数据样本集中每种所述运动特征数据中的关节点位；通过所述关节点位对每种所述运动特征数据进行标注，得到全身姿态样本集；将所述全身姿态样本集输入至预设学习模型中训练直至收敛，得到所述全身姿态预测模型。

可选的，第一预测结果获取单元420，用于通过所述半身姿态预测模型根据所述第一跟踪数据得到上半身预测姿态；通过所述半身姿态预测模型根据所述上半身预测姿态得到至少一种下半身预测姿态，将所述上半身预测姿态和至少一种所述下半身预测姿态作为所述半身姿态预测结果。

可选的，第二预测结果获取单元430，用于通过所述全身姿态预测模型从所述至少一种下半身预测姿态中选择目标下半身预测姿态；根据所述上半身预测姿态和所述目标下半身预测姿态得到所述全身姿态预测结果。

可选的，全身姿态调整单元440，在执行所述根据所述全身姿态预测结果对虚拟现实画面下一帧的所述虚拟人物的全身姿态进行调整后，还用于执行：确定所述全身姿态预设结果与所述虚拟人物的全身姿态的差异值；根据所述差异值确定针对于至少一个所述运动跟踪器的校正参数；根据所述校正参数对至少一个所述运动跟踪器进行校正。

可选的，全身姿态调整单元440，在执行所述根据所述全身姿态预测结果对虚拟现实画面下一帧的虚拟人物的全身姿态进行调整之前，还用于执行：在所述虚拟现实画面下一帧前获取虚拟现实设备的至少一个运动跟踪器的第二跟踪数据；确定所述第二跟踪数据与所述全身姿态预测结果的差异值；当所述差异值小于预设阈值时，执行根据所述全身姿态预测结果对虚拟现实画面下一帧的虚拟人物的全身姿态进行调整。

本发明实施例所提供的虚拟现实画面调整装置可执行本发明任意实施例所提供的虚拟现实画面调整方法，具备执行方法相应的功能模块和有益效果。

实施例五

图5示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图5所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如虚拟现实画面调整方法。

在一些实施例中，虚拟现实画面调整方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的虚拟现实画面调整方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行虚拟现实画面调整方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.虚拟现实画面调整方法，其特征在于，包括：

获取虚拟现实设备的至少一个运动跟踪器的第一跟踪数据；

将所述第一跟踪数据输入预先训练的半身姿态预测模型中进行预测，得到半身姿态预测结果；

将所述半身姿态预测结果输入预先训练的全身姿态预测模型中进行预测，得到全身姿态预测结果；

根据所述全身姿态预测结果对虚拟现实画面下一帧的虚拟人物的全身姿态进行调整。

2.根据权利要求1所述的方法，其特征在于，所述半身姿态预测模型，通过如下方式训练：

获取运动数据样本集和运动信号样本集，所述运动数据样本集包括人体运动对应的至少一种运动特征数据，所述运动信号包括虚拟现实设备的运动跟踪器获取的至少一种运动信号数据；

创建人体三维模型并将所述运动数据样本集以及所述运动信号样本集映射到所述人体三维模型，得到动作姿态样本集；

将动作姿态样本集输入至预设学习模型中训练直至收敛，得到所述半身姿态预测模型。

3.根据权利要求2所述的方法，其特征在于，所述全身姿态预测模型，通过如下方式训练：

获取所述运动数据样本集；

确定所述运动数据样本集中每种所述运动特征数据中的关节点位；

通过所述关节点位对每种所述运动特征数据进行标注，得到全身姿态样本集；

将所述全身姿态样本集输入至预设学习模型中训练直至收敛，得到所述全身姿态预测模型。

4.根据权利要求1所述的方法，其特征在于，所述将所述第一跟踪数据输入预先训练的半身姿态预测模型中进行预测，得到半身姿态预测结果，包括：

通过所述半身姿态预测模型根据所述第一跟踪数据得到上半身预测姿态；

通过所述半身姿态预测模型根据所述上半身预测姿态得到至少一种下半身预测姿态，将所述上半身预测姿态和至少一种所述下半身预测姿态作为所述半身姿态预测结果。

5.根据权利要求4所述的方法，其特征在于，所述将所述姿态预测结果输入预先训练的全身姿态预测模型中进行预测，得到全身姿态预测结果，包括：

通过所述全身姿态预测模型从所述至少一种下半身预测姿态中选择目标下半身预测姿态；

根据所述上半身预测姿态和所述目标下半身预测姿态得到所述全身姿态预测结果。

6.根据权利要求1所述的方法，其特征在于，在所述根据所述全身姿态预测结果对虚拟现实画面下一帧的所述虚拟人物的全身姿态进行调整后，进一步包括：

确定所述全身姿态预设结果与所述虚拟人物的全身姿态的差异值；

根据所述差异值确定针对于至少一个所述运动跟踪器的校正参数；

根据所述校正参数对至少一个所述运动跟踪器进行校正。

7.根据权利要求1所述的方法，其特征在于，在所述根据所述全身姿态预测结果对虚拟现实画面下一帧的虚拟人物的全身姿态进行调整之前，进一步包括：

在所述虚拟现实画面下一帧前获取虚拟现实设备的至少一个运动跟踪器的第二跟踪数据；

确定所述第二跟踪数据与所述全身姿态预测结果的差异值；

当所述差异值小于预设阈值时，执行根据所述全身姿态预测结果对虚拟现实画面下一帧的虚拟人物的全身姿态进行调整。

8.虚拟现实画面调整装置，其特征在于，包括：

跟踪数据获取单元，用于获取虚拟现实设备的至少一个运动跟踪器的第一跟踪数据；

第一预测结果获取单元，用于将所述第一跟踪数据输入预先训练的半身姿态预测模型中进行预测，得到半身姿态预测结果；

第二预测结果获取单元，用于将所述半身姿态预测结果输入预先训练的全身姿态预测模型中进行预测，得到全身姿态预测结果；

全身姿态调整单元，用于根据所述全身姿态预测结果对虚拟现实画面下一帧的虚拟人物的全身姿态进行调整。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的虚拟现实画面调整方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的虚拟现实画面调整方法。