CN115641392A - 虚拟现实系统的数据处理方法、装置、服务器和介质 - Google Patents

Abstract

本申请实施例提供一种虚拟现实系统的数据处理方法、装置、服务器和介质，当移动式VR设备或者手持设备的传感器数据发生丢包或者延时时，服务器根据设备在前n个采集时刻的传感器数据，预测设备在当前采集时刻的传感器数据，进而根据预测得到的设备在当前采集时刻的传感器数据进行图像渲染处理。使用预测得到的传感器数据进行图像渲染等操作，使得服务器能够渲染出连续的纹理图像，包括视口位置变化的连续，以及图像中手持设备位置更新的连续，有效降低网络扰动造成的影响，有效提升用户的沉浸式体验感。

Description

虚拟现实系统的数据处理方法、装置、服务器和介质

技术领域

本申请实施例涉及服务器技术领域，尤其涉及一种虚拟现实系统的数据处理方法、装置、服务器和介质。

背景技术

虚拟现实(Virtual Reality，VR)技术是利用计算机模拟产生一个三维空间的虚拟环境，该虚拟环境能够逼真的模拟视觉、听觉、触觉等感知信息，用户与VR设备交互时，可以使用户产生身临其境的感受和体验。

VR系统通常包括头戴式设备、手持设备和服务器，以触觉反馈场景为例，现有技术的数据处理流程如下：手持设备将传感器数据发送给头戴式设备，头戴式设备将头戴式设备和手持设备的传感器数据同步处理后，打包一起发送给服务器进行VR图像的渲染，服务器将渲染后的图像和触觉反馈结果发送给头戴式设备，头戴式设备对接收到的图像根据延时和丢包情况进行异步时间扭曲(Asynchronous Timewarp，ATW)或异步空间扭曲(Asynchronous Spacewarp，ASW)的插帧处理，并将接收到的触觉反馈结果转发给手持设备进行触觉反馈，人眼在看到头戴式设备显示的图像画面后，作出人体机能的反馈，即手持设备和头戴式设备位置的变化。

但是，现有的方案，受网络延时和丢包影响，会出现画面、手持设备的震动反馈不连续等问题，尤其随着云渲染技术的发展，网络延时和丢包的情况会更加严重，其对用户体验的影响是不可忽视的。

发明内容

本申请实施例提供一种虚拟现实系统的数据处理方法、装置、服务器和介质，使得服务器能够渲染出连续的纹理图像，有效降低网络扰动造成的影响，有效提升用户的沉浸式体验感。

第一方面，本申请实施例提供一种虚拟现实系统的数据处理方法，应用于服务器，所述方法包括：

获取设备的传感器数据，所述设备包括移动式虚拟现实VR设备，或者，所述移动式VR设备和用于与所述移动式VR设备交互的手持设备；

当所述传感器数据发生丢包或者延时时，根据所述设备在前n个采集时刻的传感器数据，预测所述设备在当前采集时刻的传感器数据，n为大于或等于1的整数；

根据预测得到的所述设备在所述当前采集时刻的传感器数据进行图像渲染处理；

将渲染后的图像发送给所述移动式VR设备。

在一些实施例中，所述传感器数据包括设备的线性速度、线性加速度、角速度、角加速度、位置信息和朝向信息。

在一些实施例中，所述根据所述设备在前n个采集时刻的传感器数据，预测所述设备在当前采集时刻的传感器数据，包括：

根据所述设备在前n个采集时刻的线性速度、线性加速度、角速度、角加速度，确定所述设备在所述当前采集时刻的线性速度、线性加速度、角速度、角加速度；

根据所述设备在所述当前采集时刻的线性速度和线性加速度，计算所述设备从前一个采集时刻到所述当前采集时刻的位移量；

根据设备在前一个采集时刻的位置信息和所述位移量，得到所述设备在所述当前采集时刻的位置信息；

根据所述设备在所述当前采集时刻的角速度，计算所述设备从所述前一个采集时刻到所述当前采集时刻的旋转角度；

根据所述设备在所述前一个采集时刻的朝向信息和所述旋转角度，得到所述设备在所述当前采集时刻的朝向信息。

在一些实施例中，所述根据所述设备在前n个采集时刻的线性速度、线性加速度、角速度、角加速度，确定所述设备在当前采集时刻的线性速度、线性加速度、角速度、角加速度，包括：

确定所述设备在前一采集时刻的线性速度、线性加速度、角速度、角加速度为所述设备在当前采集时刻的线性速度、线性加速度、角速度、角加速度。

在一些实施例中，所述根据所述设备在前n个采集时刻的线性速度、线性加速度、角速度、角加速度，确定所述设备在当前采集时刻的线性速度、线性加速度、角速度、角加速度，包括：

确定所述设备在前n个采集时刻的线性速度的平均值或者加权平均值为所述设备在所述当前采集时刻的线性速度；

确定所述设备在前n个采集时刻的线性加速度的平均值或者加权平均值为所述设备在所述当前采集时刻的线性加速度；

确定所述设备在前n个采集时刻的角速度的平均值或者加权平均值为所述设备在所述当前采集时刻的角速度；

确定所述设备在前n个采集时刻的角加速度的平均值或者加权平均值为所述设备在所述当前采集时刻的角加速度。

在一些实施例中，所述根据所述设备在前n个采集时刻的线性速度、线性加速度、角速度、角加速度，确定所述设备在当前采集时刻的线性速度、线性加速度、角速度、角加速度，包括：

在所述设备在前一采集时刻的线性速度、线性加速度、角速度、角加速度的基础上，乘以预设调整因子得到所述设备在当前采集时刻的线性速度、线性加速度、角速度、角加速度。

在一些实施例中，所述朝向信息为四元数，所述旋转角度为欧拉角；

所述根据所述设备在所述前一个采集时刻的朝向信息和所述旋转角度，得到所述设备在所述当前采集时刻的朝向信息，包括：

将所述旋转角度转换为四元数；

根据所述设备在所述前一个采集时刻的朝向信息和转换得到的四元数，得到设备在所述当前采集时刻的朝向信息。

在一些实施例中，所述获取设备的传感器数据，包括：

接收所述移动式VR设备同步并打包发送的所述移动式VR设备的传感器数据和所述手持设备的传感器数据。

在一些实施例中，所述方法还包括：

根据预测得到的所述设备在所述当前采集时刻的传感器数据，确定所述手持设备的触觉反馈结果；

将所述触觉反馈结果发送给所述移动式VR设备。

在一些实施例中，所述服务器为云端服务器，所述移动式VR设备为头戴式设备。

另一方面，本申请实施例提供一种虚拟现实系统的数据处理装置，所述装置包括：

获取模块，用于获取设备的传感器数据，所述设备包括移动式虚拟现实VR设备，或者，所述移动式VR设备和用于与所述移动式VR设备交互的手持设备；

预测模块，用于当所述传感器数据发生丢包或者延时时，根据所述设备在前n个采集时刻的传感器数据，预测所述设备在当前采集时刻的传感器数据，n为大于或等于1的整数；

渲染模块，用于根据预测得到的所述设备在所述当前采集时刻的传感器数据进行图像渲染处理；

发送模块，用于将渲染后的图像发送给所述移动式VR设备。

另一方面，本申请实施例提供一种服务器，所述服务器包括：处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，以执行如上述任一项所述的方法。

另一方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序使得计算机执行如上述任一项所述的方法。

另一方面，本申请实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的方法。

本申请实施例提供的虚拟现实系统的数据处理方法、装置、服务器和介质，当移动式VR设备或者手持设备的传感器数据发生丢包或者延时时，服务器根据设备在前n个采集时刻的传感器数据，预测设备在当前采集时刻的传感器数据，进而根据预测得到的设备在当前采集时刻的传感器数据进行图像渲染处理。使用预测得到的传感器数据进行图像渲染等操作，使得服务器能够渲染出连续的纹理图像，包括视口位置变化的连续，以及图像中手持设备位置更新的连续，有效降低网络扰动造成的影响，有效提升用户的沉浸式体验感。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例适用的一种虚拟现实系统的结构示意图；

图2为虚拟现实与触觉反馈的数据流关系图；

图3为现有的虚拟现实系统中数据处理的流程示意图；

图4为本申请实施例提供的虚拟现实系统中数据处理的流程示意图；

图5是本申请实施例一提供的虚拟现实系统的数据处理方法的流程；

图6为本申请实施例二提供的虚拟现实系统的数据处理方法的信令流程图；

图7为本申请实施例三提供的虚拟现实系统的数据处理装置的结构示意图；

图8为本申请实施例四提供的服务器的一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了便于理解本申请实施例，在描述本申请各个实施例之前，首先对本申请所有实施例中所涉及到的一些概念进行适当的解释说明，具体如下：

1)虚拟现实(Virtual Reality，简称为VR)，创建和体验虚拟世界的技术，确定生成一种虚拟环境，是一种多源信息(本文中提到的虚拟现实至少包括视觉感知，此外还可以包括听觉感知、触觉感知、运动感知，甚至还包括味觉感知、嗅觉感知等)，实现虚拟环境的融合的、交互式的三维动态视景和实体行为的仿真，使用户沉浸到模拟的虚拟现实环境中，实现在诸如地图、游戏、视频、教育、医疗、模拟、协同训练、销售、协助制造、维护和修复等多种虚拟环境的应用。

2)虚拟现实设备(VR设备)，实现虚拟现实效果的终端，通常可以提供为眼镜、头盔式显示器(Head Mount Display，简称为HMD)、隐形眼镜的形态，以用于实现视觉感知和其他形式的感知，当然虚拟现实设备实现的形态不限于此，根据实际需要可以进一步小型化或大型化。

可选的，本申请实施例中记载的虚拟现实设备可以包括但不限于如下几个类型：

2.1)移动虚拟现实设备，支持以各种方式(如设置有专门的卡槽的头戴式显示器)设置移动终端(如智能手机)，通过与移动终端有线或无线方式的连接，由移动终端进行虚拟现实功能的相关计算，并输出数据至移动虚拟现实设备，例如通过移动终端的APP观看虚拟现实视频。

2.2)一体机虚拟现实设备，具备用于进行虚拟功能的相关计算的处理器，因而具备独立的虚拟现实输入和输出的功能，不需要与PC端或移动终端连接，使用自由度高。

3)混合现实(Mixed Reality，简称为MR)：是指结合真实和虚拟世界创造了新的环境和可视化，物理实体和数字对象共存并能实时相互作用，用以模拟真实物体。混合了现实、增强现实、增强虚拟和虚拟现实技术。MR是一种虚拟现实(VR)加增强现实(AR)的合成品混合现实(MR)，是虚拟现实(VR)技术的拓展延伸，通过在现实场景中呈现虚拟场景的方式，可以增加用户体验的真实感。MR领域涉及计算机视觉，计算机视觉是一门研究如何使机器“看”的科学，更进一步的，是指摄像机和计算机代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图像处理，用计算机处理成为更适合人眼观察或传送给仪器检测的图像。

也即是说，MR是将计算机创建的感官输入(例如，虚拟对象)与来自物理布景的感官输入或其表示集成的模拟布景，一些MR布景中，计算机创建的感官输入可以适应于来自物理布景的感官输入的变化。另外，用于呈现MR布景的一些电子系统可以监测相对于物理布景的取向和/或位置，以使虚拟对象能够与真实对象(即来自物理布景的物理元素或其表示)交互。例如，系统可监测运动，使得虚拟植物相对于物理建筑物看起来是静止的。

图1为本申请实施例适用的一种虚拟现实系统的结构示意图，如图1所示，该虚拟现实系统包括：移动式VR设备11、手持设备12和服务器13，手持设备12用于辅助用户和移动式VR设备11进行交互。

移动式VR设备11可以为头戴式设备(即HMD)或者眼镜，可以跟随用户移动。移动式VR设备11可以采用VR、AR或者MR技术向用户提供虚拟场景。

本实施例中，移动式VR设备11主要用于进行自身位置信息和朝向信息的测量、手持设备12的数据转发和图像显示功能，图像的渲染和反馈数据处理等在服务器端实现。

相应的，移动式VR设备11包括至少一个传感器，用户获取移动式VR设备11的位置信息和朝向信息。该至少一个传感器包括但不限于：加速度计、陀螺仪、惯性测量单元(Inertial Measurement Unit，IMU)罗盘传感器或者地磁传感器。传感器按照预设的采集频率采集数据，传感器的采集频率满足需求即可，例如，采集频率为400Hz以上。

手持设备12可以为手套、游戏手柄、手握式控制器等，用于实现用户与虚拟环境的交互，例如，操控虚拟环境中的虚拟对象运动、进行触觉(即力)反馈。

手持设备12也具有至少一个传感器，用于测量手持设备12的位置信息和朝向信息，该至少一个传感器包括但不限于：加速度计、陀螺仪、IMU、罗盘传感器或者地磁传感器，传感器按照预设的采集频率采集数据，并发送给移动式VR设备11。

可选的，手持设备12还可以用于触发反馈，手持设备12通过震动、挤压等方式将力作用于用户。

虚拟现实系统通过结合位置追踪、手持控制器和触觉反馈技术，实现了触觉交互性。图2为虚拟现实与触觉反馈的数据流关系图，如图2所示，由虚拟现实引擎向力反馈设备(如游戏手柄、手套等)输出矢量力参数，力反馈设备进行震动等动作响应，力反馈设备再返回更新后的位置信息等参数给虚拟现实引擎，该虚拟现实引擎可以位于服务器中。

服务器13包括虚拟现实引擎，用于进行图像渲染处理和控制逻辑处理等。服务器13可以为云端服务器或者本地服务器，本地服务器可以是本地PC。云端服务器用于进行云渲染，云渲染是渲染技术的未来趋势，正在逐步面向普通用户，例如，云渲染应用在云游戏中。本地服务器用于在本地进行渲染，相对于云渲染，本地化渲染的网络延时小，丢包率低。控制逻辑处理用于处理VR设备的各种反馈数据，包括但不限于触觉反馈数据的处理。

具体的，服务器13接收移动式VR设备11、手持设备12发送的传感器数据，并作用于虚拟环境，如跟随用户的视线而不断更新移动式VR设备11的显示屏上显示的影像，实现用户与虚拟和场景的交互，例如基于检测到的用户头部的转动方向来不断更新虚拟现实内容；对传感器和各种输入/输出装置进行控制，包括获得用户的数据(如动作、语音)和输出感知数据，如图像、振动、温度和声音等，对用户、虚拟环境和现实世界产生作用；构造虚拟环境的三维模型，还可以包括三维模型中的声音、触感等各种反馈机制。

图3为现有的虚拟现实系统中数据处理的流程示意图，手柄主要用于进行触控操作和触感反馈，头戴式设备主要用于进行手柄数据转发和图像显示，云端服务器或本地PC用于进行图像数据渲染和触感震动信息发出。

如图3所示，其数据处理流程主要包括以下几个方面：

(1)手柄将手柄的传感器数据发送给头戴式设备。

(2)头戴式设备将头戴式设备和手柄的传感器数据同步处理后，打包一起发送给云端服务器或本地PC进行VR图像的渲染。

(3)云端服务器或本地PC将渲染后的图像和触觉反馈结果发送给头戴式设备。

(4)头戴式设备对接收到的图像根据延时和丢包情况进行ATW或ASW的插帧处理。

(5)头戴式设备对接收到的触觉反馈结果进行转发，转发给手柄进行具体的触觉反馈。

(6)人眼在看到头戴式设备显示出来的图像画面后，作出人体机能的反馈，即，手柄位置和头戴位置的变化。

从现有方案可以看出，受网络延时和丢包影响，在头戴式设备端对于图像数据进行了必要的优化补充，即，采用ATW和ASW预测图像的运动变化，及时进行补帧和插帧处理，从而避免头戴式设备的画面出现“黑边”(延时造成)、“抖动”(丢包导致)等影响用户沉浸式虚拟现实体验的情况。

但是，现有方案对头戴式设备和手柄的传感器数据的延时和丢包没有进行处理。虚拟现实引擎基于头戴和手柄的传感器数据进行图像渲染，如果发送给云端服务器或本地PC的头戴和手柄的传感器数据出现了丢包或延时，那么送入虚拟现实引擎的传感器数据发生了不连续的情况，虚拟现实引擎将无法对当前帧进行图像渲染，从而会导致以下问题：(1)虚拟现实引擎无法实时根据头戴和手柄的传感器数据渲染出连续的视口图像，例如，头戴画面卡顿(头戴的传感器数据断续导致)；(2)手柄本该发生的触感(例如，震动)没有产生或出现了触感或手柄位置更新的间断、不连续(手柄传感器数据断续导致)；(3)影响用户虚拟现实沉浸感。

另外，随着云渲染的发展，网络延时和丢包的情况更严重，其对用户体验的影响是不可忽视的。且对于虚拟现实类游戏场景而言，除了视觉和听觉，各大厂家都日渐投入更多的资源到“触觉”领域，进而从另一个维度提升虚拟现实的沉浸感和真实感，因此，对于触控端的数据优化是不可或缺的。

为了解决现有技术的问题，本申请实施例提供一种虚拟现实系统的数据处理方法，图4为本申请实施例提供的虚拟现实系统中数据处理的流程示意图，参考图3和图4，本申请的方案云端服务器或本地PC进行图像渲染之前，判断头戴式设备和手柄的传感器数据是否发生延时或者丢包，如果头戴式设备和手柄的传感器数据没有发生延时或者丢包，则按照现有的流程进行处理。如果头戴式设备和手柄的传感器数据发生了延时或者丢包，则根据前一个或者多个采集时刻采集到的传感器数据，预测头戴式设备和手柄在当前采集时刻的传感器数据，使得送入虚拟现实引擎的传感器数据保持连续，从而能够渲染出连续的图像，包括视口位置变化的连续，以及图像中手柄位置更新的连续。

使用预测得到的头戴式设备和手柄在当前采集时刻的传感器数据，进行图像渲染和触感反馈逻辑处理，得到更新后的触觉反馈结果。可以降低受网络扰动造成的传感器数据不连续的影响，能够使渲染得到的图像更平滑、手柄的震动反馈不会缺失。

下面结合附图对本申请实施例提供的虚拟现实系统的数据处理方法进行具体说明。

图5是本申请实施例一提供的虚拟现实系统的数据处理方法的流程。可以应用于图1所示的虚拟现实系统，本实施例从服务器的角度描述该数据处理方法，参考图1、图2、图4和图5，本实施例的虚拟现实系统的数据处理方法包括如下步骤。

S101、获取设备的传感器数据，该设备包括移动式VR设备，或者移动式VR设备和用于与移动式VR设备交互的手持设备。

用户通常通过以下方式中一个或者多个与移动式VR设备交互：手持设备(比如手柄或者手部控制器等)、手势操作、语音方式或者凝视控制，本申请实施例对此不做具体限制。

可以理解，当移动式VR设备不采用手持设备交互时，例如，用户采用手势、语音或者凝视与移动式VR设备进行交互，则服务器不会获取手持设备的传感器数据，只获取移动式VR设备的传感器数据。

当移动式VR设备采用手持设备交互时，手持设备可以将采集到的传感器数据发送给移动式VR设备，移动式VR设备将自身采集到的移动式VR设备的传感器数据和手持设备的传感器数据进行数据同步后，打包发送给服务器。

示例性的，传感器数据包括但不限于：设备的线性速度、线性加速度、角速度、角加速度、位置信息和朝向信息。其中，线性速度和线性加速度可以为三轴线性速度和三轴线性加速度，角速度和角加速度可以为三轴角速度和三轴角加速度，位置信息可以是一个三维坐标，朝向信息可以是一个四元数，也可以是欧拉角等。

以传感器包括IMU为例，IMU是一种很常见的惯性传感器，IMU测量得到传感器数据可以称为惯性数据，该惯性数据可以包括三轴加速度(acceleration)，以及传感器内部解算的三轴朝向(orientation)的数据，其中，朝向可以以四元数表示。

服务器中的虚拟现实引擎和头戴式设备之间通常会定义传感器数据的透传格式，可以理解，不同类型的虚拟现实引擎或者头戴式设备之间定义的数据透传格式不同。

以虚拟现实引擎采用SteamVR平台为例，其对外提供Openvr接口，用于接收头戴式设备发送的传感器数据，通过该传感器数据实时渲染出与用户当前姿态对应的图像纹理。

Openvr接口会获取到TransQuaternion rotation(朝向信息)、TransVector3position(位置信息)、TransVector3 linearVelocity(三轴线性速度)、TransVector3linearAcceleration(三轴线性加速度)、TransVector3 angularVelocity(三轴角速度)、TransVector3 angularAcceleration(三轴角加速度)。

其中，TransVector3 rotation就是一个四元数的数据，TransVector3 position是一个三维坐标数据，同理，三轴线性速度、三轴线性加速度、三轴角速度和三轴角加速度都是使用三维坐标数据表示的传感器数据。

S102、当传感器数据发生丢包或者延时时，根据设备在前n个采集时刻的传感器数据和位姿信息，预测设备在当前采集时刻的位姿信息。

传感器按照预设频率进行数据采集，传感器数据中包括数据的时间戳，该时间戳可以是数据的采集时间，服务器接收到传感器数据后，根据传感器数据中的时间戳判断是否发生了延迟和丢包。

当传感器数据发生没有丢包或者延时时，根据传感器数据进行图像渲染以及其他处理。当出现了网络延时或者丢包的情况，那么送入虚拟现实引擎(例如，SteamVR)的传感器数据就发生了不连续的情况，这样会直接导致从虚拟现实引擎渲染出的图像发生不连续的情况，例如，头戴式设备画面卡顿(头戴式设备的传感器数据断续导致)，图像中的手柄位置跳跃卡顿(手柄的传感器数据断续导致)。

示例性的，服务器根据设备在前n个采集时刻的线性速度、线性加速度、角速度、角加速度，确定设备在当前采集时刻的线性速度、线性加速度、角速度、角加速度，n为大于或等于1的整数。进而根据设备在当前采集时刻的线性速度和线性加速度，计算设备从前一个采集时刻到当前采集时刻的位移量，根据设备在前一个采集时刻的位置信息和位移量，得到设备在当前采集时刻的位置信息。以及根据设备在当前采集时刻的角速度，计算设备从前一个采集时刻到当前采集时刻的旋转角度，根据设备在前一个采集时刻的朝向信息和旋转角度，得到设备在当前采集时刻的朝向信息。

可选的，可以通过如下三种方式预测设备在当前采集时刻的线性速度、线性加速度、角速度、角加速度。

实现方式一，确定设备在前一采集时刻的线性速度、线性加速度、角速度、角加速度为设备在当前采集时刻的线性速度、线性加速度、角速度、角加速度。

即设备在当前采集时刻的线性速度、线性加速度、角速度、角加速度与前一采集时刻保持一致。

实现方式二，确定设备在前n个采集时刻的线性速度的平均值或者加权平均值为设备在当前采集时刻的线性速度；确定设备在前n个采集时刻的线性加速度的平均值或者加权平均值为设备在当前采集时刻的线性加速度；确定设备在前n个采集时刻的角速度的平均值或者加权平均值为设备在当前采集时刻的角速度；确定设备在前n个采集时刻的角加速度的平均值或者加权平均值为设备在所述当前采集时刻的角加速度。

示例性的，n的取值为3，即服务器根据当前采集时刻之前的三个采集时刻的线性速度、线性加速度、角速度、角加速度，计算平均值或者加权平均值，得到设备在当前采集时刻的线性速度、线性加速度、角速度、角加速度。加权平均值的加权因子可以预先设置好。

实现方式三，在设备在前一采集时刻的线性速度、线性加速度、角速度、角加速度的基础上，乘以预设调整因子得到设备在当前采集时刻的线性速度、线性加速度、角速度、角加速度。

示例性的，该预设调整因子为0.8、0.9或者1.1等，可选的，线性速度、线性加速度、角速度、角加速度各自对应的调整因子可以相同，也可以不同，本实施例不对此进行限制。

在确定设备在当前采集时刻的下线速度和线性加速度之后，可以采用如下距离公式计算设备从前一个采集时刻到所当前采集时刻的位移量：S＝V₀t+1/2at2，其中，V₀表示设备在当前采集时刻的线性速度，a表示设备在当前采集时刻的线性加速度，t表示当前帧率下的系统时间间隔，S表示位移距离。

通过上述距离公式计算得到设备从前一个采集时刻到当前采集时刻的位移量，该位移量是指设备在x、y、z三轴的数据增量，即移动距离，进一步的，在设备在前一个采集时刻的位置信息的基础上，加上该位移量，得到设备在当前采集时刻的位置信息。

在确定设备在当前采集时刻的角速度后，可以采用如下公式计算设备从前一个采集时刻到当前采集时刻的旋转角度：角速度＝旋转角度/t，其中，角速度是指设备在当前采集时刻的角速度，旋转角度是指设备从前一个采集时刻到当前采集时刻的旋转角度，t表示当前帧率下的系统时间间隔。

在3D图形学中，最常用的旋转表示方法便是四元数和欧拉角，比起矩阵来具有节省存储空间和方便插值的优点。

可选的，该旋转角度为欧拉角，朝向信息为四元数，则需要将旋转角度转换为四元数，根据设备在前一个采集时刻的朝向信息和转换得到的四元数，得到设备在当前采集时刻的朝向信息。

欧拉角是用来唯一地确定定点转动刚体位置的三个一组独立角参量，由章动角θ、进动角ψ和自转角φ组成。欧拉角和四元素之间可以互相转换，示例性的，可以通过如下公式实现欧拉角和四元数的转换：

其中，θ，ψ，φ分别为绕Z轴、Y轴、X轴的旋转角度，如果用Tait-Bryan angle表示，分别为偏航角(Yaw)，横滚角(Roll)，俯仰角(Pitch)，q0,q1,q2,q3为四元数，分别对应朝向信息(Trans Quaternion rotation)中的x，y，z，w。

需要说明的是，当设备包括移动式VR设备和手持设备时，在预测移动式VR设备和手持设备在当前采集时刻的传感器数据的数据时，移动式VR设备和手持设备的传感器数据各自独立预测。

S103、根据预测得到的设备在当前采集时刻的传感器数据进行图像渲染处理。

服务器根据预测得到的设备在当前采集时刻的传感器数据，对传感器数据进行更新，使用更新后的传感器数据进行图像渲染。以SteamVR为例，SteamVR调用Openvr的接口实现更新后的传感器数据导入。

本实施例中，在移动式VR设备和手持设备的传感器数据发生延时或者丢包时，通过移动式VR设备和手持设备的前n个采集时刻的传感器数据，预测移动式VR设备和手持设备的前n个采集时刻的传感器数据，使用预测得到的传感器数据进行图像渲染等操作，使得虚拟现实引擎能够渲染出连续的纹理图像(包括视口位置变化的连续，以及图像中手持设备位置更新的连续)，有效降低网络扰动造成的影响，有效提升用户的沉浸式体验感。

另外，本实施例的方法使用一维的传感器数据进行处理，而非使用机器视觉等图像类的算法(二维图像计算，甚至三维纹理推算)，实现的是对三维坐标数据拆解，x,y,z轴拆分计算，相对于二维甚至三维计算而言，处理逻辑更为简单，无需额外的图像采集和图像识别系统辅助，而且更高效。

S104、将渲染后的图像发送给移动式VR设备。

可选的，服务器还根据预测得到的设备在当前采集时刻的传感器数据，确定手持设备的触觉反馈结果，将触觉反馈结果发送给移动式VR设备。服务器可以将触觉反馈结果和渲染后的图像打包发送给移动式VR设备。

移动式VR设备对接收到的图像根据延时和丢包情况进行ATW或ASW的插帧处理，并对接收到的触觉反馈结果进行转发，转发给手持设备进行具体的触觉反馈。人眼在看到移动式VR设备显示出来的图像画面后，作出人体机能的反馈。

本实施例的方法，当移动式VR设备或者手持设备的传感器数据发生丢包或者延时时，服务器根据设备在前n个采集时刻的传感器数据，预测设备在当前采集时刻的传感器数据，进而根据预测得到的设备在所述当前采集时刻的传感器数据进行图像渲染处理。使用预测得到的传感器数据进行图像渲染等操作，使得服务器能够渲染出连续的纹理图像，包括视口位置变化的连续，以及图像中手持设备位置更新的连续，有效降低网络扰动造成的影响，有效提升用户的沉浸式体验感。

在实施例一的基础上，本申请实施例二从系统的角度详细描述服务器、移动式VR设备和手持设备的交互过程，本实施例以服务器为云端服务器、移动式VR设备为头戴式设备、手持设备为手柄为例进行说明，相同内容参照前述实施例的描述，本实施例不再重复说明，图6为本申请实施例二提供的虚拟现实系统的数据处理方法的信令流程图，如图6所示，本实施例提供的方法包括以下步骤。

S201、手柄向头戴式设备发送手柄的传感器数据。

手柄按照预设的采集频率采集手柄的传感器数据，并发送给头戴式设备，手柄将传感器数据通过网络传输协议或者私有协议传输给头戴式设备。

S202、头戴式设备将手柄的传感器数据和头戴式设备的传感器数据进行同步以及打包。

头戴式设备按照预设的采集频率采集头戴式设备的传感器数据，并将自己的传感器数据和手柄的传感器数据进行同步，同步完成后将手柄的传感器数据和头戴式设备的传感器数据打包发送给云端服务器。

可选的，在一些实施例中，也可以由云端服务器对手柄的传感器数据和头戴式设备的传感器数据进行同步，相应的，头戴式设备接收到手柄的传感器数据后，不需要进行同步，可以直接将手柄的传感器数据转发给云端服务器。

S203、头戴式设备向云端服务器发送手柄和头戴式设备的传感器数据。

S204、云端服务器判断传感器数据是否发生延时或者丢包。

头戴式设备与云端服务器通过网络通信协议进行数据交互，受网络环境影响，不可避免的会出现网络延时或者丢包的情况，这对云端渲染、云游戏的方案影响更明显。

当传感器数据发生延时或者丢包时，执行步骤S205，当传感器数据没有发生延时或者丢包时，执行步骤S206。

S205、云端服务器根据前n个采集时刻的传感器数据，预测当前采集时刻的传感器数据。

本步骤的具体实现方式参照实施例一的描述，这里不再赘述。

S206、云端服务器根据当前采集时刻的传感器数据进行图像渲染和触控逻辑处理。

S207、云端服务器将渲染后的图像和触觉反馈结果打包发送给头戴式设备。

S208、头戴式设备判断渲染后的图像是否发生延时或者丢包。

当渲染后的图像发生延时或者丢包时，执行步骤S209，当渲染后的图像没有发生延时或者丢包，头戴式设备通过显示屏显示渲染后的图像(图中未示出)。

S209、头戴式设备使用ATW或者ASW对图像进行插帧处理，通过显示屏现实插帧处理后的图像。

人眼在看到头戴式设备显示出来的图像画面后，作出人体机能的反馈，例如转头、操控手柄等。

S210、头戴式设备将触觉反馈结果转发给手柄。

S211、手柄根据触觉反馈结果控制反馈力的大小或者手柄位置移动。

本实施例的方法，云端服务器根据前n个采集时刻头戴式设备和手柄的传感器数据，计算并预测出当前采集时刻的头戴式设备和手柄的传感器数据，并将该预测出的头戴式设备和手柄的传感器数据导入虚拟现实引擎，使得虚拟现实引擎能够渲染出连续的纹理图像，有效降低网络扰动造成的影响，有效提升用户的沉浸式体验感。

为便于更好的实施本申请实施例的虚拟现实系统的数据处理方法，本申请实施例还提供一种虚拟现实系统的数据处理装置。图7为本申请实施例三提供的虚拟现实系统的数据处理装置的结构示意图，如图7所示，该虚拟现实系统的数据处理装置200可以包括：

获取模块21，用于获取设备的传感器数据，所述设备包括移动式虚拟现实VR设备，或者，所述移动式VR设备和用于与所述移动式VR设备交互的手持设备；

预测模块22，用于当所述传感器数据发生丢包或者延时时，根据所述设备在前n个采集时刻的传感器数据，预测所述设备在当前采集时刻的传感器数据，n为大于或等于1的整数；

渲染模块23，用于根据预测得到的所述设备在所述当前采集时刻的传感器数据进行图像渲染处理；

发送模块24，用于将渲染后的图像发送给所述移动式VR设备。

在一些实施例中，所述传感器数据包括设备的线性速度、线性加速度、角速度、角加速度、位置信息和朝向信息。

在一些实施例中，所述预测模块22具体用于：

根据所述设备在前n个采集时刻的线性速度、线性加速度、角速度、角加速度，确定所述设备在所述当前采集时刻的线性速度、线性加速度、角速度、角加速度；

根据所述设备在所述当前采集时刻的线性速度和线性加速度，计算所述设备从前一个采集时刻到所述当前采集时刻的位移量；

根据设备在前一个采集时刻的位置信息和所述位移量，得到所述设备在所述当前采集时刻的位置信息；

根据所述设备在所述当前采集时刻的角速度，计算所述设备从所述前一个采集时刻到所述当前采集时刻的旋转角度；

根据所述设备在所述前一个采集时刻的朝向信息和所述旋转角度，得到所述设备在所述当前采集时刻的朝向信息。

在一些实施例中，所述预测模块22具体用于：

确定所述设备在前一采集时刻的线性速度、线性加速度、角速度、角加速度为所述设备在当前采集时刻的线性速度、线性加速度、角速度、角加速度。

在一些实施例中，所述预测模块22具体用于：

确定所述设备在前n个采集时刻的线性速度的平均值或者加权平均值为所述设备在所述当前采集时刻的线性速度；

确定所述设备在前n个采集时刻的线性加速度的平均值或者加权平均值为所述设备在所述当前采集时刻的线性加速度；

确定所述设备在前n个采集时刻的角速度的平均值或者加权平均值为所述设备在所述当前采集时刻的角速度；

确定所述设备在前n个采集时刻的角加速度的平均值或者加权平均值为所述设备在所述当前采集时刻的角加速度。

在一些实施例中，所述预测模块22具体用于：

在所述设备在前一采集时刻的线性速度、线性加速度、角速度、角加速度的基础上，乘以预设调整因子得到所述设备在当前采集时刻的线性速度、线性加速度、角速度、角加速度。

在一些实施例中，所述朝向信息为四元数，所述旋转角度为欧拉角；

所述预测模块22具体用于：

将所述旋转角度转换为四元数；

根据所述设备在所述前一个采集时刻的朝向信息和转换得到的四元数，得到设备在所述当前采集时刻的朝向信息。

在一些实施例中，所述获取模块21具体用于：

接收所述移动式VR设备同步并打包发送的所述移动式VR设备的传感器数据和所述手持设备的传感器数据。

在一些实施例中，还包括处理模块，用于：

根据预测得到的所述设备在所述当前采集时刻的传感器数据，确定所述手持设备的触觉反馈结果；

所述发送模块24还用于：将所述触觉反馈结果发送给所述移动式VR设备。

在一些实施例中，所述服务器为云端服务器，所述移动式VR设备为头戴式设备。

应理解的是，装置实施例与方法实施例可以相互对应，类似的描述可以参照方法实施例。为避免重复，此处不再赘述。

上文中结合附图从功能模块的角度描述了本申请实施例的装置200。应理解，该功能模块可以通过硬件形式实现，也可以通过软件形式的指令实现，还可以通过硬件和软件模块组合实现。具体地，本申请实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成，结合本申请实施例公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。可选地，软件模块可以位于随机存储器，闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法实施例中的步骤。

本申请实施例还提供一种服务器。图8为本申请实施例四提供的服务器的一种结构示意图，如图8所示，该服务器300可以包括：

存储器31和处理器32，该存储器31用于存储计算机程序，并将该程序代码传输给该处理器32。换言之，该处理器32可以从存储器31中调用并运行计算机程序，以实现本申请实施例中的方法。

例如，该处理器32可用于根据该计算机程序中的指令执行上述方法实施例。

在本申请的一些实施例中，该处理器32可以包括但不限于：

通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。

在本申请的一些实施例中，该存储器31包括但不限于：

易失性存储器和/或非易失性存储器。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)。

在本申请的一些实施例中，该计算机程序可以被分割成一个或多个模块，该一个或者多个模块被存储在该存储器31中，并由该处理器32执行，以完成本申请提供的方法。该一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述该计算机程序在服务器中的执行过程。

如图8所示，该服务器还可包括：收发器33，该收发器33可连接至该处理器32或存储器31。

其中，处理器32可以控制该收发器33与其他设备进行通信，具体地，可以向其他设备发送信息或数据，或接收其他设备发送的信息或数据。收发器33可以包括发射机和接收机。收发器33还可以进一步包括天线，天线的数量可以为一个或多个。

可以理解，虽然图8中未示出，该服务器300还可以包括摄像头模组、无线保真WIFI模块、定位模块、蓝牙模块、显示器、控制器等，在此不再赘述。

应当理解，该服务器中的各个组件通过总线系统相连，其中，总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。

本申请还提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得该计算机能够执行上述方法实施例的方法。或者说，本申请实施例还提供一种包含指令的计算机程序产品，该指令被计算机执行时使得计算机执行上述方法实施例的方法。

本申请还提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中。服务器的处理器从计算机可读存储介质读取该计算机程序，处理器执行该计算机程序，使得服务器执行本申请实施例中的虚拟场景中用户位置的控制方法中的相应流程，为了简洁，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，该模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。例如，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。

以上该，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以该权利要求的保护范围为准。

Claims (14)

1.一种虚拟现实系统的数据处理方法，其特征在于，应用于服务器，所述方法包括：

获取设备的传感器数据，所述设备包括移动式虚拟现实VR设备，或者，所述移动式VR设备和用于与所述移动式VR设备交互的手持设备；

当所述传感器数据发生丢包或者延时时，根据所述设备在前n个采集时刻的传感器数据，预测所述设备在当前采集时刻的传感器数据，n为大于或等于1的整数；

根据预测得到的所述设备在所述当前采集时刻的传感器数据进行图像渲染处理；

将渲染后的图像发送给所述移动式VR设备。

2.根据权利要求1所述的方法，其特征在于，所述传感器数据包括设备的线性速度、线性加速度、角速度、角加速度、位置信息和朝向信息。

3.根据权利要求2所述的方法，其特征在于，所述根据所述设备在前n个采集时刻的传感器数据，预测所述设备在当前采集时刻的传感器数据，包括：

根据所述设备在前n个采集时刻的线性速度、线性加速度、角速度、角加速度，确定所述设备在所述当前采集时刻的线性速度、线性加速度、角速度、角加速度；

根据所述设备在所述当前采集时刻的线性速度和线性加速度，计算所述设备从前一个采集时刻到所述当前采集时刻的位移量；

根据设备在前一个采集时刻的位置信息和所述位移量，得到所述设备在所述当前采集时刻的位置信息；

根据所述设备在所述当前采集时刻的角速度，计算所述设备从所述前一个采集时刻到所述当前采集时刻的旋转角度；

根据所述设备在所述前一个采集时刻的朝向信息和所述旋转角度，得到所述设备在所述当前采集时刻的朝向信息。

4.根据权利要求3所述的方法，其特征在于，所述根据所述设备在前n个采集时刻的线性速度、线性加速度、角速度、角加速度，确定所述设备在当前采集时刻的线性速度、线性加速度、角速度、角加速度，包括：

确定所述设备在前一采集时刻的线性速度、线性加速度、角速度、角加速度为所述设备在当前采集时刻的线性速度、线性加速度、角速度、角加速度。

5.根据权利要求3所述的方法，其特征在于，所述根据所述设备在前n个采集时刻的线性速度、线性加速度、角速度、角加速度，确定所述设备在当前采集时刻的线性速度、线性加速度、角速度、角加速度，包括：

确定所述设备在前n个采集时刻的线性速度的平均值或者加权平均值为所述设备在所述当前采集时刻的线性速度；

确定所述设备在前n个采集时刻的线性加速度的平均值或者加权平均值为所述设备在所述当前采集时刻的线性加速度；

确定所述设备在前n个采集时刻的角速度的平均值或者加权平均值为所述设备在所述当前采集时刻的角速度；

确定所述设备在前n个采集时刻的角加速度的平均值或者加权平均值为所述设备在所述当前采集时刻的角加速度。

6.根据权利要求3所述的方法，其特征在于，所述根据所述设备在前n个采集时刻的线性速度、线性加速度、角速度、角加速度，确定所述设备在当前采集时刻的线性速度、线性加速度、角速度、角加速度，包括：

在所述设备在前一采集时刻的线性速度、线性加速度、角速度、角加速度的基础上，乘以预设调整因子得到所述设备在当前采集时刻的线性速度、线性加速度、角速度、角加速度。

7.根据权利要求3所述的方法，其特征在于，所述朝向信息为四元数，所述旋转角度为欧拉角；

所述根据所述设备在所述前一个采集时刻的朝向信息和所述旋转角度，得到所述设备在所述当前采集时刻的朝向信息，包括：

将所述旋转角度转换为四元数；

根据所述设备在所述前一个采集时刻的朝向信息和转换得到的四元数，得到设备在所述当前采集时刻的朝向信息。

8.根据权利要求1-7任一项所述的方法，其特征在于，所述获取设备的传感器数据，包括：

接收所述移动式VR设备同步并打包发送的所述移动式VR设备的传感器数据和所述手持设备的传感器数据。

9.根据权利要求1-7任一项所述的方法，其特征在于，还包括：

根据预测得到的所述设备在所述当前采集时刻的传感器数据，确定所述手持设备的触觉反馈结果；

将所述触觉反馈结果发送给所述移动式VR设备。

10.根据权利要求1-7任一项所述的方法，其特征在于，所述服务器为云端服务器，所述移动式VR设备为头戴式设备。

11.一种虚拟现实系统的数据处理装置，其特征在于，所述装置包括：

获取模块，用于获取设备的传感器数据，所述设备包括移动式虚拟现实VR设备，或者，所述移动式VR设备和用于与所述移动式VR设备交互的手持设备；

预测模块，用于当所述传感器数据发生丢包或者延时时，根据所述设备在前n个采集时刻的传感器数据，预测所述设备在当前采集时刻的传感器数据，n为大于或等于1的整数；

渲染模块，用于根据预测得到的所述设备在所述当前采集时刻的传感器数据进行图像渲染处理；

发送模块，用于将渲染后的图像发送给所述移动式VR设备。

12.一种服务器，其特征在于，包括：

处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，以执行权利要求1至10中任一项所述的方法。

13.一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序使得计算机执行如权利要求1至10中任一项所述的方法。

14.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至10中任一项所述的方法。

Images