CN108762492B - 基于虚拟场景实现信息处理的方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种基于虚拟场景实现信息处理的方法、装置、设备及存储介质，所述方法包括：检测用户运动过程中所述用户在所述虚拟场景中的世界坐标系中对应的坐标信息；确定与所述虚拟场景独立显示的目标图像，以及以所述目标图像的图像中心为原点建立的图像坐标系；将所述坐标信息从所述世界坐标系映射到所述图像坐标系中，获得映射坐标；确定所述映射坐标在所述目标图像中对应的目标像素点；基于所述用户运动过程中对应的多个目标像素点，在所述目标图像中绘制运动轨迹。本申请实施例获得完整运动轨迹的同时降低设备处理负担。

Description

基于虚拟场景实现信息处理的方法、装置、设备及存储介质

技术领域

本申请实施例涉及计算机网络技术领域，具体地说，涉及一种基于虚拟场景实现信息处理的方法、装置、设备及存储介质。

背景技术

VR(Virtual Reality，虚拟现实)设备是一种采用VR技术输出内容为用户构建虚拟场景，以产生虚拟的视觉和听觉效果的电子设备，VR设备通常可以指可佩带在用户头部的头戴式设备。此外，VR设备还可以检测用户动作，并跟随用户动作实现虚拟内容的更新。

其中，VR设备可以跟随用户运动而发生姿态变化，在某些实际应用中，需要检测由于用户头部、眼部等部位的运动而在虚拟场景中形成的运动轨迹，并展示给用户查看。现有技术中，VR设备在用户运动过程中，可以实时检测用户在虚拟场景的世界坐标系中对应的坐标信息，虚拟场景的世界坐标系是指利用unity等软件构造虚拟场景时，所有画面上的点都是以圆心为原点，X轴水平向右，Y轴水平向上，Z轴由右手法则确定的坐标系。VR设备可以将用户的动作，将其位置坐标以标记信息的形式在虚拟场景中直接绘制。

但是，当用户视线移动时，虚拟场景随之移动并重新绘制，通常，VR场景中的帧率为90fps，也即每秒刷新90次，此时，由于用户的标记信息在虚拟场景中直接绘制，标记信息也会随着虚拟场景的刷新而重新绘制。之前显示的标记信息会随用户运动而消失，而显示的部分标记信息仅仅是部分的运动轨迹，不够全面，利用价值不高。

发明内容

有鉴于此，本申请提供了一种基于虚拟场景实现信息处理的方法、装置、设备及存储介质，主要用于解决现有技术中由于在虚拟场景中直接绘制的标记信息跟随用户运动而重新绘制，运动轨迹并不能全部显示，导致其利用价值不高的技术问题。

为了解决上述技术问题，本申请提供了一种基于虚拟场景实现信息处理的方法，所述方法包括：

检测用户运动过程中所述用户在所述虚拟场景中的世界坐标系中对应的坐标信息；确定与所述虚拟场景独立显示的目标图像，以及以所述目标图像的图像中心为原点建立的图像坐标系；将所述坐标信息从所述世界坐标系映射到所述图像坐标系中，获得映射坐标；确定所述映射坐标在所述目标图像中对应的目标像素点；基于所述用户运动过程中对应的多个目标像素点，在所述目标图像中绘制运动轨迹。

优选地，所述将所述坐标信息从所述世界坐标系映射到所述图像坐标系中，获得映射坐标包括：

确定所述坐标信息中第一坐标轴的第一坐标值以及第二坐标轴的第二坐标值；将所述第一坐标值映射到所述图像坐标系的第三坐标轴以及所述第二坐标值映射到所述图像坐标系的第四坐标轴，获得所述映射坐标。

优选地，所述将所述第一坐标值映射到所述图像坐标系的第三坐标轴以及所述第二坐标值映射到所述图像坐标系的第四坐标轴，获得所述映射坐标包括：

确定用户最大移动区域在世界坐标系的第一坐标轴对应的第一长度以及第二坐标轴对应的第一宽度；确定所述目标图像在图像坐标系的第三坐标轴对应的图像长度以及第四坐标轴对应的图像宽度；计算所述第一坐标值与所述第一长度的第一比值以及所述第二坐标值与所述第一宽度的第二比值；基于所述图像长度与所述第一比值的第一乘积，以及所述图像宽度与所述第二比值的第二乘积，构成所述映射坐标。

优选地，所述目标图像为单一颜色的图像；

所述基于所述用户运动过程中对应的多个目标像素点，在所述目标图像中绘制运动轨迹包括：

基于所述用户移动过程中对应的多个目标像素点，在所述目标图像中利用不同于所述目标图像的单一颜色的任意颜色标记所述多个目标像素点，连接所述多个目标像素点形成所述运动轨迹。

优选地，所述确定所述映射坐标在所述目标图像中对应的目标像素点包括：

确定以所述目标图像任一个顶点为原点的像素坐标系；确定所述图像坐标系与所述像素坐标系的转换关系；基于所述转换关系，将所述映射坐标由所述图像坐标系映射到所述像素坐标系中，获得对应的目标像素点。

优选地，所述基于所述用户运动过程中对应的多个目标像素点，在所述目标图像中绘制运动轨迹之后，还包括：确定最近一次检测用户运动时，所述用户在虚拟场景中的欧拉角度信息；基于所述欧拉角度信息中的航偏角信息，确定运动方向；在所述目标图像中标识所述运动方向。

优选地，所述在所述目标图像中标识所述运动方向包括：确定多个目标像素点中的最后获得的目标像素点的像素位置为光标箭头的光标位置；以所述运动方向为箭头方向，在所述光标位置处显示所述光标箭头。

优选地，所述基于所述用户运动过程中对应的多个目标像素点，在所述目标图像中绘制运动轨迹之后，所述方法还包括：

分析所述运动轨迹与预设轨迹的轨迹误差；基于所述轨迹误差确定检测精度。

本申请还提供一种基于虚拟场景实现信息处理的装置，包括：

坐标检测模块，用于检测用户运动过程中，所述用户在所述虚拟场景中的世界坐标系中对应的坐标信息。

第一确定模块，用于确定与所述虚拟场景独立显示的目标图像，以及以所述目标图像的图像中心为原点建立的图像坐标系。

坐标映射模块，用于将所述坐标信息从所述世界坐标系映射到所述图像坐标系中，获得映射坐标。

第二确定模块，用于确定所述映射坐标在所述目标图像中对应的目标像素点。

轨迹绘制模块，用于基于所述用户运动过程中对应的多个目标像素点，在所述目标图像中绘制运动轨迹。

本申请还提供一种基于虚拟场景实现信息处理的设备，所述设备包括：处理器，与所述处理器连接的存储器；

所述存储器用于存储一条或多条计算机指令；其中，所述一条或多条计算机指令被处理器调用并执行以实现上述任一项上述的基于虚拟场景实现信息处理的方法。

本申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行程序；所述计算机可执行程序执行时实现如任一项上述的基于虚拟场景实现信息处理的方法。

与现有技术相比，本申请可以获得以下技术效果：

VR设备可以将用户运动过程中检测到的坐标信息由三维的世界坐标系映射到二维的图像坐标系中，并转换至虚拟场景独立显示的目标图像对应的目标像素点，以基于多个目标像素点在目标图像中绘制运动轨迹。由于而目标图像独立于虚拟场景显示，不受虚拟场景的画面刷新而发生变化，进而可以保留完整的运动轨迹，提高其利用价值。同时，运动轨迹中的目标像素点不再与虚拟场景同时刷新，可以减少VR设备的处理内容，避免出现卡顿现象，提高了VR设备显示的流畅性。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是本申请实施例提供的一种基于虚拟场景实现信息处理的方法的一个实施例的流程图；

图2是本申请实施例提供的图像坐标系与像素坐标系的示意图；

图3是本申请实施例提供的一种基于虚拟场景实现信息处理的方法的又一个实施例的流程图；

图4是本申请实施例提供的一种基于虚拟场景实现信息处理的装置的一个实施例的结构示意图；

图5是本申请实施例提供的一种基于虚拟场景实现信息处理的装置的又一个实施例的结构示意图；

图6是本申请实施例提供的一种基于虚拟场景实现信息处理的设备的一个实施例的结构示意图；

图7是本申请实施例提供的一种VR设备的结构示意图。

具体实施方式

以下将配合附图及实施例来详细说明本申请的实施方式，藉此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。

本申请实施例主要应用于虚拟现实场景中，通过在独立于虚拟场景显示的目标图像中绘制用户的运动轨迹，获取完整的运动轨迹，提高其利用价值。

现有技术中，VR设备通过刷新场景帧率而实现场景的连续显示，而标识信息显示又随着虚拟场景的刷新而不断绘制，多个标识信息形成的运动轨迹可能出现在用户视线范围之外，不能显示完整的运动轨迹。VR设备为了形成连续的虚拟场景，虚拟场景的帧率通常设置为90帧/秒。此时，于虚拟场景中显示的标识信息也要在一秒内刷新90次，导致VR设备需要不断执行标识信息的显示工作，处理压力过大，容易出现卡顿甚至死机的状况。

据此，发明人提出了本申请的技术方案，本申请实施例中，VR设备通过检测用户运动过程中在虚拟场景中的世界坐标系对应的坐标信息，该坐标信息即为用户运动过程中所处某一位置的坐标。在确定与虚拟场景中独立显示的目标图像以及目标图像的图像中心为原点建立的图像坐标系后，可以将坐标信息从世界坐标系映射到图像坐标系中，获得映射坐标。而映射坐标仅仅是在图像坐标系中的坐标，还要确定映射坐标在目标图像中对应的目标像素点。基于用户运动过程中对应的多个目标像素点，可以在目标图像中绘制运动轨迹。

其中，目标图像为独立于虚拟场景独立显示的，可以在虚拟场景刷新时不发生改变，进而获得完整的运动轨迹，使其具有较高的利用价值。其次，由于目标图像独立显示，不再需要随虚拟场景的刷新而重新绘制，降低了VR设备的处理压力，减少出现卡顿甚至死机的状态，提高设备显示的流畅性。

下面将结合附图对本申请实施例进行详细描述。

如图1所示，为本申请实施例中一种基于虚拟现实场景实现信息处理方法的一个实施例的流程图，该方法可以包括以下几个步骤：

101：检测用户运动过程中所述用户在所述虚拟场景的世界坐标系中对应的坐标信息。

VR设备可以显示虚拟场景。用户佩戴VR设备时，可以直接观看VR设备显示的虚拟场景中的虚拟内容，获得沉浸式的虚拟体验。VR设备中的虚拟场景可以随着用户的运动而切换，特别是跟随用户眼睛移动而实现虚拟场景的切换。在实际操作时，VR设备需要模拟一个类似人眼的相机，该模拟的人眼相机拍摄到的内容与用户眼睛实际观看到的内容一致，人眼相机即为用户眼睛在VR设备中的数学模型。因此，本申请中的坐标信息，理论上可以为VR设备检测到的用户双眼中心或者模拟的用户视线构成的点在虚拟场景的世界坐标系中的坐标信息，而实际中VR设备检测的坐标信息，为VR设备模拟的人眼相机对应的模拟双眼中心或者模拟的用户视线在虚拟场景的世界坐标系中的坐标信息。

虚拟场景多由Unity等软件搭建，场景搭建时需要以世界坐标系为基础。世界坐标系为虚拟场景的绝对坐标系，虚拟场景中所有点的坐标均以该坐标系确定各自的位置。通常，世界坐标系在设置的坐标原点的基础上，水平向右设置X轴，垂直向上设置Y轴，通过右手法设置Z轴。

VR设备通常可以通过配置的惯性测量单元(IMU)、传感器组合等电子设备实现3自由度或者6自由度的用户头或眼睛等部位追踪。通常，自由度在本申请中主要指用户头部移动的基本方式。自由度可以分为两种类型：平移和旋转。上文中所述的3自由度主要指自由度中的平移；6自由度除包括平移之外，还可以包括旋转。其中，平移可以包括：前后平移、左右平移以及上下平移，旋转可以包括欧拉角，也即俯仰角、偏航角、以及翻滚角。

VR设备实时检测用户运动，即可以获得用户的3自由度的姿态信息或6自由度的姿态信息。为3自由度的姿态信息时，即可以为用户在虚拟场景的世界坐标系中的坐标信息；为6自由度的姿态信息时，即可以为用户在虚拟场景中的世界坐标系的坐标信息以及欧拉角度信息。其中，坐标信息可以为用户平移运动而在虚拟场景的世界坐标系中生成的三维坐标，平移运动可以指用户的上下、左右、前后运动。

102：确定与所述虚拟场景独立显示的目标图像，以及所述目标图像的图像中心为原点建立的图像坐标系。

VR设备可以在显示屏幕上输出虚拟场景对应的视频画面，为了形成连续的视频、产生沉浸式体验，虚拟场景需要不断刷新帧率。目标图像可以独立于虚拟场景显示，不受虚拟场景的刷新的影响。

可选地，目标图像可以垂直于虚拟场景而独立显示。可以将虚拟场景以及目标图像设置为不同的显示层。目标图像可以位于第一显示层，虚拟场景可以位于第二显示层，第一显示层悬浮于第二显示层上方，第一显示层以及第二显示层不受对方变化的影响。其中，当VR设备追踪用户运动而切换虚拟场景时，目标图像仍可以独立显示，但所述目标图像中的运动轨迹随用户运动而增加新的轨迹。

可选地，为了方便同时查看运动轨迹以及虚拟场景，目标图像与虚拟场景可以同时在显示屏幕上输出。虚拟场景的显示范围可以为显示屏幕的全部区域，目标图像的显示范围可以为显示屏幕的第一区域。此时，VR设备在第一显示层的第一区域输出目标图像，在第二显示层输出虚拟场景。用户可以在VR设备的显示屏幕的第一区域中观看到目标图像，第一区域之外的区域中观看到虚拟场景。

可选地，VR设备的显示屏幕中可以输出虚拟显示控件。当VR设备检测到用户触发所述虚拟显示控件时，可以显示所述目标图像。其中，该目标图像独立于虚拟场景显示。用户触发所述虚拟显示控件可以指用户视线注视所述虚拟显示控件的时长超过第一预设时长，所述第一预设时长可以根据实际需要而设定，例如，可以为3秒、5秒等。

可选地，还可以设置目标图像的大小，可以在VR设备的显示屏幕中输出虚拟设置控件，当VR设备检测到用户触发所述虚拟设置控件时，可以输出设置界面，进而可以获取用户在所述设置界面中设置的目标图像的大小。用户触发所述虚拟设置控件同样可以指用户视线注视所述虚拟设置控件的时长超过第二预设时长，所述第二预设时长可以根据实际需要而设定，例如，可以为3秒、5秒等。VR设备可以基于获得的目标图像的大小，输出相应大小的目标图像。目标图像的形状通常为矩形，以目标图像的图像中心为原点建立的图像坐标系。其中，图像中心可以用(X0，Y0)表示，以其为原点建立的图像坐标系为(M，N)坐标系。

103：将所述坐标信息从所述世界坐标系映射到所述图像坐标系中，获得映射坐标。

世界坐标系为三维坐标系，可以表示为(X，Y，Z)，图像坐标系为二维坐标系，可以表示为(M，N)。因此，需要可以获取所述三维坐标系中的坐标信息转换为二维坐标系中的图像坐标系。而在转换时，可以将任意两个坐标轴对应的坐标值进行转换。

可选地，可以将所述世界坐标系中的X轴以及Z轴对应的坐标值映射到图像坐标系中的M轴以及N轴上，以获得映射坐标。X轴对应用户左右平移数据，Y轴对应用户上下平移数据，Z轴对应用户前后平移数据，因此，将X轴以及Z轴的数据进行映射时，关注的是用户在平面上平移时的平面运动，对应获得的运动轨迹为用户在平面上的平移运动，方便观看和使用。

可选地，所述将所述坐标信息从所述世界坐标系映射到所述图像坐标系中，获得映射坐标可以包括：确定所述世界坐标系中的任意两个坐标轴为目标坐标轴，将所述坐标信息中所述目标坐标轴对应的坐标值映射到所述图像坐标系中。

104：确定所述映射坐标在所述目标图像中对应的目标像素点。

映射坐标为用户运动轨迹映射到图像坐标系中的坐标。图像坐标系的单位通常是毫米或者厘米等物理计量单位，而实际图像在显示时，是基于像素而显示的，也就是任一个映射坐标的单位是物理计量单位，需要将映射坐标转换为对应像素位置的像素点，以在所述目标图像中绘制相应的像素点，也即目标像素点。目标像素点也即所述映射坐标在所述目标图像中对应绘制的目标像素点。

可选地，可以确定所述目标图像的像素坐标系，并基于所述像素坐标系，确定所述映射坐标在所述目标图像中对应的目标像素点。其中，所述像素坐标系为基于所述目标图像而建立的以像素(pixel)为基础单位的坐标系。所述目标像素点即为所述映射坐标在像素坐标系中绘制的像素点。

可选地，所述确定所述映射坐标在所述目标图像中对应的目标像素点可以包括：确定以所述目标图像任一个顶点为原点的像素坐标系；确定所述图像坐标系与所述像素坐标系的转换关系；基于所述转换关系，将所述映射坐标由所述图像坐标系映射到所述像素坐标系中，获得对应的目标像素点。

可选地，目标图像可以为矩形图像，矩形图像可以包括四个顶点，分别为第一顶点、第二顶点、第三顶点以及第四顶点。作为一种可能的实现方式，第一顶点与第二顶点连接形成第一线段，第三顶点与第四顶点连接形成第二线段，第一顶点与第三顶点连接形成第三线段，第二顶点与第四顶点连接形成第四线段，其中，第一线段与第二线段平行，第三线段与第四线段平行。此时，可以确定以目标图像的第一顶点、第二顶点、第三顶点或第四顶点为原点的像素坐标系。

举例说明像素坐标系与图像坐标系的关系。

当目标图像为矩形图像，且目标图像在显示屏幕上显示并面向用户时，第一顶点可以为左上角顶点，第二顶点可以为右上角顶点，第三顶点可以为左下角顶点，第四顶点可以为右下角订点。优选地，可以以目标图像的左上角也即第一顶点为原点建立像素坐标系具体可以如图2中的(U，V)坐标系Oa201所示，而以目标图像的中心为原点建立的图像坐标系具体可以如图2中的(X，Y)坐标系Ob202所示。假定所述图像坐标系中的X轴的基础计量单位为Dx，Y轴的基础计量单位为Dy，如图像中心的像素坐标为(U0，V0)，则映射坐标为P(X1，Y1)时，其对应的像素坐标为：

U1＝U0+X1/Dx；V1＝V0+Y1/Dy。

105：基于所述用户运动过程中对应的多个目标像素点，在所述目标图像中绘制运动轨迹。

所述运动轨迹可以由多个目标像素点连接形成。所述基于所述用户运动过程中对应的多个目标像素点，在所述目标图像中绘制运动轨迹可以包括：基于所述用户运动过程中对应的多个目标像素点，在所述目标图像中以区别于所述目标图像的颜色绘制所述多个目标像素点，将所述目标像素点以直线或者曲线进行连接，形成用户的运动轨迹。绘制所述多个目标像素点可以指在每一个目标像素点的像素坐标处绘制相应的像素点。

可选地，所述基于所述用户运动过程中对应的多个目标像素点，在所述目标图像中绘制运动轨迹之后，所述方法还可以包括：

展示所述目标图像，以使用户查看所述运动轨迹。

作为一种可能的实现方式，VR设备可以在其显示屏幕中输出所述目标图像，以方便用户查看所述运动轨迹。用户查看所述运动轨迹时，可以基于所述运动轨迹确定，行动路线或者头部运动等行为，还可以基于查看的运动轨迹判断是否与预设路径是否一致，进而判断VR设备的行进精度等。

本申请实施例中，通过在独立于虚拟场景中独立显示的目标图像，可以将用户在虚拟场景中的运动轨迹独立显示，因此，目标图像的显示不受虚拟场景画面的刷新而发生变化，进而可以在目标图像中，基于多个目标像素点形成完整的运动轨迹。获得的完整的运动轨迹的显示不受虚拟场景的影响，具有较高的利用价值。同时，运动轨迹中的目标像素点不再与虚拟场景同时刷新，可以减少VR设备的处理内容，避免出现卡顿现象，提高了VR设备显示的流畅性。

作为一个实施例，所述将所述坐标信息从所述世界坐标系映射到所述图像坐标系中，获得映射坐标可以包括：

确定所述坐标信息中第一坐标轴的第一坐标值以及第二坐标轴的第二坐标值。将所述第一坐标值映射到所述图像坐标系的第三坐标轴以及所述第二坐标值映射到所述图像坐标系的第四坐标轴，获得所述映射坐标。

可选地，所述将所述第一坐标值映射到所述图像坐标系的第三坐标轴以及所述第二坐标值映射到所述图像坐标系的第四坐标轴，获得所述映射坐标可以包括：

确定用户最大移动区域在世界坐标系的第一坐标轴对应的第一长度以及第二坐标轴对应的第一宽度。确定所述目标图像在图像坐标系的第三坐标轴对应的图像长度以及第四坐标轴对应的图像宽度。计算所述第一坐标值与所述第一长度的第一比值以及所述第二坐标值与所述第一宽度的第二比值。基于所述图像长度与所述第一比值的第一乘积，以及所述图像宽度与所述第二比值的第二乘积，构成所述映射坐标。

将图像长度与第一比值相乘获得第一乘积，将图像宽度与第二比值相乘获得第二乘积，第一乘积与第二乘积即可以构成映射坐标。例如，第一乘积对应图像坐标系的第三坐标轴的坐标值，第二乘积对应图像坐标系的第四坐标轴的坐标值，假设第一乘积用a1，第二乘积用a2表示，则映射坐标可以表示为(a1，a2)。

作为一种可能的实现方式，世界坐标系的X轴对应用户左右平移数据，Y轴对应用户上下平移数据，Z轴对应用户前后平移数据。用户在虚拟场景的世界坐标系中的坐标信息即为三维坐标信息。而三维坐标信息不能用于绘制平面的运动轨迹的图像，由此，为了获得用户的平面运动轨迹，可以选取其中两个坐标系中的坐标值进行映射，以获得某一个平面的运动轨迹。

其中，用户与水平面对应的运动轨迹为用户头部前后运动以及左右运动而产生的，又由于世界坐标系的X轴对应用户左右平移数据，Z轴对应用户前后平移数据，因此，可以选择所述世界坐标系中的X轴坐标轴为第一坐标轴以及Z轴坐标轴为第二坐标轴，以获得坐标信息中X轴以及Z轴的坐标值，并将X轴以及Z轴坐标值映射到所述图像坐标系中，获得映射坐标。用户头部前后运动以及左右移动可以代表用户实际在虚拟场景中实际的平面位移，为用户实际的平面运动，可以更好地标识用户的实际运动轨迹。

所述确定用户最大移动区域在世界坐标系的第一坐标轴对应的第一长度以及第二坐标轴对应的第一宽度可以包括：确定用户沿第一坐标轴的最大可移动距离为第一长度，确定用户沿第二坐标轴的最大可移动距离为第一宽度。

本申请实施例中，基于目标图像与虚拟场景中用户最大可移动矩形的长宽比值，将用户的坐标信息从三维的世界坐标系映射到二维的图像坐标系中，获得映射到图像坐标系中的坐标信息。通过三维坐标系到二维坐标系的降维转换，可以检测用户在三维空间中某一个平面上的移动，例如获得用户平行于水平面的位移，以实现用户运动轨迹的绘制。

作为又一个实施例，所述目标图像可以为单一颜色的图像。

所述基于所述用户运动过程中对应的多个目标像素点，在所述目标图像中绘制运动轨迹可以包括：

基于所述用户运动过程中对应的多个目标像素点，在所述目标图像中利用不同于所述目标图像的颜色的任意颜色标记所述多个目标像素点，以形成所述运动轨迹。

可选地，所述目标图像可以为纹理图像，以在虚拟场景中实现垂直显示。同时，采用纹理图像绘制运动轨迹时，由于纹理图像的纹理不明显，且不影响运动轨迹的显示，以获得清晰完整运动轨迹。

本申请实施例中，目标图像为单一颜色的图像，在绘制运动轨迹时，可以使用与所述目标图像的单一颜色不同的颜色，使运动轨迹更清晰，有益于使用。

作为又一个实施例，所述基于所述用户运动过程中对应的多个目标像素点，在所述目标图像中绘制运动轨迹后，所述方法还可以包括：

确定最近一次检测用户运动时，所述用户在虚拟场景中的欧拉角度信息；

基于所述欧拉角度信息中的航偏角信息，确定运动方向；

所述目标图像中标识所述运动方向。

VR设备可以检测用户6自由度的姿态信息时，在检测用户运动时即可以获得所述用户在虚拟场景中的欧拉角度信息。

欧拉角度信息用于描述物体在三维空间运动方向的三个旋转角，物体可以基于欧拉角度信息从一个初始方向，旋转到其目标位置方向。欧拉角度信息可以包括绕X轴旋转的俯仰角、绕Y轴旋转的偏航角以及绕Z轴旋转的翻滚角。欧拉角度信息即为相应的欧拉角度数据，而偏航角信息即为偏航角数据。由于偏航角为沿Y轴旋转的角度，也即用户在水平面上前后、左右移动时，产生的角度变化数据，因此，偏航角为基于水平面的角度变化，以方便用户获知平面实际运动的运动方向。

可选地，所述在所述目标图像中标识所述运动方向包括：在所述目标图像中以光标箭头标识所述运动方向，其中，所述光标箭头的箭头方向可以为所述运动反向。

可选地，所述在确定最近一次检测用户运动时，所述用户在虚拟场景中的欧拉角度信息实际与最近一次检测用户运动时，所述用户在虚拟场景中的坐标信息像对应。此时，VR检测用户运动时，可以同时获得坐标信息以及欧拉角度信息，也即获得6自由度的数据。此时，检测到的坐标信息均可以用于绘制运动轨迹，但是运动方向仅需要标识用户最近的运动方向即可。在最近一次检测用户运动之前的坐标信息对应的欧拉角度信息可以不标识运动方向。此时，在标识运动方向之后，如果再一次检测用户运动，需要重新标识运动方向时，可以将之前标识的运动方向删除，仅显示最新的运动方向。

作为一种可能的实现方式，所述在所述目标图像中标识所述运动方向可以包括：

确定多个目标像素点中的最后获得的目标像素点的像素位置为光标箭头的光标位置。

以所述运动方向为箭头方向，在所述光标位置处显示所述光标箭头。

本申请实施例中，除采用针对用户的坐标信息进行处理以获得用户的运动轨迹之外，还通过光标标识用户的运动方向。也即在标识运动轨迹的同时，还标识用户的最近的运动方向，通过此方式可以实现多维的轨迹提示，以提高目标图像的利用价值，增加其利用轨迹。

作为又一个实施例，所述基于所述用户运动过程中对应的多个目标像素点，在所述目标图像中绘制运动轨迹之后，所述方法还包括：

分析所述运动轨迹与预设轨迹的轨迹误差。

基于所述轨迹误差确定检测精度。

本申请实施例中，通过分析运动轨迹与预设轨迹的轨迹误差，以基于轨迹误差确定检测精度。将绘制的运动轨迹用于误差精度检测，以根据检测精度对VR设备的精度等进行调整。

如图3所示，为本申请实施例提供的一种基于虚拟场景实现信息处理的方法的又一个实施例的流程图，所述方法可以包括以下几个步骤：

301：检测用户运动过程中，所述用户在虚拟场景中的世界坐标系中对应的坐标信息。

本申请实施例中的步骤301与302的顺序可以互换，并不限定其执行的先后顺序。本实施例仅仅是对一种基于虚拟场景实现信息处理的方法的一个实施例的实例说明，并不具有限定作用。

302：确定与所述虚拟场景独立显示的目标图像以及以所述目标图像的图像中心为原点建立的图像坐标系。其中，目标图像为单一颜色的图像。

303：将所述坐标信息从所述世界坐标系映射到所述图像坐标系中，获得映射坐标。

304：确定以所述目标图像左上角坐标点为原点的像素坐标系。

305：确定所述图像坐标系与所述像素坐标系的转换关系。

306：基于所述转换关系，将所述映射坐标由所述图像坐标系映射到所述像素坐标系中，获得对应的目标像素点。其中，获得的目标像素点为所述坐标信息在目标图像中实际显示的像素点。

307：基于所述用户运动过程中对应的多个目标像素点，在所述目标图像中利用不同于所述目标图像的单一颜色的任意颜色标记所述多个像素点，连接所述多个目标像素点形成运动轨迹。

308：确定最近一次检测用户运动时，所述用户在虚拟场景中的欧拉角度信息。

309：基于所述欧拉角度信息中的航偏角信息，确定运动方向。

310：确定所述多个目标像素点中最后获得的目标像素点的像素位置为所述光标箭头的光标位置。

311：以所述运动方向为箭头方向，在所述光标位置处显示所述光标箭头。

本申请实施例中，独立于虚拟场景显示的目标图像中绘制用户的运动轨迹的同时，在目标图像中显示标识用户运动方向的光标箭头。而目标图像独立于虚拟场景显示，不受虚拟场景的画面刷新而发生变化，可以保留完整的运动轨迹，同时还显示了用户当前的运动方向，显示内容更多样化，提高其利用价值，获得完整的运动轨迹以及明确的运动方向，使用价值更佳。同时，运动轨迹中的目标像素点不再与虚拟场景同时刷新，可以减少VR设备的处理内容，避免出现卡顿现象，提高了VR设备显示的流畅性。

需要说明的是，本申请实施例中所述的步骤如101～105，步骤301～311，仅仅是为了方便描述而命名，以标识不同的步骤，仅仅是起到示意性的作用，并不对本申请实际实施步骤的先后顺序的限定。

如图4所示，为本申请实施例中一种基于虚拟场景实现信息处理的装置，所述装置可以包括：

坐标检测模块401，用于检测用户运动过程中，所述用户在所述虚拟场景中的世界坐标系中对应的坐标信息。

本申请中所述的基于虚拟场景实现信息处理的装置可以配置于VR设备的处理器或内存中，还可以配置于VR设备的控制设备的处理器或者内存中。VR设备可以基于该装置实现虚拟场景的信息处理。该装置检测的坐标信息，应为其模拟的人眼相机在虚拟场景的世界坐标系中的坐标信息。

用户在虚拟场景的世界坐标系中对应的坐标信息可以指用户在虚拟场景的世界坐标系中对应的三维坐标信息，也即用户头部因平移而在虚拟场景的世界坐标系中生成的三维坐标，用户头部的平移可以指用户头部上下、左右、前后运动。

第一确定模块402，用于确定与所述虚拟场景独立显示的目标图像，以及以所述目标图像的图像中心为原点建立的图像坐标系。

目标图像可以独立于虚拟场景显示，不受虚拟场景的刷新的影响。

可选地，目标图像可以垂直于虚拟场景而独立显示。可以将虚拟场景以及目标图像设置为不同的显示层。目标图像可以位于第一显示层，虚拟场景可以位于第二显示层，第一显示层悬浮于第二显示层上方，第一显示层以及第二显示层不受对方变化的影响。

可选地，虚拟场景的显示范围可以为显示屏幕的全部区域，目标图像的显示范围可以为显示屏幕的第一区域。此时，VR设备在第一显示层的第一区域输出目标图像，在第二显示层输出虚拟场景。此外，该装置还可以设置目标图像的大小，可以在VR设备的显示屏幕中输出虚拟设置控件，可以获取用户在所述设置界面中设置的目标图像的大小。

坐标映射模块403，用于将所述坐标信息从所述世界坐标系映射到所述图像坐标系中，获得映射坐标。

世界坐标系为三维坐标系，图像坐标系为二维坐标系。坐标映射模块可以用于：确定所述世界坐标系中的任意两个坐标轴为目标坐标轴，将所述坐标信息中所述目标坐标轴对应的坐标值映射到所述图像坐标系中。其中，可以将世界坐标系中的X轴以及Z轴对应的坐标值映射到图像坐标系中的M轴以及N轴上，以获得映射坐标。

第二确定模块404，用于确定所述映射坐标在所述目标图像中对应的目标像素点。

可选地，第二确定模块可以确定所述目标图像的像素坐标系，并基于所述像素坐标系，确定所述映射坐标在所述目标图像中对应的目标像素点。其中，所述像素坐标系为基于所述目标图像而建立的以像素(pixel)为基础单位的坐标系。

所述第二确定模块可以包括：第一确定单元，用于确定以所述目标图像任一个顶点为原点的像素坐标系；第二确定单元，用于确定所述图像坐标系与所述像素坐标系的转换关系；像素转换单元，用于基于所述转换关系，将所述映射坐标由所述图像坐标系映射到所述像素坐标系中，获得对应的目标像素点。

轨迹绘制模块405，用于基于所述用户运动过程中对应的多个目标像素点，在所述目标图像中绘制运动轨迹。

所述轨迹绘制模块具体可以用于：基于所述用户运动过程中对应的多个目标像素点，在所述目标图像中以区别于所述目标图像的颜色绘制所述多个目标像素点，将所述目标像素点以直线或曲线进行连接，形成用户的运动轨迹。所述装置还可以包括：轨迹展示模块，用于展示所述目标图像，以使用户查看所述运动轨迹。

本申请实施例中，VR设备可以将用户运动过程中检测到的坐标信息由三维的世界坐标系映射到二维的图像坐标系中，并转换至虚拟场景独立显示的目标图像对应的目标像素点，以基于多个目标像素点在目标图像中绘制运动轨迹。由于而目标图像独立于虚拟场景显示，不受虚拟场景的画面刷新而发生变化，进而可以保留完整的运动轨迹，提高其利用价值。同时，运动轨迹中的目标像素点不再与虚拟场景同时刷新，可以减少VR设备的处理内容，避免出现卡顿现象，提高了VR设备显示的流畅性。

作为一个实施例，所述坐标映射模块可以包括：

第三确定单元，用于确定所述坐标信息中第一坐标轴的第一坐标值以及第二坐标轴的第二坐标值。

坐标映射单元，将所述第一坐标值映射到所述图像坐标系的第三坐标轴以及所述第二坐标值映射到所述图像坐标系的第四坐标轴，获得所述映射坐标。

可选地，所述坐标映射单元具体可以用于：

确定用户最大移动区域在世界坐标系的第一坐标轴对应的第一长度以及第二坐标轴对应的第一宽度；确定所述目标图像在图像坐标系的第三坐标轴对应的图像长度以及第四坐标轴对应的图像宽度；计算所述第一坐标值与所述第一长度的第一比值以及所述第二坐标值与所述第一宽度的第二比值；基于所述图像长度与所述第一比值的第一乘积，以及所述图像宽度与所述第二比值的第二乘积，构成所述映射坐标。

将图像长度与第一比值相乘获得第一乘积，将图像宽度与第二比值相乘获得第二乘积，第一乘积与第二乘积即可以构成映射坐标。

可选地，所述坐标映射单元可以用于：选择所述世界坐标系中的X轴坐标轴为第一坐标轴以及Z轴坐标轴为第二坐标轴，以获得坐标信息中X轴以及Z轴的坐标值，并将X轴以及Z轴坐标值映射到所述图像坐标系中，获得映射坐标。所述坐标映射单元还可以用于：确定用户沿第一坐标轴的最大可移动距离为第一长度，确定用户沿第二坐标轴的最大可移动距离为第一宽度。

本申请实施例中，基于目标图像与虚拟场景中用户最大可移动矩形的长宽比值，将用户的坐标信息从三维的世界坐标系映射到二维的图像坐标系中，获得映射到图像坐标系中的坐标信息。通过三维坐标系到二维坐标系的降维转换，可以检测用户在三维空间中某一个平面上的移动，例如获得用户平行于水平面的位移，以实现用户运动轨迹的绘制。

作为又一个实施例，所述目标图像可以为单一颜色的图像。所述轨迹绘制模块可以包括：

轨迹绘制单元，用于基于所述用户移动过程中对应的多个目标像素点，在所述目标图像中利用不同于所述目标图像的单一颜色的任意颜色标记所述多个目标像素点，连接所述多个目标像素点形成所述运动轨迹。

可选地，目标图像可以为纹理图像，以在虚拟场景中实现垂直显示。纹理图像的纹理不明显，且不影响运动轨迹的显示，以获得清晰完整运动轨迹。

本申请实施例中，目标图像为单一颜色的图像，在绘制运动轨迹时，可以使用与所述目标图像的单一颜色不同的颜色，使运动轨迹更清晰。

作为又一个实施例，如图5所示，与图4所示的实施例的不同之处在于所述装置还可以包括：

第三确定模块501：用于确定最近一次检测用户运动时，所述用户在虚拟场景中的欧拉角度信息。

第四确定模块502：用于基于所述欧拉角度信息中的航偏角信息，确定运动方向。

方向标识模块503：用于在所述目标图像中标识所述运动方向。

作为一种可能的实现方式，所述方向标识模块可以包括：

位置确定单元，用于确定多个目标像素点中的最后获得的目标像素点的像素位置为光标箭头的光标位置。光标显示单元，用于以所述运动方向为箭头方向，在所述光标位置处显示所述光标箭头。

本申请实施例中，在标识运动轨迹的同时，还标识用户的最近的运动方向，通过此方式可以实现多维的轨迹提示，以提高目标图像的利用价值，增加其利用轨迹。

作为又一个实施例，所述装置还包括：

误差分析模块，用于分析所述运动轨迹与预设轨迹的轨迹误差。

精度检测模块，用于基于所述轨迹误差确定检测精度。

本申请实施例中，通过分析运动轨迹与预设轨迹的轨迹误差，以基于轨迹误差确定检测精度。将绘制的运动轨迹用于误差精度检测，以根据检测精度对VR设备的精度等进行调整。

如图6所示，为本申请实施例提供的一种基于虚拟场景实现信息处理的设备，所述设备包括：处理器601，与所述处理器连接的存储器602；所述存储器602用于存储一条或多条计算机指令；其中，所述一条或多条计算机指令供所述处理器601调用执行；所述处理器601具体可以调用并执行所述存储器中的一条或多条计算机指令，以实现以上实施例中任一个实施例所述的基于虚拟场景实现信息处理的方法。

此外，本申请实施例还提供了一种存储有计算机程序的计算机可读存储介质，所述计算机程序使计算机执行时可以实现上述任一实施例所述的基于虚拟场景实现信息处理的方法。

本申请实施例提供的VR设备可以为头戴显示VR设备，如图7所示，所述头戴显示VR设备700的内部配置结构示意图。该头戴VR设备可以包括显示单元701、虚拟图像光学单元702、输入操作单元703、状态信息获取单元704、通信单元705。

显示单元701可以包括显示面板，显示面板设置在头戴显示设备700上面向用户面部的侧表面，可以为一整块面板、或者为分别对应用户左眼和右眼的左面板和右面板。显示面板可以为电致发光(EL)元件、液晶显示器或具有类似结构的微型显示器、或者视网膜可直接显示或类似的激光扫描式显示器。

虚拟图像光学单元702以放大方式拍摄显示单701所显示的图像，并允许用户按放大的虚拟图像观察所显示的图像。作为输出到显示单元701上的显示图像，可以是从内容再现设备(蓝光光碟或DVD播放器)或流媒体服务器提供的虚拟场景的图像、或者使用外部相机710拍摄的现实场景的图像。一些实施例中，虚拟图像光学单元702可以包括透镜单元，例如球面透镜、非球面透镜、菲涅尔透镜等。

输入操作单元703包括至少一个用来执行输入操作的操作部件，例如按键、按钮、开关或者其他具有类似功能的部件，通过操作部件接收用户指令，并且向控制单元707输出指令。

状态信息获取单元704用于获取穿戴头戴显示设备700的用户的状态信息。状态信息获取单元704可以包括各种类型的传感器，用于自身检测状态信息，并可以通过通信单元705从外部设备(例如智能手机、腕表和用户穿戴的其它多功能终端)获取状态信息。状态信息获取单元704可以获取用户的头部的位置信息和/或姿态信息。状态信息获取单元704可以包括陀螺仪传感器、加速度传感器、全球定位系统(GPS)传感器、地磁传感器、多普勒效应传感器、红外传感器、射频场强度传感器中的一个或者多个。此外，状态信息获取单元704获取穿戴头戴显示设备700的用户的状态信息，例如获取例如用户的操作状态(用户是否穿戴头戴显示设备700)、用户的动作状态(诸如静止、行走、跑动和诸如此类的移动状态，手或指尖的姿势、眼睛的开或闭状态、视线方向、瞳孔尺寸)、精神状态(用户是否沉浸在观察所显示的图像以及诸如此类的)，甚至生理状态。

通信单元705执行与外部装置的通信处理、调制和解调处理、以及通信信号的编码和解码处理。另外，控制单元707可以从通信单元705向外部装置发送传输数据。通信方式可以是有线或者无线形式，例如移动高清链接(MHL)或通用串行总线(USB)、高清多媒体接口(HDMI)、无线保真(Wi-Fi)、蓝牙通信或低功耗蓝牙通信，以及IEEE802.11s标准的网状网络等。另外，通信单元705可以是根据宽带码分多址(W-CDMA)、长期演进(LTE)和类似标准操作的蜂窝无线收发器。

一些实施例中，头戴显示设备700还可以包括存储单元706，存储单元706是配置为具有固态驱动器(SSD)等的大容量存储设备。一些实施例中，存储单元706可以存储应用程序或各种类型的数据。例如，用户使用头戴显示设备700观看的内容可以存储在存储单元706中。

一些实施例中，头戴显示设备700还可以包括控制单元707，控制单元707可以包括计算机处理单元(CPU)或者其他具有类似功能的设备。一些实施例中，控制单元707可以用于执行存储单元706存储的应用程序，或者控制单元707还可以用于执行本申请实施例公开的方法、功能和操作的电路、配置了本申请实施例公开的装置、或者包括本申请实施例公开的设备。

图像处理单元708用于执行信号处理，比如与从控制单元707输出的图像信号相关的图像质量校正，以及将其分辨率转换为根据显示单元701的屏幕的分辨率。然后，显示驱动单元709依次选择显示单元701的每行像素，并逐行依次扫描显示单元701的每行像素，因而提供基于经信号处理的图像信号的像素信号。

一些实施例中，头戴显示设备700还可以包括外部相机。外部相机710可以设置在头戴显示设备700主体前表面，外部相机710可以为一个或者多个。外部相机710可以获取三维信息，并且也可以用作距离传感器。另外，探测来自物体的反射信号的位置灵敏探测器(PSD)或者其他类型的距离传感器可以与外部相机710一起使用。外部相机710和距离传感器可以用于检测穿戴头戴显示设备700的用户的身体位置、姿态和形状。另外，一定条件下用户可以通过外部相机710直接观看或者预览现实场景。

一些实施例中，头戴显示设备700还可以包括声音处理单元，声音处理单元711可以执行从控制单元707输出的声音信号的声音质量校正或声音放大，以及输入声音信号的信号处理等。然后，声音输入/输出单元712在声音处理后向外部输出声音以及输入来自麦克风的声音。

需要说明的是，图7中虚线框示出的结构或部件可以独立于头戴显示设备700之外，例如可以设置在外部处理系统(例如计算机系统)中与头戴显示设备700配合使用；或者，虚线框示出的结构或部件可以设置在头戴显示设备700内部或者表面上。

在一个典型的配置中，计算设备可以包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。

Claims (11)

1.一种基于虚拟场景实现信息处理的方法，其特征在于，所述方法包括：

检测用户运动过程中所述用户在所述虚拟场景中的世界坐标系中对应的坐标信息；

确定与所述虚拟场景独立显示的目标图像，以及以所述目标图像的图像中心为原点建立的图像坐标系；

将所述坐标信息从所述世界坐标系映射到所述图像坐标系中，获得映射坐标；

确定所述映射坐标在所述目标图像中对应的目标像素点；

基于所述用户运动过程中对应的多个目标像素点，在所述目标图像中绘制运动轨迹。

2.根据权利要求1所述的方法，其特征在于，所述将所述坐标信息从所述世界坐标系映射到所述图像坐标系中，获得映射坐标包括：

确定所述坐标信息中第一坐标轴的第一坐标值以及第二坐标轴的第二坐标值；

将所述第一坐标值映射到所述图像坐标系的第三坐标轴以及所述第二坐标值映射到所述图像坐标系的第四坐标轴，获得所述映射坐标。

3.根据权利要求2所述的方法，其特征在于，所述将所述第一坐标值映射到所述图像坐标系的第三坐标轴以及所述第二坐标值映射到所述图像坐标系的第四坐标轴，获得所述映射坐标包括：

确定用户最大移动区域在世界坐标系的第一坐标轴对应的第一长度以及第二坐标轴对应的第一宽度；

确定所述目标图像在图像坐标系的第三坐标轴对应的图像长度以及第四坐标轴对应的图像宽度；

计算所述第一坐标值与所述第一长度的第一比值以及所述第二坐标值与所述第一宽度的第二比值；

基于所述图像长度与所述第一比值的第一乘积，以及所述图像宽度与所述第二比值的第二乘积，构成所述映射坐标。

4.根据权利要求1所述的方法，其特征在于，所述目标图像为单一颜色的图像；

所述基于所述用户运动过程中对应的多个目标像素点，在所述目标图像中绘制运动轨迹包括：

基于所述用户运动过程中对应的多个目标像素点，在所述目标图像中利用不同于所述目标图像的单一颜色的任意颜色标记所述多个目标像素点，连接所述多个目标像素点形成所述运动轨迹。

5.根据权利要求1所述的方法，其特征在于，所述确定所述映射坐标在所述目标图像中对应的目标像素点包括：

确定以所述目标图像任一个顶点为原点的像素坐标系；

确定所述图像坐标系与所述像素坐标系的转换关系；

基于所述转换关系，将所述映射坐标由所述图像坐标系映射到所述像素坐标系中，获得对应的目标像素点。

6.根据权利要求1所述的方法，其特征在于，所述基于所述用户运动过程中对应的多个目标像素点，在所述目标图像中绘制运动轨迹之后，还包括：

确定最近一次检测用户运动时，所述用户在虚拟场景中的欧拉角度信息；

基于所述欧拉角度信息中的航偏角信息，确定运动方向；

在所述目标图像中标识所述运动方向。

7.根据权利要求6所述的方法，其特征在于，所述在所述目标图像中标识所述运动方向包括：

确定多个目标像素点中的最后获得的目标像素点的像素位置为光标箭头的光标位置；

以所述运动方向为箭头方向，在所述光标位置处显示所述光标箭头。

8.根据权利要求1所述的方法，其特征在于，所述基于所述用户运动过程中对应的多个目标像素点，在所述目标图像中绘制运动轨迹之后，所述方法还包括：

分析所述运动轨迹与预设轨迹的轨迹误差；

基于所述轨迹误差确定检测精度。

9.一种基于虚拟场景实现信息处理的装置，其特征在于，包括：

坐标检测模块，用于检测用户运动过程中所述用户在所述虚拟场景中的世界坐标系中对应的坐标信息；

第一确定模块，用于确定与所述虚拟场景独立显示的目标图像，以及以所述目标图像的图像中心为原点建立的图像坐标系；

坐标映射模块，用于将所述坐标信息从所述世界坐标系映射到所述图像坐标系中，获得映射坐标；

第二确定模块，用于确定所述映射坐标在所述目标图像中对应的目标像素点；

轨迹绘制模块，用于基于所述用户运动过程中对应的多个目标像素点，在所述目标图像中绘制运动轨迹。

10.一种基于虚拟场景实现信息处理的设备，其特征在于，所述设备包括：处理器，与所述处理器连接的存储器；

所述存储器用于存储一条或多条计算机指令；其中，所述一条或多条计算机指令被处理器调用并执行以实现如权利要求1～8任一项所述的方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行程序；

所述计算机可执行程序执行时实现如权利要求1～8任一项所述的方法。

Images