CN117130466A - 数据处理方法、装置及电子设备 - Google Patents

Abstract

本公开涉及一种数据处理方法、装置及电子设备，涉及数据处理技术领域，其中方法包括：VR设备对接收到的图像数据进行解码，得到待处理的平面图像；先获取用户的视角信息；再根据所述视角信息和所述平面图像，生成同一时间戳下的左眼图像和右眼图像；然后依据所述同一时间戳下的左眼图像和右眼图像，显示虚拟现实图像。通过应用本公开的技术方案，在保证显示效果的前提下，传输的数据量减少一半，对网络带宽的压力减少一半，减少造成网络拥塞的情况，传输时延也相应减少。并且不会出现左右眼不同步的传输问题，整个处理流程得到简化，更为简洁合理。

Description

数据处理方法、装置及电子设备

技术领域

本公开涉及数据处理技术领域，尤其涉及一种虚拟现实图像的处理方法、装置及电子设备。

背景技术

随着虚拟现实(Virtual Reality，VR)技术的不断发展，VR设备的使用越来越流行。利用人们的双眼立体视觉，可提供立体全景图像的观看体验。

目前，现有方案是可在电脑端、或者电视端、或者手机端等将单张平面图像先复制为两张相同的左眼和右眼图像数据。然后，可采用拼接或者双通道传输的方式传输左右眼图像给VR设备进行解析、解码、并推送给屏幕显示。

然而，这种方式会增加虚拟现实图像数据的传输数据量，容易造成网络拥塞的情况发生，也很容易出现传输时延的技术问题。

发明内容

有鉴于此，本公开提供了一种数据处理方法、装置及电子设备，主要目的在于改善目前会增加虚拟现实图像数据的传输数据量，容易造成网络拥塞的情况发生，也很容易出现传输时延的技术问题。

第一方面，本公开提供了一种数据处理方法，包括：

对接收到的图像数据进行解码，得到待处理的平面图像；

获取用户的视角信息；

根据所述视角信息和所述平面图像，生成同一时间戳下的左眼图像和右眼图像；

依据所述同一时间戳下的左眼图像和右眼图像，显示虚拟现实图像。

第二方面，本公开提供了一种数据处理装置，包括：

解码模块，被配置为对接收到的图像数据进行解码，得到待处理的平面图像；

获取模块，被配置为获取用户的视角信息；

生成模块，被配置为根据所述视角信息和所述平面图像，生成同一时间戳下的左眼图像和右眼图像；

显示模块，被配置为依据所述同一时间戳下的左眼图像和右眼图像，显示虚拟现实图像。

第三方面，本公开提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的数据处理方法。

第四方面，本公开提供了一种电子设备，包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面所述的数据处理方法。

借由上述技术方案，本公开提供的一种数据处理方法、装置及电子设备，可在VR设备端通过用户的视角信息，获取用于全景立体显示的左右眼图像，进而实现平面图像传输，而VR设备端呈现立体显示效果的技术方案。具体的，在VR设备端对接收到的图像数据进行解码，得到待处理的平面图像；首先获取用户的视角信息；再根据视角信息和该平面图像，生成同一时间戳下的左眼图像和右眼图像；然后依据同一时间戳下的左眼图像和右眼图像，显示虚拟现实图像。通过应用本公开的技术方案，无需将一张平面图像先复制为两张相同的左右眼图像数据进行传输，传输的是单张原始平面图像数据。VR设备端接收到单张的平面图像后，会根据当前用户的视角信息进行运算，分别得到适用于左右眼视角的图像，最后，在VR设备端显示。用户体验到的实际效果即为处理后的立体视觉效果。与现有技术相比，本公开在保证显示效果的前提下，传输的数据量减少一半，对网络带宽的压力减少一半，减少造成网络拥塞的情况，传输时延也相应减少。并且不会出现左右眼不同步的传输问题，整个处理流程得到简化，更为简洁合理。

上述说明仅是本公开技术方案的概述，为了能够更清楚了解本公开的技术手段，而可依照说明书的内容予以实施，并且为了让本公开的上述和其它目的、特征和优点能够更明显易懂，以下特举本公开的具体实施方式。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示出了本公开实施例提供的一种数据处理方法的流程示意图；

图2示出了本公开实施例提供的另一种数据处理方法的流程示意图；

图3示出了现有技术中的处理过程示意图；

图4示出了本公开实施例中的处理过程示意图；

图5示出了本公开实施例提供的总体处理过程的流程示意图；

图6示出了本公开实施例提供的改进前后对比的流程示意图；

图7示出了本公开实施例提供的一种数据处理装置的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。

为了改善目前会增加虚拟现实图像数据的传输数据量，容易造成网络拥塞的情况发生，也很容易出现传输时延的技术问题。本实施例提供了一种数据处理方法，如图1所示，可应用于VR设备端侧，该方法包括：

步骤101、对接收到的图像数据进行解码，得到待处理的平面图像。

在本实施例中，VR设备端接收到的图像数据可为视频数据或图片数据等。例如，以其中单张平面图像的传输过程为例，在电脑端、或者电视端、或者手机端等获取到单张平面图像，再将单张平面图像进行编码，然后将编码后的图像数据发送给VR设备端。具体可通过有线或无线方式发送数据包给VR设备端，VR设备端对接收到的数据包进行解析，对接收到的图像数据进行解码，得到该单张平面图像。然后对该单张平面图像进行处理，得到适用于左右眼视角的图像，最后，在VR设备端显示，具体可执行步骤102至104所示的过程。

与现有技术相比，本实施例无需在电脑端、或者电视端、或者手机端等将一张平面图像先复制为两张相同的左右眼图像数据进行传输，传输的是单张原始平面图像数据，传输的数据量减少一半，对网络带宽的压力减少一半，减少造成网络拥塞的情况，传输时延也相应减少。

步骤102、获取用户的视角信息。

对于本实施例可通过用户的视角信息，确定视角偏转，以获取用于全景立体显示的左右眼图像。例如，对于头戴式的VR设备，可通过用户的头部参数(每个用户会存在不同，具体可通过VR设备的传感器进行检测得到)，获取用户的视角信息。

步骤103、根据用户的视角信息和待处理的平面图像，生成同一时间戳下的左眼图像和右眼图像。

立体视觉是人们通常所说的3D，来自于英文Three-Dimensional的缩写。3D影像技术的核心是利用人的双眼观察物体的角度略有差异，因此能够辨别物体远近，产生立体视觉的这个原理，把左右眼所看到的影像分离，从而使观看者在2D的显示平面上可以看到立体的、有空间感的图像或视频，大大加强观众的临场感和身历其境的感觉。

关于双眼立体视觉一是会聚角，观看近距离物体时双眼视线向内侧会聚，大脑通过左右眼视线会聚角度得到空间深度信息，其有效范围在20米以内。二是视差，由于双眼位置不同左右眼看到的图像存在差异，人脑通过双眼图像位置的差异感受到空间深度信息也就是立体效果。大脑对视差非常敏感，可以感受到1/60度也就是1分的双眼视差。

本实施例中的VR设备利用的就是用户的双眼立体视觉。视频通常会生成左右眼两张图像，然后合并成一张图像，最后借助VR设备呈现出双眼立体的效果。通常视频长宽比为1：1(比如4096*4096)由两张长宽比为2：1的左右眼的全景图组合成一张1：1的图片。对于双眼立体全景视频，需要生成视频后，把左眼放在上半部分，右眼放在下半部分，组成一张图像，然后生成视频序列，最后用h264编码成mp4文件，给VR设备使用。

对于本实施例，为了实现上述目的，可根据用户的视角信息(视角偏转)进行图像处理，生成同一时间戳下的左眼图像和右眼图像。然后可合并成一张图像，最后借助VR设备呈现出双眼立体的效果。即步骤104所示的过程。

步骤104、依据同一时间戳下的左眼图像和右眼图像，显示虚拟现实图像。

本实施例可在VR设备端通过用户的视角信息，获取用于全景立体显示的左右眼图像，进而实现平面图像传输，而VR设备端呈现立体显示效果的技术方案。

通过应用本实施例的技术方案，无需将一张平面图像先复制为两张相同的左右眼图像数据进行传输，传输的是单张原始平面图像数据。VR设备端接收到单张的平面图像后，会根据当前用户的视角矩阵进行运算，分别得到适用用于左右眼视角的图像，最后，在VR设备端显示。用户体验到的实际效果即为处理后的立体视觉效果。与现有技术相比，本实施例在保证显示效果的前提下，传输的数据量减少一半，对网络带宽的压力减少一半，减少造成网络拥塞的情况，传输时延也相应减少。并且不会出现左右眼不同步的传输问题，整个处理流程得到简化，更为简洁合理。

进一步的，作为上述实施例的细化和扩展，为了完整说明本实施例方法的具体实现过程，本实施例提供了如图2所示的具体方法，该方法包括：

步骤201、对接收到的图像数据进行解码，得到待处理的平面图像。

步骤202、获取用户头部的姿态信息。

用户头部的姿态信息中可包含用户头部姿态的相关信息内容。

步骤203、根据用户头部的姿态信息，确定用户的视角信息。

对于本实施例，通过用户头部的姿态信息，可准确确定用户的视角信息，进而准确确定用户的视角偏转情况，便于后续通过一张平面图像准确生成符合要求的左眼图像和右眼图像。

可选的，视角信息可包括：用户的视角矩阵信息。视角矩阵(Lookat Matrix)：假设三维空间有一个观察者(相机，Camera)，这个观察者有它的坐标位置、视角、焦点，根据这3个参数，可以建立一个正交化、规范化的坐标系(一个正交化、单位化的3x3矩阵)，这个坐标系对应的矩阵就是视角矩阵。

在本可选方式中，步骤203具体可执行步骤2031至2034所示的过程。

步骤2031、从用户头部的姿态信息中，获取传感器检测到的用户头部的四元数。

步骤2032、根据传感器检测到的用户头部的四元数，确定用户的双眼中心视角矩阵。

传感器可为与VR设备连接的、或者VR设备上的传感器，可用于检测用户头部的四元数，进而作为参考依据，确定用户的双眼中心视角矩阵。随着头部的转动，会产生一个四元数，这是传感器能够检测到的。比如传感器检测到的人头部的四元数为：ovrQuatf(w，x，y，z)。为了方便地在程序中应用这个四元数，需要将其转换成矩阵形式，以方便用线性代数的矩阵知识来计算。

可选的，步骤2032具体可包括：首先将用户头部的四元数转换成矩阵形式，得到用户的双眼中心旋转矩阵，以及根据双眼中心在世界坐标系中的位置，确定用户的双眼中心偏移矩阵；然后依据该用户的双眼中心旋转矩阵和双眼中心偏移矩阵，确定用户的双眼中心视角矩阵。

在本可选方式中，因为眼部姿态和头部姿态的旋转用的是同一个四元数。所以可将头部姿态的四元数经过上面的转换，就得到了双眼中心旋转矩阵。这个时候根据双眼中心在世界坐标系中的位置，可以得到了双眼中心偏移矩阵。

示例性的，上述依据该用户的双眼中心旋转矩阵和双眼中心偏移矩阵，确定用户的双眼中心视角矩阵，具体可包括：首先将用户的双眼中心旋转矩阵和双眼中心偏移矩阵相乘，得到用户的双眼中心转换矩阵；然后对该双眼中心转换矩阵求其逆矩阵，进而可得到用户的双眼中心视角矩阵。

通过这种可选方式，可准确得到用户的双眼中心视角矩阵，便于后续准确生成左眼图像和右眼图像，保证虚拟现实图像的显示效果。

步骤2033、依据用户双眼中心视角矩阵，确定用户的左右眼视角矩阵。

在VR设备(如VR眼镜)中，具有两组分别与使用者的左眼和右眼相对应的透镜组件，由于不同使用者的双眼的瞳距各不相同，若透镜组件之间的距离恒定不变，必然会导致部分使用者在使用VR设备时难以获得较好的体验感受。一款质量好的VR设备，还需拥有可调节焦距的功能。将瞳距与焦距均调节到合理位置，才能让图像准确落在视网膜上(尤其是焦距)获得清晰视图，拒绝重影。

其中，瞳距是产生不同视角的前提，瞳距越大，双眼视线交汇时产生的视角也越大，获得的物体两侧信息就越丰富，空间感也越强烈。在进行瞳距调节时，VR设备一般会结合传感器会获取眼球移动轨迹长度和移动方向作为显示的双眼画面同步调节的参数，从而实现双眼画面的同步调节。而实际应用中，用户通过手动调节的焦距的信息可存储到VR设备中，供系统获取该参数信息。

对同一个VR场景，实际上左右眼看到的图像是有差异的。这个差异要在绘制的时候，通过改变相机(Camera)的位置来体现。所以还要在前面基础上计算出左右眼对应的Camera的视角矩阵才行。这个时候首先要了解瞳距(Interpupillary Distance)这个概念：比如，如果瞳距为0.0640f(单位为米)，那么就要将Camera往左偏移半个瞳距，形成左眼的Camera位置，将Camera往右偏移半个瞳距，形成右眼的Camera位置。计算出的左眼偏移(eyeOffset)＝-0.0320f(单位为米)，右眼偏移(eyeOffset)＝0.0320f(单位为米)。

为了使得矩阵做上述这样的偏移，可选的，步骤2033具体可包括：首先基于用户的瞳距，创建齐次偏移矩阵；然后根据该齐次偏移矩阵和用户的双眼中心视角矩阵，确定用户的左右眼视角矩阵。

示例性的，上述基于用户的瞳距，创建齐次偏移矩阵，具体包括：基于用户的瞳距，确定左右眼所需偏移的位移；利用左右眼所需偏移的位移，创建齐次偏移矩阵。

创建一个齐次偏移矩阵(Translation)，要让物体发生一个位移(x，y，z)的位移，则可以乘以下面这个齐次转换矩阵：

因此如果要偏移当前Camera，就可以将Camera对应的矩阵乘以一个左右眼的偏移矩阵。相应可选的，上述根据齐次偏移矩阵和双眼中心视角矩阵，确定用户的左右眼视角矩阵，具体可包括：将用户的双眼中心视角矩阵和齐次偏移矩阵相乘，得到用户的左右眼视角矩阵。

例如，将Camera矩阵(也就是步骤2032得到的双眼中心视角矩阵)和这个齐次偏移矩阵相乘，得到用户左右眼的视角矩阵。

步骤2034、利用用户的左右眼视角矩阵，确定左右眼画面中元素的绘制位置。

步骤204、按照左眼画面中元素的绘制位置，将平面图像进行调整得到左眼图像，以及按照右眼画面中元素的绘制位置，将平面图像进行调整得到右眼图像。

在本实施例中，根据视角矩阵和原始图像分别计算出左右眼图像，在计算得到了左右眼的视角矩阵之后，左右眼画面中元素(如物体、人物、背景等)的具体绘制位置，都要由这个视角矩阵来决定。

步骤205、依据同一时间戳下的左眼图像和右眼图像，显示虚拟现实图像。

可选的，步骤205具体可包括：将左眼图像在左眼显示区域内显示，同时将右眼图像在右眼显示区域内显示。例如，经过上述步骤204的处理，得到左右眼图像是一一对应的，之后，将对应同一时间戳下的左右眼图像推送上屏(VR设备屏幕)显示。

为了说明上述各实施例的具体实现过程，给出如下应用场景，但不限于此：

VR头戴是一种利用VR技术的显示设备，完整的VR设备包括VR头戴和手柄。通常使用手柄和VR头戴中的虚拟用户界面(User Interface，UI)进行操作来解决交互需求。

目前，现有的VR全景体验，一种场景是可专业的游戏平台获取平台提供的左右眼数据，再推送给VR头戴端显示；另一种场景是将使用不同相机拍摄的两张左右眼全景图像推送给VR头戴端显示。无论是哪个场景，用于显示的图像都是现成的。要么是平台合成好的，要么是相机拍摄好的。而如果没有现成的左右眼图像，如用户可将单张平面图像(如电脑屏幕或者电视屏幕)投影到VR头戴端做全景显示，目前传统方案的处理流程可如图3所示，在电脑端、或者电视端、或者手机端等处理得到左右眼图像后，可通过双通道的方式传输给VR头戴端。或者还可以在电脑端、或者电视端、或者手机端等将左右眼图像拼接后进行传输。

如图4所示，本实施例的方案是单通道传输，在VR设备端侧将一张平面图像(原始图像)通过用户的瞳距、VR设备焦距计算出视角偏转，由视角偏转和平面原始图像经图像处理后得到双眼的立体全景左右眼图像，之后在VR头戴端的屏幕显示出来。

如图3所示的，现有方案中都是将一张平面图片先复制为两张相同的左眼和右眼图像数据。然后，采用拼接或者双通道传输的方式传输左右眼图像给头戴端进行解析、解码、推送给屏幕显示。而改进后的本方案(如图4所示)传输的仅为单张原始平面图像数据。VR头戴端接收到单张的平面图像后，会根据当前用户的视角矩阵进行运算，分别得到适用用于左右眼视角的图像，最后在VR头戴端显示。用户体验到的实际效果即为处理后的立体视觉效果。

相比于现有技术方案，本方案在传输数据量上，数据量减少一半，从而对网络带宽的压力减少一半，造成网络拥塞的情况减少，传输时延相应减少。在传输时延上，由于传输数据量仅为现有方案的一半，则传输耗时仅需原时间消耗的一半。现有方案中双通道传输左右眼数据会造成一定的不同步现象，而本方案不会引入左右眼不同步的传输问题。另外现有方案(拼接)中，需要将左右眼数据拷贝到一起后进行传输，而在接收端需要再通过拷贝数据进行拆分。该部分操作对系统资源占用和时延有部分消耗。而本方案仅在头戴端实现视角矩阵的运算，电脑端、或者电视端、或者手机端等仅做发送操作，整个流程简化，更为简洁合理。

如图5所示，为本方案的总体处理流程图，具体执行以下流程步骤：

(a)从电脑桌面、电视端、手机端等获取单张平面图像；

(b)将单张平面图像进行编码；

(c)将编码后的单张平面图像发送给头戴端；

(d)将打包后的数据通过有线或无线方式发送给头戴端进行解析，不局限于具体的传输方式(WIFI、DP、USB等)；

(e)头戴端对接收到的数据包进行拆包解析；

(f)对接收到的单张图像数据进行解码；

(g)获取用户的视角矩阵；

具体首先根据传感器检测到的人头部四元数，计算出双眼中心视角矩阵；再根据双眼中心视角矩阵，计算出左右眼视角矩阵，进而决定出左右眼画面中物体的具体绘制位置。

(h)根据视角矩阵和原始图像分别计算出左右眼图像——在计算得到了左右眼的视角矩阵之后。左右眼画面中物体的具体绘制位置，都要由这个视角矩阵来决定。；

(i)此时得到左右眼图像是一一对应的，之后，将对应同一时间戳下的左右眼图像推送到屏端显示。

如图6所示，为与现有技术相比，方案改进前后的流程处理对比。在改进前，电脑端、或者电视端、或者手机端等将单张原始图像复制为两张相同的左右眼图像，之后，对左右眼数据编码后传输给头戴端。而VR头戴端将左右眼数据解码后推送给屏幕显示。

在改进后，电脑端、或者电视端、或者手机端等将单张原始图像数据编码后传输给VR头戴端。VR头戴端对接收到的单张图像数据进行解析、解码；获取用户的视角矩阵；根据视角矩阵和单张图像运算得到不同的左眼和右眼图像数据；将同一时间戳下的左右眼图像推送给屏幕显示。

通过比较可确定应用本技术方案具有以下特点：

1、数据量小——仅为传统方案数据量的一半

2、左右眼同步性增强——左右眼数据强绑定，对比双通道传输而言，无需做左右眼同步处理。

3、对带宽要求低——基于特点“1”，传输数据量的减少，可以有效减少对网络带宽的压力，降低出现网络拥塞的频率，从而有效提升用户体验。

4、在PC发送端，仅需对单张原始图像进行编码后传输，处理的流程简单，简洁明快。

5、视角矩阵的应用——头戴端可获取用户的瞳距、自定义焦距等参数信息，从而获取用户的视角矩阵，视角矩阵的线性运算效率高，时延低，且可以最大程度上减少由于网络传输时延、丢包等引入的左右眼不同步的问题。

与传统左右眼复制图像传输方案相比，经过本方案优化后的用户体验效果更立体，虚拟现实的效果更强烈。

进一步的，作为图1和图2所示方法的具体实现，本实施例提供了一种数据处理装置，如图7所示，该装置包括：解码模块31、获取模块32、生成模块33、显示模块34。

解码模块31，被配置为对接收到的图像数据进行解码，得到待处理的平面图像；

获取模块32，被配置为获取用户的视角信息；

生成模块33，被配置为根据所述视角信息和所述平面图像，生成同一时间戳下的左眼图像和右眼图像；

显示模块34，被配置为依据所述同一时间戳下的左眼图像和右眼图像，显示虚拟现实图像。

在具体的应用场景中，获取模块32，具体被配置为获取用户头部的姿态信息；根据所述用户头部的姿态信息，确定所述用户的视角信息。

在具体的应用场景中，可选的，视角信息包括：用户的视角矩阵信息；获取模块32，具体被配置为从所述用户头部的姿态信息中，获取传感器检测到的用户头部的四元数；根据传感器检测到的用户头部的四元数，确定用户的双眼中心视角矩阵；依据所述双眼中心视角矩阵，确定用户的左右眼视角矩阵；利用所述左右眼视角矩阵，确定左右眼画面中元素的绘制位置。

在具体的应用场景中，获取模块32，具体还被配置为将用户头部的四元数转换成矩阵形式，得到用户的双眼中心旋转矩阵，以及根据双眼中心在世界坐标系中的位置，确定用户的双眼中心偏移矩阵；依据所述双眼中心旋转矩阵和所述双眼中心偏移矩阵，确定所述双眼中心视角矩阵。

在具体的应用场景中，获取模块32，具体还被配置为将所述双眼中心旋转矩阵和所述双眼中心偏移矩阵相乘，得到用户的双眼中心转换矩阵；对所述双眼中心转换矩阵求其逆矩阵，得到所述双眼中心视角矩阵。

在具体的应用场景中，获取模块32，具体还被配置为基于用户的瞳距，创建齐次偏移矩阵；根据所述齐次偏移矩阵和所述双眼中心视角矩阵，确定所述左右眼视角矩阵。

在具体的应用场景中，获取模块32，具体还被配置为基于用户的瞳距，确定左右眼所需偏移的位移；利用所述左右眼所需偏移的位移，创建所述齐次偏移矩阵。

在具体的应用场景中，获取模块32，具体还被配置为将所述双眼中心视角矩阵和所述齐次偏移矩阵相乘，得到所述左右眼视角矩阵。

在具体的应用场景中，生成模块33，具体被配置为按照左眼画面中元素的绘制位置，将所述平面图像进行调整得到左眼图像，以及按照右眼画面中元素的绘制位置，将所述平面图像进行调整得到右眼图像。

在具体的应用场景中，显示模块34，具体被配置为将左眼图像在左眼显示区域内显示，同时将右眼图像在右眼显示区域内显示。

需要说明的是，本实施例提供的一种数据处理装置所涉及各功能单元的其它相应描述，可以参考图1和图2中的对应描述，在此不再赘述。

基于上述如图1和图2所示方法，相应的，本实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述如图1和图2所示的数据处理方法。

基于这样的理解，本公开的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施场景的方法。

基于上述如图1和图2所示的方法，以及图7所示的虚拟装置实施例，为了实现上述目的，本公开实施例还提供了一种电子设备，如VR设备，该设备包括存储介质和处理器；存储介质，用于存储计算机程序；处理器，用于执行计算机程序以实现上述如图1和图2所示的数据处理方法。

可选的，上述实体设备还可以包括用户接口、网络接口、摄像头、射频(RadioFrequency，RF)电路，传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等，可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)等。

本领域技术人员可以理解，本实施例提供的上述实体设备结构并不构成对该实体设备的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。

存储介质中还可以包括操作系统、网络通信模块。操作系统是管理上述实体设备硬件和软件资源的程序，支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信，以及与信息处理实体设备中其它硬件和软件之间通信。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本公开可以借助软件加必要的通用硬件平台的方式来实现，也可以通过硬件实现。通过应用本实施例的方案，无需将一张平面图像先复制为两张相同的左右眼图像数据进行传输，传输的是单张原始平面图像数据。VR设备端接收到单张的平面图像后，会根据当前用户的视角矩阵进行运算，分别得到适用用于左右眼视角的图像，最后，在VR设备端显示。用户体验到的实际效果即为处理后的立体视觉效果。与现有技术相比，本实施例在保证显示效果的前提下，传输的数据量减少一半，对网络带宽的压力减少一半，减少造成网络拥塞的情况，传输时延也相应减少。并且不会出现左右眼不同步的传输问题，整个处理流程得到简化，更为简洁合理。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (13)

1.一种数据处理方法，其特征在于，包括：

对接收到的图像数据进行解码，得到待处理的平面图像；

获取用户的视角信息；

根据所述视角信息和所述平面图像，生成同一时间戳下的左眼图像和右眼图像；

依据所述同一时间戳下的左眼图像和右眼图像，显示虚拟现实图像。

2.根据权利要求1所述的方法，其特征在于，所述获取用户的视角信息，包括：

获取用户头部的姿态信息；

根据所述用户头部的姿态信息，确定所述用户的视角信息。

3.根据权利要求2所述的方法，其特征在于，所述视角信息包括：用户的视角矩阵信息；

所述根据所述用户头部的姿态信息，确定所述用户的视角信息，具体包括：

从所述用户头部的姿态信息中，获取传感器检测到的用户头部的四元数；

根据所述用户头部的四元数，确定用户的双眼中心视角矩阵；

依据所述双眼中心视角矩阵，确定用户的左右眼视角矩阵；

利用所述左右眼视角矩阵，确定左右眼画面中元素的绘制位置。

4.根据权利要求3所述的方法，其特征在于，所述根据所述用户头部的四元数，确定用户的双眼中心视角矩阵，具体包括：

将用户头部的四元数转换成矩阵形式，得到用户的双眼中心旋转矩阵，以及根据双眼中心在世界坐标系中的位置，确定用户的双眼中心偏移矩阵；

依据所述双眼中心旋转矩阵和所述双眼中心偏移矩阵，确定所述双眼中心视角矩阵。

5.根据权利要求4所述的方法，其特征在于，所述依据所述双眼中心旋转矩阵和所述双眼中心偏移矩阵，确定所述双眼中心视角矩阵，具体包括：

将所述双眼中心旋转矩阵和所述双眼中心偏移矩阵相乘，得到用户的双眼中心转换矩阵；

对所述双眼中心转换矩阵求其逆矩阵，得到所述双眼中心视角矩阵。

6.根据权利要求3所述的方法，其特征在于，所述依据所述双眼中心视角矩阵，确定用户的左右眼视角矩阵，具体包括：

基于用户的瞳距，创建齐次偏移矩阵；

根据所述齐次偏移矩阵和所述双眼中心视角矩阵，确定所述左右眼视角矩阵。

7.根据权利要求6所述的方法，其特征在于，所述基于用户的瞳距，创建齐次偏移矩阵，具体包括：

基于用户的瞳距，确定左右眼所需偏移的位移；

利用所述左右眼所需偏移的位移，创建所述齐次偏移矩阵。

8.根据权利要求6所述的方法，其特征在于，所述根据所述齐次偏移矩阵和所述双眼中心视角矩阵，确定所述左右眼视角矩阵，具体包括：

将所述双眼中心视角矩阵和所述齐次偏移矩阵相乘，得到所述左右眼视角矩阵。

9.根据权利要求3至8中任一项所述的方法，其特征在于，所述根据所述视角信息和所述平面图像，生成同一时间戳下的左眼图像和右眼图像，包括：

按照左眼画面中元素的绘制位置，将所述平面图像进行调整得到左眼图像，以及按照右眼画面中元素的绘制位置，将所述平面图像进行调整得到右眼图像。

10.根据权利要求1所述的方法，其特征在于，所述依据所述同一时间戳下的左眼图像和右眼图像，显示虚拟现实图像，包括：

将左眼图像在左眼显示区域内显示，同时将右眼图像在右眼显示区域内显示。

11.一种数据处理装置，其特征在于，包括：

解码模块，被配置为对接收到的图像数据进行解码，得到待处理的平面图像；

获取模块，被配置为获取用户的视角信息；

生成模块，被配置为根据所述视角信息和所述平面图像，生成同一时间戳下的左眼图像和右眼图像；

显示模块，被配置为依据所述同一时间戳下的左眼图像和右眼图像，显示虚拟现实图像。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法。

13.一种电子设备，包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至10中任一项所述的方法。