CN107317987B - 虚拟现实的显示数据压缩方法和设备、系统 - Google Patents

Abstract

本申请公开了虚拟现实的显示数据压缩方法和设备、系统，根据头戴式虚拟现实设备的注视点位置信息，按照预设FOV在待传输的整体显示数据中确定与注视点位置对应的注视区域数据，注视区域数据是以注视点位置为中心的周围局部显示数据，相比原先整体显示数据要小很多；将待传输的整体显示数据按照预设角度分辨率生成非注视区域数据，预设角度分辨率小于显示屏的角度分辨率，相比原先的高分辨率图像的整体图像显示数据而言，非注视区域数据的数据量得到大大的减小；从而实现在传输所述注视区域数据和所述非注视区域数据时，占用的数据传输带宽得到大大减小，可传输的显示数据帧率也可以得到大大提高。

Description

虚拟现实的显示数据压缩方法和设备、系统

技术领域

本申请涉及虚拟现实技术领域，尤其涉及一种虚拟现实的显示数据压缩方法和设备、系统。

背景技术

现有的虚拟现实(简称VR)设备需要支持的显示分辨率要求越来越高，从1k，2k到4k，未来甚至需要支持8k，16k的屏幕分辨率，以消除显示的纱窗效应，增强虚拟环境下的显示效果的真实性。与此同时显示刷新率也越来越高，从最基本的70Hz，增加到90Hz、120Hz。对于VR主机，VR主机与VR头显之间多采用有线连接(例如，HDMI，Display Port，USB Type-C等)。但如果VR主机与VR头显之间采用无线连接(例如60GHz毫米波)则面临显示输出传输带宽过大的问题。以90Hz的单眼1K(1200*1080)屏幕为例，1个像素点用24bit表示，则需要传送1200*1080*2(双眼)*90*24＝5.6G bps的图像数据，如此大的图像数据传输需要占用较大的带宽。目前较为成熟的60GHz传输方案的带宽约为3Gpbs左右。当无线传输方式带宽不够时则需要对数据进行压缩和解压缩，算法复杂度太高的压缩算法将导致时延Latency过大，而时延则是影响VR体验的关键因素。

发明内容

为了解决上述问题，本申请提供一种虚拟现实的显示数据压缩方法和设备、系统，可以降低VR主机与VR显示设备之间的无线传输带宽压力，提高图形渲染显示数据的输出帧率。

本申请提供一种虚拟现实的显示数据压缩系统，包括：头戴式虚拟现实设备和虚拟现实主机；

所述头戴式虚拟现实设备，用于获取注视点位置信息或获取用于计算注视点位置信息的眼部图像信息，所述注视点位置信息为人眼注视点在显示屏上的位置信息，将所述注视点位置信息发送给虚拟现实主机，或者将所述眼部图像信息发送给虚拟现实主机以使所述虚拟现实主机根据所述眼部图像信息进行注视点位置信息的计算；

所述虚拟现实主机，用于按照预设视场角FOV在待传输的显示数据中确定与所述注视点位置信息对应的注视区域数据，所述注视区域数据是以注视点位置为中心的周围一定范围内的局部显示数据；

所述虚拟现实主机，还用于将待传输的显示数据按照预设角度分辨率生成非注视区域数据，所述预设角度分辨率为经过降采样处理后的小于显示屏角度分辨率的角度分辨率；

所述虚拟现实主机，还用于将所述注视区域数据和所述非注视区域数据发送给所述头戴式虚拟现实设备，或者将所述注视区域数据和所述非注视区域数据以及所述注视点位置信息发送给所述头戴式虚拟现实设备；

所述头戴式虚拟现实设备，还用于根据所述注视点位置信息将所述注视区域数据和所述非注视区域数据合成为待显示数据。

可选地，所述预设视场角FOV包括水平视场角和垂直视场角，小于所述头戴式虚拟现实设备的显示屏的FOV，所述预设视场角FOV根据所需的显示效果进行确定的。

可选地，所述预设角度分辨率是根据预设的百分比乘以显示屏的角度分辨率得到，预设的百分比根据所需的显示效果进行确定。

可选地，所述头戴式虚拟现实设备具体用于：

将非注视区域数据的分辨率重建为与所述显示屏的分辨率相同；

根据注视点位置信息，将注视区域数据覆盖到高分辨率重建后的非注视区域数据中且与注视点位置信息相对应的位置，得到合成后的待显示数据；

对合成后的待显示数据进行平滑融合处理。

本申请还提供一种虚拟现实的显示数据压缩方法，位于虚拟现实主机侧执行，包括：

虚拟现实主机接收头戴式虚拟现实设备获取的注视点位置信息，或接收头戴式虚拟现实设备获取的眼部图像信息，根据所述眼部图像信息计算注视点位置信息，所述注视点位置信息为人眼注视点在显示屏上的位置信息；

所述虚拟现实主机按照预设的视场角FOV在待传输的显示数据中确定与所述注视点位置信息对应的注视区域数据，所述注视区域数据是以注视点位置为中心的周围一定范围内的局部显示数据；

所述虚拟现实主机将待传输的显示数据按照预设角度分辨率生成非注视区域数据，所述预设角度分辨率为经过降采样处理后的小于显示屏角度分辨率的角度分辨率；

所述虚拟现实主机将所述注视区域数据和所述非注视区域数据发送给所述头戴式虚拟现实设备，或者将所述注视区域数据和所述非注视区域数据以及所述注视点位置信息发送给所述头戴式虚拟现实设备，以使所述头戴式虚拟现实设备根据所述注视点位置信息将所述注视区域数据和所述非注视区域数据合成为待显示数据。

可选地，所述预设的视场角FOV包括水平视场角和垂直视场角，且小于所述头戴式虚拟现实设备的显示屏的FOV，所述预设的视场角FOV是根据所需的显示效果进行确定的。

可选地，所述预设角度分辨率是根据预设的百分比乘以显示屏的角度分辨率得到，预设的百分比根据所需的显示效果进行确定。

本申请还提供一种虚拟现实主机，包括：通信模块和处理器；

所述通信模块，用于接收头戴式虚拟现实设备获取的注视点位置信息，或接收头戴式虚拟现实设备获取的用于计算注视点位置的眼部图像信息，所述注视点位置信息为人眼注视点在显示屏上的位置信息；

所述处理器，用于按照预设的视场角FOV在待传输的显示数据中确定与所述注视点位置信息对应的注视区域数据，所述注视区域数据是以注视点位置为中心的周围一定范围内的局部显示数据；

所述处理器，还用于将待传输的显示数据按照预设角度分辨率生成非注视区域数据，所述预设角度分辨率为经过降采样处理后的小于显示屏角度分辨率的角度分辨率；

所述通信模块，还用于将所述注视区域数据和所述非注视区域数据发送给所述头戴式虚拟现实设备，或者将所述注视区域数据和所述非注视区域数据以及所述注视点位置信息发送给所述头戴式虚拟现实设备，以使所述头戴式虚拟现实设备根据所述注视点位置信息将所述注视区域数据和所述非注视区域数据合成为待显示数据。

本申请还提供一种虚拟现实的显示数据压缩方法，位于头戴式虚拟现实设备侧执行，包括：

头戴式虚拟现实设备获取注视点位置信息或用于计算注视点位置的眼部图像信息，所述注视点位置信息为人眼注视点在显示屏上的位置信息；

所述头戴式虚拟现实设备向虚拟现实主机发送所述注视点位置信息，或发送用于计算注视点位置的眼部图像信息，以使所述虚拟现实主机根据所述眼部图像信息计算生成注视点位置信息，按照预设的视场角FOV在待传输的显示数据中确定与所述注视点位置信息对应的注视区域数据，所述注视区域数据是以注视点位置为中心的周围一定范围内的局部显示数据；将待传输的显示数据按照预设角度分辨率生成非注视区域数据，所述预设角度分辨率为经过降采样处理后的小于显示屏角度分辨率的角度分辨率；并将所述注视区域数据和所述非注视区域数据发送给所述头戴式虚拟现实设备，或者将所述注视区域数据和所述非注视区域数据以及所述注视点位置信息发送给所述头戴式虚拟现实设备；

所述头戴式虚拟现实设备根据所述注视点位置信息将所述注视区域数据和所述非注视区域数据合成为待显示数据。

本申请还提供一种头戴式虚拟现实设备，包括：处理器和通信模块；

其中，所述处理器，用于获取注视点位置信息或用于计算注视点位置的眼部图像信息，所述注视点位置信息为人眼注视点在显示屏上的位置信息；

所述通信模块，用于向虚拟现实主机发送所述注视点位置信息，或发送用于计算注视点位置的眼部图像信息，以使虚拟现实主机计算生成注视点位置信息，按照预设的视场角FOV在待传输的显示数据中确定与所述注视点位置信息对应的注视区域数据，所述注视区域数据是以注视点位置为中心的周围一定范围内的局部显示数据；将待传输的显示数据按照预设角度分辨率生成非注视区域数据，所述预设角度分辨率为经过降采样处理后的小于显示屏角度分辨率的角度分辨率；接收所述虚拟现实主机发送的所述注视区域数据和所述非注视区域数据，或者接收所述虚拟现实主机发送的所述注视区域数据和所述非注视区域数据以及所述注视点位置信息；

所述处理器，还用于根据所述注视点位置信息将所述注视区域数据和所述非注视区域数据合成为待显示数据。

本申请实施例可以根据头戴式虚拟现实设备的注视点位置信息，按照预设FOV在待传输的整体显示数据中确定与所述注视点位置信息对应的注视区域数据，所述注视区域数据是以注视点位置为中心的周围一定范围内的局部显示数据，因此，注视区域数据的数据量相比原先整体显示数据要小很多；将待传输的整体显示数据按照预设角度分辨率生成非注视区域数据，所述预设角度分辨率小于显示屏的角度分辨率，由于非注视区域数据是整体的低分辨率图像显示数据，相比原先的高分辨率图像的整体图像显示数据而言，非注视区域数据的数据量得到大大的减小；从而可以实现在将所述注视区域数据和所述非注视区域数据发送给所述头戴式虚拟现实设备时，占用的数据传输带宽得到大大减小，可传输的显示数据帧率也可以得到大大提高。可以解决现有技术中VR主机与VR显示设备之间的无线传输带宽压力大的问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1-1为本申请一实施例提供的虚拟现实的显示数据压缩方法的流程示意图；

图1-2为本申请另一实施例提供的虚拟现实的显示数据压缩方法的流程示意图；

图2为本申请实施例采用的视场角示意图；

图3为本申请实施例采用的图像数据合成示意图；

图4为本申请一实施例提供的虚拟现实的显示数据压缩系统结构示意图；

图5为本申请一实施例提供的虚拟现实主机的结构示意图；

图6为本申请一实施例提供的头戴式虚拟现实设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。

虚拟现实是指一种将虚拟化技术加到用户感官上再来观察世界的方式，通过科学技术模拟仿真后再叠加到现实世界被用户所感知，从而达到超现实的感官体验。

本申请的一种应用场景举例如下：

VR主机与VR头显之间采用无线连接，当VR主机根据VR头显的头部的空间位置与方向信息，进行图形渲染后，需要将图形渲染生成的显示数据发送至VR显示屏进行显示。由于显示数据量比较大，不仅传输时需要占用较大的带宽，而且还造成显示数据传输时延过大，最终影响VR体验。

本申请解决的技术问题是如何降低VR主机与VR显示设备之间的无线传输带宽压力。

其中，本申请实施例中所述的虚拟现实主机为VR主机，头戴式虚拟现实设备为VR头显。

图1-1为本申请一实施例提供的虚拟现实的显示数据压缩方法的流程示意图，如图1-1所示，当注视点位置信息在头戴式虚拟现实设备侧计算得到时，所述方法包括：

101、头戴式虚拟现实设备获取注视点位置信息，将所述注视点位置信息发送给虚拟现实主机；

其中，所述注视点位置信息为人眼注视点在显示屏上的位置信息。

由于人眼的视场角是有限的，一般而言，映在人眼视网膜上的图像，只有中心部分能分辨清楚，这部分通常叫分辨视域，约视场角8度到15度。从视场角15到30度之间部分称为有效视域，在有效视域中用户能看清物体的存在和动作，虽然不需要转动头部也能看清楚，但是分辨力已经下降了。视场角超过30度的周边部分称为诱导视野，只能感觉物体的存在，不能看清楚是什么物体。

本申请实施例中，通过上述人眼特性，采用人眼追踪技术获取人眼注视点在显示屏上的人眼注视点位置信息。例如，可以利用电子/光学等各种检测手段获取用户当前“注视方向”的技术。它是利用眼球转动时相对位置不变的某些眼部结构和特征作为参照，在位置变化特征和这些不变特征之间提取视线变化参数，而后通过几何模型或映射模型获取视线方向。

其中，根据人眼提取的特征一般有3类：1)瞳孔中心与角膜反射的向量；2)角膜反射矩阵；3)虹膜的椭圆边界。目前基于眼睛视频分析的视频追踪系统(VOG)普遍使用瞳孔-角膜反射方法，通过追踪瞳孔中心和角膜反射的相对位置获得视线方向。角膜反射是光源(一般是近红外光源)在角膜表面反射形成的虚像，相机获取到的眼睛图像中的瞳孔经过角膜折射后形成的虚像。例如，捕获的眼睛图像，经图像处理提取瞳孔中心与光斑位置信息，提取出平面视线方向参数，然后由建立好的数学模型将平面信息转化为人眼空间视线信息数据。

本申请实施例中，可以预先在头戴VR设备内预置视线映射关系。视线映射关系为人眼空间视线信息数据与头戴VR设备上的图像显示源的左右像素点对的坐标之间的映射关系(亦可称为视线-屏幕坐标映射关系)。

本实施例中获取人眼注视点在显示屏上的注视点位置信息具体为：

视线追踪系统记录用户注视某一目标物时的人眼空间视线信息数据。具体为：在用户通过头戴VR设备看外界环境时，视线追踪系统实时追踪用户眼球的视线变化，当用户注视某一目标物时，视线追踪系统计算此时用户的人眼空间视线信息数据，从而根据传送的人眼空间视线信息数据及视线映射关系，获得对应的图像显示源像素点对的坐标位置数据，即为注视点位置信息。

102、虚拟现实主机按照预设FOV在待传输的显示数据中确定与所述注视点位置信息对应的注视区域数据；

需要说明的是，人眼注视点的基本运动方式有注视和跳动，注视时一般持续时间在100ms以上才能看清物体。而在眼球追踪系统中，摄像头的帧率通常在60Hz以上，每帧图像的捕获以及算法计算耗时，通常在30ms以下。因此在决定局部的注视区域图像的视场角(FOV)时，通常只考虑注视分辨视域时有效视域和诱导视野内的拼接线对视觉的干扰效应，而不考虑人眼转动速度因素。

本申请实施例中先根据人眼的注视点位置信息确定局部显示数据的图像区域范围，生成对应的注视区域数据。

其中，预设FOV小于所述头戴式虚拟现实设备的显示屏的FOV，通常FOV包含水平视场角和垂直视场角，需要说明的是，本实施例中，预设的局部注视区域图像的水平视场角和垂直视场角是根据所需的显示效果进行确定的；所述注视区域数据是以注视点位置为中心的周围一定范围内的局部显示数据；

通常，由于注视区域数据越小，注视点渲染效果越差，因为视野内离注视点较近区域的显示清晰度会对人的观察效果产生影响；注视区域数据越大，低清晰度的外围区域离的越远，对观察效果的影响越小；因此，预设的局部图像水平视场角和垂直视场角是根据实际所需要的注视点渲染效果进行确定的。

举例来说，由于注视区域数据是整体待显示图像数据的局部图像的显示数据，使用的视场角FOV要比原整体视场角FOV要小，比如水平40度，垂直36度。由于注视区域数据是人眼注视点周围的局部清晰图像数据，因此需要保持原来的清晰度，即角度分辨率(如12像素/度)不变，则预设FOV对应的分辨率为480×432(12×40＝480，12×36＝432)，因此注视区域数据的数据量远远小于整体待显示图像数据。

103、虚拟现实主机将待传输的显示数据按照预设角度分辨率生成非注视区域数据；

其中，所述预设角度分辨率为经过降采样处理后的小于显示屏的角度分辨率；

其中，角度分辨率是指在视场角范围内，每度视场角对应的像素点个数；

所述非注视区域数据为对应于虚拟现实设备视场角的整体图像显示数据；假设VR设备的显示分辨率为单眼1200*1080，水平FOV为100度，垂直FOV为90度，则水平角度分辨率为1200/100＝12像素/度；垂直角度分辨率为：1080/90＝12像素/度。因此，本申请实施例所述的预设角度分辨率是根据预设的百分比乘以显示屏的角度分辨率得到，预设的百分比根据所需的显示效果进行确定。

图2为本申请实施例采用的视场角示意图，如图2所示，假设VR头显的显示分辨率为单眼1200*1080，水平FOV为100度，垂直FOV为90度，水平角度分辨率为1200/100＝12个像素点。假设预设角度分辨率为原分辨率的1/3，即400×360，对待显示数据进行1/3降采样即可生成非注视区域数据，因此，非注视区域数据是整体的低分辨率图像显示数据，数据量得到大大减少。

104、虚拟现实主机将所述注视区域数据和所述非注视区域数据发送给所述头戴式虚拟现实设备；

通过上述步骤102生成的注视区域数据是原高分辨率整体图像显示数据的局部显示数据，相比原先的高分辨率图像的整体图像显示数据而言，注视区域数据的数据量得到大大的减小，因此，占用的带宽得到大大减小。

通过上述步骤103生成的非注视区域数据是整体的低分辨率图像显示数据，相比原先的高分辨率图像的整体图像显示数据而言，非注视区域数据的数据量得到大大的减小，假设预设角度分辨率为原分辨率的1/3，则非注视区域数据是原高分辨率整体图像显示数据的1/9，因此，在传输的时占用的带宽得到大大减小。

105、头戴式虚拟现实设备将所述注视区域数据和所述非注视区域数据合成为待显示数据。

具体实现时包括：

通过插值等方法将非注视区域数据的分辨率重建为与所述显示屏的分辨率相同；也就是说，将非注视区域数据的分辨率通过插值等方法进行原来的高分辨率重建；

根据注视点位置信息，将注视区域数据覆盖到高分辨率重建后的非注视区域数据中且与注视点位置信息相对应的位置，得到合成后的待显示数据，其中，待显示数据为分辨率重建且合成后的整体图像的显示数据；图3为本申请实施例采用的图像数据合成示意图，如图3所示，局部清晰图像为注视区域数据的图像，整体低清晰度图像为非注视区域数据的图像。

对合成后的待显示数据进行平滑融合处理。例如对待显示数据的图像边界区域通过低通滤波等方法进行平滑融合处理。

需要说明的是，上述高分辨率重建可以是现有技术中实现高分辨率重建的技术手段，平滑融合处理也可以是现有技术中任一可以实现平滑融合的技术手段，本申请对此不作限定。

图1-2为本申请另一实施例提供的虚拟现实的显示数据压缩方法的流程示意图，如图1-2所示，当注视点位置信息在虚拟现实主机侧计算得到时，所述方法包括：

201、头戴式虚拟现实设备获取眼部图像信息，将所述眼部图像信息发送给虚拟现实主机；

202、虚拟现实主机根据眼部图像信息进行注视点位置信息的计算；

其中，所述注视点位置信息为人眼注视点在显示屏上的位置信息。

由于人眼的视场角是有限的，一般而言，映在人眼视网膜上的图像，只有中心部分能分辨清楚，这部分通常叫分辨视域，约视场角8度到15度。从视场角15到30度之间部分称为有效视域，在有效视域中用户能看清物体的存在和动作，虽然不需要转动头部也能看清楚，但是分辨力已经下降了。视场角超过30度的周边部分称为诱导视野，只能感觉物体的存在，不能看清楚是什么物体。

本申请实施例中，通过上述人眼特性，采用人眼追踪技术获取人眼注视点在显示屏上的人眼注视点位置信息。例如，可以利用电子/光学等各种检测手段获取用户当前“注视方向”的技术。它是利用眼球转动时相对位置不变的某些眼部结构和特征作为参照，在位置变化特征和这些不变特征之间提取视线变化参数，而后通过几何模型或映射模型获取视线方向。

其中，根据人眼提取的特征一般有3类：1)瞳孔中心与角膜反射的向量；2)角膜反射矩阵；3)虹膜的椭圆边界。目前基于眼睛视频分析的视频追踪系统(VOG)普遍使用瞳孔-角膜反射方法，通过追踪瞳孔中心和角膜反射的相对位置获得视线方向。角膜反射是光源(一般是近红外光源)在角膜表面反射形成的虚像，相机获取到的眼睛图像中的瞳孔经过角膜折射后形成的虚像。例如，捕获的眼睛图像，经图像处理提取瞳孔中心与光斑位置信息，提取出平面视线方向参数，然后由建立好的数学模型将平面信息转化为人眼空间视线信息数据。

本申请实施例中，可以预先在虚拟现实主机预置视线映射关系。视线映射关系为人眼空间视线信息数据与虚拟现实主机上的图像显示源的左右像素点对的坐标之间的映射关系(亦可称为视线-屏幕坐标映射关系)。

本实施例中获取人眼注视点在显示屏上的注视点位置信息具体为：

对眼部图像信息进行图像处理提取人眼空间视线信息数据，从而根据人眼空间视线信息数据及视线映射关系，获得对应的图像显示源像素点对的坐标位置数据，即为注视点位置信息。

203、虚拟现实主机按照预设FOV在待传输的显示数据中确定与所述注视点位置信息对应的注视区域数据；

具体实现时参考图1-1所示实施例中步骤102的实现过程。

204、虚拟现实主机将待传输的显示数据按照预设角度分辨率生成非注视区域数据；

具体实现时参考图1-1所示实施例中步骤103的实现过程。

205、虚拟现实主机将所述注视区域数据和所述非注视区域数据以及注视点位置信息发送给所述头戴式虚拟现实设备；

206、头戴式虚拟现实设备根据注视点位置信息将所述注视区域数据和所述非注视区域数据合成为待显示数据。

具体实现时参考图1-1所示实施例中步骤105的实现过程。

本申请实施例可以根据头戴式虚拟现实设备的注视点位置信息，按照预设FOV在待传输的整体显示数据中确定与所述注视点位置信息对应的注视区域数据，所述注视区域数据是以注视点位置为中心的周围一定范围内的局部显示数据，因此，注视区域数据的数据量相比原先整体显示数据要小很多；将待传输的整体显示数据按照预设角度分辨率生成非注视区域数据，所述预设角度分辨率小于显示屏的角度分辨率，由于非注视区域数据是整体的低分辨率图像显示数据，相比原先的高分辨率图像的整体图像显示数据而言，非注视区域数据的数据量得到大大的减小；从而可以实现在将所述注视区域数据和所述非注视区域数据发送给所述头戴式虚拟现实设备时，占用的数据传输带宽得到大大减小，可传输的显示数据帧率也可以得到大大提高。可以解决现有技术中VR主机与VR显示设备之间的无线传输带宽压力大的问题。

图4为本申请一实施例提供的虚拟现实的显示数据压缩系统结构示意图，如图4所示，包括：头戴式虚拟现实设备和虚拟现实主机；

其中，所述头戴式虚拟现实设备，用于获取注视点位置信息或获取用于计算注视点位置信息的眼部图像信息，所述注视点位置信息为人眼注视点在显示屏上的位置信息，将所述注视点位置信息发送给虚拟现实主机，或者将所述眼部图像信息发送给虚拟现实主机以使所述虚拟现实主机根据所述眼部图像信息进行注视点位置信息的计算；

所述虚拟现实主机，用于按照预设视场角FOV在待传输的显示数据中确定与所述注视点位置信息对应的注视区域数据，所述注视区域数据是以注视点位置为中心的周围一定范围内的局部显示数据；

所述虚拟现实主机，还用于将待传输的显示数据按照预设角度分辨率生成非注视区域数据，所述预设角度分辨率为经过降采样处理后的小于显示屏角度分辨率的角度分辨率；

所述虚拟现实主机，还用于将所述注视区域数据和所述非注视区域数据发送给所述头戴式虚拟现实设备，或者将所述注视区域数据和所述非注视区域数据以及所述注视点位置信息发送给所述头戴式虚拟现实设备；

所述头戴式虚拟现实设备，还用于根据所述注视点位置信息将所述注视区域数据和所述非注视区域数据合成为待显示数据。

可选地，所述预设视场角FOV包括水平视场角和垂直视场角，小于所述头戴式虚拟现实设备的显示屏的FOV，所述预设视场角FOV根据所需的显示效果进行确定的。

可选地，所述预设角度分辨率是根据预设的百分比乘以显示屏的角度分辨率得到，预设的百分比根据所需的显示效果进行确定。

可选地，所述头戴式虚拟现实设备具体用于：

将非注视区域数据的分辨率重建为与所述显示屏的分辨率相同；

根据注视点位置信息，将注视区域数据覆盖到高分辨率重建后的非注视区域数据中且与注视点位置信息相对应的位置，得到合成后的待显示数据；

对合成后的待显示数据进行平滑融合处理。

本申请实施例可以根据头戴式虚拟现实设备的注视点位置信息，按照预设FOV在待传输的整体显示数据中确定与所述注视点位置信息对应的注视区域数据，所述注视区域数据是以注视点位置为中心的周围一定范围内的局部显示数据，因此，注视区域数据的数据量相比原先整体显示数据要小很多；将待传输的整体显示数据按照预设角度分辨率生成非注视区域数据，所述预设角度分辨率小于显示屏的角度分辨率，由于非注视区域数据是整体的低分辨率图像显示数据，相比原先的高分辨率图像的整体图像显示数据而言，非注视区域数据的数据量得到大大的减小；从而可以实现在将所述注视区域数据和所述非注视区域数据发送给所述头戴式虚拟现实设备时，占用的数据传输带宽得到大大减小，可传输的显示数据帧率也可以得到大大提高。可以解决现有技术中VR主机与VR显示设备之间的无线传输带宽压力大的问题。

图5为本申请一实施例提供的虚拟现实主机的结构示意图，如图5所示，包括：存储器、通信模块和处理器；

所述存储器用于存储支持上述虚拟现实的图形显示数据(包括注视区域数据和非注视区域数据)生成方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。

所述程序包括一条或多条计算机指令，其中，所述一条或多条计算机指令供所述处理器调用执行。

所述处理器执行所述存储器中存储的程序时

所述通信模块，用于接收头戴式虚拟现实设备获取的注视点位置信息，或接收头戴式虚拟现实设备获取的用于计算注视点位置的眼部图像信息，所述注视点位置信息为人眼注视点在显示屏上的位置信息；

所述处理器，用于按照预设的视场角FOV在待传输的显示数据中确定与所述注视点位置信息对应的注视区域数据，所述注视区域数据是以注视点位置为中心的周围一定范围内的局部显示数据；

所述处理器，还用于将待传输的显示数据按照预设角度分辨率生成非注视区域数据，所述预设角度分辨率为经过降采样处理后的小于显示屏角度分辨率的角度分辨率；

所述通信模块，还用于将所述注视区域数据和所述非注视区域数据发送给所述头戴式虚拟现实设备，，或者将所述注视区域数据和所述非注视区域数据以及所述注视点位置信息发送给所述头戴式虚拟现实设备，以使所述头戴式虚拟现实设备根据所述注视点位置信息将所述注视区域数据和所述非注视区域数据合成为待显示数据。

图6为本申请一实施例提供的头戴式虚拟现实设备的结构示意图，如图6所示，包括：存储器、通信模块和处理器；

所述存储器用于存储支持上述将注视区域数据和非注视区域数据合成为整体显示图像数据方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。

所述程序包括一条或多条计算机指令，其中，所述一条或多条计算机指令供所述处理器调用执行。

当所述处理器执行所述存储器中存储的程序，包括：

获取的注视点位置信息，所述注视点位置信息为人眼注视点在显示屏上的位置信息；具体为预先在头戴VR设备的存储器内预置视线映射关系，视线映射关系为人眼空间视线信息数据与头戴VR设备上的图像显示源的左右像素点对的坐标之间的映射关系；当用户注视某一目标物时，处理器基于激光/红外摄像头实时追踪用户眼球的视线变化，计算此时用户的人眼空间视线信息数据，从而根据人眼空间视线信息数据及视线映射关系，获得对应的图像显示源像素点对的坐标位置数据，即为注视点位置信息。

通过所述通信模块向虚拟现实主机发送所述注视点位置信息，或发送用于计算注视点位置的眼部图像信息，以使虚拟现实主机计算生成注视点位置信息，按照预设的FOV在待传输的显示数据中确定与所述注视点位置信息对应的注视区域数据，所述注视区域数据是以注视点位置为中心的周围一定范围内的局部显示数据；将待传输的显示数据按照预设角度分辨率生成非注视区域数据，所述预设角度分辨率为经过降采样处理后的小于显示屏角度分辨率的角度分辨率；通过所述通信模块接收所述虚拟现实主机发送的所述注视区域数据和所述非注视区域数据，或者接收所述虚拟现实主机发送的所述注视区域数据和所述非注视区域数据以及所述注视点位置信息；

根据所述注视点位置信息将所述注视区域数据和所述非注视区域数据合成为待显示数据。

本发明实施例还提供了一种计算机存储介质，用于储存支持上述将注视区域数据和非注视区域数据合成为整体显示图像数据方法所用的计算机软件指令，还用于存储支持上述将注视区域数据和非注视区域数据合成为整体显示图像数据方法所用的计算机软件指令。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种虚拟现实的显示数据压缩系统，其特征在于，包括：头戴式虚拟现实设备和虚拟现实主机；

所述头戴式虚拟现实设备，用于获取注视点位置信息或获取用于计算注视点位置信息的眼部图像信息，所述注视点位置信息为人眼注视点在显示屏上的位置信息，将所述注视点位置信息发送给虚拟现实主机，或者将所述眼部图像信息发送给虚拟现实主机以使所述虚拟现实主机根据所述眼部图像信息进行注视点位置信息的计算所述虚拟现实主机，用于按照预设视场角FOV在待传输的显示数据中确定与所述注视点位置信息对应的注视区域数据，所述注视区域数据是以注视点位置为中心的周围一定范围内的局部显示数据；

所述虚拟现实主机，还用于将待传输的显示数据按照预设角度分辨率生成非注视区域数据，所述预设角度分辨率为经过降采样处理后的小于显示屏角度分辨率的角度分辨率；

其中，所述显示屏角度分辨率由显示屏分辨率除以视场角FOV得到；

所述虚拟现实主机，还用于将所述注视区域数据和所述非注视区域数据发送给所述头戴式虚拟现实设备，或者将所述注视区域数据和所述非注视区域数据以及所述注视点位置信息发送给所述头戴式虚拟现实设备；

所述头戴式虚拟现实设备，还用于根据所述注视点位置信息将所述注视区域数据和所述非注视区域数据合成为待显示数据。

2.根据权利要求1所述的系统，其特征在于，所述预设视场角FOV包括水平视场角和垂直视场角，小于所述头戴式虚拟现实设备的显示屏的FOV，所述预设视场角FOV根据所需的显示效果进行确定的。

3.根据权利要求1所述的系统，其特征在于，所述预设角度分辨率是根据预设的百分比乘以显示屏的角度分辨率得到，预设的百分比根据所需的显示效果进行确定。

4.根据权利要求1所述的系统，其特征在于，所述头戴式虚拟现实设备具体用于：

将非注视区域数据的分辨率重建为与所述显示屏的分辨率相同；

根据注视点位置信息，将注视区域数据覆盖到高分辨率重建后的非注视区域数据中且与注视点位置信息相对应的位置，得到合成后的待显示数据；

对合成后的待显示数据进行平滑融合处理。

5.一种虚拟现实的显示数据压缩方法，位于虚拟现实主机侧执行，其特征在于，包括：

虚拟现实主机接收头戴式虚拟现实设备获取的注视点位置信息，或接收头戴式虚拟现实设备获取的眼部图像信息，根据所述眼部图像信息计算注视点位置信息，所述注视点位置信息为人眼注视点在显示屏上的位置信息；

所述虚拟现实主机按照预设的视场角FOV在待传输的显示数据中确定与所述注视点位置信息对应的注视区域数据，所述注视区域数据是以注视点位置为中心的周围一定范围内的局部显示数据；

所述虚拟现实主机将待传输的显示数据按照预设角度分辨率生成非注视区域数据，所述预设角度分辨率为经过降采样处理后的小于显示屏角度分辨率的角度分辨率；

其中，所述显示屏角度分辨率由显示屏分辨率除以视场角FOV得到；

所述虚拟现实主机将所述注视区域数据和所述非注视区域数据发送给所述头戴式虚拟现实设备，或者将所述注视区域数据和所述非注视区域数据以及所述注视点位置信息发送给所述头戴式虚拟现实设备，以使所述头戴式虚拟现实设备根据所述注视点位置信息将所述注视区域数据和所述非注视区域数据合成为待显示数据。

6.根据权利要求5所述的方法，其特征在于，所述预设的视场角FOV包括水平视场角和垂直视场角，且小于所述头戴式虚拟现实设备的显示屏的FOV，所述预设的视场角FOV是根据所需的显示效果进行确定的。

7.根据权利要求5所述的方法，其特征在于，所述预设角度分辨率是根据预设的百分比乘以显示屏的角度分辨率得到，预设的百分比根据所需的显示效果进行确定。

8.一种虚拟现实主机，其特征在于，包括：通信模块和处理器；

所述通信模块，用于接收头戴式虚拟现实设备获取的注视点位置信息，或接收头戴式虚拟现实设备获取的用于计算注视点位置的眼部图像信息，所述注视点位置信息为人眼注视点在显示屏上的位置信息；

所述处理器，用于按照预设的视场角FOV在待传输的显示数据中确定与所述注视点位置信息对应的注视区域数据，所述注视区域数据是以注视点位置为中心的周围一定范围内的局部显示数据；

所述处理器，还用于将待传输的显示数据按照预设角度分辨率生成非注视区域数据，所述预设角度分辨率为经过降采样处理后的小于显示屏角度分辨率的角度分辨率；其中，所述显示屏角度分辨率由显示屏分辨率除以视场角FOV得到；

所述通信模块，还用于将所述注视区域数据和所述非注视区域数据发送给所述头戴式虚拟现实设备，或者将所述注视区域数据和所述非注视区域数据以及所述注视点位置信息发送给所述头戴式虚拟现实设备，以使所述头戴式虚拟现实设备根据所述注视点位置信息将所述注视区域数据和所述非注视区域数据合成为待显示数据。

9.一种虚拟现实的显示数据压缩方法，位于头戴式虚拟现实设备侧执行，其特征在于，包括：

头戴式虚拟现实设备获取注视点位置信息或用于计算注视点位置的眼部图像信息，所述注视点位置信息为人眼注视点在显示屏上的位置信息；

所述头戴式虚拟现实设备向虚拟现实主机发送所述注视点位置信息，或发送用于计算注视点位置的眼部图像信息，以使所述虚拟现实主机根据所述眼部图像信息计算生成注视点位置信息，按照预设的视场角FOV在待传输的显示数据中确定与所述注视点位置信息对应的注视区域数据，所述注视区域数据是以注视点位置为中心的周围一定范围内的局部显示数据；将待传输的显示数据按照预设角度分辨率生成非注视区域数据，所述预设角度分辨率为经过降采样处理后的小于显示屏角度分辨率的角度分辨率；并将所述注视区域数据和所述非注视区域数据发送给所述头戴式虚拟现实设备，或者将所述注视区域数据和所述非注视区域数据以及所述注视点位置信息发送给所述头戴式虚拟现实设备；

其中，所述显示屏角度分辨率由显示屏分辨率除以视场角FOV得到；

所述头戴式虚拟现实设备根据所述注视点位置信息将所述注视区域数据和所述非注视区域数据合成为待显示数据。

10.一种头戴式虚拟现实设备，其特征在于，包括：处理器和通信模块；其中，所述处理器，用于获取注视点位置信息或用于计算注视点位置的眼部图像信息，所述注视点位置信息为人眼注视点在显示屏上的位置信息；

所述通信模块，用于向虚拟现实主机发送所述注视点位置信息，或发送用于计算注视点位置的眼部图像信息，以使虚拟现实主机计算生成注视点位置信息，按照预设的视场角FOV在待传输的显示数据中确定与所述注视点位置信息对应的注视区域数据，所述注视区域数据是以注视点位置为中心的周围一定范围内的局部显示数据；将待传输的显示数据按照预设角度分辨率生成非注视区域数据，所述预设角度分辨率为经过降采样处理后的小于显示屏角度分辨率的角度分辨率；接收所述虚拟现实主机发送的所述注视区域数据和所述非注视区域数据，或者接收所述虚拟现实主机发送的所述注视区域数据和所述非注视区域数据以及所述注视点位置信息；

其中，所述显示屏角度分辨率由显示屏分辨率除以视场角FOV得到；

所述处理器，还用于根据所述注视点位置信息将所述注视区域数据和所述非注视区域数据合成为待显示数据。

Images