CN111757090A - 基于注视点信息的实时vr图像过滤方法、系统和存储介质 - Google Patents

Abstract

本发明涉及基于注视点信息的实时VR图像过滤方法、系统和存储介质，包括：通过头戴显示设备中高速相机捕捉人眼图像，从该人眼图像中提取眼球的注视点信息；根据该头戴显示设备的头部方位信息确定观察视角，并渲染出该观察视角观看到的VR画面；根据该注视点信息确定该VR画面的注视点区域，根据该注视点区域选定该VR画面的非注视点区域，并对该非注视点区域进行过滤。本发明可提高图像压缩比，并可在传统VR流程基础上对图像压缩比进行深度提升，进一步降低VR对传输带宽的需求。本发明还公开了一种用于所述基于注视点信息的实时VR图像过滤系统的实施方法，以及存储介质，用于存储执行所述基于注视点信息的实时VR图像过滤方法的程序。

Description

基于注视点信息的实时VR图像过滤方法、系统和存储介质

技术领域

本发明涉及虚拟现实VR和图像压缩领域，并特别涉及一种基于注视点信息的实时VR图像过滤方法、系统和存储介质。

背景技术

以往的VR系统包括四部分：1)VR渲染系统、2)数据传输系统、3)显示系统、4)运动反馈系统。VR渲染系统负责生成用于双眼视觉的左右眼图像。数据传输系统负责提供高速数据通道，将图像传递给显示系统。3)显示系统负责以较高的刷新率将画面更新到显示设备。显示设备提供独立的双眼视觉通道，让使用者可以体验到立体视觉。4)运动反馈系统负责捕捉使用者的运动数据，并将数据反馈到VR渲染系统，使渲染视角随着用户运动而改变。

以往的VR系统工作流程是：

1)VR渲染系统通过图形API，例如OpenGL或Direct3D将三维场景数据和渲染参数传递给显卡上的图形流水线，并渲染出的图像保存到显存中。渲染过程所使用的摄像机参数来自于VR头盔的运动反馈系统。因为是面向双目视觉，所以渲染系统交替的进行左右眼两幅图像的渲染。图像在渲染完成后还需进行透镜校正，通常是桶形校正(barreldistortion)。这是因为图像最终需要透过显示系统的透镜才能被观察到，而透镜会使平面图像出现枕形畸变(pincushion distortion)。由于枕形畸变和桶形畸变互为反函数，为了抵消枕形畸变的效果，就必须提前使图像发生桶形畸变。

2)数据传输系统获取图像的显存地址，然后将显存中的数据取出并通过高速通道传递给显示设备。在这个阶段，数据可以是经过压缩，也可以是未经压缩的。对于未经压缩的数据，通常使用HDMI或DisplayPort通道进行传输。对于经过压缩的数据，通常使用无线或有限网络进行传输，并要求显示系统具备解压缩能力。

3)显示系统包含透镜系统和具备较高刷新率的显示屏。透镜系统使用两个组独立的凸透镜将显示屏的内容放大并分别传递给使用的左眼和右眼。显示屏将左右眼图像的内容拼接在一起，显示在同一屏幕上。透镜系统会将双眼的透镜聚焦到相应的屏幕位置上。为了满足VR对刷新率的要求，显示屏通常需要具备每秒钟至少刷新90次的能力。对于经过压缩的图像，显示系统还需在进行上述工作之前完成图像解压缩。解压缩过程通常由板载解码芯片完成，其过程通常不超过5毫秒。

4)运动反馈系统主要感知使用者的头部转动和位移以及眼球的注视方向，它通常与显示系统位于同一装置中。为了降低运动到显示的延迟(motion to photon latency)，感知设备通常以较高的频率采样运动数据，例如每秒120次。采样到的运动数据使用单独的通道与VR渲染系统通信，通常是USB或网络，与图像通道相互独立。渲染系统会根据头部和眼球数据更新图形流水线的相机参数以及可见的三维对象集合，形成控制闭环。

以往技术的眼球注视信息只用于指导渲染过程进行多分辨率渲染(multipleresolution rendering)，即将一幅画面分割成多个区域，并在不同区域使用不同分辨率进行渲染。区域的划分以注视点为依据：注视点所在的区域使用最高分辨率；非注视点区域使用低分辨率。这就使低分辨率区域的着色(shading)计算量显著减少，从而增加了渲染速度。然而，多分辨率渲染存在两个问题：

1)它必须明确的作为VR渲染流水线的一个阶段，需要与VR应用程序在架构级别进行绑定。因此，未曾实现多分辨率渲染的VR应用程序，将无法在不修改架构的前提下追加此功能。

2)由于它所划分的边界两边是分辨率不同的区域，存在颜色的突变，因此会使人眼对边界更加敏感。为了缓解这个问题，多分辨率渲染不得不让边界尽量远离注视点，即减小非注视点区域。这个矛盾的存在，使算法的效果大打折扣。

发明内容

为了解决上述技术问题，本发明目的在于提供一种基于注视点信息的图像过滤系统，主要解决两方面问题：1、可以在不改变原有VR流水线的前提下，动态调整非注视点区域的模糊程度，增加次要区域的颜色相似性；2、保证边界区域的平滑过渡，使边界不易被察觉，从而允许比多分辨率渲染更大的非注视点区域。

需要说明的是，本发明与以往的多分辨率渲染不是竞争关系，可以结合使用，既可使多分辨率渲染的边界更平滑，也可扩大非注视点区域范围。

具体地说，本发明公开了一种基于注视点信息的实时VR图像过滤方法，其中包括：

步骤1、通过头戴显示设备中高速相机捕捉人眼图像，从该人眼图像中提取眼球的注视点信息；

步骤2、根据该头戴显示设备的头部方位信息确定观察视角，并渲染出该观察视角观看到的VR画面；

步骤3、根据该注视点信息确定该VR画面的注视点区域，根据该注视点区域选定该VR画面的非注视点区域，并对该非注视点区域进行过滤。

所述的基于注视点信息的实时VR图像过滤方法，其中该步骤3包括：

步骤31、该注视点信息包括关注区域的轴心方向信息，通过畸变矫正函数将该轴心方向信息映射为显示屏的像素坐标，得到该注视点区域的，并以该注视点区域的中心点为圆心，根据预设的范围将该注视点区域分为：主要区域、中间区域和次要区域；

步骤32、对该中间区域和该次要区域进行图像过滤处理。

所述的基于注视点信息的实时VR图像过滤方法，其中各区域的该预设的范围具体为：

主要区域，注视轴向60度以内的范围；

中间区域，注视轴向60度到120度之间的范围；

次要区域，注视轴向120度以外的范围。

所述的基于注视点信息的实时VR图像过滤方法，其中该中间区域的过滤半径小于该次要区域的过滤半径。

本发明还公开了一种基于注视点信息的实时VR图像过滤系统，其中包括：

模块1、通过头戴显示设备中高速相机捕捉人眼图像，从该人眼图像中提取眼球的注视点信息；

模块2、根据该头戴显示设备的头部方位信息确定观察视角，并渲染出该观察视角观看到的VR画面；

模块3、根据该注视点信息确定该VR画面的注视点区域，根据该注视点区域选定该VR画面的非注视点区域，并对该非注视点区域进行过滤。

所述的基于注视点信息的实时VR图像过滤系统，其中该模块3包括：

模块31、该注视点信息包括关注区域的轴心方向信息，通过畸变矫正函数将该轴心方向信息映射为显示屏的像素坐标，得到该注视点区域的，并以该注视点区域的中心点为圆心，根据预设的范围将该注视点区域分为：主要区域、中间区域和次要区域；

模块32、对该中间区域和该次要区域进行图像过滤处理。

所述的基于注视点信息的实时VR图像过滤系统，其中各区域的该预设的范围具体为：

主要区域，注视轴向60度以内的范围；

中间区域，注视轴向60度到120度之间的范围；

次要区域，注视轴向120度以外的范围。

所述的基于注视点信息的实时VR图像过滤系统，其中该中间区域的过滤半径小于该次要区域的过滤半径。

本发明还公开了一种用于所述基于注视点信息的实时VR图像过滤系统的实施方法。

本发明还公开了一种存储介质，用于存储执行所述基于注视点信息的实时VR图像过滤方法的程序。

本发明通过图像过滤技术有效提高非注视点区域的颜色相似性，与以往技术相比，它具有两方面优势：

1)图像过滤的时间在1毫秒内，可以在不明显增加系统延时的前提下显著提高图像压缩比

2)可在传统VR流程基础上对图像压缩比进行深度提升，进一步降低VR对传输带宽的需求。

附图说明

图1是系统结构图；

图2是注视点区域划分图；

图3是注视点信息到像素的映射图。

具体实施方式

本发明实现一种基于注视点信息的实时VR图像过滤系统。本系统由以下子系统组成：眼球跟踪系统、VR渲染系统、图像过滤系统和图像压缩系统。

眼球跟踪系统位于头戴显示设备中，通过高速相机捕捉人眼的图像，并从图像中提取眼球注视点信息。

VR渲染系统接收头戴显示设备的头部方位信息，确定观察视角并渲染出该视角可见的虚拟场景的画面。

图像过滤系统根据接收头戴显示设备的眼球注视点信息，确定画面中的注视点区域，并对非注视点区域进行过滤，例如模糊操作。过滤本质上是相邻像素的加权和，会消除原始的高频(颜色值高于相邻像素很多)和低频(颜色值低于相邻像素很多)数据。这相当于把过滤区域的每个像素的颜色取值范围缩小，并向加权平均值趋近，从而使颜色相近。

图像压缩系统接收局部过滤后的图像，并生成编码数据。相对于未经过滤的图像而言，过滤后的图像在非注视点区域的颜色相似性会有所增加，因此在经过图像压缩算法后可以生成更少的编码数据。虽然过滤操作会导致图像的模糊，但是人眼对于注视点以外的区域的辨识度很低，因此这种模糊很难被人眼察觉。传统VR系统不存在图像过滤，因此在通过网络传递数据前不得不借助高压缩比的图像压缩算法降低传输数据量。然而，高压缩比是以计算时间和图像质量为代价换取的，这对于VR应用而言是不可接受的。本系统利用注视点信息，通过降低图像中次要区域的分辨率，以人眼难以观测到的质量为代价换取数据量的降低，使图像压缩阶段可以有余地选择实时更强的算法，从而更好的适应VR应用。

为让本发明的上述特征和效果能阐述的更明确易懂，下文特举实施例，并配合说明书附图作详细说明如下。

本发明所使用的系统包含六个部分：1)VR渲染系统，2)图像过滤系统，3)数据压缩系统，4)数据解压系统，5)运动反馈系统，6)显示系统。VR渲染系统负责生成立体视觉图像，即交替渲染出分别被左右眼观察到的图像。为了满足VR沉浸感的要求，渲染速度至少要达到每秒90幅左右眼图像。图像过滤系统在到渲染系统输出的图像后，根据运动反馈系统提供的注视点信息，分别确定左右眼的非注视点区域，并对其进行图像过滤处理。数据压缩系统将过滤后的图像进行压缩，并将编码数据流通过网络向客户端发送。客户端的数据解压系统从网络接收图像编码数据，并从中还原出左右眼图像，最终提交给显示系统。显示系统将左右眼图像分别刷新到左右眼对应的屏幕区域，通过透镜系统将双眼视觉通道隔离，使用户的双眼分别看到正确的图像。本发明与以往技术的主要差别在于对人眼捕捉信息的利用，因此仅针对运动反馈系统中的人眼捕捉系统进行说明。人眼捕捉系统通过高速摄像机抓拍人眼在某一时刻的状态，然后从中提取人眼的观察方向，即注视点信息。抓拍的频率通常要超过每秒90次，才能使渲染系统和图像过滤系统的输出图像与人眼运动相匹配。

图像过滤系统是本发明的核心，也是以往技术中不存的处理阶段。它的处理分为两个阶段：

1)根据注视点信息划分出图像中的注视点区域和非注视点区域。注视点给出的是关注区域轴心方向信息，它用于决定透镜曲面上的二维坐标(u，v)。由于透镜引发的枕形畸变，这个坐标与显示屏的像素坐标(x，y)存在一一映射的函数关系，即(x，y)＝f(u，v)。通过求解该函数，就可以得到关注区域的中心像素。这个映射过程是设备独立的，即不同厂商的透镜系统都遵循这个原理，只在参数上有所差异。关注区域的边界可以是以中心像素为基准的任意形状，本例中使用圆形进行说明。中心到边界的距离可以作为系统参数进行配置，例如将人眼的关注区域分为三个部分：a)主要区域，注视轴向60度以内的范围，b)中间区域，注视轴向60度到120度之间的范围，c)次要区域，注视轴向120度以外的范围。

2)对非注视点区域进行图像过滤处理。主要区域需要保持图像原有分辨率，因为人眼对该区域中的任何图像损失都极其敏感。中间区域和次要区域属于偏离人眼焦点的区域，对此区域的内容进行模糊处理很难引起人眼的察觉。本发明并不限制实现模糊效果的函数，本例中使用高斯模糊函数进行说明。相对于中间区域，次要区域的视觉重要性更低一些，所以其模糊程度可以相对高一些。这可以通过为高斯函数使用更大的过滤半径实现。过滤过程可以借助显卡的通用计算单元进行大规模并行加速，其耗时通常不超过1毫秒。

以下为与上述系统实施例对应的方法实施例，本实施方式可与上述实施方式互相配合实施。上述实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在上述实施方式中。

本发明还公开了一种基于注视点信息的实时VR图像过滤系统，其中包括：

模块1、通过头戴显示设备中高速相机捕捉人眼图像，从该人眼图像中提取眼球的注视点信息；

模块2、根据该头戴显示设备的头部方位信息确定观察视角，并渲染出该观察视角观看到的VR画面；

模块3、根据该注视点信息确定该VR画面的注视点区域，根据该注视点区域选定该VR画面的非注视点区域，并对该非注视点区域进行过滤。

所述的基于注视点信息的实时VR图像过滤系统，其中该模块3包括：

模块31、该注视点信息包括关注区域的轴心方向信息，通过畸变矫正函数将该轴心方向信息映射为显示屏的像素坐标，得到该注视点区域的，并以该注视点区域的中心点为圆心，根据预设的范围将该注视点区域分为：主要区域、中间区域和次要区域；

模块32、对该中间区域和该次要区域进行图像过滤处理。

所述的基于注视点信息的实时VR图像过滤系统，其中各区域的该预设的范围具体为：

主要区域，注视轴向60度以内的范围；

中间区域，注视轴向60度到120度之间的范围；

次要区域，注视轴向120度以外的范围。

所述的基于注视点信息的实时VR图像过滤系统，其中该中间区域的过滤半径小于该次要区域的过滤半径。

本发明还公开了一种用于所述基于注视点信息的实时VR图像过滤系统的实施方法。

本发明还公开了一种存储介质，用于存储执行所述基于注视点信息的实时VR图像过滤方法的程序。

Claims (10)

1.一种基于注视点信息的实时VR图像过滤方法，其特征在于，包括：

步骤1、通过头戴显示设备中高速相机捕捉人眼图像，从该人眼图像中提取眼球的注视点信息；

步骤2、根据该头戴显示设备的头部方位信息确定观察视角，并渲染出该观察视角观看到的VR画面；

步骤3、根据该注视点信息确定该VR画面的注视点区域，根据该注视点区域选定该VR画面的非注视点区域，并对该非注视点区域进行过滤。

2.如权利要求1所述的基于注视点信息的实时VR图像过滤方法，其特征在于，该步骤3包括：

步骤31、该注视点信息包括关注区域的轴心方向信息，通过畸变矫正函数将该轴心方向信息映射为显示屏的像素坐标，得到该注视点区域的，并以该注视点区域的中心点为圆心，根据预设的范围将该注视点区域分为：主要区域、中间区域和次要区域；

步骤32、对该中间区域和该次要区域进行图像过滤处理。

3.如权利要求2所述的基于注视点信息的实时VR图像过滤方法，其特征在于，各区域的该预设的范围具体为：

主要区域，注视轴向60度以内的范围；

中间区域，注视轴向60度到120度之间的范围；

次要区域，注视轴向120度以外的范围。

4.如权利要求2所述的基于注视点信息的实时VR图像过滤方法，其特征在于，该中间区域的过滤半径小于该次要区域的过滤半径。

5.一种基于注视点信息的实时VR图像过滤系统，其特征在于，包括：

模块1、通过头戴显示设备中高速相机捕捉人眼图像，从该人眼图像中提取眼球的注视点信息；

模块2、根据该头戴显示设备的头部方位信息确定观察视角，并渲染出该观察视角观看到的VR画面；

模块3、根据该注视点信息确定该VR画面的注视点区域，根据该注视点区域选定该VR画面的非注视点区域，并对该非注视点区域进行过滤。

6.如权利要求5所述的基于注视点信息的实时VR图像过滤系统，其特征在于，该模块3包括：

模块31、该注视点信息包括关注区域的轴心方向信息，通过畸变矫正函数将该轴心方向信息映射为显示屏的像素坐标，得到该注视点区域的，并以该注视点区域的中心点为圆心，根据预设的范围将该注视点区域分为：主要区域、中间区域和次要区域；

模块32、对该中间区域和该次要区域进行图像过滤处理。

7.如权利要求6所述的基于注视点信息的实时VR图像过滤系统，其特征在于，各区域的该预设的范围具体为：

主要区域，注视轴向60度以内的范围；

中间区域，注视轴向60度到120度之间的范围；

次要区域，注视轴向120度以外的范围。

8.如权利要求6所述的基于注视点信息的实时VR图像过滤系统，其特征在于，该中间区域的过滤半径小于该次要区域的过滤半径。

9.一种用于权利要求5至8中任意一种所述基于注视点信息的实时VR图像过滤系统的实施方法。

10.一种存储介质，用于存储执行权利要求1至4中任意一种所述基于注视点信息的实时VR图像过滤方法的程序。

Images