CN106648049A - 一种基于眼球追踪及眼动点预测的立体渲染方法 - Google Patents

Abstract

本发明提供一种基于眼球追踪及眼动点预测的立体渲染方法，包括步骤：(1)拍摄双眼图像，确定双眼在三维场景中的三维眼动点，所述三维眼动点是双眼视线的交点；(2)对三维场景进行立体渲染，所述立体渲染包括高精度区，包围高精度区的过渡区，包围所述过渡区的低精度区；所述立体渲染方式包括静态渲染和动态渲染，所述静态渲染是对包含当前三维眼动点的一定区域的渲染，所述动态渲染是对下一个三维眼动点可能落入的预测区域进行的渲染。以对用户关注的区域进行立体渲染，预测用户可能关注的区域并对该区域进行立体渲染，合理分配虚拟现实设备的处理能力，进而节约虚拟现实设备处理能力，减轻显卡负担。

Description

一种基于眼球追踪及眼动点预测的立体渲染方法

技术领域

本发明属于图像处理领域，尤其涉及虚拟现实或增强现实中立体视觉画面渲染的方法。

背景技术

人眼在视物的过程中，并不会注意到全部的细节，只有双眼视线交点附近是清晰的，现在市场上的虚拟现实设备的处理能力完全平均分配在整个立体场景的渲染上。由于处理能力平均分配，其中在远离双眼视线交点部分上所消耗的虚拟现实设备的图像处理能力中的一部分是被浪费的。

发明内容

本发明提供了一种基于眼球追踪及眼动点预测的立体渲染方法，对用户关注的区域进行立体渲染，预测用户可能关注的区域并对该区域进行立体渲染，节约虚拟现实设备处理能力，减轻显卡负担。

根据本发明的实施方式，提供一种基于眼球追踪及眼动点预测的立体渲染方法，包括步骤：(1)拍摄双眼图像，确定双眼在三维场景中的三维眼动点，所述三维眼动点是双眼视线的交点；(2)对三维场景进行立体渲染，所述立体渲染包括将所述三维场景划分为高精度区，包围高精度区的过渡区，包围所述过渡区的低精度区，所述高精度区、过渡区以及低精度区的渲染精度逐次降低；所述立体渲染的方式包括静态渲染和动态渲染，所述静态渲染是对包含当前三维眼动点的一定区域的渲染，所述动态渲染是对下一个三维眼动点可能落入的预测区域进行的渲染。

优选地，所述静态渲染和/或动态渲染的渲染精度向外对称或不对称、线性或非线性降低。

优选地，所述静态渲染是根据连续两帧双眼图像中三维眼动点静止不动时确定的渲染，所述高精度区是以所述三维眼动点为中心的球体区域。

优选地，所述动态渲染是根据连续两帧双眼图像中不重合的两个三维眼动点确定的渲染；所述高精度区是以所述两个三维眼动点连线为长轴的椭球区域。

优选地，所述动态渲染是根据连续三帧双眼图像中位于同一直线上且各不重合的三个三维眼动点确定的渲染；所述高精度区是以所述三个三维眼动点的连线为长轴的椭球区域。

优选地，所述动态渲染是根据连续三帧双眼图像中不在同一直线上且各不重合的三个三维眼动点确定的渲染；所述高精度区是以所述三个三维眼动点拟合的曲线在最后一帧双眼图像确定的三维眼动点处的切线为长轴的椭球区域。

优选地，以最后一帧双眼图像确定的三维眼动点为所述椭球区域的焦点，所述焦点是椭球两个焦点中离上一个三维眼动点较近的那一个。

本发明具有以下有益效果：

对用户关注的区域进行立体渲染，预测用户可能关注的区域并对该区域进行立体渲染，节约虚拟现实设备处理能力，减轻显卡负担。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是根据本发明的实施方式的一种静态渲染示意图。

图2是根据本发明的实施方式的一种基于预测的动态渲染示意图。

图3是根据本发明的实施方式的另一种基于预测的动态渲染示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

在虚拟现实设备中，高精度渲染占用了显卡的大量资源。显卡进行渲染主要依靠图形渲染管道，简称为管道。管道的主要功能是由给定的虚拟摄像机、三维物体、灯源、光照模型、纹理贴图或其他来产生或渲染一个二维图像。由此可见，渲染管道是实时渲染技术的底层工具。图像中物体的位置及形状是通过它们的几何描述、环境特征、以及该环境中虚拟摄像机的摆放位置来决定的。物体的外观受到了材质属性、灯源、贴图以及渲染模式的影响。渲染管道一般分为三个阶段：应用程序阶段、几何阶段、光栅化阶段。

应用程序阶段识别出潜在可视的网格实例，并把它们及其材质呈交给图形硬件以供渲染。在该阶段的末端将产生几何体数据，包括顶点坐标、法向量、纹理坐标、纹理等，通过数据总线传送到图形硬件以供渲染，进行几何阶段。很多经典的算法都是在这个阶段中进行的，诸如碰撞检测、场景图建立、空间八叉树更新、视锥裁剪等。

几何阶段主要负责顶点坐标变换、光照、裁剪、投影以及屏幕映射，该阶段基于显卡进行计算，该阶段的末尾得到经过变换和投影之后的顶点坐标、颜色、以及纹理坐标。其主要工作可以概括为“变换三维顶点坐标”和“光照计算”。几何阶段处理结束后，送到光栅化阶段的是一堆三角形面片，所以几何阶段中需要对顶点进行图元装配。所谓的图元装配，即根据顶点原始的连接关系，还原出模型的网格结构。网格由顶点和索引组成，在之前的流水线中是对顶点的处理，而在这阶段是根据索引将顶点连接中一起，组成线、面单元。然后对超出视口外的三角形进行裁剪(视口裁剪)。

管道的最终阶段为合并阶段或混合阶段，NVIDIA称之为光栅运算阶段，光栅化的目的是计算出每个像素的颜色值。这个阶段把几何阶段送过来的三角形转化为片段，并对片段进行着色。片段经过裁剪测试、alpha测试、模板测试、深度测试、融合等处理后，最终和帧缓冲混合。经历了这阶段之后，像素的颜色值被写入帧缓存中。以上内容即为渲染管道的整个流程。

本发明基于现有虚拟现实设备中使用的眼球追踪技术确定眼动点，预测用户可能关注的区域并对该区域进行高精度立体渲染，其余区域采取低精度渲染，节约虚拟现实设备处理能力，减轻显卡负担。现有多种眼球追踪技术，均可用于追踪用户眼睛的眼动点，发明人在此不做赘述。

以下结合附图就本发明的技术方案说明具体的实施方式。

本发明提供一种基于眼球追踪及眼动点预测的立体渲染方法，包括步骤：(1)拍摄双眼图像，确定双眼在三维场景中的三维眼动点，所述三维眼动点是双眼视线的交点；(2)对三维场景进行立体渲染，所述立体渲染包括高精度区，包围高精度区的过渡区，包围所述过渡区的低精度区，所述高精度区、过渡区以及低精度区的渲染精度逐次降低；所述立体渲染方式包括静态渲染和动态渲染，所述静态渲染是对包含所述三维眼动点的一定区域的渲染，所述动态渲染是对下一个三维眼动点可能落入的预测区域进行的渲染，所述渲染是模型进入显卡渲染管线形成立体图像，然后在平面显示屏上实时显示所述立体图像。

以下结合附图说明步骤(1)。

在虚拟现实中，用户眼睛通过看平面显示屏上左右眼有视差的三维场景产生立体视觉，亦即具有深度视觉。步骤(1)的作用就是确定双眼所同时看的物体，即双眼视线在上述三维场景中的交点，该交点即三维眼动点。

参考图1和图2，说明本方法确定三维眼动点的方法：根据左眼瞳孔中心和左眼在显示屏上的眼动点A1的连线确定左眼视线；根据右眼瞳孔中心和右眼在显示屏上的眼动点A2的连线确定右眼视线；根据双眼视线在立体三维场景中的交点A确定三维眼动点A。

本发明中通过步骤(1)实时确定三维眼动点的位置，进而依据步骤(1)进行步骤(2)中的各种立体渲染。

以下结合附图介绍步骤(2)。

步骤(2)是根据步骤(1)中确定三维眼动点，进行各种立体渲染。

本发明所称立体渲染是对人眼睛当前三维眼动点周围一定范围内的区域进行高精度渲染，并对该一定范围外的区域进行低精度渲染。

首先，人眼睛在观看三维场景时，当对三维场景中特定的目标产生注视，即人眼睛在一定时间内只盯着一个点持续观看，会产生数帧双眼视线的交点重合，即三维眼动点静止不动。发明人针对连续两帧双眼图像中静止不动或基本上重合的三维眼动点，采取一种静态渲染方法。

参考图1，说明该静态渲染，连续两帧双眼图像中检测到的三维眼动点均在A点时，以该三维眼动点A为中心进行高精度渲染形成高精度区，该高精度区是以三维眼动点A为中心的球体区域31或类球体区域31。该球体区域31或类球体区域31是以三维眼动点A为中心、以正视平面上距离三维眼动点A大于5°的距离的为半径的球体。还有包围该高精度区31的过渡区(未示出)和包围所述过渡区的低精度区(未示出)。渲染精度从三维眼动点A向外对称或不对称、线性或非线性降低。这样可以对用户关注的区域进行立体渲染、而对用户不关注的区域虚化处理，节约虚拟现实设备处理能力，减轻显卡负担。所述渲染是模型进入显卡渲染管线形成立体图像，然后在平面显示屏上实时显示所述立体图像。

较佳地，高精度区31是三维眼动点A为中心、以正视平面上距离三维眼动点A近似10°的距离的为半径的球体。

较佳地，过渡区可以是均匀厚度的区域。需要说明的是，本发明对过渡区的厚度不做限制。过渡区厚度较薄的情况下，可进一步节约虚拟现实设备的处理能力，减轻显卡负担。过渡区厚度适当的情况下，对用户视觉的影响更小，可以更好地匹配人眼的自然视觉。

其次，人眼睛在观看三维场景时，当对三维场景中的其他目标产生兴趣，即人眼睛在一定时间内转移视线，会产生数帧双眼视线的交点不重合，即三维眼动点不重合，从而形成三维眼动点的运动形式。发明人针对连续两帧或三帧双眼图像中不重合的三维眼动点，采取一种动态渲染方法，通过对下一个三维眼动点可能落入的预测区域进行渲染，这也是本发明的重要发明点。发明人通过研究发现，动态渲染可以分为三种情形。下面结合附图说明：

第一种动态渲染：连续两帧双眼图像中不重合的两个三维眼动点的动态渲染。参考图2，人眼在连续两帧双眼图像中的三维眼动点分别为A和B。左眼视线与显示屏1的交点A1和右眼视线与显示屏1的交点A2处均显示A的图像，左眼视线与显示屏1的交点B1和右眼视线与显示屏1的交点B2处右眼视线与显示屏1的交点均显示B的图像。由于取连续两帧双眼图像中的三维眼动点A和B，这样可以预测下一个三维眼动点可能落入的区域在向量的方向(即向量21的方向)上，发明人通过大量数据研究发现，这种情况下，下一个三维眼动点可能落入的区域在一个以向量方向(即向量21方向)为长轴的椭球体区域。这样发明人确定以三维眼动点A和三维眼动点B的连线为长轴的椭球区域5为高精度区，下一个三维眼动点可能落入椭球区域5中。优选地，以三维眼动点B为该椭球区域5的一个焦点，为预测范围的合理性考虑，三维眼动点B为该椭球区域离三维眼动点A最近的一个焦点。在这种情况下，为满足人眼的自然视觉需求，则该椭球体区域5涵括以三维眼动点B为中心、以正视平面上距离三维眼动点B大于5°的距离的为半径的球体。该渲染还包括包围该高精度区5的过渡区(未示出)和包围所述过渡区的低精度区(未示出)。渲染精度从椭球体5的中心向外对称或不对称降低、线性或非线性降低。这样可以对用户关注的区域进行立体渲染、而对用户不关注的区域虚化处理，节约虚拟现实设备处理能力，减轻显卡负担。所述渲染是模型进入显卡渲染管道形成立体图像，然后在平面显示屏上实时显示所述立体图像。

较佳地，以在向量21延长线上的一点C为椭球体5的另一个焦点，且A到B的距离等于B到C距离。

第二种动态渲染：连续三帧双眼图像中在同一直线上且各不重合的三个三维眼动点确定的渲染。这种渲染与第一种动态渲染基本相同，区别仅在于根据三点之间的距离确定三维眼动点运动的加速度，进而预测即第四个三维眼动点的位置，以该第三个三维眼动点和第四个三维眼动点为焦点确定椭球区域5，该椭球区域5为高精度区，即高精度区5是以所述在直线上各不重合的三个三维眼动点的连线为长轴的椭球区域5。过渡区和低精度区依第一种动态渲染依次确定，发明人在此不做赘述，

第三种动态渲染：连续三帧双眼图像中不在同一直线上且各不重合的三个三维眼动点确定的渲染。参考图3，人眼在连续三帧双眼图像中的三维眼动点分别为A、B和D。左眼视线与显示屏1的交点B1和右眼视线与显示屏1的交点B2处均显示B的图像，左眼视线与显示屏1的交点D1和右眼视线与显示屏1的交点D2处右眼视线与显示屏1的交点均显示D的图像。这种情况下，通过拟合三维眼动点A、B和D形成曲线21，可通过在三维眼动点D处切线2预测用户的预测下一个三维眼动点可能落入的区域，发明人通过大量数据研究发现，这种情况下，下一个三维眼动点可能落入的区域是以切线2的方向(即三维眼动点在曲线21上D点处的运动趋势方向)为长轴的椭球体区域。这样发明人确定以切线2长轴的椭球区域5为高精度区，下一个三维眼动点可能落入椭球区域5中。优选地，以三维眼动点D为该椭球区域5的一个焦点，为预测范围的合理性考虑，三维眼动点D为该椭球区域离三维眼动点B最近的一个焦点。在这种情况下，为满足人眼自然视觉需求。则该椭球体区域5涵括以三维眼动点D为中心、以正视平面上距离三维眼动点D大于5°的距离的为半径的球体。该渲染还包括包围该高精度区5的过渡区(未示出)和包围所述过渡区的低精度区(未示出)。渲染精度从椭球体5的中心向外对称或不对称降低、线性或非线性降低。这样可以对用户关注的区域进行立体渲染、而对用户不关注的区域虚化处理，节约虚拟现实设备处理能力，减轻显卡负担。所述渲染是模型进入显卡渲染管道形成立体图像，然后在平面显示屏上实时显示所述立体图像。

较佳地，该椭球体区域5涵括以三维眼动点D为中心、以正视平面上距离三维眼动点D近似10°的距离的为半径的球体。

较佳地，过渡区可以是均匀厚度的区域。本发明对过渡区的厚度不做限制。过渡区厚度较薄的情况下，可进一步节约虚拟现实设备的处理能力，减轻显卡负担。过渡区厚度适当的情况下，对用户视觉的影响更小，可以更好地匹配人眼的自然视觉。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (7)

1.一种基于眼球追踪及眼动点预测的立体渲染方法，包括步骤：

(1)拍摄双眼图像，确定双眼在三维场景中的三维眼动点，所述三维眼动点是双眼视线的交点；

(2)对三维场景进行立体渲染，所述立体渲染包括将所述三维场景划分为高精度区，包围高精度区的过渡区，包围所述过渡区的低精度区，所述高精度区、过渡区以及低精度区的渲染精度逐次降低；所述立体渲染的方式包括静态渲染和动态渲染，所述静态渲染是对包含当前三维眼动点的一定区域的渲染，所述动态渲染是对下一个三维眼动点可能落入的预测区域进行的渲染。

2.根据权利要求1所述的方法，其特征在于：所述静态渲染和/或动态渲染的渲染精度向外对称或不对称、线性或非线性降低。

3.根据权利要求1中所述的方法，其特征在于：所述静态渲染是根据连续两帧双眼图像中三维眼动点静止不动时确定的渲染，所述高精度区是以所述三维眼动点为中心的球体区域。

4.根据权利要求1中所述的方法，其特征在于：所述动态渲染是根据连续两帧双眼图像中不重合的两个三维眼动点确定的渲染；所述高精度区是以所述两个三维眼动点连线为长轴的椭球区域。

5.根据权利要求1中所述的方法，其特征在于：所述动态渲染是根据连续三帧双眼图像中位于同一直线上且各不重合的三个三维眼动点确定的渲染；所述高精度区是以所述三个三维眼动点的连线为长轴的椭球区域。

6.根据权利要求1中所述的方法，其特征在于：所述动态渲染是根据连续三帧双眼图像中不在同一直线上且各不重合的三个三维眼动点确定的渲染；所述高精度区是以所述三个三维眼动点拟合的曲线在最后一帧双眼图像确定的三维眼动点处的切线为长轴的椭球区域。

7.根据权利要求4-6其中之一所述的方法，其特征在于：以最后一帧双眼图像确定的三维眼动点为所述椭球区域的焦点，所述焦点是椭球两个焦点中离上一个三维眼动点较近的那一个。