CN108354584A - 眼球追踪模组及其追踪方法、虚拟现实设备 - Google Patents

Abstract

本发明提供一种眼球追踪模组，包括：红外光源组件、第一红外反射部件、第二红外反射部件及红外摄像组件；红外光源组件，用于向眼球发射红外光；第一红外反射部件，用于将经第一次反射过来的红外光进行第二次反射，以将眼球图像随红外光的第二次反射传递至第二红外反射部件；第二红外反射部件，用于将经第二反射过来的红外光进行第三次反射，以将眼球图像随红外光的第三次反射传递至红外摄像部件；红外摄像组件，用于采集随红外光的第三次反射传递的眼球图像。本发明所解析的眼球图像具有较小的像差，同时，本发明能够消除畸变，从而提高图像的清晰度，并减小图像处理的运算量，进而提高对眼球的追踪精度和速度。

Description

眼球追踪模组及其追踪方法、虚拟现实设备

技术领域

本发明涉及眼球追踪技术及图像处理技术领域，尤其涉及一种眼球追踪模组及其追踪方法、虚拟现实设备。

背景技术

眼球追踪是利用机械、电子、光学等各种检测手段获取受试者当前“注视方向”的技术。当人的眼睛看向不同方向时，眼部会有细微的变化，这些变化会产生可以提取的特征，计算机可以通过图像捕捉或扫描提取这些特征，从而实时追踪眼睛的变化，预测用户的状态和需求，并进行响应，达到用眼睛控制设备的目的。

随着计算机视觉、人工智能技术和数字化技术的迅速发展，眼球追踪技术已成为当前热点研究领域，其在虚拟现实研究中非常常见，其实现原理常用的有三种：根据眼球和眼球周边的特征变化进行跟踪；根据虹膜角度变化进行跟踪；主动投射红外线等光束到虹膜来提取特征。现有的眼球追踪术的主要设备包括红外设备和图像采集设备。在精度方面，红外线投射方式有比较大的优势，大概能在30英寸的屏幕上精确到1厘米以内，辅以眨眼识别、注视识别等技术，已经可以在一定程度上替代鼠标、触摸板，进行一些有限的操作。此外，其他图像采集设备，如电脑或手机上的摄像头，在软件的支持下也可以实现眼球跟踪，但是在准确性、速度和稳定性上各有差异。

然而，现有虚拟现实设备的红外眼球追踪设备中存在较大的像差和畸变，造成红外摄像头采集的图像清晰度不够，且存在图像畸变的情况，导致后期图像处理的计算量增加，降低了眼球的追踪精度和速度。

发明内容

本发明提供一种眼球追踪模组及应用了该眼球追踪模组的虚拟设备。

第一方面，本发明提供一种眼球追踪模组，包括：红外光源组件、第一红外反射部件、第二红外反射部件及红外摄像组件；

红外光源组件，用于向眼球发射红外光，以使发射的红外光在眼球上发生第一次反射并使眼球图像随红外光的第一次反射传递至所述第一红外反射部件；

第一红外反射部件，用于将经第一次反射过来的红外光进行第二次反射，以将眼球图像随红外光的第二次反射传递至第二红外反射部件；

第二红外反射部件，用于将经第二反射过来的红外光进行第三次反射，以将眼球图像随红外光的第三次反射传递至红外摄像部件；

红外摄像组件，用于采集随红外光的第三次反射传递的眼球图像。

具体的，所述第一红外反射部件为透明红外反射膜层，所述第一红外反射部件贴覆或涂覆于透镜上。

具体的，所述第二红外反射部件为曲面结构，所述第二红外反射部件还用于对随红外光第二次反射传递的眼球图像进行畸变矫正。

优选的，所述模组还包括处理器，所述处理器用于对红外摄像组件采集的眼球图像进行图像处理，以解析出眼球的静态或动态信息。

第二方面，本发明提供一种虚拟现实设备，包括成像透镜及第一方面所述的眼球追踪模组。

具体的，所述眼球追踪模组中的第一红外反射部件为透明红外反射膜层，所述第一红外反射部件贴覆或涂覆于所述成像透镜的近眼侧。

具体的，所述第一红外反射部件位于眼球的反射光路上。

优选的，所述第二反射部件位于所述第一红外反射部件的反射光路上。

具体的，所述第二红外反射部件为偏向所述红外摄像组件的方向弯曲的曲面结构，用于对眼球图像消除畸变或补偿。

第三方面，本发明提供一种基于第一方面所述的眼球追踪模组的眼球追踪方法，包括：

控制红外光源组件向眼球发射红外光，以便红外光依次经眼球、第一红外反射部件及第二红外反射部件的反射而传递眼球图像；

控制红外摄像组件采集经红外光三次反射而传递的眼球图像；

对红外摄像组件采集的眼球图像进行图像处理，以解析出眼球的静态或动态信息。

第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序执行时实现第三方面所述眼球追踪方法的步骤。

相比现有技术，本发明提供的方案有以下优点：

1、本发明提供一种眼球追踪模组，所述模组包括：红外光源组件、第一红外反射部件、第二红外反射部件及红外摄像组件；红外光源组件，用于向眼球发射红外光，以使得红外光依次经眼球、第一红外反射部件及第二红外反射部件的反射而传递眼球图像；红外摄像组件，用于采集随红外光的第三次反射传递的眼球图像。本发明通过由第二红外反射部件以及镀于成像透镜上的第一红外反射部件共同构成的红外眼球追踪光学系统，能够显著减小系统的像差，提高图像采集的清晰度，同时也能够消除系统畸变，避免后期图像处理的计算量，提高对眼球的追踪精度和速度。

2、本发明所述眼球追踪模组中的第一红外反射部件只对红外LED发出的红外光进行反射，而对显示屏发出的可见光几乎全部透过，在进行眼球追踪时，不会影响用户正常观看显示屏上的信息。另外，所述第一红外反射部件镀于成像透镜的近眼侧，节省了设备的空间，减轻了设备的重量，满足了虚拟现实设备体积小型化的要求。

3、本发明所述眼球追踪模组中的第二红外反射部件可以对成像透镜上镀有的第一红外反射部件的表面产生的像差和畸变进行补偿，能够显著减小红外眼球追踪光学系统的像差，同时能够消除眼球图像畸变。

综上，本发明利用第一红外反射部件以及第二红外反射部件的两次红外反射进行畸变消除，提高了红外光学系统的成像质量，省去后期图像进行畸变校正，减小运算量，进而提高检测精测和速度。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明的一种眼球追踪模组结构示意图；

图2为本发明的一种虚拟设备结构示意图；

图3为本发明的一种眼球追踪方法一种实施例流程框图；

图4为本发明的一种眼球追踪方法中瞳孔圆周点的统计示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

请参阅图1，本发明所提供的一种眼球追踪模组1，具体的一种实施例中，所述眼球追踪模组1包括：红外光源组件11、第一红外反射部件12、第二红外反射部件13及红外摄像组件14。

具体的，所述红外光源组件11用于向眼球发射红外光，以使发射的红外光在眼球上发生第一次反射并使眼球图像随红外光的第一次反射传递至所述第一红外反射部件。所述红外光源11可设于成像透镜以外的任何空间位置，只要使得红外光能够照射到使用者的眼部即可。一般情况下，所述红外光源11设于成像透镜的边缘位置，其可以是一个红外光源，也可以是围绕成像透镜分布的两个及以上的红外光源。

所述第一红外反射部件12用于将经第一次反射过来的红外光进行第二次反射，以将眼球图像随红外光的第二次反射传递至第二红外反射部件。所述第一红外反射部件12为透明红外反射膜层，且所述第一红外反射部件12贴覆或涂覆于透镜上。所述第一红外反射部件12通常是电介质红外反射膜层，其不影响可见光的透射，可分为单层膜和多层膜两种。所述第一红外反射部件12可以利用蒸镀或溅射方式直接在成像透镜表面上生成，也可以采用贴膜的方式生成，具体方式不做限定。

所述第二红外反射部件13用于将经第二反射过来的红外光进行第三次反射，以将眼球图像随红外光的第三次反射传递至红外摄像部件，其具体安装位置由红外光路设计时确定，只要不遮挡使用者的视线即可。所述第二红外反射部件13可以为球面、非球面或自由曲面等的曲面结构，其具体的弯曲方向依据成像透镜的类型而决定，具体的，当成像透镜为凸透镜时，所述第二红外反射部件13偏向所述红外摄像组件14一侧弯曲。

具体的，所述第二红外反射部件13还用于对随红外光第二次反射传递的眼球图像进行畸变矫正。具体的，本发明通过对所述第二红外反射部件13的面型参数，如半径、非球面系数、自由曲面系数和空间坐标位置的设定来对像差和畸变进行补偿，具体最优的面型参数的设计通常是采用光学设计软件来完成。一种可能的设计中，本发明求解最优的面型参数可以通过建立畸变模型，如径向畸变模型和切向畸变模型，依据畸变模型求解畸变系数，根据畸变系数求解最优的面型参数，通过面型参数的设定对可能产生的畸变进行补偿，例如，通过对面型参数的设计对可能产生的眼球图像几何形状的失真进行补偿。本发明通过增加所述第二红外反射部件13及所述第一红外反射部件12减小系统的像差，消除了畸变，使得所述红外摄像组件14采集的图像更加清晰，且眼球图像没有发生变形。因此，后续图像处理时可以省去对图像畸变进行校正的步骤，省去了图像畸变校正所需的运算量和运算时间，提高了运算速度。同时，由于采集的眼部图像清晰度更高，可以使图像处理精度更高。

进一步的，所述红外摄像组件14用于采集随红外光的第三次反射传递的眼球图像，其位于红外反射部件13的反射光路上，具体安装位置由红外光路设计时确定，只要红外摄像头不遮挡使用者的视线即可。

进一步的，所述眼球追踪模组1还包括处理器15(图未示)，所述处理器15用于对所述红外摄像组件14采集的眼球图像进行图像处理，以解析出眼球的静态或动态信息。

请参考图2，本发明提供一种虚拟现实设备2，具体的一种实施例中，所述虚拟现实设备2包括成像透镜21及上述所述的眼球追踪模组1。

具体的，所述眼球追踪模组1中的第一红外反射部件11为透明红外反射膜层，所述第一红外反射部件12贴覆或涂覆于所述成像透镜21的近眼侧。具体的，所述第一红外反射部件12通常是电介质红外反射膜层，其不影响可见光的透射，可分为单层膜和多层膜两种。所述第一红外反射部件12可以利用蒸镀或溅射方式直接在成像透镜表面上生成，也可以采用贴膜的方式生成，具体方式不做限定。所述第一红外反射部件12位于眼球的反射光路上，用于将经第一次反射过来的红外光进行第二次反射，以将眼球图像随红外光的第二次反射传递至第二红外反射部件。

所述第二反射部件13位于眼球可视角度的边缘或外部，且位于所述第一红外反射部件12的反射光路上，用于将经第二反射过来的红外光进行第三次反射，以将眼球图像随红外光的第三次反射传递至红外摄像部件，其具体安装位置由红外光路设计时确定，只要不遮挡使用者的视线即可。所述第二红外反射部件13的具体弯曲方向依据成像透镜的类型而决定，具体的，当成像透镜为凸透镜时，所述第二红外反射部件13偏向所述红外摄像组件14一侧弯曲，用于对眼球图像消除畸变或补偿。

进一步的，所述虚拟设备2还包括显示模组22，所述显示模组22位于所述成像透镜21远离眼球的一侧，所述显示模组22具体为显示屏或其他用于显示的设备。

请参考图3，本发明提供一种基于上述所述的眼球追踪模组1的眼球追踪方法，所述方法执行于所述控制器，一种实施方式中，包括：

S11、控制红外光源组件向眼球发射红外光，以便红外光依次经眼球、第一红外反射部件及第二红外反射部件的反射而传递眼球图像。

本发明实施例中，通过主动投射红外线等光束到虹膜来提取眼球的特征。在精度方面，红外线投射方式有比较大的优势，大概能在30英寸的屏幕上精确到1厘米以内，辅以眨眼识别、注视识别等技术，已经可以在一定程度上替代鼠标、触摸板，进行一些有限的操作。此外，其他图像采集设备，如电脑或手机上的摄像头，在软件的支持下也可以实现眼球跟踪，但是在准确性、速度和稳定性上各有差异。

具体的，所述红外光源通过发射红外光照亮眼睛，以及对红外光反射敏感的所述红外摄像组件。红外光的波长通常为850纳米，在390到700纳米的可见光谱之外。故人眼眼睛不能检测到红外光的照明，但红外摄像组件可以。

红外光通过瞳孔进入眼睛，而在瞳孔区域以外的区域，光线不会进入眼睛，而是会在眼球处被反射出去。本发明实施例中，红外光在眼球处被反射至所述第一红外反射部件，并由所述第一红外反射部件反射至所述第二红外反射部件，并最终由所述第二红外反射部件反正至所述红外摄像组件。因此，所述红外摄像组件将瞳孔视为黑暗区域，而眼睛的其余部分更亮。这是“暗瞳眼部追踪”。如果红外光源靠近光轴，则可以从眼睛后方反射。在这种情况下，瞳孔显得很亮，这是“明瞳眼部追踪”。无论我们使用暗瞳还是明瞳，其主要的技术点是让瞳孔不同于眼睛其余部分，以最终提取瞳孔的中心点的坐标。

S12、控制红外摄像组件采集经红外光三次反射而传递的眼球图像。

本发明实施例中，所述控制器通过控制所述红外光源发射的红外光、所述第一红外反射部件、所述第二红外反射部件以及所述红外摄像组件与人眼的相对位置，来控制所述制红外摄像组件采集眼球的图像。

所述红外摄像组件采集到眼球图像后经过处理以确定瞳孔中心的位置，并进一步依据瞳孔中心的位置检测眼睛注视的方向，最终依据眼睛注视的方向通过事先建立的瞳孔坐标与屏幕坐标的数学模型，来推算出人眼在显示屏幕上的注视点坐标。处理过程有时可以在PC、手机或其他处理器上完成。

S13、对红外摄像组件采集的眼球图像进行图像处理，以解析出眼球的静态或动态信息。

本发明实施例中，所述控制器对红外摄像组件采集的眼球图像进行图像处理，其基本思路是对红外摄像组件采集的眼球图像进行滤波、二值化等处理，来提取人眼瞳孔中心点的坐标，然后通过预先建立的瞳孔坐标与屏幕坐标的数学模型，来推算出人眼在显示屏幕上的注视点坐标。

确定瞳孔中心点有多种算法，其中最简单的形心法和边界拟合法。形心法首先将所述眼球图像进行二值化处理变成二值图，以便将瞳孔与眼球图像其他部分分割开，再求出瞳孔的形心，并作为瞳孔中心点。边界拟合法则是将瞳孔的边界全部提取后，再进行圆或椭圆拟合，以圆心作为瞳孔中心点。

对瞳孔中心的研究，大多数是基于对圆的检测，圆Hough变换是目前应用最为广泛的圆检测方法，该方法可靠性高，在噪声、变形，甚至部分区域丢失的状态下仍然能取得理想的结果。

一种可能的设计中，本发明优选点Hough变换来检测虹膜图像中瞳孔中心，首先对虹膜图像进行灰度变换和二值化边缘提取粗定位瞳孔边缘，然后利用曲线拟合和点Hough变换对瞳孔中心定位，计算出瞳孔的中心点位置和半径，其具体方案如下：

1、图像前期处理

通常对眼球图像的前期处理步骤包括：眼球图像质量评估、虹膜定位、归一化、特征提取和模式匹配。而本发明的研究对象是瞳孔，故对虹膜的前期处理包括瞳孔粗定位、形态学方法处理和边缘信息提取等。瞳孔粗定位，就是将原虹膜图像转化为灰度图像，根据瞳孔和其他区域灰度值的差别，选取特定阈值作为标准，分离出瞳孔的大致区域。利用形态学的腐蚀和膨胀方法去除不必要的噪声。利用Hough变换检测瞳孔，是将瞳孔建模成椭圆或圆，利用图像的边缘信息通过Hough变换得到瞳孔位置及大小。前期的处理结果关系整个识别过程的精确性。

2、利用阈值分割法把瞳孔大致分离出来，再用腐蚀和膨胀方法的形态学方法将瞳孔单独分离出来，并对瞳孔图像进行边缘提取。

3、通过八方向的扫描方式将瞳孔边缘的每个像素点及其像素值存储起来。

请参考图4，图4示出了瞳孔圆周点的统计示意图。如图4所示，x轴和y轴都以像素点的个数为度量单位。首先在瞳孔圆周上找到一个点P1，然后按逆时针依次查找点P1周边的八个方向，当遇到某个方向的灰度值非零时，把此方向上的坐标位置记为点P2，再以P2为中心，逆时针查找器周围的八个方向，以遇到下个灰度值非零的点P3、P4。选取的这些点都是经过边缘提取图像上边缘的有效点，用来确定瞳孔周围的位置和大小，所以要把这些点的横坐标和纵坐标值存放在两个数组中。

综上所述，对瞳孔边缘点的存储算法如下：

a、计算边缘点的个数，记为N。

b、定义两个数组x(N)和y(N)分别用来存储边缘点的横坐标和纵坐标，并初始化为0。

c、对图像进行优先扫描，找到第一个边缘点，将其横纵坐标分别存储于x(1)和y(1)中，并记x＝2。

d、以此边缘点为中心，按逆时针扫描器八个方向，若像素值不为0，则判断把该方向的坐标记入x(x)和y(x)中。

e、去掉误差较大的噪声点，判断此点的横纵坐标与x(x-1)和y(x-1)的差值是否都大于2。

f、若是，则x--，否则转到步骤d。

g、如果图像扫描完成或者回归到第一点，则结束。

4、采用固定距离法选择点组。固定距离是指点组中第一和第二点、第二和第三点之间的顺序间隔相等。P1、P2、.....Pn是边缘上连续的点，若选择距离为10，则第一点组P1、P11、P21，第二点组为P2、P12、P22，第三点组为P3、P13、P23，其余类推。具体算法如下：

A、定义变量x1、x2、x3和y1、y2、y3分别用来存储点组中三个点的横纵坐标，并初始化为0，定义变量i＝1。

B、从x(i)和y(i)开始，以步长为T个坐标单位找出第i个点组。

C、根据原理中的公式求出该点组确定的两条弦所在直线的斜率和截距，若计算中出现分母为零的情况，则转步骤E。

D、排除三点共线的情况，求出该点组下的圆心坐标并存储，按圆心到一点的距离来计算半径。

E、i++，转步骤B。

5、计算出每个点组确定的圆的圆心坐标和半径，进行比较，将所得到的每组圆心横坐标、纵坐标和半径求数学期望，得到的即为瞳孔中心的位置坐标和瞳孔的半径。

6、依据确定的瞳孔中心的位置坐标检测眼睛注视的方向，并依据眼睛注视的方向结合事先建立的瞳孔坐标与屏幕坐标的数学模型，来推算出人眼在显示屏幕上的注视点坐标，完成眼球的追踪。

一种可能的应用场景中，将本发明所述眼球追踪方法应用于虚拟设备中，例如，通过眼球追踪技术跟踪人的眼球，确定眼球的注视点的位置坐标，从而对眼球注视点所指向的观看对象进行渲染，利用人类视觉来简化需要渲染到屏幕上的内容。具体的，当眼球注视显示屏上的一个对象时，只有聚焦的中心，就是视网膜中央凹的位置会变得非常清晰，图像会变得越来越小直到它进入你的视野。注视点渲染技术利用这一点通过眼球追踪技术跟踪人眼的中央凹的位置，只渲染用户聚焦的图像的全分辨率，以便极大地减少了电脑渲染的内容，因为它只需输出观看对象的全分辨率，从而让目前的硬件实现更好的性能。

另一种可能的应用场景中，通过眼球追踪技术所捕捉到的眼球的状态，比如眨眼，转眼，凝视，扫视等对显示终端进行控制。比如应用于游戏中，在射击游戏中，根据捕捉到的眼球的不同状态，执行攻击对象、瞄准目标或指定位置等不同操作，只需一个目光就能完成，增强用户体验。

另一种可能的应用场景中，通过眼球追踪技术，可以实现与虚拟场景的互动。比如增强VR游戏的现实感，让游戏里的角色知道你在用眼神与他们进行交互。这样可以为游戏或视频体验带来新的维度思考。

综合上述实施例可知，本发明最大的有益效果在于：

本发明通过第一红外反射部件以及第二红外反射部件对红外光的两次反射，能够显著减小系统成像的像差，提高图像采集的清晰度，同时也能够消除系统畸变，避免后期图像处理的计算量，提高对眼球的追踪精度和速度。

本发明所述眼球追踪模组中的第一红外反射部件只对红外LED发出的红外光进行反射，而对显示屏发出的可见光几乎全部透过，在进行眼球追踪时，不会影响用户正常观看显示屏上的信息。另外，所述第一红外反射部件镀于成像透镜的近眼侧，节省了设备的空间，减轻了设备的重量，满足了虚拟现实设备体积小型化的要求。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (11)

1.一种眼球追踪模组，其特征在于，包括：红外光源组件、第一红外反射部件、第二红外反射部件及红外摄像组件；

红外光源组件，用于向眼球发射红外光，以使发射的红外光在眼球上发生第一次反射并使眼球图像随红外光的第一次反射传递至所述第一红外反射部件；

第一红外反射部件，用于将经第一次反射过来的红外光进行第二次反射，以将眼球图像随红外光的第二次反射传递至第二红外反射部件；

第二红外反射部件，用于将经第二反射过来的红外光进行第三次反射，以将眼球图像随红外光的第三次反射传递至红外摄像部件；

红外摄像组件，用于采集随红外光的第三次反射传递的眼球图像。

2.根据权利要求1所述的模组，其特征在于，所述第一红外反射部件为透明红外反射膜层，所述第一红外反射部件贴覆或涂覆于透镜上。

3.根据权利要求1或2所述的模组，其特征在于，所述第二红外反射部件为曲面结构，所述第二红外反射部件还用于对随红外光第二次反射传递的眼球图像进行畸变矫正。

4.根据权利要求1所述的模组，其特征在于，所述模组还包括处理器，所述处理器用于对红外摄像组件采集的眼球图像进行图像处理，以解析出眼球的静态或动态信息。

5.一种虚拟现实设备，其特征在于，包括成像透镜及权利要求1～4任一项所述的眼球追踪模组。

6.根据权利要求5所述的设备，其特征在于，所述眼球追踪模组中的第一红外反射部件为透明红外反射膜层，所述第一红外反射部件贴覆或涂覆于所述成像透镜的近眼侧。

7.根据权利要求6所述的设备，其特征在于，所述第一红外反射部件位于眼球的反射光路上。

8.根据权利要求5所述的设备，其特征在于，所述第二反射部件位于所述第一红外反射部件的反射光路上。

9.根据权利要求5所述的设备，其特征在于，所述第二红外反射部件为偏向所述红外摄像组件的方向弯曲的曲面结构，用于对眼球图像消除畸变或补偿。

10.一种基于权利要求1～4任一项所述的眼球追踪模组的眼球追踪方法，其特征在于，包括：

控制红外光源组件向眼球发射红外光，以便红外光依次经眼球、第一红外反射部件及第二红外反射部件的反射而传递眼球图像；

控制红外摄像组件采集经红外光三次反射而传递的眼球图像；

对红外摄像组件采集的眼球图像进行图像处理，以解析出眼球的静态或动态信息。

11.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，该计算机程序执行时实现权利要求10所述眼球追踪方法的步骤。