CN105138965B - 一种近眼式视线跟踪方法及其系统 - Google Patents

Abstract

本发明公开一种近眼式视线跟踪方法，具体步骤如下：1）注视点标定：根据捕获的眼部图像和对应的场景图，确定眼图数据和标定点在场景图中的坐标，进而计算眼部图像和场景图的映射关系；2）注视点估计：根据实时获取的眼部图像参数和标定过程得到的映射方程，估计场景图中注视点的位置。本发明还公开了一种近眼式视线跟踪系统，只需要一个红外光源，两个普通摄像头，一个处理器及固定连接装置。本发明无需对图像进行预处理，计算复杂度低，对头部运动没有限制，实现过程自然舒适，易于实现，估计误差在视线跟踪应用的误差容许范围之内。

Description

一种近眼式视线跟踪方法及其系统

技术领域

本发明涉及一种近眼式视线跟踪方法及其系统，属于视频、多媒体信号处理技术领域。

背景技术

随着计算机科学技术的飞速发展，人机交互活动逐渐成为人们日常生活的重要组成部分。而视线跟踪和识别技术作为人机交互技术的重要分支，在智能化人机交互中发挥着巨大作用。被广泛应用于军备开发、无人驾驶、残疾人辅助、虚拟现实等领域。

以视频图像为基础的视线跟踪系统，依据摄像机拍摄眼睛的距离，又可以分为远距式视线跟踪系统与近距式视线跟踪系统。远距式视线跟踪系统是将摄像机放在屏幕前方固定的位置，而近距式视线跟踪系统需要将摄像机放在离眼睛很近的距离，也就是装戴在头部。前者由于距离较远，拍摄的图像较不精确，并且轻微的头部移动就会使屏幕对应的位置坐标产生较大的偏差；而后者近距离直接拍摄眼睛所以获取的图像较精确，并且头部运动对视线跟踪的影响较小。

视线跟踪的方法有很多种，其中基于瞳孔-角膜反射向量的方法由于其精度较高，用户舒适度高而备受青睐。然而现有的方法要想在头部自由运动的情况下实现较为精确的视线估计至少需要两个光源，现有的两光源视线跟踪方法计算比较复杂，对头动的范围也有很大限制。因此找到一种简单实用的视线跟踪方法及系统具有重要的理论研究意义和重大的实际应用价值。

发明内容

发明目的：针对现有视线跟踪方法计算复杂、对头部运动范围限制性大的问题，本发明提供一种计算复杂度低、头部可以自由运动、实用性强的近眼式视线跟踪方法和系统。

技术方案：为了解决上述问题，本发明提供一种近眼式的视线跟踪方法，该方法需要固定在头盔上的两个普通摄像头和一个红外光源，一个处理器及固定连接装置，包括如下步骤：

1)注视点标定：根据捕获的眼部图像和对应的场景图，确定眼图数据和标定点在场景图中的坐标，进而计算眼部图像和场景图的映射关系；

2)注视点估计：根据实时获取的眼部图像参数和标定过程得到的映射方程，估计场景图中注视点的位置。

所述步骤1通过选择场景中的某一固定标定点，移动头部使固定标定点出现在场景图的整个区域，或者选择场景中的某一移动标定点，移动标定点使移动标定点出现在场景图的整个区域，来获取一系列眼图数据和对应标定点在场景图中的坐标。

所述步骤1通过图像处理确定角膜反射亮斑中心及瞳孔中心在眼部图像坐标系中的坐标，得到眼图数据，具体实现步骤为：

1)图像二值化处理：把拍摄到的眼部红外图像转化为灰度图，采用固定阈值对灰度图进行分割，得到二值化图像；

2)选择瞳孔区域：根据瞳孔区域在眼部图像中所占平均比例和瞳孔区域的形状选择瞳孔区域，选择的瞳孔区域需要满足两个条件：

条件1：瞳孔区域的像素点个数即面积满足一定范围，即满足

Q％×imageHeigh t×imageWidth＞Area＞P％×imageHeigh t×imageWidth(2)

其中，Q％表示瞳孔区域在眼部图像中所占平均比例的上限，P％表示瞳孔区域在眼部图像中所占平均比例的下限，imageHeight和imageWidth分别表示眼部图像的高和宽，Area表示瞳孔区域的面积；

条件2：瞳孔区域的长短轴之比接近1，即满足

其中，MajorAxistLength和MinorAxistLength分别表示瞳孔区域的长轴长度和短轴长度，其具体计算方法为：

其中，Area为瞳孔区域像素点的总个数，x为区域内各像素点的横坐标，y为区域内各像素点的纵坐标，1/12为单位长度像素的标准二阶中心距；

3)提取瞳孔边缘轮廓：采用Sobel边缘检测算法提取瞳孔轮廓；

4)消除杂点，选择特征点：选择的瞳孔特征点需要满足两个条件：

条件1：特征点应为边缘点，即

其中，isEdge(x,y)表示瞳孔的特征点，edge(x，y)表示瞳孔的边缘值，smallestEdge为设定的阈值；

条件2：在以瞳孔特征点为中心的k×k的正方形内，暗点数目要大于该正方形面积的π/8，且不能出现亮点，所述k×k的正方形内暗点和亮点数目的具体计算公式分别为：

其中，N_d(x,y)和N_b(x,y)分别表示正方形内暗点和亮点的数目，isDark(x,y)和isBright(x,y)分别表示灰度值小于阈值T1的暗点和灰度值大于阈值T2的亮点，分别表示为：

5)椭圆拟合：将找到的瞳孔特征点坐标代入椭圆公式，通过奇异值分解求齐次解，得到瞳孔的椭圆拟合方程式，进而得到瞳孔中心点坐标；

6)提取角膜反射亮斑中心：对以瞳孔中心点为中心的正方形区域进行固定阈值的图像二值化处理，以亮场的几何中心作为角膜反射亮斑的中心计算得到眼图数据，即瞳孔中心-角膜反射亮斑向量。

所述图像处理过程中，以瞳孔特征点为中心的正方形的边长的取值范围为3≤k≤2r，其中k为正方形的边长，r为瞳孔的半径，单位均为像素。

所述图像处理过程中，确定暗点的阈值T1为图像二值化处理选取的固定阈值，确定亮点的阈值T2为眼部灰度图像灰阶最大值的3/4。

所述步骤1采用鼠标响应的方式获取标定点在实时动态场景图中的坐标。

所述步骤1采用2D线性回归的方法计算眼图数据与场景图中注视点坐标之间的映射关系。

本发明还提出一种近眼式视线跟踪系统，包括一个用于获取眼部图像的眼部摄像机、一个用于获取场景图的场景摄像机、一个用于产生红外辐射的红外光源、一个处理器及实现处理器同眼部摄像机和场景摄像机的连接的固定连接装置；所述眼部摄像机的镜头上加载有红外滤光片，所述场景摄像机、眼部摄像机、红外光源固定在测试者的头盔上，所述处理器包括图像处理模块、注视点标定模块和注视点估计模块；其中图像处理模块用于确定图像中角膜反射亮斑中心及瞳孔中心在眼部图像坐标系中的坐标；注视点标定模块用于确定瞳孔中心-角膜反射亮斑向量和标定点在场景图中的坐标，计算眼部图像和场景图的映射关系；注视点估计模块用于根据实时获取的眼部图像参数和标定过程得到的映射方程，估计场景图中注视点的位置。

有益效果：1、与传统瞳孔提取算法相比，该方法采用非迭代方法，无需提前移除角膜反射亮斑，不对图像作任何前期处理工作。

2、该方法在选择特征点，消除杂点的过程中有效剔除了反射亮斑对瞳孔边缘特征点的干扰，保证了瞳孔中心定位的精度。

3、该方法在瞳孔区域选择的方法中，有效的剔除了眨眼图像对视线跟踪精度的影响。

4、该方法在角膜反射亮斑的提取方法中，只对以瞳孔中心为中心的小正方形区域进行操作，减少了运算量，提高了计算效率。

5、现有的标定过程多采用固定的标定点，标定过程严格限制头部的运动，以牺牲舒适度换取标定的准确度，或采用瞳孔模型以光轴与视轴差来修正视线估计误差等，以牺牲算法的效率换取标定过程的舒适度，而该方法标定过程对受试者的头部运动没有限制，在确保标定过程舒适度的同时保证了算法的精确度和运算效率。

6、该方法对硬件要求较低，只需要一个红外光源，两个普通摄像头，一个处理器及固定连接装置；算法计算量少，效率高，满足实时性要求。

附图说明

图1为本发明的近眼式视线跟踪方法的硬件系统示意图；

图2为本发明的近眼式视线跟踪方法的方法流程图；

图3为本发明实施例的标定点分布示意图；

图4为本发明实施例的注视点估计结果图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等同变换均落于本申请所附权利要求所限定的范围。

实现近眼式视线跟踪方法的硬件系统如图1所示，包括一个眼部摄像机、一个场景摄像机、一个红外光源、一台个人电脑及固定连接装置。场景摄像机、眼部摄像机、红外光源固定在头盔上，红外滤光片加载在眼部摄像机的镜头上。随着头部的运动，红外光源、场景摄像机、眼部摄像机保持相对静止，因此测试者在跟踪过程中对测试者的头部运动没有限制。

实现近眼式视线跟踪方法的流程如图2所示，包括如下步骤：

1)通过图像处理确定图像中角膜反射亮斑中心及瞳孔中心在眼图坐标系中的坐标，其过程如图2所示。根据瞳孔最暗和角膜反射亮斑最亮的特点，提取瞳孔及角膜反射亮斑区域，并分别计算出它们在眼图坐标系中的坐标(Xpupil,Ypupil)、(Xcenter,Ycenter)，其中眼图坐标系以图像的左上角为坐标原点，水平方向为X轴，竖直方向为Y轴。其具体实施步骤为：

1.1)图像二值化处理：首先把摄像头拍摄到的红外图像转化为灰度图，红外光照射下，瞳孔区域最暗，角膜反射亮斑最亮，采用固定阈值对灰度图进行分割，得到二值化图像，分割过程如下：

其中，f(x，y)为灰度图，T为阈值，g(x，y)为二值化图。

1.2)瞳孔区域选择：已知瞳孔区域在眼部图像中所占平均比例有一定范围P％-Q％，且瞳孔区域近似为圆形，所以满足以下两个条件的区域才可能是瞳孔区域。

条件1：瞳孔区域的像素点个数即面积(Area)满足一定范围，即满足公式(2)

Q％×imageHeight×imageWidth＞Area＞P％×imageHeight×imageWidth (2)

条件2：瞳孔区域的长短轴之比接近1，即满足公式(3)

MajorAxistLength和MinorAxistLength分为区域的长轴长度和短轴长度，其具体计算方法如公式(4)所示：

其中，Area为瞳孔区域像素点的总个数，x为区域内各像素点的横坐标，y为区域内各像素点的纵坐标；1/12为单位长度像素的标准二阶中心距。

根据以上两个条件，便可将二值化图像中的非瞳孔区域去掉，提取出瞳孔区域，其中条件1可以帮助我们去除掉眨眼的图像，因为眨眼时的瞳孔区域会被眼睑遮挡，其面积自然会比较小，从而不能满足条件1。

1.3)瞳孔边缘检测及轮廓提取：将瞳孔边缘区域放大后可以发现，瞳孔特征点与周围的点差异明显，即特征点必须是瞳孔的轮廓点；可采用Sobel边缘检测算法提取瞳孔轮廓，其算法如公式(5)。

瞳孔特征点的边缘值edge(x，y)必须要大于阈值smallestEdge，即满足公式(6)。

由于特征点还需经过别的条件过滤，这里的smallestEdge可定为一个稍低的固定值。

图片经过处理后，提取出来的边缘轮廓点除瞳孔的边缘点外，还包含一些杂点，其中，最明显的就是角膜反射亮斑的边缘。

1.4)消除杂点选择特征点：在以瞳孔的特征点为中心的像素正方形内，暗点的数目会占一定的比例。由此可以推算出暗点数目在以特征点为中心的k×k正方形(k×k个像素)中的比例。由于瞳孔的拟合椭圆接近圆形，近似假设k不大于圆的直径2r，又因为k取值太小没有意义，所以k的取值范围为3≤k≤2r。

下面考虑k＝3到k＝2r的情况。

k＝3时，各种情况下，暗色点在正方形面积的分布比例至少为4/9≈0.44。

k＝2r时，暗色点面积占正方形面积比例为

如公式(7)所示，计算k×k正方形范围内暗点的数目Nd(x，y)与亮点的数目Nb(x，y)。

其中，isDark(x,y)表示灰度值小于阈值T1的暗点，T1为图像二值化处理选取的固定阈值T；isBright(x,y)表示灰度值大于阈值T2的亮点，这里T2我们取为眼部灰度图像灰阶最大值的3/4。

由此可得瞳孔特征点满足的两个条件，如公式(9)所示：

条件1：特征点应为边缘点，即满足公式(6)；

条件2：在以此点位中心的k×k的正方形中，这个正方形范围内的暗点数目要大于正方形面积的π/8，且不能出现亮点。

1.5)椭圆拟合：找到瞳孔特征点后，采用奇异值分解方法求齐次解，便可得到瞳孔的椭圆拟合方程式，其具体做法是：将每个瞳孔特征点的坐标(x，y)代入一般椭圆公式(10)，得到所有特征点关于a、b、c、d、e、f的方程；之后将其排成矩阵A，如公式(11)所示；再对公式(11)中的矩阵求解齐次解；最后整理椭圆方程式(10)，从而获得椭圆的长轴、短轴、角度与中心点坐标。而我们的系统中仅需要拟合后的椭圆中心位置坐标这个参量，所以我们只对中心点坐标(uCenter，vCenter)进行计算，如公式(13)所示。

ax²+bxy+cy²+dx+ey+f＝0 (10)

thetarad＝0.5×(arctan(a-c)-arctan(b))

cost＝cos(thetarad)

sint＝sin(thetarad)

Au＝d·cost+e·sint

Av＝-d·sint+e·cost

Auu＝a·cost²+c·sint²+b·sint·cost

Avv＝a·sint²+c·cost²-b·sint·cost

tuCenter＝-Au/(2Auu)

tvCenter＝-Av/(2Avv)

uCenter＝tuCenter·cost-tvCenter·sint

vCenter＝tuCenter·sint+tvCenter·cost (13)

1.6)提取角膜反射亮斑中心：对以瞳孔中心为中心的正方形区域进行固定阈值的图像二值化处理，以亮场(即正方形区域中灰阶值为1的区域)的几何中心作为角膜反射亮斑的中心，计算得到眼图数据：瞳孔中心-角膜反射亮斑向量(Xe,Ye)＝(Xcenter-Xpupil,Ycenter-Ypupil)，其中(Xcenter,Ycenter)表示角膜反射亮斑中心坐标，(Xpupil,Ypupil)表示瞳孔中心坐标。

2)注视点标定：令受试者注视标定点，捕获此时对应眼图和场景图，计算瞳孔中心与角膜反射亮斑的相对坐标和标定点在场景图中的坐标，得到眼图和场景图的映射关系，其具体实施步骤为：

2.1)令受试者注视一标定点，鼠标点击左键获取标定点在场景图像中的坐标(Xs,Ys)，同时捕获同步眼部图像，并利用步骤1进行图像处理，得到瞳孔中心-角膜反射亮斑向量(Xe,Ye)。

2.2)移动标定点或者移动头部，重复步骤2.1九次，使9个标定点的整体分布图如图3所示，得到(Xe,Ye)<-->(Xs,Ys)九组对应点对。

2.3)我们采用6参数的多项式作为函数模型，

其中，(x_s,y_s)是(Xs,Ys)的观测值，(x_eye,x_eye)是(Xe,Ye)的观测值，a_x、b_x、c_x、d_x、e_x、f_x为拟合的映射方程的参数，9组对应点对，18个方程，12个未知数，采用最小二乘法拟合得到最佳映射方程。

3)注视点计算：实时获取眼部图像参数，即眼图中瞳孔-角膜反射亮斑向量，利用标定过程得到的映射方程，在场景图中标记注视点。

图4给出了注视点估计结果示意图，系统在X方向上的平均误差为0.7617度，在Y方向上的平均误差为0.4960度，完全满足视线跟踪的要求。

本发明将眼部摄像头、场景摄像头、红外光源集成在头盔上，三者保持相对静止，标定过程中受试者头部可以自由移动而不影响标定过程的准确度，保证标定过程舒适度的同时，算法简单，精确度高，可以实时精确的跟踪人眼注视点。与一种基于最大类间方差和灰度信息的虹膜定位方法专利(CN200810030095.6)相比，本发明获得的瞳孔图片清晰，不需要复杂的图像预处理过程，不需要提前移除角膜反射亮斑便可以精确定位瞳孔中心；同时瞳孔中心提取过程中，对瞳孔区域的选择有效地剔除了眨眼对跟踪精度的影响。与用于视线追踪系统的眼部特征参数检测方法专利(CN200910093127.1)相比，本发明不需要两路图像，亮瞳和暗瞳图像，只需要暗瞳图像，减少了硬件复杂度和一半的计算量，提高了算法效率。

Claims (5)

1.一种近眼式视线跟踪方法，其特征在于，包括如下步骤：

1)注视点标定：根据捕获的眼部图像和对应的场景图，确定眼图数据和标定点在场景图中的坐标，进而计算眼部图像和场景图的映射关系；

2)注视点估计：根据实时获取的眼部图像参数和标定过程得到的映射方程，估计场景图中注视点的位置；

其中，所述步骤1通过图像处理确定角膜反射亮斑中心及瞳孔中心在眼部图像坐标系中的坐标，得到眼图数据，具体实现步骤为：

11)图像二值化处理：把拍摄到的眼部红外图像转化为灰度图，采用固定阈值对灰度图进行分割，得到二值化图像；

12)选择瞳孔区域：根据瞳孔区域在眼部图像中所占平均比例和瞳孔区域的形状选择瞳孔区域，选择的瞳孔区域需要满足两个条件：

条件1：瞳孔区域的像素点个数即面积满足一定范围，即满足

Q％×imageHeigh t×imageWidth＞Area＞P％×imageHeigh t×imageWidth (2)

其中，Q％表示瞳孔区域在眼部图像中所占平均比例的上限，P％表示瞳孔区域在眼部图像中所占平均比例的下限，imageHeight和imageWidth分别表示眼部图像的高和宽，Area表示瞳孔区域的面积；

条件2：瞳孔区域的长短轴之比接近1，即满足

其中，MajorAxistLength和MinorAxistLength分别表示瞳孔区域的长轴长度和短轴长度，其具体计算方法为：

其中，Area为瞳孔区域像素点的总个数，x为区域内各像素点的横坐标，y为区域内各像素点的纵坐标，1/12为单位长度像素的标准二阶中心距；

13)提取瞳孔边缘轮廓：采用Sobel边缘检测算法提取瞳孔轮廓；

14)消除杂点，选择特征点：选择的瞳孔特征点需要满足两个条件：

条件1：特征点应为边缘点，即

其中，isEdge(x,y)表示瞳孔的特征点，edge(x，y)表示瞳孔的边缘值，smallestEdge为设定的阈值；

条件2：在以瞳孔特征点为中心的k×k的正方形内，暗点数目要大于该正方形面积的π/8，且不能出现亮点，所述k×k的正方形内暗点和亮点数目的具体计算公式分别为：

其中，N_d(x,y)和N_b(x,y)分别表示正方形内暗点和亮点的数目，isDark(x,y)和isBright(x,y)分别表示灰度值小于阈值T1的暗点和灰度值大于阈值T2的亮点，分别表示为：

15)椭圆拟合：将找到的瞳孔特征点坐标代入椭圆公式，通过奇异值分解求齐次解，得到瞳孔的椭圆拟合方程式，进而得到瞳孔中心点坐标；

16)提取角膜反射亮斑中心：对以瞳孔中心点为中心的正方形区域进行固定阈值的图像二值化处理，以亮场的几何中心作为角膜反射亮斑的中心计算得到眼图数据，即瞳孔中心-角膜反射亮斑向量。

2.根据权利要求1所述的近眼式视线跟踪方法，其特征在于，所述图像处理过程中，以瞳孔特征点为中心的正方形的边长的取值范围为3≤k≤2r，其中k为正方形的边长，r为瞳孔的半径，单位均为像素。

3.根据权利要求1所述的近眼式视线跟踪方法，其特征在于，所述图像处理过程中，确定暗点的阈值T1为图像二值化处理选取的固定阈值，确定亮点的阈值T2为眼部灰度图像灰阶最大值的3/4。

4.根据权利要求1所述的近眼式视线跟踪方法，其特征在于，所述步骤1采用鼠标响应的方式获取标定点在实时动态场景图中的坐标。

5.根据权利要求1所述的近眼式视线跟踪方法，其特征在于，所述步骤1采用2D线性回归的方法计算眼图数据与场景图中注视点坐标之间的映射关系。