CN107506705B - 一种瞳孔-普尔钦斑视线跟踪与注视提取方法 - Google Patents

Abstract

本发明公开了一种瞳孔‑普尔钦斑视线跟踪与注视提取方法，本发明使用宽视野相机获取眼部图像，通过人脸特征识别，从宽视野图像中截取获得眼部局部图像，实验中使用由四个环绕在显示器的850nm红外光源组成的矩形光源阵列，该四个光源会在眼球上反射形成四个明显的普尔钦斑斑点阵列。基于四个普尔钦斑与瞳孔中心的位置关系，通过四光源透视法实现注视点估计，获取视线落入光源标定靶平面注视点坐标。

Description

一种瞳孔-普尔钦斑视线跟踪与注视提取方法

技术领域

本发明涉及图像技术领域，尤其涉及一种瞳孔-普尔钦斑视线跟踪与注视提取方法。

背景技术

瞳孔，是动物或人眼睛内虹膜中心的小圆孔，为光线进入眼睛的通道。虹膜上瞳孔括约肌的收缩可以使瞳孔缩小，瞳孔开大肌的收缩使瞳孔散大，瞳孔的开大与缩小控制进入瞳孔的光量。现有技术中，对于通孔的检测技术需要不断的改进与创新。

发明内容

本发明的目的就在于为了解决上述问题而提供一种瞳孔-普尔钦斑视线跟踪与注视提取方法。

本发明通过以下技术方案来实现上述目的：

本发明包括以下步骤：

(1)眼部图像获取与阈值处理：通过基与Haar-Ababoost的面部识别、ASM 识别以及Haar眼部区域识别技术，可以实现眼部区域特征的识别与跟踪，并将眼部区域的图像从宽视野摄像机拍摄图像中截取出来；获取眼球区域图像后，瞳孔和普尔钦斑在图像中的灰度值处于一个特定的位置，瞳孔比背景区域颜色更黑，而普尔钦斑更亮，为了能够突出瞳孔以及普尔钦斑，通过阈值法进行二值化处理，阈值法是通过设置阈值决定每个像素的值，如式1，p(x,y)为二值图像像素值，f(x,y)为原图像灰度值，Threshold为阈值，对于8位图来说二值化只有两个像素值0和255；

在合理的阈值下，瞳孔区域会与背景完全脱离开，在另一组阈值下，普尔钦斑也会与背景分离，经过阈值处理后，眼部区域图像普尔钦斑以及瞳孔的特征更为简单，可以很方便地对瞳孔进行圆拟合处理获取中心点；阈值处理需要每次使用时根据光照情况进行调试；

(2)瞳孔中心与普尔钦斑识别：

(2.1)瞳孔中心定位

获得瞳孔图像后，需要找到瞳孔的中心位置，瞳孔中心是瞳孔的圆心；课题采用霍夫变换(Hough)检测圆，从而获得瞳孔的圆心；

在极坐标中,圆上任意一点的坐标如式2所示表示，其中r为半径，x、y为圆心坐标；当圆半径已知，圆心已知，像素点坐标P(X,Y)绕圆心旋转360度后坐标值依然不变；

X＝x+rcosθ

Y＝y+rsinθ (式2)

霍夫变换就是利用这个重要性质，首先对图像进行边缘检测获取边缘像素，然后给定一个半径，按照这个半径绘制一个圆，中间圆代表待检测圆，蓝色圆为以红圆边缘像素为圆心，以给定一个值为半径绘制的一系列圆，若这个圆半径极其接近或者等于待检测圆半径，蓝色的一系列圆会在待检测圆圆心附近汇聚；

若蓝圆像素值为一个权重值，那么权重图像则为以每个边缘像素为圆心以r 半径绘圆，对其圆轮廓像素像素值累加权重值γ，非轮廓像素则加0；设图像为 m×n的一个矩阵；则权重图的像素值f_λ(x,y)为(式3):

其中C(x_i,y_j,r,x,y)为圆搜索函数，原型如式4所示，其含义为图像中坐标(x,y)，是否在以圆边缘像素(x_i,y_j)为圆心，半径为r的圆上；

(2.2)Blob普尔钦斑识别：

普尔钦斑是红外光源在角膜上反射的亮斑，其灰度值在图像中非常大，通过阈值后会在图像中显示为亮斑；不同于瞳孔，由于亮斑区面积非常小，不需要进行圆拟合获得其中心，只需要进行斑点识别然后获得斑点的重心即可；

采用Blob算法实现斑点识别；算法首先对原图像进行高斯模糊和拉普拉斯处理，这里利用LOG算子模板对图像卷积实现(式5)，处理后的图像斑点区域灰度值会比较高；将这些高灰度值区域进行连通计算可以获得连通区域的半径和中心；

由于普尔钦斑图像已经经过了阈值处理，可以很容易识别出四个亮斑，每个斑点数据包含中心点和斑点半径信息；虽然通过阈值处理和半径范围设定能够将图像中的干扰亮斑过滤点，但是也有一定概率出现一些与普尔钦斑亮度半径相似的反光点被算法误识别，不过这些噪声斑点远离瞳孔区域；因此将识别出的斑点与瞳孔距离进行比较，过滤掉远离瞳孔区域的点即可；

(3)基于透视法的视线估计

本课题改进了光源系统，使用四个光源系统，该系统中四个红外光源分别置于屏幕四个角，在眼球形成的普尔钦斑图像连起来为一个四边形；单光源系统中，只有一个普尔钦斑作为参考点，当注视点不变，头部来回运动就会引起瞳孔-普尔钦斑相对位置变化，而注视估计主要依据相对位置，因此系统就会失准，所以单光源系统要求使用者头部位置固定在系统标定时的位置；四光源系统中，存在四个普尔钦斑参考点，头部运动的同时，四个参考点围成的四边形的形状尺寸也会发生变化，这种变化可以测量，因此可以通过普尔钦斑四边形尺寸形状变化来消除头部运动的影响；

在四光源系统中，无论头部如何，普尔钦斑与瞳孔几何数据之间的比值是不变的，根据比值通过缩放将瞳孔与普尔钦斑坐标转换到瞳孔-普尔钦斑相对坐标系中，在该坐标系中排除了头部运动影响，只考虑瞳孔与普尔钦斑相对位置变化；

(3.1)四光源普尔钦斑成像原理

普尔钦斑是红外光源照射到眼角膜从角膜外表面反射回来的光斑；眼角膜近似于曲率半径为7.8mm的单球体，光源是一个范围光，当某一条光路的光子照射到角膜表面，通过反射进入摄像机，就会在图像上留下光斑，因此光斑位置由光源、眼球、摄像机三者之间关系决定；

(3.2)四光源普尔钦斑视线估计

1)数据预处理

设四光源在屏幕中位置分别对应四个点左上角p₁(u₁,v₁)、左下角p₂(u₂,v₂)、右上角p₃(u₃,v₃)、右下角p₄(u₄,v₄)、瞳孔中心坐标为p_q(u_q,v_q)，半径为r；宽视野图像中，眼球位置变化会引起四光源普尔钦斑四边形变化，其中有两个类型的变化：尺寸变化和形状变化；

设l_ij为眼球图像中p_ip_j两点之间的像素长度；则尺寸系数Cs如(式6),为1 分之根号下普尔钦斑四边形面积；普尔钦斑坐标和瞳孔中心坐标乘以尺寸系数后，将瞳孔坐标与普尔钦斑坐标进行尺寸缩放，缩放后的坐标为瞳孔普尔钦斑与普尔钦斑点阵四边形相对坐标，消除了用户远离或者靠近摄像机引起的普尔钦斑点阵尺度变化影响；最后以一个普尔钦斑点为参考原点平移坐标系，课题将左小角点为参考原点，获得瞳孔中心的相对坐标P_q(x_q,y_q)；

如上所述，随着头部运动，普尔钦斑点阵四边形形状会有不同的变化；四边形的形状变化用两组对边之间夹角表示；设L_ij为p_ip_j两点之间的直线，则L₁₂与 L₃₄为一组，夹角为θa；L₁₃与L₂₄为一组，夹角为θb，则如式7所示，θb也同理可得：

预处理后的数据构成一个状态向量T_eye，如式8；视线估计则基于该向量为数据基础，通过系统标定以及机器学习实现视线的估计；

T_eye＝[x_q,y_q,r,Cs,θa,θb] (式8)

2)非线性多项式直接拟合

如果为穿戴式设备或者使用窄视野的固定摄像机摄像机，头部位置相对固定，此时对四光源系统可以忽略头部运动的影响；直接使用瞳孔中心相对位置坐标P_q(x_q,y_q)进行视线估计；设靶屏幕坐标St(U,V)，提取靶平面坐标，其视线估计可以用多项式来拟合视线，如式9所示：

其中通过系统标定来确定多项式中a,b,c,d,e,f,g,h的参数值；系统标定通过使用者注视靶平面采样，然后解求估计出这8个参数的值，使用者根据系统提示注视靶平面对应的点并采集原始的瞳孔中心相对坐标数据，采集多组数据后则可以直接解出视线估计多项式；

设采样数据为S_i(U_i,V_i,x_i,y_i)，其中：UV为靶平面点归一化坐标，也就是说屏幕一个1×1的平面，定义靶平面中心点的靶平面坐标为(0.5,0.5)；xy是注视对应靶平面点时的瞳孔中心相对位置坐标；根据靶平面图示，在图中采样7个点，分别为左上S₁，左下S₂，右上S₃，右下S₄，中上S₅，中下S₆，中心S_c；

首先对瞳孔中心相对坐标根据靶平面坐标中心点样本进行坐标系变换，当注视靶平面中点时，定义此时的瞳孔中心相对坐标为(0,0)；如式10，之后对于测量出来的所有瞳孔中心相对坐标进行同样变换；

根据拟合多项式可知进行如下变换后d和h两参数均为0.5，这样通过三个定标点即可求出其他6个参数的值；设以S₅，S₂，S₄为一组；则有式11和式12，根据两个方程组分别求解最终求得参数的值；

根据该多项式进行视线估计并通过实验记录数据，可获得视线注视统计数据，其中使用者分别注视屏幕的左上角，中点和右下角。

本发明的有益效果在于：

本发明是一种瞳孔-普尔钦斑视线跟踪与注视提取方法，与现有技术相比，本发明使用宽视野相机获取眼部图像，通过人脸特征识别，从宽视野图像中截取获得眼部局部图像，实验中使用由四个环绕在显示器的850nm红外光源组成的矩形光源阵列，该四个光源会在眼球上反射形成四个明显的普尔钦斑斑点阵列。基于四个普尔钦斑与瞳孔中心的位置关系，通过四光源透视法实现注视点估计，获取视线落入光源标定靶平面注视点坐标。

附图说明

图1是本发明的用户眼球区域图像；

图2是本发明的瞳孔阈值图像、普尔钦斑阈值图像；

图3是本发明的Hough圆检测原理；

图4是本发明的权重值叠加图；

图5是本发明的霍夫变换识别圆；

图6是本发明的瞳孔圆拟合数据；

图7是本发明的普尔钦斑识别；

图8是本发明的眼球图像；

图9是本发明的计算机模拟图像；

图10是本发明的靶平面标定图；

图11是本发明的视线估计图。

具体实施方式

下面结合附图对本发明作进一步说明：

本发明包括以下步骤：

(1)眼部图像获取与阈值处理：通过基与Haar-Ababoost的面部识别、ASM 识别以及Haar眼部区域识别技术，可以实现眼部区域特征的识别与跟踪，并将眼部区域的图像从宽视野摄像机拍摄图像中截取出来；如图1所示：获取眼球区域图像后，瞳孔和普尔钦斑在图像中的灰度值处于一个特定的位置，瞳孔比背景区域颜色更黑，而普尔钦斑更亮，为了能够突出瞳孔以及普尔钦斑，通过阈值法进行二值化处理，阈值法是通过设置阈值决定每个像素的值，如式1， p(x,y)为二值图像像素值，f(x,y)为原图像灰度值，Threshold为阈值，对于8位图来说二值化只有两个像素值0和255；

在合理的阈值下，瞳孔区域会与背景完全脱离开，在另一组阈值下，普尔钦斑也会与背景分离，如上图2所示。经过阈值处理后，眼部区域图像普尔钦斑以及瞳孔的特征更为简单，可以很方便地对瞳孔进行圆拟合处理获取中心点。阈值处理需要每次使用时根据光照情况进行调试。

(3)瞳孔中心与普尔钦斑识别：

(2.1)瞳孔中心定位

获得瞳孔图像后，需要找到瞳孔的中心位置，瞳孔中心是瞳孔的圆心。课题采用霍夫变换(Hough)检测圆，从而获得瞳孔的圆心。

在极坐标中,圆上任意一点的坐标如式2所示表示，其中r为半径，x、y为圆心坐标。当圆半径已知，圆心已知，像素点坐标P(X,Y)绕圆心旋转360度后坐标值依然不变。

X＝x+rcosθ

Y＝y+rsinθ (式2)

霍夫变换就是利用这个重要性质，首先对图像进行边缘检测获取边缘像素，然后给定一个半径，按照这个半径绘制一个圆，如图3所示，中间圆代表待检测圆，蓝色圆为以红圆边缘像素为圆心，以给定一个值为半径绘制的一系列圆，若这个圆半径极其接近或者等于待检测圆半径，蓝色的一系列圆会在待检测圆圆心附近汇聚。

若蓝圆像素值为一个权重值，那么权重图像则为以每个边缘像素为圆心以r半径绘圆，对其圆轮廓像素像素值累加权重值γ，非轮廓像素则加0。设图像为m×n的一个矩阵。则权重图的像素值f_λ(x,y)为(式3):

其中C(x_i,y_j,r,x,y)为圆搜索函数，原型如式4所示，其含义为图像中坐标(x,y)，是否在以圆边缘像素(x_i,y_j)为圆心，半径为r的圆上。

根据上文方法，获得的权重图如图4所示，拟合圆圆心部分的像素值权重值很高，通过设定阈值过滤以及排序，可以确定某一个点为圆的拟合圆心。若要搜索其他圆，则改变搜索圆半径r，计算新的权重图像。

对于瞳孔来说，瞳孔圆的大小范围是可以测量出来的，实际应用中是相对固定的，可以设置两个值minSize和maxSize表示瞳孔圆半径范围，每次搜索输入一个半径值r，r每完成一轮搜索由大到小步长为d递减。设置一个权重阈值，当像素点权重值大于该阈值时，则该点为一个圆心，当半径r有maxSize递减搜索到minSize即可完成对图像该半径范围内所有圆的搜索。

如下图5所示，通过霍夫变换识别二值处理后的瞳孔图像，获得瞳孔的拟合圆，拟合圆参数包含圆的圆心坐标和半径，如图6所示。

(2.2)Blob普尔钦斑识别：

普尔钦斑是红外光源在角膜上反射的亮斑，其灰度值在图像中非常大，通过阈值后会在图像中显示为亮斑。不同于瞳孔，由于亮斑区面积非常小，不需要进行圆拟合获得其中心，只需要进行斑点识别然后获得斑点的重心即可。

课题中采用Blob算法实现斑点识别。算法首先对原图像进行高斯模糊和拉普拉斯处理，这里利用LOG算子模板对图像卷积实现(式5)，处理后的图像斑点区域灰度值会比较高。将这些高灰度值区域进行连通计算可以获得连通区域的半径和中心。

由于普尔钦斑图像已经经过了阈值处理，可以很容易识别出四个亮斑，如图7所示。每个斑点数据包含中心点和斑点半径信息。虽然通过阈值处理和半径范围设定能够将图像中的干扰亮斑过滤点，但是也有一定概率出现一些与普尔钦斑亮度半径相似的反光点被算法误识别，不过这些噪声斑点远离瞳孔区域。因此将识别出的斑点与瞳孔距离进行比较，过滤掉远离瞳孔区域的点即可。

(3)基于透视法的视线估计

本课题改进了光源系统，使用四个光源系统，该系统中四个红外光源分别置于屏幕四个角，在眼球形成的普尔钦斑图像连起来为一个四边形。单光源系统中，只有一个普尔钦斑作为参考点，当注视点不变，头部来回运动就会引起瞳孔-普尔钦斑相对位置变化，而注视估计主要依据相对位置，因此系统就会失准，所以单光源系统要求使用者头部位置固定在系统标定时的位置。四光源系统中，存在四个普尔钦斑参考点，头部运动的同时，四个参考点围成的四边形的形状尺寸也会发生变化，这种变化可以测量，因此可以通过普尔钦斑四边形尺寸形状变化来消除头部运动的影响。

在四光源系统中，无论头部如何，普尔钦斑与瞳孔几何数据之间的比值是不变的，根据比值通过缩放将瞳孔与普尔钦斑坐标转换到瞳孔-普尔钦斑相对坐标系中，在该坐标系中排除了头部运动影响，只考虑瞳孔与普尔钦斑相对位置变化。

(3.1)四光源普尔钦斑成像原理

普尔钦斑是红外光源照射到眼角膜从角膜外表面反射回来的光斑。眼角膜近似于曲率半径为7.8mm的单球体，光源是一个范围光，当某一条光路的光子照射到角膜表面，通过反射进入摄像机，就会在图像上留下光斑，因此光斑位置由光源、眼球、摄像机三者之间关系决定。

通过实验，让头部在摄像机前来回运动，并获取眼部相对于屏幕左上、左中、左下、中上、正中、中下、右上、右中、右下的位置，眼部图像如图8，期间眼部始终观察同一个点。同时根据眼部光学特性建立计算机模型，进行模拟。模拟图如图9。通过对比四个普尔钦斑斑点围成形状变化趋势，验证了普尔钦斑的成像原理。

当眼球注视同一个点，而头部运动，依然会影响普尔钦斑与瞳孔的相对位置关系，单光源的系统无法对这一现象进行感知，因此只有在头部固定在标定时位置上才能准确进行视线估计。而四光源系统中，头部运动带来的眼球相对位置变化会直接反映在四普尔钦斑围成四边形的几何体变化，可以对头部运动进行一定的补偿。

3.2四光源普尔钦斑视线估计

1)数据预处理

设四光源在屏幕中位置分别对应四个点左上角p₁(u₁,v₁)、左下角p₂(u₂,v₂)、右上角p₃(u₃,v₃)、右下角p₄(u₄,v₄)、瞳孔中心坐标为p_q(u_q,v_q)，半径为r。宽视野图像中，眼球位置变化会引起四光源普尔钦斑四边形变化，其中有两个类型的变化：尺寸变化和形状变化。

设l_ij为眼球图像中p_ip_j两点之间的像素长度。则尺寸系数Cs如(式6),为1 分之根号下普尔钦斑四边形面积。普尔钦斑坐标和瞳孔中心坐标乘以尺寸系数后，将瞳孔坐标与普尔钦斑坐标进行尺寸缩放，缩放后的坐标为瞳孔普尔钦斑与普尔钦斑点阵四边形相对坐标，消除了用户远离或者靠近摄像机引起的普尔钦斑点阵尺度变化影响。最后以一个普尔钦斑点为参考原点平移坐标系，课题将左小角点为参考原点，获得瞳孔中心的相对坐标P_q(x_q,y_q)。

如上文所述，随着头部运动，普尔钦斑点阵四边形形状会有不同的变化。四边形的形状变化用两组对边之间夹角表示。设L_ij为p_ip_j两点之间的直线，则L₁₂与L₃₄为一组，夹角为θa；L₁₃与L₂₄为一组，夹角为θb，则如式7所示，θb也同理可得：

预处理后的数据构成一个状态向量T_eye，如式8。视线估计则基于该向量为数据基础，通过系统标定以及机器学习实现视线的估计。

T_eye＝[x_q,y_q,r,Cs,θa,θb] (式8)

2)非线性多项式直接拟合

如果为穿戴式设备或者使用窄视野的固定摄像机摄像机，头部位置相对固定，此时对四光源系统可以忽略头部运动的影响。直接使用瞳孔中心相对位置坐标P_q(x_q,y_q)进行视线估计。设靶屏幕坐标St(U,V)，提取靶平面坐标，其视线估计可以用多项式来拟合视线，如式9所示：

其中通过系统标定来确定多项式中a,b,c,d,e,f,g,h的参数值。系统标定通过使用者注视靶平面采样，然后解求估计出这8个参数的值，其中靶平面定标图如图10，使用者根据系统提示注视靶平面对应的点并采集原始的瞳孔中心相对坐标数据，采集多组数据后则可以直接解出视线估计多项式。

设采样数据为S_i(U_i,V_i,x_i,y_i)，其中：UV为靶平面点归一化坐标，也就是说屏幕一个1×1的平面，定义靶平面中心点的靶平面坐标为(0.5,0.5)；xy是注视对应靶平面点时的瞳孔中心相对位置坐标。根据靶平面图示，在图中采样7个点，分别为左上S₁，左下S₂，右上S₃，右下S₄，中上S₅，中下S₆，中心S_c。

首先对瞳孔中心相对坐标根据靶平面坐标中心点样本进行坐标系变换，当注视靶平面中点时，定义此时的瞳孔中心相对坐标为(0,0)。如式10，之后对于测量出来的所有瞳孔中心相对坐标进行同样变换。

根据拟合多项式可知进行如下变换后d和h两参数均为0.5，这样通过三个定标点即可求出其他6个参数的值。设以S₅，S₂，S₄为一组。则有式11和式12，根据两个方程组分别求解最终求得参数的值。

根据该多项式进行视线估计并通过实验记录数据，可获得视线注视统计数据，其中使用者分别注视屏幕的左上角，中点和右下角。由图可见，视线估计可以有效反应出人眼观察平面时的注视点。

以上显示和描述了本发明的基本原理和主要特征及本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (1)

1.一种瞳孔-普尔钦斑视线跟踪与注视提取方法，其特征在于，包括以下步骤：

(1)眼部图像获取与阈值处理：通过基于Haar-Adaboost的面部识别、ASM识别以及Haar眼部区域识别技术，能够实现眼部区域特征的识别与跟踪，并将眼部区域的图像从宽视野摄像机拍摄图像中截取出来；获取眼部区域图像后，通过阈值法进行二值化处理，利用式1，p(x,y)为二值图像像素值，f(x,y)为原图像灰度值，Threshold为阈值；

在合理的阈值下，瞳孔区域会与背景完全脱离开，在另一组阈值下，普尔钦斑也会与背景分离，经过阈值处理后，眼部区域图像普尔钦斑以及瞳孔的特征更为简单，能够对瞳孔进行圆拟合处理获取中心点；阈值处理需要每次使用时根据光照情况进行调试；

(2)瞳孔中心与普尔钦斑识别：

(2.1)瞳孔中心定位

获得瞳孔图像后，需要找到瞳孔的中心位置，瞳孔中心是瞳孔的圆心；采用霍夫变换(Hough)检测圆，从而获得瞳孔的圆心；

(2.2)Blob普尔钦斑识别：

采用Blob算法实现斑点识别；算法首先对原图像进行高斯模糊和拉普拉斯处理，利用LOG算子模板对图像卷积实现，利用式5，处理后的图像斑点区域灰度值会比较高；将这些高灰度值区域进行连通计算能够获得连通区域的半径和中心；

由于普尔钦斑图像已经经过了阈值处理，能够识别出四个亮斑，每个斑点数据包含中心点和斑点半径信息；将识别出的斑点与瞳孔距离进行比较，过滤掉远离瞳孔区域的点；

(3)基于透视法的视线估计

使用四个光源系统，该系统中四个红外光源分别置于屏幕四个角，在眼球形成的普尔钦斑图像连起来为一个四边形；

四光源普尔钦斑视线估计

1)数据预处理

设四光源在屏幕中位置分别对应四个点左上角p₁(u₁,v₁)、左下角p₂(u₂,v₂)、右上角p₃(u₃,v₃)、右下角p₄(u₄,v₄)、瞳孔中心坐标为p_q(u_q,v_q)，半径为r；宽视野图像中，眼球位置变化会引起四光源普尔钦斑四边形变化，其中有两个类型的变化：尺寸变化和形状变化；

设l_ij为眼球图像中p_ip_j两点之间的像素长度；则尺寸系数Cs利用式6,为根号下普尔钦斑四边形面积分之1；普尔钦斑坐标和瞳孔中心坐标乘以尺寸系数后，将瞳孔坐标与普尔钦斑坐标进行尺寸缩放，缩放后的坐标为瞳孔普尔钦斑与普尔钦斑点阵四边形相对坐标，消除了用户远离或者靠近摄像机引起的普尔钦斑点阵尺度变化影响；最后以一个普尔钦斑点为参考原点平移坐标系，将左小角点为参考原点，获得瞳孔中心的相对坐标P_q(x_q,y_q)；

设L_ij为p_ip_j两点之间的直线，则L₁₂与L₃₄为一组，夹角为θa；L₁₃与L₂₄为一组，夹角为θb，则利用式7所示，θb也同理得：

预处理后的数据构成一个状态向量T_eye，利用式8；视线估计则基于该向量为数据基础，通过系统标定以及机器学习实现视线的估计；

T_eye＝[x_q,y_q,r,Cs,θa,θb] (式8)

2)非线性多项式直接拟合

如果为穿戴式设备或者使用窄视野的摄像机，头部位置相对固定，此时对四光源系统能够忽略头部运动的影响；直接使用瞳孔中心相对位置坐标P_q(x_q,y_q)进行视线估计；设靶屏幕坐标St(U,V)，提取靶平面坐标，其视线估计能够用多项式来拟合视线，利用式9所示：

其中通过系统标定来确定多项式中a,b,c,d,e,f,g,h的参数值；系统标定通过使用者注视靶平面采样，然后解求估计出这8个参数的值，使用者根据系统提示注视靶平面对应的点并采集原始的瞳孔中心相对坐标数据，采集多组数据后则能够直接解出视线估计多项式；

设采样数据为S_i(U_i,V_i,x_i,y_i)，其中：UV为靶平面点归一化坐标，屏幕一个1×1的平面，定义靶平面中心点的靶平面坐标为(0.5,0.5)；xy是注视对应靶平面点时的瞳孔中心相对位置坐标；根据靶平面图示，在图中采样7个点，分别为左上S₁，左下S₂，右上S₃，右下S₄，中上S₅，中下S₆，中心S_c；

首先对瞳孔中心相对坐标根据靶平面坐标中心点样本进行坐标系变换，当注视靶平面中点时，定义此时的瞳孔中心相对坐标为(0,0)；利用式10，之后对于测量出来的所有瞳孔中心相对坐标进行同样变换；

根据拟合多项式可知进行如下变换后d和h两参数均为0.5，通过三个定标点求出其他6个参数的值；设以S₅，S₂，S₄为一组；则有式11和式12，根据两个方程组分别求解最终求得参数的值；

根据该多项式进行视线估计并通过实验记录数据，能获得视线注视统计数据，其中使用者分别注视屏幕的左上角，中点和右下角。

Images