CN103530618A - 一种基于角膜反射的非接触式视线追踪方法 - Google Patents

Abstract

本发明提供了一种基于角膜反射的非接触式视线追踪方法，步骤1：人眼定位；步骤2：计算光斑坐标；步骤3：瞳孔精确定位；步骤4：空间映射：根据计算出的屏幕上四个光斑和瞳孔中心坐标，利用射影几何中的交比不变原理进行空间坐标的映射。本发明提出的技术方案不需要配戴其它设备，大大降低了对使用者的限制；提出一种新的瞳孔边缘拟合方案，循环拟合剔除假点，最终得到精确的瞳孔中心，提高了映射的精度。本发明与现有的相关研究相比，在精度上有了较大的提升。

Description

一种基于角膜反射的非接触式视线追踪方法

技术领域

本发明涉及计算机视觉领域，主要涉及瞳孔检测与识别，椭圆拟合，多光斑的检测与提取，及三维空间几何映射等。

背景技术

人们的信息绝大部分是通过眼睛来获取的，正因为通过视觉获取的信息对人们的生活有重要意义，视觉方面的研究显得至关重要。随着科技的飞速发展，视觉跟踪日趋成为国内外专家学者研究的焦点。由于起步较晚和技术支持的局限性，视觉跟踪方面的研究仍处于萌芽状态，目前仍没有一种理想的方案能广泛地应用到日常生活中。

发明内容

针对现有的基于CCD（Charge Coupled Device，电荷耦合器件）摄像机的视线跟踪技术瞳孔提取不准确，人眼注视坐标定位不准确，以及对姿势限制过多等方面的不足，提出一种利用角膜反射原理，采用5组近红外光源(4组位于屏幕4个角，另1组位于CCD摄像机靠近光轴处)作为系统光源的基于单CCD摄像机的非侵入式视线跟踪技术。

本发明提供了一种基于角膜反射的非接触式视线追踪方法，

步骤1：人眼定位：

利用眼睛不同部位对红外光的反射和折射率不同，瞳孔对红外光的反射最弱，因而瞳孔在红外光的照射下呈黑色，而其他部分都不是黑色的特点定位人的眼睛；

步骤2：计算光斑坐标：

步骤2.1：首先根据经验阈值分割感兴趣区域图像，然后找出面积最大的五个光斑；

步骤2.2：利用质心法计算出五个光斑的中心坐标，同时利用光斑的相对位置进行检测，剔除假的光斑信息；图像中光斑面积小、亮度大、受干扰影响较小，采用圆模型处理，提取光斑区域质心位置；由前面得到的光斑阈值，在二值化图中粗定光斑中心(x_c,y_c)和初始半径r；

$r=\sqrt{\frac{\mathrm{area}}{\mathrm{pi}}}---\left(3\right)$

式中area表示面积，pi表示圆周率，假定原图中光斑光强为二维高斯分布，通过最小化（3）式确定光强下降最快之处对应的r；

$\frac{\∫I(r+\mathrm{\δ},x_c,y_c,\mathrm{\θ})\mathrm{d\θ}}{\∫I(r-\mathrm{\δ},x_c,y_c,\mathrm{\θ})\mathrm{d\θ}}---\left(4\right)$

I(r，x，y，θ)为光斑边界点光强，δ=1，θ是由r,x,y确定的边界弧线角度；为防止丢失信息，取1.5-3.5r对应区域作为光斑区域，在此区域采用带权重的“质心法”计算光斑中心位置；

步骤2.3：如果有没有找到的光斑点，则用找到的光斑的坐标预测没有找到的光斑的位置，同时减小阈值，在预测区域搜索没有找到的光斑，重复进行直到找到光斑为止；

步骤3：瞳孔精确定位：

依据光斑位置，确定瞳孔搜索区域，用粗定的瞳孔中心作为搜索瞳孔边界的起始点，在不同方向上做一维扫描，在搜索线上感兴趣区域，结合像素点灰度值、梯度值及边界曲线的平滑特性，由(5)式通过寻找最大值，决定边缘点位置r，提取瞳孔边缘的候选点，

f(r)=k₀G(r)-k₁(I(r)-Ip)-k₂(r-r_n-1)   （5）

f为判据函数，I(r)为搜索点灰度值，Ip为瞳孔阈值，G(r)为搜索点梯度值，由一维梯度算子[11000]计算得到，r_n-1为相邻搜索线上得到的边界点半径，k₀、k₁、k₂为由试验定值的权重参数；

步骤4：空间映射：

根据计算出的屏幕上四个光斑和瞳孔中心坐标，利用射影几何中的交比不变原理进行空间坐标的映射。

作为本发明的进一步改进，步骤1中，人眼定位具体方法如下：

首先将获取到的彩色图像转换成灰度图，然后利用直方图分析出图像中灰度值最低的子区域，以这个灰度值作为域值将图像分割成二值化图像，利用所有小于阈值的点(xi,yi)(i=1…N)，N是直方图中灰度小于阈值的点的个数，在二值化图像粗定位瞳孔中心位置(x_pupil,y_pupil)，如式（1）和式（2）：

$x_{\mathrm{pupil}}=\frac{1}{N}\underset{n=1}{\overset{N}{\mathrm{\Σ}{x}_n}}---\left(1\right)$

$y_{\mathrm{pupil}}=\frac{1}{N}\underset{n=1}{\overset{N}{\mathrm{\Σ}{y}_n}}---\left(2\right)$

根据粗定的瞳孔中心，把以它为中心的40*40-100*100像素的矩形区域设置为感兴趣区域。

作为本发明的进一步改进，根据粗定的瞳孔中心，把以它为中心的60*60像素的矩形区域设置为感兴趣区域。

作为本发明的进一步改进，步骤2.1中经验阈值取值为30-80。

作为本发明的进一步改进，步骤2.2中，取2.5r对应区域作为光斑区域。

作为本发明的进一步改进，步骤3中，边提取界点方法如下：

对边界点提取中的所有候选点进行多次的椭圆拟合，采用直接最小二乘法椭圆拟合法来进行椭圆拟合，并剔除与椭圆轮廓较远的点，重复进行，直到获取的椭圆中心稳定，这样求出的椭圆中心就是最终用到的瞳孔中心；椭圆方程可以用一般的圆锥曲线方程表示如下：

Ax²+Bxy+Cy²+Dx+Ey+F=0     （6）

需要得到的是系数，这时不再是求一直线到各（x,y）的距离最小，而是求一向量（A，B，C，D，E，F）到各点（x²，y²，xy，x，y）的距离最小，这是高维的最小二乘拟合，需要解线性方程组。

作为本发明的进一步改进，步骤4中，空间坐标的映射具体如下：

V₁、V₂、V₃、V₄是屏幕上四个光斑D₁、D₂、D₃、D₄投射到虚平面上的虚点,U_V1、U_V2、U_V3、U_V4是虚平面上的点投射到摄相机图像平面的虚点，p点为瞳孔中心在虚平面上的点，Up为p投影到摄像机图像平面的点;

假设摄像机上方光源在人眼角膜曲面上产生的光斑是r₀，屏幕上四个光源在人眼角膜曲面上的光斑是r₁、r₂、r₃、r₄，这五个光斑在CCD捕获的图像平面中对应的实点是I₀、I₁、I₂、I₃、I₄，它们和虚点U_V1、U_V2、U_V3、U_V4之间存在一个转换关系，即：

U_V1=I₀+α₁(I₁–I₀)      (7)

式(7)中α₁是固定的，I₀和I₁可以通过计算得出，只要U_v1已知，α₁就可求，具体如下：

设I₀（A1，A2）,I₁（B1，B2），Uv1（x1,y1），则有式(8)中的关系，

x1=A1+α₁(B1-A1）     （8）

整理得式（9）

α₁=（x1-A1）/(B1-A1）     (9)

同理可计算出其它三个方向上的α₂、α₃、α₄；这样，虚点U_V1、U_V2、U_V3、U_V4的坐标就可计算出来，根据交比不变原理，这等价于D₁D₄的交比可以计算出来了；

因此，只要在计算过程中利用交比建立等式，当未知点只剩下g时，就可以。

作为本发明的进一步改进，通过公式变换把g求出来，详细方法如下：

用交比的方法对眼睛注视点进行估算，假设E是U_V1U_V3和U_V2U_V4的交点，先计算出U_V1U_V2和U_V3U_V4延长线的交点N2，从N2出发过Up和E的直线交U_V1U_V2于M1和M2，假设g的坐标为

直线U_V1U_V2上四点U_V1(x1,y1)、M1(x2,y2)、M2(x3,y3)、U_V2(x4,y4)四个点的交比CR_X满足下面等式：

${\mathrm{CR}}_x=\frac{(x_1{y}_2-x_2{y}_1)(x_3{y}_4-x_4{y}_3)}{(x_1{y}_3-x_3{y}_1)(x_2{y}_4-x_4{y}_2)}---\left(10\right)$

同理，屏幕上的四个点D1(0,0)、M1’(w/2,0)、

D2(w,0)的交比满足下面等式，即

${\mathrm{CR}}_x=\frac{(w-\frac{w}{2})\hat{x}}{(w-\hat{x})\frac{w}{2}}=\frac{\hat{x}}{w-\hat{x}}---\left(11\right)$

根据交比不变原理，(10)式和(11)式建立等式，由于(10)式中的值都可计算出来，这样就可以求出人眼注视屏幕点的

坐标，同理可以求得

的坐标，这样屏幕注视点的坐标

可被计算出来。

本发明提出的技术方案不需要配戴其它设备，大大降低了对使用者的限制；提出一种新的瞳孔边缘拟合方案，循环拟合剔除假点，最终得到精确的瞳孔中心，提高了映射的精度。本发明与现有的相关研究相比，在精度上有了较大的提升。

附图说明

图1是本发明瞳孔像素级边缘点提取示意图；

图2是本发明拟合后的瞳孔边缘；

图3是本发明空间映射关系图。

具体实施方式

下面结合附图对本发明做进一步说明。

本发明设计了一种利用角膜反射原理，采用5个近红外光源作为系统光源的基于单CCD摄像机的非侵入式视线跟踪技术。利用图像的灰度进行人眼的初定位，快速而准确。提出一种采用直接最小二乘椭圆拟合进行循环拟合，去除噪点，直到椭圆中心固定的拟合方法，最终得到精确的瞳孔中心。利用交比不变原理进行坐标映射，精确计算出注视坐标。系统不需要外戴设备，而且对人头部的自然转动有较好的适应性。

针对现有的视觉追踪技术设备复杂、对姿势限制过多、要头部佩戴专用设备、精度低和效率慢等方面的不足，在前人研究的基础之上，提出一种实现视觉追踪技术的新方法，采用五个近红外光灯作为角膜反射的光源。该方法不需要带任何头戴设备，并且能适应头部的自然运动，设计的算法计算出来的视线位置精度较高。提出一种新的瞳孔边缘拟合方案，循环拟合剔除假点，最终得到精确的瞳孔中心，提高了映射的精度。利用图像的灰度进行人眼的初定位，快速而准确。利用交比不变原理进行坐标映射，更精确地计算出注视坐标。利用上述技术的实现成果，实现眼控鼠标系统，来展示出视觉追踪的效果。

人眼定位

本发明在实验的基础上提出了一种新的快速的检测方法。眼睛不同部位对红外光的反射和折射率不同，瞳孔对红外光的反射最弱，因而瞳孔在红外光的照射下呈黑色，而其他部分都不是黑色。利用这一点，可以快速定位到人的眼睛，这样节省时间和计算开销，同时精度也很高。

首先将获取到的彩色图像转换成灰度图，然后利用直方图分析出图像中灰度值最低的子区域，以这个灰度值作为域值将图像分割成二值化图像。利用所有小于阈值的点(xi,yi)(i=1…N)，N是直方图中灰度小于阈值的点的个数（通常小于4000），在二值化图像粗定位瞳孔中心位置(x_pupil,y_pupil)，如式（1）和式（2）。

$x_{\mathrm{pupil}}=\frac{1}{N}\underset{n=1}{\overset{N}{\mathrm{\Σ}{x}_n}}---\left(1\right)$

$y_{\mathrm{pupil}}=\frac{1}{N}\underset{n=1}{\overset{N}{\mathrm{\Σ}{y}_n}}---\left(2\right)$

根据粗定的瞳孔中心，把以它为中心的40*40-100*100（通常情况下取60*60）像素的矩形区域设置为感兴趣区域ROI(region-of-interest)，这样就缩小图像处理的范围，仅对感兴趣区域进行操作，提高了图像处理效率。

光斑坐标计算

要计算出精确的注视点位置，必须首先获取红外灯在角膜中反射的五个光斑的坐标。因而快速准确的获取光斑坐标是至关重要的。由于图像噪声的存在和头部的运动的影响，光斑的强度可能不稳定，有时会变得很暗淡，增加了寻找光斑的难度，为此本文提出了一种健壮快速的光斑提取方法。

第一步：首先根据经验阈值(30-80，通常取60)分割ROI图像，由于光斑的灰度值在图像中是最高的，因而用适当的阈值处理可以获取光斑信息。然后找出面积最大的五个光斑。

第二步：利用质心法计算出五个光斑的中心坐标，同时利用光斑的相对位置进行检测，剔除假的光斑信息。图像中光斑面积小、亮度大、受干扰影响较小，采用圆模型处理，提取光斑区域质心位置。由前面得到的光斑阈值，在二值化图中粗定光斑中心(x_c,y_c)和初始半径r；

$r=\sqrt{\frac{\mathrm{area}}{\mathrm{pi}}}---\left(3\right)$

假定原图中光斑光强为二维高斯分布，通过最小化（3）(式中area表示面积，pi表示圆周率)式确定光强下降最快之处对应的r。

$\frac{\∫I(r+\mathrm{\δ},x_c,y_c,\mathrm{\θ})\mathrm{d\θ}}{\∫I(r-\mathrm{\δ},x_c,y_c,\mathrm{\θ})\mathrm{d\θ}}---\left(4\right)$

I(r，x，y，θ)为光斑边界点光强，δ=1，θ是由r,x,y确定的边界弧线角度。为防止丢失信息，取1.5-3.5r(通常取2.5r)对应区域作为光斑区域，包括了99%的光斑光强分布。在此区域采用带权重的“质心法”（像素点灰度值的二次方关系）计算光斑中心位置。试验表明阈值在较大区间变化情况下，光斑中心的定位精度优于0.02像素。

第三步：如果有没有找到的光斑点，则用找到的光斑的坐标预测没有找到的光斑的位置，同时减小阈值，在预测区域搜索没有找到的光斑。重复进行直到找到光斑为止。

瞳孔精确定位

本发明依据光斑位置，确定瞳孔搜索区域。用粗定的瞳孔中心作为搜索瞳孔边界的起始点，在不同方向上做一维扫描，在搜索线上感兴趣区域，结合像素点灰度值、梯度值及边界曲线的平滑特性，由(5)式通过寻找最大值，决定边缘点位置r，提取瞳孔边缘的候选点。

f(r)=k₀G(r)-k₁(I(r)-Ip)-k₂(r-r_n-1)   （5）

f为判据函数，I(r)为搜索点灰度值，Ip为瞳孔阈值，G(r)为搜索点梯度值，由一维梯度算子[11000]计算得到，r_n-1为相邻搜索线上得到的边界点半径。k₀、k₁、k₂为由试验定值的权重参数。搜索示意图如图1所示。

在已有的研究中，普遍采用随机椭圆拟合的方法进行边缘拟合，这种方法可能会把很多非边界点的点也用于拟合，这样拟合出来的边缘就不精确。

针对这样的问题，本发明提出了一种新的边界点提取方案。对边界点提取中的所有候选点进行多次的椭圆拟合，采用直接最小二乘法椭圆拟合法来进行椭圆拟合，并剔除与椭圆轮廓较远的点，重复进行，直到获取的椭圆中心稳定，这样求出的椭圆中心就是最终用到的瞳孔中心，实验证明这种方法不会产生误算，最终算出的瞳孔中心最接近真实中心。拟合结果如图2所示。

椭圆方程可以用一般的圆锥曲线方程表示如下：

Ax²+Bxy+Cy²+Dx+Ey+F=0   （6）

需要得到的是系数，这时不再是求一直线到各（x,y）的距离最小，而是求一向量（A，B，C，D，E，F）到各点（x²，y²，xy，x，y）的距离最小，这是高维的最小二乘拟合，需要解线性方程组。

空间映射

本发明根据计算出的屏幕上四个光斑和瞳孔中心坐标，利用射影几何中的交比不变原理进行空间坐标的映射。本发明计算模型如图3所示。

图3中V₁、V₂、V₃、V₄是屏幕上四个光斑D₁、D₂、D₃、D₄投射到虚平面上的虚点,U_V1、U_V2、U_V3、U_V4是虚平面上的点投射到摄相机图像平面的虚点，p点为瞳孔中心在虚平面上的点，Up为p投影到摄像机图像平面的点。

假设摄像机上方光源在人眼角膜曲面上产生的光斑是r₀，屏幕上四个光源在人眼角膜曲面上的光斑是r₁、r₂、r₃、r₄，这五个光斑在CCD捕获的图像平面中对应的实点是I₀、I₁、I₂、I₃、I₄，它们和虚点U_V1、U_V2、U_V3、U_V4之间存在一个转换关系，即：

U_V1=I₀+α₁(I₁–I₀)    (7)

式(7)中α₁是固定的，I₀和I₁可以通过计算得出，只要U_v1已知，α₁就可求。具体如下：

设I₀（A1，A2）,I₁（B1，B2），Uv1（x1,y1），则有式(8)中的关系。

x1=A1+α₁(B1-A1）   （8）

整理得式（9）

α₁=（x1-A1）/(B1-A1）    (9)

同理可计算出其它三个方向上的α₂、α₃、α₄。这样，虚点U_V1、U_V2、U_V3、U_V4的坐标就可计算出来。根据交比不变原理，这等价于D₁D₄的交比可以计算出来了。

因此，只要在计算过程中利用交比建立等式，当未知点只剩下g时，就可以通过公式变换把g求出来。详细方法如下：

用交比的方法对眼睛注视点进行估算。假设E是U_V1U_V3和U_V2U_V4的交点。先计算出U_V1U_V2和U_V3U_V4延长线的交点N2，从N2出发过Up和E的直线交U_V1U_V2于M1和M2。假设g的坐标为

直线U_V1U_V2上四点U_V1(x1,y1)、M1(x2,y2)、M2(x3,y3)、U_V2(x4,y4)四个点的交比CR_X满足下面等式：

${\mathrm{CR}}_x=\frac{(x_1{y}_2-x_2{y}_1)(x_3{y}_4-x_4{y}_3)}{(x_1{y}_3-x_3{y}_1)(x_2{y}_4-x_4{y}_2)}---\left(10\right)$

同理，屏幕上的四个点D1(0,0)、M1’(w/2,0)、D2(w,0)的交比满足下面等式，即

${\mathrm{CR}}_x=\frac{(w-\frac{w}{2})\hat{x}}{(w-\hat{x})\frac{w}{2}}=\frac{\hat{x}}{w-\hat{x}}---\left(11\right)$

根据交比不变原理，(10)式和(11)式建立等式，由于(10)式中的值都可计算出来，这样就可以求出人眼注视屏幕点的

坐标，同理可以求得

的坐标。这样屏幕注视点的坐标

可被计算出来。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (8)

1.一种基于角膜反射的非接触式视线追踪方法，其特征在于：

步骤1：人眼定位：

利用眼睛不同部位对红外光的反射和折射率不同，瞳孔对红外光的反射最弱，因而瞳孔在红外光的照射下呈黑色，而其他部分都不是黑色的特点定位人的眼睛；

步骤2：计算光斑坐标：

步骤2.1：首先根据经验阈值分割感兴趣区域图像，然后找出面积最大的五个光斑；

步骤2.2：利用质心法计算出五个光斑的中心坐标，同时利用光斑的相对位置进行检测，剔除假的光斑信息；图像中光斑面积小、亮度大、受干扰影响较小，采用圆模型处理，提取光斑区域质心位置；由前面得到的光斑阈值，在二值化图中粗定光斑中心(x_c,y_c)和初始半径r；

$r=\sqrt{\frac{\mathrm{area}}{\mathrm{pi}}}---\left(3\right)$

式中area表示面积，pi表示圆周率，假定原图中光斑光强为二维高斯分布，通过最小化（3）式确定光强下降最快之处对应的r；

$\frac{\∫I(r+\mathrm{\δ},x_c,y_c,\mathrm{\θ})\mathrm{d\θ}}{\∫I(r-\mathrm{\δ},x_c,y_c,\mathrm{\θ})\mathrm{d\θ}}---\left(4\right)$

I(r，x，y，θ)为光斑边界点光强，δ=1，θ是由r,x,y确定的边界弧线角度；为防止丢失信息，取1.5-3.5r对应区域作为光斑区域，在此区域采用带权重的“质心法”计算光斑中心位置；

步骤2.3：如果有没有找到的光斑点，则用找到的光斑的坐标预测没有找到的光斑的位置，同时减小阈值，在预测区域搜索没有找到的光斑，重复进行直到找到光斑为止；

步骤3：瞳孔精确定位：

依据光斑位置，确定瞳孔搜索区域，用粗定的瞳孔中心作为搜索瞳孔边界的起始点，在不同方向上做一维扫描，在搜索线上感兴趣区域，结合像素点灰度值、梯度值及边界曲线的平滑特性，由(5)式通过寻找最大值，决定边缘点位置r，提取瞳孔边缘的候选点，

f(r)=k₀G(r)-k₁(I(r)-Ip)-k₂(r-r_n-1)   （5）

f为判据函数，I(r)为搜索点灰度值，Ip为瞳孔阈值，G(r)为搜索点梯度值，由一维梯度算子[11000]计算得到，r_n-1为相邻搜索线上得到的边界点半径，k₀、k₁、k₂为由试验定值的权重参数；

步骤4：空间映射：

根据计算出的屏幕上四个光斑和瞳孔中心坐标，利用射影几何中的交比不变原理进行空间坐标的映射。

2.根据权利要求1所述的一种基于角膜反射的非接触式视线追踪方法，其

特征在于：步骤1中，人眼定位具体方法如下：

首先将获取到的彩色图像转换成灰度图，然后利用直方图分析出图像中灰度值最低的子区域，以这个灰度值作为域值将图像分割成二值化图像，利用所有小于阈值的点(xi,yi)(i=1…N)，N是直方图中灰度小于阈值的点的个数，在二值化图像粗定位瞳孔中心位置(x_pupil,y_pupil)，如式（1）和式（2）：

$x_{\mathrm{pupil}}=\frac{1}{N}\underset{n=1}{\overset{N}{\mathrm{\Σ}{x}_n}}---\left(1\right)$

$y_{\mathrm{pupil}}=\frac{1}{N}\underset{n=1}{\overset{N}{\mathrm{\Σ}{y}_n}}---\left(2\right)$

根据粗定的瞳孔中心，把以它为中心的40*40-100*100像素的矩形区域设置为感兴趣区域。

3.根据权利要求2所述的一种基于角膜反射的非接触式视线追踪方法，其特征在于：根据粗定的瞳孔中心，把以它为中心的60*60像素的矩形区域设置为感兴趣区域。

4.根据权利要求1所述的一种基于角膜反射的非接触式视线追踪方法，其特征在于：步骤2.1中经验阈值取值为30-80。

5.根据权利要求1所述的一种基于角膜反射的非接触式视线追踪方法，其特征在于：步骤2.2中，取2.5r对应区域作为光斑区域。

6.根据权利要求1所述的一种基于角膜反射的非接触式视线追踪方法，其特征在于：步骤3中，边提取界点方法如下：

对边界点提取中的所有候选点进行多次的椭圆拟合，采用直接最小二乘法椭圆拟合法来进行椭圆拟合，并剔除与椭圆轮廓较远的点，重复进行，直到获取的椭圆中心稳定，这样求出的椭圆中心就是最终用到的瞳孔中心；椭圆方程可以用一般的圆锥曲线方程表示如下：

Ax²+Bxy+Cy²+Dx+Ey+F=0    （6）

需要得到的是系数，这时不再是求一直线到各（x,y）的距离最小，而是求一向量（A，B，C，D，E，F）到各点（x²，y²，xy，x，y）的距离最小，这是高维的最小二乘拟合，需要解线性方程组。

7.根据权利要求1所述的一种基于角膜反射的非接触式视线追踪方法，其特征在于：步骤4中，空间坐标的映射具体如下：

V₁、V₂、V₃、V₄是屏幕上四个光斑D₁、D₂、D₃、D₄投射到虚平面上的虚点,U_V1、U_V2、U_V3、U_V4是虚平面上的点投射到摄相机图像平面的虚点，p点为瞳孔中心在虚平面上的点，Up为p投影到摄像机图像平面的点;

假设摄像机上方光源在人眼角膜曲面上产生的光斑是r₀，屏幕上四个光源在人眼角膜曲面上的光斑是r₁、r₂、r₃、r₄，这五个光斑在CCD捕获的图像平面中对应的实点是I₀、I₁、I₂、I₃、I₄，它们和虚点U_V1、U_V2、U_V3、U_V4之间存在一个转换关系，即：

U_V1=I₀+α₁(I₁–I₀)    (7)

式(7)中α₁是固定的，I₀和I₁可以通过计算得出，只要U_v1已知，α₁就可求，具体如下：

设I₀（A1，A2）,I₁（B1，B2），Uv1（x1,y1），则有式(8)中的关系，

x1=A1+α₁(B1-A1）     （8）

整理得式（9）

α₁=（x1-A1）/(B1-A1）     (9)

同理可计算出其它三个方向上的α₂、α₃、α₄；这样，虚点U_V1、U_V2、U_V3、U_V4的坐标就可计算出来，根据交比不变原理，这等价于D₁D₄的交比可以计算出来了；

因此，只要在计算过程中利用交比建立等式，当未知点只剩下g时，就可以。

8.根据权利要求7所述的一种基于角膜反射的非接触式视线追踪方法，其特征在于：

通过公式变换把g求出来，详细方法如下：

用交比的方法对眼睛注视点进行估算，假设E是U_V1U_V3和U_V2U_V4的交点，先计算出U_V1U_V2和U_V3U_V4延长线的交点N2，从N2出发过Up和E的直线交U_V1U_V2于M1和M2，假设g的坐标为

直线U_V1U_V2上四点U_V1(x1,y1)、M1(x2,y2)、M2(x3,y3)、U_V2(x4,y4)四个点的交比CR_X满足下面等式：

${\mathrm{CR}}_x=\frac{(x_1{y}_2-x_2{y}_1)(x_3{y}_4-x_4{y}_3)}{(x_1{y}_3-x_3{y}_1)(x_2{y}_4-x_4{y}_2)}---\left(10\right)$

同理，屏幕上的四个点D1(0,0)、M1’(w/2,0)、

D2(w,0)的交比满足下面等式，即

${\mathrm{CR}}_x=\frac{(w-\frac{w}{2})\hat{x}}{(w-\hat{x})\frac{w}{2}}=\frac{\hat{x}}{w-\hat{x}}---\left(11\right)$

根据交比不变原理，(10)式和(11)式建立等式，由于(10)式中的值都可计算出来，这样就可以求出人眼注视屏幕点的

坐标，同理可以求得

的坐标，这样屏幕注视点的坐标可被计算出来。

Images