CN101901485B - 3d自由头动式视线跟踪系统 - Google Patents

Abstract

本发明公开了一种3D自由头动式视线跟踪系统，属于图像处理和模式识别技术领域。该方法包括步骤：相机内参数标定、硬件系统搭建、图像中瞳孔中心、耀点中心坐标提取、角膜中心三维坐标的确定、瞳孔中心三维坐标的确定、视轴的重构和最后的误差修正处理。本发明采用了一个相机和两个LED光源，克服了传统2D视线跟踪系统头部必须严格固定的限制以及3D视线跟踪需要多个相机或辅助装置来定位人眼三维坐标信息的不足，提供了一种使用方便、成本低、准确度高的视线跟踪方法。

Description

3D自由头动式视线跟踪系统

技术领域

本发明中的视线跟踪算法属于图像处理和模式识别技术领域，涉及一种基于单相机的3D自由头动式视线跟踪系统，可应用于视觉注意机制的研究、广告分析、网页设计、残疾病人的辅助设备和心理分析，同时还可以作为一种新的计算机交互设备。

背景技术

人眼视线的实时跟踪在很多领域都有非常重要的应用。视线跟踪系统按照硬件构成可以分为头戴式和非接触式两种式。头戴式视线跟踪技术需要用户穿戴一些特殊器具，使用不方便；非接触式一般采用基于视频图像处理的方法，通过分析相机采集到的人眼图像判断出视线方向，这类系统不对用户产生干扰，使用方便。

经对现有技术文献检索发现，国内的非接触式视线跟踪系统主要采用如下两类技术：一类是基于瞳孔角膜反射(Pupil-Corneal Reflection,P_CR)的2D视线跟踪技术；另一类是基于眼球模型的3D视线跟踪技术。第一类视线跟踪系统从相机采集得到的图像中提取出瞳孔中心和耀点中心，构成一个瞳孔耀点向量，通过预处理得到瞳孔耀点向量与屏幕间的对应映射关系，利用函数映射关系实时地求取人眼关注的区域。这类系统优点是成本比较低，只需一个相机和一个LED光源；缺点是使用阶段如果观测者头部位置发生了变化，原始位置预处理得到的映射函数将不再适用，跟踪精度就会急剧下降，因此必须要求观测者头部位置保持严格固定，这样就给观测者带来了极大的不便。第二类基于3D眼球模型的视线跟踪系统根据采用的相机和光源数量的不同，具体实现细节也大不相同。有的视线跟踪系统采用两个摄像机和两个光源，得到同一眼睛的两幅不同图像，采用重构算法求出耀点及瞳孔中心的三维信息，重构出光轴。还有些3D视线跟踪系统通过一些其他辅助设备(如超声技术、激光测距仪等)来定位头部位置。这类系统虽然允许头部自由移动，但是由于使用了多个相机或者一些其他辅助设备，增加了成本，使用起来也很不方便。

发明内容

本发明的目的是，针对现有技术的上述不足，提供一种基于单相机的3D自由头动式视线跟踪系统，它属于3D视线跟踪系统，即克服了传统2D视线跟踪系统头部不能自由移动的限制，与其他3D视线跟踪系统相比，它仅采用一个相机两个LED光源就能确定角膜中心和瞳孔中心的精确三维坐标，大大降低了实现成本。

为了达到上述设计目的，本发明采用的技术方案如下：

一种基于单相机的3D自由头动式视线跟踪系统，具体是通过一个相机和两个近红外光源，以相机为原点，两个近红外光源分别为X轴、Y轴建立坐标系，通过相机获得眼睛图像，眼睛图像经处理后，确定瞳孔和耀点中心，然后在实际测量参数的辅助下进行3D模型处理，建立角膜3D中心坐标和瞳孔3D中心坐标，根据光学、几何函数关系计算出眼睛关注区域，其具体操作包括以下步骤：

步骤一：相机内参数的求取：通过摄像机定标方法获得相机的内参数；

步骤二：近红外光源位置微调：相机内参数确定后，调整近红外光源到特定位置；其调整过程为：

a、固定摆放摄像机和标定模板的位置，建立世界坐标系，具体为：镜头中心为坐标系原点O，光轴指向模板方向为Z轴，过坐标系原点的水平向右方向为X轴，垂直向上方向为Y轴；

b、以模板棋盘格的物理尺寸和步骤一中标定的摄像机内参数为已知参数，确定模板在世界坐标系中的位置；

c、以模板位置为参考调整近红外光源，把两个近红外光源分别调整到X轴和Y轴上的指定位置；

步骤三：检测图像瞳孔中心：采集得到人眼图像后，利用瞳孔的图像特征求取瞳孔精确中心坐标；

步骤四：检测图像耀点中心：耀点是近红外光源经人眼角膜反射后在其表面上形成的亮斑，利用耀点的图像特征，计算图像中耀点精确中心坐标；

步骤五：确定光轴：光轴是由三维角膜中心和瞳孔中心两点确定的，具体操作为：

a、求取角膜曲率中心三维坐标：利用两个近红外光源的摆设位置，得到相应函数关系方程，联立步骤一、二、三中求取的已知信息，解出角膜中心三维坐标；

b、求取瞳孔中心三维坐标：在已知角膜中心坐标的前提下，利用光学和几何关系求得瞳孔中心三维坐标；

步骤六：确定视轴，得到凝视点坐标：视轴是视网膜中心区域凹点和瞳孔中心所确定的，或者由瞳孔中心和凝视目标点确定，是人真正的视线方向，利用最小二乘法找出光轴和视轴的转换关系，重构出视轴；

步骤七：跟踪凝视点的校正：利用上面步骤一至六计算得到的视轴与屏幕相交得到观测者的凝视点坐标，利用误差向量加权方法对凝视点坐标进行校正。

步骤一采用张正友平面模板法实现摄像机内参数标定，通过至少3个不同的位置获取标定物的图像，计算出摄像机的内参数。

步骤二近红外光源摆设的位置为：两个光源分别位于以镜头中心为原点的世界坐标系的X轴和Y轴上。

步骤三中图像瞳孔中心可以通过如下步骤确定：首先利用耀点在图像中灰度值变化最大的特点，确定人眼在图像中的大致窗口；然后采用OTSU分割方法确定瞳孔的粗略位置，最后在相对应的灰度图像中找到精确地瞳孔边缘点，椭圆拟合这些边缘点，得到精确的瞳孔中心坐标。

步骤四中图像耀点中心可以通过如下方法确定：对包含眼睛窗口的图像进行二值化分割，由于耀点的灰度值非常高，因而能分割出比较精确的耀点区域，提取耀点的边缘点，对这些边缘点进行椭圆拟合得到精确的耀点中心坐标。

步骤五中角膜中心的三维坐标确定方法为：以镜头中心为坐标系原点O，两个光源与原点的连线分别为X轴和Y轴，过原点O的XOY平面的垂线为Z轴，定义世界坐标系，确定角膜中心在此世界坐标系下的三维坐标，利用光线几何关系得到方程，求解方程算出角膜中心的三维坐标和瞳孔中心的三维坐标，计算得到光轴方程。

以X轴上的光源为例，定义一个二维辅助坐标系辅助坐标系的原点与世界坐标系的原点重合，都为相机镜头中心。为光源，为角膜中心，为光源照射到角膜上的耀点，为耀点在相机CCD上所成的像。其中原点O与光源连线为X轴，向量I^{^} ₁在辅助坐标系X^{^}轴和Z^{^}轴所确定的平面上，OZ为世界坐标系的Z轴，与辅助坐标系OZ^{^}轴夹角为θ₁，一条光线的轨迹光源开始，在角膜表面处反射，再经过O到达且这几点是共面的。

在辅助坐标系下得到方程式一：

$\left[\begin{array}{c}{\hat{c}}_{1x}\\ {\hat{c}}_{1y}\\ {\hat{c}}_{1z}\end{array}\right]=\left[\begin{array}{c}{\hat{g}}_{1x}-r\·\sin \left(\frac{{\widehat{\mathrm{\α}}}_1-{\widehat{\mathrm{\β}}}_1}{2}\right)\\ 0\\ {\hat{g}}_{1x}\·\tan \left({\widehat{\mathrm{\α}}}_1\right)+r\·\cos \left(\frac{{\widehat{\mathrm{\α}}}_1-{\widehat{\mathrm{\β}}}_1}{2}\right)\end{array}\right]$

其中， ${\widehat{\mathrm{\α}}}_1={\cos }^{-1}\left(\frac{-{\hat{I}}_1{\hat{Q}}_1}{\left|\right|-{\hat{I}}_1\left|\right|\·\left|\right|{\hat{Q}}_1\left|\right|}\right){\widehat{\mathrm{\β}}}_1={\tan }^{-1}\left(\frac{{\hat{g}}_{1x}\·\tan \left({\widehat{\mathrm{\α}}}_1\right)}{{\hat{l}}_1-{\hat{g}}_{1x}}\right),$ 其中I^{^} ₁为镜头中心O与CCD上的耀点像点所构成的向量，可通过方法中步骤一、步骤四所求得的相机内参数信息和耀点中心坐标确定，Q1^{^}为镜头中心O和光源所组成的向量，为光源的位置可以直接测得，r为角膜曲面半径，可取经验值。

系统中包含两个光源，两光源分别在世界坐标系的X轴和Y轴上。同X轴上的光源一样，可以得到通过Y轴上光源获得的角膜中心在辅助坐标系下的表达式为方程式二：

$\left[\begin{array}{c}{\hat{c}}_{2x}\\ {\hat{c}}_{2y}\\ {\hat{c}}_{2z}\end{array}\right]=\left[\begin{array}{c}0\\ {\hat{g}}_{2y}-r\·\sin \left(\frac{{\widehat{\mathrm{\α}}}_2-{\widehat{\mathrm{\β}}}_2}{2}\right)\\ {\hat{g}}_{2y}\·\tan \left({\widehat{\mathrm{\α}}}_2\right)+r\·\cos \left(\frac{{\widehat{\mathrm{\α}}}_2-{\widehat{\mathrm{\β}}}_2}{2}\right)\end{array}\right]$

世界坐标系下，假设通过X轴上的光源得到的角膜中心为C₁，通过Y轴上的光源得到的角膜中心为C₂。对于光源相当于将世界坐标系绕X轴顺时针或逆时针旋转θ₁角，得到辅助坐标系(逆时针旋转时角度为正)。所以θ₁角即为辅助坐标系中平面平面与世界坐标系中平面XOZ的夹角。同理对于光源相当于将世界坐标系绕Y轴顺时针或逆时针旋转θ₂角，得到辅助坐标系所以θ₂角即为辅助坐标系中平面平面与世界坐标系中平面YOZ的夹角。这两个夹角可以根据方法步骤一中获得的相机参数以及步骤四耀点的图像坐标求得。辅助坐标系中的角膜中心可以通过下面的关系转换为世界坐标系下的C₁的方程式三和C₂的方程式四为：

$\left[\begin{array}{c}{C}_{1x}\\ C_{1y}\\ C_{1z}\end{array}\right]=\left[\begin{array}{c}{\hat{c}}_{1x}\\ -{\hat{c}}_{1z}\·\sin {\mathrm{\θ}}_1\\ {\hat{c}}_{1z}\·\cos {\mathrm{\θ}}_1\end{array}\right]$

$\left[\begin{array}{c}{C}_{2x}\\ C_{2y}\\ C_{2z}\end{array}\right]=\left[\begin{array}{c}{\hat{c}}_{2z}\·\sin {\mathrm{\θ}}_2\\ {\hat{c}}_{2y}\mathrm{\θ}\\ {\hat{c}}_{2z}\·\cos {\mathrm{\θ}}_2\end{array}\right]$

由于两组光源求出的角膜中心是唯一的,即C₁＝C₂，于是有方程式五：

$\left[\begin{array}{c}{\hat{c}}_{1x}\\ -{\hat{c}}_{1z}\·\sin {\mathrm{\θ}}_1\\ {\hat{c}}_{1z}\·\cos {\mathrm{\θ}}_1\end{array}\right]=\left[\begin{array}{c}{\hat{c}}_{2z}\·\sin {\mathrm{\θ}}_2\\ {\hat{c}}_{2y}\\ {\hat{c}}_{2z}\·\cos {\mathrm{\θ}}_2\end{array}\right]$

将方程式一代入方程式五代入化简得方程式六：

${\hat{g}}_{1x}\·(1-\tan {\widehat{\mathrm{\α}}}_1\·\cos {\mathrm{\θ}}_1\·\tan {\mathrm{\θ}}_2)=r\·(\cos \frac{{\widehat{\mathrm{\α}}}_1-{\widehat{\mathrm{\β}}}_1}{2}\·\cos {\mathrm{\θ}}_1\·\tan {\mathrm{\θ}}_2+\sin \frac{{\widehat{\mathrm{\α}}}_1-{\widehat{\mathrm{\β}}}_1}{2})$

又由于其几何关系方程式七为：

${\hat{g}}_{1x}=\frac{{\hat{l}}_1\tan {\widehat{\mathrm{\β}}}_1}{\tan {\widehat{\mathrm{\α}}}_1+\tan {\widehat{\mathrm{\β}}}_1}$

将方程式七代入方程式六得到方程式八：

联立方程式与方程式八求解，再代入方程式七即可解出将解得的代入方程式一和三，即可求出世界坐标系下的角膜中心坐标C₁，此时记角膜中心坐标为C。

上述方法步骤五中瞳孔中心三维坐标的确定方法为：要求得的瞳孔中心为P_C，由于受到眼睛折射的影响，相机观测到的瞳孔中心只是实际瞳孔折射后的一个虚像u_i。

为了求出角膜上瞳孔中心点u_i，一条直线方程可以表达为方程式九：

$u_i=k_i+s_i\·{\stackrel{\→}{K}}_i$

其中k_i为瞳孔中心在摄像机CCD中所成像的坐标，K_i为点k_i和坐标原点O所成的向量，k_i的三维坐标可通过相机内参数求得，u_i为此条直线与角膜表面的交点。假设角膜曲率半径经验值为r，角膜中心为C，眼睛角膜被近似成球状模型方程式十：

(u_ix-C_x)²+(u_iy-C_y)²+(u_iz-C_z)²＝r²

联立方程式九和十得到u_i，由眼睛折射率的大小和向量求出折射后的向量,从而得到直线方程式十一：

根据几何关系得到方程式十二：

||P_c-C||＝r_d

其中r_d为角膜中心C到瞳孔中心P_C的距离，可取经验值，联立方程式八和九，得出瞳孔中心P_c。

步骤六利用最小二乘法在预处理阶段计算得到光轴和视轴的关系转换矩阵，其具体过程为：光轴与视轴之间有一定的夹角，一般称为kappa角，这个kappa角大约为5°左右，求光轴和视轴之间的转换关系：当观测者关注屏幕上一个已知点S，从相机采集到的图像中求出角膜中心C和瞳孔中心P_c的三维坐标信息，光轴V_O和视轴V_V的方程式十三： $\left\{\begin{array}{c}{\stackrel{\→}{V}}_V=\frac{S-C}{\left|\right|S-C\left|\right|}\\ {\stackrel{\→}{V}}_O=\frac{P_c-C}{\left|\right|P_c-C\left|\right|}\end{array}\right.$

利用转换矩阵对实时追踪阶段所得光轴进行重构得到视轴，利用视轴与屏幕点相交得到凝视点坐标。

方程式十等价于方程式十四：

M是一个3*3的矩阵，它代表了光轴和视轴之间的关系，也是kappa角的另一种表达形式。

步骤七中在预处理时先让观察者关注屏幕上的几个已知点，然后根据这几个已知点以及相对应的凝视点得到一组加权误差向量，利用该组加权向量，对实时追踪阶段所得凝视点坐标进行修正，进而得到更精确的跟踪结果。

所述加权误差向量通过以下步骤得到：观测者被要求关注的已知四个点m₁、m₂、m₃、m₄，求得的四个凝视点n₁、n₂、n₃、n₄，定义误差向量方程式十五：

${\stackrel{\→}{e}}_i=(m_i-n_i)$

后面每次计算观测者凝视点坐标时，就采用下面公式所示的方程式十六、十七和十八来进行校正：

方程式十六：d_i＝||p_computed-n_i||

方程式十七： $w_i=\frac{1}{d_i\underset{k=\mathrm{1,4}}{\mathrm{\Σ}}\frac{1}{d_k}}$

方程式十八： $P_{\mathrm{corrected}}=P_{\mathrm{computed}}+\left(\underset{i=\mathrm{1,4}}{\mathrm{\Σ}}{w}_i{e}_i\right)$

其中p_computed为未校正的凝视点坐标，d_i为未校正点与屏幕已知点距离，w_i为由距离构成的权值，P_corrected为校正后的凝视点坐标。

本发明所述的充气式增高坐垫的有益效果是：克服了传统的2D视线跟踪系统头部位置必须严格固定的限制，在自由头动的条件下依旧能得到精度较高的跟踪效果。同时与大多数3D的自由头动式视线跟踪系统相比，本发明仅只需一个相机，大大的降低了系统成本。

附图说明

图1辅助坐标系视线跟踪系统几何光学图；

图2相机、光源摆放与观测位置示意图；

图3瞳孔中心提取光学示意图；

图4后期校正示意图；

图5图像处理模块设置窗口流程图；

图6图像处理模块二值化流程图；

图7系统运行总流程图。

具体实施方式

本发明的一个实验例采用C语言计算机编程实现，硬件平台搭建主要包含以下特征：

(1)图像采集模块包括摄像头及红外光源。在波长为850nm的近红外光源的照射下，虹膜对其反射较大，而瞳孔基本将其完全吸收，因此所形成的近红外眼部图像的瞳孔和虹膜部分形成了较强对比度。同时摄像头前加上一个滤波镜来滤掉大部分可见光，以消除可见光对成像效果的影响。

(2)相机位于屏幕下方，两个近红外光源的摆放位置如图2。

相机采集到数字图像后就作为视线跟踪模块的输入，对于每个输入，视线跟踪系统将输出一条光轴，具体步骤如下：

步骤(1)：图像瞳孔中心坐标的确定；

步骤(2)：图像耀点中心坐标的确定；

步骤(3)：角膜中心三维坐标的确定；

步骤(4)：瞳孔中心三维坐标的确定。

其中步骤(1)的具体实施步骤为：

1.设置眼睛窗口。算法思想为：耀点边缘灰度变化最强，因而首先找出梯度值最大的边缘点，同时结合耀点区域比较小这一图像特征确定耀点的大致位置，这样就避免了脸部图像其他区域灰度值变化较大点的影响。以找到的这个耀点为中心设置窗口，再在此窗口图像中找到精确的耀点及瞳孔中心坐标，这样就大大的减少了运算量。其具体实现流程图。如图5所示。

2.二值化窗口图像。本实验例采用了OTSU分割算法，其主要思想就是类间方差最大分割。具体算法流程图，如图6所示。

3.提取瞳孔的粗略边缘。在二值化窗口图像中找到瞳孔边缘，并对这些边缘点进行椭圆拟合，以确定大概的瞳孔位置。

4.精确提取瞳孔边缘，找到瞳孔中心坐标。瞳孔边缘大概位置确定后，就在原灰度图像中相对应的地方提取出瞳孔的精确边缘点，对这些边缘点进行椭圆拟合，即得到精确的瞳孔中心坐标。

其中步骤(2)的具体实施步骤为：

1.设置眼睛窗口。在寻找瞳孔中心坐标时，一个包含眼睛区域的窗口已经确定，由这个窗口就可以确定耀点中心坐标。

2.二值化窗口图像。耀点区域灰度值非常高，从图像中可以非常容易的分割出耀点。

3.提取耀点的粗略边缘。在二值化窗口图像中找到耀点边缘，并对这些边缘点进行椭圆拟合，以确定大概的耀点位置。

4.精确提取耀点边缘，找到耀点中心坐标。耀点边缘大概位置确定后，就在原灰度图像中相对应的地方提取出耀点的精确边缘点，对这些边缘点进行椭圆拟合，即得到精确地耀点中心坐标。

其中步骤(3)的具体实施步骤为：

1.获得相机的内参数信息。本发明的一个实验例采用了OpenCV里自带的相机定标函数。它里面采用的标定方法是介于传统定标方法和自定标方法之间的一种，由张正友于1996年提出的。这种方法不需要知道摄像机运动的具体信息，这点比传统定标技术更为灵活，同时仍需要一个特定的定标物以及一组已知的特征基元的坐标。它通过在至少3个不同的位置获取标定物的图像，计算出摄像机所有的内外参数，由于它比传统的定标技术更为灵活，又可以得到不错的定标精度，能满足系统的实际需求。

2.用测量工具测量出光源离相机光心的距离。

3.结合求得的图像中耀点中心坐标，根据上面获得的已知量，确定方程(3)、(4)中的θ₁，θ2(两个光源对应着两个耀点)。

4.角膜半径r取经验值7.8mm，通过求解方程(3)、(8)得到角膜中心三维坐标。方程(8)很难得到解析解，在具体求解时可以采用遍历法，以获得较精确的估计值。

其中步骤(4)的具体实施步骤中，角膜中心距瞳孔中心距离r_d取经验值4.2mm，可以通过求解方程(11)(12)即可得到瞳孔中心三维坐标。

整个视线跟踪系统可以分为两个阶段：预处理和实时跟踪。

预处理阶段主要完成以下功能：

(1)相机内参数的求取；

(2)视轴和光轴之间转换关系的确定。在此阶段屏幕上会出现四个已知点，人眼关注这些点，将对应的人眼图像保存起来，根据图像可以算出光轴，根据已知关注点的坐标求出视轴，再通过最小二乘法原理就可找出光轴与视轴的转换关系；

(3)视轴与屏幕的交点就是人眼的关注点。将这四个已知的屏幕坐标点和计算出来的人眼关注点先保存起来，用于步骤七的误差向量加权的校正算法。

实时跟踪阶段，其系统框图如图7，每获得一幅图像，先从图像中提取出瞳孔中心和耀点中心坐标，计算角膜中心和瞳孔中心的三维坐标得到光轴直线方程，然后根据预处理阶段求得的视轴与光轴转换关系，重构出视轴，再对视轴与屏幕相交所得凝视点进行校正，得到最终的人眼关注点。

Claims (9)

1.一种3D自由头动式视线跟踪系统，其特征在于：具体是通过一个相机和两个近红外光源，以相机为原点，两个近红外光源分别为X轴、Y轴建立坐标系，通过相机获得眼睛图像，眼睛图像经处理后，确定瞳孔和耀点中心，然后在实际测量参数的辅助下进行3D模型处理，建立角膜3D中心坐标和瞳孔3D中心坐标，根据光学、几何函数关系计算出眼睛关注区域，其具体操作包括以下步骤：

步骤一：相机内参数的求取：通过摄像机定标方法获得相机的内参数；

步骤二：近红外光源位置微调：相机内参数确定后，调整近红外光源到特定位置；其调整过程为：a、固定摆放摄像机和标定模板的位置，建立世界坐标系，具体为：镜头中心为坐标系原点O，光轴指向模板方向为Z轴，过坐标系原点的水平向右方向为X轴，垂直向上方向为Y轴；

b、以模板棋盘格的物理尺寸和步骤一中标定的摄像机内参数为已知参数，确定模板在世界坐标系中的位置；

c、以模板位置为参考调整近红外光源，把两个近红外光源分别调整到X轴和Y轴上的指定位置；

步骤三：检测图像瞳孔中心：采集得到人眼图像后，利用瞳孔的图像特征求取瞳孔精确中心坐标；

步骤四：检测图像耀点中心：耀点是近红外光源经人眼角膜反射后在其表面上形成的亮斑，利用耀点的图像特征，计算图像中耀点精确中心坐标；

步骤五：确定光轴：光轴是由三维角膜中心和瞳孔中心两点确定的，具体操作为：

a、求取角膜曲率中心三维坐标：利用两个近红外光源的摆设位置，得到相应函数关系方程，联立步骤一、二、三中求取的已知信息，解出角膜中心三维坐标；

b、求取瞳孔中心三维坐标：在已知角膜中心坐标的前提下，利用光学和几何关系求得瞳孔中心三维坐标；

步骤六：确定视轴，得到凝视点坐标：视轴是视网膜中心区域凹点和瞳孔中心所确定的，或者由瞳孔中心和凝视目标点确定，是人真正的视线方向，利用最小二乘法找出光轴和视轴的转换关系，重构出视轴；

步骤七：跟踪凝视点的校正：利用上面步骤一至六计算得到的视轴与屏幕相交得到观测者的凝视点坐标，利用误差向量加权的方法对凝视点坐标进行校正。

2.根据权利要求1所述的3D自由头动式视线跟踪系统，其特征在于：步骤一采用张正友平面模板法实现摄像机内参数标定，通过至少3个不同的位置获取标定物的图像，计算出摄像机的内参数。

3.根据权利要求1所述的3D自由头动式视线跟踪系统，其特征在于：步骤二近红外光源摆设的位置为：两个光源分别位于以镜头中心为原点的世界坐标系的X轴和Y轴上。

4.根据权利要求1所述的3D自由头动式视线跟踪系统，其特征在于：步骤三中图像瞳孔中心通过如下步骤确定：首先利用耀点在图像中灰度值变化最大的特点，确定人眼在图像中的大致窗口；然后采用OTSU分割方法确定瞳孔的粗略位置，最后在相对应的灰度图像中找到精确地瞳孔边缘点，椭圆拟合这些边缘点，得到精确的瞳孔中心坐标。

5.根据权利要求1所述的3D自由头动式视线跟踪系统，其特征在于：步骤四中图像耀点中心通过如下方法确定：对包含眼睛窗口的图像进行二值化分割，由于耀点的灰度值非常高，因而能分割出比较精确的耀点区域，提取耀点的边缘点，对这些边缘点进行椭圆拟合得到精确的耀点中心坐标。

6.根据权利要求1所述的3D自由头动式视线跟踪系统，其特征在于：步骤五中角膜中心的三维坐标确定方法为：以镜头中心为坐标系原点O，两个光源与原点的连线分别为X轴和Y轴，过原点O的XOY平面的垂线为Z轴，定义世界坐标系，确定角膜中心在此世界坐标系下的三维坐标，利用光线几何关系得到方程，求解方程算出角膜中心的三维坐标和瞳孔中心的三维坐标，计算得到光轴方程。

7.根据权利要求1所述的3D自由头动式视线跟踪系统，其特征在于：步骤六利用最小二乘法在预处理阶段计算得到光轴和视轴的关系转换矩阵，其具体过程为：光轴与视轴之间有一定的夹角，一般称为kappa角，这个kappa角大约为5°左右，求光轴和视轴之间的转换关系：当观测者关注屏幕上一个已知点S，从相机采集到的图像中求出角膜中心C和瞳孔中心P_c的三维坐标信息，利用转换矩阵对实时追踪阶段所得光轴进行重构得到视轴，利用视轴与屏幕点相交得到凝视点坐标。

8.根据权利要求1所述的3D自由头动式视线跟踪系统，其特征在于：步骤七中在预处理时先让观察者关注屏幕上的几个已知点，然后根据这几个已知点以及相对应的凝视点得到一组加权误差向量，利用该组加权误差向量，对实时追踪阶段所得凝视点坐标进行修正，进而得到更精确的跟踪结果。

9.根据权利要求8所述的3D自由头动式视线跟踪系统，其特征在于：所述加权误差向量通过以下步骤得到：观测者被要求关注的已知四个点m1、m2、m3、m4，求得的四个凝视点n1、n2、n3、n4，定义误差向量，其向量方程为：

${\stackrel{\→}{e}}_i=(m_i-n_i)\text{,}$

后面每次计算观测者凝视点坐标时，都需要进行校正。