CN105094300A - 一种基于标准化眼睛图像的视线追踪系统及方法 - Google Patents

Abstract

本发明公开了一种基于标准化眼睛图像的视线追踪系统及方法，本发明的系统包含三个或三个以上红外光源和一个红外摄像机。三个或三个以上光源用于在角膜上形成角膜反射光斑，摄像机位于目标屏幕周围任一点，用于捕捉使用者眼睛图像。本发明的方法，将当前眼睛图像中的眼球标志点位置变换到标准化眼睛图像中的眼球标志点位置，再通过标准化眼睛图像中的眼球标志点位置变换求解得到目标屏幕中视点的位置，从而进行视线追踪。通过本发明的系统和方法有效克服了现有基于眼睛图像信息的视线追踪方法中的：头部移动带来的视线追踪不准确、需要复杂的硬件装置、需要较多的标定点等问题。

Description

一种基于标准化眼睛图像的视线追踪系统及方法

技术领域

本发明涉及人机交互技术领域，尤其涉及一种基于标准化眼睛图像的视线追踪系统及方法。

背景技术

视线是用眼睛看东西时，眼睛和物体之间的假想直线，它反映了人与环境的交互情况。视点是视线落点的位置，它在视网膜中央凹(视网膜中视觉最敏锐的区域)成像。视线追踪是利用眼动测量设备测量眼睛的运动情况估计视线方向或者视点位置的技术。视线追踪在人机交互、虚拟现实、医学诊断、广告分析和驾驶员安全监控等领域有广泛的应用。

现有的视线追踪方法按照是否需要在眼睛及其周边区域附着辅助设备分为侵入式和非侵入式两种。基于眼睛图像信息的视线追踪方法是非侵入式的视线追踪方法，该方法是通过外置摄像机捕捉人眼区域的图像，并根据该图像信息估计视线。基于眼睛图像信息的视线追踪方法不需要在眼睛及周边区域附着任何辅助设备，用户体验更好，同时，该方法对硬件复杂度的要求相对较低，因此被广泛使用。

现有的基于眼睛图像信息的视线追踪算法主要是基于特征的方法[1-8]，此外还有一些其他方法，如：基于外观的方法[9]。基于特征的视线追踪算法常用的特征主要包括：瞳孔轮廓、瞳孔中心、虹膜轮廓、虹膜中心、眼角以及外界光源(一般为红外光源)在角膜上的反射点(第一普金野图像，普尔钦斑)。基于特征的视线估计算法有角膜反射法[1-7]和虹膜-巩膜边缘法[8]。基于角膜反射点的视线追踪方法主要有：瞳孔中心与角膜反射向量法[1-4]、交比不变性方法[5]、基于眼球三维模型的视线估计方法[6]和双普金野法[7]。瞳孔中心与角膜反射向量法[1-3]是采用多项式拟合方法，将瞳孔中心与角膜反射向量与屏幕中的视点进行对应。该方法计算简单，但头动对视线追踪效果影响较大，虽然有一些补偿算法[4]，但较好的补偿算法往往需要大量的标定点。利用交比不变性的视线追踪算法[5]是利用射影几何中交比不变的特点进行视线估计。该方法可以解决头部上下、左右移动下的视线追踪不准的问题，但当头部前后运动时视线追踪仍然不够准确。而且该算法需要四个角膜反射点，硬件系统较为复杂，同时，引入四个角膜反射点也增加了图像处理工作的复杂性。基于眼球三维模型的视线估计方法[6]是对人眼的物理结构进行建模，根据模型计算视线的三维向量从而进行视线估计。该方法需要计算角膜中心、瞳孔中心的空间位置并通过已标定的光轴和视轴夹角来计算视线，在计算角膜中心和瞳孔中心时需要确定角膜曲率半径、眼球中心到角膜中心的距离、房水与角膜之间的折射率等参数，这些参数也是通过标定计算后得到的。因此，标定过程的计算量非常大，也需要复杂、精准的硬件装置。双普金野法[7]是利用光线进入眼后，在空气与角膜交界面、晶状体和玻璃体交界面分别形成的两个普金野图像(反射点)之间的位置关系进行视线估计。由于第二个普金野图像非常微弱，需要专业的摄像机才能捕捉到该图像。因此该方法需要昂贵、复杂的硬件装置。虹膜-巩膜边缘法[8]是通过检测虹膜和巩膜交界的圆在摄像机拍摄的图片中呈现的大小和椭圆形状，来估计视线方向。由于虹膜-巩膜边缘的图像处理对视线估计的准确性影响很大，而虹膜和巩膜交界的圆的上半部分和下半部分分别被上眼皮和下眼皮遮挡，因此图像中虹膜和巩膜交界圆的准确检测较为困难。基于外观的方法[9]对眼睛的整体图片进行处理，通过训练得到整个眼睛图像与视点的对应关系，进而估计视线方向，这种方法往往需要非常大的训练样本，也就是需要大量标定点，这给用户使用带来不便。

综上所述，现有的基于眼睛图像信息的视线追踪算法的主要问题有：(1)头部移动带来的视线追踪不准确；(2)需要复杂的硬件装置；(3)需要较多的标定点。

[1].GaleA.Anoteontheremoteoculometertechniqueforrecordingeyemovements[J]VisionResearch，1982，22(1)：201-202.

[2].HutchinsonT，WhiteK，MartinW，ReichertK，FreyL.Human-computerinteractionusingeye-gazeinput[J].IEEETransactionsonSystems，Man，andCybernetics，1989，19(6)：1527-1534.

[3].MorimotoC，MimicaM.Eyegazetrackingtechniquesforinteractiveapplications[J]ComputerVisionandImageUnderstanding，2005，98：4-24.

[4].BrollyX，MulliganJ.Implicitcalibrationofaremotegazetracker[C].ProceedingsofConferenceonComputerVisionandPatternRecognitionWorkshop.Washington，DC：IEEEComputerSociety，2004：134.

[5].YooD，KimJ，LeeB，ChungM.Non-contacteyegazetrackingsystembymappingofcornealreflections[C].ProceedingsofIEEEInternationalConferenceonAutomaticFaceandGestureRecognition.Washington，DC：IEEEComputerSociety，2002：94-99.

[6].GuestrinE，EizenmanM.Generaltheoryofremotegazeestimationusingthepupilcenterandcornealreflections[J]IEEETransactionsonBiomedicalEngineering，2006，53(6)：1124-1133.

[7].CraneH，SteeleC.Generation-Vdual-Purkinje-imageeyetracker[J]AppliedOptics，1985，24(4)：527-537.

[8].WangJ，SungE，VenkateswarluR.Estimatingtheeyegazefromoneeye[J].ComputerVisionandImageUnderstanding，2005，98(1)：83-103.

[9].TanK，KriegmanD，AhujaN.Appearance-basedeyegazeestimation[C].ProceedingsofIEEEWorkshoponApplicationsofComputerVision.Orlando：IEEEComputerSociety，2002：191-195.

发明内容

本发明的目的在于提供一种基于标准化眼睛图像的视线追踪系统及方法，从而解决现有技术中存在的前述问题。

为了实现上述目的，本发明采用的技术方案如下：

一种基于标准化眼睛图像的视线追踪系统，包括设置于欲确定视点位置的目标屏幕周围朝向使用者眼睛方向能够在使用者眼角膜上形成k个不共线角膜反射光斑的k个光源，和设置于所述目标屏幕周围任一点用于捕获使用者眼睛图像的摄像机，以及图像变换与分析装置，所述图像变换与分析装置与所述摄像机连接；

其中k是大于或等于3的整数。

优选的，所述k等于3，所述摄像机设置于所述目标屏幕下方。

优选的，所述光源为红外光源，所述摄像机为红外摄像机。

一种基于标准化眼睛图像的视线追踪方法，包括以下步骤：

基于使用者眼睛图像中角膜反射光斑位置和眼球标志点位置，通过引入标准化眼睛图像，使目标屏幕平面到标准化眼睛图像平面的射影变换为定值，从而使标准化眼睛图像中的眼球标志点位置和目标屏幕上的视点位置的变换关系为定值；基于确定的所述变换关系，利用标准化眼睛图像中的眼球标志点位置计算得到相对应的视点位置。

优选的，具体包括以下步骤：

S1，在欲确定视点位置的目标屏幕周围朝向使用者眼睛方向设置能够在使用者眼角膜上形成k个不共线角膜反射光斑的k个光源，在所述目标屏幕周围任一点设置用于捕获使用者眼睛图像的摄像机；

S2，获取通过所述摄像机捕捉到的使用者当前眼睛图像，并提取所述当前眼睛图像中的k个角膜反射光斑的位置信息和所述当前眼睛图像中的眼球标志点的位置信息；

S3，引入基于标准化眼睛图像的视线估计算法公式进行计算，根据所述角膜反射光斑的位置信息和所述眼球标志点的位置信息，计算得到使用者在所述目标屏幕上的当前视点位置；

S4，重复S2-S3，以得到连续的所述使用者在所述目标屏幕上的视点位置，进而实现视线追踪；

其中k为大于或等于3的整数。

优选的，当k＝3时S3的步骤具体为：

光源L₁，L₂，L₃发出光线，在使用者角膜表面形成反射点V₁，V₂，V₃并构成平面；摄像机捕捉当前眼睛图像，角膜反射光斑V₁，V₂，V₃和眼球标志点P在当前眼睛图像平面上分别形成U_V1，U_V2，U_V3和U_P；所述当前眼睛图像平面经过一个仿射变换N，将其映射到标准化眼睛图像上形成N_V1，N_V2，N_V3和N_P；仿射变换N是使U_V1，U_V2，U_V3映射到N_V1，N_V2，N_V3的变换；

当前眼睛图像中眼球标志点位置U_P经过标准化变换N后形成标准化眼睛图像中的眼球标志点位置N_P，目标屏幕平面L₁L₂L₃上视点J与标准化眼睛图像平面N_V1N_V2N_V3上眼球标志点位置N_P相对应，设视点J的坐标为(x_j，y_j)，N_P的坐标为(x_np，y_np)，则有公式：

$\left(\begin{array}{c}{x}_{\mathrm{np}}\\ y_{\mathrm{np}}\\ 1\end{array}\right)=M\·\left(\begin{array}{c}{x}_j\\ y_j\\ 1\end{array}\right)=\left(\begin{array}{ccc}{m}_{11}& m_{12}& m_{13}\\ m_{21}& m_{22}& m_{23}\\ m_{31}& m_{32}& m_{33}\end{array}\right)\·\left(\begin{array}{c}{x}_j\\ y_j\\ 1\end{array}\right)$

式中射影变换M是定值，利用标定的方法，通过4个已知的视点J和相应的标准化眼睛图像平面中眼球标志点位置N_P坐标构建线性方程组求解得到射影变换矩阵M；

通过射影变换M^-1将标准化眼睛图像平面N_V1N_V2N_V3中的眼球标志点位置N_P，映射到目标屏幕平面L₁L₂L₃上，进而得到视点J。

优选的，

通过仿射变换N求解得到N_P的具体步骤为：

仿射变换N是使U_V1，U_V2，U_V3映射到N_V1，N_V2，N_V3的变换：

$\left(\begin{array}{c}{x}_{\mathrm{nt}}\\ y_{\mathrm{nt}}\\ 1\end{array}\right)=N\·\left(\begin{array}{c}{x}_{\mathrm{ut}}\\ y_{\mathrm{ut}}\\ 1\end{array}\right)=\left(\begin{array}{ccc}{n}_{11}& n_{12}& n_{13}\\ n_{21}& n_{22}& n_{23}\\ 0& 0& 1\end{array}\right)\·\left(\begin{array}{c}{x}_{\mathrm{ut}}\\ y_{\mathrm{ut}}\\ 1\end{array}\right)$

式中(x_ui，y_ui)(i＝1，2，3)为U_Vi的坐标，通过图像处理对角膜反射光斑进行检测，计算得到每个角膜反射光斑中心的坐标即为(x_ui，y_ui)；

(x_ni，y_ni)(i＝1，2，3)为N_Vi的坐标，在式中，(x_ui，y_ui)和(x_ni，y_ni)(i＝1，2，3)均为已知，n₁₁，n₁₂，n₁₃，n₂₁，n₂₂，n₂₃均为未知，针对(i＝1，2，3)构建线性方程组：

$\left\{\begin{array}{c}{x}_{n1}=n_{11}{x}_{u1}+n_{12}{y}_{u1}+n_{13}\\ y_{n1}=n_{21}{x}_{u1}+n_{22}{y}_{u1}+n_{23}\\ x_{n2}=n_{11}{x}_{u2}+n_{12}{y}_{u2}+n_{13}\\ y_{n2}=n_{21}{x}_{u2}+n_{22}{y}_{u2}+n_{23}\\ x_{n3}=n_{11}{x}_{u3}+n_{12}{y}_{u3}+n_{13}\\ y_{n3}=n_{21}{x}_{u3}+n_{22}{y}_{u3}+n_{23}\end{array}\right.$

，求解得到仿射变换矩阵N；

设U_P的坐标为(x_up，y_up)，N_P的坐标为(x_np，y_np)，(x_up，y_up)和N均已确定，则根据公式：

$\left(\begin{array}{c}{x}_{\mathrm{np}}\\ y_{\mathrm{np}}\\ 1\end{array}\right)=N\·\left(\begin{array}{c}{x}_{\mathrm{up}}\\ y_{\mathrm{up}}\\ 1\end{array}\right)=\left(\begin{array}{ccc}{n}_{11}& n_{12}& n_{13}\\ n_{21}& n_{22}& n_{23}\\ 0& 0& 1\end{array}\right)\·\left(\begin{array}{c}{x}_{\mathrm{up}}\\ y_{\mathrm{up}}\\ 1\end{array}\right)$

计算得到N_P的坐标(x_np，y_np)。

优选的，从所述使用者当前眼睛图像中提取所述眼睛图像中的k个角膜反射光斑的位置信息和所述眼睛图像中眼球标志点的位置信息的步骤包括：

S21，眼睛区域选取；

S22，角膜反射光斑检测；

S23，眼球标志点位置检测。

优选的，S21具体为：

输入所述使用者眼睛图像；

初步划定图像检测区域；

检测角膜反射光斑位置进而获得候选区域；

检测眼球标志点位置进而获得眼睛区域；

S22，具体为：

对眼睛区域图像进行形态学变换；

进行阈值处理并提取所述角膜反射光斑的轮廓信息；

针对所述轮廓信息进行圆拟合处理；

计算得到所述角膜反射光斑的中心及大小。

S23，具体为：

对所述使用者眼睛图像进行阈值处理并提取其中眼球标志点的轮廓信息；

排除所述轮廓信息中的所述角膜反射光斑周围的眼球标志点轮廓信息；

将所述轮廓信息进行椭圆拟合，进而计算得到眼球标志点。

优选的，所述k等于3，所述摄像机设置于所述目标屏幕下方和/或所述光源为红外光源且所述摄像机为红外摄像机。

优选的，所述眼球标志点为眼球瞳孔中心或虹膜-巩膜边缘的中心。

本发明的有益效果是：

本发明的基于标准化眼睛图像的视线追踪系统及方法，将当前眼睛图像中的眼球标志点位置变换到标准化眼睛图像中的眼球标志点位置，再通过标准化眼睛图像中的眼球标志点位置变换求解得到目标屏幕中视点的位置，从而进行视线追踪。通过本发明的系统和方法有效克服了现有基于眼睛图像信息的视线追踪方法中的(1)头部移动带来的视线追踪不准确、(2)需要复杂的硬件装置、(3)需要较多的标定点的问题。

附图说明

图1是本发明的基于标准化眼睛图像的视线追踪系统的结构示意图；

图1中：1---红外光源；2---目标屏幕；3---摄像机；4---使用者；

图2是本发明中的图像特征提取算法流程示意图；

图3是本发明中的眼睛区域选取过程示意图；

图4是本发明的基于标准化眼睛图像的视线追踪方法原理示意图；

图4中：5---角膜中心；6---目标屏幕；7---摄像机光心；8---摄像机图像平面；9---标准化眼睛图像平面；10---光斑、瞳孔中心平面。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。

本发明的基于标准化眼睛图像的视线追踪系统，包括设置于欲确定视点位置的目标屏幕周围朝向使用者眼睛方向能够在使用者眼角膜上形成k个不共线角膜反射光斑的k个光源，和设置于所述目标屏幕周围任一点用于捕获使用者眼睛图像的摄像机，以及图像变换与分析装置，所述图像变换与分析装置与所述摄像机连接，此连接可以是有线连接，也可以是无线连接，比如通过wifi或蓝牙或红外等连接；其中k是大于或等于3的整数。优选所述k等于3，所述摄像机设置于所述目标屏幕下方。优选所述光源为红外光源，所述摄像机为红外摄像机。

以下结合附图详述：

如图1-4所示，本发明公开了一种基于标准化眼睛图像的视线追踪系统及方法：本发明的基于标准化眼睛图像的视线追踪系统包含三个(或三个以上)红外光源和一个红外摄像机，如图1所示。三个(或三个以上)光源用于在角膜上形成角膜反射光斑，摄像机位于目标屏幕周围任一点(优选设置在屏幕下方)，用于捕捉使用者眼睛图像。本发明的基于标准化眼睛图像的视线追踪方法不需要对光源、摄像机位置进行测量，对光源的位置也不需要特别设定，只要光源可以在角膜上形成反射点(即角膜反射光斑)即可。因此，本发明的方法更便于进行系统搭建。

为了进行视线估计，首先要对使用者眼睛图像进行特征提取。本发明的基于标准化眼睛图像的视线追踪方法需要提取眼睛图像中的三个(或三个以上)角膜反射点(即角膜反射光斑)和眼球标志点的位置信息(眼球标志点可以是瞳孔中心也可以是虹膜-巩膜边缘的中心)。图像特征提取的过程包括：1)眼睛区域选取、2)角膜反射点检测、3)眼球标志点检测。图像特征提取算法流程图如图2所示。

1)眼睛区域选取

眼睛区域的选取是从摄像机捕捉到的图像中选出眼睛所在的区域，以便对眼睛图像进行特征提取。由于两只眼睛的视轴相交于视点，为了减少算法运算量，只选取一只眼睛的区域便可进行视线估计。本发明采用检测和跟踪相结合的方法选取眼睛区域。这是由于对整个摄像机捕捉到的图像进行人眼区域检测的运算量较大，而即便眼睛移动，相邻帧的眼睛在图像中的位移也不会很大，在上一帧检测到的眼睛区域周围对眼睛进行搜索，将有效地减小运算量。此外，眨眼等情况的发生会影响跟踪方法对眼睛区域的选择，此时可以重新使用检测的方法在整个摄像机捕捉到的图像中检测眼睛区域，如图3所示。眼睛区域的特点是有白色的光斑和黑色的瞳孔，其中白色光斑的强度较高。首先通过动态阈值来选取指定区域中具有白色的候选区域，然后在候选区域中动态阈值检测是否有黑色像素点，如果存在黑色像素点则认为该候选区域是眼睛区域。

2)角膜反射点检测

红外光源在角膜进行反射，在摄像机捕捉的图像中呈现白色，与周围像素差异较大，因此相对容易检测，使用阈值的方法便可检测到眼睛图像中的角膜反射点(即角膜反射光斑).但是由于角膜表面的不平整，一个光源在角膜反射后可能形成两个距离非常近的白色光斑，因此首先对眼睛图像进行形态学变换(腐蚀变换和膨胀变换各一次)，再对图像进行阈值处理，便可检测到光斑区域.提取每个光斑的轮廓信息，对轮廓进行圆的拟合。

3)以瞳孔中心检测为例说明眼球标志点的检测过程

瞳孔的检测比角膜反射点的检测复杂，主要是由于角膜反射点的存在影响瞳孔中心的检测.为了排除角膜反射点对瞳孔中心计算的影响，本算法首先对眼睛图像进行阈值处理，其次提取瞳孔的轮廓信息，再次剔除光斑范围内的瞳孔轮廓信息，最后用剩余的轮廓进行椭圆拟合。

以虹膜-巩膜边缘的中心检测为例说明眼球标志点的检测过程

虹膜-巩膜边缘的检测较为复杂，眼睫毛和眼皮的遮挡都会增加虹膜-巩膜边缘的检测难度。本算法首先对眼睛图像进行阈值处理，其次提取边缘信息，剔除光斑范围内的边缘信息，剔除上方、下方的边缘信息，用剩余的边缘信息进行椭圆拟合，椭圆中心即为虹膜-巩膜边缘的中心。基于上述图像处理结果，本发明的基于标准化眼睛图像的视线追踪方法，提出了一种基于标准化眼睛图像的视线估计算法。通过引入标准化眼睛图像，使屏幕平面到标准化眼睛图像平面的射影变换为定值，从而使标准化眼睛图像的眼球标志点和屏幕上的视点的变换关系为定值，由此解决了头部运动对视线估计的影响。

本发明引入的标准化眼睛图像是人为构建的一个虚拟图像，相应的标准化眼睛图像平面是在空间中构建的虚拟平面。本发明将摄像机图像平面经过仿射变换投影到该虚拟平面，并根据标准化眼睛图像平面的眼球标志点位置计算屏幕视点，能有效地解决头部移动后视线追踪不准确的问题。

本发明的基于标准化眼睛图像的视线追踪方法的原理如图4所示，红外光源L₁，L₂，L₃发出光线，在角膜表面形成反射点V₁，V₂，V₃并构成平面。摄像机捕捉眼睛图像，角膜反射点V₁，V₂，V₃和眼球标志点P在当前眼睛图像平面上分别形成U_V1，U_V2，U_V3和U_P。当前眼睛图像平面经过一个仿射变换N，将其映射到标准化眼睛图像上形成N_V1，N_V2，N_V3和N_P。这里仿射变换N是使U_V1，U_V2，U_V3映射到N_V1，N_V2，N_V3的变换：

$\left(\begin{array}{c}{x}_{\mathrm{nt}}\\ y_{\mathrm{nt}}\\ 1\end{array}\right)=N\·\left(\begin{array}{c}{x}_{\mathrm{ut}}\\ y_{\mathrm{ut}}\\ 1\end{array}\right)=\left(\begin{array}{ccc}{n}_{11}& n_{12}& n_{13}\\ n_{21}& n_{22}& n_{23}\\ 0& 0& 1\end{array}\right)\·\left(\begin{array}{c}{x}_{\mathrm{ut}}\\ y_{\mathrm{ut}}\\ 1\end{array}\right)---\left(1\right)$

在公式(1)中(x_ui，y_ui)(i＝1，2，3)为U_Vi的坐标，通过图像处理对光斑进行检测，计算得到每个光斑中心的坐标即为(x_ui，y_ui)。(x_ni，y_ni)(i＝1，2，3)为N_Vi的坐标，标准化眼睛图像上三个光斑的坐标是提前确定的，选取任意不共线三点均可。一般根据光源在角膜形成反射点的位置选取N_Vi(i＝1，2，3)的坐标会使算法过程的准确度更高。本发明选取N_V1的坐标为(0.5，0.866)，N_V2的坐标为(0，1)，N_V3的坐标为(1，0)。在公式(1)中，(x_ui，y_ui)和(x_ni，y_ni)(i＝1，2，3)均为已知，n₁₁，n₁₂，n₁₃，n₂₁，n₂₂，n₂₃均为未知，针对(i＝1，2，3)可构建如下线性方程组：

$\left\{\begin{array}{c}{x}_{n1}=n_{11}{x}_{u1}+n_{12}{y}_{u1}+n_{13}\\ y_{n1}=n_{21}{x}_{u1}+n_{22}{y}_{u1}+n_{23}\\ x_{n2}=n_{11}{x}_{u2}+n_{12}{y}_{u2}+n_{13}\\ y_{n2}=n_{21}{x}_{u2}+n_{22}{y}_{u2}+n_{23}\\ x_{n3}=n_{11}{x}_{u3}+n_{12}{y}_{u3}+n_{13}\\ y_{n3}=n_{21}{x}_{u3}+n_{22}{y}_{u3}+n_{23}\end{array}\right.---\left(2\right)$

根据公式(2)，可以求解仿射变换矩阵N。

对于红外光源个数大于3的情况，设红外光源个数为k(k>3)，可通过求解如下优化问题求解仿射变换矩阵N。

$\min {\mathrm{\Σ}}_{t=1}^k[{(x_{\mathrm{nt}}-n_{11}{x}_{\mathrm{ut}}-n_{12}{y}_{\mathrm{ut}}-n_{18})}^2+{(y_{\mathrm{nt}}-n_{21}{x}_{\mathrm{ut}}-n_{22}{y}_{\mathrm{ut}}-n_{28})}^2]---\left(3\right)$

公式(3)的最优化问题的解所对应的矩阵N即为所求。

于是，当前眼睛图像平面上眼球标志点位置U_P经过N的变换，可得标准化眼睛图像上的眼球标志点位置N_P。设U_P的坐标为(x_up，y_up)，N_P的坐标为(x_np，y_np)，则有：

$\left(\begin{array}{c}{x}_{\mathrm{np}}\\ y_{\mathrm{np}}\\ 1\end{array}\right)=N\·\left(\begin{array}{c}{x}_{\mathrm{up}}\\ y_{\mathrm{up}}\\ 1\end{array}\right)=\left(\begin{array}{ccc}{n}_{11}& n_{12}& n_{13}\\ n_{21}& n_{22}& n_{23}\\ 0& 0& 1\end{array}\right)\·\left(\begin{array}{c}{x}_{\mathrm{up}}\\ y_{\mathrm{up}}\\ 1\end{array}\right)---\left(4\right)$

在公式(4)中，(x_up，y_up)和N均已确定，因此N_P的坐标(x_np，y_np)可以通过公式(4)计算得到。

如图4所示，屏幕平面L₁L₂L₃经过射影变换形成平面V₁V₂V₃，假设该射影变换为H₁。平面V₁V₂V₃经过射影变换形成平面U_V1U_V2U_V3，假设该射影变换为H₂，而平面U_V1U_V2U_V3经过仿射变换N形成平面N_V1N_V2N_V3。因此，屏幕平面L₁L₂L₃上点X_L(坐标为(x₁，y₁))与标准化图像平面N_V1N_V2N_V3上对应点X_N(坐标为(x_n，y_n))满足：

$\left(\begin{array}{c}{x}_n\\ y_n\\ 1\end{array}\right)=N\·H_2\·H_1\left(\begin{array}{c}{x}_i\\ y_i\\ 1\end{array}\right)=M\·\left(\begin{array}{c}{x}_i\\ y_i\\ 1\end{array}\right)---\left(5\right)$

当头部运动引起眼睛移动，射影变换矩阵H₁，H₂会相应的发生变化。如果不引入标准化眼睛图像平面，则屏幕平面L₁L₂L₃与摄像机成像平面U_V1U_V2U_V3的射影变换矩阵会随头动引起的H₁，H₂变化而变化，因此头部运动会造成视线估计不准确。而当引入标准化眼睛图像平面后，由于屏幕平面L₁L₂L₃与标准化眼睛图像平面N_V1N_V2N_V3相对静止，对应点的射影变换矩阵M是定值。即便当头部运动引起眼睛移动，射影变换H₁，H₂和仿射变换N均发生变化，但其乘积M是不变的。可以看作仿射变换矩阵N补偿了头动时射影变换H₁，H₂的变化，因此基于标准化图像眼睛平面的视线追踪方法在头部发生运动的情况下仍能准确地进行视线估计。

使用者的视线可以近似看作角膜中心与瞳孔中心(或角膜中心与虹膜-巩膜边缘的中心)的连线，视点是视线与目标屏幕的交点。视点J经过如下三次变换后，与形成的标准化眼睛图像中的眼球标志点位置N_P相对应：1)视点J经过射影变换H₁后形成眼球标志点P；2)眼球标志点P经过射影变换H₂后形成当前眼睛图像中眼球标志点位置U_P；3)当前眼睛图像中眼球标志点位置U_P经过标准化变换N后形成标准化眼睛图像中的眼球标志点位置N_P，因此目标屏幕平面L₁L₂L₃上视点J与标准化眼睛图像平面N_V1N_V2N_V3上的眼球标志点位置N_P相对应，设视点J的坐标为(x_j，y_j)，N_P的坐标为(x_np，y_np)，则有：

$\left(\begin{array}{c}{x}_{\mathrm{np}}\\ y_{\mathrm{np}}\\ 1\end{array}\right)=M\·\left(\begin{array}{c}{x}_j\\ y_j\\ 1\end{array}\right)=\left(\begin{array}{ccc}{m}_{11}& m_{12}& m_{13}\\ m_{21}& m_{22}& m_{23}\\ m_{31}& m_{32}& m_{33}\end{array}\right)\·\left(\begin{array}{c}{x}_j\\ y_j\\ 1\end{array}\right)---\left(6\right)$

由于射影变换M是定值，因此可以利用标定的方法，通过4个已知的视点J和相应的标准化眼睛图像平面中眼球标志点位置N_P坐标构建线性方程组求解射影变换矩阵M。

基于标准化眼睛图像的视线估计方法，通过引入标准化眼睛图像，构造了一个不变的射影变换矩阵M，通过射影变换M^-1将标准化图像平面N_V1N_V2N_V3的眼球标志点位置N_P点，映射到屏幕平面L₁L₂L₃上的视点J。其中射影变换矩阵M是通过标定(最少需要4个标定点)确定的。标准化眼睛图像平面N_V1N_V2N_V3的眼球标志点位置N_P是通过仿射变换矩阵N和使用者当前眼睛图像中眼球标志点U_P利用公式(4)计算得到的。而仿射变换矩阵N是通过当前眼睛图像中三个光斑中心U_Vi(i＝1，2，3)和标准化眼睛图像中三个光斑中心N_Vi(i＝1，2，3)利用公式(2)计算得到的。当光源个数大于3时，仿射变换矩阵N是通过使用者当前眼睛图像中k(k>3)个光斑中心U_Vi(i＝1，2，…，k)和标准化眼睛图像中k个光斑中心N_Vi(i＝1，2，…，k)利用公式(3)计算得到的。

概括的讲本发明的目的在于提供一种基于标准化眼睛图像的视线追踪系统及方法，该系统包括三个(或三个以上)红外光源和一个红外摄像机机。该方法基于红外光源反射点和眼球标志点的位置特征，通过引入标准化眼睛图像，使屏幕平面到标准化眼睛图像平面的射影变换为定值，从而使标准化眼睛图像中的眼球标志点和屏幕上的视点的变换关系为定值。基于这一确定的变换关系，利用标准化眼睛图像的眼球标志点可计算得到相对应的视点位置。该方法能有效克服现有基于眼睛图像信息的视线追踪方法中的(1)头部移动带来的视线追踪不准确、(2)需要复杂的硬件装置、(3)需要较多的标定点的问题。本发明提供的从当前眼睛图像到标准化眼睛图像的变换方法，通过该方法将当前眼睛图像中的眼球标志点变换到标准化眼睛图像中的眼球标志点，标准化眼睛图像中的眼球标志点用于进行视线追踪。从当前眼睛图像到标准化眼睛图像的变换矩阵，是通过当前眼睛图像中三个(或三个以上)光源反射点的位置与标准化眼睛图像中对应点的位置进行求解得到的。

通过采用本发明公开的上述技术方案，得到了如下有益的效果：

本发明的基于标准化眼睛图像的视线追踪系统及方法，将当前眼睛图像中的眼球标志点变换到标准化眼睛图像中的眼球标志点，再通过标准化眼睛图像中的眼球标志点变换求解得到目标屏幕中视点的位置，从而进行视线追踪。通过本发明的系统和方法有效克服了现有基于眼睛图像信息的视线追踪方法中的(1)头部移动带来的视线追踪不准确、(2)需要复杂的硬件装置、(3)需要较多的标定点的问题。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (11)

1.一种基于标准化眼睛图像的视线追踪系统，其特征在于，包括设置于欲确定视点位置的目标屏幕周围朝向使用者眼睛方向能够在使用者眼角膜上形成k个不共线角膜反射光斑的k个光源，和设置于所述目标屏幕周围任一点用于捕获使用者眼睛图像的摄像机，以及图像变换与分析装置，所述图像变换与分析装置与所述摄像机连接；

其中k是大于或等于3的整数。

2.根据权利要求1所述的基于标准化眼睛图像的视线追踪系统，其特征在于，所述k等于3，所述摄像机设置于所述目标屏幕下方。

3.根据权利要求1-2任一所述的基于标准化眼睛图像的视线追踪系统，其特征在于，所述光源为红外光源，所述摄像机为红外摄像机。

4.一种基于标准化眼睛图像的视线追踪方法，其特征在于，包括以下步骤：

基于使用者眼睛图像中角膜反射光斑位置和眼球标志点位置，通过引入标准化眼睛图像，使目标屏幕平面到标准化眼睛图像平面的射影变换为定值，从而使标准化眼睛图像中的眼球标志点位置和目标屏幕上的视点位置的变换关系为定值；基于确定的所述变换关系，利用标准化眼睛图像中的眼球标志点位置计算得到相对应的视点位置。

5.根据权利要求4所述的基于标准化眼睛图像的视线追踪方法，其特征在于，具体包括以下步骤：

S1，在欲确定视点位置的目标屏幕周围朝向使用者眼睛方向设置能够在使用者眼角膜上形成k个不共线角膜反射光斑的k个光源，在所述目标屏幕周围任一点设置用于捕获使用者眼睛图像的摄像机；

S2，获取通过所述摄像机捕捉到的使用者当前眼睛图像，并提取所述当前眼睛图像中的k个角膜反射光斑的位置信息和所述当前眼睛图像中的眼球标志点的位置信息；

S3，引入基于标准化眼睛图像的视线估计算法公式进行计算，根据所述角膜反射光斑的位置信息和所述眼球标志点的位置信息，计算得到使用者在所述目标屏幕上的当前视点位置；

S4，重复S2-S3，以得到连续的所述使用者在所述目标屏幕上的视点位置，进而实现视线追踪；

其中k为大于或等于3的整数。

6.根据权利要求5所述的基于标准化眼睛图像的视线追踪方法，其特征在于，当k＝3时S3的步骤具体为：

光源L₁，L₂，L₃发出光线，在使用者角膜表面形成反射点V₁，V₂，V₃并构成平面；摄像机捕捉当前眼睛图像，角膜反射光斑V₁，V₂，V₃和眼球标志点P在当前眼睛图像平面上分别形成U_V1，U_V2，U_V3和U_P；所述当前眼睛图像平面经过一个仿射变换N，将其映射到标准化眼睛图像上形成N_V1，N_V2，N_V3和N_P；仿射变换N是使U_V1，U_V2，U_V3映射到N_V1，N_V2，N_V3的变换；

当前眼睛图像中眼球标志点位置U_P经过标准化变换N后形成标准化眼睛图像中的眼球标志点位置N_P，目标屏幕平面L₁L₂L₃上视点J与标准化眼睛图像平面N_V1N_V2N_V3上眼球标志点位置N_P相对应，设视点J的坐标为(x_j，y_j)，N_P的坐标为(x_np，y_np)，则有公式：

$\left(\begin{array}{c}{x}_{\mathrm{np}}\\ y_{\mathrm{np}}\\ 1\end{array}\right)=M\·\left(\begin{array}{c}{x}_j\\ y_j\\ 1\end{array}\right)=\left(\begin{array}{ccc}{m}_{11}& m_{12}& m_{13}\\ m_{21}& m_{22}& m_{23}\\ m_{31}& m_{32}& m_{33}\end{array}\right)\·\left(\begin{array}{c}{x}_j\\ y_j\\ 1\end{array}\right)$

式中射影变换M是定值，利用标定的方法，通过4个已知的视点J和相应的标准化眼睛图像平面中眼球标志点位置N_P坐标构建线性方程组求解得到射影变换矩阵M；

通过射影变换M^-1将标准化眼睛图像平面N_V1N_V2N_V3中的眼球标志点位置N_P，映射到目标屏幕平面L₁L₂L₃上，进而得到视点J。

7.根据权利要求6所述的基于标准化眼睛图像的视线追踪方法，其特征在于，

通过仿射变换N求解得到N_P的具体步骤为：

仿射变换N是使U_V1，U_V2，U_V3映射到N_V1，N_V2，N_V3的变换：

$\left(\begin{array}{c}{x}_{\mathrm{nt}}\\ y_{\mathrm{nt}}\\ 1\end{array}\right)=N\·\left(\begin{array}{c}{x}_{\mathrm{ut}}\\ y_{\mathrm{ut}}\\ 1\end{array}\right)=\left(\begin{array}{ccc}{n}_{11}& n_{12}& n_{13}\\ n_{21}& n_{22}& n_{23}\\ 0& 0& 1\end{array}\right)\·\left(\begin{array}{c}{x}_{\mathrm{ut}}\\ y_{\mathrm{ut}}\\ 1\end{array}\right)$

式中(x_ui，y_ui)(i＝1，2，3)为U_Vi的坐标，通过图像处理对角膜反射光斑进行检测，计算得到每个角膜反射光斑中心的坐标即为(x_ui，y_ui)；

(x_ni，y_ni)(i＝1，2，3)为N_Vi的坐标，在式中，(x_ui，y_ui)和(x_ni，y_ni)(i＝1，2，3)均为已知，n₁₁，n₁₂，n₁₃，n₂₁，n₂₂，n₂₃均为未知，针对(i＝1，2，3)构建线性方程组：

$\left\{\begin{array}{c}{x}_{n1}=n_{11}{x}_{u1}+n_{12}{y}_{u1}+n_{13}\\ y_{n1}=n_{21}{x}_{u1}+n_{22}{y}_{u1}+n_{23}\\ x_{n2}=n_{11}{x}_{u2}+n_{12}{y}_{u2}+n_{13}\\ y_{n2}=n_{21}{x}_{u2}+n_{22}{y}_{u2}+n_{23}\\ x_{n3}=n_{11}{x}_{u3}+n_{12}{y}_{u3}+n_{13}\\ y_{n3}=n_{21}{x}_{u3}+n_{22}{y}_{u3}+n_{23}\end{array}\right.$

，求解得到仿射变换矩阵N；

设U_P的坐标为(x_up，y_up)，N_P的坐标为(x_np，y_np)，(x_up，y_up)和N均已确定，则根据公式：

$\left(\begin{array}{c}{x}_{\mathrm{np}}\\ y_{\mathrm{np}}\\ 1\end{array}\right)=N\·\left(\begin{array}{c}{x}_{\mathrm{up}}\\ y_{\mathrm{up}}\\ 1\end{array}\right)=\left(\begin{array}{ccc}{n}_{11}& n_{12}& n_{13}\\ n_{21}& n_{22}& n_{23}\\ 0& 0& 1\end{array}\right)\·\left(\begin{array}{c}{x}_{\mathrm{up}}\\ y_{\mathrm{up}}\\ 1\end{array}\right)$

计算得到N_P的坐标(x_np，y_np)。

8.根据权利要求5所述的基于标准化眼睛图像的视线追踪方法，其特征在于，从所述使用者当前眼睛图像中提取所述眼睛图像中的k个角膜反射光斑的位置信息和所述眼睛图像中眼球标志点的位置信息的步骤包括：

S21，眼睛区域选取；

S22，角膜反射光斑检测；

S23，眼球标志点位置检测。

9.根据权利要求8所述的基于标准化眼睛图像的视线追踪方法，其特征在于，S21具体为：

输入所述使用者眼睛图像；

初步划定图像检测区域；

检测角膜反射光斑位置进而获得候选区域；

检测眼球标志点位置进而获得眼睛区域；

S22，具体为：

对眼睛区域图像进行形态学变换；

进行阈值处理并提取所述角膜反射光斑的轮廓信息；

针对所述轮廓信息进行圆拟合处理；

计算得到所述角膜反射光斑的中心及大小。

S23，具体为：

对所述使用者眼睛图像进行阈值处理并提取其中眼球标志点的轮廓信息；

排除所述轮廓信息中的所述角膜反射光斑周围的眼球标志点轮廓信息；

将所述轮廓信息进行椭圆拟合，进而计算得到眼球标志点。

10.根据权利要求5-9任一所述的基于标准化眼睛图像的视线追踪方法，其特征在于，所述k等于3，所述摄像机设置于所述目标屏幕下方和/或所述光源为红外光源且所述摄像机为红外摄像机。

11.根据权利要求4-9任一所述的基于标准化眼睛图像的视线追踪方法，其特征在于，所述眼球标志点为眼球瞳孔中心或虹膜-巩膜边缘的中心。