CN104732191B - 利用交比不变性实现虚拟显示屏视线追踪的装置及其方法 - Google Patents

Abstract

本发明提出了一种利用交比不变性实现在虚拟显示屏设备中视线追踪的装置和方法。该装置包括：虚拟显示屏，针对每个虚拟显示屏设置4个辅助光源和1个摄像机。4个辅助光源位于1个显示屏左右两侧，并构成一个矩形；摄像机位于该显示屏下方。该视线追踪方法：通过图像处理模块，获取图像中瞳孔中心和光斑位置；通过视线追踪模块，首先通过标定估计光源在屏幕中的位置，其次根据光源、瞳孔中心和光斑位置计算视点。在1个像机和4个光源的条件下，通过标定过程，估计虚拟光源在虚拟显示屏幕中的位置，利用交比不变性原理实现视线追踪。

Description

利用交比不变性实现虚拟显示屏视线追踪的装置及其方法

技术领域

本发明涉及计算机视觉、图像处理学以及摄影几何学等技术领域，尤其涉及一种利用交比不变性实现虚拟显示屏视线追踪的装置及其方法，该装置和方法能有效解决虚拟显示屏移动带来的视线跟踪不准确问题。

背景技术

目前视线追踪通常是在距眼睛较远距离的情形下进行的，其追踪方式通常是获取眼睛的图像，再根据一定算法进行比对计算，得出的。此种方式一般都要求获取眼睛图像的装置固定不动，而对于可穿戴设备等带有虚拟显示屏的设备，由于眼睛与图像获取装置的矩离较近，而且虚拟显示屏和图像获取装置都位于设备(如：穿戴式设备)上，该设备可以移动，而且相对眼睛也会发生位移(如：穿戴式设备可以随头部移动而移动，而且穿戴式设备相对眼睛也会发生较小的位移)。因此获取眼睛图像的装置处于非固定状态下，而且和眼睛的相对位置关系也不固定。所以之前的常规方法已无法应用于现有的显示屏和图像获取装置可移动的设备(如：穿戴式设备)上。

发明内容

本发明的目的在于提供一种利用交比不变性实现虚拟显示屏视线追踪的装置及其方法，该装置和方法能有效解决穿戴式设备等带有虚拟显示屏的设备移动带来的视线跟踪不准确问题。

为了实现上述目的，本发明采用的技术方案如下：

一种利用交比不变性实现虚拟显示屏视线追踪的装置，包括：虚拟显示屏设备本体和视线追踪处理器，还包括设置于所述虚拟显示屏设备本体内侧的光源和图像采集装置；所述虚拟显示屏设备本体包括设置于所述虚拟显示屏设备本体内侧的显示屏，还包括设置于所述虚拟显示屏设备内部的显示图像控制器；所述显示屏与所述显示图像控制器电连接；所述光源、所述图像采集装置分别和所述视线追踪处理器电连接。

优选的，所述显示屏对应一只眼睛设置一组或针对两只眼睛分别设置两组；所述光源针对一只眼睛设置一组或针对两只眼睛分别设置两组，所述图像采集装置针对一只眼睛设置一组或针对两只眼睛分别设置两组；每组所述光源至少包括四个所述光源，每组所述图像采集装置至少包括一个所述图像采集装置。

优选的，每组所述光源包括四个所述光源，四个所述光源按矩形或任意四边形分布设置于对应的所述显示屏附近。

优选的，所述视线追踪处理器包括：

图像处理功能模块，用于获取所述图像采集装置采集到的图像中瞳孔中心位置和光斑位置；

视线追踪功能模块，用于通过标定方法得到虚拟光源在虚拟显示屏中的位置，再根据虚拟光源的位置、瞳孔中心的位置和光斑的位置计算得到视点位置。

一种利用交比不变性实现虚拟显示屏视线追踪的方法，包括以下步骤：

S1，获取眼部图像；

S2，读取所述图像的信息，并判断是否读取成功，如果成功则执行S3，如果不成功则读取下一张S1中获取到的眼部图像；

S3，针对S2中读取到的图像，应用图像处理算法进行处理，并判断在所述图像中是否检测到瞳孔和光斑位置，如果是则执行S4，如果否则读取下一张S1中获取到的眼部图像；

S4，针对S3中检测到瞳孔和光斑的位置，应用视线追踪算法进行分析；

S5，根据S4中的分析结果得到视点位置。

优选的，所述应用图像处理算法进行处理，具体为：

S31，将读取到的彩色图像转为灰度图像；

S32，针对所述灰度图像建立灰度直方图，根据直方图信息采用动态阈值方法，对图像进行初步阈值处理，检测瞳孔的阈值和检测光斑的阈值；

S33，计算检测瞳孔和光斑阈值后图像的重心和范围，用于描述瞳孔和光斑的初步位置和区域大小；

S34，结合初步瞳孔区域和光斑区域信息，在瞳孔位置周边检测光斑，判断所述光斑的个数是否大于等于4，如果是则根据光斑面积和距离瞳孔远近筛选确定4个光斑位置信息，如果否则检测失败，读取下一张S1中获取到的眼部图像；

S35，结合初步瞳孔位置、区域信息，进行瞳孔位置精确定位，判断椭圆拟合是否成功，如果是则根据椭圆拟合结果确定瞳孔中心的精确位置信息，如果否则检测失败，执行S1读取下一张图片。

优选的，所述应用视线追踪算法进行分析，包括：标定过程和视线追踪过程。

优选的，

所述标定过程，具体为：

根据已知的注视点在虚拟显示屏中的位置，依据该注视点对应的眼部图像获取到的瞳孔中心位置信息和光斑的位置信息，根据交比不变性原理，估算得出虚拟光源在虚拟显示屏中的位置；记录当前的光斑位置信息。

优选的，

所述视线追踪过程，具体为：

根据所述获取到光斑的位置信息，结合标定过程中记录得到的光斑位置信息，计算得到当前设备相对眼部的位移量；

根据所述位移量和标定过程中估算得出的虚拟光源在虚拟显示屏中的位置，计算得到当前虚拟光源在虚拟显示屏中的位置；

根据所述获取到的瞳孔中心位置信息和光斑的位置信息，和计算得到的所述当前虚拟光源在虚拟显示屏中的位置，利用交比不变性原理计算得到在虚拟显示屏中的视点。

本发明的有益效果是：

本发明提供的利用交比不变性实现虚拟显示屏视线追踪的装置及其方法，首先通过标定估计虚拟光源在虚拟显示屏中的位置，其次根据虚拟光源、瞳孔中心和光斑位置计算视点。在1个像机和4个光源的条件下，通过标定过程，估计虚拟光源在虚拟显示屏中的位置，利用交比不变性原理实现视线追踪。在视线追踪过程中，通过计算四个光斑在当前图像与标定图像的相对位置，实时更新虚拟光源在虚拟显示屏中的位置，结合瞳孔中心和光斑位置，利用交比不变性原理实现视线追踪。基于此，实现了视线追踪，同时在使用者头部相对于设备发生运动后仍然可以实现视线追踪，并且提高了追踪精度和追踪效率。

附图说明

图1是简比与交比示意图；

图2是空间交比不变性示意图；

图3是显示屏平面、眼球虚拟平面和照相机平面的摄影关系示意图；

图4是光源发生器产生的光源照射到角膜上形成光斑时的眼睛图片；

图5是光斑在角膜形成反射的交比计算方法示意图；

图6是光源在虚拟显示屏的交比计算方法示意图；

图7是四个光源设置位置示意图；

图8是本发明的装置的结构示意图；

图8中：1---用于采集左眼图像的图像采集装置；2---用于采集右眼图像的图像采集装置；3---针对于左眼的光源发生器；4---针对于右眼的光源发生器；5---穿戴式设备本体；

图9是本发明的方法的步骤流程图；

图10是本发明的图像处理算法示意图；

图11是本发明的视线追踪算法示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。

针对本发明中的光斑、光源、虚拟光源、显示屏和虚拟显示屏的概念解释及方案概括：光斑是由红外光源在角膜前表面所反射出来的图像，是眼睛中所有光学界面反射所形成图像中最易观察到的图像，也称第一普金野图像。本发明的装置中在显示屏附近的固定位置设置有4个光源，但是在利用交比不变性求解视点的时候，这4个光源的位置是无法直接利用的，交比不变性方法需要利用的是光源在显示屏幕所在平面中的位置，而本发明的装置中的光源并不在显示屏幕平面上(这是因为人们在可穿戴设备(例如眼镜式显示器)上看到的屏幕实际上是虚拟屏幕，该虚拟屏幕实际上是通过一个小屏幕经过透镜后成的像，因此无法在硬件结构上使光源和显示屏或虚拟显示屏在一个平面上)，由于光的直线传播性，本发明中假设有4个虚拟光源，位于这个虚拟显示屏的平面上，这4个虚拟光源发射的光照在眼睛上形成的光斑，与装置中设置的4个物理光源在眼睛上形成的光斑一样。于是本发明只要估计出这4个虚拟光源的位置就可以用来求解视点了。

关于显示屏和虚拟显示屏，由于装置(如眼镜式显示器)中显示屏距离眼睛非常近，用普通的显示器并不能实现该功能，所以其必须是一种特制的显示器，用于在微小的体积内产生高品质的画面。此时显示器呈现的屏幕是透镜等光学元件变化后的屏幕，定义为是虚拟显示屏。

交比的定义：如图1所示，在空间直线L上，点A、B称为基础点对，点C、D称为分隔点对，O和O’为视点，则交比不变的基本概念和定理如下：

定义1由分隔点和基础点所确定的两个有向线段之比称为简比，记为：

定义2一条直线上4个点中两个简比的比值称为交比。如图1所示直线L上A、B、C、D这4个点，以A、B为基础点对，C、D为分隔点对的交比为：

交比不变性：

空间中一直线经空间几何变换后保持直线上对应点列的交比不变。如图2所示，以A、B为基础点对，C、D为分隔点对的交比CR(A，B；C，D)与以A’、B’为基础点对，C’、D’为分隔点对的交比CR(A’，B’；C’，D’)相等。同样的性质对以其他点为基础点对时也适用。

在本发明中由于摄像机(图像采集装置)拍摄的图像与显示屏中图像是射影变换(如图3)，而交比具有射影变换不变性的特点，于是可以根据图像中瞳孔中心和四个光斑的位置以及虚拟显示屏中光源位置来估计视点。

但是，使用交比不变性进行视线追踪，需要明确光源位置，但是虚拟显示屏设备是可以移动的，光源位置也不是固定的，因此不能直接使用交比不变性进行视线追踪。

以下详述本发明：

基于交比不变性原理，通过标定方法估计虚拟光源在虚拟显示屏设备的虚拟显示屏中的位置。所谓虚拟显示屏(或称虚拟屏幕)是指可穿戴设备(例如眼镜式显示器)中的物理显示屏所显示的内容通过光学透镜改变大小后呈现在人眼视觉中的大屏幕显示屏，所谓虚拟光源是指，物理光源对应到虚拟显示屏上的相应位置的光源。

为了避免对使用者的眼睛带来刺激，4个光源为红外光源，作为图像采集装置的摄像机为红外摄像机，进而可以拍摄到照射到眼球上所形成的光斑，采集到的图像上也就可以看到光斑。

对于4个红外光源在眼睛上形成图像如图4所示：

4个红外光源在角膜上反射点(光斑)V₁，V₂，V₃，V₄，如图5所示。P点是瞳孔中心，E点是V₁V₃，V₂V₄的交点。以V₁，V₂为基础点对，M₁、M₂为分隔点对的交比为CR(V₁，V₂；M₁，M₂)，以V₁，V₄为基础点对，N₁、N₂为分隔点对的交比为CR(V₁，V₄；N₁，N₂)

对于虚拟屏幕上4个虚拟光源L₁，L₂，L₃，L₄，如图6所示，J为视点，C点是L₁L₃和L₂L₄的交点，根据交比不变性CR(L₁，L₂；A₁，A₂)=CR(V₁，V₂；M₁，M₂)；CR(L₁，L₄；B₁，B₂)=CR(V₁，V₄；N₁，N₂)，于是当确定L₁，L₂，L₃，L₄的位置，根据光斑在角膜反射图像上的交比信息，便可以计算视点，具体方法如下：

通过图像处理模块，可以得到4个红外光源在角膜上的反射点V₁，V₂，V₃，V₄以及瞳孔中心P的位置信息。令函数Point(line₁，line₂)表示直线line₁和直线line₂的交点，对于不重合的两条直线，在平面内有且仅有一个交点。通过如下公式可以求得M₁、M₂、N₁、N₂的位置信息。

Q=Point(V₁V₄，V₂V₃) (4)

R=Point(V₁V₂，V₄V₃) (5)

E=Point(V₁V₃，V₂V₄) (6)

M₁=Point(QE，V₁V₂) (7)

M₂=Point(QP，V₁V₂) (8)

N₁=Point(RE，V₁V₄) (9)

N₂=Point(RP，V₁V₄) (10)

进一步根据如下公式求得交比：

对于已确定位置的L₁,L₂,L₃,L₄通过如下公式可以求得A₁、B₁的位置信息。

C=Point(L₁L₃，L₂L₄) (13)

S=Point(L₁L₄，L₂L₃) (14)

T=Point(L₁L₂，L₄L₃) (15)

A₁＝Point(SC，L₁L₂) (16)

B₁＝Point(TC，L₁L₄) (17)

根据交比不变性CR(L₁,L₂；A₁,A₂)=CR(V₁,V₂；M₁，M₂)；CR(L₁,L₄；B₁,B₂)=CR(V₁,V₄；N₁,N₂)，以及A₂，B₂分别位于直线L₁L₂和直线L₁L₄上，求解可得到A₂，B₂的位置信息。于是可求得视点J：

J=Point(TB₂，SA₂) (18)

但是，设备的屏幕是含有一组透镜系统的虚拟屏幕，光源相对虚拟屏幕的位置关系无法测量，同时虚拟屏幕会相对眼部移动，光源位置也会变动。因此，要想使用交比不变性方法进行视线追踪，必须通过标定的方法，确定光源在虚拟屏幕的位置。

通过标定方法估计虚拟光源在虚拟显示屏中的位置，即通过一系列图像上已知位置点及注视该点的图像信息(图像中瞳孔中心和光斑)来估计虚拟光源在设备虚拟显示屏中的位置。

对于确定4个光源对应的虚拟光源在虚拟显示屏中的位置，可以在光源可能范围内遍历搜索，求解计算视点与标定视点误差最小的最优化问题进行求解，公式如下：

其中，L₁,L₂,L₃,L₄为虚拟光源在虚拟显示屏中的位置，n为标定点个数，在上式中n＞=4。i表示第i个标定点，J_i表示在虚拟光源位置为L₁,L₂,L₃,L₄时，基于注视第i个标定点时眼睛的图像信息，通过图像处理模块得到光斑和瞳孔中心的位置信息，利用交比不变性方法计算的视点位置；Jcal_i是所注视标定点的位置。函数DIS(x,y)表示向量x和向量y的距离，可选用欧氏距离，于是上式转化为：

对于给定一组L₁，L₂，L₃，L₄，可通过公式(4)至公式(18)，求解其注视Jcal_i时的视点J_i，对于n个标定点，可求得但是，在所有可能的虚拟光源位置找到一组虚拟光源位置，使不大于其他光源位置时的值是一个非常复杂的问题。由于四个光源可能的位置很多(假设虚拟显示屏的宽有w个像素，高有h个像素。由于虚拟光源可能落在屏幕外面，于是每个光源的可能位置为大于w*h的矩形，这样4个光源可能的位置个数大于(w·h)⁴)，通过公式(20)遍历所以可能位置求解最优的四个虚拟光源的位置计算量非常大。

本发明的方法中结合本发明的装置中设置的光源位置的特殊性，提出了一种简单标定算法，如下：

针对上述一般标定问题求解时计算量大的问题，巧妙的设计了设备光源位置，提出了一种快速标定的算法。如图7所示，本发明在设备上将光源位置设置为矩形，因此，在虚拟显示屏上，光源的位置应该是近似矩形的，首先计算虚拟光源在虚拟显示屏中的初始位置，其次通过优化方法，在初始位置附近寻找最优位置。通过初始位置附近搜索最优位置的方法可大大缩小扫描范围，从而大大缩小计算量。

同时，由于矩形的特殊性，在通过交比不变性求解虚拟光源在虚拟显示屏中的初始位置时有计算量非常小的算法。

由于CR(L₁，L₂；A₁，A₂)=CR(V₁，V₂；M₁，M₂)；其中A₁为L₁，L₂的中点，A₂为标定注视点在虚拟显示屏的横坐标。

因此，在有两个标定点，且该两点连线不垂直于L₁L₂时，便可通过该两个标定点的横坐标信息计算出L₁，L₂的横坐标。

同样的，当有两个标定点，且该两点连线不垂直于L₁L₄时，便可通过该两个标定点的纵坐标信息计算出L₁，L₄的纵坐标。综上，存在两个标定点，且该两点连线不平行于矩形的任何一条边时，便可计算出矩形光源的位置，即虚拟光源在虚拟显示屏中的初始位置。在得知初始位置后，通过公式(20)进行优化求解最优的虚拟光源位置L₁，L₂，L₃，L₄的计算量将大幅度减少。

记录标定过程中光斑的位置信息，在视线跟踪过程中，通过对比光斑位置信息，计算虚拟显示屏设备的移动量；

在视线追踪过程，通过对比标定过程中光斑在角膜反射的位置信息，便可计算虚拟显示屏上下、左右、前后的移动向量。

通过标定过程得到的虚拟光源在虚拟显示屏中的位置和视线追踪过程中虚拟显示屏的移动量，计算视线追踪过程中虚拟光源在虚拟显示屏中的位置。进而通过公式(4)至公式(18)进行视线追踪。

本发明结合光源设置位置的特殊性后，通过以下方法实现快速计算，得到视点位置：

根据交比不变性原理，结合光源位置的特殊性，通过标定方法估计虚拟光源在虚拟显示屏中的位置，记录标定过程中光斑的位置信息，在视线追踪过程中，通过对比光斑位置信息，计算虚拟显示屏的移动向量，通过标定过程得到的虚拟光源在虚拟显示屏中的位置和视线追踪过程中虚拟显示屏的移动向量，计算视线追踪过程中虚拟光源在虚拟显示屏中的位置。根据瞳孔中心和光斑的位置信息，结合虚拟光源在虚拟显示屏中的位置，利用交比不变性原理，计算在显示屏中的视点

概括的讲：本发明提出了一种利用交比不变性实现在虚拟显示屏设备中视线追踪的装置和方法。该装置包括：虚拟显示屏，针对每个虚拟显示屏设置4个辅助光源(即光源)和1个摄像机(即图像采集装置)。4个辅助光源位于1个显示屏左右两侧，并构成一个矩形；摄像机位于该显示屏下方。还包括：图像处理模块，用于获取图像中瞳孔中心和光斑位置；视线追踪模块，首先通过标定估计光源在屏幕中的位置，其次根据光源、瞳孔中心和光斑位置计算视点。该视线追踪方法：通过图像处理模块，获取图像中瞳孔中心和光斑位置；通过视线追踪模块，首先通过标定估计光源在屏幕中的位置，其次根据光源、瞳孔中心和光斑位置计算视点。在1个像机和4个光源的条件下，通过标定过程，估计虚拟光源在虚拟显示屏幕中的位置，利用交比不变性原理实现视线追踪。在视线追踪过程中，通过计算四个光斑在当前图像与标定图像的相对位置，实时更新虚拟光源在虚拟屏幕中的位置。基于此，本方法可用于使用者头部相对虚拟显示屏发生运动后的视线追踪。

通过采用本发明公开的上述技术方案，得到了如下有益的效果：

本发明提供的利用交比不变性实现虚拟显示屏视线追踪的装置和方法，首先通过标定估计虚拟光源在虚拟显示屏幕中的位置，其次根据虚拟光源、瞳孔中心和光斑位置计算视点。在1个像机和4个光源的条件下，通过标定过程，估计虚拟光源在虚拟显示屏幕中的位置，利用交比不变性原理实现视线追踪。在视线追踪过程中，通过计算四个光斑在当前图像与标定图像的相对位置，实时更新虚拟光源在虚拟屏幕中的位置，结合瞳孔中心和光斑位置，利用交比不变性原理实现视线追踪。基于此，实现了基于虚拟显视屏的视线追踪，同时在使用者头部相对于虚拟显示屏发生运动后仍然可以实现视线追踪，并且提高了追踪精度和追踪效率。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (6)

1.一种利用交比不变性实现虚拟显示屏视线追踪的装置，其特征在于，包括：虚拟显示屏设备本体和视线追踪处理器，还包括设置于所述虚拟显示屏设备本体内侧的虚拟光源和图像采集装置，其中，所述虚拟光源是物理光源对应到虚拟显示屏上的相应位置的光源；所述虚拟显示屏设备本体包括设置于所述虚拟显示屏设备本体内侧的虚拟显示屏，还包括设置于所述虚拟显示屏设备内部的显示图像控制器；所述虚拟显示屏与所述显示图像控制器电连接；所述虚拟光源、所述图像采集装置分别和所述视线追踪处理器电连接；

每组所述虚拟光源包括四个所述虚拟光源，四个所述虚拟光源按矩形或任意四边形分布设置于对应的所述虚拟显示屏附近，其中，通过计算所述四个虚拟光源在所述虚拟显示屏中的初始位置，以及当眼睛相对于所述虚拟显示屏发生运动时，计算所述虚拟光源在所述虚拟显示屏中的当前位置，利用交比不变性原理计算得到在虚拟显示屏中的视点，实现视线追踪。

2.根据权利要求1所述的利用交比不变性实现虚拟显示屏视线追踪的装置，其特征在于，所述虚拟显示屏对应一只眼睛设置一组或针对两只眼睛分别设置两组；所述虚拟光源针对一只眼睛设置一组或针对两只眼睛分别设置两组，所述图像采集装置针对一只眼睛设置一组或针对两只眼睛分别设置两组；每组所述虚拟光源至少包括四个所述虚拟光源，每组所述图像采集装置至少包括一个所述图像采集装置。

3.根据权利要求1所述的利用交比不变性实现虚拟显示屏视线追踪的装置，其特征在于，所述视线追踪处理器包括：

图像处理功能模块，用于获取所述图像采集装置采集到的图像中瞳孔中心位置和光斑位置；

视线追踪功能模块，用于通过标定方法得到虚拟光源在虚拟显示屏中的位置，再根据虚拟光源的位置、瞳孔中心的位置和光斑的位置计算得到视点位置。

4.一种基于权利要求1所述利用交比不变性实现虚拟显示屏视线追踪的装置的利用交比不变性实现虚拟显示屏视线追踪的方法，其特征在于，包括以下步骤：

S1，获取眼部图像；

S2，读取所述图像的信息，并判断是否读取成功，如果成功则执行S3，如果不成功则读取下一张S1中获取到的眼部图像；

S3，针对S2中读取到的图像，应用图像处理算法进行处理，并判断在所述图像中是否检测到瞳孔和光斑位置，如果是则执行S4，如果否则读取下一张S1中获取到的眼部图像；

S4，针对S3中检测到瞳孔和光斑的位置，应用视线追踪算法进行分析；

S5，根据S4中的分析结果得到视点位置；

所述应用视线追踪算法进行分析，包括：标定过程和视线追踪过程；

所述标定过程，具体为：根据已知的注视点在虚拟显示屏中的位置，依据该注视点对应的眼部图像获取到的瞳孔中心位置信息和光斑的位置信息，根据交比不变性原理，估算得出虚拟光源在虚拟显示屏中的位置；记录当前的光斑位置信息。

5.根据权利要求4所述的利用交比不变性实现虚拟显示屏视线追踪的方法，其特征在于，所述应用图像处理算法进行处理，具体为：

S31，将读取到的彩色图像转为灰度图像；

S32，针对所述灰度图像建立灰度直方图，根据直方图信息采用动态阈值方法，对图像进行初步阈值处理，检测瞳孔的阈值和检测光斑的阈值；

S33，计算检测瞳孔和光斑阈值后图像的重心和范围，用于描述瞳孔和光斑的初步位置和区域大小；

S34，结合初步瞳孔区域和光斑区域信息，在瞳孔位置周边检测光斑，判断所述光斑的个数是否大于等于4，如果是则根据光斑面积和距离瞳孔远近筛选确定4个光斑位置信息，如果否则检测失败，读取下一张S1中获取到的眼部图像；

S35，结合初步瞳孔位置、区域信息，进行瞳孔位置精确定位，判断椭圆拟合是否成功，如果是则根据椭圆拟合结果确定瞳孔中心的精确位置信息，如果否则检测失败，执行S1读取下一张眼部图像。

6.根据权利要求4所述的利用交比不变性实现虚拟显示屏视线追踪的方法，其特征在于，

所述视线追踪过程，具体为：

根据所述获取到光斑的位置信息，结合标定过程中记录得到的光斑位置信息，计算得到当前设备相对眼部的位移量；

根据所述位移量和标定过程中估算得出的虚拟光源在虚拟显示屏中的位置，计算得到当前虚拟光源在虚拟显示屏中的位置；

根据所述获取到的瞳孔中心位置信息和光斑的位置信息，和计算得到的所述当前虚拟光源在虚拟显示屏中的位置，利用交比不变性原理计算得到在虚拟显示屏中的视点。