CN102830793A - 视线跟踪方法和设备 - Google Patents

Abstract

本发明提供一种视线跟踪方法和设备。视线跟踪设备包括：视频采集模块，获取包含用户头部的图像作为输入图像；头部视频处理模块，根据输入图像对面部关键点进行跟踪；眼部视频处理模块，根据跟踪到的面部关键点，对瞳孔中心和眼球中心进行定位，以确定瞳孔中心的三维坐标和眼球中心的三维坐标；视线方向计算模块，使用瞳孔中心的三维坐标和眼球中心的三维坐标，计算用户的视线方向。

Description

视线跟踪方法和设备

技术领域

本发明涉及计算机视觉和图像处理技术，具体涉及一种视线跟踪方法和设备。

背景技术

视线方向跟踪技术具有非常广泛的应用，如在认知科学、心理学、医学、残疾人辅助等领域。随着计算机技术的发展，视线跟踪技术还被用于人机交互、虚拟现实等方面。例如，一些研究工作尝试使用视线或视点检测装置作为计算机的输入接口，以获得更迅速的响应，在一定程度上取代鼠标和键盘。另外，通过获取观察者的视线，得到其感兴趣的位置，以进行网页、广告等的设计优化。

使用不同的分类方法，视线跟踪技术可以被分为很多类别，如接触式、非接触式，光学方法、电子方法、基于穿着设备的方法和远距离跟踪等。下面介绍几种比较典型的视线跟踪方法或系统。

最早的视线跟踪系统使用与眼球直接接触的器件，跟随眼球的运动。通过光学方法或者电磁传感器，得到其运动信息，也就得到了眼球的运动信息，经过校准，就可以获得视线方向。这类方法通常具有较高的灵敏性和精度，但由于采用侵入式获取信息的方式，用户使用非常不便，设备的价格较高。

另一种接触式检测方法基于眼球运动时眼部区域电势场变化的原理，在眼睛周围粘贴一些电子传感探头，测量电子信号的变化。与基于光学的方法相比，这种方法对使用环境的光照条件没有任何要求。

在基于光学观测的各种方法和系统中，最常用的手段是使用一个或多个近红外或可见光光源，以及一个或多个图像传感器，得到眼部图像，测量反光位置以及虹膜、瞳孔的几何参数来估计视线方向。眼球结构中，有多个可以产生反光的位置，如角膜内外表面，晶状体内外表面。另外，使用特殊设备，还可以直接捕获视网膜表面的图像，用于眼球运动和视线跟踪。使用光学观测的方法可以使传感器不与用户直接接触，使用比较方便，所以成为应用范围最广泛的一种方式。

视线方向可以看作头部方向与眼球方向的合成。如果使用固定在头部的跟踪方法和系统，为了得到视线方向，通常还需测量头部的运动。使用不依附于头部的远距离跟踪方法和系统，通常可以直接得到视线方向。在这类系统中，一部分要求用户的头部固定，另外一部分则允许用户的头部在一定范围内运动。

大部分现有的技术依赖于专用设备，如电压传感器、红外光源、高分辨率摄像头、微距镜头、头戴固定装置等。在增加成本的同时，限制了这一技术的应用范围。在精度要求不十分严格的应用中，使用常见的普通分辨率摄像头实现视线方向跟踪，尤其是只使用一个摄像头实现视线方向跟踪，是非常必要的。在很多视线跟踪系统中，用户的头部被限制为不能移动，或者仅允许平移，不允许旋转，或者仅允许在很小的范围内旋转，或者不允许面部表情变化，这些都降低了用户使用的舒适性和跟踪系统的应用范围。部分技术只根据头部方位来确定视线方向，大大降低了精度。另外，大部分视线跟踪系统需要校准环节，降低了易用性。

发明内容

本发明的目的在于提供一种视线跟踪方法和设备，其能够仅使用一个摄像头捕获的视频图像就可实现对视线的跟踪。

本发明的目的还在于提供一种视线跟踪方法和设备，其能够在用户面部表情和/或头部姿态发生变化的情况下也可以实现对视线的跟踪。

本发明的一方面在于提供一种视线跟踪方法，其特征在于包括：获取包含用户头部的图像作为输入图像；根据输入图像对面部关键点进行跟踪；根据跟踪到的面部关键点，对瞳孔中心和眼球中心进行定位，以确定瞳孔中心的三维坐标和眼球中心的三维坐标；使用瞳孔中心的三维坐标和眼球中心的三维坐标，计算用户的视线方向。

此外，对瞳孔中心进行定位的步骤可包括：根据面部关键点的二维坐标或三维坐标获得眼部纹理图像，并计算形状归一化的眼部纹理图像；从形状归一化的眼部纹理图像中检测实际瞳孔区域；根据实际瞳孔区域确定瞳孔中心的坐标，并通过对瞳孔中心的坐标进行逆形状归一化，来计算瞳孔中心在输入图像中的坐标，其中，通过将瞳孔中心在输入图像中的坐标映射到面部关键点的三维坐标所在的坐标系来获得瞳孔中心的三维坐标。

此外，计算形状归一化的眼部纹理图像的步骤可包括：将眼部纹理图像所覆盖的像素变换到规范化的纹理模板中，以获得形状归一化的眼部纹理图像，其中，通过将在眼部处于预定形状的条件下获得的眼部关键点投影到输入图像所在的平面上得到规范化的纹理模板。

此外，从形状归一化的眼部纹理图像中检测实际瞳孔区域的步骤可包括：从眼部纹理图像中检测多个瞳孔候选区域；从检测的多个瞳孔候选区域中选择瞳孔区域；根据瞳孔区域确定实际瞳孔区域。

此外，从眼部纹理图像中检测多个瞳孔候选区域的步骤可包括：使用窗口对眼部纹理图像进行扫描以获得多个窗口区域；使用下面的等式计算每个窗口区域的分数值

$S\left(R\right)=\underset{x\∈R}{\mathrm{\Σ}}I\left(x\right)-\mathrm{\α}\underset{x\∈\mathrm{ER}}{\mathrm{\Σ}}\▿I\left(x\right)+\mathrm{\β}{\left(\frac{1}{N}\underset{x\∈R}{\mathrm{\Σ}}{(I\left(x\right)-\stackrel{\‾}{I}\left(R\right))}^2\right)}^{\frac{1}{2}}\stackrel{\‾}{I}\left(R\right)-\mathrm{\γN},$

其中，R表示窗口区域，ER表示窗口边缘区域，x表示像素坐标，I(x)为在像素坐标x处的像素的亮度，▽I(x)表示在像素坐标x处的亮度梯度，N为窗口区域内像素的个数，

表示窗口区域内的像素的亮度均值，α、β、γ为权重系数，S(R)为窗口区域R的分数值；选择预定数量的分数值最小的窗口区域作为瞳孔候选区域。

此外，从检测的多个瞳孔候选区域中选择瞳孔区域的步骤可包括：根据左瞳孔候选区域在左眼的形状归一化的眼部纹理图像中的相对位置和右瞳孔候选区域在右眼的形状归一化的眼部纹理图像中的相对位置，从左瞳孔候选区域和右瞳孔候选区域中确定出一对左右瞳孔区域。

此外，从检测的多个瞳孔候选区域中选择瞳孔区域的步骤还可包括：从所有的左瞳孔候选区域与所有的右瞳孔候选区域的所有配对中，去除相对位置差别大于预定阈值的配对，从剩余的配对中选出分数值之和最小的一对左右瞳孔候选区域作为一对左右瞳孔区域。

此外，眼部纹理图像可包括左眼的眼部纹理图像和右眼的眼部纹理图像，计算形状归一化的眼部纹理图像的步骤包括计算左眼的形状归一化的眼部纹理图像和右眼的形状归一化的眼部纹理图像，其中，通过将在眼部处于预定形状条件下的眼部关键点的三维坐标投影到一个平面上并连接映射到该平面上的关键点形成网格，来得到规范化的纹理模板。

此外，所述平面可以为由眼部关键点在空间中形成的眼部所正对或背对的一个平面。

此外，根据瞳孔区域确定实际瞳孔区域的步骤可包括：(a)根据当前的瞳孔区域中像素的亮度均值，设置大于等于亮度均值的拒绝阈值，并设置小于等于亮度均值的接受阈值；(b)确定在当前的瞳孔区域内部的与当前的瞳孔区域的边缘相邻的像素中是否存在亮度大于拒绝阈值的像素，并确定在当前的瞳孔区域外部的与当前瞳孔区域的边缘相邻的像素中是否存在亮度小于接受阈值的像素；(c)当存在亮度大于拒绝阈值的像素时，将亮度大于拒绝阈值的像素从当前的瞳孔区域移除；当存在亮度小于接受阈值的像素时，将亮度小于接受阈值的像素添加到当前的瞳孔区域中；(d)对当前的瞳孔区域的轮廓进行平滑，并进行操作(a)；(e)当不存在亮度大于拒绝阈值的像素并且不存在亮度小于接受阈值的像素时，当前的瞳孔区域为实际瞳孔区域。

此外，对当前的瞳孔区域的轮廓进行平滑的步骤可包括：将四邻域都为当前的瞳孔区域外像素的像素设置为瞳孔区域外像素，将四邻域都为当前的瞳孔区域内像素的像素设置为瞳孔区域内像素。

此外，可基于眼球中心与头部关键点的位置关系来确定眼球中心的三维坐标。

此外，对眼球中心进行定位的步骤包括利用下面的等式来计算眼球中心的三维坐标：

x_M＝x_B+α(x_K-x_B)，

其中，x_K为左右眼角的连线的中点的坐标；x_B为上下眼眶的中点的连线的中点的坐标，α等于3.5，其中，左眼角、右眼角、眼眶中点是面部关键点。

此外，计算用户的视线方向的步骤可包括：根据左眼的瞳孔中心的三维坐标和左眼的眼球中心的三维坐标，计算左眼的瞳孔中心与左眼的眼球中心确定的直线作为左眼的视线方向，根据右眼的瞳孔中心的三维坐标和右眼的眼球中心的三维坐标，计算右眼的瞳孔中心与右眼的眼球中心确定的直线作为右眼的视线方向；根据左眼的视线方向与右眼的视线方向确定用户的视线方向，其中，当左眼的视线方向与右眼的视线方向共面时，用户的视线方向为左右眼的视线方向的交点与左右眼的眼球中心的中点确定的直线；当左眼的视线方向与右眼的视线方向异面时，用户的视线方向为左右眼视线方向的公垂线中点与左右眼的眼球中心的中点确定的直线。

此外，对眼球中心进行定位的步骤可包括：在空间中设置至少两个标定点；当用户注视每一个标定点时，记录标定点的三维坐标以及当时对应的面部关键点的三维坐标和左右瞳孔中心的三维坐标；利用每个标定点的三维坐标以及对应的左右瞳孔中心的三维坐标，确定由标定点与左瞳孔中心确定的左眼标定视线以及由标定点与右瞳孔中心确定的右眼标定视线；基于左眼标定视线的交点，确定左眼眼球中心的三维坐标，基于右眼标定视线的交点，确定右眼眼球中心的三维坐标。

此外，可使用面部关键点的三维坐标来表示左右瞳孔中心的三维坐标。

此外，当某侧眼的标定视线为异面直线时，通过最小化下面的目标函数来获得该侧眼的眼球中心M的三维坐标：

$\underset{i}{\mathrm{\Σ}}D{(T_i{U}_i,M)}^2,$

其中，D(T_iU_i，M)表示M到T_i与U_i确定的直线的距离，T_i表示标定点的三维坐标，U_i为用户注视T_i时该侧眼的瞳孔中心点的三维坐标，i表示标定点的标号。

此外，使用可变形的三维头部模型来获取面部关键点的三维坐标。

此外，通过将瞳孔中心在输入图像中的坐标映射到可变形的三维头部模型来获得瞳孔中心的三维坐标。

本发明的另一方面在于提供一种视线跟踪设备，其特征在于包括：视频采集模块，获取包含用户头部的图像作为输入图像；头部视频处理模块，根据输入图像对面部关键点进行跟踪；眼部视频处理模块，根据跟踪到的面部关键点，对瞳孔中心和眼球中心进行定位，以确定瞳孔中心的三维坐标和眼球中心的三维坐标；视线方向计算模块，使用瞳孔中心的三维坐标和眼球中心的三维坐标，计算用户的视线方向。

此外，眼部视频处理模块可包括：形状归一化模块，根据面部关键点的二维坐标或三维坐标获得眼部纹理图像，并计算形状归一化的眼部纹理图像；实际瞳孔区域检测模块，从形状归一化的眼部纹理图像中检测实际瞳孔区域；瞳孔中心获取模块，根据实际瞳孔区域确定瞳孔中心的坐标，并通过对瞳孔中心的坐标进行逆形状归一化，来计算瞳孔中心在输入图像中的坐标，其中，通过将瞳孔中心在输入图像中的坐标映射到面部关键点的三维坐标所在的坐标系来获得瞳孔中心的三维坐标。

此外，可以将眼部纹理图像所覆盖的像素变换到规范化的纹理模板中，以获得形状归一化的眼部纹理图像，其中，通过将在眼部处于预定形状的条件下获得的眼部关键点投影到输入图像所在的平面上得到规范化的纹理模板。

此外，视线方向计算模块可包括：左右眼视线检测模块，根据左眼的瞳孔中心的三维坐标和左眼的眼球中心的三维坐标，计算左眼的瞳孔中心与左眼的眼球中心确定的直线作为左眼的视线方向，根据右眼的瞳孔中心的三维坐标和右眼的眼球中心的三维坐标，计算右眼的瞳孔中心与右眼的眼球中心确定的直线作为右眼的视线方向；用户视线检测模块，根据左眼的视线方向与右眼的视线方向确定用户的视线方向，其中，当左眼的视线方向与右眼的视线方向共面时，用户的视线方向为左右眼的视线方向的交点与左右眼的眼球中心的中点确定的直线；当左眼的视线方向与右眼的视线方向异面时，用户的视线方向为左右眼视线方向的公垂线中点与左右眼的眼球中心的中点确定的直线。

根据本发明的视线跟踪方法和设备，简化了现有视线跟踪系统的硬件需求，同时对用户不产生干扰，其只使用一个普通摄像头捕获的视频图像就可以准确跟踪用户的视线方向。另外，在视线跟踪过程中，用户的头部可以在较大的范围内平移和旋转，并且允许面部表情改变。

将在接下来的描述中部分阐述本发明另外的方面和/或优点，还有一部分通过描述将是清楚的，或者可以经过本发明的实施而得知。

附图说明

通过下面结合附图进行的详细描述，本发明的上述和其它目的、特点和优点将会变得更加清楚，其中：

图1示出根据本发明实施例的视线跟踪设备的框图；

图2示出根据本发明实施例的头部视频处理模块的处理的流程图；

图3示出根据本发明实施例的计算瞳孔中心坐标的处理的流程图；

图4示出扫描窗口的示例；

图5示出对瞳孔区域进行优化的过程的一个示例；

图6示出视线方向计算模块计算视线方向的操作的流程图；

图7示出根据本发明实施例的对瞳孔区域进行优化的处理的流程图；

图8示出根据本发明实施例的计算眼球中心的三维坐标的一个示例；

图9示出根据本发明实施例的通过标定的方式来确定眼球中心的三维坐标的流程图；

图10示出标定原理的示意图；

图11示出通过面部关键点的三维坐标来确定一个眼球中心的三维坐标的一个实施例；

图12示出根据本发明实施例的计算视线方向的示意图；

图13示出根据本发明实施例的眼部视频处理模块的框图；

图14示出根据本发明实施例的视线方向计算模块的框图。

具体实施方式

现在，将参照附图更充分地描述不同的示例实施例。

图1示出根据本发明实施例的视线跟踪设备100的框图。如图1所示，根据本发明的视线跟踪设备100包括：视频采集模块110、头部视频处理模块120、眼部视频处理模块130、视线方向计算模块140。

视频采集模块110获取包含用户头部的图像作为输入图像。例如，可使用设置在用户前方的摄像头来获取该图像。

头部视频处理模块120基于视频采集模块110获取的图像，对用户的面部关键点(例如，人脸轮廓、面部器官部位等)进行跟踪。

可利用已有的各种人脸跟踪方法来跟踪用户面部关键点。例如，可使用现有技术的可变形的三维头部模型来进行跟踪。该三维头部模型的部分顶点与面部器官的关键点对应。在跟踪过程中，该三维头部模型可跟随用户的头部姿态和表情的变化(也即，获取的图像中用户的头部姿态和表情的变化)发生相应的运动和变形。这样，头部视频处理模块120可根据该头部模型得到用户面部关键点的二维或三维坐标，并且可得到用户头部的姿态。

眼部视频处理模块130根据头部视频处理模块120跟踪到的头部，对用户瞳孔中心和眼球中心进行定位，以确定瞳孔中心和眼球中心的三维坐标。

视线方向计算模块140使用眼部视频处理模块130得到的用户瞳孔中心和眼球中心的坐标，计算用户的视线方向。

下面示出一个根据可变形的头部模型进行头部跟踪，以得到用户面部关键点的二维坐标和三维坐标的示例。应该理解，下面的示出仅是示例性的，可以使用其他的可变形的三维头部模型。

可通过对手工标定的样本进行训练来得到可变形的头部模型。该头部模型包括三个部分，即，二维头部模型、三维头部模型和表观模型。二维头部模型包含多个对应于面部器官位置的关键点的二维坐标。三维头部模型包含多个对应于面部器官位置的关键点的三维坐标。表观模型包含人脸面部原始纹理或对原始纹理进行变换(例如，如提取边缘，提取角点等)后的表达。

二维头部模型可表示为：

$S(p,q)=Q(s_0+\underset{i}{\mathrm{\Σ}}{p}_i{s}_i,q)---\left(1\right)$

其中，p＝(p₀，p₁，...，p_i，...)^T为二维形状系数，q为二维刚性几何变换的参数，S₀为二维平均形状，S_i为二维形状基，Q( )表示二维刚性几何变换，S(p，q)为经过非刚性变形和刚性几何变换后的形状，在下文中可简写为S。

三维头部模型可表示为：

$S^{\′}(p^{\′},q^{\′})=Q^{\′}(s_0^{\′}+\underset{i}{\mathrm{\Σ}}{p}_i^{\′}{s}_i^{\′},q^{\′})---\left(2\right)$

其中，为三维形状系数，q′为三维刚性几何变换的参数，

为三维平均形状，

为三维形状基，Q′( )表示三维刚性几何变换，S′(p′，q′)为经过非刚性变形和三维刚性几何变换后的三维形状，在下文中可简写为S′。

表观模型可表示为：

$a=a_0+\underset{i}{\mathrm{\Σ}}{\mathrm{\λ}}_i{a}_i---\left(3\right)$

其中，a₀为平均表观向量，a_i为表观模型的基，λ_i为表观模型系数，a为表观向量实例。

在训练过程中，首先对训练样本图像中的面部关键点进行手工标定，然后对所有训练样本的二维形状、三维形状和表观向量分别进行主成份分析，以得到S₀，S_i，

a₀，a_i。在头部视频处理模块120中，为了得到面部关键点的二维坐标S和三维坐标S′，需要根据输入图像求解变量p，q，p′，q′。求解的方法是最小化下面的代价函数：

E＝‖I(G(p，q))-a‖²+k‖S(p，q)-Z(S′(p′，q′))‖²        (4)

其中，I(G(p，q))表示G(p，q)的亮度，G(p，q)表示表观向量中的每个元素在参数p，q的条件下反变换到输入图像中的坐标，Z(S′(p′，q′))表示通过透视投影将三维形状S′(p′，q′)投影到输入图像中，k为第二个代价函数项的权重，‖·‖²表示向量二范数的平方。在下文中，Z(S′(p′，q′))可简写为Z。

采用迭代的方式求解这个最小化问题，即每次计算一个待求解变量的增量(Δp，Δq，Δp′，Δq′)，然后根据增量更新待求解变量p，q，p′，q′，反复多次这样的过程，直到迭代收敛。计算增量Δp，Δq，Δp′，Δq′可以通过解下面的线性方程实现：

$\{\left[\begin{array}{c}{(-\▿a_0\frac{\∂G}{\∂{(p,q)}^T})}_{\mathrm{span}{\left(a_i\right)}^{\⊥}}^T\\ 0\end{array}\right]\left[\begin{array}{cc}-\▿a_0\frac{\∂G}{\∂{(p,q)}^T}& 0\end{array}\right]+$

$k\left[\begin{array}{c}{\left(\frac{\∂S}{\∂{(\mathrm{\Δp},\mathrm{\Δq})}^T}\right)}^T\\ {(-\frac{\∂Z}{\∂{(p^{\′},q^{\′})}^T})}^T\end{array}\right]\left[\begin{array}{cc}\frac{\∂S}{\∂{(\mathrm{\Δp},\mathrm{\Δq})}^T}& -\frac{\∂Z}{\∂{(p^{\′},q^{\′})}^T}\end{array}\right]\}\left[\begin{array}{c}\mathrm{\Δp}\\ \mathrm{\Δq}\\ \mathrm{\Δ}{p}^{\′}\\ \mathrm{\Δ}{q}^{\′}\end{array}\right]$

$+\left[\begin{array}{c}{(-\▿a_0\frac{\∂G}{\∂{(p,q)}^T})}_{\mathrm{span}{\left(a_i\right)}^{\⊥}}^T\\ 0\end{array}\right][I\left(G(p,q)\right)-a_0]+k\left[\begin{array}{c}{\left(\frac{\∂S}{\∂{(\mathrm{\Δp},\mathrm{\Δq})}^T}\right)}^T\\ {(-\frac{\∂Z}{\∂{(p^{\′},q^{\′})}^T})}^T\end{array}\right][S-Z]=0.....\left(5\right)$

图2示出利用上述头部模型对头部和关键点进行跟踪的流程图。

在操作201，在输入图像中进行人脸检测。

在操作202，根据人脸所在位置初始化待求解的变量，即模型参数p，q，p′，q′。

在操作203，根据公式(5)，计算待求解变量的增量。

在操作204，使用求出的增量更新待求解的变量。

在操作205，确定迭代过程是否收敛。当确定没有收敛时，返回步骤203。

当确定收敛时，在操作206，根据收敛后的模型参数，判断跟踪是否成功。当判断跟踪成功时，在操作207，使用迭代收敛后的模型参数计算模型中的顶点坐标S和S′。当判断跟踪没有成功时，在操作208，忽略当前帧输入图像。

在操作205中，判断迭代过程收敛的条件可以是待求解变量的在连续若干步迭代后的变化幅度小于预定阈值，也可以是代价函数E或组成代价函数E的两项(即，‖I(G(p，q))-a‖²和k‖S(p，q)-P(S′(p′，q′))‖²)中的某一项的值小于预定阈值，也可以是代价函数E或组成代价函数E的两项中的某一项的在连续若干步迭代后的变化幅度小于预定阈值，也可以是迭代次数达到预定阈值，也可以是其他可以判断迭代是否应该结束的条件。

在操作206中，判断跟踪是否成功，判断跟踪是否成功的条件为是代价函数E或组成代价函数E的两项中的某一项的值小于预定阈值。

在对输入图像的序列进行处理时，如果前一帧的跟踪结果是成功的，则可以不对当前帧进行操作201和202，而使用前一帧收敛后的模型参数作为当前帧的初始值，或者使用前若干帧收敛后的模型参数进行预测，使用预测的值作为当前帧的初始值。

通过使用头部视频处理模块进行头部跟踪，可以得到用户面部关键点在图像中的二维坐标S和在空间中的三维坐标S′。

上面示出了一个利用形状可变的头部模型对头部进行跟踪以获得面部关键点的坐标的示例。然而，本领域的技术人员应该理解，其他任何形状可变的头部模型或头部跟踪方法都可以应用于本发明来获得面部跟踪点的坐标。例如，上面了示例在使用三维头部模型的同时还使用了二维头部模型和表观模型辅助跟踪以获得更准确的跟踪结果，然而可仅使用现有技术的形状可变的三维头部模型来进行跟踪。

图13示出根据本发明实施例的眼部视频处理模块130的框图。

眼部视频处理模块130可包括形状归一化模块131、实际瞳孔区域检测模块132、瞳孔中心获取模块133。

形状归一化模块131根据面部关键点的二维坐标或三维坐标获得眼部纹理图像，并计算形状归一化的眼部纹理图像。实际瞳孔区域检测模块132从形状归一化的眼部纹理图像中检测实际瞳孔区域。瞳孔中心获取模块133根据实际瞳孔区域确定瞳孔中心的坐标，并通过对瞳孔中心的坐标进行逆形状归一化，来计算瞳孔中心在输入图像中的坐标。

图3示出根据本发明实施例的计算瞳孔中心坐标的处理的流程图。

在操作301，形状归一化模块131根据面部关键点的二维坐标或三维坐标获得左右眼的眼部纹理图像并计算左右眼的形状归一化的眼部纹理图像。

将包括在面部关键点中的眼部关键点映射到输入图像上，连接映射到输入图像上的关键点形成网格(例如，三角形网格、多边形网格等)，这些网格所覆盖的像素作为眼部纹理，这些像素构成的图像称为眼部纹理图像。可分别通过对左眼和右眼的眼部关键点进行上述映射操作来分别得到左眼和右眼的眼部纹理图像。

这里，形状归一化的眼部纹理图像是指去除了由变形和/或大小形状导致的个体差异的眼部纹理图像。可通过将眼部纹理图像所覆盖的像素变换到规范化的纹理模板中来获得形状归一化的眼部纹理图像。

具体地说，对于每个网格，根据网格的顶点(即，眼部关键点)的坐标与该网格所覆盖的像素的位置关系，将该网格所覆盖的像素变换到规范化的纹理模板中对应的网格中，从而得到归一化的纹理图像。可通过将在眼部处于预定形状(例如，平均形状)的条件下的眼部关键点的三维坐标投影到一个平面上，并连接映射到该平面上的关键点形成网格，来得到规范化的纹理模板。

优选地，该平面为由眼部关键点在空间中形成的眼部所正对或背对的一个平面(也即，面部关键点在空间中形成的面部所正对或背对的一个平面)。此时，归一化的纹理图像也可以更好的消除由于姿态引起的形变。

例如，可将眼部处于预定形状的三维头部模型的眼部关键点投影到三维头部模型的脸部所正对或背对的平面上，并连接映射到该平面上的关键点形成网格来得到规范化的纹理模板。

此外，也可直接使用眼部处于预定形状的二维头部模型作为规范化的纹理模板。

换句话说，由于处于不同变形和/或形状时面部关键点被投影到所述平面上的坐标是不同的，相应地得到的纹理也是不同的。通过上述处理，纹理(即，各个网格内覆盖的像素)被归一化，从而消除了变形和/或形状的个体差异。例如，在形状归一化的眼部纹理图像中，用户头部姿态产生的变形以及用户眼睛大小形状的个体差异都可被消除。这样，在视线跟踪过程中，即使用户的面部表情和/或姿态发生变化，也能精确地进行视线跟踪。

在操作302，对归一化的纹理图像进行预处理，例如，进行灰度调整(如直方图均衡化)、图像噪声去除(如高斯平滑)等。在本发明中，操作302也可以省略。

在操作303，实际瞳孔区域检测模块132从左右眼的纹理图像中检测左右瞳孔候选区域。

在检测瞳孔候选区域时，采用窗口对纹理图像进行扫描。可以选择不同的窗口的形状，如图4所示。在图4示出的每个窗口中，实线以内的区域称为窗口区域，阴影区域称为窗口边缘区域。窗口的尺寸、长宽比以及位置需要遍历所有合理范围内的值。在扫描过程中，对于每一组尺寸、长宽比以及位置参数，可以按照下式的定义计算一个分数值：

$S\left(R\right)=\underset{x\∈R}{\mathrm{\Σ}}I\left(x\right)-\mathrm{\α}\underset{x\∈\mathrm{ER}}{\mathrm{\Σ}}\▿I\left(x\right)+\mathrm{\β}{\left(\frac{1}{N}\underset{x\∈R}{\mathrm{\Σ}}{(I\left(x\right)-\stackrel{\‾}{I}\left(R\right))}^2\right)}^{\frac{1}{2}}\stackrel{\‾}{I}\left(R\right)-\mathrm{\γN}---\left(6\right)$

其中，R表示窗口区域，ER表示窗口边缘区域，x表示像素坐标，I(x)为在像素坐标x处的像素的亮度，▽I(x)表示在像素坐标x处的亮度梯度，N为窗口区域内像素的个数，

表示窗口区域内的像素的亮度均值，α，β，γ为权重系数，S(R)为窗口区域R的分数值。这里，权重系数α，β，γ为经验值，可通过实验值获得。从所有的窗口区域中选出若干个分数值最小的窗口区域，作为瞳孔候选区域。

在操作304，实际瞳孔区域检测模块132从检测的左右瞳孔候选区域中确定左右瞳孔区域。

因为用户的双眼注视方向是相同的，所以左右瞳孔位置在左右眼的眼部纹理图像中的相对位置应该是非常接近的。这样，可以根据左右瞳孔候选区域在左右眼的归一化的纹理图像中的相对位置，从左右瞳孔候选区域中确定出一对真正的左右瞳孔区域。

在一个实施例中，从所有的左瞳孔候选区域与所有的右瞳孔候选区域的所有配对中，去除相对位置差别大于预定阈值的配对。然后，从剩下的配对中选出分数值之和最小的一对候选区域，作为真实的左右瞳孔区域的确定结果。

在操作305，实际瞳孔区域检测模块132根据左右瞳孔区域确定与实际的左右瞳孔区域对应的区域(即，实际瞳孔区域)。

由于扫描窗口的形状与左右瞳孔实际可见的区域的形状不一定完全一致，所以需要从中提取与实际的左右瞳孔区域对应的区域。由于瞳孔与眼球的其他区域在颜色、亮度等方面有显著的区别，因此可以采用其他的模式识别方法来进行提取。

在本发明的另一个实施例中，为了解决扫描窗口可能比实际的左右瞳孔区域对应的区域小或与实际的左右瞳孔区域对应的区域形状不一致的问题，在已经确定左右瞳孔区域的条件下，对瞳孔区域进行优化，即调整扫描窗口的轮廓形状使其与实际的瞳孔区域一致，从而得到与实际的左右瞳孔区域对应的区域。

图7示出根据本发明实施例的对瞳孔区域进行优化的处理的流程图。

在操作701，根据当前瞳孔区域中像素亮度均值，设置大于等于亮度均值的拒绝阈值、以及小于等于亮度均值的接受阈值。在开始时，当前瞳孔区域即为扫描窗口覆盖的范围。

在操作702，确定在当前瞳孔区域的内部与当前瞳孔区域的边缘相邻的像素中是否存在亮度大于拒绝阈值的像素，并确定在当前瞳孔区域的外部与当前瞳孔区域的边缘相邻的像素中是否存在亮度小于接受阈值的像素。

当存在亮度大于拒绝阈值的像素时，在操作703，将亮度大于拒绝阈值的像素从窗口范围中移除。当存在亮度小于接受阈值的像素时，在操作703，将亮度小于接受阈值的像素添加到窗口区域中。在操作703之后进行操作704。

当不存在亮度大于拒绝阈值的像素并且不存在亮度小于接受阈值的像素时，结束优化处理。

在操作704，对当前瞳孔区域的轮廓进行平滑。具体地，将四邻域(即，上、下、左、右邻域)都为瞳孔区域外像素的像素置为瞳孔区域外像素，将四邻域都为瞳孔区域内像素的像素置为瞳孔区域内像素。在操作704之后进行操作701。

图5示出对瞳孔区域进行优化的过程的一个示例。在图5的每幅图中，阴影矩形表示亮度小于接受阈值的像素，白色矩形表示亮度大于拒绝阈值的像素，粗黑线表示当前瞳孔区域轮廓。图5(a)为第一步迭代，标有“+”的像素为将要添加到瞳孔区域中的像素，标有“-”的像素为将要从瞳孔区域中移除的像素。经过添加和移除处理后的瞳孔区域如图5(b)所示。经过平滑操作后的瞳孔区域如图5(c)所示。图5(c)示出了在第二步迭代中将要添加或移除的像素。图5(d)为两步迭代后的瞳孔区域。

在操作306，瞳孔中心获取模块133从实际左右瞳孔区域确定左右瞳孔中心，并计算左右瞳孔中心在输入图像中的坐标。

对实际瞳孔区域，使用如下公式计算其中心位置：

$C={\left(\begin{array}{cc}\frac{\mathrm{\Σx}}{N}& \frac{\mathrm{\Σy}}{N}\end{array}\right)}^T---\left(7\right)$

其中C为瞳孔中心坐标，x为瞳孔区域内像素的横坐标，y为瞳孔区域内像素的纵坐标，N为瞳孔区域内像素的个数。

随后，将瞳孔中心坐标进行逆形状归一化来计算瞳孔中心在输入图像中的坐标。具体地说，根据瞳孔中心所在网格的顶点坐标，将瞳孔中心坐标C反变换到输入图像中，得到瞳孔中心在输入图像中的坐标。

操作303-305示出了一个检测实际瞳孔区域的示例。然而，本领域的技术人员应该理解，也可以使用其他的模式识别方法来检测实际瞳孔区域，例如，可以通过训练分类器的方式来从归一化的眼部纹理图像中检测际瞳孔区域。

图14示出根据本发明实施例的视线方向计算模块140的框图。

视线方向计算模块140包括左右眼视线检测模块141和用户视线检测模块142。

左右眼视线检测模块141根据左眼的瞳孔中心的三维坐标和左眼的眼球中心的三维坐标，计算左眼的瞳孔中心与左眼的眼球中心确定的直线作为左眼的视线方向，根据右眼的瞳孔中心的三维坐标和右眼的眼球中心的三维坐标，计算右眼的瞳孔中心与右眼的眼球中心确定的直线作为右眼的视线方向。

用户视线检测模块142根据左眼的视线方向与右眼的视线方向确定用户的视线方向。

图6示出视线方向计算模块140计算视线方向的操作的流程图。

在操作601，根据左右瞳孔中心在输入图像中的二维坐标计算左右瞳孔中心在空间中的三维坐标。可通过将瞳孔中心的二维坐标映射到面部关键点的三维坐标所在的坐标系来获得瞳孔中心的三维坐标。

例如，当使用三维头部模型获得面部关键点的三维坐标时，将该二维坐标映射到三维头部模型可以获得瞳孔中心的三维坐标。由于从输入图像跟踪头部，而输入图像中的头部姿态是以视频采集模块110为参考的(例如，当用户的头部正对着视频采集模块110时，输入图像中的头部姿态看起来也是正对着观众)，因此，在进行跟踪时的三维头部模型的三维坐标也是以视频采集模块110为参考的。这样，为了获得瞳孔中心的三维坐标，根据每个瞳孔中心在输入图像中的二维坐标，确定每个瞳孔中心在视频采集模块110的图像传感器(例如，CCD传感器、CMOS传感器)上的成像位置的三维坐标。此时，存在连接视频采集模块110的镜头的光心和一个瞳孔中心的成像位置的一条直线，该直线与三维头部模型的交点即为瞳孔中心，该交点的三维坐标即为瞳孔中心的三维坐标。

在操作602，计算左右眼球中心在空间中的三维坐标。

下面，示出计算眼球中心的三维坐标的几个示例。

在一个实施例中，可基于眼球中心与头部关键点的位置关系来确定眼球中心的三维坐标。对于不同的个体，在三维头部模型中，眼球中心与用于表示眼睛轮廓的几个点的相对位置关系是很接近的。在精度要求不高的使用条件下，可以使用经验值来计算眼球中心在空间中的三维坐标。

例如，可利用下面的等式来计算眼球中心在空间中的三维坐标：

x_M＝x_B+α(x_K-x_B)，

其中，x_K为左右眼角的连线的中点的坐标；x_B为上下眼眶的中点的连线的中点的坐标，α近似地取3.5左右的值。左右眼角、眼眶中点通常作为面部关键点，其坐标可以由头部视频处理模块120得到。例如，x_K和x_B可以从三维头部模型得到。

如图8所示，S₁到S₈为对应于一只眼睛轮廓的8个顶点(即，关键点)，B为上眼眶的中点S₃和下眼眶的中点S₇的连线的中点，B的坐标对应于x_B；K为左眼角S₁和右眼角S₅的连线的中点，K的坐标对应于x_K；M为眼球中心，M的坐标x_M可使用上面的等式计算。

在操作603，根据确定的左右瞳孔中心和左右眼球中心计算左右眼的视线方向，左眼的瞳孔中心与左眼的眼球中心确定的直线为左眼的视线方向；右眼的瞳孔中心与右眼的眼球中心确定的直线为右眼的视线方向。如图12所示，每只眼的视线方向即瞳孔中心U与眼球中心M这两个点确定的直线，U和M的坐标在前面的步骤中都已经求出，所以左眼和右眼的视线方程都可以得到。

在操作604，对在操作603计算的左右眼的视线方向进行融合。如果左右眼视线共面，则最终的视线为左右眼视线交点与左右眼球中心中点确定的直线；如果左右眼视线异面，则最终的视线为左右眼视线公垂线中点与左右眼球中心的中点确定的直线。

在上面的实施例中，通过使用经验值来计算眼球中心在空间中的三维坐标。为了获得更高的精度，在操作602中也可通过校准的方式来确定眼球中心的三维坐标。

图9示出根据本发明实施例的通过标定的方式来确定眼球中心的三维坐标的流程图。

视线跟踪之前进行标定。在标定过程中，用户的头部姿态应保持不变。

在操作901，在空间中设置至少两个标定点。

在操作902，用户依次注视这些标定点，注视每一个标定点时，记录下标定点的三维坐标以及当时的面部关键点的三维坐标和左右瞳孔中心的三维坐标。可通过前面描述的方式来计算面部关键点的三维坐标和左右瞳孔中心的三维坐标。

在操作903，利用每个标定点三维坐标以及对应的左右瞳孔中心的三维坐标，得到由标定点与左瞳孔中心确定的左眼标定视线以及由标定点与右瞳孔中心确定的右眼标定视线。

在操作904，分别基于左眼标定视线的交点和右眼标定视线的交点，估算左右眼球中心的三维坐标。

图10示出标定原理的示意图。在图10中，存在三个标定点T₁、T₂和T₃。这样，对于每个眼球，在标定过程中可以得到相应的三个瞳孔中心的三维坐标U₁、U₂和U₃。此时，直线T₁-U₁、T₂-U₂、T₃-U₃的交点即为眼球中心M。

应该理解，在标定点的数量大于等于2时，都可以实现标定。

在操作903，可利用部分面部关键点(例如，对应于眼睛轮廓的几个关键点)的坐标来表示左右眼球中心的三维坐标。

在视线方向跟踪过程中，由于用户头部姿态是运动的，眼球中心在空间中的位置也会发生改变。而上述标定过程是在头部姿态不变的情况下得到的。因此，在操作902得到的左右眼球中心的三维坐标不能用于其它头部姿态。这样，需要使用面部关键点的坐标来表示左右眼球中心的三维坐标。在视线跟踪过程中，可根据头部视频处理模块120跟踪的面部关键点的三维坐标来确定左右眼球中心的三维坐标。

图11示出通过面部关键点的三维坐标来确定一个眼球中心的三维坐标的另一个实施例。

如图11所示，S₁到S₈为对应于一只眼睛轮廓的8个关键点。定义向量KS₅为e₁，向量BK为e₂，向量BS₇为e₃，其中K为S₁S₅的中点，B为S₃S₇的中点。用e₁，e₂，e₃的线性组合表示眼球中心的坐标x_M，系数用向量b表示，则b可以通过求解下述方程获得：

[e₁ e₂ e₃]b＝x_M                                (8)

在视线方向跟踪过程中，关键点的坐标及按照上述方式定义的向量e₁，e₂，e₃随用户头部的运动而变化，但系数向量b不变。这样，眼球中心的坐标可以用当前帧的向量e₁，e₂，e₃与系数向量b相乘获得。

以上，利用多条视线估算眼球中心在空间的三维坐标的原理，在图10中进行了说明。其中，T_i(i为标定点的编号，i＝0，1，...)为手工布置的标定点的三维坐标，U_i为用户注视T_i时的左(或右)瞳孔中心点的三维坐标。如果T_i与U_i的连线在空间中相交于一点，则这一点即为左(或右)眼眼球中心。在一些情况下，由于对瞳孔中心的定位存在一定误差，这些左(或右)眼标定视线为空间异面直线。可用参数方程表示这些直线：

U_i+t_i(T_i-U_i)                            (9)

其中t_i为直线方程的参数。左(或右)眼眼球的中心M通过最小化下面的目标函数的方法计算：

$\underset{i}{\mathrm{\Σ}}D{(T_i{U}_i,M)}^2---\left(10\right)$

其中D(T_iU_i，M)表示M到T_i与U_i确定的直线的距离。

在一个实施例中，这个最小化问题可以通过求解下面的线性方程得到最优解：

其中，K为左(或右)眼标定视线的数量。

应该理解，其他的最小化优化方法也可以可行的。

上面示出了计算眼球中心的三维坐标的几个实施例。应该理解，其他已知的确定眼球中心的三维坐标的方法也可应用于本发明中。

在上面的示例中，针对每只眼睛对瞳孔中心和眼球中心进行定位，通过融合左右眼视线来确定最终的用户视线方向。然而，在用户仅使用一只眼睛(左眼或右眼)的时候，可仅针对该眼睛对瞳孔中心和眼球中心进行定位，该眼睛的视线方向为最终的用户视线方向。

根据本发明的视线跟踪方法和设备，其只使用一个普通摄像头捕获的视频图像就可以准确跟踪用户的视线方向。另外，在视线跟踪过程中，用户的头部可以在较大的范围内平移和旋转，并且允许面部表情改变。

在此使用的术语“模块”的意思是(但不限于)软件或硬件组件。本领域的技术人员根据对相应的“模块”的描述，可以通过诸如可执行特定任务的现场可编程门阵列(FPGA)或专用集成电路(ASIC)来实现相应的模块。

尽管已经参照其示例性实施例具体显示和描述了本发明，但是本领域的技术人员应该理解，在不脱离权利要求所限定的本发明的精神和范围的情况下，可以对其进行形式和细节上的各种改变。

Claims (16)

1.一种视线跟踪方法，其特征在于包括：

获取包含用户头部的图像作为输入图像；

根据输入图像对面部关键点进行跟踪；

根据跟踪到的面部关键点，对瞳孔中心和眼球中心进行定位，以确定瞳孔中心的三维坐标和眼球中心的三维坐标；

使用瞳孔中心的三维坐标和眼球中心的三维坐标，计算用户的视线方向。

2.根据权利要求1所述的视线跟踪方法，其中，对瞳孔中心进行定位的步骤包括：

根据面部关键点的二维坐标或三维坐标获得眼部纹理图像，并计算形状归一化的眼部纹理图像；

从形状归一化的眼部纹理图像中检测实际瞳孔区域；

根据实际瞳孔区域确定瞳孔中心的坐标，并通过对瞳孔中心的坐标进行逆形状归一化，来计算瞳孔中心在输入图像中的坐标，

其中，通过将瞳孔中心在输入图像中的坐标映射到面部关键点的三维坐标所在的坐标系来获得瞳孔中心的三维坐标。

3.根据权利要求2所述的视线跟踪方法，其中，计算形状归一化的眼部纹理图像的步骤包括：将眼部纹理图像所覆盖的像素变换到规范化的纹理模板中，以获得形状归一化的眼部纹理图像，

其中，通过将在眼部处于预定形状的条件下获得的眼部关键点投影到输入图像所在的平面上得到规范化的纹理模板。

4.根据权利要求2所述的视线跟踪方法，其中，从形状归一化的眼部纹理图像中检测实际瞳孔区域的步骤包括：

从眼部纹理图像中检测多个瞳孔候选区域；

从检测的多个瞳孔候选区域中选择瞳孔区域；

根据瞳孔区域确定实际瞳孔区域。

5.根据权利要求4所述的视线跟踪方法，其中，从眼部纹理图像中检测多个瞳孔候选区域的步骤包括：

使用窗口对眼部纹理图像进行扫描以获得多个窗口区域；

使用下面的等式计算每个窗口区域的分数值

$S\left(R\right)=\underset{x\∈R}{\mathrm{\Σ}}I\left(x\right)-\mathrm{\α}\underset{x\∈\mathrm{ER}}{\mathrm{\Σ}}\▿I\left(x\right)+\mathrm{\β}{\left(\frac{1}{N}\underset{x\∈R}{\mathrm{\Σ}}{(I\left(x\right)-\stackrel{\‾}{I}\left(R\right))}^2\right)}^{\frac{1}{2}}\stackrel{\‾}{I}\left(R\right)-\mathrm{\γN},$

其中，R表示窗口区域，ER表示窗口边缘区域，x表示像素坐标，I(x)为在像素坐标x处的像素的亮度，▽I(x)表示在像素坐标x处的亮度梯度，N为窗口区域内像素的个数，

表示窗口区域内的像素的亮度均值，α、β、γ为权重系数，S(R)为窗口区域R的分数值；

选择预定数量的分数值最小的窗口区域作为瞳孔候选区域。

6.根据权利要求5所述的视线跟踪方法，其中，从检测的多个瞳孔候选区域中选择瞳孔区域的步骤包括：根据左瞳孔候选区域在左眼的形状归一化的眼部纹理图像中的相对位置和右瞳孔候选区域在右眼的形状归一化的眼部纹理图像中的相对位置，从左瞳孔候选区域和右瞳孔候选区域中确定出一对左右瞳孔区域。

7.根据权利要求6所述的视线跟踪方法，其中，从检测的多个瞳孔候选区域中选择瞳孔区域的步骤还包括：

从所有的左瞳孔候选区域与所有的右瞳孔候选区域的所有配对中，去除相对位置差别大于预定阈值的配对，从剩余的配对中选出分数值之和最小的一对左右瞳孔候选区域作为一对左右瞳孔区域。

8.根据权利要求2或4所述的视线跟踪方法，其中，眼部纹理图像包括左眼的眼部纹理图像和右眼的眼部纹理图像，计算形状归一化的眼部纹理图像的步骤包括计算左眼的形状归一化的眼部纹理图像和右眼的形状归一化的眼部纹理图像，

其中，通过将在眼部处于预定形状条件下的眼部关键点的三维坐标投影到一个平面上并连接映射到该平面上的关键点形成网格，来得到规范化的纹理模板。

9.根据权利要求8所述的视线跟踪方法，其中，所述平面为由眼部关键点在空间中形成的眼部所正对或背对的一个平面。

10.根据权利要求4所述的视线跟踪方法，其中，根据瞳孔区域确定实际瞳孔区域的步骤包括：

(a)根据当前的瞳孔区域中像素的亮度均值，设置大于等于亮度均值的拒绝阈值，并设置小于等于亮度均值的接受阈值；

(b)确定在当前的瞳孔区域内部的与当前的瞳孔区域的边缘相邻的像素中是否存在亮度大于拒绝阈值的像素，并确定在当前的瞳孔区域外部的与当前瞳孔区域的边缘相邻的像素中是否存在亮度小于接受阈值的像素；

(c)当存在亮度大于拒绝阈值的像素时，将亮度大于拒绝阈值的像素从当前的瞳孔区域移除；当存在亮度小于接受阈值的像素时，将亮度小于接受阈值的像素添加到当前的瞳孔区域中；

(d)对当前的瞳孔区域的轮廓进行平滑，并进行操作(a)；

(e)当不存在亮度大于拒绝阈值的像素并且不存在亮度小于接受阈值的像素时，当前的瞳孔区域为实际瞳孔区域。

11.根据权利要求1所述的视线跟踪方法，其中，计算用户的视线方向的步骤包括：

根据左眼的瞳孔中心的三维坐标和左眼的眼球中心的三维坐标，计算左眼的瞳孔中心与左眼的眼球中心确定的直线作为左眼的视线方向，根据右眼的瞳孔中心的三维坐标和右眼的眼球中心的三维坐标，计算右眼的瞳孔中心与右眼的眼球中心确定的直线作为右眼的视线方向；

根据左眼的视线方向与右眼的视线方向确定用户的视线方向，其中，当左眼的视线方向与右眼的视线方向共面时，用户的视线方向为左右眼的视线方向的交点与左右眼的眼球中心的中点确定的直线；当左眼的视线方向与右眼的视线方向异面时，用户的视线方向为左右眼视线方向的公垂线中点与左右眼的眼球中心的中点确定的直线。

12.根据权利要求1所述的视线跟踪方法，其中，对眼球中心进行定位的步骤包括：

在空间中设置至少两个标定点；

当用户注视每一个标定点时，记录标定点的三维坐标以及当时对应的面部关键点的三维坐标和左右瞳孔中心的三维坐标；

利用每个标定点的三维坐标以及对应的左右瞳孔中心的三维坐标，确定由标定点与左瞳孔中心确定的左眼标定视线以及由标定点与右瞳孔中心确定的右眼标定视线；

基于左眼标定视线的交点，确定左眼眼球中心的三维坐标，基于右眼标定视线的交点，确定右眼眼球中心的三维坐标。

13.根据权利要求12所述的视线跟踪方法，其中，当某侧眼的标定视线为异面直线时，通过最小化下面的目标函数来获得该侧眼的眼球中心M的三维坐标：

$\underset{i}{\mathrm{\Σ}}D{(T_i{U}_i,M)}^2,$

其中，D(T_iU_i，M)表示M到T_i与U_i确定的直线的距离，T_i表示标定点的三维坐标，U_i为用户注视T_i时该侧眼的瞳孔中心点的三维坐标，i表示标定点的标号。

14.一种视线跟踪设备，其特征在于包括：

视频采集模块，获取包含用户头部的图像作为输入图像；

头部视频处理模块，根据输入图像对面部关键点进行跟踪；

眼部视频处理模块，根据跟踪到的面部关键点，对瞳孔中心和眼球中心进行定位，以确定瞳孔中心的三维坐标和眼球中心的三维坐标；

视线方向计算模块，使用瞳孔中心的三维坐标和眼球中心的三维坐标，计算用户的视线方向。

15.根据权利要求14所述的视线跟踪设备，其中，眼部视频处理模块包括：

形状归一化模块，根据面部关键点的二维坐标或三维坐标获得眼部纹理图像，并计算形状归一化的眼部纹理图像；

实际瞳孔区域检测模块，从形状归一化的眼部纹理图像中检测实际瞳孔区域；

瞳孔中心获取模块，根据实际瞳孔区域确定瞳孔中心的坐标，并通过对瞳孔中心的坐标进行逆形状归一化，来计算瞳孔中心在输入图像中的坐标，

其中，通过将瞳孔中心在输入图像中的坐标映射到面部关键点的三维坐标所在的坐标系来获得瞳孔中心的三维坐标。

16.根据权利要求14所述的视线跟踪设备，其中，视线方向计算模块包括：

左右眼视线检测模块，根据左眼的瞳孔中心的三维坐标和左眼的眼球中心的三维坐标，计算左眼的瞳孔中心与左眼的眼球中心确定的直线作为左眼的视线方向，根据右眼的瞳孔中心的三维坐标和右眼的眼球中心的三维坐标，计算右眼的瞳孔中心与右眼的眼球中心确定的直线作为右眼的视线方向；

用户视线检测模块，根据左眼的视线方向与右眼的视线方向确定用户的视线方向，其中，当左眼的视线方向与右眼的视线方向共面时，用户的视线方向为左右眼的视线方向的交点与左右眼的眼球中心的中点确定的直线；当左眼的视线方向与右眼的视线方向异面时，用户的视线方向为左右眼视线方向的公垂线中点与左右眼的眼球中心的中点确定的直线。

Images