CN102125422A - 视线追踪系统中基于瞳孔-角膜反射的视线估计方法 - Google Patents

Abstract

本发明提出一种视线追踪系统中基于瞳孔-角膜反射的视线估计方法，属于人机交互领域。针对现有PCCR存在的主要问题：限制使用者头部运动和个体标定问题，提出了一种单相机单光源条件下头部位置的补偿方法，实现了头部位置变化对瞳孔角膜向量影响的解析补偿，并建立一种个体差异的转化模型，进而简化标定过程为单点标定。以此为基础形成一种新的视线估计方法，本方法使精确视线估计的最小硬件要求降低到单相机(未标定)单光源，既不需要繁杂的系统标定，又实现了自然头动视线估计，并且简化用户标定为单点标定。该方法的各个环节都满足实时性要求，为面向人机交互的视线追踪系统提供了有效的解决方案。

Description

视线追踪系统中基于瞳孔-角膜反射的视线估计方法

技术领域

视线追踪系统中的基于瞳孔-角膜反射(PCCR)的视线估计方法，属于人机交互领域。

背景技术

视线追踪技术是利用机械、电子、光学等各种检测手段获取受试者当前“注视方向”的技术，按照系统构成和采用的检测方法可以粗略划分为侵入式和非侵入式两种。在人机交互和疾病诊断两个领域有着广泛的应用，如助残，虚拟现实，认知障碍诊断，车辆辅助驾驶，人因分析等。用于诊断的视线追踪系统可以采用侵入式以达到更高的精度。用于交互的视线追踪系统除了对精度，鲁棒性，实时性的要求以外，需要最大程度的减少或消除对使用者的干扰。随着数字化技术、计算机视觉、人工智能技术的迅速发展，基于数字视频分析(VideoOculographic，VOG)的非侵入式视线追踪技术成为当前热点研究方向。

视线追踪技术利用眼球转动时相对位置不变的某些眼部结构和特征作为参照，在位置变化特征和这些不变特征之间提取视线变化参数，然后通过几何模型或映射模型获取视线方向。因此，基于VOG的视线追踪技术分为视线特征参数提取和视线估计模型建立两个组成部分。随着系统硬件和视线估计模型不同，基于VOG的视线追踪方法可分为如下几类：

(a)瞳孔-角膜反射法：采用红外光源产生角膜反射，通过计算瞳孔中心与角膜反射之间的向量来估计视线方向。视线估计模型可以采用映射模型(通常为非线性多项式模型)，也可以采用几何模型。

(b)角膜反射矩阵法：多红外光源在角膜上产生多个角膜反射形成角膜反射矩阵。通过计算角膜反射与瞳孔中心的位置特征估计视线方向，视线估计模型使用投影平面不变的交比值。

(c)椭圆法线方向法：通过记录高分辨率眼睛图像，计算虹膜边界圈的法线方向估计视线方向。在可见光下追踪高分辨率的眼睛图像并通过基本的投影几何关系计算椭圆虹膜圈的法线方向并视其为视线方向。

VOG系统普遍使用瞳孔-角膜反射方法，如图1所示。基于瞳孔角膜反射的视线追踪系统，其精确性与稳定性可以通过设置与摄像机镜头同轴的近红外(IR)光源进一步提高，其产生的“亮瞳”现象如图2所示。由于采用亮暗瞳差分方案，瞳孔特征相对突出，便于在整幅脸部图像中快速捕捉眼睛和在眼部图像中精细准确的分割瞳孔。亮暗瞳差分方案一般过程如下：控制光源交替亮暗，产生亮瞳和暗瞳隔帧交替出现的视频序列。利用相邻亮瞳和暗瞳图像做差分消除背景的影响，在阈值化后的差分图像中检测瞳孔。在此基础上，为了提高检测的稳定性，通过动态设置阈值等方法，对亮暗瞳差分方案做出了改进，以排除头部随机运动产生的干扰区域。在初始帧中对瞳孔进行定位以后，需要在接下来的视频序列中对瞳孔进行跟踪。卡尔曼滤波，均值漂移，组合卡尔曼滤波与均值漂移，相继被用于瞳孔跟踪。

大部分基于瞳孔-角膜反射技术的视线估计可分为两类：基于二维映射模型的视线估计方法和直接的三维视线估计方法。

对于直接的三维视线估计方法，首先要估计三维的视线方向，然后通过视线方向和屏幕的交点即可得到盯视点。用以三维视线方向的估计方法，使用一个单校准摄像机和至少两个光源。首先，使用至少三个光源测量每个使用者的眼球角膜半径。一系列高阶多项式方程用来计算角膜的半径和中心，但是它们的解不是唯一的。因此，如何从这些解中找到正确的答案仍然是个问题。此外，还没有用这种技术建立起相应的实用系统。

三维视线估计方法有以下几个缺点：(a)在现存的三维视线估计方法中，要么需要关于用户眼球参数的独立信息，要么需要至少两摄像机和两个光源的复杂硬件配置。否则就不能解决头动问题。但是使用者眼球的独立信息，如角膜半径和瞳孔与角膜中心的距离，是非常小的(一般小于10mm)。因此，在不借助其它仪器的情况下，准确的间接估计眼球独立参数是很难实现的。(b)即使采用一个摄像机和两个光源配以使用者眼睛独立参数的方案，在系统标定过程中也要使用至少两个摄像机。(c)因为需要估计角膜球面中心的空间位置，而角膜球面中心不可见，需要至少两个光源的像去估计角膜球面中心的空间位置，所以至少需要两个光源。(d)需要进行相机标定，光源位置标定和屏幕位置标定，并且三维视线估计对以上位置非常敏感，相机发生变化不仅要对自身重新进行标定，而且要对光源和屏幕重新进行标定，光源和屏幕发生变化要对自身重新进行标定。

基于二维映射模型的视线估计方法，通过一个经过校准的视线映射函数来估计视线方向，映射函数的输入是从眼睛图像提取的一系列二维眼动特征，输出是视线方向或注视点。二维映射模型不需要估计三维的视线方向，所以不需要使用立体视觉系统，不需要进行相机的标定，不需要进行光源和屏幕三维位置的标定，为低硬件配置条件下的视线估计提供了有效的解决方案。

提取的二维眼动特征随视线而变化，使它们之间的关系可以由一个视线映射函数来表示。为了得到视线映射函数，需要对每个使用者进行在线校准。但是，二维眼动特征随着头部位置的变化而显著变化，因此，校准的视线映射函数对头部位置非常的敏感。因此，为了得到准确的注视点，使用者需要保持头部静止。如果使用者保持其头部固定，或通过支架限制其头部活动，眼睛注视点跟踪的结果可以达到非常高的精度。平均误差可以小于1°(对应在计算机屏幕上少于10毫米)。但是如果头部离开使用者校准时的位置，视线跟踪系统的准确性将显著下降。

二维视线估计方法有以下几个缺点：(a)二维视线估计依赖于标定位置，视线估计的精度随着使用者头部远离标定位置而迅速下降，所以使用者需要保持头部静止。(b)需要依靠标定确定眼睛特征参数与视线的映射函数，所以标定点数较多。

总括来说，理想的视线估计方法需要满足以下几点要求：(a)准确的，例如，精确到分；(b)可靠的，结果可重复；(c)鲁棒的，可以在各种条件下正常工作，例如室内/室外，带眼镜，带隐形眼镜；(d)非接触式的，对用户无害，舒适的；(e)允许自由的头部运动；(f)尽可能少的初始校准；(g)实时的；(h)硬件配置简单低廉。而现有的视线估计方法都不能完全满足上述要求。直接的三维视线估计方法都存在两个共同的缺点：第一，至少需要两摄像机(已标定)和两个光源的复杂硬件配置；第二，繁杂的系统标定过程。现有的基于二维映射模型的估计方法都存在两个共同的缺点：第一，用户使用前都需要进行多点个体标定；第二，用户需要保持头部静止。

发明内容

理想的视线估计方法需要满足以下几点要求：(a)准确的，例如，精确到分；(b)可靠的，结果可重复；(c)鲁棒的，可以在各种条件下正常工作，例如室内/室外，带眼镜，带隐形眼镜；(d)非接触式的，对用户无害，舒适的；(e)允许自由的头部运动；(f)尽可能少的初始校准；(g)实时的；(h)硬件配置简单低廉。

为满足上述要求，并针对现有视线估计方法的不足，本发明提出一种可适应自然头动的视线估计方法(GEMHSSO)。在单相机单光源条件下实现了头动对视线参数影响的解析补偿，使精确视线估计的最小硬件要求降低到单相机(未标定)单光源，既不需要繁杂的系统标定，又实现了自然头动视线估计，并且简化用户标定为单点标定。

本发明的具体步骤包括：第一步，多项式模型，完整的视线映射函数(G_x，G_y)＝F(Δx，Δy)是一个复杂的非线性函数，本步骤讨论的是使用者和头部位置固定情况下的视线映射函数(G_x，G_y)＝f(Δx，Δy)。第二步，个体差异补偿，为了补偿个体差异对视线估计的影响，提出一种新的视线特征向量个体差异补偿方法。第三步，头部位置补偿，为了解决使用者头部位置改变对视线估计精度的影响，本发明通过分析头动后眼部特征和头部位置变化的关系，提出了头部位置补偿方法。第四步，通过使用者和头部位置固定情况下得到新的视线映射函数(G_x，G_y)＝f(Δx″，Δy″)，本发明的整个方法流程如图3所示。

上述步骤中，使用者和头部位置固定情况下的视线映射函数(G_x，G_y)＝f(Δx，Δy)，其中G_x＝a₁+a₂Δx+a₃Δy+a₄ΔxΔy，G_y＝b₁+b₂Δy+b₃Δx+b₄Δy²，(Δx，Δy)为瞳孔中心到角膜反射的向量，为了覆盖屏幕落点的各个区域，本发明通过9点标定，即在进行视线估计的时候，使用者依次盯着屏幕的9个点，当使用者盯着其中一点时，由图像处理方法计算出

其中(n＝1，2，...，9)。用

对8个未知数a₁，a₂，a₃，a₄，b₁，b₂，b₃，b₄进行多项式回归。

上述步骤中，本发明提出一种新的视线特征向量个体差异补偿方法。通过单点标定确定使用者的角膜半径比例系数k和视线偏角λ，补偿方法如下：(Δx′，Δy′)＝(Δx，Δy)×k(cosλ+isinλ)，(Δx′，Δy′)为补偿以后的瞳孔中心到普尔钦斑向量。补偿以后的视线特征向量L′_t为：

为瞳孔椭圆长短轴的比，θ为瞳孔椭圆长轴与垂直方向的角度，(i_c，j_c)为角膜反射在图像中的位置。

上述步骤中，为了解决使用者头部位置改变对视线估计精度的影响，本发明通过分析头动后眼部特征和头部位置变化的关系，提出了头部位置补偿方法。当用户在两个位置盯视同一屏幕点S时，通过三角形的几何比例关系可得到：

即

根据成像原理有：

即

p₁g₁＝(Δx′，Δy′)，p₂g₂＝(Δx″，Δy″)

其中，P₁G₁，P₂G₂分别为在空间中的两个不同位置O₁和O₂瞳孔到普尔钦斑的矢量值，p₁g₁，p₂g₂分别为O₁和O₂位置瞳孔到普尔钦斑矢量的图像值，即为(Δx′，Δy′)和(Δx″，Δy″)的坐标表示，r为角膜曲率半径，D₁，D₂为角膜曲率中心到视线落点S的距离。d₁，d₂分别为O₁和O₂位置角膜曲率中心到屏幕的距离，f为镜头焦距，即焦点到CCD面板的距离。

由于单摄像机视线追踪系统无法测量角膜曲率中心到屏幕的距离d和角膜曲率中心到视线落点的距离D，所以本发明采用使用者在不同位置时摄像机测量的瞳距值进行代替，由此消除了头动带来的视线估计误差。

上述步骤中，由于步骤一在建立模型的时候的回归过程，8个未知数已经确定，不同使用者使用系统时，经过个体差异补偿可以直接使用视线映射函数，无需重新进行回归过程。通过使用者和头部位置固定情况下得到视线映射函数(G_x，G_y)＝f(Δx″，Δy″)，

G_x＝a₁+a₂Δx″+a₃Δy″+a₄Δx″Δy″

G_x＝b₁+b₂Δy″+b₃Δx″+b₄Δy″²

与现有技术相比，本发明提出一种可适应自然头动的视线估计方法。在单相机单光源条件下实现了头动对视线参数影响的解析补偿，使精确视线估计的最小硬件要求降低到单相机(未标定)单光源，既不需要繁杂的系统标定，又实现了自然头动视线估计，并且简化用户标定为单点标定。

附图说明

图1是瞳孔-角膜反射技术示意图

图2是亮瞳和暗瞳

图3是视线估计流程图

图4是视线和眼球光轴夹角个体差异

图5是角膜球面半径个体差异

图6是头部位置对视线特征向量的影响

图7是瞳距与距离关系

图8是瞳孔角度与距离关系

图9是头部转动对瞳距值的影响

具体实施方式

下面结合附图对本发明的具体实施过程做进一步的说明。

本发明提出一种基于瞳孔-角膜反射(PCCR)的视线估计方法。工作创新点主要体现在以下几个方面：(a)为了补偿个体差异对视线估计的影响，提出一种新的视线特征向量个体差异补偿方法。(b)完整的视线映射函数(G_x，G_y)＝F(Δx，Δy)是一个复杂的非线性函数，提出使用者和头部位置固定情况下的视线映射函数(G_x，G_y)＝f(Δx，Δy)。(c)为了解决使用者头部位置改变对视线估计精度的影响，本发明通过分析头动后眼部特征和头部位置变化的关系，提出了头部位置补偿方法。

1、多项式模型

完整的视线映射函数(G_x，G_y)＝F(Δx，Δy)是一个复杂的非线性函数，本发明讨论的是使用者和头部位置固定情况下的视线映射函数(G_x，G_y)＝f(Δx，Δy)，其中G_x＝a₁+a₂Δx+a₃Δy+a₄ΔxΔy，G_y＝b₁+b₂Δy+b₃Δx+b₄Δy²，(Δx，Δy)为瞳孔中心到角膜反射的向量，为了覆盖屏幕落点的各个区域，本发明通过9点标定，即在进行视线估计的时候，使用者依次盯着屏幕的9个点，当使用者盯着其中一点时，由图像处理方法计算出

其中(n＝1，2，...，9)。用

对8个未知数a₁，a₂，a₃，a₄，b₁，b₂，b₃，b₄进行多项式回归。

2、个体差异补偿

通常采用的视线特征向量L_t如下：

$L_t=(\mathrm{\Δx},\mathrm{\Δy},\frac{a_{\mathrm{major}}}{a_{\min \mathrm{or}}},\mathrm{\θ},i_c,j_c)$

为了补偿个体差异对视线估计的影响，本发明经过大量实验总结出以下事实：(a)不同的使用者在同一位置注视同一点的情况下，眼球的方位是大致相同的，因此(Δx，Δy)的方向是大致相同的，其方向的差异是由于视线和眼球光轴夹角的个体差异造成的，如图4所示，这个差异可以通过单点用户标定进行捕捉。(b)不同的使用者在同一位置注视同一点的情况下，(Δx，Δy)的长度差异往往大于方向的差异，其差异是由于角膜球面半径大小的个体差异造成的，这个差异也可以通过单点用户标定进行捕捉。如图5所示，当角膜球面半径发生变化时，瞳孔中心P₁发生线性变化，图像中的瞳孔中心P₁也随之线性变化，而图像中的普尔钦斑g₁不变.即角膜球面半径增加k倍，g₁到P₁的向量(Δx，Δy)长度随之增加k倍。(c)不同的使用者在同一位置注视同一点的情况下，

可以认为是相同的。

本发明提出一种视线特征向量个体差异补偿方法，通过单点标定确定使用者的角膜半径比例系数k和视线偏角λ，补偿方法如下：

(Δx′，Δy′)＝(Δx，Δy)×k(cosλ+isinλ)

(Δx′，Δy′)为补偿以后的瞳孔中心到普尔钦斑向量。补偿以后的视线特征向量L′_t为：

$L_t^{\′}=({\mathrm{\Δx}}^{\′},{\mathrm{\Δy}}^{\′},\frac{a_{\mathrm{major}}}{a_{\min \mathrm{or}}},\mathrm{\θ},i_c,j_c)$

3、头部位置补偿

为了解决使用者头部位置改变对视线估计精度的影响，本发明通过分析头动后眼部特征和头部位置变化的关系，提出了头部位置补偿方法。当用户在O₁和O₂两个位置盯视同一屏幕点S时，如图6所示，通过三角形oSO₁，oSO₂的几何比例关系可得到：

即

根据成像原理有：

即

p₁g₁＝(Δx′，Δy′)，p₂g₂＝(Δx″，Δy″)

其中，P₁G₁，P₂G₂分别为在空间中的两个不同位置O₁和O₂瞳孔到普尔钦斑的矢量值，p₁g₁，p₂g₂分别为O₁和O₂位置瞳孔到普尔钦斑矢量的图像值，，即为(Δx′，Δy′)和(Δx″，Δy″)的坐标表示，r为角膜曲率半径，D₁，D₂为角膜曲率中心到视线落点S的距离。d₁，d₂分别为O₁和O₂位置角膜曲率中心到屏幕的距离，f为镜头焦距。

由于单摄像机视线追踪系统无法测量角膜曲率中心到屏幕的距离d和角膜曲率中心到视线落点的距离D，所以本发明采用使用者在不同位置时摄像机测量的瞳距值进行代替。

如图7所示，使用者的瞳距是固定值，但当使用者处于不同位置时，瞳距在摄像机上的值与用户距摄像机距离成反比，如下式所示：

如图8所示，可以通过瞳孔椭圆的曲率估计角膜曲率中心到视线落点的距离D。

$D_1=d_1\·\arccos \left(\frac{a_{\mathrm{major}1}}{a_{\min \mathrm{or}1}}\right),$ $D_2=d_2\arccos \left(\frac{a_{\mathrm{major}2}}{a_{\min \mathrm{or}2}}\right)$

如图9所示，头部转动会造成图像中瞳距的变化，需要计算消除头部转动的瞳距L₂′。根据成像关系和几何关系得到下式：

$\frac{p_1{g}_1}{p_2{g}_2}={\left(\frac{L_1(a_R+a_L)\sqrt{1/{(a_R-a_L)}^2+{(L_2\·(a_R+a_L)/2z_1)}^2}}{{2z}_1}\right)}^2\·\frac{\arccos \left(\frac{a_{\mathrm{major}2}}{a_{\min \mathrm{or}2}}\right)}{\arccos \left(\frac{a_{\mathrm{major}1}}{a_{\min \mathrm{or}1}}\right)}$

其中，L₁，L₂为瞳距，a_L和a_R分别为左右瞳孔的长轴，z₁为瞳孔到相机的距离。

当用户在使用系统时，若头部偏离了标定位置，此时图像中瞳距为L₂，根据前述的瞳距和图像矢量差的关系，将L₂位置的瞳孔与普尔钦斑矢量差p₂g₂自动转化为标定位置的矢量差p₁g₁：

$p_1{g}_1=p_2{g}_2\·{\left(\frac{L_1(a_R+a_L)\sqrt{1/{(a_R-a_L)}^2+{(L_2\·(a_R+a_L)/2z_1)}^2}}{{2z}_1}\right)}^2\·\frac{\arccos \left(\frac{a_{\mathrm{major}2}}{a_{\min \mathrm{or}2}}\right)}{\arccos \left(\frac{a_{\mathrm{major}1}}{a_{\min \mathrm{or}1}}\right)}$

这样，用户在瞳距为L₂位置上时，仍然可以得到标定位置对应的矢量值，由此消除了头动带来的视线估计误差。

4、视线映射函数

由于步骤一在建立模型的时候的回归过程，8个未知数已经确定，不同使用者使用系统时，经过个体差异补偿可以直接使用视线映射函数，无需重新进行回归过程。通过使用者和头部位置固定情况下得到视线映射函数(G_x，G_y)＝f(Δx″，Δy″)，

G_x＝a₁+a₂Δx″+a₃Δy″+a₄Δx″Δy″

G_y＝b₁+b₂Δy″+b₃Δx″+b₄Δy″²

Claims (4)

1.视线追踪系统中基于瞳孔-角膜反射的视线估计方法，其特征在于：

步骤一：多项式模型初始化，使用者和头部位置固定情况下的视线映射函数(G_x，G_y)＝f(Δx，Δy)，其中G_x＝a₁+a₂Δx+a₃Δy+a₄ΔxΔy，G_y＝b₁+b₂Δy+b₃Δx+b₄Δy²，(Δx，Δy)为瞳孔中心到角膜反射的向量，确定8个未知数a₁，a₂，a₃，a₄，b₁，b₂，b₃，b₄的值；

步骤二：进行个体差异补偿，得到补偿以后的瞳孔中心到普尔钦斑向量(Δx′，Δy′)，减少个体差异对视线估计的影响；

步骤三：头部位置补偿，通过分析头动后眼部特征和头部位置变化的关系，解决使用者头部位置改变对视线估计精度的影响问题，得到头部位置补偿后的瞳孔中心到普尔钦斑向量(Δx″，Δy″)；

步骤四：通过使用者和头部位置固定情况下得到视线映射函数(G_x，G_y)＝f(Δx″，Δy″)，其中G_x＝a₁+a₂Δx″+a₃Δy″+a₄Δx″Δy″，G_y＝b₁+b₂Δy″+b₃Δx″+b₄Δy″²。

2.如权利要求1所述的估计方法，其特征在于：使用者和头部位置固定情况下的视线映射函数(G_x，G_y)＝f(Δx，Δy)，其中G_x＝a₁+a₂Δx+a₃Δy+a₄ΔxΔy，G_y＝b₁+b₂Δy+b₃Δx+b₄Δy²，(Δx，Δy)为瞳孔中心到角膜反射的向量，为了覆盖屏幕落点的各个区域，本发明通过9点标定，在进行视线估计的时候，使用者依次盯着屏幕的9个点，当使用者盯着其中一点时，由图像处理方法计算出

，其中(n＝1，2，...，9)；用

对8个未知数a₁，a₂，a₃，a₄，b₁，b₂，b₃，b₄进行多项式回归。

3.如权利要求1所述的估计方法，其特征在于：所述的个体差异补偿是通过单点标定确定使用者的角膜半径比例系数k和视线偏角λ，(Δx′，Δy′)＝(Δx，Δy)×k(cosλ+isinλ)，(Δx′，Δy′)为补偿以后的瞳孔中心到普尔钦斑向量，(Δx，Δy)为瞳孔中心到角膜反射的向量，补偿以后的视线特征向量L′_t为：

为瞳孔椭圆长短轴的比，θ为瞳孔椭圆长轴与垂直方向的角度，(i_c，j_c)为角膜反射在图像中的位置；

4.如权利要求1所述的估计方法，其特征在于：所述的头部位置补偿是当用户在两个位置盯视同一屏幕点S时，根据三角形oSO₁，oSO₂的几何比例关系及成像原理得到：

p₁g₁＝(Δx′，Δy′)，p₂g₂＝(Δx″，Δy″)

其中，p₁g₁，p₂g₂分别为O₁和O₂位置瞳孔到普尔钦斑矢量的图像值，为(Δx′，Δy′)和(Δx″，Δy″)的坐标表示，D₁，D₂为角膜曲率中心到视线落点S的距离，d₁，d₂分别为O₁和O₂位置角膜曲率中心到屏幕的距离；

使用者的瞳距是固定值，但当使用者处于不同位置时，瞳距在摄像机上的值与用户距摄像机距离成反比，

通过瞳孔椭圆的曲率估计角膜曲率中心到视线落点的距离D，

$D_1=d_1\·\arccos \left(\frac{a_{\mathrm{major}1}}{a_{\min \mathrm{or}1}}\right),$ $D_2=d_2\arccos \left(\frac{a_{\mathrm{major}2}}{a_{\min \mathrm{or}2}}\right)$

由此得到：

$\frac{p_1{g}_1}{p_2{g}_2}={\left(\frac{L_1(a_R+a_L)\sqrt{1/{(a_R-a_L)}^2+{(L_2\·(a_R+a_L)/2z_1)}^2}}{2z_1}\right)}^2\·\frac{\arccos \left(\frac{a_{\mathrm{major}2}}{a_{\min \mathrm{or}2}}\right)}{\arccos \left(\frac{a_{\mathrm{major}1}}{a_{\min \mathrm{or}1}}\right)}$

其中，L₁，L₂为瞳距，a_L和a_R分别为左右瞳孔的长轴，z₁为瞳孔到相机的距离，

本发明采用使用者在不同位置时摄像机测量的瞳距值进行代替，以此消除头动带来的视线估计误差。

Images