CN115147462A - 一种基于三维眼球模型和卡尔曼滤波的注视特征跟踪方法 - Google Patents

Abstract

本发明提供一种基于三维眼球模型和卡尔曼滤波的注视特征跟踪方法，能够提升视线追踪过程中特征提取的速度。所述方法包括下列步骤：1)检测部分输入图像序列的瞳孔特征和普尔钦斑特征的信息；2)根据特征构建三维眼球模型；3)基于卡尔曼滤波预测当前帧的眼球姿态；4)基于三维眼球模型计算当前预测的瞳孔和普尔钦斑的投影区域；5)适当扩大选区边缘并在其中检测当前帧的特征；6)重复上述步骤3)至5)，直至人眼视频帧序列输入结束。

Description

一种基于三维眼球模型和卡尔曼滤波的注视特征跟踪方法

技术领域

本发明属于视线追踪领域，具体涉及人眼特征的跟踪以加速特征检测的方法。

背景技术

眼睛是人类获取外部信息的主要方式，也是最直接的方式。眼睛能表达人类丰富的情感，视线追踪技术在各领域有极高的科研与应用价值，诸如人机交互、医疗保健、行为认知分析、元宇宙等领域。

现代视线追踪技术的实现方法主要基于二维、三维和表观的方法，且这些方法大多基于人眼图像中的一些特征，例如瞳孔特征、普尔钦斑特征、虹膜特征等。当瞳孔受光照、眼睑遮挡等外界干扰时，现有的特征检测方案的精度和置信度都会降低，甚至失效。当红外光源落在眼球的非角膜区域反射时，若在特征检测中将其视为普尔钦斑，会导致后续基于普尔钦斑的研究工作都出现错误。因此，特征检测的高精度和高置信度对于视线追踪研究工作有重要意义。此外，眼动追踪在嵌入式设备中应用愈发广泛，这就要求特征检测在保持高精度的前提下能做到尽量减少算力，提升实时性以符合人眼高速转动的事实。

发明内容

本发明的目的就在于为了解决上述问题而提供的一个从特征跟踪角度来加速人眼特征检测并提升可信度的方法。

本发明的技术方案是：

一种基于三维眼球模型和卡尔曼滤波的注视特征跟踪方法，包括下列步骤：

1)将眼动视频转换为序列帧，检测前一部分图像帧的眼动特征，包括瞳孔特征和普尔钦斑特征。

2)得到步骤1)中的特征信息后，将二维信息作为输入计算构建得到可靠的三维眼球模型。

3)计算上一图像帧在三维眼球模型中的眼球姿态，并作为卡尔曼滤波的初值，预测当前帧的眼球姿态。

4)基于三维眼球模型计算瞳孔和普尔钦斑在成像平面上的位置。

5)得到步骤4)的投影位置后，适当扩大选区边缘，在选区内检测当前帧的特征，并使用检测到的特征信息更新卡尔曼滤波参数。

6)重复上述步骤3)至5)，直至人眼视频帧序列输入结束。

上述一种基于三维眼球模型和卡尔曼滤波的注视特征跟踪方法的步骤2)中，采用的是简化眼球模型，主体由两个半径不同的共轴球体组成，半径较小的是角膜，较大的是眼球，且角膜有固有的折射率。

步骤3)中采用的卡尔曼滤波是一种高效的自回归滤波器，能够从一系列不完全及包含噪声的测量中估计动态系统的状态，利用前一时刻的状态来计算得到当前时刻下的状态的最优估计。

具体的，卡尔曼滤波的系统过程模型和观测模型可以表示为：

x_k＝F·x_k+B·u_k+W_k (1)

z_k＝H·x_k+v_k (2)

其中x_k是k时刻的系统状态，u_k是k时刻对系统的控制量。z_k取k时刻的观测值，H是观测系统的参数。w_k和v_k分别表示过程和观测的噪声，它们的协方差分别是Q和R。

x_k这里设定为

共6个状态量，分别为仰角、方向角、仰角速度、方向角速度，仰角加速度和方向角加速度。z_k取状态量中的2个，设定为

卡尔曼滤波算法的操作包括两个阶段：预测与更新。

预测过程：假设k时刻为当前时刻，滤波器使用上一时刻即k-1时刻的状态的估计，做出对k时刻系统状态的估计。

更新过程：滤波器利用对k时刻状态的观测值，优化在预测阶段获得的预测值，并计算下一时刻即k+1时刻的估计值。

卡尔曼滤波预测估计方程：

x_(k|k-1)＝F·x_(k-1|k-1)+B·u_k (3)

P_(k|k-1)＝F·P_(k-1|k-1)·F^T+Q_k (4)

卡尔曼滤波更新修正过程：

K_k＝P_(k|k-1)·H^T·(H·P_(k|k-1)·H^T+R_k)^-1 (5)

x_(k∣∣k)＝x_(k∣∣k-1)+K_k·(z_k-H·x_(k∣∣k-1)) (6)

P_(k|k)＝(I-K_k·H)·P_(k|k-1) (7)

其中，x_k|k-1是根据k-1时刻预测的k时刻结果，x_k-1|k-1是k-1时刻的最优结果，x_k|k是k时刻的最优结果，P_k|k-1是x_k|k-1对应的协方差，P_k-1|k-1是x_k-1|k-1对应的协方差，K_k是卡尔曼增益，I是单位矩阵。

仰角θ和方向角

是球坐标系中的构成要素，需要从笛卡尔坐标系转换过来，具体过程：

在三维眼球模型已构建的前提下，眼球中心在笛卡尔坐标系中的位置基本不变，设该点为S(x_s,y_s,z_s)，上一帧的瞳孔中心为点P(x_p,y_p,z_p)，以眼球中心为球坐标中心，得到瞳孔中心点P相对于眼球中心的坐标为P_s(x,y,z)＝(x_p-x_s,y_p-y_s,z_p-z_s)，点P_s在球坐标系下的坐标

这里在坐标系转换过程中进行了适当修改，转换方程表示为：

由于人类生理构造的原因，瞳孔转动只会发生在眼球中心的一侧，即瞳孔中心相对于眼球中心所处笛卡尔坐标系的z轴值均为同一个方向，这里将笛卡尔坐标系的z轴和y轴分别作为球坐标系的y轴和z轴，这样保证了

步骤4)中的计算瞳孔和普尔钦斑在成像平面上的位置包括坐标系转换和计算投影两个阶段，具体为：

通过卡尔曼滤波得到当前k时刻的状态估计，需要将球坐标系下的

再转换到笛卡尔坐标下的P_s(x,y,z)，转换方程表示为：

y＝rcosθ (12)

通过P_s(x,y,z)和S(x_s,y_s,z_s)还原P(x_p,y_p,z_p)，进而计算瞳孔和普尔钦斑在成像平面上的位置。

瞳孔中心坐标和普尔钦斑从三维空间到二维平面上的投影关系应符合眼球成像规律。这里以小孔成像为例，投影关系具体如下：

其中，(x,y,z)是三维空间中的点坐标，r_w和r_h分别为相机在x和y方向上的分辨率，f是相机焦距。

瞳孔投影到二维平面上的椭圆的长轴、短轴和倾角可通过三维眼球模型计算得到。

普尔钦斑是红外光源在人眼角膜上反射的亮斑。本发明使用一种迭代优化的方法去近似计算该点，具体方法为：

已知相机光心O、眼球中心S、已标定的LED光源位置L，通过卡尔曼滤波跟踪得到的光轴方向

角膜半径r，通过光轴方向可以计算出角膜中心C。根据这些已知条件要计算光源在角膜上的反射点X。根据反射原理，L、O、C和X四个点共面于P，

表示向量XL与向量n的夹角，

表示向量XO与向量n的夹角，这两个夹角相等，记作α。

设CL与角膜球面的交点为A，CO与角膜球面的交点为B，得到向量CL与向量CO在平面P上的角平分线与角膜球面的交点为X′，具体为：

计算向量点积

和

若前者大，则X′点作为新的B点，反之X′点作为新的A点，根据上一步骤计算得到新的X′点，并与原来的X′点计算欧氏距离，当欧氏距离小于某一个设定阈值后(这个阈值应当近似于0)，则将该点作为反射点X，计算结束。若大于这个阈值，重复上述操作直至计算结束，以达到迭代优化的目的。

步骤5)中，在得到瞳孔特征和普尔钦斑的预测投影位置后，适当扩大若干个像素点的选区边缘，在选区内检测k时刻的对应特征，并更新卡尔曼滤波参数。

本发明的有益效果是：

本发明创建了一种基于三维眼球模型和卡尔曼滤波的注视特征跟踪方法，具有如下有益效果：(1)特征跟踪可以避免特征检测过程中受外界干扰等因素引起的特征精度和置信度低甚至检测失败的情况；(2)对三维眼球姿态的跟踪更加符合空间中眼球连续运动的真实状态，对特征的跟踪能够加速特征检测工作，提高整个过程的实时性，为后续眼动追踪的研究提供了重要基础。效果具体表现为：

在特征检测过程中，若瞳孔受睫毛、眼睑遮挡，那么此时检测到的瞳孔特征的精度和置信度都会降低。当红外光源在眼球非角膜区域发生反射时，若在特征检测中将该点视作普尔钦斑，会导致后续的研究工作出错。通过基于三维眼球模型和卡尔曼滤波的特征跟踪方法能够很好地预测眼球连续运动的运动轨迹，避免因上述因素而导致特征不可靠的情况出现。

在计算红外光源在角膜上的反射落点的方法上，本发明从数学角度进行了优化，计算速度快，误差可控且很小。

通过特征跟踪的方法可以缩小特征检测的范围，对特征检测的性能起到了正优化作用。

附图说明

图1是本发明方法的总体流程图。

图2是本发明方法采用的简化眼球模型。

图3是本发明方法计算普尔钦斑反射点的迭代优化示意图。

具体实施方式

下面结合附图进一步说明本发明的技术方案。需要指出的是，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。

如图1所示，本发明的具体实施步骤如下：

1)将眼动视频转换为序列帧。如果当前帧为闭眼状态，则跳过该帧。检测前一部分图像帧的眼动特征，包括瞳孔特征和普尔钦斑特征。

2)得到步骤1)中的特征信息后，将二维信息作为输入计算构建得到可靠的三维眼球模型。

3)计算上一图像帧在三维眼球模型中的眼球姿态，并作为卡尔曼滤波的初值，预测当前帧的眼球姿态。

4)基于三维眼球模型计算瞳孔和普尔钦斑在成像平面上的位置。

5)得到步骤4)的投影位置后，适当扩大选区边缘，在选区内检测当前帧的特征，并使用检测到的特征信息更新卡尔曼滤波参数。

6)重复上述步骤3)至5)，直至人眼视频帧序列输入结束。

如图2所示，步骤2)采用的是简化眼球模型，主体由两个半径不同的共轴球体组成，半径较小的是角膜，较大的是眼球，且角膜有固有的折射率。

其中步骤3)的具体实施步骤为：

采用的卡尔曼滤波是一种高效的自回归滤波器，能够从一系列不完全及包含噪声的测量中估计动态系统的状态，利用前一时刻的状态来计算得到当前时刻下的状态的最优估计。

具体的，卡尔曼滤波的系统过程模型和观测模型可以表示为：

x_k＝F·x_k+B·u_k+w_k (1)

z_k＝H·x_k+v_k (2)

其中x_k是k时刻的系统状态，u_k是k时刻对系统的控制量。z_k取k时刻的观测值，H是观测系统的参数。w_k和v_k分别表示过程和观测的噪声，它们的协方差分别是Q和R。

x_k这里设定为

共6个状态量，分别为仰角、方向角、仰角速度、方向角速度、仰角加速度和方向角加速度。z_k取状态量中的2个，设定为

卡尔曼滤波算法的操作包括两个阶段：预测与更新。

预测过程：假设k时刻为当前时刻，滤波器使用上一时刻即k-1时刻的状态的估计，做出对k时刻系统状态的估计。

更新过程：滤波器利用对k时刻状态的观测值，优化在预测阶段获得的预测值，并计算下一时刻即k+1时刻的估计值。

卡尔曼滤波预测估计方程：

x_(k|k-1)＝F·x_(k-1|k-1)+B·u_k (3)

P_(k|k-1)＝F·P_(k-1|k-1)·F^T+Q_k (4)

卡尔曼滤波更新修正过程：

K_k＝P_(k|k-1)·H^T·(H·P_(k|k-1)·H^T+R_k)^-1 (5)

x_(k∣k)＝x_(k∣k-1)+K_k·(z_k-H·x_(k∣k-1)) (6)

P_(k|k)＝(I-K_k·H)·P_(k|k-1) (7)

其中，x_k|k-1是根据k-1时刻预测的k时刻结果，x_k-1|k-1是k-1时刻的最优结果，x_k|k是k时刻的最优结果，P_k|k-1是x_k|k-1对应的协方差，P_k-1|k-1是x_k-1|k-1对应的协方差，K_k是卡尔曼增益，I是单位矩阵。

仰角θ和方向角

是球坐标系中的构成要素，需要从笛卡尔坐标系转换过来，具体过程：

在三维眼球模型已构建的前提下，眼球中心在笛卡尔坐标系中的位置基本不变，设该点为S(x_s,y_s,z_s)，上一帧的瞳孔中心为点P(x_p,y_p,z_p)，以眼球中心为球坐标中心，得到瞳孔中心点P相对于眼球中心的坐标为P_s(x,y,z)＝(x_p-x_s,y_p-y_s,z_p-z_s)，点P_s在球坐标系下的坐标

这里在坐标系转换过程中进行了适当修改，转换方程表示为：

由于人类生理构造的原因，瞳孔转动只会发生在眼球中心的一侧，即瞳孔中心相对于眼球中心所处笛卡尔坐标系的z轴值均为同一个方向，这里将笛卡尔坐标系的z轴和y轴分别作为球坐标系的y轴和z轴，这样保证了

步骤4)中的计算瞳孔和普尔钦斑在成像平面上的位置包括坐标系转换和计算投影两个阶段，具体为：

通过卡尔曼滤波得到当前k时刻的状态估计，需要将球坐标系下的

再转换到笛卡尔坐标下的P_s(x,y,z)，转换方程表示为：

y＝r cosθ (12)

通过P_s(x,y,z)和S(x_s,y_s,z_s)还原P(x_p,y_p,z_p)，进而计算瞳孔和普尔钦斑在成像平面上的位置。

瞳孔中心坐标和普尔钦斑从三维空间到二维平面上的投影关系应符合眼球成像规律。这里以小孔成像为例，投影关系具体如下：

其中，(x,y,z)是三维空间中的点坐标，r_w和r_h分别为相机在x和y方向上的分辨率，f是相机焦距。

瞳孔投影到二维平面上的椭圆的长轴、短轴和倾角可通过三维眼球模型计算得到。

普尔钦斑是红外光源在人眼角膜上反射的亮斑。如图3，本发明使用一种迭代优化的方法去近似计算该点，具体方法为：

已知相机光心O、眼球中心S、已标定的LED光源位置L，通过卡尔曼滤波跟踪得到的光轴方向

角膜半径r，通过光轴方向可以计算出角膜中心C。根据这些已知条件要计算光源在角膜上的反射点X。根据反射原理，L、O、C和X四个点共面于P，

表示向量XL与向量n的夹角，

表示向量XO与向量n的夹角，这两个夹角相等，记作α。

设CL与角膜球面的交点为A，CO与角膜球面的交点为B，得到向量CL与向量CO在平面P上的角平分线与角膜球面的交点为X′，具体为：

计算向量点积

和

若前者大，则X′点作为新的B点，反之X′点作为新的A点，根据上一步骤计算得到新的X′点，并与原来的X′点计算欧氏距离，当欧氏距离小于某一个设定阈值后(这个阈值应当近似于0)，则将该点作为反射点X，计算结束。若大于这个阈值，重复上述操作直至计算结束，以达到迭代优化的目的。

步骤5)中，在得到瞳孔特征和普尔钦斑的预测投影位置后，适当扩大若干个像素点的选区边缘，在选区内检测k时刻的对应特征，并更新卡尔曼滤波参数。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (6)

1.一种基于三维眼球模型和卡尔曼滤波的注视特征跟踪方法，包括下列步骤：

1)将眼动视频转换为序列帧，检测前一部分图像帧的眼动特征，包括瞳孔特征和普尔钦斑特征。

2)得到步骤1)中的特征信息后，将二维信息作为输入计算构建得到可靠的三维眼球模型。

3)计算上一图像帧在三维眼球模型中的眼球姿态，并作为卡尔曼滤波的初值，预测当前帧的眼球姿态。

4)基于三维眼球模型计算瞳孔和普尔钦斑在成像平面上的位置。

5)得到步骤4)的投影位置后，适当扩大选区边缘，在选区内检测当前帧的特征，并使用检测到的特征信息更新卡尔曼滤波参数。

6)重复上述步骤3)至5)，直至人眼视频帧序列输入结束。

2.如权利要求1所述的一种基于三维眼球模型和卡尔曼滤波的注视特征跟踪方法，其特征是，步骤2)中采用的是简化眼球模型，主体由两个半径不同的共轴球体组成，半径较小的是角膜，较大的是眼球，且角膜有固有的折射率。

3.如权利要求1所述的一种基于三维眼球模型和卡尔曼滤波的注视特征跟踪方法，其特征是，步骤3)中采用的卡尔曼滤波是一种高效的自回归滤波器，能够从一系列不完全及包含噪声的测量中估计动态系统的状态，利用前一时刻的状态来计算得到当前时刻下的状态的最优估计。

4.如权利要求3所述的一种基于三维眼球模型和卡尔曼滤波的注视特征跟踪方法，其特征是，卡尔曼滤波的系统过程模型和观测模型可以表示为：

x_k＝F·x_k+B·u_k+w_k (1)

z_k＝H·x_k+v_k (2)

其中x_k是k时刻的系统状态，u_k是k时刻对系统的控制量。z_k取k时刻的观测值，H是观测系统的参数。w_k和v_k分别表示过程和观测的噪声，它们的协方差分别是Q和R。

x_k这里设定为

共6个状态量，分别为仰角、方向角、仰角速度、方向角速度、仰角加速度和方向角加速度。z_k取状态量中的2个，设定为

卡尔曼滤波算法的操作包括两个阶段：预测与更新。

预测过程：假设k时刻为当前时刻，滤波器使用上一时刻即k-1时刻的状态的估计，做出对k时刻系统状态的估计。

更新过程：滤波器利用对k时刻状态的观测值，优化在预测阶段获得的预测值，并计算下一时刻即k+1时刻的估计值。

卡尔曼滤波预测估计方程：

x_(k|k-1)＝F·x_(k-1|k-1)+B·u_k (3)

P_(k|k-1)＝F·P_(k-1|k-1)·F^T+Q_k (4)

卡尔曼滤波更新修正过程：

K_k＝P_(k|k-1)·H^T·(H·P_(k|k-1)·H^T+R_k)^-1 (5)

x_(k|k)＝x_(k|k-1)+K_k·(z_k-H·x_(k|k-1)) (6)

P_(k|k)＝(I-K_k·H)·P_(k|k-1) (7)

其中，x_k|k-1是根据k-1时刻预测的k时刻结果，x_k-1|k-1是k-1时刻的最优结果，x_k|k是k时刻的最优结果，P_k|k-1是x_k|k-1对应的协方差，P_k-1|k-1是x_k-1|k-1对应的协方差，K_k是卡尔曼增益，I是单位矩阵。

5.如权利要求4所述的一种基于三维眼球模型和卡尔曼滤波的注视特征跟踪方法，其特征是，卡尔曼滤波的状态值为，其中仰角θ和方向角

是球坐标系中的构成要素，需要从笛卡尔坐标系转换过来，具体过程：

在三维眼球模型已构建的前提下，眼球中心在笛卡尔坐标系中的位置基本不变，设该点为v(x_s，y_s，z_s)，上一帧的瞳孔中心为点P(x_p，y_p，z_p)，以眼球中心为球坐标中心，得到瞳孔中心点P相对于眼球中心的坐标为P_s(x，y，z)＝(x_p-x_s，y_p-y_s，z_p-z_s)，点P_s在球坐标系下的坐标

这里在坐标系转换过程中进行了适当修改，转换方程表示为：

由于人类生理构造的原因，瞳孔转动只会发生在眼球中心的一侧，即瞳孔中心相对于眼球中心所处笛卡尔坐标系的z轴值均为同一个方向，这里将笛卡尔坐标系的z轴和y轴分别作为球坐标系的y轴和z轴，这样保证了

6.如权利要求1所述的一种基于三维眼球模型和卡尔曼滤波的注视特征跟踪方法，其特征是，步骤4)中的计算瞳孔和普尔钦斑在成像平面上的位置包括坐标系转换和计算投影两个阶段，具体为：

通过卡尔曼滤波得到当前k时刻的状态估计，需要将球坐标系下的

再转换到笛卡尔坐标下的P_s(x，y，z)，转换方程表示为：

y＝r cosθ (12)

通过P_s(x，y，z)和S(x_s，y_s，z_s)还原P(x_p，y_p，z_p)，进而计算瞳孔和普尔钦斑在成像平面上的位置。

瞳孔中心坐标和普尔钦斑从三维空间到二维平面上的投影关系应符合眼球成像规律。这里以小孔成像为例，则投影关系具体如下：

其中，(x，y，z)是三维空间中的点坐标，r_w和r_h分别为相机在x和y方向上的分辨率，f是相机焦距。

瞳孔投影到二维平面上的椭圆的长轴、短轴和倾角可通过三维眼球模型计算得到。

普尔钦斑是红外光源在人眼角膜上反射的亮斑。本发明使用一种迭代优化的方法去近似计算该点，具体方法为：

已知相机光心O、眼球中心S、已标定的LED光源位置L，通过卡尔曼滤波跟踪得到的光轴方向

角膜半径r，通过光轴方向可以计算出角膜中心C。根据这些已知条件要计算光源在角膜上的反射点X。根据反射原理，L、O、C和X四个点共面于P，

表示向量XL与向量n的夹角，

表示向量XO与向量n的夹角，这两个夹角相等，记作α。

设CL与角膜球面的交点为A，CO与角膜球面的交点为B，得到向量CL与向量CO在平面P上的角平分线与角膜球面的交点为X′，具体为：

计算向量点积

和

若前者大，则X′点作为新的B点，反之X′点作为新的A点，根据上一步骤计算得到新的X′点，并与原来的X′点计算欧氏距离，当欧氏距离小于某一个设定阈值后(这个阈值应当近似于0)，则将该点作为反射点X，计算结束。若大于这个阈值，重复上述操作直至计算结束，以达到迭代优化的目的。

Images