CN113128417A - 一种基于头部姿态的双区域眼动跟踪方法 - Google Patents

Abstract

本发明属于计算机视觉和眼动跟踪技术领域，更具体地，涉及一种基于头部姿态的双区域眼动跟踪方法。通过对用户头部姿态进行检测，快速识别出其视线朝向并更换眼动跟踪仪的标定参数，从而使屏幕式眼动仪快速有效地跟踪用户在“竖直”或“水平”方向的显示器上的注视点，从而可以获得用户在上述两个区域内的注视点坐标和视线轨迹。本发明的创新点在于，通过识别用户头部姿态进行检测，拓展了屏幕式眼动仪的跟踪区域。

Description

一种基于头部姿态的双区域眼动跟踪方法

技术领域

本发明属于计算机视觉和眼动跟踪技术领域，更具体地，涉及一种基于头部姿态的双区域眼动跟踪方法。

背景技术

眼动跟踪是一种新颖的人机交互方法，通过专业的眼动跟踪设备可以获取用户的瞳孔信息、注视点坐标以及用户的眼动行为数据。对上述眼动数据进行分析，既可以作为实时交互的控制信号实现人机交互的简单应用，也可以分析得到眼动数据中用户的感兴趣区域、分析用户的行为和心理。屏幕式眼动仪是一种常见的眼动跟踪设备，通过标定之后，它可以比较好地跟踪用户在电脑屏幕上的二维注视点，但它一般只能满足一块二维区域内的注视点跟踪需求。由于水平姿态的显示界面更加符合人的阅读和书写姿态，出现了一批使用水平或接近水平姿态屏幕的多媒体设备，如Puppy cube触控投影仪、微软SurfaceStudio，如果能够在有夹角的两个区域内实现无缝衔接的注视点跟踪，那么眼动跟踪技术将会为水平姿态显示器和投影仪等设备提供极具竞争优势的交互式人机体验。另外，在许多场合中，单一屏幕显示无法满足人们的需要，例如在证券交易所、商场监控部门、快餐厅的点取餐柜台都使用了多块显示屏幕。如果可以扩展眼动仪的跟踪范围，未来有助于实现基于用户注视点跟踪的多屏人机互动、特定信息展示等应用。因此本发明提出的一种兼顾水平区域和竖直区域的眼动跟踪方法具有一定的研究价值和应用前景。

发明内容

为此，本发明提出一种基于头部姿态的双区域眼动跟踪方法，该发明的内容是通过对用户头部姿态进行检测，快速识别出其视线朝向并更换眼动跟踪仪的标定参数，使屏幕式眼动仪快速有效地跟踪用户在“竖直”或“水平”方向的显示器上的注视点，从而可以获得用户在上述两个区域内的注视点坐标和视线轨迹。本发明的创新点在于，通过识别用户头部姿态进行检测，拓展了屏幕式眼动仪的跟踪区域。

为实现上述目的，本发明采用如下技术方案：

一种基于头部姿态的双区域眼动跟踪方法，包括以下步骤，

步骤S1，显示屏D₁上显示标定点C₁，C₂，…，C_n，用户注视D₁上标定点并进行眼动仪的标定，同时摄像头拍摄用户注视各个标定点时的面部图像，标定完成后，导出眼动仪的标定参数CP₁；

步骤S2，处理所述步骤S1中摄像头拍摄的图像，并识别出图像中用户的头部姿态角数据集X₁；

步骤S3，显示屏D₂上显示标定点C₁’，C₂’，…，C_n’，用户注视D₂上的标定点并进行眼动仪的标定，同时使用摄像头拍摄用户注视各个标定点时的面部图像，标定完成后，导出眼动仪的标定参数CP₂；

步骤S4，处理所述步骤S3中摄像头拍摄的图像，并识别出图像中用户的头部姿态角数据集X₂；

步骤S5，将步骤S2和步骤S4中头部姿态角数据集放入SVM模型中训练，得到视线朝向预测模型；

步骤S6，摄像头拍摄用户图像，识别头部姿态角并输入训练好的SVM模型，预测出用户的视线朝向，从而使用相应的标定参数，得到用户在相应屏幕上的注视点坐标。

本技术方案进一步的优化，所述显示屏D₁和D₂面向用户的夹角范围为[90°,180°]。

本技术方案进一步的优化，所述眼动仪的标定参数包括视线角度误差、左右眼角度误差、标定点像素坐标、标定的像素级误差等。

本技术方案进一步的优化，所述步骤S2和步骤S4中图像处理包括图像去噪、图像增强。

本技术方案进一步的优化，所述头部姿态角的识别方法如下：

步骤1，用人脸检测算法提取人脸图像，并进行关键特征点检测，特征点识别个数不少于七个；

步骤2，基于标准模型匹配的方法，将上述关键特征点与通用人脸模型进行对齐，得到图像中用户头部的旋转轴和旋转角度，构建用户头部的几何立体模型，并求解头部姿态角：θ_x为横滚角，θ_y为俯仰角，θ_z为偏航角；

步骤3，从上述人脸图像中提取双眼瞳孔位置坐标E₁、E₂，并计算出瞳孔到鼻尖点C距离的平均值d，将其添加到用户的头部姿态角数据集中，如果双眼瞳孔位置数据不完整，则应丢弃该组样本，

将上述样本特征整理成相同结构，整理后的特征结构如下：

X＝[θ_x θ_y θ_z d]^T。

本技术方案进一步的优化，所述步骤S2和步骤S4中，用户的头部姿态角数据集中的样本特征向量X结构如上所述，样本标签为用户注视朝向的类别，用-1和1表示。下面所述SVM模型的输入为X，输出为预测类别y。

本技术方案进一步的优化，所述SVM模型为：

SVM模型的优化目标为：

s.t.y⁽ⁱ⁾(w^Tx⁽ⁱ⁾+b)≥1-ξ_i,i＝1,...,m

ξ_i≥0,i＝1,...,m

其中，f(x)是为样本分类的表达式，y为预测的样本类别，ξ_i为松弛变量，C为惩罚因子。

本技术方案更进一步的优化，所述SVM模型引入拉格朗日乘子α、β，将最优化问题转化为对偶问题：

对上式求导并带入结果可得：

s.t.0≤α_i≤C,i＝1,...,m

该对偶问题需要满足的KKT条件是：

本技术方案更进一步的优化，所述α_i、α_j的更新如下：首先计算α_i、α_j的边界值，设H为上限值，L为下限值，计算方式如下：

设E_k＝f(x^(k))-y^(k),η＝2<x⁽ⁱ⁾,x^(j)>-<x⁽ⁱ⁾,x⁽ⁱ⁾>-<x^(j),x^(j)>

记

则更新后的α_i、α_j分别为：

α'_i＝α_i+y⁽ⁱ⁾y^(j)(α_j-α'_j)

所述w由以下公式求出：

本技术方案更进一步的优化，所述b更新，

设b₁＝b-E_i-y⁽ⁱ⁾(α'_i-α_i)<x⁽ⁱ⁾,x⁽ⁱ⁾>-y^(j)(α'_j-α_j)<x⁽ⁱ⁾,x^(j)>

b₂＝b-E_j-y⁽ⁱ⁾(α'_i-α_i)<x⁽ⁱ⁾,x^(j)>-y^(j)(α'_j-α_j)<x^(j),x^(j)>

则更新后的b为：

区别于现有技术，上述技术方案具有如下有益效果：

本发明通过引入用户的头部姿态参数，区分出用户注视不同的区域，从而扩展了屏幕式眼动跟踪仪的识别范围，可以根据用户需要实现双区域内的注视点跟踪和眼动信号相应，进一步可以用于基于眼动信号的虚拟键盘输入、多屏幕互动等应用场景。

附图说明

图1是本发明的基于头部姿态的双区域眼动跟踪的系统结构图；

图2是本发明的基于头部姿态的双区域眼动跟踪的逻辑框图；

图3是人脸关键点检测图；

图4是用户注视显示屏D1的效果图；

图5是用户注视显示屏D2的效果图。

具体实施方式

为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。

本发明提出了一种基于头部姿态的双区域眼动跟踪方法，如图1所示，为基于头部姿态的双区域眼动跟踪的系统结构图，是本发明优选一实施例的系统硬件组成。在该具体实施例中，眼动仪使用TheEyeTribe ET1000屏幕式眼动仪，摄像头使用逻辑C270摄像头。

参阅图2所示，为基于头部姿态的双区域眼动跟踪的逻辑框图。基于头部姿态的双区域眼动跟踪方法，包括如下步骤：

步骤S1，显示屏D₁上显示标定点C₁，C₂，…，C₉，用户注视D₁上标定点并进行眼动仪的标定，同时摄像头拍摄用户注视各个标定点时的面部图像。标定完成后，使用眼动仪开发人员工具软件导出眼动仪的标定参数CP₁。

步骤S2，处理所述步骤S1图像序列中的每一帧图像，识别出图像中用户的头部姿态角数据集X₁，并标记为第1类。

步骤S3，显示屏D₂上显示标定点C₁’，C₂’，…，C₉’，用户注视D₂上的标定点并进行眼动仪的标定，同时使用摄像头拍摄用户注视各个标定点时的面部图像。使用眼动仪开发人员工具软件导出眼动仪的标定参数CP₂。

步骤S4，处理所述步骤S3图像序列中的每一帧图像，识别出图像中用户的头部姿态角数据集X₂，并标记为第2类。

在保证眼动仪能够正常检测到用户眼部数据的前提下，步骤S1和步骤S3中的两显示屏D₁和D₂面向用户的夹角范围为[90°,180°]。步骤S1和步骤S3中，眼动仪的标定参数通过眼动仪开发人员工具软件导出，包括但不限于视线角度误差、左右眼角度误差、标定点像素坐标、标定的像素级误差。

步骤S2和步骤S4中，对用户图像进行图像去噪、图像增强等必要的预处理工作，为人脸图像提取和关键特征点检测提供前期准备。

步骤S2和步骤S4中，根据如下方法识别图像中用户的头部姿态角：

步骤1，用人脸检测算法提取人脸图像，并进行关键特征点检测，特征点识别个数不少于七个。如图3所示，为人脸关键点检测图，待匹配的关键特征点分别为眼角点A₁、A₂、A₃、A₄，嘴角特征点B₁、B₂和鼻尖点C。

步骤2，基于标准模型匹配的方法，将上述关键特征点与通用人脸模型进行对齐，可以快速得到图像中用户头部的旋转轴和旋转角度，构建用户头部的几何立体模型，并求解头部姿态角：

在上述几何立体模型的坐标系中，通过基于标准模型匹配的方法可以得到当前图像中用户头部的旋转轴和旋转角度，该旋转轴可用一个起点位于坐标系原点的单位向量进行表示。设用户头部绕旋转轴A(α_x,α_y,α_z)旋转的角度为β，建立四元数公式如下：

其中，w、x、y、z为四元数。

用户头部姿态角可以表示为：

θ_x＝atan2(2(wz+xy),1-2(y²+z²))

θ_y＝arcsin(2(wz-zx))

θ_z＝atan2(2(wx+yz),1-2(x²+y²))

其中，θ_x为横滚角，θ_y为俯仰角，θ_z为偏航角。

步骤3，为增强SVM模型对于视线朝向预测的准确性，从上述人脸图像中提取双眼瞳孔位置坐标E₁、E₂，并计算出瞳孔到鼻尖点C距离的平均值d，将其添加到用户的头部姿态角数据集中。如果双眼瞳孔位置数据不能完整得到，例如用户闭眼或者因用户转头导致眼睛被部分遮挡等情况，则应丢弃该组样本。

将上述样本特征整理成相同结构，以供训练使用，整理后的特征结构如下：

X＝[θ_x θ_y θ_z d]^T

步骤S2和步骤S4中，用户的头部姿态角数据集中的样本特征向量X结构如上所述，样本标签为用户注视朝向的类别，用-1和1表示。下面所述SVM模型的输入为X，输出为预测类别y。

步骤S5，将头部姿态角数据集放入SVM模型中训练，得到视线朝向预测模型。

步骤S5中，使用上述头部姿态角数据集训练SVM模型，输出结果为用户当前视线朝向的类别，并保存训练后的模型数据。

SVM模型为：

模型的优化目标为：

s.t.y⁽ⁱ⁾(w^Tx⁽ⁱ⁾+b)≥1-ξ_i,i＝1,...,m

ξ_i≥0,i＝1,...,m

其中，f(x)是为样本分类的表达式，y为预测的样本类别，ξ_i为松弛变量，C为惩罚因子。引入松弛变量和惩罚因子可以提高SVM模型对于离群样本的包容程度，从而提高模型的泛化能力。

考虑约束条件，引入拉格朗日乘子α、β，将最优化问题转化为对偶问题：

对上式求导并带入结果可得：

s.t.0≤α_i≤C,i＝1,...,m

该对偶问题需要满足的KKT条件是：

通过以下公式更新α_i、α_j：

首先计算α_i、α_j的边界值。设H为上限值，L为下限值，计算方式如下：

设E_k＝f(x^(k))-y^(k),η＝2<x⁽ⁱ⁾,x^(j)>-<x⁽ⁱ⁾,x⁽ⁱ⁾>-<x^(j),x^(j)>

记

则更新后的α_i、α_j分别为：

α'_i＝α_i+y⁽ⁱ⁾y^(j)(α_j-α'_j)

所述w由以下公式求出：

通过以下公式更新b：

设b₁＝b-E_i-y⁽ⁱ⁾(α'_i-α_i)<x⁽ⁱ⁾,x⁽ⁱ⁾>-y^(j)(α'_j-α_j)<x⁽ⁱ⁾,x^(j)>

b₂＝b-E_j-y⁽ⁱ⁾(α'_i-α_i)<x⁽ⁱ⁾,x^(j)>-y^(j)(α'_j-α_j)<x^(j),x^(j)>

则更新后的b为：

步骤S6，摄像头拍摄用户图像，识别头部姿态角并输入训练好的SVM模型，预测出用户的视线朝向，从而使用相应的标定参数，得到用户在相应屏幕上的注视点坐标。

SVM模型训练完成后，立即用于识别用户的视线朝向，标志着本系统的准备工作完成。用户使用时，如图4和图5所示，分别为用户注视显示屏D₁的效果图和用户注视显示屏D₂的效果图。首先摄像头拍摄用户脸部图像，对用户图像进行预处理工作，然后采用步骤1至步骤3，计算出用户的头部姿态角数据并放入训练好的SVM模型中，从而得到用户视线朝向分类。对比当前帧与上一帧的用户视线朝向分类，如果类别相同则直接给出注视点坐标；如果类别不同，则使用当前视线朝向类别对应的眼动仪标定参数，即可得到用户在当前区域的注视点坐标。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括……”或“包含……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。此外，在本文中，“大于”、“小于”、“超过”等理解为不包括本数；“以上”、“以下”、“以内”等理解为包括本数。

尽管已经对上述各实施例进行了描述，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改，所以以上所述仅为本发明的实施例，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围之内。

Claims (9)

1.一种基于头部姿态的双区域眼动跟踪方法，其特征在于，包括以下步骤，

步骤S1，显示屏D₁上显示标定点C₁，C₂，…，C_n，用户注视D₁上标定点并进行眼动仪的标定，同时摄像头拍摄用户注视各个标定点时的面部图像，标定完成后，导出眼动仪的标定参数CP₁；

步骤S2，处理所述步骤S1中摄像头拍摄的图像，并识别出图像中用户的头部姿态角数据集X₁；

步骤S3，显示屏D₂上显示标定点C₁’，C₂’，…，C_n’，用户注视D₂上的标定点并进行眼动仪的标定，同时使用摄像头拍摄用户注视各个标定点时的面部图像，标定完成后，导出眼动仪的标定参数CP₂；

步骤S4，处理所述步骤S3中摄像头拍摄的图像，并识别出图像中用户的头部姿态角数据集X₂；

步骤S5，将步骤S2和步骤S4中头部姿态角数据集放入SVM模型中训练，得到视线朝向预测模型；

步骤S6，摄像头拍摄用户图像，识别头部姿态角并输入训练好的SVM模型，预测出用户的视线朝向，从而使用相应的标定参数，得到用户在相应屏幕上的注视点坐标。

2.如权利要求1所述的基于头部姿态的双区域眼动跟踪方法，其特征在于，所述显示屏D₁和D₂面向用户的夹角范围为[90°,180°]。

3.如权利要求1所述的基于头部姿态的双区域眼动跟踪方法，其特征在于，所述眼动仪的标定参数包括视线角度误差、左右眼角度误差、标定点像素坐标、标定的像素级误差等。

4.如权利要求1所述的基于头部姿态的双区域眼动跟踪方法，其特征在于，所述步骤S2和步骤S4中图像处理包括图像去噪、图像增强。

5.如权利要求1所述的基于头部姿态的双区域眼动跟踪方法，其特征在于，所述头部姿态角的识别方法如下：

步骤1，用人脸检测算法提取人脸图像，并进行关键特征点检测，特征点识别个数不少于七个；

步骤2，基于标准模型匹配的方法，将上述关键特征点与通用人脸模型进行对齐，得到图像中用户头部的旋转轴和旋转角度，构建用户头部的几何立体模型，并求解头部姿态角：θ_x为横滚角，θ_y为俯仰角，θ_z为偏航角；

步骤3，从上述人脸图像中提取双眼瞳孔位置坐标E₁、E₂，并计算出瞳孔到鼻尖点C距离的平均值d，将其添加到用户的头部姿态角数据集中，如果双眼瞳孔位置数据不完整，则应丢弃该组样本，

将上述样本特征整理成相同结构，整理后的特征结构如下：

X＝[θ_x θ_y θ_z d]^T。

6.如权利要求1所述的基于头部姿态的双区域眼动跟踪方法，其特征在于，所述SVM模型为：

f(x)＝w^Tx+b，

SVM模型的优化目标为：

s.t.y⁽ⁱ⁾(w^Tx⁽ⁱ⁾+b)≥1-ξ_i,i＝1,...,m

ξ_i≥0,i＝1,...,m

其中，f(x)是为样本分类的表达式，y为预测的样本类别，ξ_i为松弛变量，C为惩罚因子。

7.如权利要求6所述的基于头部姿态的双区域眼动跟踪方法，其特征在于，所述SVM模型引入拉格朗日乘子α、β，将最优化问题转化为对偶问题：

对上式求导并带入结果可得：

s.t.0≤α_i≤C,i＝1,...,m

该对偶问题需要满足的KKT条件是：

8.如权利要求7所述的基于头部姿态的双区域眼动跟踪方法，其特征在于，所述α_i、α_j的更新如下，：首先计算α_i、α_j的边界值，设H为上限值，L为下限值，计算方式如下：

设E_k＝f(x^(k))-y^(k),η＝2<x⁽ⁱ⁾,x^(j)>-<x⁽ⁱ⁾,x⁽ⁱ⁾>-<x^(j),x^(j)>

记

则更新后的α_i、α_j分别为：

α'_i＝α_i+y⁽ⁱ⁾y^(j)(α_j-α'_j)

所述w由以下公式求出：

9.如权利要求7所述的基于头部姿态的双区域眼动跟踪方法，其特征在于，所述b更新，设b₁＝b-E_i-y⁽ⁱ⁾(α'_i-α_i)<x⁽ⁱ⁾,x⁽ⁱ⁾>-y^(j)(α'_j-α_j)<x⁽ⁱ⁾,x^(j)>

b₂＝b-E_j-y⁽ⁱ⁾(α'_i-α_i)<x⁽ⁱ⁾,x^(j)>-y^(j)(α'_j-α_j)<x^(j),x^(j)>

则更新后的b为：

Images