CN116166115A - 眼动追踪方法、装置、设备、存储介质及芯片 - Google Patents

Abstract

本公开是关于一种眼动追踪方法、装置、设备、存储介质及芯片，该方法应用于具有肌电信号传感器的眼动追踪设备，该方法包括：基于预设眼动追踪方式获取使用者的初始预测注视点坐标；将所述初始预测注视点坐标输入至预先拟合的薄板样条插值函数，得到目标插值点坐标；其中，薄板样条插值函数包括在基于眼部肌电信号判定所述眼动追踪设备满足眼动追踪校准条件后所拟合的函数，眼部肌电信号包括基于肌电信号传感器采集的使用者的眼部区域的表面肌电信号；基于所述目标插值点坐标确定所述使用者的实际预测注视点。本公开可实现自动触发对眼动追踪设备的校准，使眼动追踪设备确定的实际预测注视点更靠近使用者的真实注视点，可提高眼动追踪的准确性。

Description

眼动追踪方法、装置、设备、存储介质及芯片

技术领域

本公开涉及眼动追踪技术领域，尤其涉及一种眼动追踪方法、装置、设备、存储介质及芯片。

背景技术

眼动追踪技术是研究和利用眼球动作的一种重要手段，其主要是研究眼球运动信息的获取、建模和模拟等，基于该技术可以确定人眼关注的焦点，从而可以分析人的行为和意识。目前眼动追踪技术己广泛应用于人机交互、体育运动、购物场景等领域。

相关技术中，考虑到使用者眼部的独特性，因而通常会在眼动追踪设备使用前对眼动追踪设备进行校准，以利用使用者的个人校准系数或眼部结构特征来提高眼动追踪设备的追踪精度。然而，随着长时间使用，眼动追踪设备容易出现校准漂移问题，即眼动追踪设备所预测出的注视点相对于用户的真实注视点(ground truth)出现一定偏差，无法满足用户对眼动追踪准确度的要求。

发明内容

为克服相关技术中存在的问题，本公开实施例提供一种眼动追踪方法、装置、设备、存储介质及芯片，用以解决相关技术中的缺陷。

根据本公开实施例的第一方面，提供一种眼动追踪方法，应用于具有肌电信号传感器的眼动追踪设备，所述方法包括：

基于预设眼动追踪方式获取使用者的初始预测注视点坐标；

将所述初始预测注视点坐标输入至预先拟合的薄板样条插值函数，得到目标插值点坐标，所述薄板样条插值函数包括在基于眼部肌电信号判定所述眼动追踪设备满足眼动追踪校准条件后所拟合的函数，所述眼部肌电信号包括基于所述肌电信号传感器采集的所述使用者的眼部区域的表面肌电信号；

基于所述目标插值点坐标确定所述使用者的实际预测注视点。

在一些实施例中，所述方法还包括基于以下方式判定所述眼动追踪设备满足眼动追踪校准条件：

在所述使用者的眼睛转动至注视第一注视点的过程中，获取所述肌电信号传感器采集的所述使用者的眼部肌电信号；

基于所述眼部肌电信号确定所述第一注视点的第一预测注视点坐标；

响应于所述第一预测注视点坐标与第二预测注视点坐标之间的距离大于或等于设定距离阈值，判定所述眼动追踪设备满足眼动追踪校准条件，所述第二预测注视点坐标基于所述预设眼动追踪方式获取。

在一些实施例中，所述基于所述眼部肌电信号确定所述第一注视点的第一预测注视点坐标，包括：

基于所述眼部肌电信号确定所述使用者在所述过程中的眼动方向以及眼睛转动角度；

基于所述眼睛转动角度和目标平面距离确定所述使用者在所述过程中的眼动距离，所述目标平面距离包括所述使用者与眼动追踪平面之间的距离；

基于所述眼动距离和所述眼动方向确定所述第一注视点的第一预测注视点坐标。

在一些实施例中，所述基于所述眼部肌电信号确定所述使用者在所述过程中的眼动方向，包括：

对所述眼部肌电信号进行特征提取，得到肌电信号特征；

将所述肌电信号特征输入预先训练的分类模型，得到所述使用者在所述过程中的眼动方向。

在一些实施例中，所述基于所述眼部肌电信号确定所述使用者在所述过程中的眼睛转动角度，包括：

将所述眼部肌电信号输入预先确定的映射关系函数，得到所述使用者在所述过程中的眼睛转动角度。

在一些实施例中，所述方法还包括预先基于以下方式拟合所述薄板样条插值函数：

将所述第一预测注视点坐标和所述第二预测注视点坐标分别作为控制点的坐标和对应的插值点的坐标，拟合所述薄板样条插值函数。

根据本公开实施例的第二方面，提供一种眼动追踪装置，应用于具有肌电信号传感器的眼动追踪设备，所述装置包括：

初始预测坐标获取模块，用于基于预设眼动追踪方式获取使用者的初始预测注视点坐标；

目标插值坐标获取模块，用于将所述初始预测注视点坐标输入至预先拟合的薄板样条插值函数，得到目标插值点坐标，所述薄板样条插值函数包括在基于眼部肌电信号判定所述眼动追踪设备满足眼动追踪校准条件后所拟合的函数，所述眼部肌电信号包括基于所述肌电信号传感器采集的所述使用者的眼部区域的表面肌电信号；

实际预测坐标确定模块，用于基于所述目标插值点坐标确定所述使用者的实际预测注视点。

在一些实施例中，所述装置还包括校准条件判断模块；

所述校准条件判断模块，包括：

肌电信号获取单元，用于在所述使用者的眼睛转动至注视第一注视点的过程中，获取所述肌电信号传感器采集的所述使用者的眼部肌电信号；

第一坐标确定单元，用于基于所述眼部肌电信号确定所述第一注视点的第一预测注视点坐标；

校准条件判断单元，用于响应于所述第一预测注视点坐标与第二预测注视点坐标之间的距离大于或等于设定距离阈值，判定所述眼动追踪设备满足眼动追踪校准条件，所述第二预测注视点坐标基于所述预设眼动追踪方式获取。

在一些实施例中，所述第一坐标确定单元还用于：

基于所述眼部肌电信号确定所述使用者在所述过程中的眼动方向以及眼睛转动角度；

基于所述眼睛转动角度和目标平面距离确定所述使用者在所述过程中的眼动距离，所述目标平面距离包括所述使用者与眼动追踪平面之间的距离；

基于所述眼动距离和所述眼动方向确定所述第一注视点的第一预测注视点坐标。

在一些实施例中，所述第一坐标确定单元还用于：

对所述眼部肌电信号进行特征提取，得到肌电信号特征；

将所述肌电信号特征输入预先训练的分类模型，得到所述使用者在所述过程中的眼动方向。

在一些实施例中，所述第一坐标确定单元还用于：

将所述眼部肌电信号输入预先确定的映射关系函数，得到所述使用者在所述过程中的眼睛转动角度。

在一些实施例中，所述装置还包括：

插值函数拟合模块，用于将所述第一预测注视点坐标和所述第二预测注视点坐标分别作为控制点的坐标和对应的插值点的坐标，拟合所述薄板样条插值函数。

根据本公开实施例的第三方面，提供一种眼动追踪设备，所述设备包括：

肌电信号传感器、处理器以及用于存储计算机程序的存储器；

其中，所述肌电信号传感器用于采集使用者的眼部区域的表面肌电信号；

所述处理器被配置为在执行所述计算机程序时，实现：

基于预设眼动追踪方式获取使用者的初始预测注视点坐标；

将所述初始预测注视点坐标输入至预先拟合的薄板样条插值函数，得到目标插值点坐标，所述薄板样条插值函数包括在基于眼部肌电信号判定所述眼动追踪设备满足眼动追踪校准条件后所拟合的函数，所述眼部肌电信号包括基于所述肌电信号传感器采集的所述使用者的眼部区域的表面肌电信号；

基于所述目标插值点坐标确定所述使用者的实际预测注视点。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被具有肌电信号传感器的眼动追踪设备的处理器执行时实现：

基于预设眼动追踪方式获取使用者的初始预测注视点坐标；

将所述初始预测注视点坐标输入至预先拟合的薄板样条插值函数，得到目标插值点坐标，所述薄板样条插值函数包括在基于眼部肌电信号判定所述眼动追踪设备满足眼动追踪校准条件后所拟合的函数，所述眼部肌电信号包括基于所述肌电信号传感器采集的所述使用者的眼部区域的表面肌电信号；

基于所述目标插值点坐标确定所述使用者的实际预测注视点。

根据本公开实施例的第五方面，提供一种芯片，包括：

处理器和接口；

所述处理器用于通过接口读取指令以执行上述任一项所述的眼动追踪方法。

本公开的实施例提供的技术方案可以包括以下有益效果：

本公开通过基于预设眼动追踪方式获取使用者的初始预测注视点坐标，并将所述初始预测注视点坐标输入至预先拟合的薄板样条插值函数，得到目标插值点坐标，所述薄板样条插值函数包括在基于眼部肌电信号判定所述眼动追踪设备满足眼动追踪校准条件后所拟合的函数，所述眼部肌电信号包括基于所述肌电信号传感器采集的所述使用者的眼部区域的表面肌电信号，进而基于所述目标插值点坐标确定所述使用者的实际预测注视点，由于薄板样条插值函数的特性，即拟合函数时采用的一个控制点的变化可以带动周围的非控制点发生不同程度的非刚性变化，因而实际预测注视点的坐标会随着初始预测注视点坐标的变化发生不同程度的位移，因而可以使实际预测注视点更加靠近使用者的真实注视点(ground truth)，从而可以提高眼动追踪的准确性，并且由于是基于眼部肌电信号判定所述眼动追踪设备满足眼动追踪校准条件后再拟合薄板样条插值函数，可以实现在眼动追踪设备使用过程中自动判断是否满足校准条件，进而在判定满足校准条件后自动触发对眼动追踪设备的校准，即对薄板样条插值函数的重新拟合，而无需用户手动触发校准流程，而且由于无需修改预设眼动追踪方式的算法程序，因而可以适用于各种预设眼动追踪方式，具有较强的灵活性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据本公开一示例性实施例示出的一种眼动追踪方法的流程图；

图2是根据本公开一示例性实施例示出的如何判定所述眼动追踪设备满足眼动追踪校准条件的流程图；

图3是根据本公开一示例性实施例示出的如何基于所述眼部肌电信号确定所述第一注视点的第一预测注视点坐标的流程图；

图4是根据本公开又一示例性实施例示出的如何基于所述眼部肌电信号确定所述使用者在所述过程中的眼动方向的流程图；

图5是根据本公开一示例性实施例示出的一种眼动追踪装置的框图；

图6是根据本公开又一示例性实施例示出的一种眼动追踪装置的框图；

图7是根据本公开一示例性实施例示出的一种眼动追踪设备的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施例并不代表与本公开相一致的所有实施例。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种眼动追踪方法的流程图；本实施例的方法可以应用于具有肌电信号传感器的眼动追踪设备(如，智能眼镜、智能头盔等可穿戴式电子设备等)。

如图1所示，该方法包括以下步骤S101-S103：

在步骤S101中，基于预设眼动追踪方式获取使用者的初始预测注视点坐标。

本实施例中，当用户佩戴眼动追踪设备并开启眼动追踪功能后，该设备可以基于预设眼动追踪方式获取使用者的初始预测注视点坐标。

其中，上述预设眼动追踪方式可以基于实际业务需要进行设置，如设置为相关技术中的基于角膜反射法的眼动追踪方式等，本实施例对此不进行限定。

举例来说，上述基于预设眼动追踪方式获取使用者的初始预测注视点坐标，可以包括基于前景摄像头获取使用者眼前的前景图像，并基于眼动传感器(图，图像采集模块等)采集用户的眼动数据(如，使用者的眼睛图像)，进而可以基于角膜反射法对该前景图像以及眼动数据进行分析，得到使用者的初始预测注视点坐标。具体分析过程可以参见相关技术中关于角膜反射法的描述，本实施例对此不进行限定。

值得说明的是，除上述基于角膜反射法的眼动追踪方式外，在实际实施本实施例过程中还可以基于需要采用其他眼动追踪方式，所得的使用者的初始预测注视点坐标同样适用于本实施例的后续步骤。

在步骤S102中，将所述初始预测注视点坐标输入至预先拟合的薄板样条插值函数，得到目标插值点坐标。

本实施例中，当基于预设眼动追踪方式获取使用者的初始预测注视点坐标后，可以将所述初始预测注视点坐标输入至预先拟合的薄板样条插值函数，得到目标插值点坐标。

其中，所述薄板样条插值函数包括在基于眼部肌电信号判定所述眼动追踪设备满足眼动追踪校准条件后所拟合的函数，且初始预测注视点坐标可以作为上述薄板样条插值函数的自变量，目标插值点坐标则可以作为上述薄板样条插值函数的相应因变量，而上述眼部肌电信号包括基于眼动追踪设备的肌电信号传感器采集的使用者的眼部区域的表面肌电信号(sEMG)，即人体眼部区域的表面肌肉通过收缩产生的生物电流。

也即是说，本实施例中可以基于眼动追踪设备的肌电信号传感器采集使用者的眼部区域的表面肌电信号，再基于眼部肌电信号判定所述眼动追踪设备是否满足眼动追踪校准条件，进而当判定所述眼动追踪设备满足眼动追踪校准条件后，通过重新拟合薄板样条插值函数来实现眼动追踪设备的重校准(即，相对于眼动追踪设备的初始校准而言，上述重新拟合薄板样条插值函数的校准过程属于重校准)，进而可以实现后续基于上述重新拟合的薄板样条插值函数来确定所述使用者的实际预测注视点。

值得说明的是，薄板样条插值函数具有如下特性，即拟合函数时采用的一个控制点的变化可以带动周围的非控制点发生不同程度的非刚性变化，因而实际预测注视点的坐标会随着初始预测注视点坐标的变化发生不同程度的位移，因而可以使实际预测注视点更加靠近使用者的真实注视点(ground truth)，从而可以提高眼动追踪的准确性。

在一些实施例中，上述薄板样条插值函数可以基于眼动追踪设备的肌电信号传感器所采集的使用者的眼部区域的表面肌电信号来拟合，具体的拟合过程可以参见下述图2所示实施例，在此先不进行详述。

在步骤S103中，基于所述目标插值点坐标确定所述使用者的实际预测注视点。

本实施例中，当将所述初始预测注视点坐标输入至预先拟合的薄板样条插值函数，得到目标插值点坐标后，可以基于所述目标插值点坐标确定所述使用者的实际预测注视点。例如，可以将所述目标插值点的坐标确定为使用者的实际预测注视点的坐标，即将上述目标插值点确定为使用者的眼动追踪结果。

由上述描述可知，本实施例的方法通过基于预设眼动追踪方式获取使用者的初始预测注视点坐标，并将所述初始预测注视点坐标输入至预先拟合的薄板样条插值函数，得到目标插值点坐标，进而基于所述目标插值点坐标确定所述使用者的实际预测注视点，由于薄板样条插值函数的特性，即拟合函数时采用的一个控制点的变化可以带动周围的非控制点发生不同程度的非刚性变化，因而实际预测注视点的坐标会随着初始预测注视点坐标的变化发生不同程度的位移，因而可以使实际预测注视点更加靠近使用者的真实注视点(ground truth)，从而可以提高眼动追踪的准确性，并且由于是基于眼部肌电信号判定所述眼动追踪设备满足眼动追踪校准条件后再拟合薄板样条插值函数，可以实现在眼动追踪设备使用过程中自动判断是否满足校准条件，进而在判定满足校准条件后自动触发对眼动追踪设备的校准，即对薄板样条插值函数的重新拟合，而无需用户手动触发校准流程，而且由于无需修改预设眼动追踪方式的算法程序，因而可以适用于各种预设眼动追踪方式，具有较强的灵活性。

图2是根据本公开一示例性实施例示出的如何判定所述眼动追踪设备满足眼动追踪校准条件的流程图；本实施例在上述实施例的基础上以如何判定所述眼动追踪设备满足眼动追踪校准条件为例进行示例性说明。

如图2所示，本实施例的眼动追踪方法还可以包括基于以下步骤S201-S203判定所述眼动追踪设备满足眼动追踪校准条件：

在步骤S201中，在所述使用者的眼睛转动至注视第一注视点的过程中，获取所述肌电信号传感器采集的所述使用者的眼部肌电信号。

举例来说，当眼动追踪设备开机并进行初步校准后，当使用者转动眼睛至注视一个注视点(为了便于区分，将该注视点称为“第一注视点”)，肌电传感器可以采集该眼睛转动过程中使用者的眼部肌电信号。

在步骤S202中，基于所述眼部肌电信号确定所述第一注视点的第一预测注视点坐标。

本实施例中，当获取所述肌电信号传感器采集的所述使用者的眼部肌电信号后，可以基于所述眼部肌电信号确定所述第一注视点的第一预测注视点坐标。

举例来说，当获取上述眼部肌电信号后，可以将该眼部肌电信号输入至预先训练的注视点坐标预测模型中，得到上述第一注视点的第一预测注视点坐标。其中，上述注视点坐标预测模型可以预先基于样本眼部肌电信号进行训练，具体训练方式可以基于实际业务需要从相关技术中进行选取，本实施例对此不进行限定。

在另一实施例中，上述基于所述眼部肌电信号确定所述第一注视点的第一预测注视点坐标的方式还可以参见下述图3所示实施例，在此先不进行详述。

在步骤S203中，响应于所述第一预测注视点坐标与第二预测注视点坐标之间的距离大于或等于设定距离阈值，判定所述眼动追踪设备满足眼动追踪校准条件。

本实施例中，在使用者的眼睛转动至注视第一注视点时，还可以基于上述实施例中的预设眼动追踪方式获取上述第一注视点的第二预测注视点坐标，在此基础上，可以检测所述第一预测注视点坐标与第二预测注视点坐标之间的距离，并将该距离由设定距离阈值进行比较，进而当检测到该距离大于或等于设定距离阈值时，判定所述眼动追踪设备满足眼动追踪校准条件。

其中，上述设定距离阈值基于业务经验或实际应用场景的需求进行灵活设置，本实施例对此不进行限定。

在此基础上，当判定所述眼动追踪设备满足眼动追踪校准条件后，则可以将所述第一预测注视点坐标和所述第二预测注视点坐标分别作为控制点的坐标和对应的插值点的坐标，拟合所述薄板样条插值函数。

其中，基于控制点的坐标和对应的插值点的坐标拟合薄板样条插值函数的具体方式可以参见相关技术中的解释说明，如代入基于控制点的坐标和对应的插值点的坐标计算薄板样条插值函数的相关参数的数值，从而可以实现对薄板样条插值函数的拟合操作。

值得说明的是，上述拟合薄板样条插值函数过程中所采用的第一注视点的数量可以为一个、二个或多个，本实施例中对此不进行限定。

由上述描述可知，本实施例通过在所述使用者的眼睛转动至注视第一注视点的过程中，获取所述肌电信号传感器采集的所述使用者的眼部肌电信号，并基于所述眼部肌电信号确定所述第一注视点的第一预测注视点坐标，进而响应于所述第一预测注视点坐标与第二预测注视点坐标之间的距离大于或等于设定距离阈值，判定所述眼动追踪设备满足眼动追踪校准条件，可以实现准确地判定所述眼动追踪设备满足眼动追踪校准条件，进而可以实现后续当判定所述眼动追踪设备满足眼动追踪校准条件后，通过重新拟合薄板样条插值函数来实现眼动追踪设备的重校准，进而可以实现后续基于上述重新拟合的薄板样条插值函数来确定所述使用者的实际预测注视点，可以提高眼动追踪的准确性，并且无需用户手动触发校准流程。

图3是根据本公开一示例性实施例示出的如何基于所述眼部肌电信号确定所述第一注视点的第一预测注视点坐标的流程图；本实施例在上述实施例的基础上以如何基于所述眼部肌电信号确定所述第一注视点的第一预测注视点坐标为例进行示例性说明。

如图3所示，上述步骤S202中所述的基于所述眼部肌电信号确定所述第一注视点的第一预测注视点坐标，可以包括以下步骤S301-S303：

在步骤S301中，基于所述眼部肌电信号确定所述使用者在所述过程中的眼动方向以及眼睛转动角度。

本实施例中，当获取所述肌电信号传感器采集的所述使用者的眼部肌电信号后，可以基于所述眼部肌电信号确定所述使用者在所述过程中的眼动方向以及眼睛转动角度。

举例来说，可以预先根据样本数据确定眼部肌电信号与眼睛转动角度之间的映射关系函数，进而可以基于该映射关系函数以及当前采集的眼部肌电信号，确定眼睛转动角度。也即是说，眼部肌电信号与眼睛转动角度之间是具有相关性地，眼部肌电信号的信号强度越大，则表明眼睛转动角度。因而可以基于一些样本数据(如，样本眼部肌电信号以及样本眼睛转动角度等)来确定映射关系函数的相关参数，从而得到用于根据眼部肌电信号计算眼睛转动角度的映射关系函数。

在另一些实施例中，上述基于所述眼部肌电信号确定所述使用者在所述过程中的眼动方向的方式还可以参见下述图4所示实施例，在此先不进行详述。

在步骤S302中，基于所述眼睛转动角度和目标平面距离确定所述使用者在所述过程中的眼动距离。

本实施例中，当基于所述眼部肌电信号确定所述使用者在所述过程中的眼动方向以及眼睛转动角度后，可以基于所述眼睛转动角度和目标平面距离确定所述使用者在所述过程中的眼动距离。

其中，该目标平面距离包括上述使用者与眼动追踪平面(如，使用者基于眼动追踪设备所观看到的应用场景中的平面)之间的距离。

在步骤S303中，基于所述眼动距离和所述眼动方向确定所述第一注视点的第一预测注视点坐标。

本实施例中，当基于所述眼睛转动角度和目标平面距离确定所述使用者在所述过程中的眼动距离后，可以基于所述眼动距离和所述眼动方向确定所述第一注视点的第一预测注视点坐标。

在一些实施例中，当确定上述使用者在眼睛转动至注视第一注视点的过程中的眼动距离后，可以基于该眼动距离和眼动方向，结合相关技术中的几何算法，在眼动追踪平面的坐标系中确定上述第一注视点的第一预测注视点坐标。

由上述描述可知，本实施例通过基于所述眼部肌电信号确定所述使用者在所述过程中的眼动方向以及眼睛转动角度，并基于所述眼睛转动角度和目标平面距离确定所述使用者在所述过程中的眼动距离，进而基于所述眼动距离和所述眼动方向确定所述第一注视点的第一预测注视点坐标，可以实现准确地基于所述眼部肌电信号确定所述第一注视点的第一预测注视点坐标，进而可以实现后续准确地判定所述眼动追踪设备满足眼动追踪校准条件。

图4是根据本公开又一示例性实施例示出的如何基于所述眼部肌电信号确定所述使用者在所述过程中的眼动方向的流程图；本实施例在上述实施例的基础上以如何基于所述眼部肌电信号确定所述使用者在所述过程中的眼动方向为例进行示例性说明。

如图4所示，上述步骤S301中所述的基于所述眼部肌电信号确定所述使用者在所述过程中的眼动方向，可以包括以下步骤S401-S402：

在步骤S401中，对所述眼部肌电信号进行特征提取，得到肌电信号特征。

本实施例中，当获取所述肌电信号传感器采集的所述使用者的眼部肌电信号后，可以对所述眼部肌电信号进行特征提取，得到肌电信号特征。

在一些实施例中，上述肌电信号特征的类型可以基于实际业务经验以及相关应用场景的需求进行灵活设置，如设置为时域特征和/或频域特征等。

示例性地，上述时域特征可以包括上述眼部肌电信号的平均值、最大值、最小值、方差、积分、标准差、均方根中的至少一项。

上述频域特征可以包括上述眼部肌电信号的频域信息中的中位频率等。

在步骤S402中，将所述肌电信号特征输入预先训练的分类模型，得到所述使用者在所述过程中的眼动方向。

本实施例中，当对所述眼部肌电信号进行特征提取，得到肌电信号特征后，可以将所述肌电信号特征输入预先训练的分类模型，得到所述使用者在所述过程中的眼动方向。

其中，上述预先训练的分类模型可以包括预先基于样本眼部肌电信号的样本肌电信号特征(所提取特征的类型与步骤S401中相同)以及使用者的已知眼动方向训练的分类模型。该分类模型的输入为眼部肌电信号，输出为眼动方向，如向上、向下、向左、向右等八种眼动方向。

值得说明的是，上述分类模块的种类可以基于实际场景需求进行灵活设置，如设置为朴素贝叶斯网络模型等，本实施例对此不进行限定。

由上述描述可知，本实施例通过对所述眼部肌电信号进行特征提取，得到肌电信号特征，并将所述肌电信号特征输入预先训练的分类模型，得到所述使用者在所述过程中的眼动方向，可以实现后续基于所述眼动距离和所述眼动方向确定所述第一注视点的第一预测注视点坐标，进而可以实现基于第一预测注视点坐标判断眼动追踪设备是否满足眼动追踪校准条件，以及基于第一预测注视点坐标对薄板样条插值函数进行重拟合，实现对眼动追踪设备的重校准。

图5是根据本公开一示例性实施例示出的一种眼动追踪装置的框图；本实施例的装置可以应用于具有肌电信号传感器的眼动追踪设备(如，智能眼镜、智能头盔等可穿戴式电子设备等)。如图5所示，该装置包括：初始预测坐标获取模块110、目标插值坐标获取模块120以及实际预测坐标确定模块130，其中：

初始预测坐标获取模块110，用于基于预设眼动追踪方式获取使用者的初始预测注视点坐标；

目标插值坐标获取模块120，用于将所述初始预测注视点坐标输入至预先拟合的薄板样条插值函数，得到目标插值点坐标，所述薄板样条插值函数包括在基于眼部肌电信号判定所述眼动追踪设备满足眼动追踪校准条件后所拟合的函数，所述眼部肌电信号包括基于所述肌电信号传感器采集的所述使用者的眼部区域的表面肌电信号；

实际预测坐标确定模块130，用于基于所述目标插值点坐标确定所述使用者的实际预测注视点。

由上述描述可知，本实施例的装置通过基于预设眼动追踪方式获取使用者的初始预测注视点坐标，并将所述初始预测注视点坐标输入至预先拟合的薄板样条插值函数，得到目标插值点坐标，所述薄板样条插值函数包括在基于眼部肌电信号判定所述眼动追踪设备满足眼动追踪校准条件后所拟合的函数，所述眼部肌电信号包括基于所述肌电信号传感器采集的所述使用者的眼部区域的表面肌电信号，进而基于所述目标插值点坐标确定所述使用者的实际预测注视点，由于薄板样条插值函数的特性，即拟合函数时采用的一个控制点的变化可以带动周围的非控制点发生不同程度的非刚性变化，因而实际预测注视点的坐标会随着初始预测注视点坐标的变化发生不同程度的位移，因而可以使实际预测注视点更加靠近使用者的真实注视点(ground truth)，从而可以提高眼动追踪的准确性，并且由于是基于眼部肌电信号判定所述眼动追踪设备满足眼动追踪校准条件后再拟合薄板样条插值函数，可以实现在眼动追踪设备使用过程中自动判断是否满足校准条件，进而在判定满足校准条件后自动触发对眼动追踪设备的校准，即对薄板样条插值函数的重新拟合，而无需用户手动触发校准流程，而且由于无需修改预设眼动追踪方式的算法程序，因而可以适用于各种预设眼动追踪方式，具有较强的灵活性。

图6是根据本公开又一示例性实施例示出的一种眼动追踪装置的框图；本实施例的装置可以应用于具有肌电信号传感器的眼动追踪设备(如，智能眼镜、智能头盔等可穿戴式电子设备等)。其中，初始预测坐标获取模块210、目标插值坐标获取模块220以及实际预测坐标确定模块230与前述图5所示实施例中的初始预测坐标获取模块110、目标插值坐标获取模块120以及实际预测坐标确定模块130的功能相同，在此不进行赘述。如图6所示，该装置还包括校准条件判断模块240；

在此基础上，上述校准条件判断模块240，可以包括：

肌电信号获取单元241，用于在所述使用者的眼睛转动至注视第一注视点的过程中，获取所述肌电信号传感器采集的所述使用者的眼部肌电信号；

第一坐标确定单元242，用于基于所述眼部肌电信号确定所述第一注视点的第一预测注视点坐标；

校准条件判断单元243，用于响应于所述第一预测注视点坐标与第二预测注视点坐标之间的距离大于或等于设定距离阈值，判定所述眼动追踪设备满足眼动追踪校准条件，所述第二预测注视点坐标基于所述预设眼动追踪方式获取。

在一些实施例中，上述第一坐标确定单元242还可以用于：

基于所述眼部肌电信号确定所述使用者在所述过程中的眼动方向以及眼睛转动角度；

基于所述眼睛转动角度和目标平面距离确定所述使用者在所述过程中的眼动距离，所述目标平面距离包括所述使用者与眼动追踪平面之间的距离；

基于所述眼动距离和所述眼动方向确定所述第一注视点的第一预测注视点坐标。

在一些实施例中，上述第一坐标确定单元242还可以用于：

对所述眼部肌电信号进行特征提取，得到肌电信号特征；

将所述肌电信号特征输入预先训练的分类模型，得到所述使用者在所述过程中的眼动方向。

在一些实施例中，上述第一坐标确定单元242还可以用于：

将所述眼部肌电信号输入预先确定的映射关系函数，得到所述使用者在所述过程中的眼睛转动角度。

在一些实施例中，上述装置还可以包括：

插值函数拟合模块250，用于将所述第一预测注视点坐标和所述第二预测注视点坐标分别作为控制点的坐标和对应的插值点的坐标，拟合所述薄板样条插值函数。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图7是根据一示例性实施例示出的一种眼动追踪设备的框图。例如，设备900可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图7，设备900可以包括以下一个或多个组件：处理组件902，存储器904，电源组件906，多媒体组件908，音频组件910，输入/输出(I/O)的接口912，传感器组件914，以及通信组件916。

处理组件902通常控制设备900的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件902可以包括一个或多个处理器920来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件902可以包括一个或多个模块，便于处理组件902和其他组件之间的交互。例如，处理组件902可以包括多媒体模块，以方便多媒体组件908和处理组件902之间的交互。

存储器904被配置为存储各种类型的数据以支持在设备900的操作。这些数据的示例包括用于在设备900上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器904可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件906为设备900的各种组件提供电力。电源组件906可以包括电源管理系统，一个或多个电源，及其他与为设备900生成、管理和分配电力相关联的组件。

多媒体组件908包括在所述设备900和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件908包括一个前置摄像头和/或后置摄像头。当设备900处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件910被配置为输出和/或输入音频信号。例如，音频组件910包括一个麦克风(MIC)，当设备900处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器904或经由通信组件916发送。在一些实施例中，音频组件910还包括一个扬声器，用于输出音频信号。

I/O接口912为处理组件902和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件914包括一个或多个传感器，用于为设备900提供各个方面的状态评估。例如，传感器组件914可以检测到设备900的打开/关闭状态，组件的相对定位，例如所述组件为设备900的显示器和小键盘，传感器组件914还可以检测设备900或设备900一个组件的位置改变，用户与设备900接触的存在或不存在，设备900方位或加速/减速和设备900的温度变化。传感器组件914还可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件914还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件914还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件916被配置为便于设备900和其他设备之间有线或无线方式的通信。设备900可以接入基于通信标准的无线网络，如WiFi，2G或3G，4G或5G或它们的组合。在一个示例性实施例中，通信组件916经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件916还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，设备900可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子组件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器904，上述指令可由设备900的处理器920执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供了一种芯片，例如包括处理器和接口，该处理器用于通过接口读取指令以执行上述眼动追踪方法。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种眼动追踪方法，其特征在于，应用于具有肌电信号传感器的眼动追踪设备，所述方法包括：

基于预设眼动追踪方式获取使用者的初始预测注视点坐标；

将所述初始预测注视点坐标输入至预先拟合的薄板样条插值函数，得到目标插值点坐标，所述薄板样条插值函数包括在基于眼部肌电信号判定所述眼动追踪设备满足眼动追踪校准条件后所拟合的函数，所述眼部肌电信号包括基于所述肌电信号传感器采集的所述使用者的眼部区域的表面肌电信号；

基于所述目标插值点坐标确定所述使用者的实际预测注视点。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括基于以下方式判定所述眼动追踪设备满足眼动追踪校准条件：

在所述使用者的眼睛转动至注视第一注视点的过程中，获取所述肌电信号传感器采集的所述使用者的眼部肌电信号；

基于所述眼部肌电信号确定所述第一注视点的第一预测注视点坐标；

响应于所述第一预测注视点坐标与第二预测注视点坐标之间的距离大于或等于设定距离阈值，判定所述眼动追踪设备满足眼动追踪校准条件，所述第二预测注视点坐标基于所述预设眼动追踪方式获取。

3.根据权利要求2所述的方法，其特征在于，所述基于所述眼部肌电信号确定所述第一注视点的第一预测注视点坐标，包括：

基于所述眼部肌电信号确定所述使用者在所述过程中的眼动方向以及眼睛转动角度；

基于所述眼睛转动角度和目标平面距离确定所述使用者在所述过程中的眼动距离，所述目标平面距离包括所述使用者与眼动追踪平面之间的距离；

基于所述眼动距离和所述眼动方向确定所述第一注视点的第一预测注视点坐标。

4.根据权利要求3所述的方法，其特征在于，所述基于所述眼部肌电信号确定所述使用者在所述过程中的眼动方向，包括：

对所述眼部肌电信号进行特征提取，得到肌电信号特征；

将所述肌电信号特征输入预先训练的分类模型，得到所述使用者在所述过程中的眼动方向。

5.根据权利要求3所述的方法，其特征在于，所述基于所述眼部肌电信号确定所述使用者在所述过程中的眼睛转动角度，包括：

将所述眼部肌电信号输入预先确定的映射关系函数，得到所述使用者在所述过程中的眼睛转动角度。

6.根据权利要求2所述的方法，其特征在于，所述方法还包括预先基于以下方式拟合所述薄板样条插值函数：

将所述第一预测注视点坐标和所述第二预测注视点坐标分别作为控制点的坐标和对应的插值点的坐标，拟合所述薄板样条插值函数。

7.一种眼动追踪装置，其特征在于，应用于具有肌电信号传感器的眼动追踪设备，所述装置包括：

初始预测坐标获取模块，用于基于预设眼动追踪方式获取使用者的初始预测注视点坐标；

目标插值坐标获取模块，用于将所述初始预测注视点坐标输入至预先拟合的薄板样条插值函数，得到目标插值点坐标，所述薄板样条插值函数包括在基于眼部肌电信号判定所述眼动追踪设备满足眼动追踪校准条件后所拟合的函数，所述眼部肌电信号包括基于所述肌电信号传感器采集的所述使用者的眼部区域的表面肌电信号；

实际预测坐标确定模块，用于基于所述目标插值点坐标确定所述使用者的实际预测注视点。

8.一种眼动追踪设备，其特征在于，所述设备包括：

肌电信号传感器、处理器以及用于存储计算机程序的存储器；

其中，所述肌电信号传感器用于采集使用者的眼部区域的表面肌电信号；

所述处理器被配置为在执行所述计算机程序时，实现：

基于预设眼动追踪方式获取使用者的初始预测注视点坐标；

将所述初始预测注视点坐标输入至预先拟合的薄板样条插值函数，得到目标插值点坐标，所述薄板样条插值函数包括在基于眼部肌电信号判定所述眼动追踪设备满足眼动追踪校准条件后所拟合的函数，所述眼部肌电信号包括基于所述肌电信号传感器采集的所述使用者的眼部区域的表面肌电信号；

基于所述目标插值点坐标确定所述使用者的实际预测注视点。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被具有肌电信号传感器的眼动追踪设备的处理器执行时实现：

基于预设眼动追踪方式获取使用者的初始预测注视点坐标；

将所述初始预测注视点坐标输入至预先拟合的薄板样条插值函数，得到目标插值点坐标，所述薄板样条插值函数包括在基于眼部肌电信号判定所述眼动追踪设备满足眼动追踪校准条件后所拟合的函数，所述眼部肌电信号包括基于所述肌电信号传感器采集的所述使用者的眼部区域的表面肌电信号；

基于所述目标插值点坐标确定所述使用者的实际预测注视点。

10.一种芯片，其特征在于，包括：

处理器和接口；

所述处理器用于通过接口读取指令以执行权利要求1～6中任一项所述的眼动追踪方法。

Images