CN103885589A - 眼动追踪方法及装置 - Google Patents

Abstract

本发明公开了一种眼动追踪方法及装置，属于人机交互技术领域。所述方法包括：获取至少两帧图像；在至少两帧图像中获取人眼区域；在至少两帧图像各自的人眼区域中确定人眼虹膜中心的位置；在至少两帧图像各自的人眼区域中确定参考点的位置，参考点是指与人眼区域保持相对静止的点；根据至少两帧图像中各自的人眼虹膜中心的位置和参考点的位置对人眼虹膜中心进行眼动跟踪；解决了入侵式眼动跟踪技术通常需要额外的硬件进行辅助才能获取眼睛注视方向的变化情况的问题；达到了不需要额外的硬件进行辅助，通过获取图像就能进行眼动跟踪的效果。

Description

眼动追踪方法及装置

技术领域

本发明实施例涉及人机交互技术领域，特别涉及一种眼动追踪方法及装置。

背景技术

随着新技术新设备的诞生，在移动终端上通过眼动跟踪技术控制移动终端进行相应操作的研究越来越为人所熟知。

眼动跟踪技术最根本的问题是要测量眼睛观察方向的变化情况。相关的入侵式眼动跟踪技术有多种，包括瞳孔-角膜反射向量法、眼电图法、虹膜-巩膜边缘法、角膜反射跟踪法、接触镜法等。比如，在人机交互场景常用的瞳孔-角膜反射向量法，该方法的原理如下：当用一红外辅助光源照射人的脸部，在眼睛角膜表面会形成反射像，此反射像被称为普尔钦斑点，人眼在观察终端屏幕上的不同位置时，眼球会发生相应的转动。假设在实验者的头部不动的情况下，由于红外发光二极管的位置是固定的，而眼球是一个近似的球体，所以当眼球转动时，可以认为普尔钦斑点的绝对位置是不变的；而瞳孔的位置要发生相应的变化，这样红外辅助光源在角膜上形成的普尔钦斑点和瞳孔之间的相对位置关系也将发生变化，这种相对位置关系的确定可以通过图像处理来实现；然后由它们之间的相对位置关系测量出眼睛观察方向的变化情况。

在实现本发明实施例的过程中，发明人发现背景技术中至少存在以下问题：为了获取眼睛观察方向的变化情况，上述入侵式眼动跟踪技术通常需要额外的硬件进行辅助，比如瞳孔-角膜反射向量法所采用的红外辅助光源、眼电图法所使用的电流信号和接触镜法所使用的小镜子。这些额外的硬件都会给用户的眼睛带来不舒适感，甚至造成伤害，另外使用额外的硬件设备还需要额外的成本投入。

发明内容

为了解决背景技术中入侵式眼动跟踪技术通常需要额外的硬件进行辅助才能获取眼睛注视方向的变化情况的问题，本发明实施例提供了一种眼动追踪方法及装置。所述技术方案如下：

第一方面，提供了一种眼动跟踪方法，所述方法包括：

获取至少两帧图像；

在所述至少两帧图像中获取人眼区域；

在所述至少两帧图像各自的人眼区域中确定人眼虹膜中心的位置；

在所述至少两帧图像各自的人眼区域中确定参考点的位置，所述参考点是指与所述人眼区域保持相对静止的点；

根据所述至少两帧图像中各自的所述人眼虹膜中心的位置和所述参考点的位置对所述人眼虹膜中心进行眼动跟踪。

在第一方面的第一种可能的实施方式中，所述在所述至少两帧图像中获取人眼区域，包括：

对于当前帧图像，若不存在上一帧图像或存在所述上一帧图像且所述上一帧图像中未检测到所述人眼区域，则使用默认的按比例逐步变大的搜索窗口搜索所述当前帧图像中的人眼区域；

若存在所述上一帧图像且所述上一帧图像中检测到所述人眼区域，则使用从所述上一帧图像中获取到的所述人眼区域时对应的搜索窗口搜索所述当前帧图像中的人眼区域。

结合第一方面或者第一方面的第一种可能的实施方式，在第二种可能的实施方式中，所述使用从所述上一帧图像中获取到的所述人眼区域的搜索窗口搜索所述当前帧图像中的人眼区域之后，还包括：

如果在所述当前帧图像中使用从所述上一帧图像中获取到的所述人眼区域时对应的搜索窗口未搜索到人眼区域，则使用所述默认的按比例逐步变大的搜索窗口搜索所述当前帧图像中的人眼区域；或，使用所述默认的按比例逐步变大的搜索窗口搜索下一帧图像中的人眼区域。

结合第一方面、第一方面的第一种可能的实施方式或者第一方面的第二种可能的实施方式，在第三种可能的实施方式中，所述使用默认的按比例逐步变大的搜索窗口搜索所述当前帧图像中的人眼区域，包括：

使用默认的按比例逐步变大的双眼搜索窗口搜索所述当前帧图像中的双眼区域；或，

使用默认的按比例逐步变大的单眼搜索窗口搜索所述当前帧图像中的单眼区域；或，

使用默认的按比例逐步变大的双眼搜索窗口搜索所述当前帧图像中的双眼区域；如果没有搜索到所述双眼区域，则使用默认的按比例逐步变大的单眼搜索窗口搜索所述当前帧图像中的单眼区域。

结合第一方面、第一方面的第一种可能的实施方式、第一方面的第二种可能的实施方式或者第一方面的第三种可能的实施方式，在第四种可能的实施方式中，所述在所述至少两帧图像各自的所述人眼区域中确定人眼虹膜中心的位置，包括：

在所述人眼区域中获取所述人眼区域的至少一个轮廓序列；

通过人眼虹膜的特征从所述至少一个轮廓序列中筛选出与所述人眼虹膜的特征相匹配的人眼虹膜轮廓序列；

对所述人眼虹膜轮廓序列进行拟合，根据拟合结果获取所述人眼虹膜中心的位置。

结合第一方面、第一方面的第一种可能的实施方式、第一方面的第二种可能的实施方式或者第一方面的第三种可能的实施方式，在第五种可能的实施方式中，所述在所述至少两帧图像各自的所述人眼区域中确定参考点的位置，包括：

在所述人眼区域中获取所述人眼区域的至少一个轮廓序列；

通过人眼眼睑的特征从所述至少一个轮廓序列中筛选出与所述人眼眼睑的特征相匹配的人眼眼睑轮廓序列；

在所述人眼眼睑轮廓序列中获取所述参考点的位置。

结合第一方面、第一方面的第一种可能的实施方式、第一方面的第二种可能的实施方式、第一方面的第三种可能的实施方式或者第一方面的第五种可能的实施方式，在第六种可能的实施方式中，所述在所述人眼眼睑轮廓序列中获取所述参考点的位置，包括：

获取所述人眼眼睑轮廓序列中内眼角点和/或外眼角点；

将所述内眼角点作为所述参考点，并获取所述参考点的位置；或，

将所述外眼角点作为所述参考点，并获取所述参考点的位置；或，

将所述内眼角点和所述外眼角点同时作为所述参考点，并获取所述参考点的位置。

结合第一方面、第一方面的第一种可能的实施方式、第一方面的第二种可能的实施方式、第一方面的第三种可能的实施方式、第一方面的第五种可能的实施方式或者第一方面的第六种可能的实施方式，在第七种可能的实施方式中，所述获取所述人眼眼睑轮廓序列中内眼角点，包括：

在所述人眼区域中截取内眼角窗口并获取所述内眼角窗口中的人眼眼睑轮廓序列；

在所述人眼眼睑轮廓序列中提取至少一个内眼角候选角点，所述内眼角候选角点为内眼角检测算子对所述内眼角窗口的边缘图进行卷积运算后得到的最大值所在的位置上的点；

根据内眼角点在所述内眼角窗口中的位置特征从所述至少一个内眼角候选角点中筛选出与所述位置特征匹配的内眼角点。

结合第一方面、第一方面的第一种可能的实施方式、第一方面的第二种可能的实施方式、第一方面的第三种可能的实施方式、第一方面的第五种可能的实施方式、第一方面的第六种可能的实施方式或者第一方面的第七种可能的实施方式，在第八种可能的实施方式中，所述根据内眼角点在内眼角窗口中的位置特征从所述至少一个内眼角候选角点中筛选出与所述位置特征匹配的内眼角点，包括：

若只有一个内眼角候选角点，则将所述内眼角候选角点作为与所述位置特征匹配的内眼角点；

若有两个内眼角候选角点，则将距离所述人眼虹膜中心最远的内眼角候选角点作为与所述位置特征匹配的内眼角点；

若至少有三个内眼角候选角点，则根据预设的候选角点筛选规则筛选出与所述位置特征匹配的内眼角点。

结合第一方面、第一方面的第一种可能的实施方式、第一方面的第二种可能的实施方式、第一方面的第三种可能的实施方式、第一方面的第五种可能的实施方式、第一方面的第六种可能的实施方式、第一方面的第七种可能的实施方式或者第一方面的第八种可能的实施方式，在第九种可能的实施方式中，若截取的是左眼内眼角窗口，所述若至少有三个内眼角候选角点，根据预设的候选角点筛选规则筛选出与所述位置特征匹配的内眼角点，包括：

从所述至少三个内眼角候选角点中找出横坐标的最大值和纵坐标的最小值；

在以所述横坐标的最大值和纵坐标的最小值形成的坐标点为中心的预设邻域内找出至少一个内眼角候选角点；

对找出的所述内眼角候选角点的横坐标求平均得到第一平均值，对找出的所述内眼角候选角点的纵坐标求平均得到第二平均值；

将所述第一平均值和所述第二平均值形成的坐标点所在的位置作为所述参考点的位置。

结合第一方面、第一方面的第一种可能的实施方式、第一方面的第二种可能的实施方式、第一方面的第三种可能的实施方式、第一方面的第四种可能的实施方式、第一方面的第五种可能的实施方式、第一方面的第六种可能的实施方式、第一方面的第七种可能的实施方式、第一方面的第八种可能的实施方式或者第一方面的第九种可能的实施方式，在第十种可能的实施方式中，所述根据所述至少两帧图像中各自的所述人眼虹膜中心的位置和所述参考点的位置对所述人眼虹膜中心进行眼动跟踪，包括：

根据所述至少两帧图像中各自的所述人眼虹膜中心的位置和所述参考点的位置获取所述人眼虹膜中心相对于所述参考点的运动参数；

或，

根据所述至少两帧图像中各自的所述人眼虹膜中心的位置和所述参考点的位置获取所述人眼虹膜中心相对于所述参考点的注视位置。

结合第一方面、第一方面的第一种可能的实施方式、第一方面的第二种可能的实施方式、第一方面的第三种可能的实施方式、第一方面的第四种可能的实施方式、第一方面的第五种可能的实施方式、第一方面的第六种可能的实施方式、第一方面的第七种可能的实施方式、第一方面的第八种可能的实施方式、第一方面的第九种可能的实施方式或者第一方面的第十种可能的实施方式中，在第十一种可能的实施方式中，所述根据所述至少两帧图像中各自的所述人眼虹膜中心的位置和所述参考点的位置获取所述人眼虹膜中心相对于所述参考点的运动参数，包括：

对于每帧图像，计算所述图像中的人眼虹膜中心相对于所述图像中的所述参考点的运动矢量；

根据所述至少两帧图像中每帧图像计算得到的所述运动矢量获取所述人眼虹膜中心相对于所述参考点的运动参数，所述运动参数包括运动方向、运动速度、运动加速度和运动距离中的至少一种。

结合第一方面、第一方面的第一种可能的实施方式、第一方面的第二种可能的实施方式、第一方面的第三种可能的实施方式、第一方面的第四种可能的实施方式、第一方面的第五种可能的实施方式、第一方面的第六种可能的实施方式、第一方面的第七种可能的实施方式、第一方面的第八种可能的实施方式、第一方面的第九种可能的实施方式或者第一方面的第十种可能的实施方式，在第十二种可能的实施方式中，所述根据所述至少两帧图像中的所述人眼虹膜中心的位置和所述参考点的位置获取所述人眼虹膜中心相对于所述参考点的注视位置，包括：

若在所述人眼区域中获取的参考点包括有内眼角点和外眼角点，则根据所述内眼角点和所述外眼角点的距离进行虚拟人眼的建模；

通过所述人眼虹膜中心相对于所述内眼角点和所述外眼角点的位置计算出所述人眼虹膜中心相对于虚拟人眼所在的区域；

根据所述人眼虹膜中心相对于虚拟人眼所在的区域以及预设人眼模态参数获取人眼在屏幕上的注视区域和/或注视点，所述预设人眼模态参数用于根据所述人眼虹膜中心相对于虚拟人眼所在的区域将人眼视线映射到屏幕上对应的位置。

结合第一方面、第一方面的第一种可能的实施方式、第一方面的第二种可能的实施方式、第一方面的第三种可能的实施方式、第一方面的第四种可能的实施方式、第一方面的第五种可能的实施方式、第一方面的第六种可能的实施方式、第一方面的第七种可能的实施方式、第一方面的第八种可能的实施方式、第一方面的第九种可能的实施方式、第一方面的第十种可能的实施方式或者第一方面的第十一种可能的实施方式，在第十三种可能的实施方式中，所述根据所述运动矢量获取所述人眼虹膜中心相对于所述参考点的运动参数之后，包括：

若所述人眼虹膜中心移动到所述参考点的右下方的第一预定范围后停止移动，并在第一预定时间内从所述第一预定范围转变到所述参考点的左上方时，则发出翻页命令进行翻页；

若所述人眼虹膜中心相对于所述参考点移动的距离在预定距离内时，则保持当前界面不变。

结合第一方面、第一方面的第一种可能的实施方式、第一方面的第二种可能的实施方式、第一方面的第三种可能的实施方式、第一方面的第四种可能的实施方式、第一方面的第五种可能的实施方式、第一方面的第六种可能的实施方式、第一方面的第七种可能的实施方式、第一方面的第八种可能的实施方式、第一方面的第九种可能的实施方式、第一方面的第十种可能的实施方式或者第十二种可能的实施方式，在第十四种可能的实施方式中，所述根据所述人眼虹膜中心相对于虚拟人眼所在的区域以及预设人眼模态参数获取人眼在屏幕上的注视区域和/或注视点之后，包括：

当所述人眼在屏幕上的注视区域和/注视点停留在第二预定范围内达到第二预定时间时，则根据检测到的所述人眼的凝视或者眨眼的状态激活相应的操作，所述操作包括启动应用程序、自动翻页、终端解锁和视频暂停中的任意一种。

第二方面，提供了一种眼动跟踪装置，所述装置包括：

图像获取模块，用于获取至少两帧图像；

区域获取模块，用于在所述至少两帧图像中获取人眼区域；

中心确定模块，用于在所述至少两帧图像各自的人眼区域中确定人眼虹膜中心的位置；

参考点定位模块，用于在所述至少两帧图像各自的人眼区域中确定参考点的位置，所述参考点是指与所述人眼区域保持相对静止的点；

眼动跟踪模块，用于根据所述至少两帧图像中各自的所述人眼虹膜中心的位置和所述参考点的位置对所述人眼虹膜中心进行眼动跟踪。

在第二方面的第一种可能的实施方式中，所述区域获取模块，包括：

第一搜索子模块，用于对于当前帧图像，若不存在上一帧图像或存在所述上一帧图像且所述上一帧图像中未检测到所述人眼区域，则使用默认的按比例逐步变大的搜索窗口搜索所述当前帧图像中的人眼区域；

第二搜索子模块，用于若存在所述上一帧图像且所述上一帧图像中检测到所述人眼区域，则使用从所述上一帧图像中获取到的所述人眼区域时对应的搜索窗口搜索所述当前帧图像中的人眼区域。

结合第二方面或者第二方面的第一种可能的实施方式，在第二种可能的实施方式中，所述装置，还包括：

第三搜索子模块，用于如果在所述当前帧图像中使用从所述上一帧图像中获取到的所述人眼区域时对应的搜索窗口未搜索到人眼区域，则使用所述默认的按比例逐步变大的搜索窗口搜索所述当前帧图像中的人眼区域；或，使用所述默认的按比例逐步变大的搜索窗口搜索下一帧图像中的人眼区域。

结合第二方面、第二方面的第一种可能的实施方式或者第二方面的第二种可能的实施方式，在第三种可能的实施方式中，所述第一搜索子模块，包括：

双眼搜索单元，用于使用默认的按比例逐步变大的双眼搜索窗口搜索所述当前帧图像中的双眼区域；或，

单眼搜索单元，用于使用默认的按比例逐步变大的单眼搜索窗口搜索所述当前帧图像中的单眼区域；或，

双单搜索单元，用于使用默认的按比例逐步变大的双眼搜索窗口搜索所述当前帧图像中的双眼区域；如果没有搜索到所述双眼区域，则使用默认的按比例逐步变大的单眼搜索窗口搜索所述当前帧图像中的单眼区域。

结合第二方面、第二方面的第一种可能的实施方式、第二方面的第二种可能的实施方式或者第二方面的第三种可能的实施方式，在第四种可能的实施方式中，所述中心确定模块，包括：

第一获取子模块，用于在所述人眼区域中获取所述人眼区域的至少一个轮廓序列；

第一筛选子模块，用于通过人眼虹膜的特征从所述至少一个轮廓序列中筛选出与所述人眼虹膜的特征相匹配的人眼虹膜轮廓序列；

中心获取子模块，用于对所述人眼虹膜轮廓序列进行拟合，根据拟合结果获取所述人眼虹膜中心的位置。

结合第二方面、第二方面的第一种可能的实施方式、第二方面的第二种可能的实施方式或者第二方面的第三种可能的实施方式，在第五种可能的实施方式中，所述参考点定位模块，包括：

第二获取子模块，用于在所述人眼区域中获取所述人眼区域的至少一个轮廓序列；

第二筛选子模块，用于通过人眼眼睑的特征从所述至少一个轮廓序列中筛选出与所述人眼眼睑的特征相匹配的人眼眼睑轮廓序列；

参考点获取子模块，用于在所述人眼眼睑轮廓序列中获取所述参考点的位置。

结合第二方面、第二方面的第一种可能的实施方式、第二方面的第二种可能的实施方式、第二方面的第三种可能的实施方式或者第二方面的第五种可能的实施方式，在第六种可能的实施方式中，

所述参考点获取子模块，还用于获取所述人眼眼睑轮廓序列中内眼角点和/或外眼角点；

所述参考点获取子模块，还用于将所述内眼角点作为所述参考点，并获取所述参考点的位置；或，

所述参考点获取子模块，还用于将所述外眼角点作为所述参考点，并获取所述参考点的位置；或，

所述参考点获取子模块，还用于将所述内眼角点和所述外眼角点同时作为所述参考点，并获取所述参考点的位置。

结合第二方面、第二方面的第一种可能的实施方式、第二方面的第二种可能的实施方式、第二方面的第三种可能的实施方式、第二方面的第五种可能的实施方式或者第二方面的第六种可能的实施方式，在第七种可能的实施方式中，所述参考点获取子模块，包括：

窗口截取单元，用于在所述人眼区域中截取内眼角窗口并获取所述内眼角窗口中的人眼眼睑轮廓序列；

角点提取单元，用于在所述人眼眼睑轮廓序列中提取至少一个内眼角候选角点，所述内眼角候选角点为内眼角检测算子对所述内眼角窗口的边缘图进行卷积运算后得到的最大值所在的位置上的点；

角点筛选单元，用于根据内眼角点在所述内眼角窗口中的位置特征从所述至少一个内眼角候选角点中筛选出与所述位置特征匹配的内眼角点。

结合第二方面、第二方面的第一种可能的实施方式、第二方面的第二种可能的实施方式、第二方面的第三种可能的实施方式、第二方面的第五种可能的实施方式、第二方面的第六种可能的实施方式或者第二方面的第七种可能的实施方式，在第八种可能的实施方式中，所述角点筛选单元，包括：

第一确定子单元，用于若只有一个内眼角候选角点，则将所述内眼角候选角点作为与所述位置特征匹配的内眼角点；

第二确定子单元，用于若有两个内眼角候选角点，则将距离所述人眼虹膜中心最远的内眼角候选角点作为与所述位置特征匹配的内眼角点；

第三确定子单元，用于若至少有三个内眼角候选角点，则根据预设的候选角点筛选规则筛选出与所述位置特征匹配的内眼角点。

结合第二方面、第二方面的第一种可能的实施方式、第二方面的第二种可能的实施方式、第二方面的第三种可能的实施方式、第二方面的第五种可能的实施方式、第二方面的第六种可能的实施方式、第二方面的第七种可能的实施方式或者第二方面的第八种可能的实施方式，在第九种可能的实施方式中，若截取的是左眼内眼角窗口，

所述第三确定子单元，还用于从所述至少三个内眼角候选角点中找出横坐标的最大值和纵坐标的最小值；

所述第三确定子单元，还用于在以所述横坐标的最大值和纵坐标的最小值形成的坐标点为中心的预设邻域内找出至少一个横坐标；

所述第三确定子单元，还用于对找出的所述内眼角候选角点的横坐标求平均得到第一平均值，对所述找出的所述内眼角候选角点的纵坐标求平均得到第二平均值；

所述第三确定子单元，还用于将所述第一平均值和所述第二平均值形成的坐标点所在的位置作为所述参考点的位置。

结合第二方面、第二方面的第一种可能的实施方式、第二方面的第二种可能的实施方式、第二方面的第三种可能的实施方式、第二方面的第四种可能的实施方式、第二方面的第五种可能的实施方式、第二方面的第六种可能的实施方式、第二方面的第七种可能的实施方式、第二方面的第八种可能的实施方式或者第二方面的第九种可能的实施方式，在第十种可能的实施方式中，所述眼动跟踪模块，包括：

运动参数获取子模块，用于根据所述至少两帧图像中各自的所述人眼虹膜中心的位置和所述参考点的位置获取所述人眼虹膜中心相对于所述参考点的运动参数；

或，

注视位置获取子模块，用于根据所述至少两帧图像中各自的所述人眼虹膜中心的位置和所述参考点的位置获取所述人眼虹膜中心相对于所述参考点的注视位置。

结合第二方面、第二方面的第一种可能的实施方式、第二方面的第二种可能的实施方式、第二方面的第三种可能的实施方式、第二方面的第四种可能的实施方式、第二方面的第五种可能的实施方式、第二方面的第六种可能的实施方式、第二方面的第七种可能的实施方式、第二方面的第八种可能的实施方式、第二方面的第九种可能的实施方式或者第二方面的第十种可能的实施方式中，在第十一种可能的实施方式中，所述运动参数获取子模块，包括：

矢量计算单元，用于对于每帧图像，计算所述图像中的人眼虹膜中心相对于所述图像中的所述参考点的运动矢量；

参数获取单元，用于根据所述至少两帧图像中每帧图像计算得到的所述运动矢量获取所述人眼虹膜中心相对于所述参考点的运动参数，所述运动参数包括运动方向、运动速度、运动加速度和运动距离中的至少一种。

结合第二方面、第二方面的第一种可能的实施方式、第二方面的第二种可能的实施方式、第二方面的第三种可能的实施方式、第二方面的第四种可能的实施方式、第二方面的第五种可能的实施方式、第二方面的第六种可能的实施方式、第二方面的第七种可能的实施方式、第二方面的第八种可能的实施方式、第二方面的第九种可能的实施方式或者第二方面的第十种可能的实施方式，在第十二种可能的实施方式中，所述注视位置获取子模块，包括：

人眼建模单元，用于若在所述人眼区域中获取的参考点包括有内眼角点和外眼角点，则根据所述内眼角点和所述外眼角点的距离进行虚拟人眼的建模；

区域计算单元，用于通过所述人眼虹膜中心相对于所述内眼角点和所述外眼角点的位置计算出所述人眼虹膜中心相对于虚拟人眼所在的区域；

位置获取单元，用于根据所述人眼虹膜中心相对于虚拟人眼所在的区域以及预设人眼模态参数获取人眼在屏幕上的注视区域和/或注视点，所述预设人眼模态参数用于根据所述人眼虹膜中心相对于虚拟人眼所在的区域将人眼视线映射到屏幕上对应的位置。

结合第二方面、第二方面的第一种可能的实施方式、第二方面的第二种可能的实施方式、第二方面的第三种可能的实施方式、第二方面的第四种可能的实施方式、第二方面的第五种可能的实施方式、第二方面的第六种可能的实施方式、第二方面的第七种可能的实施方式、第二方面的第八种可能的实施方式、第二方面的第九种可能的实施方式、第二方面的第十种可能的实施方式或者第二方面的第十一种可能的实施方式，在第十三种可能的实施方式中，所述装置，还包括：

第一执行模块，用于若所述人眼虹膜中心移动到所述参考点的右下方的第一预定范围后停止移动，并在第一预定时间内从所述第一预定范围转变到所述参考点的左上方时，则发出翻页命令进行翻页；

第二执行模块，用于若所述人眼虹膜中心相对于所述参考点移动的距离在预定距离内时，则保持当前界面不变。

结合第二方面、第二方面的第一种可能的实施方式、第二方面的第二种可能的实施方式、第二方面的第三种可能的实施方式、第二方面的第四种可能的实施方式、第二方面的第五种可能的实施方式、第二方面的第六种可能的实施方式、第二方面的第七种可能的实施方式、第二方面的第八种可能的实施方式、第二方面的第九种可能的实施方式、第二方面的第十种可能的实施方式或者第十二种可能的实施方式，在第十四种可能的实施方式中，所述装置，还包括：

第三执行模块，用于当所述人眼在屏幕上的注视区域和/注视点停留在第二预定范围内达到第二预定时间时，则根据检测到的所述人眼的凝视或者眨眼的状态激活相应的操作，所述操作包括启动应用程序、自动翻页、终端解锁和视频暂停中的任意一种。

第三方面，提供了一种终端，所述终端包括：处理器和存储器；

所述处理器，用于获取至少两帧图像；

所述处理器，还用于在所述至少两帧图像中获取人眼区域；

所述处理器，还用于在所述至少两帧图像各自的人眼区域中确定人眼虹膜中心的位置；

所述处理器，还用于在所述至少两帧图像各自的人眼区域中确定参考点的位置，所述参考点是指与所述人眼区域保持相对静止的点；

所述处理器，还用于根据所述至少两帧图像中各自的所述人眼虹膜中心的位置和所述参考点的位置对所述人眼虹膜中心进行眼动跟踪。

在第三方面的第一种可能的实施方式中，

所述处理器，还用于对于当前帧图像，若不存在上一帧图像或存在所述上一帧图像且所述上一帧图像中未检测到所述人眼区域，则使用默认的按比例逐步变大的搜索窗口搜索所述当前帧图像中的人眼区域；

所述处理器，还用于若存在所述上一帧图像且所述上一帧图像中检测到所述人眼区域，则使用从所述上一帧图像中获取到的所述人眼区域时对应的搜索窗口搜索所述当前帧图像中的人眼区域。

结合第三方面或者第三方面的第一种可能的实施方式，在第二种可能的实施方式中，所述处理器，还用于如果在所述当前帧图像中使用从所述上一帧图像中获取到的所述人眼区域时对应的搜索窗口未搜索到人眼区域，则使用所述默认的按比例逐步变大的搜索窗口搜索所述当前帧图像中的人眼区域；或，使用所述默认的按比例逐步变大的搜索窗口搜索下一帧图像中的人眼区域。

结合第三方面、第三方面的第一种可能的实施方式或者第三方面的第二种可能的实施方式，在第三种可能的实施方式中，

所述处理器，还用于使用默认的按比例逐步变大的双眼搜索窗口搜索所述当前帧图像中的双眼区域；或，

所述处理器，还用于使用默认的按比例逐步变大的单眼搜索窗口搜索所述当前帧图像中的单眼区域；或，

所述处理器，还用于使用默认的按比例逐步变大的双眼搜索窗口搜索所述当前帧图像中的双眼区域；如果没有搜索到所述双眼区域，则使用默认的按比例逐步变大的单眼搜索窗口搜索所述当前帧图像中的单眼区域。

结合第三方面、第三方面的第一种可能的实施方式、第三方面的第二种可能的实施方式或者第三方面的第三种可能的实施方式，在第四种可能的实施方式中，

所述处理器，还用于在所述人眼区域中获取所述人眼区域的至少一个轮廓序列；

所述处理器，还用于通过人眼虹膜的特征从所述至少一个轮廓序列中筛选出与所述人眼虹膜的特征相匹配的人眼虹膜轮廓序列；

所述处理器，还用于对所述人眼虹膜轮廓序列进行拟合，根据拟合结果获取所述人眼虹膜中心的位置。

结合第三方面、第三方面的第一种可能的实施方式、第三方面的第二种可能的实施方式或者第三方面的第三种可能的实施方式，在第五种可能的实施方式中，

所述处理器，还用于在所述人眼区域中获取所述人眼区域的至少一个轮廓序列；

所述处理器，还用于通过人眼眼睑的特征从所述至少一个轮廓序列中筛选出与所述人眼眼睑的特征相匹配的人眼眼睑轮廓序列；

所述处理器，还用于在所述人眼眼睑轮廓序列中获取所述参考点的位置。

结合第三方面、第三方面的第一种可能的实施方式、第三方面的第二种可能的实施方式、第三方面的第三种可能的实施方式或者第三方面的第五种可能的实施方式，在第六种可能的实施方式中，

所述处理器，还用于获取所述人眼眼睑轮廓序列中内眼角点和/或外眼角点；

所述处理器，还用于将所述内眼角点作为所述参考点，并获取所述参考点的位置；或，

所述处理器，还用于将所述外眼角点作为所述参考点，并获取所述参考点的位置；或，

所述处理器，还用于将所述内眼角点和所述外眼角点同时作为所述参考点，并获取所述参考点的位置。

结合第三方面、第三方面的第一种可能的实施方式、第三方面的第二种可能的实施方式、第三方面的第三种可能的实施方式、第三方面的第五种可能的实施方式或者第三方面的第六种可能的实施方式，在第七种可能的实施方式中，

所述处理器，还用于在所述人眼区域中截取内眼角窗口并获取所述内眼角窗口中的人眼眼睑轮廓序列；

所述处理器，还用于在所述人眼眼睑轮廓序列中提取至少一个内眼角候选角点，所述内眼角候选角点为内眼角检测算子对所述内眼角窗口的边缘图进行卷积运算后得到的最大值所在的位置上的点；

所述处理器，还用于根据内眼角点在所述内眼角窗口中的位置特征从所述至少一个内眼角候选角点中筛选出与所述位置特征匹配的内眼角点。

结合第三方面、第三方面的第一种可能的实施方式、第三方面的第二种可能的实施方式、第三方面的第三种可能的实施方式、第三方面的第五种可能的实施方式、第三方面的第六种可能的实施方式或者第三方面的第七种可能的实施方式，在第八种可能的实施方式中，

所述处理器，还用于若只有一个内眼角候选角点，则将所述内眼角候选角点作为与所述位置特征匹配的内眼角点；

所述处理器，还用于若有两个内眼角候选角点，则将距离所述人眼虹膜中心最远的内眼角候选角点作为与所述位置特征匹配的内眼角点；

所述处理器，还用于若至少有三个内眼角候选角点，则根据预设的候选角点筛选规则筛选出与所述位置特征匹配的内眼角点。

结合第三方面、第三方面的第一种可能的实施方式、第三方面的第二种可能的实施方式、第三方面的第三种可能的实施方式、第三方面的第五种可能的实施方式、第三方面的第六种可能的实施方式、第三方面的第七种可能的实施方式或者第三方面的第八种可能的实施方式，在第九种可能的实施方式中，若截取的是左眼内眼角窗口，

所述处理器，还用于从所述至少三个内眼角候选角点中找出横坐标的最大值和纵坐标的最小值；

所述处理器，还用于在以所述横坐标的最大值和纵坐标的最小值形成的坐标点为中心的预设邻域内找出至少一个内眼角候选角点；

所述处理器，还用于对找出的所述内眼角候选角点的横坐标求平均得到第一平均值，对所述找出的所述内眼角候选角点的纵坐标求平均得到第二平均值；

所述处理器，还用于将所述第一平均值和所述第二平均值形成的坐标点所在的位置作为所述参考点的位置。

结合第三方面、第三方面的第一种可能的实施方式、第三方面的第二种可能的实施方式、第三方面的第三种可能的实施方式、第三方面的第四种可能的实施方式、第三方面的第五种可能的实施方式、第三方面的第六种可能的实施方式、第三方面的第七种可能的实施方式、第三方面的第八种可能的实施方式或者第三方面的第九种可能的实施方式，在第十种可能的实施方式中，

所述处理器，还用于根据所述至少两帧图像中各自的所述人眼虹膜中心的位置和所述参考点的位置获取所述人眼虹膜中心相对于所述参考点的运动参数；

或，

所述处理器，还用于根据所述至少两帧图像中各自的所述人眼虹膜中心的位置和所述参考点的位置获取所述人眼虹膜中心相对于所述参考点的注视位置。

结合第三方面、第三方面的第一种可能的实施方式、第三方面的第二种可能的实施方式、第三方面的第三种可能的实施方式、第三方面的第四种可能的实施方式、第三方面的第五种可能的实施方式、第三方面的第六种可能的实施方式、第三方面的第七种可能的实施方式、第三方面的第八种可能的实施方式、第三方面的第九种可能的实施方式或者第三方面的第十种可能的实施方式中，在第十一种可能的实施方式中，

所述处理器，还用于对于每帧图像，计算所述图像中的人眼虹膜中心相对于所述图像中的所述参考点的运动矢量；

所述处理器，还用于根据所述至少两帧图像中每帧图像计算得到的所述运动矢量获取所述人眼虹膜中心相对于所述参考点的运动参数，所述运动参数包括运动方向、运动速度、运动加速度和运动距离中的至少一种。

结合第三方面、第三方面的第一种可能的实施方式、第三方面的第二种可能的实施方式、第三方面的第三种可能的实施方式、第三方面的第四种可能的实施方式、第三方面的第五种可能的实施方式、第三方面的第六种可能的实施方式、第三方面的第七种可能的实施方式、第三方面的第八种可能的实施方式、第三方面的第九种可能的实施方式或者第三方面的第十种可能的实施方式，在第十二种可能的实施方式中，

所述处理器，还用于若在所述人眼区域中获取的参考点包括有内眼角点和外眼角点，则根据所述内眼角点和所述外眼角点的距离进行虚拟人眼的建模；

所述处理器，还用于通过所述人眼虹膜中心相对于所述内眼角点和所述外眼角点的位置计算出所述人眼虹膜中心相对于虚拟人眼所在的区域；

所述处理器，还用于根据所述人眼虹膜中心相对于虚拟人眼所在的区域以及预设人眼模态参数获取人眼在屏幕上的注视区域和/或注视点，所述预设人眼模态参数用于根据所述人眼虹膜中心相对于虚拟人眼所在的区域将人眼视线映射到屏幕上对应的位置。

结合第三方面、第三方面的第一种可能的实施方式、第三方面的第二种可能的实施方式、第三方面的第三种可能的实施方式、第三方面的第四种可能的实施方式、第三方面的第五种可能的实施方式、第三方面的第六种可能的实施方式、第三方面的第七种可能的实施方式、第三方面的第八种可能的实施方式、第三方面的第九种可能的实施方式、第三方面的第十种可能的实施方式或者第三方面的第十一种可能的实施方式，在第十三种可能的实施方式中，

所述处理器，还用于若所述人眼虹膜中心移动到所述参考点的右下方的第一预定范围后停止移动，并在第一预定时间内从所述第一预定范围转变到所述参考点中心的左上方时，则发出翻页命令进行翻页；

所述处理器，还用于若所述人眼虹膜中心相对于所述参考点移动的距离在预定距离内时，则保持当前界面不变。

结合第三方面、第三方面的第一种可能的实施方式、第三方面的第二种可能的实施方式、第三方面的第三种可能的实施方式、第三方面的第四种可能的实施方式、第三方面的第五种可能的实施方式、第三方面的第六种可能的实施方式、第三方面的第七种可能的实施方式、第三方面的第八种可能的实施方式、第三方面的第九种可能的实施方式、第三方面的第十种可能的实施方式或者第十二种可能的实施方式，在第十四种可能的实施方式中，

所述处理器，还用于当所述人眼在屏幕上的注视区域和/注视点停留在第二预定范围内达到第二预定时间时，则根据检测到的所述人眼的凝视或者眨眼的状态激活相应的操作，所述操作包括启动应用程序、自动翻页、终端解锁和视频暂停中的任意一种。

本发明实施例提供的技术方案带来的有益效果是：

通过获取至少两帧图像；在至少两帧图像中获取人眼区域；在至少两帧图像各自的人眼区域中确定人眼虹膜中心的位置；在至少两帧图像各自的人眼区域中确定参考点的位置，参考点是指与人眼区域保持相对静止的点；根据至少两帧图像中各自的人眼虹膜中心的位置和参考点的位置对人眼虹膜中心进行眼动跟踪；解决了入侵式眼动跟踪技术通常需要额外的硬件进行辅助才能获取眼睛注视方向的变化情况的问题；达到了不需要额外的硬件进行辅助，通过获取图像就能进行眼动跟踪的效果。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明各个实施例提供的眼动跟踪方法所涉及的一种实施环境的示意图；

图2是本发明一个实施例提供的眼动跟踪方法的方法流程图；

图3A是本发明另一个实施例提供的眼动跟踪方法的方法流程图；

图3B是本发明另一个实施例提供的眼动跟踪方法的方法流程图；

图3C是本发明另一个实施例提供的眼动跟踪方法的方法流程图；

图3D是本发明另一个实施例提供的眼角点筛选的示意图；

图3E是本发明另一个实施例提供的眼动跟踪方法的方法流程图；

图3F是本发明另一个实施例提供的搜索窗口的示意图；

图4是本发明一个实施例提供的眼动跟踪装置的结构示意图；

图5是本发明一个实施例提供的眼动跟踪装置的结构示意图；

图6是本发明一个实施例提供的终端的结构方框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

请参考图1，其示出了本发明各个实施例提供的眼动跟踪方法所涉及的一种实施环境的示意图。该实施环境包括终端120和人眼140。

终端120，可以是智能手机、平板电脑、智能电视、电子书阅读器、MP3播放器（Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3）、MP4（Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4）播放器、膝上型便携计算机和台式计算机等等。终端120具备摄像头、中央处理器和显示屏幕。人眼140可以浏览终端120显示屏幕上显示的内容；摄像头采集图像，中央处理器可以处理摄像头采集的图像，终端120根据图像处理结果执行相应操作。

请参考图2，其示出了本发明一个实施例提供的眼动跟踪方法的方法流程图。本实施例主要以该眼动跟踪方法应用于如图1所示的终端中来举例说明。该眼动跟踪方法，包括：

步骤202，获取至少两帧图像；

步骤204，在至少两帧图像中获取人眼区域；

步骤206，在至少两帧图像各自的人眼区域中确定人眼虹膜中心的位置；

步骤208，在至少两帧图像各自的人眼区域中确定参考点的位置，参考点是指与人眼区域保持相对静止的点；

步骤210，根据至少两帧图像中各自的人眼虹膜中心的位置和参考点的位置对人眼虹膜中心进行眼动跟踪。

综上所述，本实施例提供的眼动跟踪方法，通过获取至少两帧图像；在至少两帧图像中获取人眼区域；在至少两帧图像各自的人眼区域中确定人眼虹膜中心的位置；在至少两帧图像各自的人眼区域中确定参考点的位置，参考点是指与人眼区域保持相对静止的点；根据至少两帧图像中各自的人眼虹膜中心的位置和参考点的位置对人眼虹膜中心进行眼动跟踪；解决了入侵式眼动跟踪技术通常需要额外的硬件进行辅助才能获取眼睛注视方向的变化情况的问题；达到了不需要额外的硬件进行辅助，通过获取图像就能进行眼动跟踪的效果。

请参考图3A，其示出了本发明一个实施例提供的眼动跟踪方法的方法流程图。本实施例主要以该眼动跟踪方法应用于如图1所示的终端中来举例说明。该眼动跟踪方法，包括：

步骤301，获取至少两帧图像；

终端通过摄像头获取至少两帧图像，该图像中通常包括人脸区域。终端获取的图像可以是连续的，也可以是不连续的。为了进行眼动跟踪，终端通常获取多帧连续的图像，终端单位时间内获取图像的帧数越多以及处理图像的速度越快，眼动跟踪的效果越精确。

步骤302，在至少两帧图像中获取人眼区域；

终端在至少两帧图像中获取人眼区域，人眼区域是指图像中人眼存在的区域。为了提高图像处理速度和精确度，通常终端在获取人眼区域之前，还可以对获取到的图像进行图像预处理，图像预处理包括：终端对图像进行光照补偿然后转换为灰度图像，再通过人眼检测算法进行人眼检测获取人眼区域。

比如，在adaboost检测算法中，终端通常使用默认的按比例逐步变大的搜索窗口搜索图像中的人眼区域，搜索过程具体如下：

1、终端使用初始搜索窗口地毯式搜索图像中的人眼区域；

2、当搜索到人眼区域时，终端获取人眼区域；当没有搜索到人脸区域时，终端将搜索窗口按比例变大再次地毯式搜索该图像；

3、若终端使用变大后的搜索窗口能够搜索到人眼区域，则获取人眼区域；若终端没有搜索到人眼区域，则将搜索窗口再次按比例变大进行地毯式搜索，当该搜索窗口放大到预定程度时，若还没有搜索到人眼区域，则认为在该图像中没有符合条件的人眼区域。

步骤303，在至少两帧图像各自的人眼区域中确定人眼虹膜中心的位置；

终端在至少两帧图像各自的人眼区域中确定人眼虹膜中心的位置，人眼虹膜中心就相当于人眼的瞳孔。

如图3B，本步骤具体包括如下子步骤：

303a，终端在人眼区域中获取人眼区域的至少一个轮廓序列；

本步骤以左眼为例来进行说明，终端采用第一数值对左眼区域进行二值化处理获取人眼虹膜的残缺轮廓，使用中值滤波对人眼虹膜的残缺轮廓进行修正，再对左眼区域进行边缘化处理获取人眼区域的至少一个轮廓序列。第一数值是指符合人眼虹膜特征的数值。该至少一个轮廓序列是指人眼虹膜的轮廓序列。

终端在获取人眼区域的至少一个轮廓序列之前，还可以对左眼区域进行去噪来处理降低干扰。另外，由于人眼虹膜的颜色较深因此可以通过直方图均衡化将图像颜色范围进行拉伸，以降低皮肤区域对终端获取轮廓序列时的干扰。

303b，终端通过人眼虹膜的特征从至少一个轮廓序列中筛选出与人眼虹膜的特征相匹配的人眼虹膜轮廓序列；

由于人眼虹膜深浅不一有好几个轮廓，获取到的可能并不是只有一个轮廓，因此对步骤303a中获取到的人眼虹膜轮廓序列需要再次进行筛选，终端通过人眼虹膜的特征从至少一个轮廓序列中筛选出与人眼虹膜的特征相匹配的人眼虹膜轮廓序列。

303c，终端对人眼虹膜轮廓序列进行拟合，根据拟合结果获取人眼虹膜中心的位置。

当终端获取人眼虹膜轮廓序列后，需要从中获取人眼虹膜中心的位置。终端可以采用对人眼虹膜轮廓序列进行拟合的方式获取人眼虹膜中心的位置。比如，终端可以对人眼虹膜轮廓序列进行圆形拟合，终端可以将拟合出的圆形的圆心作为人眼虹膜中心的位置；终端也可以对人眼虹膜轮廓序列进行方形拟合，终端可以将拟合出的方形的中心作为人眼虹膜中心的位置。

步骤304，在至少两帧图像各自的人眼区域中确定参考点的位置，参考点是指与人眼区域保持相对静止的点；

终端在至少两帧图像各自的人眼区域中确定参考点的位置，参考点是指与人眼区域保持相对静止的点。

如图3C，本步骤包括如下子步骤：

304a，终端在人眼区域中获取人眼区域的至少一个轮廓序列；

本步骤仍以左眼为例来进行说明，终端采用第二数值对左眼区域进行二值化处理获取人眼眼睑的残缺轮廓，使用中值滤波对人眼眼睑的残缺轮廓进行修正，再对左眼区域进行边缘化处理获取人眼区域的至少一个轮廓序列。第二数值是指符合人眼眼睑特征的数值，与终端获取人眼虹膜的残缺轮廓所采用的第一数值不同。该至少一个轮廓序列是指人眼眼睑的轮廓序列。

终端在获取人眼区域的至少一个轮廓序列之前，还可以对对左眼区域进行去噪处理来降低干扰。

304b，终端通过人眼眼睑的特征从至少一个轮廓序列中筛选出与人眼眼睑的特征相匹配的人眼眼睑轮廓序列；

由于终端获取到的人眼眼睑轮廓序列可能不止一个而且并不一定都是人眼眼睑轮廓序列，比如，在步骤304a中获取到的人眼眼睑轮廓序列中可能会有人眼眼皮所形成的人眼眼睑轮廓序列。因此对步骤304a中获取到的人眼眼睑轮廓序列需要再次进行筛选，终端通过人眼眼睑的特征从至少一个轮廓序列中筛选出与人眼眼睑的特征相匹配的人眼眼睑轮廓序列。

304c，终端在人眼眼睑轮廓序列中获取参考点的位置。

本步骤中以终端获取人眼的内眼角点和/或外眼角点作为参考点为例来进行说明，由于在图像中内眼角点比外眼角点的特征更加突出，因此一般选取内眼角点作为参考点。

本步骤包括但不限于如下几种情况：

终端获取人眼眼睑轮廓序列中内眼角点和/或外眼角点；终端获取人眼眼睑轮廓序列后，将人眼眼睑轮廓序列中左右的极值点作为人眼的内外眼角点。

第一种，终端将内眼角点作为参考点，并获取参考点的位置；

终端可以通过如下方式获取人眼内眼角点：

1、终端在人眼区域中截取内眼角窗口并获取内眼角窗口中的人眼眼睑轮廓序列；

终端通常通过设定上边界值、下边界值、左边界值和右边界值在人眼区域中截取内眼角窗口，并获取截取到的内眼角窗口中的人眼眼睑轮廓序列。

2、终端在人眼眼睑轮廓序列中提取至少一个内眼角候选角点，内眼角候选角点为内眼角检测算子对内眼角窗口的边缘图进行卷积运算后得到的最大值所在的位置上的点；

由于真实人眼的实际情况以及算法精准度的问题，内眼角候选角点可能不止一个。

3、终端根据内眼角点在内眼角窗口中的位置特征从至少一个内眼角候选角点中筛选出与位置特征匹配的内眼角点。

内眼角点在内眼角窗口中的位置特征是指根据真实人眼中内眼角点所处位置上的特征，比如，内眼角点一般处于人眼区域的极左或极右位置上。

本步骤包括但不限于如下三种情况：

第一种，若只有一个内眼角候选角点，则终端将内眼角候选角点作为与内眼角点在内眼角窗口中的位置特征匹配的内眼角点；

第二种，若有两个内眼角候选角点，则终端将距离人眼虹膜中心最远的内眼角候选角点作为与内眼角点在内眼角窗口中的位置特征匹配的内眼角点；

第三种，若至少有三个内眼角候选角点，则终端根据预设的候选角点筛选规则筛选出与内眼角点在内眼角窗口中的位置特征匹配的内眼角点。

如图3D，以左眼区域为例，具体来讲，包括如下子步骤：

1）、终端从至少三个内眼角候选角点中找出横坐标的最大值和纵坐标的最小值；

假设有五个内眼角候选角点，分别为a(2，0.2)，b(1.8，0.1)，c(1.8，0.2)，d(1.9，0.2)，e(1.7，0.1)，其中横坐标的最大值为2，纵坐标的最小值0.1。

2）、终端在以横坐标的最大值和纵坐标的最小值形成的坐标点为中心的预设邻域内找出至少一个内眼角候选角点；

预设邻域是指以横坐标的最大值和纵坐标的最小值为中心的开区间或闭区间的邻域。比如，假设领域半径为0.15，以坐标为（2，0.1）的点O的闭区域内存在有a(2，0.2)，d(1.9，0.2)。

3）、终端对找出的内眼角候选角点的横坐标求平均得到第一平均值，对所找出的内眼角候选角点的纵坐标求平均得到第二平均值；

比如，对a(2，0.2)，d(1.9，0.2)的横坐标求平均值和纵坐标求平均值。第一平均值：（2+1.9）/2=1.95；第二平均值：（0.2+0.2）/2=0.2。

4）、终端将第一平均值和第二平均值形成的坐标点所在的位置作为参考点的位置。

比如终端将（1.95，0.2）作为参考点的位置。

第二种，终端将外眼角点作为参考点，并获取参考点的位置；

外眼角点的获取方法与内眼角点的获取方法类似，在此就不再赘述。

第三种，终端将内眼角点和外眼角点同时作为参考点，并获取参考点的位置。

外眼角点的获取方法与内眼角点的获取方法类似，在此就不再赘述。

步骤305，根据至少两帧图像中各自的人眼虹膜中心的位置和参考点的位置对人眼虹膜中心进行眼动跟踪。

终端根据至少两帧图像中各自的人眼虹膜中心的位置和参考点的位置对人眼虹膜中心进行眼动跟踪。

本步骤包括但不限于如下两种方式：

第一种，终端根据至少两帧图像中各自的人眼虹膜中心的位置和参考点的位置获取人眼虹膜中心相对于参考点的运动参数。

具体来讲，又包括如下子步骤：

1、对于每帧图像，终端计算图像中各自的人眼虹膜中心相对于图像中的参考点的运动矢量；

由于参考点是相对于人眼区域是相对静止的，在人眼虹膜中心运动的过程中，终端可以将该参考点作为人眼虹膜中心运动的参考。矢量是指既有大小又有方向的量，根据人眼虹膜中心的位置和参考点的位置可以计算出人眼虹膜中心相对于参考点的运动矢量。

2、终端根据至少两帧图像中每帧图像计算得到的运动矢量获取人眼虹膜中心相对于参考点的运动参数；

运动参数包括运动方向、运动速度、运动加速度和运动距离中的至少一种。

第二种，终端根据至少两帧图像中各自的人眼虹膜中心的位置和参考点的位置获取人眼虹膜中心相对于参考点的注视位置；

终端根据至少两帧图像中各自的人眼虹膜中心的位置和参考点的位置获取人眼虹膜中心相对于参考点的注视位置。

具体来讲，又包括如下子步骤：

1、若在人眼区域中获取的参考点包括有内眼角点和外眼角点，则终端根据内眼角点和外眼角点的距离进行虚拟人眼的建模；

2、终端通过人眼虹膜中心相对于内眼角点和外眼角点的位置计算出人眼虹膜中心相对于虚拟人眼所在的区域；

3、终端根据人眼虹膜中心相对于虚拟人眼所在的区域以及预设人眼模态参数获取人眼在屏幕上的注视区域和/或注视点，预设人眼模态参数用于根据人眼虹膜中心相对于虚拟人眼所在的区域将人眼视线映射到屏幕上对应的位置。

步骤306，根据眼动跟踪结果执行相应操作。

第一种，当眼动跟踪结果为运动参数时，终端根据人眼虹膜中心相对于参考点的运动参数执行相应操作，在步骤305中的运动方向、运动速度、运动加速度和运动距离等运动参数可以单独作为参考条件，也可以综合起来作为参考条件。

当人眼虹膜中心的运动方向符合预定运动方向时，则终端执行与该预定运动方向相应的操作，比如，翻页操作；当人眼虹膜中心的运动速度达到预定运动速度时，则终端执行与该预定运动速度相应的操作，比如滚动窗口；当人眼虹膜中心的运动加速度达到预定运动加速度时，则终端执行与该预定运动加速度相应的操作，比如调节窗口滚动速度；当人眼虹膜中心的运动加速度达到预定运动加速度时，则终端执行与该预定运动加速度相应的操作，比如调节窗口滚动速度；当人眼虹膜中心的运动距离达到预定运动距离时，则终端执行与该预定运动距离相应的操作，比如翻页操作、向下或向上滚动窗口、向左或向右滚动窗口。

比如，若人眼虹膜中心移动到参考点的右下方的第一预定范围后停止移动，并在第一预定时间内从第一预定范围转变到参考点中心的左上方时，则终端发出翻页命令进行翻页；若人眼虹膜中心相对于参考点移动的距离在预定距离内时，则终端保持当前界面不变，也即因为是视线的自然抖动，终端不执行翻页等操作，保持当前界面不变，防止误操作的发生；当终端检测到人眼虹膜中心相对于参考点在不断向下移动，也即表示用户正在浏览该页，终端不执行翻页操作，保持当前界面不变或滚动窗口。

第二种，当眼动跟踪结果为注视区域和/注视点时，当人眼在屏幕上的注视区域和/注视点停留在第二预定范围内达到第二预定时间时，则终端根据检测到的人眼的凝视或者眨眼的状态激活相应的操作。

当人眼在屏幕上的注视区域和/注视点停留在第二预定范围内达到第二预定时间时，则终端根据检测到的人眼的凝视或者眨眼的状态激活相应的操作；操作包括启动应用程序、自动翻页、终端解锁和视频暂停中的任意一种。

人眼在屏幕上的注视区域和/注视点停留在第二预定范围内达到第二预定时间换句话说就是人眼长时间注视同一个区域。凝视是指在连续的多帧图像中检测到的人眼虹膜中心的位置都保持不变的状态；眨眼是指人眼虹膜中心在多帧图像中间隔出现的状态。

比如，当人眼注视通讯录达到10秒钟时，终端自动打开通讯录，以便用户查找联系人；当人眼注视影音播放界面的暂停按钮达到10秒钟时，终端暂停播放中的视频；当人眼注视“下一章”按钮达到5秒钟时，终端进行翻页；当在多帧图像中检测到人眼虹膜中心间隔出现，终端进行界面切换。

综上所述，本实施例提供的眼动跟踪方法，通过获取至少两帧图像；在至少两帧图像中获取人眼区域；在至少两帧图像各自的人眼区域中确定人眼虹膜中心的位置；在至少两帧图像各自的人眼区域中确定参考点的位置，参考点是指与人眼区域保持相对静止的点；根据至少两帧图像中各自的人眼虹膜中心的位置和参考点的位置对人眼虹膜中心进行眼动跟踪；解决了入侵式眼动跟踪技术通常需要额外的硬件进行辅助才能获取眼睛注视方向的变化情况的问题；达到了不需要额外的硬件进行辅助，通过获取图像就能进行眼动跟踪的效果。

另外，对于视线的自然抖动，终端不执行翻页等操作，保持当前界面不变，可以有效的防止误操作的发生。

在上述步骤302中，为了减少搜索次数，提高搜索效率，终端除了可以使用默认的按比例逐步变大的搜索窗口搜索图像中的人眼区域之外，终端还可以使用自适应搜索算法搜索人眼区域；当自适应搜索算法无法搜索出人眼区域时，终端可以再次使用默认的按比例逐步变大的搜索窗口搜索图像中的人眼区域。

如图3E，具体来讲，步骤302包括如下子步骤：

302a，对于当前帧图像，若不存在上一帧图像或存在上一帧图像且上一帧图像中未检测到人眼区域，则终端使用默认的按比例逐步变大的搜索窗口搜索当前帧图像中的人眼区域；

终端使用默认的按比例逐步变大的搜索窗口地毯式地搜索图像中的每一个区域，搜索满足人眼特征的人眼区域。比如，使用adaboost检测算法。

302b，若存在上一帧图像且上一帧图像中检测到人眼区域，则终端使用从上一帧图像中获取到的人眼区域时对应的搜索窗口搜索当前帧图像中的人眼区域；

终端在搜索上一帧图像时记录搜索到的人眼区域的参数，包括：坐标、尺寸和色度等等，以便以后使用。

上一帧图像中获取到的人眼区域时对应的搜索窗口不同于默认的按比例逐步变大的双眼搜索窗口，当人眼与终端显示屏幕距离的尺寸变化不大时，终端使用上一帧图像中获取到的人眼区域时对应的搜索窗口搜索当前帧图像中的人眼区域能够减少搜索次数，提高搜索效率，提高搜索准确度。

比如，图3F所示，假设默认的按比例逐步变大的搜索窗口30的尺寸为1cm*0.5cm，从左上角开始地毯式搜索，若第一次地毯式搜索没有搜索到人眼区域，则将搜索窗口30的尺寸变成2cm*1cm再次从左上角开始地毯式搜索，比较耗费时间。假设上一帧图像中获取到的人眼区域时对应的搜索窗口40是指在上一帧图像中获取到的人眼区域，其对应的搜索窗口的尺寸为2cm*1cm，坐标为（2，4），则终端在当前帧图形中直接使用尺寸为2cm*1cm，坐标为（2,3）的搜索窗口搜索人眼区域，提高了搜索效率。

需要补充说明的是，本步骤中所述的人眼区域搜索方法可以应用在双眼区域搜索中，也可以应用在单眼区域搜索中，还可以应在双眼区域和单眼区域结合搜索的情况中，视具体情况而定。

302c，如果在当前帧图像中使用从上一帧图像中获取到的人眼区域时对应的搜索窗口未搜索到人眼区域，则终端使用默认的按比例逐步变大的搜索窗口搜索当前帧图像中的人眼区域；或，终端使用默认的按比例逐步变大的搜索窗口搜索下一帧图像中的人眼区域。

本步骤是指若当前帧图形中没有与上一帧图像中的人眼区域匹配的人眼区域时，则需要使用默认的按比例逐步变大的搜索窗口进行搜索。若终端的搜索能力强性能好并且当前帧图形还保留，则终端可以使用默认的按比例逐步变大的搜索窗口再次搜索当前帧图像；若终端搜索能力不强性能不好或者当前帧图像无法恢复，则终端可以使用默认的按比例逐步变大的搜索窗口搜索下一帧图像，以提高实时性。

需要补充说明的是，在上述步骤302a中，终端使用默认的按比例逐步变大的搜索窗口搜索图像中的人眼区域包括但不限于如下三种情况：

第一种，终端使用默认的按比例逐步变大的双眼搜索窗口搜索当前帧图像中的双眼区域；

在第一种情况中，终端使用双眼搜索窗口获取双眼区域。由于满足双眼特征的双眼区域比较少，因此使用双眼搜索窗口搜索双眼区域执行速度比较快。为了便于后续处理，提高运算速度，终端在搜索出双眼区域后，通常来讲，终端一直从双眼区域中提取左眼区域作为目标区域进行后续处理，或者终端一直从双眼区域中提取右眼区域作为目标区域进行后续处理。

第二种，终端使用默认的按比例逐步变大的单眼搜索窗口搜索当前帧图像中的单眼区域；

在第二种情况中，终端使用单眼搜索窗口获取单眼区域。终端可以预先设定左眼区域或者右眼区域为目标区域，从获取到的不止一个的单眼区域中筛选出目标区域，终端可以根据距离来筛选出目标区域，终端还可以根据上一帧图像中搜索出的单眼区域的某一特征来匹配当前帧获取到的单眼区域，选出与该特征匹配的单眼区域作为目标区域。

第三种，终端使用默认的按比例逐步变大的双眼搜索窗口搜索当前帧图像中的双眼区域；如果没有搜索到双眼区域，则使用默认的按比例逐步变大的单眼搜索窗口搜索当前帧图像中的单眼区域。

由于满足双眼特征的双眼区域比较少，因此使用双眼搜索窗口搜索双眼区域执行速度比较快；虽然单眼搜索窗口搜索单眼区域的能力比较强，但搜索单眼区域的执行速度比较慢，因此，在双眼区域搜索失败的情况下才搜索单眼区域。

终端可以在下一帧图像中使用上述搜索方法；不管是使用初始搜索窗口搜索人眼区域还是使用自适应搜索算法搜索人眼区域，终端都可以使用上述搜索方法，在此就不再赘述。

综上所述，终端通过使用上一帧图像中获取到的人眼区域时对应的搜索窗口搜索当前帧图像中的人眼区域能够减少搜索次数，可以提高搜索效率以及搜索准确度。

以下为本发明的装置实施例，对于其中未详尽描述的细节，可以参考上述对应的方法实施例。

请参考图4，其示出了本发明一个实施例提供的眼动跟踪装置的结构示意图。该眼动跟踪装置可以通过软件、硬件或者两者的结合实现成为终端的全部或者一部分，该眼动跟踪装置包括：图像获取模块410、区域获取模块420、中心确定模块430、参考点定位模块440和眼动跟踪模块450；

图像获取模块410，用于获取至少两帧图像；

区域获取模块420，用于在图像获取模块410获取到的至少两帧图像中获取人眼区域；

中心确定模块430，用于在区域获取模块420获取到的至少两帧图像各自的人眼区域中确定人眼虹膜中心的位置；

参考点定位模块440，用于在区域获取模块420获取到的至少两帧图像各自的人眼区域中确定参考点的位置，参考点是指与人眼区域保持相对静止的点；

眼动跟踪模块450，用于根据中心确定模块430获取到的至少两帧图像中各自的人眼虹膜中心的位置和参考点定位模块440获取到的参考点的位置对人眼虹膜中心进行眼动跟踪。

综上所述，本实施例提供的眼动跟踪装置，通过获取至少两帧图像；在至少两帧图像中获取人眼区域；在至少两帧图像各自的人眼区域中确定人眼虹膜中心的位置；在至少两帧图像各自的人眼区域中确定参考点的位置，参考点是指与人眼区域保持相对静止的点；根据至少两帧图像中各自的人眼虹膜中心的位置和参考点的位置对人眼虹膜中心进行眼动跟踪；解决了入侵式眼动跟踪技术通常需要额外的硬件进行辅助才能获取眼睛注视方向的变化情况的问题；达到了不需要额外的硬件进行辅助，通过获取图像就能进行眼动跟踪的效果。

请参考图5，其示出了本发明另一个实施例提供的眼动跟踪装置的结构示意图。该眼动跟踪装置可以通过软件、硬件或者两者的结合实现成为终端的全部或者一部分，该眼动跟踪装置包括：图像获取模块410、区域获取模块420、中心确定模块430、参考点定位模块440和眼动跟踪模块450；

图像获取模块410，用于获取至少两帧图像；

区域获取模块420，用于在图像获取模块410获取到的至少两帧图像中获取人眼区域；

中心确定模块430，用于在区域获取模块420获取到的至少两帧图像各自的人眼区域中确定人眼虹膜中心的位置；

参考点定位模块440，用于在区域获取模块420获取到的至少两帧图像各自的人眼区域中确定参考点的位置，参考点是指与人眼区域保持相对静止的点；

眼动跟踪模块450，用于根据中心确定模块430获取到的至少两帧图像中各自的人眼虹膜中心的位置和参考点定位模块440获取到的参考点的位置对人眼虹膜中心进行眼动跟踪。

进一步的，区域获取模块420，包括：

第一搜索子模块421，用于对于当前帧图像，若不存在上一帧图像或存在上一帧图像且上一帧图像中未检测到人眼区域，则使用默认的按比例逐步变大的搜索窗口搜索当前帧图像中的人眼区域；

第二搜索子模块422，用于若存在上一帧图像且上一帧图像中检测到人眼区域，则使用从上一帧图像中获取到的人眼区域时对应的搜索窗口搜索当前帧图像中的人眼区域。

进一步的，眼动跟踪装置，还包括：

第三搜索子模块422，用于如果在当前帧图像中使用从上一帧图像中获取到的人眼区域时对应的搜索窗口未搜索到人眼区域，则使用默认的按比例逐步变大的搜索窗口搜索当前帧图像中的人眼区域；或，使用默认的按比例逐步变大的搜索窗口搜索下一帧图像中的人眼区域。

进一步的，第一搜索子模块421，包括：

双眼搜索单元401，用于使用默认的按比例逐步变大的双眼搜索窗口搜索当前帧图像中的双眼区域；或，

单眼搜索单元402，用于使用默认的按比例逐步变大的单眼搜索窗口搜索当前帧图像中的单眼区域；或，

双单搜索单元403，用于使用默认的按比例逐步变大的双眼搜索窗口搜索当前帧图像中的双眼区域；如果没有搜索到双眼区域，则使用默认的按比例逐步变大的单眼搜索窗口搜索当前帧图像中的单眼区域。

进一步的，中心确定模块430，包括：

第一获取子模块431，用于在人眼区域中获取人眼区域的至少一个轮廓序列；

第一筛选子模块432，用于通过人眼虹膜的特征从第一获取子模块431获取到的至少一个轮廓序列中筛选出与人眼虹膜的特征相匹配的人眼虹膜轮廓序列；

中心获取子模块433，用于对第一筛选子模块432获取到的人眼虹膜轮廓序列进行拟合，根据拟合结果获取人眼虹膜中心的位置。

进一步的，参考点定位模块440，包括：

第二获取子模块441，用于在人眼区域中获取人眼区域的至少一个轮廓序列；

第二筛选子模块442，用于通过人眼眼睑的特征从第二获取子模块441获取到的至少一个轮廓序列中筛选出与人眼眼睑的特征相匹配的人眼眼睑轮廓序列；

参考点获取子模块443，用于在第二筛选子模块442获取到的人眼眼睑轮廓序列中获取参考点的位置。

进一步的，

参考点获取子模块443，还用于获取人眼眼睑轮廓序列中内眼角点和/或外眼角点；

参考点获取子模块443，还用于将参考点获取子模块443获取到的内眼角点作为参考点，并获取参考点的位置；或，

参考点获取子模块443，还用于将参考点获取子模块443获取到的外眼角点作为参考点，并获取参考点的位置；或，

参考点获取子模块443，还用于将参考点获取子模块443获取到的内眼角点和外眼角点同时作为参考点，并获取参考点的位置。

进一步的，参考点获取子模块443，包括：

窗口截取单元404，用于在人眼区域中截取内眼角窗口并获取内眼角窗口中的人眼眼睑轮廓序列；

角点提取单元405，用于在窗口截取单元404获取到的人眼眼睑轮廓序列中提取至少一个内眼角候选角点，内眼角候选角点为内眼角检测算子对内眼角窗口的边缘图进行卷积运算后得到的最大值所在的位置上的点；

角点筛选单元406，用于根据内眼角点在内眼角窗口中的位置特征从角点提取单元405获取到的至少一个内眼角候选角点中筛选出与位置特征匹配的内眼角点。

进一步的，角点筛选单元406，包括：

第一确定子单元407，用于若只有一个内眼角候选角点，则将内眼角候选角点作为与位置特征匹配的内眼角点；

第二确定子单元408，用于若有两个内眼角候选角点，则将距离人眼虹膜中心最远的内眼角候选角点作为与位置特征匹配的内眼角点；

第三确定子单元409，用于若至少有三个内眼角候选角点，则根据预设的候选角点筛选规则筛选出与位置特征匹配的内眼角点。

进一步的，若截取的是左眼内眼角窗口，

第三确定子单元409，还用于从至少三个内眼角候选角点中找出横坐标的最大值和纵坐标的最小值；

第三确定子单元409，还用于在横坐标的最大值和纵坐标的最小值为中心的预设邻域内找出至少一个横坐标；

第三确定子单元409，还用于对找出的内眼角候选角点的横坐标求平均得到第一平均值，对找出的内眼角候选角点的纵坐标求平均得到第二平均值；

第三确定子单元409，还用于将第一平均值和第二平均值所在的位置作为参考点的位置。

进一步的，眼动跟踪模块450，包括：

运动参数获取子模块451，用于根据至少两帧图像中各自的人眼虹膜中心的位置和参考点的位置获取人眼虹膜中心相对于参考点的运动参数；

或，

注视位置获取子模块452，用于根据至少两帧图像中各自的人眼虹膜中心的位置和参考点的位置获取人眼虹膜中心相对于参考点的注视位置。

进一步的，运动参数获取子模块451，包括：

矢量计算单元411，用于计算人眼虹膜中心相对于参考点的运动矢量；

参数获取单元412，用于根据矢量计算单元411计算出的运动矢量获取人眼虹膜中心相对于参考点的运动参数，运动参数包括运动方向、运动速度、运动加速度和运动距离中的至少一种。

进一步的，注视位置获取子模块452，包括：

人眼建模单元413，用于若在人眼区域中获取的参考点包括有内眼角点和外眼角点，则根据内眼角点和外眼角点的距离进行虚拟人眼的建模；

区域计算单元414，用于通过人眼虹膜中心相对于内眼角点和外眼角点的位置计算出人眼虹膜中心相对于虚拟人眼所在的区域；

位置获取单元415，用于根据人眼虹膜中心相对于虚拟人眼所在的区域以及预设人眼模态参数获取人眼在屏幕上的注视区域和/或注视点，预设人眼模态参数用于根据人眼虹膜中心相对于虚拟人眼所在的区域将人眼视线映射到屏幕上对应的位置。

进一步的，眼动跟踪装置，还包括：

第一执行模块460，用于若人眼虹膜中心移动到参考点的右下方的第一预定范围后停止移动，并在第一预定时间内转变到参考点的左上方时，则发出翻页命令进行翻页；

第二执行模块470，用于若人眼虹膜中心相对于参考点移动的距离在预定距离内时，则保持当前界面不变。

进一步的，眼动跟踪装置，还包括：

第三执行模块480，用于当人眼在屏幕上的注视区域和/注视点停留在第二预定范围内达到第二预定时间时，则根据检测到的人眼的凝视或者眨眼的状态激活相应的操作，操作包括启动应用程序、自动翻页、终端解锁和视频暂停中的任意一种。

综上所述，本实施例提供的眼动跟踪装置，通过获取至少两帧图像；在至少两帧图像中获取人眼区域；在至少两帧图像各自的人眼区域中确定人眼虹膜中心的位置；在至少两帧图像各自的人眼区域中确定参考点的位置，参考点是指与人眼区域保持相对静止的点；根据至少两帧图像中各自的人眼虹膜中心的位置和参考点的位置对人眼虹膜中心进行眼动跟踪；解决了入侵式眼动跟踪技术通常需要额外的硬件进行辅助才能获取眼睛注视方向的变化情况的问题；达到了不需要额外的硬件进行辅助，通过获取图像就能进行眼动跟踪的效果。

另外，终端通过使用上一帧图像中获取到的人眼区域时对应的搜索窗口搜索当前帧图像中的人眼区域能够减少搜索次数，可以提高搜索效率以及搜索准确度；再者，对于视线的自然抖动，终端不执行翻页等操作，保持当前界面不变，可以有效的防止误操作的发生。

请参考图6，其示出了本发明一个实施例提供的终端的结构示意图。该终端用于如图1所示的实施环境中。该终端包括：处理器620和存储器640；

处理器620，用于获取至少两帧图像；

处理器620，还用于在至少两帧图像中获取人眼区域；

处理器620，还用于在至少两帧图像各自的人眼区域中确定人眼虹膜中心的位置；

处理器620，还用于在至少两帧图像各自的人眼区域中确定参考点的位置，参考点是指与人眼区域保持相对静止的点；

处理器620，还用于根据存储器640缓存的至少两帧图像中各自的人眼虹膜中心的位置和参考点的位置对人眼虹膜中心进行眼动跟踪。

综上所述，本实施例提供的终端，通过获取至少两帧图像；在至少两帧图像中获取人眼区域；在至少两帧图像各自的人眼区域中确定人眼虹膜中心的位置；在至少两帧图像各自的人眼区域中确定参考点的位置，参考点是指与人眼区域保持相对静止的点；根据至少两帧图像中各自的人眼虹膜中心的位置和参考点的位置对人眼虹膜中心进行眼动跟踪；解决了入侵式眼动跟踪技术通常需要额外的硬件进行辅助才能获取眼睛注视方向的变化情况的问题；达到了不需要额外的硬件进行辅助，通过获取图像就能进行眼动跟踪的效果。

在如图6所示的实施例的基础上，进一步的，

处理器620，还用于对于当前帧图像，若不存在上一帧图像或存在上一帧图像且上一帧图像中未检测到人眼区域，则使用默认的按比例逐步变大的搜索窗口搜索当前帧图像中的人眼区域；

处理器620，还用于若存在上一帧图像且上一帧图像中检测到人眼区域，则使用从上一帧图像中获取到的人眼区域时对应的搜索窗口搜索当前帧图像中的人眼区域。

进一步的，处理器620，还用于如果在当前帧图像中使用从上一帧图像中获取到的人眼区域时对应的搜索窗口未搜索到人眼区域，则使用默认的按比例逐步变大的搜索窗口搜索当前帧图像中的人眼区域；或，使用默认的按比例逐步变大的搜索窗口搜索下一帧图像中的人眼区域。

进一步的，

处理器620，还用于使用默认的按比例逐步变大的双眼搜索窗口搜索当前帧图像中的双眼区域；或，

处理器620，还用于使用默认的按比例逐步变大的单眼搜索窗口搜索当前帧图像中的单眼区域；或，

处理器620，还用于使用默认的按比例逐步变大的双眼搜索窗口搜索当前帧图像中的双眼区域；如果没有搜索到双眼区域，则使用默认的按比例逐步变大的单眼搜索窗口搜索当前帧图像中的单眼区域。

进一步的，

处理器620，还用于在人眼区域中获取人眼区域的至少一个轮廓序列；

处理器620，还用于通过人眼虹膜的特征从至少一个轮廓序列中筛选出与人眼虹膜的特征相匹配的人眼虹膜轮廓序列；

处理器620，还用于对人眼虹膜轮廓序列进行拟合，根据拟合结果获取人眼虹膜中心的位置。

进一步的，

处理器620，还用于在人眼区域中获取人眼区域的至少一个轮廓序列；

处理器620，还用于通过人眼眼睑的特征从至少一个轮廓序列中筛选出与人眼眼睑的特征相匹配的人眼眼睑轮廓序列；

处理器620，还用于在人眼眼睑轮廓序列中获取参考点的位置。

进一步的，

处理器620，还用于获取人眼眼睑轮廓序列中内眼角点和/或外眼角点；

处理器620，还用于将内眼角点作为参考点，并获取参考点的位置；或，

处理器620，还用于将外眼角点作为参考点，并获取参考点的位置；或，

处理器620，还用于将内眼角点和外眼角点同时作为参考点，并获取参考点的位置。

进一步的，

处理器620，还用于在人眼区域中截取内眼角窗口并获取内眼角窗口中的人眼眼睑轮廓序列；

处理器620，还用于在人眼眼睑轮廓序列中提取至少一个内眼角候选角点，内眼角候选角点为内眼角检测算子对内眼角窗口的边缘图进行卷积运算后得到的最大值所在的位置上的点；

处理器620，还用于根据内眼角点在内眼角窗口中的位置特征从至少一个内眼角候选角点中筛选出与位置特征匹配的内眼角点。

进一步的，

处理器620，还用于若只有一个内眼角候选角点，则将内眼角候选角点作为与位置特征匹配的内眼角点；

处理器620，还用于若有两个内眼角候选角点，则将距离人眼虹膜中心最远的内眼角候选角点作为与位置特征匹配的内眼角点；

处理器620，还用于若至少有三个内眼角候选角点，则根据预设的候选角点筛选规则筛选出与位置特征匹配的内眼角点。

进一步的，，若截取的是左眼内眼角窗口，

处理器620，还用于从至少三个内眼角候选角点中找出横坐标的最大值和纵坐标的最小值；

处理器620，还用于在以横坐标的最大值和纵坐标的最小值形成的坐标点为中心的预设邻域内找出至少一个内眼角候选角点；

处理器620，还用于对找出的内眼角候选角点的横坐标求平均得到第一平均值，对找出的内眼角候选角点的纵坐标求平均得到第二平均值；

处理器620，还用于将第一平均值和第二平均值形成的坐标点所在的位置作为参考点的位置。

进一步的，

处理器620，还用于根据至少两帧图像中各自的人眼虹膜中心的位置和参考点的位置获取人眼虹膜中心相对于参考点的运动参数；

或，

处理器620，还用于根据至少两帧图像中各自的人眼虹膜中心的位置和参考点的位置获取人眼虹膜中心相对于参考点的注视位置。

进一步的，

处理器620，还用于对于每帧图像，计算图像中的人眼虹膜中心相对于图像中的参考点的运动矢量；

处理器620，还用于根据至少两帧图像中每帧图像计算得到的运动矢量获取人眼虹膜中心相对于参考点的运动参数，运动参数包括运动方向、运动速度、运动加速度和运动距离中的至少一种。

进一步的，

处理器620，还用于若在人眼区域中获取的参考点包括有内眼角点和外眼角点，则根据内眼角点和外眼角点的距离进行虚拟人眼的建模；

处理器620，还用于通过人眼虹膜中心相对于内眼角点和外眼角点的位置计算出人眼虹膜中心相对于虚拟人眼所在的区域；

处理器620，还用于根据人眼虹膜中心相对于虚拟人眼所在的区域以及预设人眼模态参数获取人眼在屏幕上的注视区域和/或注视点，预设人眼模态参数用于根据人眼虹膜中心相对于虚拟人眼所在的区域将人眼视线映射到屏幕上对应的位置。

进一步的，

处理器620，还用于若人眼虹膜中心移动到参考点的右下方的第一预定范围后停止移动，并在第一预定时间内从第一预定范围转变到参考点中心的左上方时，则发出翻页命令进行翻页；

处理器620，还用于若人眼虹膜中心相对于参考点移动的距离在预定距离内时，则保持当前界面不变。

进一步的，

处理器620，还用于当人眼在屏幕上的注视区域和/注视点停留在第二预定范围内达到第二预定时间时，则根据检测到的人眼的凝视或者眨眼的状态激活相应的操作，操作包括启动应用程序、自动翻页、终端解锁和视频暂停中的任意一种。

综上所述，本实施例提供的终端，通过获取至少两帧图像；在至少两帧图像中获取人眼区域；在至少两帧图像各自的人眼区域中确定人眼虹膜中心的位置；在至少两帧图像各自的人眼区域中确定参考点的位置，参考点是指与人眼区域保持相对静止的点；根据至少两帧图像中各自的人眼虹膜中心的位置和参考点的位置对人眼虹膜中心进行眼动跟踪；解决了入侵式眼动跟踪技术通常需要额外的硬件进行辅助才能获取眼睛注视方向的变化情况的问题；达到了不需要额外的硬件进行辅助，通过获取图像就能进行眼动跟踪的效果。

另外，终端通过使用上一帧图像中获取到的人眼区域时对应的搜索窗口搜索当前帧图像中的人眼区域能够减少搜索次数，可以提高搜索效率以及搜索准确度；再者，对于视线的自然抖动，终端不执行翻页等操作，保持当前界面不变，可以有效的防止误操作的发生。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (30)

1.一种眼动跟踪方法，其特征在于，所述方法包括：

获取至少两帧图像；

在所述至少两帧图像中获取人眼区域；

在所述至少两帧图像各自的人眼区域中确定人眼虹膜中心的位置；

在所述至少两帧图像各自的人眼区域中确定参考点的位置，所述参考点是指与所述人眼区域保持相对静止的点；

根据所述至少两帧图像中各自的所述人眼虹膜中心的位置和所述参考点的位置对所述人眼虹膜中心进行眼动跟踪。

2.根据权利要求1所述的方法，其特征在于，所述在所述至少两帧图像中获取人眼区域，包括：

对于当前帧图像，若不存在上一帧图像或存在所述上一帧图像且所述上一帧图像中未检测到所述人眼区域，则使用默认的按比例逐步变大的搜索窗口搜索所述当前帧图像中的人眼区域；

若存在所述上一帧图像且所述上一帧图像中检测到所述人眼区域，则使用从所述上一帧图像中获取到的所述人眼区域时对应的搜索窗口搜索所述当前帧图像中的人眼区域。

3.根据权利要求2所述的方法，其特征在于，所述使用从所述上一帧图像中获取到的所述人眼区域的搜索窗口搜索所述当前帧图像中的人眼区域之后，还包括：

如果在所述当前帧图像中使用从所述上一帧图像中获取到的所述人眼区域时对应的搜索窗口未搜索到人眼区域，则使用所述默认的按比例逐步变大的搜索窗口搜索所述当前帧图像中的人眼区域；或，使用所述默认的按比例逐步变大的搜索窗口搜索下一帧图像中的人眼区域。

4.根据权利要求2或3所述的方法，其特征在于，所述使用默认的按比例逐步变大的搜索窗口搜索所述当前帧图像中的人眼区域，包括：

使用默认的按比例逐步变大的双眼搜索窗口搜索所述当前帧图像中的双眼区域；或，

使用默认的按比例逐步变大的单眼搜索窗口搜索所述当前帧图像中的单眼区域；或，

使用默认的按比例逐步变大的双眼搜索窗口搜索所述当前帧图像中的双眼区域；如果没有搜索到所述双眼区域，则使用默认的按比例逐步变大的单眼搜索窗口搜索所述当前帧图像中的单眼区域。

5.根据权利要求1至4任一所述的方法，其特征在于，所述在所述至少两帧图像各自的所述人眼区域中确定人眼虹膜中心的位置，包括：

在所述人眼区域中获取所述人眼区域的至少一个轮廓序列；

通过人眼虹膜的特征从所述至少一个轮廓序列中筛选出与所述人眼虹膜的特征相匹配的人眼虹膜轮廓序列；

对所述人眼虹膜轮廓序列进行拟合，根据拟合结果获取所述人眼虹膜中心的位置。

6.根据权利要求1至4任一所述的方法，其特征在于，所述在所述至少两帧图像各自的所述人眼区域中确定参考点的位置，包括：

在所述人眼区域中获取所述人眼区域的至少一个轮廓序列；

通过人眼眼睑的特征从所述至少一个轮廓序列中筛选出与所述人眼眼睑的特征相匹配的人眼眼睑轮廓序列；

在所述人眼眼睑轮廓序列中获取所述参考点的位置。

7.根据权利要求6所述的方法，其特征在于，所述在所述人眼眼睑轮廓序列中获取所述参考点的位置，包括：

获取所述人眼眼睑轮廓序列中内眼角点和/或外眼角点；

将所述内眼角点作为所述参考点，并获取所述参考点的位置；或，

将所述外眼角点作为所述参考点，并获取所述参考点的位置；或，

将所述内眼角点和所述外眼角点同时作为所述参考点，并获取所述参考点的位置。

8.根据权利要求7所述的方法，其特征在于，所述获取所述人眼眼睑轮廓序列中内眼角点，包括：

在所述人眼区域中截取内眼角窗口并获取所述内眼角窗口中的人眼眼睑轮廓序列；

在所述人眼眼睑轮廓序列中提取至少一个内眼角候选角点，所述内眼角候选角点为内眼角检测算子对所述内眼角窗口的边缘图进行卷积运算后得到的最大值所在的位置上的点；

根据内眼角点在所述内眼角窗口中的位置特征从所述至少一个内眼角候选角点中筛选出与所述位置特征匹配的内眼角点。

9.根据权利要求8所述的方法，其特征在于，所述根据内眼角点在内眼角窗口中的位置特征从所述至少一个内眼角候选角点中筛选出与所述位置特征匹配的内眼角点，包括：

若只有一个内眼角候选角点，则将所述内眼角候选角点作为与所述位置特征匹配的内眼角点；

若有两个内眼角候选角点，则将距离所述人眼虹膜中心最远的内眼角候选角点作为与所述位置特征匹配的内眼角点；

若至少有三个内眼角候选角点，则根据预设的候选角点筛选规则筛选出与所述位置特征匹配的内眼角点。

10.根据权利要求9所述的方法，其特征在于，若截取的是左眼内眼角窗口，所述若至少有三个内眼角候选角点，根据预设的候选角点筛选规则筛选出与所述位置特征匹配的内眼角点，包括：

从所述至少三个内眼角候选角点中找出横坐标的最大值和纵坐标的最小值；

在以所述横坐标的最大值和纵坐标的最小值形成的坐标点为中心的预设邻域内找出至少一个内眼角候选角点；

对找出的所述内眼角候选角点的横坐标求平均得到第一平均值，对所述找出的所述内眼角候选角点的纵坐标求平均得到第二平均值；

将所述第一平均值和所述第二平均值形成的坐标点所在的位置作为所述参考点的位置。

11.根据权利要求1至10任一所述的方法，其特征在于，所述根据所述至少两帧图像中各自的所述人眼虹膜中心的位置和所述参考点的位置对所述人眼虹膜中心进行眼动跟踪，包括：

根据所述至少两帧图像中各自的所述人眼虹膜中心的位置和所述参考点的位置获取所述人眼虹膜中心相对于所述参考点的运动参数；

或，

根据所述至少两帧图像中各自的所述人眼虹膜中心的位置和所述参考点的位置获取所述人眼虹膜中心相对于所述参考点的注视位置。

12.根据权利要求11所述的方法，其特征在于，所述根据所述至少两帧图像中各自的所述人眼虹膜中心的位置和所述参考点的位置获取所述人眼虹膜中心相对于所述参考点的运动参数，包括：

对于每帧图像，计算所述图像中的人眼虹膜中心相对于所述图像中的所述参考点的运动矢量；

根据所述至少两帧图像中每帧图像计算得到的所述运动矢量获取所述人眼虹膜中心相对于所述参考点的运动参数，所述运动参数包括运动方向、运动速度、运动加速度和运动距离中的至少一种。

13.根据权利要求11所述的方法，其特征在于，所述根据所述至少两帧图像中的所述人眼虹膜中心的位置和所述参考点的位置获取所述人眼虹膜中心相对于所述参考点的注视位置，包括：

若在所述人眼区域中获取的参考点包括有内眼角点和外眼角点，则根据所述内眼角点和所述外眼角点的距离进行虚拟人眼的建模；

通过所述人眼虹膜中心相对于所述内眼角点和所述外眼角点的位置计算出所述人眼虹膜中心相对于虚拟人眼所在的区域；

根据所述人眼虹膜中心相对于虚拟人眼所在的区域以及预设人眼模态参数获取人眼在屏幕上的注视区域和/或注视点，所述预设人眼模态参数用于根据所述人眼虹膜中心相对于虚拟人眼所在的区域将人眼视线映射到屏幕上对应的位置。

14.根据权利要求12所述的方法，其特征在于，所述根据所述运动矢量获取所述人眼虹膜中心相对于所述参考点的运动参数之后，包括：

若所述人眼虹膜中心移动到所述参考点的右下方的第一预定范围后停止移动，并在第一预定时间内从所述第一预定范围转变到所述参考点中心的左上方时，则发出翻页命令进行翻页；

若所述人眼虹膜中心相对于所述参考点移动的距离在预定距离内时，则保持当前界面不变。

15.根据权利要求13所述的方法，其特征在于，所述根据所述人眼虹膜中心相对于虚拟人眼所在的区域以及预设人眼模态参数获取人眼在屏幕上的注视区域和/或注视点之后，包括：

当所述人眼在屏幕上的注视区域和/注视点停留在第二预定范围内达到第二预定时间时，则根据检测到的所述人眼的凝视或者眨眼的状态激活相应的操作，所述操作包括启动应用程序、自动翻页、终端解锁和视频暂停中的任意一种。

16.一种眼动跟踪装置，其特征在于，所述装置包括：

图像获取模块，用于获取至少两帧图像；

区域获取模块，用于在所述至少两帧图像中获取人眼区域；

中心确定模块，用于在所述至少两帧图像各自的人眼区域中确定人眼虹膜中心的位置；

参考点定位模块，用于在所述至少两帧图像各自的人眼区域中确定参考点的位置，所述参考点是指与所述人眼区域保持相对静止的点；

眼动跟踪模块，用于根据所述至少两帧图像中各自的所述人眼虹膜中心的位置和所述参考点的位置对所述人眼虹膜中心进行眼动跟踪。

17.根据权利要求16所述的装置，其特征在于，所述区域获取模块，包括：

第一搜索子模块，用于对于当前帧图像，若不存在上一帧图像或存在所述上一帧图像且所述上一帧图像中未检测到所述人眼区域，则使用默认的按比例逐步变大的搜索窗口搜索所述当前帧图像中的人眼区域；

第二搜索子模块，用于若存在所述上一帧图像且所述上一帧图像中检测到所述人眼区域，则使用从所述上一帧图像中获取到的所述人眼区域时对应的搜索窗口搜索所述当前帧图像中的人眼区域。

18.根据权利要求17所述的装置，其特征在于，所述装置，还包括：

第三搜索子模块，用于如果在所述当前帧图像中使用从所述上一帧图像中获取到的所述人眼区域时对应的搜索窗口未搜索到人眼区域，则使用所述默认的按比例逐步变大的搜索窗口搜索所述当前帧图像中的人眼区域；或，使用所述默认的按比例逐步变大的搜索窗口搜索下一帧图像中的人眼区域。

19.根据权利要求17或18所述的装置，其特征在于，所述第一搜索子模块，包括：

双眼搜索单元，用于使用默认的按比例逐步变大的双眼搜索窗口搜索所述当前帧图像中的双眼区域；或，

单眼搜索单元，用于使用默认的按比例逐步变大的单眼搜索窗口搜索所述当前帧图像中的单眼区域；或，

双单搜索单元，用于使用默认的按比例逐步变大的双眼搜索窗口搜索所述当前帧图像中的双眼区域；如果没有搜索到所述双眼区域，则使用默认的按比例逐步变大的单眼搜索窗口搜索所述当前帧图像中的单眼区域。

20.根据权利要求16至19任一所述的装置，其特征在于，所述中心确定模块，包括：

第一获取子模块，用于在所述人眼区域中获取所述人眼区域的至少一个轮廓序列；

第一筛选子模块，用于通过人眼虹膜的特征从所述至少一个轮廓序列中筛选出与所述人眼虹膜的特征相匹配的人眼虹膜轮廓序列；

中心获取子模块，用于对所述人眼虹膜轮廓序列进行拟合，根据拟合结果获取所述人眼虹膜中心的位置。

21.根据权利要求16至19任一所述的装置，其特征在于，所述参考点定位模块，包括：

第二获取子模块，用于在所述人眼区域中获取所述人眼区域的至少一个轮廓序列；

第二筛选子模块，用于通过人眼眼睑的特征从所述至少一个轮廓序列中筛选出与所述人眼眼睑的特征相匹配的人眼眼睑轮廓序列；

参考点获取子模块，用于在所述人眼眼睑轮廓序列中获取所述参考点的位置。

22.根据权利要求21所述的装置，其特征在于，

所述参考点获取子模块，还用于获取所述人眼眼睑轮廓序列中内眼角点和/或外眼角点；

所述参考点获取子模块，还用于将所述内眼角点作为所述参考点，并获取所述参考点的位置；或，

所述参考点获取子模块，还用于将所述外眼角点作为所述参考点，并获取所述参考点的位置；或，

所述参考点获取子模块，还用于将所述内眼角点和所述外眼角点同时作为所述参考点，并获取所述参考点的位置。

23.根据权利要求22所述的装置，其特征在于，所述参考点获取子模块，包括：

窗口截取单元，用于在所述人眼区域中截取内眼角窗口并获取所述内眼角窗口中的人眼眼睑轮廓序列；

角点提取单元，用于在所述人眼眼睑轮廓序列中提取至少一个内眼角候选角点，所述内眼角候选角点为内眼角检测算子对所述内眼角窗口的边缘图进行卷积运算后得到的最大值所在的位置上的点；

角点筛选单元，用于根据内眼角点在所述内眼角窗口中的位置特征从所述至少一个内眼角候选角点中筛选出与所述位置特征匹配的内眼角点。

24.根据权利要求23所述的装置，其特征在于，所述角点筛选单元，包括：

第一确定子单元，用于若只有一个内眼角候选角点，则将所述内眼角候选角点作为与所述位置特征匹配的内眼角点；

第二确定子单元，用于若有两个内眼角候选角点，则将距离所述人眼虹膜中心最远的内眼角候选角点作为与所述位置特征匹配的内眼角点；

第三确定子单元，用于若至少有三个内眼角候选角点，则根据预设的候选角点筛选规则筛选出与所述位置特征匹配的内眼角点。

25.根据权利要求24所述的装置，其特征在于，若截取的是左眼内眼角窗口，

所述第三确定子单元，还用于从所述至少三个内眼角候选角点中找出横坐标的最大值和纵坐标的最小值；

所述第三确定子单元，还用于在以所述横坐标的最大值和纵坐标的最小值形成的坐标点为中心的预设邻域内找出至少一个内眼角候选角点；

所述第三确定子单元，还用于对找出的所述内眼角候选角点的横坐标求平均得到第一平均值，对所述找出的所述内眼角候选角点的纵坐标求平均得到第二平均值；

所述第三确定子单元，还用于将所述第一平均值和所述第二平均值形成的坐标点所在的位置作为所述参考点的位置。

26.根据权利要求16至25任一所述的装置，其特征在于，所述眼动跟踪模块，包括：

运动参数获取子模块，用于根据所述至少两帧图像中各自的所述人眼虹膜中心的位置和所述参考点的位置获取所述人眼虹膜中心相对于所述参考点的运动参数；

或，

注视位置获取子模块，用于根据所述至少两帧图像中各自的所述人眼虹膜中心的位置和所述参考点的位置获取所述人眼虹膜中心相对于所述参考点的注视位置。

27.根据权利要求26所述的装置，其特征在于，所述运动参数获取子模块，包括：

矢量计算单元，用于对于每帧图像，计算所述图像中的人眼虹膜中心相对于所述图像中的所述参考点的运动矢量；

参数获取单元，用于根据所述至少两帧图像中每帧图像计算得到的所述运动矢量获取所述人眼虹膜中心相对于所述参考点的运动参数，所述运动参数包括运动方向、运动速度、运动加速度和运动距离中的至少一种。

28.根据权利要求26所述的装置，其特征在于，所述注视位置获取子模块，包括：

人眼建模单元，用于若在所述人眼区域中获取的参考点包括有内眼角点和外眼角点，则根据所述内眼角点和所述外眼角点的距离进行虚拟人眼的建模；

区域计算单元，用于通过所述人眼虹膜中心相对于所述内眼角点和所述外眼角点的位置计算出所述人眼虹膜中心相对于虚拟人眼所在的区域；

位置获取单元，用于根据所述人眼虹膜中心相对于虚拟人眼所在的区域以及预设人眼模态参数获取人眼在屏幕上的注视区域和/或注视点，所述预设人眼模态参数用于根据所述人眼虹膜中心相对于虚拟人眼所在的区域将人眼视线映射到屏幕上对应的位置。

29.根据权利要求27所述的装置，其特征在于，所述装置，还包括：

第一执行模块，用于若所述人眼虹膜中心移动到所述参考点的右下方的第一预定范围后停止移动，并在第一预定时间内从所述第一预定范围转变到所述参考点中心的左上方时，则发出翻页命令进行翻页；

第二执行模块，用于若所述人眼虹膜中心相对于所述参考点移动的距离在预定距离内时，则保持当前界面不变。

30.根据权利要求28所述的装置，其特征在于，所述装置，还包括：

第三执行模块，用于当所述人眼在屏幕上的注视区域和/注视点停留在第二预定范围内达到第二预定时间时，则根据检测到的所述人眼的凝视或者眨眼的状态激活相应的操作，所述操作包括启动应用程序、自动翻页、终端解锁和视频暂停中的任意一种。

Images