CN105589551A - 一种用于移动设备人机交互的眼动跟踪方法 - Google Patents

Abstract

一种用于移动设备人机交互的眼动跟踪方法，该系统舒适度适中，并具有较高精度和鲁棒性、较高可行性和有效性。包括眼动图像处理层、眼动特征检测层、眼动数据计算层和眼动交互应用层；所述眼动图像处理层包括图像获取、图像预处理：滤波/二值化；所述眼动特征检测层包括瞳孔检测、瞳孔定位、瞳孔边缘拟合、普洱钦斑检测、模板匹配；所述眼动数据计算层包括注视点坐标、瞳孔-角膜反射向量、注视点标定、其他数据、瞳孔直径；所述眼动交互应用层包括感兴趣区选取/切换、具体交互应用。

Description

一种用于移动设备人机交互的眼动跟踪方法

技术领域

本发明属于设施农业自动灌溉领域，具体地涉及一种用于移动设备人机交互的眼动跟踪方法。

背景技术

眼动跟踪（eyetracking），又称视线追踪，用于测量用户注视点或视线方向。一方面，眼动跟踪可对用户视觉行为和认知活动进行分析，例如心理学

中的认知实验、用户界面可用性评估；另一方面，也可以作为一种替代鼠标和键盘的新型输入技术，例如眼控打字系统、眼动驱动的自适应用户界面系统。但这些应用都基于实验室内固定式眼动跟踪系统展开，无法在真实环境（非实验室的移动环境）中支持眼动跟踪数据的分析及相关的人机交互应用。例如在一个会议场景中，用户配备移动式眼动交互系统，当２个用户互相注视对方时系统会自动交换他们的名片信息。

目前，主流的眼动跟踪方法基于数字眼动视频对眼球图像进行处理，从而获取用户当前的视线方向或注视点（视线与屏幕的交点），主要包括瞳孔－角膜反射法（pupilcentercorneareflection，PCCR）、角膜反射矩阵法、椭圆法线法。其中，PCCR应用最广，它采用红外光源照射角膜，由于角膜和虹膜对红外光的反射率不同，因此可以获得清晰的瞳孔图像。红外光源照射角膜产生的反光斑点也称为普洱钦斑，而瞳孔中心点和普洱钦斑中心点构成的向量会随着眼球的运动而变化，所以利用该向量建立映射模型就可以计算出用户视线方向。PCCR中的视线映射模型包括二维映射和三维映射2种。前者只需要单相机（或摄像头），硬件配置简单，且仅提取眼球图像的平面特征参数，计算简便，但计算精度相对较低；后者虽然计算精度较高，但至少需要双相机、双光源，硬件配置要求高，且需要相机标定、光源标定和位置标定，计算过程复杂。如果能进一步提高二维映射模型的精度和鲁棒性，将会有更大的实用价值和推广意义。为此，研究人员对传统的基于二维映射模型的PCCR进行了改进。例如，利用单片机控制内外环红外光源的交替亮灭，分别产生亮瞳和暗瞳图像，然后通过差分方法得到瞳孔图像，进而使用一种瞳孔边缘滤波算法和三通道伪彩色图检测瞳孔，解决了红外条件下瞳孔定位误差较大等问题。但这类方法仍存在不足：1）为了分别获取亮瞳和暗瞳的差分图像，系统对红外光源的控制过程复杂，并造成红外光源部件结构复杂、体积较大，只能设计成桌面固定式眼动系统；2）对普洱钦斑的检测算法比较简单，没有考虑在实际应用中普洱钦斑经常会产生形变、丢失等情况，导致算法鲁棒性较低。可见，已有研究还存在数据采样精度较低、设备体积和质量较大等问题，难以支持移动交互应用。

传统眼动跟踪设备构造复杂、体积和重量大，通常只能以桌面固定方式使用，无法支持普适计算环境下的移动式交互。

发明内容

本发明就是针对移动交互应用提出与之相适应的眼动跟踪方法，即一种用于移动设备人机交互的眼动跟踪方法；该系统舒适度适中，并具有较高精度和鲁棒性、较高可行性和有效性。

为实现本发明的上述目的，本发明采用如下技术方案。

本发明一种用于移动设备人机交互的眼动跟踪方法，包括眼动图像处理层、眼动特征检测层、眼动数据计算层和眼动交互应用层；所述眼动图像处理层包括图像获取、图像预处理：滤波/二值化；所述眼动特征检测层包括瞳孔检测、瞳孔定位、瞳孔边缘拟合、普洱钦斑检测、模板匹配；所述眼动数据计算层包括注视点坐标、瞳孔-角膜反射向量、注视点标定、其他数据、瞳孔直径；所述眼动交互应用层包括感兴趣区选取/切换、具体交互应用。

作为本发明的一种优选方案，所述眼动图像处理层使用红外摄像装置获取眼球图像，并进行图像预处理，为后续的眼动特征检测提供基础。

作为本发明的另一种优选方案，所述眼动特征检测层对瞳孔的中心和普洱钦斑的大小、位置等特征进行检测。

作为本发明的另一种优选方案，所述眼动数据计算层包括建立瞳孔－角膜反射向量，进而通过该向量映射、求解注视点在屏幕上的坐标，还可以计算瞳孔直径等其他眼动数据。

作为本发明的另一种优选方案，所述眼动交互应用层进一步分析和处理眼动数据，采用其驱动交互应用。

本发明的有益效果是。

本发明提出一种面向移动式交互的眼动跟踪方法，包括眼动图像处理、眼动特征检测、眼动数据计算和眼动交互应用4个层次。首先对眼球红外图像进行滤波、二值化处理，进而基于瞳孔－角膜反射法，结合二次定位和改进的椭圆拟合方法检测瞳孔，设计缩放因子驱动的模板匹配法检测普洱钦斑；在此基础上，计算注视点坐标等眼动数据；最后设计与开发了一个基于单个红外摄像头的头戴式眼动跟踪原型系统。实际用户测试结果表明，该系统舒适度适中，并具有较高精度和鲁棒性，从而验证了本发明在移动式交互中的可行性和有效性。

附图说明

图1是本发明一种用于移动设备人机交互的眼动跟踪方法的框架图。

具体实施方式

如图1所示，为本发明一种用于移动设备人机交互的眼动跟踪方法的框架图；包括眼动图像处理层、眼动特征检测层、眼动数据计算层和眼动交互应用层；所述眼动图像处理层包括图像获取、图像预处理：滤波/二值化；所述眼动特征检测层包括瞳孔检测、瞳孔定位、瞳孔边缘拟合、普洱钦斑检测、模板匹配；所述眼动数据计算层包括注视点坐标、瞳孔-角膜反射向量、注视点标定、其他数据、瞳孔直径；所述眼动交互应用层包括感兴趣区选取/切换、具体交互应用。

本发明所述眼动图像处理层使用红外摄像装置获取眼球图像，并进行图像预处理，为后续的眼动特征检测提供基础；所述眼动特征检测层对瞳孔的中心和普洱钦斑的大小、位置等特征进行检测；所述眼动数据计算层包括建立瞳孔－角膜反射向量，进而通过该向量映射、求解注视点在屏幕上的坐标，还可以计算瞳孔直径等其他眼动数据；所述眼动交互应用层进一步分析和处理眼动数据，采用其驱动交互应用。

所述眼动图像处理通过红外相机获取用户眼球图像之后，需要进行滤波、二值化等图像预处理，为后续瞳孔和普洱钦斑的检测提供基础。所述瞳孔检测

采用粗定位和精确定位相结合的思路定位瞳孔中心，进而提高瞳孔检测的效率和精度。所述瞳孔粗定位就是要大致确定出瞳孔中心点的位置和瞳孔半径，为进一步精确计算瞳孔中心坐标提供基础。

本发明采用多个红外发光管（如6个）形成多个独立的普洱钦斑，这样即使有部分普洱钦斑受到较大影响，也还能检测到其他普洱钦斑，与只生成单个普洱钦斑的方法相比具有更高的鲁棒性。本发明采取模板匹配法检测普洱钦斑，通常，由于普洱钦斑与瞳孔中心点的距离不会太远，故可设置一个以瞳孔中心为圆心、2～3倍瞳孔半径为半径的圆，将其外接矩形区域作为图像处理的主要区域，不仅能提高图像处理速度，还能避免眼睑等皮肤高光部分的干扰。

Claims (5)

1.一种用于移动设备人机交互的眼动跟踪方法，包括眼动图像处理层、眼动特征检测层、眼动数据计算层和眼动交互应用层；其特征在于：所述眼动图像处理层包括图像获取、图像预处理：滤波/二值化；所述眼动特征检测层包括瞳孔检测、瞳孔定位、瞳孔边缘拟合、普洱钦斑检测、模板匹配；所述眼动数据计算层包括注视点坐标、瞳孔-角膜反射向量、注视点标定、其他数据、瞳孔直径；所述眼动交互应用层包括感兴趣区选取/切换、具体交互应用。

2.根据权利要求１所述的一种用于移动设备人机交互的眼动跟踪方法，其特征在于：所述眼动图像处理层使用红外摄像装置获取眼球图像，并进行图像预处理。

3.根据权利要求1所述的一种用于移动设备人机交互的眼动跟踪方法，其特征在于：所述眼动特征检测层对瞳孔的中心和普洱钦斑的大小、位置等特征进行检测。

4.根据权利要求1所述的一种用于移动设备人机交互的眼动跟踪方法，其特征在于：所述动数据计算层包括建立瞳孔－角膜反射向量。

5.根据权利要求1所述的一种用于移动设备人机交互的眼动跟踪方法，其特征在于：所述眼动交互应用层进一步分析和处理眼动数据，采用其驱动交互应用。