CN101576771B - 基于非均匀样本插值的眼动仪定标方法 - Google Patents

Abstract

本发明公开了一种基于非均匀样本插值的眼动仪定标方法。首先选取注视屏幕上不同行、不同列的多个点作为定标点，记录其屏幕上的真实坐标，利用椭圆拟合的方法提取出眼睛瞳孔中心坐标，将瞳孔中心坐标和屏幕真实坐标一一对应作为参考插值点。然后注视屏幕上任意一点作为测试点，按照非均匀样本插值的思想，计算出测试点在屏幕上的真实坐标，实现视线跟踪。本发明避免了现有技术考虑眼球物理模型和眼睛成像的非线性特性等难点，通过非均匀样本插值的思想，实现瞳孔中心和注视点的准确定位，具有简单、高效、鲁棒性强、准确度高等优点。

Description

基于非均匀样本插值的眼动仪定标方法

技术领域

本发明涉及一种基于非均匀样本插值定标的眼动仪方法，属于视频、多媒体信号处理技术领域。

背景技术

由于人类生活水平的提高，各种高科技家电设备也日渐普及。现有虚拟实境系统、头配显示器或其他观赏、浏览设备也应用而生。目前，头配系统设计者常期望能够获得有关使用者的眼球活动行为的材料，以作为整个系统架构改进的参考。而这些材料，也同时是研究医学、心理学、生理学、传播学等专家学者所急于探讨的题材。眼动仪作为一种人机交互系统，已成为国内外有关学者关注与研究的课题，近年来，随着红外技术和微电子技术的飞速发展，测量眼睛运动的方法也日趋成熟，其应用已深入到军事、商业、日常生活等领域。同时，眼动仪也能够帮助重度瘫痪但视觉良好的病人，通过眼球活动行为及时地表达他们的感受与需求。

眼睛图像和屏幕真实注视点之间的定标技术是眼动仪中的关键技术。定标技术直接影响到眼动仪的精度。因此，如何找到更好的定标方法也就成为眼动仪研究的难点和重点。现在已有的定标方法有三种：(1)线性定标方法，该方法没有考虑眼睛成像的非线性特点，把眼睛图像的运动和屏幕注视点轨迹看成一种线性的映射关系，精度较低；(2)极坐标方法，该方法是在极坐标系中，通过分别计算角度和弧度来定位屏幕注视点，但精度仍没有明显提高；(3)拟合方法，该方法通过已知的定标点，拟合出眼睛图像和屏幕注视点之间的多项式映射关系，但拟合出的多项式也不能很好的反应出整个屏幕的对应关系，具有一定的局限性。

发明内容

针对现有眼动仪存在的精度低的问题，本发明提供一种精度高的基于非均匀样本插值的眼动仪定标方法，该方法利用已有的定标点，通过非均匀样本插值的思想，计算出测试点的屏幕注视坐标，能够大大提高眼动仪的精度。

本发明的基于非均匀样本插值的眼动仪定标方法，是通过瞳孔中心提取和非均匀样本插值定标两个过程来实现的，具体步骤如下：

(1)瞳孔中心提取

首先在电脑整个屏幕上选取不同行、不同列的多个点作为定标点，点数根据屏幕大小和要求精度来确定，对于17寸屏幕，要求精度在1°以内，选用17-19个点，记录定标点在屏幕上的坐标，再随意选取任意个点数作为测试点，用来验证算法的精度，在红外光源的照射下，采集眼睛的瞳孔运动轨迹视频，每个注视点的间隔时间为4秒，将采集好的视频经过色度变换、canny算子的边缘提取、积分投影后，采用椭圆拟合的算法，提取出每个注视点的瞳孔中心坐标；

(2)非均匀样本插值定标

由于行列坐标不相关，因此分别计算测试点的行列坐标，计算测试点的列坐标过程如下：在样本点中搜索，找到列坐标最靠近测试点的3个样本点，分别计算出测试点和最近的3个样本点之间的列坐标的差值L₁、L₂、L₃，所述样本点是已知屏幕坐标位置的点，测试点则是根据算法和样本点将要推测屏幕坐标的点，按照非均匀样本插值，距离需要插值的点越远的点，对插值的数值影响越小，则设：

d₁＝1/L₁

d₂＝1/L₂

d₃＝1/L₃

设y₁、y₂、y₃分别为最近邻3个样本点的屏幕注视点列坐标，则测试点1的列坐标大小为：

y＝d₁/(d₁+d₂+d₃)×y₁+d₂/(d₁+d₂+d₃)×y₂+d₃/(d₁+d₂+d₃)×y₃；

同理，能够计算出测试点的行坐标。

本发明避免了考虑眼球物理模型和瞳孔中心和注视点的非线性关系等难点，而是通过非均匀样本插值，实现瞳孔中心和注视点的准确定位，具有简单、高效、鲁棒性强、准确度高等优点。

附图说明

图1是本发明的原理示意图。

图2是瞳孔中心运动轨迹图。

图3是实例中的采集点和测试点图。

图4是采集视频图像。

图5是瞳孔边缘提取。

图6是瞳孔中心定位图。

图7是视频中的瞳孔定位结果。

图8是同一个注视点的抖动现象。

图9是测试点的列坐标误差比较图。

图10是测试点的行坐标误差比较图。

图11是测试点坐标显示结果图。

具体实施方式

实施例

本发明的硬件设备有一个高倍摄像头和两个红外光源，本发明的具体实现步骤如图1所示。首先在电脑整个屏幕上选取19个点作为定标点，如图3，屏幕中心点和向下弯的这条折线上的19个点，分别为不同行、不同列的点，行列间隔大小为2cm。任意选取7个测试点，屏幕左上部2个点，右下部5个点，用来验证算法的精度。如图2所示，样本点1~19为定标点的瞳孔中心，测试点1~7为测试点的瞳孔中心。

在红外光源的照射下，采集眼睛的瞳孔运动轨迹视频。采集视频时，人眼与屏幕的距离为50cm，光源距离人眼大约40cm，光源分别位于摄像头两侧35cm处；视频采集的速率为25帧/秒；分辨率为767*574；每个注视点的注视时间为4s，也就是每个注视点采集100帧图像；总帧数为2300帧；视频卡型号为OK_C20黑白视频采集卡，采集的视频图像如图3。

由于采集的视频是彩色帧，先将RGB格式转化为YUV格式，选用YUV格式中的Y分量进行处理。将视频中的每帧图像经过色度变换、canny算子的边缘提取、积分投影后，采用椭圆拟合的算法，提取出每帧图像的瞳孔中心坐标。如图4~7。每个注视点采集100帧图像，由于眼睛在注视点同一点时存在抖动现象，如图8，采用中值滤波的方法去除抖动，最终确定每个注视点的瞳孔中心坐标。将样本点的瞳孔中心坐标和屏幕真实的注视点坐标一一对应起来。

由于注视点行列坐标不相关，分别计算测试点的行列坐标。以列为例，首先在样本点中搜索，找到列坐标最接近的三个样本点，然后按照非均匀样本插值，根据已知的样本点插值出测试点的列坐标。同理，计算出测试点的行坐标。

如图9、图10和图11，为真实注视点和本发明的定标算法得到的注视点之间的误差比较。其中图10中，绿色点为真实注视点位置，蓝色点为计算出的注视点位置。列坐标误差如下表：

列坐标误差(以屏幕中心为(0 0)点，向右、下为正方向建立坐标系)

真实列坐标	-13.0000	-9.0000	1.0000	5.0000	-3.0000	9.0000	13.0000
								插值行坐标	-12.9584	-8.3896	1.1762	5.0016	-2.9421	10.5389	12.7657
误差	-0.0416	-0.6104	-0.1762	-0.0016	-0.0579	-1.5389	0.2343

行坐标误差如下表：

行坐标误差(以屏幕中心为(0 0)点，向右、下为正方向建立坐标系)

真实行坐标	-9.5000	-5.0000	-1.0000	3.0000	7.0000	-5.0000	9.5000
								插值行坐标	-7.5916	-3.9221	-0.2548	3.1783	7.3582	-4.8205	9.0770
误差	-1.9084	-1.0779	-0.7452	-0.1783	-0.3582	-0.1795	0.4230

从上面的实例中可以看出，本发明的非均匀样本插值定标方法，能更准确地实现眼动仪的视线跟踪，而且避免了考虑眼球物理模型和瞳孔中心和注视点的非线性关系等难点，本发明的定标方法简单、高效、准确度高。

Claims (1)

1.一种基于非均匀样本插值的眼动仪定标方法，是通过瞳孔中心提取和非均匀样本插值定标两个过程来实现的，具体步骤如下：

(1)瞳孔中心提取

首先在电脑整个屏幕上选取不同行、不同列的多个点作为定标点，点数根据屏幕大小和要求精度来确定，记录定标点在屏幕上的坐标，再随意选取任意个点数作为测试点，用来验证算法的精度，在红外光源的照射下，采集眼睛的瞳孔运动轨迹视频，每个注视点的间隔时间为4秒，将采集好的视频经过色度变换、canny算子的边缘提取、积分投影后，采用椭圆拟合的算法，提取出每个注视点的瞳孔中心坐标；

(2)非均匀样本插值定标

由于行列坐标不相关，因此分别计算测试点的行列坐标，计算测试点的列坐标过程如下：在样本点中搜索，找到列坐标最靠近测试点的3个样本点，分别计算出测试点和最近的3个样本点之间的列坐标的差值L₁、L₂、L₃，所述样本点是已知屏幕坐标位置的点，测试点则是根据算法和样本点将要推测屏幕坐标的点，按照非均匀样本插值，距离需要插值的点越远的点，对插值的数值影响越小，则设：

d₁＝1/L₁

d₂＝1/L₂

d₃＝1/L₃

设y₁、y₂、y₃分别为最近邻3个样本点的屏幕注视点列坐标，则测试点的列坐标大小为：

y＝d₁/(d₁+d₂+d₃)×y₁+d₂/(d₁+d₂+d₃)×y₂+d₃/(d₁+d₂+d₃)×y₃；

同理，能够计算出测试点的行坐标。

Images