CN105955465A - 一种桌面便携式视线跟踪方法及装置 - Google Patents

Abstract

本发明公开了一种桌面便携式视线跟踪方法及装置，方法步骤：用户点击屏幕预设标定点进行标定，系统捕获用户面部图像；对捕获的用户面部图像进行瞳孔定位、普尔钦亮斑定位，提取特征向量，并将特征向量标准化；通过标定点数据得到映射关系，将每一帧图像的标准化特征向量代入映射关系即可得到实际注视点坐标；通过提取所有图帧中的注视点坐标即可实现视线跟踪。其中提出一种基于椭圆拟合的改进方法来对瞳孔进行精确定位，通过一种基于聚类的方法同时对两个普尔钦亮斑进行定位，具有定位快速、精确的优点。

Description

一种桌面便携式视线跟踪方法及装置

技术领域

本发明涉及人眼检测、视线跟踪研究领域，特别涉及一种桌面便携式视线跟踪方法及装置。

背景技术

人们通过各种感官来获取外界信息，其中有大约80％的信息是通过视觉获得的，准确测量一个人的视线注视点或注视方向，是研究其心理活动的重要手段。目前视线跟踪技术在人机交互和心理研究等领域有着广泛的应用，如汽车安全驾驶、市场研究与广告分析、残疾人辅助装置、犯罪心理分析和虚拟现实等各种领域，前景十分广阔。

视线跟踪技术主要是针对人类眼睛运动的检测与识别，从而检测出用户的注视点或注视方向。在早期，由于技术以及设备的限制，检测手段比较简易贫乏，视线跟踪方法主要有直接观察法、机械记录法、后像法，这些方法受主观影响大，精度很低，在使用中有很大的局限性。随着测量手段的发展，更加高级、精确的视线跟踪方法开始出现，陆续出现了眼电图法、电磁线圈法等视线跟踪方法，眼电图法和电磁线圈法都属于接触式测量方法，使用这两种方法测量注视点会对被测对象产生一定的干扰。

近年来，随着计算机技术、图像处理技术、电子技术的迅速发展，视线追踪技术取得了很大的进步，基于视觉的非侵入性、高精度眼动记录技术成为主流；而在视频图像中精确检测并跟踪人眼位置是基于视觉的眼动技术的核心。同时目前市面上的一些视线跟踪装置仍然存在装置笨重、价格昂贵、操作繁琐、跟踪精度低、用户需佩戴头盔等不足，因此，寻找一种简单便携、低成本、高精度、用户尽量不受限制的视线跟踪方法及装置具有重要意义。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种桌面便携式视线跟踪方法，该方法可以对捕获视频中用户的视线进行精确跟踪定位，一般用于后期处理跟踪。

本发明的另一目的在于提供一种实现上述桌面便携式视线跟踪方法的装置，该装置具有简单便携、成本低的优点。

本发明的目的通过以下的技术方案实现：一种桌面便携式视线跟踪方法，包括步骤：

(1)系统标定：预先在屏幕上设置标定点，用户用鼠标依次点击屏幕上的标定点；在上述点击过程中捕获用户面部图像；

(2)对捕获的用户面部图像，进行人眼检测、瞳孔定位、普尔钦亮斑定位，提取出瞳孔的中心点坐标(x_p,y_p)、两个普尔钦亮斑的中心点坐标(x_g1,y_g1)、(x_g2,y_g2)；计算两个普尔钦亮斑之间中间点到瞳孔中心点的特征向量以及两个普尔钦亮斑之间的间距将特征向量(x_gp,y_gp)除以间距D，得到标准化特征向量；

(3)拟合映射关系：利用屏幕标定点坐标，以及对应的面部图像中提取的标准化特征向量，得到实际注视点坐标与标准化特征向量之间的映射关系；

(4)实际视线跟踪：在实际的跟踪过程中，对捕获的用户面部图像先进行步骤(2)的操作，得到标准化特征向量，然后将标准化特征向量代入步骤(3)的映射关系得到实际的注视点坐标；通过提取所有图帧中的注视点坐标即可实现视线跟踪。

优选的，所述捕获用户面部图像时采用两个波长为850nm的红外光源。由于瞳孔与虹膜对于红外光的吸收差异较大，红外光源下采集的图像中瞳孔清晰可见，不易受眼皮遮挡，可更精准定位，且不受外界光照影响。

为了减少数据处理量，优选的，对采集的用户面部图像先利用Adaboost级联分类器及Haar特征，通过OpenCV的训练器和检测器，初步定位眼睛区域，设置合适大小窗口，得到眼部图像。

优选的，在进行瞳孔定位之前，对眼部图像先进行图像预处理，步骤是：先对图像进行高斯平滑，然后对图像进行灰度形态学开运算，以消除两个红外光源在瞳孔附近产生的两个普尔钦亮斑。便于后面瞳孔的精确定位。

更进一步的，在图像预处理后，先对瞳孔进行粗定位，步骤是：预设一个滑动窗口，在图像预处理后的图像中搜索像素灰度值最小区域的中心位置，设其平均灰度值为g₀；设定一阈值m，搜索上述像素灰度值最小区域的附近位置，找出滑动窗口内平均灰度值在[g₀‐m，g₀+m]的区域，取以上所有区域内各窗口中心的坐标平均值，作为瞳孔的粗定位位置。

优选的，所述步骤(2)中，瞳孔定位的方法是：在瞳孔中心左右附近区域分别搜索灰度梯度值最大的点，即为瞳孔边缘点，取这两点的平均灰度值作为二值化阈值T，然后以此阈值对图像进行二值化，二值化后进行边缘提取，将提取的瞳孔边缘进行椭圆拟合，得到瞳孔的中心点坐标(x_p,y_p)、长短轴(a,b)以及偏角θ。

更进一步的，在瞳孔定位过程中，二值化后利用Canny算子进行边缘提取。

优选的，所述步骤(2)中，普尔钦亮斑定位的方法是：在瞳孔定位步骤的基础上，将开运算前的图像减去开运算后的图像，得到包含亮斑的差分图像；设置两个阈值T₁及T₂，搜索差分图像中所有像素值大于T₁且距瞳孔中心距离小于T₂的点，得到亮斑点集合；搜索差分图像中灰度值最大的位置(x_m,y_m)，以(x_m,y_m)、(x_m+1,y_m)作为初始类C1、C2的中心，利用聚类算法对亮斑点集合进行聚类，得到两个普尔钦亮斑的中心位置。

更进一步的，所述利用聚类算法对亮斑点集合进行聚类的方法是：

(2-1)以差分图像中灰度值最大的位置(x_m,y_m)、(x_m+1,y_m)作为初始类C1、C2的中心；

(2-2)计算各亮斑点分别到C1、C2类中心的距离，距离哪一类近则将该点划分为此类；

(2-3)计算C1、C2类的质心位置，以此质心位置作为C1、C2类新的中心；

(2-4)重复步骤(2-2)、(2-3)，经过数次迭代，直至C1、C2类的中心位置不再变化；

(2-5)以开运算前亮斑点像素灰度值的平方为加权因子，计算C1、C2类的加权质心位置，得到两类的加权质心位置，即为两个亮斑点的中心位置(x_g1,y_g1)、(x_g2,y_g2)。

优选的，所述步骤(3)中，已知用户标定时的实际注视点坐标，以及两普尔钦亮斑中间点到瞳孔中心点的标准化特征向量(x′_gp,y′_gp)，基于最小二乘法，将标准化特征向量和对应的实际注视点坐标进行二项式拟合，得到标准化特征向量和对应的实际注视点坐标之间的映射关系(x_s,y_s)＝f(x′_gp,y′_gp)，拟合的形式为：

$\left\{\begin{array}{c}{x}_s=a_0+a_1{x}_{gp}^{\′}+a_2{y}_{gp}^{\′}+a_3{x}_{gp}^{\′}{y}_{gp}^{\′}+a_4{x}_{gp}^{\′2}+a_5{y}_{gp}^{\′2}\\ y_s=b_0+b_1{x}_{gp}^{\′}+b_2{y}_{gp}^{\′}+b_3{x}_{gp}^{\′}{y}_{gp}^{\′}+b_4{x}_{gp}^{\′2}+b_5{y}_{gp}^{\′2}\end{array}\right..$

一种实现上述桌面便携式视线跟踪方法的装置，包括两个波长为850nm的红外LED光源、一个红外CCD相机和控制主机，两个红外LED光源呈水平对称分布，分别假设在一支架上，支架三维方向位置可调；所述红外CCD相机中设有红外滤光片；红外CCD相机与控制主机相连，所述控制主机中包括图像采集控制模块以及视线跟踪模块，所述视线跟踪模块采用上述桌面便携式视线跟踪方法实现视线跟踪。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明方法采用简单便携的装置，所需器材少，成本低廉，操作简便，对用户干扰少。在特征点定位过程中提出了一种简单精确的定位普尔钦亮斑以及瞳孔的方法，提高了定位速度及精度。本发明也可用于其它对瞳孔定位以及瞳孔形状要求比较精确的领域，如疲劳驾驶检测等。

2、现有技术中的系统标定通常是让用户直接注视每个标定点一段时间，本发明方法是用鼠标依次点击屏幕上的标定点，该方法具有可减小用户分心、目光聚焦不准等影响，加快校准过程。

3、本发明装置中采用了红外LED光源进行图像的采集，由于瞳孔与虹膜对于红外光的吸收差异较大，红外光源下采集的图像中瞳孔清晰可见，不易受眼皮遮挡，可更精准定位，且不受外界光照影响。

附图说明

图1是本实施例视线跟踪装置硬件系统搭建示意图；

图2是本实施例视线跟踪方法的流程图；

图3是本实施例屏幕上初始化标定点位置示意图；

图4是本实施例方法中标准化特征向量提取流程图；

图5是本实施例特征点定位效果图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例1

本实施例所述的桌面便携式视线跟踪方法基于图1所述的装置，该装置安装于屏幕与用户之间的合适位置，包括两个波长为850nm的红外LED光源、一个红外CCD相机和控制主机，两个红外LED光源呈水平对称分布，分别架设在一支架上，支架三维方向位置可调。红外CCD相机中设有红外滤光片。红外CCD相机与控制主机相连，所述控制主机中包括图像采集控制模块以及视线跟踪模块，所述视线跟踪模块采用下面所述的桌面便携式视线跟踪方法实现视线跟踪的功能。

下面结合图2-图5对本实施例桌面便携式视线跟踪方法的步骤进行具体说明。

(一)按图1所示方式搭建系统，安装于屏幕与用户之间的合适位置。

(二)系统标定。用户用鼠标依次点击屏幕上的标定点，标定点位置如图3所示。用户点击的同时，系统捕获此刻用户的面部图像，且可以得到用户此刻的实际注视点坐标(X_s,Y_s)。

(三)图像采集。通过图1所示的装置实时采集用户面部视频。

(四)特征点定位。本发明中采用两个普尔钦亮斑中心以及瞳孔中心作为特征点，定位效果参见图5。

(1)眼睛区域定位。此过程可利用Adaboost级联分类器及Haar特征，通过OpenCV的训练器和检测器，初步定位眼睛区域，设置合适大小窗口，得到眼部图像。

(2)图像预处理。在以上得到的眼睛区域内进行高斯平滑，消除噪点。由于两个红外光源在瞳孔附近会产生两个普尔钦亮斑，对瞳孔的精确定位会造成影响，因此定位瞳孔前先对图像进行灰度形态学开运算，即先进行灰度形态学腐蚀操作，再进行膨胀操作，得到消除亮斑后的眼部图像，便于瞳孔的精确定位。

(3)瞳孔粗定位。红外光源下，图像中的瞳孔特征非常明显，瞳孔区域像素灰度值小，周围像素灰度值大。利用此特征，可设置一个合适大小的滑动窗口，在开运算后的图像中搜索像素灰度值最小区域中心位置，设其平均灰度值为g₀，再搜索其附近位置，取滑动窗口内平均灰度值在[g₀‐m，g₀+m]的位置，取以上所有这些窗口中心位置的坐标平均值，作为瞳孔的粗定位位置。

(4)瞳孔精确定位。由于瞳孔灰度值非常小，跟周围像素灰度值差别很大，因此瞳孔边缘的像素点梯度值很大。根据此特征，在瞳孔粗定位的基础上，在瞳孔粗定位位置左右附近区域分别搜索灰度梯度值最大的点，即为瞳孔边缘点。取这两点的平均灰度值作为二值化阈值T，然后以此阈值对图像进行二值化。二值化后利用Canny算子进行边缘提取，将提取的瞳孔边缘进行椭圆拟合，便可得到瞳孔的中心点坐标(x_p,y_p)、长短轴(a,b)以及偏角θ。

(5)普尔钦亮斑定位。将开运算前的图像减去开运算后的图像，得到包含亮斑的图像，此时的两个亮斑区域非常明显，搜索图中灰度值最大的位置，设其坐标为(x_m,y_m)，显然此位置在其中一个亮斑内部。设置合适的阈值T₁及T₂，搜索差分图像中所有像素值大于T₁且距瞳孔中心距离小于T₂的点，得到亮斑点的集合；搜索图中灰度值最大的位置(x_m,y_m)，利用聚类算法对亮斑点集合进行聚类，得到两个亮斑的中心位置。具体步骤如下：

S1：分别以(x_m,y_m)、(x_m+1,y_m)作为初始类C1、C2的中心；

S2：计算各亮斑点分别到C1、C2类中心的距离，距离哪一类近则将该点划分为此类；

S3：计算C1、C2类的质心位置，以此质心位置作为C1、C2类新的中心；

S4：重复S2、S3步骤，经过数次迭代，C1、C2类的中心位置将不再变化；

S5：以开运算前亮斑点像素灰度值的平方为加权因子，计算C1、C2类的加权质心位置，得到两类的加权质心位置，即为两个亮斑点的中心位置(x_g1,y_g1)、(x_g2,y_g2)。

通过对捕获的图像进行特征点的定位，得到瞳孔中心坐标(x_p,y_p)以及两个普尔钦亮斑中心坐标(x_g1,y_g1)、(x_g2,y_g2)，从而得到两个普尔钦亮斑中间点到瞳孔中心点的特征向量以及两个普尔钦亮斑的间距再将特征向量(x_gp,y_gp)除以间距D，得到标准化特征向量(x′_gp,y′_gp)，标准化特征向量提取流程参见图4，

(五)计算实际注视点坐标。

(1)拟合映射关系。利用用户标定时的9个标定点坐标(X_s,Y_s)，以及对应的标准化特征向量(x′_gp,y′_gp)，用最小二乘法原理，将实际注视点坐标与对应的标准化特征向量进行二项式拟合，得到实际注视点坐标与标准化特征向量之间的映射关系(x_s,y_s)＝f(x′_gp,y′_gp)，拟合的形式为：

$\left\{\begin{array}{c}{x}_s=a_0+a_1{x}_{gp}^{\′}+a_2{y}_{gp}^{\′}+a_3{x}_{gp}^{\′}{y}_{gp}^{\′}+a_4{x}_{gp}^{\′2}+a_5{y}_{gp}^{\′2}\\ y_s=b_0+b_1{x}_{gp}^{\′}+b_2{y}_{gp}^{\′}+b_3{x}_{gp}^{\′}{y}_{gp}^{\′}+b_4{x}_{gp}^{\′2}+b_5{y}_{gp}^{\′2}\end{array}\right..$

(2)坐标转换。在实际的跟踪过程中，将每一帧的标准化特征向量(x′_gp,y′_gp)代入映射关系(x_s,y_s)＝f(x′_gp,y′_gp)，即可得到实际的注视点坐标(x_s,y_s)。

(六)重复(三)、(四)及(五)中(2)步骤，即可实现对视线的跟踪。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种桌面便携式视线跟踪方法，其特征在于，包括步骤：

(1)系统标定：预先在屏幕上设置标定点，用户用鼠标依次点击屏幕上的标定点；在上述点击过程中捕获用户面部图像；

(2)对捕获的用户面部图像，进行人眼检测、瞳孔定位、普尔钦亮斑定位，提取出瞳孔的中心点坐标(x_p,y_p)、两个普尔钦亮斑的中心点坐标(x_g1,y_g1)、(x_g2,y_g2)；计算两个普尔钦亮斑之间中间点到瞳孔中心点的特征向量以及两个普尔钦亮斑之间的间距将特征向量(x_gp,y_gp)除以间距D，得到标准化特征向量；

(3)拟合映射关系：利用屏幕标定点坐标，以及对应的面部图像中提取的标准化特征向量，得到实际注视点坐标与标准化特征向量之间的映射关系；

(4)实际视线跟踪：在实际的跟踪过程中，对捕获的用户面部图像先进行步骤(2)的操作，得到标准化特征向量，然后将标准化特征向量代入步骤(3)的映射关系得到实际的注视点坐标；通过提取所有图帧中的注视点坐标即可实现视线跟踪。

2.根据权利要求1所述的桌面便携式视线跟踪方法，其特征在于，所述捕获用户面部图像时采用两个波长为850nm的红外光源。

3.根据权利要求1所述的桌面便携式视线跟踪方法，其特征在于，对采集的用户面部图像先利用Adaboost级联分类器及Haar特征，通过OpenCV的训练器和检测器，初步定位眼睛区域，设置合适大小窗口，得到眼部图像。

4.根据权利要求1所述的桌面便携式视线跟踪方法，其特征在于，在进行瞳孔定位之前，对眼部图像先进行图像预处理，步骤是：先对图像进行高斯平滑，然后对图像进行灰度形态学开运算，以消除两个红外光源在瞳孔附近产生的两个普尔钦亮斑。

5.根据权利要求4所述的桌面便携式视线跟踪方法，其特征在于，在图像预处理后，先对瞳孔进行粗定位，步骤是：预设一个滑动窗口，在图像预处理后的图像中搜索像素灰度值最小区域的中心位置，设其平均灰度值为g₀；设定一阈值m，搜索上述像素灰度值最小区域的附近位置，找出滑动窗口内平均灰度值在[g₀‐m，g₀+m]的区域，取以上所有区域内各窗口中心的坐标平均值，作为瞳孔的粗定位位置。

6.根据权利要求5所述的桌面便携式视线跟踪方法，其特征在于，所述步骤(2)中，瞳孔定位的方法是：在瞳孔粗定位位置左右附近区域分别搜索灰度梯度值最大的点，即为瞳孔边缘点，取这两点的平均灰度值作为二值化阈值T，然后以此阈值对图像进行二值化，二值化后进行边缘提取，将提取的瞳孔边缘进行椭圆拟合，得到瞳孔的中心点坐标(x_p,y_p)、长短轴(a,b)以及偏角θ。

7.根据权利要求6所述的桌面便携式视线跟踪方法，其特征在于，所述步骤(2)中，普尔钦亮斑定位的方法是：在步骤(6)的基础上，将开运算前的图像减去开运算后的图像，得到包含亮斑的差分图像；设置两个阈值T₁及T₂，搜索差分图像中所有像素值大于T₁且距瞳孔中心距离小于T₂的点，得到亮斑点集合；搜索差分图像中灰度值最大的位置(x_m,y_m)，以(x_m,y_m)、(x_m+1,y_m)作为初始类C1、C2的中心，利用聚类算法对亮斑点集合进行聚类，得到两个普尔钦亮斑的中心位置。

8.根据权利要求7所述的桌面便携式视线跟踪方法，其特征在于，所述利用聚类算法对亮斑点集合进行聚类的方法是：

(2-1)以差分图像中灰度值最大的位置(x_m,y_m)、(x_m+1,y_m)作为初始类C1、C2的中心；

(2-2)计算各亮斑点分别到C1、C2类中心的距离，距离哪一类近则将该点划分为此类；

(2-3)计算C1、C2类的质心位置，以此质心位置作为C1、C2类新的中心；

(2-4)重复步骤(2-2)、(2-3)，经过数次迭代，直至C1、C2类的中心位置不再变化；

(2-5)以开运算前亮斑点像素灰度值的平方为加权因子，计算C1、C2类的加权质心位置，得到两类的加权质心位置，即为两个亮斑点的中心位置(x_g1,y_g1)、(x_g2,y_g2)。

9.根据权利要求1所述的桌面便携式视线跟踪方法，其特征在于，所述步骤(3)中，已知用户标定时的实际注视点坐标，以及两普尔钦亮斑中间点到瞳孔中心点的标准化特征向量(x′_gp,y′_gp)，基于最小二乘法，将标准化特征向量和对应的实际注视点坐标进行二项式拟合，得到标准化特征向量和对应的实际注视点坐标之间的映射关系(x_s,y_s)＝f(x′_gp,y′_gp)，拟合的形式为：

$\left\{\begin{array}{c}{x}_s=a_0+a_1{x}_{gp}^{\′}+a_2{y}_{gp}^{\′}+a_3{x}_{gp}^{\′}{y}_{gp}^{\′}+a_4{x}_{gp}^{\′2}+a_5{y}_{gp}^{\′2}\\ y_s=b_0+b_1{x}_{gp}^{\′}+b_2{y}_{gp}^{\′}+b_3{x}_{gp}^{\′}{y}_{gp}^{\′}+b_4{x}_{gp}^{\′2}+b_5{y}_{gp}^{\′2}\end{array}\right..$

10.一种实现权利要求1-9任一项所述桌面便携式视线跟踪方法的装置，其特征在于，包括两个波长为850nm的红外LED光源、一个红外CCD相机和控制主机，两个红外LED光源呈水平对称分布，分别假设在一支架上，支架三维方向位置可调；所述红外CCD相机中设有红外滤光片；红外CCD相机与控制主机相连，所述控制主机中包括图像采集控制模块以及视线跟踪模块，所述视线跟踪模块采用上述桌面便携式视线跟踪方法实现视线跟踪。