CN102096757A - 一个基于时域约束的注视点聚类数据处理方法 - Google Patents

Abstract

本发明公开了一个基于时域约束的注视点聚类数据处理方法，其步骤如下：(1)利用注视点信号采集设备检测并记录用户眼睛运动的在线注视点二维数据，添加时间维度，生成包含时间的三维数据；(2)检测当前注视点和聚类中心的时空距离是否小于聚类阈值；(3)更新聚类中心坐标；(4)检测持续时间，判断生成注视点聚类。本发明方法减低设备噪声和眼睛抖动对于注视点聚类的限制和影响，从而提高眼动聚类识别的性能。

Description

一个基于时域约束的注视点聚类数据处理方法

技术领域

本发明涉及一个基于时域约束的注视点聚类数据处理方法，尤其涉及一种采用时空距离为阈值判断注视点数据聚类的方法。

背景技术

近年来，随着人机交互的深入发展，眼动交互作为人机交互的重要组成部分越来越广泛的应用在残障人士交互和特殊任务辅助交互的领域。眼动交互具有直接性、自然性和双向性等特点。通过眼睛运动(眼动)与外界进行交互具有广泛的应用前景。

当前的眼动交互研究存在的主要问题有：1)米达斯(Midas)接触问题，由于用户视线运动的随意性而造成计算机对用户意图识别的困难，即用户的每次眼睛定位都可能引发一条并非想要的计算机命令。2)眼动噪声问题，由于眼动获取设备的噪声和眼睛本身存在的抖动、眨眼等干扰行为，使得眼动数据的聚类存在干扰。这两个问题阻碍了眼动交互更好的发展。采用注视点聚类数据处理方法可以减弱米达斯接触问题，但注视点聚类会受到眼睛抖动等噪声的影响，限制了聚类的准确性。

发明内容

本发明的目的在于减低设备噪声和眼睛抖动对于注视点聚类的限制和影响，提供基于时域约束的，采用时空距离阈值判断注视点聚类的数据处理方法。

一个基于时域约束的注视点聚类数据处理方法，其步骤如下：

(1)利用注视点信号采集设备检测头戴该设备的用户相对于电脑屏幕的二维注视点坐标原始数据，将二维注视点坐标原始数据以及该注视点的发生时间生成包含时间的三维数据。

通过眼动仪等注视点信号采集设备检测用户包含某种语义的眼睛运动，并记录眼动相对于屏幕的x轴，y轴二维坐标以及注视点发生时间。

步骤(1)中的包含时间的三维数据g_i采用下述方法标记：

g_i＝(x_gi，y_gi，t_gi)        (1)

g_i标记了第i个注视点，x_gi，y_gi为g_i点在电脑屏幕上的的x轴坐标，y轴坐标，t_gi为g_i点的发生时间。x_gi，y_gi或t_gi的下标g_i表示该数据所属的注视点。

(2)初始化在线注视点聚类中心坐标，检测新加入的注视点和聚类中心的距离是否小于聚类阈值D。

初始化在线注视点聚类中心坐标c1为首个注视点坐标g1，tg1＝0，并开始计时，判断新加入的注视点gk与聚类中心c1之间的时空距离是否小于聚类阈值D。聚类阈值D在1-10的范围内。

步骤(2)中的时空距离采用下述方法标记：

$\mathrm{\ξ}(c_1,g_k)=\frac{k_1*\sqrt{{(x_{c1}-x_{\mathrm{gk}})}^2+{(y_{c1}-y_{\mathrm{gk}})}^2}+k_2*|t_{c1}-t_{\mathrm{gk}}|}{k_1+k_2}---\left(2\right)$

ξ(c1，gk)为c1和gk两点间的时空距离，xc1，yc1为c1点坐标，xgk，ygk为gk点的坐标，tc1和tgk为c1点和gk点的时间，k1与k2为权重系数，用于调整时间与空间在时空距离中的重要程度。k1与k2范围为(0，1]之间。

(3)更新聚类中心坐标

(a)若步骤(2)中，当前的注视点和聚类中心的时空距离小于聚类阈值D，则依据当前聚类中所有注视点的时空坐标更新聚类中心的坐标。

步骤(3)(a)中的更新方法如下

$c_1=(\frac{\underset{i=s_0}{\overset{k}{\mathrm{\Σ}}}{x}_{\mathrm{gi}}}{k-s_0},\frac{\underset{i=s_0}{\overset{k}{\mathrm{\Σ}}}{y}_{\mathrm{gi}}}{k-s_0},\frac{\underset{i=s_0}{\overset{k}{\mathrm{\Σ}}}{t}_{\mathrm{gi}}}{k-s_0})---\left(3\right)$

c1为聚类中心，s0为聚类起始点，k为聚类当前点，xgi，ygi为注视点的x，y坐标，tgi为注视点发生时间。

(b)若步骤(2)中，当前的注视点和聚类中心的时空距离大于聚类阈值D，则更新聚类中心坐标c1为当前注视点坐标gk。

(4)检测持续时间t，判断生成注视点聚类。

若有新的注视点数据，重复循环步骤(2)(3)，若步骤(2)中注视点和聚类中心的时空距离总是小于聚类阈值D，且持续时间t大于时间阈值T，则将这些注视点生成一个注视点聚类。

时间阈值T为判断一次聚类完成的时间阈值。持续时间t的计算方法是，从第一次注视点和聚类中心的时空距离小于聚类阈值D开始计时，到注视点和聚类中心的时空距离大于聚类阈值D为止。时间阈值T的取值范围为100-200ms。

本发明方法基于时域约束的聚类方法综合考虑时间和空间因素，消除了个别噪点的干扰，达到了较好的结果。本发明方法减低设备噪声和眼睛抖动对于注视点聚类的限制和影响，从而提高眼动聚类识别的性能。

附图说明

图1是本发明方法的流程图；

图2是本发明聚类结果比较。

具体实施方式

本发明的步骤如图1所示，

(1)利用美国ASL实验室

单目标准H6眼动仪，检测并记录用户的眼动：

用户头戴可检测注视点坐标的ASL眼动仪。其原理为瞳孔-角膜反射向量法，通过固定的眼摄像机获取瞳孔图像，利用暗瞳孔的原理，通过对比瞳孔和角膜反射点与眼球周围区域的颜色，计算出瞳孔和角膜反射点的位置，利用角膜反射法校正眼摄像机与眼球的相对位置，把角膜反射点数据作为眼摄像机和眼球的相对位置的基点，瞳孔中心位置坐标就表示视线的位置。光学系统安装在ASL可调节的头盔上，探测结果以指针或交叉瞄准线的形式在场景摄像头的图像上分层显示。同时系统以专用的文件格式记录测量数据，测量数据通过H6型控制单元的RS232串口输出。该设备的主要技术参数如下：采样率50/60HZ(无分辨率损失)，精确度0.5度视角范围，分辨率0.1度视角，眼动捕捉范围水平45度，垂直35度。

通过眼动仪检测用户包含某种语义的眼睛运动，并记录眼动相对于屏幕的x轴，y轴二维坐标以及注视点发生的时间。其中眼动坐标的范围不超过屏幕范围。

包含时间的三维数据gi采用下述方法标记

gi＝(xgi，ygi，tgi)        (1)

xgi，ygi为gi点在电脑屏幕上的x轴坐标，y轴坐标，tgi为gi点的发生时间。

(2)初始化在线注视点聚类中心坐标c1为首个注视点坐标g1，判断新加入的注视点gk与聚类中心c1之间的时空距离是否小于聚类阈值D。

时空距离ξ(c1，gk)采用下述方法标记

$\mathrm{\ξ}(c_1,g_k)=\frac{k_1*\sqrt{{(x_{c1}-x_{\mathrm{gk}})}^2+{(y_{c1}-y_{\mathrm{gk}})}^2}+k_2*|t_{c1}-t_{\mathrm{gk}}|}{k_1+k_2}---\left(2\right)$

ξ(c1，gk)为c1和gk两点间的时空距离，xc1，yc1为c1点坐标，xgk，ygk为gk点的坐标，tc1和tgk为c1点和gk点的时间，k1与k2为权重系数，用于调整时域与空域在注视点距离中的重要程度。这里k1＝0.5，k2＝0.5，坐标单位为像素，t单位为1/60秒，本实施例中聚类阈值D取3.5。

(3)更新聚类中心坐标

若步骤(2)中，当前的注视点和聚类中心的时空距离小于聚类阈值D，则依据当前聚类中所有注视点的时空坐标更新聚类中心的坐标。

步骤(3)中的更新方法如下

$c_1=(\frac{\underset{i=s_0}{\overset{k}{\mathrm{\Σ}}}{x}_{\mathrm{gi}}}{k-s_0},\frac{\underset{i=s_0}{\overset{k}{\mathrm{\Σ}}}{y}_{\mathrm{gi}}}{k-s_0},\frac{\underset{i=s_0}{\overset{k}{\mathrm{\Σ}}}{t}_{\mathrm{gi}}}{k-s_0})---\left(3\right)$

c1为聚类中心，s0为聚类起始点，k为聚类当前点，xgi，ygi为注视点的x，y坐标，tgi为注视点发生时间。

若步骤(2)中，当前的注视点和聚类中心的时空距离大于聚类阈值D，则更新聚类中心坐标c1为当前注视点坐标gk。

(4)检测持续时间t，判断生成注视点聚类。

若有新的注视点数据，重复循环步骤(2)(3)，若步骤(2)中注视点和聚类中心的时空距离总是小于聚类阈值D，且持续时间t大于时间阈值T，则将这些注视点生成一个注视点聚类。记录聚类中心。

时间阈值T为判断一次聚类完成的时间阈值。持续时间t的计算方法是，从第一次注视点和聚类中心的时空距离小于聚类阈值D开始计时，到注视点和聚类中心的时空距离大于聚类阈值D为止。实验中T为100ms。

实验对同一段原始注视点数据，使用基于时域约束的聚类方法，基于空间的聚类方法，基于速度的聚类方法进行聚类。结果如表1，基于时域约束的聚类方法产生的聚类个数为9，基于空间的聚类方法产生的聚类个数为10，基于速度的聚类方法产生的聚类个数为16，时域约束的聚类个数较少是由于避免了噪声导致的颠簸。从内部距离和外部距离的比上看，聚类内部距离与聚类间距的比越小，聚类内部越紧密，聚类间越分散。由结果可得出，时域约束产生的结果较优，聚类较为紧密，相似度与相异度的比值较小。由于速度的颠簸，相当多的数据落在了聚类范围外，速度聚类结果较差，而时域和空间聚类效果较好。

总的来说，基于时域约束的聚类方法综合考虑时间和空间因素，消除了个别噪点的干扰，达到了较好的结果。

Claims (5)

1.一个基于时域约束的注视点聚类数据处理方法，其步骤如下：

(1)利用注视点信号采集设备检测头戴注视点信号采集设备的用户相对于电脑屏幕的二维注视点坐标原始数据，并记录该注视点的发生时间；

(2)初始化在线注视点聚类中心坐标为首个注视点坐标，对每个新的注视点，检测当前的注视点和聚类中心的时空距离是否小于聚类阈值D；

(3)更新聚类中心坐标：

(a)若步骤(2)中，当前的注视点和聚类中心的时空距离小于聚类阈值D，则依据当前聚类中所有注视点的时空坐标加权均值更新聚类中心的坐标；

(b)若步骤(2)中，当前的注视点和聚类中心的时空距离大于聚类阈值D，则更新聚类中心坐标为当前注视点坐标；

(4)若有新的注视点数据，重复循环步骤(2)(3)，若步骤(2)中注视点和聚类中心的时空距离总是小于聚类阈值D，且持续时间t大于时间阈值T，则将这些注视点生成一个注视点聚类。

2.根据权利要求1所述的基于时域约束的注视点聚类数据处理方法，其特征是：步骤(1)中将二维注视点坐标数据以及注视时间生成包含时间的三维注视点数据。

3.根据权利要求1所述的基于时域约束的注视点聚类数据处理方法，其特征是：步骤(2)中检测当前的注视点和聚类中心的时空距离时采用如下公式：

ξ(g_i，g_j)为g_i和g_j两点间的时空距离，x_gi，y_gi为g_i点的坐标，x_gj，y_gj 为g_j点的坐标，t_gi和t_gj为g_i点和g_j点的时间，k₁与k₂为权重系数，用于调整时间域与空间域在注视点距离中的重要程度。

4.根据权利要求1所述的基于时域约束的注视点聚类数据处理方法，其特征是：所述的步骤(3)(a)中，更新聚类中心的方法为：

c₁为聚类中心，s₀为聚类起始点，k为聚类当前点，x_gi，y_gi为注视点的x，y坐标，t_gi为注视点发生时间。

5.根据权利要求1所述的基于时域约束的注视点聚类数据处理方法，其特征是：所述的步骤(4)中，时间阈值T为判断一次聚类完成的时间阈值，持续时间t的计算方法是，从第一次注视点和聚类中心的时空距离小于聚类阈值D开始计时，到注视点和聚类中心的时空距离大于聚类阈值D为止。 

Images