CN104463916B - 基于随机游走的眼动注视点测定方法 - Google Patents

Abstract

本发明提供一种基于随机游走的眼动注视点测定方法，包括轨迹点分类阶段和轨迹点聚类阶段，所述轨迹点分类阶段输入测试图片的眼动轨迹点数据，将其中属于注视点的各轨迹点分到不同的类别中；所述轨迹点聚类阶段包括对每个类别分别执行，计算输入的各轨迹点之间的欧式距离构成距离矩阵，计算概率分布矩阵，统计每个点的累计关注时间密度，代入随机游走模型，迭代得到收敛的权重向量，从而计算注视点中心位置。本发明生成的聚类中心与用户关注中心更加拟合；本发明提出的基于随机游走的眼动注视点测定的方法，综合考虑了时间和空间因素，结果更精确。

Description

基于随机游走的眼动注视点测定方法

技术领域

本发明涉及眼动数据分析领域和视觉感知领域，具体涉及一种基于随机游走的眼动注视点测定方法。

背景技术

眼动仪以固定的频率来记录用户关注视觉信息时的图像坐标，广泛用于视觉感知、心理等领域的研究。近年来，随着眼动仪技术的不断发展，眼动数据分析变得尤为重要，分析注视点和眼跳点的关系理论发展迅速，为了寻找用户眼动过程中的注视中心，在眼动数据处理时，需要提出更好的聚类方法。

理论上，基于各种分割方法获得的数据点，应当有比均值更好的注视中心点，能够更好地体现人眼的关注位置。在研究注视点和眼跳点的关系理论时，为了区分两者，研究者已经提出了基于速度阈值的分割方法(I-VT)、基于密度阈值的分割方法(I-DT)、基于兴趣点区域的分割方法(I-AOI)等。I-VT根据轨迹点的速度阈值进行分割、I-DT根据移动窗口内的密度阈值进行分割、I-AOI根据指定的兴趣区域来分割。处理注视点数据时，往往需要找到一个合理的聚类中心来表征该类数据的关注中心。在眼动数据处理中的聚类方法领域中，传统的聚类方法一般以质心作为最佳的眼动注视中心点，这种方法不能很好的顾及密度信息，当某类轨迹点中有较多徘徊数据时，生成的注视中心会偏离用户最关注的区域，这种方法对噪声的敏感度高。

发明内容

本发明的目的在于针对传统眼动轨迹的注视点测定方法的不足，提出一种基于随机游走的眼动注视点测定方法。

为达到上述目的，本发明提供的技术方案提供一种基于随机游走的眼动注视点测定方法，包括轨迹点分类阶段和轨迹点聚类阶段，

所述轨迹点分类阶段包括以下子步骤，

步骤1.1，输入测试图片的眼动轨迹点数据；

步骤1.2，根据步骤1.1输入的眼动轨迹点数据，对其中属于注视点的各轨迹点进行分类，实现如下，

步骤1.2.1，根据步骤1.1输入的眼动轨迹点数据，计算每个轨迹点的速度Velocity；

步骤1.2.2，根据预先设置的阈值Threshold_V，将速度大于阈值的轨迹点设置为相应标签fixation，表示注视点，速度小于阈值的轨迹点设置相应标签为saccade，表示眼跳点；

步骤1.2.3，将时间上连续的标签为fixation的轨迹点归为同一类，得到若干类别，将标签为saccade的轨迹点全部舍弃；

所述轨迹点聚类阶段包括对每个类别分别执行以下子步骤，

步骤2.1，输入一类轨迹点的数据，设该类别所包含轨迹点的个数为n，初始化当前迭代次数t＝0；

步骤2.2，计算输入的各轨迹点之间的欧式距离，构成距离矩阵Dist，设输入的各轨迹点中第i个点和第j个点之间的距离为Dist(i，j)，公式如下，

其中，(x_i，y_i)表示第i个点的图像平面坐标位置，(x_j，y_j)表示第j个点的图像平面坐标位置，i的取值为1,2,…,n，j的取值为1,2,…,n；

步骤2.3，基于步骤2.2所得的距离矩阵Dist计算概率分布矩阵Q，其中每个元素q(i，j)表示第i个点与第j个点之间的连通系数，定义如下，

其中，Dist(i，k)为第i个点和第k个点之间的距离，k的取值为1,2,…,n；σ是预设的游走系数，e为自然常数；

步骤2.4，基于步骤2.2所得的距离矩阵Dist统计每个点半径r内的累计关注时间密度Density_r(i)，r为预设的密度半径；

然后，轨迹点i的初始化权重w(i)计算如下，

式中，Eensity_r(i)表示第i个点的密度；

步骤2.5，将以上步骤所得的参数w(i)代入随机游走模型，模型定义如下，

式中，l_t(i)表示第i个点在第t次迭代过程中的权重值，l_(t+1)(i)表示第i个点在第t+1次迭代过程中的权重值，初始值l₀(0)＝w(i)，l_t(j)表示第j个点在第t次迭代过程中的权重值，初始值l₀(j)＝w(j)；q(j，i)是概率分布矩阵Q中的元素，表示第j个点与第i个点之间的连通系数；α为一个自适应常数；η为归一化常数因子，定义如下，

当输入的各轨迹点都满足|l_(t+1)(i)-l_t(i)|＜T时，停止迭代，得到收敛的权重向量l_T＝l_(t+1)，l_(t+1)为第t+1次的权重向量，进入步骤2.6，其中T为预设的收敛阈值；否则对各轨迹点的权重值更新，令t＝t+1，返回步骤2.5计算下一次迭代中的各点权重值l_(t+1)(i)；

步骤2.6，基于步骤2.5所得的权重向量l_T，计算注视点中心位置，定义如下，

所得为所求类别的注视中心点的坐标位置，l_T(i)是权重向量l_T中第i个点相应的权重值，记录所得注视中心点的坐标位置、该类别第一个点的采集时刻和第一个点至最后一个点的总停留时间。

而且，步骤2.5中，将随机游走模型转化成矩阵进行计算，矩阵形式如下，

Λ＝diag(1-(1-α)l_t)

η＝||l_tΛQ+w(I-Λ)||₁

式中，向量l_t和w分别表示n个点第t次的权重、初始权重；diag(.)表示将向量转化为对角阵；||.||₁表示向量元素的绝对值之和；I是n阶单位阵；Λ表示n阶对角阵；η为归一化常数因子。

而且，步骤2.4中，统计每个点半径r内的累计关注时间密度Density_r(i)如下，

计算第i个点周围r半径内的点的停留时间之和如下，

式中，d_j是第j个点的停留时间。

或者，步骤2.4中，统计每个点半径r内的累计关注时间密度Density_r(i)如下，

计算第i个点周围在r半径内的点的个数如下，

Density_r(i)＝{#(j)|Dist(i，j)≤r}

式中，#(j)表示符合条件的点的个数。

本发明与现有技术相比具有以下优点：

1.本发明中生成的聚类中心与用户关注中心更加切合；

2.本发明提出的基于随机游走的眼动注视点的测定方法综合考虑了时间密度和空间密度，结果更精确。

附图说明

图1为本发明实施例的轨迹点示意图。

具体实施方式

本发明首先将输入的眼动轨迹点数据进行分类，针对同一类轨迹点，同类别的点作为一张图上的节点，利用随机游走模型来预测不同节点之间的潜在关系。首先计算每个节点游走到周围点的概率，构成概率分布矩阵；并计算每个点及其邻域一定范围内的累计关注时间，构成密度向量；最后，进入随机游走迭代计算过程，寻找收敛权重值，获取聚类的中心位置。

本发明技术方案可采用计算机软件方式支持自动运行流程。以下结合实施例和附图详细说明本发明技术方案。

实施例包括轨迹点分类阶段和轨迹点聚类阶段。

轨迹点分类阶段采用基于I-VT的方法，首先计算每个轨迹点的速度，依据预先设置的速度阈值来划分注视点和眼跳点；然后将连续的注视点分为同一类，抛弃眼跳点，具体的步骤为：

步骤1.1，输入测试图片的眼动轨迹点数据，参见图1，需要从大量轨迹点中找到注视中心。眼动轨迹点数据中每个轨迹点的特征参数可采用<x，y，t，d>的形式，包括平面坐标位置x和y、记录时刻t、停留时间d，具体实施时，可以将连续采集到的相同位置的点合并为同一点，此时每个点的参数<x，y，t，d>中的第四个参数不相同，也可以等间隔采集眼动轨迹点数据、并且连续采集到的相同位置的点不合并，每个点的参数<x，y，t，d>中的第四个参数值相同，均为采集间隔时长。这两种方式的实现是类似的，实施例中所采用的眼动轨迹点数据是等时间间隔采集的，即采用第二种方式，每隔一定时间采集一个轨迹点。

本发明的各参数可由本领域技术人员自行预先，实施例预先设定为：

速度阈值Threshold_V＝50；

密度半径r＝20；

游走系数σ＝0.05；

自适应常数α＝0.9；

收敛阈值T＝0.005。

步骤1.2，根据步骤1.1输入的眼动轨迹点数据，对其中属于注视点的各轨迹点进行分类，；

步骤1.2.1，根据步骤1.1输入的眼动轨迹点数据，计算每个轨迹点的速度Velocity；

步骤1.2.2，，根据预先设置的阈值Threshold_V，

将速度大于阈值的轨迹点设置为相应标签fixation，表示注视点；

将速度小于阈值的轨迹点设置相应标签为saccade，表示眼跳点；

步骤1.2.3，，将时间上连续的标签为fixation的轨迹点归为同一类，得到若干类，每类中时间上连续的轨迹点构成一条眼动轨迹，将标签为saccade的轨迹点全部舍弃。

可得到多类眼动轨迹数据，轨迹点聚类阶段，利用轨迹点分类阶段所得的各类轨迹点数据，基于随机游走模型，计算获取该类轨迹点的注视中心及其特征参数。

轨迹点聚类阶段包括对每个类别分别执行以下子步骤，

步骤2.1，输入一类轨迹点的数据，设该类别所包含轨迹点的个数为n，各点可按采集时间的先后顺序依次排列，初始化当前迭代次数t＝0。

步骤2.2，计算输入的各轨迹点之间的欧式距离，构成距离矩阵Dist，设输入的各轨迹点中第i个点和第j个点之间的距离为Dist(i，j)，公式如下，

其中，(x_i，y_i)表示第i个点的图像平面坐标位置，(x_j，y_j)表示第j个点的图像平面坐标位置，i的取值为1,2,…,n，j的取值为1,2,…,n。

步骤2.3，基于步骤2.2所得的距离矩阵Dist计算概率分布矩阵Q，其中每个元素q(i，j)表示第i个点与第j个点之间的连通系数，定义如下，

其中，Dist(i，k)为第i个点和第k个点之间的距离，k的取值为1,2,…,n；预设的游走系数σ用来调节概率曲线的形状，σ越小，距离越远的点的连通概率所占比重越小；e为自然常数。

步骤2.4，基于步骤2.2所得的距离矩阵Dist统计每个点i半径r内的累计关注时间密度Density_r(i)，点i是第i个点的简称，可用于标识类别中任意点。r为预设的密度半径。

所得轨迹点的密度Density_r(i)有两种量度，

第一种适应于第一种方式采集的轨迹点，为第i个点周围r半径内的点的停留时间之和，计算方法如下式，

式中，d_j是第j个点的特征参数<x，y，t，d>中的第四个参数，表示停留时间。

第二种情况适应于第二种方式采集的轨迹点，将第i个点周围r半径内的点的个数记为密度，计算方法如下式，

Density_r(i)＝{#(j)|Dist(i，j)≤r}

式中，#(j)表示符合条件的点的个数。

实施例中所采用的眼动轨迹点数据是等间隔采集的，故适用第二种方法，将轨迹点i周围r半径内的采样点的个数记为密度。最后，所有n个轨迹点的密度构成密度向量，任意轨迹点i的密度Eensity_r(i)是密度向量Density_r中的第i个元素。对所得到的密度向量做归一化处理，得到轨迹点的初始化权重向量w，轨迹点i的初始化权重w(i)是初始化权重向量w中第i个元素，计算方法如下，

式中，Density_r(i)表示第i个点的密度。

步骤2.5，将以上步骤所得的参数w(i)代入随机游走模型，模型定义如下，

式中，l_t(i)表示第i个点在第t次迭代过程中的权重值，l_(t+1)(i)表示第i个点在第t+1次迭代过程中的权重值，初始值l₀(i)＝w(i)，l_t(j)表示第j个点在第t次迭代过程中的权重值，初始值l₀(j)＝w(j)，即任意点j的初始权值l₀(j)是对应轨迹点j的初始化权重w(j)；q(j，i)是概率分布矩阵Q中的元素，表示第j个点与第i个点之间的连通系数；α为一个自适应常数，通常设置为0.8～1之间；η为归一化常数因子，定义如下，

当|l_(t+1)(i)-l_t(i)|＜T对任意i都成立时，停止迭代，得到收敛的权重向量l_T＝l_(t+1)，其中，T为预设的收敛阈值。以上随机游走模型可转化成矩阵进行计算，矩阵形式如下，

Λ＝diag(1-(1-α)l_t)

η＝||l_tΛQ+w(I-Λ)||₁

式中，l_t和w都是1×n维向量，分别表示n个点第t次的权重、初始权重；Q表示n×n维概率分布矩阵；diag(.)表示将向量转化为对角阵；||.||₁表示向量元素的绝对值之和；I是n阶单位阵；Λ表示n阶对角阵；η为归一化常数因子。

按照计算所得n个点第t+1次的权重l_(t+1)(i)组成的相应向量l_(t+1)，当|l_(t+1)(i)-l_t(i)|＜T对任意i都成立时，停止迭代，得到收敛的权重向量l_T＝l_(t+1)，其中，T为收敛阈值，进入步骤2.6，否则对任意点i的权重值进行更新：l_t(i)＝l_(t+1)(i)，令t＝t+1，返回步骤2.5计算下一次迭代中的各点权重值l_(t+1)(i)。

步骤2.6，基于步骤2.5所得的权重向量l_T，计算注视点中心位置，定义如下，

所得即为所求注视中心点的坐标位置，l_T(i)是权重向量l_T中第i个点相应的权重。，记录所得注视中心点的坐标位置、该类别第一个点的采集时刻和第一个点至最后一个点的总停留时间。

具体实施时，所求的注视点特征参数形式可采用表示该类点集中第一个点的采集时刻，表示第一个点至最后一个点的总停留时间。

对每个类别分别执行步骤2.1～2.6，即可获得每个类别的注视中心特征参数，完成眼动注视点测定。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或超越所附权利要求书所定义的范围。

Claims (4)

1.一种基于随机游走的眼动注视点测定方法，其特征在于：包括轨迹点分类阶段和轨迹点聚类阶段，

所述轨迹点分类阶段包括以下子步骤，

步骤1.1，输入测试图片的眼动轨迹点数据；

步骤1.2，根据步骤1.1输入的眼动轨迹点数据，对其中属于注视点的各轨迹点进行分类，实现如下，

步骤1.2.1，根据步骤1.1输入的眼动轨迹点数据，计算每个轨迹点的速度Velocity；

步骤1.2.2，根据预先设置的阈值Threshold_V，将速度大于阈值的轨迹点设置为相应标签fixation，表示注视点，速度小于阈值的轨迹点设置相应标签为saccade，表示眼跳点；

步骤1.2.3，将时间上连续的标签为fixation的轨迹点归为同一类，得到若干类别，将标签为saccade的轨迹点全部舍弃；

所述轨迹点聚类阶段包括对每个类别分别执行以下子步骤，

步骤2.1，输入一类轨迹点的数据，设该类别所包含轨迹点的个数为n，初始化当前迭代次数t＝0；

步骤2.2，计算输入的各轨迹点之间的欧式距离，构成距离矩阵Dist，设输入的各轨迹点中第i个点和第j个点之间的距离为Dist(i,j)，公式如下，

$Dist(i,j)=\sqrt{{(x_i-x_j)}^2+{(y_i-y_j)}^2}$

其中，(x_i，y_i)表示第i个点的图像平面坐标位置，(x_j，y_j)表示第j个点的图像平面坐标位置，i的取值为1,2,…,n，j的取值为1,2,…,n；

步骤2.3，基于步骤2.2所得的距离矩阵Dist计算概率分布矩阵Q，其中每个元素q(i,j)表示第i个点与第j个点之间的连通系数，定义如下，

$q(i,j)=\frac{e^{-\mathrm{\&sigma;}\&times;Dist(i,j)}}{{\mathrm{\&Sigma;}}_{k=1}^n{e}^{-\mathrm{\&sigma;}\&times;Dist(i,k)}}$

其中，Dist(i,k)为第i个点和第k个点之间的距离，k的取值为1,2,…,n；σ是预设的游走系数，e为自然常数；

步骤2.4，基于步骤2.2所得的距离矩阵Dist统计每个点半径r内的累计关注时间密度Density_r(i)，r为预设的密度半径；

然后，轨迹点i的初始化权重w(i)计算如下，

$w\left(i\right)=\frac{{\mathrm{Density}}_r\left(i\right)}{{\mathrm{\&Sigma;}}_{j=1}^n{\mathrm{Density}}_r\left(j\right)}$

式中，Density_r(i)表示第i个点的密度；

步骤2.5，将以上步骤所得的参数w(i)代入随机游走模型，模型定义如下，

$l_{(t+1)}\left(i\right)=\frac{1}{\mathrm{\&eta;}}\left(\underset{j=1}{\overset{n}{\&Sigma;}}\right(1-\left(1-\mathrm{\&alpha;}\right)l_t\left(i\right)\left)l_t\right(j\left)q\right(j,i)+(1-\mathrm{\&alpha;}\left)l_t\right(t\left)w\right(i\left)\right)$

式中，l_t(i)表示第i个点在第t次迭代过程中的权重值，l_(t+1)(i)表示第i个点在第t+1次迭代过程中的权重值，初始值l₀(i)＝w(i)，l_t(j)表示第j个点在第t次迭代过程中的权重值，初始值l₀(j)＝w(j)；q(j,i)是概率分布矩阵Q中的元素，表示第j个点与第i个点之间的连通系数；α为一个自适应常数；η为归一化常数因子，定义如下，

$\mathrm{\&eta;}=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\left(\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}\left(1-\left(1-\mathrm{\&alpha;}\right)l_t\left(i\right)\right)l_t\left(j\right)q\left(j,i\right)+\left(1-\mathrm{\&alpha;}\right)l_t\left(i\right)w\left(i\right)\right)$

当输入的各轨迹点都满足|l_(t+1)(i)-l_t(i)|＜T时，停止迭代，得到收敛的权重向量l_T＝l_(t+1)，l_(t+1)为第t+1次的权重向量，进入步骤2.6，其中T为预设的收敛阈值；否则对各轨迹点的权重值更新，令t＝t+1，返回步骤2.5计算下一次迭代中的各点权重值l_(t+1)(i)；

步骤2.6，基于步骤2.5所得的权重向量l_T，计算注视点中心位置，定义如下，

$\hat{x}=\underset{i=1}{\overset{n}{\&Sigma;}}{x}_i{l}_T\left(i\right)$

$\hat{y}=\underset{i=1}{\overset{n}{\&Sigma;}}{y}_i{l}_T\left(i\right)$

所得为所求类别的注视中心点的坐标位置，l_T(i)是权重向量l_T中第i个点相应的权重值，记录所得注视中心点的坐标位置、该类别第一个点的采集时刻和第一个点至最后一个点的总停留时间。

2.根据权利要求1所述基于随机游走的眼动注视点测定方法，其特征在于：步骤2.5中，将随机游走模型转化成矩阵进行计算，矩阵形式如下，

$l_{(t+1)}=\frac{1}{\mathrm{\&eta;}}(l_t\mathrm{\&Lambda;}Q+w(I-\mathrm{\&Lambda;}\left)\right)$

Λ＝diag(1-(1-α)l_t)

η＝‖l_tΛQ+w(I-Λ)‖₁

式中，向量l_t和w分别表示n个点第t次的权重、初始权重；diag(.)表示将向量转化为对角阵；‖.‖₁表示向量元素的绝对值之和；I是n阶单位阵；Λ表示n阶对角阵；η为归一化常数因子。

3.根据权利要求1或2所述基于随机游走的眼动注视点测定方法，其特征在于：步骤2.4中，统计每个点半径r内的累计关注时间密度Density_r(i)如下，

计算第i个点周围r半径内的点的停留时间之和如下，

${\mathrm{Density}}_r\left(i\right)=\left\{\underset{j=1}{\overset{n}{\&Sigma;}}{d}_j\right|Dist(i,j)\&le;r\}$

式中，d_j是第j个点的停留时间。

4.根据权利要求1或2所述基于随机游走的眼动注视点测定方法，其特征在于：步骤2.4中，统计每个点半径r内的累计关注时间密度Density_r(i)如下，

计算第i个点周围在r半径内的点的个数如下，

Density_r(i)＝{#(j)|Dist(i,j)≤r}

式中，#(j)表示符合条件的点的个数。