CN102253714A - 基于视觉决策的选择触发方法 - Google Patents

Abstract

基于视觉决策的选择触发方法属于自适应系统领域。本发明是一种适合于眼动人机交互系统中，基于用户的视觉模式得到用户偏好与决策信息、通过融合多项眼动指标与时间序列来获得用户选择触发时机的预测方法，即基于视觉决策的选择触发方法。本发明第一步收集与采样用户视觉决策数据：收集用户的注视数据，瞳孔直径数据及对应的点击选择数据；对收集到的数据按时间轴进行采样，得到用户进行选择时的注视数组与瞳孔直径数组。第二步拟合用户视觉决策曲线，并确定相关参数：对视觉决策曲线进行拟合，得到注视时间与瞳孔直径对应决策时间轴的函数，确定触发的阈值。本方法为自适应的用户视觉决策模型建立，无需用户进行额外的配合，方便使用，预测结果良好。

Description

基于视觉决策的选择触发方法

(一)技术领域

本发明属于自适应系统领域，涉及眼动跟踪技术，具体是一种适合于眼动人机交互系统中，基于用户的视觉模式得到用户偏好与决策信息、通过融合多项眼动指标与时间序列来获得用户选择触发时机的预测方法，即基于视觉决策的选择触发方法。

(二)背景技术

眼动人机交互采用眼动跟踪技术(简称眼动技术)记录用户眼球运动的情况，使用户得以通过视觉通道直接对界面进行操作。眼动人机交互用以解决人机交互带宽不平衡的问题(人机交互带宽不平衡是指：目前用户能快速从计算机界面与音频等得到大量的信息，而计算机只能缓慢接收用户手动输入)，尤用于助残系统中。

眼动人机交互中，最大的问题之一即为米达斯接触问题，即用户视线停留在某个目标，不一定意味着想对其进行操作(请见Jacob，R.J.K.的文章“What you look at is what you get：eye movement-based interaction techniques”ACM，CHI′90，1990)。目前解决此问题的方法多是采用眨眼(请见Kaufman，A.E.，Bandopadhay，A.and Shaviv，B.D.，“An Eye Tracking Computer UserInterface”Virtual Reality Workshop Proceedings，Computer Society IEEE 1993，pp.120-121)或长时间凝视(请见Hansen，J.P.，Hansen，D.W.，Johansen，“Bringing gaze-based interaction back to basics”In C.Stephanidis(Ed.)，Universal access in HCI：Towards an information society for all，2001，pp.325-328)来触发操作。这些方法要么需要额外的操作(眨眼，按键)，要么需要延长凝视时间，某种程度上已经违背了“自然交互”的原则；并且现有的自动触发方法只基于单一的指标，没有考虑用户整个浏览过程中的心理，无法体现历史信息对用户选择的预测指导作用。因此很难达到自适应系统“自然交互”的需要。

视觉决策研究人们对视觉对象进行权衡并做出选择决策的过程。Shimojo等发现了“凝视偏好现象”(请见Shimojo，S.，Simion，C.，Shimojo，E.，& Scheier，C.“Gaze bias both reflects and influences preference”Nature Neuroscience，2003，6(12)：pp.1317-1322)，即人们在对多个视觉目标进行选择时，视线刚开始是均匀地分布在各选项上，随着时间的推移，在接近做出反应的前1-2秒钟，凝视分布开始逐渐偏到最后所要选择的那一目标上；Glaholt等人发现在可选目标大于二时，用户最后将锁定两个选项进行比较，其他的目标基本得不到注视(请见Glaholt，M.G.，Reingold，E.M.“The time course of gaze bias invisual decision tasks”Visual Cognition，2008，17(8)：pp.1228-1243)。总而言之，用户对多个视觉目标进行选择决策的过程中，注视情况与时间维结合能反映其选择倾向。

(三)发明内容

本发明的目的在于提供一种基于视觉决策的选择触发方法，用于在眼动人机交互环境中，根据用户在选择过程中的眼动规律推断其要触发操作的对象与时机。

为实现上述目的，本发明采取以下技术方案：

整个技术方案包括用户视觉决策数据收集与采样阶段、用户视觉决策曲线拟合与运用阶段两个阶段，具体如下：

I、基于用户的眼动模式与鼠标点击，采样注视点与瞳孔直径信息。

在特定的人机界面中，通过眼动仪对用户浏览网页的眼动数据与点击操作进行记录，并通过规范化的数据采样来学习用户的视觉决策习惯。

I-i、让用户在界面中按自己的喜好随机进行选择操作，记录其眼动数据与点击流数据作为学习集合。

采集用户的眼动与点击流数据，稍作处理并根据需要将所有记录分为三类基本数据集，事件记录数据集E、注视信息数据集F＝{f₁，f₂，f₃，...，f_m}与点击流数据集C＝{c₁，c₂，c₃，...，c_n}，本发明的方法主要针对F与C展开。表1为待用的眼动数据集示例。

事件记录数据集E包括页面开始(UrlStart)、结束(UrlEnd)与点击事件，由于本方法只需要利用页面开始(UrlStart)标记，因此忽略其他事件，将E用以记录所有页面开始时的时间戳E＝{t_u1，t_u2，t_u3，...，t_un}。

注视信息数据集F包含所有的注视信息，f_k是一个四元组(t_fk，d_lk，d_rk，item_fk)，t_fk为此次注视的时间戳；d_lk为左瞳孔直径；d_rk为右瞳孔直径；item_fk为所注视的选项，若注视点不在任何产品上，则标记为“NULL”。按照处理瞳孔直径的一般方法，用左右瞳孔直径的平均值代表瞳孔直径值，即算得d_fk＝(d_lk+d_rk)/2，将f_k简化为三元组(t_fk，d_fk，item_fk)，其中t_fk为此次注视的时间戳；d_fk为瞳孔直径；item_fk为所注视的选项。

点击流数据集C包含对点击时间与所点击选项的记录，c_i是一个二元组(t_ci，item_ci)，t_ci为点击时间戳，item_ci为所点击的产品，若点击位置不在任何产品上，则标记为“NULL”。

表1.待用眼动数据集示例：

I-ii、计算用户平均决策时间与采样时长

将所有记录按时间戳逆序排列，然后计算从点击时间t_ci到用户每次开始进入界面的时间(UrlStart对应的时间戳，即t_ui)的差值，t_ci-t_ui即为用户的决策时间。为所有点击计算平均决策时间t_M及标准差std。假设共有n次点击，则：

$t_M=\frac{{\mathrm{\Σ}}_{i=1}^n(t_{\mathrm{ci}}-t_{\mathrm{ui}})}{n}$

$\mathrm{std}=\sqrt{\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n{[(t_{\mathrm{ci}}-t_{\mathrm{ui}})-t_M]}^2}$

平均决策时间t_M减去一倍标准差std即得到采样时长t_s：

t_S＝t_M-std

I-iii、对用户点击前时间t_s内的注视信息与瞳孔直径信息进行采样

保留决策时间长于采样时间的数据，其余数据由于决策时间过短视为不能构成有效采样集而抛弃(若t_ci-t_ui＜t_s，则删除在时间t_ui到t_ci之间生成的所有数据)。保留的数据中，每次点击c_i之后，一直到上一次点击c_i-1之间的注视数据集{f_i1，f_i2，…，f_in}(注意数据已经逆序排列，因此只需截取两次点击之间的数据)与c_i构成一个基本的采样单元：

s_i＝{f_i1，f_i2，f_i3，...，f_in，c_i}

从点击前最后一个注视记录开始(由于数据已逆序排列，因此最后一个注视记录即为点击的后一行记录)，以采样间隔：

t_I＝t_s/50

对s_i采样50个点(取50是依照shimojo，2003文章中给出的值，具体可根据时间长度与需求调整)，得到新的基本采样单元：

s_i′＝{f_i1，f_i2，f_i3，...，f_i50，c_i}

假设共有m个基本采样单元，则由所有s_i′构成的采样数据集S′可用m*51的矩阵表示为：

$S^{\′}=\left[\begin{array}{cccccc}{f}_{11}& f_{12}& f_{13}& ...& f_{150}& c_1\\ f_{21}& f_{22}& f_{23}& ...& f_{250}& c_2\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ f_{m-11}& f_{m-12}& f_{m-13}& ...& f_{m-150}& c_{m-1}\\ f_{m1}& f_{m2}& f_{m3}& ...& f_{m50}& c_m\end{array}\right]$

其中矩阵第51列为点击信息，前50列中的每列f_j为对所有有效数据，距离选择前最后一行注视记录t_I×0，t_I×1，…，t_I×(j-1)，…，t_I×49采样，得到的注视信息。

I-iv、采样注视信息。对用户的注视情况进行标记，得到由flag_ij＝{“0”，“1”，“Null”}组成的注视矩阵S_f。具体步骤为：

对比S′中每一行中f_ij的item_fij与c_i的item_ci，若item_fij＝“NULL”则表示用户的注视点没有停留在任何目标选项上，标记flag_ij＝“NULL”；在item_fij不为“NULL”的情况下，若item_fij＝item_ci，则表示此时用户的注视点停留在最终用户选择的选项上，标记flag_ij＝“1”；若item_fij≠item_ci，则表示此时用户的注视点停留在其他选项上，标记flag_ij＝“0”。

则所有f_ij对应的flag_ij构成了m×50的注视矩阵S_f(其中，m为基本采样单元的数目，50为采样点的数目)，矩阵元素为“0”“1”“Null”三种组成，以下为一个注视矩阵的样例：

$S_f=\left[\begin{array}{ccccc}0& 0& 1& ...& 0\\ \mathrm{Null}& 0& 0& ...& 1\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ 1& 1& 1& ...& 1\\ 0& \mathrm{Null}& 0& ...& 1\end{array}\right]$

I-V、采样瞳孔直径信息，得到瞳孔直径矩阵。提取S′中，每个f_ij的d_fij的值，假设有m个基本采样数据单元，则所有f_ij对应的d_fij构成了m×50的瞳孔直径矩阵S_d：

$S_d=\left[\begin{array}{ccccc}{d}_{f11}& d_{f12}& d_{f13}& ...& d_{f150}\\ d_{f21}& d_{f22}& d_{f23}& ...& d_{f250}\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ d_{\mathrm{fm}-11}& d_{\mathrm{fm}-12}& d_{\mathrm{fm}-13}& ...& d_{\mathrm{fm}-150}\\ d_{\mathrm{fm}1}& d_{\mathrm{fm}2}& d_{\mathrm{fm}3}& ...& d_{\mathrm{fm}50}\end{array}\right]$

I-VI、生成注视数组。

注视数组A_f中的元素Vf_j的值等于注视矩阵每列中“1”所占的比例，将注视矩阵S_f中各列的“1”累加(由于元素只有“1”，“0”，“Null”所以直接求一列中各元素的和数值上即等于“1”的累加)，并除以基本采样单元的数目m，得到注视矩阵各列中“1”所占的比例，即：

${\mathrm{Vf}}_j=\frac{{\mathrm{\Σ}}_{i=1}^m{\mathrm{flag}}_{\mathrm{ij}}}{m}$

可知Vf_j为注视矩阵各列(一共50列)中“1”所占的比例，即距离选择时间t_I×0，t_I×1，…，t_I×(j-1)，…，t_I×49采样，所得到用户正在注视最终选择项的比例。所有50个Vf_j的集合构成的注视点数组A_f＝[Vf₁，Vf₂，…，Vf_j，…，Vf₅₀]。

I-VII、生成瞳孔直径数组。

瞳孔直径数组中各元素Vd_j为瞳孔矩阵每列的平均值，即：

${\mathrm{Vd}}_j=\frac{{\mathrm{\Σ}}_{i=1}^m{d}_{\mathrm{ij}}}{m}$

所有50个Vd_j的集合构成瞳孔直径数组A_d＝[Vd₁，Vd₂，…，Vd_j，…，Vd₅₀]。由于实质上是在同一采样时间分别取注视信息与瞳孔直径信息，所以在注视数组与瞳孔直径数组中各对应的Vf_j与Vd_j的时间完全重合。

II、视觉决策曲线拟合与运用阶段

根据注视点数组与瞳孔直径数组生成拟合函数，并计算触发阈值。

II-i、横坐标为采样时间点，即t_I×(j-1)，纵坐标为最终选择项被注视的比例Vf_j对数组A_f＝[Vf₁，Vf₂，…，Vf_j，…，Vf₅₀]进行拟合(可采用spss统计分析软件中自带的拟合功能，根据使用者的经验匹配不同类型的函数)，得到视觉决策注视拟合曲线。要求拟合度R²＞0.85，否则继续匹配其他曲线。

II-ii、横坐标为采样时间点，即t_I×(j-1)，纵坐标为平均瞳孔直径Vd_j，对数组A_d＝[Vd₁，Vd₂，…，Vd_j，…，Vd₅₀]进行拟合(可采用spss等统计分析软件中自带的拟合功能，根据使用者的经验匹配不同类型的函数)，得到视觉决策瞳孔直径拟合曲线。要求拟合度R²＞0.85，否则继续匹配其他曲线。

II-iii、计算注视比例阈值Vf_t与瞳孔直径阈值Vd_t。为避免数据中奇异点的影响，取Vd_e＝(Vd₁+Vd₂+Vd₃)/3，Vd_s＝(Vd₅₀+Vd₄₉+Vd₄₈)/3，瞳孔直径触发阈值Vd_t＝Vd_e-(Vd_e-Vd_s)×3/4；取Vf_e＝(Vf₁+Vf₂+Vf₃)/3；Vf_s＝(Vf₅₀+Vf₄₉+Vf₄₈)/3；注视比例触发阈值Vf_t＝Vf_e-(Vf_e-Vf_s)×1/2。值得注意的是，瞳孔直径的阈值与用户的相关性更大，也就是不同用户随着决策时间的推进，瞳孔直径变化的趋势是基本一致的，而值却可能相差较大；而注视阈值与任务的相关更大，因为在不同的界面与选项中进行决策时，人们的注视曲线将有所变化。此步骤阈值的确定可以根据实际情况调整。

II-iv、基于双阈值的选择触发。若用户的瞳孔直径的值连续三个点大于或等于阈值Vd_t，则采样注视点信息，若在时间t_I×10内，用户对某选项的凝视比例达到Vf_t，则视为用户想选择此选项。

本发明基于视觉决策的触发方法优越性为：充分重视人们作选择决策时的心理过程，先通过样本学习得到用户在特定页面中进行选择的视觉习惯，然后基于注视曲线与瞳孔直径曲线进行拟合，推测用户的选择触发时机。与传统的采用眨眼和单一延长触发所需凝视时间等方法相比，本方法有以下三点优势：1)注重利用用户的视觉习惯与历史操作记录；2)融合了瞳孔直径指标；3)不需要用户额外的操作，自然交互。

(四)附图说明

图1.流程图

图2.注视数组图

图3.瞳孔直径数组图

图4.注视曲线拟合

图5.瞳孔直径曲线拟合

(五)具体实施方式

本实例在电子商务系统中使用本方法。在实验页面中，包含透过修改www.dangdang.com的样式单形成的电子商务网页背景与两个可供选择的产品(上下位置)及相关介绍，要求用户选择自己喜欢的一幅并点击。

I、基于用户的浏览与点击操作，采样注视点与瞳孔直径信息。

在此次对电子商务网站的实施案例中，通过瑞典生产的Tobii T120非侵入式眼动仪，以采样频率120Hz，记录用户浏览网页的眼动数据与鼠标点击数据，用以学习用户在此页面上的视觉决策习惯。

I-i、让用户在界面中按自己的喜好进行选择操作，并记录其眼动数据与点击流数据作为学习集合。

让30个用户对页面中的15对不同的产品中进行选择，采集用户的眼动与点击流数据，稍作处理并根据需要将所有记录分为三类基本数据集，事件记录数据集E、注视信息数据集F＝{f₁，f₂，f₃，...，f_m}与点击流数据集C＝{c₁，c₂，c₃，...，c_n}，本发明的方法主要针对F与C展开。

事件记录数据集E包括页面开始(UrlStart)、结束(UrlEnd)与点击事件，由于本方法只需要利用页面开始(UrlStart)标记，因此忽略其他事件，将E用以记录所有页面开始时的时间戳E＝{t_u1，t_u2，t_u3，...，t_un}。

注视信息数据集F包含所有的注视信息，f_k是一个四元组(t_fk，d_lk，d_rk，item_fk)，t_fk为此次注视的时间戳；d_lk为左瞳孔直径；d_rk为右瞳孔直径；item_fk为所注视的选项(此实例中若注视点停留在上面的产品标记为“1”，在下面的产品标记为“2”)，若注视点不在任何产品上，则标记为“NULL”。按照处理瞳孔直径的一般方法，用左右瞳孔直径的平均值代表瞳孔直径值，即算得d_fk＝(d_lk+d_rk)/2，将f_k简化为三元组(t_fk，d_fk，item_fk)，其中t_fk为此次注视的时间戳；d_fk为瞳孔直径；item_fk为所注视的选项。

点击流数据集C包含对点击时间与所点击选项的记录，c_i是一个二元组(t_ci，item_ci)，t_ci为点击时间戳，item_ci为所点击的产品(此实例中点击上面的产品标记为“1”，点击下面的产品标记为“2”)，若点击位置不在任何产品上，则标记为“NULL”。

表2为合并左右瞳孔直径并删除UrlEnd事件记录后的数据集样例。

表2.备用眼动数据样例

I-ii、计算用户平均决策时间与采样时长

将所有记录按时间戳逆序排列，表3为表2逆序排列后的数据集。然后计算从点击时间t_ci到从用户每次开始进入界面的时间(UrlStart对应的时间戳，即t_ui)，t_ci-t_ui即为用户的决策时间。为所有点击计算平均决策时间t_M及标准差std。共有30×15＝450(测试人数×网页数)次点击，则：

$t_M=\frac{{\mathrm{\Σ}}_{i=1}^{450}(t_{\mathrm{ci}}-t_{\mathrm{ui}})}{450}$

$\mathrm{std}=\sqrt{\frac{1}{450}{\mathrm{\Σ}}_{i=1}^{450}{[(t_{\mathrm{ci}}-t_{\mathrm{ui}})-t_M]}^2}$

(如，在表3中，用点击记录c₃所对应的时间58074ms减去对应的下一个事件记录UrlStart的时间55581，即58074-55580＝2494ms；同样的方法可算得c₂与c₁的决策时间分别为55074-53981＝1093ms；52531-50764＝1767ms，所以这三次点击的平均决策时间为(2494+1093+1767)/3≈1785ms)

将t_M并减去一倍标准差std得到采样时长t_S：

t_S＝t_M-std

在此数据中，算得平均决策时间t_M＝2.5s，标准差为0.8s，因此采样时长ts＝t_M-Std＝2.5s-0.8s＝1.7s＝1700ms。

表3.逆序排列的眼动数据样例

I-iii、对用户点击前时间t_s内的注视信息与瞳孔直径信息进行采样

保留决策时间长于采样时间1700ms的数据，其余数据由于决策时间过短视为不能构成有效采样集而抛弃(若t_ci-t_ui＜t_s，则删除在时间t_ui到t_ci之间生成的所有数据。如在示例数据中，c₂的决策时间为55074-53981＝1093ms＜1700ms，所以删除时间55074ms到53981ms之间的所有数据)。保留的数据中，每次点击c_i之后，一直到上一次点击c_i-1之间的注视数据集{f_i1，f_i2，...，f_in}(注意数据已经逆序排列，因此只需截取两次点击之间的数据)与c_i构成一个基本的采样单元：

s_i＝{f_i1，f_i2，f_i3，...，f_in，c_i}

例：点击记录c₁与之前所产生的一系列注视点{f₈₉，...，f₄，f₃，f₂，f₁}构成一个采样单元：

s₁＝{f₁₈₉，...，f₁₄，f₁₃，f₁₂，f₁₁，c₁}

以采样间隔：

t_I＝t_S/50＝1700/50＝34ms

从点击前最后一个注视记录开始(由于数据已逆序排列，因此最后一个注视记录即为点击的后一行记录)，对s_i采样50个点，得到新的基本采样单元：

s_i′＝{f_i1，f_i2，f_i3，...，f_i50，c_i}

此次实验删除了决策时间短于1.7s的数据单元后，仍有399个基本采样单元，则由所有s_i′构成的采样数据集S′可用399*51的矩阵表示为：

$S^{\′}=\left[\begin{array}{cccccc}{f}_{11}& f_{12}& f_{13}& ...& f_{150}& c_1\\ f_{21}& f_{22}& f_{23}& ...& f_{250}& c_2\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ f_{3981}& f_{3982}& f_{3983}& ...& f_{39850}& c_{398-1}\\ f_{3991}& f_{3992}& f_{3993}& ...& f_{39950}& c_{399}\end{array}\right]$

其中矩阵第51列为点击数据，前50列中的每列f_j为对所有有效数据，距离选择时间最后一次注视t_I×0＝0ms，t_I×1＝34ms，t_I×2＝68ms，...，t_I×(j-1)＝34×(j-1)ms，…，t_I×49＝1666ms采样，得到的注视信息。如S′的第一列即为399个采样单元点击前的最后一次注视记录，而第二列为距最后一次注视记录34ms的注视记录。

I-iv、采样注视信息。对用户注视最终选择项的情况进行标记，得到由flag_ij＝{“0”，“1”，“Null”}组成的注视矩阵S_f。具体步骤为：

对比S′中每一行中f_ij的item_fij与c_i的item_ci，若item_fij＝“NULL”则表示用户的注视点没有停留在任何目标选项上，标记flag_ij＝“NULL”；在item_fij不为“NULL”的情况下，若item_fij＝item_ci，则表示此时用户的注视点停留在最终用户选择的选项上，标记flag_ij＝“1”；若item_fij≠item_ci，则表示此时用户的注视点停留在其他选项上，标记flag_ij＝“0”。

(为方便理解，表4中最后一列为表3样例数据加上注视标记，如点击记录c₃的点击标记为item_c“2”，则在这次点击与UrlStart之间的注视记录以此为参照，由于记录f₃₀₉的item_f为“2”与c₃的item_c相等，所以注视标记为1；记录f₃₀₈的item_f为“Null”，所以注视标记也为“Null”；记录f₂₀₁与f₂₀₀的item_f为“1”与c₃的item_c“2”不相等，所以注视标记为0。)

表4.加上注视标记的眼动数据样例

由于共有399个基本采样单元，因此所有f_ij对应的flag_ij构成了399×50的注视矩阵S_f(其中，399为基本采样单元的数目，50为采样点的数目)，矩阵元素为“0”“1”“Null”三种组成，以下为注视矩阵的样例：

$S_f=\left[\begin{array}{ccccc}0& 0& 1& ...& 0\\ \mathrm{Null}& 0& 0& ...& 1\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ 1& 1& 1& ...& 1\\ 0& \mathrm{Null}& 0& ...& 1\end{array}\right]$

I-V、采样瞳孔直径信息，得到瞳孔直径矩阵。提取S′中，每个f_ij的d_fij的值，由于有399个基本采样数据单元，则所有f_ij对应的d_fij构成了399×50的瞳孔直径矩阵S_d：

$S_d=\left[\begin{array}{ccccc}{d}_{f11}& d_{f12}& d_{f13}& ...& d_{f150}\\ d_{f21}& d_{f22}& d_{f23}& ...& d_{f250}\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ d_{f3981}& d_{f3982}& d_{f3983}& ...& d_{f39850}\\ d_{f3991}& d_{f3992}& d_{f3993}& ...& d_{f39950}\end{array}\right]$

以下为相应的实验数据样例：

$S_d=\left[\begin{array}{ccccc}3.862& 3.858& 3.845& ...& 3.386\\ 3.671& 3.673& 3.660& ...& 3.576\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ 2.660& 2.696& 2.688& ...& 2.526\\ 2.692& 2.705& 2.684& ...& 2.593\end{array}\right]$

I-VI、生成注视数组。

注视数组A_f中的元素Vf_j的值等于注视矩阵每列中“1”所占的比例，将注视矩阵S_f中各列的“1”累加(由于元素只有“1”，“0”，“Null”所以直接求一列中各元素的和数值上即等于“1”的累加)，并除以基本采样单元的数目399，得到注视矩阵各列中“1”所占的比例，即：

${\mathrm{Vf}}_j=\frac{{\mathrm{\Σ}}_{i=1}^{399}{\mathrm{flag}}_{\mathrm{ij}}}{399}$

可知Vf_j为注视矩阵各列(一共50列)中“1”所占的比例，即距离选择时间t_I×0，t_I×1，…，t_I×(j-1)，…，t_I×49采样，所得到用户正在注视最终选择项的比例。所有50个Vf_j的集合构成的注视点数组A_f＝[Vf₁，Vf₂，…，Vf_j，…，Vf₅₀]。如下所示A_f为实验所得的50个采样点的注视数组，图2为将注视数组注视比例作为纵坐标，采样序列作为横坐标构成的散点图。

A_f＝[0.709，0.712，0.674，0.669，0.667，0.664，0.657，0.644，0.642，0.619，0.617，0.622，0.617，0.602，0.569，0.571，0.551，0.556，0.554，0.536，0.526，0.531，0.526，0.529，0.544，0.539，0.539，0.526，0.521，0.506，0.499，0.479，0.481，0.499，0.494，0.479，0.504，0.499，0.504，0.521，0.499，0.504，0.491，0.471，0.464，0.474，0.466，0.479，0.489，0.501]

I-VII、生成瞳孔直径数组。

瞳孔直径数组中各元素Vd_j为瞳孔矩阵每列的平均值，即：

${\mathrm{Vd}}_j=\frac{{\mathrm{\Σ}}_{i=1}^{399}{d}_{\mathrm{ij}}}{399}$

所有50个Vd_j的集合构成瞳孔直径数组A_d＝[Vd₁，Vd₂，…，Vd_j，…，Vd₅₀]。由于实质上是在同一采样时间分别取注视信息与瞳孔直径信息，所以在注视数组与瞳孔直径数组中各对应的Vf_j与Vd_j中的时间完全重合。如下所示A_d为实验所得的50个采样点的瞳孔直径数组。图3为将注视数组瞳孔直径作为纵坐标，采样序列作为横坐标构成的散点图。

A_d＝[3.062，3.061，3.057，3.058，3.061，3.059，3.056，3.057，3.056，3.055，3.056，3.055，3.055，3.054，3.056，3.054，3.054，3.055，3.050，3.051，3.054，3.050，3.047，3.049，3.050，3.046，3.048，3.047，3.043，3.041，3.039，3.038，3.041，3.038，3.037，3.035，3.040，3.037，3.038，3.036，3.031，3.028，3.029，3.025，3.025，3.025，3.026，3.023，3.022，3.021]

II、视觉决策曲线拟合阶段

根据注视点数组与瞳孔直径数组生成拟合函数，并计算触发阈值。

II-i、横坐标为采样时间点，即t_I×(j-1)，纵坐标为最终选择项被注视的比例Vf_j对数组A_f＝[Vf₁，Vf₂，…，Vf_j，…，Vf₅₀]进行拟合(采用spss统计分析软件中自带的拟合功能)，得到视觉决策注视拟合曲线。图4为根据实验数据拟合的注视曲线，y＝-0.0001x²-0.0108x+0.7189，拟合度R²＝0.963。

II-ii、横坐标为采样时间点，即t_I×(j-1)，纵坐标为平均瞳孔直径Vd_j，对数组A_d＝[Vd₁，Vd₂，…，Vd_j，…，Vd₅₀]进行拟合(采用spss统计分析软件中自带的拟合功能)，得到视觉决策瞳孔拟合曲线。图5为根据实验数据拟合的瞳孔直径曲线，y＝-0.0008x+3.0653，拟合度R²＝0.943。

II-iii、计算注视比例阈值Vf_t与瞳孔直径阈值Vd_t。为避免数据中奇异点的影响，取Vd_e＝(Vd₁+Vd₂+Vd₃)/3，Vd_s＝(Vd₅₀+Vd₄₉+Vd₄₈)/3，瞳孔直径触发阈值Vd_t＝Vd_e-(Vd_e-Vd_s)×3/4；取Vf_e＝(Vf₁+Vf₂+Vf₃)/3；Vf_s＝(Vf₅₀+Vf₄₉+Vf₄₈)/3；注视比例触发阈值Vf_t＝Vf_e-(Vf_e-Vf_s)×1/2。在具体实施实验中：

Vd_e＝(Vd₁+Vd₂+Vd₃)/3＝(3.062+3.061+3.057)/3＝3.060，

Vd_s＝(Vd₅₀+Vd₄₉+Vd₄₈)/3＝(3.023，3.022，3.021)/3＝3.022，

Vd_t＝Vd_e-(Vd_e-Vd_s)×3/4＝3.060-(3.060-3.022)×3/4＝3.047；

Vf_e＝(Vf₁+Vf₂+Vf₃)/3＝(0.709+0.712+0.674)/3＝0.698，

Vf_s＝(Vf₅₀+Vf₄₉+Vf₄₈)/3＝(0.479+0.489+0.501)/3＝0.490，

Vf_t＝Vf_e-(Vf_e-Vf_s)×1/2＝0.698-(0.698-0.490)×1/2＝0.594。

值得注意的是，瞳孔直径的阈值与用户的相关性更大，也就是不同用户随着决策时间的推进，瞳孔直径变化的趋势是基本一致的，而值却可能相差较大；而注视阈值与任务的相关更大，因为在不同的界面与选项中进行决策时，人们的注视曲线有所变化。此步骤阈值的确定可以根据实际情况调整。

II-iv、基于双阈值的选择触发。若用户的瞳孔直径的值连续三个点大于或等于阈值Vd_t＝3.047，则采样注视点信息，若在时间t_I×10内，用户对此页面中两个选项之一凝视比例达到Vf_t＝0.594，则视为用户想选择此选项。

本次实验中，此方法的预测准确率为78.4％。

Claims (1)

1.基于视觉决策的选择触法方法，其特征在于：

分为两个步骤，第一步基于用户的眼动模式与点击操作，采样规范化注视点与瞳孔直径信息，第二步视觉决策曲线拟合，并确定触发阈值；具体如下：

I、基于用户的眼动模式与鼠标点击，采样注视点与瞳孔直径信息；

在特定的人机界面中，通过眼动仪对用户浏览网页的眼动数据与点击操作进行记录，并通过规范化的数据采样来学习用户的视觉决策习惯；

I-i、让用户在界面中按自己的喜好随机进行选择操作，记录其眼动数据与点击流数据作为学习集合；

采集用户的眼动与点击流数据，稍作处理并根据需要将所有记录分为三类基本数据集，事件记录数据集E、注视信息数据集F＝{f₁，f₂，f₃，...，f_m}与点击流数据集C＝{c₁，c₂，c₃，...，c_n}，

本方法只需要利用页面开始(UrlStart)标记，将E用以记录所有页面开始时的时间戳E＝{t_u1，t_u2，t_u3，...，t_un}；

注视信息数据集F包含所有的注视信息，f_k是一个四元组(t_fk，d_lk，d_rk，item_fk)，t_fk为此次注视的时间戳；d_lk为左瞳孔直径；d_rk为右瞳孔直径；item_fk为所注视的选项，若注视点不在任何产品上，则标记为“NULL”；按照处理瞳孔直径的一般方法，用左右瞳孔直径的平均值代表瞳孔直径值，即算得d_fk＝(d_lk+d_rk)/2，将f_k简化为三元组(t_fk，d_fk，item_fk)，其中t_fk为此次注视的时间戳；d_fk为瞳孔直径；item_fk为所注视的选项；

点击流数据集C包含对点击时间与所点击选项的记录，c_i是一个二元组(t_ci，item_ci)，t_ci为点击时间戳，item_ci为所点击的产品，若点击位置不在任何产品上，则标记为“NULL”；

I-ii、计算用户平均决策时间与采样时长

将所有记录按时间戳逆序排列，然后计算从点击时间t_ci到用户每次开始进入界面的时间t_ui的差值，t_ci-t_ui即为用户的决策时间；为所有点击计算平均决策时间t_M及标准差std；假设共有n次点击，则：

$t_M=\frac{{\mathrm{\Σ}}_{i=1}^n(t_{\mathrm{ci}}-t_{\mathrm{ui}})}{n}$

$\mathrm{std}=\sqrt{\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n{[(t_{\mathrm{ci}}-t_{\mathrm{ui}})-t_M]}^2}$

平均决策时间t_M减去一倍标准差std即得到采样时长t_s：

t_S＝t_M-std

I-iii、对用户点击前时间t_s内的注视信息与瞳孔直径信息进行采样

保留决策时间长于采样时间的数据，其余数据由于决策时间过短视为不能构成有效采样集而抛弃，即若t_ci-t_ui＜t_s，则删除在时间t_ui到t_ci之间生成的所有数据；保留的数据中，每次点击c_i之后，一直到上一次点击c_i-1之间的注视数据集{f_i1，f_i2，...，f_in}，与c_i构成一个基本的采样单元：

s_i＝{f_i1，f_i2，f_i3，...，f_in，c_i}

从点击前最后一个注视记录开始，以采样间隔t_I对s_i采样50个点：

其中t_I＝t_s/50

得到新的基本采样单元：

s_i′＝{f_i1，f_i2，f_i3，...，f_i50，c_i}

假设共有m个基本采样单元，则由所有s_i′构成的采样数据集S′用m*51的矩阵表示为：

$S^{\′}=\left[\begin{array}{cccccc}{f}_{11}& f_{12}& f_{13}& ...& f_{150}& c_1\\ f_{21}& f_{22}& f_{23}& ...& f_{250}& c_2\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ f_{m-11}& f_{m-12}& f_{m-13}& ...& f_{m-150}& c_{m-1}\\ f_{m1}& f_{m2}& f_{m3}& ...& f_{m50}& c_m\end{array}\right]$

其中矩阵第51列为点击信息，前50列中的每列f_j为对所有有效数据，距离选择前最后一行注视记录t_I×0，t_I×1，…，t_I×(j-1)，…，t_I×49采样，得到的注视信息；

I-iv、采样注视信息；对用户的注视情况进行标记，得到由flag_ij＝{“0”，“1”，“Null”}组成的注视矩阵S_f；具体步骤为：

对比S′中每一行中f_ij的itemf_ij与c_i的item_ci，若item_fij＝“NULL”则表示用户的注视点没有停留在任何目标选项上，标记flag_ij＝“NULL”；在item_fij不为“NULL”的情况下，若item_fij＝item_ci，则表示此时用户的注视点停留在最终用户选择的选项上，标记flag_ij＝“1”；若item_fij≠item_ci，则表示此时用户的注视点停留在其他选项上，标记flag_ij＝“0”；

则所有f_ij对应的flag_ij构成了m×50的注视矩阵S_f；其中，m为基本采样单元的数目，50为采样点的数目，矩阵元素为“0”“1”“Null”三种组成，以下为一个注视矩阵：

$S_f=\left[\begin{array}{ccccc}0& 0& 1& ...& 0\\ \mathrm{Null}& 0& 0& ...& 1\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ 1& 1& 1& ...& 1\\ 0& \mathrm{Null}& 0& ...& 1\end{array}\right]$

I-V、采样瞳孔直径信息，得到瞳孔直径矩阵；提取S′中，每个f_ij的d_fij的值，假设有m个基本采样数据单元，则所有f_ij对应的d_fij构成了m×50的瞳孔直径矩阵S_d：

$S_d=\left[\begin{array}{ccccc}{d}_{f11}& d_{f12}& d_{f13}& ...& d_{f150}\\ d_{f21}& d_{f22}& d_{f23}& ...& d_{f250}\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ d_{\mathrm{fm}-11}& d_{\mathrm{fm}-12}& d_{\mathrm{fm}-13}& ...& d_{\mathrm{fm}-150}\\ d_{\mathrm{fm}1}& d_{\mathrm{fm}2}& d_{\mathrm{fm}3}& ...& d_{\mathrm{fm}50}\end{array}\right]$

I-VI、生成注视数组；

注视数组A_f中的元素Vf_j的值等于注视矩阵每列中“1”所占的比例，将注视矩阵S_f中各列的“1”累加，并除以基本采样单元的数目m，得到注视矩阵各列中“1”所占的比例，即：

${\mathrm{Vf}}_j=\frac{{\mathrm{\Σ}}_{i=1}^m{\mathrm{flag}}_{\mathrm{ij}}}{m}$

可知Vf_j为注视矩阵各列中“1”所占的比例，即距离选择时间t_I×0，t_I×1，…，t_I×(j-1)，…，t_I×49，所得到用户正在注视最终选择项的比例；所有50个Vf_j的集合构成的注视点数组A_f＝[Vf₁，Vf₂，…，V_fj，…，Vf₅₀]；

I-VII、生成瞳孔直径数组；

瞳孔直径数组中各元素Vd_j为瞳孔矩阵每列的平均值，即：

${\mathrm{Vd}}_j=\frac{{\mathrm{\Σ}}_{i=1}^m{d}_{\mathrm{ij}}}{m}$

所有50个Vd_j的集合构成瞳孔直径数组A_d＝[Vd₁，Vd₂，…，Vd_j，…，Vd₅₀]；由于实质上是在同一采样时间分别取注视信息与瞳孔直径信息，所以在注视数组与瞳孔直径数组中各对应的Vf_j与Vd_j的时间完全重合；

II、视觉决策曲线拟合与运用阶段

根据注视点数组与瞳孔直径数组生成拟合函数，并计算触发阈值；

II-i、横坐标为采样时间点，即t_I×(j-1)，纵坐标为最终选择项被注视的比例Vf_j对数组A_f＝[Vf₁，Vf₂，…，Vf_j，…，Vf₅₀]进行拟合，得到视觉决策注视拟合曲线；要求拟合度R²＞0.85，否则继续匹配其他曲线；

II-ii、横坐标为采样时间点，即t_I×(j-1)，纵坐标为平均瞳孔直径Vd_j，对数组A_d＝[Vd₁，Vd₂，…，Vd_j，…，Vd₅₀]进行拟合，得到视觉决策瞳孔拟合曲线；要求拟合度R²＞0.85，否则继续匹配其他曲线；

II-iii、计算注视比例阈值Vf_t与瞳孔直径阈值Vd_t；为避免数据中奇异点的影响，取Vd_e＝(Vd₁+Vd₂+Vd₃)/3，Vd_s＝(Vd₅₀+Vd₄₉+Vd₄₈)/3，瞳孔直径触发阈值Vd_t＝Vd_e-(Vd_e-Vd_s)×3/4；取Vf_e＝(Vf₁+Vf₂+Vf₃)/3；Vf_s＝(Vf₅₀+Vf₄₉+Vf₄₈)/3；注视比例触发阈值Vf_t＝Vf_e-(Vf_e-Vf_s)×1/2；

II-iv、基于双阈值的选择触发；若用户的瞳孔直径的值连续三个点大于或等于阈值Vd_t，则采样注视点信息，若在时间t_I×10内，用户对某选项的凝视比例达到Vf_t，则视为用户想选择此选项。

Images