CN108763394A - 面向协同交互的多用户眼动跟踪数据可视化方法和系统 - Google Patents

Abstract

面向协同交互的多用户眼动跟踪数据可视化方法，主要包括：(1)眼动跟踪数据计算；(2)眼动跟踪数据处理；(3)眼动跟踪数据记录；(4)眼动跟踪数据传输；(5)眼动跟踪数据可视化。本发明还提供了一种面向协同交互的多用户眼动跟踪数据可视化系统，主要包括依次连接并馈送数据的以下模块：(1)眼动跟踪数据计算模块；(2)眼动跟踪数据处理模块；(3)眼动跟踪数据记录模块；(4)眼动跟踪数据传输模块；(5)眼动跟踪数据可视化模块。

Description

面向协同交互的多用户眼动跟踪数据可视化方法和系统

技术领域

本发明涉及面向协同交互的多用户眼动跟踪数据可视化方法和系统。

背景技术

随着计算机支持的协同工作、社会计算等相关技术及应用的迅速发展,人机交互往往需在多用户协同环境下才能完成。在多人协同交互过程中,如何将多用户的视觉注意资源形成一个有机的协作体,通过共享机制让个人用户根据自身的目标、意图等,匹配其他用户的视觉注意资源,从而降低自身认知负荷,提高交互效率和主观体验,已经成为一个新的研究挑战。在文本、语音、手势等形式的交互方式无法准确表达交互语义的情况下,眼动跟踪数据及其可视化可以降低语义歧义性,提高多人协同交互质量水平与效率.在此背景下,本发明提出面向协同交互的多用户眼动跟踪数据可视化方法和系统，实时获取、计算和传输协同环境下不同用户的眼动跟踪数据,并通过分析与可视化眼动跟踪数据,实现多用户协同交互过程中视觉注意行为和交互意图的协同感知；并在此基础上设计了相应系统的架构和各模块。

发明内容

本发明提供了一种面向协同交互的多用户眼动跟踪数据可视化方法，主要包括如下步骤：

(1)眼动跟踪数据计算；

(2)眼动跟踪数据处理；

(3)眼动跟踪数据记录；

(4)眼动跟踪数据传输；

(5)眼动跟踪数据可视化。

本发明还提供了一种面向协同交互的多用户眼动跟踪数据可视化系统，包括依次连接并馈送数据的以下模块：

(1)眼动跟踪数据计算模块；

(2)眼动跟踪数据处理模块；

(3)眼动跟踪数据记录模块；

(4)眼动跟踪数据传输模块；

(5)眼动跟踪数据视化模块。

本发明的优点在于：同步记录和实时传输多用户的眼动跟踪数据，实现了多用户眼动跟踪数据的集聚和分发，进而针对视觉注意行为中的联合注意机制，设计合适的眼动跟踪数据可视化形式，在多用户之间实现眼动数据的可视化共享，有效增强信息传递，降低视觉干扰，使多用户之间提高了视觉行为的协同感知水平，提高了协同交互效率。

附图说明

图1是本发明方法的流程示意图。

图2是本发明方法的眼动跟踪数据包结构示意图。

图3是本发明方法的命令代码示意图。

图4a～图4b是本发明方法的眼动跟踪数据可视化示意图，其中图4a表示用户A界面，显示用户B的眼动跟踪数据可视化；图4b表示用户B界面，显示用户A的眼动跟踪数据可视化。

图5是本发明的系统的基本逻辑结构示意图。

具体实施方式

下面将结合附图，对本发明一种面向协同交互的多用户眼动跟踪数据可视化方法行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，不能理解为对本发明的限制。

参阅图1，本发明实施例提供的一种面向协同交互的多用户眼动跟踪数据可视化方法流程示意图，对其中的步骤进行具体描述：

(1)眼动跟踪数据计算；

利用带有红外光的摄像装置拍摄人眼图像，并对人眼图像进行二值化处理，然后用高斯核函数进行滤波，去除人眼图像中的噪声。进一步对人眼图像进行特征提取，得到人眼瞳孔中心和红外光反射光斑(也称普尔钦斑)的中心，并计算两者构成的向量，最后进行标定过程，建立向量与显示屏幕注视点之间的映射关系，进一步通过拟合计算得到其他眼动跟踪注视点坐标。

(2)眼动跟踪数据处理；

为了保证眼动跟踪注视点数据的有效性，需要剔除无效的眼动跟踪注视点。具体的眼动跟踪数据处理过程如下：设置阀值r1为显示屏幕分辨率的宽，r2为显示屏幕分辨率的长。当眼动跟踪注视点的横坐标x的值小于r1且其纵坐标y的值小于r2时，判断该注视点位于显示屏幕内，该注视点数据予以保留；否则，判断该注视点不在显示屏幕上，该注视点数据予以舍弃。

(3)眼动跟踪数据记录；

在眼动跟踪数据存储单元，为每个用户建立一个存储队列，用于记录该用户的眼动跟踪数据。具体的眼动跟踪数据记录过程如下：设置变量z(例如，可以设定z＝100)用来表示队列的最大容量，设置变量s(初例如，可以设定初始s＝0)用来表示当前队列的眼动跟踪注视点个数；当眼动跟踪注视点数据存入队列时，s＝s+1，且当s＝z时，可以把队列中的眼动跟踪注视点数据记录到外部存储单元，用作后续分析使用，此时设s＝0，并把队列中的眼动跟踪注视点数据清空。然后开始下一循环的眼动跟踪数据记录过程。

(4)眼动跟踪数据传输；

每个用户的眼动跟踪数据通过中转机制先进行集中，再分发给协同交互的相关用户。眼动跟踪数据在传输之前，需要封装进具有一定结构的数据包发。数据包的结构如图2所示，由一个数据头、若干个数据块和校验位组成。数据头包括命令代码、数据类型、数据块大小和数据总长度，其中，命令代码描述该数据包的作用，命令代码的具体作用和内容如图3所示；数据类型描述数据内容的数据格式；数据块大小描述每个数据块的容量大小；数据总长度描述数据内容的容量大小。数据块存储眼动跟踪注视点坐标。校验位是为了确保数据包的完整性和准确性，如果校验位预设数值和眼动跟踪数据传输之后接收到的数值不一样，则说明数据传输过程中出现错误，当前传输的数据予以舍弃，并请求再次传输。

(5)眼动跟踪数据可视化；

当用户有意识的在观察显示屏幕时，其眼动跟踪注视点在显示屏幕上一个相同区域，停留一定时间以上(例如，可设为100毫秒)，则定义该区域为视觉感兴趣区(下文简写为AOI)。在多个用户(例如，可以设定为2个用户)进行协同交互的应用场景下，用户A和用户B在各自的显示屏幕上可以看到对方的眼动跟踪数据可视化形式，及其相对应的视觉感兴趣区，如图4所示。以下具体提出4种眼动跟踪数据可视化形式：

A.注视点实时显示；

使用圆点作为用户眼动跟踪注视点的表现形式，可视化效果如图4a所示，图中带颜色(例如，可设为红色)的小圆点表示当前另一个用户的眼动跟踪注视点，小圆点的位置以一定的频率(例如，可以设为20次/秒)进行实时更新，从而具体表示另一个用户在当前视觉感兴趣区的注视点位置变化情况。

B.视觉感兴趣区边框；

当用户眼动跟踪注视点停留在某个AOI时，该AOI会出现有颜色(例如，可设定为红色)的边框。设定当前AOI边框的宽度W＝10*(FC/FCS)，其中，FC为用户在当前AOI的注视点个数，FCS为用户在当前显示屏幕上所有AOI已产生的注视点数目。W以像素为单位，并以一定的频率(例如，可以设定为1次/秒)进行更新，当用户对某一个AOI观察的时间越长，产生的注视点越多，边框就逐渐变宽，从而说明该用户对该AOI的视觉关注程度较高，并将这一信息告知给其他用户，例如，图4a中AOI1的边框较宽，用户A因此可以知道用户B对这一视觉感兴趣区的关注程度较高。

C.视觉感兴趣区背景灰度；

由于用户会对某个比较重要或难以理解的AOI内的信息进行多次查看，因此用该AOI的背景灰度表示查看次数。设定当前AOI的背景灰度G＝255-5*N，其中N为用户截止当前时刻查看该AOI的次数，G以灰度值为单位(G的取值范围为0-255，初始值为0；当G小于0时，令G＝0)，并以一定的频率(例如，可以设定为1次/秒)进行更新，当用户对某一个AOI观察的次数越多，背景灰度值逐渐降低，灰度逐渐加深，从而说明该用户对该AOI的关注次数较多，并将这一信息告知给其他用户，例如，图4a中AOI3的背景灰度较深，用户A因此可以知道用户B对这一视觉感兴趣区的关注次数较多。

D.多个视觉感兴趣区之间连线；

当用户视线在不同AOI之间切换时，用连线表示用户眼动跟踪注视点在两个AOI之间的转移频次。例如，用户B的眼动跟踪注视点在AOI2与AOI4存在转移时，会在用户A界面上的AOI2和AOI4区域绘制一条连接，如图4a中的连线2。进一步，连线的宽度表示用户在不同AOI之间的转移频次。设定当前连线的宽度LW＝1*LN，LN为用户在当前两个AOI之间的转移频次，LW以像素为单位，并以一定的频率(例如，可以设定为1次/秒)进行更新，因此，当转移频次逐渐变高，连线也就逐渐变粗。此外，用不同颜色的连线表示不同AOI之间的眼动跟踪注视点转移情况，如图4a中的连线1和连线2，图4b中的连线3，具有不同的颜色。

如图5所示，本文发明实施例提供的一种面向协同交互的多用户眼动跟踪数据可视化系统的基本逻辑结构示意图。为了便于说明，仅仅示出了与本发明实施例相关的部分。该系统中功能模块/单元可以是硬件模块/单元、软件模块/单元，主要包括依次连接并馈送数据的以下模块:

(1)眼动跟踪数据计算模块，提取人眼图像中的瞳孔和普尔钦斑,计算瞳孔和普尔钦斑中心坐标，然后以瞳孔中心和普尔钦斑中心建立瞳孔-角膜反射向量，进而建立眼动跟踪映射模型，计算眼动跟踪注视点在显示屏幕上的坐标；

(2)眼动跟踪数据处理模块，对原始眼动跟踪数据进行预处理，剔除无效的眼动跟踪数据，例如，坐标超出显示屏幕之外的注视点；

(3)眼动跟踪数据记录模块，通过建立一定的数据结构，如队列，存储眼动跟踪数据，并进一步将超过内部存储容量的数据转移到外部存储单元或设备；

(4)眼动跟踪数据传输模块，通过建立用户终端-服务器的架构进行传输，每个用户的眼动跟踪数据由终端发出，然后通过服务器实现不同用户眼动跟踪数据的集中和分发。例如，可以将用户的眼动跟踪数据封装进相应的数据包发送到服务器；而服务器也可以将其他用户的眼动跟踪数据封装进相应的数据包发送给一个指定的用户。

(5)眼动跟踪数据可视化模块，通过服务器在不同的用户之间共享眼动跟踪数据之后，在用户终端的显示屏幕上，以不同的可视化形式展现其他用户的眼动跟踪数据，具体可视化形式包括注视点实时显示、视觉感兴趣区边框、视觉感兴趣区背景灰度、多个视觉感兴趣区之间连线。

本发明实施例中各个模块可以集成于一体，也可以分离部署,或进一步拆分成多个子模块。各个模块可以按照实施例描述分布于实施例的系统中，也可以进行相应变化位于不同于本发明实施例的一个或多个系统中。

本领域的技术人员应该明白，本发明实施例可提供成为方法、系统、或计算机程序产品。

本发明实施例的各模块或各步骤可以用通用的计算装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。因此，本发明实施例不限制于任何特定的硬件和软件结合。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (2)

1.面向协同交互的多用户眼动跟踪数据可视化方法，包括如下步骤：

(1)眼动跟踪数据计算；

利用带有红外光的摄像装置拍摄人眼图像，并对人眼图像进行二值化处理，然后用高斯核函数进行滤波，去除人眼图像中的噪声；进一步对人眼图像进行特征提取，得到人眼瞳孔中心和红外光反射光斑的中心，并计算两者构成的向量，最后进行标定过程，建立向量与显示屏幕注视点之间的映射关系，进一步通过拟合计算得到其他眼动跟踪注视点坐标；

(2)眼动跟踪数据处理；

为了保证眼动跟踪注视点数据的有效性，需要剔除无效的眼动跟踪注视点；具体的眼动跟踪数据处理过程如下：设置阀值r1为显示屏幕分辨率的宽，r2为显示屏幕分辨率的长；当眼动跟踪注视点的横坐标x的值小于r1且其纵坐标y的值小于r2时，判断该注视点位于显示屏幕内，该注视点数据予以保留；否则，判断该注视点不在显示屏幕上，该注视点数据予以舍弃；

(3)眼动跟踪数据记录；

在眼动跟踪数据存储单元，为每个用户建立一个存储队列，用于记录该用户的眼动跟踪数据；具体的眼动跟踪数据记录过程如下：设置变量z用来表示队列的最大容量，设置变量s用来表示当前队列的眼动跟踪注视点个数；当眼动跟踪注视点数据存入队列时，s＝s+1，且当s＝z时，可以把队列中的眼动跟踪注视点数据记录到外部存储单元，用作后续分析使用，此时设s＝0，并把队列中的眼动跟踪注视点数据清空；然后开始下一循环的眼动跟踪数据记录过程；

(4)眼动跟踪数据传输；

每个用户的眼动跟踪数据通过中转机制先进行集中，再分发给协同交互的相关用户；眼动跟踪数据在传输之前，需要封装进具有一定结构的数据包发；数据包的结构由一个数据头、若干个数据块和校验位组成；数据头包括命令代码、数据类型、数据块大小和数据总长度，其中，命令代码描述该数据包的作用；数据类型描述数据内容的数据格式；数据块大小描述每个数据块的容量大小；数据总长度描述数据内容的容量大小；数据块存储眼动跟踪注视点坐标；校验位是为了确保数据包的完整性和准确性，如果校验位预设数值和眼动跟踪数据传输之后接收到的数值不一样，则说明数据传输过程中出现错误，当前传输的数据予以舍弃，并请求再次传输；

(5)眼动跟踪数据可视化；

当用户有意识的在观察显示屏幕时，其眼动跟踪注视点在显示屏幕上一个相同区域，停留一定时间以上，则定义该区域为视觉感兴趣区AOI；在多个用户进行协同交互的应用场景下，用户A和用户B在各自的显示屏幕上可以看到对方的眼动跟踪数据可视化形式，及其相对应的视觉感兴趣区；以下具体提出4种眼动跟踪数据可视化形式：

A.注视点实时显示；

使用圆点作为用户眼动跟踪注视点的表现形式，带颜色小圆点表示当前另一个用户的眼动跟踪注视点，小圆点的位置以预定的频率进行实时更新，从而具体表示另一个用户在当前视觉感兴趣区的注视点位置变化情况；

B.视觉感兴趣区边框；

当用户眼动跟踪注视点停留在某个AOI时，该AOI会出现有颜色的边框；设定当前AOI边框的宽度W＝10*(FC/FCS)，其中，FC为用户在当前AOI的注视点个数，FCS为用户在当前显示屏幕上所有AOI已产生的注视点数目；W以像素为单位，并以一定的频率进行更新，当用户对某一个AOI观察的时间越长，产生的注视点越多，边框就逐渐变宽，从而说明该用户对该AOI的视觉关注程度较高，并将这一信息告知给其他用户；

C.视觉感兴趣区背景灰度；

由于用户会对某个比较重要或难以理解的AOI内的信息进行多次查看，因此用该AOI的背景灰度表示查看次数；设定当前AOI的背景灰度G＝255-5*N，其中N为用户截止当前时刻查看该AOI的次数，G以灰度值为单位，G的取值范围为0-255，初始值为0；当G小于0时，令G＝0，并以预定的频率进行更新，当用户对某一个AOI观察的次数越多，背景灰度值逐渐降低，灰度逐渐加深，从而说明该用户对该AOI的关注次数较多，并将这一信息告知给其他用户；

D.多个视觉感兴趣区之间连线；

当用户视线在不同AOI之间切换时，用连线表示用户眼动跟踪注视点在两个AOI之间的转移频次；进一步，连线的宽度表示用户在不同AOI之间的转移频次；设定当前连线的宽度LW＝1*LN，LN为用户在当前两个AOI之间的转移频次，LW以像素为单位，并以预定的频率进行更新，因此，当转移频次逐渐变高，连线也就逐渐变粗；此外，用不同颜色的连线表示不同AOI之间的眼动跟踪注视点转移情况。

2.实施如权利要求1所述的面向协同交互的多用户眼动跟踪数据可视化方法的系统，其特征在于：包括依次连接并馈送数据的眼动跟踪数据计算模块、眼动跟踪数据处理模块、眼动跟踪数据记录模块、眼动跟踪数据传输模块、眼动跟踪数据可视化模块：

(1)眼动跟踪数据计算模块，提取人眼图像中的瞳孔和普尔钦斑,计算瞳孔和普尔钦斑中心坐标，然后以瞳孔中心和普尔钦斑中心建立瞳孔-角膜反射向量，进而建立眼动跟踪映射模型，计算眼动跟踪注视点在显示屏幕上的坐标；

(2)眼动跟踪数据处理模块，对原始眼动跟踪数据进行预处理，剔除无效的眼动跟踪数据，例如，坐标超出显示屏幕之外的注视点；

(3)眼动跟踪数据记录模块，通过建立一定的数据结构，如队列，存储眼动跟踪数据，并进一步将超过内部存储容量的数据转移到外部存储单元或设备；

(4)眼动跟踪数据传输模块，通过建立用户终端-服务器的架构进行传输，每个用户的眼动跟踪数据由终端发出，然后通过服务器实现不同用户眼动跟踪数据的集中和分发；而服务器也可以将其他用户的眼动跟踪数据封装进相应的数据包发送给一个指定的用户；

(5)眼动跟踪数据可视化模块，通过服务器在不同的用户之间共享眼动跟踪数据之后，在用户终端的显示屏幕上，以不同的可视化形式展现其他用户的眼动跟踪数据，具体可视化形式包括注视点实时显示、视觉感兴趣区边框、视觉感兴趣区背景灰度、多个视觉感兴趣区之间连线。