CN106155308A - 一种基于回忆和标注的眼动跟踪方法和系统 - Google Patents

Abstract

一种基于回忆和标注的眼动跟踪方法，包括：(1)定义用户进行回忆和标注的方式，设置相应的任务；(2)在显示屏上呈现任务说明，向用户发布任务；(3)在显示屏上呈现图像刺激源；(4)用户根据任务要求，观察显示屏上的图像刺激源；(5)用户根据任务要求，回忆任务执行过程中所产生的注视点，在显示屏上标注注视点的坐标位置及先后顺序；如果进入训练模式，转到步骤(6)；如果进入正式模式，则转到步骤(8)；(6)训练模式呈现给用户的图像刺激源，在正式模式中不会再呈现给用户；(7)评价用户的训练绩效；(8)用户进入正式测试模式时，记录和保存用户标注的注视点位置及其先后顺序数据。还包括使用本发明方法的系统。

Description

一种基于回忆和标注的眼动跟踪方法和系统

技术领域

本发明涉及人机交互、视觉认知、社会计算等领域，具体涉及一种基于回忆与标注的眼动跟踪方法和系统。

背景技术

目前许多科学研究和商业应用中，例如心理学、广告设计、人类工效学等方面，人们需要研究用户在观察事物时的眼动行为，例如注视点位置与运动轨迹，用以进一步分析视觉注意力的时空分布情况。

现有方法主要采用光学式眼动跟踪方法来获取注视点等眼动数据，其主要过程是使用摄像装置拍摄人眼图像，运用图像处理的方法提取眼部图像相关特征，进而建立眼部图像特征与眼动行为之间的映射关系，最终通过计算得到注视点坐标等具体数据。例如专利CN201010033780.1公开了一种使用单个摄像头、单光源获取用户注视点数据的方法和系统。

但是这类方法主要存在以下缺陷：第一，眼动跟踪系统结构复杂、软硬件成本高，难以推广。第二，眼动跟踪系统使用过程复杂，用户必须在专业技术人员的指导下进行，并且在采集数据前，用户需要执行数据标定过程，而在数据采集过程中，用户还需要尽量减少头部运动。第三，眼动跟踪系统的数据采集效率低，一个眼动跟踪系统每次同时只能采集一位用户的眼动数据，在加上使用过程复杂，无法在较短时间内采集到大量、有效的眼动数据。

发明内容

本发明提供了一种基于回忆和标注的眼动跟踪方法和系统，通过引导用户回忆、标注眼动行为，有效记录注视点坐标等眼动数据，克服了传统眼动跟踪方法的不足，具有成本低、使用方便、数据采集效率高等特点。

一种基于回忆和标注的眼动跟踪方法，包括如下步骤：

(1)定义用户进行回忆和标注的方式，设置相应的任务。所述回忆和标注的方式有三种。方式一，用户观察图像刺激源，然后隐藏图像刺激源，用户回忆在观察前述图像刺激源时产生的第一个注视点的位置，并通过单击鼠标左键在显示屏上将其位置标注出来；方式二，用户观察图像刺激源，然后隐藏图像刺激源，用户回忆在观察前述图像刺激源时产生的最后一个注视点的位置，然后通过单击鼠标左键在显示屏上将其位置标注出来；方式三，用户观察图像刺激源，然后隐藏图像刺激源，用户回忆在观察前述图像刺激源时产生的多个注视点位置及其先后顺序，然后通过单击鼠标左键，在显示屏上将其位置依次标注出来。所述任务包括三种，分别对应于前述的三种方式，即任务一、任务二和任务三。

(2)在显示屏上呈现任务说明，向用户发布任务。通过文字和配图方式，向用户描述任务的具体执行过程。

(3)在显示屏上呈现图像刺激源。

(4)用户根据任务要求，观察显示屏上的图像刺激源。结束显示后，隐藏图像刺激源。

(5)用户根据任务要求，回忆任务执行过程中所产生的注视点，在显示屏上标注注视点的坐标位置及先后顺序。如果进入训练模式，转到步骤(6)；如果进入正式模式，则转到步骤(8)。

(6)用户进入训练模式时，目的是熟悉任务执行过程，提高回忆与标注的完成效率、质量。此时，用户标注的数据被暂时记录，但不作为最终数据加以记录和保存。训练模式呈现给用户的图像刺激源，在正式模式中不会再呈现给用户。

(7)评价用户的训练绩效。用户通过训练之后，评价训练绩效。如果用户可以不在实验人员协助下，独立执行各种任务，在任务执行过程中不存在较大的停顿时间，且能准确的回忆和标注注视点及其先后顺序，则认为用户已经具有较好的绩效。重复步骤(1)-(7)，直到用户具有前述的较好绩效。

(8)用户进入正式测试模式时，记录和保存用户标注的注视点位置及其先后顺序数据。

本发明还提供了一种使用本发明方法的系统，包括以下模块：

任务设置模块，用于添加、修改、删除任务实例；所述任务实例是指每一个可供用户执行的任务过程。

任务执行模块，用于显示任务说明、显示和隐藏图像刺激源，引导用户完成回忆和标注操作。

数据记录模块，用于记录用户标注的注视点位置及其先后顺序数据。

数据管理模块，用于保存、查看、删除、输出上述眼动数据。

本发明的优点是：(1)不需要依靠其他设备，例如摄像设备，就能采集眼动数据；(2)不同于传统的眼动跟踪设备需要进行复杂的标定操作，本发明中，用户操作简单，只需要简单的鼠标点击操作；(3)不同于传统的眼动跟踪设备，要求用户与计算机屏幕保持一定的距离，头部保持静止，眼睛正视计算机屏幕，本发明不要求用户保持特定的姿势，用户舒适程度高；(4)眼动数据采集效率高；(5)眼动数据采集精度高；(6)经济成本低。

附图说明

图1为本发明方法的基本流程示意图；

图2为本发明中过渡型图像刺激源和测试型图像刺激源的设置示意图；

图3为本发明中计算测试型图像刺激源中视觉显著对象与网格图像上标注的注视点距离计算示意图；

图4为本发明基于回忆和标注的眼动跟踪系统的基本逻辑结构示意图。

具体实施方式

下面将结合附图，对本发明一种基于回忆和标注的眼动跟踪方法和系统进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明实施例提供的一种基于回忆和标注的眼动跟踪方法基本流程示意图，主要包括步骤：

(1)定义用户进行回忆和标注的方式，设置相应的任务。所述回忆和标注的方式有三种。方式一，用户观察图像刺激源，然后隐藏图像刺激源，用户回忆在观察前述图像刺激源时产生的第一个注视点的位置，并通过单击鼠标左键在显示屏上将其位置标注出来；方式二，用户观察图像刺激源，然后隐藏图像刺激源，用户回忆在观察前述图像刺激源时产生的最后一个注视点的位置，然后通过单击鼠标左键在显示屏上将其位置标注出来；方式三，用户观察图像刺激源，然后隐藏图像刺激源，用户回忆在观察前述图像刺激源时产生的多个注视点位置及其先后顺序，然后通过单击鼠标左键，在显示屏上将其位置依次标注出来。所述任务包括三种，分别对应于前述的三种方式，即任务一、任务二和任务三。

(2)在显示屏上呈现任务说明，向用户发布任务。通过文字和配图方式，向用户描述任务的具体要求、需要执行的操作步骤、过程与注意事项等。

(3)在显示屏上显示图像刺激源。图像刺激源分为两类，包括过渡型图像刺激源和测试型图像刺激源。这两类图像刺激源将依次在显示屏上显示。具体的，如图2所示，过渡型图像刺激源是灰色填充的图像，其大小将覆盖整个显示屏，并且在该图像的顶点位置显示一个黑色实心圆，该实心圆将随机出现在该图像四个顶点中的某个顶点上。当前一个测试型图像刺激源显示结束后，由于视觉暂留现象导致用户的注视点位置还停留在屏幕上与之前测试型图像刺激源相对应的某个位置，所以该位置就可能成为用户在观察下一个测试型图像刺激源的注视点起始位置。因此，为了消除该影响，利用过渡型图像刺激源将用户在结束观察前一个测试型图像刺激源后的注视点吸引到上述黑色实心圆位置附近，而由于该黑色实心圆位置随机出现在屏幕四个顶点位置之一，在测试型图像刺激源显示区域之外，所以不会对用户观察下一个测试型图像刺激源时产生影响。此外，定义过渡型图像刺激源的显示时长为TT(可以设定，例如为1秒)。然后，显示屏上隐藏过渡型图像刺激源，开始显示测试型图像刺激源。测试型图像刺激源是事先选取的，用于获取用户在这些图像上眼动数据的图像。测试型图像刺激源的面积小于过渡型图像刺激源面积，而且这两者的几何中心重合。定义测试型图像刺激源的显示时长为TA(可以设定，例如为1秒)。

(4)用户根据任务要求，观察显示屏上的图像刺激源。过渡型图像刺激源和测试型图像刺激源分别在TT、TA时间后结束显示，在显示屏上隐藏。

(5)用户根据任务要求，回忆任务执行过程中所产生的注视点。此时显示屏上显示一个网格图像，共有M×N个方格(可以设定，例如M＝N＝10)，每个方格的大小为g×g像素(可以设定，例如g＝15像素)。该网格图像的面积与测试型图像刺激源的面积相等。网格为用户提供视觉线索，使其能准确的回忆和标注注视点位置。根据回忆，用户用鼠标在网格图像上相应网格中单击鼠标左键，标注所回忆的注视点位置。如果需要回忆多个注视点，则用户根据回忆的顺序，依次用鼠标在网格图像上相应网格中单击鼠标左键，标注多个注视点。如果进入训练模式，执行下一步骤(7)；如果进入正式测试模式，则转到步骤(8)。

(6)用户进入训练模式。训练的目的是熟悉任务执行过程，提高回忆和标注的完成效率和准确性。此时，用户标注的数据被暂时记录，但不作为最终数据加以记录和保存。训练模式呈现给用户的测试型图像刺激源，在正式测试模式中不会再呈现给用户观察。

(7)评价用户的训练绩效。用户完成训练之后，评价训练绩效。如果用户可以不在实验人员协助下，独立执行各种任务，进行注视点回忆和标注所需的时长不存在明显超时；同时，能准确的回忆和标注注视点位置及其先后顺序，则认为用户已经具有较好的绩效。具体的，如图3所示，将步骤(3)中测试型图像刺激源中预先设置的视觉显著对象的几何中心点定义为MO；用户在步骤(5)中针对该测试型图像刺激源进行注视点回忆后，将用户用鼠标点击网格图像中相应网格的几何中心点定义为点MP，计算点MO和点MP的几何距离，设为D。如果D小于设定的阈值Kd(可以设定，例如Kd＝50像素)，则认为用户能准确的回忆和标注注视点。此外，记录从显示屏显示网格图像，到用户对单个测试型图像刺激源完成所有注视点标注的时间，定义为TM。如果TM小于设定的阈值Kt(可以设定，例如Kt＝30秒)，则认为用户能顺利的完成回忆与标注任务，不存在明显超时。当用户在训练模式下，针对具体的任务要求，对观察的测试型图像刺激源进行注视点回忆和标注时，能同时满足D<Kd和TM<Kt，则认为用户在训练模式下已经具有较好的绩效，可以进入下一步骤(8)开始正式测试。否则，继续执行步骤(7)，直到用户的绩效满足前述要求。

(8)用户进入正式测试模式。记录和保存用户标注的注视点位置及其先后顺序数据。具体的，当用户执行步骤(1)的任务一和任务二时，用户只回忆和标注一个注视点，此时记录用户用鼠标点击网格图像中相应网格的几何中心点C，定义其坐标为(x,y)。当用户执行(1)中的任务三时，用户需要回忆和标注多个注视点，此时需要记录用户使用鼠标在显示屏上点击的每一个点C_i(i＝1,2,…,n)的坐标(x_i,y_i)，具体的，用户在T_i时刻点击的点记为C_i,在T_i+1时刻点击的点记为C_i+1，此时满足T_i+1>T_i。

如图4所示，用于本发明方法的系统的实施例提供的一种基于回忆和标注的眼动跟踪系统基本逻辑结构示意图。为了便于说明，仅仅示出了与本发明实施例相关的部分。该系统中功能模块/单元可以是硬件模块/单元、软件模块/，包括:

任务设置模块，用于添加、修改、删除任务实例；所述任务实例是指每一个可供用户执行的任务过程。具体的，在添加一个任务实例时，可以添加任务说明、过渡型图像刺激源和测试型图像刺激源、网格图像，并对单个过渡型图像刺激源和测试型图像刺激源的显示时长进行设置。类似的，可以对一个任务实例进行修改，即修改任务说明、过渡型图像刺激源和测试型图像刺激源、网格图像，单个过渡型图像刺激源和测试型图像刺激源的显示时长进行修改。可以对一个任务实例进行删除，使其不在系统中存在。

任务执行模块，用于显示任务说明、单个过渡型图像刺激源和测试型图像刺激源、网格图像，引导、支持用户完成回忆和标注操作。具体的，当一个任务实例执行时，显示屏上依次显示任务说明、过渡型图像刺激源和测试型图像刺激源，最后显示网格图像，引导用户完成注视点的回忆和标注。如存在多个任务实例，则任务执行模块将循环前述工作，直到所有任务实例执行完毕。

数据记录模块，用于记录用户回忆和标注的眼动数据。具体的，在训练模式，每个任务实例中的用户标注的眼动数据被临时存储单元暂时保存，然后用于步骤(7)中评价用户的训练绩效，待训练绩效评价完成后，数据被存储单元删除。在正式测试模式，每个任务实例中用户标注的眼动数据被临时存储单元暂时保存，直到所有任务实例执行结束以后，数据才保存到长期存储单元(例如数据库)保存。

数据管理模块，用于查看、删除、输出眼动数据。具体的，可以根据任务实例执行的不同用户、任务执行的启始时刻来索引眼动数据，显示于显示屏上供用户查看。可以选择删除不同用户、不同任务实例的眼动数据进行删除，删除后，眼动数据不再保存于前述的长期存储单元中。可以将眼动数据从前述的长期存储单元中输出到外部文件、外部存储器中做进一步处理。

本发明实施例中各个模块可以集成于一体，也可以分离部署,或进一步拆分成多个子模块。各个模块可以按照实施例描述分布于实施例的系统中，也可以进行相应变化位于不同于本发明实施例的一个或多个系统中。

本领域的技术人员应该明白，本发明实施例可提供成为方法、系统、或计算机程序产品。

本发明实施例的各模块或各步骤可以用通用的计算装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。因此，本发明实施例不限制于任何特定的硬件和软件结合。

以上公开的仅为本发明的具体实施例，但是本发明并非局限于此，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。显然这些改动和变型均应属于本发明要求的保护范围保护内。

Claims (2)

1.一种基于回忆和标注的眼动跟踪方法，包括如下步骤：

(1)定义用户进行回忆和标注的方式，设置相应的任务；所述回忆和标注的方式有三种；方式一，用户观察图像刺激源，然后隐藏图像刺激源，用户回忆在观察前述图像刺激源时产生的第一个注视点的位置，并通过单击鼠标左键在显示屏上将其位置标注出来；方式二，用户观察图像刺激源，然后隐藏图像刺激源，用户回忆在观察前述图像刺激源时产生的最后一个注视点的位置，然后通过单击鼠标左键在显示屏上将其位置标注出来；方式三，用户观察图像刺激源，然后隐藏图像刺激源，用户回忆在观察前述图像刺激源时产生的多个注视点位置及其先后顺序，然后通过单击鼠标左键，在显示屏上将其位置依次标注出来；所述任务包括三种，分别对应于前述的三种方式，即任务一、任务二和任务三；

(2)在显示屏上呈现任务说明，向用户发布任务；通过文字和配图方式，向用户描述任务的具体执行过程；

(3)在显示屏上呈现图像刺激源；

(4)用户根据任务要求，观察显示屏上的图像刺激源；结束显示后，隐藏图像刺激源；

(5)用户根据任务要求，回忆任务执行过程中所产生的注视点，在显示屏上标注注视点的坐标位置及先后顺序；如果进入训练模式，转到步骤(6)；如果进入正式模式，则转到步骤(8)；

(6)用户进入训练模式时，目的是熟悉任务执行过程，提高回忆与标注的完成效率、质量；此时，用户标注的数据被暂时记录，但不作为最终数据加以记录和保存；训练模式呈现给用户的图像刺激源，在正式模式中不会再呈现给用户；

(7)评价用户的训练绩效；用户通过训练之后，评价训练绩效；如果用户可以不在实验人员协助下，独立执行各种任务，在任务执行过程中不存在较大的停顿时间，且能准确的回忆和标注注视点及其先后顺序，则认为用户已经具有较好的绩效；重复步骤(1)-(7)，直到用户具有前述的较好绩效；

(8)用户进入正式测试模式时，记录和保存用户标注的注视点位置及其先后顺序数据。

2.用于权利要求1所述的一种基于回忆和标注的眼动跟踪方法的系统，其特征在于：包括以下模块：

任务设置模块，用于添加、修改、删除任务实例；所述任务实例是指每一个可供用户执行的任务过程；

任务执行模块，用于显示任务说明、显示和隐藏图像刺激源，引导用户完成回忆和标注操作；

数据记录模块，用于记录用户标注的注视点位置及其先后顺序数据；

数据管理模块，用于保存、查看、删除、输出上述眼动数据。