CN111880663A - 一种应用于交互式地图的眼动控制方法及装置 - Google Patents

Abstract

本发明涉及一种应用于交互式地图的眼动控制方法及装置，其中方法包括：获取用户对交互面图层的注视点信息，所述交互面图层包括交互面要素图层和交互面控件图层，所述交互面要素图层包括一个或多个面要素，所述交互面控件图层包括一个或多个眼控控件；基于交互面图层的空间索引和所述获取的注视点信息，确定用户注视的对象；触发所述确定的对象对应的交互功能。本发明实施例提出的应用于交互式地图的眼动控制方法及装置，通过眼动跟踪技术可以进行实时的交互式浏览，方便人们在手受限时用眼睛与屏幕上的地图等交互面图层进行交互。

Description

一种应用于交互式地图的眼动控制方法及装置

技术领域

本发明属于交互控制技术领域，具体涉及一种应用于交互式地图的眼动控制方法及装置。

背景技术

自20世纪80年代末以来，计算机技术与图像学的结合促使传统静态图像开始向动态、可交互的图像发展。例如，人们现在的工作生活已经非常依赖交互式地图，地图交互方式也不再局限于鼠标键盘操作，出现了基于触控笔、触摸屏、手势动作以及语音的地图交互方式。但是，在一些场景中，人们仍不便于用手操作地图，例如开车或骑行，操作远距离或超大屏幕上显示的地图，以及双手受限的残疾人使用地图等。

近年来眼动跟踪技术日趋成熟，眼动仪的出现使得视觉成为图像交互的又一重要途径，能够让交互式地图应用面向更多场景和更多用户群。

利用眼动控制进行图像交互相较于其他交互方式有其独特的优势。一方面，由于用户在图像上进行触控前就已经看到想要触控的位置，所以通过眼动仪进行眼动输入速度更快；另一方面，通过眼动仪可以实时获取用户正在关注的位置，并发送给计算机。此外，视觉观察是人体的基本能力，无需对用户进行专门培训，并且眼动数据中的用户心理状态和关注兴趣等隐含信息会增加交互的可靠性及便利性，更容易实现非精确的、隐含的交互。

虽然眼控图像交互有着上述明显的优势，但也存在一些问题。例如，用户无法时刻准确的控制眼睛的注视位置，即时在持续注视某个位置时眼球也在不断的轻微运动，可能导致计算机识别错误；眼球不能向鼠标那样随时操作和停止，眼球始终处于运动状态，所以需要对眼动仪数据进行处理，才能真实表达用户意图；眼动仪本身的稳定性和精确度不如手动输入设备。因此，在实现眼控图像交互时需要充分考虑眼动输入的特点，发挥其快速灵敏、操作简便的优势，最大限度解决眼动数据不精确带来的交互问题。

目前，眼动跟踪技术在图像领域，尤其是地图学领域主要用于研究图像中的各要素对读图者认知的影响，以及例如评价地图可用性以及研究地理空间认知过程，还没有将眼动跟踪技术用于实时的交互式地图浏览。

发明内容

为了解决上述没有将眼动跟踪技术用于实时的交互式地图浏览的技术问题，本发明实施例提出了一种应用于交互式地图的眼动控制方法及装置。

本发明提出的一种应用于交互式地图的眼动控制方法，包括：

获取用户对交互面图层的注视点信息，所述交互面图层包括交互面要素图层和交互面控件图层，所述交互面要素图层包括一个或多个面要素，所述交互面控件图层包括一个或多个眼控控件；

基于交互面图层的空间索引和所述获取的注视点信息，确定用户注视的对象；

触发所述确定的对象对应的交互功能。

在某些实施例中，所述基于交互面图层的空间索引和所述获取的注视点信息，确定用户注视的对象，包括：

过滤所述获取的注视点信息，以获取有效注视点；

基于交互面图层的空间索引和所述获取的有效注视点，确定用户注视的对象。

在某些实施例中，所述基于交互面图层的空间索引和所述获取的注视点信息，确定用户注视的对象，包括：

基于所述获取的注视点信息，判断用户对交互面图层的注视是否有效；

响应于用户对交互面图层的注视有效，基于交互面图层的空间索引和所述获取的注视点信息，确定用户注视的对象。

在某些实施例中，还包括基于所述获取的注视点信息确定表征用户一次注视的时间长度的一次注视持续时长；

所述判断用户对交互面图层的注视是否有效，包括：判断一次注视持续时长是否达到注视时长阈值或者判断对应一次注视持续时长的所述获取的注视点个数是否达到注视点个数阈值。

在某些实施例中，响应于一次注视持续时长达到注视时长阈值，所述过滤所述获取的注视点信息，以获取有效注视点，包括：针对一次注视持续时长对应的所述获取的注视点信息，按照所述注视时长阈值依序划分成多组注视点，从达到所述注视时长阈值的每组注视点中提取一个有效注视点；

响应于对应一次注视持续时长的所述获取的注视点个数达到注视点个数阈值，所述过滤所述获取的注视点信息，以获取有效注视点，包括：针对一次注视持续时长对应的所述获取的注视点信息，按照所述注视点个数阈值依序划分成多组注视点，从达到所述注视点个数阈值的每组注视点中提取一个有效注视点。

在某些实施例中，所述从达到所述注视时长阈值的每组注视点中提取一个有效注视点，包括：达到所述注视时长阈值的每组注视点的所有注视点的坐标平均值作为有效注视点的坐标值，和/或，所述达到注视时长阈值的每组注视点的最后一个注视点的时间戳作为有效注视点的时间戳；

所述从达到所述注视点个数阈值的每组注视点中提取一个有效注视点包括：所述达到注视点个数阈值的每组注视点的所有注视点的坐标平均值作为有效注视点的坐标值，和/或，所述达到注视点个数阈值的每组注视点中最后一个注视点的时间戳作为有效注视点的时间戳。

在某些实施例中，所述基于交互面图层的空间索引和所述获取的注视点信息，确定用户注视的对象，包括：

基于交互面图层的空间索引，确定所述获取的注视点信息对应的对象；

基于所述确定的所述获取的注视点信息对应的对象，确定用户注视的对象。

在某些实施例中，所述面要素采用多边形要素来表征，采用注视多边形定位算法确定用户注视的面要素。

在某些实施例中，所述眼控控件包括配合使用的注视感应区和图标，图标用于表征眼控控件所在的位置以及眼控控件的交互功能，注视感应区用于感应用户的注视；

所述获取用户对交互面图层的注视点信息包括：所述注视感应区感应用户对交互面控件图层的注视点信息；

所述基于交互面图层的空间索引和所述获取的注视点信息，确定用户注视的对象，包括：基于交互面控件图层的空间索引和所述注视感应区感应的注视点信息，确定用户注视的图标；

所述触发所述确定的对象对应的交互功能包括：触发所述确定的用户注视的图标表征的交互功能；

所述眼控控件包括：眼控放大控件、眼控缩小控件、眼控全图显示控件以及眼控漫游控件。

本发明提出的一种实现前任一项所述的应用于交互式地图的眼动控制方法的眼控控制装置，包括：

获取模块，用于获取用户对交互面图层的注视点信息，所述交互面图层包括交互面要素图层和交互面控件图层，所述交互面要素图层包括一个或多个面要素，所述交互面控件图层包括一个或多个眼控控件；

确定模块，用于基于交互面图层的空间索引和所述获取的注视点信息，确定用户注视的对象；

触发模块，用于触发所述确定的对象对应的交互功能。

本发明的有益效果：本发明实施例提出的应用于交互式地图的眼动控制方法及装置，通过眼动跟踪技术可以进行实时的交互式浏览，方便人们在手受限时用眼睛与屏幕上的地图等交互面图层进行交互。

附图说明

图1示出了本发明实施例提出的眼动控制方法的流程图；

图2示出了本发明实施例提出的眼动控制方法的流程示意图；

图3示出了本发明实施例提出的眼动控制方法的过滤注视点示意图；

图4示出了本发明实施例提出的眼动控制方法的注视多边形定位算法的示意图；

图5示出了本发明实施例提出的眼动控制方法的坐标转换示意图；

图6示出了本发明实施例提出的眼动控制方法的系统主界面；

图7a和图7b示出了本发明实施例提出的眼动控制方法的眼控放大控件示意图；

图8示出了本发明实施例提出的眼动控制装置的系统功能框图；

图9a和图9b示出了本发明实施例提出的眼动控制方案在耗时情况方面的对比实验结果。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。但本领域技术人员知晓，本发明并不局限于附图和以下实施例。

如本文中所述，术语“包括”及其各种变体可以被理解为开放式术语，其意味着“包括但不限于”。术语“基于”可以被理解为“至少部分地基于”。术语“一个实施例”可以被理解为“至少一个实施例”。术语“另一实施例”可以被理解为“至少一个其它实施例”。

本发明实施例提供一种应用于交互式地图的眼动控制方法，用户可以通过眼动控制交互式地图的交互面图层，进行地图的交互式浏览。

下面结合附图对本发明实施例提供的一种应用于交互式地图的眼动控制方法进行说明。

参考图1，在100，获取用户对交互面图层的注视点信息，所述交互面图层包括交互面要素图层和交互面控件图层，交互面要素图层和交互面控件图层一般不重合。所述交互面要素图层包括一个或多个面要素，所述交互面控件图层包括一个或多个眼控控件。在本发明实施例中，所述面要素可以为用于标示行政区域的区块，在这种情况下，面要素具有可视边界，例如面要素为中国行政区划图中的各个行政单位，面要素的可视边界反映了对应行政单位的行政版图形状；面要素对应的交互功能可以包括定位注视面要素，参见图2所示，菱形、三角形和圆形分别代表一个行政区，图中的黑点所在的面要素代表被定位的面要素，图2的示意中，被定位的是菱形所代表的行政区，可以理解，某些被注视的面要素可以没有对应的交互功能。可以通过眼动仪等眼动跟踪设备来获取用户对交互面要素图层的注视点信息，以下将以眼动仪为例进行说明。在本发明实施例中，所述眼控控件可以包括配合使用的注视感应区和图标，图标用于表征眼控控件所在的位置以及眼控控件的交互功能，可以参考图2所示的眼控放大控件的图标；注视感应区用于感应用户的注视，响应于注视感应区感应到用户的注视，触发被注视的注视感应区匹配的图标所表示的交互功能。可以通过眼动仪等眼动跟踪设备来获取用户对交互面控件图层的注视点信息，例如通过眼动仪获取的原始数据和眼动仪提供的交互器来获取用户对交互面控件图层的注视点信息。眼控控件对应的交互功能包括眼动控制下的地图漫游、放大、缩放以及原图显示等操作，从而可以扩充交互式地图的交互功能。由于人用鼠标控制地图交互时是先看到按钮然后再移动鼠标点击按钮，所以人眼对眼动控件的注视能透露出用户的操作意图。在本实施例中，可以通过获取用户对交互面控件图层的注视点信息来获取用户注视的眼控控件。所述交互面图层显示在屏幕上。所述交互式地图通过交互面要素图层显示。在所述交互面要素图层显示交互式地图时，所述面要素可以为地图区块，可参考图2所示，在交互式地图为中国行政区划图时，图2中的面要素可以对应中国各行政区的地图区块，并且，图2所示的用户注视的地图区块为菱形所代表的地图区块；图2所示的眼控控件包括眼控漫游控件、眼控放大控件、眼控缩小控件以及眼控原图显示控件。可以理解，在需要扩展人机交互的功能时，可以在未设置眼控控件的交互面控件图层上设置新的眼控控件，可以方便地扩展系统的交互功能。所述面要素可以邻接，也可以间隔布置；所述眼控控件相互之间可以间隔布置，通过合理的间隔距离可以尽量减少误操作。

再回到图1，在200，基于交互面图层的空间索引和所述获取的注视点信息，确定用户注视的面要素。

在本发明一实施例中，可以基于交互面图层的空间索引，确定所述获取的注视点信息对应的对象；基于所述确定的所述获取的注视点信息对应的对象，确定用户注视的对象。例如，基于交互面图层的空间索引，确定获取的每个注视点信息对应的对象；将确定的对象放入对象池中，其中，对象池能容纳的对象的数量固定(例如可以为后续的注视时长阈值或者后续的注视时长阈值对应的注视点个数阈值)，如果对象池满，那么按照先进先出的原则，在最新确定的对象入池的同时最早入池的对象出池；对象池中出现次数最多的对象作为用户注视的对象。可以理解，这里的对象可以包括面要素和眼控控件。

本领域技术人员知晓，针对人对同一个点的连续不间断注视，在本发明实施例中也称为“人的一次注视”，眼动仪会采集到多个注视点。由于人在注视时眼球会不停地轻微运动，因此针对人的一次注视，眼动仪采集的多个注视点的位置会非常接近，如果以采集的多个注视点进行交互控制，会造成眼控交互中注视点的冗余。因此，在本发明另一实施例中，通过过滤冗余注视点来降低注视点频率。发明人注意到，在注视状态下，注视点通常会聚集在屏幕上的一个小范围内，所以本发明实施例过滤冗余注视点的思路是将每次注视都用尽可能少的注视点来表征，以降低注视点频率。在本发明实施例中，表征每次注视的注视点定义为“有效注视点”。因此，在本发明另一实施例中，所述基于交互面图层的空间索引和所述获取的注视点信息，确定用户注视的面要素，包括：过滤所述获取的注视点信息，以获取有效注视点；基于交互面图层的空间索引和所述获取的有效注视点，确定用户注视的对象。

为了提高眼动控制的有效性，在一实施例中，所述基于交互面图层的空间索引和所述获取的注视点信息，确定用户注视的对象，包括：基于所述获取的注视点信息，判断用户对交互面图层的注视是否有效；响应于用户对交互面图层的注视有效，基于交互面图层的空间索引和所述获取的注视点信息，确定用户注视的对象。在包含过滤步骤的实施例中，所述获取的注视点信息为有效注视点。在本实施例中，通过判断用户对交互面图层的注视是否有效，可以避免交互的误动作，提高眼动控制的有效性。为了准确地获取有效注视点，本实施例引入了一次注视持续时长的术语，用来表征用户一次注视的时间长度；所述方法还可以包括基于所述获取的注视点信息确定一次注视持续时长。

在一优选实施例中，判断用户对交互面图层的注视是否有效，可以通过一次注视持续时长是否达到注视时长阈值来判断。一般来说，人的最小注视持续时长为100～200ms，因此可以选择200ms作为注视时长阈值，考虑到个体差异，也可以根据用户的实际情况，选择合适的注视时长阈值，例如50ms、100ms、150ms、250ms、300ms等等。如果一次注视持续时长未达到注视时长阈值，则判定用户对交互面图层的注视无效，此次注视不会触发交互动作。

响应于一次注视持续时长达到注视时长阈值，所述过滤所述获取的注视点信息，以获取有效注视点，包括：针对一次注视持续时长对应的所述获取的注视点信息，按照所述注视时长阈值依序划分成多组注视点，从达到所述注视时长阈值的每组注视点中提取一个有效注视点。一般来说，人的最小注视持续时长为100～200ms，但眼动仪等眼动跟踪设备采集的注视状态的持续时长不局限于该范围。示例性地，可以将200ms设定为过滤注视点的注视时长阈值，如果一次注视持续时长小于200ms，那么对应的所述获取的注视点全部被过滤掉；如果一次注视持续时长达到200ms，则从每200ms的所述获取的注视点中提取一个有效注视点。综合考虑有效性和合理性，在一实施例中，将达到注视时长阈值(例如200ms)的每组注视点的所有注视点(例如12个注视点)的坐标平均值作为有效注视点的坐标值，将达到注视时长阈值(例如200ms)的每组注视点中最后一个注视点(例如第12个注视点)的时间戳作为有效注视点的时间戳。假设注视时长阈值对应的注视点个数为N，根据

和

计算有效注视点的坐标。其中，

和

分别表示有效注视点的横坐标和纵坐标；X₁、X₂、……、X_N表示第一个、第二个、……、第N个注视点的横坐标；Y₁、Y₂、……、Y_N表示第一个、第二个、……、第N个注视点的纵坐标。可以理解，也可以通过最小二乘法等算法来计算有效注视点的坐标值。

在另一优选实施例中，判断用户对交互面图层的注视是否有效，可以通过对应一次注视持续时长的所述获取的注视点个数是否达到注视点个数阈值来判断。优选地，可以采用N＝t*f来计算注视点个数阈值，其中，N表示注视点个数阈值；t表示注视时长阈值，单位s(秒)；f表示眼动仪等眼动跟踪设备的工作频率或者称为眼动仪等眼动跟踪设备的采样频率，单位Hz(赫兹)。以注视时长阈值t为200ms，眼动仪等眼动跟踪设备的工作频率f为60Hz为例，根据公式N＝t*f可计算出注视点个数阈值N为12。如果对应一次注视持续时长的所述获取的注视点个数未达到注视点个数阈值，则判定用户对交互面图层的注视无效，此次注视不会触发交互动作。图3给出了过滤注视点的示意图，以注视点个数阈值N为12为例。每个浅灰色方块代表一个注视点，每个深灰色方块代表一个有效注视点。在注视开始后，按序每12个注视点求出一个有效注视点，该有效注视点的横坐标和纵坐标分别是这12个注视点的横坐标和纵坐标的平均值，其时间戳是第12个注视点的时间戳。可以理解，针对以注视时长阈值作为判断用户对交互面图层的注视是否有效的标准时，图3中的12个注视点可以替换为注视时长阈值。

响应于对应一次注视持续时长的所述获取的注视点个数达到注视点个数阈值，所述过滤所述获取的注视点信息，以获取有效注视点，包括：针对一次注视持续时长对应的所述获取的注视点信息，按照所述注视点个数阈值依序划分成多组注视点，从达到所述注视点个数阈值的每组注视点中提取一个有效注视点。示例性地，可以将200ms设定为过滤注视点的注视时长阈值，在眼动仪等眼动跟踪设备的工作频率为60Hz时，注视点个数阈值为12，如果对应一次注视持续时长的所述获取的注视点个数小于12，那么对应的所述获取的注视点全部被过滤掉；如果对应一次注视持续时长的所述获取的注视点个数达到12，则从每12个注视点为一组注视点，每组注视点中提取一个有效注视点。综合考虑有效性和合理性，在一实施例中，将达到注视点个数阈值(例如12)的每组注视点的所有注视点的坐标平均值作为有效注视点的坐标值，将达到注视点个数阈值(例如12)的每组注视点中最后一个注视点(例如第12个注视点)的时间戳作为有效注视点的时间戳。假设注视点个数阈值为N，根据

和

计算有效注视点的坐标。其中，

和

分别表示有效注视点的横坐标和纵坐标；X₁、X₂、……、X_N表示第一个、第二个、……、第N个注视点的横坐标；Y₁、Y₂、……、Y_N表示第一个、第二个、……、第N个注视点的纵坐标。可以理解，也可以通过最小二乘法等算法来计算有效注视点的坐标值。

在一实施例中，可以基于交互面图层的空间索引和有效注视点，确定用户注视的对象。在另一实施例中，可以基于交互面图层的空间索引，确定所述达到所述注视时长阈值或注视点个数阈值的每组注视点中的每个注视点对应的对象；基于所述达到所述注视时长阈值或注视点个数阈值的每组注视点中的每个注视点对应的对象，确定用户注视的对象。

所述交互面图层的空间索引采用格网空间索引、四叉树空间索引、R树空间索引或R+树空间索引等方法建立。本发明实施例中的空间索引建立方法为本领域的现有技术，为节约篇幅计，此处不作详细描述。在一实施例中，所述面要素采用多边形(包括圆形)要素来表征，在确定用户正在注视哪个面要素时，通过交互面图层的空间索引，利用注视多边形定位算法快速确定注视点落在哪个多边形要素内，优选地，还可以显示多边形要素的属性并将其在交互面图层上高亮显示。空间索引是对存储在介质上的注视数据位置信息的描述，用来提高系统对注视数据获取的效率，空间索引的性能会直接影响空间数据库和地理信息系统的整体性能。所述基于交互面图层的空间索引，确定获取的每个注视点信息对应的面要素，可以利用注视多边形定位算法进行面要素定位。发明人发现，定位注视多边形时，如果每次获得新的注视点都需要计算该注视点落在哪个多边形上，会增加计算耗时，如果只计算有效注视点落在哪个多边形内，可以有效减少计算耗时，也可以提高交互反馈的实时性。因此，在一实施例中，利用有效注视点计算注视多边形，从而快速高效地定位面要素。在通过对应一次注视持续时长的所述获取的注视点个数是否达到注视点个数阈值来判断用户对交互面图层的注视是否有效时，每当一次注视开始，就开始给注视点计数；如果一次注视的计数值没有达到注视点个数阈值，一次注视就已经结束，则过滤掉本次注视的全部注视点，不获取有效注视点；如果一次注视的计数值达到注视点个数阈值时本次注视仍在继续，就根据以注视点个数阈值N为数量的前N个注视点，获取有效注视点以及注视多边形，然后将前N个注视点过滤，针对本次注视重新开始计数，重复上述过程。对于注视点个数阈值，用户可以进行增减来使交互体验更符合个人的习惯。

下面结合图4对采用格网空间索引建立交互面图层的空间索引的实施例进行示例性说明。在本实施例中，建立交互面图层的空间索引后，还采用注视多边形定位算法来快速确定注视点落在交互面图层的哪个多边形上。图4中的整个区域表示交互面图层，A、B、C分别代表交互面图层上不同的多边形要素。图中的圆点P代表用户某一时刻的注视点，坐标设为(X,Y)，图4中的px代表像素，即此处的坐标为像素坐标，方形点P₀是该图层的左下角，由于地图坐标值在从左向右、从下到上的方向上逐渐增大，所以设P₀坐标为(X_min,Y_min)。定位注视多边形之前需要确定注视点对应的空间索引，表现在图4中就是确定注视点P落在哪个网格上。网格的序号用i表示，因为所有网格i从左下角到右上角沿着横向和纵向逐个递增，所以图4中的noc表示注视点所在网格的列号，计算式为：noc＝int[(X-X_min)/w]+1，图中，nor表示注视点所在网格的行号，计算式为：nor＝int[(Y-Y_min)/w]+1，网格的列数、网格宽度以及高度在划分网格时已经确定，分别用n、w、h表示。由i＝(nor-1)*n+noc-1，可以直接由注视点的坐标确定其所在网格i，然后再通过所述交互面图层的空间索引中网格的属性值确定注视点对应的注视多边形，这里的注视点可以是有效注视点，也可以是达到所述注视时长阈值或注视点个数阈值的每组注视点中的每个注视点。可以理解，针对面要素的同一关注点，屏幕的像素坐标和交互面要素图层的投影坐标相互关联。在交互面要素图层为交互式地图时，对于面要素，同一点的屏幕坐标(对应屏幕的像素坐标)、地图控件坐标(对应地图面要素坐标)和地图投影坐标(对应交互面要素图层的投影坐标)相互关联；对于眼控控件，同一点的屏幕坐标(对应屏幕的像素坐标)、地图控件坐标(对应注视感应区坐标)和地图投影坐标(对应交互面要素图层的投影坐标)相互关联，可参考图5所示。注视感应区坐标与所匹配图标的位置相互关联，可以基于交互面控件图层的空间索引和所述注视感应区感应的注视点信息，确定用户注视的图标。

另外，在一实施例中，图标的整个区域均作为注视感应区，可参考图7a所示，在用户注视该图标的任何位置时，均认为用户注视该图标；在另一实施例中，图标的部分区域作为注视感应区，在图标的部分区域作为注视感应区时，所述注视感应区可以位于图标的中心位置，或者位于图标的图案中最能吸引用户注意力的位置(例如图7b中的“+”号所在的位置)，在用户注视该注视感应区时，认为用户注视该图标，可以有效避免误触发，在这种情况下，眼控控件可以相邻。

再参考图1，在300，触发所述确定的对象对应的交互功能。

所述功能包括在所述对象为面要素时，定位所述确定的面要素。在采用注视多边形定位算法确定用户注视的面要素时，所述功能包括定位注视多边形。为了方便用户知晓所述确定用户注视的面要素是否为用户期望的面要素，可以在交互面图层上高亮和/或突出显示所述确定的用户注视的面要素，进一步地，所述面要素的属性也可以显示在屏幕上。所述突出显示包括仅放大所述确定的用户注视的面要素，或者，所述确定的用户注视的面要素抖动预设次数，或者，所述确定的用户注视的面要素缩放预设次数，或者，所述确定的用户注视的面要素之外的交互面图层作图片灰度化处理。所述功能还包括在所述对象为眼控控件时，触发所述确定的用户注视的图标表征的交互功能，包括放大、缩小、全图显示或漫游交互式地图等功能。可参考图2所示，所述获取的注视点信息包括三次有效注视，第一次注视(即图2中的“注视1”)触发了对应定位所述确定的面要素的面要素功能，图2中示出了用户注视的面要素对应西藏的地图区块；第二次注视(即图2中的“注视2”)的区域是交互面要素图层中没有交互功能的面要素或交互面控件图层中的非注视感应区，因此未触发交互动作；第三次注视(即图2中的“注视3”)触发了对应“眼控放大”的眼控控件功能，图2中示出了放大行政区划图的交互操作。在一实施例中，所述眼控放大或眼控缩小的操作可以基于当前画面的中心点为中心进行放大或缩小操作，也可以基于定位注视的面要素的中心点为中心进行放大或缩小操作。

在触发对应的交互功能后，屏幕显示与该触发的交互功能对应的画面。

所述对象为眼控控件时，眼控控件以图标的形式显示在屏幕上。可参考图6所示，图中示出了眼控缩小控件的图标、眼控漫游控件的图标、眼控放大控件的图标和眼控原图显示控件的图标，其中，眼控漫游控件的图标位于交互面图层的上下左右四个方向上(示意性地，图6中只标示出向左的眼控漫游控件)，通过对图标所匹配的注视感应区的注视，可以触发图标对应的眼控控件的交互功能。另外，图6中还示出了标题栏、菜单栏、状态栏、属性显示区等非注视感应区，这些项目可以根据交互面图层的实际情况设置，这些项目的操作可以通过鼠标等其他输入设备实现，在某些实施例中，也可以通过眼控控制的方式实现。为了方便用户了解注视点所在的位置，图6中还示出了用来模拟用户的注视点的注视点气泡。在交互面要素图层为交互式地图，对于面要素，同一点的屏幕坐标(对应屏幕的像素坐标)、地图控件坐标(对应地图面要素坐标)和地图投影坐标(对应交互面要素图层的投影坐标)相互关联；对于眼控控件，同一点的屏幕坐标(对应屏幕的像素坐标)和地图控件坐标(对应注视感应区坐标)相互关联，如图5所示。

在一个优选实施例中，为了降低触发多次注视感应的可能性，可以缩小注视感应区所在的区域。图7a是眼控放大控件的示意图，方框所示的区域是眼控放大控件的图标所在的区域，阴影区域是注视感应区所在的区域，当用户注视的区域为眼控放大控件对应的注视感应区，才可以对交互地图等交互面要素图层执行放大等眼控操作。由于图7a所示的注视感应区所在的区域较大，用户以为只注视了一次注视感应区，但实际上，由于眼睛不断的轻微移动，可能会触发多次注视行为，这不符合用户的心理预期。因此，缩小注视感应区所在的区域大小，如图7b所示，这样可以有效降低触发多次注视感应的可能性。在另一优选实施例中，还可以设定触发注视感应区的时间间隔，从而限制触发注视事件的频繁程度。当用户不熟悉眼控漫游时，可能会频繁用注视触发各个感应区。但全图刷新耗时较长，当用户触发注视感应区的速度比全图刷新还快时，就会给用户造成“交互面图层反馈不够实时”的感受。因此，通过合理设定触发注视感应区的时间间隔，可以保证在交互面图层刷新过程中不会触发新的感应事件。在一实施例中将该时间间隔设置为200ms，即一次触发功能后需要在200ms后才能再次触发该功能。该时间间隔的设置参考了注视持续的最短时间，但在使用不同复杂程度的交互面图层以及不同性能的计算机时，可以根据实际情况进行调节，以使得每次用户将视线从非注视感应区移动到注视感应区或者在看注视感应区时眨眼，都可以触发对应的交互功能引起屏幕的反馈。

本发明实施例还提供一种应用于交互式地图的眼动控制装置，包括：

获取模块，用于获取用户对交互面图层的注视点信息，所述交互面图层包括交互面要素图层和交互面控件图层，所述交互面要素图层包括一个或多个面要素，所述交互面控件图层包括一个或多个眼控控件；

确定模块，用于基于交互面图层的空间索引和所述获取的注视点信息，确定用户注视的对象；

触发模块，用于触发所述确定的对象对应的交互功能。

本发明实施例提供的应用于交互式地图的眼动控制系统与本发明实施例提供的应用于交互式地图的眼动控制方法相同的内容，为节约篇幅计，在此不再描述。本领域技术人员根据应用于交互式地图的眼动控制方法的描述可以理解应用于交互式地图的眼动控制装置的相关内容，并可参考图1至7所示的内容。

本发明实施例还提供一种应用于交互式地图的眼动控制系统，包括：

屏幕，用于显示交互面图层，所述交互面图层包括交互面要素图层和交互面控件图层，所述交互面要素图层包括一个或多个面要素，所述交互面控件图层包括一个或多个眼控控件；

注视点信息获取设备，用于获取用户对交互面图层的注视点信息；

处理器，用于基于交互面图层的空间索引和所述获取的注视点信息，确定用户注视的对象，触发所述确定的对象对应的交互功能。

所述注视点信息获取设备包括眼动跟踪设备。根据眼动跟踪设备获取的原始数据，获取用户对交互面要素图层的注视点信息；或者根据眼动跟踪设备获取的原始数据和眼动跟踪设备提供的交互器，获取用户对交互面控件图层的注视点信息。

可以理解，在根据眼动跟踪设备获取的原始数据和眼动跟踪设备提供的交互器获取的数据，获取用户对交互面控件图层的注视点信息时，人眼的注视远不如鼠标指针那么精准，利用注视向交互界面发出指令需要先对注视点进行处理，否则直接用单个注视点触发注视事件很可能不符合用户意图。在一实施例中，可以利用眼动跟踪设备提供的交互器(interactors)和虚拟窗口来构建交互面控件图层，从而构建眼控控件。眼动跟踪设备提供的交互器将复杂的原始数据处理过程抽象化，交互器是应用程序窗口中的有界区域，开发者可以为其定义基于注视的行为。交互器可以使用Tobii Core SDK提供的交互器。为了在一个地图交互界面上能有多个交互器响应注视行为，使用虚拟窗口(virtual windows)来放置交互器。本实施例在放大、缩小、全图显示控件以及地图四个边缘上方建立相应的虚拟窗口，并将交互器与虚拟窗口绑定，定义相应的基于注视的行为，构成多个具有特定功能的眼控控件。

所述眼动控制装置还包括交互面图层原型系统，交互面图层原型系统包括眼控交互模块和用户管理模块。眼控交互模块用于提供面要素和眼控控件对应的交互功能，所述面要素对应的交互功能包括定位注视面要素，在面要素用多边形要素表征时，所述定位注视面要素为定位注视多边形。在交互面要素图层为交互式地图时，可参考图8所示，所述眼控交互模块为地图眼控交互模块。所述眼控控件对应的交互功能包括漫游、放大、缩小以及原图显示交互式地图等。用户管理模块用于管理对每个用户所设置的参数，包括用户信息的增加、删除、修改和查找。在一实施例中，所述眼动控制系统还包括输入控制设备，用于对交互面图层进行手动交互操作，将眼动控制和手动输入控制融合在同一个系统中，方便用户使用两种方式操作交互式地图。输入控制设备包括鼠标、红外笔或触摸笔等。在该实施例中，所述交互面图层原型系统可以包括选择模块，用于选择眼控控件模式或手动输入控制模式。在一优选实施例中，交互面图层原型系统还包括输入控制设备控制的交互模块，用于对比评价眼控交互的效果，进一步地，可以根据对比效果，在用户管理模块中修改用户设置的参数。

交互面图层原型系统提供的系统主界面可参考图6所示。菜单栏可以打开或关闭交互面图层文档，选择开启眼控模式或鼠标控制模式下的功能，管理用户信息等。工具栏中包括开启交互功能的快捷方式；状态栏显示注视点的坐标和时间戳以及当前用户。注视点气泡是眼动仪核心软件在屏幕上实时绘制的用户注视区域。在开启定位注视多边形功能后，地图显示区实时对眼控输入进行反馈，高亮和/或突出显示用户正在注视的多边形，属性显示区显示注视多边形的属性表。眼控漫游、放大、缩小、原图显示控件都是在开启相应眼控交互功能后才可以使用。

本发明实施例提供的应用于交互式地图的眼动控制系统与本发明实施例提供的应用于交互式地图的眼动控制方法相同的内容，为节约篇幅计，在此不再描述。本领域技术人员根据应用于交互式地图的眼动控制方法的描述可以理解应用于交互式地图的眼动控制系统的相关内容，并可参考图1至7所示的内容。

在一实施例中，所述交互式地图原型系统基于WinForm集成框架，采用C#编程语言开发，地图文档处理利用ArcMap 10.3，数据库管理使用Microsoft SQL Server 2012。外部设备选用采样频率为60Hz的TobiiEyeX眼动仪，眼动仪核心软件版本为Tobii EyeTracking Core Software 2.13.3。

为了检验本发明实施例的技术效果，发明人通过实验对采用注视多边形定位算法定位面要素的效率进行了评价。由于ArcGIS的Identify方法也可以返回给定地图坐标所在的多边形要素，从而确定注视点对应的注视多边形，所以发明人对Identify方法和注视多边形定位算法的效率进行比较。由于Identify方法内部详细代码无法获取，无法通过计算时间复杂度来比较它和注视多边形定位算法的效率，故采用基于相同地图文档统计计算注视多边形的耗时的方法进行比较。选用中国地图的中国行政区(包含沿海岛屿)作为交互面要素图层，该图层共有924个Polygon，建立空间索引时划分了100×100的网格。选择面要素多的交互面要素图层进行交互是为了使算法效率对比更加明显。对这两种算法利用注视点得到注视多边形要素的耗时分别进行统计后发现，Identify方法平均耗时700ms左右，且注视多边形不同耗时也不同，差距最大可达400ms，屏幕反馈严重延迟，实时性差。利用格网空间索引进行面要素定位的注视多边形定位算法平均耗时19ms，且每次运算耗时相差很小。由此看出，注视多边形定位算法比ArcGIS的Identify方法更适用于注视多边形的定位，前者更加高效，有助于提升地图眼控交互的实时性。

另外，发明人对地图眼控交互与地图鼠标交互进行了对比。为了评价注视多边形定位算法以及对眼控控件及其交互响应效果的设计的可用性，发明人首先设计了两种地图浏览任务，然后要求用户在眼动控制和鼠标控制下将任务分别完成并记录任务完成时间，最后统计对比不同用户的任务完成时间并进行讨论。任务的具体设计为：①查看属性：用户依次查看西藏、黑龙江、河南、云南、湖南5个行政区的属性信息；②放大地图：用户放大地图，直到地图比例尺缩小到1:25000000时显示每个行政区的名称。

用户用眼控方式查看面要素属性时，需要用眼睛注视目标多边形，待该多边形高亮并显示属性信息再去查看具体属性；用鼠标控制的方式查看属性则是直接用鼠标点击目标多边形，使其高亮并显示属性信息。需要注意的是，用户必须正确查看完一个指定面要素之后再查看下一个。用户用眼控方式放大地图时，需要用眼睛注视眼控放大控件，每注视一次就会进行一次放大，每次放大后检查行政区是否显示名称；用鼠标控制的方式放大地图则是直接用鼠标点击地图进行放大。

共有30名用户完成了实验任务，其中14名男性，16名女性。在此期间，统计了所有用户完成任务所需的时间(见附录)。图9显示了所有用户分别用眼动控制和鼠标控制完成两个任务的耗时情况。图9a是用户完成查看属性任务所耗时间的对比，其中眼控查看属性平均耗时22.564s，鼠标控制查看属性平均耗时21.408s。由于鼠标控制下完成该任务的耗时不服从正态分布，故采用Mann-Whitney U类型的非参数检验判断两种交互方式耗时是否有显著差异。所得显著性结果为0.460(大于0.05)，说明两种交互方式查看属性的耗时无显著性差异。图9b是用户完成放大地图任务所耗时间的对比，其中眼控放大平均耗时9.080s，鼠标放大平均耗时8.987s。由于两种交互方式耗时均服从正态分布，故采用独立样本T检验来判断两者间是否有显著差异。所得显著性结果为0.858(大于0.05)，说明两种交互方式放大地图的耗时无显著性差异。

从分析结果可以看出，用户用眼动控制和鼠标控制完成交互任务的耗时没有显著差异。但通过观察用户完成任务时的具体表现可以发现两种交互方式各有优点。眼控交互的优点是，当用户查看某一个多边形的属性时，用注视定位到该多边形比用鼠标定位快。因为鼠标定位需要用户先找到该多边形，然后再将鼠标移动到眼睛注视的区域进行点击，但注视定位就可以直接在用户看到目标后立即使其高亮并显示属性。鼠标交互的优点是交互更加精确，而且连续操作同一目标对象时效率更高。这是因为眼控查看目标多边形属性会受到多种因素的影响，例如目标多边形越小，用户注视点越不稳定，定位注视多边形就越困难，耗时越长。而且连续点击鼠标比连续眨眼或连续移动视线更快、更自然。这可能是导致此次调查中眼动控制和鼠标控制进行属性查看的耗时没有显著差异，甚至眼控耗时均值略大于鼠标控制的原因。通过对比两种交互方式完成相同任务的耗时可以看出，本发明实施例提出的地图眼控交互算法效率能够满足让用户进行实时的地图眼控交互，但真正实现眼控交互优于鼠标交互还需要进一步提高眼控交互的精度和效率。

本发明实施例还提出一种计算机可读存储介质，存储有执行前述方法的计算机程序。

本发明实施例还提出一种计算机设备，包括处理器和操作上与所述处理器连接的上述计算机可读存储介质，所述处理器运行执行计算机可读介质中的计算机程序。

本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上，对本发明的实施方式进行了说明。但是，本发明不限定于上述实施方式。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种应用于交互式地图的眼动控制方法，其特征在于，包括：

获取用户对交互面图层的注视点信息，所述交互面图层包括交互面要素图层和交互面控件图层，所述交互面要素图层包括一个或多个面要素，所述交互面控件图层包括一个或多个眼控控件；

基于交互面图层的空间索引和所述获取的注视点信息，确定用户注视的对象；

触发所述确定的对象对应的交互功能。

2.根据权利要求1所述的眼动控制方法，其特征在于，所述基于交互面图层的空间索引和所述获取的注视点信息，确定用户注视的对象，包括：

过滤所述获取的注视点信息，以获取有效注视点；

基于交互面图层的空间索引和所述获取的有效注视点，确定用户注视的对象。

3.根据权利要求1或2所述的眼动控制方法，其特征在于，所述基于交互面图层的空间索引和所述获取的注视点信息，确定用户注视的对象，包括：

基于所述获取的注视点信息，判断用户对交互面图层的注视是否有效；

响应于用户对交互面图层的注视有效，基于交互面图层的空间索引和所述获取的注视点信息，确定用户注视的对象。

4.根据权利要求3所述的眼动控制方法，其特征在于，还包括基于所述获取的注视点信息确定表征用户一次注视的时间长度的一次注视持续时长；

所述判断用户对交互面图层的注视是否有效，包括：判断一次注视持续时长是否达到注视时长阈值或者判断对应一次注视持续时长的所述获取的注视点个数是否达到注视点个数阈值。

5.根据权利要求4所述的眼动控制方法，其特征在于，响应于一次注视持续时长达到注视时长阈值，所述过滤所述获取的注视点信息，以获取有效注视点，包括：针对一次注视持续时长对应的所述获取的注视点信息，按照所述注视时长阈值依序划分成多组注视点，从达到所述注视时长阈值的每组注视点中提取一个有效注视点；

响应于对应一次注视持续时长的所述获取的注视点个数达到注视点个数阈值，所述过滤所述获取的注视点信息，以获取有效注视点，包括：针对一次注视持续时长对应的所述获取的注视点信息，按照所述注视点个数阈值依序划分成多组注视点，从达到所述注视点个数阈值的每组注视点中提取一个有效注视点。

6.根据权利要求5所述的眼动控制方法，其特征在于，所述从达到所述注视时长阈值的每组注视点中提取一个有效注视点，包括：达到所述注视时长阈值的每组注视点的所有注视点的坐标平均值作为有效注视点的坐标值，和/或，所述达到注视时长阈值的每组注视点的最后一个注视点的时间戳作为有效注视点的时间戳；

所述从达到所述注视点个数阈值的每组注视点中提取一个有效注视点包括：所述达到注视点个数阈值的每组注视点的所有注视点的坐标平均值作为有效注视点的坐标值，和/或，所述达到注视点个数阈值的每组注视点中最后一个注视点的时间戳作为有效注视点的时间戳。

7.根据权利要求1所述的眼动控制方法，其特征在于，所述基于交互面图层的空间索引和所述获取的注视点信息，确定用户注视的对象，包括：

基于交互面图层的空间索引，确定所述获取的注视点信息对应的对象；

基于所述确定的所述获取的注视点信息对应的对象，确定用户注视的对象。

8.根据权利要求1所述的眼动控制方法，其特征在于，所述面要素采用多边形要素来表征，采用注视多边形定位算法确定用户注视的面要素。

9.根据权利要求1所述的眼动控制方法，其特征在于，所述眼控控件包括配合使用的注视感应区和图标，图标用于表征眼控控件所在的位置以及眼控控件的交互功能，注视感应区用于感应用户的注视；

所述获取用户对交互面图层的注视点信息包括：所述注视感应区感应用户对交互面控件图层的注视点信息；

所述基于交互面图层的空间索引和所述获取的注视点信息，确定用户注视的对象，包括：基于交互面控件图层的空间索引和所述注视感应区感应的注视点信息，确定用户注视的图标；

所述触发所述确定的对象对应的交互功能包括：触发所述确定的用户注视的图标表征的交互功能；

所述眼控控件包括：眼控放大控件、眼控缩小控件、眼控全图显示控件以及眼控漫游控件。

10.一种实现如权利要求1-9中任一项所述的应用于交互式地图的眼动控制方法的眼控控制装置，其特征在于，包括：

获取模块，用于获取用户对交互面图层的注视点信息，所述交互面图层包括交互面要素图层和交互面控件图层，所述交互面要素图层包括一个或多个面要素，所述交互面控件图层包括一个或多个眼控控件；

确定模块，用于基于交互面图层的空间索引和所述获取的注视点信息，确定用户注视的对象；

触发模块，用于触发所述确定的对象对应的交互功能。

Images