CN101297259B

CN101297259B - 具有视觉反馈的眼跟踪器

Info

Publication number: CN101297259B
Application number: CN2006800401797A
Authority: CN
Inventors: 约翰·博温; 佩尔·鲁内莫
Original assignee: Tobii Technology AB
Current assignee: Toby Joint-Stock Co
Priority date: 2005-10-28
Filing date: 2006-10-19
Publication date: 2010-12-15
Anticipated expiration: 2026-10-19
Also published as: SE529156C2; JP2009514090A; SE0502398L; CN101297259A; ES2730217T3; JP4961432B2

Abstract

本发明涉及响应于眼跟踪器指引的注视点(130)在图形显示器上的移动顺序而将控制指令输入到计算机中，该图形显示器与该计算机相关。计算机中的处理模块使得显示器呈现数据操作窗口(220a)形式的图形反馈信息，其视觉地确认任何输入的控制指令。数据操作窗口(220a)呈现在显示器上的与激活控制对象(220A)相关的位置处，使得窗口中心点定位在离激活控制对象中心点相对较小的偏移距离之内。窗口(220a)包括象征显示器的激活部(210)的图形信息，该激活部当前是控制指令的眼跟踪器控制输入的对象。而且，响应于控制指令的眼跟踪器控制输入来重复地更新窗口(220a)中的信息。

Description

具有视觉反馈的眼跟踪器

技术领域

本发明通常涉及自动眼跟踪，其中在眼跟踪器的操作过程中为使用者(用户)提供视觉反馈信息。更具体地，本发明涉及根据权利要求1的前叙部分(preamble)所述的系统以及根据权利要求13的前叙部分所述的方法。本发明还涉及根据权利要求25所述的计算机程序以及根据权利要求26所述的计算机可读介质。

背景技术

眼跟踪的概念在本领域中是众所周知的，并且已经开发出了多种不同的技术来实现自动眼和视线跟踪(目光跟踪，gaze tracking)。在远距离的非障碍(non-obtrusive)眼跟踪中，最常使用的设计是基于所谓的瞳孔中心角膜反射(PCCR)方法，其使得可以确定眼睛的位置以及视线方向(gaze direction)。因此，可以在例如计算机显示器上评估出注视点(point of regard)，使得基于这样的评估使用者可以将指令输入至计算机。

但是，已知的眼睛-控制解决方案(eye-controlled solution)经常无法实现完全满足使用者与计算机的互动(user-interaction withthe computer)。一个普遍的问题在于眼睛-可控输入界面在使用者的眼睛上分派了相对较重的肌肉运动的(motor)任务，其中使用者的眼睛实际上是感知性的感应器官。这会导致使用者经历疲劳症状和不舒适。另一个问题在于有可能会是残疾人的使用者在以足够高精度控制他/她的视线以便根据需要控制计算机的这方面可能会有困难(问题)。当然，如果眼睛-可控屏的对象很小，则这个问题会特别地严重。另外，即使使用者能够以非常高的精度来控制他/她的视线，眼跟踪设备中的瑕疵也会在显示器上引入与评估的注视点有关的测量误差。为了改进人机界面，美国专利第6,152,563号提出了，在选定的窗口对象的范围内呈现所谓的伸缩符号(collapsingsymbol)，以便在任何操作之前的间隔期间内视觉地确认对象的选择。因此，在实现关于对象操作之前，使用者可中断错误的选择。该文章还提出了利用缩放窗口(zoom window)来提高使用者的视线固定在特定屏幕上对象(on-screen object)上的精度。

然而，不仅难以充分地评估使用者的注视点。眼跟踪中的另一个难题在于对于使用者来说实现屏幕上对象的选择，或通过其他方式初始化(启动，initiate)计算机控制的操作也可能是有问题的。使得通过眼睛控制的界面来表达使用者对于计算机的意向有可能是困难的原因有很多。一个主要原因在于以下事实，即，眼睛是被设计用于感知而非用于肌肉运动的任务，因此当使用者在显示器上记录信息时视线也会在显示器上移动，而此时使用者的目的不在于产生任何控制指令。可以利用停留时间(即，使用者将他/她的视线固定(凝视，fixate)在屏幕上的对象上期间的时间)来表示使用者操纵特定对象的意愿。该方法的缺点在于交互作用(相互作用)过程变得相对较慢，并且具有使得使用者厌烦的危险。以眨眼(blink)的方式确认指令可以充分地加速该过程。然而，人们经常会无意识地眨眼，从而使用者可能会产生很多不期望的控制指令。当然，物理按钮(physical button)或按键提供了更可靠的确认方式(confirmation means)。但是这种选择对于有可能无法操纵这样的按钮/按键的使用者来说仍然是无法采用的。通过声音识别界面的确认构成了又一种变型，这种方式较不可靠并且对于使用者来说仍是不可行的选择，其原因在于使用者身体残废，或使用该系统的环境中的一些因素(诸如噪声)。

人类注视模式(gaze pattern)包括所谓的飞快扫视(飞快移动，saccade)，其表示视线从一点到另一点的快速移动。这些移动几乎从来都不是无意的，除了眼球震颤患者外。然而，由于其他原因，通过眼睛-可控输入界面利用飞快扫视来输入数据或指令是有问题的。即，如果飞快扫视激活了关于特定屏幕上对象的功能，则通常飞快扫视本身导致使用者不再观察该对象，至少不是直视。因此，如果完全可能，则对象的进一步的眼睛控制操作也变得非常困难。此外，这是与由眼睛可控输入界面赋予眼睛的综合的肌肉运动和感知的任务相关的问题。

光标符号(记号)通常是在与计算机交互(interface)时进行控制的重要对象。然而，这也不是简单的。即，视网膜的最高分辨率部分，即视网膜中区(或黄斑)测量相当于一度视野的直径。因此，与该测量所给出的情况相比，人们从现在开始需要以更高精度(即一度以内)来指挥他/她的视线。因此，无论眼跟踪器具有如何高的精度，仍然无法实现使用者的视线与屏幕上光标符号之间的理想匹配。相反，响应于被评估的注视点而被直接控制的任何光标符号被限定，以便引入将被人类使用者感知为误差的伪像(artifact)。但是，美国专利第6,637,883号描述了一种眼跟踪系统，用于在使用者视线的注视点处显示显示屏指针(指示，pointer)。对于提高的精度，记录眼睛移动的照像机在这里被定位在由使用者佩戴的眼镜上。自然地，这产生了尤其与安装和舒适度有关的另外的问题。

代替通过直接响应于评估的注视点来控制光标符号，相关光标控制通常是优选的，即，如下解决方案，其中，通过在屏幕上相对于上/下和左/右每个方向来操纵特定的控制装置(control means)以使得光标间接移动。但是，当将注视点置于这样的控制装置上时，使用者无法再看到待被控制的光标符号。

美国专利第6,204,828号披露了一种集成的视线/手动光标定位系统，其协助操作者通过结合眼睛-视线信号和手动输入来定位光标。当检测操作员装置(operator device)的机械启动时，光标置于初始位置，该初始位置是相对于操作员的当前视线区域而预先设定的。因此，实现了使用者方便使用(用户界面友好)的光标功能，但是不基于光标的指令是基于眼睛-视线信号而输入到计算机中的。

公开的美国专利申请第2005/0047629号描述了一种解决方案，其中，在启动机械输入装置时，屏幕的被使用者视线所集中的区域扩充了，使得有利于在该区域内选择对象。在从注视点开始的半径范围之外紧邻设置的部件可以与该扩充相联系地缩短和/或移动(translate)。于是，诸如传统鼠标的机械输入装置用来控制所述区域的图形指示(graphical pointer)以实现选择指令。但是这种策略也是有问题的，因为其需要机械输入装置，并且其为眼睛可控界面仅提供了一个可能的位置，从而对于具有一种以上类型的眼睛控制信号没有提供选择。因此，灵活度相对较低。

发明内容

因此，本发明的目的在于提供一种有效的、可靠的、且使用者方便使用的眼跟踪器解决方案，该解决方案缓解了上述问题并从而在不牺牲使用者的在显示器上控制事件的能力的情况下使得可以向使用者提供充分的信息反馈。

根据本发明的一个方面，通过如最初描述的系统来实现该目的，其中，处理模块适于调查注视点的移动顺序是否满足与激活区域相关的激活标准，其中所述激活区域用于至少一个控制指令中的任何一个。如果处理模块发现这样的标准被满足了，则该模块在显示器上的相对于激活控制对象的位置处呈现出数据操作窗口，使得窗口的中心点位于距离激活控制对象的中心点相对小偏移距离的范围内。例如，数据操作窗口可出现在显示器上的激活控制对象中。但是，紧邻靠近激活控制对象或部分重叠激活控制对象的窗口位置也是同样可能的。至少应将窗口定位成使得使用者可在同一时间有效地观察激活控制对象和数据操作窗口两者。数据操作窗口包括图形信息，这些图形信息象征显示器的激活部分，该激活部分当前正是控制指令的眼跟踪器控制输入的对象。处理模块还适于响应控制指令的眼跟踪器控制输入而重复地更新数据操作窗口中的信息。

该系统的一个重要的优点在于使用者在将他/她的目光集中在控制对象上的同时获得了有关操作对象的足够信息。这保证了有效且舒适的人机界面。

根据本发明该方面的一个优选的具体实施方式，处理模块适于基于与激活区域相关的注视点的移动顺序(例如，基于固定和平滑的追踪轨道(pursuit track))来确定激活控制对象。但是，优选地，在由激活区记录的注视点中的第一飞快扫视指定了激活控制对象。因此，以非常直觉且使用者方便使用的方式确定了激活控制对象。

根据本发明该方面的另一优选的具体实施方式，所述至少一个控制指令表示相对于显示器的用于光标符号的导航(navigation)方向、至少一个图形用户界面(GUI)组件(分量，component)的至少一个屏幕上表示(on-screen representation)在显示器上的旋转、至少一个GUI组件的至少一个屏幕上表示在显示器上的颜色变化、和/或在显示器上的至少一个GUI组件的至少一个屏幕上表示的纹理改变(结构改变，texture modification)。因此，在通过所提出的界面而得以实现的操作中提供了大的自由度。

根据本发明该方面的又一优选的具体实施方式，特别地将控制指令假定为表示相对于显示器的用于光标符号的导航方向。这里，处理模块适于相对于激活区域将导航方向与第一飞快扫视区分开，并与导航方向一致地在显示器上移动光标符号。已经发现这提供了高度有效的相对光标控制功能。

根据本发明该方面的进一步优选的具体实施方式，处理模块适于在显示器上呈现一组控制对象，其中该组中的每个控制对象适于指示对于与信息区域相关的光标符号的相应导航方向。例如，第一控制对象可适于指示向右光标符号移动，第二控制对象可适于指示向下光标符号移动，等等。因此，为使用者提供了坚固且可靠的控制界面。

根据本发明该方面的第一优选的具体实施方式，处理模块适于以如下方式在显示器上呈现一组控制对象，即所述组与导航方向一致地逐渐移动经过显示器。此外，处理模块适于与导航方向一致地在显示器上移动光标。当需要尽可能大的激活显示显示区(显示面积)时，这种基于眼睛跟踪的光标符号控制通常是优选的。

根据本发明该方面的第二优选的具体实施方式，与上述不同，处理模块适于在显示器上的固定位置处呈现一组控制对象。然而，还是在这里，处理模块适于与导航方向一致地在显示器上移动光标符号。这为使用者提供了可替换的眼睛可控装置，以便在能够视觉地记录这种运动的同时影响光标符号的位置，这对于其中无需将整个显示区用于有效载荷数据(净荷数据，payload data)的应用来说可能是期望的。

根据本发明该方面的另一优选的具体实施方式，假定显示器上的信息区域呈现出例如代表文本(文字，text)的可编辑符号。这里，处理模块适于基于注视点在多个屏幕上对象上的移动顺序来确定至少一个被添加的符号，其中所述屏幕上对象视觉上表示呈现在显示器上的软件键盘(software keyboard)的GUI组件(GUI分量，GUI-component)。处理模块进一步适于在信息区域中补充符号，其中至少添加一个符号。因此，使用者可有效地将文字输入到计算机设备中。

根据本发明该方面的又一优选的具体实施方式，处理模块适于调查注视点是否满足与代表删除键的激活控制对象有关的激活标准。如果发现这样的标准被满足的话，则处理模块适于从可编辑符号中删除符号子集。因此，使用者也可以方便地编辑计算机设备中存储的现有文本。

根据本发明该方面的又一优选的具体实施方式，该组控制对象包括单一控制对象(single control object)。这里，处理模块适于确定用于位于激活区域之外的第一飞快扫视的目标位置。处理模块适于在目标位置处呈现单一控制对象。此外，该单一控制对象包括数据操作窗口。与上述类似，处理模块适于与由第一飞快扫视表示的导航方向一致地在显示器上移动光标符号。这种设计是期望的，因为它使得使用者在第一飞快扫视之后不必移动他/她的注视点就可完成期望的光标导航。而且，可以自由地选择导航方向。

根据本发明该方面的进一步优选的具体实施方式，处理模块适于调查注视点是否满足与激活控制对象相关的去激活标准。如果处理模块发现这样的标准被满足了，则该模块适于去激活该激活控制对象。典型地，该去激活相当于完成操作，和/或期望不同的操作。

根据本发明的另一方面，通过最初描述的方法来获得该目的，其中，对于所述至少一个控制指令中的任何一个，调查注视点的移动顺序是否满足与激活区域相关的激活标准。如果发现这样的标准被满足了，则该方法包括呈现数据操作窗口，该数据操作窗口相对于显示器上的激活控制对象而定位，使得该窗口的中心点位于从激活控制对象中心点开始的相对小的偏移距离之内。该窗口进而又包括图形信息，该图形信息象征显示器的激活部分，其中该激活部分当前是控制指令的眼跟踪器控制输入的对象。另外，该方法包括响应于控制指令的眼跟踪器控制输入而重复地更新数据操作窗口中的信息。

根据在上文中参照所提出的系统而进行的讨论，该方法以及其优选的具体实施方式的优点是显而易见的。

根据本发明的又一进一步的方面，该目的是通过计算机程序来实现的，该计算机程序可直接加载到计算机的内存中，并且该计算机程序包括在计算机上运行所述程序时用于控制上面提出的方法的软件。

根据本发明的另一方面，该目的是通过计算机可读介质来实现的，所述计算机可读介质具有记录在其上的程序，其中该程序用来控制计算机以执行上述提出的方法。

从下面的描述以及从属权利要求中，本发明的其他优点、有利特征以及应用将显而易见。

附图说明

现在将通过作为实例而披露的优选的具体实施方式并参照附图更详细地解释本发明。

图1示出了根据本发明一个具体实施方式的眼睛跟踪系统的示意图；

图2a-2b示出了根据本发明一个具体实施方式的一组第一组控制对象的第一应用；

图3示出了图2a-2b所示的第一组控制对象的第二应用；

图4示出了根据本发明一个具体实施方式的第二组控制对象的应用；

图5示出了根据本发明一个具体实施方式的第三类型控制对象的应用；

图6示出了根据本发明一个具体实施方式的在显示器上执行软件键盘的屏幕上对象，该屏幕上对象响应于使用者的注视点的移动顺序是可控制的。

图7示出了可如何根据本发明的一个具体实施方式通过控制对象来旋转图形对象；

图8示出了可如何根据本发明的一个具体实施方式通过控制对象来更改图形对象的颜色；以及

图9通过流程图示出了根据本发明的总体方法。

具体实施方式

我们首先参照图1，图1示出了根据本发明一个具体实施方式的眼睛跟踪系统的示意图。该系统包括计算机设备140和相关的图形显示器150。假设计算机设备140在显示器150上呈现至少一个GUI组件的至少一个屏幕上表示，其中，响应于来自眼跟踪器装置的指令可以控制所述至少一个GUI组件。

眼跟踪器装置包括成像装置160，例如包括摄像机。优选地，眼跟踪器装置还包括一个或多个光源，例如相对靠近成像装置160的光轴而定位的第一组光源170，以及相对远离成像装置160的光轴而定位的第二组光源181和182。因此，使得使用者100的眼睛101和102可以进行亮瞳孔式(bright-pupil，BP)PCCR跟踪和暗瞳孔式(dark-pupil，DP)PCCR跟踪。在任何情况下，眼跟踪器装置适于在显示器150上重复地确定使用者100的注视点130。

眼跟踪器装置进一步适于响应于注视点130在显示器150上的移动顺序而将控制指令输入到计算机设备140中。为此目的，眼跟踪器装置包括处理模块145，该处理模块可以是计算机设备140的一部分。处理模块145适于接收眼跟踪数据D_V并从中提取控制指令。处理模块145还适于产生用于呈现在显示器150上的图形反馈信息D_FB，以视觉上确认任何输入的控制指令。

根据本发明，处理模块145进一步适于使得数据操作窗口呈现在显示器150上。该窗口包括图形信息，该图形信息象征显示器150的包含对象的部分，眼跟踪器产生的控制指令基于所述对象被输入到计算机设备140中。这意味着数据操作窗口或者包括处于激活部(activity portion)210内的图形数据的复制信息，即示意性地表示该数据的图标，或者包括数据的另一种形式的明确图像。以下将参照图2至图9深入地讨论有关呈现和控制过程的细节。

图2a示出了图1中的显示器150的图像区域的子部分(subsection)200。子部分200包含一组控制对象220A、220B、220C和220D，这些控制对象适于呈现相应的数据操作窗口220a、220b、220c和220d。优选地，该组中的每个对象适于分别指示相应的导航方向，所述导航方向用于相对于显示器150上的信息区域的光标符号，例如，向右、向下、向左和向上。然而，优选地，在给定时间的实例中，不会有多于一个的控制对象呈现这样的数据操作窗口，并且在控制指令的眼跟踪器控制输入已被初始化之前，优选地，不会显示出任何数据操作窗口。

然而，该组控制对象220A、220B、220C和220D对中在所谓的激活部210中的点211周围。激活部210是显示器150的包含一个或多个图形元素的区域，与该一个或多个图形元素相关地产生眼跟踪器产生的控制指令并将该指令输入到计算机设备140中。因此，激活部210对中在屏幕上对象周围，控制指令可以与该屏幕上对象相关地被输入到计算机设备140中。

现在转向图2b，我们将解释如何根据本发明的一个优选的具体实施方式选择激活部210以在显示器的图像区域范围内控制光标符号231。图2b示出了一组控制对象220A、220B、220C和220D，该组控制对象覆盖包含可编辑文本的信息区域240。处理模块145适于调查注视点130是否满足激活标准。这里，该标准涉及光标符号231及其将要进行的移动。特别地，如果注视点130已经位于处于光标符号231周围的激活区域210内并持续至少激活间隔的话，即，是否使用者的视线已经充分地指向光标符号附近足够长的时间，则认为该激活标准已经被满足。如果处理模块145发现该标准被满足，则该模块145呈现该组控制对象220A、220B、220C和220D，这些控制对象如图2b所示，即对中在光标符号231周围。因此，激活部210在这里由光标符号231的左侧和右侧的区域表示，该光标符号位于220A、220B、220C和220D之间。由于在这种情况下，光标符号231是文本输入标记，所以也可操作光标符号231左侧和右侧的文本，即删除符号和/或增加新的符号。

自然地，根据本发明，不能排除处理模块145使得在其他条件下也会呈现控制对象220A、220B、220C和220D中的一个或多个，例如持续地、无论激活标准满足与否。

然而，我们在这里假设在上述激活之后，使用者100通过飞快扫视沿基本向右的方向移动注视点130。根据本发明的该具体实施方式，处理模块145适于将这样的飞快扫视解释为使用者要在显示器上将光标符号231向右侧移动的意愿。因此，处理模块145检测飞快扫视并将其解释为相对于显示器150朝向右侧的导航方向RW的一种表示。结果，处理模块145在显示器150上的控制对象220A中呈现数据操作窗口220a，该数据操作窗口适于完成光标符号231的向右移动。窗口220a包括复制激活部210的图形信息，在本实例中这意味着窗口220a显示出字母“adi”，即两个字母“ad”处于光标符号231的左侧而单个字母“i”处于光标符号231的右侧。当然，任何更大的或稍微更小的窗口220a同样都是可行的，并且窗口220a中的字母在左和右窗口边界附近不同形式的逐渐淡出或部分隐藏表现也是同样可行的。

根据本发明，处理模块145适于响应于输入到计算机设备140中的控制指令的眼跟踪器控制输入而重复地更新数据操作窗口220a中的信息。这里，这意味着当光标符号231由导航方向RW所指示而在显示器150上移动时，光标符号231左侧的两个字母和右侧的单个字母根据信息区域240中的文本内容而分别改变。

根据本发明的一个优选的具体实施方式，处理模块145还适于以如下方式在显示器150上呈现该组控制对象220A、220B、220C和220D，即，该组与导航方向RW一致地逐渐移动过显示器150。这意味着光标符号231和该组控制对象220A、220B、220C和220D的相对位置保持恒定，但是它们一起都移动经过显示器150。因此，实现了稳定的光标控制机构，这在非文本的应用中也是期望的。

图3示出了一个这样的实例，其中，图2a和图2b所示的该组控制对象220A、220B、220C和220D用于相对于显示器150的图像区域的子部分220来控制光标符号331，其中该图像区域包含窗口340形式的信息区域。

与上述相类似，我们假设使用者100已经将注视点130定位在光标符号331周围的激活区并持续至少激活间隔。因此，处理模块145使得该组控制对象220A、220B、220C和220D出现在包含光标符号331的激活区210周围。

而且，使用者朝向右侧执行第一飞快扫视以表示导航方向RW，因此，处理模块145具有被激活的控制对象220A，该控制对象适于完成光标符号331的向右移动并且该控制对象出现在数据操作窗口220a中。而且，我们假设处理模块145调查使用者100的注视点130是否已经定位在激活控制对象220A上并持续阈值停留时间，并且还假设该处理模块发现该标准被满足了。因此，处理模块145初始化在显示器150上的向右光标移动，即，与导航方向RW一致。

此外，所呈现的数据操作窗口220a包括图形信息，其象征激活部210。与上述参照图2b讨论的实例相反，响应于眼跟踪器产生的控制指令而被控制的光标符号331在这里适于操作图形对象，诸如窗口、软件执行的按钮、滚动条、滑块控制(slide control)等。然而，由于光标符号331是基于其使得控制指令被输入到计算机设备140中的对象，所以光标符号331保留在激活部210中。

处理模块145还响应于所产生的控制指令(这里由导航方向RW表示)而重复地更新数据操作窗口220a中的信息，使得当光标符号331在显示器150的图像区域上向右移动时，窗口340的位于初始位置显示的位置右侧的内容逐渐出现在数据操作窗口220a中。

图4示出了可以如何根据本发明一个具体实施方式采用可替换的一组控制对象420A、420B、420C和420D在显示器150上控制光标符号431。这里，显示器150显示了包含窗口440的信息区域。但是，该具体实施方式对于诸如图2b的文本240的其他类型的信息也同样适用。

此外，我们假设使用者100已经将注视点130定位在光标符号431周围的激活区430中并持续至少激活间隔。因此，处理模块145使得该组控制对象420A、420B、420C和420D呈现在显示器150上，使得特定控制对象被定位在显示器150的每个侧面附近。可替换地，无论上述激活标准是否得到满足，控制对象420A、420B、420C和420D总是出现在显示器150上。在任何情况下，第一控制对象420A位于显示器150的右侧面上的固定位置处并且优选地适于完成光标符号431的向右移动，第二控制对象420B位于显示器150的下侧面上的固定位置处并且优选地适于完成光标符号431的向下移动，第三控制对象420C位于显示器150的左侧面上的固定位置处并且优选地适于完成光标符号431的向左移动，以及第四控制对象420D位于显示器150的上侧面上的固定位置处并且优选地适于完成光标符号431的向上移动。

另外，使用者执行了向下的第一飞快扫视以表示期望的导航方向DW。因此，处理模块145激活第二控制对象420B并在其中呈现数据操作窗口420b。而且，我们假设使用者100将他/她的注视点130固定在激活控制对象420B上并持续阈值停留时间，因此使得处理模块145初始化在显示器150上的向下光标移动。

因此，数据操作窗口420b包括图形信息，该图形信息最初复制显示区域，该显示区域例如基本上等同于激活区430。但是，当使用者100将其注视点130保持在激活控制对象420B上并因此向下控制光标符号431时，优选地，在将光标符号431的表示(representation)保持在窗口420b中的恒定位置中的同时，处理模块145重复地更新窗口420b的内容以反映光标符号431沿导航方向DW的向下移动。

根据本发明一个优选的具体实施方式，处理模块145适于调查在移动去激活期间(例如0.5s左右)注视点130是否已位于激活控制对象420B的外部。如果满足了该标准，则处理模块145适于去激活该激活控制对象420B，并因此中断控制指令的眼跟踪器控制的输入，即，在此实例中是光标符号431的向下移动。

适用于本发明所有具体实施方式的这种停止特性为使用者100提供了非常有效的方式以向系统指明当前输入的控制指令应该停止以及应该可以产生取而代之的不同类型的指令。

图5示出了可以如何根据本发明的一个具体实施方式利用第三类型的所提出的控制对象520A以基于被输入到计算机设备140中的眼跟踪器产生的控制指令来影响光标符号531。根据该具体实施方式，一组控制对象包括单一控制对象520A，该单一控制对象可出现在显示器150的图像区域中的任意位置处。

具体地，在处理模块145确定了使用者100已将注视点130定位在光标符号531周围的激活区530内并持续至少激活间隔之后，处理模块145适于不仅能够确认处于激活区530外部的第一飞快扫视的方向130d，而且还可以确定这样的飞快扫视的目标位置。于是处理模块145适于在该位置处呈现控制对象520A，例如，对中在其上。

类似于上述的具体实施方式，控制对象520A包括数据操作窗口520a，该数据操作窗口包括象征显示器150的激活部的图形信息，其中所述激活部当前正受控于被输入到计算机设备140中的控制指令的眼跟踪器控制的输入，在本实例中即为光标符号531。而且，还是在这里，处理模块145适于与导航方向130d一致地在显示器150上移动光标符号531。值得注意的是，导航方向130d可相对于参考方向具有任何角度(0°～360°)，并因此没有被限制于如前所述的水平、竖直、左/右、和上/下方向。

图6示出了在显示器150上执行软件键盘650的屏幕上对象，其中，根据本发明一个具体实施方式响应于使用者的注视点130的移动顺序可以控制键盘650。键盘650与信息区域640相关，该信息区域适于呈现可编辑符号，例如表示文本。光标符号631表示信息区域640中的目前可进行操作的位置。

键盘650包括一组按键620，所述按键适于被眼睛控制以将字母符号、数字、和其他类型的字符输入到计算机设备140中。键盘650还可以包括多个屏幕上对象620A、621和622，所述屏幕上对象在显示器150上视觉地表现软件按键的GUI组件，这使得使用者100可基于眼跟踪器产生的控制指令来执行各种编辑功能。因此，项目(选项，item)620、620A、621和622中的每一个均构成上述类型的控制对象。

处理模块145在这里适于确定使用者100是否相对于这些控制对象而定位了注视点130，以使与特定控制对象相关的激活标准得到满足。如果特定的控制对象被激活，则由此而完成的操作在光标符号631的当前位置处发生。光标符号631进而可以或者如上所述地相对于信息区域640而移动(例如参照图2a和图2b)，或者以本领域已知的任何其他光标控制方式(means)而移动。

如果使用者已将光标符号631控制到信息区域640中的期望位置处，则类似于上述内容，处理模块145于是调查与控制对象620、620A、621和622中的任何一个相关的激活标准是否得到满足。为了示例说明的目的，在本实例中，我们假设已经基于注视点130的移动顺序而激活了退格/删除键620A，其中所述移动顺序是相对于用于该键620A的激活区630的，例如，使用者100已经将注视点130定位在激活区630中并持续至少激活间隔。我们还假设光标符号631位于单词“for”中的字母“o”与“r”之间，如图6所示，从而限定了信息区域640的激活部210。由于键620A适于完成对光标符号631当前位置左侧紧接定位的符号的删除，在这里即为字母“o”，因此将与键620A的激活相关地擦除该字母。作为进一步的结果，光标符号631将在之后被定位在字母“f”与“r”之间。

类似于上面参照图2b而描述的本发明的具体实施方式，当激活键620A时，由该键620A表示的激活控制对象中的数据操作窗口620a最初包括象征光标符号631周围激活部的图形信息。在该实例中，窗口620a显示出了多个字母“for”，即两个字母“fo”处于光标符号631的左侧而单个字母“r”处于光标符号631的右侧。此外，任何可以适合键620A的较小或较大的窗口620a同样可行。而且，可将窗口620a中的符号显示成在窗口620a左边界和右边界中的一个或两个的附近逐渐淡出或部分被隐藏。

自然地，通过选择其他键620中的任何一个，处理模块145可基于注视点130在键盘650上的移动顺序取而代之地确定一个或多个被增加的符号，并且利用这样的被增加的符号而在信息区域640中补充符号。因此，根据本发明的该具体实施方式，多个键(优选是全部键)620、620A、621和622适于在该键被选择作为激活控制对象的情况下呈现相应的数据操作窗口。

图7示出了如何根据本发明一个具体实施方式可操作GUI组件的屏幕上表示740，即当受到旋转时。根据该具体实施方式，第一控制对象720A和第二控制对象720B呈现在显示器上。一旦激活，第一控制对象720A适于完成所选择的图形对象的屏幕上表示的顺时针旋转，而第二控制对象720B适于完成逆时针旋转。这里，通过在激活间隔期间在显示器上移动注视点130(例如通过位于激活区730内的注视点130)以使注视点130首先满足与图形表示740相关的激活标准，来激活控制对象(例如第二控制对象720B)。然后，将通常为飞快扫视形式的注视点130移动至第二控制对象720B。如果注视点130保持位于在该对象720B上并至少持续阈值停留时间，则数据操作窗口720b出现在第二控制对象720B中以确认激活。数据操作窗口720b显示象征图形表示740的图形信息，即眼跟踪器控制的顺时针旋转的当前对象。

而且，当图形表示740在显示器上旋转时，数据操作窗口720b中的反映该事实的信息被重复地更新。优选地，只要控制对象720B保持激活，则旋转就会或者以相对小的步幅(例如以每秒4次更新的更新率进行更新，每次更新旋转1度)或者以相对大的步幅(例如以每秒1次更新的更新率进行更新，每次更新旋转90度)逐渐地继续。任何时候当使用者对已完成的旋转感到满意时，使用者移动注视点130以使去激活标准变得被满足，例如，通过将注视点130置于控制对象720B的外部并持续去激活阈值时间。

图8示出了根据本发明一个具体实施方式而实现的图形对象的眼睛控制操作的又一种类型。这里，可以控制GUI组件的屏幕上表示840来改变颜色。第一控制对象820A适于将所选择的对象变为红色，第二控制对象820B适于将所选择的对象变为蓝色，而第三控制对象820C适于将所选择的对象变为绿色。此外，通过在显示器上移动注视点130以使注视点130满足与特定的图形表示840相关的激活标准，来选择特定的图形表示840。优选地，如果注视点130已经位于特定图形表示840周围的激活区830内并持续激活间隔，则认为激活标准被满足了。

接着，注视点130飞快扫视到控制对象，例如第二控制对象820B，其中，注视点130保持至少阈值停留时间。因此，完成了由第二对象820B指定的图形表示840的改变，在这种情况下，颜色改变成蓝色。为了确认这种改变，在第二控制对象820B中呈现数据操作窗口820b，该数据操作窗口显示出象征图形表示840的图形信息。因此，与将颜色改变成蓝色的图形表示840相关，这个事实通过数据操作窗口820b中的符号信息来反映。

当然，类似于如上所述，也可改变GUI组件的其他特性，诸如纹理(结构，texture)。因此，根据本发明的一个具体实施方式，在显示器上呈现一组眼睛可控的控制对象，该控制对象适于影响与GUI组件的屏幕上表示形成映射的具体纹理。

为了进行概括，现将参照图9中的流程图来描述根据本发明的控制计算机设备的总体方法。

初始步骤910确定使用者的注视点位于显示器上。接着步骤920调查激活标准是否已得到满足，并且如果得到满足的话，则继续步骤930。如果注视点已位于屏幕上对象的激活区内并持续至少激活间隔的话，可以认为激活标准得到满足，其中眼跟踪器控制的指令可基于激活区而被输入到计算机设备中。可替换地，如果在激活间隔期间内相比于与其相邻的控制对象中的任何一个，注视点已经更多地定位在控制对象上，那么可以认为激活标准被满足了。但是如果激活标准没有被满足，则程序循环回到步骤910。

步骤930将控制对象限定为激活并且在显示器上呈现与激活控制对象相关的数据操作窗口，使得窗口的中心点位于从激活控制对象的中心点开始的相对小的偏移距离之内。例如，数据操作窗口可出现在激活控制对象中，或者使得窗口部分地覆盖激活控制对象。可由从激活区记录的注视点中的第一飞快扫视来确定待被激活的控制对象，并且控制对象表示至少一个待被输入到计算机设备中的控制指令。数据操作窗口包括图形信息，该图形信息象征显示器的激活部，该激活部当前为屏幕上对象，眼跟踪器控制的指令基于该激活部而产生。

随后，步骤940调查与激活控制对象相关的去激活标准是否得到满足。优选地，去激活标准与上述的激活标准是互补的。因此，如果激活标准不再被满足的话，则去激活标准被认为得到满足。自然地，如果用于第二激活控制对象的激活标准被满足的话，则通常认为与第一激活控制对象相关的去激活标准被满足了。然而，如果去激活标准被满足的话，则程序循环回到步骤910。否则继续步骤950，其中，响应于由激活控制对象表示的至少一个控制指令来更新数据操作窗口中的信息。

通过编程的计算机设备可以控制上述参照图9所描述的所有程序步骤以及任何随后的步骤。而且，虽然以上参照附图描述的本发明的具体实施方式包括计算机设备以及在计算机设备中执行的程序，然而本发明还可扩展至计算机程序，具体地是在载体上或中的适于实施本发明的计算机程序。该程序可以是源代码形式、目标代码形式、源代码与目标代码之间的中间码形式(诸如部分编译的形式)、或任何其他适于用在执行根据本发明的程序(过程)中的形式。程序可或者是操作系统的一部分，或者是独立的应用程序。载体可以是能够执行(携带)该程序的任何实体或装置。例如，载体可以包括存储介质，诸如闪存、ROM(只读存储器)，例如DVD(数字多功能/视频光盘)、CD(光盘)或半导体ROM、EPROM(可擦可编程只读存储器)、EEPROM(电可擦可编程只读存储器)、或磁记录媒介(例如软盘或硬盘)。而且，该载体可以是可传输载体，诸如可经由电缆或光缆或通过无线电或以其他设备而被传送的电信号或光信号。当以可由电缆或其他装置或设备直接传送的信号来实现该程序时，载体可由这样的电缆或装置或设备构成。可替换地，载体可以是其中嵌入有该程序的集成电路，该集成电路适于执行相关的过程(程序)或用于实施相关的过程。

当在本说明书中使用时，术语“包括”用来表示存在所陈述的特征、整体、步骤或部件。但是该术语并不排除存在或增加一个或多个另外的特征、整体、步骤、或部件或它们的组合。

在本说明书中对于任何现有技术的参考不视为并且也不应该视为是对以下情况的承认或与任何暗示：即，被参考的现有技术构成在澳大利亚的公知常识的一部分。

本发明并不限于附图中所描述的具体实施方式，而是可以在权利要求的范围内自由地变化。

Claims

1.一种用于控制与图形显示器(150)相关的计算机设备(140)的系统，所述计算机设备(140)适于在所述显示器(150)上呈现至少一个GUI组件的相应的屏幕上表示，所述系统包括眼跟踪器装置(145、160、170、181、182)，所述眼跟踪器装置适于确定使用者(100)的注视点(130)在所述显示器(150)上并且响应于所述注视点(130)在所述显示器(150)上的移动顺序而将控制指令输入到所述计算机设备(140)中，所述眼跟踪器装置包括处理模块(145)，所述处理模块适于产生用于呈现在所述显示器(150)上的图形反馈信息(D_FB)以视觉地确认任何输入的控制指令，其特征在于，所述处理模块(145)包括：

调查模块，用于对于至少一个所述控制指令中的任何一个，调查所述注视点(130)的所述移动顺序是否满足与激活区域(430、530、630、730、830)相关的激活标准，

呈现数据操作窗口模块，如果发现这样的标准被满足，所述呈现模块则在所述显示器(150)上的与激活控制对象(220A、420B、520A、620A、720B、820B)相关的位置处呈现数据操作窗口(220a、420b、520a、620a、720b、820b)，使得所述窗口的中心点位于离所述激活控制对象的中心点相对较小的偏移距离内，所述窗口包括象征所述显示器(150)的激活区域(210)的图形信息，所述激活区域当前是控制指令的眼跟踪器控制输入的对象，所述窗口被呈现以使所述激活区域(210)和所述窗口在所述显示器(150)上同时可见，以及更新模块，用于响应于所述控制指令的眼跟踪器控制输入而重复地更新所述数据操作窗口(220a、420b、520a、620a、720b、820b)中的所述信息。

2.根据权利要求1所述的系统，其特征在于，相对于所述激活区域(430、530、630、730、830)，所述处理模块(145)还包括确定激活控制对象模块，用于基于所述注视点(130)的所述移动顺序而确定所述激活控制对象(220A、420B、520A、620A、720B、820B)。

3.根据权利要求2所述的系统，其特征在于，所述注视点(130)的所述移动顺序包括从所述激活区域(430、530、730、830)的第一飞快扫视，所述处理模块(145)还包括确定模块，用于基于所述注视点的所述移动顺序而确定所述激活控制对象(220A、420B、520A、720B、820B)。

4.根据前述权利要求中任一项所述的系统，其特征在于，至少一个所述控制指令表示下列中的至少一个：

相对于所述显示器(150)的用于光标符号(231、331、431、531、631)的导航方向(RW、DW、LW、130d)；

至少一个GUI组件的至少一个屏幕上表示(740)在所述显示器(150)上的旋转；

至少一个GUI组件的至少一个屏幕上表示(840)在所述显示器(150)上的颜色变化；以及

至少一个GUI组件的至少一个屏幕上表示在所述显示器(150)上的纹理改变。

5.根据权利要求4所述的系统，其特征在于，至少一个所述控制指令表示相对于所述显示器(150)的用于光标符号(231、331、431、531、631)的导航方向(RW、DW、LW、130d)，并且所述处理模块(145)还包括：

区分模块，用于相对于所述激活区域(430、530)将导航方向(RW、DW、LW、130d)与第一飞快扫视区分开；以及

移动模块，用于在所述显示器(150)上与所述导航方向(RW、DW、LW)一致地移动光标符号(231、331、631)。

6.根据权利要求5所述的系统，其特征在于，所述处理模块(145)还包括呈现组控制对象模块，用于在所述显示器(150)上呈现一组控制对象(220A、220B、220C、220D；420A、420B、420C、420D；520A；620)，所述组中的每个控制对象适于指示相对于信息区域(240、340、440、540、640)的用于光标符号(231、331、431、531、631)的相应的导航方向(RW、DW、LW、130d)。

7.根据权利要求6所述的系统，其特征在于，所述处理模块(145)包括

所述呈现组控制对象模块，以使得所述组与所述导航方向(RW)一致地逐渐移动经过所述显示器(150)的方式在所述显示器(150)上呈现所述组控制对象(220A、220B、220C、220D)；以及

所述移动模块，用于与所述导航方向(RW)一致地在所述显示器(150)上移动所述光标符号(231、331、431、531、631)。

8.根据权利要求6所述的系统，其特征在于，所述处理模块(145)包括：所述呈现组控制对象模块，在所述显示器(150)的固定位置处呈现所述组控制对象(420A、420B、420C、420D；620)，以及所述移动模块，用于与所述导航方向(DW、LW)一致地在所述显示器(150)上移动所述光标符号(431、631)。

9.根据前述权利要求1至3和5至8中任一项所述的系统，其特征在于，所述显示器(150)呈现包括可编辑符号的信息区域(640)，并且所述处理模块(145)包括：

确定增加符号模块，用于基于所述注视点(130)在多个屏幕上对象(620、621、622)上的移动顺序来确定至少一个增加的符号，所述屏幕上对象视觉上表示呈现在所述显示器(150)上的软件键盘的GUI组件；以及

补充模块，用于为所述信息区域(640)中的所述符号补充所述至少一个增加的符号。

10.根据前述权利要求1至3和5至8中任一项所述的系统，其特征在于，所述显示器(150)呈现包括可编辑符号的信息区域(640)，并且所述处理模块(145)包括：

所述调查模块，还用于调查所述注视点(130)是否满足与表示删除键的激活控制对象(620A)相关的激活标准，以及

删除子组模块，如果发现这样的标准被满足，删除子组模块则删除所述符号中的子组，所述子组包括所述可编辑符号中的至少一个。

11.根据权利要求6所述的系统，其特征在于，所述组控制对象包括单一控制对象(520A)，并且所述处理模块(145)适于：

确定在所述激活区域(530)外部的用于第一飞快扫视(130d)的目标位置；

在所述目标位置处呈现所述单一控制对象(520A)，所述单一控制对象(520A)包括所述数据操作窗口(520a)；以及

在所述显示器(150)上与由所述第一飞快扫视(130d)

表示的导航方向(130d)一致地移动所述光标符号(531)。

12.根据前述权利要求1至3和5至8中任一项所述的系统，其特征在于，所述处理模块(145)适于：

调查所述注视点(130)是否满足与所述激活控制对象(220A；420B；520A；620A、720B、820B)相关的去激活标准，并且如果发现这样的标准被满足，

则去激活所述激活控制对象(220A；420B；520A；620A、720B、820B)。

13.一种控制与图形显示器(150)相关的计算机设备的方法，所述计算机设备(140)适于在所述显示器(150)上呈现至少一个GUI组件的相应的屏幕上表示，所述方法包括：

确认使用者(100)的注视点(130)在所述显示器(150)上并且响应于所述注视点(130)在所述显示器(150)上的移动顺序而

将控制指令输入到所述计算机设备(140)中，

产生用于呈现在所述显示器(150)上的图形反馈信息(D_FB)以视觉地确认任何输入的控制指令，

其特征在于，

对于至少一个所述控制指令中的任何一个，调查所述注视点(130)的所述移动顺序是否满足与激活区域(430、530、630、730、830)相关的激活标准，并且如果发现这样的标准被满足，

则在所述显示器(150)上与激活控制对象(220A、420B、520A、620A、720B、820B)相关的位置处呈现数据操作窗口(220a、420b、520a、620a、720b、820b)，使得所述窗口的中心点定位在离所述激活控制对象的中心点相对较小的偏移距离之内，所述窗口包括象征所述显示器(150)的激活区域(210)的图形信息，所述激活区域当前是控制指令的眼跟踪器控制输入的对象，所述窗口被呈现以使所述激活区域(210)和所述窗口在所述显示器(150)上同时可见；并且

响应于所述控制指令的眼跟踪器控制输入来重复地更新所述数据操作窗口(220a、420b、520a、620a、720b、820b)中的信息。

14.根据权利要求13所述的方法，其特征在于，相对于所述激活区域(430、530、630、730、830)，基于所述注视点(130)的所述移动顺序而确定所述激活控制对象(220A、420B、520A、620A、720B、820B)。

15.根据权利要求14所述的方法，其特征在于，所述注视点(130)的所述移动顺序包括从所述激活区域(430、530、730、830)的第一飞快扫视，其中所述处理模块(145)适于基于所述注视点的所述移动顺序来确定所述激活控制对象(220A、420B、520A、720B、820B)。

16.根据权利要求13至15中任一项所述的方法，其特征在于，至少一个所述控制指令表示下列中的至少一个：

相对于所述显示器(150)的用于光标符号(231、331、431、531、631)的导航方向(RW、DW、LW、130d)，

17.根据权利要求16所述的方法，其特征在于，至少一个所述控制指令表示相对于所述显示器(150)的用于光标符号(231、331、431、531、631)的导航方向(RW、DW、LW、130d)，并且所述方法包括：

相对于所述激活区域(430、530)将导航方向(RW、DW、LW、130d)与第一飞快扫视区分开；以及

在所述显示器(150)上与所述导航方向(RW、DW、LW)一致地移动光标符号(231、331、631)。

18.根据权利要求17所述的方法，其特征在于，在所述显示器(150)上呈现一组控制对象(220A、220B、220C、220D；

420A、420B、420C、420D；520A；620)，所述组中的每个控制对象适于指示相对于信息区域(240、340、440、540、640)的用于光标符号(231、331、431、531、631)的相应的导航方向(RW、DW、LW、130d)。

19.根据权利要求18所述的方法，其特征在于：

以使得所述组与所述导航方向(RW)一致地逐渐移动经过所述显示器(150)的方式而在所述显示器(150)上呈现所述组控制对象(220A、220B、220C、220D)；以及

与所述导航方向(RW)一致地在所述显示器(150)上移动所述光标符号(231、331、431、531、631)。

20.根据权利要求18所述的方法，其特征在于：

在所述显示器(150)的固定位置处呈现所述组控制对象(420A、420B、420C、420D、620)；并且

在所述显示器(150)上与所述导航方向(DW、LW)一致地移动所述光标符号(431、631)。

21.根据权利要求13至15和17至20中任一项所述的方法，其特征在于，所述显示器(150)呈现包括可编辑符号的信息区域(640)，并且所述方法包括：

基于所述注视点(130)在多个屏幕上对象(620、621、622)上的移动顺序来确定至少一个增加的符号，所述屏幕上对象视觉上表示呈现在所述显示器(150)上的软件键盘的GUI组件；以及

为所述信息区域(640)中的所述符号补充所述至少一个增加的符号。

22.根据权利要求13至15和17至20中任一项所述的方法，其特征在于，所述显示器(150)呈现包括可编辑符号的信息区域(640)，并且所述方法包括：

调查所述注视点(130)是否满足与表示删除键的激活控制对象(620A)相关的激活标准，并且如果发现这样的标准被满足，

则删除所述符号中的子组，所述子组包括所述可编辑符号中的至少一个。

23.根据权利要求18所述的方法，其特征在于，所述组控制对象包括单一控制对象(520A)，并且所述方法包括：

在所述显示器(150)上与由所述第一飞快扫视(130d)表示的导航方向(130d)一致地移动所述光标符号(531)。

24.根据权利要求13至15和17至20中任一项所述的方法，其特征在于：

调查所述注视点(130)是否满足与所述激活控制对象(220A、420B、520A、620A、720B、820B)相关的去激活标准，并且如果发现这样的标准被满足，

则去激活所述激活控制对象(220A、420B、520A、620A、720B、820B)。