CN106774886A - 视线跟踪界面中的缩放效果 - Google Patents

Abstract

一种基于眼部跟踪的图形用户界面的缩放操作，其中该缩放操作，如借助于滚轮等发起，相对于基于眼部跟踪数据确定的用户注意焦点而进行。提出了用于基于对关注点进行记录并服从多种加权函数的滑动窗口来确定注意点的机制。

Description

视线跟踪界面中的缩放效果

技术领域

本发明涉及支持视线跟踪的图形用户界面，并且特别涉及这样的界面中的比例移位或缩放特征。

背景技术

过去大约50年来发生的信息技术革命意味着许多人类活动现涉及并且通常围绕着信息技术系统特别是计算机的操作。支持这些交互的界面的特性始终与这些系统的处理能力和远程通信能力并行地演进，从打孔卡、键盘、鼠标驱动图形用户界面以及到最近的多点触摸的触屏界面，显示给用户的信息的丰富性和可访问性已增加，并且交互的精确度和便捷性也已改善。然而，基于与所涉及的设备的人工交互，这种操作依然系统地存在。

同时，人类生理机能表明，个体的眼部面向其关注的对象。原理上，其提供了直观的和透明的机制用于与计算机进行的界面。然而在实践中，这样的界面已被证明难以实现，需要昂贵的光学硬件，并且为保持满意性能而施加了对用户移动自由的显著限制。然而，技术的优越性越来越使得视线跟踪方法可行，特别地是当用户必须长时间监视界面中的大量移动元素时，以及当实时的对界面的失败操作的错误解释的后果足够严重以证明该系统的花销是合理的时。这种设施的示例包括空中交通管制显示器，车辆平视显示器等。

两个独立交互模式的并行的存在需要有效的混合交互机制，所述混合交互机制形成每个模式的内在优势的最佳使用。

发明内容

根据第一方面，提供了一种管理更大空间中的物理空间的图形表示的方法，包括下列步骤：生成选定空间的图形表示，其中选定空间位于更大空间中，并且其中该选定空间的大小是关于预定比例(predefined scale)来定义的，并且显示该表示。参考该用户的关注点来确定在该表示中用户的注意点，并且，响应于该用户经由用户界面提供输入，选定物理空间被重新定义以对应于相对于该注意点定位并且包含该注意点的新的选定空间，其中该新的选定空间位于更大空间中，并且该新的选定空间是以新的比例来定义的。然后相应地重新生成该图形表示。

该方法支持与该界面的直觉(instinctive)关系，其中用户的注意焦点被自动选择用于更近的观看。通过能够扩展或细化用户的感知领域而不改变其关注点，可能在任一时间给用户呈现相应地更小的区域，降低对大型高分辨率显示器的需求，并且由此降低图形处理需求和能耗。对用户直接视场以外的正在进行事件的方便的和直觉的感知可改进该用户对即将出现的问题的预见能力，并且与利用传统系统相比更早地采取补救措施。取决于环境，这一点将被转变为改进的安全性和降低的成本。

根据第一方面的进展，在生成步骤，该图形表示被生成以包含图形用户界面光标。

通过包含图形用户界面光标，诸如鼠标指针，与已有图形用户界面平台的兼容性被保证，通过基于当前任务的性质为该用户提供对可从中选择的界面机制的选择，来提供协同。

根据第一方面的进一步进展，该生成、显示和确定步骤被迭代地重复。

通过持续更新该图形表示，增强了用户对在该界面中进行直接介入的印象，改进了交互效率。

根据第一方面的进一步进展，在该生成步骤，该图形表示被生成以包含该注意点的指示。

在某些情况下，该缩放特征看上去表现得不规律，因为由该系统选择的注意点可能不同于用户意图。为避免这方面的怀疑，该系统可显示该系统当前考虑的对该注意点进行反映的点。

根据第一方面的进一步进展，确定该用户在该表示中的注意点的步骤包括，确定在预定持续时间中该用户的关注点的加权平均。

在预定持续时间上的加权平均使得可能更准确地确定该注意点，这是通过了：滤出用户的关注点的暂时移动，以及将其他预见性因素纳入考虑。这导致对该用户更透明的体验，其中该用户界面看上去隐含地领会他的真实意图。这相应地转变为更快速和有效的用户交互。

根据第一方面的进一步进展，确定该表示中用户的注意点的步骤包括，相对于所述图形表示中特征的特定类型而择优地定位所述注意点。

相对于特征的特定类型择优地定位该注意点通过更少地注意不太可能的输入来使得可能在统计等级更可靠地预测该注意点。其导致更透明的用户体验，其中该用户界面看上去隐含地领会他的真实意图。其相应地转变为更快速和有效的用户交互。

根据第一方面的进一步进展，新的选定空间的中心位于该注意点。

通过移位该注意点至该显示器的中心，其可更均匀地显示周围元素，给出兴趣点周围的更具有代表性的图片。其可防止为获取相同的结果进行额外的用户交互的需求，降低系统处理和存储器需求，并且因此降低能耗。

根据第一方面的进一步进展，选定空间、更大空间和该图形表示是二维的。

根据第一方面的进一步进展，选定空间、更大空间和该图形表示是三维的。

根据第一方面的进一步进展，在重新定义选定空间的步骤中，选定空间的中心相对于该更大空间不改变。

通过相对于该注意点保持选定空间的中心，该缩放过程为透明，因为该用户具有仅将他的注意力更紧密地集中在固定点上的印象。其可改进该交互的沉浸式特性，改进注意力和环境感知。

根据第二方面，提供了一种计算机程序，适用于实现第一方面的步骤。

根据第三方面，提供了一种计算机可读介质，包含第二方面的计算机程序。

根据第三方面，提供了一种适用于生成选定空间的图形表示的装置，其中选定空间位于更大空间中并且其中选定空间的大小是关于预定比例来定义的。该装置进一步适用于使显示单元显示该表示。该装置进一步适用于参考接收自眼部跟踪系统的信号确定在该表示中用户的注意点，并且响应于接收到经由用户界面的输入来重新定义选定空间以对应于相对于该注意点定位并包含该注意点的新的选定空间，该新的选定空间位于该更大空间中，并且该新的选定空间是以新的比例定义的。该装置进一步适用于基于所述重新定义的选定空间来重新生成该图形表示，并且使显示单元显示重新生成的表示。

该方法支持与该界面的直觉关系，其中用户的注意焦点被自动选择用于更近的观看。通过能够扩展或细化用户的感知领域而不改变其关注点，可能在任一时间给用户呈现相应地更小的区域，降低对大型高分辨率显示器的需求，并且由此降低图形处理需求和能耗。对用户直接视场以外的正在进行事件的方便的和直觉的感知可改进该用户预见出现问题的能力，并且比利用传统系统更早地采取补救措施。取决于环境，这一点将被转变为改进的安全性和降低的成本。

附图说明

现将参考附图描述本发明的以上以及其他优点，其中：

图1示出了根据第一实施例的方法的步骤；

图2a呈现了第一阶段的实施例；

图2b呈现图2a的第二阶段的实施例；

图3示出了提供改进的对注意点(point of attention)的定义的进一步实施例；

图4示出了适用于实现本发明的实施例的通用计算系统；

图5示出了适用于组成实施例的智能手机设备；

图6示出了适用于组成实施例的车辆：并且

图7示出了适用于组成实施例的计算机设备。

具体实施方式

如上述，基于视线的用户界面特别地适合应用在当用户必须长时间跟踪监视界面中的大量移动元素时，以及当实时的对界面的失败操作的错误解释的后果足够严重以证明该系统的花销是合理时，诸如空中交通管制显示器，车辆中的平视显示器等。通常在该应用中，用户将需要在高层次概览和更突出重点的视图之间移动，所述高层次概览涵盖大容量空间(其可为真实空间的表示，或仅存在于界面环境中的虚拟空间)或具有最少细节的多个实体，所述更聚焦的视图提供关于选定的空间容量、实体数量等的更多细节。

在这些视图之间的移动通常称为缩放效果，因为用户可具有物理地靠近或远离兴趣点的印象。这种类型的效果必然基于所选点的周围，该点被当作是用户看上去移动朝向或远离的焦点。在传统的基于鼠标交互的用户界面中，该点通常通过特别地为该目的选择一个点而指定，例如通过在该点上进行点击，或以其他方式将当前具有焦点(也即最近被选择)的任何界面元素作为该焦点。在某些情况下，鼠标光标的当前位置可被当作焦点。由于在该情况下可在移动鼠标的同时实现缩放，缩放焦点还可在缩放过程期间改变。通常在基于鼠标的界面，缩放效果是由鼠标上或其他处的滚轮来实现的。

因此，尽管基于鼠标的界面的机制被较好地定义，但对于视线跟踪界面来说情况并非如此。一个特定困难产生于：用户关注的趋向在界面中不断移动，从一点掠过到另一点，在感兴趣区域附近悬停而在次重要点之间来回突进。在这样的环境下，系统在确定哪个点应当作为缩放焦点时面临显著挑战。

另一特定困难来自如下事实：其中基于视线的界面特别地适合的环境通常缺少固定对象诸如图标等(其可考虑为具有焦点)，例如因为任一对象都可能快速而不可预测地移动。

另一问题在于提供合适的机制来发起和控制缩放操作。

眼部跟踪设备大多是现成的产品，并需要消费者自己来将其集成于已有系统。这种集成可能是成问题的，尤其当已有环境诸如飞行或驾驶仿真器不允许与第三方软件通信时。

最终，眼部跟踪器生成大量数据，其需要被存储然后处理。当眼部跟踪器作为系统输入使用时，数据必须被实时地或近实时地处理，因此进一步增加了复杂性。

图1示出了根据第一实施例的方法的步骤。如图1所示，提供了一种管理更大空间中的选定空间的图形表示的方法。其可为真实物理空间(例如陆地或空域的一部分)的表示，或可选地为虚拟桌面或其他计算机生成环境。该方法开始于生成更大空间的选定部分的表示的步骤11。该表示将会固有地具有比例，其或是作为更大空间的几分之一(afraction of the larger space)，或是按照对应的物理空间的真实尺度。

表示本身可生成自任一合适的源，包括地理数据文件、其他预定图形元素或直播视频信号，或这些或其他数据类型的任何组合。特别地，其可完全或部分地被生成为对生成该表示的设备的操作系统的表示。

所述选定空间以及所述更大空间可为二维或三维。该表示也可为二维或三维。通常，该表示可为地球表面的二维表示，考虑到地球的总体球形形状以及在其表面不同点的直径的变化，所述地球表面当然固有地为三维。然而，通过应用合适的投影，以及无视来自平均局部直径的局部偏差(山地等)而以二维表示地球的表面部分是常见的。

该方法接下来进入步骤12，在该步骤图形表示被显示给用户。此显示可能借助于传统CRT或LCD监视器，无论是作为2d还是3d图像，以全息照相方式或其他。

该方法接下来进入步骤13，在该步骤参考用户的关注点来确定用户的注意点。

多种系统用于跟踪眼部移动，其可适用于实现该步骤。任何这样的系统都可被使用，包括头戴式的、基于台式的或远程的系统。这些设备通常使用视频照相机和处理软件以根据红外发射源的瞳孔/角膜反射来计算视线位置。为增加关于台式设备的数据精确度，利用在桌面上的固定下颌来限制头部移动是可能的。校准过程也是常见的，以保证系统精确度。校准过程通常包含显示在视图场景中的不同位置的某些点；眼部跟踪软件将计算对瞳孔位置和头部位置进行处理的变换。基于台式的眼部跟踪器通常为双目的(binocular)，并因此可计算眼部的散度(divergence)并实时以应用于屏幕的x-y像素来输出视线交叉点(GIP)的原始坐标。该特征允许视线位置的集成作为HMI的输入。感兴趣区域(AOI)然后被定义以与用户进行交互。当视线满足AOI时，事件被生成，并且特定的信息片段将被发送。当AOI为具有某些自由度的界面元素(例如滚动栏)时，称为动态AOI(dAOI)。相比于静态AOI，dAOI的跟踪更有挑战性。

在某些实施例，注意点可简单地被当作瞬时关注点(instantaneous point ofregard)，即，当在步骤14中输入被接收的瞬间、眼部跟踪系统认为用户正在观看的点。在其它实施例，注意点可将其他因素诸如系统状态、历史信息等纳入考虑。在特定实施例，用户的注意点的确定可包括确定在预定持续时间上的用户关注点的加权平均——进一步实施例在下文描述。

存在两种眼部跟踪数据收集方法。第一种并且是最常见的一种为使用原始软件(用于数据记录和分析)，其通常由设备厂商提供。第二种为开发特定软件模块(利用系统开发者工具(SDK)，通常提供有眼部跟踪器)用于数据收集。多种参数将影响从眼部跟踪系统发出的原始数据的精确度。其中，视频帧率和照相机分辨率对于眼部跟踪软件至关重要。已有系统使用从30到2000Hz的视频帧率，并且预期更高的帧率将被用于未来系统。对于高精度眼部跟踪，高频率将改进数据过滤，但也增加了数据大小和处理时间，这对在线处理是关键的。

在实验期间收集的眼部跟踪数据可通过统计方法和可视化技术分析来揭示眼部移动特性(凝视(fixation)，热点(hot spot)，扫视(saccade)和扫描路径(scanpath))。凝视，扫视和平滑寻踪(smooth pursuit)事件可根据原始数据坐标计算。为将这些信息片段与人机界面(HMI)相互关联，必须收集某些界面相关数据(即界面中的对象坐标，HMI事件如鼠标悬停等)。此信息可被用于推断用户行为：

·凝视(平滑寻踪)表示在明显定向(overt orienting)期间的视觉编码；

·扫视是当注意焦点被移位时，视觉探究的过程；

·在特定对象上的凝视次数常常是“特定对象被认为有重要性”的指示符；

·平均凝视持续时间或总的停留时间(即，用户的视线被确定为固定在特定点或区域上的时间)可以与通过对象的设计或相关的任务投入(task engagement)而引起的视觉需求相互关联。

扫视是快速的眼部移动，其用于改变凝视点，并且在此期间，如通常考虑，没有信息被编码。当用户盯住对象(通常在150ms阈值期间)并编码相关信息时，凝视发生。有时，较短的凝视被纳入考虑。不同于被认为是自顶向下视觉处理的一部分的长时间凝视，较短的凝视被视为自底向上过程的一部分。据估计，90％的浏览时间专用于凝视。其他复杂视觉事件如滑动(glissade)或向后扫视(retro-saccade)可被考虑。存在诸多眼部移动事件检测算法。然而不存在这些算法的通用标准。眨眼持续时间和频率可用于评估认知工作负荷(cognitive workload)，两者均可利用眼部跟踪器收集。瞳孔直径变化还可作为认知工作负荷的指示，其被定义为任务唤起瞳孔响应(TEPR)。然而，光源(环境，电子显示器等)必须被严格控制，因为瞳孔光反射比认知对瞳孔大小的影响更明显(the pupil light reflexis more pronounced than the impact of the cognition on pupil size)。此外，甚至凝视区域亮度(即使当计算机屏幕亮度不变时)也对瞳孔大小有影响。扫描路径还可提供对HMI用法的了解。一般来说，收集和清除的数据可被分析以推断因果链接、统计和用户行为。通过考虑这些各种因素，系统尝试连续地维持显示器上对表示用户的当前焦点的点的指示。

实际上，该步骤通常以时间间隔重复或持续地重复，为了用户界面的其他功能的目的。

当在步骤14确定用户已经经由用户界面提供具体输入时，该方法进行到步骤15，其中选定空间被重新定义以在新比例下对应于所述更大空间中的空间，并相对于在步骤13确定的关注点定位。在某些实施例中，新的选定空间可以以在步骤13确定的关注点为中心，或可选地，以预定的绝对距离或显示区域的比率在任一方向偏移。

在某些实施例，系统可寻求智能地定义选定空间，以包含关注点和尽可能多的实体或尽可能多的特定类型实体。

总体上讲，取决于用户在步骤14提供的输入，新的比例可大于或小于在步骤11所用的比例，分别对应于向内缩放或向外缩放。

用户输入可由传统界面操作提供，如利用鼠标执行“点击”操作，通过触摸显示区域(其具有触屏界面等)，或使用键盘的指定键，脚踏板，鼠标或键盘的滚轮，拨号盘，游戏杆等。用户一般具有缩小或放大的选择权，除非在任一方向已经处在最大缩放水平。

在某些情况下，可定义复数个固定比例，由此用户输入提示将所选比例移位到下一个定义的增量(defined increment)。

在某些情况下，例如在滚轮，拨号盘等被使用时，比例的变化速率可定义为滚轮或拨号盘被转动的速率的函数。

一旦系统确定以新的比例重新定义选定空间，则这可以借助于当前选定空间和初始选定空间之间的一系列中间位置来渐进地实现，以模拟从用户视角的靠近或远离关注点滑动的(根据缩小还是放大)效果。

在某些情况下，可能希望在缩放期间改变显示器的取向。例如，在某些情况下，可能希望采用某些其他取向，例如用于更好的容纳相同视图中的某些特征，以将该取向顺着或逆着感兴趣实体的行进方向对齐，以与所选物理空间的某些特征(如公路，跑道，海岸线等或其他)对齐。在一系列中间的选定物理空间被选择时，这些空间可对应地采用中间取向，以便模拟渐进式重定向。应当理解，在显示器为三维时，该重定向可对应地围绕任一轴发生。

因此，一旦选定空间被重新定义，在步骤16图形表示以新的比例生成。

如上述，视线跟踪界面特别地常见于当用户必须长时间跟踪界面中大量移动元素时、以及当实时的对界面的失败操作的错误解释的后果足够严重以证明这样的系统的花销是合理的时。这样的设施的一个示例为空中交通管制显示器，其中空中交通管制器必须监视指定空域中的移动飞机。实施例现将在该环境下描述。

图2a呈现了第一阶段中的实施例。如图2a所示，呈现了由十字线(reticule)划分的圆形周界201，所述十字线的中心对应于此圆形区域的中心，该圆形区域以兴趣点为中心，该兴趣点可以是显示器本身的位置以及因此是显示器用户的位置。圆形区域进一步被共享圆形周界201的轴的三个渐进地更小的圆划分。该圆形表示真实世界中的空间的基本圆柱形体积，如同投影于下面的地面，并且因此与比例相关联。该空间相应地对应于关于图2a的表示而选定的空间，其是根据以上关于图1描述的方法所生成的。最小圆的直径为圆形周界的四分之一，次小圆的直径为圆形周界的一半，而最大圆的直径为圆形周界的四分之三，以使这些圆可用于确定显示器上任一项距兴趣点的距离。十字线的四个轴照例对应于罗盘的基准点，并且如所示出，圆形周界附加地被设置有指示周界周围的10度增量的标记，从而显示器上任一对象相对于兴趣点的方位(bearing)也可被方便地确定。

尽管前述的显示特征一般为静态的，但也进一步示出了动态生成的多个特征。其包括地理特征205，表示例如在空间(volume)底部的在观测下的地面特征。其他特征包括道路标记204周围构造的预定飞行路径203。飞机206由小方块表示，并关联于表示其当前方位的线路。关联于每个平面的信息207在每个飞机附近表示。

示出于图2a的显示器总体上关联于图形用户界面，其可允许用户改变兴趣点或获取更多关于在该表示中示出的特定对象的信息。例如，当用户需要关于特定飞机的更详细信息时，其可选择为由暗框208示出，使关联于相同的飞机的附加细节显示于框209。

正如所示，进一步提供了一种鼠标光标，其由用户利用鼠标或相似光标控制设备引导，并可用于以传统方式与界面交互。

正如所示，进一步提供了一种视线光标211。其反映了系统基于上述多种考虑当前认为是用户视线焦点的位置。应当理解，视线光标211的移动完全独立于鼠标光标210的移动。

根据参考图1描述的实施例的步骤14，当用户提交指定输入时，选定空间基于新的比例被重新定义。如所讨论，其可为更大或更小的比例，分别对应于缩小操作或放大操作，并且可以更大或更小的程度来缩放，具有或不具有中间位置，具有或不具有伴随的在取向上的改变等，如上所讨论。

在参考图1描述的方法的步骤16，图形表示基于重新定义的选定空间重新生成。

图2b呈现图2a在第二阶段的实施例。其第二阶段对应于基于重新定义的选定空间重新生成的图形表示。

如图2b所示，呈现了由十字线划分的圆形周界201，所述十字线的中心对应于圆形区域的中心，所述圆形区域以兴趣点为中心，该兴趣点可为显示器本身的位置并且因此是显示器用户的位置。所述圆形区域进一步被共享圆形周界201的轴的三个更小的圆划分。该圆形表示真实世界中的空间的基本圆柱形体积，如同投影于下面的地面，并且因此与比例相关联。该空间相应地对应于图2b的表示的新的选定空间，其是根据以上结合图1描述的方法所生成的。元素201、202、203、204、205、206、207、208、209、210和211对应于图2a的相同参考数字的元素。正如所示，尽管不同元素的相对位置被保留，仍然可见的元素占据了所选区域的较大比率。在该实施例中，视线光标211相对于其在图2a中的位置仍在相同的位置，并且该点为缩放操作焦点。在其它实施例中，视线光标可被平移至显示器中心，如以下讨论，同时保留其相对于其他元素的相对位置。换言之，系统已在图2a所示视线光标的位置上缩小，以生成图2b的图形表示。

应当理解，一旦图形表示被重新生成，视线光标211可开始再次在显示器周围移动，因其跟随用户视线。

一旦图形表示基于新的选定空间重新生成并显示至用户，系统可进一步重新定义选定空间以恢复到初始的选定物理空间。这可在预定时间后自动发生，或响应于用户动作发生，例如通过传统界面操作的方式，诸如用鼠标、轨迹球或类似物在图形用户界面控件上移动光标，并执行“点击”操作，通过触摸在这里具有触摸屏幕界面的显示器或类似物的所涉及的微件，或通过任何其他合适的图形用户界面操作。进一步地，通过小键盘，脚踏板，鼠标按钮的方式的简单动作可在某些情况下足以使系统恢复到初始选定空间。

一旦系统确定恢复到初始选定空间，其可借助于介于当前比例和生成初始选择物理空间的图形表示时使用的比例之间的一系列中间比例来渐进地实现，以模拟从用户视点的朝向或远离其开始位置移动的效果。所模拟的行程可遵循这两点之间的直线或遵循某些其他路线，例如由可用地面路线或飞行路径决定。当遵循从初始选择物理空间到感兴趣实体的特定路径时，根据需要，可以遵循相同的路径回到初始选择物理空间或不这样做。

类似地，可能希望改变显示器的取向，特别地当取向在初始选定空间和新的选定空间的表示之间被改变时。在一系列中间选定空间被定义时，这些中间选定空间可对应地采用中间取向，以模拟渐进式重定向。

应当理解，在显示器为三维时，其重定向可对应地相对于任一轴产生。

尽管在图2a和2b的实施例视线光标被呈现为图形表示的一部分，但本文描述的此实施例或任何其他实施例的变型中，视线光标可同样地为对用户不可见。

在某些实现中，呈现视线光标可能干扰用户，因为可见的眼部光标可吸引用户关注并建立可能的不希望的效果，诸如称为光标移位的现象。

如上所讨论，关注点的定义，以及在可利用时，视线光标位置并非微不足道的事情。在一个方面，用户的视线在图形表示中持续移动，并且其可能并非总是清楚用户故意将他的关注固定于特定位置。另一方面，用户视线通常可能暂停在特定位置，而这不一定指示该用户要求关于该区域传递的信息而采取任何特定步骤。将该输入过滤掉以在图形表示中标识该点，该点至多可被认为是表示用户注意的瞬时焦点(其可不同于瞬时视线点)，这有助于用户提升当他或她操作用户界面(例如在关于图1描述的方法的步骤14)时达到用户的真实意图的成功机会。

可以设想多种机制用于在这个方面改进性能。

图3示出了进一步的实施例，提供改进的注意点的定义。图3示出了与图2相似的图形表示，并且对应编号的元件可被认为是相同的。此外，如图2所示，这里提供了阴影区域310。正如所示，阴影区域包含5个不同的区域，其中每个区域使用阴影的三个不同级别之一来遮蔽。具体地，区域311为轻阴影，区域312，313和314为重阴影，而区域315为黑色，此外，这些区域以层次方式设置，以使重阴影区域在轻阴影区域中，而黑色区域在重阴影区域中。此类型的表示可称为热度图(heat map)。我们可认为，如果图形表示被划分为多个区域，而这些区域的每个中的瞬时关注点(instantaneous point of regard)的位置被记录，这些区域的平均存在(average presence)的图形表示可看上去类似区域310，其中阴影强度表示关注点存在于每个区域的所记录持续时间量，由此，阴影越深色，在所涉及的区域中的花费时间越多，基于此，最深色的区域的中心可被选择为当前注意点，如在参考描述图1的方法的步骤13确定。在某些情况，所记录的持续时间可为滚动窗口，由此以最近值持续地更新记录，同时最旧值被丢弃。在某些情况下，给每个区域的重要性(prominence)可以不仅考虑瞬时关注点位于该区域的持续时间，还考虑其出现被记录有多么新近，以使得与更旧的活动相比，更近的活动将符合更多的重要性。在某些情况，如果区域处于在记录持续时间期间关注点经过的其他区域的定义的接近度内，则该区域可被给定更多的重要性，以进一步强调，以仅接收偶然或不定时的关注的区域为代价，而记录永久活动的区域。类似地，在某些情况下，瞬时关注点可被认为所具有的效应面积(area of effect)在大小上大于被记录区域，以使多个邻接的区域可记录对于任何给定瞬间的瞬时关注点的存在。进一步地，更大的加权可给予更接近相邻接区域的中心的区域。应当理解，面积(area)不需要被显示给用户，而是仅作为对最有可能的兴趣点进行定义的基础而为用户计算。任何数量的存在持续时间等级(由图3不同的阴影度表示)可被定义，并且等级的数量和/或等级之间的阈值可取决于系统条件动态地改变。多个用户的关注点数据可被合并，以定义一个或多个用户或另一用户的注意点。

用于确定注意点的另一机制可包括相对于图形表示中某些类型的特征择优地定位注意点。其可设计将注意点择优地分配给屏幕的特定部分。在特别有可能有缩放动作的图形表示中，可定义特定特征，对象，实体或图标。若情况如此，则这样的对象、实体或图标在用户界面中可被给予磁性效果，以使每当该关注点在该特征、对象、实体或图标附近时，注意点被假设为附近的特征，对象，实体或图标。

前述两个方法当然可被合并，例如通过分配特定权值至图形表示的特定区域，以使特定区域的关注点所花费的时间具有比特定其它区域更强的效果，其中高权值区域为对应于特征，对象，实体或图标的那些。类似地，不同的区域可具有捕获半径，其中某些区域仅寄存如果正好从中经过的关注点的通道，而其他区域寄存如果仅在附近经过的关注点的通道，其中捕获半径较大的区域为对应于特征，对象，实体或图标的那些。

根据特定实施例，提出了一种基于眼部跟踪的图形用户界面中的缩放操作，其中缩放操作借助于滚轮等发起，相对于基于眼部跟踪数据确定的用户的注意焦点而进行。提出了基于滑动窗口来确定注意点的机制，该滑动窗口对关注点进行记录并服从多个加权函数。

公开方法可采用完全硬件实施例(例如FPGA)，完全软件实施例(例如根据本发明的控制系统)或包含硬件和软件元件的实施例的形式。软件实施例包括但不限于固件，驻留软件，微代码等。本发明可采用从计算机可用或计算机可读介质可访问的计算机程序产品的形式，其提供由或结合计算机或指令执行系统使用的程序代码。

计算机可用的或计算机可读的可为任一装置，其可包含、存储、通信、传播或传输由或结合指令执行系统，装置或设备使用的程序。介质可为电子、磁性、光学、电磁、红外或半导体系统(或装置或设备)或传播介质。

在某些实施例，本文描述的方法和过程可整体或部分由用户设备实现。该方法和过程可由计算机应用程序或服务、应用编程接口(API)、库和/或其他计算机程序产品或所述实体的任一组合实现。

用户设备可为移动设备，诸如智能手机或平板，计算机或具有处理能力的任何其他设备，诸如机器人或其他连接设备。

图4示出了适用于实现本发明的实施例的通用计算系统。

如图4示出，系统包括逻辑设备401和存储设备402。系统可选地包括显示子系统411，输入子系统412、413、414，通信子系统420和/或未示出的其他组件。

逻辑设备401包括被配置以执行指令的一个或多个物理设备。例如，逻辑设备401可配置以执行指令，其为一个或多个应用、服务、程序，例程、库、对象、组件、数据结构、其他逻辑构造的一部分。该指令可被实现以执行任务、实现数据类型、变换一个或多个组件的状态、实现技术效果或以其他方式达到希望的结果。

逻辑设备401可包括被配置以执行软件指令的一个或多个处理器。附加地或可选地，逻辑设备可包括被配置以执行硬件或固件指令的一个或多个硬件或固件逻辑设备。逻辑设备的处理器可为单核或多核，并且在其上执行的指令可被配置用于按序、并行和/或分布式处理。逻辑设备401的独立组件可选地分布在两个或多个独立设备中，其可远程定位和/或被配置用于协同处理。逻辑设备401的各方面可由远程可访问的、以云计算结构配置的网络化计算设备来被虚拟化并执行。

存储设备402包括一个或多个物理设备，其被配置以保存可由逻辑设备执行的指令以实现本文描述的方法和过程。当这样的方法和过程被实现时，存储设备402的状态可被变换，例如，以保存不同的数据。

存储设备402可包括可移除和/或内置设备。存储设备402可包括一个或多个类型的存储设备，包括光存储器(例如，CD、DVD、HD-DVD、蓝光盘等)，半导体存储器(例如，RAM、EPROM、EEPROM等)和/或磁存储器(例如，硬盘驱动、软盘驱动、磁带驱动，MRAM等)，以及其他。存储设备可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、按序访问、位置可寻址、文件可寻址和/或内容可寻址设备。

在特定设置中，系统可包括界面403，适用于支持逻辑设备401和其他系统组件之间的通信。例如，附加的系统组件可包括可移除和/或内置扩展存储设备。扩展存储设备可包括一个或多个类型的存储设备，包括光存储器432(例如，CD、DVD、HD-DVD、蓝光盘等)。半导体存储器433(例如，RAM、EPROM、EEPROM、FLASH等)和/或磁存储器431(例如，硬盘驱动、软磁盘驱动、磁带驱动、MRAM等)，以及其他。该扩展存储设备可包括易失性、非易失性、动态、静态、读/写、只读、随机访问、按序访问、位置可寻址、文件可寻址和/或内容可寻址设备。

应当理解，存储设备包括一个或多个物理设备，并且排除传播信号本身。然而，本文描述的指令的各方面可选地通过通信介质(例如，电磁信号、光信号等)来传播，而不是存储于存储设备。

逻辑设备401和存储设备402的方面可集成于一个或多个硬件逻辑组件。该硬件逻辑组件可包括例如现场可编程门阵列(FPGA)、程序和专用集成电路(PASIC/ASIC)、程序和专用标准产品(PSSP/ASSP)、片上系统(SOC)以及复杂可编程逻辑设备(CPLD)。

术语“程序”可用于描述计算系统的被实现以执行特定功能的一个方面。在某些情况下，程序可经由逻辑设备实例化，该逻辑设备执行存储设备保存的机器可读指令。应当理解，不同的模块可从相同的应用、服务、代码块、对象、库、例程、API、函数等例示。同样地，相同的程序可由不同的应用、服务、代码块、对象、例程、API、函数等例示。术语“程序”可包含单个可执行文件、数据文件、库、驱动器、脚本、数据库记录等或其组合。

特别地，图4的系统可用于实现本发明的实施例。

例如，结合图1描述的步骤实现的程序可存储于存储设备402并由逻辑设备401执行。用于建立选定空间的图形表示的数据，包括描述更大空间的数据，可存储于存储设备402中或扩展存储设备432、433或431中。逻辑设备可使用接收自照相机416或眼部跟踪系统460的数据来确定瞬时关注点，并且显示器411用于显示图形表示。

因此本发明可被实现成计算机程序的形式。

此外，当合适地配置和连接时，图4的元件可组成一种装置，其适用于生成选定空间的图形表示，其中所述选定空间位于更大空间中并且其中所述选定空间的大小是关于预定比例来定义的。该装置可进一步适用于使显示单元显示所述表示。该装置可进一步适用于利用接收自眼部跟踪系统的参考信号确定所述表示中用户的注意点。该装置可进一步适用于响应于接收到经由用户界面的输入，重新定义选定空间以对应于结合所述注意点定位并包含所述注意点的新的选定空间，所述新的选定空间位于更大空间中，并且新的选定空间是以新的比例定义的，以及该装置可进一步适用于基于所述重新定义的选定空间来重新生成所述图形表示，并使所述显示单元显示所述重新生成的表示。

应当理解，如本文所使用的“服务”，为可跨多个用户会话执行的应用程序。服务可以是对于一个或多个系统组件，程序和/或其他服务可用的。在某些实现中，服务可运行在一个或多个服务器计算设备上。

当包括时，显示器子系统411可用于呈现存储设备保存的数据的视觉表示。该视觉表示可采用图形用户界面(GUI)的形式。由于本文描述方法和过程改变存储设备402保存的数据，并因此变换存储设备402的状态，显示器子系统411的状态可同样被转换，以视觉地表示底层数据的改变。显示器子系统411可包括虚拟地利用任一类型的技术的一个或多个显示器设备。该显示器设备可与共享机箱中的逻辑设备和/或存储设备相结合，或该显示器设备可为外围显示器设备。

在包括时，输入子系统可包括或与一个或多个用户输入设备交互，诸如键盘412、鼠标411、触摸屏幕411或游戏控制器、按钮、脚踏开关等(未示出)。在某些实施例中，输入子系统可包括所选自然用户输入(NUI)组件部分，或与之交互。该组件部分可为集成的或外围的，并且输入动作的转换和/或处理可在板上或板外处理。示例NUI组件部分可包括麦克风，用于语言和/或语音识别；红外，彩色，立体和/或深度照相机，用于计算机视觉和/或手势识别；头部跟踪器，眼部跟踪器460，加速度计和/或陀螺仪，用于运动检测和/或意图识别；以及电场感测组件部分，用于估计大脑活动。

在包括时，通信子系统420可配置以利用一个或多个其他计算设备可通信地耦合计算系统。例如，通信模块可通信地经由任意大小的网络耦合计算设备至例如位于远程服务器476的远程服务，任意大小的网络包括例如：个域网、局域网、广域网或互联网。通信子系统可包括兼容于一个或多个不同的通信协议的有线和/或无线通信设备。作为非限制示例，通信子系统可配置用于经由无线电话网络474或有线或无线局域或广域网通信。在某些实施例，通信子系统可使计算系统经由网络诸如互联网475发送消息至其他设备和/或自其它设备接收消息。通信子系统可附加地支持与无源设备(NFC，RFID等)的短距离感应通信421。

图4的系统意图反映宽范围的不同类型的信息处理系统。应当理解，结合图4描述的多个子系统和特征并非实现本发明所必需的，而是被包括以反映根据本发明的可能的系统。应当理解，系统体系结构广泛地变化，并且图4的不同子系统之间的关系仅是示意性的，并且在系统布局和角色分布上可能变化。应当理解，在实际中，系统可能包含结合图4描述的多种特征的不同子集和子系统。图5，6和7公开了根据本发明的进一步示例设备。本领域普通技术人员将理解，可在未来应用也根据本发明操作的系统。

图5示出了适用于组成实施例的智能手机设备。如图5所示，智能手机设备包含如上述的元件401、402、403、420、433、414、415、416、411。其经由网络475与电话网络474和服务器476通信。另一方面，元件431、432、417、412、413被省略。在该图公开的特征还可包括在平板设备中。在该实施例，专用的眼部跟踪硬件460被省略，并且设备取决于具有合适的软件的照相机416，用于确定关注点。

图6示出了适用于构成实施例的车辆。如图6所示，车辆包括元件401、402、403、420、421、433、414、415、410、460和421，如上所述。其经由移动电话网络474与服务器476通信。另一方面，元件431、432、416、417、412、413和475被省略。

图7示出了适用于构成实施例的计算机设备。如图7所示，计算机设备包含元件401、402、403、420、430、431、432，如上述。其与作为外围设备的元件414、415、417、412、460和413通信，外围设备也可包含于同一计算机设备中并经由网络475与服务器476通信。另一方面，元件433、421和474被省略，而元件411为具有或不具有触摸屏幕功能的普通显示器。

应当理解，本文描述的配置和/或方法本质上为示例性的，并且该具体实施例或示例不应被考虑为限制性的，因为多种变型是可能的。本文描述的特定例程或方法可表示任何数量的处理策略的一个或多个。因此，说明和/或描述的多种动作可按照所示和/或所描述的顺序、以其他顺序、并行地来执行，或被省略。同样地，以上描述的过程的顺序可被改变。

本公开的主题包括在本文中公开的多种过程、系统和配置，以及其他特征、功能、动作和/或属性的所有新颖和非显而易见的组合和子组合，及其任意和全部等同物。

Claims (13)

1.一种管理更大空间中的物理空间的图形表示的方法，所述方法包括下列步骤：

生成选定空间的图形表示，其中所述选定空间位于所述更大空间中，并且其中所述选定空间的大小是关于预定比例来定义的；

显示所述图形表示；

参考用户的关注点确定所述图形表示中所述用户的注意点；

响应于经由用户界面的输入，重新定义选定物理空间以对应于相对于所述注意点定位并包含所述注意点的新的选定空间，所述新的选定空间位于所述更大空间中，并且所述新的选定空间是以新的比例定义的，以及

相应地重新生成所述图形表示。

2.根据权利要求1的方法，其中在所述生成步骤中，所述图形表示被生成以包含图形用户界面光标。

3.根据任一前述权利要求的方法，其中所述生成步骤、显示步骤和确定步骤被迭代地重复。

4.根据权利要求3的方法，其中在所述生成步骤中，所述图形表示被生成以包含所述注意点的指示。

5.根据前述任一权利要求的方法，其中所述确定所述图形表示中用户的注意点的步骤包括，确定预定持续时间内所述用户的关注点的加权平均。

6.根据前述任一权利要求的方法，其中所述确定所述图形表示中用户的注意点的步骤包括，相对于所述图形表示中特征的特定类型，择优地定位所述注意点。

7.根据前述任一权利要求的方法，其中所述新的选定空间的中心位于所述注意点处。

8.根据前述任一权利要求的方法，其中所述选定空间、所述更大空间和所述图形表示是二维的。

9.根据前述任一权利要求的方法，其中所述选定空间、所述更大空间和所述图形表示是三维的。

10.根据前述任一权利要求的方法，其中在所述重新定义所述选定空间的步骤中，所述选定空间的中心相对于所述更大空间不变。

11.一种适用于实现权利要求1至10中的任意一项权利要求的步骤的计算机程序。

12.一种包含权利要求11的计算机程序的计算机可读介质。

13.一种适用于生成选定空间的图形表示的装置，其中所述选定空间位于更大空间中并且其中所述选定空间的大小是关于预定比例来定义的；

所述装置进一步适用于使显示单元显示所述图形表示；

所述装置进一步适用于参考接收自眼部跟踪系统的信号确定所述图形表示中用户的注意点；

所述装置进一步适用于响应于接收到经由用户界面的输入来重新定义所述选定空间以对应于相对于所述注意点定位并包含所述注意点的新的选定空间，所述新的选定空间位于所述更大空间中，并且所述新的选定空间是以新的比例定义的，以及

所述装置进一步适用于基于所述重新定义的选定空间来重新生成所述图形表示，并使所述显示单元显示重新生成的图形表示。