CN104685449A - 基于用户的目光的用户界面元素焦点 - Google Patents

Abstract

一种计算机化方法、系统和计算机可读介质，可用于和可操作用于：确定对应于用户的目光的坐标集；确定对应于所述坐标集的用户界面(UI)元素；将所述UI元素作为已被检测到而返回、并再次重复对对应于所述用户的目光的坐标集的确定；根据已启动的计时器确定预定阈值时间内所返回的所述UI元素是否相同；如果所述UI元素不相同，则重设所述已启动的计时器并再次重复对对应于所述用户的目光的坐标集的确定；以及如果所述UI元素相同，则在不需要来自所述用户的任何附加动作的情况下使所述UI元素激活，并且当前选择所述UI元素以接收输入。

Description

基于用户的目光的用户界面元素焦点

技术领域

本公开一般地涉及在可显示图形用户界面(GUI)的任何设备上的GUI显示。

背景技术

有时打开很多窗口的GUI显示的用户不小心会在错误的窗口中开始打字或者点击。例如，用户可能正看着一个窗口或屏幕元素，而计算机可能没有认识到当前不同的屏幕元素具有光标。其要求繁琐的动作，诸如移动鼠标、点击或者执行键盘快捷方式以切换激活的窗口。然而，对于确定用户的注意力在哪或者用户想与哪个窗口交互，这些方式是低效的，并且也是近似或代理。

发明内容

在一个实施例中，计算机被配置为：确定对应于用户的目光(gaze)的坐标集；确定对应于所述坐标集的用户界面(UI)元素；将所述UI元素作为已被检测到而返回、并再次重复对对应于所述用户的目光的坐标集的确定；根据已启动的计时器确定预定阈值时间内返回的所述UI元素是否相同；如果所述UI元素不相同，则重设所述已启动的计时器并再次重复对对应于所述用户的目光的坐标集的确定；以及如果所述UI元素相同，则在不需要来自所述用户的任何附加动作的情况下使所述UI元素激活，并且当前选择所述UI元素以接收输入。

附图说明

下面的附图和说明书中阐述了一个或更多实施方式的详细内容。从说明书、附图和权利要求中本公开的其他特征、方面和优点将变得显而易见，其中：

图1是根据本公开的一个方面的计算机系统的框图。

图2是根据本公开的一个方面示出示例窗口和GUI还有至少一个传感器的显示器的图示。

图3是根据本公开的一个方面的显示器中窗口的可能设置的图示。

图4是根据本公开的一个方面的用户界面系统的框图。

图5是根据本公开的一个方面用于例如基于诸如眼睛追踪的传感器数据提供窗口选择的示例处理。

图6是根据本公开的一个方面用于例如基于诸如眼睛追踪的传感器数据提供窗口选择的另一个示例处理。

具体实施方式

根据本公开的多个方面，诸如照相机的传感器可以追踪用户正在看的显示器屏幕上的位置或者其他用户数据以便调整窗口选择或者使若干不同窗口中的一个窗口激活。在一个实施例中，选择窗口或者使其激活被称作给定窗口的“焦点”或者“提供焦点”，以及在贯穿本公开的剩余部分中为简单起见其被称为“焦点”。焦点可基于用户的注意，例如，当用户看着窗口足够长时间时，该窗口被提升到前景并给予焦点(被激活)。用于提升窗口的延迟根据各种参数也可以是可配置的和可调整的。因此，在不必点击窗口、移动鼠标到窗口或依赖快捷键的情况下能够选择窗口和调整窗口焦点变得可能。

根据本公开的一个方面，焦点检测器可以被实现为体现在有形介质上的用在计算机上的应用中或者用在移动设备上的应用上的软件。移动设备的计算机已经有可以是前向或后向、并且已经被配置为检测来自用户的眼睛移动或者其他基于移动的动作的内置照相机或者其他运动传感器。在一个实施方式中，有形介质上体现的现成眼睛追踪软件可与网络照相机结合使用。

根据本公开的一个方面，追踪屏幕上用户的目光聚焦在哪的处理电路可替代键盘或者鼠标输入。在一个实施方式中，传感器或者照相机可以是红外线的。在一个实施方式中，如果照相机被阻挡，或者多个用户被检测到，则执行仍然检测或者粗略估计移动的故障安全模式。在一个实施方式中，可以由焦点检测器实行的功能包括最小化窗口、最大化窗口、选择网页上的目标、点击链接、播放视频等等。在一个实施方式中，一旦用户界面元素被选择，则该用户界面元素的子用户界面元素或更小组件(诸如按钮或文本框或图标此类的)也可经由用户的目光来交互。在一个实施方式中，当用户的目光聚焦在目标上时，窗口或者用户界面元素不放大，屏幕大小或者屏幕的纵横比或者窗口大小也不调整。

根据本公开的一个方面，焦点是用在计算中的术语，其指示当前被选择以接收输入的GUI的组件。焦点通常可以通过点击可以利用例如鼠标或者键盘接收焦点的组件来改变。许多台式机也允许利用键盘改变焦点，经由例如快捷键。按照惯例，“alt+tab”键可用于将焦点移动到下一个可聚焦的组件和/或，在一些实施方式中，“shift+tab”到前一个可聚焦的组件。当图形界面也首先被引入时，许多计算机没有鼠标或者其他这种输入设备；从而快捷键是必要的。快捷键特征也使很难使用鼠标的人们，诸如，例如，有手部残疾或者腕管综合征的人们，能够容易地导航用户界面。在一个实施方式中，箭头键、字母键或者其他运动键可用于移动焦点。

“焦点跟随点击”或者“点击以聚焦”策略是对于要获得焦点的窗口用户必须在该窗口内点击鼠标的策略。这也通常导致窗口提升越过或者覆盖在显示器的屏幕上一个或更多或所有其他窗口。如果诸如这种的“点击焦点”模型被使用，则即使鼠标指针在另一个应用窗口上，“激活的”当前应用窗口也继续保持焦点并且收集输入。例如UNIX系统上的另一个策略是“焦点跟随鼠标”策略(或者FFM)，其中焦点自动地跟随鼠标控制的指针的当前落点。聚焦的窗口不一定被提升，并且其部分可保持在其他窗口之下。具有该策略的窗口管理器通常提供“自动提升”功能，当窗口被聚焦时，通常在可能发生在预定时间段之后的可配置的短延迟之后，该功能将该窗口提升。FFM策略的一个后果是当指针移动到下面没有窗口的背景上时，没有窗口具有焦点。屏幕上的单独组件也具有光标位置(通过，例如，x和y坐标表示)。例如，在文本编辑包中，文本编辑窗口一定具有焦点以便可以键入文本。当文本被键入到组件中时，其将在文本光标位置处出现，一般其也是可使用鼠标光标移动的。X窗口管理器可以是另一种类型的窗口管理器，其具有历史性提供的、供应商控制的、固定的方法集来控制窗口和屏面怎样在屏幕上显示，以及用户怎样与它们交互。用于X窗口系统的窗口管理也可以与提供图形显示的软件保持分离。在一个实施方式中，X窗口系统可被修改或者增强用于本公开的焦点检测器。在一个实施方式中，X窗口系统可与本公开的焦点检测器一起使用。在一个实施方式中，不同于X窗口系统的窗口系统可与本公开的焦点检测器一起使用。在一个实施方式中，由用户的目光选择的窗口变成激活的并且允许即时的用户输入，而不需要任何来自用户的附加动作，例如，用户不必点击所选择的窗口或者执行任何附加动作以使所选择的窗口激活。在一个实施方式中，可使激活选择的窗口内的文本输入框准备用于输入。在一个实施方式中，UI元素一旦被选择，也变为可用于输入，诸如，移动、键入、调整大小、最小化、关闭等等。

图1是根据本公开的一个方面的计算机系统的框图。参照图1，所示为根据所述实施方式的计算机系统100的框图。系统100包括经由网络106与其他计算设备通信的客户端102。客户端102可执行web浏览器或者其他应用(例如，视频游戏、消息传送程序等)，以通过网络106从其他设备检索内容。例如，客户端102可与任意数目的内容源108、110(即，第一内容源到第n内容源)通信，该内容源108、110向客户端102提供电子内容，诸如网页数据和/或其他内容(例如，文本文档、PDF文件和其他格式的电子文档)。在一些实施方式中，计算机系统100也包括被配置为分析由内容源108、110提供的数据并使用该数据以指令客户端102执行动作的焦点检测器104，该数据诸如来自照相机或者另一运动传感器的运动数据，该动作诸如选择或者聚焦若干窗口中的一个窗口。焦点检测器104也可分析来自内容源108、110的数据，并将其提供回到内容源108、110，诸如，例如，如果内容源108、110需要执行对于用户的运动的某种类型的反馈分析，或者需要确认信息，诸如其他用户的存在或者目标是否正阻挡照相机或者运动传感器，或者什么时候利用备用计划以防没有可用的首要动作。

网络106可以是在客户端102、内容源108、110和焦点检测器104之间中继信息的任何形式的计算机网络。例如，网络106可包括因特网和/或其他类型的数据网络，诸如局域网(LAN)、广域网(WAN)、蜂窝网络、卫星网络、或者其他类型的数据网络。网络106还可包括被配置为在网络106内接收和/或传送数据的任意数目的计算设备(例如，计算机、服务器、路由器、网络交换机等)。网络106可以进一步包括任意数目的硬线和/或无线连接。例如，客户端102可无线地(例如，经由WiFi、蜂窝、无线电等)与硬线(例如，经由光纤电缆、CAT5电缆等)连接到网络106中其他计算设备的收发器通信。

客户端102可以是被配置为经由网络106通信的任意数目的不同类型的电子设备(例如，笔记本计算机、台式计算机、平板计算机、智能手机、数字视频记录器、用于电视的机顶盒、视频游戏控制台、或者其组合等)。客户端102被示为包括处理器112和存储器114，即，处理电路。存储器114可存储机器指令，该指令当被处理器112执行时使处理器112执行本文所述的一个或更多操作。处理器112可包括微处理器、ASIC、FPGA等，或者其组合。存储器114可包括，但不限于，电子的、光学的、磁性的、或者能够向处理器112提供程序指令的任何其他存储或者传输设备。存储器114可包括软盘、CD-ROM、DVD、磁盘、存储器芯片、ROM、RAM、EEPROM、EPROM、闪存存储器、光学媒介、或者处理器112可以从其读取指令的任何其他适当的存储器。指令包括来自任何适当的计算机编程语言的代码，诸如，但不限于，C、C++、C#、Java、JavaScript、Perl、HTML、XML、Python和Visual Basic。

客户端102可包括一个或更多用户界面设备。用户界面设备可以是任何电子设备，其通过生成感觉信息(例如，显示器上的可视化、一个或更多声音等)将数据传达到用户和/或将从用户接收的感觉信息转换为电子信号(例如，键盘、鼠标、指针设备、触摸屏显示器、麦克风、网络照相机、照相机等)。根据各种实施方式，一个或更多用户界面设备可以在客户端102外壳的内部(例如，内置显示器、麦克风等)或者客户端102外壳的外部(例如，连接到客户端102的监视器、连接到客户端102的扬声器等)。例如，客户端102可包括显示从内容源108、110和/或焦点检测器104接收的网页和其他形式的内容的电子显示器116。

内容源108、110可以是连接到向客户端102提供内容的网络106的一个或更多电子设备。例如，内容源108、110可以是计算机服务器(例如，FTP服务器、文件共享服务器、web服务器等)，或者服务器组合(例如，数据中心、云计算平台等)。内容可包括，但不限于，运动传感器数据、关于移动的视觉数据、其他传感器数据、网页数据、文本文件、电子表格、图像文件、社交媒体数据(帖子、消息、状态更新)、媒体文件、视频文件和其他形式的电子文档。类似于客户端102，内容源108、110可包括处理电路，该处理电路分别包括处理器124、118和存储由处理器124、118可执行的程序指令的存储器126、128。例如，内容源108的处理电路可包括诸如web服务器软件、FTP服务软件和使内容源108经由网络106提供内容的其他类型的软件的指令。

焦点检测器104可是连接到网络106并被配置为分析和组织与客户端102和/或其他客户端和/或内容源108、110关联的传感器数据的一个或更多电子设备。焦点检测器104可是计算机服务器(例如，FTP服务器、文件共享服务器、web服务器等)或者服务器组合(例如，数据中心、云计算平台等)。焦点检测器104也可包括处理电路，该处理电路包括处理器120和存储由处理器120可执行的程序指令的存储器122。在焦点检测器104是计算设备组合的情况下，处理器120可表示设备的集体处理器，而存储器122可表示设备的集体存储器。在其他实施方式中，焦点检测器104的功能可集成到内容源108、110或者连接到网络106的其他设备中。焦点检测器104可以在网络的服务器侧或者客户端侧，以及可以是个人计算机、智能TV、智能手机或者其他客户端侧计算设备的一部分。焦点检测器104也可包括现成的眼睛检测软件，其被配置为基于诸如网络照相机的附接的简单照相机来检测、追踪和分析眼睛移动。

焦点检测器104可存储表示计算系统100的用户的用户标识符。用户标识符可以与一个或更多客户端标识符关联。例如，用户标识符可与客户端102的网络地址或者已经设置在客户端102上的cookie或者内容源108、110之一的网络地址或cookie关联。用户标识符可与任意数目的不同的客户端标识符关联。例如，用户标识符可与用于客户端102和连接到网络106的另一个客户端设备或者内容源108、110的设备标识符关联。在其他实施方式中，用于客户端102的设备标识符自身可用在计算系统100中作为用户标识符。

客户端102的用户可选择或者不选择允许焦点检测器104识别并存储与客户端102和用户相关的数据。例如，用户可选择接收由焦点检测器104处理或分析的、与他或她或他们的动作更相关的内容或数据。在一个实施方式中，用于客户端102的客户端标识符和/或设备标识符是随机的并且不包含关于客户端102的用户的个人可识别信息。如此，在各种实施方式中，客户端102的用户可控制关于用户的信息怎样被收集以及怎样由焦点检测器104使用。

在客户端102的用户选择接收更相关内容的情况下，焦点检测器104可确定对某个用户唯一的特定类型的物理动作、眼睛动作、视觉设置、医疗状况或者其他偏好，以更好定制用于该用户的窗口选择处理。在一些实施方式中，用于对于焦点检测器104具有具体条件或偏好的各种各样用户的通用设置的分析可通过分析与用户标识符集关联的活动来完成。一般地，指示与用户标识符关联的偏好、医疗状况或者设置的任何数据可被焦点检测器104用作信号。例如，与用户标识符关联的信号可以指示具体视觉设置、某种医疗状况、眼睛状况、眼睛眨眼的刷新频率、眼睛或其他身体部分的移动速度、用户是否佩戴眼镜或者隐形眼镜、用户自然和/或由于其他医疗状况眨眼的频率等。信号可以被焦点检测器104存储在存储器122中并被处理器120检索以生成到客户端的指令，用于调整窗口的焦点和选择。在一些实施方式中，信号可以被焦点检测器104从内容源108、110接收。例如，内容源108可向焦点检测器104提供数据，该数据关于照相机上快门设置、照相机上频率设置、分辨率、传感器采样速率、传感器数据、传感器速度、取样的数量、测量的精确度等。在进一步的实施方式中，为了分析目的，关于与客户端102关联的在线动作的数据可由客户端102提供到焦点检测器104。在一个示例中，可使用OpenEyes提供的焦点检测算法。参见，例如，Li、D.、和帕克赫斯特、D.J.，“用于实时可见光谱眼睛追踪的开源软件。”COGAIN会议的论文集，第18-20页(2006)。

一个或更多用户标识符集可通过焦点检测器104评估以确定具体信号与该集中的用户标识符关联强度。可随机或者基于该集的一个或更多特点来选择该标识符集。例如，可基于某个集的年龄范围(例如，与具体年龄范围关联的用户标识符，该具体年龄范围更可能具有某种眼睛状况)、基于与标识符关联的一个或更多信号(例如，与具体眼睛状况、具体医疗状况、具体眼睛或动作设置或者偏好关联的用户标识符)、任何其他特点或者其组合来选择该集用于评估。在一些实施方式中，焦点检测器104可使用关联性统计测量来确定信号和该集之间的关联强度。例如，焦点检测器104可使用逐点互信息(PMI)评分、汉明距离分析、术语频率逆文档频率(TF-IDF)评分、互信息评分、库尔贝克-莱布勒发散评分、任何其他关联性统计测量或者其组合来确定该集与具体信号之间的关联强度。

在一些实施方式中，焦点检测器104能够具有基于需要特定参数以最佳地检测眼部运动并将眼部运动翻译为用于窗口选择的指令的重现状况的预置设置和偏好，该重现状况诸如散光、近视、或者其他眼睛状况。在一些实施方式中，焦点检测器104也可具有基于涉及能够被传感器检测或者分析的任何基于用户的运动的重现偏好或者设置的偏好。

相关数据可以由内容源108、110或者焦点检测器104提供到客户端102。例如，焦点检测器104可从内容源108、110选择相关的内容，诸如具体运动传感器数据以向客户端102提供用于窗口选择的过滤的分析或者其他类型分析。在另一个示例中，焦点检测器104经由代码、指令、文件或者其他形式的数据向客户端102提供所选择的内容。在一些实施方式中，焦点检测器104可选择客户端102的存储器114中存储的内容。例如，先前提供的内容被缓存在存储器114中，内容可以被预载入到存储器114中(例如，作为应用的安装的一部分)，或者可作为客户端102的操作系统的一部分存在。在这样的情况下，焦点检测器104可向客户端102提供选择的指示。作为响应，客户端102可从存储器114检索所选择的内容并将其显示在显示器116上。

图2是根据本公开的一个方面示出示例窗口和GUI以及至少一个传感器的显示器的图示。现在参照图2，示例显示器设定200被示出，其包括传感器202、显示器204、至少一个窗口206、和至少一个最小化的窗口208。传感器202可以是任何类型的运动传感器、视频照相机、web照相机、记录或者检测来自用户的运动或者动作的设备、或者检测来自用户的运动或者动作的传感器。在一个实施方式中，传感器202可是检测用户的眼睛运动的web照相机或者简单照相机设备。在一个实施方式中，传感器202可是检测用户的眼睛运动的移动设备上的内置照相机。在一个实施方式中，传感器202是检测用户的脸部、手臂、眉毛、鼻子、嘴巴、或者用户的其他身体部分的移动的运动传感器，以便检测来自用户的运动或动作。在一个实施方式中，使用与传感器202共同工作的现成眼睛检测软件，尤其如果传感器202是web照相机或者类似照相机的话。

显示器204与使视觉标记被提供在显示器204上的一个或更多处理器电通信。显示器204可以位于一个或更多处理器的外壳的内部或者外部。例如，显示器204可在台式计算机的外部(例如，显示器204可是监视器)，可是电视接收机，或者任何其他独立形式的电子显示器。在另一个示例中，显示器204可在笔记本计算机、移动设备或者具有一体化显示器的其他计算设备的内部。

在显示器204的屏幕内，有至少一个或多于一个的窗口206。如示例窗口206中所示，web浏览器应用可被显示。其他类型的内容，诸如打开的应用、状态窗口、GUI、小部件、或者其他程序内容被显示在其他窗口206中，其可不是当前用户正在工作的、正在键入或者正在交互的“激活的”窗口206。在一个实施方式中，用户在同一时间仅可与一个窗口206交互，即，用户可仅仅点击、交互、键入一个窗口206，而其他窗口206在背景中，并且即使可以被看到，也不能在此时进行交互。然而，在此情况下，两个窗口206可以被并排设置以工作，但是在同一时间仅两个中的一个窗口206可以被激活地交互。在一个实施方式中，可没有限制可以打开的打开窗口206的数目，然而其可以由运行显示器204的设备的处理器所限制。在一个实施方式中，窗口206可以被移动以覆盖或重叠在另一个上。在一个实施方式中，窗口206可被制成透明的以便看到其下面的其他窗口206的内容，而不必将该窗口移开。在一个实施方式中，用户可使用他的或者她的目光与窗口206内的目标交互(例如，点击、选择、“鼠标悬停”、扩大、或者其他交互)，所述目标可以是例如，可以移动的按钮、图标、文本框或者用于文本的光标。在一个实施方式中，当用户的目光聚焦在用户界面元素上时，用户界面元素或者具有用户界面元素的窗口不放大，屏幕大小或者屏幕的纵横比或者窗口大小也不调整。

同样在显示器204的屏幕内，可以有至少一个或多于一个的最小化窗口208。这些是已经被最小化为采用标签或者微型按钮的形状的形式的窗口206，其提供窗口206的压缩版本，而不必实际看窗口206。还有，所有打开的窗口206可具有对应的最小化窗口208，从而当前“激活的”窗口206可通过选择对应的最小化的窗口208标签来切换。因此，当前选择的窗口206也反映当前选择的最小化的窗口208标签，诸如，例如，以不同颜色或者相关区别的下沉或者突出标签。在一个实施方式中，如果预先选择数目的窗口208打开，则处于效率和节省空间的原因，所有最小化的窗口208组合成一个最小化的窗口208标签。通过点击该一个最小化的窗口标签208，用户可以从所有打开的窗口206中选择哪个窗口当前选择为激活的，如在下拉菜单或者其他类似的菜单结构中。在一个实施方式中，最小化窗口208是图标而不是标签，并且可能被最小化成一些微型象形图画，表示窗口206对应于什么。

图3是根据本公开的一个方面的显示器中窗口的可能设置的示意图。显示器布置300包括窗口302、304、306、308和310，每个由交叉影线图案1、2、3、4和5分别表示。在一个实施方式中，根窗口是盖住了整个屏幕的窗口302，并且其也可以是其中点击和键盘输入被处理的激活的窗口。在一个实施方式中，窗口304和306可以是在优先级上仅次于根窗口302的顶层窗口，或者可能是根窗口302的子窗口(根窗口302是其父窗口)。换句话说，例如，如果在根窗口302中点击或者选择目标或者元素，则其在顶层窗口304和306中开启。在一个实施方式中，窗口308和310可是窗口304的子窗口。换句话说，例如，如果在窗口304中点击或者选择目标或者元素，则其在窗口308和310中开启。在一个实施方式中，给定窗口的父窗口之外的该给定窗口的部分是不可见的。例如，在图3的情况下，窗口310的父窗口304之外的窗口310的部分是不可见的，因为窗口310是窗口304的子窗口。同理，窗口306的父窗口302之外的窗口306的部分是不可见的，因为窗口306是该情况下的根窗口302的子窗口。图3仅仅是窗口和窗口的层的示意性的设置，并且窗口可以以与图3中所示相似或者不相似的任何形式或者配置放置。

图4是根据本公开的一个方面的用户界面系统的框图。用户界面系统400包括用户的工作站402、键盘404、鼠标406、屏幕408、X服务器系统410、X服务器412、X客户端414、X客户端416、网络418、远程机420和X客户端422。用户界面系统400可以是与本公开不同的用户界面系统的示例，或者其可包括本公开可使用的或者可用于根据本公开的实施方式实现焦点检测系统的组件。X服务器412可从键盘404、鼠标406、或者屏幕408(例如，如果其是触摸屏界面)获取输入，并将该输入显示成屏幕408上的动作。诸如web浏览器、应用和终端仿真器的程序运行在用户的工作站402上(诸如代表浏览器的X客户端414和代表终端仿真器的X客户端416或者xterm程序)，和诸如X客户端422(被实现为更新器)的系统更新器运行在远程机420上的远程服务器上，但其可以经由网络418在用户的机器或者用户的工作站402的控制下。在一个实施方式中，远程机420中的远程应用或者远程客户端422正如同其本地运行一样运行。

X服务器系统410内的X服务器412程序可以运行在具有图形显示器的计算机上并与各种各样客户端程序(诸如414、416)通信。X服务器412作为用户程序和客户端程序的中间者，接受来自客户端程序的对于图形输出(诸如窗口)的请求并将其经由例如屏幕408显示给用户，以及接收用户输入(经由键盘404或者鼠标406)和将该数据传送到客户端程序。

具体地，不管任何时候尝试示出、打开或者选择新的窗口，该请求均被重定向到决定窗口的初始位置的窗口管理器。另外，绝大部分现代窗口管理器将程序重定根级(reparenting)，其通常引起网幅被放置在屏幕顶端处和装饰性框架在窗口周围绘制。这两个元素可由窗口管理器而不是程序控制。从而，当用户点击或者拖拉这些元素时，窗口管理器采取恰当的动作，诸如移动或者调整窗口的大小。虽然窗口管理器的主要目的之一是管理窗口，但是很多窗口管理器具有附加特征，诸如处理根窗口中的鼠标点击(例如，当被点击时将焦点变到根窗口)，呈现屏面和其他视觉元素，处理一些键击(诸如，例如，关闭窗口的Alt-F4)，决定哪个应用在初始处运行等等。

图5是根据本公开的一个方面用于例如基于诸如眼睛追踪的传感器数据提供窗口选择的示例处理。处理500可以任何顺序执行并且不限于图5所示的顺序。在框502中，检测器软件用于确定用户的目光的坐标。在一个实施方式中，其可以是被配置用于聚焦于眼睛移动或者视网膜移动的红外线照相机的现成的眼睛检测软件，或者诸如web照相机的简单照相机。在一个实施方式中，其可以是被配置用于运动传感器的运动检测软件，其聚焦于将指示用户的焦点或者目光的坐标的鼻子、嘴巴、脸颊或者其他面部移动，或者手臂、手指移动，或者任何其他移动。在一个实施方式中，坐标可通过(x，y)坐标值表示，或者表示用户的目光或者用户的眼睛的焦点的位置或者点的任何其他值。在框504中，对应于用户的目光的坐标的GUI元素被确定。GUI元素可以是，例如，图标、窗口、窗口的部分、网站、网站上的一条内容、网站上的图标等等。在一个实施方式中，对于诸如大的窗口的大GUI元素，GUI元素上任何点可算作GUI元素的一部分并将返回该GUI元素。在一个实施方式中，对于具有多个部分的大GUI元素，某个部分内的具体点将返回GUI元素的仅仅该部分。在一个实施方式中，对于小GUI元素，该GUI元素的特定点将返回该GUI元素，即使其位于邻近另一个GUI元素-在该情况下，可利用可能是通过若干像素设置的用于细节的特定公差。

在框506中，在预定阈值时间内GUI元素是否保持相同或者用户的目光的目标被确定。在一个实施方式中，预定阈值时间可以是几秒或者更长，或者基于用户多久不得不改变聚焦于某件事的注意力的心理或科学研究，可能花费更长时间的医疗状况或者眼睛状况校正。在一个实施方式中，如果预定阈值时间内对应于用户的目光的坐标的相同的GUI元素被返回或者被检测到，则逻辑高(logic high)出现，其表示GUI元素是被选择的那个元素，并且然后可以执行框510。在一个实施方式中，如果少于预定阈值时间的任何时间内对应于用户的目光的坐标的不同的GUI元素被返回或者被检测到，则逻辑低出现并且时钟被重新开始直到预定阈值时间内相同的GUI元素被返回或者检测到，其发生在框508中。在取决于框506的结果的框508中，如果在预定阈值时间之前不同的GUI元素被返回或者被检测到，则时钟被重启。在取决于框506的结果的框510中，至少预定阈值时间内指示相同GUI元素已经被选择、返回或者检测到的高逻辑，用于使系统向所选择的GUI元素给出或者提供焦点。例如，如果GUI元素是某个窗口后面的窗口，则焦点将被授予该窗口，并且突然该窗口将来到显示器屏幕的前景并且成为激活的窗口。在一个实施方式中，这种聚焦目标的选择也可以经由图4中所示的X窗口管理系统来选择，其中眼睛/运动检测传感器和软件系统将表现得像诸如键盘404、鼠标406和屏幕408的用户设备中的一个，并将输入发送到X服务器412以便可能经由客户端414或者416执行到屏幕408上的动作。在一个实施方式中，聚焦目标的选择可以利用不同于图4中所示的X窗口管理系统的不同窗口管理系统。在一个实施方式中，聚焦目标的选择可以使用类似于图4中所示的X窗口管理系统的系统，或者借用其部分，或者在保持一些部分相同的同时修改其其它部分。GUI元素也变得可用于输入，诸如，移动、键入、调整大小、最小化、关闭等等。在一个实施方式中，焦点被给予所选择的GUI元素，在于使所选择的GUI元素激活并可用于输入，而不需要来自用户任何附加动作。换句话说，用户不必点击或者执行任何附加动作来使GUI元素激活并可用于输入。在一个实施方式中，例如，可使激活选择的GUI元素或者窗口内的子GUI元素，诸如文本输入框，准备好用于即时输入。在一个实施方式中，在焦点被给予所选择的GUI元素之后，用户可利用包括计时器和预定阈值时间的与上述相同的处理与该GUI元素内的子GUI元素交互或者选择该子GUI元素。例如，用户可仅仅利用他的或者她的目光决定在所选择的GUI元素内点击按钮或者移动光标或者使文本框激活并准备好用于输入。这可以通过与上述类似的处理来执行。对于目标的移动，目标首先通过上述处理来选择，并且然后提示-以GUI弹出或者图标的形式-出现，确认所选择的目标是想要移动的目标。一旦用户确认所选择的目标是想要移动的目标，则用户可以使用他的或者她的目光移动该目标。例如，如果用户希望选择并激活在所选择的GUI元素内的文本框，则用户将看着文本框达预定量的时间并等待、直到该文本框内的光标激活，然后输入文本。在一个实施方式中，当用户的目光聚焦在用户界面元素上时，用户界面元素或者具有用户界面元素的窗口不放大，屏幕大小或者屏幕的纵横比或者窗口大小也不调整。

图6是根据本公开的一个方面用于例如基于诸如眼睛追踪的传感器数据提供窗口选择的另一个示例处理。处理600也可以任何顺序执行，并不必限于图6中所示的顺序。在框602中，任何现有的现成的眼睛追踪软件或者运动检测软件用于确定用户的目光的坐标(例如，坐标的(x，y)表示)。在一个实施方式中，追踪软件可以被配置用于检测眼睛移动的红外线照相机，或者诸如web照相机的照相机。在一个实施方式中，追踪软件可被配置用于检测面部的任意部分的面部移动或者眼睛移动或者手指活动以确定用户的目光或者焦点的位置的运动传感器。在一个实施方式中，坐标可被表示为(x，y)坐标或者(x，y，z)坐标，z表示第三维度，或者(x，y，t)坐标，t表示时间，或者精确地描述用户的目光或者焦点的点的任何坐标集。

在框604中，与关联于用户的目光的坐标的所选粒度相关联的用户界面(UI)元素被确定。在一个实施方式中，粒度可以基于像素级或者根据比例或距离表示坐标的位置的一些其他标准来确定。在一个实施方式中，粒度或者容差可基于读数想要多么精确来调整-例如如果一个UI元素位于距离另一个UI元素某个数目的像素那么远，则粒度将确定那些UI元素被认为是不同的UI元素还是者相同的UI元素。一旦对应于用户的目光的坐标的UI元素被确定，则其被检测到然后被返回。

在框606中出现如下的决定：相同的UI元素是否在长于(或者大于或者等于)预定阈值时间的期间内被检测到、被返回、被发现或者被选择。在一个实施方式中，预定阈值时间被设置为几秒钟或者更长，以便将使时间阈值变更长的医疗状况或者眼睛状况考虑进去。在一个实施方式中，UI元素一被选择时钟就开始运行。例如当不同的UI元素被返回时，时钟可以被重设回零。如果时钟超过预定阈值时间的话，其也可以被重设回零。

在框608中，在返回到框602以再一次启动处理之前，时钟等待以毫秒测量的采样周期，该框608是如果对于框606的答案是“否”的结果。在一个实施方式中，采样周期可以是与预定阈值时间相同的时间周期。在一个实施方式中，采样周期可以是预定阈值时间运行之后采用的附加的短暂时间周期，以便重设时钟和重设检测软件和/或设备。在一个实施方式中，预定阈值时间和采样周期可以毫秒、微秒、秒测量或者以将适于检测软件以做决定的任何其他合理的时间周期测量。

在框610中，焦点被给予到所选择的UI元素，该框610是如果对于框606的答案是“是”的结果。如果UI元素是窗口的一部分或者窗口，例如，则“激活的”窗口变为该窗口。例如，如果用户正聚焦其上的UI元素是位于另一个窗口后面的窗口，则该窗口将突然来到前景。如果UI元素是应用、小部件或者其他UI/GUI，则该UI元素变为“激活的”并且用户然后可以与其交互。UI元素也变为可用于输入，诸如，移动、键入、调整大小、最小化、关闭等等。在一个实施方式中，焦点被给予所选择的UI元素，在于使所选择的UI元素激活并可用于输入，而不需要来自用户的任何附加动作。换句话说，用户不必点击或者执行任何附加动作来使该UI元素激活并可用于输入。在一个实施方式中，例如，可以使激活选择的UI元素或者窗口内的子UI元素，诸如文本输入框，准备好用于即时输入。在一个实施方式中，在焦点被给予所选择的UI元素之后，用户可以利用包括计时器和预定阈值时间的与上述相同的处理与该UI元素内的子UI元素交互或者选择该子UI元素。例如，用户可仅仅利用他的或者她的目光决定在所选择的UI元素内点击按钮(子UI元素)或者移动光标或者使所选择的UI元素内文本框激活并准备好用于输入。这可通过与上述类似的处理来执行，尤其是选择动作。对于目标的移动，目标首先通过上述处理来选择，并且然后提示-以GUI弹出或者图形图标的形式-出现，确认所选择的目标是想要移动的目标。一旦用户确认所选择的目标是想要移动的目标，则用户可使用他的或者她的目光来移动该目标，同时目标的移动追踪用户的目光的移动。例如，如果用户希望选择并激活在所选择的GUI元素内文本框，则用户将看着文本框预定量的时间并等待直到该文本框内的光标激活，然后输入文本。在另一个示例中，系统可被配置为识别窗口处用户的目光，以及作为回应，系统可进行下述一个或更多：在其他打开窗口的顶层显示该窗口，选择窗口内的默认用户输入栏，并使用户输入栏内的光标激活，以为用户键入文本到用户输入栏中做准备。当所选择的窗口具有多个用户输入栏时，系统可存储来自最后一次用户与该窗口交互的最后激活的输入栏，作为默认用户输入栏。在其他示例中，默认用户输入栏可以是通过窗口显示的页面上第一个用户输入栏(例如，顶层的，左边的)，页面的当前观看区域中的第一个用户输入栏(再次，例如，顶层的，左边的)，或者随机选择的用户输入栏等。在一个实施方式中，当用户的目光聚焦在用户界面元素上时，用户界面元素或者具有用户界面元素的窗口不放大，屏幕大小或者屏幕的纵横比或者窗口大小也不调整。

该说明书中所述的主题和操作的实施方式可以以包括本说明书中公开的结构和它们的等同结构的数字电子电路，或者在有形介质、固件或者硬件中体现的计算机软件，或者它们的一个或更多的组合来实现。本说明书中所述的主题的实施方式可以被实现为有形介质中体现的一个或更多计算机程序，即，一个或更多计算机存储介质上编码的计算机程序指令的一个或更多模块，用于由数据处理装置执行或者用于控制数据处理装置的操作。可选地或者附加地，程序指令可以被编码在人工生成的传播信号上，例如，被生成以编码用于传送到适当的接收器装置的信息的机器生成的电的、光的、或者电磁的信号以用于由数据处理装置执行。计算机存储介质可以是，或者被包含在，计算机可读存储设备，计算机可读存储基板，随机或者串行访问存储阵列或者设备，或者它们的一个或者多个的组合。而且，当计算机存储介质不是传播信号时，计算机存储介质可以是人工生成的传播信号中编码的计算机程序指令的源或者目的地。计算机存储介质也可以是，或者被包含在，一个或更多单独的组件或者媒介(例如，多个CD、盘、或者其他存储设备)。因此，计算机存储介质可以是有形的。

本说明书中所述的操作可以被实现为通过数据处理装置或者处理电路执行的，对于一个或更多计算机可读存储设备中存储的或者从其他源接收的数据的操作。

术语“客户端”或者“服务器”包括用于处理数据的各种装置、设备和机器，举例来说包括可编程处理器、计算机、单芯片或者多芯片上的系统，或者前述的组合。装置可以包括专用逻辑电路，例如，FPGA(现场可编程门阵列)或者ASIC(专用集成电路)。装置也可以包括，除了硬件之外，创建用于讨论中的计算机程序的执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行环境、虚拟机或者它们的一个或更多的组合的代码。装置和执行环境可以实现各种不同的计算模型架构，诸如web服务、分布式计算和网格计算架构。

计算机程序(也被称为程序、软件、软件应用、脚本、或者代码)可以任何编程语言的形式编写，包括汇编语言或者直译语言、声明语言或者过程语言，以及其可以任何形式部署，包括作为独立的程序或者作为模块、组件、子例程、对象或者适用在计算环境中的其他单元。计算机程序可以，但不必，对应于文件系统中的文件。程序可以被存储在保持其他程序或者数据的文件的一部分中(例如，标记语言文档中存储的一个或更多脚本)，在专用于讨论中程序的单一文件中，或者多个协同文件中(例如，存储一个或更多模块、子程序或者代码的一部分的文件)。计算机程序可以被部署以在一个计算机上或者位于一个地点或者分布在多个地点并通过通信网络互连的多个计算机上被执行。

本说明书中所述的处理和逻辑流程可以通过一个或者更多可编程处理器或者处理电路来执行，该一个或者更多可编程处理器或者处理电路执行一个或者更多计算机程序以通过操作输入数据和生成输出来执行动作。处理和逻辑流程也可以通过专用逻辑电路来执行，以及装置也可以被实现为专用逻辑电路，该专用逻辑电路例如，FPGA或者ASIC。

适用于执行计算机程序的处理器或者处理电路包括，举例来说，通用和专用微处理器，以及任何种类的数字计算机的任何一个或更多处理器。一般地，处理器将从只读存储器或者随机存取存储器或者两者接收指令和数据。计算机的必要元件是用于根据指令执行动作的处理器和用于存储指令和数据的一个或更多存储器设备。一般地，计算机也包括，或者操作上耦接或者两者，以从一个或更多用于存储数据的大容量存储设备接收数据或者将数据传送到一个或更多用于存储数据的大容量存储设备，例如，磁性、磁光盘、或者光盘。然而，计算机不必具有这种设备。而且，计算机可以嵌入在另一个设备中，例如，移动电话、个人数字助理(PDA)、移动音频或者视频播放器、游戏控制台、全球定位系统(GPS)接收器，或者便携式存储设备(例如，通用串行总线(USB)闪存驱动器)，仅举几例。适用于存储计算机程序指令和数据的设备包括所有形式的非易失性存储器、媒介和存储设备，包括，举例来说，半导体存储设备，例如，EPROM、EEPROM、和闪存存储设备；磁盘，例如，内部硬盘或者可移动盘；磁光盘；和CD-ROM和DVD-ROM盘。处理器和存储器可以通过专用逻辑电路补充或者并入到专用逻辑电路中。

为了提供与用户的交互，本说明书中所述的主题的实施方式可以被实现在具有显示设备的计算机上，该显示设备例如，CRT(阴极射线管)、LCD(液晶显示器)、OLED(有机发光二极管)、TFT(薄膜晶体管)、等离子、其他弹性配置，或者用于向用户显示信息的任何其他监视器，以及键盘、指针设备，例如，鼠标轨迹球等，或者触摸屏、触摸板等，通过这些用户可以将输入提供给计算机。其他类型的设备也可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感器反馈，例如，视觉反馈、听觉反馈、或者触觉反馈；以及来自用户的输入可以任何形式接收，包括听觉的、语音的或者触觉输入。另外，计算机可以与用户交互，通过将文档发送到用户使用的设备或者接收来自用户使用的设备的文档；例如，通过将网页发送到用户的客户端设备上的web浏览器以响应从web浏览器接收的请求。

本说明书中所述的主题的实施方式可以被实现在包括后端组件的计算系统中，例如，作为数据服务器，或者包括中间件组件的计算系统，例如，应用服务器，或者包括前端组件的计算系统，例如，具有图形用户界面(GUI)或者web浏览器的客户端计算机，通过该客户端计算机用户可以与本说明书中所述的主题的实施方式交互，或者一个或者更多这种后端、中间件、或者前端组件的任何组合。系统的组件可以通过数字数据通信的任何形式或者介质来互连，例如，通信网络。通信网络的示例包括局域网(“LAN”)和广域网(“WAN”)，互联网络(例如，因特网)，和点对点网络(例如，自组织点对点网络)。

虽然本说明书包含很多特定实施方式详细细节，而这些不应该被认为是任何发明的或者可以请求保护的内容的范围的限制，而是作为特定于具体发明的具体实施方式的特征的描述。单独实施方式的上下文中本说明书中所述的某些特征也可以在单一实施方式中以组合实现。反过来，单个实施方式的上下文中所述的各种特征也可以分开地在多个实施方式中或者任何适当的子组合中实现。而且，虽然特征可被如上描述为在某些组合中起作用，并且甚至最初如此请求保护，但是来自请求保护的组合的一个或更多特征在一些情况下可以从组合去除，以及所请求保护的组合可以指向到子组合或者子组合的变形。

类似地，虽然附图中以具体顺序描述操作，而这不应该被理解为要求以所示的具体顺序或者相继顺序来执行该操作，或者执行所有示出的操作，以达到想要的结果。在某些环境中，多任务和并行处理可以是有利的。而且，上述实施方式中各种系统组件的分离不应该理解为在所有实施方式中要求该分离，以及应该理解所述程序组件和系统可以一般地在有形介质上体现的单个软件产品中被集成在一起，或者被打包到多个软件产品中。

如此，已经描述了本主题的具体实施方式。其他实施方式在所附权利要求的范围内。在一些情况下，权利要求中引用的动作可以不同的顺序执行并且仍然达到想要的结果。另外，附图中所述的处理不必要求所示的具体顺序、或者相继顺序以达到想要的结果。在某些实施方式中，多任务和并行处理是有利的。

虽然上述描述包含很多详情，而这些详情不应该认为是本发明范围的限制，而仅仅是所公开实施方式的范例。本领域内技术人员将预想到所附权利要求所定义的本发明的范围内的很多其他可能的变形。

Claims (24)

1.一种计算机化的方法，包括：

经由计算设备，确定对应于用户的目光的坐标集；

经由所述计算设备，确定对应于所述坐标集的用户界面(UI)元素；

经由所述计算设备，将所述UI元素作为已被检测到而返回、并再次重复对对应于所述用户的目光的坐标集的确定；

经由所述计算设备，根据已启动的计时器确定在预定阈值时间内所返回的所述UI元素是否相同；

如果所述UI元素不相同，则经由所述计算设备，重设所述已启动的计时器并再次重复对对应于所述用户的目光的坐标集的确定；以及

如果所述UI元素相同，则经由所述计算设备，在不需要来自所述用户的任何附加动作的情况下使所述UI元素激活，并且当前选择所述UI元素以接收输入。

2.根据权利要求1所述的方法，其中经由所述计算设备，确定对应于所述用户的目光的坐标集包括：

使用配置有传感器的追踪设备，所述传感器检测所述用户的目光聚焦处的位置，所述传感器包括聚焦于眼睛运动的照相机、红外线照相机、运动传感器和红外线运动传感器中的至少一个；以及

返回对应于所检测到的位置的所述坐标集；以及

接收可调整的容差值以修改所检测到的位置的精确度。

3.根据权利要求1所述的方法，其中经由所述计算设备，确定对应于所述坐标集的UI元素包括：

查找所述坐标集与哪个UI元素相切；以及

返回该UI元素，其中查找所述坐标集与哪个UI元素相切包括查找所述坐标集属于哪个UI元素，并且进一步其中可经由可调整粒度来修改所述坐标集相切的精确度。

4.根据权利要求1所述的方法，其中经由所述计算设备，将所述UI元素作为已被检测到而返回、并再次重复对对应于所述用户的目光的坐标集的确定包括：

存储所检测到的UI元素；

返回到经由所述计算设备对对应于所述用户的目光的另一坐标集的确定；以及

经由所述计算设备，确定对应于所述另一坐标集的另一UI元素。

5.根据权利要求4所述的方法，其中经由所述计算设备，根据所述已启动的计时器确定在所述预定阈值时间内所返回的所述UI元素是否相同包括：

从零启动所述已启动的计时器；

确定所述另一UI元素是否匹配所存储的检测到的UI元素；以及

如果在所述另一UI元素与所存储的检测到的UI元素之间有匹配，继续递增所述已启动的计时器。

6.根据权利要求5所述的方法，其中如果所述UI元素不相同，则经由所述计算设备，重设所述已启动的计时器并再次重复对对应于所述用户的目光的坐标集的确定包括：

如果在所述另一UI元素与所存储的检测到的UI元素之间没有匹配，则重设所述已启动的计时器为零；

返回到经由所述计算设备对对应于所述用户的目光的新的另一坐标集的确定以替代所述另一坐标集；以及

经由所述计算设备，确定对应于所述另一坐标集的新的另一UI元素以替代所述另一UI元素。

7.根据权利要求6所述的方法，进一步包括：

存储所述另一UI元素作为所检测到的UI元素；

从零启动所述已启动的计时器；

确定所述新的另一UI元素是否匹配所存储的检测到的UI元素；以及

如果在所述新的另一UI元素与所存储的检测到的UI元素之间有匹配，则继续递增所述已启动的计时器。

8.根据权利要求1所述的方法，其中如果所述UI元素相同，则经由所述计算设备，使所述UI元素激活，并且当前选择所述UI元素以接收输入包括：

通过允许所述用户与所述UI元素交互来使所述UI元素激活；以及

存储所述UI元素作为所述激活的UI元素。

9.根据权利要求8所述的方法，其中如果所述UI元素相同，则经由所述计算设备，使所述UI元素激活，并且当前选择所述UI元素以接收输入包括：

如果所述UI元素与先前存储的UI元素相同，则在所述激活的UI元素之间不做任何变化。

10.根据权利要求1所述的方法，其中使UI元素激活在于所述用户可以与所述激活的UI元素交互，并且进一步其中在同一时间仅能有一个激活的UI元素。

11.根据权利要求1所述的方法，进一步包括：

经由所述计算设备，以选择所述激活的UI元素相同的方法在所选择的激活的UI元素内选择子UI元素；以及

经由所述计算设备，与所选择的激活的UI元素内的所选择的子UI元素交互。

12.根据权利要求1所述的方法，进一步包括：

经由所述计算设备，确定对应于所述用户的目光的坐标集；

经由所述计算设备，确定对应于所述坐标集的所选择的激活的UI元素内的子UI元素；

经由所述计算设备，将所述子UI元素作为已被检测到而返回、并再次重复对对应于所述用户的目光的坐标集的确定；

经由所述计算设备，根据已启动的子计时器确定预定子阈值时间内所返回的所述子UI元素是否相同；

如果所述子UI元素不相同，则经由所述计算设备，重设所述已启动的子计时器并再次重复对对应于所述用户的目光的坐标集的确定；

如果所述子UI元素相同，则经由所述计算设备，使所述子UI元素激活，并且当前选择所述子UI元素以接收输入；以及

允许所述用户在所述子UI元素上执行动作，所述动作能够通过使用所述用户的目光来执行。

13.一种其上具有指令的有形计算机可读存储介质，所述指令使一个或更多处理器执行操作，所述操作包括：

确定对应于用户的目光的坐标集；

确定对应于所述坐标集的用户界面(UI)元素；

将所述UI元素作为已被检测到而返回、并再次重复对对应于所述用户的目光的坐标集的确定；

根据已启动的计时器确定预定阈值时间内所返回的所述UI元素是否相同；

如果所述UI元素不相同，则重设所述已启动的计时器并再次重复对对应于所述用户的目光的坐标集的确定；以及

如果所述UI元素相同，则在不需要来自所述用户的任何附加动作的情况下将焦点给予所述UI元素并使所述UI元素激活。

14.根据权利要求13所述的计算机可读存储介质，其中确定对应于所述用户的目光的所述坐标集包括：

使用配置有传感器的追踪软件，所述传感器检测所述用户的目光聚焦处的位置，所述传感器包括聚焦于眼睛运动的照相机、红外线照相机、运动传感器和红外线运动传感器；以及

返回对应于所检测到的位置的所述坐标集，其中所检测到的位置的精确度可经由可调整容差来修改。

15.根据权利要求13所述的计算机可读存储介质，其中确定对应于所述坐标集的所述UI元素包括：

查找所述坐标集与哪个UI元素相切；以及

返回所述UI元素，其中查找所述坐标集与哪个UI元素相切包括查找所述坐标集属于哪个UI元素，并且进一步其中可经由可调整粒度来修改所述坐标集相切的精确度。

16.根据权利要求13所述的计算机可读存储介质，其中将所述UI元素作为已被检测到而返回、并再次重复对对应于所述用户的目光的坐标集的确定包括：

存储所检测到的UI元素；

返回到对对应于所述用户的目光的另一坐标集的确定；以及

确定对应于所述另一坐标集的另一UI元素。

17.根据权利要求16所述的计算机可读存储介质，其中根据所述已启动的计时器确定所述预定阈值时间内所返回的所述UI元素是否相同包括：

从零启动所述已启动的计时器；

确定所述另一UI元素是否匹配所存储的检测到的UI元素；以及

如果在所述另一UI元素和所存储的检测到的UI元素之间有匹配，则继续递增所述已启动的计时器。

18.根据权利要求17所述的计算机可读存储介质，其中如果所述UI元素不相同，则经由所述计算设备，重设所述已启动的计时器并再次重复对对应于所述用户的目光的坐标集的确定包括：

如果在所述另一UI元素与所存储的检测到的UI元素之间没有匹配，则重设所述已启动的计时器为零；

返回到对对应于所述用户的目光的新的另一坐标集的确定以替代所述另一坐标集；以及

确定对应于所述另一坐标集的新的另一UI元素以替代所述另一UI元素。

19.根据权利要求18所述的计算机可读存储介质，进一步包括：

存储所述另一元素作为所检测到的UI元素；

从零启动所述已启动的计时器；

确定所述新的另一UI元素是否匹配所存储的检测到的UI元素；以及

如果在所述新的另一UI元素与所存储的检测到的UI元素之间有匹配，则继续递增所述已启动的计时器。

20.根据权利要求13所述的计算机可读存储介质，其中如果所述UI元素相同，则将焦点给予所述UI元素包括：

通过允许所述用户与所述UI元素交互来使所述UI元素激活；以及

存储所述UI元素作为所述激活的UI元素。

21.根据权利要求20所述的计算机可读存储介质，其中如果所述UI元素相同，则将焦点给予所述UI元素包括：

如果所述UI元素与先前存储的UI元素相同，则在所述激活的UI元素之间不做任何变化。

22.根据权利要求13所述的计算机可读存储介质，进一步包括：

以选择所述激活的UI元素相同的方法选择所选择的激活的UI元素内的子UI元素；以及

与所选择的激活的UI元素内的所选择的子UI元素交互。

23.根据权利要求13所述的计算机可读存储介质，进一步包括：

确定对应于所述用户的目光的坐标集；

确定对应于所述坐标集的所选择的激活的UI元素内的子UI元素；

将所述子UI元素作为已被检测到而返回、并再次重复对对应于所述用户的目光的坐标集的确定；

根据已启动的子计时器确定预定子阈值时间内所返回的所述子UI元素是否相同；

如果所述子UI元素不同，则重设所述已启动的子计时器并再次重复对对应于所述用户的目光的坐标集的确定；

如果所述子UI元素相同，则使所述子UI元素激活，并且当前选择所述子UI元素以接收输入；以及

允许所述用户在所述子UI元素上执行动作，所述动作能够通过使用所述用户的目光来执行。

24.一种系统，包括：

显示设备，所述显示设备包括具有多个用户界面元素的屏幕，其中在同一时间所述多个用户界面元素中仅一个可以是激活的；

至少一个用户设备，所述至少一个用户设备允许用户直接与所述多个用户界面元素交互；以及

至少一个传感器，所述至少一个传感器配置有软件，所述软件检测所述用户的目光所聚焦的所述用户界面元素并且使所检测到的用户界面元素为所述激活的元素。