CN103914141A - 眼睛跟踪用户界面 - Google Patents

Abstract

本发明公开了一种眼睛跟踪用户界面。本发明还公开了一种用于提供图形界面的方法。该方法包括以下步骤：在显示设备上显示一组界面块；检测用户注视的位置；识别来自于该组界面块的用户正在看一时间段的界面块；与该组界面块一起显示扩展块，所述扩展块包括与该组界面块中的识别的界面块相关联的附加内容。

Description

眼睛跟踪用户界面

技术领域

本发明一般涉及图形用户界面，并且更具体地涉及提供与图形用户界面的眼睛跟踪交互。

背景技术

图形用户界面是允许用户利用图像与电子设备交互的类型的用户界面。大部分图形用户界面显示计算机应用的各种图形表示和可以由用户操作的控制。用户界面的设计是许多操作系统和计算机应用的重要组成部分，并且可以影响用户在设备和/或应用方面的总体经验。

发明内容

本发明的若干实施例通过提供与用户界面的眼睛跟踪交互来有利地解决上面的需要以及其它需要。

在一个实施例中，本发明可以被特征化为用于提供图形界面的方法。该方法包括在显示设备上显示一组界面块（tile）、检测用户注视的位置、识别用户正在看该组界面块的一个块一个设置的时间段、随着该组界面块一起显示扩展块，扩展块包括与该组界面块中的用户正在看的识别的界面块相关联的附加内容。

在另一个实施例中，本发明可以被特征化为用于提供图形界面的装置。装置包括眼睛跟踪设备；显示设备；和基于处理器的系统。基于处理器的系统被配置为使得显示设备在显示设备上显示一组界面块、利用来自于眼睛跟踪设备的信号检测用户注视的位置、识别用户正在看该组界面块的一个块一个设置的时间段、使得显示设备随着该组界面块一起显示扩展块，扩展块包括与该组界面块中的用户正在看的所述一个块相关联的附加内容。

在进一步的实施例中，本发明可以被特征化为包括存储在计算机可读存储介质上的计算机可执行代码的计算机软件产品。计算机可执行代码被配置为使得基于处理器的系统执行以下步骤：在显示设备上显示一组界面块、检测用户注视的位置、识别用户正在看该组界面块的一个块一个设置的时间段、随着该组界面块一起显示扩展块，扩展块包括与该组界面块中的用户正在看的识别的界面块相关联的附加内容。

附图说明

从结合附图呈现的下列更具体的说明书中，本发明的若干实施例的上述和其它方面、特征和优点将更加清晰。

图1是示出根据本发明的一些实施例的用于提供与用户界面的眼睛跟踪交互的方法的流程图。

图2-4是根据本发明的一些实施例的用户界面的例示。

图5是根据本发明的一些实施例的系统的简化框图。

在几个附图中，相应的参考符号始终指示相应的组成部分。本领域技术人员将理解，图中的元件是为简单和清楚示出的，并且不一定是按比例绘制的。例如，图中的一些元件的尺寸可能相对于其它元件被放大，以帮助提高对本发明的各个实施例的理解。同样，为了便于对本发明的这些各个实施例的较少干扰的观看，常常不描述在商业上可行实施例中的有用或必要的常见但很好理解的元件。

具体实施方式

下列说明书不被在限制意义上采用，而是仅仅为了描述示范性实施例的一般原理。本发明的范围应当参考附加权利要求书确定。

贯穿此说明书提及的“一个实施例”、“实施例”、或类似语言指的是参考实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，贯穿此说明书的短语“在一个实施例中”、“在实施例中”、和类似的语言的形态可以但未必全部指代相同的实施例。

此外，在一个或多个实施例中可以以任何合适的方式组合本发明描述的特征、结构或特性。在下面描述中，提供许多细节，诸如程序、软件模块、用户选择、网络事务、硬件模块、硬件电路、等等的示例，以提供对本发明的实施例的彻底了解。但是，本领域的相关技术人员将认识到本发明可以在没有一个或多个细节、或利用其它方法、组件、材料等等的情况下被实践。在其它实例中，公知的结构、材料、或操作没有示出或详细描述以避免模糊本发明的方面。

首先参考图1，示出了根据一些实施例的用于提供与用户界面的眼睛跟踪交互的方法。图1所示的方法可以由基于处理器的系统执行。在步骤101中，示出了用户界面。用户界面可以被显示在诸如电视机、桌上型计算机、膝上型计算机、平板计算机、游戏控制台、移动电话、智能电话、便携式媒体播放器、机顶盒、个人数据助理等等之类的电子设备的显示设备上。界面可以是操作系统或应用的用户界面和/或是操作系统用户界面的插件。界面也可以是基于网络和/或基于云的远程应用的用户界面。在一些实施例中，眼睛跟踪用户界面也被配置为经由除了眼睛跟踪以外的方式与用户交互，诸如经由语音命令、触摸屏输入、指示器设备输入、键盘输入、活动传感器信号、遥控装置输入等等。用户界面可以被设计为解决眼睛跟踪技术的减小的精度。例如，界面图标或块可以被设计为在大小上足够大以减小识别误差。

用户界面可以包括以网格布置的许多界面块。一些界面块可以占据网格的两个或更多个单元。一些界面块可以与程序或应用相关联并且块的选择可以触发程序或应用的启动。在一些实施例中，块可以是文本、图形、相片、视频中的一个或多个。一些界面块可以在显示与程序相关联的信息的彩色背景上的文本。在一些实施例中，与程序相关联的图形图像占据整个块。在一些实施例中，在所有界面块的子集仅仅被显示一次，并且用户可以滚动以看见其余块。虽然在本公开这些图标一般被描述为“块”，但是应当理解“块”不局限于正方形或矩形图标，反而，可以是以很多配置布置的任何数目的大小和形状的图标。以下参考图2-4提供用户界面的外观和所述块的内容的更详细讨论。

在步骤103中，检测用户注视的位置。用户注视的位置是指用户正在看的位置，其可以对应于显示器屏幕上的位置。用户注视的位置的检测可以由诸如照相机、光传感器、活动传感器等等之类的眼睛跟踪装置执行。在一些实施例中，利用眼睛跟踪眼镜检测注视。用户注视的检测可以基于跟踪用户眼睛、头和/或面部特征的位置和/或活动。在一些实施例中，由照相机捕获的视频图像可以被分析以检测用户注视的位置。在一些实施例中，与检测到的用户注视的位置对应的位置或区域被指示在显示屏幕上。例如，对应的屏幕上的位置可以由光标或通过突出或相反突出位于确定的注视位置处的块指示。

在步骤105中，识别用户正在看的界面块。可以基于检测到的用户注视的位置识别界面块。例如，如果检测到用户注视为在显示屏幕的位置（x，y）处，则识别占据显示区域的块。用户正在看的界面块的识别可以基于用户是否已经执行长久注视。也就是说，用户是否已经看块超过预定义的时间段。在一些实施例中，预定义的时间段是用户可配置的变量。在一些实施例中，只有当用户已经看大约相同的位置一会儿，就可以识别块。块的识别可以解决在该时间段期间用户注视的微小移动。在一些实施例中，只有当用户已经对所述块执行长久注视并且给出语音命令时，才显示扩展块。

在步骤107中，显示扩展块。在一些实施例中，当网格上的界面块被识别为用户正在看的块时，显示扩展块。在一些实施例中，扩展块可以被显示为接近于关联的界面块。扩展块的显示可以包括重排界面块网格上的一些界面块。在一些实施例中，扩展块不模糊用户观看在步骤101期间显示的界面块中的任何一个。在一些实施例中，界面块的重排可以使得一些块在显示器的框的外部。在一些实施例中，扩展块被插入在识别的界面块列和与该界面块相邻的界面块列之间，以使得在扩展块的一侧的界面块远离识别的界面块重排以给扩展块的显示腾出地方。

在一些实施例中，扩展块显示与识别的界面块相关联的信息或内容。在一些实施例中，显示在扩展块中的信息或内容可以是消息流、博客帖子、网站快照、天气信息和预报、社交媒体状态更新、游戏得分板、视频片段、相片、日历、约会日程、地图、音频播放列表、以及证券报价机中的一个或多个。以下参考图2-4提供扩展块配置和内容的更详细示例。

在一些实施例中，用户可以利用诸如眼睛移动、注视位置、语音注解、触摸输入、指示器/光标输入、键盘输入等等之类的一个或多个用户输入法与扩展块的内容交互。附加用户输入可以使得扩展块显示附加内容、显示不同类型的内容、显示控制或选项菜单、或启动程序等等。例如，用户可以随着眼睛移动滚动扩展块的内容。在另一个示例中，可以做出语音命令以触发扩展块和/或主要应用中的动作。例如，在正在看扩展块的内容的同时，用户可以说“打开”以运行关联的程序或应用。在一些实施例中，动作基于检测到的用户注视的位置和其它输入的一个的组合。

在步骤107之后，在一些实施例中，系统可以检测用户注视已经离开由扩展块占据的区域。当用户注视不再看扩展块和/或预先识别的界面块时，扩展块可以不再被显示。例如，用户界面可以返回到在扩展块被显示之前的状态。用户然后可以看另一个块一段时间并且触发与第二界面块相关联的另一个扩展块的显示。可替换地，在一些实施例中，即使用户注视已经离开扩展块也显示扩展块，并且只有当用户已经触发显示第二扩展块时才去除扩展块。

接着参考图2，示出了根据一些实施例的眼睛跟踪用户界面的例示。图2可以是在图1的步骤101处显示的界面的示例。图2所示的用户界面包括块网格200和280。块网格200包括十一个界面块。图2所示块的数目仅仅用于例示。用户界面可以包括以任何数目的列和行布置的任何数目的块。用户界面也可以包括以其它配置的图标。图2所示的网格200包括社交媒体界面块210和天气界面块220等。每个界面块可以包括在彩色背景和/或图片、动画图像、视频片段等等上的文本和图标。如图2所示，在块网格200上的块可以不在大小上全部相等。一些块可以占据网格200上的一个单元，而诸如界面块210和220之类的其它块占据两个单元。在一些实施例中，网格可以包括较大或较小的块，诸如占据半个、三个、或四个单元等等的块。

在一些实施例中，用户可以通过看屏幕的右边以将块网格280滚动到视图中来与块网格280上的块交互。在一些实施例中，向界面的左、上或底部看触发诸如显示选项菜单、启动菜单、快捷菜单、虚拟键盘等等之类的其它动作。

在一些实施例中，至少一些界面块与程序或应用相关联。例如，社交媒体界面块210可以与社交媒体应用或网浏览器书签相关联。天气界面块220可以与天气信息应用或网站书签相关联。在一些实施例中，用户可以通过选择界面块运行关联的程序或应用。例如，用户可以在看块的同时使用语音命令以运行关联的程序或应用。在一些实施例中，用户可以通过利用触摸屏输入设备、指示器设备、语音命令、遥控器、游戏控制器、键盘等等选择块以运行程序。在一些实施例中，至少一些界面块不与程序或应用相关联。

接着参考图3，示出了根据一些实施例的具有被显示的扩展块的示范性用户界面的例示。在一些实施例中，图3示出了在步骤107处显示的界面的示例。例如，在系统跟踪用户注视并且检测到用户已经看如图2所示的社交媒体界面块210超过预定的时间段之后，显示扩展块215。如图3所示，看社交媒体界面块210触发具有显示社交媒体更新的内容的扩展块（215）的显示。在图3中，扩展块215被插入在它的关联的界面块210的列和块的另一个列之间。当显示扩展块时，界面块可以被以许多其它方式重排。例如，当显示扩展块时，可以向上、向下、向左、或向右移动一些或全部界面块。在一些实施例中，一些界面块的位置也可以相对于彼此而改变。在一些实施例中，重排界面块以使得扩展块不阻挡在屏幕上的网格200上的界面块。

在一些实施例中，用户可以向上或向下看以滚动扩展块215的内容。眼睛跟踪可以包括在用户正在看扩展块的内容的同时跟踪用户注视的移动和/或位置。系统然后可以基于用户眼睛的跟踪的移动或位置来滚动内容。在一些实施例中，滚动图标217和219随着扩展块215一起被显示。用户可以看滚动图标219以向下滚动扩展块215中的社交媒体更新流的内容以看见更多内容。用户也可以看滚动图标217以向上滚动内容。

在一些实施例中，用户还可以将扩展块的内容与其它输入设备交互。例如，触摸屏输入、指示器设备、麦克风、键盘、远程控制、游戏控制器等等可以用于在扩展块中选择项以执行动作。在扩展块215所示的社交媒体流的示例中，用户可以利用输入设备选择更新中的一个以观看在关联的社交媒体应用中的完整更新。在另一个示例中，用户可以利用输入设备选择相片更新中的一个以在不运行完全社交媒体应用的情况下扩大图像以观看。上述示例仅仅作为例示给出，扩展块的内容可以以许多方式交互，所述方式可以或可以不涉及运行与识别的界面块和扩展块相关联的程序或应用。

接着参考图4，示出了根据一些实施例的具有被显示的扩展块的另一个示范性用户界面的例示。在一些实施例中，图4示出了在步骤107处显示的界面的另一个示例。例如，在系统跟踪用户注视并且检测到用户已经看如图2所示的界面块220超过预定的时间段之后，可以显示扩展块225。在一些实施例中，图4示出了在用户看图3中的扩展块215之后将他的注视移动离开扩展块215并且到移动界面块220上。

如图4所示，天气信息界面块220可以显示当前天气情况和一天的天气预报。看天气界面块220一个设置的时间段触发示出多天天气预报的扩展块225的显示。图4也示出当扩展块225被显示时几个界面单元被重排。在一些实施例中，用户还可以与扩展块225的内容交互。例如，用户可以向上或向下看以看见扩展块所示的天之前和之后几天的天气信息。在一些实施例中，用户可以利用输入设备选择日期中的一个以显示选择的日期的更详细的预报。例如，详细信息可以包括逐小时预报、降水量、风速、湿度、露点、花粉指数等等。

图2-4所示的用户界面、界面块和扩展块仅仅是其中描述的眼睛跟踪用户界面的实施例的示例。在不背离本公开的精神的情况下其它配置是可能的。这里提供界面块和扩展块的附加示例是为了例示。

在一些实施例中，界面块可以与诸如新闻频道或网站之类的新闻程序相关联。界面块可以显示新闻图像、视频片段、标题、和/或用户选择的新闻流。界面块在被选择时可以开启应用以访问新闻频道或站点。与新闻界面块相关联的扩展块可以显示新闻视频、标题的列表、新闻概要、完整的新闻文章等等。

在一些实施例中，界面块可以与日历程序相关联。界面块可以显示当前日期和一个或多个日历条目。日历界面块在被选择时，可以开启日历以便观看和编辑。关联到日历界面块的扩展块可以显示附加日历条目和/或显示日历的周综览或月综览。

在一些实施例中，界面块可以是交通信息块。界面块可以显示到目的地的估计的行进时间和/或在预定义的路线上的当前交通状态的指示符。交通信息块在被选择时，可以开启地图以提供方向并设置目的地。与交通信息块相关联的扩展块可以显示具有交通信息覆盖的区域的地图、方向列表，或可以包括目的地的列表。

在一些实施例中，界面块可以是共享界面块的社交照片。界面块可以显示来自于社交照片共享服务的相片。社交照片共享块在被选择时，可以开启照片共享网站或应用。与社交照片共享块相关联的扩展块可以显示共享的照片的流。

在一些实施例中，界面块可以是音乐播放器块。音乐播放器块可以显示音乐库中的歌曲和/或当前被播放的歌曲的专辑封面。音乐播放器块在被选择时，可以开启本地或流音乐播放器应用。与音乐播放器块相关联的扩展块可以显示播放列表和/或用于当前播放的歌曲的详细信息，诸如歌曲名称、艺术家名称、歌词、等等。

在一个些实施例中，一个界面块可以是相册块。相册块可以显示相册中的一个或多个照片。相册在被选择时，可以开启照片观看应用。与相册块相关联的扩展块可以示出专辑中的照片的幻灯片或缩略图。

在一些实施例中，一个界面块可以是股票信息块。股票信息块可以显示用于选择的股票组的证券报价机。股票信息块在被选择时，可以开启股票跟踪和/或交易程序或网站。与股票信息块相关联的扩展块可以显示更多证券报价机、图形跟踪股票价格、有关股票的消息流等等。

在一些实施例中，一个界面块可以是体育得分块。体育得分块可以显示用于选择组的比赛或团队的比赛分数。当被选择时，体育得分块可以开启体育报告应用或网站。与体育得分块相关联的扩展块可以显示附加的比赛得分、比赛报告、比赛加亮区、比赛者统计、联赛档、即将发生的比赛日程等等。

以上说明书仅仅作为示例被提供并且不意指是限制的。在一些实施例中，扩展块的内容可以由关联程序或应用确定。在一些实施例中，操作系统或本地程序可以生成扩展的内容。例如，本地程序可以从与应用相关联的网络服务中检索信息以生成扩展块的内容。在一些实施例中，扩展块的内容可以利用用户配置的设置被定制。

接着参考图5，示出根据一些实施例的系统的简化框图。用于提供眼睛跟踪界面的系统500可以包括处理器501、存储器503、显示器505、眼球跟踪设备507、和输入设备509。

系统500可以是电视机、桌上型计算机、膝上型计算机、平板计算机、游戏控制台、移动电话、智能电话、便携式媒体播放器、机顶盒、个人数据助理、智能眼镜等等。存储器503可以是RAM和/或设备上的硬盘驱动存储器。显示器505可以是集成到系统500中的显示器或是单独设备。眼睛跟踪器507可以是能够独立地跟踪用户的注视和/或向处理器501提供信号的照相机、光传感器等等。输入设备509可以是允许用户与系统500交互的一个或多个设备，诸如麦克风、键盘、鼠标、触摸垫、触摸屏、活动传感器、远程控制等等。在一些实施例中，处理器501、存储器503、显示器505、眼睛跟踪器设备507、和其它输入设备509中的两个或更多个可以被集成在一个设备中。

在一些实施例中，眼睛跟踪用户界面被存储在存储器503上。处理器501运行存储在存储器503上的代码以在显示设备505上显示用户界面。处理器501可以使用从眼睛跟踪器设备507接收到的信号以确定用户是否正在看用户界面中的界面块预定的时间段。如果是的话，处理器501使得显示设备505显示与识别的界面块相关联的扩展块。在一些实施例中，如果处理器501确定用户不再看扩展块，则处理器可以从显示器中除去扩展块。在一些实施例中，用户也可以利用一个或多个附加输入设备509与用户界面、界面块、以及扩展块交互。在一些实施例中，处理器501从其它输入设备中区分跟踪的眼睛注视信号。例如，利用指示器设备的指示器悬浮可以与长久的眼睛注视区分。在一些实施例中，系统500还包括诸如互联网连接、wi-fi连接、移动网络连接、有线网络连接等等之类的外部连接以用于向界面块、扩展块、应用、程序、和/或与界面块相关联的网站提供信息。在一些实施例中，眼睛跟踪用户界面是系统500的操作系统。在一些实施例中，眼睛跟踪用户界面是在系统500上运行的程序的界面。

以上描述的方法和装置提供了用户利用眼睛注视与电子设备交互的有效方法。扩展块可以被使用以在不需要设备运行完整应用的情况下向用户快速提供期望的信息。用户也可以在不离开主界面的情况下容易地从一个扩展块切换到另一个扩展块。扩展块也允许在不永久占据主界面上的额外空间的情况下显示比在原始界面块可以容纳的信息更多的信息。此外，在不使用诸如触摸屏、鼠标、键盘、远程控制等等之类的另一个输入设备的情况下，用户可以与用户界面交互并且仅仅利用眼睛移动获得期望的信息。

在此说明书中描述的许多功能单元已被标记为步骤，以便更具体地突出它们的实施方式独立性。例如，步骤可以被执行为包括自定义VLSI电路或门阵列的硬件电路、诸如逻辑芯片之类的标准产品半导体、晶体管、或其它分立元件。步骤也可以被在诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑器件等之类的可编程硬件设备中执行。

步骤也可以在用于由各种类型的处理器运行的软件中执行。可执行代码的识别的模块可以例如包括可以例如被组织为对象、进程、或功能的计算机指令的一个或多个物理或逻辑块。然而，识别的模块的可执行代码不需要被在物理上定位在一起，而是可以包括存储在不同位置中的完全不同的指令，当其逻辑上被结合一起时包括所述步骤并且实现所述步骤的叙述的目的。

虽然已经通过特定实施例、示例和其应用描述了这里公开的本发明，但是，在没有脱离在权利要求书中阐述的本发明的范围的情况下，本领域技术人员可以对其做出许多修改和变化。

Claims (20)

1.一种用于提供图形界面的方法，包括：

在显示设备上显示一组界面块；

检测用户注视的位置；

识别来自于该组界面块的用户正在看一时间段的界面块；

与该组界面块一起显示扩展块，所述扩展块包括与该组界面块中的识别的界面块相关联的附加内容。

2.如权利要求1所述的方法，其中该组界面块包括与一个或多个可执行的应用相关联的一个或多个界面块。

3.如权利要求1所述的方法，其中扩展块被接近于识别的界面块显示。

4.如权利要求1所述的方法，其中显示扩展块还包括重排该组界面块的一个或多个块。

5.如权利要求1所述的方法，还包括：

接收语音命令；以及

基于检测到的用户注视的位置和语音命令的组合执行动作。

6.如权利要求1所述的方法，还包括：

基于用户注视的移动滚动扩展块中的附加内容。

7.如权利要求1所述的方法，其中该组界面块被布置在网格中，并且该组界面块中的至少一个占据网格的两个或更多个单元。

8.如权利要求1所述的方法，还包括突出显示来自于该组界面块的一个块以指示检测到的用户注视的位置。

9.如权利要求1所述的方法，还包括：

检测用户不在看扩展块；以及

结束扩展块的显示。

10.如权利要求1所述的方法，其中附加内容包括从由下列项构成的组中选择出的至少一个：新闻流、博客帖子、网站快照、天气信息和预报、社交媒体状态更新、游戏得分板、视频片段、相片、日历、约会日程、地图、音频播放列表、以及证券报价机。

11.一种用于提供图形界面的装置，包括：

眼睛跟踪设备；

显示设备；以及

基于处理器的系统，其中基于处理器的系统被配置为：

使显示设备在显示设备上显示一组界面块；

利用来自于眼睛跟踪设备的信号检测用户注视的位置；

识别来自于该组界面块的用户正在看一时间段的界面块；

使显示设备与该组界面块一起显示扩展块，所述扩展块包括与该组界面块中的识别的界面块相关联的附加内容。

12.如权利要求11所述的装置，其中该组界面块包括与一个或多个可执行的应用相关联的一个或多个界面块。

13.如权利要求11所述的装置，其中扩展块被接近于识别的界面块显示。

14.如权利要求11所述的装置，其中显示扩展块还包括重排该组界面块中的其它界面块。

15.如权利要求11所述的装置，还包括：

接收语音命令；以及

基于检测到的用户注视的位置和语音命令的组合执行动作。

16.如权利要求11所述的装置，还包括：

基于用户眼睛的移动滚动扩展块的附加内容。

17.如权利要求11所述的装置，其中该组界面块被布置在网格中，并且该组界面块中的至少一个块占据网格的两个或更多个单元。

18.如权利要求11所述的装置，还包括突出显示来自于该组界面块的一个块以指示检测到的用户注视的位置。

19.如权利要求11所述的装置，还包括：

检测用户不在看扩展块；

结束扩展块的显示。

20.一种计算机软件产品，包括存储在计算机可读存储介质上的计算机可执行代码，其中计算机可执行代码被配置为使基于处理器的系统执行以下步骤：

在显示设备上显示一组界面块；

检测用户注视的位置；

识别来自于该组界面块的用户正在看一时间段的界面块；

与该组界面块一起显示扩展块，所述扩展块包括与该组界面块中的识别的界面块相关联的附加内容。