CN109196450A - 眼睛跟踪 - Google Patents

Abstract

检测包括眼睛注视(211)的第一用户动作(201)。基于所述第一用户动作(201)的所述眼睛注视(211)的方向(212)，选择来自多个菜单项的至少一个菜单项。检测第二用户动作(202)。基于所述第二用户动作(202)，激活与所述至少一个第一菜单项中给定的一个相关联的功能(209)。

Description

眼睛跟踪

技术领域

示例涉及一种方法，包括：检测第一用户动作，该第一用户动作包括与用户的眼睛相关联的眼睛注视；基于眼睛注视的方向选择至少一个第一菜单项；检测第二用户动作；以及激活与所述至少一个第一菜单项中给定的一个相关联的功能。进一步的示例涉及对应的装置。

背景技术

眼睛追踪技术提供了与图形用户界面(GUI)交互的潜力。例如，从EP 2 891 953A2中已知能够基于眼睛注视来致动GUI的技术。然而，这些技术面临某些限制。例如，用户在操作GUI时的灵活性可能受到限制。

发明内容

因此，需要先进的眼睛跟踪技术。具体地，需要这种能够基于眼睛注视动态地激活GUI的菜单项的眼睛跟踪技术。

独立权利要求的特征满足了这种需要。从属权利要求限定了实施方案。

在示例中，一种方法包括显示GUI。GUI包括多个菜单项。该方法还包括检测第一用户动作。所述第一用户动作包括与用户的眼睛相关联的眼睛注视。该方法还包括：基于第一用户动作的眼睛注视的方向，从多个菜单项中选择至少一个第一菜单项。该方法还包括检测第二用户动作。该方法还包括基于第二用户动作激活与所述至少一个第一菜单项中给定的一个相关联的功能。

在示例中，一种装置包括至少一个显示器、存储器和至少一个处理器。所述存储器被配置为存储程序代码。所述至少一个处理器与所述存储器和所述至少一个显示器耦接。所述至少一个处理器被配置为执行程序代码。程序代码的执行使得所述至少一个处理器执行以下操作：控制显示器以显示包括多个菜单项的GUI；检测包括与用户眼睛相关联的眼睛注视的第一用户动作；基于第一用户动作的眼睛注视的方向，从多个菜单项中选择至少一个第一菜单项；检测第二用户动作；并且基于第二用户动作，激活与所述至少一个第一菜单项中给定的一个相关联的功能。

在示例中，一种计算机程序产品包括将由至少一个处理器执行的程序代码。执行程序代码使得所述至少一个处理器执行一种方法。该方法包括显示GUI。GUI包括多个菜单项。该方法还包括检测第一用户动作。第一用户动作包括与用户的眼睛相关联的眼睛注视。该方法还包括：基于第一用户动作的眼睛注视的方向，从多个菜单项中选择至少一个第一菜单项。该方法还包括检测第二用户动作。该方法还包括基于第二用户动作激活与所述至少一个第一菜单项中给定的一个相关联的功能。

除非另外特别说明，否则之前和之后描述的示例可以彼此组合。

附图说明

图1A示意性地示出了根据各种示例的装置，该装置包括处理器、显示器和人机界面(HMI)。

图1B是根据各种示例的方法的流程图。

图2示意性地示出了第一用户动作和第二用户动作，所述第一用户动作包括与用户的眼睛相关联的眼睛注视，其中基于第二用户动作，激活与基于眼睛注视的方向被选择的至少一个第一菜单项中给定的一个相关联的功能。

图3示意性地示出了第一用户动作和第二用户动作，所述第一用户动作包括与用户的眼睛相关联的眼睛注视，其中基于第二用户动作，激活与基于眼睛注视的方向被选择的至少一个第一菜单项中给定的一个相关联的功能。

图4示意性地示出了第一用户动作和第二用户动作，所述第一用户动作包括与用户的眼睛相关联的眼睛注视，其中基于第二用户动作，激活与基于眼睛注视的方向被选择的至少一个第一菜单项中给定的一个相关联的功能。

图5示意性地示出了根据各种示例基于眼睛注视的方向从GUI的多个菜单项中选择所述至少一个第一菜单项。

图6A示意性地示出了根据各种示例基于眼睛注视的方向从GUI的多个菜单项中选择所述至少一个第一菜单项。

图6B示意性地示出了根据各种示例基于眼睛注视的方向从GUI的多个菜单项中选择所述至少一个第一菜单项。

图7示意性地示出了用于示例GUI的眼睛跟踪技术，其中通过光学阻尼其他菜单项来突出显示选定的菜单项。

图8示意性地示出了用于示例GUI的眼睛跟踪技术，其中针对选定的菜单项描绘了工具提示信息。

图9示意性地示出了用于示例GUI的眼睛跟踪技术，其中菜单项通过模糊和非模糊效果突出显示。

图10示意性地示出了用于示例GUI的眼睛跟踪技术，其中菜单项通过模糊和非模糊效果突出显示。

图11示意性地示出了用于示例GUI的眼睛跟踪技术，其中通过改变其形状和信息内容来突出显示选定的菜单项。

图12示意性地示出了用于示例GUI的眼睛跟踪技术，其中通过改变多个其他菜单项的可见性来突出显示选定的菜单项。

图13示意性地示出了用于示例GUI的眼睛跟踪技术，其中针对选定的菜单项描绘了工具提示信息。

图14示意性地示出了用于示例GUI的眼睛跟踪技术。

图15示出了与眼睛跟踪相关联的图标。

图16示意性地示出了根据各种示例的基于第一用户动作和第二用户动作的功能的两步激活，其中第二用户动作包括进一步的眼睛注视。

图17示意性地示出了根据各种示例的基于第一用户动作和第二用户动作的功能的两步激活，其中第二用户动作包括眉毛扬起。

图18示意性地示出了根据各种示例的基于第一用户动作和第二用户动作的功能的两步激活，其中第二用户动作包括关于响应于选择第一菜单项而可见的另一菜单项的进一步的眼睛注视。

图19示意性地示出了根据各种示例的基于第一用户动作和第二用户动作的功能的两步激活，其中第二用户动作包括关于响应于选择第一菜单项而可见的另一菜单项的进一步的眼睛注视。

图20示意性地示出了根据各种示例的基于第一用户动作和第二用户动作的功能的两步激活，其中第二用户动作包括关于响应于选择第一菜单项而可见的另一菜单项的进一步的眼睛注视。

图21示意性地示出了根据各种示例的基于第一用户动作和第二用户动作的功能的两步激活，其中第二用户动作包括进一步的眼睛注视。

具体实施方式

附图应被看作是示意性表示，并且附图中所示的元件未必按比例示出。更确切地，表示各种元件使得它们的功能和一般目的对于本领域技术人员而言是明显的。在附图中示出或本文描述的功能块、装置、部件或其他物理或功能单元之间的任何连接或耦接也可以通过间接连接或耦接来实现。部件之间的耦接还可通过无线连接来建立。功能块可以硬件、固件、软件或其组合实现。

在下文中，描述了关于采用眼睛跟踪系统的各种技术。在一些示例中，眼睛跟踪可以用在诸如客车的车辆中。

所述技术使得用户能够通过用眼睛选择性地聚焦不同的菜单项来动态地激活菜单项。在各种示例中，检测或跟踪与用户的眼睛相关联的眼睛注视的方向。详细地，可以检测眼睛注视相对于图形用户界面(GUI)的菜单项的方向。

基于眼睛注视的方向的用户动作可以对应于：用户正在观看显示器的给定点；眼睛跟踪系统识别/计算为坐标以及可选地为视觉焦点的方差度/不准确度并将数据传递给处理器。然后，基于眼睛注视的方向，可以确定是否应激活某个功能。

可以在一个或多个显示器上描绘GUI。例如，GUI可以被描绘在车辆的组合仪表显示器、中控台显示器、信息娱乐显示器和/或平视显示器(HUD)上。而且，可以想到三维显示器，例如自动立体显示器。

在激活给定菜单项的情况下，可激活或触发与相应菜单项相关联的对应功能。功能的激活可以包括以下各项中的一个或多个：触发使用(例如)弹出窗口(例如)在GUI的保留区域中和/或在激活的菜单项附近显示附加信息。例如，功能可以是任何视听反应，例如显示弹出菜单、浏览菜单等。附加信息也可以例如通过改变其形状或形式显示在菜单项内。替代地或另外，功能可以对应于改变车辆部件的内部状态的非视觉反应。在一些示例中，该功能可以对应于记录眼睛注视的方向的最后一个坐标。激活与给定菜单项相关联的功能还可以包括改变车辆或车辆部件的一个或多个操作参数，例如，娱乐系统的音量、刮水器速度、空调系统的温度等。

本文描述的技术可适用于基于车辆的眼睛跟踪系统的驾驶员和/或副驾驶员控制。一个或多个摄像头可以限定一个或多个视野，所述一个或多个视野包括驾驶员就座区和/或副驾驶员就座区。如果驾驶员和副驾驶员能够操作的同一物理显示器(例如信息娱乐系统-通常是中央显示器)，则可能期望提供例如由视角分开的分离视图显示器，所述分离视图显示器例如为驾驶员和副驾驶员提供两个独立的HMI。替代地或另外，可以实现“主/从”逻辑以解决驾驶员和副驾驶员之间的访问冲突。

图1A示出了根据各种示例的关于装置100的各方面。装置100包括处理器101、存储器106和显示器102。存储器106可以是非易失性的。装置100还包括HMI 103，所述HMI 103包括摄像头104和按键按钮105。通常，HMI 103可以包括一个以上的摄像头104和/或可以包括一个以上的按钮105。HMI 103可以包括诸如以下元件：触摸屏、语音控制器、小键盘和/或方向盘按钮等。

可以想到摄像头104的不同安装位置。一个或多个摄像头104可以安装在仪表组下方，例如，以0度水平角在仪表组下方水平居中，以比仪表组略高的竖直角度朝向驾驶员向前移动(朝向平均体型的人的面部)。摄像头的竖直角度也可以与方向盘调整相关联。当假设驾驶员负责设置关于人体工程学的合理方向盘调整以及仪表组上的清晰视野时，可能静态安装位置(关于深度和竖直角度)足以覆盖各种体型的驾驶员。一个或多个摄像头104可以安装在仪表组罩上。以0度水平角度在仪表组罩上水平居中可能以适当的竖直角度朝向挡风玻璃向后移动(朝向平均体型的人的面部)。该安装位置可使眼睛跟踪系统与抬头系统一起使用。一个或多个摄像头104可以安装在A柱(驾驶员侧)附近。一个或多个摄像头104可以在仪表板上居中。一个或多个摄像头104可以安装在中央显示器下方。通常，提供足够性能/精度的任何其他位置可用于安装一个或多个摄像头104。

合适的摄像头可以是红外摄像头。本文中，亮瞳跟踪可用于可靠的眼睛跟踪系统。通过使用红外/近红外光作为照明源，可以实现更可靠的眼睛跟踪。也可以采用被动红外摄像头。即使在白天，只要启用了眼睛追踪，照明源(如果可用)也可以是起作用的。基于摄像头、控制单元和软件的可用眼睛跟踪解决方案可以谨慎地检测和适应照明条件的变化。由于红外/近红外光对人眼是不可见的，因此不会引起注意力分散。

装置100的处理器101被配置为实现眼睛跟踪技术。例如，处理器101可以被配置为执行如图1B的流程图所示的方法。

首先，检测第一用户动作(5001)。第一用户动作包括眼睛注视。例如，为此，处理器101可以从摄像头104接收图像数据。处理器101可以被配置为分析图像数据以检测包括与用户的眼睛相关联的眼睛注视的第一用户动作。本文中，处理器可以将眼睛注视的方向(例如，眼睛注视的焦点)与显示器上的位置和/或GUI中的位置进行映射。然后，基于GUI的结构，可以确定第一用户动作的一个或多个目标菜单项。

然后，基于眼睛注视的方向，可以在5002处选择至少一个第一菜单项。例如，在简单的场景中，可以选择眼睛注视所朝向的菜单项。在另一示例中，可以选择位于眼睛注视的方向附近的一个或多个菜单项。例如，可以选择所有最近邻菜单项。在其他示例中，可以选择与眼睛注视的方向具有某种几何关系的菜单项。例如，可以选择显示器上位于眼睛注视所朝向的所有菜单项。

然后，在5003处，检测到第二用户动作。第二用户动作可以包括进一步的眼睛注视。例如，进一步的眼睛注视可以实现关于5001的眼睛注视的特定关系：例如，进一步的眼睛注视可以以与眼睛注视5001相同的方式定向或者可以不同地定向。替代地或另外，在5003处的第二用户动作还可以包括其他元素，例如：手势、按钮(诸如方向盘按钮等)的致动。

然后，在5004处，基于第二用户动作，激活功能。该功能与在5002处选择的菜单项中的一个相关联，并且还由第二用户动作指定。

因此，基于第一用户动作和第二用户动作，可以实现该功能的两步激活过程。

图2示出了关于第一用户动作201和第二用户动作202的各方面。如图2所示，第一用户动作201包括与用户的眼睛213相关联的眼睛注视211。眼睛注视211限定方向212。例如，方向212可以与眼睛注视211的焦点相关联。虽然在图2中，眼睛注视211是相对于两只眼睛限定的，但是在其他示例中，眼睛注视211可以仅相对于单只眼睛来定义。

在选择至少一个菜单项之前，第一用户动作201可以与特定持续时间相关联。例如，特定持续时间可以大约小于一秒，优选小于500毫秒，更优选小于200毫秒。因此，可能需要用户在选择相应的菜单项之前持续地将眼睛注视211定向在相应的菜单项上达给定的持续时间。

当第一用户动作201从GUI的多个可用菜单项中选择菜单项的一小部分时，仅第二用户动作202激活选定菜单项中给定的一个的功能209。

基于这些技术，可以实现用于激活与对应GUI的菜单项中给定的一个菜单项相关联的功能209的两步过程。具体地，在两步过程的第一步骤中，基于第一用户动作201的眼睛注视211的方向212，从GUI的多个菜单项中选择至少一个第一菜单项。接下来，在两步过程的第二步骤中，基于第二用户动作202，激活与所述至少一个第一菜单项中给定的一个相关联的功能209。

通过实现这样的两步激活过程，可以更加明确地激活功能209。具体地，可以避免用户无意中激活功能209。这可能是由于没有仅基于第一用户动作201的眼睛注视211的方向212来实现功能209的激活：如果用户例如在显示器上寻找某些信息，则有可能用户只是环顾四周，从而随后将不同点聚焦在GUI上而无意激活相关功能。通过引入第二用户动作202，在这种场景下避免了功能209的无意激活。

图2中示出的是，在一个实例中，例如在一个情境中并且在某个时间阈值内发出第一用户动作201和第二用户动作202的场景。因此，在第一用户动作201和第二用户动作202之间可以存在链接，例如，逻辑链接、时间链接和/或空间链接。在图2的示例中，第二用户动作202在时域中偏离第一用户动作201。仍然可能需要在相对于第一用户动作201的阈值时间内发出第二用户动作202，以便确保在一个实例中发出第一用户动作201和第二用户动作202。例如，可能需要在第一用户动作201之后的500ms或1s或2s内发出第二用户动作202。

图3示出了关于第一用户动作201和第二用户动作202的各方面。图3总体上对应于图2。然而，在图3的示例中，第二用户动作202相对于第一用户动作201在时域中相邻地布置。同样，在一个实例中发出第一用户动作201和第二用户动作202。同样在图3的场景中，第二用户动作202在第一用户动作201开始之后开始。

图3的场景对功能的激活施加了相当严格的要求。因此，可以有效地避免功能的无意激活。

图4示出了关于第一用户动作201和第二用户动作202的各方面。图4总体上对应于图2。然而，在图4的示例中，第一用户动作201和第二用户动作202在时域中部分重叠。因此，第一用户动作201在第二用户动作202期间是持续的。虽然在图4的示例中，第一用户动作201在整个第二用户动作202期间是持续的，但是在其他示例中，第一用户动作201可能仅在第二用户动作202的第一部分期间是持续的。

在图4的示例中，可能需要用户保持眼睛注视211的方向212瞄准选定的菜单项，同时发出第二用户动作202。这可以通过实现与第一用户动作201不同的第二用户动作202来实现。例如，第二用户动作202可以对应于在用户聚焦选定的菜单项时发出的挥手手势、语音命令等。由于用户需要保持眼睛注视211的方向212瞄准选定的菜单项(即，由于第一用户动作201在第二用户动作202的至少第一部分期间是持续的)，因此所述激活功能209进一步基于第一用户动作。

通过将第一用户动作201和第二用户动作202设计为在时域中重叠，可以限定用于在一个实例中发出动作201、202的更严格的标准。这可以进一步避免功能209的无意激活。

在本文描述的示例中，至少一个菜单项的选择可以与超时相关联。例如，如果眼睛注视211的方向212不再与所述至少一个菜单项相关联持续例如阈值时间，则可以取消选择所述至少一个菜单项。

图5示出了关于GUI 500的各方面。图5的示例的GUI 500包括菜单项301-306。通常，GUI 500可以包括更少或更多数量的菜单项。

图5中示出的是第一用户动作201的眼睛注视211的方向212被定向在菜单项301-304所在的显示器的区域360内的场景。此外，菜单项305、306位于区域360的外部。由于第一用户动作212的眼睛注视211的方向212位于区域360内，因此从多个菜单项301-306中选择菜单项301-304。未选定菜单项305、306。

例如，在一个示例中，仅选择那些与眼睛注视211的方向212最接近的菜单项301-304。因此，可以相对于眼睛注视211的方向212最接近的区域来限定区域360。在进一步的示例中，区域360可以包括眼睛注视211的方向212所瞄准的同一显示器上的GUI 500的所有菜单项。这种场景对应于借助于眼睛跟踪对给定显示器上的所有菜单项位置的粗略预选；随后的精选然后决定激活显示器上的菜单项的哪个特定功能。因此，还可以想到眼睛跟踪系统通过第一用户动作检测用户当前正在看哪个显示器。然后，眼睛跟踪系统可以使用户能够通过第二用户动作(包括例如眼睛跟踪和/或致动一个或多个方向盘按钮)进一步操作对应的显示器。例如，当用户在信息娱乐显示器上查看时，可以通过方向盘按钮(“向上”/“向下”/“向左”/“向右”/“确定”)(从当前位置)操作光标，因此，用户不必通过参考输入方法(例如，4路控制器)将手从方向盘上拿开以操作信息娱乐系统。这可能是眼睛追踪系统的低成本变体，而无需高精度眼睛追踪。本文中，必须以相对低的精度检测观察方向。这可以基于单个摄像头来实现；可能不需要其他检测系统。这种低精度眼睛跟踪也可以是高精度眼睛跟踪的附加物，而为用户提供额外的交互方法。这种场景允许以相对低的复杂度实现眼睛跟踪。这可以减少硬件需求，从而节省成本。而且，它允许从多个显示器中快速和简单地选择给定显示器。

在一些示例中，可以向用户指示选择一个或多个菜单项。例如，再次参考图5的场景，响应于选择菜单项301-304，菜单项301-304可以被突出显示，即，在GUI 500内特别显眼。例如，如果与未选定的菜单项305、306相比，则可以突出显示选定的菜单项301-304。

突出显示菜单项301-304可以包括不同的动作，例如：将光标符号悬停在菜单项301-304上方；改变菜单项301-304的模糊或菜单项301-304的背景；改变菜单项301-304的大小；改变菜单项301-304的几何形状；改变菜单项301-304的信息内容；以及改变菜单项301-304的颜色。这些技术可以在各种示例中彼此组合或与进一步技术组合。

在进一步的示例中，可以不向用户指示这种选择。例如，菜单项的选择可能是处理器101的内部过程，其用于缩小搜索空间以用于随后与选定菜单项301-304相关联的可激活的功能。因此，换句话说，可以不立即通知用户关于所述至少一个菜单项的选择，而是使用这种处理以便使相关功能的后续激活更可靠。

在图5的示例中，第二用户动作202对应于菜单项301-304中的一个的选择；在图5的示例中，菜单项302由第二用户动作202从菜单项301-304中选择。因此，激活与菜单项302相关联的功能209。

通常，第二用户动作202可以根据实现方式而变化。在一些示例中，第二用户动作202也可能涉及眼睛跟踪技术。例如，第二用户动作202可能包括与用户的眼睛相关联的进一步的眼睛注视。进一步的眼睛注视可以具有与第一用户动作的眼睛注视相同或不同的方向。第二用户动作202还可以涉及眼睛跟踪之外的技术，例如，以下各项中的一个或多个：用户的手势；用户的手指姿势；按下按钮；用户的眉毛扬起；用户眨眼等。

通过这种技术，可以将眼睛跟踪系统与手势跟踪系统组合。因此，用户将能够通过实现第二用户动作的一个或多个手势来进一步控制/操作当前选择的菜单项。例如，当用户正在聚焦音量菜单项(由此被选择)时，可以通过手势(实现第二用户动作)来增大/减小响度。

图6A示出了关于GUI 500的各方面。图6A的示例的GUI 500包括两个菜单项301、320。

在图6A的示例中，眼睛注视211的方向212瞄准菜单项301。由此，选择图6A的示例中的菜单项301。响应于选择菜单项301，激活进一步的菜单项320的可见性。在选择菜单项301之前，在GUI 500中看不到进一步的菜单项320。

然后，第二用户动作202与进一步的菜单项320相关联。例如，第二用户动作202可以包括将光标移向进一步的菜单项320。在图6A的示例中，第二用户动作202还可以包括进一步的眼睛注视。如果进一步的眼睛注视的方向212瞄准进一步的菜单项320，则进一步的眼睛注视可以确认与菜单项301相关联的功能的激活。而且，朝向菜单项301的手势是可以的。

通过激活进一步的菜单项320的可见性，可以明确地请求用户确认是否确实激活了与菜单项301相关联的功能209。

虽然在图6A的示例中，最初菜单项201是可见的，其功能209随后被激活，但在其他示例中，也可能的是，其功能随后被激活的菜单项的可见性仅响应于瞄准进一步的菜单项的眼睛注视而激活。这种场景在图6B中示出。

图6B示出了关于GUI 500的各方面。GUI 500再次包括两个菜单项301、320。在图6B的示例中，眼睛注视211的方向瞄准与菜单项301不同的进一步的菜单项320。最初只有进一步的菜单项320可见。尽管如此，基于第一用户动作201的眼睛注视211的方向212指向进一步的菜单项320来选择菜单项301。响应于选择菜单项301，激活菜单项301的可见性。然后，第二用户动作202激活与菜单项301相关联的功能209。

图7示出了关于GUI 500的各方面。图7的示例的GUI 500包括多个菜单项301-310。在图7的示例中，眼睛注视211的方向212瞄准菜单项309。

因此，选择菜单项309。如果与菜单项301-308、310相比，菜单项309的选择导致菜单项309的突出显示。在图7的示例实现方式中，通过光学地阻尼菜单项301-308、310来实现菜单项309的这种突出显示。这可以通过降低菜单项301-308、310的对比度来实现。

图8示出了关于GUI 500的各方面。图8的GUI 500基本上对应于图7的示例的GUI500。在图8的场景中，眼睛注视211的方向212最初位于菜单项307的范围内(图8的示例中的油量项)。因此，选择菜单项307。选择菜单项307触发描绘工具提示信息340。工具提示信息340与菜单项307相关联。工具提示信息340被描绘在对应显示器的保留中心区域中。因此，工具提示信息340被描绘为偏离菜单项307的位置。在其他示例中，还可以在已经选择的菜单项307的位置处描绘工具提示信息340。

可以在选定的菜单项307和描绘工具提示信息340的区域之间具有某种平滑动画。这样的动画可以在短路径上引导眼睛注视211的方向212到描绘工具提示信息340的区域(如图8中的方向212的各种位置所示)。在这种场景下，用户可以决定是跟随路径还是聚焦另一菜单项或者不聚焦显示器。如果用户跟随路径并且聚焦工具提示信息340-从而执行实现进一步眼睛注视的第二用户动作202，则可以触发相应的功能。

中心区域可以描绘关于最后选择的菜单项301-309的工具提示信息。可选地，可以提供超时(例如，3秒)；当方向212离开中心区域时，可以启动定时器。之后，中心区域中描绘的信息可以退回到可配置的默认信息或者仅保持空/透明。

图9和图10分别示出了用于突出显示菜单项308、309、310的模糊和非模糊效果。在图9中，眼睛注视211的方向212瞄准菜单项309。因此，选择菜单项308、309。未选定的菜单项316(在图9和10的示例中对应于背景地图)是模糊的。这避免了用户的注意力分散。认知负荷降低。

对应的情况如图10所示；然而，在图10中，眼睛注视211的方向212相对于菜单项316定位。本文中，菜单项308、309模糊，菜单项316不模糊。

因此，在模糊/非模糊效果的情境中，可以实现取决于基于眼睛注视211的方向212而选择的选择性突出显示菜单项308、309、316。

替代地或另外，可以使用模糊和非模糊效果，以便在视觉上区分可选择和不可选择的元素。例如，那些元素可以是不可选择的，它们不提供相关的功能209。

图11示出了改变选定菜单项307的大小和形状以用于突出显示。在图11的示例中，眼睛注视211的方向212瞄准菜单项307。响应于菜单项307的选择，菜单项307的尺寸增大(参见图7)。附加工具提示信息340被描绘在菜单项307的位置处。

通过在选定菜单项307的位置处描绘工具提示信息，可以避免驾驶员注意力分散。具体地，可以避免眼睛的重新聚焦，因为工具提示信息是在眼睛焦点的位置处提供的。

图12示出了关于GUI 500的各方面。本文中，通过使眼睛注视211定向使得其瞄准进一步的菜单项303来选择菜单项311-315。选择菜单项311-315对应于激活显示器的中心区域中的菜单项311-315的可见性。然后，可以基于第二用户动作202激活与菜单项311-315中的一个相关联的功能。

图13示出了关于GUI 500的各方面。通过相应地定向眼睛注视212来选择菜单项304。这触发了在中心区域描绘工具提示信息340。在图13的示例中，工具提示信息340对应于基于箭头的路线引导或具有指示汽车位置的小地图。

图14示出了关于GUI 500的各方面。本文中，眼睛注视211具有瞄准菜单项310的方向212。然后选择菜单项310。在图14的示例中，没有以图形方式向用户指示该选择。

然后可以进一步操作选定的菜单项310作为第二用户动作的一部分。对于第二用户动作，可以采用方向盘按钮等。诸如当前站、当前轨道、跳过图标等的一些项目可以根据是否选择了菜单项310而动态地淡入/淡出。

可能存在指示眼睛跟踪功能的当前状态的一系列图标。图15示出了对应于眼睛跟踪系统的不同状态的不同图标401-404。图标401示出了眼睛跟踪功能是起作用的并且用户的眼睛注视211被识别。图标402示出了眼睛跟踪系统是起作用的，但是无论由于何种原因，当前不识别用户的眼睛注视211。图标403示出了眼睛跟踪功能可用，即，当前用户的校准数据可用，但眼睛跟踪系统当前例如被用户关闭。图标404示出了眼睛跟踪功能无论由于何种原因而不可用，例如，缺少校准数据、摄像头故障等。

眼睛跟踪技术可能基于单眼或双眼进行识别。例如，在校准过程期间，可以选择两个可用眼睛中的一个并确定哪个眼睛给出最佳性能并且应用于眼睛跟踪。有时，眼睛跟踪的可用性可能与为每个用户执行的校准相关。本文中，在当前用户尚未执行校准时，可以停用眼睛跟踪。因此，换句话说，如果当前用户的校准数据在数据库中不可用，则可以停用眼睛跟踪。本文中，可以采用自动人员识别以便唯一地识别人员。这种人员识别可以由眼睛跟踪系统的摄像头完成，例如，使用/扫描面部的生物识别数据；和/或任何其他摄像头或适当的系统。如果检测到无法识别的人员，则可能需要手动启用眼睛追踪。为此目的，例如，可以显示仪表组信息娱乐显示器上的弹出窗口，以要求用户执行校准过程。如果校准不成功，则将启用眼睛追踪。如果用户拒绝校准请求，则眼睛跟踪功能可以保持停用。由此可以防止系统的故障。

眼睛跟踪的这种校准对于包括眼睛注视211的第一用户动作201尤其重要。然而，在一些示例中，校准还可以涉及第二用户动作202(其还可以包括进一步的眼睛注视和/或眉毛扬起)的各方面。

图16示出了关于GUI 500的各方面。具体地，图16示出了功能209的两步激活过程。在图16中，示出了GUI 500的给定菜单项313(“跳过项”)。相关功能209将跳过下一音频回放轨道。

首先，眼睛注视211不相对于菜单项313(图16的左侧)定向。因此，尚未发生第一用户动作201并且未选定菜单项313。

然后，选择菜单项313中发生第一用户动作201(图16，中间部分)。在图16的示例中，第一用户动作201包括将眼睛注视211的方向212定位在菜单项313上。在图16的示例中选择菜单项313可以包括：突出显示菜单项313。例如，突出显示图16的示例中的菜单项313包括在菜单项313周围绘制图形边界和/或改变其颜色。通过突出显示，提供关于菜单项313的选择的视觉反馈。这有助于用户理解现在可以激活功能209。

接下来，发生第二用户动作202并且激活与菜单项313相关联的功能209。在图16的示例中，第二用户动作202可以包括具有与第一用户动作201的眼睛注视相同的方向212的进一步的眼睛注视；即，第二用户动作202可以对应于连续的眼睛注视。因此，通过聚焦菜单项313特定持续时间，获得功能209的激活。

第二用户动作202的其他示例可以包括眨眼、双眨眼、手势、语音命令(例如“确认”)等。例如，可能需要在这样的第二用户动作209期间，第一用户动作201是持续的，即用户继续聚焦菜单项313。然后，所述功能209的激活可以进一步基于第一用户动作201的眼睛注视211的方向。

虽然在图16的示例中，已经关于跳过前进图标313描述了功能209的激活，但是这样的概念可以广泛地应用于不同种类和类型的菜单项。进一步的菜单项可以包括地图视图中的兴趣点图标等。本文中，该功能可以是可以在弹出窗口中显示的背景信息的检索或者作为工具提示信息。

图17示出了关于GUI 500的各方面。本文中，关于菜单项308示出了功能209的两步激活过程。同样，第一用户动作201包括眼睛注视211的方向212相对于菜单项308定位。然后，选择菜单项308。菜单项308的选择可以包括颜色的改变和进一步的可用功能209的指示。

第二用户动作202包括用户的眉毛扬起。眉毛扬起触发功能209的执行，功能209与由第一用户动作201选择的菜单项308相关联。在图17的示例中，功能209对应于进入子菜单或正在打开/关闭功能等。例如，可以通过进一步的用户动作来浏览子菜单。

图18示出了关于GUI 500的各方面。详细地，图18示出了关于第二用户动作202的各方面。在图18的示例中，第二用户动作202包括将另一眼睛注视聚焦在进一步的菜单项320上以进行确认。详细地，如图18所示，通过对应地定向眼睛注视211来选择菜单项303。即使选择了菜单项303，对应的功能209也不会自动触发。这是为了防止功能209的意外激活。

一旦选择了菜单项303，则进一步的菜单项320变得可见。这种菜单项320的可见性的激活可以包括诸如以下的效果：淡入，模糊，不模糊等。可以提供动画。

在图18的示例中，进一步的菜单项320是偏离菜单项303定位的小图形按钮。然后，第二用户动作209可以与进一步的菜单项320相关联。例如，第二用户动作209可以包括瞄准进一步的菜单项320的进一步眼睛注视。例如，第二用户动作209可以包括从左下到右上的挥手，即，对应于菜单项303和进一步的菜单项320的偏移。

在其他示例中，进一步的菜单项320可以包括诸如箭头、靶、圆圈等的图标，以在视觉上指示其激活功能209的功能。这示出在图19中。在图19中，当眼睛注视211的方向212以箭头图标的形式放置在进一步的菜单项320上时，最终执行第二用户动作202。这触发了功能的激活，例如，在图19的示例中，激活媒体应用或媒体子菜单。

如果实现第二用户动作202的进一步眼睛注视然后相对于进一步的菜单项320定向持续特定时间段，则激活菜单项303的相关联的功能209。

例如，进一步的菜单项320可以以动画为特征，如果进一步的菜单项320通过进一步的眼睛注视持续聚焦并且如果达到其超时，则向用户指示功能209即将被激活。动画可以是交互式的，即取决于计时器参数。这种场景在图20中示出。本文中，进一步的菜单项320包括指示第二用户动作202的进度的动画。

在一个示例中，动画可以是与菜单项303的特定超时无关的简单活动指示。动画也可以在视觉上表示超时的进度，以便用户可以预测功能209何时被激活。例如，在图20的示例中，如果用户将眼睛注视211的方向212放在由箭头图标实现的进一步菜单项320上，则只要用户将箭头图标聚焦在一定范围内直到功能209被触发，动画就开始并运行。如果用户在动画完成之前停止聚焦箭头图标320，则动画可以回退(例如，轻柔地)到其初始状态。然后，不执行功能209。典型的超时可以被确定大小大约为一秒、两秒等，以使用户有机会中止第二用户动作202/确认过程。

虽然已经关于包括进一步眼睛注视的第二用户动作描述了上述各种示例，但是在其他示例中，可以实现与用户的其他交互。例如，第二用户动作202可以包括激活一个或多个方向盘按钮。这种场景在图21中示出。本文中，如果用户使用眼睛注视211瞄准菜单项314(仪表组上的变速箱图标，在图21的示例中)，然后在方向盘上按下“OK”，则激活功能209。激活功能209对应于激活选项菜单，用户可通过进一步的用户动作切换变速箱设置(“经济、经济前进、运动、比赛”等)，例如基于方向盘按钮(例如上下按钮)实现。这样的菜单和应用屏幕可以具有“后退”软键以向后浏览(因此向后浏览不是眼睛跟踪的问题)。菜单/子菜单和应用屏幕可能会超时。可以通过方向盘按钮进一步关闭或浏览菜单/子菜单。

总之，已经描述了上述两步激活过程，包括第一用户动作和随后的第二用户动作。本文中，至少第一用户动作包括眼睛注视。

这些技术基于以下发现：眼睛跟踪系统与一些不准确性相关联。例如，眼睛跟踪系统可能无法区分用户是否意外地查看菜单项或者只是想获得HMI项的概述或者正在寻找触发任何类型的功能(弹出信息、设置聚焦、选择和操作菜单项等)。

为了解决这个问题，本文中描述的技术通过两步激活过程提供了激活功能的意图的明确确认。根据实现方式，第二用户动作可以实现不同的交互级别并保护它们。通常通过实现第二用户动作以包括手动按下按钮(例如，方向盘上的“OK”按钮)来给出最高可靠性/不模糊性。通过实现第二用户动作以包括眉毛检测并聚焦新出现的进一步的菜单项，可以实现较低的可靠性。

通过这样的两步激活过程，可以实现各种效果。可以直观地与整个HMI进行交互：用户可以通过简单地查看它来开始与项目的交互(第一个用户动作)。然后，通常，可以与HMI的所有可见项进行交互。屏幕的任何“空白”区域也可以进行交互：例如，聚光灯效果可以链接到用户眼睛注视的识别方向，或弹出窗口(例如，带有速度信息)或弹出菜单(例如，带有可选择的项目)可以显示偏移到用户的(识别的)焦点/注视。

相比之下，仪表组、信息娱乐系统等已建立的输入/交互方法仅提供有限的访问和与HMI的较少直观交互：由于使用4向控制器(例如在方向盘上)或转向并按下控制器(例如用于信息娱乐系统)，交互可能更抽象。通过典型的输入方法，可以将HMI焦点的滚动绑定到更多静态路径。通常，并非HMI的所有可见项都可以直接访问。这通常由系统的设计/规范确定，以防止例如具有太多步骤的反直觉操作路径或操作路径。

基于本文描述的技术，眼睛跟踪操作系统可以直接访问感兴趣的信息或经常使用的功能：例如，可以例如通过查看油量图标来检索当前燃料下的巡航范围。这为用户提供了时间优势并且需要比传统方式更少的集中，在传统方式中，用户通常使用方向盘按钮操作车载计算机并且必须根据当前菜单位置设想路径并且必须按下按钮若干次以到达例如旅程菜单。当通过眼睛跟踪操作信息娱乐系统(中央显示器)时，用户不需要将手从方向盘上拿开。

总之，已经描述了在汽车环境(例如汽车)中使用眼睛跟踪系统的上述技术。所述技术使得能够操作仪表组、信息娱乐系统/显示器、抬头系统/显示器等。在一些示例中，可以将用户识别数据与用户特定校准数据链接并且启用/停用眼睛跟踪功能，这取决于校准数据和用户识别的可用性。此外，例如通过一系列，图标眼睛跟踪系统/功能的状态指示可以是可用的。这些图标可以仅在一些或每个眼睛跟踪可控显示器上可用。可以通过使用眼睛注视聚焦菜单项来触发工具提示信息。可以通过将眼睛注视在它上面，即通过观察它来将HMI焦点设置为给定的菜单项；可以选择所述菜单项。可以通过聚焦相应的菜单项持续特定时间段和/或通过眉毛扬起和/或通过聚焦动态确认元素和/或通过使用诸如方向盘按钮的硬键来激活与菜单项相关联的功能。这些选项可以实现第二用户动作。已经描述了能够通过方向盘按钮(例如，4路控制器)操作眼睛聚焦显示器(例如，仪表组、中央显示器、平视显示器)的示例。此外，通过使用模糊/非模糊效果来区分可聚焦和不可聚焦元素或使用模糊效果，可以减少视觉干扰。对于副驾驶员，可以使用眼睛跟踪交互。可以组合眼睛跟踪和手势跟踪。

尽管已经关于某些优选实施方案示出和描述了本发明，但是在阅读和理解本说明书之后，本领域技术人员将想到等同物和修改。本发明包括所有这些等同物和修改，并且仅受所附权利要求的范围限制。

例如，虽然已经说明了GUI的某些示例，但这些是非限制性的。GUI的实现方式可以例如在外观、布置和/或逻辑结构方面不同。

Claims (15)

1.一种方法，其包括：

-显示包括多个菜单项(301-316、320)的图形用户界面(500)，

-检测包括与用户的眼睛(213)相关联的眼睛注视(211)的第一用户动作(201)，

-基于所述第一用户动作(201)的所述眼睛注视(211)的方向(212)，从所述多个菜单项(301-316、320)中选择至少一个第一菜单项(301-316、320)，

-检测第二用户动作(202)，以及

-基于所述第二用户动作(202)，激活与所述至少一个第一菜单项(301-316、320)中给定的一个相关联的功能(209)。

2.如权利要求1所述的方法，

其中所述第一用户动作(201)和所述第二用户动作(202)在一个实例中发出，并且其中所述第二用户动作(202)在所述第一用户动作(201)开始之后开始。

3.如权利要求2所述的方法，

其中所述第一用户动作(201)在所述第二用户动作(202)的至少第一部分期间是持续的。

4.如前述权利要求中任一项所述的方法，

其中所述功能(209)的所述激活还基于所述第一用户动作(201)的所述眼睛注视(211)的所述方向。

5.如前述权利要求中任一项所述的方法，

其中所述眼睛注视(211)的所述方向瞄准与所述至少一个第一菜单项(301-316、320)不同的进一步的菜单项(301-316、320)，

其中所述方法还包括：

-响应于选择所述至少一个进一步的菜单项(301-316、320)，激活所述至少一个进一步的菜单项(301-316、320)的可见性。

6.如权利要求1-4中任一项所述的方法，

其中所述眼睛注视(211)的所述方向瞄准所述至少一个第一菜单项(301-316、320)，

其中所述方法还包括：

-响应于选择所述至少一个第一菜单项(301-316、320)，突出显示所述至少一个菜单项(301-316、320)。

7.如权利要求6所述的方法，

其中所述突出显示所述至少一个菜单项(301-316、320)包括以下各项中的至少一个：将光标符号悬停在所述至少一个菜单项(301-316、320)上方；改变所述至少一个菜单项(301-316、320)的模糊或所述至少一个菜单项(301-316、320)的背景；改变所述至少一个菜单项(301-316、320)的大小；改变所述至少一个菜单项(301-316、320)的几何形状；改变所述至少一个菜单项(301-316、320)的信息内容；以及改变所述至少一个菜单项(301-316、320)的颜色。

8.如前述权利要求中任一项所述的方法，其还包括：

-响应于选择所述至少一个第一菜单项(301-316、320)，描绘与和所述至少一个菜单项(301-316、320)相关联的所述功能(209)相关的工具提示信息(340)。

9.如权利要求8所述的方法，

其中所述眼睛注视(211)的所述方向瞄准所述至少一个第一菜单项(301-316、320)，

其中所述工具提示信息(340)被描绘在所述至少一个菜单项(301-316、320)的位置处。

10.如前述权利要求中任一项所述的方法，其还包括：

-响应于选择所述至少一个第一菜单项(301-316、320)，激活与所述至少一个第一菜单项(301-316、320)不同的进一步的菜单项(301-316、320)的可见性，

其中所述第二用户动作(202)与所述进一步的菜单项(301-316、320)相关联。

11.如前述权利要求中任一项所述的方法，

其中所述第二用户动作(202)包括以下各项中的至少一个：所述用户的手势；所述用户的手指姿势；按下按钮；所述用户的眉毛扬起；所述用户的眨眼；具有与所述眼睛注视(211)相同方向的进一步的眼睛注视(211)；以及具有与所述眼睛注视(211)不同方向的进一步的眼睛注视(211)。

12.如前述权利要求中任一项所述的方法，

其中所述图形用户界面(500)显示在多个显示器(102)上，

其中所述选择是基于所述眼睛注视(211)相对于所述多个显示器(102)中给定的一个上的任何位置的方向，所述多个显示器中的所述给定的一个包括所述至少一个第一菜单项(301-316、320)。

13.一种装置，其包括：

-至少一个显示器(102)，

-存储器(106)，其被配置为存储程序代码，

-至少一个处理器(101)，其与所述存储器和所述至少一个显示器(102)耦接并且被配置为执行所述程序代码，其中所述程序代码的执行使得所述至少一个处理器(101)执行以下操作：

-控制所述至少一个显示器(102)以显示包括多个菜单项的图形用户界面(500)，

-检测包括与用户的眼睛(213)相关联的眼睛注视(211)的第一用户动作(201)，

-基于所述第一用户动作(201)的所述眼睛注视(211)的方向(212)，从所述多个菜单项(301-316、320)中选择至少一个第一菜单项(301-316、320)，

-检测第二用户动作(202)，以及

-基于所述第二用户动作(202)，激活与所述至少一个第一菜单项(301-316、320)中给定的一个相关联的功能(209)。

14.如权利要求13所述的装置，

其中所述装置被配置为执行如权利要求1-12中任一项所述的方法。

15.如权利要求13或14所述的装置，

其中所述装置是车辆音响主机(vehicle head unit)或车辆控制器。