CN109426350A - 跨多显示器布置跟踪用户视线的系统和方法 - Google Patents

Abstract

根据本发明，公开了一种跨多显示器布置跟踪用户视线的系统。所述系统包括第一显示器、第一眼睛跟踪设备、第二显示器、第二眼睛跟踪设备以及处理器。第一眼睛跟踪设备可以被配置为当用户注视所述第一显示器时确定用户的视线方向。第二眼睛跟踪设备可以被配置为当用户注视所述第二显示器时确定用户的视线方向。所述处理器可以被配置为确定用户的视线已经在朝向所述第二显示器的方向上离开所述第一显示器，以及停用所述第一眼睛跟踪设备，并激活所述第二眼睛跟踪设备，以响应确定用户的视线已经在朝向所述第二显示器的方向上离开所述第一显示器。

Description

跨多显示器布置跟踪用户视线的系统和方法

发明内容

在一个实施例中，提供了一种跨多显示器布置跟踪用户视线的系统。所述系统可以包括第一显示器、第一眼睛跟踪设备、第二显示器、第二眼睛跟踪设备和处理器。所述第一眼睛跟踪设备可以被配置为当用户注视所述第一显示器时确定用户的视线方向。所述第二眼睛跟踪设备可以被配置为当用户注视所述第二显示器时确定用户的视线方向。所述处理器可以被配置为确定用户的视线已经在朝着所述第二显示器的方向上离开所述第一显示器。所述处理器还可以被配置为停用所述第一眼球追踪设备，并激活所述第二眼球追踪设备，以响应确定用户的视线已经在朝着所述第二显示器的方向上离开所述第一显示器眼睛跟踪眼睛跟踪。

在另一个实施例中，提供了一种跨多显示器布置跟踪用户视线的方法。所述方法可以包括，当用户注视第一显示器时用第一眼睛跟踪设备确定用户的视线方向。所述方法还可以包括，当用户注视第二显示器时用第二眼睛跟踪设备确定用户的视线方向。所述方法可以进一步包括确定用户的视线已经在朝向所述第二显示器的方向上离开所述第一显示器。所述方法还可以包括，停用所述第一眼睛跟踪设备，并激活所述第二眼睛跟踪设备，以响应确定用户的视线已经在朝着所述第二显示器的方向上离开所述第一显示器。

在另一个实施例中，提供了一种非暂时性机器可读介质。非暂时性机器可读介质可以具有存储在其上用于跨多显示器布置跟踪用户视线的指令。所述指令可以由一个或多个处理器执行以实现一方法。所述方法可以包括，当用户注视第一显示器时用第一眼睛跟踪设备确定用户的视线方向。所述方法还可以包括，当用户注视第二显示器时用第二眼睛跟踪设备确定用户的视线方向。所述方法可以进一步包括确定用户的视线已经在朝向所述第二显示器的方向上离开所述第一显示器。所述方法还可以包括，停用所述第一眼睛跟踪设备，并激活所述第二眼睛跟踪设备，以响应确定用户的视线已经在朝着所述第二显示器的方向上离开所述第一显示器。

附图说明

将结合以下附图对本发明的实施例进行描述：

图1是本发明的一种用于跨多显示器布置跟踪用户视线的系统的代表性视图；

图2是图1所示的系统的一部分的代表性视图，还展示了与显示器相关联的眼睛跟踪设备的有效范围；

图3是本发明的一种用于跨多显示器布置跟踪用户视线的方法的流程图；

图4是本发明的另一种用于跨多显示器布置跟踪用户视线的方法的流程图；

图5是本发明的一种用于在两个眼睛跟踪设备之间进行切换过程的方法的流程图；以及

图6是一种示例性计算机系统的框图，该系统能够在本发明的装置或系统的至少某些部分中使用，或实施本发明的方法的至少某些部分。

在附图中，类似的部件和/或特征可以具有相同的数字参考标号。进一步地，相同类型的各种部件可以通过在参考标号之后的字母区分，该字母区分相似的部件和/或特征。如果只有第一数字参考标号在说明书中使用，那么其描述适用于具有相同的第一数字参考标号的类似的部件和/或特征中的任何一个，而与字母后缀无关。

具体实施方式

本说明书仅提供示例性实施例，并且不旨在限制本公开的范围、适用性或配置。相反，本说明书的示例性实施例将向本领域技术人员提供用于实现一个或多个示例性实施例的有利描述。应当理解，在不偏离本发明如所附权利要求中所述的精神和范围的情况下，可以在功能和元件的布置方面进行各种改变。

例如，讨论的与一个实施例有关的任何细节可以或可以不存在于该实施例的所有预期版本中。同样地，讨论的与一个实施例有关的任何细节可以或可以不存在于本文的其他实施例的所有预期版本中。最后，没有讨论的与本文的实施例有关的任何细节应该是隐含的承认，即这些细节可以或可以不存在于本文所讨论的任何实施例的任何版本中。这意味着，在实施例中没有讨论的细节被理解为该实施例的不具有该细节的特定预期版本。

下文给出了具体细节以供对实施例的透彻理解。然而，本领域普通技术人员将理解，这些实施例可以在没有任何一个具体细节的情况下实施。此外，框图形式中的部件可以表示本发明中的电路、系统、网络、过程及其他元件，以不会在不必要的细节上使实施例模糊。在其他情况下，公知的电路、过程、算法、结构和技术可以以没有非必要细节的形式表示，以避免模糊实施例。

另外，应当注意单独的实施例可被描绘为流程图、作业图、数据流程图、结构图或框图描述的过程。尽管流程图可以将操作描述为顺序过程，但是许多操作可以并行或同时执行。此外，操作的顺序可以被重新安排。可以在其操作完成时终止该过程，但是可以有未在图中讨论或包括的附加步骤。此外，并非任何特定描述的过程中的所有操作都可以发生在所有实施例中。一个过程可以对应于方法、函数、程序、子例程、辅程序等，当过程对应于函数时，其终止对应于函数返回到调用函数或主函数。

术语“机器可读介质”包括但不限于暂时的或非暂时的、便携式的或固定的存储器件、光学存储器件、无线信道，以及能够存储、包含或携带指令和/或数据的各种其他的介质。代码段或机器可执行指令可以表示过程、函数、子程序、程序、例程、子例程、模块、软件包、类，或指令、数据结构或程序语句的任何组合。代码段可以通过传送和/或接收信息、数据、自变量、参数或存储内容而耦合到另一代码段或硬件电路。信息、自变量、参数、数据等可以通过任何合适的方式传送、转发或传输，该方法包括存储共享、信息传递、令牌传递、网络传输等。

进一步地，本发明的实施例至少部分可以手动或自动地实现。可以通过使用机器、硬件、软件、固件、中间件、微代码、硬件描述语言或其任何组合来执行或至少辅助手动或自动实现。当在软件、固件、中间件或微码中实现时，执行必要任务的程序代码或代码段可以存储在机器可读介质中。处理器可以执行必要任务。

图1展示了具有处理器110和多个显示器120的系统100。虽然在这个实施例中处理器110是具有四个LCD/LED显示器120的台式个人计算机，但是本发明的其他实施例可以包括与各种计算/处理设备相关联的任何多显示器布置，每个计算/处理设备可以具有一个或多个处理器以实现本发明的实施例。例如，本发明的实施例可以适用于便携式计算机和笔记本计算机、平板计算设备、个人数据助理、智能电话和其他移动用户设备上的多显示器布置。在某些实施例中，每个显示器可以与彼此通信的不同处理器相关联。例如，一个显示器可以是平板计算设备的一部分并且由平板计算设备控制，而另一个显示器可以是便携式计算机的一部分并且由便携式计算机控制。每个设备的处理器可以进行通信以协调本文描述的特定实施例的实现。在本发明的各种实施例中，上述部件的任何其他布置也是可能的。

在图1所示的实施例中，系统100包括四个显示器120，但是在其他实施例中可以存在更少或更多的显示器120。系统100还包括4个眼睛追踪设备130，其中，每个眼睛追踪设备130都与不同的显示器120相关联(例如，眼睛追踪设备130A与显示器120A相关联；眼睛追踪设备130B与显示器120B相关联；等等)。显示器120和眼睛跟踪设备130通过有线或无线通信手段与处理器110通信。处理器110可以执行操作系统和其他软件包，该操作系统和其他软件包能够控制在显示器120上显示的内容，并且与眼睛跟踪设备130通信以确定其用户的视线位置。因此，处理器110可以能够确定系统100的用户的视线方向，并且还根据每个眼睛跟踪设备130的校准，相对于显示器120上显示的内容这样做。在某些实施例中，任何一个或全部的眼睛跟踪设备130可以能够在没有处理器110协助的情况下确定用户的视线方向，并在此后通知处理器110用户的视线方向。

尽管图1中所有的显示器120和眼睛跟踪设备130彼此都在平面内显示，实际上，每个显示器120和相关联的眼睛跟踪设备130可以绕Z轴旋转(例如，显示器120A、120C和眼睛跟踪设备130A、130C)或围绕X轴旋转(例如，显示器120D和眼睛跟踪设备130D)，使得它们更加直接地面对主要面向显示器120B和眼睛跟踪设备130B(即，中心显示设备)的用户。

只有当用户的视线大体上指向眼睛跟踪设备130和与该特定眼睛跟踪设备130相关联的显示器120时，每个眼睛跟踪设备130可能才能够准确且一致地跟踪用户的视线。换而言之，尽管当用户的视线方向指向相关联的显示器120的有效区域时特定眼睛跟踪设备130可以能够确定用户的视线方向，但是当用户的视线方向距离有效区域越来越远时，眼睛跟踪设备130确定视线方向离开有效区域的能力可能受损或失去。如本文所提及的，显示器120的有效区域是指显示器120能够有效地显示动态图像的那部分。换而言之，显示器120的边框121或其他非动态底架/部分不是显示器120的有效区域的一部分。

在许多实施例中，当用户的视线指向相关联的显示器120的有效区域，以及相距相关联的显示器120的有效区域的每个边缘一定距离时，每个眼睛跟踪设备130可以能够确定用户的视线。为了解释的目的，图2只示出了图1中的显示器120A、120B，以及相关联的眼睛跟踪设备120A、120B。还示出了当用户的视线方向大体上指向显示器120A时，眼睛跟踪设备130A能够可靠地确定用户的视线方向的可靠范围135。因此，眼睛跟踪的可靠范围135延伸出显示器120A的有效区域，并且在该示例中，甚至延伸到显示器120B的有效区域。眼睛跟踪设备130B也可以有类似的可靠范围，因此该可靠范围甚至延伸至显示器120A的有效区域，并与眼睛跟踪设备130A的可靠范围重叠。在某些实施例中，任何或全部的眼睛跟踪设备130可以能够在没有处理器110协助的情况下确定用户的视线方向，并在此后通知处理器110用户的视线方向。

因此，每一个眼睛跟踪设备130可以能够确定当用户注视相关联的显示器120(和/或其有效区域)时用户的视线方向，以及当用户没有注视相关联的显示器120(和/或其有效区域)时用户的视线方向。然而，当用户没有注视相关联的显示器120时，用户的视线从相关联的显示器转向得越远，每个眼睛跟踪设备130确定用户的视线方向的能力可能减小。在相距给定显示器120一定距离处，与给定显示器120相关联的眼睛跟踪设备130可能无法确定用户的视线方向，因为用户的眼睛没有充分地在图像传感器、照明器和/或通常用于实现多个眼睛跟踪设备130功能的其他部件的范围内，或没有充分地指向上述部件。

当多个条件中的任何一个或多个存在时，用户的眼睛可能没有充分地在特定眼睛跟踪设备130的范围内。仅作为示例，如果用户的眼睛没有检测到注视在特定眼睛跟踪设备130的跟踪框内，则用户的眼睛可能没有充分地在特定眼睛跟踪设备的范围内。眼睛跟踪设备130的跟踪框被定义为眼睛跟踪设备130能够检测和确定用户的视线，或者能够识别用户的至少一些部分(即，眼睛、头部等)的区域或体积。在另一个例子中，如果经过预定的时间长度，眼睛跟踪设备130没有检测到用户的双眼，那么用户的眼睛可能没有充分地在范围内。在其他实施例中，经过预定的时间段，在眼睛跟踪设备130的跟踪框内没有检测到包括或曾包括用户的眼睛或用户的头部或其某些部分的尺寸区域，可能表明用户的眼睛没有充分地在特定眼睛跟踪设备130的范围内。在某些实施例中，此类因素的结合可以导致用户的眼睛没有充分地在范围内。

返回图1，在某些实施例中，在初始化系统100的使用或者至少初始化视线检测过程时，处理器110可以被配置为通过轮询每个眼睛跟踪设备130，确定用户当前正在注视哪个显示器120。仅作示例，如果用户注视特定显示器120，那么与注视特定显示器120相关联的眼睛跟踪设备130可以能够持续地确定至少超过预定时间段的用户相对于特定显示器120的视线方向。同样地，如果用户没有注视给定的显示器120，那么眼睛跟踪设备130可能无法检测到用户的双眼，或者可能只能间歇性地确定用户的视线方向。当确定用户正在注视哪个显示器120时，处理器100可以维持与该显示器120相关联的眼睛跟踪设备130的活跃状态，但会停用与其他显示器120相关联的眼睛跟踪设备130。

“活跃的”或“激活的”眼睛跟踪设备130可以是任何当前被完全供电和/或积极地试图检测和/或确定用户的视线方向(可能在处理器110的协助下)的眼睛跟踪设备130。“非活跃的”或“停用的”眼睛跟踪设备130可以是任何当前未被完全供电和/或未积极地试图检测和/或确定用户的视线方向的眼睛跟踪设备130。

在某些实施例中，与活跃的眼睛跟踪设备130相比，可以降低停用的眼睛跟踪设备130中照明器的照明强度。附加地或可选地，与活跃的眼睛跟踪设备130相比，还可以减少停用的眼睛跟踪设备130中激活照明器的频率。在某些实施例中，与活跃的眼睛跟踪设备130相比，还可以在较低频率(帧频)操作停用的眼睛跟踪设备130中的图像传感器。例如，非活跃的眼睛跟踪设备130中的图像传感器的帧频可以降低到活跃的眼睛跟踪设备130的50％或更少。在某些实施例中，与活跃的眼睛跟踪设备130相比，停用的眼睛跟踪设备130可以降低使用的像素数量。例如，可以减小成像区域的尺寸，或者可以采用像素合并(图像传感器中的像素行/列的整合确定)。在某些实施例中，可以随时间调整成像和照明参数，尤其是在系统试图用任何一个或多个眼睛跟踪设备130“寻找”用户的眼睛的情况下。

作为说明性示例，如果用户正在注视显示器120B，则眼睛跟踪设备130B可以能够一致地确定用户的视线方向，但是眼睛跟踪设备130A、130C或许仅检测到一只眼睛的存在，或者没有检测到眼睛，因此无法确定用户的整体视线方向(其中，用户的整体视线方向是用户双眼的结合和/或交叉视线方向)。可选地，眼睛跟踪设备130A、130C可以能够检测用户的视线方向，但是并不一致这么做。在相同的示例中，在当用户的视线在不同眼睛跟踪器之间切换的情况下用户的视线仍然指向显示设备120B时，眼睛跟踪设备130D可能无法检测到用户的任何眼睛，或者可能无法一致地确定用户的视线方向。

可选地，在其他实施例中，处理器110可以使特定显示器120显示指引用户注视特定显示器120的内容。例如，可以在显示器120B上显示校准模板，从而使用户将他/她的视线指向显示器120B。在确定在相关联的眼睛跟踪设备130B的跟踪框内检测到用户的视线时或之前，相关联的眼睛跟踪设备130B可以保持活跃，而其他眼睛跟踪设备130A、130C和130D可以被停用或者保持停用。

处理器110可以被配置为确定用户的视线已经在朝向第二显示器120的方向上远离第一显示器120，并对此做出响应，从而停用第一眼睛跟踪设备130，并激活第二眼睛跟踪设备130。通过这种方式，在系统100中可以一次只有一个眼睛跟踪设备130是活跃的，由于停用没有立即使用的眼睛跟踪设备130，以及减少了控制和处理来自非活跃的眼睛跟踪设备130的数据所需的处理需求，因此减少了系统100的功耗。然而在许多实施例中，当用户的视线位置从一个显示器120移动到另一个显示器120时，在给定的时间有多个眼睛跟踪设备130可以是活跃的，以促进两个眼睛跟踪设备130之间的切换过程。

以下将讨论系统100的处理器110或其他部件可以确定用户的视线已经在朝向第二显示器120的方向上从第一显示器120上移开的方式。

在某些实施例中，可能基于相关联的眼睛跟踪设备130检测用户的视线在至少处于大致相同的水平位置的显示器120(例如，显示器120A、120B和120C)之间的移动，相关联的眼睛跟踪设备130在至少预定的时间阈值内仅能检测用户的一只眼睛。这可以表明用户已经转动他/她的头和/或视线，使得只有用户落后的眼睛仍处于特定眼睛跟踪设备130的有效范围内，而领先的眼睛不在特定眼睛跟踪设备130的有效范围内。这可能意味着领先的眼睛(以及落后的眼睛)处于与用户的视线现在正指向的显示器120相关联的眼睛跟踪设备130的范围内。刚好在眼睛跟踪设备130仅检测到用户的一只眼睛之前视线方向已经行进的方向(即，移动到相关联的显示器120的左侧或右侧的视线方向)也可以通知处理器110用户的视线方向已经移动到其他显示器120。

在某些实施例中，处理器110可以被配置为确定可用显示器120的相对位置、尺寸和/或方向，然后将其与从活跃的眼睛跟踪设备130接收到的信息相关联，以确定何时用户的视线在没有与当前活跃的眼睛跟踪设备130相关联的邻近的显示器120的方向上行进。再次参见图2，由于眼睛跟踪设备130A的有效范围，当用户的视线方向可以是至少穿过尺寸和/或位置已知的显示器120B的一部分时，基于可用显示器120的位置、大小和/或方向信息，眼睛跟踪设备130可以能够更直接地确定用户的视线方向已经从显示器120A移动到显示器120B。在某些实施例中，用户的注视点和预先确定的坐标(基于显示器120和眼睛跟踪设备130的位置)之间的距离，或用户的头部和眼睛的绝对位置的移动可决定用户的注视点是否移动得足够大以保证对活跃的眼睛跟踪设备130的切换。

正如先前描述的识别方法，当只有落后的眼睛能够被眼睛跟踪设备130检测到时，先于检测到的用户当前注视哪个显示器的变化，用户的视线方向的移动方向也可以通知处理器110用户的视线方向的可能路线或/目的地。此外，在某些情况下，处理器110可以能够至少暂时地检测何时两个眼睛跟踪设备130中的每一个仅检测到每个用户的一只眼睛，并因此得知用户的视线何时从一个显示器120转向另一个。在某些实施例中，眼睛跟踪设备130可以彼此更直接地通信，从而在有或没有处理器110的协助下实现本文所述的方法。此类通信可以通过本领域中已知的有线或无线通信介质实现。

可以通过多种方式确定关于可用显示器120的位置、大小和/或方向的信息。在某些实施例中，处理器110的操作系统或图形处理单元配置器(例如，NVIDIATM控制面板或AMDTM催化剂控制中心，其中，用户或其他更自动化的过程在之前已经向其通知过此类信息)可以能够通过实现本文所述的系统/方法的软件包、子程序等的请求提供此类信息。指定位置、大小和/或方向的位置数据可以包括提供关于每个显示器120的位置和大小的维度数据的位置数据集。

在某些实施例中，通过用显示器120和眼睛跟踪设备130引导的安装过程可以更直接地确定可用显示器120的位置、大小和/或方向。在这些实施例中，处理器110可以使每个显示器120呈现具有其极端值附近(即，边和角)的不同的兴趣点的显示内容。处理器110可以通过屏幕上的指令引导用户，以将他们的视线引导到每个兴趣点，并且用一个或多个眼睛跟踪设备确定用户的视线方向。这些信息可以被保存，从而创建可与本文描述的其他方法获取的位置数据相当的位置数据。

在任何所述实施例中，基于在用特定眼睛跟踪设备130检测到用户的一只眼睛但检测不到用户的另一只眼睛之前的一定时间内，或者在接收到用户的视线已经转移到不同的显示器120的附加指示的一定时间内，确定用户的视线曾位于接近第一显示器的有效区域的边缘的一定邻近区域内，处理器110还可以被通知用户正将其视线转移到不同的显示器120上。

在某些实施例中，处理器110还可以被配置为，在用户的视线方向在与眼睛跟踪设备130相关联的显示器120之间切换时，将多个眼睛跟踪设备130的运行频率交替。仅作为示例，如果处理器110接收到用户的视线方向可能正朝向与当前活跃的显示器120不同的显示器120移动的任何指示，则第一眼睛跟踪设备130的运行频率可以从第一频率(例如，60Hz)变为第二频率(例如，30Hz)，并且第二眼睛跟踪设备130可以被激活并设定为与第一眼睛跟踪设备130交替的方式运行。例如，第二眼睛跟踪设备130可以以30Hz激活，并且与第一眼睛跟踪设备130的交替运行也以30Hz运作。

因此，许多条件可以单独地或结合地确定用户的视线方向是否已从与当前活跃的眼睛跟踪设备130相关联的显示器移动到另一显示器120。在眼睛跟踪设备130在另一个眼睛跟踪设备130激活时停用的实施例中，可以在多个可能的时间发生停用。仅作为示例，第一眼睛跟踪设备130的停用和第二眼睛跟踪设备130的激活可以至少在第二眼睛跟踪设备130检测到用户的双眼时发生。在某些实施例中，第一眼睛跟踪设备130的停用和第二眼睛跟踪设备130的激活，可以至少在第二眼睛跟踪设备130成功地确定用户相对于第二显示器120的视线方向时发生(即，通过在与第二显示器120相关联的跟踪框和/或与第二显示器120相关联的眼睛跟踪设备130中检测到用户的双眼)。

在其他实施例中，可以在用户的视线方向离开第一显示器120的有效区域时，停用第一眼睛跟踪设备130。但是在其他实施例中，处理器可以进一步被配置为确定第一显示器120的有效区域与第二显示器120的有效区域之间的距离，并在用户的视线方向跨越第一显示器120的有效区域与第二显示器120的有效区域之间的距离内的预定边界时，停用第一眼睛跟踪设备130。通过这种方式，每个眼睛跟踪设备130在活跃时的性能可以被最大化。

在某些实施例中，可以在用户的视线方向进入第二显示器120的有效区域时，停用第一眼睛跟踪设备130。在这些实施例中，还可以在用户的视线方向进入第二显示器120的有效区域时，激活第二眼睛跟踪设备130。

在其他实施例中，可以在用户的视线方向离开第一显示器120的有效区域时，停用第一眼睛跟踪设备130。在其他实施例中，还可以在用户的视线方向离开第一显示器120的有效区域时，激活第二眼睛跟踪设备130。

在其他实施例中，可以在用户的视线方向相距距第一显示器120的有效区域达到一定距离时，停用第一眼睛跟踪设备130。在这些实施例中，可以在用户的视线方向相距第二显示器120的有效区域达到特定的距离时，激活第二眼睛跟踪设备130。一定距离和特定距离可以或可以不代表共同的位置或边界。

在某些实施例中，本发明的系统可以包括比眼睛跟踪设备130少的显示器120(反之亦然)。在具有比眼睛跟踪设备130少的显示器120的实施例中，与显示器120不相关联的眼睛跟踪设备130可以被用于确定用户的视线方向离开与显示器120/眼睛跟踪设备130对相关联的跟踪框。这可以使得这样的系统能够确定用户的注视点相对于这些项不在显示器120上。在具有比显示器120少的眼睛跟踪设备130的实施例中，眼睛跟踪设备130可以被设置成使得它们的跟踪框在所有存在的显示器120的有效区域的全部或某些部分上提供用户注视点的覆盖。

参考图3，示出了本发明的用于跨多显示器布置跟踪用户视线的方法300的框图。在框310处，处理器110可以确定初始系统100的状态，如上所述，哪个眼睛跟踪设备130应该是活跃的，以及哪个眼睛跟踪设备130应该是非活跃的。

在框320处，当与第一显示器120相关联的第一眼睛跟踪设备130是活跃的时，处理器110可以确定用户的视线方向。在框330处，经由第一眼睛跟踪设备130和/或经由诸如关于显示器120的位置数据之类的其他可用信息，处理器110可以确定用户的视线方向是否已经移向第二显示器120。若没有，在框320处，方法300继续监控用户关于第一显示器120的视线方向。

然而，如果在框330处，处理器110已经确定用户的视线方向已经移向第二显示器120，在框340处，处理器110可以停用第一眼睛跟踪设备130。在框350处，处理器110可以激活与用户的视线方向现在所处的第二显示器120相关联的第二眼睛跟踪设备130。然后方法300返回框320并监控用户关于第二显示器120的视线方向，同时在框330处等待用户将他/她的视线指向哪个显示器120的改变。

在图4中示出了本发明的更详细的方法400。在框410处，如上文所述，可以接收关于可用显示器120的位置、大小、方向和/或方向的信息。此外，还可以接收关于可用眼睛跟踪设备130的位置和/或方向的信息。

在框420处，确定每个眼睛跟踪设备130的状态，如上所述，包括确定哪个眼睛跟踪设备130应处于活跃模式(即，与其他有效眼睛跟踪设备130相比可以最佳地确定用户的视线方向的眼睛跟踪设备130)，以及哪个应该处于停用模式。在框430处，响应于状态确定，激活合适的眼睛跟踪设备130，并且将其他所有眼睛跟踪设备置于停用模式。

在框440处，确定是否需要从活跃的眼睛跟踪设备130切换到停用的眼睛跟踪设备130。这可能由于上述的任何原因所产生，包括例如，在视线位置处于或已经接近显示器120的边缘的情况下，在用活跃的眼睛跟踪设备130不能检测到用户的双眼的情况下，和/或基于用户视线位置的移动历史。

在框450处，可以发生当前活跃的第一眼睛跟踪设备130和将被激活的第二眼睛跟踪设备130之间的切换阶段，以下将参照图5具体讨论。在框460处，第一眼睛跟踪设备130被停用，并且第二眼睛跟踪设备130被激活，以完成该过程。然后，当新确定存在需要从第二眼睛跟踪设备130到另一个眼睛跟踪设备130的另一切换时，可以重复框450和框460。

参照图5，将更详细描述框450的切换阶段。在框510处，当前活跃的第一眼睛跟踪设备130的运行频率减少到其正常运行频率的一半。当前停用的第二眼睛跟踪设备130的运行频率升高到其正常运行频率的一半。两个眼睛跟踪设备130的运行频率可以是交替的，使得在任何给定时刻两个眼睛跟踪设备130中只有一个是可操作的。在框520处，校准数据在两个眼睛跟踪设备之间传送，以确保在完成转换时用户的一致和准确操作。在框530处，一旦用户的双眼被检测到，第二眼睛跟踪设备130就结束获取可靠的视线方向的恢复过程。然后过程返回到框460处的方法400。

图6是可以实现本发明的实施例的特定计算机系统600的框图。该示例说明了特定计算机系统600，例如，该系统可以全部、部分或进行各种修改地使用，从而提供例如本文所述的处理器110、显示器120、眼睛跟踪设备130和/或本发明的其他部件的功能。例如，眼睛跟踪设备130的各种功能(仅作为示例，包括激活或停用、确定视线方向等)可以由特定计算机系统600控制。

所示的特定计算机系统600包括可以经由总线690电性连接的硬件元件。硬件元件可以包括一个或多个中央处理单元610、一个或多个输入器件620(例如，鼠标、键盘等)以及一个或多个输出设备630(例如，显示设备、打印机等)。特定计算机系统600还可以包括一个或多个储存设备640。例如，存储设备640可以是磁盘驱动器、光学存储设备、固态存储设备(例如，随机存取存储器(“RAM”)和/或只读存储器(“ROM”))，其可以是可编程的、可刷写更新的和/或类似的。

此外，特定计算机系统600还可以包括计算机可读存储介质读取器650、通信系统660(例如，调制解调器、网卡(无线或有线)、红外通信设备、蓝牙设备、蜂窝通信设备等)以及可以包括如上所述的RAM和ROM设备的工作存储680。在某些实施例中，特定计算机系统600还可以包括处理加速单元670，处理加速单元670可以包括数字信号处理器、专用处理器和/或类似的。

计算机可读存储介质读取器650可以进一步连接到计算机可读存储介质，一起(且可选地，与存储设备640结合)全面地表示远程、本地、固定和/或可移动的存储设备以及存储介质，以临时和/或更永久地包含计算机可读信息。通信系统660可以允许与上述网络、系统、计算机和/或其他部件交换数据。

特定计算机系统600还可以包括软件元素，如图所示，这些软件元素当前位于工作存储器680中，包括操作系统684和/或其他代码688。应当理解，特定计算机系统600的替代实施例可以具有与上述不同的许多变化。例如，可以使用定制的硬件，和/或在硬件、软件(包括便携式软件，诸如小程序)或二者中实施特定元素。进一步地，可以存在到其他计算设备(例如，网络输入/输出设备和数据采集设备)的连接。

特定计算机系统600的软件可以包括代码688，以实现如本文所述的架构的各种元件的任何或全部功能。例如，由特定计算机系统(例如，特定计算机系统600)存储和/或执行的软件可以提供如上所述的处理器110、显示器120、眼睛跟踪设备130和/或本发明的其他部件的功能。上文已经更详细地讨论了通过在这些部件上的软件可实现的方法。

为了清楚和理解的目的，现已具体描述了本发明。然而，应当理解在所附权利要求的范围内可以实施某些改变和修改。

Claims (27)

1.一种跨多显示器布置跟踪用户视线的系统，所述系统包括：

第一显示器；

第一眼睛跟踪设备，其被配置为当所述用户注视所述第一显示器时确定用户的视线方向；

第二显示器；

第二眼睛跟踪设备，其被配置为当所述用户注视所述第二显示器时确定用户的视线方向；

处理器，其被配置为：

确定所述用户的视线已经在朝向所述第二显示器的方向上离开所述第一显示器；以及

停用所述第一眼睛跟踪设备，并且激活所述第二眼睛跟踪设备，以响应确定所述用户的视线已经在朝向所述第二显示器的方向上离开所述第一显示器。

2.根据权利要求1所述的跨多显示器布置跟踪用户视线的系统，其特征在于，所述第一眼睛跟踪设备进一步被配置为：当所述用户的视线离开所述第一显示器时确定所述用户的视线方向。

3.根据权利要求1所述的跨多显示器布置跟踪用户视线的系统，其特征在于，所述第二眼睛跟踪设备进一步被配置为：当所述用户的视线离开所述第二显示器时确定所述用户的视线方向。

4.根据权利要求1所述的跨多显示器布置跟踪用户视线的系统，其特征在于，所述处理器进一步被配置为确定所述第二显示器相对于所述第一显示器的方向。

5.根据权利要求6所述的跨多显示器布置跟踪用户视线的系统，其特征在于，确定所述第二显示器相对于所述第一显示器的方向包括：接收位置数据，所述位置数据包括所述第二显示器相对于所述第一显示器的位置。

6.根据权利要求5所述的跨多显示器布置跟踪用户视线的系统，其特征在于，所述位置数据还包括相对于所述第二显示器的尺寸的所述第一显示器的尺寸。

7.根据权利要求6所述的跨多显示器布置跟踪用户视线的系统，其特征在于，确定所述第二显示器相对于所述第一显示器的方向包括：接收来自在所述处理器上运行的操作系统或图形处理单元配置器的位置数据。

8.根据权利要求7所述的跨多显示器布置跟踪用户视线的系统，其特征在于，所述处理器被进一步配置为：向在所述处理器上运行的所述操作系统或所述图形处理单元配置器请求所述第二显示器相对于所述第一显示器的方向。

9.根据权利要求6所述的跨多显示器布置跟踪用户视线的系统，其特征在于，确定所述第二显示器相对于所述第一显示器的方向包括：用所述第一眼睛跟踪设备检测所述用户的一只眼睛而非所述用户的另一只眼睛，以及用所述第二眼睛跟踪设备检测所述用户的一只眼睛而非所述用户的另一只眼睛。

10.根据权利要求1所述的跨多显示器布置跟踪用户视线的系统，其特征在于，确定所述用户的视线已经在朝向所述第二显示器的方向上离开所述第一显示器包括：用所述第一眼睛跟踪设备检测所述用户的一只眼睛而非所述用户的另一只眼睛。

11.根据权利要求10所述的跨多显示器布置跟踪用户视线的系统，其特征在于，确定所述用户的视线已经在朝向所述第二显示器的方向上离开所述第一显示器包括：在用所述第一眼睛跟踪设备检测所述用户的一只眼睛而非所述用户的另一只眼睛之前的一定时间内，确定所述用户的视线位于所述第一显示器的有效区域的边缘的一定邻近区域内。

12.根据权利要求10所述的跨多显示器布置跟踪用户视线的系统，其特征在于，确定所述用户的视线已经在朝向所述第二显示器的方向上离开所述第一显示器包括：用所述第二眼睛跟踪设备检测所述用户的一只眼睛而非所述用户的另一只眼睛。

13.根据权利要求12所述的跨多显示器布置跟踪用户视线的系统，其特征在于，所述处理器进一步被配置为：当至少用所述第一眼睛跟踪设备检测所述用户的一只眼睛而非所述用户的另一只眼睛，以及用所述第二眼睛跟踪设备检测所述用户的一只眼睛而非所述用户的另一只眼睛时，将所述第一眼睛跟踪设备的运行频率从第一频率减小到第二频率，其中所述第二频率为所述第一频率的一半，并且激活所述第二眼睛跟踪设备包括操作所述第二眼睛跟踪设备使得所述第二眼睛跟踪设备的运行频率为所述第二频率。

14.根据权利要求13所述的跨多显示器布置跟踪用户视线的系统，其特征在于，所述处理器被进一步配置为，当至少用所述第一眼睛跟踪设备检测所述用户的一只眼睛而非所述用户的另一只眼睛，以及用所述第二眼睛跟踪设备检测所述用户的一只眼睛而非所述用户的另一只眼睛时，将所述第一眼睛跟踪设备的运行频率和所述第二眼睛跟踪设备的运行频率交替。

15.根据权利要求14所述的跨多显示器布置跟踪用户视线的系统，其特征在于，当至少所述第二眼睛跟踪设备检测所述用户的双眼时，停用所述第一眼睛跟踪设备，并且激活所述第二眼睛跟踪设备。

16.根据权利要求15所述的跨多显示器布置跟踪用户视线的系统，其特征在于，当至少所述第二眼睛跟踪设备成功地确定所述用户相对于所述第二显示器的视线方向时，停用所述第一眼睛跟踪设备，并且激活所述第二眼睛跟踪设备。

17.根据权利要求1所述的跨多显示器布置跟踪用户视线的系统，其特征在于，当所述用户的视线方向离开所述第一显示器的有效区域时，停用所述第一眼睛跟踪设备。

18.根据权利要求1所述的跨多显示器布置跟踪用户视线的系统，其特征在于，所述处理器进一步被配置为确定所述第一显示器的有效区域和所述第二显示器的有效区域之间的距离；以及当所述用户的视线方向跨过所述第一显示器的有效区域和所述第二显示器的有效区域之间的所述距离内的预定界限时，停用所述第一眼睛跟踪设备。

19.根据权利要求1所述的跨多显示器布置跟踪用户视线的系统，其特征在于，当所述用户的视线进入所述第二显示器的有效区域时，停用所述第一眼睛跟踪设备。

20.根据权利要求1所述的跨多显示器布置跟踪用户视线的系统，其特征在于，当所述用户的视线方向相距所述第一显示器的有效区域达到一定距离时，停用所述第一眼睛跟踪设备。

21.根据权利要求1所述的跨多显示器布置跟踪用户视线的系统，其特征在于，当所述用户的视线方向离开所述第一显示器的有效区域时，激活所述第二眼睛跟踪设备。

22.根据权利要求1所述的跨多显示器布置跟踪用户视线的系统，其特征在于，所述处理器进一步被设置为确定所述第一显示器和所述第二显示器之间的距离；以及当所述用户的视线方向跨过所述第一显示器和所述第二显示器之间的所述距离内的预定界限时，激活所述第二眼睛跟踪设备。

23.根据权利要求1所述的跨多显示器布置跟踪用户视线的系统，其特征在于，当所述用户的视线进入所述第二显示器的有效区域时，激活所述第二眼睛跟踪设备。

24.根据权利要求1所述的跨多显示器布置跟踪用户视线的系统，其特征在于，当所述用户的视线方向相距所述第一显示器的有效区域达到一定距离时，激活所述第二眼睛跟踪设备。

25.根据权利要求1所述的跨多显示器布置跟踪用户视线的系统，其特征在于，所述系统进一步包括：

第三显示器；

第三眼睛跟踪设备，其被配置为当所述用户注视所述第三显示器时确定所述用户的视线方向；以及

所述处理器被进一步设置为：

确定所述第三显示器相对于所述第一显示器或所述第二显示器的方向；

确定所述用户的视线已经在朝向所述第三显示器的方向上离开所述第一显示器或所述第二显示器；以及

停用所述第一眼睛跟踪设备或所述第二眼睛跟踪设备，并且激活所述第三眼睛跟踪设备，以响应确定所述用户的视线已经在朝向所述第三显示器的方向上离开所述第一显示器或所述第二显示器。

26.一种跨多显示器布置跟踪用户视线的方法，所述方法包括：

当用户注视第一显示器时用第一眼睛跟踪设备确定所述用户的视线方向；

当所述用户注视第二显示器时用第二眼睛跟踪设备确定所述用户的视线方向；

确定所述用户的视线已经在朝向所述第二显示器的方向上离开所述第一显示器；以及

停用所述第一眼睛跟踪设备，并且激活所述第二眼睛跟踪设备，以响应确定所述用户的视线已经在朝向所述第二显示器的方向上离开所述第一显示器。

27.一种非暂时性机器可读介质，其上存储有用于跨多显示器布置跟踪用户注视的指令，其中所述指令可能由一个或多个处理器执行，从而至少用于：

当用户注视第一显示器时用第一眼睛跟踪设备确定所述用户的视线方向；

当所述用户注视第二显示器时用第二眼睛跟踪设备确定所述用户的视线方向；

确定所述用户的视线已经在朝向所述第二显示器的方向上离开所述第一显示器；

停用所述第一眼睛跟踪设备，并且激活所述第二眼睛跟踪设备，以响应确定所述用户的视线已经在朝向所述第二显示器的方向上离开所述第一显示器。