CN109542214B - 使用视线信息与计算设备交互的系统和方法 - Google Patents

Abstract

描述了用于基于视线信息与第一计算设备交互的技术。在示例中，第一计算设备通过使用眼球追踪设备捕获第一计算设备的第一用户的视线方向。第一计算设备确定第一用户的视线方向是否指向第一显示器。此外，第一计算设备接收关于第二用户的视线方向是否指向第二显示器的信息。如果第一用户的视线方向指向第一显示器并且第二用户的视线方向指向第二显示器，则第一计算设备连续地更新第一显示器上的内容。如果第二用户的视线方向没有指向第二显示器，则第一计算设备暂停第一显示器上的内容。

Description

使用视线信息与计算设备交互的系统和方法

相关文件的交叉引用

本申请要求于2017年9月21日递交的名称为“SYSTEMS AND METHODS FORINTERACTION WITH A COMPUTING DEVICE USING GAZE INFORMATION”的第62/561585号美国临时申请的优先权，该临时申请的全部内容通过引用的方式并入本文。

技术领域

本公开主要涉及与计算设备交互的系统和方法，具体地，涉及使用视线信息与计算设备交互的系统和方法。

背景技术

与计算设备的交互是当今世界的基本行为。在日常生活中可以找到从个人计算机到移动设备、到可佩戴耳机、到智能手表的各种计算设备。与这些设备交互的系统和方法定义了它们的使用方式以及它们的用途。

传统上，计算设备已经使用基于“接触”的交互技术进行交互。例如，计算机鼠标、键盘和触摸屏都可以被认为是基于接触的输入技术，因为它们需要用户物理地接触某些东西以与计算设备交互。

最近，眼球追踪技术的进步使得使用人的视线信息(换句话说，用户正在注视的显示器上的位置)与计算设备交互成为可能。该信息可以单独用于交互，或者与基于接触的交互技术结合。

先前提出的使用视线信息的交互技术可以在美国专利6204828、美国专利申请20130169560、美国专利7113170、美国专利申请20140247232和美国专利9619020中获得。这些专利和申请的完整说明书通过引用的方式并入本文。

基于视线的交互技术提供优于传统的仅接触的交互技术的优点，因为人的视线比移动身体肢体更快，并且仅通过看着某事物就可以使用视线容易地传达意图。

本公开试图提供使用视线信息与计算设备交互的新的和改进的系统和方法。

发明内容

因此，本公开的目的是提供使用视线信息与计算设备交互的改进的系统和方法。根据说明书和权利要求以及附图，本公开的此目的和其他目的将变得显而易见。

根据本公开，提供了一种使用视线信息与计算设备交互的系统和方法。其中，该系统包含显示器、眼球追踪器和用于改变或以其他方式控制显示器的内容的处理器。

眼球追踪器是能够粗略估计用户在显示器上的视线位置的设备。任何形式的眼球追踪器都足以满足本公开，然而眼球追踪器的常见形式是基于红外图像的系统。在这样的系统中，红外照明被引向用户的眼球，然后基于用户的瞳孔和红外照射的反射捕获眼球的图像，眼球追踪器(或连接到眼球追踪器的计算设备)可以粗略估计用户的视线方向。眼球追踪器的形式不是本公开的主题。

附图说明

通过参考以下附图可以实现对各种实施例的本质和优点的进一步理解：

图1示出了根据本公开的实施例的眼球追踪系统；

图2示出了根据本公开的实施例的由图像传感器捕获的眼球的图像的示例；

图3示出了根据本公开的实施例的专用计算机系统的框图；

图4示出了根据本公开的实施例的基于视线信息管理通信的计算机系统；

图5示出了根据本公开的实施例的由第一计算设备实现的基于视线信息与第二计算设备通信的流程；

图6示出了根据本公开的实施例的基于视线信息管理通信的流程；

图7示出了根据本公开的实施例的基于视线信息管理内容呈现的计算机系统；

图8示出了根据本公开的实施例的由第一计算设备实现的基于视线信息管理内容呈现的流程；

图9示出了根据本公开的实施例的基于视线信息管理内容呈现的流程。

具体实施方式

远程共享

根据本公开的第一方面，提供了一种共享信息的方法，其中两个或更多个用户正在使用单独的计算设备。根据本公开，每个计算设备均配备有眼球追踪器。

在每个用户的显示器上提供当用户都注视同一点时信息可被共享的位置。这是使用近似以下的方法实现的，其中用户1正在与计算机1交互，并且用户2正在与计算机2交互：

1.计算机1在其显示器上显示指定的共享位置。

2.计算机2在其显示器上显示指定的共享位置。

3.用户1注视计算机1上指定的共享位置。

4.用户1试图通过将信息移动到指定的共享位置(或另一个预定位置)来共享信息。该信息共享可以使用传统的“拖放”动作进行，由此在显示器上使用接触输入方法移动信息(例如，文件或文档)并通过在期望的位置释放接触输入方法而“放下”信息。

5.如果用户2正在注视计算机2上指定的共享位置，则该信息从计算机1发送到计算机2。

6.如果用户2没有注视计算机2上指定的共享位置，则该信息不会从计算机1发送到计算机2。

指定的共享位置在两个计算设备上可以是相同的，或者可以是不同的。它可以由图形标记指示，或者它可以是不可见的位置。此外，使用本公开的这个方面，任何数量的计算设备和用户可以进行交互。

在进一步的改进中，适宜的是，为了接受信息的发送，仅用户2注视指定的共享位置。更加适宜的是，用户1注视指定的共享位置，并且能够在发送信息期间移开视线。

出现窗口

根据本公开的第二方面，提供了一种显示器上的位置，其基于一个用户或多个用户是否出现于计算设备的前面而改变。

优选地由眼球追踪器确定用户的出现。

当确定第一用户出现在第一计算设备前面，并且同时确定第二用户出现在第二计算设备前面时，可以改变在显示器上显示的信息。例如，特定窗口或区域可出现在显示器上，或者显示器上的现有项目的属性(例如亮度或颜色)可能会变化。此外，或者可选地，听觉或其他反馈可能是合理的。该窗口可以用于基于文本或视频的聊天、发送和接收文件、共享信息或计算设备上可能的任何其他内容。

头部位置相机

根据本公开的第三方面，提供了一种用于第一用户控制由第二用户使用的计算设备的相机的系统和方法。

根据该方面，第一用户移动他或她的头部以便控制第二用户使用的计算设备的相机。

作为示例，考虑两个用户正在进行视频通话的场景。第一计算设备上的第一用户移动他或她的头部，则改变由第二用户的第二计算设备发送的图像。例如，第一用户可以将他们的头部向右倾斜，使得从第二计算设备发送的图像的视角向左移动，反之亦然。

在进一步的改进中，图像的改变可以基于视线方向而不是头部方向。

如本领域技术人员容易理解的，可以通过相机的物理操纵或通过处理由相机捕获的图像来实现所发送的图像的改变。

眼球激活对话

根据本公开的第四方面，如结合图4至图6进一步描述的那样，提供了一种使用视线作为触发第一计算设备的第一用户与第二计算设备的第二用户进行通信的系统和方法。

根据本公开的该方面，在显示器上显示用户的表征。每个表征表示使用计算设备的用户。优选地，这些用户彼此远离。

使用在显示器上具有至少一个其他用户的表征的第一计算设备的第一用户可以注视用户的表征。眼球追踪器或计算设备可以确定第一用户正在注视第二用户的表征。然后，第一用户可以通过注视第二用户的表征来引导对第二用户的交互。

在进一步的改进中，可以通过某种形式的视觉或听觉通知向第二用户警告第一用户注视他们的表征的事实。

作为示例，第一用户可以注视第二用户的表征并说出言词。这些说出的言词被发送到第二用户的计算设备并由连接到第二用户的计算设备的扬声器发出。可以使用文本通信、文件传输或任何其他形式的交互替代说出的言词。

可以简单地由第一用户注视第二用户的表征来发起该通信，或者可选地，仅当两个用户都在他们的计算设备上注视他们的对应的各自的表征时才可以发起该通信。

此外，第一用户可以访问指点设备。在一个示例中，指点设备用于借助于指点设备将显示器上的文件或文档移动到第二用户的表征。在另一示例中，仅当另外在第一用户的视线方向指向第二用户的表征的时间段期间，由指点设备触发动作时，才将言语发送到第二用户的计算设备。指点设备可以是鼠标、指针、操纵杆或类似物。由指点设备触发的动作可涉及按下按钮、执行特定动作或类似动作。

可以进行从口头、文本、视频到文件的传输的任何形式的通信。

响应的肖像

根据本公开的第五方面，提供了一种在显示器上显示的用户的表征以响应于另一用户的指向该表征的视线的系统和方法。

在本公开的该方面，第二用户的表征被显示在第一用户的计算设备的显示器上。当第一用户向注视向该表征时，该表征作为响应而改变。

在进一步的改进中，第一用户的表征可以显示在第二用户的计算设备的显示器上，并且当两个用户都注视着在其计算设备上的其他用户的表征时，表征可以进一步改变。

本说明书中对表征等的任何引用旨在包括可想到的任何形式的图形表征，包括但不限于照片表征、动画表征、卡通式表征、线条图表征、阴影式表征、或任何替代表征(例如，动物或其他角色)。

对于本公开的该方面，仅一个用户需要配备有眼球追踪器的计算设备。

一起观看

根据本公开的第六方面，如结合图7至图9进一步描述的那样，提供了一种用于多个用户在远程设备上同时查看内容的系统和方法。

根据本公开的该方面，第一计算设备的第一用户与第二计算设备的第二用户共享内容(例如视频、共享虚拟空间、音频、视频游戏图形、文本、多媒体页面等)。两个计算设备都配备有眼球追踪器，因此能够追踪用户相对于计算设备的显示器的视线。

两个计算设备基于两个用户相对于显示器的注视活动进行同步，使得两个用户正在查看相同的内容。

在进一步的改进中，内容可以由用户协作创建，例如共享图画。以这种方式，每个用户可以创建图画，如本领域技术人员将理解的，可以使用任何方式的传统的基于计算机的绘图方法，并且在协作绘图过程期间，用户的视线信息可被其他用户使用。

高能镜头(Highlight Reel)

根据本公开的第七方面，提供发一种在用户查看内容时确定用户对内容的反应的系统和方法。

根据本公开的该方面，当用户在配备有眼球追踪器的计算设备上观看例如视频的内容时，计算设备登记用户对于内容的特定部分的反应并记录该反应。

用户的反应可以基于视线，或者可以基于面部特征。

计算设备可以分析用户的反应以确定反应是积极的、消极的、中性等。对于本领域技术人员来说，各种程度的反应是显而易见的。

这些反应可被编译并将添加到内容中，例如在视频的情况下，可以在用户对视频反应时，在视频下方添加用户的反应的图形表征(例如，积极反应的笑脸)。这些表征可以出现在视频中的任何位置，也可以与视频分开。例如，用户的反应的图形表征可以出现在用户在视频上的视线位置，或者出现在预定时间段内用户的平均视线位置。

代替图形表征，用户的反应可以简单地显示为由眼球追踪器记录的实际图像、图像或视频。

用户反应可以进一步编译成他们自己的视频。

面对化身(Face to Avatar)

根据本公开的第八方面，提供了一种将用户的面部表情转换为用户的图形表征的系统和方法。

根据本公开的该方面，基于由眼球追踪器捕获的图像改变例如头像的用户的图形表征。这些图像可包含例如面部表情和注视动作等项目。

图形表征可以改变以精确地或以夸大的方式匹配这些面部表情和/或注视动作。

图形表征可以是任何形式，包括但不限于照片表征、动画表征、卡通式表征、线条绘制表征、阴影式表征或任何替代表征(例如，动物或其他角色)。

在进一步的改进中，化身可以对用户的视线作出反应。例如，当用户注视显示器上的化身位置时，化身直接看回用户。此外，例如，如果用户向化身的一侧注视，则化身也向该侧注视。

在进一步的改进中，可以看到化身以在显示器上执行其自己的任务，或者根本没有任务，直到它被注视为止。例如，化身可以是动画的，使得它看起来在移动，然后当用户的视线在图形表征上或在图形表征附近时对用户的视线做出反应。

协作存在

根据本公开的第九方面，提供了一种用于多个用户使用不同计算设备查看彼此相对于相同内容的注视点的系统和方法。

根据该方面，具有眼球追踪器的第一计算设备上的第一用户查看内容，并且具有眼球追踪器的第二计算设备上的第二用户查看相同的内容。每个计算设备的眼球追踪器确定用户的视线方向，并且计算设备将该方向发送到另一个计算设备。然后，另一计算设备在其显示器上显示视线方向。

以这种方式，第一用户可以看到第二用户对关于第一用户注视的相同内容的注视的位置。

这在多个用户正在查看或改变相同内容的协作环境中特别有益。

麦克风控制

在本公开的第十方面中，提供了一种用于基于用户的视线来控制计算设备的麦克风或声音记录设备的系统和方法。

根据该方面，当用户向预定区域或预定区域附近注视时，启用计算设备的麦克风或录音设备。

预定区域可以在显示器上(例如，图标或其他图形项目)，或者不在显示器上(例如，键盘或计算机设备制造商的徽标)。

在进一步的改进中，仅当确定用户出现在计算设备前面时才可以启用麦克风或声音记录设备，在该改进中，不需要使用用户的视线方向。可以基于用户的视线方向、用户的面部特征、用户的头部位置或定向、或者由连接到计算设备的相机捕获的图像的任何其他分析来执行该存在的确定。

根据该方面，麦克风或其他声音记录设备可以仅被启用并且能够在用户期望它时捕获音频，或者在用户实际存在时，至少仅由计算设备时启用。当麦克风或录音设备启用时，它可以连续录制或发送音频，或者它可以间歇地录制或发送音频。

眼球追踪

图1示出了根据一实施例的眼球追踪系统100(其也可以称为视线追踪系统)。系统100包括用于照亮用户眼球的照明器111和112，以及用于捕获用户眼球图像的光传感器113。照明器111和112可以例如是发射红外频带或近红外频带中的光的发光二极管。光传感器113可以例如是相机，例如互补金属氧化物半导体(CMOS)相机或电荷耦合器件(CCD)相机。

第一照明器111设置为与光传感器113同轴(或靠近光传感器113)，使得光传感器113可以捕获用户眼球的亮的瞳孔图像。由于第一照明器111和光传感器113的同轴设置，从眼球的视网膜反射的光通过瞳孔朝向光传感器113返回，使得在第一照明器111照亮眼球的图像中瞳孔看起来比其周围的虹膜更亮。第二照明器112设置为与光传感器113非同轴(或者远离光传感器113)，用于捕获暗的瞳孔图像。由于第二照明器112和光传感器113的非同轴布置，从眼球的视网膜反射的光不会到达光传感器113，并且在第二照明器112照亮眼球的图像中瞳孔看起来比其周围的虹膜更暗。照明器111和112可以例如轮流照亮眼球，使得每个第二图像是亮的瞳孔图像，并且每个第二图像是暗的瞳孔图像。

眼球追踪系统100还包括用于处理由光传感器113捕获的图像的电路120(例如，包括一个或多个处理器)。电路120可以例如通过有线或无线连接连接到光传感器113和照明器111和112。在另一个示例中，可以在光传感器113的光敏表面下方的一个或多个堆叠层中提供具有一个或多个处理器形式的电路120。

图2示出了由光传感器113捕获的眼球200的图像的示例。电路120可以例如采用图像处理(例如，数字图像处理)来提取图像中的特征。电路120可以例如采用瞳孔中心角膜反射(pupil center cornea reflection,PCCR)眼球追踪来确定眼球200正在看的位置。在PCCR眼球追踪中，处理器120估计眼球200处的瞳孔210的中心位置和闪烁220的中心位置。由来自照明器111和112之一的光的反射引起闪烁220。处理器120使用闪烁220计算用户在空间中的位置以及使用瞳孔210计算用户的眼球200指向的位置。由于眼球200的光学中心与中央凹(fovea)之间通常存在偏移，因此处理器120执行中央凹偏移的校准以能够确定用户正在看的位置。然后可以组合从左眼和从右眼获得的视线方向以形成组合的估计视线方向(或查看方向)。如下所述，在形成该组合时，许多不同的因素可能影响左眼和右眼的视线方向应如何相对于彼此加权。

在参照图1描述的实施例中，照明器111和112设置在眼球追踪模块110中，眼球追踪模块110放置在用户观看的显示器下方。这种设置仅作为一个示例。应当理解，可以采用更多或更少的任何数量的照明器和光传感器来进行眼球追踪，并且这种照明器和光传感器可以相对于用户观看的显示器以许多不同的方式分布。应当理解，本公开中描述的眼球追踪方案可以例如用于远程眼球追踪(例如，在个人计算机、智能电话中或集成在车辆中)或用于可穿戴眼球追踪(例如，在虚拟现实眼镜或增强现实眼镜中)。

其他

本领域技术人员认识到，本公开绝不限于上述优选实施例。相反地，在所附权利要求书的范围内可以进行许多修改和变化。例如，本领域技术人员认识到，本文所述的眼球/视线追踪方法可以由许多其他的眼球/视线追踪系统执行，而不是图1所示的示例眼球/视线追踪系统100，例如，使用多个照明器和多个相机。

此外，通过研究附图、公开内容和所附权利要求书，本领域技术人员在实践所要求保护的公开内容时，可以理解和影响对所公开实施例的变型。在权利要求中，术语“包括”不排除其他元件或步骤，并且不定冠词“一”或“一个”不排除多个。本公开中提到的功能单元之间的任务划分不必对应划分为物理单元；相反地，一个物理部件可具有多个功能，并且一个任务可通过协作的若干物理部件以分布式方式执行。计算机程序可存储/分布在合适的非暂时性介质上，例如光学存储介质或与其他硬件一起提供或作为其他硬件的一部分提供的固态介质，但也可以例如通过互联网或其他有线或无线电信系统以其他形式分布。在相互不同的从属权利要求中记载了某些措施/特征的仅有事实并不表示这些措施/特征的组合不能用于获益。除非明确描述需要特定的顺序，否则方法步骤不一定需要按照它们在权利要求中或在本文描述的实施例中出现的顺序执行。权利要求中的任何附图标记不应被解释为限制范围。

专用计算机系统

图3是示出可以实现本公开的实施例的专用计算机系统300的框图。该示例示出了专用计算机系统300，例如可以全部、部分或以各种修改进行使用，以提供本文描述的部件的功能。

专用计算机系统300示出为包括可以经由总线390电联接的硬件元件。硬件元件可以包括一个或多个中央处理单元(CPU)310、一个或多个输入设备320(例如，鼠标、键盘、眼球追踪设备等)、以及一个或多个输出设备330(例如，显示设备、打印机等)。专用计算机系统300还可以包括一个或多个存储设备340。作为示例，存储设备340可以是磁盘驱动器、光学存储设备、例如随机存取存储器(RAM)和/或只读存储器(ROM)的固态存储设备，它可以是可编程的、闪存可更新的和/或类似物。

专用计算机系统300还可以包括计算机可读存储介质读取器350、通信系统360(例如，调制解调器、网卡(无线或有线)、红外通信设备、蓝牙设备、蜂窝通信设备等)以及可以包括如上所述的RAM和ROM设备的工作存储器380。在一些实施例中，专用计算机系统300还可以包括处理加速单元370，处理加速单元370可以包括数字信号处理器、专用处理器和/或类似物。

计算机可读存储介质读取器350还可以连接到计算机可读存储介质，(可选地，与存储设备340结合)一起全面地表示远程的、本地的、固定的和/或可移动的存储设备加上用于临时地和/或更永久地包含计算机可读信息的存储介质。通信系统360可以允许数据与上述网络、系统、计算机和/或其他组件交换。

专用计算机系统300还可以包括软件元件，示出为当前位于工作存储器380内，包括操作系统384和/或其他代码388。应当理解的是，专用计算机系统300的替代实施例可以具有与上述不同的许多变型。例如，也可以使用定制硬件和/或可以在硬件、软件(包括便携式软件，例如小应用程序)或两者中实现特定元件。此外，还可能发生与例如网络输入/输出和数据获取设备的其他计算设备的连接。

专用计算机系统300的软件可以包括用于实现如本文所述的架构的各种元件的任何或全部功能的代码388。例如，存储在例如专用计算机系统300的专用计算机系统上和/或由例如专用计算机系统300的专用计算机系统执行的软件，可以提供如上面所讨论的本公开的部件的功能。上面已经更详细地讨论了通过这些部件中的某些部件上的软件实现的方法。

在整个文件中，已经参考了“眼球追踪器”或类似物。尽管已经参考眼球或视线追踪描述了本公开，但是本公开旨在利用任何形式的基于图像的捕获系统。例如，不一定需要“眼球追踪器”来确定用户的视线方向，而是可以仅确定用户的面部特征、表情或甚至仅仅确定用户是否存在于计算设备的前面。

对“计算设备”或类似物的任何参考旨在包括从基于桌面的个人计算设备、到例如虚拟现实或增强现实耳机的可穿戴设备、到例如移动电话或平板电脑的便携式设备的任何形式的计算设备。

对“显示器”或类似物的任何参考旨在包括任何形式的显示器，例如头戴式显示器、虚拟现实显示器、增强现实显示器或其组合。

眼睛激活对话

图4-6示出了用于眼睛激活对话的示例实施例。在示例中，用户操作计算设备以进行通信。用户的视线信息可用于触发和管理通信。

图4示出了根据本公开的实施例的用于基于视线信息管理通信的计算机系统。如图所示，计算机系统包括第一用户410的第一计算设备420和第二用户460的第二计算设备470。第一计算设备420和第二计算设备470通过数据网络(例如因特网或局域网，图4中未示出)通信地连接，以交换通信信息。通信信息(包括用于开始和结束通信信息的传输的触发以及关于通信的警报)的交换可以取决于第一用户410和/或第二用户460的视线。

可选地，计算机系统还包括通信服务器450，该通信服务器450管理计算设备420和470之间的通信的某些方面。下面进一步描述通信服务器450的使用，并且其操作在图7中进一步示出。

在示例中，第一计算设备420包括多个计算部件，例如处理器、存储器、显示器(在图4中示为显示器426)、输入/输出(I/O)接口、网络接口，以及用于接收第一用户410的输入并与第二计算设备470通信的其他计算部件。例如，第一计算设备420可以是移动设备、平板电脑、笔记本电脑、台式计算机、可穿戴设备(例如，虚拟现实设备、增强现实设备；在这种情况下，显示器426是头戴式显示器)或任何其他合适的用户设备。另外，第一计算设备420包括(例如，与其集成或对接)眼球追踪设备422，该眼球追踪设备422具有与图1的眼睛固定系统100类似的部件。眼球追踪设备422用于在显示器426上追踪第一用户410的视线424并相应地生成视线信息。除了其他数据之外，视线信息包括视线424的视线方向。

在示例中，第一计算设备420执行促进与第二计算设备470交换通信信息的通信应用。通信应用可以支持以下数据的交换：文本数据、音频数据、图像数据、视频数据、文件、文档、可执行代码或其他数字通信数据(取决于输入设备，如在下面所解释的)。

作为支持通信的一部分，通信应用可以在显示器426上(例如，在显示器426上呈现的图形用户界面(GUI)中)显示第二用户460的表征430。该表征可以是表示第二用户460的静态图形对象(例如图像或化身)，或者可以是动态图形对象(例如第二用户460的直播视频，其中直播视频通过数据网络被接收为来自第二计算设备470的视频流)。通常地，通信应用在显示器426的GUI上的特定位置处呈现表征430，并维护表征430的位置信息(例如，像素坐标)。

通信应用还可以基于应用编程接口(API)与眼球追踪设备422(或眼球追踪设备422执行的眼球追踪应用)对接。因此，通信应用可以从眼球追踪设备422接收某些视线信息，包括例如相对于显示器426的视线方向和/或位置(视线位置在图4中显示为显示器426上的位置422)。基于该信息(关于第一用户410的视线424和第二用户470的表征430相对于显示器416的位置信息)，眼球追踪设备422可以确定第一用户410的视线方向是否指向第二用户470的表征430(或者类似地，视线位置422是否在表征430内或附近)。替代性地，通信应用可以将表征430的位置信息发送到眼球追踪设备422，眼球追踪设备422可以通过该确定而响应。该确定可用于触发通信的开始和结束并对第二用户470发出警报。在下文中，描述了视线方向的使用。可以类似地使用视线位置422是否在表征430内或靠近表征430(例如，如果视线位置422在表征43内或附近，则通信开始)。

在示例中，如果第一用户410的视线方向指向第二用户470的表征430，则通信开始。一旦开始，如果第一用户410的视线方向不再指向第二用户470的表征430，则通信结束。

另外，在确定第一用户410的视线方向指向表征430时，通信应用可以向第二计算设备470发送关于该确定的警报。反过来，第二计算设备470可以向第二用户460呈现关于第一用户410视线的图形和/或听觉警报(例如，经由在那里执行的通信应用)。类似地，在确定第一用户410的视线方向不再指向表征430时，通信应用可以向第二计算设备470发送关于该确定的更新。反过来，第二计算设备470可以向第二用户460呈现关于对第一用户410视线的改变的图形和/或听觉警报(例如，经由在那里执行的通信应用)。

此外，关于通信的上述触发和/或警报还可以以第二用户470的视线为条件(例如，第二用户470的视线方向，或类似地，视线位置)。具体地，第二计算设备470可以包括与第一计算设备420的计算部件类似的计算部件，包括眼球追踪设备和通信应用。因此，第二计算设备420可以在第二计算设备420的显示器上呈现第一用户410的表征，在该显示器420上追踪第二用户460的视线，确定第二用户460的视线方向是否指向第一用户410的表征。关于该确定的信息(例如，例如设置为“1”的标志以指示第二用户460的视线方向指向第一用户410的表征，否则该标志设置为“0”)可以从第二计算设备470发送到第一计算设备410。反过来，仅当两个用户都具有指向彼此的相应表征的视线方向时，第一计算设备420才与第二计算设备470交换通信信息。

此外，第一计算设备420包括(例如，集成有或对接有)输入设备440，例如麦克风、键盘、摄像头、摄像机或指点设备中的一个或多个。与第二计算设备470的通信类型取决于输入设备的类型。

例如，如果输入设备440是麦克风，则通信包括作为由麦克风生成的语音数据的通信数据。如果输入设备440是键盘，则通信包括作为由键盘生成的文本数据的通信数据。如果输入设备440是摄像头，则通信包括作为由摄像头生成的图像的通信数据。如果输入设备440是摄像头，则通信包括作为由摄像头生成的视频的通信数据。

如果输入设备440是指点设备，则通信包括作为借助于指点设备在显示器426上移动到第二用户470的表征430的文件或文档的通信数据。另外，通信数据包括指点设备的位置。此外，第一计算设备可以被配置为：附加地，仅当第一用户410的视线方向指向第二用户460的表征430的时段期间由指点设备触发动作时，才将通信数据发送到第二计算设备470。

还如图4中所示，通信服务器450可以用于管理第一用户设备420和第二用户设备470之间的通信的某些方面。具体地，通信服务器450可以从计算设备420和470接收管理信息452和通信信息454。通常，管理信息452用于管理通信信息454的交换(包括上面描述的任何数字通信数据)。可以是不同类型的管理信息。

在一个示例中，从第一计算设备420接收的管理信息包括：第一用户410的视线方向(或类似地，视线位置)是否指向第二用户460的表征430的确定。同样地，从第二计算设备470接收的管理信息可以包括相应的确定。基于一个或两个确定(例如，其中一个用户正注视朝向另一用户的表征或注视在另一用户的表征上，或者两个用户都在注视在这些表征上)，通信服务器450可以在两个计算设备420和470之间传送通信信息454。

在另一个实施例中，从第一计算设备420接收的管理信息包括第一用户410的视线信息和第二用户460的表征430的位置信息。然后，通信服务器450可以执行确定第一用户410的视线方向(或类似地，视线位置)是否指向第二用户460的表征430。类似地，从第二计算设备470接收的管理信息可以包括对应的视线和位置信息，使得通信服务器450对第二用户460执行类似的确定。基于一个或两个确定(例如，其中一个用户注视朝向另一用户的表征或注视在另一用户的表征上，或者两个用户都在注视这些表征)，通信服务器450可以在两个计算设备420和470之间传送通信信息454。

在上述实施例中，也可以实现通信数据的定向流动。例如，如果(例如通过第一计算设备或者通信服务器450)确定第一用户410的视线方向指向第二用户470的表征430，并且(例如通过第二计算设备470或者通信服务器450)确定第二用户460的视线方向没有指向第一用户410的表征，那么通信数据可以从第一计算设备420流到第二计算设备470，但不能反向流动。

图5示出了根据本公开的实施例的由第一计算设备实现的基于视线信息与第二计算设备通信的流程。将第一计算设备(例如图4的第一计算设备420)描述为执行流程的操作。用于执行操作的指令可以作为计算机可读指令存储在该计算设备的非暂时性计算机可读介质上。在存储时，指令表示可编程模块，该可编程模块包括可由计算设备的处理器执行的代码或数据。这些指令的执行将计算设备配置为执行图5中所示的特定操作，并在此描述这些操作。与处理器相组合的每个可编程模块表示用于执行相应操作的装置。虽然以特定顺序示出了操作，但是应当理解，特定的顺序是不必要的，并且可以省略、跳过和/或重新排序一个或多个操作。此外，为了简洁起见，结合图5的示例流程描述视线方向的使用。尽管如此，可以通过附加地或替代地使用视线位置类似地执行示例流程。

如图所示，图5的示例流程开始于操作502，其中第一计算设备捕获第一计算设备的第一用户的视线方向。在示例中，通过使用眼球追踪设备捕获视线方向。具体地，眼球追踪设备在第一计算设备的显示器上生成关于第一用户的视线的视线信息。视线信息包括视线方向。

在操作504处，第一计算设备在第一计算设备的显示器上显示第二用户的表征。在示例中，该表征在显示器的GUI上呈现，并且第一计算设备追踪该表征的显示位置。

在操作506处，第一计算设备从第一用户接收由输入设备生成的通信数据。在示例中，第一用户操作输入设备并在该输入设备处提供输入。输入可以包括文本、语音、图像、视频、文件选择、文件相关操作或取决于输入设备的类型的任何其他用户输入。

在操作508处，第一计算设备确定第一用户的视线方向是否指向第二用户的表征。在示例中，第一计算设备将视线方向与该表征的显示位置进行比较以做出该确定。

在操作510处，第一计算设备从第二计算设备接收关于第二用户的视线方向是否指向第二用户的显示器上的第一用户的表征的信息。在示例中，第二计算设备可以类似地显示第一用户的表征、追踪第二用户的视线、并确定第二用户的视线方向是否指向该表征、相应地生成信息，并通过数据网络将该信息发送到第一计算设备。

在操作512处，第一计算设备基于一个或两个视线方向(例如，如在操作508下确定的第一用户的第一视线方向以及如在操作510下接收的信息中所指示的第二用户的第二视线方向)来管理到第二计算设备的通信数据的传输。可以进行不同类型的管理。在一个示例中，该管理仅依赖于第一视线方向。在该示例中，如果第一用户的视线方向指向第二用户的表征，则第一计算设备将通信数据发送到第二计算设备。在另一示例中，管理还取决于第二视线方向。在该示例中，仅当第一用户的视线方向指向第二用户的表征并且第二用户的视线方向指向第一用户的表征时，第一计算设备才将通信数据发送到第二计算设备。

图6示出了根据本公开的实施例的用于基于视线信息管理通信的流程。将通信服务器(例如图4的通信服务器450)描述为执行流程的操作。用于执行操作的指令可以作为计算机可读指令存储在该通信服务器的非暂时性计算机可读介质上。在存储时，指令表示可编程模块，该可编程模块包括可由通信服务器的处理器执行的代码或数据。这些指令的执行将通信服务器配置为执行图6中所示的特定操作，并在此描述这些操作。与处理器相组合的每个可编程模块表示用于执行相应操作的装置。虽然以特定顺序示出了操作，但是应当理解，特定的顺序是不必要的，并且可以省略、跳过和/或重新排序一个或多个操作。此外，为了简洁起见，结合图6的示例流程描述视线方向的使用。尽管如此，可以通过附加地或替代性地使用视线位置类似地执行示例流程。

如图所示，图6的示例流程开始于操作602处，其中通信服务器从第一计算设备接收第一管理信息。在第一示例中，第一管理信息包括关于通过第一计算设备执行的关于确定第一计算设备的第一用户的第一视线方向是否指向第二用户的第二表征的信息，其中第二表征呈现在第一计算设备的第一显示器上。在第二示例中，第一管理信息包括第一视线方向和第二表征的显示位置。

在操作604处，通信服务器确定第一视线方向是否指向第二表征。该确定可以取决于所接收的管理信息的类型。在上面的第一示例中，通信服务器可以从管理信息中提取第一计算设备的确定。在上面的第二示例中，通信服务器可以通过将第一视线方向与显示位置进行比较来执行该确定。

在操作606处，通信服务器从第二计算设备接收第二管理信息。除了该管理信息由第二计算设备生成和发送，该操作类似于操作604。具体地，基于第二用户的第二视线方向和第一用户的第一表征生成第二管理信息，其中第一表征在第二计算设备的显示器处呈现。

在操作608处，通信服务器确定第二视线方向是否指向第一表征。该操作类似于操作606，除了基于第二管理信息执行确定。

在操作610处，通信服务器基于第一视线方向和/或第二视线方向来管理第一计算设备和第二计算设备之间的通信数据的交换。可以进行不同类型的通信管理。在一个示例中，该管理仅依赖于第一视线方向。在该示例中，通信服务器从第一计算设备接收第一通信数据，并从第二计算设备接收第二通信数据。如果第一用户的第一视线方向指向第二用户的第二表征，则通信服务器将第一通信数据发送到第二计算设备，并将第二通信数据发送到第一计算设备。在另一示例中，管理还取决于第二视线方向。在该示例中，仅当第一用户的第一视线方向指向第二用户的第二表征并且第二用户的第二视线方向指向第一用户的第一表征时，第一计算设备将第一通信数据发送到第二计算设备，并将第二通信数据发送到第一计算设备。

共同观看

图7-9示出了用于在远程设备上同时查看内容的示例实施例。在示例中，用户操作计算设备以查看相同内容的实例。用户的视线信息可用于管理内容的呈现(包括例如，内容的同步)，使得在计算设备的显示器处同时呈现相同的内容片段。

图7示出了根据本公开的实施例的用于基于视线信息管理内容的呈现的计算机系统。如图所示，计算机系统包括第一用户710的第一计算设备720和第二用户760的第二计算设备770。第一计算设备720和第二计算设备770通过数据网络(例如，因特网或局域网，图7中未示出)通信地连接，以交换可用于管理内容的呈现的数据。计算设备720和770中的每一个计算设备向相应的用户呈现内容。该内容在计算设备720和770处是相同的，并且基于视线信息而被同步，使得相同内容片段通过计算设备720和770同时地呈现。

可选地，计算机系统还包括同步服务器750，该同步服务器750管理在计算设备720和770处的内容呈现的某些方面。下面进一步描述同步服务器750的使用，并且其操作在图9中进一步示出。

在示例中，第一用户710操作第一计算设备720，以与第二用户760共享内容730(例如，视频、共享虚拟空间、音频、视频游戏图形、文本、多媒体页面、协作绘图等)，其中共享内容t也呈现在第二计算设备770上。通过第二计算设备呈现的内容在图7中被示为内容730'，以表示由第一计算设备呈现的内容730和由第二计算设备呈现的内容730'是相同的且同步的(例如，是相同内容的实例，并且在每个计算设备处的呈现是针对相同的内容片段的)。计算设备720和720都配备有眼球追踪器，因此能够追踪用户相对于他们各自的显示器的视线。

例如，第一计算设备720包括多个计算部件，例如处理器、存储器、显示器(在图7中示为显示器726)、输入/输出(I/O)接口、网络接口，以及用于接收第一用户710的输入并与第二计算设备770通信的其他计算部件。例如，第一计算设备720可以是移动设备、平板电脑、笔记本电脑、台式计算机、可穿戴设备(例如，虚拟现实设备、增强现实设备；在这种情况下，显示器726是头戴式显示器)或任何其他合适的用户设备。另外，第一计算设备720包括(例如，与其集成或对接)眼球追踪设备722，该眼球追踪设备422具有与图1的眼睛固定系统100类似的部件。眼球追踪设备722用于在显示器726上追踪第一用户710的视线724并相应地生成视线信息。除了其他数据之外，视线信息包括视线724的视线方向。

在示例中，第一计算设备720执行内容应用，该内容应用促进内容730在显示器726上的呈现以及内容730的呈现与第二计算设备770对相同内容730’(例如，共享内容)的呈现的同步。

该内容应用还可以基于应用编程接口(API)与眼球追踪设备722(或眼球追踪设备722执行的眼球追踪应用)对接。因此，内容应用可以从眼球追踪设备722接收一些视线信息，包括例如相对于显示器726的视线方向和/或位置(视线位置显示为图7中的显示器726上的位置722)。

基于视线方向和/或视线位置722，第一计算设备720的内容应用确定第一用户710的视线方向是否指向显示器726和/或落在显示器内(或在呈现内容730的GUI内)。

第二计算设备770可以包括类似的计算部件，例如显示器，眼球追踪设备和内容应用。因此，第二计算设备770的该内容应用接收关于第二用户760的视线772的视线信息，该视线信息包括第二用户760相对于显示器770的视线方向和/或视线位置774。基于第二用户760的视线方向和/或视线位置774，第二计算设备770的内容应用确定第二用户760的视线方向是否指向显示器和/或落在第二计算设备的显示器内(或在呈现内容730’的GUI内)。用户710和720相对于相应的显示器的视线方向对于同步内容呈现不需要是相同的。同样地，相应的显示器上的用户710和720的视线位置722和774对于同步内容呈现不需要相同。

在示例中，两个计算设备720和770同步它们的内容呈现，使得用户710和760都基于它们相对于显示器的视线活动来查看相同的内容。为此，在确定第一用户710的视线方向是否指向显示器726时，第一计算设备720通过数据网络向第二计算设备770发送该确定的指示(例如，标志设置为“1”)以指示视线方向指向显示器726，否则标志设置为“0”)。类似地，在确定第二用户720的视线方向是否指向第二计算设备的显示器770时，第二计算设备770通过数据网络向第一计算设备720发送该确定的指示(例如，标志设置为“1”)以指示视线方向指向第二计算设备的显示器770，否则标志设置为“0”)。

通过使用视线指示来同步内容呈现。例如，在第一计算设备720确定第一用户710的视线方向是指向显示器、并且从第二计算设备770接收的视线指示指示第二用户760的视线方向指向第二计算设备770的显示器时，第一计算设备720连续地更新内容730(例如，保持播放视频)。类似地，在第二计算设备770确定第二用户760的视线方向指向第二计算设备770的显示器、并且从第一计算设备720接收的视线指示指示第一用户710的视线方向指向显示器726时，连续地更新内容730’(例如，保持播放视频)。如果不满足任一条件(例如，用户710和770之一没有注视朝向相应的显示器)，则在计算设备720和770处同时暂停内容呈现。

相应地，如果第一用户710注视远离显示器726(例如，他们的视线方向不再指向显示器726)，则第一计算设备720暂停内容730’的呈现，并通过数据网络将视线方向的改变的指示发送到第二计算设备770(例如，将标志更新为“0”并发送该更新)。在接收到该更新时，第二计算设备770也暂停内容730'的呈现。假设第二用户760的视线方向没有改变并且仍然指向第二计算设备770的显示器、在第一用户710的视线朝向显示器726时，第一计算设备720不暂停(例如，恢复)内容730的呈现，并且将关于视线方向的另一更新(例如，将标志重置为“1”)发送到第二计算设备770。相应地，第二计算设备770也不暂停内容730'的呈现。相反的情况同样是可能的，其中第二计算设备基于第二用户760的视线相对于第二计算设备770的显示的改变，将更新770发送到第一计算设备720。

还如图7中所示，同步服务器750可以用于管理第一用户设备720和第二用户设备770之间的内容同步的某些方面。具体地，同步服务器750可以从计算设备720和770接收管理信息752，并且作为响应，将同步信息754发送到计算设备720和770。通常，管理信息752用于控制应当在计算设备720和770处呈现的内容片段以及呈现的时间。

在示例中，从第一计算设备720接收的管理信息包括：第一用户710的视线方向(或类似地，视线位置)是否指向显示器726的确定。同样地，从第二计算设备770接收的管理信息可以包括相应的确定。基于两个确定，同步服务器750可以将同步信息754发送到两个计算设备720和770。例如，如果两个确定都指示两个用户710和760正注视其对应的显示，则同步信息754包括使得通过第一计算设备710呈现内容730并同时通过第二计算设备770呈现内容730’的指令。否则，同步信息754包括使得暂停通过第一计算设备710对内容730的呈现以及同时通过第二计算设备770呈现内容730'的指令。

图8示出了根据本公开的实施例的通过第一计算设备实现以基于视线信息管理内容的呈现的流程。描述第一计算设备(例如，图7的第一计算设备720)执行流程的操作。用于执行操作的指令可以作为计算机可读指令存储在该计算设备的非暂时性计算机可读介质上。在存储时，指令表示可编程模块，该可编程模块包括可由计算设备的处理器执行的代码或数据。这些指令的执行将计算设备配置为执行图8中所示的特定操作，并在此描述这些操作。与处理器相组合的每个可编程模块表示用于执行相应操作的装置。虽然以特定顺序示出了操作，但是应当理解，特定的顺序是不必要的，并且可以省略、跳过和/或重新排序一个或多个操作。此外，为了简洁起见，结合图8的示例流程描述视线方向的使用。尽管如此，可以通过附加地或替代性地使用显示器上的视线位置类似地执行示例流程。

如图所示，图8的示例流程开始于操作802，其中第一计算设备捕获第一计算设备的第一用户的视线方向。在示例中，通过使用眼球追踪设备捕获视线方向。具体地，眼球追踪设备在第一计算设备的第一显示器上生成关于第一用户的视线的视线信息。视线信息包括视线方向。

在操作804处，第一计算设备确定第一用户的视线方向是否指向第一显示器。在示例中，第一计算设备将(例如，在三维空间中的)视线方向与(例如，在三维空间中的)显示器的位置进行比较以执行该确定。在确定是肯定的情况下，第一计算设备可以将标志设置为“1”，从而指示第一用户的视线方向指向第一显示器。否则，标志可以设置为“0”。

在操作806处，第一计算设备接收关于第二用户的视线方向是否指向第二显示器的信息。在示例中，通过数据网络从包括第二显示器的第二计算设备接收该信息。所接收的信息可以包括设置为“1”的标志，以指示第二用户的视线方向指向第二显示器，否则，该标志设置为“0”。

在操作808处，如果第一用户的视线方向指向第一显示器并且第二用户的视线方向指向第二显示器，则第一计算设备连续地更新第一显示器上的内容。在示例中，连续的更新包括涉及在两个显示器上同时地呈现相同内容的片段。

在操作810处，第一计算设备从第二计算设备接收关于内容是否在第二显示器上暂停的信息。在示例中，第二计算设备基于多个因素发送该信息。一个因素可以包括第二用户在第二计算设备的输入处使内容暂停的输入(例如，鼠标点击)。另一因素可以是第二用户的视线方向改变。例如，如果第二用户注视远离第二显示器，则第二计算设备可以暂停在第二显示器上的内容的呈现，并且可以以标志更新的方式将视线改变(或者，类似地，暂停)的指示发送给第一计算设备。

在操作812处，第一计算设备暂停第一显示器上的内容。可以使用各种因素进行暂停。在一个示例中，如果第二用户的视线方向没有指向第二显示器，则暂停第一显示器上的内容。在另一示例中，如果内容在第二显示器上暂停，则暂停第一显示器上的内容。在再一示例中，如果第一用户的视线方向没有指向第一显示器，则暂停第一显示器上的内容。

图9示出了根据本公开的实施例的用于管理以基于视线信息管理内容的呈现的流程。将同步服务器(例如图7的同步服务器750)描述为执行流程的操作。用于执行操作的指令可以作为计算机可读指令存储在该同步服务器的非暂时性计算机可读介质上。在存储时，指令表示可编程模块，该可编程模块包括可由同步服务器的处理器执行的代码或数据。这些指令的执行将同步服务器配置为执行图9中所示的特定操作，并在此描述这些操作。与处理器相组合的每个可编程模块表示用于执行相应操作的装置。虽然以特定顺序示出了操作，但是应当理解，特定的顺序是不必要的，并且可以省略、跳过和/或重新排序一个或多个操作。此外，为了简洁起见，结合图9的示例流程描述视线方向的使用。尽管如此，可以通过附加地或替代性地使用视线位置类似地执行示例流程。

如图所示，图9的示例流程开始于操作902处，其中同步服务器从第一计算设备接收第一管理信息。在第一示例中，第一管理信息包括关于通过第一计算设备执行的关于确定第一计算设备的第一用户的第一视线方向是否指向第一计算设备的第一显示器的信息。

在操作904处，同步服务器从与第一计算设备通信地连接的第二计算设备接收第二管理信息。除了该管理信息由第二计算设备生成和发送之外，该操作类似于操作902。具体地，基于第二计算设备的第二用户的第二视线方向生成第二管理信息，并指示第二用户的视线方向是否指向第二计算设备的第二显示器。

在操作906处，同步服务器基于第一视线方向和第二视线方向来管理第一计算设备和第二计算设备上的内容的呈现。如果两个视线方向都指示两个用户正在朝向他们相应的显示器注视，则同步服务器将同步信息发送到两个计算设备，其中该信息包括同时由第一计算设备和第二计算设备呈现相同的内容片段的指令。否则，同步信息包括同时暂停由每个计算设备对内容的呈现的指令。

Claims (18)

1.一种交互方法，所述交互方法由第一计算设备执行，包括以下步骤：

使用眼球追踪设备捕获所述第一计算设备的第一用户的视线方向；

确定所述第一用户的所述视线方向是否指向第一显示器；

接收关于第二用户的视线方向是否指向第二显示器的信息；

如果所述第一用户的所述视线方向指向所述第一显示器并且所述第二用户的所述视线方向指向所述第二显示器，则连续地更新所述第一显示器上的内容；以及

如果所述第二用户的所述视线方向没有指向所述第二显示器，则暂停所述第一显示器上的所述内容。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括以下步骤：

接收关于所述内容是否在所述第二显示器上暂停的信息；以及

如果所述内容在所述第二显示器上暂停，则暂停所述第一显示器上的所述内容。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括以下步骤：

如果所述第一用户的所述视线方向没有指向所述第一显示器，则暂停所述第一显示器上的所述内容。

4.根据权利要求1所述的方法，其特征在于，所述内容包括视频文件。

5.根据权利要求1所述的方法，其特征在于，所述内容表示虚拟空间。

6.根据权利要求1所述的方法，其特征在于，所述内容包括音频文件。

7.根据权利要求1所述的方法，其特征在于，所述内容包括视频游戏图形。

8.根据权利要求1所述的方法，其特征在于，所述内容包括多媒体页面。

9.一种第一计算设备，包括：

眼球追踪设备，其配置为捕获第一用户的视线方向；以及

第一显示器；

其中，所述第一计算设备还配置为：

确定所述第一用户的所述视线方向是否指向所述第一显示器；

接收关于第二用户的视线方向是否指向第二显示器的信息；

如果所述第一用户的所述视线方向指向所述第一显示器并且所述第二用户的所述视线方向指向所述第二显示器，则连续地更新所述第一显示器上的内容；以及

如果所述第二用户的所述视线方向没有指向所述第二显示器，则暂停所述第一显示器上的所述内容。

10.根据权利要求9所述的第一计算设备，其特征在于，所述第一计算设备还配置为：

接收关于所述内容是否在所述第二显示器上暂停的信息；以及

如果所述内容在所述第二显示器上暂停，则暂停所述第一显示器上的所述内容。

11.根据权利要求9所述的第一计算设备，其特征在于，所述第一计算设备还配置为：

如果所述第一用户的所述视线方向没有指向所述第一显示器，则暂停所述第一显示器上的所述内容。

12.根据权利要求9所述的第一计算设备，其特征在于，所述内容包括视频文件。

13.根据权利要求9所述的第一计算设备，其特征在于，所述内容表示虚拟空间。

14.根据权利要求9所述的第一计算设备，其特征在于，所述内容包括音频文件。

15.根据权利要求9所述的第一计算设备，其特征在于，所述内容包括视频游戏图形。

16.根据权利要求9所述的第一计算设备，其特征在于，所述内容包括多媒体页面。

17.根据权利要求9所述的第一计算设备，其特征在于，所述第一显示器是头戴式显示器。

18.一种非暂时性计算机可读存储介质，其存储有指令，所述指令在第一计算设备上执行时配置所述第一计算设备，以执行以下操作：

使用眼球追踪设备捕获所述第一计算设备的第一用户的视线方向；

确定所述第一用户的所述视线方向是否指向第一显示器；

接收关于第二用户的视线方向是否指向第二显示器的信息；

如果所述第一用户的所述视线方向指向所述第一显示器并且所述第二用户的所述视线方向指向所述第二显示器，则连续地更新所述第一显示器上的内容；以及

如果所述第二用户的所述视线方向没有指向所述第二显示器，则暂停所述第一显示器上的所述内容。

Images