CN116830064A - 用于预测交互意图的系统和方法 - Google Patents

Abstract

所公开的计算机实现的方法包括：(1)通过生物传感器获取由用户产生的生物信号(例如，指示注视动态的生物信号)；(2)使用这些生物信号来预期用户与计算系统(例如，扩展现实系统)的交互意图；以及(3)向智能促进子系统提供指示了用户的交互意图的交互意图信号。所公开的计算系统包括：(1)目标确定子系统，该目标确定子系统使用户能够明确地将一个或多个对象确定为目标以用于交互；(2)交互子系统，该交互子系统使用户能够在该一个或多个对象被确定为目标时与该一个或多个对象中的一个或多个进行交互；以及(3)智能促进子系统，该智能促进子系统响应于交互意图信号，代表用户将多个对象中的一个或多个对象确定为目标。还公开了各种其他方法、系统和计算机可读介质。

Description

用于预测交互意图的系统和方法

技术领域

本公开总体上针对用于使用生物信号(例如，眼动追踪数据、或指示注视动态(例如，瞳孔动态)的其他生物信号)来实时预期和信号传递用户与所公开系统的交互意图的开始时间的系统和方法。

背景技术

增强现实(Augmented Reality，AR)系统、虚拟现实(Virtual Reality，VR)系统和混合现实(Mixed Reality，MR)系统(统称为扩展现实(Extended Reality，XR)系统)是当前个人计算系统的正在发展的部分。XR系统(尤其是可穿戴的XR系统(例如，头戴式XR系统))可能会即将通过向用户提供持续的“始终在线(always-on)”的协助来开启一个全新的个人计算时代，这些协助可以无缝地结合到用户的日常生活中，而不会造成干扰。与更传统的个人计算设备(例如，笔记本电脑或智能手机)相比，XR设备可能能够以更易访问、更低摩擦的方式向用户显示输出。例如，一些头戴式XR设备可以包括这样的显示器：所述显示器始终在用户的视场中，XR设备可以利用所述显示器向用户呈现视觉输出。在一些实例中，头戴式XR设备可以(例如，通过在真实世界的对象上放置标签或菜单)将所显示的输出紧密地结合到用户的物理环境，使得用户可能不需要将视线从其物理环境中移开来浏览所显示的输出。

与传统的个人计算设备相比，XR设备通常依赖于这样的输入模式(例如，手势或语音)：所述输入模式是复杂的、模棱两可的、较低精度的和/或较大噪声的，这些输入模式可能使得访问由传统XR设备提供的信息和/或选项在身体上和/或认知上令人疲劳，并且难以访问和/或导航。此外，在一些实例中，这些输入模式可能并不总是由与XR设备的有意交互来驱动。例如，XR设备的用户可能会在对话期间指向重点，但并不想要该指向指示对XR设备的目标确定或选择输入。类似地，用户可能会在对话期间说出与XR设备的语音命令相关联的单词或短语，而不想要触发XR设备执行与该语音命令相关联的动作。

与传统的个人计算设备不同，XR设备通常具有这样的交互环境：所述交互环境是未知的、较不为人知的或未预先指定的，这可能会导致一些XR系统消耗相当大量的计算资源来发现这种环境内的XR设备的用户可与之交互的对象。如果用户没有立即与其环境中的对象进行交互的意图，则发现对象和/或用户交互所消耗的任何资源都可能会被浪费。另外，如果XR设备能够呈现关于用户环境中的对象的信息、和/或用于与用户环境中的对象交互的选项，则每当用户没有立即与其环境中的对象进行交互的意图时，用户就可能会被这些信息和/或选项分心或烦恼。

发明内容

根据本公开的第一方面，提供了一种计算机实现的方法，该方法包括：通过一个或多个生物传感器获取由计算系统的用户产生的一个或多个生物信号，该计算系统包括：至少一个目标确定子系统，该至少一个目标确定子系统使用户能够明确地将与该计算系统相关联的一个或多个对象确定为目标，以用于交互；至少一个交互子系统，该至少一个交互子系统使用户能够在该一个或多个对象被确定为目标时与该一个或多个对象中的一个或多个进行交互；以及智能促进子系统，该智能促进子系统响应于交互意图信号，代表该用户将多个对象中的一个或多个对象确定为目标；使用一个或多个生物信号来预期用户与计算系统的交互意图；以及响应于用户的交互意图，向智能促进子系统提供指示了用户的交互意图的交互意图信号。

在一些实施例中，该计算机实现的方法还可以包括：通过智能促进子系统响应于接收到交互意图信号，识别多个对象中用户最有可能与之交互的至少一个对象；通过智能促进子系统代表用户将多个对象中的至少一个对象确定为目标；通过交互子系统接收来自用户的、与多个对象中被智能促进子系统确定为目标的至少一个对象进行交互的请求；以及响应于接收到与多个对象中的至少一个对象进行交互的请求，而执行操作。

在一些实施例中，该智能促进子系统可以在接收到交互意图信号之前，不对多个对象中的至少一个对象进行识别。

在一些实施例中，该一个或多个生物传感器可以包括一个或多个眼动追踪传感器；该一个或多个生物信号包括指示用户的注视动态的信号；并且指示用户的注视动态的信号用于预期用户的交互意图。

在一些实施例中，指示用户的注视动态的信号可以包括注视速度的度量。

在一些实施例中，指示用户的注视动态的信号可以包括以下中的至少一者：环境注意力的度量；或焦点注意力的度量。

在一些实施例中，指示用户的注视动态的信号可以包括扫视动态的度量。

在一些实施例中，该一个或多个生物传感器可以包括一个或多个手部追踪传感器；该一个或多个生物信号包括指示用户的手部动态的信号；并且指示用户的手部动态的信号用于预期用户的交互意图。

在一些实施例中，该一个或多个生物传感器可以包括一个或多个神经肌肉传感器；该一个或多个生物信号包括从用户的身体获得的神经肌肉信号；并且从用户的身体获得的神经肌肉信号用于预期用户的交互意图。

在一些实施例中，与计算系统相关联的对象可以包括来自用户的真实世界环境的一个或多个物理对象。

在一些实施例中，该计算系统可以包括扩展现实系统；该计算机实现的方法还包括通过该扩展现实系统向用户显示虚拟对象；并且与该计算系统相关联的对象包括所述虚拟对象。

在一些实施例中，该计算系统可以包括扩展现实系统；该计算机实现的方法还包括通过该扩展现实系统向用户显示菜单；并且与该计算系统相关联的对象包括菜单的视觉元素。

在一些实施例中，该计算机实现的方法还可以包括：对预测模型进行训练，以输出交互意图信号。

根据本公开的另一个方面，提供了一种系统，该系统包括：至少一个目标确定子系统，该至少一个目标确定子系统适于使用户能够明确地将一个或多个对象确定为目标，以用于交互；至少一个交互子系统，该至少一个交互子系统适于使用户能够在一个或多个对象被确定为目标时与该一个或多个对象中的一个或多个进行交互；智能促进子系统，该智能促进子系统适于响应于交互意图信号，代表用户将该一个或多个对象确定为目标；一个或多个生物传感器，该一个或多个生物传感器适于检测由用户产生的生物信号；至少一个物理处理器；以及物理存储器，该物理存储器包括计算机可执行指令，所述计算机可执行指令在被该物理处理器执行时使得该物理处理器：通过一个或多个生物传感器获取由用户产生的一个或多个生物信号；使用该一个或多个生物信号来预期用户与系统的交互意图；以及响应于用户的交互意图，向智能促进子系统提供指示了用户与系统的交互意图的交互意图信号。

在一些实施例中，该一个或多个生物传感器可以包括一个或多个眼动追踪传感器，该一个或多个眼动追踪传感器适于测量用户的注视动态；该一个或多个生物信号包括指示用户的注视动态的信号；并且该用户的注视动态用于预期用户与系统的交互意图。

在一些实施例中，该一个或多个生物传感器可以包括一个或多个手部追踪传感器；该一个或多个生物信号包括指示用户的手部动态的信号；并且指示用户的手部动态的信号用于预期用户与系统的交互意图。

在一些实施例中，该一个或多个生物传感器可以包括一个或多个神经肌肉传感器；该一个或多个生物信号包括从用户的身体获得的神经肌肉信号；并且从用户的身体获得的神经肌肉信号用于预期用户与系统的交互意图。

在一些实施例中，该至少一个目标确定子系统可以包括物理控制器的指向子系统；并且该至少一个交互子系统包括该物理控制器的选择子系统。

在一些实施例中，该智能促进子系统还可以适于：响应于接收到交互意图信号，识别多个对象中用户最有可能与之交互的至少一个对象；以及代表用户将多个对象中的至少一个对象确定为目标；并且该物理存储器还包括附加的计算机可执行指令，该附加的计算机可执行指令在被该物理处理器执行时使得该物理处理器：通过交互子系统接收来自用户的、与该多个对象中的被智能促进子系统确定为目标的至少一个对象进行交互的请求；以及响应于接收到与该多个对象中的至少一个对象进行交互的请求，而执行操作。

根据本公开的另一个方面，提供了一种非暂态计算机可读介质，该非暂态计算机可读介质包括一个或多个计算机可执行指令，该一个或多个计算机可执行指令在被计算设备的至少一个处理器执行时，使得该计算设备：通过一个或多个生物传感器获取由计算系统的用户产生的一个或多个生物信号，该计算系统包括：至少一个目标确定子系统，该至少一个目标确定子系统使用户能够明确地将与该计算系统相关联的一个或多个对象确定为目标，以用于交互；至少一个交互子系统，该至少一个交互子系统使用户能够在该一个或多个对象被确定为目标时与该一个或多个对象中的一个或多个进行交互；以及智能促进子系统，该智能促进子系统响应于交互意图信号，代表用户将该一个或多个对象确定为目标；使用一个或多个生物信号预期用户与计算系统的交互意图；以及响应于用户的交互意图，向智能促进子系统提供指示了用户与计算设备的交互意图的交互意图信号。

将理解的是，在本文中被描述为适于结合到本公开一个或多个方面或实施例中的任何特征旨在在本公开的任何和所有的方面和实施例中具有普遍性。本领域技术人员可以根据本公开的说明书、权利要求书和附图理解本公开的其他方面。前述总体描述和以下详细描述仅是示例性和说明性的，且不对权利要求进行限制。

附图说明

附图示出了多个示例性实施例，并且是本说明书的一部分。这些附图与以下描述一起说明和解释本公开的各种原理。

图1是根据本公开的至少一个实施例的示例性系统的框图，该系统用于信号传递(signaling)用户与示例系统的交互意图的开始、和/或对用户与示例系统的交互意图的开始作出反应。

图2是根据本公开的至少一个实施例的示例性用户输入系统的框图，该用户输入系统用于使用户能够将与之交互的物理对象和/或虚拟对象确定为目标、并选择所述物理对象和/或虚拟对象。

图3是根据本公开的至少一个实施例的与示例性智能促进子系统相关联的示例性数据流的示意图。

图4是根据本公开的至少一个实施例的示例性可穿戴设备的框图，该示例性可穿戴设备信号传递用户的交互意图的开始和/或对用户的交互意图的开始作出反应。

图5是根据本公开的至少一个实施例的、用于信号传递用户的交互意图的开始的示例性方法的流程图。

图6是根据本公开的至少一个实施例的、用于使用生物传感器数据来生成交互意图信号的示例性数据流的示意图。

图7是根据本公开的至少一个实施例的、用于根据眼动追踪数据生成注视事件和其他注视特征的示例性预处理数据流的示意图。

图8是根据本公开的至少一个实施例的、用于响应于用户的交互意图的开始而智能地促进用户输入的示例性方法的流程图。

图9是根据本公开的至少一个实施例的、用于预测用户的交互意图、以及对用户的交互意图作出反应的示例性方法的流程图。

图10是根据本公开的至少一个实施例的、用于预测用户的交互意图、以及对用户的交互意图作出反应的示例性数据流的示意图。

图11是根据本公开的至少一个实施例的、用于预测用户的交互意图、以及对用户的交互意图作出反应的另一示例性数据流的示意图。

图12是根据本公开的至少一个实施例的、用于预测用户的交互意图、以及对用户的交互意图作出反应的另一示例性数据流的示意图。

图13是可与本公开各实施例结合使用的示例性增强现实眼镜的图示。

图14是可与本公开各实施例结合使用的示例性虚拟现实头戴式设备(headset)的图示。

图15是可与本公开各实施例结合使用的示例性触觉设备的图示。

图16是根据本公开各实施例的示例性虚拟现实环境的图示。

图17是根据本公开各实施例的示例性增强现实环境的图示。

图18是这样的示例性系统的图示：所述系统包括能够追踪用户单眼或双眼的眼动追踪子系统。

图19是图18所示的眼动追踪子系统的各个方面的更详细的图示。

图20A和图20B是被配置为佩戴在用户的前臂或手腕上的示例性人机接口的图示。

图21A和图21B是可穿戴系统的内部部件的示例性示意图的图示。

图22是根据本文所描述的技术的一些实施例的示例性生物信号传感系统的多个部件的示意图。

在所有附图中，相同的附图标记和描述指代相似但不一定相同的元件。尽管本文所描述的各示例性实施例很容易作出各种修改和替代形式，但仍以示例的方式在这些附图中示出了多个特定实施例，并且即将在本文中对这些特定实施例进行详细描述。然而，本文所描述的示例性实施例并不旨在被限制为所公开的特定形式。而是，本公开涵盖了落入所附权利要求书的范围内的所有修改、等同物和替代物。

具体实施方式

增强现实(AR)系统、虚拟现实(VR)系统和混合现实(MR)系统(统称为扩展现实(XR)系统)是当前个人计算系统的正在发展的部分。XR系统(尤其是可穿戴的XR系统(例如，头戴式XR系统))可能会即将通过向用户提供持续的“始终在线”的协助来开启一个全新的个人计算时代，这些协助可以无缝地结合到用户的日常生活中，而不会造成干扰。与更传统的个人计算设备(例如，笔记本电脑或智能手机)相比，XR设备可能能够以更易访问、更低摩擦的方式向用户显示输出。例如，一些头戴式XR设备可以包括这样的显示器：所述显示器始终在用户的视场中，XR设备可以利用所述显示器向用户呈现视觉输出。在一些实例中，头戴式XR设备可以(例如，通过在真实世界的对象上放置标签或菜单)将所显示的输出紧密地结合到用户的物理环境，使得用户可能不需要将视线从其物理环境中移开来浏览所显示的输出。

与传统的个人计算设备相比，XR设备通常依赖于这样的输入模式(例如，手势或语音)：所述输入模式是复杂的、模棱两可的、较低精度的和/或较大噪声的，这些输入模式可能使得访问由传统XR设备提供的信息和/或选项在身体上和/或认知上令人疲劳，并且难以访问和/或导航。此外，在一些实例中，这些输入模式可能并不总是由与XR设备的有意交互来驱动。例如，XR设备的用户可能会在对话期间指向重点，但不想要该指向指示XR设备的目标确定或选择输入。类似地，用户可能会在对话期间说出与XR设备的语音命令相关联的单词或短语，而不想要触发XR设备执行与该语音命令相关联的动作。

与传统的个人计算设备不同，XR设备通常具有这样的交互环境：所述交互环境是未知的、较不为人知的或未预先指定，这可能会导致一些XR系统消耗相当大量的计算资源来发现这种环境内的XR设备的用户可与之交互的对象。如果用户没有立即与其环境中的对象进行交互的意图，则发现对象和/或用户交互所消耗的任何资源都可能会被浪费。另外，如果XR设备能够呈现关于用户环境中的对象的信息、和/或用于与用户环境中的对象交互的选项，则每当用户没有立即与其环境中的对象进行交互的意图时，用户就可能会被该信息和/或选项分心或烦恼。

本公开总体上针对用于使用生物信号(例如，眼动追踪数据、或指示注视动态(例如，瞳孔动态)的其他生物信号)来实时预测和信号传递用户与所公开系统的交互意图的开始时间的系统和方法。在一些实施例中，所公开的系统可以预期用户何时想要交互(例如，用户执行选择的意图、或用户提供用户输入的意图)，和/或可以以减轻用户的身体负担和认知负担的方式(例如经由自适应接口和/或预测接口)智能地促进用户的交互或输入。通过预期用户交互意图的时间，本文所公开的系统和方法可以响应性地驱动超低摩擦预测界面，以避免因用户可用的所有潜在动作或用户界面元素而使用户负担过重。在一些实施例中，所公开的系统和方法可以生成指示用户与计算系统的交互意图的时间的信号，该信号可以允许智能促进系统恰好在正确的时间提供自适应干预。

本公开的一些实施例可以在无需首先收集用户的环境和/或用户在该环境中的注视点的信息(knowledge)、或者不依赖用户的环境和/或用户在该环境中的注视点的信息的情况下，预测用户的交互意图的开始。在一些实施例中，所公开的系统可以避免收集用户的环境和/或用户在该环境中的注视点的信息，以便在检测到用户交互意图的开始之前，发现环境内用户可与之交互的对象，这可以在用户不想要与所公开的系统交互的时间段期间节省系统资源。

根据本文所描述的一般原理，来自本文所描述的多个实施例中的任何实施例的多个特征可以彼此组合使用。在结合附图和权利要求书阅读以下详细描述时，将更充分地理解这些和其他的实施例、这些和其他特征、以及这些和其他优点。

下面将参考图1至图4提供用于预期、信号传递和/或适应用户与计算系统(例如，XR系统)的交互意图的示例性系统和子系统的详细描述。与图5至图12相对应的论述将提供对应方法和数据流的详细描述。最后，下面将参考图13至图22提供可实现本公开各实施例的各种扩展现实系统和部件的详细描述。

图1是用于信号传递用户的交互意图的开始的示例系统100的框图。如该图所示出的，示例系统100可以包括用于执行一个或多个任务的一个或多个模块102。如下面将更详细解释的，模块102可以包括获取模块104，该获取模块获取由示例系统100的用户产生的生物信号(例如，指示注视动态的眼动追踪信号)。示例系统100还可以包括预测模块106，该预测模块使用由获取模块104获取的生物信号，来预期用户与示例系统100的交互意图的开始。示例系统100还可以包括信号传递模块108，该信号传递模块向一个或多个智能促进子系统提供交互意图信号，该交互意图信号指示用户与示例系统100的交互意图的开始。

在一些实施例中，示例系统100可以使用户能够与各种类型和形式的对象交互。例如，示例系统100可以包括一个或多个用户界面(例如，一个或多个用户界面111)，用户可以使用该一个或多个用户界面和与示例系统100相关联的对象交互。在一些示例中，示例系统100可以使用户能够使用示例系统100来与用户的环境中的物理对象(例如，电视、灯、智能设备、物联网(Internet-Of-Things，IOT)设备等)交互。在一些示例中，示例系统100可以向用户呈现虚拟对象，用户可以使用示例系统100与该虚拟对象交互。在一些示例中，示例系统100可以呈现选项或命令的菜单(例如，作为图形用户界面的一部分)，用户可以与该选项或命令的菜单交互，以控制示例系统100和/或其他物理对象或虚拟对象，该物理对象或虚拟对象由示例系统100实现交互、由该示例系统呈现、或以其他方式与该示例系统相关联。在一些实施例中，如果示例系统100使用户能够与物理对象交互，则可以认为该物理对象与示例系统100相关联。在一些实施例中，如果示例系统100向用户呈现(例如，可视地呈现)虚拟对象，则可以认为该虚拟对象与示例系统100相关联。

如图1所示，示例系统100可以包括一个或多个目标确定子系统(例如，一个或多个目标确定子系统101)，该一个或多个目标确定子系统可以使示例系统100的用户能够(例如，通过指向、移动光标到、滚动、高亮显示、激活、请求(summoning)、实例化与示例系统100相关联的一个或多个对象，或以其他方式指示对与该示例系统相关联的一个或多个对象的选择)明确地将与该示例系统相关联的一个或多个对象确定为目标，以用于交互。在一些实施例中，一个或多个目标确定子系统101可以表示或包括这样的设备或系统、或设备或系统的集合：用户可以在与对象交互之前和/或作为与该对象交互的一部分，使用该设备或系统、或设备或系统的集合来将该对象确定为目标、指向或以其他方式识别该对象。一个或多个目标确定子系统101的示例包括但不限于：计算机鼠标、追踪球、手写笔、键盘、小键盘、操纵杆、触摸板、触摸屏、控制盘(dial)、滚轮、手指追踪系统(例如，这样的手指追踪系统：所述手指追踪系统追踪用户的手指、和/或使用户能够通过指向对象来将对象确定为目标)、手部追踪系统(例如，这样的手部追踪系统：所述手部追踪系统使用户能够通过使用他们的手或由手部追踪系统控制的虚拟手指向或触摸对象，来将该对象确定为目标以用于交互)、身体追踪系统、眼动追踪系统(例如，这样的眼动追踪系统：所述眼动追踪系统使用户能够通过使用他们的双眼或由眼动追踪系统控制的虚拟眼睛看向对象，来将该对象确定为目标)、手势识别系统(例如，这样的手势识别系统：所述手势识别系统使用户能够执行手势以将对象确定为目标)、语音识别系统(例如，这样的语音识别系统：所述语音识别系统使用户能够使用语音命令来将对象确定为目标)、指向设备、运动追踪设备、位置追踪设备、以上中的一者或多者的变型或组合、或任何其他类型或形式的目标确定设备或系统。

如图1所示，示例系统100可以包括一个或多个交互子系统(例如，一个或交互子系统103)，该一个或多个交互子系统可以使示例系统100的用户能够(例如，通过点击一个或多个对象、或以其他方式发起对该一个或多个对象的选择)发起与该一个或多个对象的交互。在一些实施例中，一个或多个交互子系统103可以表示或包括这样的设备或系统、或设备或系统的集合：用户可以在与对象交互之前和/或作为与该对象交互的一部分，使用该设备或系统、或设备或系统的集合发起与该对象的交互。一个或多个交互子系统103的示例包括但不限于：计算机鼠标、操纵杆或追踪球的可点击按钮或触摸感应按钮；手写笔、触摸板或触摸屏的敲击检测系统；键盘或小键盘的回车键或返回键；与控制盘或滚轮选择器相关联的可点击按钮或触摸感应按钮、手指追踪系统(例如，这样的手指追踪系统：所述手指追踪系统使用户能够通过触摸或轻敲对象来发起与对象的交互)、手部追踪系统(例如，这样的手部追踪系统：所述手部追踪系统使用户能够通过使用他们的手或由该手部追踪系统控制的虚拟手触摸对象，来发起与该对象的交互)、身体追踪系统、眼动追踪系统(例如，这样的眼动追踪系统：所述眼动追踪系统使用户能够通过看向对象达预定时间量，来发起与该对象的交互)、手势识别系统(例如，这样的手势识别系统：所述手势识别系统使用户能够执行手势(例如，捏合手势)以发起与对象的交互)、语音识别系统(例如，这样的语音识别系统：所述语音识别系统使用户能够使用语音命令来发起与对象的交互)、指向设备、运动追踪设备、位置追踪设备、以上中的一个或多个的变型或组合、或任何其他类型或形式的交互设备或系统。

在一些实施例中，一个或多个目标确定子系统101中的一个或多个目标确定子系统、和/或一个或多个交互子系统103中的一个或多个交互子系统可以表示或共同形成示例系统100的用户输入子系统的全部或一部分，该用户输入子系统例如为点击(point-and-click)或点选(point-and-select)用户输入系统。图2是示例用户输入系统200的框图，该示例用户输入系统具有用户输入模块202，该用户输入模块202用于使用户能够通过用户界面111将一个或多个对象(例如，对象201至207)确定为目标并选择该一个或多个对象。在该示例中，目标确定子系统101可以使用户能够在通过一个或多个交互子系统103进行选择之前明确地将对象205确定为目标。在该示例中，用户输入模块202可以响应于来自目标确定子系统101和交互子系统103的输入而生成目标选择204，该目标选择将对象205识别为已被用户选择。

返回图1，示例系统100还可以包括一个或多个智能促进子系统(例如，一个或多个智能促进子系统105)，该一个或多个智能促进子系统可以通过代表用户将对象确定为目标，来促进涉及示例系统100的用户交互、和/或到示例系统100的用户输入。智能促进子系统105可以以各种方式(例如，通过自适应界面和/或预测界面)代表用户将对象确定为目标。在一些示例中，智能促进子系统105可以通过执行由一个或多个目标确定子系统101和/或一个或多个交互子系统103提供的功能中的一个或多个功能，来代表用户将对象确定为目标。在一些实施例中，一个或多个智能促进子系统105可以向用户建议潜在目标、和/或使用户能够通过低摩擦输入(例如，按钮按下或按钮单击)来选择所建议的目标或与所建议的目标交互。

图3示出了用于智能地促进与示例系统100的用户交互的示例性数据流300。在该示例中，信号传递模块108可以向智能促进子系统105提供交互意图信号302，该交互意图信号指示用户与示例系统100的交互意图的开始。在一些实施例中，智能促进子系统105可以通过调整一个或多个用户界面111来对交互意图信号302作出反应，以智能地促进与示例系统100的用户交互。在一个示例中，智能促进子系统105可以首先预测用户交互，并且随后可以通过一个或多个用户界面111提供这样的快速链接或快捷方式：该快速链接或快捷方式使用户能够以比手动确定目标和选择更少的摩擦来完成所预测的交互。例如，智能促进子系统105可以识别用户将最有可能与之交互的对象，并且可以在一个或多个用户界面111内为用户将该对象确定为目标或高亮显示该对象。在一些示例中，附加地或替代地，智能促进子系统105可以通过一个或多个用户界面111提供这样的快速链接或快捷方式：该快速链接或快捷方式使用户能够使用一个或多个目标确定子系统101来将对象确定为目标而无需手动将对象确定为目标。在至少一个实施例中，智能促进子系统105可以将快速链接或快捷方式映射到输入手势，并且可以允许用户通过执行输入手势来完成动作。在一些实施例中，智能促进子系统105可以通过代表用户向目标确定子系统101提供所促进的目标确定输入304，来对交互意图信号302作出反应。

返回图1，示例系统100可以包括一个或多个传感器(例如，一个或多个生物传感器107、和/或一个或多个环境传感器109)，该一个或多个传感器用于获取关于示例系统100的用户和/或用户的环境的信息。在一些实施例中，一个或多个生物传感器107可以表示或包括一个或多个生理传感器，该一个或多个生理传感器能够生成指示用户的一个或多个生理特性的实时生物信号、和/或用于对由用户产生的生物电位信号进行实时测量。生理传感器可以表示或包括如下的任何传感器：所述传感器检测或测量用户的生理特性或方面(例如，注视、瞳孔直径、瞳孔面积、瞳孔椭球轴长度(长轴长度和/或短轴长度)、虹膜半径、心率、呼吸、出汗、皮肤温度、身体姿势等)。在一些实施例中，一个或多个生物传感器107可以收集、接收和/或识别生物传感器数据，该生物传感器数据直接或间接地指示如下生理信息：该生理信息可以与用户与示例系统100的交互意图相关联、和/或可以帮助识别用户与该示例系统的交互意图。在一些示例中，一个或多个生物传感器107可以表示或包括一个或多个面向人的传感器，该一个或多个面向人的传感器能够测量用户的生理特性。一个或多个生物传感器107的示例包括但不限于：眼动追踪传感器、手部追踪传感器、身体追踪传感器、心率传感器、心脏传感器、神经肌肉传感器、眼电图(electrooculography，EOG)传感器、肌电图(electromyography，EMG)传感器、脑电图(electroencephalography，EEG)传感器、心电图(electrocardiography，ECG)传感器、传声器、可见光摄像头、红外摄像头、环境光传感器(ambient light sensor，ALS)、惯性测量单元(inertial measurement unit，IMU)、热流传感器、被配置为测量皮肤温度的温度传感器、湿度传感器、生化传感器、触摸传感器、接近传感器、生物识别传感器、饱和氧传感器(saturated-oxygen sensor)、生物电位传感器、生物阻抗传感器、计步器传感器、光学传感器、汗液传感器、以上中的一者或多者的变型或组合、或任何其他类型或形式的生物信号传感设备或系统。

在一些实施例中，一个或多个环境传感器109可以表示或包括如下的一个或多个传感设备：该一个或多个传感设备能够生成指示用户环境的一个或多个特性的实时信号。在一些实施例中，一个或多个环境传感器109可以收集、接收和/或识别如下数据：该数据直接或间接地指示用户环境内的用户可与之交互的对象。一个或多个环境传感器109的示例包括但不限于：摄像头、传声器、同时定位与地图构建(Simultaneous Localization andMapping，SLAM)传感器、射频识别(Radio-Frequency Identification，RFID)传感器、以上中的一者或多者的变型或组合、或任何其他类型或形式的环境传感设备或系统、或对象传感设备或系统。

进一步如图1所示，示例系统100还可以包括一个或多个意图预测模型(例如，一个或多个意图预测模型140)，该一个或多个意图预测模型被训练为和/或以其他方式被配置为预测用户与示例系统100的交互意图的开始、和/或以其他方式对用户交互意图进行建模。在至少一个实施例中，一个或多个意图预测模型140可以包括或表示基于注视的预测模型，该基于注视的预测模型将指示注视动态和/或眼球运动的信息作为输入，并输出用户与示例系统100的交互意图的开始的预测(例如，概率或二进制(binary)指示符)。在一些实施例中，所公开的系统可以对意图预测模型140进行训练以进行用户交互的实时预测、从注视数据中解码交互的时间、和/或预测用户交互的开始时间。在一些实施例中，所公开的系统可以对意图预测模型140进行训练，以仅使用在用户交互的时间之前的注视动态来预测交互意图的开始时间。在至少一个示例中，所公开的系统可以对意图预测模型140进行训练，以仅使用交互(例如，选择)事件之前的眼动追踪数据来预测交互意图的开始时间。

一个或多个意图预测模型140可以表示或包括如下的任何机器学习模型、算法、启发式方法、数据、或它们的组合：所述机器学习模型、算法、启发式方法、数据、或它们的组合可以基于和/或使用从一个或多个生物传感器(例如，生物传感器107)获取的生物信号，来预期、识别、检测、估计、预测、标记、推断与示例系统100的交互意图的开始时间，和/或对用户与该示例系统的交互意图的开始时间作出反应。一个或多个意图预测模型140的示例包括但不限于：决策树(例如，提升决策树)、神经网络(例如，深度卷积神经网络)、深度学习模型、支持向量机、线性分类器、非线性分类器、感知器、朴素贝叶斯分类器、任何其他机器学习或分类技术或算法、或它们的任意组合。

本文描述的系统可以对交互意图模型(例如，意图预测模型140)进行训练，以以任何合适的方式预测用户交互的时间。在一个示例中，系统可以对交互意图模型进行训练，以使用基准真值时间序列的生理数据来预测用户何时开始执行交互和/或将要执行交互，该生理数据包括在交互之前和/或直到交互时记录的生理数据。在一些示例中，时间序列可以包括如下样本：所述样本处于用户交互之前大约10ms、50ms、100ms、200ms、300ms、400ms、500ms、600ms、700ms、800ms、900ms、1000ms、1100ms、1200ms、1300ms、1400ms、1500ms、1600ms、1700ms、1800ms、1900ms或2000ms。附加地或替代地，时间序列包括如下样本：所述样本处于用户交互之前大约2100ms、2200ms、2300ms、2400ms、2500ms、2600ms、2700ms、2800ms、2900ms、3000ms、3100ms、3200ms、3300ms、3400ms、3500ms、3600ms、3700ms、3800ms、3900ms、4000ms、4100ms、4200ms、4300ms、4400ms、4500ms、4600ms、4700ms、4800ms、4900ms、5000ms、5100ms、5200ms、5300ms、5400ms、5500ms、5600ms、5700ms、5800ms、5900ms、6000ms、6100ms、6200ms、6300ms、6400ms、6500ms、6600ms、6700ms、6800ms、6900ms、7000ms、7100ms、7200ms、7300ms、7400ms、7500ms、7600ms、7700ms、7800ms、7900ms、8000ms、8100ms、8200ms、8300ms、8400ms、8500ms、8600ms、8700ms、8800ms、8900ms、9000ms、9100ms、9200ms、9300ms、9400ms、9500ms、9600ms、9700ms、9800ms、9900ms、10000ms、10100ms、10200ms、10300ms、10400ms、10500ms、10600ms、10700ms、10800ms、或10900ms。在一些实施例中，交互意图模型可以将类似的时间序列的生理数据作为输入。

在一些实施例中，所公开的系统可以使用一个或多个意图预测模型(例如，针对单个用户而训练的意图预测模型、或针对一组用户而训练的意图预测模型)。在至少一个实施例中，所公开的系统可以对交互意图模型进行训练，以预测毫秒量级或秒量级的交互意图。

进一步如图1所示，示例系统100还可以包括一个或多个存储设备，例如存储器120。存储器120可以包括或表示能够存储数据和/或计算机可读指令的任何类型或形式的易失性或非易失性存储设备或存储介质。在一个示例中，存储器120可以存储、加载和/或维护多个模块102中的一个或多个模块。存储器120的示例包括但不限于：随机存取存储器(Random Access Memory，RAM)、只读存储器(Read Only Memory，ROM)、闪存、硬盘驱动器(Hard Disk Drive，HDD)、固态驱动器(Solid-State Drive，SSD)、光盘驱动器、高速缓冲存储器、以上中的一者或多者的变型或组合、或任何其他合适的存储器。

进一步如图1所示，示例系统100还可以包括一个或多个物理处理器，例如物理处理器130。物理处理器130可以包括或表示能够解释和/或执行计算机可读指令的任何类型或形式的、硬件实现的处理单元。在一个示例中，物理处理器130可以访问和/或修改存储在存储器120中的多个模块102中的一个或多个模块。附加地或替代地，物理处理器130可以执行多个模块102中的一个或多个模块，以促进对用户与示例系统100的交互意图的预测或信号传递。物理处理器130的示例包括但不限于：微处理器、微控制器、中央处理单元(CentralProcessing Unit，CPU)、实现软核处理器的现场可编程门阵列(Field-Programmable GateArray，FPGA)、专用集成电路(Application-Specific Integrated Circuit，ASIC)、以上中的一者或多者中的部分、以上中的一者或多者的变型或组合、和/或任何其他合适的物理处理器。

图1中的系统100可以以各种方式实现。例如，系统100的全部或一部分可以表示图4中的示例系统400中的部分。如图4所示，系统400可以包括可穿戴设备402(例如，可穿戴XR设备)，该可穿戴设备具有：(1)一个或多个面向用户的传感器(例如，一个或多个生物传感器107)，该一个或多个面向用户的传感器能够获取由用户404产生的生物信号数据；(2)一个或多个面向环境的传感器(例如，一个或多个环境传感器109)，该一个或多个面向环境的传感器能够获取关于用户404的真实世界环境406的环境数据；和/或(3)显示器408，该显示器能够向用户404显示对象。

如图4所示，可穿戴设备402可以使用来自图1中的多个模块102中的一个或多个模块(例如，获取模块104、预测模块106和/或信号传递模块108)进行编程，该多个模块中的一个或多个模块在被可穿戴设备执行时，可以使可穿戴设备402能够：(1)通过一个或多个生物传感器107中的一个或多个生物传感器获取由用户404产生的一个或多个生物信号；(2)使用该一个或多个生物信号来预期用户404与可穿戴设备402的交互意图的开始；以及(3)向可穿戴设备402的智能促进子系统提供交互意图信号，该交互意图信号指示用户404的交互意图的开始。尽管图4中未示出，但在一些实施例中，示例系统400和/或可穿戴设备402还可以包括：(1)至少一个目标确定子系统，该至少一个目标确定子系统可以使用户404能够明确地将对象401和对象403中的一个或多个对象确定为目标，以用于交互；(2)至少一个交互子系统，该至少一个交互子系统可以使用户404能够在对象401和对象403中的一个或多个对象被确定为目标时与该一个或多个对象进行交互；以及(3)智能促进子系统，该智能促进子系统可以响应于从信号传递模块108接收到的交互意图信号，代表用户将多个对象中的一个或多个对象确定为目标。

图5是用于信号传递用户与计算系统(例如，XR系统)的交互意图的示例性计算机实现的方法500的流程图。图5中所示的多个步骤可以由任何合适的计算机可执行代码和/或计算系统来执行，该计算系统包括图1至图4、以及图13至图22所示的一个或多个系统。在一个示例中，图5中所示的多个步骤中的每个步骤可以表示这样的算法：该算法的结构包括多个子步骤和/或由多个子步骤表示，下面将更详细地提供该算法的示例。

如图5所示，在步骤510处，本文所描述的系统中的一个或多个系统可以通过一个或多个生物传感器获取由计算系统的用户产生的一个或多个生物信号。例如，获取模块104(作为图4中的可穿戴设备402的一部分)可以使用生物传感器107中的一个或多个生物传感器，来获取由用户404产生的一个或多个原始生物信号和/或衍生生物信号。

本文所描述的系统可以以各种方式执行步骤510。图6示出了用于获取生物信号数据、并使用该生物信号数据来生成交互意图信号的示例性数据流600。如该图所示，在一些实施例中，所公开的系统可以接收来自一个或多个生物传感器107的一个或多个原始生物信号602，并且可以使用一个或多个原始生物信号602作为意图预测模型140的输入。附加地或替代地，所公开的系统可以通过对一个或多个原始生物信号602执行一个或多个预处理操作604(例如，事件检测操作或特征提取操作)来生成一个或多个衍生生物信号606，并且随后可以使用一个或多个衍生生物信号606作为意图预测模型140的输入。

图7示出了示例性实时预处理流水线700，该示例性实时预处理流水线可以被所公开的系统用来将原始的实时眼动追踪数据转换成本文所公开的多个特征中的一个或多个特征，用户的交互意图可以从该多个特征中的一个或多个特征中进行预期。在该示例中，所公开的系统可以从眼动追踪系统获取实时的3D注视向量(gaze vector)702的数据流。在一些示例中，3D注视向量702可以位于眼睛在头部的参考系中，并且所公开的系统可以使用合适的参考系变换704(例如，使用指示用户头部方位的信息)将3D注视向量702变换到眼睛在世界的参考系，这可以产生经变换的3D注视向量706。接下来，所公开的系统可以使用合适的角位移计算708来计算注视向量706中的连续样本之间的角位移710。例如，所公开的系统可以使用方程式(1)来计算注视向量706中的连续样本之间的角位移710：

θ＝2×atan2(||u-v||,||u+v||) (1)

其中，将注视向量706的连续样本表示为归一化向量u和v，并且将对应的角位移表示为θ。

然后，所公开的系统可以使用合适的注视速度计算712来根据角位移710计算注视速度714。例如，所公开的系统可以按照注视向量706中的相关联的连续样本之间的时间变化、根据角位移710(例如，如上所计算的θ)来划分各个样本。

在一些实施例中，所公开的系统可以对注视速度712执行一个或多个过滤操作716(例如，以在下游的事件检测和特征提取之前、去除噪声和/或不需要的部分)。在至少一个实施例中，所公开的系统可以去除注视速度超过约800度/秒的所有样本，这些样本可能指示不可能的快速眼动。然后，所公开的系统可以通过插值法来替换去除的值。附加地或替代地，所公开的系统可以将中值滤波器(例如，具有七个样本宽度的中值滤波器)应用于注视速度714，以使信号平滑和/或考虑噪声。

在一些实施例中，所公开的系统可以通过执行一个或多个事件检测操作718来根据注视速度714生成注视事件722。在一些实施例中，所公开的系统可以使用任何合适的检测模型、算法或启发式方法来根据注视速度714检测注视(fixation)事件(例如，在单个位置维持视觉注视的时间)和/或扫视事件(例如，注视点之间的快速眼动的时间)。例如，所公开的系统可以使用合适的扫视检测算法(例如，速度阈值识别(Velocity-ThresholdIdentification，I-VT)、分散阈值识别(Dispersion-Threshold Identification，I-DT)或隐马尔可夫模型识别(Hidden Markov Model Identification，I-HMM))来执行扫视检测。在至少一个实施例中，所公开的系统可以通过以下方式来执行I-VT扫视检测：识别超过约70度/秒的注视速度714的连续样本。在一些实施例中，对于扫视事件，所公开的系统可能需要如下的最小持续时间和最大持续时间：该最小持续时间处于约5毫秒至约30毫秒的范围内(例如，17毫秒)，该最大持续时间处于约100毫秒至约300毫秒的范围内(例如，200毫秒)。在一些实施例中，所公开的系统可以通过以下方式来执行I-DT注视检测：计算在预定时间窗口上的分散(例如，距注视样本质心的最大角位移)并将分散不超过约1度的时间窗口标记为注视事件。在一些实施例中，对于注视事件，所公开的系统可能需要如下的最小持续时间和最大持续时间：该最小持续时间处于约50毫秒至约200毫秒的范围内(例如，100毫秒)，该最大持续时间处于约0.5秒到约3秒的范围内(例如，2秒)。

在一些实施例中，所公开的系统可以通过以下方式来生成注视特征724：对注视向量702、注视向量706、角位移710、注视速度714和/或任何其他合适的眼动追踪数据执行一个或多个事件提取操作720。所公开的系统可以提取各种基于注视的特征，以用于在预测用户与计算系统的交互意图的开始时使用。基于注视的特征的示例包括但不限于，注视速度(例如，对注视移动的速度的度量)、环境注意力、焦点注意力、扫视动态、表征视觉注意力的注视特征、离散度(例如，对注视点在一段时间内如何分散的度量)、事件检测标签、从注视事件722获得的低层眼动特征、K系数(例如，用于区分焦点行为和环境行为的系数)、瞳孔动态(例如，关于和/或涉及瞳孔直径、瞳孔面积、瞳孔椭球轴长度(长轴长度和短轴长度)、和/或虹膜半径)、以上中的一者或多者的变型或组合、或任何其他类型或形式的眼动追踪数据。

本文描述的系统可以使用各种注视数据和注视动态来预测用户何时想要交互。例如，所公开的系统可以使用以下项的组合来预测交互时间：注视速度、来自注视事件和扫视事件的低层特征、和/或识别扫描路径的形状中的模式的中层特征。在一些实施例中，本文描述的系统可以基于以下项中的一者或多者的模式和/或要素来预测用户意图：注视事件(例如，用户是否正在注视某物)、注视速度、注视平均速度、x方向上的扫视加速度偏斜、y方向上的扫视标准偏差、扫视速度峰度、扫视速度偏斜、y方向上的扫视速度偏斜、扫视持续时间、环境/焦点K系数、扫视速度标准偏差、与先前扫视的扫视距离、离散度、注视持续时间、y方向上的注视峰度、x方向上的扫视速度峰度、x方向上的扫视速度偏斜、扫视幅度、x方向上的扫视标准偏差、x方向上的注视峰度、y方向上的扫视加速度峰度、扫视加速度偏斜、y方向上的注视偏斜、x方向上的扫视加速度峰度、扫视事件(例如，用户是否正在进行扫视)、扫视离散度、x方向上的注视标准偏差、x方向上的注视偏斜、扫视速度均值、y方向上的注视标准偏差、y方向上的扫视速度峰度、与先前注视的注视夹角、与先前扫视的扫视夹角、x方向上的扫视速度中值、注视路径长度、y方向上的扫视加速度偏斜、注视离散度、扫视加速度峰度、扫视路径长度、y方向上的扫视加速度中值、x方向上的扫视速度均值、y方向上的扫视加速度中值、x方向上的扫视速度均值、x方向上的扫视加速度标准偏差、y方向上的扫视速度均值、扫视加速度均值、x方向上的扫视加速度均值、x方向上的扫视加速度中值、扫视加速度标准偏差、y方向上的扫视加速度标准偏差、y方向上的扫视速度标准偏差、x方向上的扫视加速度最大值、扫视速度中值、x方向上的扫视速度最大值、扫视加速度最大值、扫视加速度中值、y方向上的扫视速度中值、y方向上的扫视加速度均值、扫视比率、x方向上的扫视速度标准偏差。附加地或替代地，本文描述的系统可以基于以下项来预测用户意图：注视速度、环境/焦点注意力的任何合适度量、扫视眼动的统计特征、眨眼模式、扫描路径模式、和/或瞳孔特征的变化。

返回图5，在步骤520处，本文所描述的系统中的一个或多个系统可以使用在步骤510处获取的一个或多个生物信号，来预期用户与计算系统的交互意图。例如，预测模块106(作为可穿戴设备402的一部分)可以使用生物信号602和/或生物信号606中的一个或多个生物信号，来预期用户404与可穿戴设备402的交互意图的开始。本文所描述的系统可以以各种方式执行步骤520。在一个示例中，所公开的系统可以使用经过适当训练的预测模型(例如，意图预测模型140)来预测用户交互意图的开始。在一些示例中，所公开的系统可以对预测模型进行训练，以预测用户何时想要使用计算设备来与现实世界或数字世界中的对象交互、对象选择的开始、和/或用户何时想要与XR系统交互。

在步骤530处，本文所描述的系统中的一个或多个系统可以响应于用户的交互意图，向智能促进子系统提供指示了用户的交互意图的交互意图信号。例如，信号传递模块108(作为图4中的可穿戴设备402的一部分)可以向智能促进子系统105提供如下交互意图信号：该交互意图信号指示用户404与可穿戴设备402的交互意图。

图8是用于响应于用户的交互意图的开始而智能地促进用户输入的示例性计算机实现的方法800的流程图。图8中所示的多个步骤可以由任何合适的计算机可执行代码和/或计算系统来执行，该计算系统包括图1至图4、以及图13至图22所示的一个或多个系统。在一个示例中，图8中所示的多个步骤中的每个步骤可以表示这样的算法：该算法的结构包括多个子步骤和/或由多个子步骤表示。

如图8所示，在步骤810处，本文所描述的系统中的一个或多个系统可以响应于接收到交互意图信号识别用户最有可能与与之交互的对象。例如，智能促进子系统105(作为图4中可穿戴设备402的一部分)可以响应于接收到交互意图信号，识别对象401或对象403中用户404最有可能与之交互的一个对象。在步骤820处，本文所描述的系统中的一个或多个系统可以代表用户将多个对象中的至少一个对象确定为目标。例如，智能促进子系统105(作为图4中可穿戴设备402的一部分)可以代表用户404将对象401或对象403中的一个对象确定为目标。在步骤830处，本文所描述的系统中的一个或多个系统可以接收来自用户的、与被确定为目标的对象进行交互的请求。例如，智能促进子系统105(作为图4中可穿戴设备402的一部分)可以接收与对象401或对象403中的、先前被一个或多个智能促进子系统确定为目标的一个对象进行交互的请求。在步骤840处，本文所描述的系统中的一个或多个系统可以响应于接收到与被确定为目标的对象进行交互的请求，而执行操作。例如，智能促进子系统105(作为图4中可穿戴设备402的一部分)可以响应于接收到与对象401或对象403中的一个对象进行交互的请求而执行操作。

图9为用于预测用户与计算系统的交互意图、以及对该用户与计算系统的交互意图作出反应的示例性计算机实现的方法900的流程图。图9中所示的多个步骤可以由任何合适的计算机可执行代码和/或计算系统来执行，该计算系统包括图1至图4、以及图13至图22所示的一个或多个系统。在一个示例中，图9中所示的多个步骤中的每个步骤可以表示这样的算法：该算法的结构包括多个子步骤和/或由多个子步骤表示，下面将更详细地提供该算法的示例。

如图9所示，在步骤910处，本文描述的系统中的一个或多个系统可以通过一个或多个传感器监测用户的一个或多个物理属性。例如，获取模块104(作为图4中的可穿戴设备402的一部分)可以使用生物传感器107中的一个或多个生物传感器来监测用户404的一个或多个物理属性。

在一些实施例中，所公开的系统可以使用生物传感器而不是环境传感器来监测：用户的与环境无关的物理属性、用户的与用户的环境无关的物理属性、和/或用户的与用户与之交互的XR环境无关的物理属性。在一些示例中，本文所公开的系统可以通过以下生理传感器来检测用户的物理属性：图10中的生理传感器1000(1)至1000(N)、图11中的生理传感器1100(1)至1100(N)和/或图12中的生理传感器1200(1)至1200(N)中的任何生理传感器。

如图9所示，在步骤920处，本文所描述的系统中的一个或多个系统可以将用户的一个或多个物理属性作为输入提供至经训练的模型，以检测用户何时想要与扩展现实环境交互。例如，预测模块106(作为图4中的可穿戴设备402的一部分)可以将在步骤910处所监测的一个或多个物理属性提供至意图预测模型140，以检测用户404何时想要与可穿戴设备402交互。

如图9所示，在步骤930处，本文所描述的系统中的一个或多个系统可以接收从模型输出的、对用户与扩展现实环境的交互意图的指示。例如，信号传递模块108或一个或多个智能促进子系统105(作为图4中可穿戴设备402的一部分)可以从意图预测模型140接收对用户404与可穿戴设备402的交互意图的指示。在一些实施例中，所公开的系统可以在用户开始交互之前接收对用户的交互意图的指示。在其他实施例中，所公开的系统可以在交互的开始或在用户第一次开始交互时，接收对用户的交互意图的指示。

如图9所示，在步骤940处，本文所描述的系统中的一个或多个系统可以响应于该指示，在用户与扩展现实环境交互之前执行扩展现实操作。例如，信号传递模块108或智能促进子系统105(作为图4中可穿戴设备402的一部分)可以响应于从意图预测模型140接收到用户404与可穿戴设备402的交互意图的指示，执行信号传递或目标确定操作。

在一些实施例中，所公开的系统可以在用户与扩展现实环境交互之前，通过用户输入模型(例如，图10中的融合算法1030)：用户与扩展现实环境的交互意图。如图10所示，融合算法1030可以接收来自输入传感模型1010的用户输入事件或通知、以及来自交互意图模型1020的交互意图事件。在一些实施例中，融合算法1030可以基于用户输入事件和交互意图事件输出概率选择1040。在至少一个实施例中，概率选择1040可以包括和/或表示用户输入事件被预期的概率。例如，如果交互意图模型1020没有同时输出交互意图事件或通知，则概率选择1040可以包括较低的从输入传感模型1010接收的用户输入事件被预期的概率。类似地，如果交互意图模型1020确实同时输出了交互意图事件或通知，则概率选择1040可以包括较高的从输入传感模型1010接收的用户输入事件被预期的概率。

在一些实施例中，所公开的系统可以响应于用户与扩展现实环境的交互意图的指示，在用户与扩展现实环境交互之前向用户显示预测界面的界面元素。如图11所示，界面适配模块1130可以接收来自交互意图模型1120的交互意图事件。在一些实施例中，界面适配模块1130可以响应于接收到交互意图而向用户显示用户界面元素。在一些实施例中，界面适配模块1130可以基于用户想要执行的交互的类型、基于生理传感器数据(例如，注视数据)、和/或从用户输入设备接收的数据，来确定合适的用户界面元素。在一些实施例中，用户界面元素可以与在扩展现实环境内可见的对象相关联。例如，所公开的系统可以响应于对用户与扩展现实环境内的对象的交互意图的指示，(例如，在该对象是用户界面元素时)高亮显示该对象或激活该对象而不需要用户选择或指向该对象。所公开的系统可以通过识别距离用户注视点或指示器位置最近的对象来识别最有可能交互的对象。替代地，用户界面元素可以不与扩展现实环境内可见的任何对象相关联。在至少一个实施例中，用户可以通过所显示的用户界面元素提供用户输入1140。

在一些实施例中，所公开的系统可以响应于对用户与XR环境的交互意图的指示来优化XR环境。如图12所示，XR环境优化模块1230可以接收来自交互意图模型1220的交互意图事件。在一些实施例中，XR环境优化模块1230可以响应于对用户与XR环境的交互意图的指示，为用户准备XR环境以通过执行用户开始执行交互所需的任何操作来执行与XR环境的交互。例如，XR环境优化模块1230可以响应于对用户与XR环境的交互意图的指示，在用户与最可能与用户交互的至少一个资产(asset)进行交互之前将该至少一个资产加载到存储器中。

如上所述，所公开的系统可以使用从眼动追踪器收集到的注视数据作为用户想要与什么交互、以及何时交互的丰富线索来源。在一些实施例中，所公开的系统可以以透明和不引人注目的方式监测自然注视行为。在一些实施例中，所公开的系统可以使用这样的模型：所述模型根据眼动来预测用户的交互意图，以驱动预测XR界面，该预测XR界面为用户提供易于使用的、最小疲劳的XR交互以供全天使用。

示例实施例

示例1：一种计算机实现的方法可以包括：(1)通过一个或多个生物传感器获取由计算系统的用户产生的一个或多个生物信号；(2)使用该一个或多个生物信号来预期用户与计算系统的交互意图；以及(3)向智能促进子系统提供指示了用户的交互意图的交互意图信号。在一些示例中，该计算系统可以包括：(1)至少一个目标确定子系统，该至少一个目标确定子系统使用户能够明确地将一个或多个对象确定为目标，以用于交互；(2)至少一个交互子系统，该至少一个交互子系统使用户能够在该一个或多个对象被确定为目标时与该一个或多个对象中的一个或多个进行交互；以及(3)智能促进子系统，该智能促进子系统响应于交互意图信号，代表用户将多个对象中的一个或多个对象确定为目标。

示例2：根据示例1所述的计算机实现的方法，还包括：(1)通过智能促进子系统响应于接收到指示用户的交互意图的交互意图信号，识别多个对象中用户最有可能与之交互的至少一个对象；(2)通过智能促进子系统代表用户将多个对象中的至少一个对象确定为目标，(3)通过交互子系统接收来自用户的、与多个对象中被智能促进子系统代表用户确定为目标的至少一个对象进行交互的请求；以及(4)响应于接收到与多个对象中的至少一个对象进行交互请求，而执行操作。

示例3：根据示例1至2中任一示例所述的计算机实现的方法，其中，该智能促进子系统在接收到交互意图信号之前，不对多个对象中的至少一个对象进行识别。

示例4：根据示例1至3中任一示例所述的计算机实现的方法，其中，(1)该一个或多个生物传感器包括一个或多个眼动追踪传感器，(2)该一个或多个生物信号包括指示用户的注视动态的信号，并且(3)指示用户的注视动态的信号用于预期用户的交互意图。

示例5：根据示例1至4中任一示例所述的计算机实现的方法，其中，指示用户的注视动态的信号包括注视速度的度量。

示例6：根据示例1至5中任一示例所述的计算机实现的方法，其中，指示用户的注视动态的信号包括以下中的至少一者：(1)环境注意力的度量和/或(2)焦点注意力的度量。

示例7：根据示例1至6中任一示例所述的计算机实现的方法，其中，指示用户的注视动态的信号包括扫视动态的度量。

示例8：根据示例1至7中任一示例所述的计算机实现的方法，其中，(1)该一个或多个生物传感器包括一个或多个手部追踪传感器，(2)该一个或多个生物信号包括指示用户的手部动态的信号，并且(3)指示用户的手部动态的信号用于预期用户的交互意图。

示例9：根据示例1至8中任一示例所述的计算机实现的方法，其中，(1)该一个或多个生物传感器包括一个或多个神经肌肉传感器，(2)该一个或多个生物信号包括从用户身体获得的神经肌肉信号，并且(3)从用户身体获得的神经肌肉信号用于预期用户的交互意图。

示例10：根据示例1至9中任一示例所述的计算机实现的方法，其中，与计算系统相关联的对象包括来自用户的真实世界环境的一个或多个物理对象。

示例11：根据示例1至10中任一示例所述的计算机实现的方法，其中，(1)该计算系统是扩展现实系统，(2)该计算机实现的方法还包括：通过该扩展现实系统向用户显示虚拟对象，并且(3)与该计算系统相关联的对象包括所述虚拟对象。

示例12：根据示例1至11中任一示例所述的计算机实现的方法，其中，(2)该计算系统包括扩展现实系统，(2)该计算机实现的方法还包括通过该扩展现实系统向用户显示菜单，以及(3)与该计算系统相关联的对象包括该菜单的视觉元素。

示例13：根据示例1至12中的任一示例所述的计算机实现的方法，还包括：对预测模型进行训练，以输出交互意图信号。

示例14：一种系统可以包括：(1)至少一个目标确定子系统，该至少一个目标确定子系统适于使用户能够明确地将一个或多个对象确定为目标，以用于交互；(2)至少一个交互子系统，该至少一个交互子系统适于使用户在该一个或多个对象被确定为目标时能够与该一个或多个对象中的一个或多个进行交互；(3)智能促进子系统，该智能促进子系统适于响应于交互意图信号，代表用户将该有一个或多个对象确定为目标；(3)一个或多个生物传感器，该一个或多个生物传感器适于检测由用户产生的生物信号；(4)至少一个物理处理器；以及(5)物理存储器，该物理存储器包括计算机可执行指令，该计算机可执行指令在被该物理处理器执行时，使得该物理处理器：(a)通过一个或多个生物传感器获取由用户产生的一个或多个生物信号；(b)使用该一个或多个生物信号来预期用户与系统的交互意图；以及(c)响应于用户与系统的交互意图，向智能促进子系统提供指示了用于与系统的交互意图的交互意图信号。

示例15：根据示例14所述的系统，其中，(1)该一个或多个生物传感器包括一个或多个眼动追踪传感器，该一个或多个眼动追踪传感器适于测量用户的注视动态；(2)该一个或多个生物信号包括指示用户的注视动态的信号，并且(3)用户的注视动态用于预期用户与系统的交互意图。

示例16：根据示例14至15中任一示例所述的系统，其中，(1)该一个或多个生物传感器包括一个或多个手部追踪传感器，(2)该一个或多个生物信号包括指示用户的手部动态的信号，并且(3)指示用户的手部动态的信号用于预期用户与计算系统的交互意图。

示例17：根据示例14至16中任一示例所述的系统，其中，(1)该一个或多个生物传感器包括一个或多个神经肌肉传感器，(2)该一个或多个生物信号包括从用户身体获得的神经肌肉信号，并且(3)从用户身体获得的神经肌肉信号用于预期用户与计算系统的交互意图。

示例18：根据示例14至17中任一示例所述的系统，其中，(1)该至少一个目标确定子系统包括物理控制器的指向子系统，并且(2)该至少一个交互子系统包括该物理控制器的选择子系统。

示例19：根据示例14至18中任一示例所述的系统，其中，(1)该智能促进子系统还适于：(a)响应于接收到指示用户与计算系统的交互意图的交互意图信号，识别多个对象中用户最有可能与之交互的至少一个对象，以及(b)代表用户将多个对象中的至少一个对象确定为目标，并且(2)该物理存储器还包括附加的计算机可执行指令，该附加的计算机可执行指令在被该物理处理器执行时，使得该物理处理器：(a)通过交互子系统接收来自用户的、与多个对象中被智能促进子系统确定为目标的至少一个对象进行交互的请求，以及(b)响应于接收到与多个对象中的至少一个对象进行交互的请求，而执行操作。

示例20：一种非暂态计算机可读介质可以包括一个或多个计算机可执行指令，该一个或多个计算机可执行指令在被计算设备的至少一个处理器执行时，使得该计算设备：(1)通过一个或多个生物传感器获取由计算设备的用户产生的一个或多个生物信号；(2)使用一个或多个生物信号来预期用户使用计算设备与对象的交互意图；以及(3)响应于用户与计算设备的交互意图，向智能促进子系统提供指示了用户与计算设备的交互意图的交互意图信号。在一些示例中，该计算设备可以包括：(1)至少一个目标确定子系统，该至少一个目标确定子系统使用户能够明确地将多个对象中的一个或多个对象确定为目标，以用于交互；(2)至少一个交互子系统，该至少一个交互子系统使用户能够在该一个或多个对象被确定为目标时与该一个或多个对象中的一个或多个进行交互；以及(3)智能促进子系统，，该智能促进子系统响应于交互意图信号，代表用户将多个对象中的一个或多个对象确定为目标。

示例21：一种用于预测交互意图的计算机实现的方法可以包括：(1)通过一个或多个传感器监测用户的一个或多个物理属性；(2)将用户的一个或多个物理属性作为输入提供至经训练的模型，以检测用户何时想要与扩展现实环境交互；(3)接收从模型输出的、对用户与扩展现实环境的交互意图的指示；以及(4)响应于该指示，在用户与扩展现实环境交互之前执行扩展现实操作。

示例22：根据示例1至13或21中任一示例所述的计算机实现的方法，其中，(1)该一个或多个传感器包括一个或多个眼动追踪传感器，并且(2)监测用户的一个或多个物理属性可以包括监测用户的一个或多个注视属性。

示例23：根据示例1至13、21和/或22中任一示例所述的计算机实现的方法，其中，该用户的一个或多个注视属性包括以下中的一者或多者：注视属性、注视速度属性、注视加速度属性、和/或扫视属性。

示例24：根据示例1至13、和/或21至23中任一示例所述的计算机实现的方法，其中，监测用户的一个或多个物理属性可以包括监测用户的一个或多个神经肌肉属性。

示例25：根据示例1至13、和/或21至24中任一示例所述的计算机实现的方法，其中，执行扩展现实操作可以包括：在用户与扩展现实环境交互之前，向交互模型通知用户与扩展现实环境的交互意图。

示例26：根据示例1至13、和/或1至5中任一示例所述的计算机实现的方法，其中，执行扩展现实操作可以包括：在用户与扩展现实环境交互之前，向用户显示界面元素。

示例27：根据示例1至13、和/或21至26中的任一示例所述的计算机实现的方法，其中，执行扩展现实操作可以包括：在用户与该扩展现实环境中的对象交互之前，向用户显示用于与该扩展现实环境中的对象交互的界面元素。

示例28：根据示例1至13、和/或21至27中任一示例所述的计算机实现的方法，其中，执行扩展现实操作可以包括：(1)响应于该指示，识别该扩展现实环境中用户最有可能与之交互的对象，以及(2)显示用于与该扩展现实环境中的对象交互的界面元素。

示例29：根据示例1至13、和/或21至28中的任一示例所述的计算机实现的方法，其中，执行扩展现实操作可以包括：在用户与该用户最有可能与之交互的至少一个资产进行交互之前，将该至少一个资产加载到存储器中。

示例30：根据示例1至13、和/或21至29中任一示例所述的计算机实现的方法，其中，(1)对用户意图的指示可以包括这样的预测：用户将执行捏合手势，以与扩展现实环境进行交互，并且(2)该扩展现实操作在用户完成捏合手势之前执行。

示例31：一种系统可以包括：(1)至少一个物理处理器、和(2)物理存储器，该物理存储器包括计算机可执行指令，该计算机可执行指令在被该物理处理器执行时，使得该物理处理器：(a)通过一个或多个传感器监测用户的一个或多个物理属性，(b)将用户的一个或多个物理属性作为输入提供至经训练的模型，以检测用户何时想要与扩展现实环境交互，(c)接收从模型输出的对用户与扩展现实环境的交互意图的指示，以及(d)响应于该指示，在用户与扩展现实环境交互之前，执行扩展现实操作。

示例32：根据示例14至19和/或31中任一示例所述的系统，其中，(1)该一个或多个传感器包括一个或多个眼动追踪传感器，并且(2)监测用户的一个或多个物理属性可以包括监测用户的一个或多个注视属性。

示例33：根据示例14至19、31和/或32中任一示例所述的系统，其中，该用户的一个或多个注视属性可以包括以下中的一者或多者：注视属性、注视速度属性、注视加速度属性、或扫视属性。

示例34：根据示例14至19、和/或31至33中任一示例所述的系统，其中，监测该用户的一个或多个物理属性可以包括监测用户的一个或多个神经肌肉属性。

示例35：根据示例14至19、和/或31至34中任一示例所述的系统，其中，执行扩展现实操作可以包括：在用户与扩展现实环境交互之前，向交互模型通知用户与扩展现实环境的交互意图。

示例36：根据示例14至19、和/或31至35中任一示例所述的系统，其中，执行扩展现实操作可以包括：在用户与扩展现实环境交互之前，向用户显示界面元素。

示例37：根据示例14至19、和/或31至36中任一示例所述的系统，其中，执行扩展现实操作可以包括：在用户与扩展现实环境中的对象交互之前，向用户显示用于与该扩展现实环境中的对象交互的界面元素。

示例38：根据示例31至37中任一示例所述的系统，其中，执行扩展现实操作可以包括：(1)响应于该指示，识别扩展现实环境中用户最可能与之交互的对象；以及(2)显示用于与该扩展现实环境中的对象交互的界面元素。

示例39：根据示例14至19、和/或31至38中任一示例所述的系统，其中，执行扩展现实操作可以包括：在用户与该用户最有可能与之交互的至少一个资产进行交互之前，将该至少一个资产加载到存储器中。

示例40：根据示例14至19、和/或31至39中任一示例所述的系统，其中，(1)对用户意图的指示可以包括这样的预测：用户将执行捏合手势，以与扩展现实环境进行交互，并且(2)该扩展现实操作在用户完成捏合手势之前执行。

示例41：一种非暂态计算机可读介质可以包括一种或多种计算机可执行指令，该一种或多种计算机可执行指令在被计算设备的至少一个处理器执行时，使得该计算设备：(1)通过一个或多个传感器监测用户的一个或多个物理属性，(2)将用户的一个或多个物理属性作为输入提供至经训练的模型，以检测用户何时想要与扩展现实环境交互，(3)接收从模型输出的、对用户与扩展现实环境的交互意图的指示，以及(4)响应于该指示，在用户与扩展现实环境交互之前执行扩展现实操作。

本公开的实施例可以包括各种类型的人工现实系统、或结合各种类型的人工现实系统来实现。人工现实是在呈现给用户之前已经以某种方式进行了调整的现实形式，该人工现实例如可以包括虚拟现实、增强现实、混合现实(mixed reality)、混合现实(hybridreality)、或它们的某种组合和/或衍生物。人工现实内容可以包括完全的计算机生成内容、或与所采集的(例如，真实世界的)内容相结合的计算机生成内容。人工现实内容可以包括视频、音频、触觉反馈、或他们的某种组合，以上中的任何一种可以在单个通道或多个通道中呈现(例如，给观看者带来三维(three-dimensional，3D)效果的立体视频)。另外，在一些实施例中，人工现实还可以与应用、产品、附件、服务、或它们的某种组合相关联，这些应用、产品、附件、服务、或它们的某种组合例如用于在人工现实中创建内容、和/或以其他方式用于人工现实(例如，在人工现实中执行活动)。

人工现实系统可以以各种不同的形状要素和配置来实现。一些人工现实系统可以被设计成在没有近眼显示器(near-eye display，NED)的情况下工作。其他人工现实系统可以包括NED，该NED还提供对现实世界的可见性(例如，图13中的增强现实系统1300)，或者使用户在视觉上沉浸在人工现实中(例如，图14中的虚拟现实系统1400)。尽管一些人工现实设备可以是独立的系统，但其他人工现实设备可以与外部设备通信和/或配合以向用户提供人工现实体验。这种外部设备的示例包括手持控制器、移动设备、台式计算机、由用户穿戴的设备、由一个或多个其他用户穿戴的设备、和/或任何其他合适的外部系统。

转到图13，增强现实系统1300可以包括眼镜设备1302，该眼镜设备具有框架1310，该框架被配置为将左显示设备1315(A)和右显示设备1315(B)保持在用户双眼的前方。显示设备1315(A)和显示设备1315(B)可以一起或独立地动作，以向用户呈现图像或系列图像。尽管增强现实系统1300包括两个显示器，但是本公开的实施例可以在具有单个NED或多于两个NED的增强现实系统中实现。

在一些实施例中，增强现实系统1300可以包括一个或多个传感器，例如传感器1340。传感器1340可以响应于增强现实系统1300的运动而生成测量信号，且可以大体上位于框架1310的任何部分上。传感器1340可以表示各种不同的传感机构中的一种或多种传感机构，例如位置传感器、惯性测量单元(IMU)、深度摄像头组件、结构光发射器和/或检测器、或它们的任意组合。在一些实施例中，增强现实系统1300可以包括或不包括传感器1340，或者可以包括多于一个的传感器。在传感器1340包括IMU的实施例中，该IMU可以基于来自传感器1340的测量信号生成校准数据。传感器1340的示例可以包括但不限于：加速度计、陀螺仪、磁力计、检测运动的其他合适类型的传感器、用于IMU的误差校正的传感器、或它们的某种组合。

在一些示例中，增强现实系统1300还可以包括传声器阵列，该传声器阵列具有多个声学转换器1320(A)至1320(J)，该多个声学转换器被统称为声学转换器1320。声学转换器20可以表示检测由声波引起的气压变化的转换器。每个声学转换器1320可以被配置为检测声音并将所检测到的声音转换成电子格式(例如，模拟格式或数字格式)。图13中的传声器阵列可以例如包括十个声学转换器：可被设计成放置在用户的相应耳朵内的1320(A)和1320(B)；可被定位在框架1310上的不同位置处的声学转换器1320(C)、1320(D)、1320(E)、1320(F)、1320(G)和1320(H)；和/或可被定位在对应的颈带135上的声学转换器1320(I)和1320(J)。

在一些实施例中，声学转换器1320(A)至1320(J)中的一个或多个声学转换器可以用作输出转换器(例如，扬声器)。例如，声学转换器1320(A)和/或声学转换器1320(B)可以是耳塞、或任何其他合适类型的耳机或扬声器。

传声器阵列中的各声学转换器1320的配置可以改变。尽管增强现实系统1300在图13中被显示为具有十个声学转换器1320，但声学转换器1320的数量可以大于或小于十个。在一些实施例中，使用较多数量的声学转换器1320可以增加收集到的音频信息的量和/或提高音频信息的灵敏度和准确性。相比之下，使用较少数量的声学转换器1320可以降低相关联的控制器1350处理收集到的音频信息所需的计算能力。另外，传声器阵列中的各声学转换器1320的位置可以改变。例如，声学转换器1320的位置可以包括用户身上的限定位置、框架1310上的限定坐标、与每个声学转换器1320相关联的方位、或它们的某种组合。

声学转换器1320(A)和1320(B)可以定位在用户耳朵的不同部位上，例如外耳(pinna)后面、耳屏后面、和/或耳廓(auricle)或耳窝内。或者，除了耳道内的声学转换器1320之外，在耳朵上或耳朵周围还可以存在附加的声学转换器1320。将声学转换器1320定位在用户的耳道附近可以使传声器阵列能够收集关于声音如何到达耳道的信息。通过将多个声学转换器1320中的至少两个声学转换器定位在用户头部的两侧上(例如，作为双耳传声器)，增强现实设备1300可以模拟双耳听觉并采集用户头部周围的3D立体声场。在一些实施例中，声学转换器1320(A)和1320(B)可以通过有线连接1330而连接到增强现实系统1300，而在其他实施例中，声学转换器1320(A)和1320(B)可以通过无线连接(例如，蓝牙连接)而连接到增强现实系统1300。在另一些实施例中，声学转换器1320(A)和1320(B)可以完全不与增强现实系统1300结合使用。

框架1310上的多个声学转换器1320可以以各种不同的方式而被定位，这些不同的方式包括沿着眼镜腿(temple)的长度、跨过鼻梁架、在显示设备1315(A)和显示设备1315(B)的上方或下方、或它们的某种组合。声学转换器1320还可以被定向为使得传声器阵列能够检测正佩戴着增强现实系统1300的用户周围的宽方向范围内的声音。在一些实施例中，可以在增强现实系统1300的制造期间执行优化过程，以确定各个声学转换器1320在传声器阵列中的相对定位。

在一些示例中，增强现实系统1300可以包括或连接到外部设备(例如，配对设备)，例如，颈带135。颈带135概括地表示任何类型或形式的配对设备。因此，以下对颈带135的论述也可以应用于各种其他的配对设备，例如充电盒、智能手表、智能手机、腕带、其他可穿戴设备、手持控制器、平板电脑、膝上型计算机、其他外部计算设备等。

如图所示，颈带135可以经由一个或多个连接器而耦接到眼镜设备1302。这些连接器可以是有线的或无线的，并且可以包括电子部件和/或非电子部件(例如，结构部件)。在一些情况下，眼镜设备1302和颈带135可以在它们之间没有任何有线连接或无线连接的情况下独立地运行。尽管图13示出了眼镜设备1302和颈带135中的多个部件位于眼镜设备1302和颈带135上的示例位置处，但这些部件可以位于眼镜设备1302和/或颈带135上的其他位置和/或以不同的方式分布在该眼镜设备和/或该颈带上。在一些实施例中，眼镜设备1302和颈带135的多个部件可以位于一个或多个附加的外围设备上，该一个或多个附加的外围设备与眼镜设备1302、颈带135、或它们的某种组合配对。

将外部设备(例如，颈带135)与增强现实眼镜设备配对可以使该眼镜设备能够实现一副眼镜的形状要素，同时仍然为扩展后的能力提供足够的电池电量和计算能力。增强现实系统1300的电池电量、计算资源和/或附加特征中的一些或全部可以由配对设备来提供，或者在配对设备与眼镜设备之间共享，从而总体上降低眼镜设备的重量、热量分布和形状要素，同时仍然保持所期望的功能。例如，颈带135可以允许即将以其他方式被包括在眼镜设备上的部件包括在颈带135中，因为与用户在其头部上承受的相比，他们可以在其肩部上承受更重的重量负荷。颈带135还可以具有较大的表面积，以通过该较大的表面积将热量扩散和散发到周围环境。因此，与在独立眼镜设备上以其他方式可行的电池电量和计算能力相比，颈带135可以允许更大的电池电量和更强的计算能力。由于颈带135中携载的重量可以比眼镜设备1302中携载的重量对用户的侵害小，因此与用户忍受佩戴重的独立眼镜设备相比，用户可以忍受更长时间佩戴较轻的眼镜设备并携带或佩戴配对设备，从而使用户能够将人工现实环境更充分地融入其日常活动中。

颈带135可以与眼镜设备1302通信耦接，和/或通信耦接至其他设备。这些其他设备可以向增强现实系统1300提供某些功能(例如，追踪、定位、深度图构建(depthmapping)、处理、存储等)。在图13的实施例中，颈带135可以包括两个声学转换器(例如，1320(I)和1320(J))，该两个声学转换器是传声器阵列的一部分(或者潜在地形成它们自己的传声器子阵列)。颈带135还可以包括控制器1325和电源1335。

颈带135中的声学转换器1320(I)和1320(J)可以被配置为检测声音并将检测到的声音转换成电子(模拟或数字)格式。在图13的实施例中，声学转换器1320(I)和声学转换器1320(J)可以被定位在颈带135上，从而增加了颈带的声学转换器1320(I)和1320(J)与被定位在眼镜设备1302上的其他声学转换器1320之间的距离。在一些情况下，增加传声器阵列中的各声学转换器1320之间的距离可以提高通过传声器阵列执行的波束成形的准确性。例如，如果声学转换器1320(C)和1320(D)检测到声音，并且声学转换器1320(C)和1320(D)之间的距离例如大于声学转换器1320(D)和1320(E)之间的距离，则所确定的检测到的声音的源位置可以比当该声音被声学转换器1320(D)和1320(E)检测到时更准确。

颈带135中的控制器1325可以对由颈带135和/或增强现实系统1300上的各传感器生成的信息进行处理。例如，控制器1325可以对来自传声器阵列的、描述由该传声器阵列检测到的声音的信息进行处理。对于每个检测到的声音，控制器1325可以执行波达方向(direction-of-arrival，DOA)估计，以估计检测到的声音从哪个方向到达传声器阵列。当传声器阵列检测到声音时，控制器1325可以使用该信息填充音频数据集。在增强现实系统1300包括惯性测量单元的实施例中，控制器1325可以计算来自位于眼镜设备1302上的IMU的所有惯性计算和空间计算。连接器可以在增强现实系统1300和颈带135之间、以及在增强现实系统1300和控制器1325之间传送信息。该信息可以是光学数据形式、电子数据形式、无线数据形式、或任何其他可传输的数据形式。将对由增强现实系统1300所生成的信息进行的处理移动至颈带135可以减少眼镜设备1302的重量和热量，使得该眼镜设备对用户而言更舒适。

颈带135中的电源1335可以向眼镜设备1302和/或颈带135供电。电源1335可以包括但不限于：锂离子电池、锂聚合物电池、一次锂电池、碱性电池、或任何其他形式的电力存储器。在一些情况下，电源1335可以是有线电源。将电源1335包括在颈带135上而不是眼镜设备1302上可以有助于更好地分散由电源1335产生的重量和热量。

如所提到的，一些人工现实系统可以使用虚拟体验来大体上代替用户对真实世界的多个感官知觉中的一个或多个感官知觉，而不是将人工现实与真实现实混合。这种类型的系统的一个示例是大部分或完全覆盖用户的视场的头戴式显示系统，例如图14中的虚拟现实系统1400。虚拟现实系统1400可以包括前部刚性体1402和被成形为适合围绕用户头部的带144。虚拟现实系统1400还可以包括输出音频转换器146(A)和146(B)。此外，尽管图14中未示出，但前部刚性体1402可以包括一个或多个电子元件，该一个或多个电子元件包括一个或多个电子显示器、一个或多个惯性测量单元(IMU)、一个或多个追踪发射器或检测器、和/或用于生成人工现实体验的任何其他合适的设备或系统。

人工现实系统可以包括各种类型的视觉反馈机构。例如，增强现实系统1300中和/或虚拟现实系统1400中的显示设备可以包括：一个或多个液晶显示器(liquid crystaldisplay，LCD)、一个或多个发光二极管(light emitting diode，LED)显示器、一个或多个微型LED显示器、一个或多个有机LED(organic LED，OLED)显示器、一个或多个数字光投影(digital light project，DLP)微型显示器、一个或多个硅基液晶(liquid crystal onsilicon，LCoS)微型显示器、和/或任何其他合适类型的显示屏。这些人工现实系统可以包括用于双眼的单个显示屏，或者可以为每只眼睛提供一个显示屏，这可以为变焦调整或为校正用户的屈光不正而提供额外的灵活性。这些人工现实系统中的一些人工现实系统还可以包括多个光学子系统，这些光学子系统具有一个或多个透镜(例如，凹透镜或凸透镜、菲涅耳透镜、可调整的液体透镜等)，用户可以透过该一个或多个透镜观看显示屏。这些光学子系统可以用于各种目的，包括准直(例如，使对象显现在比其物理距离更远的距离处)、放大(例如，使对象显现得比其实际尺寸更大)、和/或传递光(例如，将光传递到观看者的眼睛)。这些光学子系统可以用于直视型架构(non-pupil-forming architecture)(例如，直接对光进行准直但会产生所谓的枕形失真的单透镜配置)和/或非直视型架构(pupil-forming architecture)(例如，产生所谓的桶形失真以抵消枕形失真的多透镜配置)。

除了使用显示屏之外，或代替使用显示屏，本文所描述的人工现实系统中的一些人工现实系统可以包括一个或多个投影系统。例如，增强现实系统1300中和/或虚拟现实系统1400中的显示设备可以包括微型LED投影仪，该微型LED投影仪(例如使用波导)将光投射到显示设备中，该显示设备例如为允许环境光通过的透明组合透镜。显示设备可以折射所投射的光朝向用户的瞳孔，并且可以使用户能够同时观看人工现实内容和真实世界这两者。显示设备可以使用各种不同光学部件中的任何光学部件来实现该目的，这些不同光学部件包括波导部件(例如，全息元件、平面元件、衍射元件、偏振元件、和/或反射波导元件)、光操纵表面和元件(例如，衍射元件和光栅、反射元件和光栅、折射元件和光栅)、耦合元件等。人工现实系统还可以配置有任何其他合适类型或形式的图像投影系统，例如用于虚拟视网膜显示器的视网膜投影仪。

本文所描述的人工现实系统还可以包括各种类型的计算机视觉部件和子系统。例如，增强现实系统1300和/或虚拟现实系统1400可以包括一个或多个光学传感器，例如二维(two-dimensional，2D)摄像头或3D摄像头、结构光发射器和检测器、飞行时间深度传感器、单波束测距仪或扫描激光测距仪、3D激光雷达(LiDAR)传感器、和/或任何其他合适类型或形式的光学传感器。人工现实系统可以对来自这些传感器中的一个或多个传感器的数据进行处理，以识别用户的位置、绘制真实世界的地图、向用户提供与真实世界周围环境有关的背景、和/或执行各种其他功能。

本文所描述的人工现实系统还可以包括一个或多个输入和/或输出音频转换器。输出音频转换器可以包括音圈扬声器、带式扬声器、静电式扬声器、压电式扬声器、骨传导转换器、软骨传导转换器、耳屏振动转换器、和/或任何其他合适类型或形式的音频转换器。类似地，输入音频转换器可以包括电容式传声器、动态传声器、带式传声器、和/或任何其他类型或形式的输入转换器。在一些实施例中，对于音频输入和音频输出这两者，可以使用单个转换器。

在一些实施例中，本文所描述的人工现实系统还可以包括触觉(tactile)(即，触感(haptic))反馈系统，该触觉反馈系统可以结合到头饰、手套、服装、手持控制器、环境设备(例如椅子、地板垫等)、和/或任何其他类型的设备或系统中。触觉反馈系统可以提供各种类型的皮肤反馈，这些类型的皮肤反馈包括振动、推力、牵拉、质地和/或温度。触觉反馈系统还可以提供各种类型的动觉反馈，例如运动和顺应性。可以使用电机、压电式致动器、流体系统、和/或各种其他类型的反馈机构实现触觉反馈。触觉反馈系统可以独立于其他人工现实设备而实现，在其他人工现实设备内实现，和/或结合其他人工现实设备来实现。

通过提供触觉知觉、听觉内容和/或视觉内容，人工现实系统可以在各种背景和环境中创建完整的虚拟体验或增强用户的真实世界体验。例如，人工现实系统可以辅助或扩展用户在特定环境中的感知、记忆或认知。一些系统可以增强用户与真实世界中的其他人的交互，或者可以实现与虚拟世界中的其他人的更沉浸式的交互。人工现实系统还可以用于教育目的(例如，用于学校、医院、政府机构、军事机构、企业等中的教学或训练)、娱乐目的(例如，用于玩视频游戏、听音乐、观看视频内容等)、和/或用于可接入性目的(例如，作为助听器、视觉辅助器等)。本文所公开的实施例可以在这些背景和环境中的一个或多个背景和环境中、和/或在其他背景和环境中实现或增强用户的人工现实体验。

一些增强现实系统可以使用被称为“同时定位与地图构建”(SLAM)的技术，来构建用户环境和/或设备环境的地图。SLAM地图构建和位置识别技术可以涉及各种硬件和软件工具，这些硬件和软件工具可以创建或更新环境的地图，同时同步保持对用户在所地图构建的环境内的位置的追踪。SLAM可以使用许多不同类型的传感器，来创建地图并确定用户在地图中的位置。

SLAM技术可以例如实现光学传感器，以确定用户的位置。无线电设备(包括Wi-Fi、蓝牙、全球定位系统(global positioning system，GPS)、蜂窝、或其他通信设备)也可以用于确定用户相对于无线电收发器或收发器组(例如，Wi-Fi路由器或GPS卫星组)的位置。声学传感器(例如，传声器阵列、或2D或3D声纳传感器)也可以用于确定用户在环境中的位置。增强现实设备和虚拟现实设备(例如，图13中的系统1300和图14中的系统1400)可以结合这些类型的传感器中的任何传感器或全部传感器，来执行诸如创建和持续更新用户的当前环境的地图等SLAM操作。在本文所描述的多个实施例中的至少一些实施例中，由这些传感器生成的SLAM数据可以称为“环境数据”并且可以指示用户的当前环境。这些数据可以存储在本地数据存储区或远程数据存储区(例如，云数据存储区)中，并且可以根据需要提供给用户的AR/VR设备。

如所提到的，人工现实系统1300和1400可以与各种其他类型的设备一起使用，以提供更引人入盛的人工现实体验。这些设备可以是具有多个转换器的触觉接口，这些触觉接口提供触觉反馈和/或收集用户与环境的交互有关的触觉信息。本文所公开的人工现实系统可以包括各种类型的触觉接口，这些类型的触觉接口检测或传送各种类型的触觉信息，这些类型的触觉信息包括触觉反馈(例如，用户通过皮肤中的神经而觉察到的反馈，该反馈也可以称为皮肤反馈)和/或动觉反馈(例如，用户通过位于肌肉、关节和/或肌腱中的感受器而觉察到的反馈)。

触觉反馈可以通过定位在用户环境内的接口(例如，椅子、桌子、地板等)和/或用户可以佩戴或携带的物品(例如，手套、腕带等)上的接口来提供。作为示例，图15示出了可穿戴手套(触觉设备1510)和腕带(触觉设备1520)形式的振动触觉系统1500。触觉设备1510和触觉设备1520被示出为可穿戴设备的示例，该可穿戴设备包括柔性的可穿戴纺织材料1530，这两个柔性的可穿戴纺织材料被成形和配置为分别抵靠用户的手和手腕而定位。本公开也包括可以被成形和配置为抵靠其他人体部位(例如，手指、手臂、头部、躯干、足部、或腿)而定位的振动触觉系统。作为示例而非限制，根据本公开各种实施例的振动触觉系统也可以是手套、头带、臂带、袖子、头罩、袜子、衬衫、或裤子等其他可能的形式。在一些示例中，术语“纺织”可以包括任何柔性的可穿戴的材料，包括纺织织物、非纺织织物、皮革、布、柔性聚合物材料、复合材料等。

一个或多个振动触觉设备1540可以被定位成至少部分地位于形成在振动触觉系统1500的纺织材料1530中的一个或多个相应的口袋内。振动触觉设备1540可以被定位在向振动触觉系统1500的用户提供振动知觉(例如，触觉反馈)的位置处。例如，如图15所示，振动触觉设备1540可以被定位成抵靠用户的一个或多个手指(finger)、拇指或手腕。在一些示例中，振动触觉设备1540可以是足够柔性的，以顺应用户的一个或多个相应身体部位，或随着用户的一个或多个相应身体部位弯曲。

用于向多个振动触觉设备1540施加电压以用于激活这些振动触觉设备的电源1550(例如，电池)可以(例如通过导线1552)电耦接到这些振动触觉设备1540。在一些示例中，多个振动触觉设备1540中的每个振动触觉设备可以独立地电耦接到电源1550以用于单独激活。在一些实施例中，处理器1560可以可操作地耦接到电源1550，并且被配置(例如，被编程)为控制对多个振动触觉设备1540的激活。

振动触觉系统1500可以以各种方式实现。在一些示例中，振动触觉系统1500可以是具有多个集成子系统和多个部件以独立于其他设备和系统运行的独立系统。作为另一示例，振动触觉系统1500可以被配置为与另一设备或系统1570交互。例如，在一些示例中，振动触觉系统1500可以包括通信接口1580，该通信接口用于接收信号和/或向该另一设备或系统1570发送信号。该另一设备或系统1570可以是移动设备、游戏控制台、人工现实(例如，虚拟现实、增强现实、混合现实)设备、个人计算机、平板计算机、网络设备(例如，调制解调器、路由器等)、手持控制器等。通信接口1580可以通过无线(例如，Wi-Fi、蓝牙、蜂窝、无线电等)链路或有线链路实现振动触觉系统1500与该另一设备或系统1570之间的通信。如果存在通信接口1580，则该通信接口可以与处理器1560通信，例如以向处理器1560提供信号来激活或去激活多个振动触觉设备1540中的一个或多个振动触觉设备。

振动触觉系统1500可以可选地包括其他子系统和部件，例如多个触摸感应垫1590、多个压力传感器、多个运动传感器、多个位置传感器、多个照明元件、和/或多个用户接口元件(例如，开/关按钮、振动控制元件等)。在使用期间，振动触觉设备1540可以被配置为出于各种不同的原因而被激活，例如响应于以下项而被激活：用户与用户接口元件的交互、来自运动传感器或位置传感器的信号、来自触摸感应垫1590的信号、来自压力传感器的信号、来自该另一设备或系统1570的信号等。

尽管电源1550、处理器1560和通信接口1580在图15中被示出为被定位在触觉设备1520中，但本公开不限于此。例如，电源1550、处理器1560或通信接口1580中的一者或多者可以被定位在触觉设备1510内或另一可穿戴织物内。

触觉可穿戴物(例如，在图15中示出和结合图15所描述的那些)可以在各种类型的人工现实系统和环境中实现。图16示出了示例人工现实环境1600，该人工现实环境包括一个头戴式虚拟现实显示器和两个触觉设备(即，手套)，并且在其他实施例中，任何数量的这些部件和其他部件、和/或这些部件和其他部件的任何组合可以被包括在人工现实系统中。例如，在一些实施例中，可以存在多个头戴式显示器，每个头戴式显示器具有相关联的触觉设备，每个头戴式显示器和每个触觉设备与同一控制台、同一便携式计算设备、或同一其他计算系统通信。

头戴式显示器1602概括地表示任何类型或形式的虚拟现实系统，例如图14中的虚拟现实系统1400。触觉设备164概括地表示由人工现实系统的用户穿戴的任何类型或形式的可穿戴设备，该可穿戴设备向用户提供触觉反馈，以给予用户他或她正与虚拟对象物理接触的感知。在一些实施例中，触觉设备164可以通过向用户施加振动、运动和/或推力来提供触觉反馈。例如，触觉设备164可以限制或增强用户的移动。给出一特定示例，触觉设备164可以限制用户的手向前移动，使得用户感知到他或她的手已经与虚拟壁物理接触。在该特定示例中，触觉设备内的一个或多个致动器可以通过将流体泵入触觉设备的可膨胀气囊中来实现物理移动限制。在一些示例中，用户还可以使用触觉设备164来向控制台发送动作请求。动作请求的示例包括但不限于，启动应用程序和/或结束应用程序的请求、和/或执行应用程序内的特定动作的请求。

尽管触觉接口可以与虚拟现实系统(如图16所示)一起使用，但触觉接口也可以与增强现实系统(如图17所示)一起使用。图17是用户1710与增强现实系统1700交互的立体图。在该示例中，用户1710可以佩戴一副增强现实眼镜1720，该副增强现实眼镜可以具有一个或多个显示器1722并且与触觉设备1730配对。在该示例中，触觉设备1730可以是腕带，该腕带包括多个带元件1732和将这些带元件1732彼此连接的拉伸机构1734。

多个带元件1732中的一个或多个带元件可以包括适于提供触觉反馈的任何类型或形式的致动器。例如，多个带元件1732中的一个或多个带元件可以被配置为提供各种类型的皮肤反馈中的一种或多种类型的皮肤反馈，这些类型的皮肤反馈包括振动、推力、牵拉、质地和/或温度。为了提供这种反馈，多个带元件1732可以包括各种类型的致动器中的一种或多种类型的致动器。在一个示例中，多个带元件1732中的每个带元件可以包括振动触觉器(vibrotactor)(例如，振动触觉致动器)，该振动触觉器被配置为联合地或独立地振动，以向用户提供各种类型的触觉知觉中的一种或多种类型的触觉知觉。替代地，仅单个带元件或多个带元件的子集可以包括振动触觉器。

触觉设备1510、1520、164和1730可以包括任何合适数量和/或类型的触觉转换器、传感器和/或反馈机构。例如，触觉设备1510、1520、164和1730可以包括一个或多个机械式转换器、一个或多个压电式转换器、和/或一个或多个流体转换器。触觉设备1510、1520、164和1730也可以包括一起或独立工作以增强用户的人工现实体验的、不同类型和形式的转换器的各种组合。在一个示例中，触觉设备1730的多个带元件1732中的每个带元件可以包括振动触觉器(例如，振动触觉致动器)，该振动触觉器被配置为联合地或独立地振动，以向用户提供各种类型的触觉知觉中的一种或多种触觉知觉。

在一些实施例中，本文所描述的系统还可以包括眼动追踪子系统，该眼动追踪子系统被设计为识别和追踪用户的单眼或双眼的各种特性，例如用户的注视方向。在一些示例中，词语“眼动追踪”可以指这样过程：眼睛的位置、方位和/或运动通过该过程来进行测量、检测、感测、确定和/或监测。所公开的系统可以以各种不同的方式测量眼睛的位置、方位和/或运动，这些不同的方式包括通过使用各种基于光学的眼动追踪技术、基于超声波的眼动追踪技术等。眼动追踪子系统可以以多种不同的方式配置，并且可以包括各种不同的眼动追踪硬件部件或其他计算机视觉部件。例如，眼动追踪子系统可以包括各种不同的光学传感器，例如二维(2D)摄像头或3D摄像头、飞行时间深度传感器、单波束测距仪或扫描激光测距仪、3D激光雷达(LiDAR)传感器、和/或任何其他合适类型或形式的光学传感器。在该示例中，处理子系统可以对来自这些传感器中的一个或多个传感器的数据进行处理，以测量、检测、确定、和/或以其他方式监测用户的单眼或双眼的位置、方位和/或运动。

图18是示例性系统1800的图示，该示例性系统包括能够追踪用户的单眼或双眼的眼动追踪子系统。如图18中所描绘的，系统1800可以包括光源1802、光学子系统184、眼动追踪子系统186和/或控制子系统188。在一些示例中，光源1802可以用于图像(例如，该图像将呈现给观看者的眼睛1801)的光。光源1802可以表示各种合适的设备中的任何一种。例如，光源1802可以包括二维投影仪(例如，LCoS显示器)、扫描源(例如，扫描激光器)、或其他设备(例如，LCD、LED显示器、OLED显示器、有源矩阵OLED显示器(active-matrix OLEDdisplay，AMOLED)、透明OLED显示器(transparent OLED display，TOLED)、波导、或能够生成用于向观察者呈现图像的光的一些其他显示器)。在一些示例中，该图像可以表示虚拟图像，该虚拟图像可以指由来自空间的一点的光线的表观发散(apparent divergence)形成的光学图像，而不是指由光线的实际发散形成的图像。

在一些实施例中，光学子系统184可以接收由光源1802产生的光，并且基于所接收到的光生成包括该图像的会聚光1820。在一些示例中，光学子系统184可以包括可能与致动器和/或其他设备组合的任何数量的透镜(例如，菲涅尔透镜、凸透镜、凹透镜)、光阑、滤光片、反射镜、棱镜、和/或其他光学部件。具体地，致动器和/或其他设备可以平移和/或转动多个光学部件中的一个或多个光学部件以改变会聚光1820的一个或多个方面。此外，各种机械式联轴器可以用于以任何合适的组合保持光学部件的相对间隔和/或方位。

在一个实施例中，眼动追踪子系统186可以生成如下追踪信息：该追踪信息指示观看者的眼睛1801的注视角度。在该实施例中，控制子系统188可以至少部分地基于该追踪信息来控制光学子系统184的各方面(例如，会聚光1820的入射角)。此外，在一些示例中，控制子系统188可以存储历史追踪信息(例如，在给定持续时间(例如前一秒或其一小部分)内的追踪信息的历史)并利用该历史追踪信息来预期眼睛1801的注视角度(例如，眼睛1801的视轴和解剖轴之间的角度)。在一些实施例中，眼动追踪子系统186可以检测从眼睛1801的某个部分(例如，角膜、虹膜、或瞳孔等)发出的辐射，以确定眼睛1801的当前注视角度。在其他示例中，眼动追踪子系统186可以采用波前传感器来追踪瞳孔的当前位置。

可以使用任何数量的技术来追踪眼睛1801。一些技术可以涉及使用红外光照射眼睛1801，并使用至少一个被调谐为对红外光敏感的光学传感器来测量反射。可以对关于红外光如何从眼睛1801反射的信息进行分析，以确定一个或多个眼睛特征(例如，角膜、瞳孔、虹膜、和/或视网膜血管)的一个或多个位置、一个或多个方位、和/或一个或多个运动。

在一些示例中，可以对由眼动追踪子系统186的传感器采集的辐射进行数字化(即，转换成电子信号)。此外，传感器可以将该电子信号的数字表示发送到一个或多个处理器(例如，与包括眼动追踪子系统186的设备相关联的处理器)。眼动追踪子系统186可以包括各种不同配置的各种传感器中的任何一种传感器。例如，眼动追踪子系统186可以包括对红外辐射作出反应的红外探测器。红外探测器可以是热探测器、光子探测器、和/或任何其他合适类型的探测器。热探测器可以包括对入射红外辐射的热效应作出反应的探测器。

在一些示例中，一个或多个处理器可以对由眼动追踪子系统186的一个或多个传感器生成的数字表示进行处理，以追踪眼睛的移动1801。在另一示例中，这些处理器可以通过执行由存储在非暂态存储器上的计算机可执行指令表示的算法，来追踪眼睛1801的移动。在一些示例中，片上逻辑(例如，专用集成电路或ASIC)可以用于执行这些算法的至少一部分。如所提到的，眼动追踪子系统186可以被编程为使用一个或多个传感器的输出来追踪眼睛1801的移动。在一些实施例中，眼动追踪子系统186可以对由传感器生成的数字表示进行分析，以从反射的变化中提取眼睛转动信息。在一个实施例中，眼动追踪子系统186可以使用角膜反射或闪烁(glint)(也称为浦肯野(Purkinje)图像)和/或眼睛的瞳孔1822的中心作为随时间追踪的特征。

在一些实施例中，眼动追踪子系统186可以使用眼睛的瞳孔1822的中心、和红外光或近红外光、非准直光来产生角膜反射。在这些实施例中，眼动追踪子系统186可以使用眼睛的瞳孔1822的中心和角膜反射之间的矢量来计算眼睛1801的注视方向。在一些实施例中，所公开的系统可以在追踪用户的眼睛之前，(使用例如监督技术或无监督技术)对个体执行校准过程。例如，校准过程可以包括：引导用户看向显示在显示器上的一个或多个点，同时眼动追踪系统记录与每个注视位置(其与每个点相关联)相对应的值。

在一些实施例中，眼动追踪子系统186可以使用两种类型的红外和/或近红外(也称为主动光)眼动追踪技术：亮瞳眼动追踪和暗瞳眼动追踪，这可以基于照明源相对于所使用的光学元件的位置来区分。如果照明与光路同轴，则眼睛1801可以用作回射器(retroreflector)，因为光从视网膜上反射，从而产生类似于摄影中的红眼效果的亮瞳效果。如果照明源偏离光路，则眼睛的瞳孔1822可能看起来很暗，因为从视网膜的回射被引导为远离传感器。在一些实施例中，亮瞳追踪可以产生更大的虹膜/瞳孔对比度，从而允许具有虹膜色素沉着的更稳健的眼动追踪，并且可以减少干扰(例如，由睫毛和其他模糊特征引起的干扰)。亮瞳追踪也可以允许在从完全黑暗到非常明亮的环境的照明条件下进行追踪。

在一些实施例中，控制子系统188可以对光源1802和/或光学子系统184进行控制，以减少图像的可能由眼睛1801引起或受眼睛1801影响的光学像差(例如，色差和/或单色像差)。在一些示例中，如上所述，控制子系统188可以使用来自眼动追踪子系统186的追踪信息来执行这种控制。例如，在控制光源1802时，控制子系统188可以(例如通过图像渲染)改变由光源1802产生的光，以对图像进行修改(例如，预失真)，从而减少该图像的由眼睛1801引起的像差。

所公开的系统可以追踪瞳孔的位置和相对尺寸这两者(例如，因瞳孔放大和/或收缩)。在一些示例中，对于不同类型的眼睛，用于检测和/或追踪瞳孔的眼动追踪设备和部件(例如，传感器和/或源)可以不同(或者可以被不同地校准)。例如，对于不同颜色的眼睛、和/或不同瞳孔类型和/或尺寸等的眼睛，传感器的频率范围可以不同(或者可以被单独校准)。就这一点而言，本文所描述的各种眼动追踪部件(例如，红外源和/或传感器)可能需要针对每个单独的用户和/或眼睛进行校准。

所公开的系统可以在进行或不进行眼科矫正(例如，由用户佩戴的隐形眼镜提供的眼科矫正)的情况下追踪双眼。在一些实施例中，可以直接将眼科矫正元件(例如，可调节镜片)结合到本文所描述的人工现实系统中。在一些示例中，用户眼睛的颜色可能使对对应的眼动追踪算法的修改成为必要。例如，眼动追踪算法可能需要至少部分地基于棕色眼睛和例如蓝色眼睛之间的不同颜色对比度进行修改。

图19是图18所示的眼动追踪子系统的各个方面的更详细的说明。如该图所示，眼动追踪子系统1900可以包括至少一个源194和至少一个传感器196。源194概括地表示能够发射辐射的任何类型或形式的元件。在一个示例中，源194可以产生可见辐射、红外辐射和/或近红外辐射。在一些示例中，源194可以朝向用户的眼睛1902辐射电磁波谱的非准直的红外部分和/或近红外部分。源194可以利用各种采样率和采样速度。例如，所公开的系统可以使用具有较高采样率的源，以便采集用户的眼睛1902的注视眼动，和/或以便正确测量用户的眼睛1902的扫视动态。如上所提及的，可以使用任何类型或形式的眼动追踪技术来追踪用户的眼睛1902，这些类型或形式的技术包括基于光学的眼动追踪技术、基于超声波的眼动追踪技术等。

传感器196概括地表示能够检测辐射(例如，从用户的眼睛1902反射的辐射)的任何类型或形式的元件。传感器196的示例包括但不限于：电荷耦合器件(charge coupleddevice，CCD)、光电二极管阵列、和/或基于互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)的传感器器件等。在一个示例中，传感器196可以表示具有预定参数的传感器，这些预定参数包括但不限于：动态分辨率范围、线性度、和/或专门为眼动追踪而选择和/或设计的其他特性。

如上所详述的，眼动追踪子系统1900可以产生一个或多个闪烁。如上所详述的，闪烁193可以表示来自用户眼睛的结构的辐射(例如，来自红外源(例如，源194)的红外辐射)的反射。在各种实施例中，可以使用由处理器(人工现实设备内部或外部的处理器)执行的眼动追踪算法来追踪闪烁193和/或用户的瞳孔。例如，人工现实设备可以包括处理器和/或存储设备(以便在本地执行眼动追踪)和/或收发器，该收发器用于发送和接收在外部设备(例如，移动电话、云服务器、或其他计算设备)上执行眼动追踪所需的数据。

图19显示了由眼动追踪子系统(例如，眼动追踪子系统1900)采集的示例图像195。在该示例中，图像195可以包括用户的瞳孔198和该瞳孔附近的闪烁1910。在一些示例中，可以使用基于人工智能的算法(例如，基于计算机视觉的算法)来识别瞳孔198和/或闪烁1910。在一个实施例中，图像195可以表示一系列帧中的单个帧，可以对该一系列帧进行连续分析以追踪用户的眼睛1902。此外，可以在一段时间内对瞳孔198和/或闪烁1910进行追踪，以确定用户的注视。

在一个示例中，眼动追踪子系统1900可以被配置为识别和测量用户的瞳孔间距离(inter-pupillary distance，IPD)。在一些实施例中，眼动追踪子系统1900可以在用户正佩戴着人工现实系统时，对用户的IPD进行测量和/或计算。在这些实施例中，眼动追踪子系统1900可以检测用户的眼睛的位置，并且可以使用该信息来计算用户的IPD。

如所提到的，本文所公开的眼动追踪系统或眼动追踪子系统可以以各种方式追踪用户的眼睛位置和/或眼动。在一个示例中，一个或多个光源和/或光学传感器可以采集用户眼睛的图像。然后，眼动追踪子系统可以使用所采集的信息来确定用户的瞳孔间距离、眼间距、和/或每只眼睛的3D位置(例如，以用于失真调整目的)，所采集的信息包括每只眼睛的扭转和转动的幅度(即，侧倾、俯仰和左右摇摆)和/或注视方向。在一个示例中，红外光可以由眼动追踪子系统发射并从每只眼睛反射。所反射的光可以由光学传感器接收或检测，并且可以对所反射的光进行分析，以从由每只眼睛反射的红外光的变化中提取眼睛转动数据。

眼动追踪子系统可以使用各种不同方法中的任何一种来追踪用户的双眼。例如，光源(例如，红外发光二极管)可以将点图案发射到用户的每只眼睛上。然后，眼动追踪子系统可以(例如，通过耦接到人工现实系统的光学传感器)检测从用户的每只眼睛对该点图案的反射，并对该反射进行分析以识别用户的每个瞳孔的位置。因此，眼动追踪子系统可以追踪每只眼睛的多达六个自由度(即，3D位置、侧倾、俯仰和左右摇摆)，并且可以对来自用户的双眼的所追踪的量的至少一个子集进行组合，以估计注视点(即，3D位置或用户正在观看的虚拟场景中的位置)和/或IPD。

在一些情况下，当用户的眼睛移动看向不同方向时，用户的瞳孔和显示器之间的距离可能会改变。当观看方向改变时，瞳孔和显示器之间的不同距离可以被称为“瞳孔游移(pupil swim)”，并且当瞳孔和显示器之间的距离改变时，由于光聚焦在不同的位置，可能会使用户感觉到失真。因此，测量相对于显示器的不同眼睛位置和瞳孔距离处的失真、并针对不同位置和距离生成失真校正可以允许通过以下方式来减少由瞳孔游移引起的失真：追踪用户眼睛的3D位置，并及时在给定点处应用与用户的每只眼睛的3D位置相对应的失真校正。因此，知道用户的每只眼睛的3D位置可以允许通过对每个3D眼睛位置应用失真校正，来减少因眼睛的瞳孔和显示器之间的距离的变化而引起的失真。此外，如上所提及的，知道用户每只眼睛的位置还可以使眼动追踪子系统能够对用户的IPD进行自动调整。

在一些实施例中，显示子系统可以包括各种附加子系统，这些附加子系统可以结合本文所描述的眼动追踪子系统来工作。例如，显示子系统可以包括变焦子系统、场景渲染模块、和/或聚散度处理模块。变焦子系统可以促使左显示元件和右显示元件改变显示设备的焦距。在一个实施例中，变焦子系统可以通过移动显示器、光学器件、或这两者，来在物理上改变显示器与光学器件(该显示器通过该光学器件被观看)之间的距离。此外，相对于彼此移动或平移两个透镜也可以用于改变显示器的焦距。因此，变焦子系统可以包括致动器或马达，该致动器或马达对显示器和/或光学器件进行移动以改变它们之间的距离。变焦子系统可以与显示子系统分开或集成到显示子系统中。变焦子系统还可以集成到其驱动子系统和/或本文所描述的眼动追踪子系统中，或与其驱动子系统和/或本文所描述的眼动追踪子系统分开。

在一个示例中，显示子系统可以包括聚散度处理模块，该聚散度处理模块被配置为基于由眼动追踪子系统确定的注视点和/或视线(gaze line)的估计交汇点，来确定用户的注视的聚散度深度。聚散度可以指双眼同时向相对的方向移动或转动以维持单双眼视觉，这可以由人眼自然地且自动地执行。因此，用户的双眼会聚的位置是用户正在观看的位置，并且通常也是用户的双眼聚焦的位置。例如，聚散度处理模块可以对视线进行三角测量，以估计距用户的、与视线的交汇点相关联的距离或深度。然后，与视线的交汇点相关联的深度可以作为调节距离的近似值来使用，该调节距离可以识别与用户的、用户的双眼所指向的距离。因此，聚散度距离可以允许确定用户的双眼应该聚焦的位置、以及距用户的双眼的深度(用户的双眼在该深度处聚焦)，从而提供用于对虚拟场景进行渲染调整的信息(例如，对象或焦平面)。

聚散度处理模块可以与本文所描述的眼动追踪子系统配合以对显示子系统进行调整，以考虑用户的聚散度深度。在用户聚焦在远处的东西上时，用户的瞳孔可能分开得比用户聚焦在近处的东西时稍微远一些。眼动追踪子系统可以获取关于用户的聚散度或聚焦深度的信息，并且可以在用户的双眼聚焦或会聚在近处的东西上时将显示子系统调整为更靠近，并且在用户的双眼聚焦或会聚在远处的东西上时将显示子系统调整为更远离。

由上述眼动追踪子系统生成的眼动追踪信息还可以例如用于修改如何呈现不同的计算机生成图像的各个方面。例如，显示子系统可以被配置为基于由眼动追踪子系统生成的信息来修改如何呈现计算机生成图像的至少一个方面。例如，可以基于用户的眼动来修改计算机生成图像，使得如果用户正在向上看，则可以在屏幕上将计算机生成图像向上移动。类似地，如果用户正在向一侧看或向下看，则可以在屏幕上将计算机生成图像向一侧移动或向下移动。如果用户闭眼，则可以暂停计算机生成图像或从显示器中移除该计算机生成图像，并且一旦用户再次睁开眼睛，就会恢复该计算机生成图像。

可以将上述眼动追踪子系统以各种方式结合到本文所描述的各种人工现实系统中的一个或多个人工现实系统中。例如，可以将系统1800和/或眼动追踪子系统1900的各个部件中的一个或多个部件结合到图13中的增强现实系统1300和/或图14中的虚拟现实系统1400中，以使这些系统能够执行各种眼动追踪任务(包括本文所描述的眼动追踪操作中的一个或多个眼动追踪操作)。

图20A示出了被配置为佩戴在用户的下臂或手腕上的、作为可穿戴系统2000的示例性人机接口(本文也称为EMG控制接口)。在该示例中，可穿戴系统2000可以包括十六个神经肌肉传感器2010(例如，EMG传感器)，该十六个神经肌肉传感器围绕弹性带2020而周向地布置，该弹性带具有被配置为接触用户的皮肤的内表面2030。然而，可以使用任何合适数量的神经肌肉传感器。神经肌肉传感器的数量和布置可以取决于可穿戴设备所用于的特定应用。例如，可穿戴臂带或腕带可以用于生成控制信息，该控制信息用于控制增强现实系统、机器人，用于控制载具，用于滚动文本，用于控制虚拟化身或用于任何其他合适的控制任务。如图所示，可以使用结合到无线设备中的柔性电子器件将这些传感器耦接在一起。图20B示出了从图20A中所示的可穿戴设备的多个传感器中的一个传感器的一端到另一端的横截面图。在一些实施例中，可选地，可以使用硬件信号处理电路来处理多个传感部件中的一个或多个传感部件的输出(例如，以执行放大、滤波和/或整流)。在其他实施例中，可以在软件中执行对多个传感部件的输出的至少一些信号处理。因此，对由传感器采样的信号的信号处理可以在硬件、软件中执行，或通过硬件和软件的任何合适组合来执行，尽管本文中所描述的技术的各方面不限于该方面。以下参考图21A和图21B更详细地论述了用于处理来自传感器2010的记录数据的信号处理链的非限制性示例。

图21A和图21B示出了可穿戴系统的具有多个EMG传感器的内部部件的示例性示意图。如图所示，可穿戴系统可以包括可穿戴部分2110(图21A)和适配器(dongle)部分2120(图21B)，该适配器部分(例如，通过蓝牙或另一合适的无线通信技术)与该可穿戴部分2110通信。如图21A所示，可穿戴部分2110可以包括多个皮肤接触电极2111，这些皮肤接触电极的示例结合图20A和图20B进行了描述。可以将该多个皮肤接触电极2111的输出提供至模拟前端2130，该模拟前端可以被配置为对所记录的信号执行模拟处理(例如，放大、降噪、滤波等)。然后，可以将处理后的模拟信号提供至模数转换器2132，该模数转换器可以将模拟信号转换成数字信号，该数字信号可以由一个或多个计算机处理器处理。如图21A所示，根据一些实施例可使用的计算机处理器的示例为微控制器(microcontroller，MCU)2134。如图所示，MCU 2134还可以包括来自其他传感器(例如，IMU传感器2140)的输入、以及来自电源和电池模块2142的输入。可以将由MCU 2134执行的处理的输出提供至天线2150，以用于传输到图21B中所示的适配器部分2120。

适配器部分2120可以包括天线2152，该天线可以被配置为与作为可穿戴部分2110的一部分而被包括天线2150通信。天线2150和天线2152之间的通信可以使用任何合适的无线技术和协议进行，该无线技术和协议的非限制性示例包括射频信号传递(radiofrequency signaling)和蓝牙。如图所示，可将由适配器部分2120的天线2152接收的信号提供至主计算机，以用于进一步的处理、显示，和/或用于实现对一个或多个特定物理对象、或一个或多个特定虚拟对象的控制。

尽管在具有多个EMG传感器的接口的上下文中，对参考图20A和图20B、以及图21A和图21B所提供的示例进行了论述，但本文所描述的用于减少电磁干扰的技术也可以在具有其他类型的传感器的可穿戴接口中实现，这些其他类型的传感器包括但不限于：肌动图(mechanomyography，MMG)传感器、声肌图(sonomyography，SMG)传感器和电阻抗断层成像(electrical impedance tomography，EIT)传感器。本文所描述的用于减少电磁干扰的技术也可以在这样的可穿戴接口中实现：所述可穿戴接口通过导线和电缆(例如，通用串行总线(USB)电缆、光纤电缆等)与计算机主机通信。

图22示意性地示出了根据一些实施例的生物信号传感系统2200的多个部件。系统2200包括一对电极2210(例如，一对干表面电极)，该一对电极被配置为记录或测量由用户2202的身体产生的生物信号(例如，眼电图(EOG)信号、肌电图(EMG)信号、表面肌电图(surface Electromyography，sEMG)信号、脑电图(Electroencephalography，EEG)信号、心电图(Electrocardiography，ECG)信号等)(例如，以用于电生理监测或刺激)。在一些实施例中，两个电极2210都可以是被配置为接触用户的皮肤的接触电极。在其他实施例中，两个电极2210都可以是被配置为不接触用户的皮肤的非接触电极。替代地，两个电极2210中的一个电极可以是被配置为接触用户的皮肤的接触电极，而两个电极2210中的另一个电极可以是被配置为不接触用户的皮肤的非接触电极。在一些实施例中，两个电极2210可以作为如下可穿戴设备的一部分来布置：该可穿戴设备被配置为佩戴在用户的身体部位上或用户的身体部位周围。例如，在一个非限制性示例中，包括电极2210的多个电极可以围绕可调节带和/或弹性带(例如，腕带或臂带)而周向地布置，该可调节带和/或弹性带被配置为佩戴在用户的手腕或手臂上(例如，如图2所示)。附加地或替代地，电极2210中的至少一些电极可以布置在如下的可穿戴贴片上：该可穿戴贴片被配置为，固定到用户2202的身体的一部分或者被置为与该用户的身体的一部分接触。在一些实施例中，电极可以是微创性的，并且可以包括被放置在或穿过用户的全部或部分皮肤或真皮的一个或多个导电部件。应当理解，可以使用任何合适数量的电极，并且电极的数量和布置可以取决于使用设备的特定应用。

由电极2210测量或记录的生物信号(例如，生物电位信号)可以很小，并且可能需要对由电极2210记录的生物信号进行放大。如图22所示，电极2210可以耦接到放大电路2211，该放大电路被配置为对由电极2210传导的生物信号进行放大。放大电路2211可以包括任何合适的放大器。合适的放大器的示例可以包括运算放大器、放大两个输入电压之间的差值的差分放大器、仪器放大器(例如，具有输入缓冲放大器的差分放大器)、单端放大器和/或能够放大生物信号的任何其他合适的放大器。

如图22所示，可以将放大电路2211的输出提供至模数转换器(analog-to-digitalconverter，ADC)电路2214，该模数转换器电路可以将经放大的生物信号转换成数字信号以供微处理器2216进行进一步处理。在一些实施例中，微处理器2216可以(例如，通过将生物信号中转换或变换为对用户2202的身体中的一个或多个骨骼结构的空间关系的估计、和/或由用户2202的身体中的至少一个骨骼结构施加的力的估计)对数字信号进行处理以增强远程或虚拟社交体验。微处理器2216可以由一个或多个硬件处理器实现。在一些实施例中，电极2210、放大电路2211、ADC电路2214和/或微处理器2216可以表示单个生物信号传感器中的一些或全部。从微处理器2216输出的处理后的信号可以由主机2220来解释，该主机的示例包括但不限于：台式计算机、膝上型计算机、智能手表、智能手机、头戴式显示设备、或任何其他计算设备。在一些实施方式中，主机2220可以被配置为至少部分地基于对从微处理器2216输出的信号进行分析，来输出一个或多个用于控制物理或虚拟设备或对象的控制信号。如图所示，生物信号传感系统2200可以包括附加的传感器2218，该附加的传感器可以被配置为记录除生物信号信息以外的关于用户状态的信息类型。例如，传感器2218可以包括：被配置为测量皮肤温度/电极温度的温度传感器、被配置为测量运动信息(例如，转动和加速度)的惯性测量单元(IMU)传感器、湿度传感器、以及被配置为提供关于用户和/或用户环境的信息的其他生化传感器。

如上所详述的，本文所描述和/或所示出的计算设备和系统广泛地表示能够执行计算机可读指令(例如，包含在本文所描述的多个模块中的那些指令)的、任何类型或形式的计算设备或系统。在一个或多个计算设备的最基本配置中，该一个或多个计算设备均可以包括至少一个存储设备和至少一个物理处理器。

在一些示例中，术语“存储设备”概括地指能够存储数据和/或计算机可读指令的任何类型或形式的易失性或非易失性存储设备或介质。在一个示例中，存储设备可以存储、加载和/或维护本文所描述的各模块中的一个或多个模块。存储设备的示例包括但不限于，随机存取存储器(RAM)、只读存储器(ROM)、闪存、硬盘驱动器(HDD)、固态驱动器(SSD)、光盘驱动器、高速缓冲存储器、以上中的一个或多个的变型或组合、或任何其他合适的存储器。

在一些示例中，术语“物理处理器”概括地指能够解释和/或执行计算机可读指令的任何类型或形式的硬件实现的处理单元。在一个示例中，物理处理器可以访问和/或修改存储在上述存储设备中的一个或多个模块。物理处理器的示例包括但不限于，微处理器、微控制器、中央处理单元(CPU)、实现软核处理器的现场可编程门阵列(FPGA)、专用集成电路(ASIC)、以上中的一个或多个中的部分、以上中的一个或多个的变型或组合、或任何其他合适的物理处理器。

尽管本文所描述和/或所示出的各模块被示出为单独的元件，但是这些模块可以表示单个模块中的部分或单个应用中的部分。另外，在某些实施例中，这些模块中的一个或多个模块可以表示一个或多个软件应用或程序，该一个或多个软件应用或程序在被计算设备执行时可以使该计算设备执行一个或多个任务。例如，本文描述和/或所示出的各模块中的一个或多个模块可以表示这样的模块：所述模块存储在本文所描述和/或所示出的计算设备或系统中的一个或多个上，并且被配置为在本文所描述和/或所示出的计算设备或系统中的一个或多个上运行。这些模块中的一个或多个模块还可以表示被配置为执行一个或多个任务的一个或多个专用计算机的全部或部分。

此外，本文所描述的各模块中的一个或多个模块可以将数据、物理设备和/或物理设备的表示从一种形式转换为另一种形式。例如，本文所陈述的模块中的一个或多个模块可以接收待转换的生物信号(例如，包含眼动追踪数据的生物信号)，将该生物信号转换为用户交互意图的预测，将转换结果输出到智能促进子系统，和/或使用转换结果向用户建议潜在目标、和/或使用户能够通过低摩擦交互来选择这些所建议的目标或与这些所建议的目标交互。附加地或替代地，本文所陈述的各模块中的一个或多个模块可以通过在计算设备上执行、在计算设备上存储数据、和/或以其他方式与计算设备交互，来将物理计算设备的处理器、易失性存储器、非易失性存储器、和/或任何其他部分从一种形式转换成另一种形式。

在一些实施例中，术语“计算机可读介质”概括地是指能够存储或承载计算机可读指令的任何形式的设备、载体或介质。计算机可读介质的示例包括但不限于，传输型介质(例如，载波)、和非暂态型介质，所述非暂态型介质例如为磁存储介质(例如，硬盘驱动器、磁带驱动器和软盘)、光存储介质(例如，光盘(Compact Disk，CD)、数字视频光盘(DigitalVideo Disk，DVD)和蓝光光盘)、电子存储介质(例如，固态驱动器和闪存介质)、以及其他分发系统。

本文所描述和/或所示出的工艺参数和步骤顺序仅以示例的方式给出，并且可以根据需要改变。例如，尽管本文所示出和/或所描述的步骤可能是以特定顺序显示或论述的，但这些步骤不一定需要按照所示出或所论述的顺序来执行。本文所描述和/或所示出的各种示例性方法也可以省略本文所描述或所示出的各步骤中的一个或多个步骤，或者可以包括除了所公开的那些步骤之外的附加步骤。

先前的描述已被提供来使本领域的其他技术人员能够最好地利用本文所公开的示例性实施例的各个方面。该示例性描述并不旨在是详尽的或被限制为所公开的任何精确形式。在不脱离权利要求的范围的情况下，许多修改和变型是可能的。本文所公开的实施例在所有方面都应被认为是说明性的而不是限制性的。在确定本公开的范围时，应当参考所附的任何权利要求及其等同物。

除非另有说明，否则如说明书和权利要求书中所使用的术语“连接到”和“耦接到”(及其派生词)将被解释为允许直接连接和间接连接(即，通过其他元件或部件)这两者。此外，如说明书和权利要求书中所使用的术语“一”或“一个”将被解释为表示“中的至少一个”。最后，为了便于使用，如说明书和权利要求书中所使用的术语“包括”和“具有”(及其派生词)与词语“包含”是可互换的，并且具有与词语“包含”相同的含义。

Claims (15)

1.一种计算机实现的方法，包括：

通过一个或多个生物传感器获取由计算系统的用户产生的一个或多个生物信号，所述计算系统包括：

至少一个目标确定子系统，所述至少一个目标确定子系统使所述用户能够明确地将与所述计算系统相关联的一个或多个对象确定为目标，以用于交互；

至少一个交互子系统，所述至少一个交互子系统使所述用户能够在所述一个或多个对象被确定为目标时与所述一个或多个对象中的一个或多个进行交互；以及

智能促进子系统，所述智能促进子系统响应于交互意图信号，代表所述用户将多个对象中的一个或多个对象确定为目标；

使用所述一个或多个生物信号，来预期所述用户与所述计算系统的交互意图；以及

响应于所述用户的所述交互意图，向所述智能促进子系统提供指示了所述用户的所述交互意图的交互意图信号。

2.根据权利要求1所述的计算机实现的方法，还包括：

通过所述智能促进子系统响应于接收到所述交互意图信号，识别所述多个对象中所述用户最有可能与之交互的至少一个对象；

通过所述智能促进子系统代表所述用户将所述多个对象中的所述至少一个对象确定为目标；

通过所述交互子系统接收来自所述用户的、与所述多个对象中被所述智能促进子系统确定为目标的所述至少一个对象进行交互的请求；以及

响应于接收到与所述多个对象中的所述至少一个对象进行交互的请求，而执行操作。

3.根据权利要求2所述的计算机实现的方法，其中，所述智能促进子系统在接收到所述交互意图信号之前，不对所述多个对象中的所述至少一个对象进行识别。

4.根据权利要求1、2或3所述的计算机实现的方法，其中：

所述一个或多个生物传感器包括一个或多个眼动追踪传感器；

所述一个或多个生物信号包括指示所述用户的注视动态的信号；并且

指示所述用户的注视动态的信号用于预期所述用户的所述交互意图。

5.根据权利要求4所述的计算机实现的方法，其中，指示所述用户的注视动态的信号包括以下中的一者或多者：

i.注视速度的度量；

ii.以下中的至少一者：

a.环境注意力的度量；或

b.焦点注意力的度量；

和/或

iii.扫视动态的度量。

6.根据前述权利要求中任一项所述的计算机实现的方法，其中：

所述一个或多个生物传感器包括一个或多个手部追踪传感器；

所述一个或多个生物信号包括指示所述用户的手部动态的信号；并且

指示所述用户的手部动态的信号用于预期所述用户的所述交互意图。

7.根据前述权利要求中任一项所述的计算机实现的方法，其中：

所述一个或多个生物传感器包括一个或多个神经肌肉传感器；

所述一个或多个生物信号包括从所述用户的身体获得的神经肌肉信号；并且

从所述用户的身体获得的所述神经肌肉信号用于预期所述用户的所述交互意图。

8.根据前述权利要求中任一项所述的计算机实现的方法，其中，与所述计算系统相关联的对象包括来自所述用户的真实世界环境的一个或多个物理对象。

9.根据前述权利要求中任一项所述的计算机实现的方法，其中：

所述计算系统包括扩展现实系统；

所述计算机实现的方法还包括以下中的一者或多者：

i.通过所述扩展现实系统向所述用户显示虚拟对象；

其中，与所述计算系统相关联的对象包括所述虚拟对象；和/或

ii.通过所述扩展现实系统向所述用户显示菜单；

其中，与所述计算系统相关联的对象包括所述菜单的视觉元素。

10.根据前述权利要求中任一项所述的计算机实现的方法，还包括：对预测模型进行训练，以输出所述交互意图信号。

11.一种系统，包括：

至少一个目标确定子系统，所述至少一个目标确定子系统适于使用户能够明确地将一个或多个对象确定为目标，以用于交互；

至少一个交互子系统，所述至少一个交互子系统适于使所述用户能够在所述一个或多个对象被确定为目标时与所述一个或多个对象中的一个或多个进行交互；

智能促进子系统，所述智能促进子系统适于响应于交互意图信号，代表所述用户将所述一个或多个对象确定为目标；

一个或多个生物传感器，所述一个或多个生物传感器适于检测由所述用户产生的生物信号；

至少一个物理处理器；以及

物理存储器，所述物理存储器包括计算机可执行指令，所述计算机可执行指令在被所述物理处理器执行时使得所述物理处理器：

通过所述一个或多个生物传感器获取由所述用户产生的一个或多个所述生物信号；

使用一个或多个所述生物信号，来预期所述用户与所述系统的交互意图；以及

响应于所述用户的所述交互意图，向所述智能促进子系统提供指示了所述用户与所述系统的所述交互意图的交互意图信号。

12.根据权利要求11所述的系统，其中：

所述一个或多个生物传感器包括一个或多个眼动追踪传感器，所述一个或多个眼动追踪传感器适于测量所述用户的注视动态；

一个或多个所述生物信号包括指示所述用户的所述注视动态的信号；并且

所述用户的所述注视动态用于预期所述用户与所述系统的所述交互意图；

和/或优选地

其中，

所述一个或多个生物传感器包括一个或多个手部追踪传感器；

一个或多个所述生物信号包括指示所述用户的手部动态的信号；并且

指示所述用户的手部动态的信号用于预期所述用户与所述系统的所述交互意图；

和/或优选地

其中，

所述一个或多个生物传感器包括一个或多个神经肌肉传感器；

一个或多个所述生物信号包括从所述用户的身体获得的神经肌肉信号；并且

从所述用户的身体获得的所述神经肌肉信号用于预期所述用户与所述系统的所述交互意图。

13.根据权利要求11或12所述的系统，其中：

所述至少一个目标确定子系统包括物理控制器的指向子系统；并且

所述至少一个交互子系统包括所述物理控制器的选择子系统。

14.根据权利要求11、12或13所述的系统，其中：

所述智能促进子系统还适于：

响应于接收到所述交互意图信号，识别多个对象中所述用户最有可能与之交互的至少一个对象；以及

代表所述用户将所述多个对象中的所述至少一个对象确定为目标；以及

所述物理存储器还包括附加的计算机可执行指令，所述附加的计算机可执行指令在被所述物理处理器执行时使得所述物理处理器：

通过所述交互子系统接收来自所述用户的、与所述多个对象中被所述智能促进子系统确定为目标的所述至少一个对象进行交互的请求；以及

响应于接收到与所述多个对象中的所述至少一个对象进行交互的所述请求，而执行操作。

15.一种非暂态计算机可读介质，包括一个或多个计算机可执行指令，所述一个或多个计算机可执行指令在被计算设备的至少一个处理器执行时，使得所述计算设备：

通过一个或多个生物传感器获取由计算系统的用户产生的一个或多个生物信号，所述计算系统包括：

至少一个目标确定子系统，所述至少一个目标确定子系统使所述用户能够明确地将与所述计算系统相关联的一个或多个对象确定为目标，以用于交互；

至少一个交互子系统，所述至少一个交互子系统使所述用户能够在所述一个或多个对象被确定为目标时与所述一个或多个对象中的一个或多个进行交互；以及

智能促进子系统，所述智能促进子系统响应于交互意图信号，代表所述用户将所述一个或多个对象确定为目标；

使用所述一个或多个生物信号，来预期所述用户与所述计算系统的交互意图；以及

响应于所述用户的所述交互意图，向所述智能促进子系统提供指示了所述用户的所述交互意图的交互意图信号。