CN118057267A - 处理神经肌肉信号以确认用户手势的发生的系统和方法 - Google Patents

Abstract

本文描述的各种实施方式包括处理神经肌肉信号以确认用户手势的发生的方法和系统。在一个方面，一种方法包括：(i)获得第一组神经肌肉信号；(ii)在使用低功率检测器确定该第一组神经肌肉信号需要进一步处理以确认已经做出了预定空中手势之后：(a)使用高功率检测器处理该第一组神经肌肉信号；以及(b)根据确定该处理指示该预定空中手势确实发生，记录该预定空中手势的发生；(iii)接收第二组神经肌肉信号；以及(iv)在使用低功率检测器而不使用该高功率检测器确定做出了不同预定空中手势之后，响应于该不同预定空中手势执行动作。

Description

处理神经肌肉信号以确认用户手势的发生的系统和方法

相关申请

本申请要求于2022年11月18日提交的、申请号为63/426,678、名称为“Power-Efficient Processing of Neuromuscular Signals to Confirm Occurrences of UserGestures,and Systems and Methods of Use Thereof”的美国临时专利申请，以及于2023年9月19日提交的、申请号为18/470,306的美国非临时专利申请的优先权，其全部内容通过引用并入本文。

技术领域

本公开总体上涉及这样的设备和方法：所述设备和方法用于检测和确认用户手势(例如，由用户的手在不接触触摸屏(例如，腕式可穿戴设备的触摸屏)的情况下做出的空中手势)的发生，包括但不限于，经由可穿戴设备检测神经肌肉信号以及对神经肌肉信号进行有效处理以识别用户手势(例如，使用低功率检测器对神经肌肉信号进行初始处理，然后使用高功率检测器确认已经检测到手势，使得在一些实施例中，高功率检测器可以保持休眠或等待状态，直到该高功率检测器接收到来自低功率检测器的处理神经肌肉信号的请求)。

背景技术

用户通常会携带一些电子设备来帮助其日常生活。例如，用户携带智能手机、智能手表和其它电子设备，这些设备例如通过允许用户发送消息和电子邮件以及捕获图像和做笔记，有助于使用户更顺利地度过每一天。为了使用户能够依赖其设备，这些设备需要有足够的电池容量来全天运行。因此，功率效率是这些电子设备的关键方面，并且需要用户交互和手势处理的低功率技术(例如，允许设备的各方面(例如负责基于手势的处理活动的那些方面)在各个时间点进入低功率或睡眠模式或非激活状态)。对于可以基于神经肌肉信号检测到的新的空中手势来说，功率效率需求可能尤其明显，因为作为一个示例，用于处理神经肌肉信号的机器学习模型可能具有高功率消耗需求以进行操作，这可能导致例如也包括神经肌肉信号传感器的可穿戴设备的电源迅速耗尽。

发明内容

如上所述，需要用于与电子设备(例如，可穿戴设备)交互的节能技术，这些节能技术包括用于处理和解释空中手势的节能技术(例如，包括在不同的时间点适当地使用低功率检测器、超低功率检测器和高功率检测器，例如通过在处理一些类型的信号(包括神经肌肉信号)时使这些不同的检测器在激活状态与非激活状态之间循环)。因此，本文描述的系统、设备和方法允许更高效和更简化的人机界面以及高效的底层数据处理和数据解释技术，因为其可以向用户提供用于与电子设备和数字媒体交互的技术，而不会给用户带来不便，也不需要用户与任何电子设备进行物理交互以手动开启和/或关闭高功耗操作。例如，本文描述的设备包括低功率检测器和高功率检测器(以及在一些实施例中，超低功率检测器)，使得在不需要给高功率检测器通电的情况下对至少一些交互进行检测和响应，并且使得即使使用高功率检测器，也以节能的方式使用高功率检测器。

本公开包括用于使用特定手势(例如，中指与拇指捏合手势)唤醒可穿戴设备并以节能方式执行唤醒处理的系统和方法。在一些实施例中，使用低功率手势检测器算法、高功率手势检测器算法和低功率缓冲器。在一些实施例中，使用一个或多个物理传感器(例如，惯性测量单元(inertial measurement unit，IMU)、肌电图仪(Electromyography，EMG)和/或气压计)来向低功率检测器和缓冲器提供实时手势数据。作为示例，当低功率检测器根据数据识别到目标手势时，低功率检测器激活(唤醒)高功率检测器。然后，高功率检测器可以使用实时缓冲的数据来确认目标手势。如果高功率检测器确认已经接收到目标手势，则可以执行相应的动作。

在一些实施例中，根据预定义的信号选择标准从一组信号中选择使用高功率检测器处理的多个信号。在一些实施例中，低功率检测器是或包括微控制器单元(microcontroller unit，MCU)，高功率检测器是或包括片上系统(system-on-a-chip，SoC)，并且MCU和SoC是不同的分开的单元。在一些实施例中，多个传感器包括以下中的至少一者：惯性测量单元(IMU)、光电容积描记(Photoplethysmography，PPG)传感器或霍尔效应传感器。如下文进一步详细描述的，本文描述的一些手势和操作可以在没有显示任何用户界面的情况下执行，这允许用户在物理世界中执行其日常任务时与数字技术更无缝地交互，并降低数字技术的能量消耗。在一个特定示例中，可以使用低功率检测器并且无需将高功率检测器转换到激活状态，来即时检测一些手势(例如，可用空中手势的较小子集，其可以称为即时动作或即时动作空中手势)。

根据一些实施例，提供了一种用于节能处理神经肌肉信号以确认预定事件(例如，预定事件的示例可以是检测唤醒手势，该唤醒手势用于唤醒腕式可穿戴设备以显示主屏幕用户界面)的发生的方法。该方法包括：(i)获得来自可穿戴设备的神经肌肉信号感测部件的第一组神经肌肉信号；(ii)在通过使用可穿戴设备的低功率检测器确定第一组神经肌肉信号需要进一步处理以确认已经在可穿戴设备处做出了预定空中手势之后：(a)使用该可穿戴设备的高功率检测器来处理第一组神经肌肉信号，该高功率检测器被配置为检测第一数量的空中手势同时消耗该可穿戴设备的第一功率量，并且低功率检测器被配置为检测第二数量的空中手势同时消耗该可穿戴设备的第二功率量，第二数量的空中手势少于第一数量的空中手势，该可穿戴设备的第二功率量小于该可穿戴设备的第一功率量，以及(b)根据确定该处理指示该预定空中手势确实发生，记录预定空中手势的发生；(iii)接收来自可穿戴设备的神经肌肉信号感测部件的第二组神经肌肉信号；以及(iv)在通过使用低功率检测器而不使用高功率检测器确定在可穿戴设备处做出了不同于该预定空中手势的不同预定空中手势之后，响应于在该可穿戴设备处的该不同预定空中手势来执行动作。

在一些实施例中，计算设备(例如，腕式可穿戴设备或头戴式设备、或中间设备，该中间设备例如为智能手机或台式计算机或膝上型计算机，该智能手机或台式计算机或膝上型计算机可以被配置为协调在腕式可穿戴设备和头戴式设备处的操作)包括一个或多个处理器、存储器、显示器(在一些实施例中，显示器可以是可选的，例如对于某些示例中间设备而言，这些中间设备可以协调在腕式可穿戴设备和头戴式设备处的操作，并因此具有充足的处理和功率资源，但不需要具有其自己的显示器)、以及存储在存储器中的一个或多个程序。所述程序被配置为由该一个或多个处理器执行。该一个或多个程序包括用于执行(或使得执行)本文描述的多种方法(例如，方法600、方法700和方法800)中的任何方法的指令。

在一些实施例中，非暂态计算机可读存储介质存储一个或多个程序，该一个或多个程序被配置为由计算设备(例如，腕式可穿戴设备或头戴式设备、或中间设备(例如智能手机或台式计算机或膝上型计算机，该智能手机或台式计算机或膝上型计算机可以被配置为协调在腕式可穿戴设备和头戴式设备处的操作))执行，该计算设备具有一个或多个处理器、存储器和显示器(在一些实施例中，显示器可以是可选的，例如针对某些示例中间设备而言，这些中间设备可以协调在腕式可穿戴设备和头戴式设备处的操作，并因此具有充足的处理和功率资源，但不需要具有其自己的显示器)。该一个或多个程序包括用于执行(或使得执行)本文描述的多种方法(例如，方法600、方法700和方法800)中的任何方法的指令。

因此，公开了用于基于神经肌肉信号检测和识别手势的方法、系统和计算机可读存储介质。这样的方法和系统可以补充或取代用于手势检测和识别的传统方法。

说明书中描述的特征和优点不一定包括所有特征和优点，尤其是，根据本公开中提供的附图、说明书和权利要求书，一些附加特征和优点对于本领域普通技术人员来说将是显而易见的。此外，应当注意，本说明书中使用的语言主要是出于可读性和指导目的而选择的，并不一定被选择来描绘或限定本文描述的主题。

附图说明

为了更详细地理解本公开，可以参考各种实施例的特征来进行更具体的描述，其中的一些特征在附图中示出。然而，附图仅示出了本公开的相关特征，因此不一定被认为是限制性的，正如本领域技术人员在阅读本公开时将理解的那样，本说明书可以承认其它有效的特征。

图1A至图1G示出了根据一些实施例的与可穿戴设备交互的示例用户场景。

图2A至图2H示出了根据一些实施例的与可穿戴设备交互的另一示例用户场景。

图3A至图3D示出了根据一些实施例的与可穿戴设备交互的另一示例用户场景。

图4是示出了根据一些实施例的用于检测和识别用户手势的示例部件的框图。

图5A至图5D示出了根据一些实施例的缓冲器部件的示例操作。

图6是示出了根据一些实施例的用于确认预定事件的发生的示例方法的流程图。

图7是示出了根据一些实施例的用于识别动作并执行相应动作的示例方法的流程图。

图8是示出了根据一些实施例的用于报告手势的示例方法的流程图。

图9A、图9B、图9C-1、图9C-2、图9D-1和图9D-2示出了根据一些实施例的示例AR系统。

图10A和图10B示出了根据一些实施例的示例腕式可穿戴设备。

图11A、图11B-1、图11B-2和图11C示出了根据一些实施例的示例人工现实系统。

图12A和图12B示出了根据一些实施例的示例手持式设备。

图13A至图13C示出了根据一些实施例的示例可穿戴手套。

根据惯例，附图中所示的各种特征不一定是按比例绘制，并且在整个说明书和附图中可以使用相似的附图标记来表示相似的特征。

具体实施方式

手势识别是一种允许用户快速且有效地与电子设备交互的方便的输入模式。然而，持续运行用于手势检测和识别的电路会导致显著的功率消耗和缩短的电池使用时长。本文描述的系统、设备和方法包括低功率检测器(例如，被配置为识别有限的手势集合)和高功率检测器(例如，被配置为识别更大的手势集合和/或更复杂的手势)。通过在低功率检测器没有检测到可行的手势候选的情况下，将高功率检测器保持在非激活状态(例如，关闭或休眠状态)，降低了功耗，并且可以延长电池使用时长。此外，通过将手势数据存储在缓冲器部件中，高功率检测器能够对在其被激活之前发生的手势进行评估，而不是要求用户首先唤醒高功率检测器，然后做出(或重新做出)该手势。

在基于EMG的用户输入系统中，多个传感器可以连续采集样本以检测用户肌肉活动。然后，可以在机器学习模型中使用这些样本以获得用户的输入意图。这样的意图可以是，将系统从较低功率的休眠状态唤醒，并执行诸如用于照片的快门按钮或更高级的用户交互之类的动作。这些动作可以在人类可穿戴设备中执行，该可穿戴设备通过具有有限储能的电池来操作。用户可以在任何时间发起这些动作，并且为了更好的用户体验，在设备处于低功率状态时，不应错过用户活动。

一些手势系统通过首先放大从多个传感器触点获得的模拟信号，然后通过模数转换器(analog-to-digital convertor，ADC)将这些模拟信号转换成数字值来连续操作。然后，一个或多个机器学习模型对这些数字值进行处理，以获得用户的预期动作。然而，在一段时间内，用户可能未做出动作，但即使在没有用户动作的情况下，整个系统也以预期用户动作的方式运行，从而会消耗必要的功率。

本公开中的系统可以通过以下方式来改进传统系统：将系统的大部分保持在低功率休眠状态直到检测到某个肌肉活动，同时在低功率子系统中持续缓存ADC样本值。当没有肌肉活动时，可以重复使用缓冲空间并丢弃旧的样本值。一旦检测到某个肌肉活动，就可以从低功率状态启用系统的附加部分，并且对缓存的样本进行处理以类似于上述那样获得用户意图。由于样本已被缓存，因此不会丢失信息，并且对缓存的样本的处理速度可以比实时更快，因此在许多情况下不会增加时延或降低用户体验。由于系统的大部分可以保持在较低的功率状态，因此消耗的能量较少。这可以实现更长的电池使用时长，或者允许使用更小、更低容量的电池。

以上可以进一步扩展到分层实现方式，其中第一低复杂度模型用于识别诸如唤醒动作或即时动作等有限的动作，并在低功率子系统中进行处理。如果低功率子系统识别出用户意图超出了可以在本地进行识别和/或处理的意图，则低功率子系统可以唤醒系统的较高性能和相应的较高功率部分。与上述类似，可以再次缓存样本，使得不会丢失用户信息或意图。

本公开的实施例可以包括各种类型的人工现实系统或人工现实系统的各种实施例、或可以结合各种类型的人工现实系统或人工现实系统的各种实施例来实现。人工现实构成了一种已被虚拟对象改变以呈现给用户的现实形式。这种人工现实可以包括和/或表示虚拟现实(virtual reality，VR)、增强现实(augmented reality，AR)、混合现实(mixedreality，MR)、混合现实(hybrid reality)、或这些中的一者或多者的某种组合和/或变化。人工现实内容可以包括完全生成的内容或与所捕获(例如，真实世界)内容相结合的生成的内容。人工现实内容可以包括视频、音频、触觉反馈或它们的某种组合，以上中的任何一者都可以在单个通道或多个通道中呈现(例如，给观看者带来三维效果的立体视频)。此外，在一些实施例中，人工现实还可以与应用、产品、附件、服务或它们的某种组合相关联，这些应用、产品、附件、服务或它们的某种组合例如用于在人工现实中创建内容，和/或以其它方式用于人工现实中(例如，在人工现实中执行动作)。

人工现实系统可以以各种不同的形状要素和配置来实现。一些人工现实系统包括近眼显示器(near-eye display，NED)，该NED提供对真实世界的可见性，或者使用户在视觉上沉浸在人工现实中。尽管一些人工现实设备可以是独立的系统，但其它人工现实设备与外部设备通信和/或配合以向用户提供人工现实体验。这种外部设备的示例包括手持控制器、移动设备、台式计算机、由用户穿戴的设备、由一个或多个其他用户穿戴的设备、和/或任何其它合适的外部系统。

图1A至图1G示出了根据一些实施例的与可穿戴设备交互的示例用户场景。图1A示出了用户102穿戴着腕式可穿戴设备104(例如，智能手表)和头部可穿戴设备106(例如，AR眼镜)。图1A中的用户102在第一时间t₁正观看场景108(例如，利用不可见的用户界面或覆盖)。图1A中的腕式可穿戴设备104包括一组神经肌肉传感器110、低功率检测器112和高功率检测器114。在图1A中，这些神经肌肉传感器110是激活的，例如，主动地监测用户手臂中的神经肌肉信号。在图1A中，低功率检测器112也是激活的，例如，主动分析来自神经肌肉传感器110的至少一子集的数据以识别/辨识用户正在做出的手势。图1A中的高功率检测器114是非激活的(例如，断电和/或处于低功率状态)。在一些实施例中，低功率检测器112在分析(识别)用户手势时，比高功率检测器114消耗更少的功率。

图1B示出了在低功率检测器112处于激活而高功率检测器114处于非激活时，用户102在第二时间t₂做出捏合手势120(例如，无名指与拇指捏合手势)。图1C示出了在第三时间t₃激活高功率检测器114以识别捏合手势120，并且图1C示出了相应显示的包括菜单122的用户界面。图1C还示出了该手势已被识别的指示127。在一些实施例中，在腕式可穿戴设备104的显示器上呈现指示127。在一些实施例中，指示127为或包括，音频指示和/或触觉指示。在一些实施例中，不向用户呈现用户手势被识别的指示。

在图1B和图1C的示例中，捏合手势120对应于激活菜单122的动作(例如，使得显示菜单122并使得菜单122响应于随后的用户手势)。例如，捏合手势120由高功率检测器114识别，并且作为响应，菜单122被激活。在图1C中，相机元件124处于焦点，并且用户界面还示出了多个手势选项126，这些手势选项包括(响应于中指轻击手势)打开相机应用的选项126-1、(响应于食指轻击手势)查看图片库的选项126-2、以及(响应于深捏合手势)打开相机设置的选项126-3。在一些实施例中，深捏合手势是具有满足一个或多个力标准的力(例如，超过预设力阈值的力)的捏合手势。在一些实施例中，中指轻击手势涉及用户102使其中指触摸其无名指，同时保持无名指与拇指捏合。在一些实施例中，食指轻击手势涉及用户102使其食指触摸其无名指，同时保持无名指与拇指捏合。

图1D示出了用户102在第四时间t₄已经停止做出捏合手势120，并且继续显示用户界面。图1D还示出了高功率检测器114保持在激活状态。在一些实施例中，高功率检测器114在被激活之后在设定时间量(例如，10秒、30秒或1分钟)内保持激活状态。在一些实施例中，在手势(例如，需要由高功率检测器分析的手势)被检测到之后，高功率检测器114在设定时间量内保持激活状态。

图1E示出了用户在第五时间t₅做出轻击手势125(例如，中指与拇指轻击手势)。图1E还示出了响应于轻击手势125激活相机应用(对应于图1D中的选项126-1)，如场景108中的相机符号130所指示的。例如，轻击手势125由高功率检测器114识别，并且作为响应，相机应用被激活。图1E还示出了手势被识别的指示131。在图1E的示例中，高功率检测器114是激活的(例如，用于分析轻击手势125)。

图1F示出了用户102在第六时间t₆已经停止做出轻击手势125，并且如图1F中继续显示的相机符号130所指示的，相机应用保持激活。图1F还示出了高功率检测器114已经转换到非激活状态。在一些实施例中，高功率检测器114在被激活后的设定时间量(例如，10秒、30秒或1分钟)转换到非激活状态。在一些实施例中，高功率检测器114在手势(例如，需要由高功率检测器分析的手势)被检测到之后的设定时间量转换到非激活状态。

图1G示出了用户在第七时间t₇做出轻击手势132(例如，中指与拇指轻击手势)。图1G还示出了响应于轻击手势132激活相机功能(例如，图像捕获功能)，如场景108中的通知134所指示的。例如，轻击手势132由低功率检测器112识别，并且作为响应，相机功能被激活。图1G还示出了手势被识别的指示139。在图1G的示例中，高功率检测器114保持在非激活状态(例如，低功率检测器112能够在没有高功率检测器114的情况下识别轻击手势132)。

图2A至图2H示出了根据一些实施例的与可穿戴设备交互的另一示例用户场景。图2A示出了用户102穿戴着腕式可穿戴设备104(例如，智能手表)和头部可穿戴设备106(例如，AR眼镜)。图2A中的用户102在第一时间t₁正查看场景108(例如，利用不可见的用户界面或覆盖)。图2A中的腕式可穿戴设备104包括一组神经肌肉传感器110、低功率检测器112和高功率检测器114。图2A中的腕式可穿戴设备104还包括超低功率检测器202。在图2A中，神经肌肉传感器110和超低功率检测器202是激活的，而低功率检测器112和高功率检测器114是非激活的。在一些实施例中，超低功率检测器202被配置为检测运动(例如，超低功率检测器202包括加速度计和/或陀螺仪、或耦接到加速度计和/或陀螺仪)。在一些实施例中，超低功率检测器202在检测(和/或分析)用户手势时，比低功率检测器112消耗更少的功率。

图2B示出了用户102在第二时间t₂用其手部做出抖动动作。在图2B的示例中，超低功率检测器202检测到抖动动作并激活低功率检测器112以分析该动作。图2C示出了低功率检测器112在第三时间t₃再次处于非激活状态。在图2B和图2C的示例中，抖动动作并非对应于输入手势(例如，是假肯定)。因此，低功率检测器112分析抖动动作并确定该抖动动作并非对应于输入手势。根据该确定，低功率检测器112返回到非激活状态。

图2D示出了用户在第四时间t₄做出捏合手势204(例如，无名指与拇指捏合手势)。在图2D的示例中，超低功率检测器202检测到捏合手势动作并激活低功率检测器112以分析该动作。图2E示出了在第五时间t₅激活高功率检测器114以识别捏合手势204，并且示出了相应显示的包括菜单122的用户界面。例如，捏合手势204由高功率检测器114识别，并且作为响应，菜单122被激活。图2E还示出了手势被识别的指示205。在一些实施例中，在腕式可穿戴设备104的显示器上呈现指示205。在一些实施例中，指示205是或包括，音频指示和/或触觉指示。在一些实施例中，不向用户呈现用户手势被识别的指示。此外，在图2E中，相机元件124在菜单122内处于焦点。

图2F示出了在低功率检测器112和高功率检测器114被激活时，用户102在第六时间t₆做出转动手势207(例如，在保持捏合手势204的同时转动腕部和/或前臂)。在图2F的示例中，转动手势207对应于菜单122内的导航动作(例如，将焦点移动到菜单122内的不同元素)。例如，转动手势207由高功率检测器114识别，并且作为响应，激活导航动作。在图2F中，音乐元素209处于焦点，并且用户界面还示出了多个手势选项206，这些手势选项包括(响应于食指轻击手势)播放当前播放列表中的音乐的选项206-1、(响应于深捏合手势)切换到不同播放列表的选项206-2、以及关闭(例如，停止显示)手势选项206工具提示的选项206-3。

图2G示出了用户在第七时间t₇做出轻击手势213(例如，食指与拇指轻击手势)。图2G还示出了响应于轻击手势213激活音乐应用(并且重放音乐项目)(对应于图2F中的选项206-1)，如场景108中的音乐符号210所指示的。例如，轻击手势213由高功率检测器114识别，并且作为响应，音乐应用被激活并且音乐项目被播放。图2G还示出了手势被识别的指示211。

图2H示出了用户102在第八时间t₈已经停止做出轻击手势213，并且如图2H中继续显示的音乐符号210所指示的，音乐应用保持激活。图2H还示出了高功率检测器114和低功率检测器112已经转换到非激活状态。在一些实施例中，低功率检测器112和高功率检测器114在被激活后的设定时间量(例如，10秒、30秒或1分钟)转换为非激活状态。在一些实施例中，低功率检测器112和高功率检测器114在手势(例如，需要由这些功率检测器分析的手势)被检测到之后的设定时间量转换到非激活状态。

图3A至图3D示出了根据一些实施例的与可穿戴设备交互的另一示例用户场景。图3A示出了用户102穿戴着在第一时间t₁显示用户界面302(例如，指示一天中的时间)的腕式可穿戴设备104。图3A中的腕式可穿戴设备104包括一组神经肌肉传感器110、低功率检测器112和高功率检测器114。在图3A中，神经肌肉传感器110是激活的，例如，主动地监测用户手臂中的神经肌肉信号。在图3A中低功率检测器112也是激活的，例如，主动分析来自神经肌肉传感器110的至少一子集的数据以识别/辨识正在做出的用户手势。图3A中的高功率检测器114是非激活的(例如，断电和/或处于低功率状态)。

图3B示出了用户102在第二时间t₂做出捏合手势303(例如，食指与拇指捏合手势)。图3B还示出了激活高功率检测器114以识别捏合手势303，以及示出了相应显示的包括菜单306的用户界面304。在高功率检测器114是激活的时，图3B中的低功率检测器112转换为非激活状态(例如，为了节省功率，一次只有一个检测器被激活)。菜单306包括与多个应用对应的多个元素以及超时指示符308，该超时指示符指示菜单306再次停用之前的时间量。

图3C示出了用户102在第三时间t₃保持捏合手势303，并且超时指示符308指示菜单306根据没有检测和/或识别到后续手势而将被停用。图3C还示出了高功率检测器114保持激活以分析和/或识别在超时时段期间做出的任何后续手势。

图3D示出了用户102在第四时间t₄保持捏合手势303，以及(例如，根据菜单306已经被停用)显示的用户界面302。图3D还示出了高功率检测器114是非激活的，而低功率检测器112是激活的(例如，以检测和/或分析后续手势)。在一些实施例中，低功率检测器112和高功率检测器114根据超时时段结束而在激活状态与非激活状态之间切换。

此外，尽管关于系列性的图1A至图3D描述的用户场景被描述为单独的序列，但在一些实施例中，这些用户场景彼此组合。例如，关于图2A至图2H描述的序列可以发生在关于图1A至图1G和图3A至图3D描述的序列之前(或之后)(例如，所有三个序列都可以在用户102晨间散步时发生)。

关于系列性的图1A至图3D描述的用户场景涉及特定用户界面和应用，例如图1C中的菜单122和图3B中的用户界面304。然而，序列、手势、动作和操作可以与其它类型的菜单和应用(例如网络浏览、记笔记、消息传递、社交媒体、文字处理、数据输入、编程等)结合使用。

在一些实施例中，检测、识别和响应其它类型的事件。例如，可穿戴设备可以是具有可拆卸显示器的智能手表，并且该事件可以对应于显示器附着事件(attachmentevent)。在该示例中，在附着事件之后，打开可穿戴设备的显示器。作为另一示例，可穿戴设备可以是一副智能眼镜，并且事件可以对应于用户穿戴着该智能眼镜。当事件对应于穿戴着智能眼镜时，系统可以使虚拟助理(例如，通过扬声器)提示用户提供命令。

图4是示出了根据一些实施例的用于检测和识别用户手势的示例部件的框图。在一些实施例中，图4中所示的一个或多个部件为可穿戴设备(例如，腕式可穿戴设备104)的部件。如图4所示，神经肌肉信号感测部件402和多个传感器404耦接到模拟前端(analogfrontend，AFE)部件410。神经肌肉信号感测部件402包括多个通道(例如，通道406-1至通道406-n)。在一些实施例中，每个通道对应于一对传感器(例如，一对电极)。该多个传感器404包括多个单独的传感器(例如，传感器404-1至传感器404-m)。在一些实施例中，该多个传感器404包括一个或多个IMU、一个或多个加速度计、一个或多个陀螺仪、一个或多个磁力计和/或其它类型的传感器。在一些实施例中，AFE部件410包括一个或多个模数转换器(ADC)。在一些实施例中，AFE部件410包括一个或多个滤波器(例如，高通滤波器、带通滤波器和/或低通滤波器)。例如，传感器404包括加速度计，并且AFE部件410可以包括用于该加速度计的高通滤波器(例如，10赫兹高通滤波器)。在一些实施例中，AFE部件410包括用于从EMG信号获得哈尔(Haar)特征的分类器子部件。在一些实施例中，AFE部件410包括超低功率检测器部件(例如，运动分析部件)，例如超低功率检测器202。

AFE部件410耦接到一个或多个缓冲器412。在一些实施例中，这些缓冲器412包括用于每个通道406的相应缓冲器。在一些实施例中，这些缓冲器412包括用于每个传感器404的相应缓冲器。在一些实施例中，这些缓冲器412包括一个或多个先进先出(first-in-first-out，FIFO)缓冲器和/或一个或多个环形缓冲器。这些缓冲器412至少临时地存储来自AFE部件410的数据，例如直到数据被重写、删除和/或缓冲器断电。在一些实施例中，这些缓冲器412被配置为(例如，具有能力)存储与一个或多个手势对应的传感器数据(例如，1秒、2秒或3秒的数据)。

低功率检测器414耦接到AFE部件410和这些缓冲器412。在一些实施例中，低功率检测器414耦接到AFE部件410(例如，以能够实时分析手势数据)。在一些实施例中，低功率检测器414耦接到这些缓冲器412(例如，以能够分析对应于手势周期的一组缓冲数据)。在一些实施例中，低功率检测器414耦接到特定通道(例如，通道406-1)以基于来自该特定通道的数据来识别手势。在一些实施例中，低功率检测器414是低功率检测器112的实例。在一些实施例中，低功率检测器414是或包括，处理器、控制器、微控制器、专用集成电路(Application-Specific Integrated Circuit，ASIC)和/或其它控制电路。在一些实施例中，低功率检测器414耦接到AFE部件410，使得AFE部件410能够唤醒低功率检测器414(使低功率检测器启动通电过程)。

高功率检测器416耦接到这些缓冲器412(例如，以能够分析对应于手势周期的一组缓冲数据)。在一些实施例中，高功率检测器416耦接到一组通道406(例如，比低功率检测器414的一组通道规模大的一组通道)。在一些实施例中，高功率检测器416是高功率检测器114的实例。在一些实施例中，高功率检测器416是或包括，片上系统(SoC)、处理器(例如，CPU)、数字信号处理器(Digital Signal Processor，DSP)、控制器、微控制器、ASIC和/或其它控制电路。高功率检测器416经由控制线424耦接到低功率检测器414，使得低功率检测器414能够唤醒高功率检测器416(使高功率检测器启动通电过程)。在一些实施例中，高功率检测器416耦接到AFE部件410，使得AFE部件410能够唤醒高功率检测器416。根据一些实施例，高功率检测器416耦接到(例如，存储在设备处的存储器中的)手势数据415。在一些实施例中，高功率检测器416使用手势数据415对来自缓冲器412的数据进行补充以用于识别和/或辨识手势。例如，高功率检测器416被配置为选择与来自缓冲器412的数据对应的手势数据415(例如，将来自缓冲器的数据和与特定类型的用户手势对应的手势数据进行匹配)。

图5A至图5D示出了根据一些实施例的缓冲器部件的示例操作。图5A示出了多个缓冲器412包括多个环形缓冲器502(例如，缓冲器502-1至缓冲器502-n)。图5A中的每个环形缓冲器502能够存储多达8个数据点。在一些实施例中，每个环形缓冲器502具有对应于手势执行周期(例如，1秒至2秒)的容量。图5A对应于这样的第一时间：在该第一时间，经由输入线506获得缓冲器502-1的第一值(0)，并经由输入线510获得缓冲器502-n的第一值(1)。在一些实施例中，每条输入线耦接到AFE部件410。在一些实施例中，每条输入线对应于相应的通道406。缓冲器502-1将其第一值(0)存储在基于写指针504的位置处，并且缓冲器502-n将其第一值(1)存储在基于写指针508的位置处。在图5A中，不从任一缓冲器502读出数据(例如，输出线512和514是非激活的)。根据一些实施例，每个写指针沿顺时针方向移动(例如，迭代地指向从前一写位置开始顺时针方向的位置)。

图5B示出了多个缓冲器412在第一时间之后的第二时间的操作。在图5B中，经由输入线506获得一系列值(3、4、7、8)，并根据写指针504将该系列值存储在缓冲器502-1中。此外，在图5B中，经由输入线510获得一系列值(1、3、0、2)，并根据写指针508将该系列值存储在缓冲器502-n中。在图5B中，不从任一缓冲器502读出数据(例如，输出线512和514是非激活的)。

图5C示出了多个缓冲器412在第二时间之后的第三时间的操作。在图5C中，经由输入线506获得第二系列值(1、1、1)，并根据写指针504将该第二系列值存储在缓冲器502-1中；经由输入线510获得第二系列值(6、5、1)，并根据写指针508将该第二系列值存储在缓冲器502-n中。在图5C中，每个缓冲器502充满数据(例如，满容量)，并且根据读指针520经由输出线512读出第一数据值(0)。

图5D示出了多个缓冲器412在第三时间之后的第四时间的操作。在图5D中，经由输入线506获得第三系列值(3、9、0)，并根据写指针504将该第三系列值存储在缓冲器502-1中(例如，重写先前存储的(0、8、7)值)；经由输入线510获得第三系列值(3、3、4)，并根据写指针508将该第三系列值存储在缓冲器502-n中(例如，重写先前存储的(1、2、0)值)。图5D还示出了正经由输出线512读出(例如，在读指针520定位作为写指针504之前一个位置的位置时，在被重写之前读出)的值(8、7、4)。在该示例中，图5C中存储在缓冲器502-n中的值(1、2、0)在图5D中被重写之前未被读出。

图6是示出了根据一些实施例的用于确认预定事件的发生的方法600的流程图。方法600在具有一个或多个处理器和存储器的计算系统(例如，可穿戴设备或中间设备)处执行。在一些实施例中，存储器存储一个或多个程序，该一个或多个程序被配置为由该一个或多个处理器执行。图6中所示的多个操作中的至少一些操作对应于存储在计算机存储器或计算机可读存储介质(例如，存储器6080、6050和/或7050)中的指令。在一些实施例中，计算系统是可穿戴设备，例如腕式可穿戴设备104或头部可穿戴设备106。在一些实施例中，计算系统是或包括中间设备(例如，智能手机)。

该系统获得来自可穿戴设备的神经肌肉信号感测部件(例如，神经肌肉信号感测部件402)的第一组神经肌肉信号(602)。在一些实施例中，神经肌肉信号感测部件包括IMU和/或EMG传感器。在一些实施例中，神经肌肉信号感测部件包括多个通道(例如，通道406)。

在使用可穿戴设备的低功率检测器(例如，低功率检测器414)确定第一组神经肌肉信号需要进一步处理以确认已经在可穿戴设备处做出了预定空中手势之后(604)，系统使用可穿戴设备的高功率检测器(例如，高功率检测器416)处理第一组神经肌肉信号(606)。在一些实施例中，(i)第一组神经肌肉信号是一组模拟信号；(ii)该系统使用模数转换器部件(例如，AFE部件410)将该组模拟信号转换为相应的一组数字信号；以及(iii)确定相应神经肌肉信号需要进一步处理是基于对该相应的一组数字信号中的相应数字信号的分析。

在一些实施例中，(i)神经肌肉信号感测部件包括多个神经肌肉信号传感器，该多个神经肌肉信号传感器对应于高功率检测器；(ii)在该高功率检测器处于激活状态时，来自该多个神经肌肉信号传感器的数据由该高功率检测器处理；并且(iii)在该高功率检测器处于非激活状态时，来自该多个神经肌肉信号传感器的数据存储在可穿戴设备处但不被该高功率检测器处理。

在一些实施例中，(i)在确定第一组神经肌肉信号需要进一步处理以确认已经在可穿戴设备处做出了预定空中手势之前，高功率检测器处于非激活状态；并且(ii)根据确定第一组神经肌肉信号需要进一步处理以确认已经在可穿戴设备处做出了预定空中手势，系统将高功率检测器转换到激活状态。

在一些实施例中，低功率检测器在默认激活状态下运行以处理来自神经肌肉信号感测部件的检测到的神经肌肉信号，并且高功率检测器在默认非激活状态下运行，在该默认非激活状态下，高功率检测器在没有触发信号的情况下，不对神经肌肉信号进行处理。

在使用可穿戴设备的低功率检测器确定第一组神经肌肉信号需要进一步处理以确认已经在可穿戴设备处做出了预定空中手势之后(604)，系统还根据确定该处理指示预定空中手势确实发生，来记录预定空中手势的发生(608)。在一些实施例中，预定空中手势包括唤醒手势。

在一些实施例中，(i)神经肌肉信号感测部件包括多个神经肌肉信号传感器，该多个神经肌肉信号传感器对应于高功率检测器；(ii)在高功率检测器处于激活状态时，该多个神经肌肉信号传感器中的每个神经肌肉信号传感器都处于激活状态；以及(iii)在高功率检测器处于非激活状态时，该多个神经肌肉信号传感器中的至少一子集是非激活的。

在一些实施例中，(i)系统使用低功率检测器确定第一组神经肌肉信号中的相应神经肌肉信号需要进一步处理以确认已经在可穿戴设备处做出了预定空中手势；以及(ii)根据确定第一组神经肌肉信号中的相应神经肌肉信号需要进一步处理，系统将高功率检测器转换到激活状态，并且将低功率检测器转换到非激活状态。在一些实施例中，在记录了预定空中手势的发生之后，系统将高功率检测器转换到非激活状态，并将低功率检测器转换到激活状态。

在一些实施例中，在记录预定空中手势的发生之前，系统对来自可穿戴设备的第二传感器(例如，传感器404)的数据进行评估以确认在可穿戴设备处发生了预定空中手势，其中第二传感器不同于神经肌肉信号感测部件。在一些实施例中，结合使用低功率检测器确定相应神经肌肉信号需要进一步处理，系统对来自可穿戴设备的第二传感器的数据进行评估以确认发生了空中手势，其中第二传感器不同于神经肌肉信号感测部件。在一些实施例中，可穿戴设备的第二传感器是IMU。

在一些实施例中，第一组神经肌肉信号存储在可穿戴设备处的缓冲器(例如，缓冲器412)中，并且高功率检测器被配置为从缓冲器获得第一组神经肌肉信号。在一些实施例中，(i)根据确定缓冲器具有不充足数据以确认已经在可穿戴设备处做出了预定空中手势，系统为缓冲器中的数据选择补充数据，系统为缓冲器中的数据选择补充数据包括以下中的一者或多者：(a)使用机器学习来预测先行神经肌肉信号(Precursor NeuromuscularSignal)；以及(b)基于缓冲器中的数据选择一组预定义的先行神经肌肉信号；以及(ii)对缓冲器中的数据和所选择的补充数据进行聚合。

在一些实施例中，根据确定缓冲器具有充足数据以确认已经在可穿戴设备处做出了预定空中手势，系统放弃为缓冲器中的数据选择补充数据。在一些实施例中，缓冲器的容量对应于神经肌肉信号检测时段的最小时长，预定空中手势是在该神经肌肉信号检测时段期间做出的。

系统接收来自可穿戴设备的神经肌肉信号感测部件的第二组神经肌肉信号(610)。

在使用低功率检测器而不使用高功率检测器确定在可穿戴设备处做出了不同于预定空中手势的不同预定空中手势之后(612)，系统响应于可穿戴设备处的该不同预定空中手势而执行动作(614)。

在一些实施例中，(i)该预定空中手势包括唤醒手势，其后跟随至少一个另一空中手势；以及(ii)记录该预定空中手势的发生包括：(a)记录唤醒手势的发生以使高功率检测器保持在激活状态；以及(b)记录另一空中手势的发生以使可穿戴设备执行对应于该另一空中手势的功能以在用户界面内执行动作。

在一些实施例中，在使用低功率检测器确定第一组神经肌肉信号中的相应神经肌肉信号需要进一步处理以确认已经在可穿戴设备处做出了预定空中手势之前，系统基于经由神经肌肉信号感测部件检测到的满足肌肉活动唤醒标准的肌肉活动，将低功率检测器从非激活状态转换到激活状态。在一些实施例中，在低功率检测器处于激活状态时，根据确定来自神经肌肉信号感测部件的数据指示肌肉活动唤醒标准不再被满足，系统将低功率检测器转换到非激活状态。

在一些实施例中，在响应于可穿戴设备处的不同预定空中手势而执行动作之后，系统根据已经经过的预定时间量将高功率检测器和低功率检测器两者转换到非激活状态。在一些实施例中，在预定时间量期间，没有相应神经肌肉信号被确定为需要进一步处理以确认已经在可穿戴设备处做出了空中手势。

在一些实施例中，(i)系统使用低功率检测器确定在可穿戴设备处做出了另一不同预定空中手势，该确定是基于第三组神经肌肉信号中的相应神经肌肉信号，其中该另一不同预定空中手势不同于该不同预定空中手势和该预定空中手势；以及(ii)响应于确定在可穿戴设备处做出了该另一不同预定空中手势，系统在可穿戴设备处执行另一动作，该另一动作不同于该动作。

在一些实施例中，(i)系统使用低功率检测器确定在可穿戴设备处做出了一个附加预定空中手势，该确定是基于第四组神经肌肉信号中的相应神经肌肉信号，其中该一个附加预定空中手势不同于该另一不同预定空中手势、该不同预定空中手势和该预定空中手势；以及(ii)响应于确定在可穿戴设备处做出了该一个附加预定空中手势，系统在可穿戴设备处执行又一动作，该又一动作不同于该动作和该另一动作。在一些实施例中，在可穿戴设备的显示器处于关闭状态时，执行该动作和该另一动作中的一者或两者。

图7是示出了根据一些实施例的用于识别动作并执行相应动作的方法700的流程图。方法700在具有一个或多个处理器和存储器的计算系统(例如，可穿戴设备或中间设备)处执行。在一些实施例中，存储器存储一个或多个程序，该一个或多个程序被配置为由该一个或多个处理器执行。图7中所示的多个操作中的至少一些操作对应于存储在计算机存储器或计算机可读存储介质(例如，存储器6080、6050和/或7050)中的指令。在一些实施例中，计算系统是可穿戴设备，例如腕式可穿戴设备104或头部可穿戴设备106。在一些实施例中，计算系统是或包括中间设备(例如，智能手机)。

在702，系统处于空闲状态(例如，等待用户活动)，在该空闲状态期间，高功率检测器(例如，高功率检测器114)和/或低功率检测器(例如，低功率检测器112)处于非激活(低功率)状态。在一些实施例中，在处于空闲状态702时，神经肌肉传感器是激活的(例如，以获得用户移动和/或手势的神经肌肉数据)。在一些实施例中，在处于空闲状态702时，来自神经肌肉传感器的数据被存储在一个或多个缓冲器中(例如，用于由低功率检测器和/或高功率检测器进行潜在的未来分析)。

根据(例如，通过低功率检测器和/或超低功率检测器)检测到活动，系统转换到低功率分析状态704。在低功率分析状态704下，系统尝试从检测到的活动中识别用户动作(用户手势)。例如，活动数据被传输到低功率检测器以进行分析。

根据确定检测到的活动是假肯定的(例如，不对应于任何用户动作)，系统转换回空闲状态702。根据通过低功率分析识别到动作，系统转换到动作执行状态706(执行所识别的动作)。在一些实施例中，转换到动作执行状态706包括，将低功率检测器转换到非激活(休眠)状态。在执行所识别的动作之后，如果(例如，在预设时间段内)没有检测到进一步的活动，则系统转换回空闲状态702。

根据动作未被确认(例如，识别到潜在动作)，系统转换到高功率分析状态708。在高功率分析状态708下，系统尝试例如使用附加计算能力(例如，高功率检测器114)从检测到的活动中识别用户动作(用户手势)。

根据确定检测到的活动是假肯定(例如，不对应于任何用户动作)，系统转换回空闲状态702。根据通过高功率分析识别到动作，系统转换到动作执行状态706(执行所识别的动作)。在一些实施例中，转换到动作执行状态706包括，将高功率检测器和/或低功率检测器转换到非激活(休眠)状态。在执行所识别的动作之后，如果(例如，在预设时间段内)没有检测到进一步的活动，则系统转换回空闲状态702。在一些实施例中，(例如，从任何其它状态)转换到空闲状态702包括将高功率检测器和/或低功率检测器转换到非激活(休眠)状态。

图8是示出了根据一些实施例的用于报告手势的方法800的流程图。方法800在具有一个或多个处理器和存储器的计算系统(例如，可穿戴设备或中间设备)处执行。在一些实施例中，存储器存储一个或多个程序，该一个或多个程序被配置为由该一个或多个处理器执行。图8中所示的多个操作中的至少一些操作对应于存储在计算机存储器或计算机可读存储介质(例如，存储器6080、6050和/或7050)中的指令。在一些实施例中，计算系统是可穿戴设备，例如腕式可穿戴设备104或头部可穿戴设备106。在一些实施例中，计算系统是或包括中间设备(例如，智能手机)。

系统激活一个或多个传感器(例如，神经肌肉信号感测部件402)和低功率检测器(例如，低功率检测器414)(850)。在一些实施例中，根据系统被通电、由用户穿戴和/或设置为手势检测状态，该系统激活该一个或多个传感器和低功率检测器。

系统确定低功率检测器是否检测到活动(852)。根据检测到活动，系统激活高功率检测器(例如，高功率检测器416)(854)。例如，系统向高功率探测器提供附加功率。

系统将缓冲器数据传送到高功率检测器(856)。例如，系统将数据从缓冲器412传送到高功率检测器416。系统确定使用高功率检测器(例如，基于缓冲器数据)是否识别到手势(858)。根据识别(辨识)到手势，系统报告该手势(例如，使得可以执行对应于该手势的动作)(860)。在一些实施例中，根据未识别到手势，高功率检测器被禁用(返回到非激活状态)，并且系统返回到监视活动。

在这样描述了示例序列和使用这些示例序列的操作方法之后，现在将注意力转向对硬件和软件的系统级描述上，这些方法可以在该硬件和软件上(或者通过该硬件和软件)实现。

示例系统

图9A至图9D-2示出了根据一些实施例的示例AR系统。图9A示出了AR系统5000a，以及使用腕式可穿戴设备6000、头部可穿戴设备(例如，AR系统7000)和/或手持式中间处理设备(handheld intermediary processing device，HIPD)8000的示例用户交互。图9B示出了AR系统5000b，以及使用腕式可穿戴设备6000、AR系统7000和/或HIPD 8000的第二示例用户交互。图9C-1和图9C-2示出了AR系统5000c，以及使用腕式可穿戴设备6000、头部可穿戴设备(例如，VR头戴式视图器(headset)7010)和/或HIPD 8000的第三示例用户交互。图9D-1和图9D-2示出了第四AR系统5000d，以及使用腕式可穿戴设备6000、VR头戴式视图器7010和/或设备9000(例如，可穿戴触觉手套)的第四示例用户交互。以上示例AR系统(在下文详细描述)可以执行上文参考图1A至图8描述的各种功能和/或操作。

下文参考图10A和图10B描述腕式可穿戴设备6000及其部件；下文参考图11A至图11C描述头部可穿戴设备及其部件；并且下文参考图12A和图12B描述HIPD 8000及其部件。下文参考图13A至图13C描述可穿戴手套及其部件。如图9A所示，腕式可穿戴设备6000、头部可穿戴设备和/或HIPD 8000可以经由网络5025(例如，蜂窝、近场、Wi-Fi、个人局域网或无线局域网(LAN))通信耦接。此外，腕式可穿戴设备6000、头部可穿戴设备和/或HIPD 8000还可以经由网络5025(例如，蜂窝、近场、Wi-Fi、个人局域网、或无线LAN)与如下设备通信耦接：一个或多个服务器5030、计算机5040(例如，膝上型计算机以及其它计算机)、移动设备5050(例如，智能手机以及平板电脑)和/或其它电子设备。类似地，设备9000也可以经由网络5025与如下设备通信耦接：腕式可穿戴设备6000、头部可穿戴设备、HIPD 8000、一个或多个服务器5030、计算机5040、移动设备5050和/或其它电子设备。

转到图9A，示出了用户5002穿戴着腕式可穿戴设备6000和AR系统7000，并具有其桌子上的HIPD 8000。腕式可穿戴设备6000、AR系统7000和HIPD 8000促进用户与AR环境进行交互。具体地，如AR系统5000a所示，腕式可穿戴设备6000、AR系统7000和/或HIPD 8000使得呈现一个或多个化身(avatar)5004、联系人的数字表示5006和虚拟对象5008。如下所述，用户5002可以经由腕式可穿戴设备6000、AR系统7000和/或HIPD 8000与该一个或多个化身5004、联系人的数字表示5006和虚拟对象5008交互。

用户5002可以使用腕式可穿戴设备6000、AR系统7000和/或HIPD 8000中的任何来提供用户输入。例如，用户5002可以做出一个或多个手势，该一个或多个手势由腕式可穿戴设备6000(例如，使用一个或多个EMG传感器和/或IMU，以下参考图12A和图12B进行描述)和/或AR系统7000(例如，使用一个或多个图像传感器或相机，以下参考图11A、图11B-1和图11B-2进行描述)来检测，以提供用户输入。替代地或附加地，用户5002可以经由在腕式可穿戴设备6000、AR系统7000和/或HIPD 8000中的一个或多个触摸表面、和/或由在腕式可穿戴设备6000、AR系统7000和/或HIPD 8000中的传声器捕获的语音命令，来提供用户输入。在一些实施例中，腕式可穿戴设备6000、AR系统7000和/或HIPD 8000包括数字助理，以帮助用户提供用户输入(例如，完成操作序列、建议不同的操作或命令、提供提醒、或确认命令)。在一些实施例中，用户5002经由一个或多个面部表示(facial gesture)和/或面部表情提供用户输入。例如，在腕式可穿戴设备6000、AR系统7000和/或HIPD 8000中的相机可以追踪用户5002的眼睛以对用户界面进行导航。

腕式可穿戴设备6000、AR系统7000和/或HIPD 8000可以单独操作或配合操作，以允许用户5002与AR环境交互。在一些实施例中，HIPD 8000被配置为作为如下设备的中央枢纽或控制中心来运行：腕式可穿戴设备6000、AR系统7000和/或另一通信耦接的设备。例如，用户5002可以在腕式可穿戴设备6000、AR系统7000和/或HIPD 8000中的任何处提供输入以与AR环境交互，并且HIPD 8000可以识别一个或多个后端任务和前端任务以使得执行所请求的交互，并且可以分发指令以使得在腕式可穿戴设备6000、AR系统7000和/或HIPD 8000处执行该一个或多个后端任务和前端任务。在一些实施例中，后端任务是用户不可感知的后台处理任务(例如，渲染内容、解压缩或压缩)，并且前端任务是用户可感知的面向用户的任务(例如，向用户呈现信息或向用户提供反馈)。如下文参考图12A和图12B描述的，HIPD8000可以执行后端任务，并向腕式可穿戴设备6000和/或AR系统7000提供与所执行的后端任务对应的操作数据，使得腕式可穿戴设备6000和/或AR系统7000可以执行前端任务。以此方式，HIPD 8000(其可以具有比腕式可穿戴设备6000和/或AR系统7000更多的计算资源和更大的热净空(thermal headroom))执行了计算密集型任务，并且降低了腕式可穿戴设备6000和/或AR系统7000的计算机资源利用率和/或功率使用。

在AR系统5000a所示的示例中，HIPD 8000识别与如下用户请求相关联的一个或多个后端任务和前端任务：该用户请求用于发起与一个或多个其他用户(由化身5004和联系人的数字表示5006来表示)的AR视频呼叫；并且HIPD 8000分发指令，以使得执行该一个或多个后端任务和前端任务。具体地，HIPD 8000执行用于处理和/或渲染与AR视频呼叫相关联的图像数据(和其它数据)的后端任务，并向AR系统7000提供与所执行的后端任务相关联的操作数据，使得AR系统7000执行用于呈现AR视频呼叫(例如，呈现化身5004和联系人的数字表示5006)的前端任务。

在一些实施例中，HIPD 8000用作使得信息呈现的焦点或锚点。这允许用户5002通常知道信息呈现在哪里。例如，如AR系统5000a所示，化身5004和联系人的数字表示5006被呈现在HIPD 8000的上方。具体地，HIPD 8000和AR系统7000配合操作以确定呈现化身5004和联系人的数字表示5006的位置。在一些实施例中，可以在与HIPD 8000相距预定距离(例如，在5米内)呈现信息。例如，如AR系统5000a所示，虚拟对象5008被呈现在桌子上、与HIPD8000相距一定距离。类似于以上示例，HIPD 8000和AR系统7000可以配合操作以确定呈现虚拟对象5008的位置。替代地，在一些实施例中，信息呈现不受HIPD 8000的约束。更具体地，化身5004、联系人的数字表示5006和虚拟对象5008不必呈现在HIPD 8000的预定距离内。

对在腕式可穿戴设备6000、AR系统7000和/或HIPD 8000处提供的用户输入进行协调，使得用户可以使用任何设备来启动、继续和/或完成操作。例如，用户5002可以向AR系统7000提供用户输入以使AR系统7000呈现虚拟对象5008，并且在AR系统7000呈现虚拟对象5008时，用户5002可以经由腕式可穿戴设备6000提供一个或多个手势以与虚拟对象5008交互和/或操作虚拟对象5008。

图9B示出了用户5002穿戴着腕式可穿戴设备6000和AR系统7000并握着HIPD8000。在AR系统5000b中，腕式可穿戴设备6000、AR系统7000和/或HIPD 8000用于接收一个或多个消息和/或向用户5002的联系人提供一个或多个消息。具体地，腕式可穿戴设备6000、AR系统7000和/或HIPD 8000检测并协调一个或多个用户输入以启动消息传递应用，并准备对经由消息传递应用接收到的消息进行回应。

在一些实施例中，用户5002经由用户输入启动如下项上的应用：腕式可穿戴设备6000、AR系统7000和/或HIPD 8000，该用户输入使该应用在至少一个设备上启动。例如，在AR系统5000b中，用户5002做出与用于启动(由消息传递用户界面5012表示的)消息传递应用的命令相关联的手势；腕式可穿戴设备6000检测该手势；并且基于确定了用户5002正穿戴着AR系统7000，腕式可穿戴设备6000使AR系统7000呈现消息传递应用的消息传递用户界面5012。AR系统7000可以通过其显示器向用户5002呈现消息传递用户界面5012(例如，如用户5002的视野5010所示)。在一些实施例中，该应用被启动并在检测用户输入以启动该应用的设备(例如，腕式可穿戴设备6000、AR系统7000和/或HIPD 8000)上运行，并且该设备向另一设备提供操作数据以使消息传递应用呈现。例如，腕式可穿戴设备6000可以检测用户输入以启动消息传递应用，启动并运行消息传递应用，以及向AR系统7000和/或HIPD 8000提供操作数据以使消息传递应用呈现。替代地，可以在除了检测到用户输入的设备之外的设备上启动和运行该应用。例如，腕式可穿戴设备6000可以检测与启动消息传递应用相关联的手势，并且可以使HIPD 8000运行消息传递应用，并且可以协调消息传递应用的呈现。

此外，用户5002可以提供在腕式可穿戴设备6000、AR系统7000和/或HIPD 8000处所提供的用户输入，以继续和/或完成在另一设备处启动的操作。例如，在经由腕式可穿戴设备6000启动了消息传递应用之后，并且在AR系统7000呈现消息传递用户界面5012时，用户5002可以在HIPD 8000处提供输入以准备回应(例如，由在HIPD 8000上做出的滑动手势所示)。用户5002在HIPD 8000上做出的手势可以被提供和/或显示在另一设备上。例如，用户5002在HIPD 8000上做出的滑动手势被显示在由AR系统7000显示的消息传递用户界面5012的虚拟键盘上。

在一些实施例中，腕式可穿戴设备6000、AR系统7000、HIPD 8000和/或其它通信耦接的设备向用户5002呈现一个或多个通知。该通知可以是对新消息、呼入、应用更新或状态更新的指示。用户5002可以经由腕式可穿戴设备6000、AR系统7000、HIPD 8000来选择该通知，并且使得在至少一个设备上呈现与该通知相关联的应用或操作。例如，用户5002可以接收对如下的通知：在腕式可穿戴设备6000、AR系统7000、HIPD 8000和/或其它通信耦接的设备处接收到了消息，并且用户5002可以在腕式可穿戴设备6000、AR系统7000和/或HIPD8000处提供用户输入以查看该通知，并且检测到用户输入的设备可以使得在腕式可穿戴设备6000、AR系统7000和/或HIPD 8000处启动和/或呈现与该通知相关联的应用。

虽然以上示例描述了用于与消息传递应用交互的经协调的输入，但本领域技术人员在阅读这些描述时将理解，可以协调用户输入以与任何数量的应用交互，这些应用包括但不限于游戏应用、社交媒体应用、相机应用、基于网络(Web)的应用和金融应用。例如，AR系统7000可以向用户5002呈现游戏应用数据，并且HIPD 8000可以使用控制器来向游戏提供输入。类似地，用户5002可以使用腕式可穿戴设备6000来启动AR系统7000的相机，并且用户可以使用腕式可穿戴设备6000、AR系统7000和/或HIPD 8000来操作图像捕获(例如，画面拉近或画面拉远、和/或应用滤镜)并捕获图像数据。

现在将在下文对已经更宽泛地论述的示例AR系统、用于与此类AR系统交互的设备以及其它计算系统进行更详细地论述。为了便于参考，这里对可以包括在下文论述的一些或全部示例设备中的设备和部件的一些定义进行了限定。本领域技术人员将理解，下文描述的某些类型的部件可能更适合于特定的一组设备，而不太适合于另一组设备。但是，后续对这里限定的部件的参考应视为由所提供的定义所涵盖。

在下文论述的一些实施例中，将对包括电子设备和系统的、示例设备和系统进行论述。此类示例设备和系统并非旨在是限制性的，并且本领域技术人员将理解，可以使用本文中所描述的示例设备和系统的替代设备和系统来执行本文中所描述的操作并构造本文中所描述的系统和设备。

如本文所述，电子设备是使用电能来执行一个或多个功能的设备。该电子设备可以是包含电子部件(例如，晶体管、电阻器、电容器、二极管和集成电路)的任何物理对象。电子设备的示例包括智能手机、膝上型计算机、数字相机、电视、游戏控制台和音乐播放器、以及本文中所论述的示例电子设备。如本文所述，中间电子设备是位于两个其它电子设备之间的设备，和/或是一个或多个电子设备的部件子集，并且促进相应电子设备之间和/或电子部件之间的通信和/或数据处理和/或数据传送。

如本文所述，处理器(例如，中央处理单元(Central Processing Unit，CPU))是负责执行指令并控制电子设备(例如，计算机)的操作的电子部件。存在各种类型的处理器，该各种类型的处理器可以由本文中所描述的实施例互换地使用或特别要求。例如，处理器可以是：(i)通用处理器，其被设计为执行广泛的任务，例如运行软件应用、管理操作系统以及执行算术和逻辑运算；(ii)微控制器，其被设计用于特定任务，例如控制电子设备、传感器和电机；(iii)图形处理单元(Graphics Processing Unit，GPU)，其被设计为加速对图像、视频和动画(例如，VR动画，诸如三维建模)的创建和渲染；(iv)现场可编程门阵列(Field-Programmable Gate Array，FPGA)，其可以在制造后被编程和重配置，和/或可被定制为执行特定任务，例如信号处理、加密和机器学习；(v)数字信号处理器(DSP)，其被设计为对信号(例如音频、视频和无线电波)执行数学运算。本领域技术人员将理解，可以在本文中所描述的各种实施例中使用一个或多个电子设备的一个或多个处理器。

如本文所述，存储器是指在计算机或电子设备中的这样的电子部件：所述电子部件存储数据和指令以供处理器访问和操作。存储器的示例可以包括：(i)随机存取存储器(Random Access Memory，RAM)，其被配置为临时存储数据和指令；(ii)只读存储器(Read-Only Memory，ROM)，其被配置为永久存储数据和指令(例如，系统固件和/或引导加载程序中的一个或多个部分)；(iii)闪存存储器(例如，USB驱动、存储卡和/或固态硬盘(Solid-State Drive，SSD))，其可以被配置为在电子设备中存储数据；以及(iv)缓存存储器，其被配置为临时存储频繁访问的数据和指令。如本文所述，存储器可以包括结构化数据(例如，SQL数据库、MongoDB数据库、GraphQL数据和/或JSON数据)。存储器的其它示例可以包括：(i)简档数据，其包括用户账号数据、用户设置和/或由用户存储的其它用户数据；(ii)由一个或多个传感器检测和/或以其它方式获得的传感器数据；(iii)媒体内容数据，其包括存储的图像数据、音频数据、文档等；(iv)应用数据，其可以包括在应用的使用期间收集和/或以其它方式获得并存储的数据；和/或(v)本文中所描述的任何其它类型的数据。

如本文所述，控制器是管理和协调电子设备内其它部件的操作(例如，控制输入、处理数据和/或生成输出)的电子部件。控制器的示例可以包括：(i)微控制器，其包括通常在嵌入式系统和物联网(Internet of Things，IoT)设备中使用的小型、低功率控制器；(ii)可编程逻辑控制器(Programmable Logic Controller，PLC)，其可被配置为在工业自动化系统中使用以控制和监测制造过程；(iii)片上系统(SoC)控制器，其将多个部件(诸如处理器、存储器、I/O接口和其它外围设备)集成到单个芯片中；和/或(iv)DSP。

如本文所述，电子设备的电力系统被配置为将输入电力转换为可用于操作该设备的形式。电力系统可以包括各种部件，这些部件包括：(i)电源，其可以是交流(AlternatingCurrent，AC)适配器电源或直流(Direct Current，DC)适配器电源；(ii)充电器输入，其可以被配置为使用有线连接和/或无线连接(其可以是外围接口的一部分，诸如通用串行总线(Universal Serial Bus，USB)、微USB接口、近场磁耦接、磁感应和磁共振充电、和/或射频(Radio Frequency，RF)充电)；(iii)电源管理集成电路，其被配置为将电力分配给设备的各种部件并确保设备在安全限制内操作(例如，调节电压、控制电流和/或管理散热)；和/或(iv)电池，其被配置为存储电力以向一个或多个电子设备的部件提供可用电力。

如本文所述，外围接口是这样的电子部件(例如，电子设备的电子部件)：所述电子部件允许电子设备与其它设备或外围设备通信，并且可以提供用于输入和输出数据和信号的手段。外围接口的示例可以包括：(i)USB和/或微USB接口，其被配置用于将设备连接到电子设备；(ii)蓝牙接口，其被配置为允许设备彼此通信，蓝牙接口包括低功耗蓝牙(Bluetooth Low Energy，BLE)；(iii)近场通信(Near Field Communication，NFC)接口，其被配置为用于诸如接入控制等操作的短距离无线接口；(iv)POGO管脚，其可以是被配置为提供充电接口的小的弹簧承载的管脚；(v)无线充电接口；(vi)全球定位系统(Global-Position System，GPS)接口；(vii)Wi-Fi接口，其用于在设备与无线网络之间提供连接；以及(viii)传感器接口。

如本文所述，传感器是被配置为检测物理和环境改变并产生电信号的电子部件(例如，电子设备(例如可穿戴设备)中的电子部件和/或以其它方式与电子设备进行电子通信的电子部件)。传感器的示例可以包括：(i)用于收集成像数据的成像传感器(例如，包括布置在相应电子设备上的一个或多个相机)；(ii)生物电势信号传感器；(iii)用于检测例如角速度、力、磁场和/或加速度改变的惯性测量单元(例如，IMU)；(iv)用于测量用户的心率的心率传感器；(v)用于测量用户的血氧饱和度(SpO2)和/或其它生物识别数据的SpO2传感器；以及(vi)用于检测用户身体的一部分处的电势改变的电容式传感器(例如，传感器-皮肤接口)；光传感器(例如，飞行时间传感器、红外光传感器和/或可见光传感器等)。如本文所述，生物电势信号感测部件是用于测量体内的电活动的设备(例如，生物电势信号传感器)。一些类型的生物电势信号传感器包括：(i)脑电图(Electroencephalography，EEG)传感器，其被配置为测量脑中的电活动以诊断神经疾病；(ii)心电图(Electrocardiography，ECG或EKG)传感器，其被配置为测量心脏的电活动以诊断心脏问题；(iii)肌电图(EMG)传感器，其被配置为测量肌肉的电活动并诊断神经肌肉疾病；(iv)眼电(Electrooculography，EOG)传感器，其被配置为测量眼部肌肉的电活动以检测眼部运动并诊断眼部疾病。

如本文所述，存储在电子设备的存储器中的应用(例如，软件)包括存储在存储器中的指令。此类应用的示例包括：(i)游戏；(ii)文字处理器；消息传递应用；媒体流应用；金融应用；日历；时钟；用于实现不同相应电子设备之间的有线连接和/或无线连接的通信接口模块(例如，IEEE 802.15.4、Wi-Fi、ZigBee、6LoWPAN、线程、Z-Wave、蓝牙智能、ISA100.11a、无线HART(WirelessHART)或MiWi、定制或标准有线协议(例如，Ethernet或HomePlug)、和/或任何其它合适的通信协议)。

如本文所述，通信接口是使不同的系统或设备能够彼此交换信息和数据的机制，包括硬件、软件或者硬件和软件两者的组合。例如，通信接口可以指设备上的实现与其它设备的通信的物理连接器和/或端口(例如，USB、Ethernet、HDMI、蓝牙)。在一些实施例中，通信接口可以指使不同软件程序能够彼此通信的软件层(例如，应用编程接口(ApplicationProgramming Interface，API)、和/或诸如HTTP和TCP/IP等协议)。

如本文所述，图形模块是被设计为处理图形操作和/或过程的部件或软件模块，并且可以包括硬件模块和/或软件模块。

如本文所述，非暂态计算机可读存储介质是可被用于以非暂态形式存储电子数据(例如，使得数据被永久存储直到其被有意删除或修改为止)的物理设备或存储介质。

示例腕式可穿戴设备

图10A和图10B示出了根据一些实施例的腕式可穿戴设备6000。图10A示出了腕式可穿戴设备6000的部件，这些部件可以单独使用或组合使用，包括这样的组合：所述组合包括其它电子设备和/或电子部件。

图10A示出了可穿戴带6010和表体6020(或舱(capsule))耦接，如下所述，以形成腕式可穿戴设备6000。腕式可穿戴设备6000可以执行与浏览用户界面和选择性地打开应用相关联的各种功能和/或操作、以及上文参考图1A至图6描述的功能和/或操作。

如下文将更详细地描述的，由腕式可穿戴设备6000执行的操作可以包括：(i)向用户呈现内容(例如，经由显示器6005显示视觉内容)；(ii)检测(例如，感测)用户输入(例如，感测外围按钮6023上的触摸和/或显示器6005的触摸屏处的触摸、由传感器(例如，生物电势传感器)检测到的手势)；(iii)经由一个或多个传感器6013感测生物识别数据(例如，神经肌肉信号、心率、温度和/或睡眠)；消息传递(例如，文本、语音和/或视频)；经由一个或多个成像设备或相机6025的图像捕获；无线通信(例如，蜂窝、近场、Wi-Fi和/或个人局域网)；位置确定；金融交易；提供触觉反馈；警告；通知；生物识别认证；健康监测；和/或睡眠监测。

以上示例功能可以在表体6020中独立地执行、在可穿戴带6010中独立地执行、和/或经由表体6020与可穿戴带6010之间的电子通信来执行。在一些实施例中，在(例如经由AR系统5000a至5000d中的一者)呈现AR环境时，可以在腕式可穿戴设备6000上执行功能。如本领域技术人员在阅读本文所提供的描述时将理解的，本文中所描述的新型可穿戴设备可以与其它类型的AR环境一起使用。

可穿戴带6010可以被配置为由用户穿戴，使得可穿戴带6010的内表面与用户的皮肤接触。当用户穿戴时，多个传感器6013接触用户的皮肤。这些传感器6013可以感测生物识别数据，例如用户的心率、饱和氧水平、温度、汗液水平、神经肌肉信号传感器、或其组合。这些传感器6013还可以感测关于用户的环境的数据，该数据包括用户的运动、所处高度、位置、朝向、步态、加速度、地点、或其组合。在一些实施例中，这些传感器6013被配置为跟踪可穿戴带6010的位置和/或运动。一个或多个传感器6013可以包括上文定义的和/或下文参考图10B讨论的传感器中的任何传感器。

一个或多个传感器6013可以分布在可穿戴带6010的内表面和/或外表面上。在一些实施例中，一个或多个传感器6013沿着可穿戴带6010均匀间隔开。替代地，在一些实施例中，一个或多个传感器6013位于沿可穿戴带6010的不同点处。如图10A所示，一个或多个传感器6013可以是相同的或不同的。例如，在一些实施例中，一个或多个传感器6013可以被成形为药丸式(pill)(例如，传感器6013a)、卵形、圆形、正方形、椭圆形(例如，传感器6013c)、和/或维持与用户的皮肤接触的任何其它形状(例如，使得可以在用户的皮肤处准确地测量神经肌肉信号和/或其它生物识别数据)。在一些实施例中，一个或多个传感器6013被对准以形成传感器对(例如，用于基于每个相应传感器内的差分感测来感测神经肌肉信号)。例如，传感器6013b与相邻传感器对准以形成传感器对6014a，并且传感器6013d与相邻传感器对准以形成传感器对6014b。在一些实施例中，可穿戴带6010不具有传感器对。替代地，在一些实施例中，可穿戴带6010具有预定数量的传感器对(例如，一对传感器、三对传感器、四对传感器、六对传感器或十六对传感器)。

可穿戴带6010可以包括任何合适数量的传感器6013。在一些实施例中，传感器6013的数量和布置取决于使用可穿戴带6010的特定应用。例如，被配置为臂带、腕带或胸带的可穿戴带6010可以包括多个传感器6013，该多个传感器对于各个用例(诸如与游戏或一般日常用例相比的医疗用例)具有不同数量的传感器6013和不同布置。

根据一些实施例，可穿戴带6010还包括电接地电极和屏蔽电极。与传感器6013一样，电接地电极和屏蔽电极可以分布在可穿戴带6010的内表面上，使得它们接触用户的皮肤的一部分。例如，电接地电极和屏蔽电极可以位于耦接机构6016的内表面或可穿戴结构6011的内表面。电接地电极和屏蔽电极可以形成为传感器6013和/或使用与传感器6013相同的部件。在一些实施例中，可穿戴带6010包括多于一个电接地电极和多于一个屏蔽电极。

传感器6013可以形成为可穿戴带6010的可穿戴结构6011的一部分。在一些实施例中，传感器6013与可穿戴结构6011平齐或基本上平齐，使得这些传感器不会延伸超出可穿戴结构6011的表面。在与可穿戴结构6011平齐的同时，传感器6013仍被配置为(例如经由皮肤接触表面)接触用户的皮肤。替代地，在一些实施例中，传感器6013延伸超出可穿戴结构6011预定距离(例如，0.1mm至2mm)以接触并压入用户的皮肤。在一些实施例中，多个传感器6013被耦接到致动器(未示出)，该致动器被配置为调整这些传感器6013的延伸高度(例如，与可穿戴结构6011的表面相距的距离)，使得这些传感器6013接触并压入用户的皮肤。在一些实施例中，致动器在0.01mm至1.2mm之间调整延伸高度。这允许用户定制传感器6013的位置，以提高可穿戴带6010在穿戴时的整体舒适性，同时仍允许传感器6013接触用户的皮肤。在一些实施例中，当用户穿戴时，传感器6013与可穿戴结构6011是不可区分的。

可穿戴结构6011可以由弹性材料(例如，弹性体)形成，该弹性材料被配置为被拉伸和适配以供用户穿戴。在一些实施例中，可穿戴结构6011是纺织品或织造织物。如上所述，传感器6013可以形成为可穿戴结构6011的一部分。例如，传感器6013可以被模制到可穿戴结构6011中或集成到织造织物中(例如，传感器6013可以被缝合到织物中并模拟织物的柔韧性(例如，这些传感器6013可以由一系列织造的织物股线构造))。

可穿戴结构6011可以包括将传感器6013、电子电路和/或其它电子部件互连的柔性电子连接器(以下参照图10B描述)，这些柔性电子连接器被封在可穿戴带6010中。在一些实施例中，柔性电子连接器被配置为将可穿戴带6010的传感器6013、电子电路和/或其它电子部件与另一电子设备(例如，表体6020)的相应传感器和/或其它电子部件互连。柔性电子连接器被配置为与可穿戴结构6011一起移动，使得用户对可穿戴结构6011的调整(例如，调整大小、拉动和/或折叠)不会对可穿戴带6010的部件的电耦接施加压力或拉力。

如上所述，可穿戴带6010被配置为由用户穿戴。具体地，可穿戴带6010可以被成形为或以其它方式操作为由用户穿戴。例如，可穿戴带6010可以被成形为具有基本上的圆形，使得它可以被配置为被穿戴在用户的下臂或手腕上。替代地，可穿戴带6010可以被成形为穿戴在用户的另一身体部位(例如用户的上臂(例如，二头肌周围)、前臂、胸部或腿)上。可穿戴带6010可以包括保持机构6012(例如，扣或钩环紧固件)，该保持机构6012用于将可穿戴带6010固定到用户的手腕或其他身体部位。在可穿戴带6010被用户穿戴着时，传感器6013从用户的皮肤感测数据(称为传感器数据)。具体地，可穿戴带6010的传感器6013获得(例如，感测和记录)神经肌肉信号。

感测到的数据(例如，感测到的神经肌肉信号)可以用于检测和/或确定用户执行某些运动动作的意图。具体地，在用户做出肌肉活动(例如，移动和/或手势)时，传感器6013感测并记录来自用户的神经肌肉信号。检测到和/或确定的运动动作(例如，指骨(或手指)移动、手腕移动、手部移动和/或其它肌肉意图)可以用于确定如下控制命令或控制信息(在感测到数据之后执行某些命令的指令)：所述控制命令或控制信息用于使计算设备执行一个或多个输入命令。例如，感测到的神经肌肉信号可以用于控制显示在腕式可穿戴设备6000的显示器6005上的某些用户界面，和/或可以被发送到负责渲染人工现实环境的设备(例如，头戴式显示器)以在相关联的人工现实环境中执行动作，例如以控制向用户显示的虚拟设备的运动。用户做出的肌肉活动可以包括：静态手势，例如将用户的手掌向下放在桌子上；动态手势，例如抓住物理对象或虚拟对象；以及另一个人感知不到的隐蔽手势，例如通过共同收缩相对的肌肉或使用子肌肉活动来轻微地拉紧关节。用户做出的肌肉活动可以包括符号手势(例如，这样的手势：例如基于指定手势到命令的映射的手势词汇表，所述手势被映射到其它手势、交互或命令)。

传感器6013感测到的传感器数据可以用于向用户提供与如下项的的增强交互：物理对象(例如，与可穿戴带6010通信耦接的设备)和/或由人工现实系统生成的、人工现实应用中的虚拟对象(例如，在显示器6005或另一计算设备(例如，智能电话)上呈现的用户界面对象)。

在一些实施例中，可穿戴带6010包括一个或多个触觉设备6046(图10B，例如，振动触觉致动器)，该一个或多个触觉设备6046被配置为向用户的皮肤提供触觉反馈(例如，皮肤感觉和/或动觉感觉)。传感器6013和/或触觉设备6046可以被配置为结合多个应用来操作，所述多个应用包括但不限于健康监测、社交媒体、游戏、和人工现实(例如，与人工现实相关联的应用)。

可穿戴带6010还可以包括用于将舱(例如，计算单元)或表体6020(经由表体6020的耦接表面)可拆卸地耦接到可穿戴带6010的耦接机构6016(例如，耦接机构的支架或形状可以对应于腕式可穿戴设备6000的表体6020的形状)。具体地，耦接机构6016可以被配置为容纳表体6020的靠近底侧的耦接表面(例如，与表体6020的显示器6005所在的前侧相对的一侧)，使得用户可以将表体6020向下推入耦接机构6016，以将表体6020附接到耦接机构6016。在一些实施例中，耦接机构6016可以被配置为容纳表体6020的顶侧(例如，与表体6020的显示器6005所在的前侧靠近的一侧)，表体6020被向上推入支架中，而不是被向下推入耦接机构6016中。在一些实施例中，耦接机构6016是可穿戴带6010的集成部件，使得可穿戴带6010和耦接机构6016是单个整体结构。在一些实施例中，耦接机构6016是这种类型的框架或外壳：该框架或外壳允许表体6020耦接表面保持在可穿戴带6010的耦接机构6016(例如，支架、跟踪带、支撑底座或搭扣)内或耦接机构6016上。

耦接机构6016可以允许表体6020通过以下项可拆卸地耦接到可穿戴带6010：摩擦配合、磁耦合、基于旋转的连接器、剪切销耦接器、保持弹簧、一个或多个磁体、夹子、销轴、钩环紧固件或其组合。用户可以做出任何类型的运动，以将表体6020耦接到可穿戴带6010以及将表体6020与可穿戴带6010分离。例如，用户可以相对于可穿戴带6010扭转、滑动、转动、推、拉或旋转(或者其组合)表体6020，以将表体6020附接到可穿戴带6010以及将表体6020从可穿戴带6010拆下。替代地，如下文所讨论的，在一些实施例中，可以通过驱动释放机构6029，将表体6020与可穿戴带6010分离。

可穿戴带6010可以与表体6020耦接，以增加可穿戴带6010的功能(例如，将可穿戴带6010转换为腕式可穿戴设备6000、添加附加计算单元和/或电池以增加可穿戴带6010的计算资源和/或电池使用时长、添加附加传感器以改善感测到的数据)。如上所述，可穿戴带6010(例如，和耦接机构6016)被配置为独立于表体6020操作(例如，独立于表体6020执行功能)。例如，耦接机构6016可以包括一个或多个传感器6013，当用户穿戴着可穿戴带6010时，该一个或多个传感器6013接触用户的皮肤，并提供用于确定控制命令的传感器数据。

用户可以将表体6020(或舱)从可穿戴带6010拆下，以便减少腕式可穿戴设备6000对用户的负担。对于表体6020是可拆卸的实施例，表体6020可以被称为可拆卸结构，使得在这些实施例中，腕式可穿戴设备6000包括可穿戴部分(例如，可穿戴带6010)和可拆卸结构(表体6020)。

转到表体6020，表体6020可以具有基本上的矩形或圆形。表体6020被配置为由用户穿戴在其腕部上或另一身体部位上。更具体地，表体6020按一定大小制作为容易由用户携带、附接在用户服饰的一部分上、和/或耦接到可穿戴带6010(形成腕式可穿戴设备6000)。如上所述，表体6020可以具有与可穿戴带6010的耦接机构6016对应的形状。在一些实施例中，表体6020包括单个释放机构6029或多个释放机构(例如，位于表体6020的相对两侧的两个释放机构6029，例如弹簧承载的按钮)，以将表体6020和可穿戴带6010分离。释放机构6029可以包括但不限于按钮、旋钮、塞子、手柄、杠杆、紧固件、扣环、拨盘、闩锁或其组合。

用户可以通过推、转动、抬起、按下、移动释放机构6029或对释放机构6029执行其它动作，来驱动释放机构6029。对释放机构6029的驱动可以将表体6020从可穿戴带6010的耦接结构6016释放(例如，分离)，从而允许用户独立于可穿戴带6010使用表体6020，反之亦然。例如，将表体6020与可穿戴带6010分离可以允许用户使用后置相机6025B来捕获图像。虽然释放机构6029被示出为位于表体6020的角部，但释放机构6029可以位于表体6020上便于用户驱动的任何位置。此外，在一些实施例中，可穿戴带6010还可以包括用于将表体6020与耦接机构6016分离的相应释放机构。在一些实施例中，释放机构6029是可选的，并且表体6020可以如上所述(例如经由扭转或旋转)与耦接机构6016分离。

表体6020可以包括用于在表体6020执行各种操作的一个或多个外围按钮6023和6027。例如，外围按钮6023和6027可以用于打开或唤醒(例如，从休眠状态转换到激活状态)显示器6005、解锁表体6020、增大或减小音量、提高或降低亮度、与一个或多个应用交互、和/或与一个或多个用户界面交互。此外或替代地，在一些实施例中，显示器6005用作触摸屏，并且允许用户提供用于与表体6020交互的一个或多个输入。

在一些实施例中，表体6020包括一个或多个传感器6021。表体6020的传感器6021可以与可穿戴带6010的传感器6013相同或不同。表体6020的该一个或多个传感器6021可以分布在表体6020的内表面和/或外表面上。在一些实施例中，传感器6021被配置为在用户穿戴表体6020时接触用户的皮肤。例如，传感器6021可以置于表体6020的底侧，并且耦接机构6016可以是具有开口的支架，该开口允许表体6020的底侧直接接触用户的皮肤。替代地，在一些实施例中，表体6020不包括被配置为接触用户的皮肤的传感器(例如，包括表体6020内部和/或外部的传感器，这些传感器被配置为感测表体6020的数据和表体6020的周围环境的数据)。在一些实施例中，该一个或多个传感器6013被配置为跟踪表体6020的位置和/或运动。

表体6020和可穿戴带6010可以使用有线通信方法(例如，通用异步收发机(Universal Asynchronous Receiver/Transmitter，UART)或USB收发器)和/或无线通信方法(例如，近场通信或蓝牙)来共享数据。例如，表体6020和可穿戴带6010可以与输出设备(例如，显示器和/或扬声器)和/或输入设备(例如，触摸屏、传声器和/或成像传感器)共享由传感器6013和6021感测到的数据、以及应用和设备特定信息(例如，激活的和/或可用的应用)。

在一些实施例中，表体6020可以包括但不限于，前置相机6025A和/或后置相机6025B、传感器6021(例如，生物识别传感器、IMU、心率传感器、饱和氧传感器、神经肌肉信号传感器、高度计传感器、温度传感器、生物阻抗(bioimpedance)传感器、计步器传感器、光学传感器(例如，成像传感器6063；图10B)、触摸传感器、和/或汗液传感器)。在一些实施例中，表体6020可以包括一个或多个触觉设备6076(图10B；振动触觉致动器)，该一个或多个触觉设备6076被配置为向用户提供触觉反馈(例如，皮肤感觉和/或动觉感觉)。传感器6021和/或触觉设备6076还可以被配置为与多个应用结合操作，所述多个应用包括但不限于健康监测应用、社交媒体应用、游戏应用和人工现实应用(例如，与人工现实相关联的应用)。

如上所述，表体6020和可穿戴带6010在耦接时可以形成腕式可穿戴设备6000。表体6020和可穿戴带6010在耦接时用作单个设备以执行本文中所描述的功能(操作、检测和/或通信)。在一些实施例中，每个设备被提供有用于执行腕式可穿戴设备6000的一个或多个操作的特定指令。例如，根据确定表体6020不包括神经肌肉信号传感器，可穿戴带6010可以包括用于执行相关联指令(例如，用于经由另一电子设备向表体6020提供感测到的神经肌肉信号数据)的替代指令。腕式可穿戴设备6000的操作可以由表体6020单独执行或由表体6020与可穿戴带6010结合(例如经由各自的处理器和/或硬件部件)执行，反之亦然。在一些实施例中，腕式可穿戴设备6000、表体6020和/或可穿戴带6010的操作可以与另一通信耦接的设备(例如，HIPD 8000；图12A和图12B)的一个或多个处理器和/或硬件部件结合执行。

如下文参考图10B的框图所述，可穿戴带6010和/或表体6020可以各自包括独立地执行功能所需的独立资源。例如，可穿戴带6010和/或表体6020可以各自包括电源(例如，电池)、存储器、数据存储库、处理器(例如，中央处理单元(CPU))、通信、光源、和/或输入/输出设备。

图10B示出了根据一些实施例的与可穿戴带6010对应的计算系统6030和与表体6020对应的计算系统6060的框图。根据一些实施例，腕式可穿戴设备6000的计算系统包括可穿戴带计算系统6030的部件和表体计算系统6060的部件的组合。

表体6020和/或可穿戴带6010可以包括表体计算系统6060中示出的一个或多个部件。在一些实施例中，单个集成电路包括表体计算系统6060的所有部件或大部分部件。替代地，在一些实施例中，表体计算系统6060的各部件包括在多个集成电路中，这些集成电路通信地耦接。在一些实施例中，表体计算系统6060被配置为(例如经由有线连接或无线连接)与可穿戴带计算系统6030耦接，这允许这些计算系统共享部件、分发任务、和/或执行本文中所描述的其它操作(单独地或作为单个设备)。

表体计算系统6060可以包括一个或多个处理器6079、控制器6077、外围接口6061、电力系统6095和存储器(例如，存储器6080)，以上各项中的每项在上文进行了定义并且在下文进行更详细地描述。

电力系统6095可以包括充电器输入6096、电力管理集成电路(Power-ManagementIntegrated Circuit，PMIC)6097和电池6098，这些中的每者都在上文进行了定义。在一些实施例中，表体6020和可穿戴带6010可以具有各自的电池(例如，电池6098和6059)，并且可以彼此共享电力。表体6020和可穿戴带6010可以使用各种技术来接收电荷。在一些实施例中，表体6020和可穿戴带6010可以使用有线充电组件(例如，电力线)来接收电荷。替代地或附加地，表体6020和/或可穿戴带6010可以被配置用于无线充电。例如，便携式充电设备可以被设计为与表体6020和/或可穿戴带6010中的一部分匹配，并向表体6020的电池和/或可穿戴带6010的电池无线地传送可用电力。表体6020和可穿戴带6010可以具有独立的电力系统(例如，电力系统6095和6056)，以使各自能够独立操作。表体6020和可穿戴带6010还可以经由各自的PMIC(例如，PMIC 6097和6058)共享电力(例如，一个可以为另一个充电)，这些PMIC可以共享电导体和接地导体上的电力和/或无线充电天线上的电力。

在一些实施例中，外围接口6061可以包括一个或多个传感器6021，在上文定义了下文列出的、所述传感器6021中的许多传感器。各传感器6021可以包括一个或多个耦接传感器6062，该一个或多个耦接传感器6062用于检测表体6020何时与另一电子设备(例如，可穿戴带6010)耦接。各传感器6021可以包括成像传感器6063(相机6025和/或单独的成像传感器6063(例如，热成像传感器)中的一个或多个)。在一些实施例中，各传感器6021包括一个或多个SpO2传感器6064。在一些实施例中，各传感器6021包括一个或多个生物电势信号传感器(例如，EMG传感器6065和6035，EMG传感器6065和6035可以设置在表体6020和/或可穿戴带6010的面向用户的部分上)。在一些实施例中，各传感器6021包括一个或多个电容式传感器6066。在一些实施例中，各传感器6021包括一个或多个心率传感器6067。在一些实施例中，各传感器6021包括一个或多个IMU传感器6068。在一些实施例中，一个或多个IMU传感器6068可以被配置为检测用户的手的移动或者表体6020被放置或被握持的其它位置)。

在一些实施例中，外围接口6061包括近场通信(NFC)部件6069、全球定位系统(GPS)部件6070、长期演进(Long-Term Evolution，LTE)部件6071、和/或Wi-Fi和/或蓝牙(BT)通信部件6072。在一些实施例中，外围接口6061包括一个或多个按钮6073(例如，图10A中的外围按钮6023和6027)，该一个或多个按钮6073在被用户选择时使操作在表体6020处执行。在一些实施例中，外围接口6061包括一个或多个指示器，例如发光二极管(LightEmitting Diode，LED)，以向用户提供视觉指示器(例如，接收到的消息、低电池电量、激活的传声器和/或相机)。

表体6020可以包括至少一个显示器6005，以向用户显示对信息或数据的可视表示，可视表示包括用户界面元素和/或三维虚拟对象。显示器还可以包括用于输入用户输入(例如触摸手势、滑动手势等)的触摸屏。表体6020可以包括至少一个扬声器6074和至少一个传声器6075，以向用户提供音频信号并接收来自用户的音频输入。用户可以通过传声器6075提供用户输入，并且还可以接收来自扬声器6074的音频输出，作为由触觉控制器6078提供的触觉事件的一部分。表体6020可以包括至少一个相机6025，该至少一个相机6025包括前置相机6025A和后置相机6025B。相机6025可以包括超广角相机、广角相机、鱼眼相机、球形相机(spherical camera)、长焦相机、深度感测相机或其它类型的相机。

表体计算系统6060可以包括一个或多个触觉控制器6078和相关联的部件(例如，触觉设备6076)，该一个或多个触觉控制器6078和相关联的部件用于在表体6020处提供触觉事件(例如，响应于表体6020处的事件提供振动知觉或音频输出)。触觉控制器6078可以与一个或多个触觉设备6076(例如，电声设备)通信，该一个或多个触觉设备6076包括一个或多个扬声器6074中的扬声器和/或其它音频部件和/或将能量转换为线性运动的机电设备(例如，电机、螺线管、电活性聚合物、压电致动器、静电致动器或其它触觉输出生成部件(例如，将电信号转换为设备上的触觉输出的部件))。触觉控制器6078可以提供表体6020的用户能够感知的触觉事件。在一些实施例中，一个或多个触觉控制器6078可以接收来自各应用6082中的应用的输入信号。

在一些实施例中，计算系统6030和/或计算系统6060可以包括存储器6080，存储器6080可以由一个或多个控制器6077中的存储器控制器来控制。在一些实施例中，存储在存储器6080中的软件部件包括被配置为在表体6020处执行操作的一个或多个应用6082。在一些实施例中，该一个或多个应用6082包括游戏、文字处理器、消息传递应用、呼叫应用、网络浏览器、社交媒体应用、媒体流应用、金融应用、日历和/或时钟。在一些实施例中，存储在存储器6080中的软件部件包括如上定义的一个或多个通信接口模块6083。在一些实施例中，存储在存储器6080中的软件部件包括：用于渲染、编码和/或解码音频和/或可视数据的一个或多个图形模块6084；以及用于收集、组织和/或提供对存储在存储器6080中的数据6087的访问的一个或多个数据管理模块6085。在一些实施例中，多个应用6082和/或一个或多个模块中的一个或多个可以彼此配合工作，以在表体6020处执行各种任务。

在一些实施例中，存储在存储器6080中的软件部件可以包括一个或多个操作系统6081(例如，基于Linux的操作系统或Android操作系统)。存储器6080还可以包括数据6087。数据6087可以包括简档数据6088A、传感器数据6089A、媒体内容数据6090和应用数据6091。

应当理解，表体计算系统6060是表体6020内的计算系统的示例，并且表体6020可以具有比表体计算系统6060中示出的部件更多或更少的部件，可以组合两个或更多个部件，和/或可以具有不同的部件配置和/或布置。表体计算系统6060中示出的各种部件以硬件、软件、固件或其组合来实现，该硬件、软件、固件或其组合包括一个或多个信号处理和/或专用集成电路。

转向可穿戴带计算系统6030，示出了可以包括在可穿戴带6010中的一个或多个部件。可穿戴带计算系统6030可以包括比表体计算系统6060中示出的部件更多或更少的部件，可以组合两个或更多个部件，和/或可以具有各部件中的一些或所有部件的不同配置和/或布置。在一些实施例中，可穿戴带计算系统6030的各部件中的所有部件或大部分部件被包括在单个集成电路中。可替代地，在一些实施例中，可穿戴带计算系统6030的各部件被包括多个集成电路中，这些集成电路通信地耦接。如上所述，在一些实施例中，可穿戴带计算系统6030被配置为(例如经由有线连接或无线连接)与表体计算系统6060耦接，这允许这些计算系统共享部件、分发任务和/或执行本文中所描述的其它操作(单独地或作为单个设备)。

类似于表体计算系统6060，可穿戴带计算系统6030可以包括一个或多个处理器6049、一个或多个控制器6047(包括一个或多个触觉控制器6048)、外围接口6031(其可以包括一个或多个传感器6013和其它外围设备)、电源(例如，电力系统6056)、以及存储器(例如，存储器6050)，该存储器包括操作系统(例如，操作系统6051)、数据(例如，数据6054，其包括简档数据6088B和/或传感器数据6089B)、和一个或多个模块(例如，通信接口模块6052和/或数据管理模块6053)。

根据以上定义，一个或多个传感器6013可以类似于计算系统6060的传感器6021。例如，各传感器6013可以包括一个或多个耦接传感器6032、一个或多个SpO2传感器6034、一个或多个EMG传感器6035、一个或多个电容式传感器6036、一个或多个心率传感器6037、以及一个或多个IMU传感器6038。

外围接口6031也可以包括与计算系统6060的外围接口6061中包括的那些部件类似的其它部件，这些部件包括如上参考外围接口6061所述的NFC部件6039、GPS部件6040、LTE部件6041、Wi-Fi和/或蓝牙通信部件6042、和/或一个或多个触觉设备6046。在一些实施例中，外围接口6031包括一个或多个按钮6043、显示器6033、扬声器6044、传声器6045和相机6055。在一些实施例中，外围接口6031包括一个或多个指示器，例如LED。

应当理解，可穿戴带计算系统6030是可穿戴带6010内的计算系统的示例，并且可穿戴带6010可以具有比可穿戴带计算系统6030中示出的部件更多或更少的部件，可以组合两个或更多个部件，和/或可以具有不同的部件配置和/或布置。可穿戴带计算系统6030中示出的各种部件可以以硬件、软件和固件中的一个或组合(包括一个或多个信号处理和/或专用集成电路)来实现。

关于图10A的腕式可穿戴设备6000是耦接的可穿戴带6010和表体6020的示例，因此腕式可穿戴设备6000将被理解为包括针对可穿戴带计算系统6030和表体计算系统6060所示出和描述的部件。在一些实施例中，腕式可穿戴设备6000在表体6020与可穿戴带6010之间具有分体式架构(例如，分体式机械架构、分体式电架构)。换言之，在可穿戴带计算系统6030和表体计算系统6060中示出的所有部件可以被容纳或以其它方式设置在组合的手表设备6000中，或者在表体6020、可穿戴带6010和/或其部分(例如，可穿戴带6010的耦接机构6016)中的个体部件内。

上述技术可以与用于感测神经肌肉信号的任何设备(包括图10A和图10B的手臂可穿戴设备)一起使用，但也可以与用于感测神经肌肉信号的其它类型的可穿戴设备(诸如可具有更靠近大脑或脊柱的神经肌肉传感器的身体可穿戴设备或头部可穿戴设备)一起使用。

在一些实施例中，腕式可穿戴设备6000可以与下文描述的头部可穿戴设备(例如，AR系统7000和VR头戴式视图器7010)和/或HIPD 8000结合使用；并且腕式可穿戴设备6000还可以被配置为用于允许用户控制人工现实的各方面(例如，通过使用基于EMG的手势来控制人工现实中的用户界面对象，和/或通过允许用户与腕式可穿戴设备上的触摸屏交互来同样控制人工现实的多个方面)。在一些实施例中，腕式可穿戴设备6000也可以与可穿戴服饰(例如下文参考图13A至图13C描述的手套)结合使用。在这样描述了示例腕式可穿戴设备之后，现在将注意力转向示例头部可穿戴设备，例如AR系统7000和VR头戴式视图器7010。

示例头部可穿戴设备

图11A至图11C示出了示例人工现实系统，这些示例人工显示系统包括AR系统7000。在一些实施例中，AR系统7000是如图11A所示的眼镜设备。在一些实施例中，VR系统7010包括头戴式显示器(Head-Mounted Display，HMD)7012，如图11B-1和图11B-2所示。在一些实施例中，AR系统7000和VR系统7010包括一个或多个类似的部件(例如，用于呈现交互式人工现实环境的部件，例如处理器、存储器和/或呈现设备，这些呈现设备包括一个或多个显示器和/或一个或多个波导)，关于图11C更详细地描述了这些部件中的一些部件。如本文所述，头部可穿戴设备可以包括眼镜设备7002的部件和/或头戴式显示器7012的部件。头部可穿戴设备的一些实施例不包括显示器(这些显示器包括关于AR系统7000和/或VR系统7010描述的任何显示器)。虽然在本文中将各示例人工现实系统分别描述为AR系统7000和VR系统7010，但本文中所描述的各示例AR系统中的任何一者或两者可以被配置为呈现完全沉浸式VR场景，所述完全沉浸式VR场景呈现在基本上用户的全部视野中，以补充或替代更微小的增强现实场景，所述更微小的增强现实场景呈现在用户视野的比全部视野少的一部分视野内。

图11A示出了AR系统7000(其在本文中还可以被描述为增强现实眼镜和/或智能眼镜)的示例视觉描绘。AR系统7000可以包括图11A中未示出的附加电子部件(例如可穿戴附件设备和/或中间处理设备)，这些附加电子部件处于电子通信或以其它方式被配置为与眼镜设备结合使用。在一些实施例中，可穿戴附件设备和/或中间处理设备可以被配置为经由与耦接传感器7024电子通信的耦接机构而与眼镜设备耦接，其中，耦接传感器7024可以检测电子设备何时变得与眼镜设备物理耦接或电子耦接。在一些实施例中，眼镜设备被配置为耦接到外壳7090，外壳7090可以包括一个或多个附加耦接机构，该一个或多个附加耦接机构被配置为与附加附件设备耦接。图11A中所示的部件可以以硬件、软件、固件或其组合(包括一个或多个信号处理部件和/或专用集成电路(ASIC))来实现。

眼镜设备包括机械眼镜部件，机械眼镜部件包括框架7004，框架7004被配置为保持一个或多个镜片(例如，一个镜片或两个镜片7006-1和7006-2)。本领域的普通技术人员将理解，眼镜设备可以包括附加机械部件，例如被配置为允许眼镜设备7002的框架7004的部分折叠和展开的铰链、被配置为跨越镜片7006-1与镜片7006-2之间的间隙并依靠在用户的鼻子上的桥梁、被配置为依靠在鼻梁上并为眼镜设备提供支撑的鼻垫、被配置为依靠在用户的耳朵上并为眼镜设备提供附加支撑的镜脚、被配置为从铰链延伸到眼镜设备的镜脚的镜腿等。本领域普通技术人员将进一步理解，AR系统7000的一些示例不包括本文中所描述的机械部件。例如，被配置为向用户呈现人工现实的智能隐形眼镜可以不包括眼镜设备的任何部件。

眼镜设备包括多个电子部件，这些电子部件中的许多电子部件将在下文参照图11C更详细地描述。图11A中示出了一些示例电子部件，包括声学传感器7025-1、7025-2、7025-3、7025-4、7025-5和7025-6，这些声学传感器可以沿着眼镜设备的框架7004的大部分分布。眼镜设备还包括位于框架7004的不同侧的左侧相机7039A和右侧相机7039B。并且眼镜设备包括嵌入到框架7004的一部分中的处理器7048(例如，集成微处理器，例如ASIC)。

图11B-1和图11B-2示出了根据一些实施例的包括头戴式显示器(HMD)7012(在本文中还称为人工现实头戴式视图器、头部可穿戴设备或VR头戴式视图器)的VR系统7010。如上所述，一些人工现实系统(例如，AR系统7000)可以基本上用虚拟体验替代用户对真实世界的感官感知中的一个或多个感官感知(例如，AR系统5000c和5000d)，而不是将人工现实与实际现实混合。

HMD 7012包括前体7014和形状适合用户的头部的框架7016(例如，条或带)。在一些实施例中，前体7014和/或框架7016包括这样的一个或多个电子元件：该一个或多个电子元件用于促进AR系统和/或VR系统的呈现、和/或与AR系统和/或VR系统的交互，该一个或多个电子元件例如为，显示器、IMU、跟踪发射器或检测器。在一些实施例中，如图11B-2所示，HMD 7012包括输出音频转换器(例如，音频转换器7018-1)。在一些实施例中，如图11B-2所示，一个或多个部件(例如，一个或多个输出音频转换器7018-1和框架7016)(例如，框架7016的一部分或全部、和/或音频转换器7018-1)可以被配置为附接(例如，可拆卸地附接)到HMD 7012和从HMD 7012拆下。在一些实施例中，将可拆卸部件耦接到HMD 7012使可拆卸部件与HMD 7012电子通信。

图11B-1和图11B-2还示出了VR系统7010包括一个或多个相机，例如左侧相机7039A和右侧相机7039B(其可以类似于眼镜设备7002的框架7004上的左侧相机和右侧相机)。在一些实施例中，VR系统7010包括一个或多个附加相机(例如，相机7039C和7039D)，该一个或多个附加相机可以被配置为通过提供更多信息来增强由相机7039A和7039B获得的图像数据。例如，相机7039C可以用于提供相机7039A和7039B未识别的颜色信息。在一些实施例中，相机7039A至7039D中的一个或多个相机可以包括可选的IR截止滤光器，该IR截止滤光器被配置为从相应相机传感器处接收到的光中去除IR光。

图11C示出了计算系统7020和可选的外壳7090，该计算系统和可选的外壳中的每一者示出了如下部件：这些部件可以包括在AR系统7000和/或VR系统7010中。在一些实施例中，取决于所描述的相应AR系统的实际约束，可以在可选的外壳7090中包括更多或更少的部件。

在一些实施例中，计算系统7020和/或可选的外壳7090可以包括一个或多个外围接口7022、一个或多个电力系统7042、一个或多个控制器7046(包括一个或多个触觉控制器7047)、一个或多个处理器7048(如上文定义的，包括所提供的多个示例中的任何示例)以及存储器7050，它们都可以彼此电子通信。例如，该一个或多个处理器7048可以被配置为执行存储在存储器7050中的指令，所述指令可以使得该一个或多个控制器7046中的控制器使多个操作在外围接口7022的一个或多个外围设备处执行。在一些实施例中，所描述的每个操作可以基于由电力系统7042提供的电力而发生。

在一些实施例中，外围接口7022可以包括被配置作为计算系统7020的一部分的一个或多个设备，所述设备中的许多设备已经在上文进行了定义和/或关于图10A和图10B中所示的腕式可穿戴设备进行了描述。例如，外围接口可以包括一个或多个传感器7023。一些示例传感器包括：一个或多个耦接传感器7024、一个或多个声学传感器7025、一个或多个成像传感器7026、一个或多个EMG传感器7027、一个或多个电容式传感器7028、和/或一个或多个IMU传感器7029；和/或上文定义或关于本文中所讨论的任何其它实施例描述的任何其它类型的传感器。

在一些实施例中，外围接口可以包括一个或多个附加外围设备，该一个或多个附加外围设备包括：一个或多个NFC设备7030、一个或多个GPS设备7031、一个或多个LTE设备7032、一个或多个Wi-Fi和/或蓝牙设备7033、一个或多个按钮7034(例如，包括可滑动或以其它方式可调整的按钮)、一个或多个显示器7035、一个或多个扬声器7036、一个或多个传声器7037、一个或多个相机7038(例如，包括左侧相机7039A和/或右侧相机7039B)、和/或一个或多个触觉设备7040；和/或上文定义或关于本文中所讨论的任何其它实施例描述的任何其它类型的外围设备。

AR系统可以包括各种类型的视觉反馈机构(例如，呈现设备)。例如，AR系统7000中的显示设备和/或VR系统7010中的显示设备可以包括一个或多个液晶显示器(Liquid-Crystal Display，LCD)、发光二极管(Light Emitting Diode，LED)显示器、有机LED(Organic LED，OLED)显示器、和/或任何其它合适类型的显示屏。人工现实系统可以包括单个显示屏(例如，被配置为被两只眼睛看到)，和/或可以为每只眼睛提供单独的显示屏，这可以允许用于变焦距调整和/或用于校正与用户的视力相关联的屈光不正的附加灵活性。AR系统的一些实施例还包括具有一个或多个镜片(例如，传统的凹透镜或凸透镜、菲涅尔(Fresnel)透镜或可调整液体透镜)的光学子系统，用户可以通过这些镜片观看显示屏。

例如，相应显示器可以耦接到AR系统7000的镜片7006-1和镜片7006-2中的每一个镜片。耦接到镜片7006-1和镜片7006-2中的每一个镜片的多个显示器可以一起或独立地用于向用户呈现一幅或一系列图像。在一些实施例中，AR系统7000包括单个显示器(例如，近眼显示器)或多于两个显示器。在一些实施例中，可以使用第一组的一个或多个显示器来呈现增强现实环境，并且可以使用第二组的一个或多个显示设备来呈现VR环境。在一些实施例中，结合向AR系统7000的用户呈现人工现实内容来使用一个或多个波导(例如，作为将来自一个或多个显示器的光传送到用户的眼睛的手段)。在一些实施例中，一个或多个波导完全地或部分地被集成到眼镜设备7002中。作为显示屏的补充或替代，一些人工现实系统包括一个或多个投影系统。例如，AR系统7000中的显示设备和/或VR系统7010中的显示设备可以包括微LED投影仪，所述微LED投影仪(例如使用波导)将光投射到显示设备(诸如允许环境光经过的透明组合透镜(Clear combiner lenses))中。显示设备可以将投射的光折射到用户的瞳孔，并且可以使用户能够同时观看人工现实内容和真实世界两者。人工现实系统还可以被配置有任何其它合适类型或形式的图像投影系统。在一些实施例中，提供一个或多个波导以补充或替代一个或多个显示器。

AR系统7000或VR系统7010的计算系统7020和/或可选的外壳7090可以包括电力系统7042的部件中的一些或全部部件。电力系统7042可以包括一个或多个充电器输入7043、一个或多个PMIC 7044、和/或一个或多个电池7045。

存储器7050包括指令和数据，指令和数据中的一些或全部可以作为非暂态计算机可读存储媒介而被存储在存储器7050内。例如，存储器7050可以包括：一个或多个操作系统7051；一个或多个应用7052；一个或多个通信接口应用7053；一个或多个图形应用7054；一个或多个AR处理应用7055；和/或上文定义或关于本文中所讨论的任何其它实施例描述的任何其它类型的数据。

存储器7050还包括可结合上述应用中的一个或多个应用使用的数据7060。数据7060可以包括：简档数据7061；传感器数据7062；媒体内容数据7063；AR应用数据7064；和/或上文定义或关于本文中所讨论的任何其它实施例描述的任何其它类型的数据。

在一些实施例中，眼镜设备7002的控制器7046对由AR系统7000内的眼镜设备7002和/或另一电子设备上的传感器7023生成的信息进行处理。例如，控制器7046可以对来自声学传感器7025-1和7025-2的信息进行处理。对于每个检测到的声音，控制器7046可以执行波达方向(Direction Of Arrival，DOA)估计，以估计检测到的声音到达AR系统7000的眼镜设备7002的方向。在各声学传感器7025中的一个或多个声学传感器检测到声音时，控制器7046可以用信息(例如，在图11C中表示为传感器数据7062)填充(populate)音频数据集合。

在一些实施例中，物理电子连接器可以在眼镜设备与另一电子设备之间和/或在AR系统7000或VR系统7010的一个或多个处理器与控制器7046之间传送信息。该信息可以处于光学数据形式、电数据形式、无线数据形式、或任何其它可传输的数据形式。将对眼镜设备生成的信息的处理移到中间处理设备可以减轻眼镜设备的重量和热量，使眼镜设备对用户更舒适和更安全。在一些实施例中，可选的可穿戴附件设备(例如，电子领带)经由一个或多个连接器耦接到眼镜设备。各连接器可以是有线连接器或无线连接器，并且可以包括电和/或非电(例如，结构)部件。在一些实施例中，眼镜设备和可穿戴附件设备可以独立地操作，而不需要在它们之间进行任何有线连接或无线连接。

在一些情况下，将诸如中间处理设备(例如，HIPD 8000)等外部设备与(例如作为AR系统7000的一部分的)眼镜设备7002配对，使眼镜设备7002能够实现一副眼镜的类似外形要素，同时仍为所扩展的能力提供足够的电池和计算能力。AR系统7000的电池电力、计算资源和/或附加特征中的一些或全部可以由配对的设备来提供、或者在配对的设备与眼镜设备7002之间共享，因此总体上降低了眼镜设备7002的重量、热分布(heat profile)和外形要素，同时允许眼镜设备7002保持其期望的功能。例如，可穿戴附件设备可以允许将否则将被包括在眼镜设备7002上的部件包括在可穿戴附件设备和/或中间处理设备中，从而将重量负荷从用户的头部和颈部转移到用户的身体的一个或多个其它部位。在一些实施例中，中间处理设备具有更大的表面区域，在该表面区域上向周围环境扩散和分散热。因此，中间处理设备可以允许比单独在眼镜设备7002上可能的电池和计算能力更大的电池和计算能力。因为可穿戴附件设备中承载的重量对用户的影响可能比眼镜设备7002中承载的重量对用户的影响小，所以相比于用户容忍单独穿戴更重的眼镜设备，用户可以容忍在更长的时间穿戴更轻的眼镜设备并且携带或穿戴配对的设备，从而使人工现实环境能够更充分地结合到用户的日常活动中。

AR系统可以包括各种类型的计算机视觉部件和子系统。例如，AR系统7000和/或VR系统7010可以包括一个或多个光学传感器，例如二维(2D)或三维(3D)相机、飞行时间深度传感器、单波束或扫描激光测距仪、3D LiDAR(激光雷达)传感器、和/或任何其它合适类型或形式的光学传感器。AR系统可以处理来自这些传感器中的一个或多个传感器的数据，以识别用户的位置和/或用户的真实世界物理环境的多个方面(包括真实世界对象在真实世界物理环境中的位置)。在一些实施例中，本文中所描述的方法被用于映射真实世界、向用户提供关于真实世界环境的上下文、和/或生成数字孪生体(例如，可交互的虚拟对象)、以及各种其它功能。例如，图11B-1和图11B-2示出了具有相机7039A至7039D的VR系统7010，相机7039A至7039D可以用于提供深度信息，该深度信息用于创建体素场和二维网格，以向用户提供对象信息以避免碰撞。

在一些实施例中，AR系统7000和/或VR系统7010可以包括触觉(触知的)反馈系统，所述触觉反馈系统可以结合到头饰、手套、连体衣、手持控制器、环境设备(例如，椅子或脚垫)、和/或任何其它类型的设备或系统(例如，本文中所讨论的可穿戴设备)中。触觉反馈系统可以提供各种类型的皮肤反馈，包括振动、力、拉力、剪切、纹理和/或温度。触觉反馈系统还可以提供各种类型的动觉反馈，例如运动和顺应(compliance)。触觉反馈可以使用电机、压电致动器、流体系统和/或各种其它类型的反馈机构来实现。触觉反馈系统可以独立于其它人工现实设备(例如，关于图13A至图13C描述的触觉反馈系统)、在其它人工现实设备内和/或结合其它人工现实设备来实现。

在诸如AR系统7000和/或VR系统7010等AR系统的一些实施例中，环境光(例如，用户将正常看到的周围环境的实况馈送)可以穿过正呈现AR系统的多个方面的相应头部可穿戴设备的显示元件。在一些实施例中，环境光可以经过用户的视野内呈现的AR环境中的、比全部AR环境少的一部分AR环境(例如，AR环境的、与用户的真实世界环境中的物理对象处于同一位置的一部分AR环境，该物理对象位于指定边界(例如，监护边界)内)，该部分AR环境被配置为用户在其与AR环境交互时使用。例如，视觉用户界面元素(例如，通知用户界面元素)可以被呈现在头部可穿戴设备处，并且一定量的环境光(例如，环境光的15％-50％)可以穿过该用户界面元素，使得用户可以区分物理环境的、正在其上显示该用户界面元素的至少一部分。

示例手持式中间处理设备

图12A和图12B示出了根据一些实施例的示例手持式中间处理设备(HIPD)8000。HIPD 8000是本文中所描述的中间设备的实例，使得HIPD 8000应被理解为具有关于上文定义的或以其它方式在本文中描述的任何中间设备所描述的特征，反之亦然。图12A示出了HIPD 8000的俯视图8005和侧视图8025。HIPD 8000被配置为与和用户相关联的一个或多个可穿戴设备(或其它电子设备)通信地耦接。例如，HIPD 8000被配置为与用户的腕式可穿戴设备6000(或其部件，例如表体6020和可穿戴带6010)、AR系统7000和/或VR头戴式视图器7010通信地耦接。HIPD 8000可以被配置为由用户手持(例如，作为手持控制器)、被携带在用户人身上(例如，在用户的口袋中、或者在用户的包中)、放在用户附近(例如，在坐在其桌子旁时放在其桌子上、或者在充电底座上)、和/或放在与可穿戴设备或其它电子设备相距预定距离处或之内(例如，在一些实施例中，该预定距离是HIPD 8000可以成功地与诸如可穿戴设备等电子设备通信地耦接的最大距离(例如，10米))。

HIPD 8000可以独立地和/或结合一个或多个可穿戴设备(例如，腕式可穿戴设备6000、AR系统7000和/或VR头戴式视图器7010)来执行各种功能。HIPD 8000被配置为增加和/或改进通信耦接的设备(诸如可穿戴设备)的功能。HIPD 8000被配置为执行与以下项相关联的一个或多个功能或操作：与通信耦接的设备的用户界面和应用交互、与AR环境交互、与VR环境交互、和/或作为人机接口控制器进行操作。此外，如下文将更详细地描述的，HIPD8000的功能和/或操作可以包括但不限于：任务卸载和/或传送；热量卸载和/或传送；6自由度(6DoF)射线投射和/或游戏(例如，使用成像设备或相机8014，成像设备或相机8014可被用于同时定位与地图构建(Simultaneous Localization And Mapping，SLAM)和/或与其它图像处理技术一起使用)；便携式充电；消息传递；经由一个或多个成像设备或相机8022进行图像捕获；感测用户输入(例如，感测触摸输入表面8002上的触摸)；无线通信和/或互连(例如，蜂窝、近场、Wi-Fi、或个人局域网)；位置确定；金融交易；提供触觉反馈；警告；通知；生物识别认证；健康监测；和/或睡眠监测。上述示例功能可以在HIPD 8000中独立执行和/或以HIPD 8000与本文中所描述的另一可穿戴设备之间的通信来执行。在一些实施例中，可以在HIPD 8000上结合AR环境执行功能。如本领域技术人员在阅读本文中所提供的描述时将理解的，本文中所描述的HIPD 8000可以与任何类型的合适的AR环境一起使用。

在HIPD 8000与可穿戴设备和/或其它电子设备通信地耦接时，HIPD 8000被配置为执行在可穿戴设备和/或其它电子设备处发起的一个或多个操作。具体地，可以将可穿戴设备和/或其它电子设备的一个或多个操作转移到HIPD 8000以执行。HIPD 8000执行可穿戴设备和/或其它电子设备的一个或多个操作，并向可穿戴设备和/或其它电子设备提供与完成的操作对应的数据。例如，用户可以使用AR系统7000发起视频流，并且与执行视频流相关联的后端任务(例如，视频渲染)可以被转移到HIPD 8000，HIPD 8000执行该后端任务，并将对应数据提供给AR系统7000以执行与视频流相关联的剩余前端任务(例如，经由AR系统7000的显示器呈现渲染的视频数据)。这样，与可穿戴设备相比具有更多计算资源和更大热净空的HIPD 8000可以为可穿戴设备执行计算密集型任务，从而提高了由可穿戴设备执行的操作的性能。

HIPD 8000包括在第一侧(例如，前表面)上的多触摸输入表面8002，该多触摸输入表面8002被配置为检测一个或多个用户输入。具体地，多触摸输入表面8002可以检测单轻击输入、多轻击输入、滑动手势和/或输入、基于力和/或基于压力的触摸输入、保持轻击等。多触摸输入表面8002被配置为检测电容式触摸输入和/或力(和/或压力)触摸输入。多触摸输入表面8002包括由表面凹陷限定的触摸输入表面8004和由基本上平坦的部分限定的触摸输入表面8006。触摸输入表面8004可以设置为与触摸输入表面8006相邻。在一些实施例中，触摸输入表面8004和触摸输入表面8006可以具有不同的尺寸、形状、和/或覆盖多触摸输入表面8002的不同部分。例如，触摸输入表面8004可以基本上是圆形的，并且触摸输入表面8006基本上是矩形的。在一些实施例中，多触摸输入表面8002的表面凹陷被配置为引导用户对HIPD 8000的操作。具体地，表面凹陷被配置为使得用户在单手握住时竖直地握住HIPD 8000(例如，使得成像设备或相机8014A和8014B指向天花板或天空)。此外，表面凹陷被配置为使得用户的拇指位于触摸输入表面8004内。

在一些实施例中，不同的触摸输入表面包括多个触摸输入区。例如，触摸输入表面8006至少包括触摸输入表面8006内的触摸输入区8008和触摸输入区8008内的触摸输入区8010。在一些实施例中，各触摸输入区中的一个或多个触摸输入区是可选的和/或用户定义的(例如，用户可以基于其偏好来指定触摸输入区)。在一些实施例中，每个触摸输入表面和/或触摸输入区与预定的命令集合相关联。例如，在触摸输入区8008内检测到的用户输入使HIPD 8000执行第一命令，并且在触摸输入表面8006内检测到的用户输入使HIPD 8000执行与第一命令不同的第二命令。在一些实施例中，不同的触摸输入表面和/或触摸输入区被配置为检测一种或多种类型的用户输入。不同的触摸输入表面和/或触摸输入区可以被配置为检测相同或不同类型的用户输入。例如，触摸输入区8008可以被配置为检测力触摸输入(例如，用户按下的量级)和电容式触摸输入，并且触摸输入表面8006可以被配置为检测电容式触摸输入。

HIPD 8000包括一个或多个传感器8051，该一个或多个传感器用于感测在执行一个或多个操作和/或功能时使用的数据。例如，HIPD 8000可以包括IMU传感器，该IMU传感器与相机8014结合使用，以在AR或VR环境中进行三维对象操作(例如，放大、移动或销毁对象)。包括在HIPD 8000中的传感器8051的非限制性示例包括光传感器、磁力计、深度传感器、压力传感器和力传感器。下文参考图12B提供传感器8051的附加示例。

HIPD 8000可以包括一个或多个光指示器8012以向用户提供一个或多个通知。在一些实施例中，光指示器是LED或其它类型的照明设备。光指示器8012可以作为私密光来向用户和/或用户附近的其他人通知：成像设备和/或传声器是激活的。在一些实施例中，光指示器位于一个或多个触摸输入表面附近。例如，光指示器可以位于触摸输入表面8004周围。光指示器可以以不同的颜色和/或图案来点亮，以向用户提供一个或多个通知和/或关于设备的信息。例如，位于触摸输入表面8004周围的光指示器可以在用户接收到通知(例如，消息)时闪烁，可以在HIPD 8000断电时变为红色，可以用作进度条(例如，灯环，其在任务完成时关闭(例如，0％到100％))，和/或用作音量指示器。

在一些实施例中，HIPD 8000在另一表面上包括一个或多个附加传感器。例如，如图12A所示，HIPD 8000包括HIPD 8000的边缘上的一个或多个传感器的集合(例如，传感器集合8020)。传感器集合8020在位于HIPD 8000的边缘上时，可以按预定倾斜角度(例如，26度)定位，这允许传感器集合8020在被放在桌子或其它平面上时向用户倾斜。可替代地，在一些实施例中，传感器集合8020位于与多触摸输入表面8002相对的表面(例如，背面)上。下文详细讨论传感器集合8020中的一个或多个传感器。

HIPD 8000的侧视图8025示出了传感器集合8020和相机8014B。传感器集合8020包括一个或多个相机8022A和8022B、深度投影仪8024、环境光传感器8028和深度接收器8030。在一些实施例中，传感器集合8020包括光指示器8026。光指示器8026可以用作隐私指示器，以让用户和/或用户周围的人知道相机和/或传声器是激活的。传感器集合8020被配置为捕获用户的面部表情，使得用户可以操纵定制化身(例如，在用户的化身或数字表示上显示情绪，例如微笑和/或大笑)。传感器集合8020可以被配置为侧立体RGB系统、后间接飞行时间(indirect Time-of-Flight，iToF)系统或后立体RGB系统。如本领域技术人员在阅读本文中所提供的描述时将理解的，本文中所描述的HIPD 8000可以使用不同的传感器集合8020配置和/或传感器集合8020布置。

在一些实施例中，HIPD 8000包括的一个或多个触觉设备8071(例如，振动触觉致动器)，该一个或多个触觉设备8071被配置为提供触觉反馈(例如，动觉感知)。传感器8051和/或触觉设备8071可以被配置为与多个应用和/或通信耦接的设备结合操作，所述多个应用和/或通信耦接的设备包括但不限于可穿戴设备、健康监测应用、社交媒体应用、游戏应用和人工现实应用(例如，与人工现实相关联的应用)。

HIPD 8000被配置为在没有显示器的情况下操作。然而，在可选的实施例中，HIPD8000可以包括显示器8068(图12B)。HIPD 8000还可以包括一个或多个可选的外围按钮8067(图12B)。例如，外围按钮8067可以被用于打开或关闭HIPD 8000。此外，HIPD 8000的外壳可以由聚合物和/或弹性体形成。HIPD 8000可以被配置为具有防滑表面，以允许HIPD 8000被放在表面上而不需要用户监视HIPD 8000。换言之，HIPD 8000被设计为使其不容易从表面滑落。在一些实施例中，HIPD 8000包括一个或多个磁体，该一个或多个磁体用于将HIPD8000耦接到另一表面。这允许用户将HIPD 8000安装到不同的表面，并为用户提供使用HIPD8000的更大的灵活性。

如上所述，HIPD 8000可以分发和/或提供用于在HIPD 8000和/或通信耦接的设备处执行一个或多个任务的指令。例如，HIPD 8000可以识别要由HIPD 8000执行的一个或多个后端任务以及要由通信耦接的设备执行的一个或多个前端任务。虽然HIPD 8000被配置为转移和/或传送通信耦接的设备的任务，但HIPD 8000可以(例如经由一个或多个处理器，诸如CPU 8077；图12B)执行后端任务和前端任务两者。HIPD 8000可以用于执行(但不限于此)：增强呼叫(例如，接收和/或发送3D或2.5D实况体积式呼叫(live volumetric call)、实况数字人表示呼叫、和/或化身呼叫)、谨慎的消息传递、6DoF人像/风景游戏、AR/VR对象操纵、AR/VR内容显示(例如，经由虚拟显示呈现内容)、和/或其它AR/VR交互。HIPD 8000可以单独或与可穿戴设备(或其它通信耦接的电子设备)结合执行上述操作。

图12B示出了根据一些实施例的HIPD 8000的计算系统8040的框图。以上详细描述的HIPD 8000可以包括HIPD计算系统8040中示出的一个或多个部件。HIPD 8000将被理解为包括下文针对HIPD计算系统8040示出和描述的部件。在一些实施例中，HIPD计算系统8040的各部件中的所有部件或大部分部件被包括在单个集成电路中。可替代地，在一些实施例中，HIPD计算系统8040的各部件被包括在多个集成电路中，这些集成电路通信地耦接。

HIPD计算系统8040可以包括：处理器(例如，CPU 8077、GPU和/或具有集成图形的CPU)；控制器8075；外围接口8050，该外围接口8050包括一个或多个传感器8051和其它外围设备；电源(例如，电力系统8095)；以及存储器(例如，存储器8078)，该存储器包括操作系统(例如，操作系统8079)、数据(例如，数据8088)、一个或多个应用(例如，应用8080)、和一个或多个模块(例如，通信接口模块8081、图形模块8082、任务和处理管理模块8083、互操作性模块8084、AR处理模块8085和/或数据管理模块8086)。HIPD计算系统8040还包括电力系统8095，该电力系统8095包括充电器输入和输出8096、PMIC 8097和电池8098，所有这些都在上文被定义。

在一些实施例中，外围接口8050可以包括一个或多个传感器8051。各传感器8051可以包括与以上参考图10B描述的传感器类似的传感器。例如，各传感器8051可以包括成像传感器8054、(可选的)EMG传感器8056、IMU传感器8058和电容式传感器8060。在一些实施例中，多个传感器8051可以包括用于感测压力数据的一个或多个压力传感器8052、用于感测HIPD 8000的高度的高度计8053、用于感测磁场的磁力计8055、用于确定相机与图像中的对象之间的差的深度传感器8057(或飞行时间传感器)、用于感测HIPD 8000的一部分的相对位移或位置改变的位置传感器8059(例如，柔性位置传感器)、用于感测施加到HIPD 8000的一部分的力的力传感器8061、和用于检测光量的光传感器8062(例如，环境光传感器)。各传感器8051可以包括图12B中未示出的一个或多个传感器。

类似于上文参考图10B描述的外围设备，外围接口8050还可以包括NFC部件8063、GPS部件8064、LTE部件8065、Wi-Fi和/或蓝牙通信部件8066、扬声器8069、触觉设备8071、以及传声器8073。如上文参考图12A所述，HIPD 8000可以可选地包括显示器8068和/或一个或多个按钮8067。外围接口8050还可以包括一个或多个相机8070、触摸表面8072和/或一个或多个光发射器8074。以上参考图12A描述的多触摸输入表面8002是触摸表面8072的示例。光发射器8074可以是一个或多个LED、激光器，并且可以用于向用户投影或呈现信息。例如，各光发射器8074可以包括上文参照图12A描述的光指示器8012和8026。各相机8070(例如，上文在图12A中描述的相机8014和8022)可以包括一个或多个广角相机、鱼眼相机、球形相机、复眼相机(例如，立体和多相机)、深度相机、RGB相机、ToF相机、RGB-D相机(深度和ToF相机)、和/或其它可用的相机。相机8070可以用于：SLAM、6DoF射线投射、游戏、对象操纵、和/或其它渲染；和/或面部识别和面部表情识别。

类似于上文参考图10B描述的表体计算系统6060和表带计算系统6030，HIPD计算系统8040可以包括一个或多个触觉控制器8076和相关联的部件(例如，触觉设备8071)，该一个或多个触觉控制器8076和相关联的部件用于在HIPD 8000处提供触觉事件。

存储器8078可以包括高速随机存取存储器和/或非易失性存储器，诸如一个或多个磁盘存储设备、闪存存储器设备或其它非易失性固态存储器设备。HIPD 8000的其它部件(诸如一个或多个处理器和外围接口8050)对存储器8078的访问可以由各控制器8075中的存储器控制器来控制。

在一些实施例中，存储在存储器8078中的软件部件包括一个或多个操作系统8079、一个或多个应用8080、一个或多个通信接口模块8081、一个或多个图形模块8082、以及一个或多个数据管理模块8086，这些部件类似于上文参考图10B描述的软件部件。

在一些实施例中，存储在存储器8078中的软件部件包括任务和处理管理模块8083，该任务和处理管理模块8083用于识别与用户执行的操作相关联的一个或多个前端和后端任务，执行一个或多个前端和/或后端任务，并且/或者向使得执行一个或多个前端任务和/或后端任务的一个或多个通信耦接的设备提供指令。在一些实施例中，任务和处理管理模块8083使用数据8088(例如，设备数据8090)，基于通信耦接的设备的计算资源、可用电力、热净空、正在进行的操作和/或其它因素来分发一个或多个前端和/或后端任务。例如，任务和处理管理模块8083可以根据确定在通信耦接的AR系统7000处执行的操作正在利用预定量(例如，至少70％)的、在AR系统7000处可用的计算资源，使该操作的一个或多个后端任务在HIPD 8000处执行。

在一些实施例中，存储在存储器8078中的软件部件包括互操作性模块8084，该互操作性模块8084用于交换和利用通过不同通信耦接的设备接收到的和/或提供给不同通信耦接的设备的信息。互操作性模块8084允许不同的系统、设备和/或应用以协调的方式连接和通信，而无需用户输入。在一些实施例中，存储在存储器8078中的软件部件包括AR模块8085，AR模块8085被配置为至少基于传感器数据来处理信号，以供在AR和/或VR环境中使用。例如，AR模块8085可以用于3D对象操作、手势识别、和/或面部识别和面部表情识别。

存储器8078还可以包括数据8088，该数据8088包括结构化数据。在一些实施例中，数据8088包括简档数据8089、设备数据8090(包括与HIPD 8000通信地耦接的一个或多个设备的设备数据，诸如设备类型、硬件、软件和/或配置)、传感器数据8091、媒体内容数据8092和应用数据8093。

应当理解，HIPD计算系统8040是HIPD 8000内的计算系统的示例，并且HIPD 8000可以具有比HIPD计算系统8040中示出的部件更多或更少的部件，可以组合两个或更多个部件，和/或可以具有不同的部件配置和/或布置。HIPD计算系统8040中示出的各种部件以硬件、软件、固件或其组合(包括一个或多个信号处理和/或专用集成电路)来实现。

上文在图12A和图12B中描述的技术可以与用作人机接口控制器的任何设备一起使用。在一些实施例中，HIPD 8000可以与一个或多个可穿戴设备(诸如头部可穿戴设备(例如，AR系统7000和VR系统7010)和/或腕式可穿戴设备6000(或其部件))结合使用。在一些实施例中，HIPD 8000与可穿戴服饰(例如，图13A至图13C中的手套)结合使用。在这样描述了示例HIPD 8000之后，现在将注意力转向示例反馈设备，例如设备9000。

示例反馈设备

图13A和图13B示出了示例触觉反馈系统(例如，手可穿戴设备)，所述示例触觉反馈系统用于向用户提供关于用户与计算系统(例如，由AR系统7000或VR系统7010呈现的人工现实环境)的交互的反馈。在一些实施例中，计算系统(例如，AR系统5000d)还可以基于在计算系统内执行的动作和/或由AR系统提供的交互(例如，所述动作和/或交互可以基于如下指令：所述指令是结合执行计算系统的应用的操作而执行的)向一个或多个用户提供反馈。这种反馈可以包括视觉和/或音频反馈，并且还可以包括通过触觉组件(例如设备9000的一个或多个触觉组件9062，例如，触觉组件9062-1、9062-2和9062-3)提供的触觉反馈。例如，触觉反馈可以防止用户的一个或多个手指弯曲经过某一点(或至少阻碍/阻止用户的一个或多个手指移动)，以模拟触摸固体咖啡杯的感觉。在驱动此类触觉效果时，设备9000可以(直接或间接)改变各触觉组件9062中的一个或多个触觉组件的加压状态。

各触觉组件9062中的每个触觉组件包括这样的机构：该机构在相应触觉组件9062从第一加压状态(例如，大气压力或放气的)转换到第二加压状态(例如，充气到阈值压力)时，至少提供阻力。触觉组件9062的结构可以被集成到这样的各种设备中：这些设备被配置为接触或接近用户的皮肤，这些设备包括但不限于诸如手套穿戴设备、身体穿戴服饰设备和头戴式视图器设备等设备。

如上所述，本文中所描述的触觉组件9062可以被配置为在第一加压状态与第二加压状态之间转换，以向用户提供触觉反馈。由于人工现实不断变化的性质，在单次使用期间，触觉组件9062可能需要在两种状态之间转换数百次或可能数千次。因此，本文中所描述的触觉组件9062是耐用的，并且被设计为快速地从一状态转换到另一状态。为了提供一些背景信息，在第一加压状态下，触觉组件9062不会阻碍穿戴者的身体的部位的自由移动。例如，结合到手套中的一个或多个触觉组件9062(例如，静电拉链(Zipping)致动器)由柔性材料制成，所述柔性材料不会阻碍穿戴者的手部和手指的自由移动。触觉组件9062被配置为在处于第一加压状态时符合穿戴者的身体部位的形状。然而，一旦处于第二加压状态，触觉组件9062可以被配置为限制和/或阻碍穿戴者的身体部位(例如，用户手部的手指)的自由移动。例如，当相应触觉组件9062处于第二加压状态时，该触觉组件9062(或多个相应触觉组件)可以限制穿戴者的手指的移动(例如，防止手指卷曲或伸展)。此外，一旦处于第二加压状态，触觉组件9062可以采用不同的形状，其中一些触觉组件9062被配置为采用平面、刚性(例如，平坦和刚性)形状，而其它触觉组件9062被配置为至少部分地弯曲(curve)或弯折(bend)。

作为非限制性示例，设备9000包括多个触觉设备(例如，一对触觉手套)、以及腕式可穿戴设备(例如，关于图10A和图10B描述的多个腕式可穿戴设备中的任何一个)的触觉部件。该多个触觉设备和触觉部件中的每个可以包括服饰部件(例如，服饰9004)和耦接(例如，物理耦接)到服饰部件的一个或多个触觉组件。例如，触觉组件9062-1、9062-2、9062-3至9062-N中的被物理耦接到服饰9004的每个触觉组件被配置为接触用户的拇指和手指的相应指骨。如上所述，触觉组件9062被配置为向设备9000的穿戴者提供触觉模拟。每个设备9000的服饰9004可以是各款服饰(例如，手套、袜子、衬衫或裤子)中的一种。因此，用户可以穿戴多个设备9000，该多个设备9000各自被配置为向身体的穿戴着设备9000的相应部位提供触觉刺激。

图13C示出了根据一些实施例的设备9000的计算系统9040的框图。计算系统9040可以包括一个或多个外围接口9050、一个或多个电力系统9095、一个或多个控制器9075(包括一个或多个触觉控制器9076)、一个或多个处理器9077(如上文定义的，包括所提供的示例中的任何示例)、以及存储器9078，它们都可以彼此电子通信。例如，该一个或多个处理器9077可以被配置为执行存储在存储器9078中的指令，所述指令可以使得该一个或多个控制器9075中的控制器使多个操作在外围接口9050的一个或多个外围设备处被执行。在一些实施例中，所描述的每个操作可以基于由电力系统9095提供的电力而发生。电力系统9095包括充电器输入9096、PMIC 9097和电池9098。

在一些实施例中，外围接口9050可以包括被配置作为计算系统9040的一部分的一个或多个设备，所述设备中的许多设备已经在上文进行了定义和/或关于图10A和图10B中所示的腕式可穿戴设备进行了描述。例如，外围接口9050可以包括一个或多个传感器9051。一些示例传感器包括：一个或多个压力传感器9052、一个或多个EMG传感器9056、一个或多个IMU传感器9058、一个或多个位置传感器9059、一个或多个电容式传感器9060、一个或多个力传感器9061；和/或上文定义或关于本文中所讨论的任何其它实施例描述的任何其它类型的传感器。

在一些实施例中，外围接口可以包括一个或多个附加外围设备，该一个或多个附加外围设备包括一个或多个Wi-Fi和/或蓝牙设备9068；一个或多个触觉组件9062；一个或多个支撑结构9063(其可以包括一个或多个囊状物(bladder)9064)；一个或多个歧管(manifold)9065；一个或多个压力改变设备9067；和/或上文定义或关于本文中所讨论的任何其它实施例描述的任何其它类型的外围设备。

在一些实施例中，每个触觉组件9062包括支撑结构9063和至少一个囊状物9064。囊状物9064(例如，膜)是由耐用和抗穿刺材料(例如，热塑性聚氨酯(ThermoplasticPolyurethane，TPU)、柔性聚合物等)制成的密封的可充气口袋。囊状物9064包含可添加到囊状物9064或从囊状物9064去除以改变囊状物9064内的压力(例如，流体压力)的介质(例如，诸如空气、惰性气体或甚至液体的流体)。支撑结构9063由比囊状物9064的材料更坚固和更坚硬的材料制成。耦接到相应囊状物9064的相应支撑结构9063被配置为在相应囊状物因囊状物内的压力(例如，流体压力)的改变而改变形状和大小时，加强相应囊状物9064。

设备9000还包括触觉控制器9076和压力改变设备9067。在一些实施例中，触觉控制器9076是计算机系统9040的一部分(例如，计算机系统9040的与计算机系统9040的一个或多个处理器9077电子通信的部分)。触觉控制器9076被配置为控制压力改变设备9067的操作，并进而控制设备9000的操作。例如，控制器9076向压力改变设备9067发送一个或多个信号以激活压力改变设备9067(例如，开启和关闭压力改变设备9067)。该一个或多个信号可以指定要由压力改变设备9067输出的期望压力(例如，磅每平方英寸)。该一个或多个信号的生成以及进而由压力改变设备9067输出的压力可以基于由图11A和图11B中的传感器收集的信息。例如，该一个或多个信号可以基于由图11A、图11B-1和图11B-2中的传感器收集的信息(例如，用户接触人工咖啡杯)，使压力改变设备9067在第一时间增加触觉组件9062内的压力(例如，流体压力)。然后，控制器可以基于由传感器9051收集的附加信息向压力改变设备9067发送一个或多个附加信号，该一个或多个附加信号使压力改变设备9067在第一时间之后的第二时间进一步增加触觉组件9062内的压力。此外，一个或多个信号可以使压力改变设备9067对设备9000-A中的一个或多个囊状物9064进行充气，而设备9000-B中的一个或多个囊状物9064保持不变。此外，一个或多个信号可以使压力改变设备9067将设备9000-A中的一个或多个囊状物9064充气到第一压力，并且将设备9000-A中的一个或多个其它囊状物9064充气到不同于第一压力的第二压力。取决于由压力改变设备9067服务的设备9000的数量以及设备9000中的囊状物的数量，可以通过一个或多个信号实现许多不同的充气配置，并且上文的示例并不意味着是限制性的。

设备9000可以包括压力改变设备9067与设备9000之间的可选的歧管9065。歧管9065可以包括一个或多个阀门(未示出)，该一个或多个阀门经由管道将触觉组件9062中的每个触觉组件与压力改变设备9067进行气动耦接。在一些实施例中，歧管9065与控制器9075通信，并且控制器9075控制歧管9065的一个或多个阀门(例如，控制器生成一个或多个控制信号)。歧管9065被配置为基于来自控制器9075的一个或多个控制信号，将压力改变设备9067与同一或不同的设备9000的一个或多个触觉组件9062可切换地耦接。在一些实施例中，设备9000可以包括多个压力改变设备9067，其中每个压力改变设备9067直接与单个(或多个)触觉组件9062进行气动耦接，而不是使用歧管9065将压力改变设备9067与触觉组件9062进行气动耦接。在一些实施例中，压力改变设备9067和可选的歧管9065被配置为一个或多个设备9000(未示出)的一部分，而在其它实施例中，压力改变设备9067和可选的歧管9065被配置为在设备9000外部。单个压力改变设备9067可以由多个设备9000共享。

在一些实施例中，压力改变设备9067是气动设备、液压设备、气动液压设备、或能够添加介质(例如，流体、液体、气体)和从一个或多个触觉组件9062去除介质的某个其它设备。

图13A至图13C中所示的设备可以经由有线连接(例如，经由总线)而被耦接。替代地，图13A至图13C中所示的设备中的一个或多个设备可以(例如，经由短距离通信信号)被无线连接。

存储器9078包括多个指令和数据，这些指令和数据中的一些或全部可以作为非暂态计算机可读存储媒介而被存储在存储器9078内。例如，存储器9078可以包括：一个或多个操作系统9079；一个或多个通信接口应用9081；一个或多个互操作性模块9084；一个或多个AR处理应用9085；一个或多个数据管理模块9086；和/或上文定义或关于本文中所讨论的任何其它实施例描述的任何其它类型的数据。

存储器9078还包括可以结合上述应用中的一个或多个应用使用的数据9088。数据9088可以包括：设备数据9090；传感器数据9091；和/或上文定义或关于本文中所讨论的任何其它实施例描述的任何其它类型的数据。

已经如此描述了系统框图并且然后描述了示例可穿戴设备，现在将注意力转向某些示例实施例。

示例实施例

现在转到前文描述的方法、设备、系统和计算机可读存储介质的一些示例实施例。简而言之，下文的描述首先讨论以符号A开始的段落，这些段落与根据神经肌肉信号识别用户手势的方面相关；接着是以符号B开始的段落的讨论，这些段落涉及用于手势识别的电路和部件。

(A1)在一个方面，一些实施例包括一种节能处理神经肌肉信号以确认预定事件的发生的方法(例如，方法600)。在一些实施例中，该方法在具有存储器(例如，存储器6080和/或6050)和一个或多个处理器(例如，一个或多个处理器6079和/或6049)的可穿戴设备(例如，腕式可穿戴设备104)处执行。该方法包括：(i)获得来自可穿戴设备的神经肌肉信号感测部件(例如，神经肌肉信号感测部件402)的第一组神经肌肉信号；(ii)在使用可穿戴设备的低功率检测器(例如，低功率检测器414)确定第一组神经肌肉信号中的相应神经肌肉信号需要进一步处理以确认已经在可穿戴设备处做出了预定空中手势之后：(a)使用可穿戴设备的高功率检测器(例如，高功率检测器416)处理第一组神经肌肉信号中的多个信号，该多个信号包括除该相应神经肌肉信号之外的多个神经肌肉信号，该高功率检测器被配置为检测第一数量的空中手势同时消耗可穿戴设备的第一功率量，并且该低功率检测器被配置为检测第二数量的空中手势同时消耗可穿戴设备的第二功率量，第二数量的空中手势少于第一数量的空中手势，可穿戴设备的第二功率量小于可穿戴设备的第一功率量；以及(b)根据确定使用高功率检测器对该多个信号的处理指示预定空中手势确实发生，记录预定空中手势的发生(例如，如图1B和图1C所示)；(iii)接收来自可穿戴设备的神经肌肉信号感测部件的第二组神经肌肉信号；以及(iv)在基于第二组神经肌肉信号中的相应神经肌肉信号并使用低功率检测器而不使用高功率检测器确定在可穿戴设备处做出了不同于预定空中手势的不同预定空中手势之后，响应于在可穿戴设备处的该不同预定空中手势来执行动作(例如，如图1G所示)。在一些实施例中，低功率检测器比高功率检测器分析更少的信号(例如，低功率检测器分析一至三个EMG通道，而高功率检测器分析八个EMG通道)。

例如，不同预定空中手势可以是与即时动作(例如在不需要使用高功率检测器进行进一步处理的情况下被激活的动作)相关联的一组预定空中手势。在一些实施例中，该方法包括：基于第二组神经肌肉信号中的相应神经肌肉信号并且仅使用低功率检测器，来确定在可穿戴设备处做出了该不同预定空中手势。在一些实施例中，该方法包括：在将高功率检测器保持在非激活状态时，基于第二组神经肌肉信号中的相应神经肌肉信号并使用低功率检测器来确定在可穿戴设备处做出了该不同预定空中手势。

在一些实施例中，多个即时动作包括一个或多个无状态即时动作和/或一个或多个有状态即时动作。例如，多个即时动作可以包括食指双击手势(例如，无状态动作)、中指双击手势(例如，无状态动作)、食指双握手势(index-finger-double-hold gesture)(例如，有状态动作)、中指双握手势(例如，有状态动作)和/或拇指双击手势(例如，无状态动作)。在一些实施例中，即时动作是基于可穿戴设备的操作状态。例如，在相机应用是激活的时，第一组即时动作是可用的，而在消息传递应用是激活的时，第二组即时动作是可用的。

例如，当检测某些类型的空中手势时，使用低功率检测器进行初始检测，然后使用高功率检测器进行确认，而其它空中手势(其可以称为即时动作手势，包括所述不同预定空中手势)可以仅使用低功率检测器来检测，而不需要也使用高功率检测器。因此，可以实现对神经肌肉信号的节能处理。

(A2)在A1的一些实施例中，预定空中手势包括唤醒手势。例如，唤醒手势可以是空中手势，其中用户的拇指双击用户食指的一侧。另一个示例是用户的中指双击用户的拇指。在选择唤醒手势时，重要的是尽量减少可能意外触发特征的自然动作，这样，拇指或中指的两次轻击是特定唤醒手势的理想候选动作，因为它们不太可能被意外执行。在一些实施例中，当做出唤醒手势时，用户的手部的取向也很重要，使得该唤醒手势仅在用户的手部以特定方式定向(例如，要求在用户的腕部以特定方式定向时做出手势以减少假肯定)时才能识别。

在一些实施例中，低功率检测器被配置为识别一个或多个唤醒手势和多个即时动作(例如，对应于流行动作的手势)。在一些实施例中，高功率检测器被配置为识别与可穿戴设备处的动作对应的所有其它手势。例如，如果设备在处于特定状态下时响应20个不同的用户手势，则低功率检测器可以被配置为识别这些手势中的五个手势，而高功率检测器可以被配置为识别其它十五个手势。

(A3)在A1或A2的一些实施例中：(i)该预定空中手势包括唤醒手势，该唤醒手势之后是至少一个另一空中手势；以及(ii)记录该预定空中手势的发生包括：(a)记录唤醒手势的发生以使高功率检测器处于激活状态；以及(b)记录该另一空中手势的发生以使可穿戴设备执行对应于该另一空中手势的功能以在用户界面内执行动作。例如，用户界面可以显示在可穿戴设备的显示器上，或者显示在与可穿戴设备通信的设备(例如，AR眼镜或VR眼镜)的显示器上。

在一些实施例中，高功率检测器至少在预设时间量内保持激活状态。例如，高功率检测器根据在未记录到另一空中手势的发生的情况下经过预设时间量(例如，10秒、30秒或1分钟)转换到非激活状态。在一些实施例中，记录了另一空中手势的发生使得可穿戴设备在用户界面内执行动作。

(A4)在A1至A3中任一项的一些实施例中：(i)神经肌肉信号感测部件包括多个神经肌肉信号传感器，该多个神经肌肉信号传感器对应于高功率检测器；(ii)在高功率检测器处于激活状态时，来自该多个神经肌肉信号传感器的数据由高功率检测器处理；并且(iii)在高功率检测器处于非激活状态时，来自该多个神经肌肉信号传感器的数据存储在可穿戴设备处(例如，存储在缓冲器412中)，并且不被高功率检测器处理。例如，在高功率探测器是非激活的时，这些传感器保持激活，并且来自这些传感器的数据至少临时存储在缓冲器中。这样，当高功率检测器被激活时，该高功率检测器可以处理缓冲器中的数据以识别最近做出的手势(而不是等待用户做出另一个手势)。

(A5)在A1至A4中任一项的一些实施例中：(i)在确定第一组神经肌肉信号需要进一步处理以确认已经在可穿戴设备处做出了预定空中手势之前，高功率检测器处于非激活状态；并且(ii)该方法还包括：根据确定第一组神经肌肉信号需要进一步处理以确认已经在可穿戴设备处做出了预定空中手势，将高功率检测器转换到激活状态。

在一些实施例中，在可穿戴设备处于激活状态时，多个神经肌肉信号传感器是激活的；并且基于来自低功率检测器或诸如传感器404(例如，IMU部件)等其它传感器部件的信息，在激活状态与非激活状态之间转换高功率检测器(其可以包括机器学习模型，并且还可以包括硬件部件)。在一些实施例中，基于来自超低功率检测器(其可以用于基于可与特定空中手势区分的感测到的肌肉激活来唤醒低功率检测器)的信息来转换高功率检测器。在一些实施例中，高功率检测器和低功率检测器在处于非激活状态时比处于激活状态时消耗更少的功率。

(A6)在A1至A5中任一项的一些实施例中：(i)低功率检测器在默认激活状态下运行以对来自神经肌肉信号感测部件的检测到的神经肌肉信号进行处理；以及(ii)高功率检测器在默认非激活状态下运行，在该默认非激活状态下，高功率检测器在没有触发信号的情况下不对神经肌肉信号进行处理。例如，高功率检测器在基于从低功率检测器接收的信息切换到激活状态之后，仅对检测到的神经肌肉信号进行处理。在一些实施例中，根据可穿戴设备的手势感测模式的激活来激活低功率检测器。

例如，低功率检测器可以感测用于“唤醒”设备的一个或多个预定空中手势。以这种方式使用低功率检测器是为了节省电能，因为高功率检测器(其可以识别更多的手势)可以使用明显更多的功率来做到这一点。例如，低功率检测器可以被配置成较轻的模型(与高功率检测器相比)，使得其被构建为识别特定空中手势(例如，包括“唤醒”手势和/或即时动作手势)的小子集(例如，2至3个特定空中手势)。做出该特定空中手势的小子集中的一个特定空中手势可以使得高功率检测器被激活，然后可以使用高功率检测器来确认该特定空中手势的小子集的发生，并且还检测空中手势的更大集合(例如，包括该特定空中手势的小子集，外加至少八个其它空中手势，其示例在以下提供)。

低功率检测器可以用于(单独地或与来自其它传感器的数据(例如来自惯性测量单元的数据)结合地)帮助消除假肯定，使得高功率检测器不会对做出的每个手势进行分析(这将消耗设备的电池电量)。在一些实施例中，当低功率模块被唤醒时，其也唤醒高功率检测器。因此，在这样的实施例中，高功率检测器处于休眠/不激活状态，直到低功率模式被唤醒，此时高功率检测器也被唤醒。

(A7)在A1至A6中任一项的一些实施例中，该方法还包括：在使用低功率检测器来确定第一组神经肌肉信号中的相应神经肌肉信号需要进一步处理以确认已经在可穿戴设备处做出了预定空中手势之前，基于经由神经肌肉信号感测部件检测到的满足肌肉活动唤醒标准的肌肉活动，将低功率检测器从非激活状态转换到激活状态。

例如，肌肉活动唤醒标准可以是以下中的一者或多者：(i)最小电压水平或阈值，低于最小电压水平或阈值被认为没有活动；(ii)特定光谱能量含量；以及(iii)简单的机器学习模型(其在本文可以称为超低功率检测器)，该机器学习模型仅识别任何肌肉活动，而不对肌肉活动可能与什么姿势相关联进行分类。在一些实施例中，肌肉活动由另一类型的传感器(例如，IMU传感器或加速度计)检测，以例如在做出任何手势之前检测肌肉活动，然后唤醒低功率检测器。

(A8)在A7的一些实施例中，该方法还包括，在低功率检测器处于激活状态时，根据确定来自神经肌肉信号感测部件的数据指示不再满足肌肉活动唤醒标准，将低功率检测器转换到非激活状态。

在一个示例中，当确定在阈值时间量内没有做出手势时，可以确定来自神经肌肉信号感测部件的数据指示不再满足肌肉活动唤醒标准。当确定上述任何其它示例肌肉活动唤醒标准不再满足(例如，不再检测到特定幅度或具有特定光谱能量含量的神经肌肉信号)时，也可以进行该确定。在一些实施例中，非激活状态是指低功率检测器断电和/或不工作时。例如，如果没有检测到任何动作，则检测器在唤醒10秒后返回到休眠模式。

(A9)在A1至A8中任一项的一些实施例中，该方法还包括，在响应于可穿戴设备处的不同预定空中手势而执行动作之后，根据已经经过预定时间量，将高功率检测器和低功率检测器两者转换到非激活状态。

在一些实施例中，每个检测器在转换到激活状态之后的预定时间量(例如，在20秒、30秒或1分钟)被转换到非激活状态。在一些实施例中，每个检测器根据从检测到手势以来(例如，每个后续手势重置超时时段)已经经过预定时间量来转换到非激活状态。

(A10)在A9的一些实施例中，在预定时间量期间，没有相应神经肌肉信号被确定为需要进一步处理以确认已经在可穿戴设备处做出了空中手势。例如，使用预定时间量来管理可穿戴设备处的功率，同时仍然确保如果另一神经肌肉信号需要进一步处理，则高功率检测器可以保持在激活状态以帮助进一步处理该另一神经肌肉信号。在一些实施例中，预定时间量是基于可穿戴设备的操作模式。在一些实施例中，预定时间量是基于哪些应用(如果有的话)正在可穿戴设备上活动地执行。在一些实施例中，预定时间量是基于可穿戴设备的取向(例如，如果用户的手臂抬起，则该时间段相比用户的手臂在其身侧的时间段更长)。

在一些实施例中，根据在用于确认预定空中手势的出现的进一步处理之后是否检测到任何其它空中手势，可以使用不同的超时时段(例如，预定量)。例如，如果没有再次检测到其它空中手势，则可以缩短超时时段(例如，缩短到小于30秒，例如10秒)，但是，如果再次检测到另一空中手势，则可以延长超时时段(例如，等于或大于30秒)。这有助于确保高功率检测器适当地可用于顺序检测多个手势。

(A11)在A1至A10中任一项的一些实施例中：(i)第一组神经肌肉信号存储在可穿戴设备处的缓冲器(例如，缓冲器412)中；并且(ii)高功率检测器被配置为获得来自缓冲器的第一组神经肌肉信号。在一些实施例中，缓冲器包括FIFO缓冲器和/或环形缓冲器。在一些实施例中，缓冲器包括用于每个神经肌肉信号的相应存储区。在一些实施例中，缓冲器存储与来自神经肌肉信号感测部件的模拟信号相对应的数字信号。在一些实施例中，可穿戴设备包括ADC，该ADC用于将来自神经肌肉信号感测部件的模拟信号转换为数字信号以存储在缓冲器中。

在一些实施例中，在特定时间段内检测第一组神经肌肉信号；高功率检测器要求缓冲器包括在预定时间长度期间检测到的神经肌肉信号，以允许高功率检测器检测预定空中手势是否确实发生；并且根据确定该特定时间段小于该预定时间长度，在使用高功率检测器处理多个信号之前向缓冲器添加数据。

(A12)在A11的一些实施例中，该方法还包括：根据确定缓冲器具有不充足数据来确认已经在可穿戴设备处做出了预定空中手势，(i)为缓冲器中的数据选择补充数据(例如，手势数据415)，为缓冲器中的数据选择补充数据包括以下中的一者或多者：(a)使用机器学习来预测先行神经肌肉信号；以及(b)基于缓冲器中的数据选择一组预定义的先行神经肌肉信号；以及(ii)对缓冲器中的数据和所选择的补充数据进行聚合。

在一些实施例中，一个或多个默认数据集在可穿戴设备处可用(例如，存储在可穿戴设备处)。在一些实施例中，所述数据集对应于流行(例如，最常用的)手势。例如，系统可以尝试将不完整数据与这些数据集进行匹配，并选择与不完整的数据集最匹配的数据集。在一些实施例中，还可以利用转换功能(transmogrification)以将来自低功率检测器的缓冲器的数据与高功率检测器一起使用，例如，然后可以允许这两个检测器使用来自同一缓冲器的数据。

(A13)在A12的一些实施例中，该方法还包括，根据确定缓冲器具有充足数据以确认已经在可穿戴设备处做出了预定空中手势，放弃为缓冲器中的数据选择补充数据。

(A14)在A11至A13中任一项的一些实施例中，缓冲器的容量对应于期间做出预定空中手势的神经肌肉信号检测时段的最小时长。因此，神经肌肉信号检测时段是可穿戴设备上的电极拾取神经肌肉信号的时间段，这些神经肌肉信号使得做出预定空中手势。

在一些实施例中，神经肌肉信号检测时段的时长是约200毫秒(millisecond，ms)至300ms的时间长度。因此，缓冲器中有剩余数据(例如，如果缓冲器需要1.6秒的数据量，则剩余数据将是除正做出手势时的200ms至300ms数据之外的剩余数据)。在一些实施例中，缓冲器中的其它约1.3秒的数据用于抑制假肯定，而不是用于识别实际做出的手势。例如，当高功率检测器被激活时，该高功率检测器需要一定量的缓冲器数据才能正常运行(例如，高功率检测器可能需要1.6秒的缓冲器数据才能使其内部状态准确，因此在该示例中预定的时间长度可以是1.6秒)。

(A15)在A1至A14的一些实施例中，该方法还包括：(i)使用低功率检测器确定在可穿戴设备处做出了另一不同预定空中手势，该确定是基于第三组神经肌肉信号中的相应神经肌肉信号，其中该另一不同预定空中手势不同于该不同预定空中手势和该预定空中手势；以及(ii)响应于确定在可穿戴设备处做出了该另一不同预定空中手势，在可穿戴设备处执行另一动作，该另一动作不同于该动作。例如，该不同预定空中手势可以是可与即时动作相关联的一组预定空中手势的一部分，这些即时动作可以是在不需使用高功率检测器进行进一步处理的情况下激活的动作。

例如，由该不同预定空中手势引起的动作可以称为第一即时动作，该第一即时动作通常意味着其是可以在不需要使用高功率检测器(和/或可以主要与高功率检测器结合使用的一些电极)的情况下被处理和执行的可穿戴设备动作。在一些实施例中，可以使用两阶段建模，而不是仅使用低功率检测器来检测与空中手势相关联的即时动作。

(A16)在A15的一些实施例中，该方法还包括：(i)通过使用低功率检测器来确定在可穿戴设备处做出了一个附加预定空中手势，该确定是基于第四组神经肌肉信号中的相应神经肌肉信号，其中该一个附加预定空中手势不同于该另一不同预定空中手势、该不同预定空中手势和该预定空中手势；以及(ii)响应于确定在可穿戴设备处做出了该一个附加预定空中手势，在可穿戴设备处执行又一动作，该又一动作不同于该动作和该另一动作。

(A17)在A15或A16的一些实施例中，在可穿戴设备的显示器处于关闭状态时执行该动作和该另一动作中的一者或两者。在一些实施例中，没有对应于该动作和/或另一动作的显示。例如，手势和动作对应于拍照、调整音频回放或打开附近的灯光，而系统无需显示即可运行。

(A18)在A1至A17中任一项的一些实施例中，在记录预定空中手势的发生之前，对来自可穿戴设备的第二传感器(例如，传感器404)的数据进行评估以确认在可穿戴设备处发生了预定空中手势，其中第二传感器不同于神经肌肉信号感测部件。

(例如，与基于IMU的手势检测相比)基于EMG的手势检测是消耗相对大量的功率的功能。在大多数情况下，基于EMG的手势检测最耗电的部分是用于定义手势的计算。因此，对于检测唤醒手势，此部分不应始终开启。基于IMU的手势检测可能会触发假肯定(例如，唤醒是无意的)。当其它部件被激活以分析和识别/辨识潜在手势时，假肯定可能导致显著的功率消耗。为了减少功耗和假肯定，本文描述的一些系统(例如通过结合基于IMU的电路而仅操作基于EMG的电路的子集)组合了基于EMG的检测和基于IMU的检测。

例如，基于EMG的检测的功耗水平对于其各子部件是不同的。例如，基于EMG的检测系统可以包括AFE、ADC、MCU和DSP。AFE和ADC具有恒定的功耗。如果EMG传感器是激活的，则数据就会不断地进入AFE。然而，相对于MCU和DSP，这种功耗可能非常低。例如，在进行手势推断(例如，识别不同手势的计算)时可能消耗最多的功率。一些实施例引入这样的一种状态：在该状态下，IMU部件和EMG部件这两者都是激活的，以用于检测唤醒动作。然而，只有一部分EMG部件可以是激活的以在缓冲器中缓存输入数据，例如多达100个样本。在本示例中，在IMU部件触发唤醒之前不执行任何计算。由于缓存了EMG数据，因此可以快速执行计算以确定IMU触发是否是假肯定。如果手势被确认，则剩余的EMG电路可以被激活；如果没有被确认，则EMG电路可以快速返回休眠模式，直到发生另一IMU触发。

在一些实施例中，第二传感器是不同类型的传感器(例如，该设备使用第二类型的传感器来降低假肯定率)。例如，评估IMU数据可以将假肯定率从约8％至9％降低到3％至4％。在一些实施例中，使用IMU来确认空中手势以降低假肯定率并节省功率。在一些实施例中，对来自神经肌肉信号感测部件的数据与来自第二传感器(例如，加速度计)的数据进行聚合，将聚合的数据输入到模型(例如，机器学习模型)中，并且该模型对聚合的数据进行评估以确认是否发生了预定空中手势。

(A19)在A1至A18中任一项的一些实施例中，该方法还包括：结合使用低功率检测器确定相应神经肌肉信号需要进一步处理，对来自可穿戴设备的第二传感器的数据进行评估以确认发生了空中手势，其中第二传感器不同于神经肌肉信号感测部件。例如，确认相应神经肌肉信号不应被忽视。在一些实施例中，在腕式可穿戴设备上具有第二类型的传感器，该第二类型的传感器可以确认是否已经做出了预定空中手势。

(A20)在A17至A19中任一项的一些实施例中，可穿戴设备的第二传感器是惯性测量单元(IMU)。在一些实施例中，可穿戴设备被配置为执行与IMU数据和EMG数据的传感器融合，然后对待作为组合输入而馈送到机器学习模型(例如，低功率检测器或高功率检测器)的所有输入数据进行聚合，该机器学习模型被配置为处理组合输入以检测是否已经做出了空中手势。来自第二传感器(例如，本示例中的IMU传感器)的数据可以用于帮助避免假肯定，这可以是机器学习进行的处理的一部分，或者可以是在已经检测到手势之后发生的后处理的一部分以查看来自第二传感器的数据以确定该手势是否可能是假肯定(例如，IMU数据揭示在该手势期间有大量的抖动，因此可以确定特定的空中手势是意外做出的)。

基于EMG的手势检测的假肯定问题可能会很严重。具体地，如果没有正确过滤掉各种基于EMG的手势，则用户每天每小时的正常交互可能会导致意外检测到这些手势。例如，通过还依赖IMU数据来过滤假肯定，可以显著降低假肯定率。如果不使用IMU数据来进一步降低假肯定，唤醒手势可能会被错误地检测到，这将进一步降低可穿戴设备可用的有限功率和计算资源。

(A21)在A1至A20中任一项的一些实施例中，神经肌肉信号感测部件包括IMU传感器和/或EMG传感器。在一些实施例中，神经肌肉信号感测部件包括多个通道(例如，通道406)，其中每个通道表示来自多个传感器的差分数据。

(A22)在A1至A21中任一项的一些实施例中，该方法还包括：(i)使用低功率检测器确定第一组神经肌肉信号中的相应神经肌肉信号需要进一步处理以确认已经在可穿戴设备处做出了预定空中手势；以及(ii)根据确定第一组神经肌肉信号中的相应神经肌肉信号需要进一步处理，将高功率检测器转换到激活状态并且将低功率检测器转换到非激活状态(例如，如图3A和图3B所示)。

(A23)在A22的一些实施例中，该方法还包括：在记录了预定空中手势的发生之后，将高功率检测器转换到非激活状态，并将低功率检测器转换到激活状态(例如，如图3C和图3D所示)。

(A24)在A1至A23中任一项的一些实施例中：(i)第一组神经肌肉信号是一组模拟信号；并且(ii)该方法还包括(a)使用模数转换器(ADC)部件将该组模拟信号转换为相应的一组数字信号；并且(b)确定相应神经肌肉信号需要进一步处理是基于对该相应的一组数字信号中的相应数字信号的分析。在一些实施例中，高功率检测器的激活包括，调整ADC部件的操作(例如，增加采样率)。在一些实施例中，高功率检测器的激活包括，调整数字信号处理器(DSP)的操作，例如增加时钟频率。在一些实施例中，DSP是高功率检测器的部件。例如，与低功率检测器一起使用的DSP可以以标称频率运行，该标称频率例如为200MHz(更高的时钟频率通常意味着更高的功率)。高功率模型需要实时运行，以便该高功率模型可以将DSP移动到其最高时钟频率(600MHz或更高)，以处理填充缓冲器的1.6秒。

(A25)在A1至A24中任一项的一些实施例中：(i)神经肌肉信号感测部件包括多个神经肌肉信号传感器，该多个神经肌肉信号传感器对应于高功率检测器；(ii)在该高功率检测器处于激活状态时，该多个神经肌肉信号传感器中的每一个神经肌肉信号传感器都是激活的；并且(iii)在该高功率检测器处于非激活状态时，该多个神经肌肉信号传感器中的至少一子集是非激活的。

在该多个神经肌肉信号传感器的子集也与高功率检测器一起处于非激活状态的实施例中，可以有意地选择保持激活以与低功率检测器一起使用的神经肌肉信号传感器，以包括与特定肌肉组相关联的那些神经肌肉信号传感器(例如，上述传感器仅包括屈肌组和伸肌组，而不包括任何其它传感器)。

对于利用低功率检测器而使用较少电极(例如，仅使用八个电极中的三个电极)的实施例，可以利用训练过程来确定使用哪些电极。在一个示例中，可以针对电极使用的不同组合(例如，单个电极、成对电极、六个电极或八个电极)来训练模型，然后可以确定哪些电极对和电极组具有最佳性能(例如，最低的假肯定率)。

在一些实施例中，结合高功率检测器的激活，来对该多个神经肌肉信号传感器的至少一子集进行激活。在一些实施例中，激活高功率检测器包括激活一个或多个先前非激活的神经肌肉信号传感器(例如，向其供电)。

在另一方面，一些实施例包括一种节能处理神经肌肉信号以确认预定事件的发生的方法。在一些实施例中，该方法包括：(i)获得来自可穿戴设备(例如，可穿戴设备104)的神经肌肉信号感测部件的第一组神经肌肉信号；(ii)在使用可穿戴设备的低功率检测器确定第一组神经肌肉信号需要进一步处理以确认已经在可穿戴设备处做出了预定空中手势之后：(a)使用可穿戴设备的高功率检测器处理第一组神经肌肉信号，该高功率检测器被配置为检测第一数量的空中手势同时消耗可穿戴设备的第一功率量，并且该低功率检测器被配置为检测第二数量的空中手势同时消耗可穿戴设备的第二功率量，第二数量的空中手势少于第一数量的空中手势，可穿戴设备的第二功率量小于可穿戴设备的第一功率量；以及(b)根据确定该处理指示预定空中手势确实发生，记录预定空中手势的发生；以及(iii)接收来自可穿戴设备的神经肌肉信号感测部件的第二组神经肌肉信号；以及(iv)在使用低功率检测器而不使用高功率检测器确定在可穿戴设备处做出了不同于预定空中手势的不同预定空中手势之后，响应于在可穿戴设备处的不同预定空中手势来执行动作。

(B1)在另一方面，一些实施例包括一种可穿戴设备，该可穿戴设备包括：(i)多个模拟前端(AFE)(例如，AFE部件410)，该多个模拟前端被配置为接收来自多个神经肌肉信号传感器(例如，神经肌肉信号感测部件402)的多个神经肌肉信号；(ii)模数转换器(ADC)，该模数转换器耦接到该多个AFE的输出，并且被配置为将接收到的神经肌肉信号转换成对应的数字信号；(iii)缓冲器部件(例如，缓冲器412)，该缓冲器部件耦接到ADC的输出，并且被配置为存储对应的数字信号；(iv)低功率检测器部件(例如，低功率检测器414)，该低功率检测器部件耦接到缓冲器部件，并且被配置为分析数字信号的至少第一子集；以及(v)高功率检测器部件(例如，高功率检测器416)，该高功率检测器部件耦接到缓冲器部件，并且被配置为分析数字信号的至少第二子集。

(B2)在B1的一些实施例中，可穿戴设备还包括耦接到该多个AFE的多个神经肌肉信号传感器。例如，该多个神经肌肉信号传感器被配置为生成多个神经肌肉数据通道(例如，各个通道对应于不同的肌肉组)。在该示例中，低功率检测器部件被配置为分析第一数据通道，而高功率检测器被配置为分析两个或更多个数据通道。在一些实施例中，缓冲器部件包括用于每个神经肌肉信号传感器的相应缓冲器和/或用于每个神经肌肉信号通道的缓冲器。

(B3)在B1或B2的一些实施例中，该多个AFE包括各自的放大器，这些放大器用于放大接收到的神经肌肉信号。在一些实施例中，这些AFE包括一个或多个信号滤波器(例如，高通滤波器、带通滤波器和/或低通滤波器)。在一些实施例中，这些AFE包括各自的ADC。

(B4)在B1至B3中任一项的一些实施例中，低功率检测器部件包括微控制器。在一些实施例中，低功率检测器部件是ASIC部件。

(B5)在B1至B4中任一项的一些实施例中，高功率检测器部件包括耦接到低功率检测器部件的片上系统(SoC)。在一些实施例中，高功率检测器部件是ASIC部件(例如，U55)或微控制器(MCU)。在一些实施例中，高功率检测器包括一个或多个处理器(例如，CPU)和DSP。例如，与低功率部件相比，高功率检测器部件使用更多的计算能力，并且在分析手势时具有更高的精确度和准确度。

(B6)在B1至B5中任一项的一些实施例中，低功率检测器部件被配置为基于对数字信号的至少第一子集的分析，(例如经由控制线424)来有条件地触发高功率检测器部件的激活。例如，低功率检测器部件被配置为基于来自第一传感器和/或传感器通道的数据为高功率检测器部件生成唤醒信号。在一些实施例中，低功率检测器被配置为根据存储在缓冲器部件中的充足数据来唤醒高功率检测器。

在一些实施例中，利用光学传感器(例如，相机)或与IMU相关联的传感器来检测以上(例如关于图1A至图1G、图2A至图2H和图3A至图3D)所述的各手势中的一个或多个手势，而不利用一个或多个神经肌肉信号传感器(或除了利用一个或多个神经肌肉信号传感器以外还利用上述传感器，经由对传感器输入进行融合来检测本文中所描述的各种手势)。在一些实施例中，以上(例如关于图1A至图1G、图2A至图2H和图3A至图3D)所述的一个或多个手势被用户身体的其它部位做出的姿势(例如，头部姿势、腿部姿势或躯干姿势)替代。作为一个示例，可以使用神经肌肉信号传感器、来自IMU的数据和相机中的一个或多个来检测唤醒姿势；作为另一示例，姿势可以是用户摇头(如同用户在指示“否”)或用户点头(如同用户在指示“是”)。

在一些实施例中，可穿戴设备检测通过用户的脖子或背部行进的神经肌肉信号，在一些示例实施例中，这可以使用与VR护目镜(goggles)或AR眼镜耦接的神经肌肉信号传感器来完成。在一些实施例中，用控制器(例如，手持控制器或脚踏控制器)上的空中手势来替代(或执行)以上(例如关于图1A至图1G、图2A至图2H和图3A至图3D)所述的一个或多个手势。在一些实施例中，利用音频命令(例如，口语命令或诸如啧啧(tongue click)等非词语命令)来替代以上(例如关于图1A至图1G、图2A至图2H和图3A至图3D)所述的一个或多个空中手势。

在另一方面，一些实施例包括一种计算系统，该计算系统具有一个或多个处理器以及耦接到该一个或多个处理器的存储器，该存储器存储被配置为由该一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于执行本文中所描述的多种方法(例如，方法600、700和800以及上述的A1至A25)中的任何方法的指令。

在又一方面，一些实施例包括一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储一个或多个程序，该一个或多个程序由计算系统的一个或多个处理器来执行，该一个或多个程序包括用于执行本文中所描述的多种方法(例如，方法600、700和800以及上述的A1至A25)中的任何方法的指令。

将理解，虽然术语“第一”、“第二”等在本文中可以被用于描述各种元素，但这些元素不应受这些术语限制。这些术语仅用于将一个元素与另一元素区分开。

本文中所使用的术语仅出于描述特定实施例的目的，并不旨在限制权利要求。如在实施例和所附权利要求的描述中所使用的，除非上下文另有明确指示，否则单数形式“一”、“一个”和“该”也旨在包括复数形式。还将理解，本文中所使用的术语“和/或”是指并且涵盖相关联的所列项中的一个或多个项的任何和所有可能组合。还将理解，术语“包括”和/或“包括……的”在本说明书中使用时，指定存在所陈述的特征、整数、步骤、操作、元素和/或部件，但不排除存在或添加一个或多个其它特征、整数、步骤、操作、元素、部件和/或其组合。

如本文中所使用的，取决于上下文，术语“如果”可被解释为：“当所陈述的条件先例为真时”；或“在所陈述的条件先例为真时”；或“响应于确定”所陈述的条件先例为真；或“根据确定”所陈述的条件先例为真；或“响应于检测到”所陈述的条件先例为真。类似地，取决于上下文，短语“如果确定[所陈述的条件先例为真]”或“如果[所陈述的条件先例为真]”或“当[所陈述的条件先例为真]时”可以被解释为：“在确定所陈述的条件先例为真时”；或“响应于确定”所陈述的条件先例为真；或“根据确定”所陈述的条件先例为真；或“在检测到所陈述的条件先例为真时”；或“响应于检测到”所陈述的条件先例为真。

出于解释的目的，前面的描述已经参考特定实施例进行了描述。然而，上面的说明性讨论并不旨在为详尽的，也不旨在将权利要求限制为所公开的精确形式。根据上述教导，许多修改和变化是可能的。选择和描述实施例是为了最好地解释操作的原理和实际应用，从而使本领域其它技术人员能够实现。

Claims (20)

1.一种节能处理神经肌肉信号以确认预定事件的发生的方法，所述方法包括：

获得来自可穿戴设备的神经肌肉信号感测部件的第一组神经肌肉信号；

在使用所述可穿戴设备的低功率检测器确定所述第一组神经肌肉信号中的相应神经肌肉信号需要进一步处理以确认已经在所述可穿戴设备处做出了预定空中手势之后：

使用所述可穿戴设备的高功率检测器来处理所述第一组神经肌肉信号中的多个信号，所述多个信号包括除所述相应神经肌肉信号之外的多个神经肌肉信号，所述高功率检测器被配置为检测第一数量的空中手势同时消耗所述可穿戴设备的第一功率量，并且所述低功率检测器被配置为检测第二数量的空中手势同时消耗所述可穿戴设备的第二功率量，所述第二数量的空中手势少于所述第一数量的空中手势，所述可穿戴设备的所述第二功率量小于所述可穿戴设备的所述第一功率量；以及

根据确定使用所述高功率检测器对所述多个信号的处理指示所述预定空中手势确实发生，来记录所述预定空中手势的发生；

接收来自所述可穿戴设备的神经肌肉信号感测部件的第二组神经肌肉信号；以及

在基于所述第二组神经肌肉信号中的相应神经肌肉信号并使用所述低功率检测器而不使用所述高功率检测器确定在所述可穿戴设备处做出了不同于所述预定空中手势的不同预定空中手势之后：

响应于在所述可穿戴设备处的所述不同预定空中手势来执行动作。

2.根据权利要求1所述的方法，其中：

所述预定空中手势包括唤醒手势，所述唤醒手势之后是另一空中手势；并且

记录所述预定空中手势的发生包括：

记录所述唤醒手势的发生以使所述高功率检测器保持在激活状态；以及

记录所述另一空中手势的发生，以使所述可穿戴设备执行对应于所述另一空中手势的功能以在用户界面内执行动作。

3.根据权利要求1所述的方法，其中：

所述神经肌肉信号感测部件包括多个神经肌肉信号传感器，所述多个神经肌肉信号传感器对应于所述高功率检测器；

在所述高功率检测器处于激活状态时，来自所述多个神经肌肉信号传感器的数据由所述高功率检测器处理；并且

在所述高功率检测器处于非激活状态时，来自所述多个神经肌肉信号传感器的数据存储在所述可穿戴设备，并且不被所述高功率检测器处理。

4.根据权利要求1所述的方法，其中，在确定所述第一组神经肌肉信号需要进一步处理以确认已经在所述可穿戴设备处做出了所述预定空中手势之前，所述高功率检测器处于非激活状态；并且

所述方法还包括：根据确定所述第一组神经肌肉信号需要进一步处理以确认已经在所述可穿戴设备处做出了所述预定空中手势，将所述高功率检测器转换到激活状态。

5.根据权利要求1所述的方法，其中：

所述低功率检测器在默认激活状态下运行，以处理来自所述神经肌肉信号感测部件的、检测到的神经肌肉信号；并且

所述高功率检测器在默认非激活状态下运行，在所述默认非激活状态下，所述高功率检测器在没有触发信号的情况下不对神经肌肉信号进行处理。

6.根据权利要求1所述的方法，所述方法还包括：

在使用所述低功率检测器来确定所述第一组神经肌肉信号中的所述相应神经肌肉信号需要进一步处理以确认已经在所述可穿戴设备处做出了所述预定空中手势之前：

基于经由所述神经肌肉信号感测部件检测到的满足肌肉活动唤醒标准的肌肉活动，将所述低功率检测器从非激活状态转换到激活状态。

7.根据权利要求6所述的方法，所述方法还包括：

在所述低功率检测器处于所述激活状态时：

根据确定来自所述神经肌肉信号感测部件的数据指示所述肌肉活动唤醒标准不再被满足，将所述低功率检测器转换到所述非激活状态。

8.根据权利要求1所述的方法，所述方法还包括：

在响应于所述可穿戴设备处的所述不同预定空中手势而执行所述动作之后，根据已经经过预定时间量，将所述高功率检测器和所述低功率检测器两者转换到非激活状态。

9.根据权利要求8所述的方法，其中，在所述预定时间量期间，确定没有相应神经肌肉信号需要进一步处理以确认已经在所述可穿戴设备处做出了空中手势。

10.根据权利要求1所述的方法，其中：

所述第一组神经肌肉信号存储在所述可穿戴设备处的缓冲器中；并且

所述高功率检测器被配置为获得来自所述缓冲器的所述第一组神经肌肉信号。

11.根据权利要求10所述的方法，所述方法还包括：

根据确定所述缓冲器具有不充足数据以确认已经在所述可穿戴设备处做出了所述预定空中手势，为所述缓冲器中的所述不充足数据选择补充数据，为所述缓冲器中的所述不充足数据选择补充数据包括以下中的一者或多者：

使用机器学习来预测先行神经肌肉信号；以及

基于所述缓冲器中的所述不充足数据选择一组预定义的先行神经肌肉信号；以及

对所述缓冲器中的所述不充足数据和所选择的所述一组预定义的先行神经肌肉信号进行聚合。

12.根据权利要求11所述的方法，所述方法还包括：

根据确定所述缓冲器具有充足的数据以确认已经在所述可穿戴设备处做出了所述预定空中手势，放弃为所述缓冲器中的所述不充足数据选择补充数据。

13.根据权利要求12所述的方法，其中，所述缓冲器的容量对应于期间做出所述预定空中手势的神经肌肉信号检测时段的最小时长。

14.根据权利要求1所述的方法，所述方法还包括：

使用所述低功率检测器确定在所述可穿戴设备处做出了另一不同预定空中手势，所述确定是基于第三组神经肌肉信号中的相应神经肌肉信号，其中，所述另一不同预定空中手势不同于所述不同预定空中手势和所述预定空中手势；以及

响应于确定在所述可穿戴设备处做出了所述另一不同预定空中手势，在所述可穿戴设备处执行另一动作，所述另一动作不同于所述动作。

15.根据权利要求14所述的方法，所述方法还包括：

使用所述低功率检测器确定在所述可穿戴设备处做出了一个附加预定空中手势，所述确定是基于第四组神经肌肉信号中的相应神经肌肉信号，其中，所述一个附加预定空中手势不同于所述另一不同预定空中手势、所述不同预定空中手势和所述预定空中手势；以及

响应于确定在所述可穿戴设备处做出了所述一个附加预定空中手势，在所述可穿戴设备处执行又一动作，所述又一动作不同于所述动作和所述另一动作。

16.根据权利要求1所述的方法，所述方法还包括：

在记录所述预定空中手势的发生之前，对来自所述可穿戴设备的第二传感器的数据进行评估以确认所述预定空中手势在所述可穿戴设备处发生，其中，所述第二传感器不同于所述神经肌肉信号感测部件。

17.根据权利要求1所述的方法，所述方法还包括：

使用所述低功率检测器确定所述第一组神经肌肉信号中的相应神经肌肉信号需要进一步处理以确认已经在所述可穿戴设备处做出了所述预定空中手势；以及

根据确定所述第一组神经肌肉信号中的相应神经肌肉信号需要进一步处理，将所述高功率检测器转换到激活状态，并将所述低功率检测器转换到非激活状态。

18.一种可穿戴设备，所述可穿戴设备包括：

多个模拟前端AFE，所述多个AFE被配置为接收来自多个神经肌肉信号传感器的神经肌肉信号；

模数转换器ADC，所述ADC耦接到所述多个AFE的输出，所述ADC被配置为将接收到的所述神经肌肉信号转换为相应数字信号；

缓冲器部件，所述缓冲器部件耦接到所述ADC的输出，并且被配置为存储所述相应数字信号；

低功率检测器部件，所述低功率检测器部件耦接到所述缓冲器部件，并且被配置为分析所述相应数字信号的至少第一子集；以及

高功率检测器部件，所述高功率检测器部件耦接到所述缓冲器部件，并且被配置为分析所述相应数字信号的至少第二子集。

19.根据权利要求18所述的可穿戴设备，其中，所述低功率检测器部件被配置为基于对所述相应数字信号的所述至少第一子集的分析，有条件地触发所述高功率检测器部件的激活。

20.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质包括指令，所述指令在被包括可穿戴设备的系统执行时，使得所述系统：

获得来自可穿戴设备的神经肌肉信号感测部件的第一组神经肌肉信号；

在使用所述可穿戴设备的低功率检测器确定所述第一组神经肌肉信号中的相应神经肌肉信号需要进一步处理以确认已经在所述可穿戴设备处做出了预定空中手势之后：

使用所述可穿戴设备的高功率检测器处理所述第一组神经肌肉信号中的多个信号，所述多个信号包括除所述相应神经肌肉信号之外的多个神经肌肉信号，所述高功率检测器被配置为检测第一数量的空中手势同时消耗所述可穿戴设备的第一功率量，并且所述低功率检测器被配置为检测第二数量的空中手势同时消耗所述可穿戴设备的第二功率量，所述第二数量的空中手势少于所述第一数量的空中手势，所述可穿戴设备的所述第二功率量小于所述可穿戴设备的所述第一功率量；以及

根据确定使用所述高功率检测器来处理所述多个信号指示所述预定空中手势确实发生，来记录所述预定空中手势的发生；

接收来自所述可穿戴设备的神经肌肉信号感测部件的第二组神经肌肉信号；以及

在基于所述第二组神经肌肉信号中的相应神经肌肉信号并使用所述低功率检测器而不使用所述高功率检测器确定在所述可穿戴设备处做出了不同于所述预定空中手势的不同空中手势之后：

响应于在所述可穿戴设备处的所述不同预定空中手势来执行动作。