CN114341779B - 用于基于神经肌肉控制执行输入的系统、方法和界面 - Google Patents

Abstract

所公开的计算机实现的方法可以包括：经由用户界面呈现感觉提示，以及从可佩戴设备的神经肌肉传感器接收由佩戴可佩戴设备的用户生成的各种神经肌肉信号，其中用户响应于经由用户界面呈现给用户的感觉提示而生成神经肌肉信号。该方法还可以包括将接收到的神经肌肉信号解释为关于由用户界面提供的感觉提示的输入命令，使得输入命令发起用户界面内指定任务的执行。该方法还可以包括根据解释的输入命令在用户界面内执行指定任务。还公开了各种其他方法、系统和计算机可读介质。

Description

用于基于神经肌肉控制执行输入的系统、方法和界面

相关申请的交叉引用

本申请要求2019年9月4日提交的第62/895,888号美国临时专利申请、2019年9月4日提交的第62/895,782号美国临时专利申请、2019年9月9日提交的第62/897,483号美国临时专利申请和2019年9月9日提交的第62/897,592号美国临时专利申请的优先权和权益，这些申请中的每一个的公开内容通过本引用以其整体并入。

附图简述

附图示出了许多示例性的实施例，并且是说明书的一部分。与以下描述一起，这些附图展示并解释了本公开内容的多种原理。

图1示出了一个实施例，其中使用围绕由用户佩戴的带或其他类型的设备布置的神经肌肉传感器从用户测量神经肌肉信号。

图2A示出了具有多个神经肌肉传感器的可佩戴系统，这些神经肌肉传感器围绕带周向布置，带被配置成围绕用户的下臂或手腕佩戴。

图2B示出了穿过图2A中所示的可佩戴设备的传感器之一的横截面视图。

图3A和图3B示出了具有带有多个EMG传感器的可佩戴系统的内部部件的示意图。

图4示出了在2D平面中显示给用户的用户界面的实施例。

图5示出了在2D平面中显示给用户的用户界面的替代实施例。

图6示出了具有不同类型控制方案的用户界面的替代实施例。

图7示出了具有另一种不同类型的控制方案的用户界面的替代实施例。

图8示出了具有多个传感器的系统，这些传感器被配置成记录由人体部分的移动产生的信号。

图9是使用从传感器记录的信号生成或训练统计模型的方法的流程图。

图10是用于促进经由神经肌肉信号与用户界面进行交互的方法的流程图。

图11示出了包括可佩戴设备、界面系统和应用系统的人机界面系统。

图12是用于使用被训练来解释键入手势或其他用户活动的基于神经肌肉的系统的方法的流程图。

图13示出了神经肌肉活动感测系统的实施例。

图14是用于生成个性化推理模型的方法的流程图，该模型被训练为基于作为输入被提供给模型的神经肌肉数据输出字符。

图15示意性地示出了如何可以对字符数据执行多通道神经肌肉信号数据的分块(chunking)。

图16是用于迭代训练推理模型的方法的流程图。

图17是用于迭代训练个性化键入模型的方法的流程图。

图18是用于迭代训练个性化键入模型的替代方法的流程图。

图19是用于迭代训练个性化键入模型的另一替代方法的流程图。

图20A示出了用户可以提示系统进入替代输入模式的示例界面。

图20B示出了当用户通过手势进入“小心”键入模式时显示键盘表示的用户界面的一部分。

图21示出了包括可佩戴设备、界面系统和物联网(IoT)设备的人机界面系统。

图22是生成用于训练推理模型的训练数据的方法的流程图。

图23示出了具有峰值检测输出的第一主成分分析(PCA)成分的曲线图。

图24示出了彼此分离的三个集群的实施例。

图25示出了一个实施例，其中竖直虚线和实线指示区分的食指轻敲和中指轻敲。

图26将每个识别的事件示出为指示时间对齐之前第一主成分的幅度的行。

图27示出了在时间对齐之后来自图26的相同的识别事件。

图28示出了食指轻敲模板和中指轻敲模板的实施例。

图29示出了具有用于识别和区分两个事件的示例数据的图表。

图30是可以结合本公开的实施例使用的示例性增强现实眼镜的图示。

图31是可以结合本公开的实施例使用的示例性虚拟现实头戴式装置的图示。

图32是可以结合本公开的实施例使用的示例性触觉设备的图示。

图33是根据本公开的实施例的示例性虚拟现实环境的图示。

图34是根据本公开的实施例的示例性增强现实环境的图示。

在整个附图中，相同的参考符号和描述指示相似的但不一定相同的元素。虽然本文描述的示例性实施例易于进行各种修改和替代形式，但是特定的实施例已经通过附图中的示例被示出，并且将在本文被详细地描述。然而，本文描述的示例性实施例不意图限于所公开的特定形式。更确切地，本公开覆盖了落入所附权利要求的范围内的所有修改、等同物和替代物。

示例性实施例的详细描述

虽然随着时间的推移，计算设备已经从位于桌面上的大型机器发展到可放入口袋的便携式设备，但是用于向计算设备提供文本输入的设备和界面基本上保持不变。键盘(并且尤其是QWERTY键盘)仍然是用于向计算设备提供文本输入的最广泛使用的设备。由于社会上计算设备的激增，因此在键盘上键入已经成为与这些设备交互的重要技能。然而，在键盘上键入可能学习起来很麻烦，并且仍然是一种相对较慢的输入文本的方法。

更进一步，在某些形式的文本录入中，用户可以输入的字符数量可能超过按钮或其他输入机构的数量。例如，电话上的数字小键盘(keypad)可以将字符集合与每个数字相关联，并且可以使用户能够在每个数字上依次出现的几个字符中选择一个字符(例如，“A”、“B”或“C”可以与数字“2”相关联)。然而，用于机器控制的机械、电气或其他输入机构可能是麻烦和不精确的。此外，与没有传统文本输入用户界面的其他类型设备的交互可能也很难进行。例如，物联网(IoT)设备的数量正在快速增长，其中许多不同类型的设备和电器都连接到互联网(并通过互联网进行控制)。在至少某些情况下，与这些IoT设备的交互可能也很麻烦。

本文描述的实施例可以包括提供与设备交互的不同方式和向计算设备输入文本的不同方法的方法、系统和装置。这些方法可以利用用户如何在键盘上键入的熟练知识，但不需要物理键盘来这样做。就此而言，本文描述的一些实施例针对人机界面(HCI)系统，该系统将神经肌肉信号记录映射到计算设备的文本输入，以使用户能够键入，而不需要用户按压物理键盘上的键或与计算设备上显示的触摸屏交互。这些文本输入的替代形式可能对有身体残疾或受伤的用户有益。更进一步，其他实施例可以基于从用户的神经肌肉活动推断意图来提供新形式的机器控制。在各种实施例中，解释神经肌肉信号可以用来代替或补充传统的基于计算机的输入方法和设备。

在本文描述的一些实施例中，提供了用于检测神经肌肉信号(例如，如从用户检测到的)并将这些信号解释为文本输入的计算机系统和方法。在一些情况下，可以使用视觉、触觉、听觉和/或其他感觉手段(或其任意组合)来提供界面，以指示用户正在输入哪些字符，以便向用户提供反馈。这种用户界面可以在2D平面或其他布置(例如，在基于计算机的界面中，这些界面例如是在各种计算机系统中提供的计算机显示器，诸如，例如，标准计算机监视器、智能手机、手表、平视显示器(HUD)、汽车显示器、投影界面、诸如在扩展现实(XR)、混合现实(MR)、增强现实(AR)或虚拟现实(VR)环境(例如，XR、MR、AR、VR、头戴式装置等)中提供的那些显示器或任何其他合适的图形用户界面中向用户显示，并且输入的字符指示可以被显示或呈现给用户。

用户可以使用这样的反馈来调整他们的神经肌肉活动，以便更准确地控制他们在2D显示器内的输入(例如，使用引起移动、力和选择手势的神经肌肉活动，并将其与反馈相结合来控制输入)。在一些实施例中，本文描述的系统从用户接收神经肌肉信号，并将这些信号转换成2D平面中的移动控制。然后，系统使用选择控制将文本输入到计算机系统中。一般来说，在本文中，视觉界面被描述为2D平面，并且还可以被称为在2D显示器上显示，但是本领域技术人员将认识到，该界面可以采用除2D平面(例如，在三维显示器中)和沉浸式三维显示器(例如在AR或VR系统中可能实现的那些显示器)之外的其他布置。例如，这种移动控制和选择控制方法可以沿着3D空间中的定义表面(例如在3D空间中投影的表面(例如，弯曲的显示器、3D矩形表面))、沿着3D空间中的对象表面等使用。

在一些实施例中，本文描述的系统在计算机界面(例如，任何类型的基于计算机的显示器)的区域内显示能够输入到系统的字符，其中字符与区域相关联。在一些情况下，例如，用户可以导航到与他们打算输入到系统的字符相关联的2D显示器(或其他显示器类型)的区域。例如，可以在显示器上显示光标来指示用户导航。在另一示例中，用户已经导航到的区域可以通过改变显示器的该区域的视觉表示(例如，通过改变颜色、形状、边框宽度等)和/或通过向用户提供其他感觉反馈(例如触觉或听觉)来指示。在一些实施例中，导航基于推理模型，该推理模型将来自放置在用户身体一部分上(例如，前臂或手腕上以记录控制手指、手和手腕的移动的肌肉)的设备的多个神经肌肉信号作为输入，并输出光标的速度、方向和/或位置。二维控制通常对应于移动或力，尽管在一些情况下可以基于不引起移动、力或感知的本体感受信号的肌肉激活(例如，单个运动单元或少量运动单元的激活)。

在一些实施例中，用户可以通常通过执行动态或静态手势来选择他们已经将光标导航到的区域中的字母，其中该手势可以基于一个或更多个推理模型的输出来确定，该推理模型将来自放置在用户身体的一部分上(例如，前臂或手腕上以记录控制手指、手和手腕的运动的肌肉)的设备的多个神经肌肉信号作为输入，并且输出与手势集合相关联的可能性(并且可选地，力)。例如，手势可以是手指的轻敲或两个手指捏合在一起。多个手势可以使得能够在多个选项中进行选择(例如，如果在一个区域中存在几个字符以在该组字符之间消除模糊性)。例如，可以通过在表面上轻敲四根手指中的一根或通过将四根手指中的一根捏向拇指上来在特定区域中的四个选项当中选择特定字符)。

下面阐述的描述旨在描述主题技术的各种配置，而不是旨在表示可以在其中实践本主题技术的唯一配置。附图并入本文并构成详细描述的一部分。详细描述包括用于提供对主题技术的透彻理解的特定细节。然而，将清楚和明显的是，主题技术不限于本文阐述的具体细节并且可以在没有这些具体细节的情况下实践。在某些情况下，以框图形式显示众所周知的结构和部件，以避免混淆主题技术的概念。

术语“计算机”、“处理器”、“计算机处理器”、“计算设备”等应被广泛地解释为涵盖具有数据处理能力的任何类型的电子设备，其包括作为非限制性示例的数字信号处理器(DSP)、微控制器、现场可编程门阵列(FPGA)、专用集成电路(ASIC)或包括一个或更多个任何类型的处理器的任何其他电子计算设备、或其任意组合。

如本文所用，短语“例如”、“诸如”以及“举例说”及其变体描述了目前公开的主题的非限制性实施例。说明书中对“一种情况”、“一些情况”以及“其他情况”或其变体的引用意味着结合实施例描述的特定特征、结构或特性包括在目前公开的主题的至少一个实施例中。因此，短语“一种情况”、“一些情况”“其他情况”或其变体的出现不一定指代相同的实施例。

应当理解，除非另外具体说明，为了清楚起见，在单独实施例的背景下描述的当前公开的主题的某些特征也可以在单个实施例中组合提供。相反，为了简洁起见，在单个实施例的背景下描述的当前公开的主题的各种特征也可以单独提供或以任何合适的子组合提供。

图1示出了一种示例性实施方式，其中使用例如围绕由用户佩戴的带或其他类型的设备布置的一个或更多个神经肌肉传感器来从用户100测量神经肌肉信号。例如，带可以包括围绕弹性带周向布置的EMG传感器(或其他类型的神经肌肉传感器)，如下面进一步论述的。应当理解，可以使用任何合适数量的神经肌肉传感器，并且所使用的神经肌肉传感器的数量和布置可以取决于可佩戴设备被用于的特定应用。

由神经肌肉传感器接收的神经肌肉信号(例如，信号102)可以作为输入被提供给计算机系统101。应当理解，信号可以以原始形式被提供给计算机系统，可以被预处理，或者可以以其它方式被分析和/或制成如由驻留在带上或任何其他位置中的一个或更多个基于计算机的系统确定的解释或处理形式。计算机系统101可以包括显示器104，在一些实施例中，显示器104可以用于显示2D表示，以可视地指示用户正在输入哪些字符，以便向用户提供反馈。计算机系统101还可以包括能够接收神经肌肉信号(以任何形式)并确定一个或更多个基于文本的输入的解释器103。应当理解，用于所公开技术的计算机系统可以包括图1所示的部件中的一个或更多个，或者这些部件可以位于包括分布式网络的一个或更多个系统中，位于用户佩戴或使用的系统上(例如，在带、手表、移动电话或任何其他系统中)，或者这些部件可以包括前述的任意组合。此外，该系统可以包括各种硬件、固件和/或软件部件和附件。

现在将参考图2A-3B描述示例可佩戴系统。可佩戴设备200可以被配置成感测神经肌肉信号。图2A-2B和图3A-3B示出了可实践各种实施例的可佩戴系统的几个实施例。特别地，图2A示出了具有十六个神经肌肉传感器210(例如，EMG传感器)的可佩戴系统，这些传感器210围绕弹性带220周向布置，该弹性带220被配置成围绕用户的下臂或手腕佩戴。如图所示，神经肌肉传感器210(例如，EMG传感器)围绕弹性带220周向布置。应当理解，可以使用任何合适数量的神经肌肉传感器。神经肌肉传感器的数量和布置可以取决于可佩戴设备所用于的特定应用。例如，可佩戴臂带或腕带可以用于生成控制信息，以控制增强现实系统、控制机器人、控制车辆、滚动文本、控制虚拟化身(avatar)或用于任何其他合适的控制任务。

在一些实施例中，传感器210包括神经肌肉传感器(例如，EMG传感器)的集合。在其他实施例中，传感器210可以包括神经肌肉传感器的集合和被配置成连续记录辅助信号的至少一个“辅助”传感器。辅助传感器的示例包括但不限于其他传感器，例如IMU传感器、麦克风、成像传感器(例如，相机)、与辐射生成设备(例如，激光扫描设备)一起使用的基于辐射的传感器、或者其他类型的传感器(例如心率监视器)。如图所示，传感器210可以使用结合到可佩戴设备中的柔性电子器件230来耦合在一起。图2B示出了图2A所示的可佩戴设备的传感器210之一的横截面图。

在一些实施例中，可选地，可以使用硬件信号处理电路来处理(例如，以执行放大、滤波和/或整流)一个或更多个感测部件的输出。在其他实施例中，对感测部件的输出的至少一些信号处理可以在软件中执行。因此，对由传感器采样的信号的信号处理可以在硬件、软件中执行，或由硬件和软件的任何适当组合执行，因为本文描述的技术的方面在这一点上不受限制。下面结合图3A和图3B更详细地讨论用于处理来自传感器210的所记录的数据的信号处理链的非限制性示例。

图3A和图3B示出了根据本文描述的技术的一些实施例的具有16个EMG传感器的可佩戴系统的内部部件的示意图。如图所示，可佩戴系统包括可佩戴部分310(图3A)和(例如，经由蓝牙或另一种合适的短程无线通信技术)与可佩戴部分310通信的加密狗部分320(图3B)。如图3A所示，可佩戴部分310包括传感器210，其示例结合图2A和图2B进行了描述。传感器210的输出被提供给模拟前端330，模拟前端330被配置成对所记录的信号执行模拟处理(例如，降噪、滤波等)。经处理的模拟信号然后被提供给模数转换器332，模数转换器332将模拟信号转换成可以由一个或更多个计算机处理器处理的数字信号。可以根据一些实施例使用的计算机处理器的一个示例是图3A所示的微控制器(MCU)334。如图所示，MCU 334也可以包括来自其他传感器(例如，IMU传感器340)以及电源和电池模块342的输入。由MCU执行的处理的输出可以被提供给天线350，用于传输到图3B所示的加密狗部分320。

加密狗部分320包括天线352，天线352被配置成与作为可佩戴部分310的一部分被包括的天线350通信。可以使用任何合适的无线技术和协议(其非限制性示例包括射频信令和蓝牙)进行天线350和352之间的通信。如所示的，由加密狗部分320的天线352接收的信号可以被提供给主计算机，用于进一步处理、显示和/或用于实现对特定物理或虚拟对象的控制。

尽管在与EMG传感器接口的上下文中讨论了参考图2A、图2B和图3A、图3B提供的示例，但是应当理解，本文描述的用于减少电磁干扰的技术还可以在与其它类型的传感器的可佩戴接口中实现，其它类型的传感器包括但不限于肌动图(MMG)传感器、声肌图(SMG)传感器和电阻抗断层成像(EIT)传感器。

在一些实施例中，训练的统计模型可以是神经网络，并且例如可以是循环神经网络。在一些实施例中，循环神经网络可以是长短期记忆(LSTM)神经网络。然而，应当理解，循环神经网络不限于LSTM神经网络并且可以具有任何其他合适的架构。例如，在一些实施例中，循环神经网络可以是完全循环神经网络、门控循环神经网络、递归神经网络、Hopfield神经网络、联想记忆神经网络、Elman神经网络、Jordan神经网络、回声状态神经网络、二阶循环神经网络和/或任何其他合适类型的循环神经网络。在其他实施例中，可以使用不是循环神经网络的神经网络。例如，可以使用深度神经网络、卷积神经网络和/或前馈神经网络。在一些实施方式中，统计模型可以是无监督机器学习模型，例如，用户不需要执行统计模型被先前训练来预测或识别的预定手势集合。

处理器可执行指令可以是多种形式，例如由一个或多个计算设备执行的程序模块，并且可以包括执行特定任务或实现特定数据类型的例程、程序、对象、部件、数据结构等，以及可以针对各种实施例适当地组合和/或分配功能。数据结构可以以多种合适的形式存储在处理器可读介质中。为简单示意，可以将数据结构显示为具有与数据结构中的位置相关的字段。这种关系同样可以通过为字段分配处理器可读介质中的存储位置来实现，该存储位置传达字段之间的关系。然而，任何合适的机制/工具都可以用于在数据结构的字段中的信息之间建立关系，包括通过使用指针、标签或其他在数据元素之间建立关系的机制/工具。

人类肌肉骨骼系统的全部或部分可以被建模为多节段铰接刚体系统(multi-segment articulated rigid body system)，其中关节形成不同节段之间的接口，并且关节角定义在模型中连接的节段之间的空间关系。关节处移动的限制由连接节段的关节类型和限制关节处移动范围的生物结构(例如，肌肉、肌腱、韧带)决定。例如，连接上臂和躯干的肩关节以及连接大腿和躯干的髋关节是球窝关节(ball and socket joints)，这些球窝关节允许伸展和弯曲移动以及旋转移动。相比之下，连接上臂和前臂的肘关节以及连接大腿和小腿的膝关节允许更有限的运动范围。如本文所述，多节段铰接刚体系统用于对人体肌肉骨骼系统的部分进行建模。然而，应当理解，人类肌肉骨骼系统的一些节段(例如，前臂)虽然在铰接刚体系统中近似为刚体，但是可以包括多个刚性结构(例如，前臂的尺骨和桡骨)，这些刚性结构在刚体模型没有明确考虑的节段内提供了更复杂的移动。因此，用于与本文中所述技术的一些实施例一起使用的铰接刚体系统的模型可以包括代表不是严格意义上的刚体的身体部位的组合的节段。

在运动学中，刚体是表现出各种运动属性(例如，位置、取向、角速度、加速度)的对象。获知刚体的一个节段的运动属性使得能够基于调整节段如何连接的约束来确定刚体其他节段的运动属性。例如，手可以被建模为多节段铰接体，手腕和每个手指中的关节形成模型中多个节段之间的接合部(interface)。在一些实施例中，可以将刚体模型中的节段的移动模拟为铰接式刚体系统，其中，使用训练的统计模型、训练的机器学习模型或它们的组合中的至少一种来预测模型中的节段相对于其他节段的位置(例如，实际位置、相对位置或取向)信息，如下面更详细描述的。

作为一个非限制性示例，由本文描述的肌肉骨骼表示近似的人体部分是手或手与一个或更多个手臂节段的组合，并且用于描述肌肉骨骼表示中各个节段或节段组合的力关系以及节段之间位置关系的当前状态的信息在本文中被称为肌肉骨骼表示的手部状态。然而，应当理解，本文描述的技术也适用于除了手之外的身体部分的肌肉骨骼表示，这些身体部分包括但不限于手臂、腿、脚、躯干、颈部或前述的任何组合。

除了空间(例如，位置/取向)信息之外，一些实施例被配置为预测与肌肉骨骼表示的一个或更多个节段相关联的力信息。例如，可以估计由一个或更多个节段所施加的线性力或旋转(扭矩)力。线性力的示例包括但不限于手指或手按压在固体对象(诸如桌子)上的力和在两个节段(如两根手指)被捏合在一起时施加的力。旋转力的示例包括但不限于，当手腕或手指中的节段扭转或弯曲时产生的旋转力。在一些实施例中，被确定为当前手部状态估计的一部分的力信息包括以下中的一项或更多项：捏合力信息、抓力信息或关于通过肌肉骨骼表示进行表示的肌肉之间的共收缩力(co-contraction forces)的信息。

如上所述，可以提供可视地指示用户正在输入哪些字符的界面。这种界面可以在2D平面中(例如在图4所示的显示器401中)向用户显示。显示器401可以包括一个或更多个图形元素，包括一个或多个定义的区域(例如，区域402)，该区域包括一个或更多个字符(例如，字符403)。本文描述的界面还可以包括呈现反馈的其他手段，包括但不限于听觉手段、触觉手段和/或其他感觉手段或者前述的任意组合。

显示器401还可以显示显示器内指针或光标(例如，指针404)的位置，并且该系统可以适于响应于接收到的神经肌肉信号来解释2D平面中的移动控制。在一些实施例中，导航基于一个或更多个推理模型，该推理模型将来自放置在用户身体一部分上(例如，前臂或手腕上以记录控制手指、手和手腕的移动的肌肉)的设备的多个神经肌肉信号作为输入，并输出指针或光标的速度、方向和/或位置。用户可以使用这种视觉反馈来调整他们的神经肌肉活动，以便更准确地控制他们在2D显示器内的输入(例如，移动和选择活动)。例如，用户可以将光标或指针404移动到特定区域(例如，图4所示的中心区域，该区域具有文本输入“abcd”)。当指针位于期望的区域内时，用户可以执行某个动作(例如离散或连续的手势)，以选择在所选定的区域内显示的特定字符(例如，字符组“abcd”中的字符“c”)。一旦检测到手势，则可以提供所选定的字符作为输入(例如，诸如应用内的条目，应用例如是聊天窗口、电子邮件、文字处理或其他应用类型)。在一些实施例中，可以使用其他选择机制，例如选项之间的旋转选择(例如，当“abcd”的一个选项在显示器内在其他选项之间旋转时，该选项自动高亮显示)、在该区域内花费的时间(例如，在光标或指针位于该区域内预定时间后选择字符“a”)、滚动或平移遍历不同字符集的选择选项或其他选择机制。

如所讨论的，可以使用具有不同显示和控制方案的替代界面。例如，如图5所示，可以提供界面，该界面包括显示器内的一个或更多个“自动完成”或“自动建议”区域(例如，自动完成区域504)。在一些实施例中，自动完成区域可以显示在区域内，并且用户可以通过例如提供适当的神经肌肉输入在多个自动完成选项之间进行选择。例如，在一些实施例中，可以通过执行适当的离散手势来选择一个或更多个自动完成(或自动更正)选项。例如，如图5所示，用户可能已经将光标定位在区域502内，从而允许用户在该区域内选择字符“E”、“F”、“G”或“H”。基于用户的输入和/或先前的文本选择，系统可以显示适当的自动完成选项。例如，如果用户导航到区域502，则显示器可以在自动完成区域中显示四个选项，每个选项与特定手势或一系列手势(例如，手指轻敲的次数或其中一根手指轻弹)相关联。在一些实施例中，自动完成选项可以基于自然语言模型，该自然语言模型基于当前和/或先前输入确定一个或更多个可能的字符。用户可以通过单独使用特定手势或者使用结合用户控制指针(未示出)的手势来从选项之一中进行选择。

图6示出了根据各种实施例的具有不同类型控制方案的替代界面的另一实施方式。特别地，显示器601包括区域(例如，区域602)的圆型布置，每个区域具有相关联的文本组(例如，文本字符“D”、“E”和“F”的字符组603)，其中中心区域是自动完成区域(例如，自动完成区域604)。可以在此自动完成区域内显示单个字符和/或可能的单词、数字或特殊字符(例如，如使用语言模型计算的)。用户可以通过单独使用特定手势或者使用结合用户控制指针(未示出)的手势来从选项之一中进行选择。

图7示出了根据各种实施例的具有不同类型控制方案的又一示例界面。特别地，显示器701包括区域(例如区域704)的矩阵型布置，其中可以显示可能的文本和/或自动完成区域。此外，显示器701可以具有一个或更多个自动完成选项1-4(项目703A-703D)，该自动完成选项包括与文本输入区域702相关联的可能的单词。不同的字符被输入时，它们可以显示在区域702中，并且自动完成选项项目703A-703D可以被调整为输入的文本，以允许用户自动完成用在区域702中输入的文本形成的可能的单词。类似地，自动完成区域705可以仅与区域704内的字符相关联，从而允许用户更容易地选择下一个字符以在区域702内输入。用户可以通过单独使用特定手势或者使用结合用户控制指针(未示出)的手势来从选项之一中进行选择。

可以提供显示器和控制方案的其他布置和配置。如所讨论的，在一些实施例中，根据应用、用户类型、用户偏好或计算环境以及其他考虑，可以提供控制方案和2D显示选项的变化。

例如，这样的变化可以包括但不限于以下变化(单独或者与任何其他变化相结合)。第一个示例是基于2D导航的文本输入和通过用户在区域中的时间或单次点击进行的字符选择。例如，用户控制2D平面(或者2D移动可以被有效映射到其上的其他形状，诸如如在虚拟现实或增强现实环境中)内的移动，并且该移动被平移到2D平面的不同区域，从而允许用户执行选择活动。选择活动可以通过用户执行动态或静态手势(例如，轻敲、捏、姿势等)来执行。选择活动还可以在没有附加手势的情况下执行(例如，响应于用户将光标控制到所选定的区域并在该区域内保持预定的时间量，而不离开该区域)。

另一个示例是基于2D导航的文本输入和通过多次点击进行的字符选择。在一些实施例中，应当理解，如果向用户提供更大的2D区域以在其内或其上进行导航，则用户可以更容易地执行使用神经肌肉活动的2D移动控制，并且用户可以使用不同的动态或静态手势在选定区域内执行“多次点击”操作。在一个示例中，多个字符被分组在同一区域内，并且响应于用户到该区域中或在该区域内移动，允许用户通过执行特定的动态或静态手势来执行组内特定字符的选择活动，从而选择特定字符。

第三个示例涉及用于2D导航的不同形状的区域。在一些实施例中，包含字符的区域可以根据以下项以多种替代方式来成形和/或布置：系统要求和能力、用户偏好和使用这种类型的系统或方法的技能水平以及显示平台(例如，膝上型电脑屏幕、计算机屏幕、智能手机屏幕、平板电脑屏幕、智能手表屏幕、VR、AR或混合现实系统等)。在一些实施例中，用户可以指定多个区域。例如，包含用户可以导航到的字符的区域可以被布置为：a)具有切片和/或中心区域的圆，b)正方形或矩形的网格，c)容易使用二维控制进行导航的布局或显示器中的其他形状或布局。

第四个示例涉及分配给每个区域的字符。在一些实施例中，包含字符的区域可以每个区域包含相同数量的字符或者每个区域包含可变数量的字符(例如，基于特定字符的使用频率或者一个字符经常在另一个字符之后使用的可能性)。在一些实施例中，显示器区域的字符组成可以是动态的，并且基于先前或当前的文本输入而改变。在一些实施例中，分配给每个区域的字符的身份(identity)或顺序可以采取不同的形式。例如，系统可以使用字母顺序分配、基于qwerty的分配或另一种分配协议，例如，通过将使用字母的可能性与更容易访问的区域相关联，并且在每个区域具有多于一个字符的实施例中(例如，需要多个离散事件来在区域中存在的几个字符当中进行选择)，将更常用的字母与更舒适、方便和/或可靠的手势或姿势(例如，离散事件控件)相关联。

第五个示例涉及自动完成功能。在一些实施例中，多个自动完成、自动更正和/或自动建议选项可以被显示，并且可以基于例如基于自然语言模型。用户可以将光标导航到显示器中指定的“自动完成”区域，然后可以通过完成适当的离散手势来在几个自动完成、自动更正和/或自动建议选项当中进行选择。例如，可以以水平方式显示多达四个自动完成、自动更正和/或自动建议选项，以向用户指示四根“连指手套(mitten)”手指中的哪一根要轻敲或捏(例如，将指尖捏向拇指)以便选择显示的选项。在某些情况下，可以显示少于四个的自动完成、自动更正和/或自动建议选项，导致一个或更多个特定区域为空，从而导致在用户完成对应于空字段的手指轻敲或捏时不执行任何动作。可以基于自然语言模型显示多个自动完成、自动更正和/或自动建议选项。例如，用户可以将光标导航到与自动完成、自动更正和/或自动建议选项相关联的区域，并用指定手势选择选项。

一般来说，当基于手势的一个或更多个推理模型来识别特定手势时，可以发生对文本录入的选择，该一个或更多个推理模型将从用户身体部位测量的(例如，在用户的手腕或前臂上测量的)多个神经肌肉信号作为输入。在各种实施例中，对字符输入的选择可以在检测到特定手势(在几个启用的手势当中)时和/或在检测到重复手势时发生(例如，一个人可以轻敲食指一次以选择第一项目，以及(在特定时间窗口内)轻敲食指两次以选择第二项目)。

特定手势可用于附加功能。例如，拳头姿势可以用于删除字符，张开的手姿势可以用作空格键，并且拇指的轻敲可以用作标点姿势，以将字符显示区域的区域中显示的字符从字母改变为标点字符。

图8示出了根据一些实施例的系统800。系统包括多个传感器802，该多个传感器802被配置为记录从人体部分的移动产生的信号。传感器802可以包括自主式传感器(autonomous sensor)。在一些实施例中，术语“自主式传感器”通常可以指被配置成在不需要使用外部设备的情况下测量身体节段(body segment)的移动的传感器。在一些实施例中，传感器802也可以包括与自主式传感器组合的非自主式传感器(non-autonomoussensor)。在一些示例中，术语“非自主式传感器”通常可以指被配置成使用外部设备来测量身体节段的移动的传感器。在非自主式传感器(non-autonomous sensor)中使用的外部设备的示例包括但不限于，可佩戴的(例如，安装在身体上的)相机、全球定位系统、或激光扫描系统。

自主式传感器可以包括多个神经肌肉传感器，该神经肌肉传感器被配置成记录从人体骨骼肌中的神经肌肉活动产生的信号。如本文使用的术语“神经肌肉活动”通常可以指对支配肌肉的脊髓运动神经元的神经激活、肌肉激活、肌肉收缩或者神经激活、肌肉激活和肌肉收缩的任意组合。神经肌肉传感器可以包括一个或更多个肌电图(EMG)传感器、一个或更多个肌动图(MMG)传感器、一个或更多个声肌图(SMG)传感器、EMG传感器，MMG传感器和SMG传感器中两种或更多种类型的组合、和/或被配置成检测神经肌肉信号的任何合适类型的一个或更多个传感器。在一些实施例中，多个神经肌肉传感器可以用于感测与由肌肉控制的身体部位的移动相关的肌肉活动，神经肌肉传感器被布置成从肌肉感测肌肉活动。描述移动的空间信息(例如，位置和/或取向信息)和力信息可以在用户随着时间的推移而移动时基于所感测到的神经肌肉信号来预测。

自主式传感器可以包括一个或更多个惯性测量单元(IMU)，该一个或更多个惯性测量单元(IMU)可以使用例如加速度计、陀螺仪、磁力计或者一个或更多个加速度计、陀螺仪和磁力计的任意组合来测量运动的物理方面的组合。在一些实施例中，IMU可以用于感测关于附接有IMU的身体部位的移动的信息，并且当用户随时间的推移而移动时，从感测到的数据导出的信息(例如，位置和/或取向信息)可以被跟踪。例如，当用户随时间的推移而移动时，一个或更多个IMU可以用于跟踪用户躯干近端的用户身体部分(例如，手臂、腿)相对于传感器的移动。

在包括至少一个IMU和多个神经肌肉传感器的实施例中，IMU和神经肌肉传感器可以被布置成检测人体不同部位的移动。例如，IMU可以被布置成检测躯干近端的一个或更多个身体节段(例如，上臂)的移动，而神经肌肉传感器可以被布置成检测躯干远端的一个或更多个身体节段(例如，前臂或手腕)的移动。然而，应当理解，自主式传感器可以以任何合适的方式被布置，并且本文所描述技术的实施例不限于基于特定的传感器布置。

图9描述了使用从传感器802记录的信号生成(本文有时称为“训练”)统计模型的方法900。方法900可以由任何合适的计算设备执行，因为本文描述的技术的各方面在此方面不受限制。例如，方法900可以由参考图8描述的一个或更多个计算机处理器或其他计算机处理器以及其他类型和配置的处理器来执行。作为另一个示例，可以使用一个或更多个服务器(例如，作为云计算环境的一部分而包括的服务器)来执行方法900的一个或更多个动作。例如，与统计模型(例如，神经网络)的训练相关的动作910的至少一部分可以使用云计算环境来执行。

图8的传感器802可以检测移动，并且可以向指定的设备或位置发送传感器信号(在方法900的步骤902)。例如，在一些实施例中，至少一个IMU和多个神经肌肉传感器可以共同位于一个身体节段上，以使用不同类型的测量来跟踪身体节段的移动。在下面更详细描述的一个实施方式中，IMU传感器和多个EMG传感器被布置在可佩戴设备上，该可佩戴设备被配置成围绕用户的下臂或手腕佩戴。在这种布置中，IMU传感器可被配置成跟踪与一个或更多个手臂节段相关联的移动信息(例如，随时间的定位和/或取向)，以确定例如用户是否已经抬起或放下了他们的手臂，而EMG传感器可被配置成确定与手腕或手部节段相关联的移动信息，以确定例如用户是否具有张开或者闭合的手部构型(configuration)。因此，在方法900的904，系统可以获得佩戴可佩戴设备的用户的位置和/或取向信息。

每个自主式传感器可以包括一个或更多个感测部件，该感测部件被配置成感测关于用户的信息。在IMU的情况下，感测部件可以包括一个或更多个加速度计、陀螺仪、磁力计或其任意组合，以测量身体运动的特性，该特性的示例包括但不限于加速度、角速度和身体周围感测到的磁场。在神经肌肉传感器的情况下，感测部件可以包括但不限于被配置成检测身体表面上的电位的电极(例如，对于EMG传感器)、被配置成测量皮肤表面振动的振动传感器(例如，对于MMG传感器)、以及被配置成测量由肌肉活动产生的超声信号的声学感测部件(例如，对于SMG传感器)。

在一些实施例中，在方法900的步骤906，可以使用硬件信号处理电路来处理一个或更多个感测部件的输出(例如，以执行放大、滤波和/或整流)。在其他实施例中，可以在软件中执行对感测部件的输出的至少一些信号处理。因此，由自主式传感器记录的自主信号的信号处理可以在硬件、软件中或由硬件和软件的任何适当组合执行，因为本文所描述的技术的各方面不限于该方面。

在一些实施例中，如下面更详细描述的，记录的传感器数据可以被处理以计算附加的导出的测量结果，然后将导出的测量结果作为输入提供给统计模型和/或机器学习模型。例如，来自IMU传感器的所记录的信号可以被处理，以导出指定刚体节段随时间的推移的取向的取向信号。自主式传感器可以使用与感测部件集成的部件来实现信号处理，或者至少一部分信号处理可以由与自主式传感器的感测部件通信但不直接集成的一个或更多个部件来执行。

在一些实施例中，多个自主式传感器中的至少一些被布置为可佩戴设备的一部分，该可佩戴设备被配置成佩戴在用户身体部位之上或围绕用户身体部位佩戴。例如，IMU传感器和多个神经肌肉传感器围绕可调节和/或弹性带周向地布置，该可调节和/或弹性带诸如是被配置成围绕用户的手腕或手臂佩戴的腕带或臂带。可替代地，至少一些自主式传感器可以布置在可佩戴贴片上，该可佩戴贴片被配置成附着到用户身体的一部分。在一些实施例中，可以使用多个可佩戴设备来预测涉及多个身体部位的移动的肌肉骨骼位置信息(例如，在方法900的步骤908)，每个可佩戴设备具有包括在其上的一个或更多个IMU和/或神经肌肉传感器。

在一些实施例中，传感器802仅包括多个神经肌肉传感器(例如，EMG传感器)。在其他实施例中，传感器802包括多个神经肌肉传感器和被配置成连续记录多个辅助信号的至少一个“辅助”传感器。辅助传感器的示例包括但不限于其他自主式传感器(例如IMU传感器)和非自主式传感器(例如成像设备(例如，相机))、与辐射生成设备(例如，激光扫描设备)一起使用的基于辐射的传感器、或者其他类型的传感器(例如心率监视器)。

系统800还可以包括被编程成与传感器802通信的一个或更多个计算机处理器(图8中未示出)。例如，由一个或更多个传感器记录的信号可以被提供给处理器，该处理器可以被编程为执行一种或更多种机器学习技术，该技术处理由传感器802输出的信号以生成训练数据(例如，在方法900的动作910)并训练一个或更多个统计模型804和/或机器学习模型(图8中未示出)(例如，在方法900的步骤912)。训练的(或重新训练的)推理模型(例如，统计模型804)然后可以被存储(例如，在方法900的步骤914)以供以后用于生成肌肉骨骼表示806，如下面更详细描述的。如本文所用，术语推理模型包括但不限于纯统计模型、纯机器学习模型或其任意组合。下面详细地讨论了统计模型的非限制性示例，根据一些实施例，这些统计模型可以用于基于来自传感器802的记录的信号来预测手部状态信息。

系统800也可选地包括被配置成显示(例如，手的)视觉表示808的显示控制器。如下面更详细讨论的，一个或更多个计算机处理器可以实现一个或更多个训练的统计模型，该统计模型被配置成至少部分地基于由传感器802记录的信号来预测手部状态信息。预测的手部状态信息用于更新肌肉骨骼表示806，肌肉骨骼表示806然后可选地用于基于包含当前手部状态信息的更新的肌肉骨骼表示来渲染视觉表示808。当前手部状态的实时重建和随后在肌肉骨骼模型中反映当前手部状态信息的视觉表示的渲染可以向用户提供关于经训练的统计模型准确表示预期手部状态的有效性的视觉反馈。并非系统800的所有实施例都包括被配置成渲染视觉表示的部件。例如，在一些实施例中，来自训练的统计模型的手部状态估计输出和相应更新的肌肉骨骼表示被用于确定(例如，在虚拟现实环境中)用户手部的状态，即使基于更新的肌肉骨骼表示的视觉表示没有被渲染(例如，以用于在没有虚拟渲染的手部的情况下与虚拟或增强现实环境中的虚拟对象交互)。

在一些实施例中，被配置成模拟虚拟现实环境的计算机应用可以被指示在用户界面(例如，图形用户界面)内显示或渲染用户手部的视觉表示。可以基于经训练的统计模型的输出来显示虚拟现实环境内的定位、移动和/或由手的部分所施加的力。当连续信号被传感器802记录并被训练的统计模型804处理以提供用户的位置、移动和/或所施加力的更新的计算机生成的表示时，视觉表示可以基于当前重建的手部状态信息来动态更新。

在一些实施例中，术语“手势”通常指一个或更多个身体部位的静态或动态构型(该构型包括一个或更多个身体部位的位置)和与该构型相关联的力。例如，手势可以包括离散的手势(例如在固体表面上向下按压手掌或抓住球或捏一根或更多根手指)、连续的手势(例如来回挥动手指或投掷球或弹响(snap)或轻敲一根或更多根手指，或握拳或滚动手腕)或者离散手势和连续手势的组合(例如抓住和投掷球)。手势可以由被配置为提示用户执行手势的应用来定义，或者，可替代地，手势可以由用户任意定义。在某些情况下，根据文化标准，手部手势和手臂手势可能是象征性的，用于通信。用户可能想要对特定任务进行特定的个性化。在一些实施方式中，一个或更多个计算机处理器还可以被编程为通过将特定的期望个人特征重新应用于已经使用本文描述的一种或更多种技术匿名化的肌肉骨骼表示来重新个性化肌肉骨骼表示。

图10示出了用于解释通过在可佩戴设备(例如，图2的可佩戴设备200)处感测到的神经肌肉信号接收的输入命令的示例方法1000。在一些实施例中，方法1000可以包括经由用户界面呈现至少一个感觉提示(步骤1010)。例如，计算机系统101可以实例化用户界面(诸如图4、5或6所示的用户界面)。UI可以被配置成提供感觉提示(例如听觉提示、触觉提示、嗅觉提示、环境提示、视觉提示或其他类型的提示)。计算机系统101然后可以从可佩戴设备的一个或更多个神经肌肉传感器接收由佩戴可佩戴设备的用户生成的一个或更多个神经肌肉信号(步骤1020)。在这种情况下，用户(例如，用户100)可以响应于经由用户界面呈现给用户的至少一个感觉提示来生成神经肌肉信号(步骤1020)。可佩戴设备200可以包括被配置成检测神经肌肉信号的一个或更多个神经肌肉传感器210。计算机系统101可以将一个或更多个接收的神经肌肉信号解释为关于由用户界面提供的感觉提示的输入命令，使得输入命令启动用户界面内的一个或更多个指定任务的执行(步骤1030)。计算机系统101然后可以根据解释的输入命令在用户界面内执行一个或更多个指定任务(步骤1040)。

在一些情况下，执行指定任务包括导航到用户界面中对应于可供选择的文本输入的指定显示区域，并选择位于用户界面内指定显示区域的文本输入。例如，在图4中，执行指定任务可以包括导航到区域402(并且潜在地将指针404移动到该区域)并且选择该区域中的一个或更多个字符(在这种情况下，“y”或“z”)。还可以选择其他区域，或者可以一个接一个地依次选择，以提供拼写单词的输入。因此，以这种方式，用户100可以佩戴可佩戴设备200，让该设备将他们的神经肌肉信号解释为命令，并通过在显示器401内移动指针和选择包括单词、字母、图片或其他可选项目的文本来执行那些命令。在某些情况下，如上所述，用户可以用他们的手指或手来执行手势。可佩戴设备200可以检测这些手势，并选择指定的单词或字符作为用户界面内的输入。

例如，如图4所示，显示器401中所示的用户界面可以包括多个显示区域(例如，402)。在每个显示区域内，各种潜在的文本输入可以映射到映射中的每个显示区域。例如，字符“mnop”可以被映射到一个区域，而字符“qrst”被映射到另一个位置。在指定显示区域中选择特定文本输入可以至少部分地基于从接收的神经肌肉信号确定的识别手势。手势可以包括用户以将指针404导航到特定区域的方式移动他们的手或手腕。在该区域逗留或执行手指轻敲或手指捏合手势可以选择该区域中的一个或更多个字符。在一些情况下，字符到区域的映射可以包括指定文本输入到指定手势的映射。因此，在一些实施例中，数字可以被映射到手指轻敲手势，而小写字母可以被映射到指针手指轻敲，并且大写字母可以被映射到中指轻敲或手指-拇指捏合等。

在一些情况下，将从可佩戴设备传感器接收的神经肌肉信号解释为关于由用户界面提供的感觉提示的输入命令可以包括将从用户接收的神经肌肉信号解释为用于在用户界面内选择特定文本输入的光标的速度控制、方向控制和/或位置控制。该系统因此可以跟踪手势如何被提供(包括当用户移动他们的手或其他身体部位时可佩戴设备的速度、方向和/或位置)。然后，当解释手势并将其映射到输入命令时，可以使用该速度、方向和/或位置。

在一些实施例中，将接收到的神经肌肉信号解释为关于由用户界面提供的感觉提示的输入命令可以包括基于接收到的神经肌肉信号识别用户手势。该识别的用户手势然后可以控制特定文本输入的选择。如果用户选择文本的特定部分的意图不清楚，则本文描述的系统可以基于哪个用户手势被识别来消除用户界面内显示的文本输入的歧义。用户不仅可以提供单个选择，还可以提供一系列输入。本文的系统可以被配置成基于接收到的神经肌肉信号自动确定用户提供了哪些系列的可能的文本输入。

在其他情况下，执行指定的命令包括基于输入命令从语言模型预测要被选择作为键入输入的各种字符，并且在用户界面内提供预测的字符作为键入输入。如下文将进一步解释的，用户100通过由可佩戴设备200检测到的神经肌肉信号提供的输入可以指示用户“键入”的键入字母，无论是在物理键盘处还是在别处键入。语言模型可用于预测用户键入了哪些字符，然后将这些字符输入到用户界面中。

在一些实施例中，将接收的神经肌肉信号解释为关于由用户界面提供的至少一个感觉提示的输入命令可以包括基于接收到的神经肌肉信号识别至少一个用户手势。该识别的用户手势然后被用于控制特定键入输入的选择。在一些情况下，这种键入的输入可以经由用户执行的与表面无关的手势来提供。这种表面无关的手势可以在基本上任何表面上(包括在空气中或在用户的腿上等)执行。将参照图11-20B更详细地描述这些实施例。

图11描绘了包括可佩戴设备1110、界面系统1120和应用系统1130的人机界面系统1100。如本文所述，可佩戴设备1110包括一个或更多个传感器，并且可以与界面系统1120和/或应用系统1130通信。可佩戴设备1110可以被配置为当佩戴在用户身体上时能够使用一个或更多个传感器来记录信号。所记录的信号可以包括神经肌肉信号，例如肌电图(EMG)信号、肌动图(MMG)信号和/或声肌图(SMG)信号。在一些实施方式中，记录的信号还可以包括从一个或更多个惯性测量单元(IMU)传感器或其他位置跟踪传感器获取的位置、速度和/或加速度信息。在一些实施方式中，可佩戴设备1110可以被配置成执行模拟处理(例如，降噪、滤波等)和记录信号的模数转换。可佩戴设备1110可以使用任何合适的无线技术和协议与界面系统1120通信，该无线技术和协议的非限制性示例包括射频信令、蓝牙、紫蜂(Zigbee)、WiFi等。例如，可佩戴设备1110可以向界面系统1120提供记录的信号或从记录的信号中提取的特征。

界面系统1120可以被配置为从可佩戴设备1110接收记录的信号，并生成数据和/或指令以供应用系统1130使用。在一些实施方式中，界面系统1120可以被配置为使用一个或更多个推理模型来识别用户身体部位的状态，并且可以将接收的信号或从接收的信号中提取的特征作为输入提供给推理模型。界面系统1120可以被配置成将用户身体部位的识别状态传送给应用系统1130。例如，界面系统1120可以向应用系统1130提供预测的位置、取向、关节角度、力、移动、姿势或手势信息。界面系统1120可以被配置为使用任何合适的无线技术和协议与应用系统1130通信，该无线技术和协议的非限制性示例包括射频信令、蓝牙、紫蜂、WiFi等。

用户身体部位的状态可以包括与用户身体部位相关联的位置、取向、关节角度、力、移动、姿势或手势信息。状态可以描述用户身体部位的肌肉骨骼表示中的一个或更多个节段的构型。这种肌肉骨骼表示可以将用户的身体部位建模为多节段铰接式刚体系统，其中关节形成不同节段之间的接合部，并且关节角度定义模型中连接的节段之间的空间关系。模型中连接的节段之间的空间关系可能受到解剖学约束。这些节段可以被建模为刚体，或者可以被建模为受到节段间移动影响的刚体(例如，前臂节段的模型可以是半刚性的，以考虑前臂的尺骨和桡骨的运动)。节段的位置、取向和/或关节角度信息及其时间导数(例如，线性速度或加速度或角速度或加速度)可以相对于一个或更多个固定坐标系和/或相对于用户的其他节段或身体部位的位置和取向来描述。

力可以包括由肌肉骨骼表示的一个或更多个节段施加的线性力和/或旋转(扭矩)力。线性力的示例包括但不限于手指或手按压在固体对象(诸如桌子)上的力和在两个节段(如两根手指)被捏在一起时施加的力。旋转力的示例包括但不限于，当手腕或手指中的节段扭转或弯曲时产生的旋转力。在一些实施例中，指示的身体状态信息可以包括以下项中的一项或更多项：捏力信息、抓力信息或关于由肌肉骨骼表示进行表示的肌肉之间的共收缩力的信息。

身体状态信息可以包括或涉及姿势，并且可以指示一个或更多个身体部位的静态构型。静态构型可以描述一个或更多个身体部位的位置。例如，姿势可以包括拳头、张开的手、将食指静态按压在拇指上、将手掌向下按压在固体表面上或抓住球。姿势可以通过提供姿势的位置信息(例如，节段坐标、关节角度或类似信息)，或者通过提供对应于姿势的标识符(例如，参数、函数自变量或变量值)来指示静态构型。身体状态信息可以包括或涉及手势，并且可以指示一个或更多个身体部位的动态构型。动态构型可以描述一个或更多个身体部位的位置、一个或更多个身体部位的移动以及与该动态构型相关联的力。例如，手势可以包括来回挥动手指、投掷球或抓住并投掷球。

在一些实施例中，身体状态信息可以描述用户的手(例如，手部状态信息)，手可以被建模为多节段铰接体。手腕和每个手指中的关节可以形成模型中多个节段之间的接合部。在各种实施例中，身体状态可以描述手与一个或更多个手臂节段的组合。然而，应当理解，本文描述的技术也适用于除了手之外的身体部分的肌肉骨骼表示，这些身体部分包括但不限于手臂、腿、脚、躯干、颈部或前述的任何组合。

在一些实施方式中，如本文所述，记录的信号可以呈现时空(例如，空间频率)模式，这取决于用户佩戴可佩戴设备的方式或方法。例如，当用户以第一方式(例如，以电极与用户皮肤的特定区域接触的方式)佩戴可佩戴系统时，状态可以与第一时空模式相关联，并且当用户在身体上旋转可佩戴系统时，或者当用户将可佩戴系统移动到身体的不同部位(例如，从下臂位置移动到上臂位置)时，状态可以与第二时空模式相关联。因此，推理模型可以被训练成使用所呈现的时空模式来识别一个或更多个身体状态。

在一些实施方式中，可佩戴系统可以被配置成确定可佩戴系统的旋转和/或位置，并选择被训练或适于识别所确定的位置和/或旋转中的身体状态的相应推理模型。换句话说，可佩戴系统可以被配置成自动校准，使得设备适应任何旋转和/或手臂位置偏移，而不干扰用户体验，本文还称为自动校准，以考虑用户佩戴系统的方式与他们的底层肌肉组织和影响由可佩戴系统记录的神经肌肉信号的其他解剖结构的关系。在一些实施方式中，可佩戴系统可以被配置为适应可能具有受伤或缺失的肌肉、不同脂肪组织或脂肪以及其他解剖变量的用户。尽管关于多个推理模型进行了讨论，但是应当理解，在一些情况下，本文讨论的实施例可以实现为单个推理模型。还应理解，一个或更多个推理模型可以根据从多个用户收集的数据进行训练。

可以通过执行以下步骤中的一项或更多项来建立对用于自动校准的神经肌肉信号模式进行分类的推理模型：1)建立新的统计模型或实验类，该模型或实验类将预处理的神经肌肉信号集合作为输入，2)通过对预处理信号随机应用旋转偏移来生成一批训练数据，3)当增强偏移为0时产生正标签，否则为空，4)获取该批训练数据并将其校准为具有偏移＝0的校准数据，以及5)训练推理模型并通过测试不同的旋转偏移来评估其性能。

应用系统1130可以被配置成从界面系统1120接收身体状态信息。响应于接收到的指示，应用系统1130可以被配置成对在应用系统1130上执行的一个或更多个应用执行动作。这些动作可以包括改变应用的执行状态(例如，启动、停止、暂停或恢复应用)或与应用通信(例如，向应用提供命令和/或数据)。如本文所述，应用系统1130可以被配置成提供用户界面。用户界面可以被配置成向从应用系统1130接收的命令和/或数据提供视觉、听觉、触觉和/或其他感觉反馈。例如，用户可以与由用户界面在与应用系统1130相关联的显示器上显示的图形控件和指示符进行交互。作为附加示例，用户界面可以使用与计算系统相关联的扬声器来提供听觉提示和/或反馈。作为另外的示例，用户界面可以使用向用户施加力的控制器(例如，使用线性谐振致动器或偏心旋转质量致动器的振动)来提供触觉提示或反馈。

应当理解，上文关于可佩戴设备1110、界面系统1120和应用系统1130描述的功能可以在一个或更多个计算设备之间组合或划分。在示例性实施例中，可佩戴设备1110可以配置有一个或更多个训练的推理模型。可佩戴设备1110可以记录信号，使用一个或更多个训练的推理模型来识别用户身体部位的一个或更多个状态，并且向实现应用系统1130的单独的计算设备提供所识别的身体状态的指示。在附加的示例性实施例中，可佩戴设备1110可以被配置成向实现界面系统1120和应用系统1130的单独的计算设备提供记录的信号和/或从记录的信号中提取的特征。可以被配置成使用设备驱动器、应用、仿真器等来实现界面系统1120的单独计算设备可以使用一个或更多个训练的推理模型和接收的记录信号和/或提取的特征来识别用户身体部位的一个或更多个状态。所识别的状态可以被映射到数据或指令，并且至少一些数据或指令可以被提供给运行在单独的计算设备(例如，云中的一个或更多个计算设备)上的一个或更多个应用。在附加实施例中，可佩戴设备1110可以实现界面系统1120和应用系统1130的功能。

本文描述的系统和方法中的至少一些涉及在佩戴可佩戴设备的用户执行键入移动时，基于使用布置在一个或更多个可佩戴设备上的一个或更多个神经肌肉传感器记录的神经肌肉信号来生成文本。图12示意性地示出了根据一些实施例的使用被训练来解释键入手势或其他用户活动的基于神经肌肉的系统的过程。键入手势可以是单键手势(例如，按压字母“x”的键)或者是同时执行的多键手势(例如，同时按压“Shift”键和字母“x”的键以输出大写的“X”)或在某个持续时间内至少部分连续地执行的多键手势(例如，至少部分连续地按压“Ctrl”+“Alt”和“Delete”键以执行命令、调出菜单或执行某个其他键盘快捷键)。本文描述的实施例涉及当用户执行传统的键入手势(例如，如人们将使用键盘那样)而不需要使用物理键盘时处理神经肌肉数据。然而，应当理解，本文所述的一种或更多种技术还可以用于解释与用户键入意图相关联的其他类型的神经肌肉数据，包括但不限于肌肉下激活，其中用户被训练以在不进行移动的情况下激活单个或小组的运动单元。

在动作1210中，从布置在可佩戴设备上的多个神经肌肉传感器记录神经肌肉信号。在动作1212中，记录的信号(或从信号导出的信息(例如特征))被作为输入提供给一个或更多个推理模型，该推理模型解释信号(或从信号导出的信息)以生成一个或更多个图。在动作1214中，可以使用例如语言模型来约束从推理模型输出的预测，如下面更详细讨论的。在动作1216中，最终预测的一个或多个字符被提供作为文本。在下面的章节中提供了用于训练和使用推理模型来基于记录的神经肌肉信号输出一个或更多个字符的各个方面。在本文描述的包括标记一个或更多个数据集的公开系统和方法中，标记的准确性可以由用户或系统确认。例如，在一个或更多个神经肌肉输入之后，在系统标记字符数据以并入推理模式之前，可以提示用户确认输入文本的准确性。可替代地，系统可以基于在键入数据集期间用户发起的“backspace”键按压的频率，来自动检测记录的神经肌肉信号和相关联的文本输入的准确性。

图13示意性地示出了根据本文描述的技术的一些实施例的系统1300(例如神经肌肉活动感测系统)。系统1300包括多个传感器1310(例如，神经肌肉传感器)，传感器1310被配置成感测和记录由人体骨骼肌中的神经肌肉活动产生的信号。传感器1310可以包括上面结合图8的传感器802识别的任何或所有传感器。在一些实施例中，多个神经肌肉传感器可以相对于人体布置，并用于感测与由肌肉控制的身体部位的移动相关的肌肉活动，从该肌肉移动中，肌肉活动由神经肌肉传感器感测。描述移动的空间信息(例如，位置和/或取向信息)和力信息可以在用户随着时间的推移而移动时基于所感测到的神经肌肉信号来预测。

在一些实施例中，由传感器1310记录的传感器数据可以可选地由处理器1312处理以计算附加的导出测量结果，然后可以将该测量结果作为输入提供给一个或更多个推理模型，如下面更详细描述的。例如，来自IMU的记录信号可以被处理以导出定向信号，该定向信号指定刚体的节段随时间的定向。传感器1310可以使用与传感器1310的感测部件集成的部件来实现信号处理，或者信号处理的至少一部分可以由与传感器1310的感测部件通信但不直接集成的一个或更多个部件来执行。

系统1300还包括一个或更多个计算机处理器1312，该计算机处理器1312被编程用于与传感器1310进行单向或双向通信。例如，由一个或更多个传感器1310记录的信号可以从传感器1310输出并提供给处理器1312，处理器1312可以被编程为执行一个或更多个机器学习算法来处理由传感器1310输出的信号。算法可以处理信号以训练(或重新训练)一个或更多个推理模型1314，并且所得到的训练(或重新训练)的推理模型1314可以被存储以供后续用于生成控制信号。处理器1312可以与推理模型1314单向或双向通信。

在一些实施例中，推理模型1314可以产生离散输出。例如，当期望的输出是要知道用户当前是否正在执行特定的激活模式(包括各个神经尖峰事件)时，可以使用离散输出(例如，离散分类)。例如，可以训练推理模型1314来估计用户是否正在激活特定的运动单元、正在以特定的定时激活特定的运动单元、正在以特定的放电模式激活特定的运动单元、或者正在激活运动单元的特定组合。在较短的时间尺度上，在一些实施例中可使用离散分类来估计特定的运动单元是否在给定的时间量内放电了动作电位。在这种场景下，这些估计然后可被累加，以获得该运动单元的估计的放电率。

在推理模型被实现为被配置为输出离散输出的神经网络的实施例中，神经网络可以包括作为软最大值层(softmax layer)的输出层，使得推理模型的输出加起来为1，并且可以被解释为概率。例如，软最大值层的输出可以是对应于相应的控制信号集合的值的集合，其中每个值指示用户想要执行特定控制动作的概率。作为一个非限制性示例，软最大值层的输出可以是三个概率(例如，0.92，0.05和0.03)的集合，指示检测到的活动模式是三个已知模式中的一个的相应概率。

应理解的是，当推理模型是被配置为输出离散输出(例如，离散信号)的神经网络时，不需要神经网络产生加起来为1的输出。例如，对于一些实施例，代替软最大值层，神经网络的输出层可以是sigmoid层，其不将输出限制为加起来等于1的概率。在这样的实施例中，可以用sigmoid交叉熵代价来训练神经网络。此种实施方式在以下情况下可能是有利的：其中在阈值时间量内可能发生多个不同的控制动作，并且区分这些控制动作发生的顺序并不重要(例如，用户可以在阈值时间量内激活两种神经活动模式)。在一些实施例中，可以使用任何其他合适的非概率性多类分类器，本文中所述技术的多个方面在这方面不受限制。在一些实施例中，推理模型1314的输出可以是连续信号，而不是离散信号。例如，推理模型1314可以输出每个运动单元的放电率的估计值，或推理模型1314可以输出对应于每个运动单元或肌肉下结构的时间序列电信号。

应理解的是，本文中所述技术的多个方面并不限于使用神经网络，因为在一些实施例中也可以采用其他类型的推理模型。例如，在一些实施例中，推理模型1314可以包括隐马尔可夫模型(HMM)、切换HMM，其中切换允许在不同的动态系统、动态贝叶斯网络和/或具有时间成分的任何其他合适的图形模型之间切换。可以使用记录的传感器信号来训练任何这样的推理模型。

作为另一个示例，在一些实施例中，推理模型1314可以是分类器，其将从记录的传感器信号中导出的特征作为输入。在此类实施例中，分类器可以使用从传感器信号提取的特征进行训练。分类器可以是例如支持向量机、高斯混合模型、基于回归的分类器、决策树分类器、贝叶斯分类器和/或任何其他合适的分类器，因为本文中所述技术的各方面在这方面不受限制。向分类器提供的输入特征可以以任何合适的方式从传感器信号导出。例如，可以使用小波(wavelet)分析技术(例如，连续小波变换、离散时间小波变换等)、傅立叶分析技术(例如，短时傅立叶变换、傅立叶变换等)和/或任何其他合适类型的时间频率分析技术将传感器信号分析为时间序列数据。作为一个非限制性示例，传感器信号可以使用小波变换进行变换，并且所产生的小波系数可以作为输入被提供给分类器。

在一些实施例中，一个或更多个推理模型1314的参数值可以根据训练数据进行估计。例如，当推理模型1314是神经网络时，可以根据训练数据来估计神经网络的参数(例如，权重)。在一些实施例中，一个或更多个推理模型1314的参数可以使用梯度下降、随机梯度下降和/或任何其他合适的迭代优化技术来估计。在推理模型1314是循环神经网络(例如，LSTM)的实施例中，可以使用随机梯度下降和时间反向传播来训练推理模型1314。训练可以采用平方误差或交叉熵损失函数和/或任何其他合适的损失函数，因为本文描述的技术的方面在这方面不受限制。

系统1300还可以可选地包括一个或更多个控制器1316。例如，控制器1316可以包括被配置为显示视觉表示(例如，手部的表示)的显示控制器。如下面更详细讨论的，一个或更多个计算机处理器1312可以实现一个或更多个训练的推理模型，该训练的推理模型接收由传感器1310感测和记录的信号作为输入，并且提供可以用于生成控制信号和控制增强现实系统的信息(例如，预测的手部状态信息)作为输出。

系统1300还可以可选地包括用户界面1318。基于由传感器1310记录并由处理器1312处理的信号确定的反馈可以经由用户界面1318提供，以帮助用户理解系统1300如何解释用户的预期激活。用户界面1318可以以任何合适的方式实现，包括但不限于音频界面、视频界面、触觉界面和电刺激界面或前述的任何组合。

在一些情况下，本文描述的实施例可以使用自举法(bootstrapping)训练用于基于神经肌肉信号预测键入移动的推理模型。在一些情况下，收集大量标记的训练数据来训练推理模型以将神经肌肉信号映射到字符(例如，字母)可能是麻烦的。本文描述的实施例中的至少一些可以涉及使用自举法来为用户生成个性化推理模型，而不需要用户提供用于训练并因此个性化推理模型的大量标记的训练数据。如下文更详细描述的，一些实施例涉及使用在从一组用户收集的数据上训练的通用模型，然后用从一个用户(要为该用户创建个性化推理模型)收集的附加训练数据来补充该通用模型。

图14示出了根据一些实施例的用于生成个性化推理模型的过程，该个性化推理模型被训练来基于作为输入被提供给该模型的神经肌肉数据来输出字符。在动作1410中，当用户使用输入设备键入时，神经肌肉数据被记录。在一些情况下，输入设备可以是耦合到计算系统的物理键盘，该计算系统被配置成确定用户按压的键的身份。在其他情况下，输入设备可以是键盘的表示，而不需要使用物理键盘。在这种情况下，可以使用外部设备(例如，相机)来确定用户按压了哪个键。不管使用的输入设备的类型如何，动作1410的输出包括记录的神经肌肉数据和在记录神经肌肉数据期间用户按压的键的身份(或键的表示)。地面真实数据(键的身份)使得神经肌肉数据能够被标记，并且标记的神经肌肉数据可以用于训练推理模型，以基于神经肌肉数据预测键的身份。在一些实施例中，在动作1410中收集的神经肌肉数据和地面真实数据可以从多个用户收集，以创建标记数据的训练数据集，该数据集可以用于训练通用(例如，用户无关)模型。在其他实施例中，可以从要为其创建个性化推理模型的用户收集少量的神经肌肉数据和地面真实数据，并且少量的标记数据可以用于创建“轻度训练”模型，该模型可以进一步使用未标记的“键盘外”数据来训练，其示例将在下面更详细地描述。

图14的过程然后进行到动作1412，其中在动作1410中记录的标记的神经肌肉数据被用于训练推理模型，以产生将神经肌肉数据映射到键盘上特定键的身份的通用(或轻度训练的)推理模型。例如，可以通过将标记的训练数据集中的每个样本应用于推理模型来训练通用推理模型，使得该模型更准确地表示记录的神经肌肉信号和地面真实数据(即，键的身份)之间的映射。

图14的过程然后进行到动作1414，其中从要为其生成个性化推理模型的用户记录表面无关(例如，没有物理键盘或“键盘外”)的未标记的训练数据。“键盘外”数据包括地面真实数据未知的神经肌肉数据。例如，可以在用户在表面(例如，桌子)或半空中键入时并且在不使用物理键盘来记录击键的情况下记录神经肌肉数据。在动作1414中记录的数据被认为是“未标记的”，因为地面真实数据是未知的。图14的过程然后进行到动作1416，其中在动作1414中收集的未标记数据被用于重新训练在动作1412中生成的通用(或轻度训练的)模型。下面更详细地讨论用于使用键盘外数据训练推理模型的示例性技术。

当用户执行键入移动时将键(例如字符)标签分配给连续记录的神经肌肉数据的挑战之一是对应于相同键按压的多个实例(例如多次按压“s”键)的神经肌肉数据可能具有稍微不同的对齐。因此，一些实施例在被实现为神经网络(例如，LSTM网络)时采用联结主义(connectionist)时间分类(CTC)来训练推理模型。CTC网络具有连续输出(例如，软最大值输出)，通过训练拟合该输出以对标签(例如，用户已经按下了特定键)的概率建模。如果标记的序列(例如，对于键“s”)仅在对齐方面不同，则该标记的序列被认为是等效的。

CTC是一种有助于解决在数据收集中经常观察到的对齐问题的技术，但在无法获得精确对齐的情况下能够实现进一步的数据收集。特别地，在CTC架构中，损失函数对于标签的精确定时是不变的，因为目标函数在所有对齐中被边缘化。在这种情况下，可以使用CTC架构来允许收集“键盘外”数据，以用于训练键入推理模型。

用于基于到推理模型的神经肌肉信号数据输入的表面无关(例如，没有物理键盘或“键盘外”)文本录入的系统和方法通常涉及每个用户生成训练数据，使得可以训练个性化推理模型。然而，用于表面无关文本录入的传统通用模型可能在至少某些情况下呈现低于标准的性能。如本文所述，用于针对表面无关文本录入训练个性化推理模型的训练数据集的各方面可以包括以下内容：1)由多个神经肌肉传感器测量的神经肌肉信号数据(例如，佩戴在用户的两个前臂或手腕的每一个上的表面肌电图(sEMG)电极的径向阵列，其用于测量对应于控制手指、手和手腕的大部分移动和力的前臂肌肉的神经肌肉信号)，以及2)表示用户的预期按键的字符标签数据(即，用于训练模型以基于神经肌肉信号输入推断预期按键的地面真实数据)。

在示例性实施例中，上述两种数据类型(神经肌肉信号数据和字符标签数据)中的每一种都可以包含时间戳，并且可以在时间上共同注册(co-register)，使得神经肌肉信号数据的特定时间片段可以与字符标签数据对齐。

本文描述的实施例包括用于生成训练数据的各种系统和方法，该训练数据用于针对表面无关文本输入训练推理模型，该推理模型将来自佩戴在用户前臂或手腕上的多个神经肌肉传感器的神经肌肉信号数据作为输入。本文描述的实施例还可以包括用于生成神经肌肉信号数据和共同注册的字符标签数据(包括全部或部分用户训练数据)而不必在物理键盘上键入和/或使用键盘记录器来生成字符标签数据的系统和方法。在一些实施例中，这些用于生成训练数据的系统和方法可能不需要使用物理键盘(其可以是机械的、基于触摸屏的等等)和/或击键记录器或键盘记录器。

在示例性实施例中，可能存在用于训练表面无关文本录入推理模型的字符标签数据集的两个或更多个特征。首先，可以知道字符标签数据的组成(即，用户打算键入“Thebrown fox jumps over the fence.(棕色狐狸跳过栅栏。)”)。其次，字符标签数据可以在时间上与神经肌肉信号数据对齐。图15示意性地示出了如何可以对字符数据执行多通道神经肌肉信号数据(图15的示例中的16通道表面EMG数据)的分块。在图15所示的示例中，三个单词(“The”、“Brown”和“Fox”)与sEMG数据的适当(例如，“分块的”)部分对齐，其中间隙表示每个单词的键入之间的周期。

在一些情况下，本文描述的实施例可以包括各种技术(其可以被实现为系统或方法)，这些技术充分地检测和收集字符标签数据，并且不需要物理键盘或键盘记录器。这些不同的实施例可以单独使用或组合使用(同时或顺序使用)。

例如，本文描述的实施例可以通过提供复杂度增加的文本来生成键盘外训练数据。在一个实施例中，用户戴上神经肌肉传感器，该神经肌肉传感器可以佩戴在用户的前臂或手腕上。在该实施例中，可以通过当用户在表面上、在半空中、在他们的膝上等键入时向用户提供越来越复杂的口头或书面提示来生成字符标签数据。在该过程早期提供给用户的文本提示可以包括一个或更多个简单或复杂的字符，这可以实现神经肌肉信号数据与字符标签数据的可靠注册。与在键入期间获得的神经肌肉数据相关联的时期(epoch)可以用于为表面无关的文本输入建立第一个相对不太准确的推理模型。该推理模型可以用于在训练数据生成的后续阶段中对sEMG数据进行分块(注册)，这些后续阶段可以使用更复杂的文本提示。在该实施例中，可以根据用户提示来提供字符训练数据的组成，并且可以根据用于表面无关的文本输入的简单推理模型的输出来执行数据的注册(相对于神经肌肉数据的定时，即分块)。随着例如在迭代过程中获取更多的训练数据，这些简单的推理模型可以变得更加准确，并且能够解析和推断文本录入。

在该示例性实施例中，在用户已经将神经肌肉传感器戴在他们的前臂或手腕上之后，可以采用以下过程，如图16所示。在动作1610中，可选地，可以向用户提供指令，以用他们的手在传统键盘“home位置”在表面(例如，不是电子或机械键盘的桌子或书桌)上输入文本，并且进一步引导用户在该home位置处保持放松姿势，除非另外提示输入文本。通过在文本提示之间保持放松的位置，用户可以促进他们的神经肌肉数据相对于字符标签数据的分块和注册，因为在文本提示之间的神经肌肉信号水平较低，而在用户根据文本提示在表面上进行键入时神经肌肉信号水平较高。

在动作1612中，可以向用户提供第一文本提示，以在没有物理键盘的情况下键入(例如，通过在书桌表面上、在半空中或在他们的膝上键入)。第一文本提示可以是简单的(例如，单个字母或短单词)，使得可以可靠地执行神经肌肉数据相对于该字符标签数据的注册(即，分块)。例如，用于对简单文本提示进行分块的算法可以包括识别神经肌肉数据(例如，平均矫正的sEMG信号或均方根sEMG)的时期，该时期超过阈值并且是在文本提示被传递的时间之后的第一个这样的事件。在一些实施例中，动作1612可以包括在进行到动作1614之前提供多个文本提示。

对于本文描述的这个和至少一些其他实施例，提供给用户的任何文本提示可以经由屏幕、小册子、AR/VR头戴式装置或使用另一种合适的技术可视地传递，经由头戴式耳机、智能扬声器、其他扬声器的集合可听地传递，或者由技术人员口头传递，或者通过适合于用户的另一种技术(例如，如果用户是盲人，则通过盲文)传递。

在动作1614中，可以提供神经肌肉信号数据和时间注册的字符标签数据作为输入来训练推理模型(例如，包括LSTM架构的神经网络)。推理模型可以被训练来推断用户打算按压哪个键(即，字符)，并且提供该推断(例如，可能性估计)作为本文公开的系统的控制信号。在动作1616，可以向用户提供可能更复杂的附加文本提示(例如，具有更多字符的单词、短语等)，并且用户可以在表面的虚拟键盘上“键入”它们，该虚拟键盘可以具有或可以不具有任何视觉轮廓。

在动作1618中，系统确定推理模型是否需要附加的训练。可以使用任何合适的度量来确定模型是否需要附加的训练。例如，可以确定推理模型是否已经达到如由用户设置的阈值性能水平，并且性能水平可以由用户主观确定或者由系统客观确定，包括但不限于系统分析与击键错误相关联的神经肌肉数据(例如，由用户发起的退格命令的频率)。当在动作1618中确定需要附加的训练时，过程返回到动作1614，在动作1614中，可以执行附加的训练，并且动作1614和1616继续迭代地执行，其中采用越来越复杂的文本提示和推理模型，其既可以更可靠地注册(即，分块)与更复杂的文本提示相关联的神经肌肉数据，又可以更准确地推断用户输入的预期字符。该迭代过程可以继续，直到推理模型达到如在动作1618中确定的如由用户或系统设置的阈值性能水平，之后在动作1620中输出训练的推理模型。取决于期望的系统性能水平，可以根据需要重复用于生成训练数据的该示例性实施例。

在一些情况下，本文描述的实施例可以通过利用分块键的通用模型和用户定义的控制信号来生成键盘外训练数据。在如本文公开的系统和方法的另一个示例性实施例中，动作手势、语言表达(verbalization)、按钮按压(例如，经由传统的物理键盘、鼠标、触摸屏或类似物)或(虚拟)击键可用于指示用户录入提示文本的开始和/或结束。通过依赖于用户根据键盘布局的位置(但是没有实际的键盘存在)来提供提示文本到表面上的录入的时期的开始和偏移的标记，神经肌肉数据可以更容易地被分块，与提示文本一起及时注册，并且被用作训练用于表面无关文本录入的推理模型的输入。

该实施例可以包括以下过程，该过程可以在用户已经将神经肌肉传感器戴在他们的前臂或手腕上之后采用，如图17所示。在动作1710中，可选地，可以向用户提供指令，以在表面(即，不是电子或机械键盘的桌子或书桌)上或者在半空中用他们的手从传统键盘“home位置”开始输入文本，并且用户被进一步引导以在home位置保持放松的姿势，除非另外提示输入文本。通过在文本提示之间保持放松的位置，用户可以促进他们的神经肌肉数据相对于字符标签数据的分块和注册，因为在文本提示之间的神经肌肉信号水平较低，而在用户根据文本提示在表面上键入时神经肌肉信号水平较高。在动作1712中，可以向用户提供文本提示，该文本提示可以是单词、短语或句子。

在动作1714中，可以接收由用户提供给协调训练数据过程的计算机器的“文本录入”控制信号。文本录入控制信号指示用户将开始执行运动命令以输入提示的文本。在各种实施例中，“文本条目”控制信号可以包括以下中的一项或更多项：(i)物理或电气按钮、开关或其他类似的控制(例如，传统物理键盘上的控制，其经由触摸屏显示器(例如，应用)、脚踏板或其他控制器或操纵杆等实现)，(ii)手势(例如，响指、手指捏合、手指轻弹、拳头等),其经由先前训练的推理模型的输出提供作为控制信号，该推理模型将多个神经肌肉信号作为输入，并且提供关于用户生成的特定手势或其他神经肌肉控制信号的可能性作为输出，(iii)语言表达(例如，用户执行可听见的话语，麦克风检测声音，并且语音识别算法识别已经接收到适当的“文本录入”控制信号，(iv)在指定的持续时间内一次或多次激活单个运动单元或多个单个运动单元，其中运动单元的活动由神经肌肉传感器(或多个神经肌肉传感器)检测，或者(v)通过实现通用模型，以用于基于多个神经肌肉信号检测用户已经按压了表面无关的键盘上的空格键、回车键或其他大键。

在动作1716中，用户可以通过在表面无关的键盘上执行适当的移动(例如，轻敲等)来输入提示文本。在动作1718中，用户可以提供另一个“文本录入”控制信号，以指示他们已经完成输入提示的文本。

应当理解，可以重复动作1714-1718，以根据指定的时间表收集足够的数据来训练表面无关文本输入的推理模型。在一些情况下，用户可以为表面无关文本输入的推理模型指定优选的准确度水平，这可以确定步骤3到5被重复的次数。应当理解，训练数据集越大(例如，由于重复动作1714-1718)，表面无关文本输入的随后训练的推理模型的预期准确度越好。在其他情况下，系统可以以优选的准确度水平编程，包括但不限于基于用户按压退格键的频率来确定与文本输入相关联的错误量。

在动作1720中，可以提供神经肌肉信号数据和时间注册的字符标签数据作为输入来训练推理模型(例如，包括LSTM架构的神经网络)。推理模型可以被训练来推断用户打算按压哪个键(即字符)。在动作1722中输出训练的个性化推理模型。

在一些实施例中，本文描述的实施例可以在用户在键入时说话的情况下生成键盘外训练数据。在某些情况下，不会向用户提供文本提示。相反，用户可以在他们键入单词时说出他们键入的单词，并且说出的单词可以被麦克风记录。所记录的声音可以被作为输入提供给语音识别过程，并且语音识别过程的输出可以被用来识别用户已经输入到表面无关的虚拟键盘中的字符的身份和定时。

如图18所示，本实施例在用户已经将神经肌肉传感器戴在他们的前臂或手腕上之后可以包括以下过程。在动作1810中，可选地，可以向用户提供指令以在表面(即，不是电子或机械键盘的桌子或书桌)上或者在半空中用他们的手在传统键盘“home位置”输入文本，并且进一步引导用户在home位置保持放松的姿势，除非另外提示输入文本。通过在文本提示之间保持放松的位置，用户促进他们的神经肌肉数据相对于字符标签数据的分块和注册，因为在文本提示之间的神经肌肉信号水平较低,而在用户根据文本提示在表面上键入时神经肌肉信号水平较高。

在动作1812中，用户可以可听见地说出单词并同时(或近似同时或以定义的间隔)键入它们。在动作1814中，麦克风可以记录用户的语音，将其作为输入提供给语音识别过程，并且系统可以基于说出的单词生成字符标签数据(例如，用户输入了哪些字符以及相对于神经肌肉数据的时间戳)。在动作1816中，可以提供神经肌肉信号数据和时间注册的字符标签数据作为输入来训练推理模型(例如，包括LSTM架构的神经网络)。推理模型可以被训练来推断用户打算按压哪个键(即字符)。在动作1818中输出训练的个性化推理模型。

在另外的其他实施例中，本文描述的实施例可以通过使用机器视觉生成字符标签数据来生成键盘外训练数据。在一些情况下，键盘的非功能性表示可以被放置或投影到键入表面或半空中，并且相机可以用于在用户键入时对用户的移动进行成像或记录用户的移动，以确定要用作标签数据的字符的身份和定时。如图19所示，该实施例在用户已经将神经肌肉传感器戴在他们的前臂或手腕上之后可以包括以下动作中的一项或更多项。

在动作1910中，可选地，可以向用户提供指令，以在表面(即，不是电子或机械键盘的桌子或书桌)上用他们的手在传统键盘“home位置”输入文本，并且进一步引导用户在home位置保持放松姿势，除非另外提示输入文本。通过在文本提示之间保持放松的位置，用户可以促进他们的神经肌肉数据相对于字符标签数据的分块和注册，因为在文本提示之间的神经肌肉信号水平较低，而在用户根据文本提示在表面上键入时神经肌肉信号水平较高。

在动作1912中，可以将图像、打印输出或键盘的其他可见的非功能性表示放置或投影在用户将“键入”的表面上。在该实施例的变型中，可以使用用于创建键盘的可见非功能性表示的几种方法中的任何一种，包括：(i)投影仪可以将键盘的图像投影到键入表面上，(ii)纸质打印输出或键盘的其他物理表示，(iii)增强现实环境、虚拟现实环境或混合现实环境中的虚拟键盘对象，或(iv)键盘的其他非功能性表示，或前述任何一项的任何组合。

在动作1914中，相机(或多个相机)被配置成在其视野中具有键盘的非功能性表示，并且在用户键入自生成文本时(即，没有提示)捕获和/或记录图像(如视频记录中的静态或动态图像)。在动作1916中，图像或记录可以被输入到一个或更多个机器视觉过程，该过程可以识别用户的手指(并且可选地，手或用户身体的其他部分)，并且确定用户按压了键盘的非功能性表示上的哪个字符。动作1916的输出可以提供字符标签数据(字符的身份和字符的时间戳)。应当理解，如果需要，用户可以在系统创建字符标签数据之前确认输出的准确性。

在动作1918中，可以提供神经肌肉信号数据和时间注册的字符标签数据作为输入来训练推理模型(例如，包括LSTM架构的神经网络)。推理模型可以被训练来推断用户打算按压哪个键(即字符)。在动作1920中输出训练的个性化推理模型。

在一些情况下，本文描述的实施例可以检测良好的home位置并考虑用户姿态(posture)的变化。本文描述的实施例指示，如果用户的姿态改变，则当用户使用用于表面无关文本录入的系统和/或方法(例如，在没有键盘的情况下)输入文本时，从前臂或手腕记录的神经肌肉信号的模式可能因会话而异。也就是说，与按压表面上的特定“虚拟”键(例如，字母“c”或拼写“cardinals(红雀)”的字母序列)相关联的神经肌肉信号的模式可能根据用户在键入该“虚拟”键时的姿态而不同。例如，在文本录入期间，用户可以直立地坐在书桌前，无精打采地坐在椅子上，站在书桌前，手指放在腿上斜靠在沙发上，等等。本文描述的实施例指示，可以基于神经肌肉数据来训练推理模型，以预测标签，该标签表示用户的姿态、键入位置、他们在其上按压他们的手指以输入文本的表面等。在一些示例性实施例中，可以训练通用模型来检测跨用户键入的姿态或位置。

在其他示例性实施例中，用户可以提供标签数据，或者可以直接或间接从用户收集对应于他们的姿态、位置和/或键入表面位置的数据。可以训练个性化推理模型，以基于从用户记录的神经肌肉信号数据(例如，来自他们手腕或前臂的sEMG)来预测他们的姿态和/或键入位置。在一个示例性实施例中，当用户开始使用用于表面无关文本输入的系统或方法时，可以收集神经肌肉数据，并且该神经肌肉数据可以与来自其他辅助传感器的数据相结合，来自其他辅助传感器的数据可以被输入到用于预测用户姿态和/或姿势的推理模型。推理模型的输出可以反映用户的位置或姿势(或用户的位置或姿势的可能性)。适用于本文所述目的的辅助传感器列表可以包括以下中的一项或更多项：IMU、红外传感器、热释电红外传感器、热传感器、磁传感器、陀螺仪传感器、加速度计传感器等。应当理解，任何时空相关传感器都可以用作辅助传感器。

用户的位置或姿态可以用于调整用于表面无关文本输入的推理模型(或者，可替代地，在针对特定姿态调整的几个推理模型中进行选择)，以便提高用户的文本录入检测的准确性。如果用户的检测到的姿态不适合关于文本录入的准确推断，则还可以向用户提供反馈，使得用户可以调整他们的姿态。

基于从用户的手腕或前臂记录的神经肌肉信号，在没有键盘、触摸屏或其他机械或电子系统的情况下(即，基于用户在桌子或其他表面上的键入运动)进行文本输入的系统和方法以及被训练为基于测量的神经肌肉信号数据来预测用户打算按压哪个虚拟键的推理模型通常可以被称为表面无关文本输入。如本文所述，用于表面无关文本输入的系统和方法将受益于附加的基于手势的功能。

用户可以在键盘文本录入模式下参与用于表面无关文本输入的系统或方法并与之交互，以便键入特定的字母、字符和/或单词。用户还可以通过使用某些手势来发起各种输入和/或命令。一般而言，手势的控制特征可以是与手势相关联的力，并且控制手势可以包括动态手势、静态手势以及多个顺序和/或同时手势的复合手势。可以通过将从用户前臂或手腕记录的相同神经肌肉信号数据作为输入提供给用于手势检测的推理模型来检测用户的手势。用于手势检测的推理模型的输出可以是指定手势集合中的手势的可能性，并且对于至少一些手势，可以是用户做出手势的力的估计。本文中被描述为机器控制输入的手势获取用于手势检测的推理模型的输出，并将其作为控制信号提供给机器的文本录入功能。用户可以在保持键盘文本录入模式的同时发起这些手势，或者，可替代地，这些手势可以使用户退出键盘文本录入模式并进入手势模式。在任一实施例中，可以增强用户与显示器和虚拟键盘交互的能力，以在显示器上实现更复杂和有效的文本和字符输入以及导航。

在一个示例性实施例中，用户可以通过在“手指轻敲”期间施加相对较大的力量、通过“双指”轻敲、或者通过“手指轻敲”并用同一根手指在表面上用力保持/推动来输入大写字母。举例来说，用户可以通过以下方式输入大写字母“D”：(i)通过用比输入小写字母“d”所需的力量相对更大的力量轻敲用户的左手中指，(ii)通过用用户的左手中指轻敲并用力按压，或者仅仅用力按压到表面上，(iii)通过双击用户的左手中指，或者(iv)使用另一种合适的手势或复合手势。在另一个示例性实施例中，用户可以通过以下方式来发起“大写锁定”：(i)在双手上同时轻敲所有手指，(ii)通过在双手上双击所有手指，(iii)通过轻敲并用力地保持双手上的所有手指，或者(iv)使用另一种合适的手势或复合手势。用户可以通过再次执行前述手势之一来退出“大写锁定”。

在另一示例性实施例中，用户可以通过使用指定的“删除”手势来删除先前键入的单词、短语或句子。在示例性实施例中，响指手势可以用作删除键。在替代实施例中，手势可用于改变表面无关文本录入系统的后续激活的功能。例如，在表面无关文本输入系统上激活“删除”虚拟键通常可以导致单个字符被删除，并且如果存在改变删除模式的在先拳头手势，则可以提供删除整个单词的改变的功能。

在另一个示例性实施例中，手势集合允许用户接受由表面无关文本录入系统的自然语言模型模块提供的一个或更多个自动更正或自动建议选项。当用户在键盘文本录入模式下键入时，系统可以提示用户接受单词或短语，该单词或短语可以包括基于初步字符集的建议单词(本文中称为“自动完成”)和用于更正错误键入的单词的建议单词(本文中称为“自动更正”)。一般来说，可以基于自然语言模型自动建议建议，该自然语言模型将用户已经输入的字符集合和/或单词作为输入(并且可选地，可以包括基于诸如专有名词的文本录入的用户历史的个性化语言模型)，并且在用于表面无关文本输入的系统的可视界面上可视地呈现给用户。接下来，用户可以用指定的手势可选地选择自动建议的单词或短语之一。

在一个示例性实施例中，用户可以通过例如轻敲手指来滚动或切换所建议的单词或短语，并且用户可以通过将一个或更多个连指手套手指捏向拇指来接受单词或短语之一。可替代地，用户可以直接从各种建议的单词或短语中选择，而不用通过用拇指捏特定的连指手套手指来滚动或切换选项。在该示例性实施例中，来自建议的单词或短语的选项1可以通过用拇指捏食指来选择，来自建议的单词或短语的选项2可以通过用拇指捏中指来选择，以此类推。可以同时向用户呈现多个建议的单词或短语并且用户可以从中进行选择，并且建议的单词或短语的可视布局可以向用户指示要执行哪个手势。例如，可以在水平显示布置中提供四个自动建议，使得用户直观地理解他们右手的四个手指中的哪一根手指要捏向他们的拇指。在另一个示例中，可以呈现多达八个建议，这些建议可以从来自左手或右手的特定连指手套手指与拇指捏合中进行选择。

一般来说，基于手指对拇指的捏合的任何前述手势控制框架可以用另一种合适的手势(或者，可替代地，单个运动单元控制)来代替，包括使用四个连指手套手指中的任何一个的轻弹(即，动态手势)，其中手指由拇指保持，同时用户激活该手指的伸肌(extensormuscle)，然后用户释放手指并允许其伸展。在另一个示例性实施例中，用户可以通过轻敲手指然后通过如本文所述发起捏合从这些建议之一中进行选择来切换一个或更多个系列的建议。图20A和图20B示出了用户界面的示例性部分，该部分包括文本录入框2010和基于文本录入框2010中正在键入的当前单词而生成的自动建议选项2020A和2020B。

在另一个示例性实施例中，本文描述的实施例可以建议一个单词来替换可能具有一个或更多个印刷错误的先前输入的单词(例如，自动更正)。如本文所述，用户可以使用手势或手势组合从一个或更多个建议的单词或短语中进行选择。

在另一个示例性实施例中，用户可以通过执行指定的手势来脱离和/或退出键盘文本录入模式。例如，双手的张开手势可以用于打开和/或退出表面无关文本输入系统的文本录入模式。一旦退出键盘文本录入模式，则用户可以停留在手势模式，或者可以执行文本或字符录入之外的其他动作。在一个示例性实施例中，用户可以通过做出特定手势或手势集合来进入2D移动/指向/鼠标模式。例如，用户可以旋转他们的手腕以进入2D移动/指向/鼠标模式，然后使用他们的食指指向显示器的各个部分以移动鼠标光标。下面更详细地描述使用2D移动模式来执行键入的示例。可替代地，用户可以在他们的工作表面上、在半空中或在他们的膝上移动手来控制光标在显示器上的定位。用户可以使用另一手势来实现点击(例如通过使用另一只手来点击或双击文本或字符，例如通过轻敲或双击他们的食指)。用户可以在工作表面或他们的膝上轻敲，并且保持以及用力地拖动他们的食指，以高亮显示所需的文本或字符。

在另一示例性实施例中，用户可以使用特定手势发起“剪切”、“复制”或“粘贴”功能。例如，用户可以使用他们的食指和中指模仿“剪切”动作，以从输入的文本或字符中剪切单词或短语。

在一些实施例中，用户可以提示系统进入一个或更多个可替代的输入模式，其包括但不限于以下输入模式：“仔细键入”模式、“新语言”模式、“符号”模式、“特殊字符”模式、“计算机设置”模式(音量、亮度等)、“鼠标”模式等。如上所述，为了发起一个或更多个可替代的模式，用户可以用任何特定的或宽松定义的一个或更多个力度来执行一个或更多个手势(例如，宽松握持的拳头对紧密挤压的拳头)。手势的检测可以发起特定的可替代的输入模式，或者手势的检测可以导致向用户呈现潜在的可替代的输入模式(例如，在屏幕上呈现)，用户可以从中选择输入模式之一。当处于可替代的输入模式之一时，可以向用户呈现可视显示选项(例如文本和/或图像)，并且用户可以利用该同时可视反馈来从来自可视显示的模式内的一个或更多个输入选项中进行选择。

在一个示例性实施例中，用户可以通过挤压他们的左手以握拳(或执行某个其他手势)来激活“小心”键入模式。当处于“小心”键入模式时，系统可以向用户呈现不同的输入选项(例如不同的字母键或数字)的显示。这些输入选项可以涉及用户先前发起或执行的“手指轻敲”。例如，如果用户打算在进入“小心”键入模式之前用食指键入“j”，并且用户参与该模式，则系统可以向用户呈现与食指的到达范围相关联的以下字母选项中的一个或更多个：“j”、“y”、“u”、“h”、“n”和/或“m”。用户可以通过用相对较轻的力量轻敲同一食指(或任何其他手指)，并且然后用相对较重的力量轻敲同一食指(或任何其他手指)来滚动这些不同的字母选项，以便一旦期望的输入字母在显示器上被高亮显示就选择该字母。在另一个实施例中，一旦使用拇指高亮显示期望的输入选项以模仿在手搁置的表面上按压“空格键”或某个其他键，则用户可以选择该期望的输入选项。一旦用户从各种选项中选择了期望的输入，则系统可以退出“小心”键入模式，并且输入所选的字母并且将其呈现在用户的键入屏幕上。可替代地，如果用户想要在不选择输入的情况下退出“小心”键入模式，则用户可以通过再次挤压左手以形成另一个拳头来做到这一点。

图20B示出了当用户通过手势参与“小心”键入模式时显示键盘表示的用户界面的一部分。如图所示，键盘上的三个字符“w”、“s”和“x”–已经被高亮显示为系统确定用户可能已经键入的可能的字符候选，其中一个字符“s”被强调，以向用户显示系统已确定该字符为最可能的候选。用户然后可以通过例如执行手势、通过用同一根手指键入来循环遍历候选或者使用某种其他合适的技术来选择最可能的候选或其他高亮显示的候选之一。

在另一个实施例中，系统还可以自动进入“小心”键入模式，而无需用户通过执行手势来发起该模式。举例来说，如果系统不能检测到用户的期望输入，或者如果系统只能检测到低于特定置信水平的期望输入，则系统可以自动进入“小心”键入模式。如上所述，用户可以通过从几个潜在输入之一中进行选择来在“小心”键入模式下与系统交互，或者用户可以通过发起或执行特定手势来退出该模式。此外，基于用户在“小心”键入模式期间选择的内容，系统可以例如通过将在发起“小心”键入模式之前获得的神经肌肉数据信号与在“小心”键入模式期间选择的用户输入相关联来更好地检测未来期望的输入，使得系统可以更准确地检测未来期望的用户输入，而不需要像频繁前进那样利用“小心”键入模式。

在另一个示例性实施例中，用户可以通过挤压他们的右手或使用另一个适当的手势进入“新的语言”模式。一旦该模式被发起，则新的语言模式可以在可视显示器上向用户呈现各种选项，例如“西班牙语”、“法语”、“德语”等。举例来说，如果用户在尝试输入或输入字母“e”之后进入语言模式，则用户可以使用如上所述的特定手势(例如，使用左手中指轻敲来遍历选项)来选择“西班牙语”，然后可以通过使用如上所述的特定手势(例如，按压空格键)来为带有西班牙语重音的“e”选择“é”。

对于任何或所有前述实施例，应该理解的是，用户的手可以位于表面的顶部，保持在半空中，或者放置在用户的腿上。此外，虽然前述实施例描述了在特定实施例中使用的特定手势，但是应当理解，任何其他一个手势或多个手势都可以用于实现本文描述的功能。对于结合了自动建议和/或自动更正功能的实施例，本文描述的实施例指示，可能有益的是：在表面无关的文本输入系统或方法中保留关于用户打算进行的文本录入的多个潜在推断，并且基于自然语言模型更新文本录入序列的可能性，使得可以生成自动更正和/或自动完成建议供用户选择。

具体而言，本文描述的实施例指示CTC网络的输出可以被输入到自然语言模型，以进一步提高推理模型预测的准确性。在一个实施例中，波束搜索算法可以应用于预测击键的网格，并且该系统或方法可以根据自然语言模型更新字符序列的可能性。例如，当用户在表面无关文本输入系统或方法中输入文本时，最大可能性解码可以近似实时地显示各种自动建议和/或自动更正。

图21示出了一个实施例，其中可佩戴设备2110可以被实现以通过界面系统2120控制物联网(IoT)设备2130。语音控制(即启用语音)的连接设备(包括IoT设备(例如2130)和其他连接设备，例如智能手机、平板电脑、智能手表和智能眼镜或其他头戴式显示器)广泛实现于家庭、办公室和移动环境中。这些设备可以经由Wi-Fi网络、蓝牙连接或经由任何其他合适的有线或无线方式相互连接。对这种连接设备的口头命令允许在远处控制这些系统。然而，至少在某些情况下，口头命令对于预期的任务或任务系列可能是麻烦的或低效的。

与至少一些实施例一致，本文描述的实施例可以提供系统和方法，该系统和方法能够基于手势、姿势和/或肌肉激活的其他时空模式来控制一个或更多个连接的设备，这些手势、姿势和/或肌肉激活的其他时空模式引起跨关节的移动和/或力，这相对于单独的语音控制提供了显著的优势。例如，如本文描述的用于人机控制的可佩戴设备2110可以检测神经肌肉信号，并且至少部分基于这些信号，实现(1)离散的双向通信(例如，通过肌肉激活离散地通信)，(2)一个或更多个设备的动态控制，和/或(3)设备、系统和/或网络的识别和智能访问。

在各种社交环境中，例如在公共汽车或飞机上，人们可能不想在与一个或更多个连接的设备交互时给自己带来太多关注。至少部分地基于如本文所述的神经肌肉信号的这些设备的机器控制允许用户以适合于特定环境的离散方式激活、控制或以其他方式使用一个或更多个连接的设备。例如，改变连接的(即“智能”)耳塞或头戴式装置的音量可以通过用户在他们的腿上轻敲手指来离散地完成。此外，在一些情况下，如本文的实施例所设想的多模态控制方法(即，其中可以通过不同控制形式的组合来施加控制)可以利用神经肌肉信号，并且提供比单独使用一种控制模态可能提供的更高程度的对连接设备的访问和控制。

附加地，在某些情况下，单独的语音命令可能无法以足够的精度控制设备。在这种情况下，用户可以单独或与语音命令结合执行手势，以便经由本文描述的系统和方法更准确和方便地控制连接的设备。例如，用户可以旋转他们的拇指来将连接的设备的音量调整到期望的设置，或者用户可以模拟旋转轮子来调整与照明设备相关联的亮度、质量、强度或波长。

在其他情况下，连接设备的控制和认证可能是次优的(特别是在许多用户访问连接设备的环境中(即连接家庭中的扬声器或门锁))。根据本文描述的本发明的某些实施例，连接设备的用户的访问控制和认证可以通过检测与用户相关联的独特的(即，如由使用可佩戴设备2110的神经肌肉传感器的臂带或腕带阵列记录)神经肌肉信号来实现。能够经由神经肌肉信号进行认证和/或访问控制的连接设备可以基于他们的神经肌肉信号的独特模式来自动识别连接设备附近的用户，允许该用户访问和控制连接设备和/或激活连接设备的个性化用户简档。例如，佩戴如本文所述的具有神经肌肉传感器阵列的装置的用户可以进入具有被配置用于神经肌肉认证的连接灯具的房间，从而使得连接的灯加载针对该用户个性化的特定调色板或亮度等级。

本文所述的至少一些实施例指示，当与智能耳塞、智能眼镜(或其他智能头戴式显示器)、智能手机、智能手表、连接的平板电脑、其他可佩戴或手持式个人计算设备或任何其他外部智能设备(包括但不限于恒温器、车库门开启器、车门、大门、锁等)配对时，如本文所述的用于使用神经肌肉信号基于手势、姿势、移动或施加在用户关节上的力来产生控制的系统和方法可能特别有利。尽管许多连接的设备被配置为识别语音命令，但是如本文所述的用于基于神经肌肉信号的机器控制和交互的系统和方法可以使用户能够使用基于姿势、手势或如从神经肌肉信号导出的其他移动和/或力的命令来与听觉(例如，经由“听得见的”或其他连接的耳机或扬声器系统)或视觉(例如，在智能手表或智能手机的屏幕或其他屏幕上)提示进行交互。

例如，具有多个神经肌肉传感器的可佩戴腕带装置可以被配置成允许用户(例如，经由具有视觉、触觉和/或听觉警报的可佩戴或手持式设备)以小而细微的手势响应智能助手(即，经由用户腿上的手指轻敲以接受会议邀请或确认酒店预订；或者桌面上的滑动(swipe)手势来忽略通知；或者捏合手势以播放从朋友那里接收的视频；或者轻弹手势以向同事发送消息)。

本文描述的实施例指示具有多个连接设备的环境可能需要特定的控制，使得用户可以将他们的控制意图指向特定的连接设备。如本文所述的用于人机控制的系统和方法的示例性实施例可以允许使用手势或其他神经肌肉激活模式来从一个连接的设备切换到另一个设备以用于后续控制，其中后续控制可以由神经肌肉控制信号、语音信号和/或另一种控制模态来施加。

对于各种实施例，本文描述的系统可以指示将语音控制与基于手势、姿势和/或由神经肌肉系统施加的移动和/或力的其他模式的神经肌肉控制相结合可以实现更可靠、多样化、离散和/或个性化的机器控制形式。通过非限制性示例，本文描述的实施例指示至少部分地基于神经肌肉活动的用户认证可以用于激活智能钱包以进行支付处理。

如上所述，手势和/或姿势可以指一个或更多个身体部位的静态或动态构型，包括一个或更多个身体部位的位置和与该构型相关联的力。例如，手势可以包括离散的取向(诸如将手掌向下放置或按压在固体表面上或抓住球)、连续的手势(诸如来回挥动手指、抓住并投掷球)或离散和连续手势或姿势的组合。手势还可以包括其他人察觉不到的隐蔽手势，诸如通过共同收缩相对的肌肉或使用肌肉下激活(sub-muscular activations)来稍微拉紧关节。手势可以由被配置为提示用户执行手势的应用来定义，或者，可替代地，手势可以由用户任意定义。用户执行的手势可以包括符号手势(例如，映射到其他手势、交互或命令的手势，例如，基于指定映射的手势词表)。在某些情况下，根据文化标准，手部手势和手臂手势可能是象征性的，用于交流。手势的非限制性示例包括以下项：上/下/左/右移动、圆形移动、单根手指或多根手指轻敲、手指轻敲的特定序列、滑动、点击、“大拇指朝上”和“大拇指朝下”标志、指向、以不同量的压力和紧度握拳、手腕滚动、平手运动、轻弹、两根手指捏合、多根手指捏合，单独地或以前述一项或更多项的任何组合或涉及前述一项或更多项的特定序列。

在如本文所设想的各种实施例中，用户可以基于不会导致生成可察觉的移动或力的神经肌肉信号来发起所连接的计算设备的控制信号。在这些实施例中，神经肌肉控制信号可以包括通过多个神经肌肉传感器记录的单个运动单元(包括脊髓运动神经元和在其上形成神经肌肉接头的肌肉纤维)和/或多个运动神经元的激活。通常，运动单元的激活被称为运动单元动作电位(MUAP)。例如，用户可以导致连接的扬声器的音量随着来自第一运动单元的MUAP而增大，并且可以导致音量随着来自第二运动单元的MUAP而减小。

本文所述的实施例指示，从多个运动单元引发的MUAP可以用于通过同时(或在指定的持续时间内)或以指定的顺序激活多个运动单元来增加用于控制机器、IoT设备或其他连接设备的有效自由度(DOF)。在一些情况下，控制信号的一个方面可能需要用户激活一些运动单元，而不激活其他单元。例如，基于用户控制被标记为A、B和C的三个运动单元的控制方案可能会导致特定控制信号基于同时、连续或在指定持续时间内激活运动单元A和B但不激活运动单元C而传输到连接的计算设备。在一些情况下，基于运动单元激活的控制信号可能需要在阈值时间段内的特定频率(或计数)的MUAP。例如，在连接的屏幕上暂停视频可能需要运动单元A在两秒内放电五个MUAP，尽管本领域技术人员将认识到所需的多个MUAP可能大于或小于五个，并且对MUAP进行计数的持续时间可能短于或长于两秒。

下表列出了用户可以基于神经肌肉信号施加的各种示例性和非限制性方法和/或控制形式，如本文所设想的。

/>

/>

/>

在如本文所述的另一示例性实施例中，三种交互原语(primitives)(即，人机控制的基本形式)可用于控制连接的耳塞设备或连接的头戴式装置或头戴式显示器(或其他可佩戴的连接设备)：“轻弹”作为离散输入(其中轻弹手势对应于弯曲手指(例如中指))，用拇指将手指保持在适当位置，激活该手指的伸肌，并导致拇指释放手指，使得其快速伸展。一个或更多个“捏敲(pinch taps)”作为离散输入(其中捏敲手势对应于瞬时手势，其中手指(例如食指)弯曲使得指尖触摸拇指尖，然后通过伸展该手指和/或拇指来释放)。“手腕滚动”原语还可以用于类似于与UI输入轮相关联的方向性的一维旋转控制(其中手腕滚动对应于手的顺时针和/或逆时针旋转，手可以可选地处于围绕腕关节的拳头姿势)。

通知通常是通过智能耳塞或头戴式显示器(或其他智能连接设备)提供的智能或虚拟助手系统的重要组成部分。在另一示例性实施例中，轻弹手势可以用作通知的解除机制，因为该手势类似于人们可能已经熟悉的解除机制。

在涉及日历应用的另一个示例性实施例中，智能或虚拟助手可以通知用户他们的下一次会议即将到来，允许使用如下原语：“轻弹”将直接解除通知。这可能类似于解除用户移动设备或桌面上的通知。有了这个手势，智能或虚拟助手将不会再为通知而打扰用户了。索引“捏敲”可以设置“标准”贪睡警报。智能或虚拟助手可能在几分钟后用此手势再次通知用户。中间的“捏敲”可以启用智能或虚拟助手的定时器功能。一旦定时器模式被启用，则用户可以通过转动她的手腕来选择定时器持续时间，从而定义将由智能或虚拟助手实现的定时器的持续时间。

例如，当用户顺时针转动他们的手腕时，计时器的持续时间可以增加，并且智能或虚拟助手可以向用户提供听觉反馈(即，“1分钟”、“2分钟”、“3分钟”等)。如果用户意外地选择了大于预期的定时器持续时间，则用户可以逆时针转动他们的手腕，同时从智能或虚拟助手接收进一步的听觉反馈，使得用户可以选择预期的定时器持续时间。一旦选择了正确的持续时间，则另一个“捏敲”手势可以设置定时器，并且智能或虚拟助手将在适当的时间量之后通知用户。在该过程的任何时候，“轻弹”手势可以使用户能够退出定时器设置模块。

图22示出了根据一些实施例的用于生成用于训练推理模型(例如，神经网络)的训练数据的过程。在动作2210中，使用降维技术处理多个神经肌肉信号，该降维技术包括但不限于主成分分析(PCA)或另一种合适的降维技术(例如，非负矩阵分解、线性判别分析)。在一些情况下，可以在应用降维技术之前处理神经肌肉信号，例如以去除伪影、应用滤波器、时间平均和/或以其它方式提取神经肌肉信号中感兴趣的特征。如上所述，PCA是用于降维的技术的非限制性示例。在使用PCA的一个实施方式中，指定数据的五个成分，通过去除中值来归一化数据，并且应用峰值检测算法来检测第一成分的局部最大值(即峰值)。在一些情况下，接收的神经肌肉信号可以包括多维神经肌肉信号。在这种情况下，本文的系统可以从多维神经肌肉信号计算降维信号，其中降维信号包括至少一个更少的维度。

图23示出了具有峰值检测输出(在空心圆圈中)的第一PCA成分(以黑色实线)的曲线图。根据指定的训练制度(例如，在大约5秒和31秒之间以及在大约36秒和64秒之间)，可以在大约50个事件的多个集合(sets)中清楚地分辨事件发生。在图23所示的数据中，第一峰值集合对应于食指轻敲(例如，事件)，而第二峰值集合对应于中指轻敲(例如，事件)。如图23所示，峰值检测算法识别每个事件(没有假阴性)。然而，峰值检测算法还检测到伪事件(假阳性)，其是对应于在手指轻敲集合之间的静止阶段(例如，时间段2310和2320)期间发生的局部最大值的伪事件。

图22的过程然后进行到动作2212，其中峰值检测算法被应用于对应于随时间推移的一个或更多个降维(例如，主成分)的数据，以识别主成分中存在的信号较大时的时期。例如，集群算法可以应用于一些或所有检测到的事件。在图23所示的数据的示例中，可以识别对应于每种类型的手指轻敲的一个集群的三个集群和对应于所有伪事件的第三集群。本文描述的实施例指示，峰值拾取算法有效地识别手指轻敲何时发生，但是它通常不足以区分一根手指(例如食指)的手指轻敲与另一根手指(例如拇指)的手指轻敲。

图22的过程然后进行到动作2214，其中收集了在基于主要主成分中的峰值检测识别的事件之前、期间和之后的时间窗口中发生的神经肌肉数据的时期，该时间窗口延伸大约10毫秒到100毫秒。例如，可以通过采用以每个事件为中心的例如150ms的窗口来生成每个事件周围的数据的时期(时间切片)。应当理解，更短或更长持续时间的窗口也可以用于生成集群。

图22的过程然后进行到动作2216，其中集群算法被应用于所收集的神经肌肉数据的时期，以区分哪个手指负责轻敲(即，以区分不同类的事件(例如，食指或中指轻敲))。例如，可以生成对应于每个时期的向量，然后可以将这些向量输入到k-均值集群算法中，以提取三个集群。出于可视化目的，可以应用均匀流形近似和投影(UMAP)来绘制集群。图24示出了预期的三个集群(例如，用于执行轻敲的两根手指的集群2410和2420，以及用于伪事件集群的集群2430)被清楚地分开。伪事件集群(即集群2430)可以通过识别具有最低能量的集群来区分，并且这些事件从后续分析中被移除。

如图24所示，在对应于事件0(集群2410)和事件2(集群2420)的集群中存在每个类的大约50个事件，事件0和事件2表示来自不同手指的手指轻敲。为了确认集群已经成功区分了不同手指的手指轻敲，可以用先前生成的PCA数据绘制类事件类别，以确认根据训练协议，相同类型的所有事件都是连续的。图25中的竖直虚线2510和竖直虚线2512分别指示食指轻敲和中指轻敲。

图22的过程然后进行到动作2218，其中集群的事件在时间上对齐(例如，使用迭代算法)，使得可以生成区分来自不同手指的轻敲的模板。例如，如本文进一步讨论的，模板可以根据第一主成分(其在动作2212中用于一般地检测事件)之后的多个主成分的时间分布图来区分一根手指的轻敲与另一根手指的轻敲。在一个实施方式中，可以调整事件的定时，使得所有事件都很好地对齐。事件可以在事件开始时而不是在第一主成分的峰值时被识别。可以采用时间调整来减少事件检测的等待时间，并实现更灵敏的机器控制。

来自动作2212的所识别的事件定时可能相对有噪声，并且最大值可能偏移几个样本，从而产生抖动，该抖动降低了用于在后续步骤中区分事件的模板的保真度。可以通过计算时期和(跨所有事件平均的)模板之间的自相关来识别每个时期的最佳偏移。在一个示例性实施例中，可以通过测试各种偏移(例如，-10个样本到10个样本)并选择使跨事件的相关性最大化的偏移来识别适当的偏移。事件之间的偏移量可以不同，并且该过程可以迭代执行，直到所有的时期都对齐。

图26将每个识别的事件(例如，手指轻敲)显示为带有阴影的行，该阴影指示时间对齐之前第一主成分的幅度。图27示出了时间对齐之后的相同识别事件(PCA#0)。在时间对齐之后，可以为前五个主成分中的每一个绘制每个事件的模板。在图28所示的食指轻敲模板和中指轻敲模板的情况下，第一PCA成分主要在两个手指轻敲之间的幅度上不同，并且随后的成分在事件之间呈现不同的分布图。

图22的过程然后进行到动作2220，其中基于检测到的和集群的事件，生成与哪个手指导致轻敲相关的标签。标签可以用于基于神经肌肉信号的时间延迟特征来训练神经网络(例如，多层感知(MLP))，以便建立分类器，一旦训练，该分类器可以准确地预测每个离散事件的身份和定时。例如，可以通过生成一个二进制时间序列(当指定事件发生时为1，否则为0)来创建标签。然后可以训练模型来预测这个时间序列。在推理时间中，阈值可以与去抖动算法或应用于模型的输出以实现事件检测的其他合适的技术一起使用。

在时间对齐之后，事件通常以第一PCA成分的峰值为中心，并且在某些情况下，一旦用户完成了该事件，则可能优选预测该事件。因此，可能需要参考事件定时来移动标签，该事件定时可以被称为偏移参数。此外，至少在一些情况下，模型可能无法预测对应于事件的单个时间样本，并且一定的时间灵活性可以提高模型输出的质量，这可以通过实现模型来针对事件周围的几个连续时间样本(例如，脉冲宽度)预测1来实现。例如，偏移可以被设置为事件峰值后的75ms，并且脉冲宽度可以设置为25ms。应当理解，可以使用其他合适的偏移来提高模型输出的质量。

在示例性实施例中，待训练的模型是简单的MLP，其具有对应于PCA特征上的150ms滑动窗口的输入特征(例如，对于每个时间样本，创建包括5个PCA成分的最后60个时间样本(例如，300个维度)的向量)。应当理解，可以可替代地采用其他人工神经网络。可以训练模型来预测提取的标签，对于推理时间，可以将模型应用于测试数据，并且可以对模型的输出进行阈值化和去抖动以获得事件。

在一些情况下，本文描述的系统可以被配置成分析接收的神经肌肉信号，以识别表示离散肌肉激活事件的神经肌肉信号中的一个或更多个峰值的发生时间。然后，系统可以识别神经肌肉信号中所识别的峰值周围的一个或更多个时间窗口，将所识别的时间窗口分组为集群(其中每个集群表示不同的离散肌肉激活事件)，在时间上对齐表示所识别的离散肌肉激活事件的集群，然后为每个在时间上对齐的集群识别至少一个特定的肌肉激活。

图29示出了用于使用本文描述的技术来识别和区分两个事件的示例数据。例如，可以分析轻敲之间的定时和时期，以区分执行诸如轻敲的手势的两根不同手指(或其他身体部位)。一旦被识别，则在选择文本或键入字符时或在控制IoT设备时，可以使用特定的身体部位(例如，用户的食指)。例如，特定文本或字符或IoT设备可以映射到每根手指或不同的身体部位。然后，当指定的身体部位被识别并且其移动和/或手势(例如，使用图21的可佩戴设备2110)被识别时，可以选择文本的特定部分，或者可以在UI内选择特定的字符，或者可以控制特定的IoT设备。即使当使用相同的输入命令或手势时，其他手指或身体部位也可以选择其他文本或键入的字符，或者可以控制其他IoT设备。因此，通过确定哪根手指或其他身体部位正在执行移动，与该身体部位相关联或映射到该身体部位的特定命令或输入可以在UI内或与IoT设备或其他电子设备相关地实现。在某些情况下，由于这种映射，不同的手指可以导致执行不同的任务，或者可以在UI内执行不同的选项，即使这些手指(或其他身体部位)正在执行相同的手势，因为每根手指被映射到不同的输入命令。例如，如果双击手势打开IoT设备，则用食指双击可能打开咖啡机，而用中指双击将打开闹钟等。

因此，本文描述的实施例允许用户使用由可佩戴设备检测到的肌肉移动来选择输入文本、提供键入的输入和/或控制IoT设备。可佩戴设备检测到的神经肌肉信号可以被转换成输入命令，并且可以允许用户与用户界面交互，选择不同的字符或单词进行输入，使用或不使用物理键盘键入不同的字母，以及使用输入来控制IoT设备上的操作。因为本文描述的实施例可以被配置成区分哪些手指(或其他身体部位)正在执行手势，所以不同的命令可以被映射到每根手指，允许用户用每根手指发起特定的任务，允许用户对如何选择或键入文本、或者如何使用他们的输入神经肌肉信号来控制IoT设备进行大量控制。

示例实施例

示例1：一种用于促进经由神经肌肉信号与用户界面的交互的计算机实现的方法可以包括：经由用户界面呈现至少一个感觉提示，从可佩戴设备的一个或更多个神经肌肉传感器接收由佩戴可佩戴设备的用户生成的一个或更多个神经肌肉信号，其中用户响应于经由用户界面呈现给用户的至少一个感觉提示而生成一个或更多个神经肌肉信号；将一个或更多个神经肌肉信号解释为关于由用户界面所提供的至少一个感觉提示的输入命令，使得输入命令发起用户界面内的一个或更多个指定任务的执行，并根据解释的输入命令在用户界面内执行一个或更多个指定任务。

示例2：根据示例1所述的计算机实现的方法，其中在用户界面内执行指定任务包括：导航到用户界面中对应于可供选择的文本输入的指定显示区域，以及选择位于用户界面内指定显示区域的文本输入。

示例3：根据示例1和2中任一项所述的计算机实现的方法，其中用户界面包括多个显示区域，并且其中多个潜在的文本输入被映射到映射中的每个显示区域。

示例4：根据示例1-3中任一项所述的计算机实现的方法，其中选择指定显示区域中的特定文本输入至少部分地基于从接收的神经肌肉信号确定的识别手势。

示例5：根据示例1-4中任一项所述的计算机实现的方法，其中映射包括一个或更多个指定文本输入到一个或更多个指定手势的映射。

示例6：根据示例1-5中任一项所述的计算机实现的方法，其中将接收的神经肌肉信号解释为关于由用户界面提供的至少一个感觉提示的输入命令包括将来自用户的接收的神经肌肉信号解释为用于在用户界面内选择特定文本输入的光标的速度控制、方向控制和/或位置控制。

示例7：根据示例1-6中任一项所述的计算机实现的方法，其中将接收的神经肌肉信号解释为关于由用户界面提供的至少一个感觉提示的输入命令包括基于接收的神经肌肉信号识别至少一个用户手势，并且其中识别的用户手势控制特定文本输入的选择。

示例8：根据示例1-7中任一项所述的计算机实现的方法，还包括基于所识别的用户手势来消除在用户界面内显示的文本输入的模糊性。

示例9：根据示例1-8中任一项所述的计算机实现的方法，还包括基于接收的神经肌肉信号，自动确定由用户提供的一个或更多个系列的可能的文本输入。

示例10：根据示例1-9中任一项所述的计算机实现的方法，其中在用户界面内执行指定的任务包括：基于输入命令从语言模型预测要被选择为键入的输入的一个或更多个字符，以及在用户界面内提供预测的字符作为键入的输入。

示例11：根据示例1-10中任一项所述的计算机实现的方法，其中将接收的神经肌肉信号解释为关于由用户界面提供的至少一个感觉提示的输入命令包括基于接收的神经肌肉信号识别至少一个用户手势，并且其中所识别的用户手势控制特定键入的输入的选择。

示例12：根据示例1-11中任一项所述的计算机实现的方法，其中键入的输入通过由用户执行的表面无关的手势来提供。

示例13：根据示例1-12中任一项所述的计算机实现的方法，其中感觉提示包括听觉提示、触觉提示、嗅觉提示、环境提示或视觉提示中的至少一种。

示例14：一种可佩戴设备，包括显示器、被配置成检测神经肌肉信号的一个或更多个神经肌肉传感器、至少一个物理处理器、以及包括计算机可执行指令的物理存储器，该计算机可执行指令在被物理处理器执行时使得该物理处理器：经由用户界面呈现至少一个感觉提示，从可佩戴设备的一个或更多个神经肌肉传感器接收由佩戴可佩戴设备的用户生成的一个或更多个神经肌肉信号，其中用户响应于经由用户界面呈现给用户的至少一个感觉提示生成一个或更多个神经肌肉信号，将一个或更多个神经肌肉信号解释为关于由用户界面提供的至少一个感觉提示的输入命令，使得输入命令发起用户界面内的一个或更多个指定任务的执行，并且根据解释的输入命令在用户界面内执行一个或更多个指定任务。

示例15：根据示例14所述的可佩戴设备，其中根据解释的输入命令在用户界面内执行指定任务包括使用解释的输入命令来控制物联网(IOT)设备。

示例16：根据示例14和15中任一项所述的可佩戴设备，其中使用从接收的神经肌肉信号确定的一个或更多个手势来控制IOT设备。

示例17：根据示例14-16中任一项所述的可佩戴设备，其中物理处理器还被配置成：分析所接收的神经肌肉信号，以识别神经肌肉信号中表示离散肌肉激活事件的一个或更多个峰值的发生时间，识别神经肌肉信号中所识别的峰值周围的一个或更多个时间窗口，将所识别的时间窗口分组为一个或更多个集群，每个集群表示不同的离散肌肉激活事件，在时间上对齐表示所识别的离散肌肉激活事件的一个或更多个集群，并且为每个在时间上对齐的集群识别至少一个特定的肌肉激活。

示例18：根据示例14-17中任一项所述的可佩戴设备，其中所接收的神经肌肉信号包括多维神经肌肉信号，并且其中处理器从多维神经肌肉信号计算降维信号，该降维信号包括至少一个更少的维度。

示例19：根据示例14-18中任一项所述的可佩戴设备，其中为每个在时间上对齐的集群识别至少一个特定的肌肉激活包括区分来自用户手的不同手指的特定肌肉激活。

示例20：一种非暂时性计算机可读介质，包括一个或更多个计算机可执行指令，当由计算设备的至少一个处理器执行时，该指令使得计算设备：经由用户界面呈现至少一个感觉提示，从可佩戴设备的一个或更多个神经肌肉传感器接收由佩戴该可佩戴设备的用户生成的一个或更多个神经肌肉信号，其中用户响应于经由用户界面呈现给用户的至少一个感觉提示生成一个或更多个神经肌肉信号，将一个或更多个神经肌肉信号解释为关于由用户界面提供的至少一个感觉提示的输入命令，使得输入命令发起用户界面内的一个或更多个指定任务的执行，并且根据解释的输入命令在用户界面内执行一个或更多个指定任务。

本公开内容的实施例可以包括各种类型的人工现实系统或者结合各种类型的人工现实系统来实现。人工现实是一种在呈现给用户之前已经以某种方式调整过的现实形式，其可以包括例如虚拟现实、增强现实、混合现实、混杂现实或其某种组合和/或衍生物。人工现实内容可以包括完全由计算机生成的内容或与捕获(例如，现实世界)内容组合的计算机生成的内容。人工现实内容可以包括视频、音频、触觉反馈或它们的某种组合，它们中的任何一个可以在单个通道或多个通道中呈现(例如向观看者产生三维(3D)效果的立体视频)。此外，在一些实施例中，人工现实也可以与应用、产品、配件、服务或其一些组合相关联，这些应用、产品、配件、服务或其一些组合用于例如在人工现实中创建内容和/或以其他方式用于人工现实(例如，以在人工现实中执行活动)。

人工现实系统可以以多种不同的形式和配置实现。一些人工现实系统可以被设计成在没有近眼显示器(NED)的情况下工作。其他人工现实系统可以包括NED，该NED还提供对现实世界的可见性(例如，诸如图30中的增强现实系统3000)或者使用户在视觉上沉浸在人工现实中(例如，诸如图31中的虚拟现实系统3100)。虽然一些人工现实设备可以是独立的系统，但是其他人工现实设备可以与外部设备通信和/或协调以向用户提供人工现实体验。这样的外部设备的示例包括手持式控制器、移动设备、台式计算机、由用户佩戴的设备、由一个或更多个其他用户佩戴的设备、和/或任何其他合适的外部系统。

转向图30，增强现实系统3000可以包括具有框架3010的眼镜设备3002，该框架3010被配置成将左显示设备3015(A)和右显示设备3015(B)保持在用户的眼前。显示设备3015(A)和3015(B)可以一起或独立地起作用以向用户呈现图像或图像系列。虽然增强现实系统3000包括两个显示器，但是本公开的实施例可以在具有单个NED或两个以上NED的增强现实系统中实现。

在一些实施例中，增强现实系统3000可以包括一个或更多个传感器，例如传感器3040。传感器3040可以响应于增强现实系统3000的运动而生成测量信号，并且可以位于框架3010的基本上任何部分上。传感器3040可以表示多种不同感测机构中的一种或更多种，例如位置传感器、惯性测量单元(IMU)、深度相机组件、结构光发射器和/或检测器或其任意组合。在一些实施例中，增强现实系统3000可以包括或可以不包括传感器3040，或者可以包括多于一个传感器。在其中传感器3040包括IMU的实施例中，IMU可以基于来自传感器3040的测量信号来生成校准数据。传感器3040的示例可以包括但不限于加速度计、陀螺仪、磁力计、检测运动的其他合适类型的传感器、用于IMU的误差校正的传感器、或其某种组合。

在一些示例中，增强现实系统3000还可以包括具有多个声换能器3020(A)-3020(J)(其统称为声换能器3020)的麦克风阵列。声换能器3020可以表示检测由声波引起的气压变化的换能器。每个声换能器3020可以被配置成检测声音并将所检测到的声音转换成电子格式(例如，模拟或数字格式)。图30中的麦克风阵列可以包括例如十个声换能器：3020(A)和3020(B)，其可以被设计成放置在用户的相应耳朵内；声换能器3020(C)、3020(D)、3020(E)、3020(F)、3020(G)和3020(H)，其可以定位在框架3010上的不同位置；和/或声换能器3020(I)和3020(J)，其可以定位在相应的颈带3005上。

在一些实施例中，声换能器3020(A)-(J)中的一个或更多个可以用作输出换能器(例如，扬声器)。例如，声换能器3020(A)和/或3020(B)可以是耳塞或任何其他合适类型的耳机或扬声器。

麦克风阵列的声换能器3020的配置可以变化。虽然增强现实系统3000在图30中被显示为具有十个声换能器3020，但是声换能器3020的数量可以大于或小于十个。在一些实施例中，使用较多数量的声换能器3020可以增加所收集的音频信息的量和/或音频信息的灵敏度和准确性。相反，使用较少数量的声换能器3020可减少相关联的控制器3050处理收集的音频信息所需的计算能力。此外，麦克风阵列的每个声换能器3020的位置可以变化。例如，声换能器3020的位置可以包括用户身上的定义位置、框架3010上的定义坐标、与每个声换能器3020相关联的取向、或其某种组合。

声换能器3020(A)和3020(B)可以定位在用户耳朵的不同部位，例如耳廓后面、耳屏后面、和/或外耳或耳窝内。或者，除了耳道内的声换能器3020之外，还可以在耳朵上或围绕耳朵具有附加的声换能器3020。将声学换能器3020定位在用户的耳道旁可以使麦克风阵列能够收集关于声音如何到达耳道的信息。通过将声换能器3020中的至少两个定位在用户头部的任一侧(例如，作为双耳麦克风)，增强现实系统3000可以模拟双耳听觉并且捕获用户头部周围的3D立体声声场。在一些实施例中，声换能器3020(A)和3020(B)可以经由有线连接3030连接到增强现实系统3000，并且在其他实施例中，声换能器3020(A)和3020(B)可以经由无线连接(例如，蓝牙连接)连接到增强现实系统3000。在另外的其它实施例中，声换能器3020(A)和3020(B)可以根本不与增强现实系统3000结合使用。

框架3010上的声换能器3020可以以多种不同方式定位，包括沿着镜腿的长度、跨过鼻梁架、在显示设备3015(A)和3015(B)的上方或下方、或它们的某种组合。声换能器3020还可以被取向成使得麦克风阵列能够检测佩戴增强现实系统3000的用户周围的大范围方向上的声音。在一些实施例中，可以在增强现实系统3000的制造期间执行优化过程，以确定麦克风阵列中每个声换能器3020的相对定位。

在一些示例中，增强现实系统3000可以包括或连接到外部设备(例如，配对设备)，例如颈带3005。颈带3005通常表示任何类型或形式的配对设备。因此，下面关于颈带3005的讨论还可以应用于各种其他配对设备，例如充电盒、智能手表、智能电话、腕带、其他可佩戴设备、手持式控制器、平板计算机、膝上型计算机、其他外部计算设备等。

如图所示，颈带3005可以经由一个或更多个连接器被耦合至眼镜设备3002。连接器可以是有线的或无线的，并且可以包括电气和/或非电气(例如，结构)部件。在一些情况下，眼镜设备3002和颈带3005可以独立地操作，而在它们之间没有任何有线连接或无线连接。虽然图30示出了在眼镜设备3002和颈带3005上的示例位置中的眼镜设备3002和颈带3005的部件，但是这些部件可以位于眼镜设备3002和/或颈带3005上的其他地方和/或在眼镜设备3002和/或颈带3005上不同地分布。在一些实施例中，眼镜设备3002和颈带3005的部件可以位于与眼镜设备3002、颈带3005或其某种组合配对的一个或更多个附加的外围设备上。

将外部设备(例如颈带3005)与增强现实眼镜设备配对可以使眼镜设备能够实现一副眼镜的形状因子，同时仍然提供足够的电池和计算功率用于扩展能力。增强现实系统3000的电池功率、计算资源和/或附加的特征中的一些或全部可以由配对的设备提供，或者在配对的设备和眼镜设备之间共享，因此总体上减小了眼镜设备的重量、热分布图和形状因子，同时仍然保持期望的功能。例如，颈带3005可以允许使否则将被包括在眼镜设备上的部件被包括在颈带3005中，因为用户可以在他们的肩膀上容忍比在他们的头上他们将容忍的重量负荷更重的重量负荷。颈带3005还可以具有更大的表面积，在该表面积上将热量扩散并分散到周围环境中。因此，颈带3005可以允许比以其他方式在独立眼镜设备上可能可行的电池和计算容量更大的电池和计算容量。由于在颈带3005中承载的重量可以比眼镜设备3002中承载的重量对用户的侵入性更小，因此，比起用户将容忍佩戴较重的独立眼镜设备，用户可以容忍佩戴较轻的眼镜设备，并且携带或佩戴配对的设备更长的时间，从而使得用户能够将人工现实环境更充分地并入到他们的日常活动中。

颈带3005可以与眼镜设备3002和/或其他设备通信地耦合。这些其他设备可以向增强现实系统3000提供特定功能(例如，跟踪、定位、深度映射、处理、存储等)。在图30的实施例中，颈带3005可以包括两个声换能器(例如，3020(I)和3020(J))，它们是麦克风阵列的一部分(或者潜在地形成它们自己的麦克风子阵列)。颈带3005还可以包括控制器3025和电源3035。

颈带3005的声换能器3020(I)和3020(J)可以被配置成检测声音并将检测到的声音转换成电子格式(模拟或数字)。在图30的实施例中，声换能器3020(I)和3020(J)可以定位在颈带3005上，从而增加颈带声换能器3020(I)和3020(J)与定位在眼镜设备3002上的其他声换能器3020之间的距离。在一些情况下，增加麦克风阵列的声换能器3020之间的距离可以提高经由麦克风阵列执行的波束成形的准确性。例如，如果声音通过声换能器3020(C)和3020(D)被检测到，并且声换能器3020(C)和3020(D)之间的距离大于例如声换能器3020(D)和3020(E)之间的距离，则检测到的声音的确定的源位置可能比声音已经通过声换能器3020(D)和3020(E)被检测到的情况更准确。

颈带3005的控制器3025可以处理由颈带3005和/或由增强现实系统3000上的传感器生成的信息。例如，控制器3025可以处理来自麦克风阵列的描述由麦克风阵列检测到的声音的信息。对于每个检测到的声音，控制器3025可以执行到达方向(DOA)估计，以估计检测到的声音到达麦克风阵列的方向。当麦克风阵列检测声音时，控制器3025可以用该信息填充音频数据集。在增强现实系统3000包括惯性测量单元的实施例中，控制器3025可以计算来自位于眼镜设备3002上的IMU的所有惯性和空间计算。连接器可以在增强现实系统3000和颈带3005之间以及在增强现实系统3000和控制器3025之间传递信息。信息可以呈光数据、电数据、无线数据的形式或任何其他可传输数据形式。将由增强现实系统3000生成的信息的处理移动到颈带3005可以减少眼镜设备3002中的重量和热量，使其对用户更加舒适。

颈带3005中的电源3035可以向眼镜设备3002和/或颈带3005提供电力。电源3035可以包括但不限于锂离子电池、锂-聚合物电池、一次锂电池(primary lithium battery)、碱性电池或任何其他形式的电力储存装置。在一些情况下，电源3035可以是有线电源。在颈带3005上而不是在眼镜设备3002上包括电源3035可以帮助更好地分配由电源3035产生的重量和热量。

如上所述，代替将人工现实与实际现实融合，一些人工现实系统可以用虚拟体验来基本上取代用户对现实世界的感觉感知中的一个或更多个。该类型的系统的一个示例是头戴式显示系统(例如图31中的虚拟现实系统3100)，其大部分或完全覆盖用户的视场。虚拟现实系统3100可以包括前刚性主体3102和被成形为适于围绕用户的头部的带3104。虚拟现实系统3100还可以包括输出音频换能器3106(A)和3106(B)。此外，虽然在图31中未示出，但是前刚性主体3102可以包括一个或更多个电子元件，包括一个或更多个电子显示器、一个或更多个惯性测量单元(IMU)、一个或更多个跟踪发射器或检测器、和/或用于创建人工现实体验的任何其他合适的设备或系统。

人工现实系统可以包括多种类型的视觉反馈机构。例如，增强现实系统3000和/或虚拟现实系统3100中的显示设备可以包括一个或更多个液晶显示器(LCD)、发光二极管(LED)显示器、有机LED(OLED)显示器、数字光投影(DLP)微显示器、硅上液晶(LCoS)微显示器、和/或任何其他合适类型的显示屏。这些人工现实系统可以包括用于双眼的单个显示屏，或者可以为每只眼睛提供显示屏，这可以提供针对变焦调整或针对校正用户的屈光不正的附加的灵活性。这些人工现实系统中的一些还可以包括具有一个或更多个透镜(例如，传统的凹透镜或凸透镜、菲涅耳(Fresnel)透镜、可调液体透镜等)的光学子系统，用户可以通过这些透镜来观看显示屏。这些光学子系统可用于多种目的，包括准直(例如，使物体看起来处于比其物理距离更远处)、放大(例如，使物体看起来比其实际尺寸更大)和/或传递光(例如，将光传递到观看者的眼睛)。这些光学子系统可以用于非光瞳形成架构(例如直接准直光但导致所谓枕形失真的单透镜配置)和/或光瞳形成架构(例如产生所谓桶形失真以抵消枕形失真的多透镜配置)。

除了使用显示屏之外或代替使用显示屏，本文描述的一些人工现实系统可以包括一个或更多个投影系统。例如，增强现实系统3000和/或虚拟现实系统3100中的显示设备可以包括(使用例如波导)将光投射到显示设备(例如允许环境光穿过的透明组合透镜)中的微型LED投影仪。显示设备可以将投射的光朝向用户瞳孔折射，并可以使用户能够同时观看人工现实内容和现实世界两者。显示设备可以使用多种不同光学部件中的任何一种来实现这一点，光学部件包括波导部件(例如，全息、平面、衍射、偏振和/或反射波导元件)、光操纵表面和元件(例如衍射、反射，以及折射元件和光栅)、耦合元件等。人工现实系统还可以配置有任何其他合适类型或形式的图像投影系统，例如用于虚拟视网膜显示器的视网膜投影仪。

本文描述的人工现实系统还可以包括各种类型的计算机视觉部件和子系统。例如，增强现实系统3000和/或虚拟现实系统3100可以包括一个或更多个光学传感器，例如二维(2D)或3D相机、结构光发射器和检测器、飞行时间深度传感器、单光束或扫描激光测距仪、3D LiDAR传感器和/或任何其他合适类型或形式的光学传感器。人工现实系统可以处理来自这些传感器中的一个或更多个的数据以识别用户的位置、绘制真实世界的地图、向用户提供关于真实世界周围环境的背景、和/或执行多种其他功能。

本文描述的人工现实系统还可以包括一个或更多个输入和/或输出音频换能器。输出音频换能器可以包括音圈扬声器、带状扬声器、静电扬声器、压电扬声器、骨传导换能器、软骨传导换能器、耳屏振动换能器和/或任何其他合适类型或形式的音频换能器。类似地，输入音频换能器可包括电容式麦克风、动圈式麦克风、带式麦克风和/或任何其他类型或形式的输入换能器。在一些实施例中，单个换能器可以用于音频输入和音频输出两者。

在一些实施例中，本文描述的人工现实系统还可以包括触感(即触觉)反馈系统，其可以被结合到头饰、手套、紧身衣裤、手持式控制器、环境设备(例如椅子、地板垫等)、和/或任何其他类型的设备或系统中。触觉反馈系统可以提供多种类型的皮肤反馈，包括振动、力、牵引力、纹理和/或温度。触觉反馈系统还可以提供多种类型的动觉反馈，例如运动和顺应性。可以使用电机、压电致动器、射流系统和/或多种其他类型的反馈机构来实现触觉反馈。可以独立于其他人工现实设备、在其他人工现实设备内、和/或与其他人工现实设备结合来实现触觉反馈系统。

通过提供触觉感觉、可听内容和/或视觉内容，人工现实系统可以创建整个虚拟体验或者增强用户在各种背景和环境中的真实世界体验。例如，人工现实系统可以在特别环境内帮助或扩展用户的感知、记忆或认知。一些系统可以增强用户与在真实世界中的其他人的交互，或者可以实现与虚拟世界中的其他人的更沉浸式的交互。人工现实系统还可以用于教育目的(例如，用于在学校、医院、政府组织、军事组织、商业企业等中的教学或培训)、娱乐目的(例如，用于玩视频游戏、听音乐、观看视频内容等)和/或用于可及性目的(例如，作为助听器、助视器等)。本文中公开的实施例可以在这些背景和环境中的一个或更多个中和/或在其他背景和环境中实现或增强用户的人工现实体验。

如所述，增强现实系统3000和3100可以与各种其他类型的设备一起使用，以提供更引人注目的人工现实体验。这些设备可以是具有传感器的触觉接口，该传感器提供触觉反馈和/或收集关于用户与环境的交互的触觉信息。本文公开的人工现实系统可以包括检测或传达各种类型的触觉信息的各种类型的触觉接口，包括触感反馈(例如，用户通过皮肤中的神经检测的反馈，也可以称为皮肤反馈)和/或动觉反馈(例如，用户通过位于肌肉、关节和/或肌腱中的感受器检测的反馈)。

触觉反馈可以由位于用户环境内的接口(例如，椅子、桌子、地板等)和/或用户可以佩戴或携带的物品上的接口(例如手套、腕带等)提供。作为示例，图32示出了可佩戴手套(触觉设备3210)和腕带(触觉设备3220)形式的振动触感系统3200。触觉设备3210和触觉设备3220被示为可佩戴设备的示例，其包括柔性的、可佩戴的纺织材料3230，该纺织材料3230被成形和配置成分别抵靠用户的手和手腕定位。本公开还包括振动触感系统，该振动触感系统可以被成形和配置成抵靠其他人体部位定位，例如手指、手臂、头部、躯干、脚或腿。作为示例而非限制，根据本公开的各种实施例的振动触感系统也可以是手套、头带、臂带、袖子、头套、袜子、衬衫或裤子等形式，并存在其他的可能性。在一些示例中，术语“纺织品(textile)”可以包括任何柔性的、可佩戴的材料，包括纺织织物、非纺织织物、皮革、布、柔性聚合物材料、复合材料等。

一个或更多个振动触感设备3240可以至少部分地定位在振动触感系统3200的纺织材料3230中形成的一个或更多个相应的口袋内。振动触感设备3240可以定位在向振动触感系统3200的用户提供振动感觉(例如触觉反馈)的位置。例如，振动触感设备3240可以抵靠用户的手指、拇指或手腕定位，如图32所示。在一些示例中，振动触感设备3240可以足够柔韧以顺应用户的相应身体部位或随着用户的相应身体部位弯曲。

用于向振动触感设备3240施加电压以激活它们的电源3250(例如，电池)可以例如经由导电线路3252电耦合到振动触感设备3240。在一些示例中，每个振动触感设备3240可以独立地电耦合到电源3250，用于单独激活。在一些实施例中，处理器3260可以可操作地耦合到电源3250，并被配置(例如，编程)来控制振动触感设备3240的激活。

振动触感系统3200可以以多种方式实现。在一些示例中，振动触感系统3200可以是具有集成子系统和部件的独立系统，用于独立于其他设备和系统进行操作。作为另一个示例，振动触感系统3200可以被配置成与另一个设备或系统3270进行交互。例如，在一些示例中，振动触感系统3200可以包括通信接口3280，用于接收信号和/或向其他设备或系统3270发送信号。其它设备或系统3270可以是移动设备、游戏机、人工现实(例如，虚拟现实、增强现实、混合现实)设备、个人计算机、平板计算机、网络设备(例如，调制解调器、路由器等)、手持式控制器等。通信接口3280可以经由无线(例如，Wi-Fi、蓝牙、蜂窝、无线电等)链路或有线链路实现振动触感系统3200和其它设备或系统3270之间的通信。如果存在，通信接口3280可以与处理器3260通信，例如向处理器3260提供信号以激活或停用一个或更多个振动触感设备3240。

振动触感系统3200可以可选地包括其他子系统和部件，例如触敏垫3290、压力传感器、运动传感器、位置传感器、照明元件和/或用户接口元件(例如，开/关按钮、振动控制元件等)。在使用期间，振动触感设备3240可以被配置成出于各种不同的原因被激活，例如响应于用户与用户接口元件的交互、来自运动或位置传感器的信号、来自触敏垫3290的信号、来自压力传感器的信号、来自其它设备或系统3270的信号等。

尽管电源3250、处理器3260和通信接口3280在图32中被示为定位在触觉设备3220中，但是本公开不限于此。例如，电源3250、处理器3260或通信接口3280中的一个或更多个可以被定位于触觉设备3210内或另一可佩戴纺织品内。

触觉可佩戴设备(例如结合图32示出和描述的那些触觉可佩戴设备)可以在各种类型的人工现实系统和环境中实现。图33示出了包括一个头戴式虚拟现实显示器和两个触觉设备(即，手套)的示例性人工现实环境3300，并且在其他实施例中，这些部件和其他部件的任何数量和/或组合可以被包括在人工现实系统中。例如，在一些实施例中，可能存在多个头戴式显示器，每个头戴式显示器具有相关联的触觉设备，每个头戴式显示器和每个触觉设备与相同的控制台、便携式计算设备或其它计算系统通信。

头戴式显示器3302通常表示任何类型或形式的虚拟现实系统，例如图31中的虚拟现实系统3100。触觉设备3304通常表示由人工现实系统的用户佩戴的任何类型或形式的可佩戴设备，其向用户提供触觉反馈，以给予用户他或她正在物理上与虚拟对象接触的感知。在一些实施例中，触觉设备3304可以通过向用户施加振动、运动和/或力来提供触觉反馈。例如，触觉设备3304可以限制或增强用户的移动。举一个具体的示例，触觉设备3304可以限制用户的手向前移动，使得用户具有他或她的手已经与虚拟墙壁进行物理接触的感知。在该特定示例中，触觉设备内的一个或更多个致动器可以通过将流体泵入触觉设备的可膨胀囊来实现物理运动限制。在一些示例中，用户还可以使用触觉设备3304向控制台发送动作请求。动作请求的示例包括但不限于启动应用和/或结束应用的请求和/或在应用内执行特定动作的请求。

虽然触觉接口可以用于虚拟现实系统，如图33所示，但是触觉接口也可以用于增强现实系统，如图34所示。图34是用户3410与增强现实系统3400交互的透视图。在该示例中，用户3410可以佩戴一副增强现实眼镜3420，该眼镜可以具有一个或更多个显示器3422并且与触觉设备3430配对。在该示例中，触觉设备3430可以是腕带，该腕带包括多个带元件3432和将带元件3432彼此连接的张紧机构3434。

一个或更多个带元件3432可以包括适于提供触觉反馈的任何类型或形式的致动器。例如，带元件3432中的一个或更多个带元件可以被配置成提供各种类型的皮肤反馈中的一种或更多种皮肤反馈，包括振动、力、牵引力、纹理和/或温度。为了提供这样的反馈，带元件3432可以包括一个或更多个各种类型的致动器。在一个示例中，带元件3432中的每一个可以包括振动器(例如，振动触感致动器)，其被配置为一致地(in unison)或独立地振动以向用户提供各种类型的触觉感觉中的一种或更多种。可选地，只有单个带元件或带元件的子集可以包括振动触觉器。

触觉设备3210、3220、3304和3430可以包括任何合适数量和/或类型的触觉换能器、传感器和/或反馈机构。例如，触觉设备3210、3220、3304和3430可以包括一个或更多个机械换能器、压电换能器和/或流体换能器。触觉设备3210、3220、3304和3430还可以包括不同类型和形式的换能器的各种组合，这些换能器一起或独立地工作以增强用户的人工现实体验。在一个示例中，触觉设备3430的每个带元件3432可以包括振动触觉器(例如，振动触感致动器)，该振动触觉器被配置成一致地或独立地振动，以向用户提供一种或更多种各种类型的触觉感觉。

本文描述的系统和方法旨在由软件(存储在存储器中和/或在硬件上执行)、硬件或其组合来执行。硬件模块可以包括例如通用处理器、现场可编程门阵列(FPGA)和/或专用集成电路(ASIC)。软件模块(在硬件上执行)可以用多种软件语言(例如计算机代码)表示，该软件语言包括Unix实用程序、C、C++、Java^TM、JavaScript、Ruby、SQL、Python、Fortran、R编程语言/软件环境、和其他面向对象的、过程性的或其他的编程语言和开发工具。计算机代码的示例包括但不限于微代码或微指令、机器指令(例如由编译器生成)、用于生成Web服务的代码以及包含由计算机执行的更高级别指令的文件。计算机代码的其他示例包括但不限于控制信号、加密代码和压缩代码。本文描述的每个设备可以包括一个或更多个如上所述的处理器。

本文描述的一些实施例涉及具有非暂时性计算机可读介质(还可以称为非暂时性处理器可读介质或存储器)的设备，该介质在其上具有用于执行各种计算机实现的操作的指令或计算机代码。计算机可读介质(或处理器可读介质)在其本身不包括暂时传播信号(例如，在诸如空间或电缆的传输介质上携带信息的传播电磁波)的意义上是非暂时的。媒体和计算机代码(也可以称为代码)可以针对一个或一些特定目的而设计和构建。非暂时性计算机可读介质的示例包括但不限于：磁存储介质，例如硬盘、软盘和磁带；光存储介质，例如光盘/数字视频光盘(CD/DVD)、光盘只读存储器(CD-ROM)和全息设备；磁光存储介质，例如光盘；载波信号处理模块；以及专门配置成存储和执行程序代码的硬件设备，例如专用集成电路(ASIC)、可编程逻辑设备(PLD)、只读存储器(ROM)和随机存取存储器RAM)设备。本文描述的其他实施例涉及一种计算机程序产品，其可以包括例如本文讨论的指令和/或计算机代码。

如上面所详述的，本文描述和/或示出的计算设备和系统广泛地表示能够执行计算机可读指令(例如在本文描述的模块中包含的那些指令)的任何类型或形式的计算设备或系统。在它们的最基本的配置中，这些计算设备可以各自包括至少一个存储器设备和至少一个物理处理器。

在一些示例中，术语“存储器设备”通常指能够存储数据和/或计算机可读指令的任何类型或形式的易失性或非易失性存储设备或介质。在一个示例中，存储器设备可以存储、加载和/或维护本文描述的一个或更多个模块。存储器设备的示例非限制地包括随机存取存储器(RAM)、只读存储器(ROM)、闪存、硬盘驱动器(HDD)、固态驱动器(SSD)、光盘驱动器、高速缓存、这些部件中的一个或更多个的变形或组合、或者任何其他合适的储存存储器。

在一些示例中，术语“物理处理器”通常指能够解释和/或执行计算机可读指令的任何类型或形式的硬件实现的处理单元。在一个示例中，物理处理器可以访问和/或修改存储在上述存储器设备中的一个或更多个模块。物理处理器的示例非限制地包括微处理器、微控制器、中央处理单元(CPU)、实现软核处理器的现场可编程门阵列(FPGA)、专用集成电路(ASIC)、这些部件中的一个或更多个的部分、这些部件中的一个或更多个的变形或组合、或任何其他合适的物理处理器。

尽管被示为单独的元件，但是本文描述和/或示出的模块可以表示单个模块或应用的部分。此外，在某些实施例中，这些模块中的一个或更多个可以表示一个或更多个软件应用或程序，其当由计算设备执行时可以使计算设备执行一个或更多个任务。例如，本文描述和/或示出的模块中的一个或更多个可以表示被存储和配置成在本文描述和/或示出的计算设备或系统中的一个或更多个上运行的模块。这些模块中的一个或更多个还可以表示被配置成执行一个或更多个任务的一个或更多个专用计算机的全部或部分。

此外，本文描述的一个或更多个模块可以将数据、物理设备和/或物理设备的表示从一种形式转换成另一种形式。例如，本文列举的一个或更多个模块可以接收要转换的数据，转换数据，输出转换的结果来识别手势，使用转换的结果来生成命令，并且存储转换的结果以保留生成命令的记录。附加地或可替代地，本文所述的一个或更多个模块可以通过在计算设备上执行、在计算设备上存储数据、和/或以其他方式与计算设备交互来将处理器、易失性存储器、非易失性存储器和/或物理计算设备的任何其他部分从一种形式转换成另一种形式。

在一些实施例中，术语“计算机可读介质”通常指能够存储或携带计算机可读指令的任何形式的设备、载体或介质。计算机可读介质的示例包括但不限于传输型介质(例如，载波)以及非暂时性介质，例如，磁存储介质(例如，硬盘驱动器、磁带驱动器和软盘)、光存储介质(例如，光盘(CD)、数字视频盘(DVD)和BLU-RAY盘)、电子存储介质(例如，固态驱动器和闪存介质)以及其他分发系统。

本文描述和/或图示的工艺参数和步骤的顺序仅作为示例给出，并且可以根据需要变化。例如，虽然本文图示和/或描述的步骤可以以特定的顺序被示出或讨论，但是这些步骤不一定需要以所图示或讨论的顺序来执行。本文描述和/或图示的多种示例性方法还可以省略本文描述或图示的一个或更多个步骤，或者可以包括除了那些公开的步骤之外的附加的步骤。

已经提供了前面的描述，以使本领域的其他技术人员能够最好地利用本文公开的示例性实施例的各个方面。该示例性描述不意图是穷举性的或者不意图限于所公开的任何精确形式。在不脱离本公开内容的精神和范围的情况下，许多修改和变化是可能的。本文公开的实施例应当在所有方面被认为是说明性的而不是限制性的。在确定本公开内容的范围时，应当参考所附权利要求及其等同物。

除非另有说明，否则如在说明书和权利要求书中使用的术语“连接至”和“耦合至”(及其派生词)应被解释为允许直接和间接(即，通过其他元件或部件)连接两者。此外，如在说明书和权利要求书中使用的术语“一个(a)”或“一个(an)”应被解释为意指“...中的至少一个”。最后，为了便于使用，如在说明书和权利要求书中使用的术语“包括(including)”和“具有”(及其派生词)可与词语“包括(comprising)”互换并且具有与词语“包括”相同的含义。

Claims (22)

1.一种计算机实现的方法，包括：

经由用户界面呈现至少一个感觉提示；

从可佩戴设备的一个或更多个神经肌肉传感器接收由佩戴所述可佩戴设备的用户生成的一个或更多个神经肌肉信号，其中，所述用户响应于经由所述用户界面呈现给所述用户的所述至少一个感觉提示而生成所述一个或更多个神经肌肉信号；

基于在神经肌肉传感器数据的指定时间切片内检测到的输入命令的定时，确定所述用户的哪个手指提供所述神经肌肉信号，所述神经肌肉传感器数据在时间窗口内被接收；

将所述一个或更多个神经肌肉信号解释为关于由所述用户界面提供的所述至少一个感觉提示的输入命令，使得所述输入命令发起所述用户界面内的一个或更多个指定任务的执行，其中所解释的神经肌肉信号与所述用户的每个手指相关，使得基于哪个手指提供了所述输入命令来不同地解释不同的输入命令，并且使得来自不同手指的至少两个相同的输入命令被解释为不同的命令；和

根据所解释的输入命令在所述用户界面内执行所述一个或更多个指定任务。

2.根据权利要求1所述的计算机实现的方法，其中，所解释的神经肌肉信号导致多个潜在的候选输入命令在所述用户界面内被高亮显示，至少一个候选输入命令以表示被所述用户选择的可能性更高的替代方式被高亮显示；以及

其中所述用户从所述高亮显示的潜在的候选输入命令中选择输入命令。

3.根据权利要求1所述的计算机实现的方法，其中，在所述用户界面内执行所述一个或更多个指定任务包括：

导航到所述用户界面中对应于可供选择的文本输入的指定显示区域；和

选择位于所述用户界面内所述指定显示区域的所述文本输入。

4.根据权利要求3所述的计算机实现的方法，其中，所述用户界面包括多个显示区域，并且其中，多个潜在文本输入被映射到映射中的每个显示区域。

5.根据权利要求4所述的计算机实现的方法，其中，选择所述指定显示区域中的文本输入至少部分地基于从所接收的神经肌肉信号确定的识别手势。

6.根据权利要求5所述的计算机实现的方法，其中，所述映射包括一个或更多个指定文本输入到一个或更多个指定手势的映射。

7.根据权利要求3所述的计算机实现的方法，其中，将所接收的神经肌肉信号解释为关于由所述用户界面提供的所述至少一个感觉提示的输入命令包括：将来自所述用户的所接收的神经肌肉信号解释为用于在所述用户界面内选择文本输入的光标的速度控制、方向控制和/或位置控制。

8.根据权利要求7所述的计算机实现的方法，其中，将所接收的神经肌肉信号解释为关于由所述用户界面提供的所述至少一个感觉提示的输入命令包括：基于所接收的神经肌肉信号识别至少一个用户手势，并且其中，所识别的用户手势控制文本输入的选择。

9.根据权利要求8所述的计算机实现的方法，还包括基于所识别的用户手势来消除在所述用户界面内显示的文本输入的模糊性。

10.根据权利要求3所述的计算机实现的方法，还包括基于所接收的神经肌肉信号自动确定由所述用户提供的一个或更多个系列的可能的文本输入。

11.根据权利要求1所述的计算机实现的方法，其中，在所述用户界面内执行所述一个或更多个指定任务包括：

基于所述输入命令，从语言模型预测将被选择作为键入的输入的一个或更多个字符；和

在所述用户界面内提供所预测的字符作为键入的输入。

12.根据权利要求11所述的计算机实现的方法，其中，将所接收的神经肌肉信号解释为关于由所述用户界面提供的所述至少一个感觉提示的输入命令包括：基于所接收的神经肌肉信号识别至少一个用户手势，并且其中，所识别的用户手势控制键入的输入的选择。

13.根据权利要求12所述的计算机实现的方法，其中，所述键入的输入通过所述用户执行的表面无关的手势来提供。

14.根据权利要求1所述的计算机实现的方法，其中，所述感觉提示包括听觉提示、触觉提示、嗅觉提示、环境提示或视觉提示中的至少一种。

15.一种可佩戴设备，包括：

显示器；

一个或更多个神经肌肉传感器，其被配置成检测神经肌肉信号；

至少一个物理处理器；和

物理存储器，其包括计算机可执行指令，所述计算机可执行指令在由所述物理处理器执行时使所述物理处理器：

经由用户界面呈现至少一个感觉提示；

从可佩戴设备的一个或更多个神经肌肉传感器接收由佩戴所述可佩戴设备的用户生成的一个或更多个神经肌肉信号，其中，所述用户响应于经由所述用户界面呈现给所述用户的所述至少一个感觉提示而生成所述一个或更多个神经肌肉信号；

其中所述物理处理器还被使得：

基于在神经肌肉传感器数据的指定时间切片内检测到的输入命令的定时，确定所述用户的哪个手指提供所述神经肌肉信号，所述神经肌肉传感器数据在时间窗口内被接收；

将所述一个或更多个神经肌肉信号解释为关于由所述用户界面提供的所述至少一个感觉提示的输入命令，使得所述输入命令发起所述用户界面内的一个或更多个指定任务的执行，其中所解释的神经肌肉信号与所述用户的每个手指相关，使得基于哪个手指提供了所述输入命令来不同地解释不同的输入命令，并且使得来自不同手指的至少两个相同的输入命令被解释为不同的命令；和

根据所解释的输入命令在所述用户界面内执行所述一个或更多个指定任务。

16.根据权利要求15所述的可佩戴设备，其中，所解释的神经肌肉信号导致多个潜在的候选输入命令在所述用户界面内被高亮显示，至少一个候选输入命令以表示被所述用户选择的可能性更高的替代方式被高亮显示；以及

其中所述用户从所述高亮显示的潜在的候选输入命令中选择输入命令。

17.根据权利要求15所述的可佩戴设备，其中，根据所解释的输入命令在所述用户界面内执行所述一个或更多个指定任务包括使用所解释的输入命令来控制物联网设备。

18.根据权利要求17所述的可佩戴设备，其中，使用从所接收的神经肌肉信号确定的一个或更多个手势来控制所述物联网设备。

19.根据权利要求15所述的可佩戴设备，其中，所述物理处理器还被配置为：

分析所接收的神经肌肉信号，以识别所述神经肌肉信号中表示离散肌肉激活事件的一个或更多个峰值的发生时间；

识别所述神经肌肉信号中所识别的峰值周围的一个或更多个时间窗口；

将所识别的时间窗口分组为一个或更多个集群，每个集群表示不同的离散肌肉激活事件；

在时间上对齐表示所识别的离散肌肉激活事件的所述一个或更多个集群；和

为每个在时间上对齐的集群识别至少一个肌肉激活。

20.根据权利要求19所述的可佩戴设备，其中，所接收的神经肌肉信号包括多维神经肌肉信号，并且其中，所述处理器从所述多维神经肌肉信号计算降维信号，所述降维信号包括至少一个更少的维度。

21.根据权利要求15所述的可佩戴设备，其中，为每个在时间上对齐的集群识别至少一个肌肉激活包括：区分来自用户手的不同手指的肌肉激活。

22.一种非暂时性计算机可读介质，包括一个或更多个计算机可执行指令，所述计算机可执行指令在由计算设备的至少一个处理器执行时使得所述计算设备：

经由用户界面呈现至少一个感觉提示；

从可佩戴设备的一个或更多个神经肌肉传感器接收由佩戴所述可佩戴设备的用户生成的一个或更多个神经肌肉信号，其中，所述用户响应于经由所述用户界面呈现给所述用户的所述至少一个感觉提示而生成所述一个或更多个神经肌肉信号；

其中所述计算设备还被使得：

基于在神经肌肉传感器数据的指定时间切片内检测到的输入命令的定时，确定所述用户的哪个手指提供所述神经肌肉信号，所述神经肌肉传感器数据在时间窗口内被接收；

将所述一个或更多个神经肌肉信号解释为关于由所述用户界面提供的所述至少一个感觉提示的输入命令，使得所述输入命令发起所述用户界面内的一个或更多个指定任务的执行，其中所解释的神经肌肉信号与所述用户的每个手指相关，使得基于哪个手指提供了所述输入命令来不同地解释不同的输入命令，并且使得来自不同手指的至少两个相同的输入命令被解释为不同的命令；和

根据所解释的输入命令在所述用户界面内执行所述一个或更多个指定任务。