CN112771478A - 对环境中的物理对象的神经肌肉控制 - Google Patents

Abstract

用于至少部分地基于神经肌肉信号来控制环境中的物理对象的方法和装置。该方法包括记录来自布置在用户穿戴的一个或更多个可穿戴设备上的多个神经肌肉传感器的多个神经肌肉信号，接收对环境中的物理对象的选择，以及至少部分地根据多个神经肌肉信号和/或根据基于多个神经肌肉信号的信息来控制环境中的所选对象的操作。

Description

对环境中的物理对象的神经肌肉控制

本申请根据35U.S.C.§119(e)要求2018年9月26日提交的标题为“NEUROMUSCULARCONTROL OF OBJECTS IN AN ENVIRONMENT”的美国临时专利申请序列号62/736,929的权益，并根据35U.S.C.§119(e)要求2019年6月25日提交的标题为“SYSTEM AND APPARATUSFOR MULTIMODAL CONNECTED DEVICE CONTROL BASED ON NEUROMUSCULAR SIGNALS”的美国临时专利申请序列号62/866,505的权益，这两个申请中的每一个的全部内容通过引用并入本文。

背景

传统上，包括灯、恒温器和扬声器在内的非网络连接设备(connected device)、家用电器(如微波炉、冰箱和煤气壁炉)或其他“哑(dumb)”对象/设备越来越多地嵌入允许设备通过网络(例如互联网)进行通信和交互的技术，以使设备的各种操作能够被远程控制。在流行文化中，连接设备的网络通常被称为“物联网”(IoT)，并且IoT网络中支持网络的设备(network-enabled device)通常被称为IoT设备。用于控制IoT设备操作的一些传统技术包括使用安装在支持网络的计算设备上的应用来控制设备，该支持网络的计算设备例如是台式计算机、膝上型计算机、平板计算机、智能手表或智能手机。

概述

一些实施例涉及用于在用户环境中提供对物理对象(例如IoT设备)的一个或更多个操作的神经肌肉控制的技术。如下文更详细描述的，具有神经肌肉传感器的一个或更多个可穿戴设备被配置成检测和/或记录多个神经肌肉信号。检测到的和/或记录的神经肌肉信号由一个或更多个计算机处理器解释，以提供对用户环境中的对象的选择和/或在其选择之后控制用户环境中的对象的操作。在一些实施例中，向用户提供反馈，以使用户能够确定他们选择和/或控制其环境中的对象的意图(intention)是否被系统正确地解释。

一些实施例涉及一种用于至少部分地基于神经肌肉信号来控制环境中的对象的计算机化系统。该系统包括多个神经肌肉传感器和至少一个计算机处理器，该多个神经肌肉传感器被配置为检测和/或记录来自用户的多个神经肌肉信号，其中该多个神经肌肉传感器被布置在一个或更多个可穿戴设备上，该至少一个计算机处理器被编程为至少部分地根据多个神经肌肉信号和/或根据基于多个神经肌肉信号的信息来控制环境中的所选对象的操作。

一些实施例涉及一种由计算机化系统执行的用于至少部分地基于神经肌肉信号来控制环境中的对象的方法。该方法包括检测和/或记录来自布置在用户穿戴的一个或更多个可穿戴设备上的多个神经肌肉传感器的多个神经肌肉信号，并且至少部分地根据多个神经肌肉信号和/或根据基于多个神经肌肉信号的信息来控制环境中的所选对象的操作。

一些实施例涉及一种用于至少部分地基于神经肌肉信号来控制环境中的物理对象的计算机化系统。该系统包括被配置成记录来自用户的多个神经肌肉信号的多个神经肌肉传感器，以及至少一个计算机处理器，其中该多个神经肌肉传感器被布置在一个或更多个可穿戴设备上。该至少一个计算机处理器被编程为接收对环境中的物理对象的选择，并且至少部分地根据多个神经肌肉信号和/或根据基于多个神经肌肉信号的信息来控制环境中的所选物理对象的操作。

在一个方面，接收对环境中的物理对象的选择包括至少部分地基于多个神经肌肉信号和/或从多个神经肌肉信号导出的信息来确定对物理对象的选择。

在另一方面，该系统还包括至少一个存储设备，该存储设备被配置为存储描述多个神经肌肉信号和环境中的一个或更多个可选择的物理对象之间的关联的信息，并且确定对物理对象的选择至少部分地基于描述多个神经肌肉信号和环境中的一个或更多个可选择的物理对象之间的关联的所存储的信息。

在另一方面，环境中的一个或更多个可选择的物理对象中的至少一些在环境中使用至少一个短程通信协议连接。

在另一方面，描述多个神经肌肉信号和环境中的一个或更多个可选择的对象之间的关联的所存储的信息包括至少一个推理模型，该推理模型被配置为将多个神经肌肉信号映射到环境中的一个或更多个可选择的物理对象。

在另一方面，至少一个计算机处理器还被编程为基于多个神经肌肉信号和/或从多个神经肌肉信号导出的信息来识别肌肉激活状态(muscular activation state)，并且接收对环境中的物理对象的选择至少部分地基于所识别的肌肉激活状态。

在另一方面，至少部分地基于所识别的肌肉激活状态接收对环境中的物理对象的选择包括使用肌肉激活状态与用户界面进行交互，以从多个可选择的物理对象中选择一个。

在另一方面，肌肉激活状态包括手势(gesture)、姿势(pose)或肌肉下激活状态(sub-muscular activation state)。

在另一方面，接收对环境中的物理对象的选择包括至少部分地基于用户上下文和/或用户行为来自动选择物理对象。

在另一方面，接收对环境中的物理对象的选择至少部分地基于在环境中物理对象和用户的接近度。

在另一方面，至少一个计算机处理器还被编程为检测计算机化系统处于环境中的可选择的物理对象的特定范围内，并且响应于该检测在计算机化系统和可选择的物理对象之间建立近场通信，并且接收对环境中的物理对象的选择至少部分地基于所建立的近场通信。

在另一方面，该系统还包括被配置为从一个或更多个物理对象接收红外信号的红外接收器，并且接收对环境中的物理对象的选择至少部分地基于由红外接收器接收的红外信号。

在另一方面，该系统还包括被配置为向一个或更多个物理对象发射广播红外信号的红外发射器，其中由红外接收器接收的红外信号是响应于发射广播红外信号而被接收的。

在另一方面，环境是由增强现实系统生成的增强现实环境。

在另一方面，增强现实系统被配置为在增强现实环境中显示用户界面(userinterface)，并且接收对对象的选择包括经由用户界面接收对对象的选择。

在另一方面，接收对物理对象的选择包括至少部分地基于多个神经肌肉信号和/或从多个神经肌肉信号导出的信息来确定对物理对象的选择。

在另一方面，至少一个计算机处理器还被编程为至少部分地基于多个神经肌肉信号和/或从多个神经肌肉信号导出的信息来生成控制信号，并将控制信号提供给增强现实系统，并且接收对环境中的物理对象的选择至少部分地基于提供给增强现实系统的控制信号。

在另一方面，增强现实系统被配置为在增强现实环境中显示光标，控制信号用于控制光标在增强现实环境中的显示位置，并且接收对环境中的物理对象的选择至少部分地基于光标在增强现实环境中的显示位置。

在另一方面，增强现实系统包括至少一个相机和/或眼睛跟踪系统，并且接收对环境中的物理对象的选择至少部分地基于由至少一个相机和/或眼睛跟踪系统捕获的信息。

在另一方面，接收对环境中的物理对象的选择还至少部分地基于多个神经肌肉信号和/或从多个神经肌肉信号导出的信息。

在另一方面，接收对环境中的物理对象的选择包括将环境分成多个空间区域，至少部分地基于惯性测量单元的定向来确定用户正指向多个空间区域中的哪一个，并选择用户正指向的空间区域内的物理对象。

在另一方面，该系统还包括同步定位与地图构建系统(simultaneous locationand mapping system)，并且接收对环境中的物理对象的选择至少部分地基于由同步定位与地图构建系统确定的信息。

在另一方面，接收对环境中的物理对象的选择至少部分地基于由至少一个麦克风捕获的信息。

在另一方面，计算机化系统被配置为向用户提供物理对象已经被选择的指示。

在另一方面，所选物理对象被配置成在被选择时向用户提供指示。

在另一方面，至少一个计算机处理器还被编程为在选择物理对象时向用户提供指示。

在另一方面，环境是由增强现实系统生成的增强现实环境，物理对象是在增强现实环境中观看的物理对象，并且增强现实系统被配置为在选择了在增强现实环境中观看的物理对象时向用户提供指示。

在另一方面，提供物理对象已经被选择的指示包括在增强现实环境中呈现视觉指示。

在另一方面，该系统还包括至少一个存储设备，该存储设备被配置为存储描述多个神经肌肉信号和用于环境中的一个或更多个可选择的物理对象中的每一个的至少一个控制动作之间的关联的信息，并且控制所选对象的操作包括至少部分地基于描述多个神经肌肉信号和用于所选物理对象的至少一个控制动作之间的关联的所存储的信息来确定要控制的操作。

在另一方面，描述多个神经肌肉信号和用于环境中的一个或更多个可选择的物理对象中的每一个的至少一个控制动作之间的关联的所存储的信息包括至少一个推理模型，该推理模型被训练成将多个神经肌肉信号映射到用于环境中的一个或更多个可选择的物理对象中的每一个的至少一个控制动作。

在另一方面，至少一个计算机处理器还被编程为基于多个神经肌肉信号和/或从多个神经肌肉信号导出的信息来识别肌肉激活状态，并且至少部分地基于所识别的肌肉激活状态来执行对所选物理对象的操作的控制。

在另一方面，肌肉激活状态包括手势、姿势或肌肉下激活状态。

在另一个方面，环境是由增强现实系统生成的增强现实环境，并且控制环境中的所选物理对象的操作包括通过提供给增强现实系统的输入来控制所选物理对象的操作。

在另一方面，增强现实系统被配置为在增强现实环境中显示控制界面，并且控制所选物理对象的操作包括通过用户与控制界面的交互来控制对象的操作。

在另一方面，控制所选物理对象的操作包括至少部分地基于多个神经肌肉信号和/或从多个神经肌肉信号导出的信息来生成控制信号，并将控制信号提供给增强现实系统以与在增强现实环境中显示的控制界面交互。

在另一方面，增强现实系统被配置为在增强现实环境中的第一位置处显示控制界面，在增强现实环境中观看的所选物理对象位于增强现实环境中的第二位置，并且在增强现实环境中，第一位置比第二位置更靠近用户。

在另一方面，增强现实系统被配置为响应于与控制界面的交互向用户提供反馈。

在另一方面，反馈包括视觉反馈、听觉反馈和/或触觉反馈。

在另一方面，增强现实系统被配置为在增强现实环境中显示用于第一对象的第一控制界面和用于第二对象的第二控制界面。

在另一方面，增强现实系统被配置为当选择第一对象时显示第一控制界面，以及当选择第二对象时显示第二控制界面。

在另一方面，至少一个计算机处理器还被编程为至少部分地根据多个神经肌肉信号和/或根据基于多个神经肌肉信号的信息来检测第一肌肉激活状态，该第一肌肉激活状态指示控制所选物理对象的操作的愿望(desire)。

在另一方面，第一肌肉激活状态是所选物理对象的唤醒肌肉激活状态。

在另一方面，至少一个计算机处理器还被编程为响应于检测到第一肌肉激活状态，向所选物理对象发送指令以启用或禁用所选物理对象的用户接口(user interface)。

在另一方面，向所选物理对象发送指令包括发送指令以启用用户接口，并且至少一个计算机处理器还被编程为至少部分地根据多个神经肌肉信号和/或根据基于多个神经肌肉信号的信息来检测第二肌肉激活状态，其中控制所选物理对象的操作包括至少部分地基于第二肌肉激活状态来控制所选物理对象的操作。

一些实施例涉及一种方法和/或存储指令的至少一种非暂时性计算机可读存储介质，当由至少一个计算机处理器执行时，该指令使得至少一个计算机处理器执行该方法。该方法包括记录来自布置在用户穿戴的一个或更多个可穿戴设备上的多个神经肌肉传感器的多个神经肌肉信号，接收对环境中的物理对象的选择，以及至少部分地根据多个神经肌肉信号和/或根据基于多个神经肌肉信号的信息来控制环境中的所选物理对象的操作。

在一个方面，接收对环境中的物理对象的选择包括至少部分地基于多个神经肌肉信号和/或从多个神经肌肉信号导出的信息来确定对物理对象的选择。

在另一方面，确定对物理对象的选择至少部分地基于描述多个神经肌肉信号和环境中的一个或更多个可选择的物理对象之间的关联的所存储的信息。

在另一方面，该方法还包括基于多个神经肌肉信号和/或从多个神经肌肉信号导出的信息来识别肌肉激活状态，并且接收对环境中的物理对象的选择至少部分地基于所识别的肌肉激活状态。

在另一方面，至少部分地基于所识别的肌肉激活状态来接收对环境中的物理对象的选择包括使用肌肉激活状态与用户界面进行交互，以从多个可选择的物理对象中选择一个。

在另一方面，接收对环境中的物理对象的选择包括至少部分地基于用户上下文和/或用户行为来自动选择物理对象。

在另一方面，接收对环境中的物理对象的选择至少部分地基于在环境中物理对象和用户的接近度。

在另一方面，该方法还包括检测计算机化系统处于环境中的可选择的物理对象的特定范围内，并且响应于该检测在计算机化系统和可选择的物理对象之间建立近场通信，并且接收对环境中的物理对象的选择至少部分地基于所建立的近场通信。

在另一方面，该方法还包括接收红外信号，并且接收对环境中的物理对象的选择至少部分地基于接收的红外信号。

在另一方面，该方法还包括向一个或更多个物理对象发射广播红外信号，并且由红外接收器接收的红外信号是响应于发射广播红外信号而被接收的。

在另一方面，环境是由增强现实系统生成的增强现实环境，增强现实系统被配置为在增强现实环境中显示用户界面，并且接收对对象的选择包括经由用户界面接收对对象的选择。

在另一方面，接收对物理对象的选择包括至少部分地基于多个神经肌肉信号和/或从多个神经肌肉信号导出的信息来确定对物理对象的选择。

在另一方面，该方法还包括至少部分地基于多个神经肌肉信号和/或从多个神经肌肉信号导出的信息来生成控制信号，并将控制信号提供给增强现实系统，并且接收对环境中的物理对象的选择至少部分地基于提供给增强现实系统的控制信号。

在另一方面，接收对环境中的物理对象的选择包括将环境分成多个空间区域，至少部分地基于惯性测量单元的定向来确定用户正指向多个空间区域中的哪一个，以及选择用户正指向的空间区域内的物理对象。

在另一方面，该方法还包括向用户提供物理对象已经被选择的指示。

在另一方面，环境是由增强现实系统生成的增强现实环境，物理对象是在增强现实环境中观看的物理对象，并且增强现实系统被配置为在选择了在增强现实环境中观看的物理对象时向用户提供指示。

在另一方面，该方法还包括在至少一个存储设备上存储描述多个神经肌肉信号和用于环境中的一个或更多个可选择的物理对象中的每一个的至少一个控制动作之间的关联的信息，并且控制所选对象的操作包括至少部分地基于描述多个神经肌肉信号和用于所选物理对象的至少一个控制动作之间的关联的所存储的信息来确定要控制的操作。

在另一方面，该方法还包括基于多个神经肌肉信号和/或从多个神经肌肉信号导出的信息来识别肌肉激活状态，并且至少部分地基于所识别的肌肉激活状态来控制所选物理对象的操作。

在另一个方面，环境是由增强现实系统生成的增强现实环境，并且控制环境中的所选物理对象的操作包括通过提供给增强现实系统的输入来控制所选物理对象的操作。

在另一方面，该方法还包括至少部分地根据多个神经肌肉信号和/或根据基于神经肌肉信号的信息，检测第一肌肉激活状态，该第一肌肉激活状态指示控制所选物理对象的操作的愿望。

在另一方面，第一肌肉激活状态是所选物理对象的唤醒肌肉激活状态。

在另一方面，该方法还包括响应于检测到第一肌肉激活状态，向所选物理对象发送指令以启用或禁用所选物理对象的用户接口。

在另一方面，向所选物理对象发送指令包括发送指令以启用用户接口，并且该方法还包括至少部分地根据多个神经肌肉信号和/或根据基于多个神经肌肉信号的信息来检测第二肌肉激活状态，并且控制所选物理对象的操作包括至少部分地基于第二肌肉激活状态来控制所选物理对象的操作。

一些实施例涉及一种用于至少部分地基于神经肌肉信号来控制环境中的物理对象的计算机化系统。该系统包括被配置成记录来自用户的多个神经肌肉信号的多个神经肌肉传感器，以及至少一个计算机处理器，其中该多个神经肌肉传感器被布置在一个或更多个可穿戴设备上。该至少一个计算机处理器被编程为选择用户环境中的物理对象，向用户提供指示物理对象已经被选择的反馈，至少部分地根据多个神经肌肉信号和/或根据基于多个神经肌肉信号的信息来确定第一肌肉激活状态，并且至少部分地基于所确定的第一肌肉激活状态来控制所选物理对象的操作。

在一个方面，该系统还包括至少一个存储设备，该存储设备被配置为存储描述环境中的一个或更多个可选择的物理对象和多个肌肉激活状态之间的关联的信息，并且至少部分地基于所存储的信息来选择环境中的物理对象。

在另一方面，至少部分地用于确定第一肌肉激活状态的多个神经肌肉信号在第一时间段期间被记录，至少一个计算机处理器还被编程为至少部分地根据多个神经肌肉信号和/或根据基于在第二时间段期间记录的多个神经肌肉信号的信息来确定第二肌肉激活状态，并且至少部分地基于所确定的第二肌肉激活状态来选择用户环境中的物理对象。

在另一方面，选择物理对象至少部分地基于用户上下文和/或用户行为。

在另一方面，至少一个计算机处理器还被编程为接收来自用户的语音输入，并且至少部分地基于接收的语音输入来选择物理对象。

在另一方面，选择物理对象至少部分地基于用户和物理对象的接近度。

在另一方面，选择物理对象至少部分地基于相对于用户环境中其他可选择的物理对象、用户与所述物理对象的接近度。

在另一方面，向用户提供指示物理对象已经被选择的反馈包括指示所选物理对象提供反馈。

在另一方面，向用户提供指示物理对象已经被选择的反馈包括提供听觉反馈和振动反馈中的一个或更多个。

在另一方面，该系统还包括至少一个存储设备，该存储设备被配置为存储描述用于环境中的一个或更多个可选择的物理对象中的每一个的至少一个控制动作和包括第一肌肉激活状态的相应肌肉激活状态之间的关联的信息，并且至少部分地基于描述用于所选物理对象的至少一个控制动作和第一肌肉激活状态之间的关联的所存储的信息来控制所选物理对象的操作。

在另一方面，至少一个计算机处理器还被编程为至少部分地根据多个神经肌肉信号和/或根据基于多个神经肌肉信号的信息来检测第二肌肉激活状态，该第二肌肉激活状态指示控制所选物理对象的操作的愿望。

在另一方面，至少一个计算机处理器还被编程为响应于检测到第二肌肉激活状态，向所选物理对象发送指令以启用或禁用所选物理对象的用户接口，其中向所选物理对象发送指令包括发送指令以启用用户接口，并且在启用用户接口之后至少部分地基于第一肌肉激活状态来控制所选物理对象的操作。

一些实施例涉及一种方法和/或存储指令的至少一种非暂时性计算机可读存储介质，当由至少一个计算机处理器执行时，该指令使得至少一个计算机处理器执行该方法。该方法包括记录来自布置在一个或更多个可穿戴设备上的多个神经肌肉传感器的多个神经肌肉信号，选择用户环境中的物理对象，向用户提供指示物理对象已经被选择的反馈，至少部分地根据多个神经肌肉信号和/或根据基于多个神经肌肉信号的信息来确定第一肌肉激活状态，以及至少部分地基于所确定的第一肌肉激活状态来控制所选物理对象的操作。

在一个方面，该方法还包括在至少一个存储设备上存储描述环境中的一个或更多个可选择的物理对象和多个肌肉激活状态之间的关联的信息，并且至少部分地基于所存储的信息来选择环境中的物理对象。

在另一方面，还至少部分地基于用户上下文和/或用户行为来选择物理对象。

在另一方面，该方法还包括从用户接收语音输入，并且至少部分地基于接收的语音输入来选择物理对象。

在另一方面，选择物理对象至少部分地基于用户和物理对象的接近度。

在另一方面，向用户提供指示物理对象已经被选择的反馈包括指示所选物理对象提供反馈。

在另一方面，该方法还包括由至少一个存储设备存储描述用于环境中的一个或更多个可选择的物理对象中的每一个的至少一个控制动作和包括第一肌肉激活状态的相应肌肉激活状态之间的关联的信息，并且至少部分地基于描述用于所选物理对象的至少一个控制动作和第一肌肉激活状态之间的关联的所存储的信息来控制所选物理对象的操作。

在另一方面，该方法还包括至少部分地根据多个神经肌肉信号和/或根据基于多个神经肌肉信号的信息来检测第二肌肉激活状态，该第二肌肉激活状态指示控制所选物理对象的操作的愿望，并且响应于检测到第二肌肉激活状态，向所选物理对象发送指令以启用或禁用所选物理对象的用户接口。

在另一方面，向所选物理对象发送指令包括发送指令以启用用户接口，并且该方法还包括在启用用户接口之后至少部分地基于第一肌肉激活状态来控制所选物理对象的操作。

在另一方面，至少部分地用于确定第一肌肉激活状态的多个神经肌肉信号在第一时间段期间被记录，该方法还包括至少部分地根据多个神经肌肉信号和/或根据基于在第二时间段期间记录的多个神经肌肉信号的信息来确定第二肌肉激活状态，并且至少部分地基于所确定的第二肌肉激活状态来选择用户环境中的物理对象。

应当认识到，前面的概念和下面更详细讨论的另外的概念的所有组合(假设这样的概念不是相互不一致的)被设想为本文公开的创造性主题的一部分。特别是，出现在本公开的结尾处的所主张的主题的所有组合被设想为本文公开的创造性主题的一部分。

附图简述

将参考下面的附图来描述技术的各种非限制性实施例。应当认识到，附图不一定按比例绘制。

图1是根据本文描述的技术的一些实施例的用于使用神经肌肉信号来控制环境中的对象的基于计算机的系统的示意图；

图2是根据本文描述的技术的一些实施例的基于计算机的系统的示意图，该基于计算机的系统将增强现实(AR)系统与神经肌肉活动系统集成在一起；

图3是根据本文描述的技术的一些实施例的使用神经肌肉信号来选择和控制环境中的对象的过程的流程图；

图4示出了根据本文描述的技术的一些实施例的腕带，该腕带具有周向地布置在其上的EMG传感器；

图5示出了根据本文描述的技术的一些实施例的用户在键盘上打字时穿戴着图4的腕带；

图6A示出了根据本文描述的技术的一些实施例的可穿戴系统，该可穿戴系统具有围绕带周向布置的16个EMG传感器，该带被配置为围绕用户的下臂或手腕穿戴；

图6B是图6A中所示的16个EMG传感器之一的截面图；

图7A和图7B示意性地示出了基于计算机的系统的部件，其中实现了本文描述的技术的一些实施例。图7A示出了基于计算机的系统的可穿戴部分，并且图7B示出了连接到计算机的加密狗(dongle)部分，其中该加密狗部分被配置成与可穿戴部分通信；

图8A和图8B示出了根据一些实施例的使用短程无线技术自动选择物理对象的示例性场景；

图9示出了根据一些实施例的场景，其中用户可以选择和/或控制位于特定空间区域中的物理对象；

图10示出了根据一些实施例的用户可以选择和/或控制灯的操作的场景；以及

图11A-图11C示出了根据一些实施例的不同手势或姿势到设备的控制输入的映射。

详细描述

发明人已经发明了新颖的系统和技术，用于至少部分地基于由布置在用户穿戴的一个或更多个可穿戴设备上的神经肌肉传感器记录或检测的神经肌肉信号来选择和/或控制用户环境中的物理对象(例如，IoT设备)。根据本发明的各种实施例，可以从记录的和/或检测到的信号和/或基于信号的信息中识别用户的多个肌肉激活状态，以使得当用户环境中的对象被配置成接收控制信号时，能够改善对这些对象的选择和/或控制。对对象的控制可以直接从神经肌肉活动设备执行，或者间接经由另一个系统执行，例如增强现实(AR)系统或任何扩展或交叉现实系统(XR系统或环境)，包括但不限于混合现实(MR)、虚拟现实(VR)等。

本文公开的新颖系统和技术克服了与以下相关联的一个或更多个问题，例如：(i)必须通过在物理上靠近设备来直接与设备交互，(ii)当前接口的不灵活和限制性，(iii)与对象或设备的单向语音交互的笨拙(例如，可能不提供反馈)，(iv)当用户远离设备或在嘈杂的环境中时性能差，(v)在控制对象时缺乏私密性(例如，用户附近的其他人可能听到(overhear)控制命令)，和/或(vi)与用于控制设备操作的各种应用的繁琐、不一致或低效的交互。

根据本发明的各种实施例，可以至少部分地基于所识别的用户的肌肉激活状态来控制物理对象和设备的一个或更多个操作。对象或设备的操作可以包括用户可以基于记录的或检测到的信号来控制的对象或设备的任何方面。肌肉激活状态可以包括但不限于由用户执行的静态手势或姿势、由用户执行的动态手势、用户的肌肉下激活状态、由用户执行的肌肉拉伸或放松、或前述的任意组合(统称为或单独称为“肌肉激活状态”)。多个肌肉激活状态的识别允许分层或多级别方法来控制对象的操作。例如，在第一层(layer)/级别(level)，一个肌肉激活状态可以指示环境中的对象将被选择用于控制；在第二层/级别，另一个肌肉激活状态可以指示要控制的对象的特定操作；并且在第三层/级别，又一个肌肉激活状态可以指示如何控制对象的操作。应当理解，在不脱离本公开的范围的情况下，可以使用任何数量的肌肉激活状态和层。例如，在一些实施例中，单个肌肉激活状态既可以选择要控制的对象，也可以指示要控制的对象的操作。

在一个示例性实施例中，当用户执行第一手势时，可以记录或检测神经肌肉和/或辅助传感器信号。基于传感器信号识别的第一手势可以指示用户想要控制用户环境中的选定设备(例如，网络连接的或“智能”的恒温器)的操作/方面(例如，温度设置)。响应于系统检测到第一手势，恒温器可以显示与恒温器相关联的温度刻度盘(temperature dial)，或者可以向用户提供一些其他反馈，以向用户指示恒温器处于“温度控制”模式。当用户执行第二手势时，可以继续记录或检测传感器信号。响应于检测到第二手势或一系列手势，可以控制恒温器的温度设置，使得用户可以调节期望的温度。例如，一个或更多个顺时针旋转手势可以指示用户想要调高温度，而一个或更多个逆时针旋转手势可以指示用户想要调低温度。基于与这些动作相关联的传感器信号，所公开的示例性实施例可以识别特定手势和/或一系列手势，并且可以调节被控制的恒温器的温度设置。

如本文所用，术语“手势”指一个或更多个身体部位的静态或动态配置，包括一个或更多个身体部位的位置和与该配置相关联的力。例如，手势包括离散手势或“姿势”(例如将手掌向下压在实体表面上或抓住球)、连续手势(例如来回挥动手指或投掷球)、或离散手势和连续手势的组合(例如抓住并投掷球)。手势可以由被配置为提示用户执行手势的应用来定义，或者，手势可以由用户任意定义。在某些情况下，根据文化标准，手部和手臂手势可能是象征性的并用于交流。

根据一些实施例，可以至少部分地从由一个或更多个可穿戴传感器收集的原始(例如，未处理的)传感器信号中识别肌肉激活状态。在一些实施例中，可以至少部分地从基于经处理的传感器信号的信息中识别肌肉激活状态，其中使用放大、滤波、整流和/或其他形式的信号处理中的一种或更多种来处理由一个或更多个可穿戴传感器收集的原始传感器信号。在一些实施例中，可以至少部分地从一个或更多个经训练的推理模型的输出中识别肌肉激活状态，推理模型可以包括接收传感器信号(或传感器信号的经处理版本)作为一个或更多个输入的统计模型。

根据本发明的示例性实施例，基于记录的或检测到的传感器信号确定的肌肉激活状态可用于控制对象的各个方面/操作，从而减少对笨重且低效的输入设备的依赖。例如，可以检测和/或记录传感器数据，并且可以从获得的传感器数据中识别肌肉激活状态，而用户不必(1)在物理上非常靠近被控制的对象，或者(2)记住复杂的按钮或按键操作序列来控制对象的操作。为此，一些实施例涉及用于自然且直观地控制用户环境中的对象的技术，而不必(i)使用制造商提供的遥控器，(ii)靠近要控制的对象，或(iii)使用其他不灵活的控制技术。此外，根据本发明的实施例，从获得的传感器数据识别肌肉激活状态可以相对快速地执行，从而减少与控制对象的操作相关联的响应时间和等待时间。此外，一些实施例使得对对象的控制能够是用户可定制的，使得每个用户可以定义用于控制用户环境中的对象的一个或更多个方面/操作的用户特定控制方案。

如上面简要描述的，在一些实施例中，可以从记录的或检测到的传感器数据中直接识别各种肌肉激活状态。在其他实施例中，可以间接识别肌肉激活状态，包括至少部分地基于一个或更多个经训练的推理模型的一个或更多个输出。在一些实施例中，经训练的推理模型可以输出计算机生成的肌肉骨骼模型的节段(segment)的一个或更多个运动单元(motor unit)或肌肉激活，和/或位置、定向和/或力估计。在一个示例性实施例中，人类肌肉骨骼系统的全部或部分可以被建模为多节段铰接刚体系统，其中关节形成不同节段之间的接合部(interface)，并且关节角度限定了模型中连接节段之间的空间关系。关节处运动的限制由连接节段的关节类型和限制关节处运动范围的生物结构(例如，肌肉、肌腱、韧带)决定。例如，连接上臂和躯干的肩关节以及连接大腿和躯干的髋关节是球窝关节，其允许伸展和弯曲运动以及旋转运动。相比之下，连接上臂和前臂的肘关节以及连接大腿和小腿的膝关节允许更有限的运动范围。在该示例中，多节段铰接刚体系统可用于对人体肌肉骨骼系统的部分进行建模。然而，应当理解，人体肌肉骨骼系统的一些节段(例如，前臂)虽然在铰接刚体系统中近似为刚体，但是可以包括多个刚性结构(例如，前臂的尺骨和桡骨)，这些刚性结构在节段内提供了刚体模型没有明确考虑的更复杂的移动。因此，与本文所描述技术的一些实施例一起使用的铰接刚体系统的模型可以包括表示不是严格刚体的身体部位的组合的节段。应当理解，在不脱离本公开的范围的情况下，可以使用除多节段铰接刚体系统之外的物理模型来对人体肌肉骨骼系统的部分进行建模。

进一步地，在运动学中，刚体是表现出各种运动属性(例如，位置、定向、角速度、加速度)的物体。知道刚体一个节段的运动属性使得刚体其他节段的运动属性能够基于节段如何连接的约束来被确定。例如，手可以被建模为多节段铰接体，手腕和每个手指中的关节形成模型中多个节段之间的接合部。在一些实施例中，如下面更详细描述的，刚体模型中节段的运动可以被模拟为铰接刚体系统，其中节段相对于模型中其他节段的位置(例如，实际位置、相对位置或定向)信息使用经训练的推理模型来被预测。

作为一个非限制性示例，本文描述的由肌肉骨骼表示近似的人体部分是手或者手和一个或更多个手臂节段的组合。在肌肉骨骼表示中，用于描述节段之间的位置关系、单个节段或节段组合的力关系、以及节段之间的肌肉和运动单元激活关系的当前状态的信息在本文被称为肌肉骨骼表示的手部状态(handstate)。然而，应当理解，本文描述的技术也适用于除了手之外的身体部分的肌肉骨骼表示，这些身体部分包括但不限于手臂、腿、脚、躯干、颈部或前述的任何组合。

除了空间(例如，位置/定向)信息之外，本发明的一些实施例被配置成预测与肌肉骨骼表示的一个或更多个节段相关联的力信息。例如，可以估计由一个或更多个节段施加的线性力或旋转(扭矩)力。线性力的示例包括但不限于手指或手按压在诸如桌子的实体对象上的力，以及当两个节段(例如，两个手指)捏合(pinch)在一起时施加的力。旋转力的示例包括但不限于，当手腕或手指中的节段扭转或弯曲时产生的旋转力。在一些实施例中，被确定为当前手部状态估计的一部分的力信息包括捏合力信息、抓握力信息或关于由肌肉骨骼表示所表示的肌肉之间的共收缩力的信息中的一个或更多个。

图1示出了根据本发明一些实施例的系统100，例如神经肌肉活动系统。该系统包括一个或更多个传感器110，其被配置为检测和/或记录与人体的一个或更多个部分内的运动单元的激活相关的信号。传感器110可以包括多个神经肌肉传感器，其被配置为检测和/或记录由人体骨骼肌中的神经肌肉活动产生的信号。本文使用的术语“神经肌肉活动”是指对支配肌肉的脊髓运动神经元的神经激活、肌肉激活、肌肉收缩或者前述的任意组合。在一些实施例中，用于选择和/或控制用户环境中的对象的信息可以至少部分地基于感测到的和/或检测到的神经肌肉信号和/或运动单元活动来被确定。

传感器110可以包括一个或更多个惯性测量单元(IMU)，其使用例如加速度计、陀螺仪、磁力计或前述的任意组合来测量运动的物理方面的组合。在一些实施例中，IMU可以用于感测关于附接有IMU的身体部位的移动的信息，并且当用户随时间的推移而移动时，从检测到的数据导出的信息(例如，位置和/或定向信息)可以被跟踪。例如，当用户随时间的推移而移动时，一个或更多个IMU可以用于跟踪用户躯干近端的用户身体部分(例如，手臂、腿)相对于传感器的移动。

在包括至少一个IMU和多个神经肌肉传感器的实施例中，IMU和神经肌肉传感器可以被布置成检测人体的相同或不同部位的移动。例如，IMU可以被布置成检测躯干近端的一个或更多个体段(例如，上臂)的移动，而神经肌肉传感器可以被布置成检测躯干远端的一个或更多个体段(例如，前臂或手腕)内的运动单元的活动。然而，应当理解，传感器可以以任何合适的方式被布置，并且本文所描述技术的实施例不限于基于任何特定的传感器布置。例如，在一些实施例中，至少一个IMU和多个神经肌肉传感器可以共同位于一个体段上，以使用不同类型的测量来跟踪运动单元的活动和/或体段的移动。在下面更详细描述的一个实现方式中，一个IMU传感器和多个EMG传感器被布置在可穿戴设备上，该可穿戴设备被配置成围绕用户的下臂或手腕穿戴。在这样的布置中，IMU传感器可以被配置成跟踪与一个或更多个手臂节段相关联的移动信息(例如，随时间的定位和/或定向)，以确定例如用户是已经举起了还是已经放下了他们的手臂，而EMG传感器可以被配置成确定与手腕或手的肌肉中的肌肉下结构的激活相关联的肌肉下信息。

在执行运动任务期间，随着肌肉张力的增加，活跃神经元的放电率(firing rate)增加，并且额外的神经元可能变得活跃，这是被称为运动单元募集(recruitment)的过程。神经元变得活跃并增加其放电率的模式是定型的，使得预期的运动单元募集模式定义了与标准或正常移动相关联的活动流形(manifold)。一些实施例记录单个运动单元或一组运动单元的激活，所述单个运动单元或一组运动单元是“脱离流形的(off-manifold)”，因为运动单元激活的模式不同于预期的或典型的运动单元募集模式。这种脱离流形的激活在本文中被称为“肌肉下激活”或“肌肉下结构的激活”，其中肌肉下结构是指与脱离流形的激活相关联的单个运动单元或一组运动单元。脱离流形的运动单元的募集模式的示例包括但不限于选择性地激活高阈值运动单元而不激活通常会按照募集顺序较早激活的低阈值运动单元，以及在相当大的范围内调节运动单元的放电率而不调节通常会在典型的运动募集模式中共同调节的其他神经元的活动。在一些实施例中，多个神经肌肉传感器可以用于感测肌肉下激活，而没有可观察到的运动(observable movement)。根据本文描述的技术的一些实施例，肌肉下激活可以至少部分地用于控制用户环境中的对象。

每个传感器110包括被配置成感测关于用户或其环境的信息的一个或更多个感测部件。在IMU的情况下，感测部件可以包括一个或更多个加速度计、陀螺仪、磁力计或其任意组合，以测量身体运动的特性，该特性的示例包括但不限于加速度、角速度和身体周围感测到的磁场。在神经肌肉传感器的情况下，感测部件可以包括但不限于被配置为检测身体表面上的电势的电极(例如，对于EMG传感器)、被配置为测量皮肤表面振动的振动传感器(例如，对于MMG传感器)、和/或被配置为测量由肌肉活动产生的超声波信号的声学感测部件(例如，对于SMG传感器)。

在一些实施例中，多个传感器中的至少一些被布置为可穿戴设备的一部分，该可穿戴设备被配置成穿戴在用户身体部位之上或围绕用户身体部位穿戴。例如，在一个非限制性示例中，IMU传感器和多个神经肌肉传感器围绕可调整的和/或弹性的带(诸如被配置成围绕用户的手腕或手臂穿戴的腕带或臂带)周向地布置。可替换地，至少一些传感器可以布置在可穿戴贴片上，该可穿戴贴片被配置成附着到用户身体的一部分。在一些实施例中，多个可穿戴设备(每个可穿戴设备上包括一个或更多个IMU和/或神经肌肉传感器)可用于基于来自涉及身体一个或更多个部位的肌肉下结构和/或运动的激活来生成选择和/或控制信息。

在一个实现方式中，16个EMG传感器围绕弹性带周向地布置，该弹性带被配置成围绕用户的下臂穿戴。例如，图4示出了围绕弹性带502周向地布置的EMG传感器504。应当理解，可以使用任何合适数量的神经肌肉传感器，并且所使用的神经肌肉传感器的数量和布置可以取决于可穿戴设备所用于的特定应用。例如，可穿戴臂带或腕带可以用于生成控制信息，以控制机器人、控制车辆、滚动浏览文本、控制虚拟化身或任何其他合适的控制任务。例如，如图5所示，用户506可以在手508上穿戴弹性带502。以这种方式，EMG传感器504可以被配置成在用户使用手指540控制键盘530时记录EMG信号。在一些实施例中，弹性带502也可以包括被配置成如上讨论地记录移动信息的一个或更多个IMU(未示出)。

图6A-图6B和图7A-图7B示出了本技术的可穿戴系统的其他实施例。具体地，图6A示出了具有多个传感器610的可穿戴系统，传感器610围绕弹性带620周向地布置，弹性带620被构造成穿戴在用户的下臂或手腕周围。传感器610可以是神经肌肉传感器(例如，EMG传感器)。如图所示，可以有十六个传感器610以规则的间隔围绕弹性带620周向地布置。应当理解，可以使用任何合适数量的传感器610，并且间隔不必是规则的。传感器610的数量和布置可以取决于使用可穿戴系统的特定应用。例如，与大腿相比，当可穿戴系统穿戴在手腕上时，传感器610的数量和布置可以不同。可穿戴系统(例如，臂带、腕带、大腿带等)可用于生成控制信息，以用于控制XR系统、控制机器人、控制车辆、滚动浏览文本、控制虚拟化身和/或执行任何其他合适的控制任务。

在一些实施例中，传感器610可以仅包括一组神经肌肉传感器(例如，EMG传感器)。在其他实施例中，传感器610可以包括一组神经肌肉传感器和至少一个辅助设备。辅助设备可以被配置为连续地感测和记录一个或更多个辅助信号。辅助设备的示例包括但不限于IMU、麦克风、成像设备(例如，相机)、与辐射产生设备(例如，激光扫描设备)一起使用的基于辐射的传感器、心率监视器以及可以捕获用户状况或用户的其他特征的其他类型的设备。如图6A所示，传感器610可以使用结合到可穿戴系统中的柔性电子器件630被耦合在一起。图6B示出了图6A所示的可穿戴系统的传感器610之一的截面图。

在一些实施例中，可以使用硬件信号处理电路来可选地处理(例如，执行放大、滤波和/或整流)传感器610的一个或更多个感测部件的输出。在其他实施例中，感测部件的输出的至少一些信号处理可以使用软件执行。因此，由传感器610采样的信号的信号处理可以由硬件或软件来执行，或者由硬件和软件的任何合适的组合来执行，因为本文描述的技术的方面不限于此方面。下面结合图7A和图7B更详细地讨论用于处理来自传感器610的记录数据的信号处理过程的非限制性示例。

图7A和图7B示出了根据本文所描述技术的一些实施例的具有16个传感器(例如，EMG传感器)的可穿戴系统的内部部件的示意图。如图所示，可穿戴系统包括可穿戴部分710(图7A)和加密狗部分720(图7B)。虽然未示出，但是加密狗部分720(例如，通过蓝牙或另一种合适的短程无线通信技术)与可穿戴部分710通信。如图7A所示，可穿戴部分710包括传感器610，传感器610的示例在上文结合图6A和图6B进行了描述。传感器610向模拟前端730提供输出(例如，信号)，模拟前端730对该信号执行模拟处理(例如，降噪、滤波等)。由模拟前端730产生的经处理的模拟信号然后被提供给模数转换器732，模数转换器732将经处理的模拟信号转换成可由一个或更多个计算机处理器处理的数字信号。根据一些实施例，可以使用的计算机处理器的示例是微控制器(MCU)734。如图7A所示，MCU 734还可以接收来自其他传感器(例如，IMU 740)和来自电源和电池模块742的输入。应当理解，MCU 734可以从未具体示出的其他设备接收数据。MCU 734的处理输出可以被提供给天线750，用于传输到加密狗部分720(如图7B所示)。

加密狗部分720包括与可穿戴部分710的天线750通信的天线752。可以使用任何合适的无线技术和协议(其非限制性示例包括射频信令和蓝牙)进行天线750和752之间的通信。如图所示，由加密狗部分720的天线752接收的信号可以被提供给主计算机用于进一步处理、用于显示和/或用于实现对特定物理或虚拟对象的控制(例如，在AR或VR环境中执行控制操作)。

虽然参考图6A、图6B、图7A和图7B提供的示例是在与EMG传感器的接口的上下文中讨论的，但是应当理解，本文描述的可穿戴系统也可以用其他类型的传感器来实现，包括但不限于肌动图(MMG)传感器、声肌图(SMG)传感器和电阻抗断层成像(EIT)传感器。

在一些实施例中，多个可穿戴设备(每个可穿戴设备上包括一个或更多个IMU和/或神经肌肉传感器)可用于基于与涉及身体一个或更多个部位的肌肉下结构和/或运动相关联的神经肌肉和/或运动单元激活来生成选择和/或控制信息。

在一些实施例中，可以可选地处理记录的传感器数据，以计算额外的导出测量值。例如，来自IMU传感器的所记录的信号可以被处理，以导出指定体段随时间推移的定向的定向信号。传感器可以使用集成感测部件的部件来实现信号处理，或者至少一部分信号处理可以由与传感器110的感测部件通信但不直接集成的一个或更多个部件来执行。

系统100还包括被编程为与传感器110通信的一个或更多个计算机处理器112。例如，由一个或更多个传感器记录或检测的信号可以被提供给处理器112，处理器112可以被编程为执行一个或更多个机器学习算法，该机器学习算法处理由传感器110输出的信号以训练一个或更多个推理模型114，并且经训练的(或重新训练的)推理模型114可以被存储以供以后用于生成选择和/或控制信号，如下面更详细描述的。

在一些实施例中，推理模型114可以实现为神经网络，并且例如可以是循环神经网络。在一些实施例中，循环神经网络可以是长短期记忆(LSTM)神经网络。然而，应当理解，循环神经网络不限于LSTM神经网络，并且可以具有任何其他合适的架构。例如，在一些实施例中，循环神经网络可以是完全循环神经网络(fully recurrent neural network)、门控循环神经网络(gated recurrent neural network)、递归神经网络(recursive neuralnetwork)、Hopfield神经网络、联想记忆神经网络(associative memory neuralnetwork)、Elman神经网络、Jordan神经网络、回声状态神经网络(echo state neuralnetwork)、二阶循环神经网络(second order recurrent neural network)和/或任何其他合适类型的循环神经网络。在其他实施例中，可以使用不是循环神经网络的神经网络。例如，可以使用深度神经网络、卷积神经网络和/或前馈神经网络。

在一些实施例中，推理模型提供一个或更多个离散输出。例如，当期望的输出是知道在神经肌肉信号中是否检测到特定的激活模式(包括单独的神经尖峰事件(neuralspiking event))时，可以使用离散输出(例如，分类标签)。例如，可以训练模型来估计用户是否正在激活特定的运动单元、正在以特定的定时激活特定的运动单元、正在以特定的放电模式激活特定的运动单元、或者正在激活运动单元的特定组合。在较短的时间尺度上，在一些实施例中使用离散分类来估计特定的运动单元是否在给定的时间量内放电了动作电位。在这种场景下，这些估计然后可被累加，以获得该运动单元的估计的放电率。

在推理模型被实现为神经网络的实施例中，该神经网络配置为输出离散信号，该神经网络可以包括softmax层，使得输出加起来为1并且可以被解释为概率。softmax层的输出可以是对应于相应的控制信号集的值的集合，其中每个值指示用户想要执行特定控制动作的概率。作为一个非限制性示例，softmax层的输出可以是三个概率(例如，0.92、0.05和0.03)的集合，这三个概率指示检测到的活动模式是三个已知模式之一的相应概率。

应当理解，当推理模型被实现为被配置成输出离散信号的神经网络时，该神经网络不需要产生加起来为1的输出。例如，代替softmax层，神经网络的输出层可以是sigmoid层(其没有概率加起来为1的限制)。在这样的实施例中，可以用sigmoid交叉熵代价来训练神经网络。当多个不同的控制动作可能在阈值时间量内发生并且区分这些动作发生的顺序并不重要(例如，用户可能在阈值时间量内激活两种神经活动模式)时，在这种情况下这种实现方式可以是有利的。在一些实施例中，可以使用任何其他合适的非概率多级别分类器，因为本文所描述技术的各方面不限于该方面。

在一些实施例中，推理模型的输出可以是连续信号，而不是离散信号。例如，该模型可以输出每个运动单元的放电率的估计，或者该模型可以输出对应于每个运动单元或肌肉下结构的时间序列电信号。

应当理解，本文所描述技术的各方面不限于使用神经网络，因为在一些实施例中可以采用其他类型的推理模型。例如，在一些实施例中，推理模型可以包括隐马尔可夫模型(HMM)、切换HMM(其中切换允许在不同动态系统之间跳变)、动态贝叶斯网络(dynamicBayesian network)和/或具有时间分量的任何其他合适的图形模型。可以使用记录的传感器信号来训练任何这样的推理模型。

作为另一个示例，在一些实施例中，推理模型是将从记录的传感器信号中导出的特征作为输入的分类器。在这样的实施例中，可以使用从传感器数据提取的特征来训练分类器。分类器可以是支持向量机(support vector machine)、高斯混合模型、基于回归的分类器、决策树分类器、贝叶斯分类器和/或任何其他合适的分类器，因为本文所描述技术的各方面不限于该方面。要提供给分类器的输入特征可以以任何合适的方式从传感器数据导出。例如，可以使用小波(wavelet)分析技术(例如，连续小波变换、离散时间小波变换等)、傅立叶分析技术(例如，短时傅立叶变换、傅立叶变换等)和/或任何其他合适类型的时间频率分析技术将传感器数据分析为时间序列数据。作为一个非限制性示例，可以使用小波变换来对传感器数据进行变换，并且可以将得到的小波系数作为输入提供给分类器。

在一些实施例中，可以根据训练数据来估计推理模型的参数的值。例如，当推理模型被实现为神经网络时，可以根据训练数据来估计神经网络的参数(例如，权重)。在一些实施例中，可以使用梯度下降、随机梯度下降和/或任何其他合适的迭代优化技术来估计推理模型的参数。在推理模型被实现为循环神经网络(例如，LSTM)的实施例中，可以使用随机梯度下降和时间反向传播来训练推理模型。训练可以采用交叉熵损失函数(cross-entropyloss function)和/或任何其他合适的损失函数，因为本文所描述技术的各方面不限于该方面。

系统100还包括一个或更多个控制器116。例如，控制器116可以是被配置成在显示器上显示视觉表示(例如，手的视觉表示)的显示控制器。如下文更详细讨论的，一个或更多个计算机处理器可以实现一个或更多个经训练的推理模型，该推理模型接收作为输入的传感器信号，并提供作为输出的信息，该信息用于生成控制信号，以例如选择和控制用户环境中的对象。

一些实施例涉及至少部分地使用一个或更多个推理模型来将神经肌肉信号和/或从神经肌肉信号导出的信息映射到选择和/或控制信号。根据各种实施例，当用户执行一个或更多个肌肉或肌肉下激活时，推理模型可以接收IMU信号、神经肌肉信号(例如，EMG、MMG和SMG信号)、从神经肌肉信号提取的信息(例如，尖峰序列数据(spike train data))、外部设备或辅助设备信号(例如，相机或激光扫描信号)、或前述的任意组合作为输入。推理模型可用于预测选择和/或控制信息，而无需用户进行可感知的运动。

可选地，系统100还包括用户接口118。基于由传感器110记录和/或检测并由处理器112处理的信号而确定的反馈可以经由用户接口118来提供，以便于用户理解系统如何解释用户的意图。用户接口118可以以任何合适的方式实现，包括但不限于音频接口、视频接口、触觉接口和电刺激接口，或者前述的任意组合。

系统100的架构可以采取任何合适的形式。一些实施例采用薄架构，其中处理器112作为一个或更多个设备的一部分(或多个部分)被包括，该一个或更多个设备与布置在一个或更多个可穿戴设备上的多个神经肌肉传感器110分离并与之通信。神经肌肉传感器可以被配置成基本实时地将多个神经肌肉信号和/或从多个神经肌肉信号导出的信息无线流式传送到处理器112，用于处理，包括但不限于选择和控制用户环境中的对象。与多个神经肌肉传感器分离并与之通信的设备可以是例如远程服务器、台式计算机、膝上型计算机、智能手机、诸如智能手表的可穿戴电子设备、健康监控设备、智能眼镜或增强现实系统。

一些实施例采用厚架构，其中处理器112与一个或更多个可穿戴设备集成在一起，神经肌肉传感器110布置在该可穿戴设备上。在又一实施例中，神经肌肉信号的处理被划分在多个处理器之间，其中至少一个处理器与传感器110集成，并且其中至少一个处理器被包括作为与传感器110分离并与之通信的设备的一部分。在这样的实施方式中，神经肌肉传感器可以被配置成将至少一些记录的神经肌肉信号传输到远离传感器的第一计算机处理器。第一计算机处理器可以被编程为基于传输的神经肌肉信号来训练至少一个推理模型。然后，第一计算机处理器可以被编程为将经训练的至少一个推理模型传输到第二计算机处理器，该第二计算机处理器与其上布置有传感器的一个或更多个可穿戴设备集成在一起。第二计算机处理器可以被编程为使用从第一计算机处理器传输的至少一个经训练的推理模型来选择和/或控制用户环境中的对象。以这种方式，训练/拟合过程和使用经训练的模型的实时过程可以通过由不同的处理器执行来分离。

在一些实施例中，计算机应用可以被配置成模拟扩展现实、交叉现实或XR环境(例如，虚拟现实(VR)或增强现实(AR)环境)，并且可以被指示显示诸如化身的视觉角色(例如，经由控制器116)。可以基于一个或更多个经训练的推理模型的输出来显示虚拟扩展现实环境中的视觉角色的部分的定位、移动和/或施加的力。当连续信号被传感器110记录并被经训练的推理模型104处理以提供实时更新的角色的移动的计算机生成的表示时，视觉表示可以被动态更新。

在任一系统中生成的信息(AR相机输入、传感器输入)可用于改善用户体验、准确性、反馈、推理模型、校准功能和整个系统的其他方面。为此，例如，在AR环境中，系统100可以包括AR系统，该AR系统包括一个或更多个处理器、相机和(例如，经由AR眼镜或其他观看设备)在用户视野(view)内提供AR信息的显示器。系统100还可以包括将AR系统与基于计算机的系统耦合的系统元件，该基于计算机的系统基于传感器数据生成肌肉骨骼表示。例如，这些系统可以经由专用或其他类型的计算机系统耦合，该计算机系统从生成基于计算机的肌肉骨骼表示的AR系统接收输入。这种系统可以包括游戏系统、机器人控制系统、个人计算机或能够解释AR和肌肉骨骼信息的其他系统。AR系统和生成基于计算机的肌肉骨骼表示的系统也可以被编程为直接或间接通信。这种信息可以使用任何数量的接口、协议或介质来传送。

如上所述，一些实施例涉及使用一个或更多个推理模型，以用于基于从可穿戴传感器记录的信号来预测肌肉骨骼信息。如上文在人体肌肉骨骼系统的部分可被建模为多节段铰接刚体系统的示例中简要讨论的，多节段铰接刚体模型中的节段之间的关节类型约束刚体的运动。附加地，不同的个体在执行可以在个体用户行为的统计模式中捕获到的任务时，倾向于以特有的方式移动。根据一些实施例，对人体运动的这些约束中的至少一些可以被明确地结合到用于预测的推理模型中。附加地或替代地，如上面简要讨论的，约束可以由推理模型通过基于记录的或检测到的传感器数据的训练来学习。

一些实施例涉及使用一个或更多个推理模型来预测信息，以实现基于计算机的肌肉骨骼表示的生成和/或实时更新。推理模型可用于基于以下信号来预测信息并维持肌肉骨骼表示的当前状态：IMU信号、神经肌肉信号(例如，EMG、MMG和SMG信号)、辅助或外部设备信号(例如，相机或激光扫描信号)、当用户执行一个或更多个肌肉收缩或运动时从用户检测到的任何信号、或前述的任何组合。例如，如上所述，与AR系统相关联的相机可用于捕获与基于计算机的肌肉骨骼表示相关的实际位置数据，并且这种实际位置信息可用于提高表示的准确性。此外，推理模型的输出可用于在AR/VR环境中生成基于计算机的肌肉骨骼表示的视觉表示。例如，可以在AR系统的视觉显示器中呈现以下项的视觉表示：肌肉群放电、施加力、通过移动输入的文本或由基于计算机的肌肉骨骼表示产生的其他信息。在一些实施例中，其他输入/输出设备(例如，听觉输入/输出、触觉设备等)可用于进一步提高整个系统的准确性和/或用户体验。

图2示出了示例性实施例的示意图，其中基于分布式计算机的系统200将增强现实(AR)系统201与神经肌肉活动系统202集成在一起。神经肌肉活动系统202类似于上面参照图1描述的示例性系统100。

通常，X现实或交叉现实系统(例如增强现实(AR)系统201)可以采取一副护目镜、眼镜、头戴式显示器或向用户显示显示元素的其他类型的设备的形式，这些显示元素可以叠加(superimpose)在“现实”上，在某些情况下，“现实”可以是用户对环境的观察(例如，通过用户的眼睛看到的)，或者是用户对环境的观察的(例如，通过相机)捕获版本。在一些实施例中，AR系统201可以包括安装在用户穿戴的设备内的一个或更多个相机(例如，相机204)，该相机捕获用户在其环境中经历的一个或更多个观察。系统201可以具有在用户设备内和/或在外围设备或计算机系统内操作的一个或更多个处理器205，并且这样的处理器可以发送和接收视频信息和其他类型的传感器数据。

AR系统201还可以包括一个或更多个传感器207，例如麦克风、GPS元件、加速度计、红外探测器、触觉反馈元件或任何其他类型的传感器。在一些实施例中，AR系统201可以是基于音频的或听觉的AR系统，并且一个或更多个传感器207还可以包括一个或更多个耳机或扬声器。此外，AR系统201还可以具有一个或更多个显示器208，除了AR系统呈现的用户环境的视图之外，显示器208还允许AR系统向用户覆盖(overlay)和/或显示信息。AR系统201还可以包括一个或更多个通信接口(例如接口206)，用于向一个或更多个计算机系统(例如，游戏系统或能够呈现或接收AR数据的其他系统)传送信息。AR系统可以采取多种形式，并由许多不同的制造商提供。例如，各种实施例可以结合一种或更多种类型的AR系统来实现。例如，各种实施例可以用可从微软公司获得的HoloLens全息现实眼镜、可从Magic Leap获得的Lightwear AR头戴式装置(headset)、可从Alphabet获得的Google Glass AR眼镜、可从ODG获得的R-7智能眼镜系统或任何其他类型的AR和/或VR设备来实现。尽管通过示例的方式进行了讨论，但是应当理解，一个或更多个实施例可以在VR系统中实现。

AR系统201可以通过一种或更多种通信方法可操作地耦合到神经肌肉活动系统202，这些通信方法包括但不限于蓝牙协议、Wi-Fi、类似以太网的协议或任何数量的连接类型。应当理解，例如，系统201和202可以直接连接或通过一个或更多个中间计算机系统或网络元件耦合。

神经肌肉活动系统202可以在结构和功能上类似于上面参照图1描述的示例性系统100。具体地，系统202可以包括一个或更多个神经肌肉传感器209、一个或更多个推理模型210，并且可以创建、维护和存储肌肉骨骼表示211。根据上面讨论的示例性实施例，系统202可以包括诸如带的设备，用户可以穿戴该设备以收集和分析神经肌肉信号。此外，系统202可以包括一个或更多个通信接口212，其允许系统202例如通过蓝牙、Wi-Fi或其他通信方法与AR系统201通信。值得注意的是，AR系统201和神经肌肉活动系统202可以传递信息，该信息可以用于增强用户体验和/或允许AR系统更准确和有效地运行。

尽管图2描述了将AR系统201与神经肌肉活动系统202集成在一起的基于分布式计算机的系统，但是应当理解，该集成本质上可以是非分布式的。在一些实施例中，神经肌肉活动系统202可以集成到AR系统201中，使得神经肌肉活动系统202的各种部件可以被认为是AR系统的一部分。例如，由神经肌肉传感器209记录的神经肌肉信号可以被视为对AR系统201的任何其他输入(例如，来自相机204、传感器207的输入)。此外，从神经肌肉传感器209获得的传感器信号的处理可以集成到AR系统201中。

图3示出了根据一些实施例(包括XR环境)的用于控制用户环境中的对象的操作的过程300。在动作310中，当用户激活一个或更多个运动单元时，由布置在用户穿戴的一个或更多个可穿戴设备上的多个神经肌肉传感器检测和/或记录多个神经肌肉信号。过程300然后前进到动作320，在动作320中，可选地处理记录的神经肌肉信号。例如，记录的神经肌肉信号可以在被用于选择和/或控制用户环境中的对象之前被过滤、放大或以其他方式处理。

过程300然后前进到动作330，在动作330中，选择用户环境中的物理对象进行控制。在一些实施例中，至少部分地基于用户提供的信息来执行对对象的选择。用户可以(例如，通过触摸对象的一个或更多个部分)直接与对象交互来选择对象。可选地，用户可以通过如下操作来选择对象而不触摸对象：例如使用语音指令或者提供一些其他类型的输入，而不需要物理触摸对象。在其他实施例中，可以至少部分地基于记录的和/或检测到的神经肌肉信号或从记录的和/或检测到的神经肌肉信号导出的信息来执行对对象的选择。例如，如本文所述，可以根据至少部分地基于神经肌肉信号(例如，使用推理模型)确定的手势或姿势来选择对象。

在一些实施例中，可以自动执行对对象的选择(例如，无需用户输入)，并且该选择可以部分或全部基于来自一个或更多个传感器(例如，被配置为跟踪用户在环境中看哪里的相机或眼睛跟踪设备)的信息。在又一实施例中，可以部分地基于自动化技术(例如，相机可以识别相机视场中的多个对象)并且部分地基于用户提供的信息(例如，至少部分地基于检测到和/或记录的神经肌肉信号来对相机视场中的所识别的多个对象之一进行用户选择)来执行对对象的选择。

在一些实施例中，可以至少部分地基于用户上下文和/或用户行为来执行对对象的选择。例如，对对象的选择可以至少部分地基于用户行为，例如关于用户和一个或更多个对象之间的一个或更多个最近交互的信息。例如，如果用户最近通过在新的音轨上按下播放来控制特定设备(例如智能扬声器)，则可以自动选择智能扬声器，并且可以使用至少部分地基于检测到的和/或记录的神经肌肉信号确定的肌肉激活来改变所选择的智能扬声器的音量。在另一示例中，对对象的选择可以至少部分地基于用户上下文，例如用户的当前位置(例如，用户当前位于哪个环境(例如，房间))的信息。关于用户当前位置的信息可以以任何合适的方式确定，包括但不限于使用NFC、另一种近场技术和全球定位系统(GPS)。至少部分地基于位置信息，可以选择用户环境中的物理对象(例如，特定房间中的灯开关)进行控制。

在至少部分地基于记录的和/或检测到的神经肌肉信号和/或从记录的和/或检测到的神经肌肉信号导出的信息来执行对对象选择的实施例中，系统可以存储描述神经肌肉信号和/或从神经肌肉信号导出的信息和能够由用户选择的一个或更多个物理对象之间的关联的信息。该关联信息可以本地存储在系统100中，或者远程存储在与系统100直接或间接连接的连接系统中。例如，检测到的和/或记录的神经肌肉信号和环境中能够由用户选择的一个或更多个物理对象之间的映射可以由一个或更多个存储的经训练的统计或推理模型来表示。一个或更多个推理模型可以被训练成提供与对特定对象的选择相关联的识别手势作为输出。例如，识别的“竖起大拇指”手势可以与对环境中的灯的选择相关联，而识别的“握紧拳头”手势可以与对环境中的恒温器的选择相关联。这样的设备可以在本文描述的环境中(例如，通过Wi-Fi、蓝牙等)连接。或者，在一些实施例中，对一个或更多个手势的识别可以与用户身体的一个或更多个部分(例如，用户的一只手或两只手)的肌肉骨骼表示相关联，并且一个或更多个经训练的推理模型的输出可以是更新肌肉骨骼表示的信息。在一些实施例中，记录的和/或检测到的神经肌肉信号可以直接映射到对用户环境中的一个或更多个物理对象的选择，而不使用识别的手势或肌肉骨骼表示。作为示例，一个或更多个经训练的推理模型可以包括多个经训练的推理模型，每个推理模型被训练来预测记录的神经肌肉信号是否与对用户环境中特定物理对象的选择相关联。

在一些实施例中，可以使用不依赖于记录的和/或检测到的神经肌肉信号的解释的技术，或者依赖于除了记录的和/或检测到的神经肌肉信号之外的信号并需要除了记录的和/或检测到的神经肌肉信号之外的信号的技术来执行对用户环境中的对象的选择。例如，在一些实施例中，可以至少部分地使用与用户相关联的通信设备(例如，用户的智能手机或与神经肌肉活动设备集成的通信设备)和与要选择的对象相关联的通信设备之间的无线通信来选择用户环境中的物理对象。例如，近场通信(NFC)可以在与用户相关联的NFC设备(例如，位于用户的智能手机内，与用户穿戴的可穿戴设备集成)和当用户靠近对象时与对象相关联的NFC设备之间建立，从而导致对对象的选择。在一些实施例中，NFC设备可以被实现为图4-图7所示的实施例中的部件，并且NFC设备可以使用射频识别(“RFID”)进行通信。在其他实施例中，可以使用诸如红外(IR)通信的视距无线通信技术来选择对象。在这样的实施例中，用户穿戴的IR通信设备(例如，与其上布置有神经肌肉传感器的可穿戴设备集成，包括图4-图7所示的示例性实施例)之间的IR通信可以被配置为发射由位于要选择的对象上的IR传感器读取的IR图案。或者，对象可以发射IR图案，该IR图案由与用户相关联的IR传感器读取，以唯一地识别要控制的对象。

在一些实施例中，当期望选择对象时，可以向用户环境中的一个或更多个对象发射广播信号，以指示对象开始发射IR图案，从而不需要一直发射IR图案。这种广播信号可以由系统以各种方式发起和检测，包括通过检测用户的神经肌肉活动和响应于特定用户的神经肌肉活动而打开广播信号。可选地，对于上述一个或两个实施例，本文公开的系统可以基于检测到的神经肌肉信号或图案以及从环境中的一个或更多个对象发出的信号的组合来选择用户环境中的一个或更多个对象。例如，与要控制的对象相关联的IR传感器只能由用户在对象发射由系统定义的特定IR图案并且用户也同时产生特定神经肌肉信号或图案的特定时间期间选择。

图8A和图8B示出了根据本发明的一些实施例的场景，其中用户环境中的物理对象至少部分地基于用户和可选择的物理对象的接近度来被自动选择。如图8A所示，穿戴(例如，穿戴在手腕上)可穿戴设备802的用户801位于包括多个可选择的物理对象的房间中，这些物理对象包括智能灯803、智能恒温器804和智能手机805。当用户在房间中移动时，对用于控制的物理对象的自动选择可以基于可穿戴设备802相对于房间中的一个或更多个可选择的物理对象的接近度而改变。例如，图8A示出了用户801穿戴的可穿戴设备802最接近房间中所示的三个可选择的物理对象中的灯803(即，可穿戴设备802相对于恒温器804和智能手机805更靠近灯803)。响应于检测到灯803是离可穿戴设备802最近的可选择对象(或者例如在阈值距离内)，无线通信会话806(例如，近场通信连接，诸如NFC、蓝牙、红外(IR)等)可以被建立，使得由可穿戴设备生成的控制命令(例如，响应于用户执行肌肉激活，其示例在本文进行了描述)可以被用于经由无线通信会话806控制所选对象的操作。

图8B示出了类似于图8A所示的场景，但是其中用户801已经在房间中移动，使得可穿戴设备802位于更靠近搁在桌子上的智能手机805的位置，而不是其他可选择的物理对象(即，智能灯803和智能恒温器804)。响应于确定可穿戴设备802相对于其他可选择的物理对象最靠近智能手机805，可以在可穿戴设备802和智能手机805之间建立通信会话806，以使用户801能够使用如本文所述的肌肉激活来控制智能手机805的一个或更多个操作。在一些实施例中，可以提供反馈来通知用户当前选择了环境中的哪个可选择的物理对象。

在采用无线通信技术进行对象选择的一些实施例中，可以在选择物理对象之前实施一种或更多种安全技术，以确保用户被授权选择对象进行控制。一种或更多种安全技术可能要求用户使用例如指纹或视网膜扫描仪或使用语音认证来认证他们的身份。在一些实施例中，至少部分地基于对由多个神经肌肉传感器记录和/或检测的神经肌肉信号的分析来执行用户认证。在这样的实施例中，系统可以存储用于识别特定用户的一个或更多个用户认证模板，并且记录的和/或检测到的神经肌肉信号可以与所存储的用户认证模板进行比较以识别用户。

至少在某些情况下，对连接设备的访问控制和认证不是最佳的，尤其是在连接设备被许多用户访问的环境中(例如，连接家庭中的扬声器或门锁)。根据本文描述的各种实施例，可以通过检测用户的唯一神经肌肉信号(例如，如本文描述的由神经肌肉传感器的臂带或腕带阵列记录的神经肌肉信号)来实现对连接设备的用户的访问控制和认证。能够通过神经肌肉信号进行认证和/或访问控制的连接设备可以基于神经肌肉信号的唯一模式来自动识别连接设备附近的用户，允许该用户访问和控制连接设备和/或激活连接设备的个性化用户简档(user profile)。例如，穿戴如本文所述的具有神经肌肉传感器阵列的装置的用户可以进入具有被配置用于神经肌肉认证的连接灯的房间，从而使得连接灯例如加载针对该用户个性化的特定调色板或亮度等级。

在一些实施例中，通过将用户环境分成不同的空间区来执行对用户环境中要控制的物理对象的选择，其中能够选择的对象被布置在用户环境的不同空间区中。图9示出了一种场景，其中用户的环境被分成空间区(region)、区域(area)或地带(zone)，其中包括可选择的物理对象。如图所示，穿戴(例如，穿戴在手腕上的)可穿戴设备802的用户901正站在用户视场内具有多个可选择的物理对象的房屋前面。第一空间区域906包括具有例如智能窗帘的窗户904。第二空间区域907包括门905，门905连接有智能钥匙锁或小键盘。第三空间区域908包括车库门903，车库门903连接有智能车库门开启器。用户可以指向三个空间区域(例如，区域906、907、908)中的一个，以指示用户想要控制哪个相应的对象(例如，前门智能钥匙锁或小键盘、智能窗帘、智能车库门开启器)。在图9所示的示例中，用户正指向第二空间区域907，因此，选择具有附于其上的智能锁或小键盘的门905进行控制。可以以任何合适的方式确定用户指向哪个区域。例如，从布置在用户身体上的IMU传感器(例如，与可穿戴设备802上的一个或更多个神经肌肉传感器集成)记录的信号可用于确定用户指向哪个方向。在另一示例中，布置在环境内(例如，在房子的一部分上)或布置在用户901穿戴的可穿戴设备上的一个或更多个相机或其他外部设备(未示出)可以用于确定用户正在指向的方向，以确定用户想要选择用户环境中的哪个对象。

在一些实施例中，至少部分地使用用户穿戴的增强现实(AR)系统来执行对用户环境中要控制的对象的选择。例如，AR系统可以包括相机或其他感测设备(例如，眼睛跟踪设备)，其被配置为确定用户在用户的当前视场内正在看哪里。可以在由AR系统生成的增强现实环境中显示用户视场内的可选择的物理对象的指示，以便于用户选择对象。用户可以通过查看AR环境中的对象、指向该对象、从呈现在AR系统的用户界面上的可能选择的对象的列表中选择该对象、或者使用任何其他合适的选择技术来继续选择对象。例如，在一个实现中，AR系统可以被配置为在AR环境中显示光标。用户与神经肌肉活动系统和/或AR系统的交互可以导致AR环境中光标的显示位置的改变，并且对对象的选择可以至少部分地基于光标的显示位置。在一些实施例中，对在AR环境中识别的对象的选择可以至少部分地基于记录的和/或检测到的神经肌肉信号来选择。

在一些实施例中，至少部分地使用同步定位与地图构建(SLAM)系统来执行对用户环境中的对象的选择。在这样的实施例中，可以使用地图构建技术(例如基于LIDAR或基于相机的地图构建)来地图构建用户环境的至少一部分。基于用户在环境中指向的位置和环境地图构建信息，可以使用与用户相关联的传感器(例如，相机/激光传感器)来确定用户在环境中的位置以及用户可能在环境中指向什么对象。

在一些实施例中，前述技术的组合被组合以实现选择用户环境中的对象。例如，在包括AR系统的实施例中，无线通信系统(例如，IR通信)可以用于识别用户环境中的可选择和/或可控(例如，“智能”)设备或对象，并且AR系统可以在AR环境中向用户显示关于无线通信系统识别为可选择/可控的对象的指示。随后，用户可以至少部分地基于由用户穿戴的多个神经肌肉传感器记录和/或检测的神经肌肉信号来选择所指示的对象之一。也考虑了上述选择技术的其他组合，并且本公开的各方面不限于此方面。

返回到过程300，在选择了环境中的对象之后，过程300前进到动作340，在动作340中，可选地向用户提供反馈。这种反馈可以在用户执行控制所选对象的操作的动作之前向用户提供对象已经被选择的确认。在一些实施例中，待控制的一个或更多个对象在被选择时提供反馈。所选对象可以包括一个或更多个指示器(例如，可见的LED指示器、可听的扬声器指示器)，其被配置为在被选择时提供反馈。由所选对象提供的反馈可以是视觉反馈、听觉反馈、振动反馈或前述的任意组合。例如，选择的灯可以在被选择时闪烁或发光，或者与扬声器集成的一个或更多个LED可以在选择扬声器时提供组合的视觉和听觉反馈。听觉反馈可以作为音调来被提供，或者语音反馈可以作为对象已经被选择的指示来被提供。在用户环境中选择不同的对象会导致提供不同类型的选择反馈。此外，用户环境中的一些物理对象尽管能够被选择，但可能没有被配置为提供任何选择反馈。

在一些实施例中，使用不同于所选对象的设备来提供选择反馈。例如，选择反馈可以由与其上布置有神经肌肉传感器的可穿戴设备相关联的指示器来提供。例如，LED和/或位于可穿戴设备上的被配置为提供触觉反馈的刺激器可以用于在选择对象时提供反馈。在这样的实施例中，对于不同类型的所选对象，提供给用户的反馈可能不同(例如，不同的振动模式)。或者，无论选择哪个对象，提供给用户的反馈可以是相同的。在后一种情况下，尽管这种反馈可能不提供选择了哪个对象的指示，但是该反馈将使用户能够理解已经选择了对象。

一些实施例包括被配置为显示AR环境的AR系统。在这样的实施例中，AR系统可以被配置为在选择对象时向用户提供选择反馈。例如，与所显示的AR环境中的所选对象相关联的和/或覆盖在该所选对象上的视觉指示器可用于提供指示该对象已被选择的反馈。或者，在选择对象时，可以在AR环境中显示所选对象的控制界面，以通知用户哪个对象被选择。可以使用任何合适的视觉指示器，并且本公开的各方面不限于此方面。在一些实施例中，AR系统可以附加地或替代地提供除视觉反馈之外的反馈来指示对象选择。例如，这种类型的反馈包括但不限于听觉反馈、触觉反馈或者视觉反馈、听觉反馈、触觉反馈或任何其他感觉反馈中的任意两种或更多种的组合。

在一些实施例中，可以确定所选对象是否具有向用户提供选择反馈的能力。当确定所选对象能够向用户提供选择反馈时，可以不提供由另一设备(例如，与可穿戴设备相关联的设备)提供的附加反馈。然而，如果确定所选对象不具有向用户提供选择反馈的能力，则另一设备(例如，与可穿戴设备相关联的设备)可以在选择对象时提供反馈。

在一些实施例中，反馈可以仅在控制动作启动时提供给用户，从而不提供单独的选择反馈。例如，用户可以靠近他们家中的灯并用他们的手执行顺时针旋转手势。至少部分地基于检测到的和/或记录的对应于手势的神经肌肉信号生成的控制信号可用于(例如，通过增加亮度)控制灯的亮度。由此导致的亮度增加可以向用户提供反馈，即该灯被选择并且控制手势被正确识别。

在可选地向用户提供选择反馈之后，过程300前进到动作350，在动作350中，至少部分地基于由多个神经肌肉传感器检测和/或记录的神经肌肉信号来控制所选对象。例如，可以至少部分地基于从检测到的和/或记录的神经肌肉信号和/或从神经肌肉信号导出的信息中识别的一个或更多个肌肉激活状态，生成一个或更多个控制信号并将其传送给所选对象。一个或更多个控制信号可以控制所选对象的各种操作。一个或更多个控制信号可以触发或以其他方式导致执行一个或更多个动作或功能，以实现对所选对象的一个或更多个操作的控制。

可以基于根据检测到的和/或记录的神经肌肉信号确定的用户的第一肌肉激活状态来确定要控制的所选对象的操作。例如，第一肌肉激活状态可以指示用户想要控制用户环境中的所选灯的亮度。在一些实施方式中，响应于要控制的操作的确定，系统100的一个或更多个计算机处理器可以生成第一控制信号并将其传送给所选对象。第一控制信号可以包括待控制对象的操作的标识。第一控制信号可以包括对所选对象的关于要控制的操作的指示。

在包括AR系统的一些实施例中，控制信号也可以被发送到AR系统以触发由AR系统执行的动作。发送到AR系统的控制信号可以是与第一控制信号相同的信号，也可以是不同的控制信号。例如，发送到AR系统的控制信号可以指示AR系统显示与所选对象相关联的屏幕(例如，设置屏幕，通过该设置屏幕可以控制所选灯的亮度)。在另一个示例中，AR系统对控制信号的接收可以使AR系统向用户传达(例如，通过在AR系统提供的AR环境中显示)关于如何使用由神经肌肉活动系统感测的肌肉激活来控制所选对象的操作的一个或更多个指令。例如，一个或更多个指令可以指示顺时针旋转手势可以用于增加所选灯的亮度和/或逆时针旋转手势可以用于降低所选灯的亮度。在一些实施例中，一个或更多个指令可以包括如何执行手势来控制所选对象的操作的视觉演示和/或文本描述。在一些实施例中，一个或更多个指令可以隐含地指示用户，例如，经由空间排列的菜单，该菜单隐含地指示顺时针旋转手势可以用于增加所选灯的亮度。

在一些实施例中，从记录的和/或检测到的神经肌肉信号中识别的第二肌肉激活状态可用于生成提供给所选对象的第二控制信号，以控制其操作。例如，第二肌肉激活状态可以包括一个或更多个第二肌肉激活状态，例如，一个或更多个顺时针旋转手势以指示用户想要增加所选灯的亮度，一个或更多个逆时针旋转手势以指示用户想要降低所选灯的亮度，和/或顺时针和逆时针手势的组合以将亮度调节到期望的水平。系统100的一个或更多个计算机处理器可以生成一个或更多个第二控制信号并将其传送给所选对象，以实现对操作的控制。

图10示出了一种场景，其中穿戴虚拟头戴式装置的用户1001和结合了神经肌肉传感器的可穿戴设备802使用肌肉激活状态来控制用户环境中智能灯1002的操作。为了能够控制灯1002，可以以任何合适的方式来选择灯，其示例在上文中讨论，并且包括但不限于基于接近度的选择、基于由可穿戴设备802检测到的用户的一个或更多个识别的肌肉激活状态的选择、基于语音输入的选择、基于指向的选择、基于用户上下文和/或用户行为的选择、或者上述的任意组合。一旦被选择，用户可以执行一个或更多个肌肉激活来控制所选灯1002的操作。例如，用户可以首先使用语音命令选择灯1002进行控制。随后，用户可以用他们的手执行模拟用户转动转盘的动态手势，该手势由可穿戴设备802解释以控制灯1002的操作(例如，亮度)，而无需物理触摸灯。尽管用户1001在图10中被示为穿戴虚拟头戴式装置，但是应当理解，并非所有实施例都需要使用虚拟/增强/扩展现实头戴式装置，并且图10中所示的虚拟头戴式装置仅是为了说明而提供的。

在一些实施例中，第一肌肉激活状态和/或第二肌肉激活状态可以包括由用户执行的静态手势(例如，姿势)。在一些实施例中，第一肌肉激活状态和/或第二肌肉激活状态可以包括由用户执行的动态手势。在其他实施例中，第一肌肉激活状态和/或第二肌肉激活状态可以包括用户的肌肉下激活状态。在其他实施例中，第一肌肉激活状态和/或第二肌肉激活状态可以包括由用户执行的肌肉拉伸。在一些实施例中，检测到的力(例如，由用户执行的肌肉拉伸)可以与由用户执行的手势相结合，以提供改善的动态范围。例如，用户可以在捏合两个手指的同时旋转他们的手腕/前臂，以控制所选灯的亮度，其中在两个被捏合的手指之间施加的力的大小调节用户想要的是大的变化(例如，通过用力捏合施加大的力)还是小的变化(例如，通过轻轻捏合两个手指)。

在上述示例中，基于两种(例如，第一和第二)肌肉激活状态来控制所选灯的亮度，一种用于选择要控制的操作，并且另一种用于执行该操作。然而，应当理解，这种控制可以基于一种或两种以上的肌肉激活状态来实现，而不脱离本公开的范围。在只有一种肌肉激活状态的情况下，该肌肉激活状态可用于确定或选择要控制的所选对象的操作，并向所选对象提供控制信号以控制操作。例如，可以识别肌肉激活状态(例如，顺时针旋转手势)，其指示用户想要增加所选灯的亮度，并且可以基于单个肌肉激活状态向所选灯提供控制信号以增加其亮度。

上述示例控制信号涉及用于控制选定灯的亮度的信号。然而，应当理解，可以基于所记录的神经肌肉信号来识别一个或更多个肌肉激活状态，并且可以生成适当的控制信号并将其传送到所选对象，以控制所选对象的不同方面/操作。例如，控制信号可以包括打开或关闭所选对象、调节所选对象的音量或调节所选对象的一些其他操作参数的信号。

应当理解，虽然上述示例描述了第一和第二肌肉激活状态，但是可以识别附加的或替代的肌肉激活状态，并用于控制所选对象的各个方面/操作，以实现分层或多级别方法来控制所选对象或同时控制多个所选对象。例如，当用户希望切换到用于控制扬声器操作的第二模式(例如，控制模式)时，所选对象可以在第一模式(例如，可控扬声器的播放模式)下操作。在这种情况下，用户的第三肌肉激活状态(例如，用于从播放模式切换到控制模式)可以根据原始的或经处理的信号和/或根据基于记录的信号的信息来被识别。基于所识别的第三肌肉激活状态，所选对象(例如，可控扬声器)的操作可以从第一模式切换/改变到第二模式。作为另一个示例，一旦处于控制模式，可以根据原始的或经处理的信号和/或根据基于记录的信号的信息来识别第四肌肉激活状态。与所选对象相关联的特定设备或功能(例如，显示设备、相机设备、音频设备等)可以被选择用于基于第四肌肉激活状态来控制。这样，第三肌肉激活状态可用于改变所选对象的模式(例如，将所选电视的当前模式改变为控制模式)，第四肌肉激活状态可用于选择所选对象的特定部分来控制(例如，所选电视上的相机)。在其他实施例中，一种肌肉激活状态可用于选择所选部分的功能(例如，选择相机上的缩放功能)，而另一种肌肉激活状态可用于调整所选功能(例如，拉近(zoom in)和拉远(zoom out))。

在一些实施例中，在控制所选对象的至少一个操作之前，检测到的和/或记录的多个神经肌肉信号和/或基于检测到的和/或记录的多个神经肌肉信号的信息可用于检测用户与对象交互的愿望。对用户与对象进行交互的愿望的检测可以与对要控制的对象的选择(如上文关于过程300中的动作330所述)同时进行。或者，可以在选择对象之后但在控制所选对象之前，检测用户与对象交互的愿望。在一些实施例中，可以根据对检测到的和/或记录的多个神经肌肉信号的分析和/或根据对基于多个神经肌肉信号的信息的分析来检测第一肌肉激活状态(例如，手势或肌肉拉伸)，其中第一肌肉激活状态指示与对象交互的愿望。例如，第一肌肉激活状态可以是对象的“唤醒”手势。响应于检测到该对象的唤醒手势，可以向该对象发送指令以启用或禁用该对象的用户接口或执行一些其他动作。使用神经肌肉唤醒手势来提供用于控制用户环境中的对象的个性化访问可以改善用户隐私，并且还可以具有其他益处，包括但不限于延长电池寿命、降低处理功率以及提高这种系统的准确性。

在一些实施例中，一些对象可以包括用于控制设备的操作或用于监控环境中用户行为的用户接口。例如，基于麦克风或基于相机的系统可以连续观察用户的行为，以确定用户希望何时以及如何与系统交互。如果系统在不需要的时候记录用户行为，这样的系统可能会带来很大的隐私风险。为此，一些实施例涉及至少部分地基于检测到的和/或记录的神经肌肉信号来启用或禁用对象或设备的用户接口，以确保对象/设备仅在用户希望进行这种观察时才观察用户行为。例如，具有用户接口的对象可以被配置成连续观察用户行为。在检测到第一肌肉激活状态时，可以向对象发送控制信号以禁用用户接口，使得用户接口不再持续观察用户行为。用户可以执行第二肌肉激活状态(其可以与第一肌肉激活状态相同或不同)来启用用户接口。在一些实施例中，用户接口可以仅在用户执行特定肌肉激活状态时被启用。例如，用户可以接近具有基于麦克风的用户接口的对象，并且握紧他们的拳头以指示用户希望向该对象发送控制指令。响应于检测到握紧的拳头肌肉激活状态，神经肌肉活动系统可以向对象发送控制指令，以启用对象的基于麦克风的用户接口(例如，通过将用户接口置于收听模式)。当保持握紧的拳头状态时，用户可以提供一个或更多个语音命令来向对象提供输入。用户然后可以释放他们握紧的拳头，这导致检测到禁用基于麦克风的用户接口的第二肌肉激活状态。以这种方式，用于向对象提供输入的基于麦克风的用户接口仅在用户想要提供输入时才被启用。

本文描述的用于使用神经肌肉信号来至少部分地基于手势、姿势、移动或施加在用户关节上的力来选择和/或控制物理对象的系统和方法可以用于多种物理对象，其示例包括但不限于智能耳塞/耳机、智能眼镜(或其他智能头戴式显示器)、智能手机、智能手表、连接的平板电脑或其他可穿戴或手持个人计算设备。尽管许多连接设备被配置为使用语音命令，但是本文描述的系统和方法使得用户能够使用基于手势、姿势或从神经肌肉信号导出的其他运动和/或力的命令来对听觉(例如，通过“可听见的”或其他连接的耳机或扬声器系统)或视觉(例如，在智能手表或智能手机的屏幕上)做出反应。例如，具有多个神经肌肉传感器的可穿戴腕带装置可以被配置成允许用户(例如，通过具有视觉、触觉和/或听觉警报的可穿戴或手持设备)以小而细微的手势响应智能助手(例如，通过用户腿上的手指轻击(tap)以接受会议邀请或确认酒店预订；或者桌面上的滑动(swipe)手势来忽略通知；或者捏合(pinch)手势以播放从朋友那里接收的视频；或者轻弹(flick)手势以向同事发送消息)。

如以上一些示例性场景中所述，具有多个连接设备的环境可能需要特定的控制，使得用户可以将他们的控制意图指向特定的连接设备。根据各种实施例，神经肌肉激活的手势或其他模式可以用于从一个连接设备切换到另一个用于后续控制，其中后续控制可以基于神经肌肉控制信号、语音信号和/或任何其他控制模态，其示例如上所述。例如，将语音控制与基于手势、姿势或由神经肌肉系统施加的其他运动/力模式的控制相结合，可以实现对用户环境中的物理对象的更可靠、多样、离散和/或个性化形式的控制。

下面的表1列出了基于神经肌肉信号的各种(非限制性)控制形式，其可以使用本发明的各种实施例来实现。

表1：基于神经肌肉信号的对物理对象的控制的示例形式

在图11A-图11C所示的一个说明性实施例中，穿戴其中结合有多个神经肌肉传感器的可穿戴设备802的用户1101使用不同的交互原语来控制连接设备(例如，智能手机1103)的操作。例如，轻弹手势1104(图11A)或捏合轻击(pinch tap)1105(图11B)可用于提供离散输入，例如选择智能手机1103或选择智能手机1103的特征来控制。作为另一个示例，手腕旋转手势1106(图11C)可以用于1D旋转控制(例如，在滚轮选择器(wheel selector)上)，以提供连续输出，例如改变智能手机1103的屏幕亮度。

通知通常是智能/虚拟助手系统的重要组成部分，可通过智能耳塞、头戴式显示器、诸如智能手机1103(或其他智能连接设备)的移动设备获得。在一些实施例中，轻弹手势1104可以用作通知的消除机制(dismissal mechanism)。

在日历示例中，例如在用户的智能手机1103上执行的智能/虚拟助手可以通知用户她的下一次会议即将到来，允许如下使用上述手势：

·轻弹手势1104(图11A)可以彻底消除通知。类似于消除移动或台式计算机上的通知。智能/虚拟助手可能不会再就此打扰用户。

·食指捏合轻击手势1105(图11B捏合食指和拇指)可以设置打盹警报。智能/虚拟助手将在几分钟后再次通知用户。

·中指捏合轻击手势(捏合中指和拇指)可能会使智能/虚拟助手参与。一旦参与，智能/虚拟助手可以询问用户在再次通知用户之前她应该等待多长时间。

·然后，用户可以开始旋转她的手腕1106(图11C)，以选择智能/虚拟助手接下来将提供通知的时间。随着用户手腕的旋转(例如，顺时针方向)，到下一个通知时的时间增加，并且随着时间量的变化，智能/虚拟助手可以可选地提供听觉反馈。如果到下一个通知时的时间在未来太远，用户可以在另一个方向(例如，在逆时针方向)向后旋转他们的手腕，这可以使到下一个通知时的时间减少。

·当设置了期望的时间时，另一个捏合轻击1105(例如，图11B)可以设置警报，并且智能/虚拟助手可以在该时间量过去之后再次通知用户。在该过程的任何点，轻弹手势1104(图11A)可用于导致时间设置过程结束。

虽然上述使用神经肌肉活动系统来响应和/或设置物理设备上的通知的示例描述了解释用户正在执行的手势和/或姿势，但是应当理解，使用本文描述的一种或更多种技术来选择和/或控制物理对象可以使用任何肌肉激活状态来执行，包括但不限于其中不需要用户的可感知运动的肌肉下激活。在用户希望在不改变他们的手的位置的情况下控制物理对象的场景中，使用肌肉下控制可能特别有用，其示例包括但不限于，在将双手保持在交通工具的转向部件(例如，自行车或滑板车(scooter)的车把、汽车的方向盘等)上的同时与音乐应用进行交互、控制电子设备而不必脱下手套或者(例如，在寒冷的天气中)不必将手从口袋中拿出，在驾驶时与汽车中的可选择对象(例如，GPS系统)交互，并且同时将双手保持在方向盘上，并且当用户的手不可用(例如，用户正拿着物体或抱着孩子)来使用钥匙解锁门时用智能锁解锁门。

可以以多种方式中的任一种来实现上述实施例。例如，可以使用硬件、软件或其组合来实现实施例。当以软件实现时，软件代码可以在任何合适的处理器或处理器集群上被执行，无论是在单个计算机中被提供还是分布在多个计算机当中。应当认识到，执行上述功能的任何部件或部件集群可以一般地被考虑为控制上面讨论的功能的一个或更多个控制器。可以以多种方式(例如利用专用硬件或者利用使用微代码或软件被编程为执行上面列举的功能的一个或更多个处理器)来实现一个或更多个控制器。

在这方面，应当理解，本发明实施例的一个实现包括编码有计算机程序(即，多个指令)的至少一个非暂时性计算机可读存储介质(例如，计算机存储器、便携式存储器、光盘等)，该计算机程序当在处理器上执行时，执行本发明实施例的以上所讨论的功能。计算机可读存储介质可以是可传输的，使得存储在其上的程序可以被加载到任何计算机资源上，以实现本文所讨论的本发明的各方面。此外，应当认识到，对当被执行时执行上面讨论的功能的计算机程序的提及不限于在主机计算机上运行的应用程序。相反，术语“计算机程序”在本文中以一般意义使用，以指代任何类型的计算机代码(例如，软件或微代码)，其可以用于对处理器进行编程以实现本发明的以上所讨论的各方面。

本发明的各个方面可以单独使用，组合使用，或者在前面描述的实施例中没有具体讨论的各种布置中使用，因此它们的应用不限于前面描述中阐述的或附图中示出的部件的细节和布置。例如，在一个实施例中描述的方面可以以任何方式与在其他实施例中描述的方面组合。

此外，本发明的实施例可以被实现为一种或更多种方法，已经提供了其示例。作为方法的一部分被执行的动作可以以任何合适的方式被排序。相应地，可以构造实施例，其中动作以与所示出的不同的顺序被执行，这可以包括同时执行一些动作，即使在说明性实施例中被示为顺序动作。

在权利要求中使用顺序术语例如“第一”、“第二”、“第三”等来修改权利要求元素并不单独地暗示一个权利要求元素相对于另一个权利要求元素的任何优先级、优先权、或顺序或者方法的动作被执行的时间顺序。这样的术语仅用作标签以将具有特定名称的一个权利要求元素与具有相同名称的另一个元素区分开(但对于序数术语的使用)。

本文所使用的措辞和术语是为了描述的目的，且不应被视为限制性的。“包括(including)”、“包括(comprising)”、“具有(having)”、“包含(containing)”、“涉及(involving)”、及它们的变形的使用意指包括在其后列出的项和另外的项。

已经详细描述了本发明的几个实施例，本领域技术人员将容易想到各种修改和改进。这些修改和改进旨在落入本发明的精神和范围内。因此，前面的描述仅仅是作为示例，且并不旨在为限制性的。本发明仅由所附权利要求及其等同物限定。

Claims (91)

1.一种用于至少部分地基于神经肌肉信号来控制环境中的物理对象的计算机化系统，所述系统包括：

多个神经肌肉传感器，所述多个神经肌肉传感器被配置为记录来自用户的多个神经肌肉信号，其中，所述多个神经肌肉传感器被布置在一个或更多个可穿戴设备上；以及

至少一个计算机处理器，所述至少一个计算机处理器被编程为：

接收对所述环境中的物理对象的选择；以及

至少部分地根据所述多个神经肌肉信号和/或根据基于所述多个神经肌肉信号的信息，控制所述环境中的所选物理对象的操作。

2.根据权利要求1所述的计算机化系统，其中，接收对所述环境中的物理对象的选择包括至少部分地基于所述多个神经肌肉信号和/或从所述多个神经肌肉信号导出的信息来确定对所述物理对象的选择。

3.根据权利要求1所述的计算机化系统，还包括：

至少一个存储设备，其被配置为存储描述所述多个神经肌肉信号和所述环境中的一个或更多个可选择的物理对象之间的关联的信息，

其中，确定对所述物理对象的选择至少部分地基于描述所述多个神经肌肉信号和所述环境中的一个或更多个可选择的物理对象之间的关联的所存储的信息。

4.根据权利要求3所述的计算机化系统，其中，所述环境中的一个或更多个可选择的物理对象中的至少一些在所述环境中使用至少一个短程通信协议连接。

5.根据权利要求3所述的计算机化系统，其中，描述所述多个神经肌肉信号和所述环境中的一个或更多个可选择的对象之间的关联的所存储的信息包括至少一个推理模型，所述推理模型被配置为将所述多个神经肌肉信号映射到所述环境中的一个或更多个可选择的物理对象。

6.根据权利要求1所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为：

基于所述多个神经肌肉信号和/或从所述多个神经肌肉信号导出的信息，识别肌肉激活状态，并且

其中，接收对所述环境中的物理对象的选择至少部分地基于所识别的肌肉激活状态。

7.根据权利要求6所述的计算机化系统，其中，至少部分地基于所识别的肌肉激活状态接收对所述环境中的物理对象的选择包括使用所述肌肉激活状态与用户界面进行交互，以从多个可选择的物理对象中选择一个。

8.根据权利要求6所述的计算机化系统，其中，所述肌肉激活状态包括手势、姿势或肌肉下激活状态。

9.根据权利要求1所述的计算机化系统，其中，接收对所述环境中的物理对象的选择包括至少部分地基于用户上下文和/或用户行为来自动选择所述物理对象。

10.根据权利要求1所述的计算机化系统，其中，接收对所述环境中的物理对象的选择至少部分地基于在所述环境中所述物理对象和用户的接近度。

11.根据权利要求10所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为：

检测所述计算机化系统处于所述环境中的可选择的物理对象的特定范围内；以及

响应于所述检测，在所述计算机化系统和所述可选择的物理对象之间建立近场通信，

其中，接收对所述环境中的物理对象的选择至少部分地基于所建立的近场通信。

12.根据权利要求1所述的计算机化系统，还包括：

红外接收器，其被配置为从一个或更多个物理对象接收红外信号，并且

其中，接收对所述环境中的物理对象的选择至少部分地基于由所述红外接收器接收的红外信号。

13.根据权利要求12所述的计算机化系统，还包括：

红外发射器，其被配置为向所述一个或更多个物理对象发射广播红外信号，其中，由所述红外接收器接收的红外信号是响应于发射所述广播红外信号而被接收的。

14.根据权利要求1所述的计算机化系统，其中，所述环境是由增强现实系统生成的增强现实环境。

15.根据权利要求14所述的计算机化系统，其中，所述增强现实系统被配置成在所述增强现实环境中显示用户界面，并且

其中，接收对所述对象的选择包括经由所述用户界面接收对所述对象的选择。

16.根据权利要求14所述的计算机化系统，其中，接收对所述物理对象的选择包括至少部分地基于所述多个神经肌肉信号和/或从所述多个神经肌肉信号导出的信息来确定对所述物理对象的选择。

17.根据权利要求16所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为：

至少部分地基于所述多个神经肌肉信号和/或从所述多个神经肌肉信号导出的信息来生成控制信号；以及

向所述增强现实系统提供所述控制信号，

其中，接收对所述环境中的物理对象的选择至少部分地基于提供给所述增强现实系统的所述控制信号。

18.根据权利要求17所述的计算机化系统，其中，所述增强现实系统被配置成在所述增强现实环境中显示光标，

其中，所述控制信号用于控制所述光标在所述增强现实环境中的显示位置，并且

其中，接收对所述环境中的物理对象的选择至少部分地基于所述光标在所述增强现实环境中的显示位置。

19.根据权利要求14所述的计算机化系统，其中：

所述增强现实系统包括至少一个相机和/或眼睛跟踪系统，并且

接收对所述环境中的物理对象的选择至少部分地基于由所述至少一个相机和/或所述眼睛跟踪系统捕获的信息。

20.根据权利要求19所述的计算机化系统，其中，接收对所述环境中的物理对象的选择还至少部分地基于所述多个神经肌肉信号和/或从所述多个神经肌肉信号导出的信息。

21.根据权利要求1所述的计算机化系统，其中，接收对所述环境中的物理对象的选择包括：

将所述环境分成多个空间区域；

至少部分地基于惯性测量单元的定向来确定用户正指向所述多个空间区域中的哪一个；以及

选择用户正指向的空间区域内的物理对象。

22.根据权利要求1所述的计算机化系统，还包括同步定位与地图构建系统，其中，接收对所述环境中的物理对象的选择至少部分地基于由所述同步定位与地图构建系统确定的信息。

23.根据权利要求1所述的计算机化系统，其中，接收对所述环境中的物理对象的选择至少部分地基于由至少一个麦克风捕获的信息。

24.根据权利要求1所述的计算机化系统，其中，所述计算机化系统被配置为向用户提供所述物理对象已经被选择的指示。

25.根据权利要求24所述的计算机化系统，其中，所选物理对象被配置成在被选择时向用户提供所述指示。

26.根据权利要求24所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为在选择所述物理对象时向用户提供所述指示。

27.根据权利要求24所述的计算机化系统，其中：

所述环境是由增强现实系统生成的增强现实环境，

所述物理对象是在所述增强现实环境中观看的物理对象，并且

所述增强现实系统被配置成在选择了在所述增强现实环境中观看的物理对象时向用户提供所述指示。

28.根据权利要求27所述的计算机化系统，其中，提供所述物理对象已经被选择的指示包括在所述增强现实环境中呈现视觉指示。

29.根据权利要求1所述的计算机化系统，还包括：

至少一个存储设备，其被配置为存储描述所述多个神经肌肉信号和用于所述环境中的一个或更多个可选择的物理对象中的每一个的至少一个控制动作之间的关联的信息，

其中，控制所选对象的操作包括至少部分地基于描述所述多个神经肌肉信号和用于所选物理对象的至少一个控制动作之间的关联的所存储的信息来确定要控制的操作。

30.根据权利要求29所述的计算机化系统，其中，描述所述多个神经肌肉信号和用于所述环境中的一个或更多个可选择的物理对象中的每一个的至少一个控制动作之间的关联的所存储的信息包括至少一个推理模型，所述推理模型被训练成将所述多个神经肌肉信号映射到用于所述环境中的一个或更多个可选择的物理对象中的每一个的至少一个控制动作。

31.根据权利要求1所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为：

基于所述多个神经肌肉信号和/或从所述多个神经肌肉信号导出的信息，识别肌肉激活状态，并且

其中，至少部分地基于所识别的肌肉激活状态来执行对所选物理对象的操作的控制。

32.根据权利要求1所述的计算机化系统，其中，所述肌肉激活状态包括手势、姿势或肌肉下激活状态。

33.根据权利要求1所述的计算机化系统，其中，所述环境是由增强现实系统生成的增强现实环境，并且

其中，控制所述环境中的所选物理对象的操作包括通过提供给所述增强现实系统的输入来控制所选物理对象的操作。

34.根据权利要求33所述的计算机化系统，其中，所述增强现实系统被配置为在所述增强现实环境中显示控制界面，并且

其中，控制所选物理对象的操作包括通过用户与所述控制界面的交互来控制所述对象的操作。

35.根据权利要求34所述的计算机化系统，其中，控制所选物理对象的操作包括：

至少部分地基于所述多个神经肌肉信号和/或从所述多个神经肌肉信号导出的信息来生成控制信号；以及

向所述增强现实系统提供所述控制信号，以与在所述增强现实环境中显示的控制界面交互。

36.根据权利要求32所述的计算机化系统，其中：

所述增强现实系统被配置成在所述增强现实环境中的第一位置处显示所述控制界面，

在所述增强现实环境中观看的所选物理对象位于所述增强现实环境中的第二位置，并且

在所述增强现实环境中，所述第一位置比所述第二位置更靠近用户。

37.根据权利要求33所述的计算机化系统，其中，所述增强现实系统被配置为响应于与所述控制界面的交互向用户提供反馈。

38.根据权利要求37所述的计算机化系统，其中，所述反馈包括视觉反馈、听觉反馈和/或触觉反馈。

39.根据权利要求36所述的计算机化系统，其中，所述增强现实系统被配置为在所述增强现实环境中显示用于第一对象的第一控制界面和用于第二对象的第二控制界面。

40.根据权利要求39所述的计算机化系统，其中，所述增强现实系统被配置为当选择所述第一对象时显示所述第一控制界面，以及当选择所述第二对象时显示所述第二控制界面。

41.根据权利要求1所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为：

至少部分地根据所述多个神经肌肉信号和/或根据基于所述多个神经肌肉信号的信息，检测第一肌肉激活状态，所述第一肌肉激活状态指示控制所选物理对象的操作的愿望。

42.根据权利要求41所述的计算机化系统，其中，所述第一肌肉激活状态是所选物理对象的唤醒肌肉激活状态。

43.根据权利要求41所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为：

响应于检测到所述第一肌肉激活状态，向所选物理对象发送指令以启用或禁用所选物理对象的用户接口。

44.根据权利要求43所述的计算机化系统，其中，向所选物理对象发送指令包括发送指令以启用所述用户接口，并且其中，所述至少一个计算机处理器还被编程为：

至少部分地根据所述多个神经肌肉信号和/或根据基于所述多个神经肌肉信号的信息，检测第二肌肉激活状态，

其中，控制所选物理对象的操作包括至少部分地基于所述第二肌肉激活状态来控制所选物理对象的操作。

45.一种由计算机化系统执行的用于至少部分地基于神经肌肉信号来控制环境中的物理对象方法，所述方法包括：

记录来自布置在用户穿戴的一个或更多个可穿戴设备上的多个神经肌肉传感器的多个神经肌肉信号；

接收对所述环境中的物理对象的选择；以及

至少部分地根据所述多个神经肌肉信号和/或根据基于所述多个神经肌肉信号的信息，控制所述环境中的所选物理对象的操作。

46.根据权利要求45所述的方法，其中，接收对所述环境中的物理对象的选择包括至少部分地基于所述多个神经肌肉信号和/或从所述多个神经肌肉信号导出的信息来确定对所述物理对象的选择。

47.根据权利要求45所述的方法，其中，确定对所述物理对象的选择至少部分地基于描述所述多个神经肌肉信号和所述环境中的一个或更多个可选择的物理对象之间的关联的所存储的信息。

48.根据权利要求45所述的方法，还包括：

基于所述多个神经肌肉信号和/或从所述多个神经肌肉信号导出的信息来识别肌肉激活状态，并且

其中，接收对所述环境中的物理对象的选择至少部分地基于所识别的肌肉激活状态。

49.根据权利要求48所述的方法，其中，至少部分地基于所识别的肌肉激活状态接收对所述环境中的物理对象的选择包括使用所述肌肉激活状态与用户界面进行交互，以从多个可选择的物理对象中选择一个。

50.根据权利要求48所述的方法，其中，接收对所述环境中的物理对象的选择包括至少部分地基于用户上下文和/或用户行为来自动选择所述物理对象。

51.根据权利要求48所述的方法，其中，接收对所述环境中的物理对象的选择至少部分地基于在所述环境中所述物理对象和用户的接近度。

52.根据权利要求51所述的方法，还包括：

检测所述计算机化系统处于所述环境中的可选择的物理对象的特定范围内；以及

响应于所述检测，在所述计算机化系统和所述可选择的物理对象之间建立近场通信，

其中，接收对所述环境中的物理对象的选择至少部分地基于所建立的近场通信。

53.根据权利要求45所述的方法，还包括接收红外信号，

其中，接收对所述环境中的物理对象的选择至少部分地基于接收的红外信号。

54.根据权利要求53所述的方法，还包括向所述一个或更多个物理对象发射广播红外信号，

其中，由所述红外接收器接收的红外信号是响应于发射所述广播红外信号而被接收的。

55.根据权利要求45所述的方法，其中：

所述环境是由增强现实系统生成的增强现实环境，

所述增强现实系统被配置成在所述增强现实环境中显示用户界面，并且

接收对所述对象的选择包括经由所述用户界面接收对所述对象的选择。

56.根据权利要求55所述的方法，其中，接收对所述物理对象的选择包括至少部分地基于所述多个神经肌肉信号和/或从所述多个神经肌肉信号导出的信息来确定对所述物理对象的选择。

57.根据权利要求56所述的方法，还包括：

至少部分地基于所述多个神经肌肉信号和/或从所述多个神经肌肉信号导出的信息来生成控制信号；以及

向所述增强现实系统提供所述控制信号，

其中，接收所述环境中的物理对象的选择至少部分地基于提供给所述增强现实系统的所述控制信号。

58.根据权利要求45所述的方法，其中，接收对所述环境中的物理对象的选择包括：

将所述环境分成多个空间区域；

至少部分地基于惯性测量单元的定向来确定用户正指向所述多个空间区域中的哪一个；以及

选择用户正指向的空间区域内的物理对象。

59.根据权利要求45所述的方法，还包括向用户提供所述物理对象已经被选择的指示。

60.根据权利要求59所述的方法，其中：

所述环境是由增强现实系统生成的增强现实环境，

所述物理对象是在所述增强现实环境中观看的物理对象，并且

所述增强现实系统被配置成在选择了在所述增强现实环境中观看的物理对象时向用户提供所述指示。

61.根据权利要求45所述的方法，还包括：

在至少一个存储设备上存储描述所述多个神经肌肉信号和用于所述环境中的一个或更多个可选择的物理对象中的每一个的至少一个控制动作之间的关联的信息，

其中，控制所选对象的操作包括至少部分地基于描述所述多个神经肌肉信号和用于所选物理对象的至少一个控制动作之间的关联的所存储的信息来确定要控制的操作。

62.根据权利要求45所述的方法，还包括：

基于所述多个神经肌肉信号和/或从所述多个神经肌肉信号导出的信息，识别肌肉激活状态，并且

其中，至少部分地基于所识别的肌肉激活状态来执行对所选物理对象的操作的控制。

63.根据权利要求45所述的方法，其中，所述环境是由增强现实系统生成的增强现实环境，并且

其中，控制所述环境中的所选物理对象的操作包括通过提供给所述增强现实系统的输入来控制所选物理对象的操作。

64.根据权利要求45所述的方法，还包括：

至少部分地根据所述多个神经肌肉信号和/或根据基于所述神经肌肉信号的信息，检测第一肌肉激活状态，所述第一肌肉激活状态指示控制所选物理对象的操作的愿望。

65.根据权利要求64所述的方法，其中，所述第一肌肉激活状态是所选物理对象的唤醒肌肉激活状态。

66.根据权利要求65所述的方法，还包括：

响应于检测到所述第一肌肉激活状态，向所选物理对象发送指令以启用或禁用所选物理对象的用户接口。

67.根据权利要求66所述的方法，其中，向所选物理对象发送指令包括发送指令以启用所述用户接口，并且其中，所述方法还包括：

至少部分地根据所述多个神经肌肉信号和/或根据基于所述多个神经肌肉信号的信息，检测第二肌肉激活状态，

其中，控制所选物理对象的操作包括至少部分地基于所述第二肌肉激活状态来控制所选物理对象的操作。

68.至少一个非暂时性计算机可读存储介质，其存储指令，当由至少一个计算机处理器执行时，所述指令使所述至少一个计算机处理器执行根据权利要求45-67中任一项的方法。

69.一种用于至少部分地基于神经肌肉信号来控制环境中的物理对象的计算机化系统，所述系统包括：

多个神经肌肉传感器，所述多个神经肌肉传感器被配置为记录来自用户的多个神经肌肉信号，其中，所述多个神经肌肉传感器被布置在一个或更多个可穿戴设备上；以及

至少一个计算机处理器，所述至少一个计算机处理器被编程为：

选择用户的环境中的物理对象；

向用户提供指示所述物理对象已经被选择的反馈；

至少部分地根据所述多个神经肌肉信号和/或根据基于所述多个神经肌肉信号的信息来确定第一肌肉激活状态；以及

至少部分地基于所确定的第一肌肉激活状态来控制所选物理对象的操作。

70.根据权利要求69所述的计算机化系统，还包括：

至少一个存储设备，其被配置为存储描述所述环境中的一个或更多个可选择的物理对象和多个肌肉激活状态之间的关联的信息，

其中，选择所述环境中的物理对象至少部分地基于所存储的信息。

71.根据权利要求69所述的计算机化系统，其中：

至少部分地用于确定所述第一肌肉激活状态的多个神经肌肉信号在第一时间段期间被记录，

所述至少一个计算机处理器还被编程为至少部分地根据所述多个神经肌肉信号和/或根据基于在第二时间段期间记录的多个神经肌肉信号的信息来确定第二肌肉激活状态，并且

选择用户的所述环境中的物理对象至少部分地基于所确定的第二肌肉激活状态。

72.根据权利要求69所述的计算机化系统，其中，选择所述物理对象至少部分地基于用户上下文和/或用户行为。

73.根据权利要求69所述的计算机化系统，其中：

所述至少一个计算机处理器还被编程为接收来自用户的语音输入，并且

选择所述物理对象至少部分地基于接收的语音输入。

74.根据权利要求69所述的计算机化系统，其中，选择所述物理对象至少部分地基于用户和所述物理对象的接近度。

75.根据权利要求74所述的计算机化系统，其中，选择所述物理对象至少部分地基于相对于用户的所述环境中的其他可选择的物理对象、用户与所述物理对象的接近度。

76.根据权利要求69所述的计算机化系统，其中，向用户提供指示所述物理对象已经被选择的反馈包括指示所选物理对象提供所述反馈。

77.根据权利要求69所述的计算机化系统，其中，向用户提供指示所述物理对象已经被选择的反馈包括提供听觉反馈和振动反馈中的一个或更多个。

78.根据权利要求69所述的计算机化系统，还包括：

至少一个存储设备，其被配置为存储描述用于所述环境中的一个或更多个可选择的物理对象中的每一个的至少一个控制动作和包括所述第一肌肉激活状态的相应肌肉激活状态之间的关联的信息，

其中，控制所选物理对象的操作至少部分地基于描述用于所选物理对象的至少一个控制动作和所述第一肌肉激活状态之间的关联的所存储的信息。

79.根据权利要求69所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为：

至少部分地根据所述多个神经肌肉信号和/或根据基于所述多个神经肌肉信号的信息，检测第二肌肉激活状态，所述第二肌肉激活状态指示控制所选物理对象的操作的愿望。

80.根据权利要求79所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为：

响应于检测到所述第二肌肉激活状态，向所选物理对象发送指令以启用或禁用所选物理对象的用户接口，其中，向所选物理对象发送指令包括发送指令以启用所述用户接口；以及

在启用所述用户接口之后，至少部分地基于所述第一肌肉激活状态来控制所选物理对象的操作。

81.一种由计算机化系统执行的用于至少部分地基于神经肌肉信号来控制环境中的物理对象的方法，所述方法包括：

记录来自布置在一个或更多个可穿戴设备上的多个神经肌肉传感器的多个神经肌肉信号；

选择用户的环境中的物理对象；

向用户提供指示所述物理对象已经被选择的反馈；

至少部分地根据所述多个神经肌肉信号和/或根据基于所述多个神经肌肉信号的信息来确定第一肌肉激活状态；以及

至少部分地基于所确定的第一肌肉激活状态来控制所选物理对象的操作。

82.根据权利要求81所述的方法，还包括：

在至少一个存储设备上存储描述所述环境中的一个或更多个可选择的物理对象和多个肌肉激活状态之间的关联的信息，

其中，选择所述环境中的物理对象至少部分地基于所存储的信息。

83.根据权利要求81所述的方法，其中，选择所述物理对象还至少部分地基于用户上下文和/或用户行为。

84.根据权利要求81所述的方法，还包括：

从用户接收语音输入，

其中，选择所述物理对象至少部分地基于接收的语音输入。

85.根据权利要求81所述的方法，其中，选择所述物理对象至少部分地基于用户和所述物理对象的接近度。

86.根据权利要求81所述的方法，其中，向用户提供指示所述物理对象已经被选择的反馈包括指示所选物理对象提供所述反馈。

87.根据权利要求81所述的方法，还包括：

由至少一个存储设备存储描述用于所述环境中的一个或更多个可选择的物理对象中的每一个的至少一个控制动作和包括所述第一肌肉激活状态的相应肌肉激活状态之间的关联的信息，

其中，控制所选物理对象的操作至少部分地基于描述用于所选物理对象的至少一个控制动作和所述第一肌肉激活状态之间的关联的所存储的信息。

88.根据权利要求81所述的方法，还包括：

至少部分地根据所述多个神经肌肉信号和/或根据基于所述多个神经肌肉信号的信息，检测第二肌肉激活状态，所述第二肌肉激活状态指示控制所选物理对象的操作的愿望；以及

响应于检测到所述第二肌肉激活状态，向所选物理对象发送指令以启用或禁用所选物理对象的用户接口。

89.根据权利要求88所述的方法，其中，向所选物理对象发送指令包括发送指令以启用所述用户接口，并且其中，所述方法还包括：

在启用所述用户接口之后，至少部分地基于所述第一肌肉激活状态来控制所选物理对象的操作。

90.根据权利要求88所述的方法，其中：

至少部分地用于确定所述第一肌肉激活状态的所述多个神经肌肉信号在第一时间段期间被记录，

所述方法还包括至少部分地根据多个神经肌肉信号和/或根据基于在第二时间段期间记录的多个神经肌肉信号的信息来确定第二肌肉激活状态，以及

选择用户的所述环境中的物理对象至少部分地基于所确定的第二肌肉激活状态。

91.至少一个非暂时性计算机可读存储介质，其存储指令，当由至少一个计算机处理器执行时，所述指令使得所述至少一个计算机处理器执行根据权利要求81-90中任一项的方法。

Images