CN113646732A - 基于神经肌肉数据获得控制方案的系统和方法 - Google Patents

Abstract

所公开的系统和方法总体上针对基于神经肌肉数据生成用户控制方案。所公开的系统和方法可以包括神经肌肉数据的特征空间或本征空间表示，以训练用户并使用户实现对机器和计算机的更大的神经肌肉控制。在某些实施例中，系统和方法采用多个不同的推理模型(例如，使用在特征空间的多个区域中训练的推理模型的完全控制方案)。还公开了各种其他方法、系统和计算机可读介质。

Description

基于神经肌肉数据获得控制方案的系统和方法

相关申请的交叉引用

本申请要求2019年3月29日提交的美国申请第62/826,493号、2019年4月30日提交的美国申请第62/840,803号、2020年1月31日提交的美国申请第62/968,495号和2020年3月29日提交的美国申请第16/833,626号的优先权。出于所有目的，美国申请第62/826,493号、美国申请第62/840,803号、美国申请第62/968,495号和美国申请第16/833,626号的内容通过引用以其整体被并入本文。

附图简述

附图示出了许多示例性实施例，并且是说明书的一部分。与以下描述一起，这些附图展示并解释了本公开的各种原理。

图1是神经肌肉数据的示例特征空间的图示。

图2是图1的示例特征空间和该特征空间内的转换的图示。

图3是用于经由手腕旋转对2D移动的推理模型进行在线训练的示例图形用户界面的图示。

图4是比较用于训练不同推理模型的数据点分布的标绘图的图示。

图5是图1的示例特征空间和该特征空间内的另一个转换的图示。

图6是表示代表用户手部姿态(pose)的本征向量的2D可视化的经处理的神经肌肉数据的示例标绘图的图示。

图7是表示代表用户手部姿态的本征向量的2D可视化的经处理的神经肌肉数据的示例标绘图的附加图示。

图8是表示代表用户手部姿态的本征向量的2D可视化的经处理的神经肌肉数据的示例标绘图的附加图示。

图9是表示代表用户手部姿态的本征向量的2D可视化的经处理的神经肌肉数据的示例标绘图的附加图示。

图10是用于用代表用户手部姿态的本征向量的2D可视化来可视化经处理的神经肌肉数据的示例界面的图示。

图11是推理模型的示例训练任务的图示。

图12A-12C是基于将推理模型应用于神经肌肉数据的光标控制的示例界面的图示。

图13A-13B是路径效率度量的表示的图示。

图14A-14B是稳定性度量的表示的图示。

图15A-15B是可达性度量(reachability metrics)的表示的图示。

图16是组合学度量的表示的图示。

图17是示例光标指示器的图示。

图18A-18B是通过感测一对肌肉而产生的神经肌肉数据的连续1D输出的示例标绘图的图示。

图19是映射到特征空间的1D神经肌肉信号的图示。

图20是通过图19所示特征空间的示例事件路径的图示。

图21是图20的事件路径在马氏距离度量(Mahalanobis distance metric)的上下文中的图示。

图22是图20的事件路径在基于负对数似然的距离度量的上下文中的图示。

图23是图20的事件路径在支持向量机得分距离度量的上下文中的图示。

图24是2D特征空间的示例标绘图的图示。

图25是当用户执行各种姿势(gesture)时神经肌肉数据随时间变化的标绘图的图示。

图26是图25的标绘图的放大部分的图示。

图27是在修改后的一Euro滤波器中使用的示例函数的标绘图的图示。

图28A-28B分别是使用一Euro滤波器和修改后的一Euro滤波器的模型预测的示例标绘图的图示。

图29是用于基于神经肌肉数据推断姿势的示例系统的图示。

图30是用于感测神经肌肉数据的示例可穿戴设备的图示。

图31A-31B是用于感测神经肌肉数据的示例可穿戴系统的示意图。

图32是可结合本公开的实施例使用的示例性增强现实眼镜的图示。

图33是可结合本公开的实施例使用的示例性虚拟现实头戴装置的图示。

在全部附图中，相同的参考符号和描述指示相似的但不一定相同的元素。虽然本文描述的示例性实施例易于进行各种修改和替代形式，但是已经通过附图中的示例示出了特定实施例，并且将在本文进行详细描述。然而，本文描述的示例性实施例不旨在限于所公开的特定形式。更确切地，本公开覆盖了落入所附权利要求的范围内的所有修改、等同物和替代物。

示例性实施例的详细描述

本公开总体上涉及用于基于神经肌肉数据生成用户控制方案的系统和方法。所公开的系统和方法可以包括神经肌肉数据的特征空间或本征空间表示，以训练用户并使用户实现对机器和计算机的更大的神经肌肉控制。在某些实施例中，系统和方法采用多个不同的推理模型(例如，使用在特征空间的多个区域中训练的推理模型的完全控制方案)。这里讨论的控制方案可以被视为一组输入命令和/或输入模式，它们被单独或组合地使用来可靠地控制计算机和/或电子设备。例如，神经肌肉数据(例如，从具有神经肌肉传感器的可穿戴设备收集的)可以作为输入被提供给训练的推理模型，该推理模型识别用户方面的预期输入命令。在某些情况下，独立训练的模型可能既缺乏上下文信息，也缺乏作为一控制应用的完全控制方案的一部分所需的不变性。这里描述的系统和方法可以允许基于数据输入周围的环境选择性地利用一个或更多个训练模型(例如，指导系统使用一个模型来解释特征空间内的数据，而使用另一个模型来解释位于特征空间的不同区域内的数据)。在一个示例实施例中，这里描述的系统和方法可以允许使用具有神经肌肉传感器的臂带或腕带的用户更好地控制2D地图上的虚拟指针，并且还可以允许更好地控制用户与2D地图及其各种功能特征的交互。

一般来说，当从特征空间的特定子集/子区域而不是从特征空间中的任意位置提供输入时，机器学习模型可能表现得更好。当输入来自特征空间中的相关区域时，模型输出可能会更合理。然而，当数据输入落在该区域之外时，模型性能可能会受到影响。术语“特征空间”可以包括一个或更多个向量或数据点，这些向量或数据点表示与诸如肌电图(“EMG”)信号的神经肌肉信号相关联的一个或更多个参数或度量。作为示例，EMG信号拥有某些时间、空间和时空特征，以及其他特征，例如频率、持续时间和振幅。可以基于一个或更多个这样的特征或参数来生成特征空间。

所公开的系统和方法通过更好地识别数据输入何时落入特征空间的一个或更多个区域或点云(point clouds)内，并对位于特征空间的各个区域内的特定数据点应用适当训练的模型，来允许完全控制方案。在某些实施例中，本文公开的系统和方法可以从不同类型的控制方案或输入模式中进行选择，并且可以基于所选择的方案和/或模式的类型，将适用的训练的机器学习模型应用于输入。对不同的方案和/或输入模式的选择可以由用户手动完成或由系统自动完成。例如，如果用户在不同类型的控制方案或输入模式之间切换，所公开的系统和方法可以允许用户保持对连接到的机器的有效控制。这样的方案和模式包括但不限于表面打字、在用户的腿上打字、使用拳头和手腕来控制2D中的虚拟指针、绘图、书写或用户可以执行的任何其他特定或一般的活动。在一个示例实施例中，用户可以在表面上打字，并且所公开的系统和方法能够检测该活动，并且应用训练的推理模型或机器学习模型，该推理模型或机器学习模型是基于一组训练数据输入来训练的，该组训练数据输入是在一个或更多个用户将他们的手放在表面上同时键入各种单词和短语时从用户获得的。如果系统和方法检测到用户现在正在他们的腿上打字，则可以使用不同的模型来推断打字输出，其中该模型已经在来自一个或更多个用户的数据输入上进行了训练，这些用户在他们的腿上键入了各种单词和短语。以这种方式，这里的系统和方法可以根据特定的用户活动，应用更适当训练的模型来产生更准确的输出。

在另一个实施例中，用户可能正在执行手势(hand gesture)并且想要切换到绘图模式。因为被训练为准确地对手势进行分类的推理模型可以不同于被训练为识别用户的绘画动作的推理模型，所以对于系统和方法来说，将适当训练的推理模型应用于活动(其训练数据被用来生成模型)将是有利的。在另一个实施例中，用户可以执行离散的手势，例如捻(snap)、捏(pinch)等，并且可以切换到执行连续的手势，例如用变化的力水平握拳、用各种力水平保持捏等。在另一个示例中，用户可能正在执行一系列食指到拇指的捏，然后想要切换到一系列中指到拇指的捏。在这些示例中的任何一个中，所公开的系统和方法可以实现更加适当训练的推理模型来在一种输入模式中预测用户的预期动作，并使用另一种更加适当训练的模型来在另一种输入模式中预测用户的预期动作。本文公开的系统和方法可以基于以下任何一个或更多个来自动检测用户从一种输入模式或控制方案到另一种输入模式或控制方案的转换：经处理的神经肌肉输入数据、来自IMU设备(例如，包括加速度计、陀螺仪、磁力计等)的时空数据、红外数据、基于相机和/或视频的成像数据。用户还可以基于神经肌肉输入数据(例如，特定的手部状态、姿势或姿态)和/或口头命令来指示系统和方法在模式或控制方案之间切换。

在某些实施例中，神经肌肉臂带或腕带可以在所公开的系统和方法中实现。在其他实施例中，用户可以结合抓握虚拟或物理对象(包括但不限于真实或虚拟遥控器、游戏设备、方向盘、移动电话、球、笔/指示笔等)来利用腕带。

使用本文公开的系统和方法，当数据输入来自特征空间中训练2D线性模型的子区域时，该2D线性模型可以表现良好。在一些示例中，可以使用特征提取和/或聚类技术在特征空间内识别这样的子区域。例如，特征空间内的数据点簇可以定义子区域，其中子区域的大小被估计为数据点的协方差，并且距子区域中心的距离由点距数据点簇的马氏距离确定。因此，如果输入的马氏距离(或类似度量)将输入放置在子区域内，这里描述的系统和方法可以应用对应于子区域的推理模型来解释输入。相反，如果输入的马氏距离(或类似度量)将输入放置在子区域之外但在替代子区域内，则这里描述的系统和方法可以应用对应于替代子区域的替代推理模型来解释输入。

在一些示例中，输入可能未落在特征空间的任何先前定义的、存在相关联的推理模型的子区域内。在这些示例中，系统和方法可以以多种方式中的任何一种来处理输入。例如，系统和方法可以识别新的默认推理模型，并应用该新的默认推理模型来解释输入。在另一个示例中，系统和方法可以确定最近的定义的子区域(例如，其中“最近”是根据马氏距离或类似度量来确定的)，并且应用对应于特征空间中最近的子区域的推理模型来解释输入。附加地或替代地，这里描述的系统和方法可以通知用户：用户的输入容易被曲解和/或提示用户修改未来的输入以更接近地符合特征空间的定义的子区域(例如，通过进入训练界面，该训练界面向用户提供关于用户的输入是否与当前选择的输入模式和/或任何输入模式对齐和/或所述对齐的接近程度的反馈)。在一些示例中，这里描述的系统和方法可以基于接收在任何定义的子区域之外的输入来生成新的推理模型。例如，这些系统和方法可以提示用户执行用户想要表示特定输入的动作，然后训练新的模型(或修改现有模型的副本)以对应于由用户的提示动作定义的新的子区域。

通过将适当训练的模型应用于不同的神经肌肉数据，本文描述的系统和方法可以改进人机界面系统的功能，代表了解释神经肌肉数据的计算机功能的改进以及界面设备、增强现实和虚拟现实领域的进步。

根据本文描述的一般原理，本文描述的任何实施例的特征可以彼此结合使用。当结合附图和权利要求阅读下面的详细描述时，这些和其他实施例、特征和优点将被更充分地理解。

作为说明，图1示出了示例特征空间110。在一个示例中，特征空间110可以表示用户移动(包括例如手腕运动)的映射。如图1所示，用户的大部分手腕运动通常可以停留在特征空间110的子区域120内。在用户的手腕运动被用作用于操纵2D激光指示器的输入的情况下，落在特征空间110的子区域120内的输入可以允许系统内对2D激光指示器进行可靠控制。

当映射的数据输入落在特征空间110的子区域120之外时(例如，如果用户在手腕旋转期间握紧他们的拳头，与使用张开的手相反——或者甚至使用握得更紧的拳头而不使用握得更松散的拳头)，用于推断手腕旋转输出的2D模型的性能可能会退化。随着握拳所伴随的力的程度不同，用户可能感知不到握拳时所施加的力的微小变化是显著的。然而，在某些参数上训练的推理模型在某些情况和环境下的性能可能会有所不同。在为某些事件(例如，紧握的拳头与松散的拳头)定义的特征空间中，映射的数据点或向量的差异可能是显著的，因此会影响系统性能。在图1所示的示例中，当用户握紧他们的拳头时，由用户通过对系统的神经肌肉输入(例如，利用手腕旋转)来控制的光标可能突然跳跃，并且不再位于用户想要的位置。这可以被称为“事件伪像(event artifact)”，其可以归因于与用户的拳头在手腕旋转期间被握紧相对于在手腕旋转期间拳头处于放松状态相关联的力的变化。用户握紧他们的拳头会导致来自EMG传感器的数据输入被转换到特征空间中2D空间的不同子区域，即在子区域120之外的一个子区域，2D模型没有在该子区域被训练。一旦在特征空间110的子区域120之外，仍然可能存在某种程度的控制，但是模型的输出可以被认为本质上是未定义的。因此，在用户活动期间特征空间的子区域的任何移动可以归因于用户改变输入模式或控制方案，或者可以归因于用户停留在相同的输入模式或控制方案内，但是改变了该输入模式或控制方案中的参数。

本文公开的系统和方法可以通过使用在某些数据收集场景下训练的多个模型来消除、减轻和/或以其他方式解决事件伪像。本公开的各种实施例可以检测特征空间中的子区域之间的转换何时正在发生或已经发生。特征空间中的子区域之间的转换可以用多种方式中的任何一种来检测，从而允许这里描述的系统和方法确定传入的数据集是否非常适合特定的训练的推理模型。例如，这里描述的系统和方法可以通过计算从用户输入(或最近一段时间内的用户输入簇)到一个或更多个子区域(例如，对应于最近选择的控制模式的子区域以及代表其他控制模式的其他子区域)的马氏距离来检测从一个子区域到另一个子区域的转换。在各种其他示例中，这里描述的系统和方法可以通过使用二进制分类器、多项式分类器、回归器(以估计用户输入和子区域之间的距离)和/或支持向量机来检测从一个子区域到另一个子区域的转换。

一旦特征空间的子区域发生变化，这里描述的系统和方法可以采用训练得更好的并因此更适合的推理模型来分析神经肌肉输入和推断更准确的输出。以这种方式，通过对任何给定的用户活动采用最适合的训练模型，系统可以通过识别使用特定模型时的较差的性能，并根据映射的输入数据集在特征空间中的位置调用其他更适合的模型，来实现完全控制方案。尽管本公开描述了通过选择供使用的多个模型中的一个模型来改进控制方案，但是模型选择的一些实现可以被理解为包含和/或实现该多个模型中的每一个的总体模型(overarching model)。例如，总体模型可以在功能上使用输入落在其内的子区域作为确定将如何解释输入的其他特性的关键特征。在一些示例中，可以通过计算混和(blending)或混合(mixing)系数来将多个模型混和在一起，该混和或混合系数指示对于给定输入给予每个候选模型的信任水平或权重。

如以上结合图1通过示例的方式所述，用户可以在他们的拳头被握紧的情况下执行先前描述的手腕2D移动。作为说明，图2示出了图1的特征空间110，其具有从子区域120(其中用户移动他们的手腕同时他们的拳头是松散的)到子区域232(其中当用户移动他们的手腕同时他们的拳头被握紧时，输入被观察到)的转换230。拳头握紧可用于离散/瞬时事件(例如，用于接合或脱离给定应用内的特定特征)以及用于连续/保持事件(例如，用于保持给定应用内的特定特征的激活)。在连续保持的事件的情况下，原本通常可以落在子区域120内的输入(例如，涉及手腕的2D移动的输入)可以改为落在子区域232内。

当一组输入位于不同于另一个子区域(例如子区域120)的子区域(例如子区域232)内时，鉴于这种差异，先前为子区域120训练的推理模型可能无法为落在子区域232内的该组输入提供准确的输出。在本公开的某些实施例中，可以在落在子区域232内的数据上训练新的推理模型，并且每当系统检测到数据正在由子区域232附近的用户生成时，这里描述的系统可以使用该新的推理模型。因此，所公开的系统可以确定采用哪些模型以及何时采用它们，以在不同的输入模式和控制方案中展现最准确的完全控制水平。在某些实施例中，所公开的系统可以确定特征空间中的各个子区域(例如，子区域120和232)之间的距离，并且可以将两个模型的输出混和在一起以获得对于一个或更多个参数不变的输出(例如，在2D移动的执行期间对于拳头握紧不变的2D指针输出)。例如，拳头松散情况下的输入可以提供(1，0)的混和因子，其指导系统依赖于在拳头松散情况下的手腕移动上训练(或以其他方式适应)的推理模型。类似地，拳头握紧情况下的输入可以提供(0，1)的混和因子，其指导系统依赖于在手腕移动(同时拳头握紧)上训练(或以其他方式适应)的推理模型。落在子区域120和232之间的输入(例如，根据马氏距离)可以提供(1-a，a)的混和因子，其中a指示输入距子区域120的距离的占比相比于输入距子区域232的距离的占比，其指导系统部分地依赖于每个推理模型(或者组合两个推理模型的输出以产生最终输出)。然而，远离子区域120和232的输入可以产生(0，0)的混和因子，其指导系统既不依赖于与子区域120相关联的推理模型，也不依赖于与子区域232相关联的推理模型。

因此，在某些实施例中，本文公开的系统和方法可以允许用户以相同的精度和准确度展示2D控制，而不管用户的手的状态如何(例如，用户的手是处于闭合状态还是打开状态)。在其他实施例中，当从虚拟或屏幕上的2D地图内的一个或更多个位置中呈现的一个或更多个选项中进行选择时，所公开的系统和方法可以为用户提供更好的控制。例如，可以在虚拟或屏幕上的可视化上向用户呈现不同的选项，用户可以使用2D手腕旋转导航到这些选项，并通过执行另一个手势(例如握紧拳头)从选项中进行选择。

除了这里讨论的实施例之外，在进行手腕旋转时，可以使用松散的拳头来训练2D手腕旋转模型。在该实施例中，特征空间内的子区域可以如下被确定和分析。在第一步中，当用户使用松散的拳头训练2D模型时，系统可以收集数据(例如切线空间(tangent space)输入特征)，该模型可能先前已经基于各个用户在2D手腕移动的执行期间使用松散的拳头而被生成为广义模型(generalized model)。在这一步中，可能会提示用户确保单位圆被正确经过，并使用快速和慢速运动。作为说明，图3示出了用于经由手腕旋转对2D移动的推理模型进行在线训练的示例图形用户界面。如图3所示，在状态302中，图形用户界面包括供光标320经过的圆310。随着用户顺时针旋转他们的手腕，光标320沿着圆310描绘路径322。在状态304中，随着用户逆时针旋转他们的手腕，光标320沿着圆310描绘路径324。

在进行手腕旋转时，除了用松散的拳头训练之外，还可以使用握紧的拳头训练2D手腕旋转模型。例如，当用户握紧拳头以执行与上述相同的2D训练模型时，系统可以收集数据(例如切线空间输入特征)。如上面所讨论的，可以提示用户获得将覆盖单位圆并包括快速运动和慢速运动的大范围手腕运动。

在如上所述收集数据之后，这里描述的系统可以分析数据。例如，对于每个数据集(即，用松散的拳头收集的数据和用握紧的拳头收集的数据)，系统可以计算数据点的平均值和协方差。附加地或替代地，系统可以使用多种技术中的任何一种来分析数据点之间的距离，这些技术包括：(i)控制的超平面；(ii)具有高斯核的一类支持向量机，对于任何给定模型，该支持向量机可以区分在特征空间中的目标区域内和目标区域外，以及数据点距目标区域有多远的距离；(iii)在各个数据簇之间放置余量(margin)，并基于到余量的有符号距离等确定混和因子；(iv)训练神经网络以识别数据集内的放置(或该放置的缺乏)和/或区分数据集；以及(v)执行回归以对数据集建模。

作为在松散的拳头场景和握紧的拳头场景之间手腕旋转的神经肌肉输入数据的差异的图示，图4示出了比较用于训练松散的拳头模型的数据点和用于训练握紧的拳头模型的数据点的分布的标绘图400。如图4所示，松散的拳头数据点距松散的拳头簇的平均值的马氏距离始终很低，而握紧的拳头数据点距松散的拳头簇的平均值的马氏距离非常大。从图4中可以看出，这两个分布在统计上和/或结构上有所不同。所公开的系统和方法可以利用分布中的这种差异来使用各种推理模型实现完全控制方案。

虽然为了简单起见，上面的讨论集中在特征空间内的一个或两个子区域上，但是在各种示例中，特征空间中可以有多于两个的子区域(例如，每个子区域具有在来自各自子区域内的数据点上训练的对应推理模型)。例如，如以上结合图1和图2所述，用户可以在他们的拳头被握紧而不是松开的情况下执行手腕2D移动。类似地，用户可以在他们的拇指按压在拳头上的情况下执行前面描述的手腕2D移动。作为说明，图5示出了图1-2的特征空间110，其具有从子区域120(其中用户在他们的拳头松开时移动他们的手腕)到子区域542(其中当用户移动他们的手腕同时他们的拇指被按压时，输入被观察到)的转换540。拇指按压可用于离散/瞬时事件(例如，接合或脱离给定应用内的特定特征)以及用于连续/保持事件(例如，保持给定应用内的特定特征的激活)。在持续保持的拇指按压事件的情况下，原本通常可以落在子区域120内的输入(例如，涉及手腕的2D移动的输入)可以改为落在子区域542内。

图5所示的子区域之间的转换可以解释为离散的或独特的事件或不同的连续事件。例如，离散事件可以是区域之间的快速转换且然后再返回，并且连续事件可以包括收集的数据继续存留(linger)在特征空间的定义的区域内的场景。在某些实施例中，特征空间内的子区域和特征空间的可解释表示之间的关系被用来实现这里公开的系统和方法。在某些实施例中，所公开的系统和方法在特征空间中绘制出子区域，并向用户提供关于所处理的神经肌肉输入数据驻留在哪些子区域中或在哪些子区域之间行进的反馈。

在某些实施例中，本文公开的系统和方法通过实现混和线性函数来允许完全控制方案。例如，所公开的系统和方法可以将“松散的拳头”2D线性模型和“握紧的拳头”2D线性模型进行混和，如下面的等式(1)所示：

y＝(1-α(x))W_松散的x+α(x)W_握紧的x (1)

其可以如下面的等式(2)所示进行重新排列：

y＝W_松散的x+α(x)(W_握紧的-W_松散的)x (2)

或者如下面的等式(3)所示进行重新排列：

y＝W_松散的x+α(x)W_校正x (3)

等式(3)右侧的第二项可以解释为每当用户退出特征空间中针对所收集的数据输入的“松散的拳头”子区域并朝向“握紧的拳头”子区域移动时发生的校正。

在某些实施例中，本文描述的系统计算混和函数(即，α(x))，并根据输入或多个输入在特征空间内的位置来确定要应用多少校正。在某些实施例中，要应用的校正可以从数据输入中学习和/或可以通过沿着将“松散的拳头”分布的平均值与“握紧的拳头”分布的平均值相连接的向量投射动作来进行几何计算。

在另一个实施例中，本文公开的系统和方法可以采用一个或更多个“污染的”非线性模型。这样的过程可以通过首先学习线性模型，然后教导非线性模型来仿真线性模型，来提供额外的模型容量。一旦实现了这一点，这里公开的系统和方法可以利用非线性模型中的额外容量，以使其对特征空间中的多个区域以及它们之间的转换鲁棒。在一些实施例中，非线性模型可以是神经网络或任何其他模型——例如，混和线性模型，其中现有的线性模型保持固定，但是通过学习混和函数和对某个基线模型的校正来添加额外的容量。

在各种实施例中，本文公开的系统和方法可以通过当某些数据是不期望的(例如，不被认为适合于给定的推理模型)时关闭数据输入解释来调整它们的数据解释。例如，如果系统检测到用户正在生成落在特征空间的子区域内的输入，而该子区域对于给定的活动不是预期的或期望的，则系统可以忽略那些数据输入，直到它们落回到特征空间中感兴趣的子区域内。

在一些实施例中，本文描述的系统和方法涉及基于在高维特征空间中获得的神经肌肉信号数据(例如，sEMG数据)来处理、分析、可视化和训练用户，并且在较低维特征空间(例如，二维(2D)本征空间)中呈现该数据。这里描述的系统和方法可以包括经由本征空间的视觉界面训练用户，并呈现检测到和经处理的神经肌肉信号数据的映射。使用所描述的系统和方法，对于由一个或更多个推理模型检测到的某些手部状态配置或姿态，用户的表现(以及计算机模型对该表现的检测)可以得到改进。使用反馈回路，机器控制系统可以更准确地对用户的姿态进行分类。在某些实施例中，该系统可以进一步包括闭环人机学习部件，其中用户和计算机都被提供有关于接收到和经处理的神经肌肉信号数据的信息以及具有神经肌肉信号数据的本征向量绘图的2D本征空间。这种方法允许用户调整他们的手部状态配置(例如，姿态和姿势)的表现，并且允许计算机基于一个或更多个推理模型更准确地将用户的手部状态分类为离散的姿态和姿势。

如上面所讨论的，本文公开的系统和方法可以向用户提供关于特征空间以及该特征空间内的绘制的向量或数据点如何被映射的反馈。反馈可以以任何适当的形式出现，包括但不限于视觉、触觉和/或听觉反馈。绘制的点可以基于经处理的神经肌肉信号数据被生成。神经肌肉信号数据可以在系统或用户为手头任务设置的各种时间窗口期间被收集和处理。绘制的向量或数据点可以被视觉地呈现给用户，并且也可以呈现特征空间内定义的子区域。特征空间中定义的子区域可以对应于特定推理模型为作为模型的输入的经处理的神经肌肉数据产生最准确的输出的子区域。在示例实施例中，用户可以对屏幕上的虚拟光标执行2D控制，并且可能想要切换到各种手势来控制机器系统。当用户经由手腕旋转来执行2D控制时，他们可以可视化他们的映射向量落入的特征空间的子区域。一旦用户切换到执行手势(例如，手指捏)，用户可以可视化他们的映射向量现在落入的特征空间的新的子区域。

在一些实施例中，本文所述的系统和方法涉及检测多个神经肌肉信号数据并将其从较高维特征空间处理到较低维特征空间(包括但不限于2D本征空间)中。在某些实施例中，用户(例如，实时地或接近实时地)接收关于他们的神经肌肉数据(sEMG数据)如何映射到较低维特征空间上或在较低维特征空间内呈现或绘制、以及机器学习推理模型如何使用该较低维特征空间中的位置来提取事件、姿势或其他控制信号信息的反馈。在一个实施例中，可以向用户呈现视觉反馈，使得用户可以调整神经肌肉活动，并且接收关于输出中的该变化如何反映在特征空间映射中以及机器学习推理模型如何对较低维特征空间内的某些手部状态、事件、姿态或姿势进行分类的即时反馈。

在某些实施例中，已经跨多个用户训练的事件模型(例如，广义模型)可以被实现为将来自用户的神经肌肉信号数据(例如，sEMG数据)处理和分类为离散事件。广义模型可以包括生成的特征空间模型，该特征空间模型包括表示经处理的神经肌肉信号数据的多个向量。这样的神经肌肉信号数据可以从使用如本文所述的具有EMG传感器的手腕/臂带的用户处获得。这些向量可以被表示为本征空间模型中的本征向量，如下文进一步描述的。

在某些实施例中，来自用户的神经肌肉信号数据输入可以被处理成它们对应的本征向量，并且本征向量可以在较低维空间中呈现。各种本征向量可以被映射在较低维空间中的本征分类区域内，并且本征向量可以与离散分类或分类标识符相关联。在一些实施例中，每个本征向量可以包括两个值，这两个值可以被映射到2D可视化中的x坐标和y坐标，并且在2D可视化中被表示为本征向量点。经处理的神经肌肉信号数据的这种本征表示可以提供有用的信息，并且与表示神经肌肉信号数据的更大或更多维度的向量空间相比，可以证明对于某些数据集来说信息更丰富。例如，使用所公开的系统和方法，可以使用2D映射的可视化实时地向用户呈现他们的神经肌肉活动的一个或更多个本征表示作为反馈，并且用户可以调整行为并从表示中学习以生成更有效的控制信号来控制例如计算设备。向用户提供即时反馈允许用户理解他们的神经肌肉活动是如何被机器模型解释的。本征空间中的离散分类可以由系统以各种方式定义和表示。本征向量可以对应于各种参数，包括离散的姿态或姿势(例如，拳头、张开的手)、有限的事件(例如，捻手指或轻击手指)和/或用变化的力水平执行的连续姿势(例如，松散的拳头与紧的拳头)。如本文所述，所公开的系统和方法可以允许在对应于期望参数集的任何一个或更多个动作的执行期间，对从用户收集的数据集进行个性化和鲁棒的分类。

在涉及离散的用户手部姿态或姿势的分类的实施例中，经处理的神经肌肉信号数据可以用本征向量在2D本征空间中表示和可视化。本征空间可以被生成，使得任何较高维数据空间可以例如通过使用适合于手头的机器学习问题的任何合适的编码器，在较低维空间中被可视化。这些编码器可以从各类问题中导出，包括自动编码、简单回归或分类、或其他机器学习本征空间生成技术。在某些实施例中，编码器可以从分类问题(例如，对特定手势进行分类)中导出，并且可以训练神经网络来辨别手的有限数量的姿态(例如，手的七种不同姿态)。在该实施例中，在生成数据集的实际分类之前，本征表示可以被约束到较低维空间(例如，二维空间)。任何合适的损失函数可以与神经网络相关联，只要在任何给定的用户会话期间，损失函数在本征空间中的各种映射和经处理的神经肌肉输入的分类中保持恒定。在一个实施例中，使用包括神经网络的自动编码器来实现用于生成本征空间和本征向量的网络，并且该网络具有网络架构，该网络架构包括用户嵌入层，随后是时间卷积，随后是多层感知器，以便到达二维本征空间。从二维本征空间，本征向量可以经由最终的线性层被映射到七个类别的分类概率。如本文所使用的，“用户嵌入层”包括对每个用户独特的向量，该向量定义了用户相关的变换，该变换旨在使模型适应用户的独特数据特性(例如，针对用户执行的某些姿势的独特EMG数据模式)。添加这样一个独特的向量可以增加推理模型的可靠性。该嵌入层可以经由一个或更多个个性化训练过程来确定，该个性化训练过程可以通过基于在某些活动的执行期间从用户收集的经处理的EMG数据来调整其一个或更多个权重来定制广义模型。

图6和图7示出了根据收集和处理的用户神经肌肉数据生成的示例标绘图，该示例标绘图表示代表用户手部姿态分类的本征向量的2D可视化。这些标绘图表示各种本征向量点和本征区域。在一个示例性实施例中，在会话期间使用本文公开的神经肌肉臂带从6名受试者收集数据。在图6和图7的顶行中呈现了基于广义模型为6名受试者(例如，受试者0-5)生成的本征向量点和标绘图。6名受试者中的每一名都依次执行了7种手部姿态中的一种，即：(1)休息的手(活动的空(null)状态)；(2)闭合的拳头；(3)张开的手；(4)食指到拇指的捏(“食指捏”)；(5)中指到拇指的捏(“中指捏”)；(6)无名指到拇指的捏(“无名指捏”)；和(7)小指到拇指的捏(“小指捏”)。与那些手部姿态相关联的EMG信号数据被收集，使用根据从多个用户获取的数据训练的广义模型对其进行处理，并且相关联的本征向量被显示在2D代表性本征空间上，如图6A和图6B的顶行所示。基于7个本征空间中的不同着色，可以看到7种姿态分类中的每一种。在用户使用广义模型执行手势之后，6名受试者中的每一名都接受了指导训练会话，其中他们被指示在几次重复中依次执行七个姿态中的每一个，并且EMG信号数据被收集和处理以使分类模型个性化，从而更好地检测特定用户的姿态。在图6和图7的底行中显示了训练后的本征向量点。图6和图7的底行表示在一次个性化训练会话之后产生的本征向量点。

从图6和图7中可以看出，本征空间的大小因用户而异。在一次个性化训练会话之后，表示七个分类的本征空间可以被可视化为大小更加均匀，并且可以看到本征向量被适当地推向正确的姿态分类(例如，受试者2和受试者3)。如在本征空间可视化中所反映的，个性化训练能够实现大小更加均匀的分类区(classification zone)。在本征空间中具有大小更加均匀的区的情况下，臂带的用户可以更好地可视化他们的映射神经肌肉活动，并将他们的映射神经肌肉活动可靠地拟合在预期的分类区中(如本文进一步描述的)。

在一些实施例中，映射到各种分类的本征空间位置中可以在个体之间以及在用于特定个体的个性化模型之间变化。所描述的系统和方法提供了解决方案来考虑个体之间以及用于给定个体的个性化模型之间的这种可变性。在某些实施例中，可以向用户呈现实时反馈，使得用户可以调整他们的行为，以确保本征向量更紧密地映射在一起和/或在本征空间的限定部分内。这可以允许用户对机器施加更准确的控制，无论他们是使用广义机器学习模型还是个性化模型。下面将进一步讨论这种具有视觉和其他类型的感觉反馈以改善用户-机器控制的实施例。

在其他实施例中，映射的本征向量的可视化可用于确定广义模型对任何给定用户的执行效率。例如，如果用户以相同的力量重复地执行姿势，并且广义模型在大范围的本征空间或区域上或者仅在本征空间或区域的非常小的范围内映射向量，则广义模型在输出准确度方面可能对于该特定用户工作不佳。在这个实例中，这里描述的系统和方法将向用户指示他们应该训练另一个模型，以在机器控制方案中更好地表示他们的神经肌肉活动。使用所描述的系统和方法，如果本征向量区域在本征向量空间中是清晰可分的，则可以推断模型对于特定用户工作良好。

在某些实施例中，本文公开的系统和方法可以用于数据集的错误诊断。例如，所公开的系统和方法可用于分析和理解特定收集的数据集(例如，经处理的EMG信号数据)具有与其相关联的不良度量。作为示例性实施例，在姿态之间有休息或没有休息的情况下，从执行如上所述的七个姿态的受试者收集和处理EMG信号数据。在图8中表示和描绘了经处理的数据。标绘图802表示与用户在姿态之间休息相关联的本征向量，而标绘图804表示与姿态之间没有休息相关联的本征向量。

如图8所示，与来自同一实验的训练和验证受试者相比，该数据集在投射的空间中具有非常小的域，此外，休息类别包含大量信息。假设本征向量被映射到图8中的非常小的域中，则可以推导出：用于那个人的特定模型对于那个人来说不是最优的，并且可以为那个人尝试另一个模型来提高准确度。此外，如果在多个用户中观察到这种现象，则可以推导出模型在用户中表现不佳，因此需要进一步检查模型。在某些实施例中，该2D可视化可以跨用户和/或跨会话被系统地生成，以系统地监控对于给定用户或一组用户的模型性能。

为了可视化使用训练模块的姿态个性化如何影响根据实施例生成的低维模型，可以生成图9所示的可视化。标绘图902表示使用广义姿态模型的本征向量表示。标绘图904表示使用个性化姿态模型的本征向量表示。标绘图906表示姿态之间没有休息情况下的使用广义模型的本征向量表示。标绘图908表示姿态之间没有休息情况下的使用个性化模型的本征向量表示。

从图9中可以看出，2D模型为系统如何对各种用户姿态进行分类提供了有用的见解。可以看出，利用广义模型观察到的表示中的这种病态似乎与差的个性化有关。在这个特定的例子中，可以推导出：模型对于这个特定的用户表现不好，并且模型可能没有被充分训练或者在不适当的数据集上被训练。此外，可以基于本征向量落入的窄定义的区域来排除任务执行期间的任何用户行为错误。该模型将数据点聚集到一个更集中的区域，这表明该模型在某些方面存在缺陷。此类信息可用于重新评估模型的充分性，包括通过查看馈送到模型中的底层数据质量，并可能诊断出模型对数据的任何欠拟合或过拟合。

在另一个实施例中，这里描述的系统和方法包括用于向用户提供反馈的交互式反馈回路。这些系统和方法还可以包括闭环人机学习配置，其中2D本征空间的区域被定义并与某些分类(例如，手的姿态或姿势)、有限事件(例如，捻手指或轻击手指)和/或用变化的力水平执行的连续姿势(例如，松拳头与紧拳头)相关联。在各种实施例中，当通过神经肌肉EMG传感器实时感测到用户的活动表现时，在用户的活动表现期间，该系统可以向用户提供视觉反馈。例如，如果用户正在做出食指到拇指的捏，则系统可以呈现显示该姿势的本征空间表示的用户界面。随着用户做出每个离散的捏时，可以在屏幕上将与该活动相关联的向量绘制为数据点。可以标记本征空间的各个区域，以便用户可以识别这些区域并将它们与活动相关联。在某些实施例中，本征空间的各个区域可以用显示该区域中的姿势的文本或图像来标记。例如，每个区域可以示出不同的手指捏或手部状态配置。替代地，可以使用显示在本征空间可视化侧面的彩色编码图例(legend)或与特定手指捏和手部状态配置相关联的任何其他图例或图解(key)来标记每个区域。在某些实施例中，用户可以更突出地可视化他们先前的姿势，以便跟踪他们的进度。例如，可以以不同的颜色(色调和饱和度、不透明度或透明度等)或者用特殊效果或动画(例如，彗星轨迹、闪烁/闪光、百叶窗、溶解、棋盘格、尺寸改变等)显示更近的数据映射。除了视觉反馈之外，某些实施例还可以包括听觉或触觉反馈。这样的实施例可以包括听觉声音效果或触觉反馈，以指定各种分类或从一个分类到另一个分类的转换(例如，对于每个单独的映射点，或者仅当映射点基于先前映射的区域进入另一个本征区域时，发出嘟嘟声或振动)。在一个实施例中，如果用户正在执行第一姿势，并且第二姿势被映射到本征空间中与第一姿势所关联于的本征空间的区域相邻的区域，则系统可以呈现视觉指示符，其向用户示出他们的数据映射正在接近相邻区域或者正在开始落入相邻区域内(例如，突出显示两个本征区域之间的边界)。在各种实施例中，可以使用各种标记技术来分配用于视觉显示的本征区域，这些标记技术包括但不限于任意标记；用户可以切换的可选或可修改标记；视觉描绘、标志或图像；与听觉和/或触觉反馈或其他类型的感觉反馈相关联的稍微可见或不可见的标记。用户可以通过向系统提供神经肌肉输入(例如，捻、轻弹等)和/或语音输入(例如口头命令)来切换各种标记或在各种标记中进行选择。在某些实施例中，用户可以在映射本征向量点之前或期间分配自定义标记。

在某些实施例中，如果用户重复执行食指捏，并且用户注意到可视化在与不同分类(例如，小指捏)相关联的本征区域中显示每个食指捏的点，则用户可以基于该特定姿势(或姿势的组合)执行模型个性化，以使他们的模型更好地个性化，并且更准确地检测该特定姿势(或姿势的组合)。

在使用这里描述的系统和方法训练用户的实施例中，可以基于要被分类的预期手势来标记本征区域。例如，本征区域可以被标记为“食指捏”、“中指捏”等，例如，如图10所示。图10描绘了被标记的本征空间，其中手部姿态分类和向量表示为用户训练期间的数据点。

当用户做出中指到拇指的捏时，可以显示图10中圈出的数据点1010。如果用户再次执行中指到拇指的捏，则可以显示图10中圈出的数据点1020。如果用户随后执行食指到拇指的捏，则可以显示图10中圈出的数据点1030。以这种方式，系统可以关于系统如何分析、映射和分类各种经处理的EMG信号输入，向用户提供实时视觉反馈。如果用户执行中指捏，但是数据点出现在食指捏本征空间中或者出现在两个本征空间的分隔线附近，则用户可以调整他们执行其食指到拇指的捏和其中指到拇指的捏的方式，以便适应系统所采用的机器学习算法模型。例如，如果用户在顺时针或逆时针方向上稍微旋转他们的手腕，并且用户看到手腕旋转如何影响系统对他们的捏的映射和/或分类，则用户可以适当地调整他们的手腕旋转，以便系统准确地识别用户的捏。

在另一个实施例中，系统能够检测和考虑用户在重复执行姿势时改变他们的手腕的位置。例如，用户可以执行食指捏，并且系统可以适当地对该捏进行分类，并且关联和绘制可以呈现给用户的对应的第一本征向量。用户可以指示系统：它将再次执行相同的姿势。当用户再次执行姿势时，他们可以通过稍微进行修改(例如，不同的手腕角度或旋转程度)来进行。基于该第二姿势的经处理的EMG数据，系统可以关联并绘制可以呈现给用户的对应的第二本征向量。系统可以量化第一和第二本征向量之间的距离，并使用该计算来提高其检测该特定姿势分类的能力。

在另一个实施例中，所公开的系统和方法可以通过分析训练数据并基于该训练数据重新映射本征空间内的分类边界来改进它们的个性化模型。例如，如果用户通知系统其下一个预期姿态为食指捏(或者系统指示用户执行食指捏)，那么如果映射的本征向量落在指定用于食指捏分类的本征区域之外，系统可以修改与食指捏(和其他分类)相关联的本征空间的大小和间距。

在另一个实施例中，用户可以在顺时针和逆时针方向上旋转他们的手腕的同时重复执行中指到拇指的捏，同时旨在将所有相关联的数据点保持在定义的中指到拇指的本征空间内。当用户正在执行该活动时，系统可以检测该模式(或者以无监督学习的方式自行检测，或者可以以监督学习的方式被告知用户将执行捏的各种旋转)，并且学习处理与手腕旋转相关联的附加数据，并且当系统试图确定用户是否正在执行中指到拇指的捏时，考虑或忽略某些数据。以这种方式，所公开的系统和方法可以为每个单独的用户学习和生成更个性化的模型。

在另一个实施例中，可以向用户呈现指示屏幕，该屏幕指示用户仅执行食指到拇指的捏，并且系统可以被指示为仅识别食指到拇指的捏，并且在训练会话期间向用户呈现那些本征向量。如果系统处理EMG神经肌肉数据输入，并且最初将向量与落在指定用于该分类的本征空间之外的输入相关联，则系统可以从该EMG神经肌肉输入中学习，并且通过将其与适当的指定分类相关联来对该输入进行重新分类。这可以是一个迭代过程，直到系统可靠地将神经肌肉输入数据分类到正确的本征空间中，从而分类到正确分类。分类的可靠程度可以由用户设置，例如80％的准确命中率、90％的准确命中率等。

如上所述，在训练会话期间向用户反馈的各种模式可以根据会话训练目标和用户对各种类型的反馈的响应程度而变化。除了上述类型的反馈之外，还可以使用扩展现实系统和设备(例如虚拟现实和增强现实设备)来提供附加类型的反馈。在这些实现中，可以在沉浸式或增强的环境中向用户呈现本征可视化，其中可以以对用户更友好和有效的方式执行训练。任何上述感觉指示器可以在虚拟或增强环境中用适当的附件硬件设备(包括头戴式显示器和智能眼镜)呈现。

在各种实施例中，参考图6-10描述的2D本征表示的子区域可以与参考图1、图2和图5描述的特征空间中的不同子区域相对应。因此，这里描述的系统可以对落在2D本征表示的各个相应子区域中的输入应用不同的推理模型。此外，在响应于用户反馈而调整2D本征表示的子区域的那些实施例中，描绘不同推理模型的使用的特征空间内的边界同样可以被调整。

在另一示例实施例中，本文公开的系统和方法可用于评估特定推理模型的效能。用户可以执行手势，例如食指到拇指的捏，然后可以通过旋转他们的手腕来保持该捏。在实施例中，在手腕处于中性位置时的捏姿势的情况下，呈现给用户的可视化可以在明确定义的区域中示出映射的向量或数据点，并且随着用户在保持捏姿势的同时旋转他们的手腕，映射的向量可以开始出现在先前明确定义的区域的外围和/或可以开始完全退出先前明确定义的区域。可视化从被推理模型良好解释的神经肌肉输入到不被同一推理模型良好解释的神经肌肉输入的这种转变的能力将允许用户修改他们的行为以更好地适配推理模型。在这个例子中，如果手腕旋转角度的特定范围导致映射的向量点驻留在所定义的子区域内，并且其他的手腕旋转角度导致映射的向量点落在该子区域之外，则用户将会知道保持在旋转角度的特定范围内，以最好地最大化他们经由推理模型控制机器的能力。可视化推理模型的输出的质量开始恶化的点的能力可用于微调推理模型。例如，可以将额外的神经肌肉输入馈送到推理模型中，以在某些场景和/或环境下更好地训练该模型。替代地，任何特定推理模型的极限可以被可视化，使得推理模型的极限可以被评估，并且可以在没有从第一推理模型产生高质量输出的那些数据点上训练另一推理模型。

在某些实施例中，可以在更有限的数据集上训练多个推理模型。例如，推理模型可以被训练，从而在检测神经肌肉活动的某些模式(例如，力、移动、运动单位动作电位(MotorUnit Action Potentials)、姿势、姿态等)方面更专业和更准确。每个推理模型可以作为本文公开的系统和方法的一部分来实现，从而可以通过选择性地应用推理模型之一来改进神经肌肉活动的准确检测和/或分类。在这样的示例性实施例中，可以有在鲁棒的数据集上训练的四个推理模型，以检测每一种手指捏(例如，一个鲁棒的推理模型用于食指到拇指的捏，另一个鲁棒的推理模型用于中指到拇指的捏，等等)。根据用户正在执行哪种捏，本文公开的系统和方法可以选择适当的推理模型以将经处理的神经肌肉数据馈送到其中。这样的设置可以在添加和更新模型方面比被训练成检测所有四种手势的单个模型更准确和更灵活。

可以基于各种输入模式或控制方案来组织各种推理模型。这样的输入模式和控制方案可以包括以下中的一个或更多个：用户手部状态配置、手部姿态、手势(离散的和连续的)、手指敲击、手腕旋转以及在前述中的任何一个或更多个的执行期间施加的变化的力水平；来自用户的打字动作；指向动作；来自用户的绘画动作；以及可以由用户执行或由这里公开的系统检测到的其他事件或动作。

为了训练和产生对应于这里描述的系统可以实现的各种输入模型和控制方案的各种推理模型，这里描述的系统可以收集用户神经肌肉数据。在一些实现中，可以向用户呈现在线训练应用。在线训练应用加载图形用户界面(GUI)，该图形用户界面经由例如蓝牙可操作地耦合到可穿戴系统。用户可以从由GUI提供的一组在线训练任务中进行选择。这种界面的一个例子可以是图3所示的界面。尽管图3的讨论围绕基于手腕旋转的控制，但是类似的界面可以用于训练其他控制方案，例如用户用他们的指尖控制2D平面内的光标。例如，用户可以将可穿戴设备佩戴在他们的右手腕或右手臂上，并选择第一训练任务，在该任务中，用户被提示(例如，用他们的右手上的他们的指尖)沿着圆的边缘在界面内拖动光标。当用户执行训练任务时，可穿戴设备记录来自用户的EMG信号，这样的用户数据被保存以稍后训练用户特定的机器学习模型。

同样，用户可以选择第二训练任务，其中经由GUI提示用户将光标从圆内移动到圆的边缘，如图11所示。例如，在界面的状态1102中，用户可以将光标对角地向上且向左拖动到圆的边缘。在界面的状态1104中，用户可以将光标对角地向上且向右拖动到圆的边缘。在界面的状态1106中，用户可以将光标对角地向下且向左拖动到圆的边缘。

如在先前描述的训练任务中，当用户执行训练任务时，可穿戴设备记录来自用户的EMG信号，这样的用户的数据被保存以稍后训练用户特定的机器学习模型。这样的用户数据被保存并用于训练用户特定的推理模型。上述协议可用于训练用户特定的推理模型，而不需要具有预定义的地面真实(ground truth)数据。因此，地面真实数据是基于用户特定的数据经由一个或更多个可用的训练协议生成的。因此，通过不依赖于并且不在存储器中具有可能大于用户特定的数据的预定义地面真实数据，可以节省一些存储器资源。此外，用户特定的推理模型的生成可以被用户感知为近乎即时的，即，用户可以在提供用户特定的数据之后迅速开始使用具有用户特定的推理模型的臂带设备。在一些实例中，用户特定的推理模型的训练可以在用户的本地机器中执行，而在其他实例中，特定推理模型的训练可以在云中远程地执行。

由于各种原因中的任何一种，一些个体可能会受到他们用他们身体的一部分所能产生的移动类型(或力的程度)的限制，这些原因包括但不限于：肌肉疲劳、肌肉萎缩、损伤、神经病、重复性应激损伤如腕管障碍、其他外周神经障碍(包括退行性神经障碍如多发性硬化症或ALS)、中枢神经系统运动障碍、慢性疲劳综合征、畸形或其他非典型解剖结构，或其他与健康相关的原因。因此，用于二维控制的用户特定的推理模型的训练和实现特别适合于运动系统和/或解剖结构为非典型的个体。在一些实施例中，可以定期评估用户特定的推理模型，以确定用户执行用于训练(和/或再训练)用户特定的推理模型的移动和/或力的能力是否不再可行。例如，如果用户的伤害消除并且他或她的运动范围增大，从而影响在用户的运动范围被减小(例如，由于损伤)的时间期间训练的用户特定的推理模型的质量，那么这可能发生。这里描述的系统和方法可以被配置成自动检测模型的增加的错误率，并且导致用户界面被呈现以再训练受试者。类似地，这里描述的系统和方法可以进一步被配置用于指示他们具有神经退行性或肌肉萎缩状况的用户，从而导致用于再训练用户特定的推理模型的用户界面不时地被呈现。

在一些实现中，线性模型可以用于实现用户特定的机器学习模型。选择线性模型是因为在输入数据使得各个类别近似线性分离的情况下，这是一个很好的选择。然而，也可以类似地选择其他模型，例如深度前馈网络、卷积神经网络和循环神经网络。

一些人机界面依赖于通过聚集来自多个用户的数据而训练的广义推理模型。这种系统可能会达到准确度和性能的稳定，部分原因是广义模型的性能通常会随着训练用户的数量呈对数增长。此外，至少在某些情况下，某种类型的广义模型不太可能达到与用户特定的模型相同的准确度和性能。下面提供的例子是在线性回归推理模型的上下文中。然而，类似的用户特定模型可以使用各种模型架构来实现，这些架构包括但不限于多层感知器、深度神经网络(例如，卷积神经网络、循环神经网络等)或其他合适类型的预测模型。

在某些情况下，可以使用线性模型来实现用户特定的推理模型。在输入数据和所需模型近似线性相关的情况下，线性模型是适当的选择。线性模型将一个或更多个连续响应变量描述为一个或更多个预测变量(predictor variable)的函数。这种线性模型可以经由线性回归、支持向量机或其他合适的方法或架构来实现。n个输入变量和m个输出变量之间的多元线性模型的假设可以由下面的等式(4)给出(使用向量和矩阵表示法)：

h_θ(x)＝Θ^Tx+θ₀ (4)

其中：

注意，上面的表达式对应于多元线性回归模型，然而，在单变量线性回归的情况下可以应用类似的方法。多个特征的成本函数由下面的等式(5)给出：

相对于参数Θ和θ₀，成本J可以被最小化。可以应用各种正则化方案来优化模型，以增强对噪声的鲁棒性，并促成训练的早期停止，以避免推理模型的过拟合。

上面的计算可用于构建用户特定的机器学习模型，该模型将经由可穿戴设备的EMG信号作为输入，并输出可映射到二维空间的一组数字坐标。例如，用户特定的机器学习模型可以用于基于移动、手部姿态、姿势和/或力来预测图形界面内的光标位置，从而有效地替代鼠标、十字按钮(D pad)或类似的外围设备。例如，用户可以用可穿戴设备控制在2D图形界面内渲染的光标，因为可穿戴设备被配置成(在在线训练之后)将神经肌肉信号转换成X和Y光标位置(控制信号)。用户可以通过例如向上、向下、向左、向右、对角地移动他们的手指、或者如图12A-12C所示的其他合适的移动，在2D界面空间内移动光标。基于用户的舒适度和偏好，合适的移动对于用户来说可以是特异性的或独特的。

值得注意的是，可以类似地实现非线性模型，以将附加特征结合到用户特定的模型中，例如点击二维空间中的图形对象(即网页上的按钮或超链接)、激活窗口小部件(widget)、或者可以利用用户界面中呈现的附加功能交互元素来执行的其他类似操作。

在一些实现中，可以使用一个或更多个不同的滤波器来过滤噪声信号，以获得高精度和高响应性。可以应用这些滤波器来处理所收集的神经肌肉信号的时间和/或空间参数。例如，一Euro滤波器可以用具有自适应截止频率的一阶低通滤波器来实现：在低速度时，低截止频率(也称为转角频率或中断频率)通过减少抖动来稳定信号。随着(例如，用于2D空间中的光标的)控制信号的速度增加，截止频率增大以减少滞后。一Euro滤波器可以根据对信号的速度(二阶)的估计，更一般地说，根据其导数值，为每个新样本调整低通滤波器的截止频率。滤波器可以使用指数平滑来实现，如公式(6)所示：

其中平滑因子α∈[0，1]不是常数，而是自适应的，即使用关于信号的变化率(速度)的信息进行动态计算。这旨在平衡抖动与滞后之间的权衡，因为用户可能在低速度时对抖动更敏感，而在高速度时对滞后更敏感。平滑因子可以如等式(7)所示来定义：

其中T_e是根据EMG样本之间的时间差计算的采样周期，T_e等于(T_i-T_i-1)，并且τ是使用截止频率计算的时间常数

截止频率f_C被设计成随着变化率(即速度)的增加而线性增加，如公式(8)所示：

其中

是最小截止频率，β>0是速度系数，

是滤波后的变化率。变化率

被定义为用公式(9)表示的信号的离散导数：

然后，可以使用具有恒定截止频率

的指数平滑对上述内容进行滤波，默认情况下，

因此，可以实现一Euro滤波器，以使用户能够例如以与用户在佩戴臂带系统时执行手势(例如，从左向右移动手，反之亦然)的速度成比例的速度，控制在二维空间中渲染的图形对象。在其他实施例中，信号可以进一步经受泄漏积分器，以保持信号对活动尖峰的响应性，同时控制信号为高的时间量。

在用户特定的推理模型被训练之后，系统可以执行自我表现评估。可以通过使用已知与预定路径或形状相关联的一组神经肌肉信号(例如，EMG信号)作为输入，经由用户特定的推理模型预测二维空间中的一组位置或坐标，来执行这种自我表现评估。因此，可以通过将该组位置或坐标所表示的形状或路径与预定形状进行比较来确定用户特定的推理模型的拟合度水平或准确度。当所表示的形状脱离或偏离预定形状或路径时，可以推断用户特定的推理模型需要再训练或需要进一步调整。然后，系统根据确定的拟合度或准确度缺陷，提供后续训练任务，以利用经由该后续训练任务获得的用户数据来再训练或调整用户特定的推理模型。

在一些实现中，自我表现评估可以在用户例如与应用或游戏交互时被执行。在这种情况下，系统可以通过确定模型预测是否匹配用户预期执行的移动或动作来确定准确度或拟合度水平。例如，如果预期用户执行佩戴臂带系统的姿势(例如，执行在二维空间中将光标移动到左上象限的姿势)，则系统可以基于从臂带系统接收的神经肌肉信号来确定用户特定的推理模型是否预测光标是否被渲染在预期的位置。在某些情况下，当预期的位置不同于实际位置时，则系统可以断定用户特定的推理模型需要进一步调整或再训练。如上面所讨论的，系统可以为用户提供后续的训练任务，该训练任务可以被设计成专门地再训练用户特定的推理模型的那些被识别出超过阈值的误差的方面。然后，通过后续的训练任务获得的新用户神经肌肉数据可用于再训练或进一步调整用户特定的推理模型。

在一些实施例中，提供图形用户界面来计算可用于评估用户特定模型的质量的一组度量。这样的度量可以包括路径效率、稳定性、一致性、可达性、组合学和其他合适的度量。

作为说明，图13A示出了路径效率度量的视觉表示。在一些实现中，可以通过在GUI上显示路径(例如，图13A中所示的带箭头的路径)，并指示用户在佩戴臂带系统时通过移动(包括手指移动、手移动、手腕移动)来遵循该路径，来计算路径效率度量。这样的移动将导致光标指示器(圆圈)在由GUI限定的二维空间中移动。路径效率可以作为带箭头的路径和由光标指示器(当由用户控制时)在二维空间上绘制的路径之间的差异的函数被测量。换句话说，强路径效率度量值与跟随所显示路径的用户移动相关联，而弱路径效率度量值与偏离所显示路径的用户移动相关联。下面参考示出不同路径形式的图13B示出了不同于图13A中提供的示例的其他配置。

在一些实施例中，稳定性度量可以通过在GUI上显示被划分成预定数量的部分(section)或切片(slice)的圆形来计算，如图14A所示。在某些情况下，可以提示用户使用臂带系统将光标悬停在特定的圆部分上，该臂带系统记录神经肌肉数据，并将这些数据输入到用于二维控制的训练的用户特定模型中。稳定性度量可以通过测量用户是否悬停在指示的部分上来产生。在一些其他情况下，可以提示用户将光标悬停在特定的圆部分上，并将光标在这样的部分中保持超过预定时间量的持续时间。在这种情况下，稳定性作为用户是否能够悬停在指示的目标部分上以及用户是否将光标在指示的圆部分上保持所需时间的函数来测量。图14B示出了可以显示给用户以计算稳定性度量值的不同GUI配置。

在一些实施例中，可达性度量可以通过在GUI上显示被划分成预定数量的部分的圆形来计算，如图15A所示。在某些情况下，可以提示用户使用臂带系统将光标悬停在特定的圆部分上。可达性度量值可以通过确定用户能够成功到达的指示部分(即，距目标圆中心特定距离处的切片部分)的数量来计算。图15A所示的例子示出了被划分成64个不同大小的部分的圆。例如，圆可以类似地被划分成更少或更多的部分。可以理解，位于更靠近圆心的部分可能更难到达。因此，用户成功到达这些部分的能力代表更高的可达性度量值。图15B示出了可以显示给用户以计算不同可达性度量值的不同GUI配置。

在一些实施例中，组合学度量可以通过在GUI上显示被划分成预定数量的部分的圆形来计算，如图16所示。在一些情况下，可以提示用户使用臂带系统将光标悬停在特定的圆部分上，并通过施加对应于点击的力来执行手势、或者手移动或手臂移动。组合学度量值可以作为任务是否已经被成功地完成的函数来计算。例如，当用户成功地导航到所指示的部分并执行点击时，用户可以接收正值。在另一个示例中，当用户仅成功地将光标悬停在所指示的圆部分上，但没有成功地点击该圆部分时，用户可以接收部分得分值。

在一些实现中，计算上述度量的进一步的粒度级别可以通过提供如参考图17所示的大小变化的光标指示器来实现。

本领域技术人员将认识到，任何目标区域形状和形状内目标部分的配置可用于评估稳定性、可达性、组合学或基于神经肌肉数据和训练的用户特定推理模型的有效二维控制的另一度量。

虽然为了简单起见，本公开在很大程度上将这里描述的特征空间表示为二维的，但是特征空间可以基于各个变量中的任何一个而具有任何合适的维度。在一个示例中，特征空间的维度可以对应于肌肉的激活和/或对应于一对相对的肌肉(例如，它们通常可能不会被同时激活)。例如，连续的1D输出可以由两块肌肉产生，一块肌肉控制正维度，并且一块肌肉控制负维度。作为示例，图18A示出了代表一对相对的肌肉的激活的连续1D输出的标绘图。图18B分别示出了该对相对的肌肉中的每一个肌肉的激活的标绘图。类似地，可以用四块肌肉(两对相对的肌肉)产生连续的2D输出。

继续上面的例子，这里描述的系统可以将产生1D信号的神经肌肉活动的样本映射和/或绘制到特征空间，如图19所示。这可能产生预期的神经肌肉数据的子区域(例如，表示在任一给定时间一对肌肉中只有一块肌肉被激活的情况)。然而，有时两块肌肉可能同时活跃(例如，高于噪声阈值)。这可能倾向于在离散或连续事件(例如，如更早描述的那些事件，当用户引入附加移动或姿势时，无论是短暂的还是持续的)期间发生。作为说明，图20示出了通过图19的特征空间的示例事件路径的标绘图(即，事件期间神经肌肉数据随时间的演变)。这些事件路径可以从代表1D信号的数据点簇中移除。因此，在1D信号上训练的单个推理模型可能不能很好地处理事件(例如更早描述的拳头握紧或拇指按压)。因此，这里描述的系统和方法可以确定特定输入所落入的子区域，以确定将什么推理模型应用于该输入。

如更早所讨论的，这里描述的系统可以使用各种度量和方法来确定特定输入是否落在子区域内。作为说明，图21示出了图20的事件路径与距表示原始1D信号的输入簇的马氏距离的比较。从图21可以理解，虽然马氏距离确实在一定程度上区分了原始1D信号的数据点和事件路径的数据点(例如，马氏距离为3.0或更大的数据点都是事件路径上的数据点)，但是仍然存在一些模糊性(例如，在1.5和3.0之间的马氏距离处，既有来自原始1D信号的一些数据点，也有事件路径上的一些数据点)。作为替代方案，图22示出了图20的事件路径与基于由高斯混合模型确定的负对数似然(NLL)的距离度量的比较。从图22可以理解，来自原始1D信号的几乎所有数据点都落在1.0的NLL内，其余的数据点落在2.2的NLL内，而事件路径上的大多数数据点都落在这些界限之外。图23示出了另一个替代方案，其示出了图20的事件路径与基于支持向量机(SVM)得分的距离度量的比较。类似于高斯混合模型的负对数似然，SVM得分成功地区分了原始1D信号和事件路径数据点之间的许多数据点。

与上述类似的原理可以应用于描述两对相对的肌肉的特征空间。如果用户执行某些姿势(例如，“点击”姿势)，则用户可以同时激活所有四块肌肉，这可能导致先前假设一次激活每对肌肉中的仅一块肌肉的2D输出变得不可预测(例如，导致偏离原本会被预期的2D输出的伪像)。因此，这里描述的系统可以检测伪像何时出现，并且使用被训练为将校正函数应用于原始2D模型的模型。例如，如果x代表神经肌肉输入，并且原始2D模型是y＝f_2d(x)，则被训练来考虑伪像的模型可以是y＝f_2d(x)+f_校正(x)，其中f_校正(x)在没有事件发生时是0，并且是y₀-f_2d(x)。因此，被训练来考虑伪像的模型中的校正项可以用作针对输入是否落在特征空间的默认子区域之外的检测器。

校正函数可以以任何合适的方式实现。在一些示例中，这里描述的系统可以使用径向基函数网络来实现校正函数，这可以具有非线性、可解释和易于训练而不需要大量数据的优点。

作为说明，图24示出了2D特征空间的标绘图(例如，表示两对肌肉的可能的激活)。图24中的单位圆表示一组预期的数据点。然而，具有全伪像的圆表示在特定事件(例如，用户做出“点击”姿势)期间可以观察到的一组数据点。伪像路径示出了通常会落在单位圆上的输入是如何在事件期间被投射到具有全伪像的圆上的。因此，校正函数可以反转这种投射，有效地将在具有全伪像的圆上观察到的数据点映射回单位圆上。

如前面所提到的，在一些示例中，一Euro滤波器可以被应用来过滤有噪声的神经肌肉信号，以获得高精度和高响应性(例如，在对信号应用推理模型之前)。在一个示例中，一Euro滤波器可以是具有自适应时间常数的指数无限脉冲响应滤波器，如等式(10)所示：

其中

是

的经低通滤波的版本。

一Euro滤波器可以在活动变化很大时提供响应性输出，并且可以在活动是静态的时提供稳定的输出(例如，当与光标的移动绑定时，光标可以响应性地移动，但是当用户不为光标移动做姿势时，光标可以保持稳定)。然而，当生成大的梯度时(例如，当用户执行点击姿势时)，一Euro滤波器的时间尺度可能会减小，这可能会引入光标位置的不稳定性。作为说明，图25示出了当用户执行各种姿势时神经肌肉(例如，EMG)数据随时间的标绘图2500。例如，在时间2510，用户可能正在执行姿势以绕圆移动光标。在时间2520，用户可能在执行光标移动姿势的同时执行点击姿势。图26示出了放大的标绘图2500，以示出时间2510的细节。如图26所示，点击姿势事件(例如事件2610和2620)可能将伪像引入到神经肌肉数据中，这有可能导致推理模型将神经肌肉数据曲解为涉及光标移动。

因此，这里描述的系统可以响应于事件来门控(gate)一Euro滤波器的响应性。例如，可以通过引入点击相关门控变量h≥0并修改一Euro滤波器的自适应时间常数来修改一Euro滤波器，如等式(11)所示：

其中σ(h)是由函数给出的sigmoid，作为示例，例如等式(12)中所示的函数：

在图27中还示出了示例σ(h)的标绘图的图示。因此，当h大于Θ时，滤波器的响应性受到抑制，而当h小于Θ时，滤波器相当于一Euro滤波器。门控的滤波器在这里可以称为“两Euro滤波器”

在一些实施例中，本文公开的系统和方法可以使用在经一Euro滤波的特征上训练的正则化线性模型。例如，给定神经肌肉数据特征x(t)和期望的输出y(t)，一些实施例可以搜索使数据集的均方误差最小化的一组权重w*，如等式(13)所示：

等式(13)的解可以用解析法求出，并且w*可以定义为w*＝C^-1U。

在另一个实施例中，这里描述的系统可以使用岭回归模型(ridge regressionmodel)。在该实施例中，其中与权重的L2范数成比例的附加项被添加到成本的线性回归的正则化版本，如等式(14)所示：

其中，σ²是输入x(t)的平均二阶矩。这导致方程(15)：

其中矩阵[(1-ρ)C+ρσ²I]称为C的收缩协方差。

在另一步骤中，这里描述的系统可以使用C的收缩协方差估计量而不是C本身来执行线性回归。这可以用等式(16)所示的优化成本函数来表示：

w^★＝[(1-ρ)C+ρσ²I]^-1U (16)

其中该解与岭回归解成比例，如等式(17)所示：

即使当调节参数接近1时，使用收缩协方差解也可以保持高输出能力。

使用收缩协方差2D模型，本文公开的系统和方法可以应用两Euro滤波器来增强性能。使用收缩协方差2D模型的两Euro滤波器的应用可以提供过滤掉其他扰乱性事件(例如点击事件)的输出。作为说明，图28A和图28B示出了使用一Euro滤波器(以虚线示出)和上述两Euro滤波器(以实线示出)的模型预测的标绘图。在事件2810、2812、2814、2816、2818、2820、2822、2824(例如，用户点击)期间，当使用一Euro滤波器时，基于用户移动的2D光标的预测位置经历扰乱(有可能导致光标出现跳跃或抖动)。然而，两Euro滤波器有效地过滤掉了由这些事件引起的伪像。

示例实施例

示例1：一种使用多个不同的推理模型的控制方案的计算机实现的方法可以包括(1)接收并处理来自一个或更多个神经肌肉传感器的第一多个信号数据，(2)创建由对应于第一多个经处理的信号数据的参数定义的特征空间，(3)通过(i)将多个区域中的每一个与对应的输入模式相关联并(ii)将每个输入模式与对应的推理模型相关联，来映射特征空间内的多个区域，(4)基于经处理的多个信号数据自动检测输入模式，(5)基于检测到的输入模式自动选择第一推理模型，以及(6)通过将第一推理模型应用于经处理的多个信号数据来生成输出信号。

示例2：根据示例1的所述计算机实现的方法，其中输入模式涉及以下事件中的至少一个事件的分类：(1)手部姿态，(2)离散姿势，(3)连续姿势，(4)手指敲击，(5)2-D手腕旋转，或(6)打字动作。

示例3：根据示例1的所述计算机实现的方法，其中输入模式涉及与以下事件中的至少一个相关联的力水平的分类：(1)离散姿势，(2)手指敲击，(3)手部姿态，或(4)连续姿势。

示例4：根据示例1的所述计算机实现的方法，其中所选择的第一推理模型包括先前基于从同一用户收集的经处理的信号数据而训练的个性化模型。

示例5：根据示例1的所述计算机实现的方法，其中识别特征空间内的多个区域进一步包括基于对经处理的信号数据的计算分析来优化区域的大小和形状。

示例6：根据示例1的所述计算机实现的方法，其中处理多个信号数据包括对多个信号数据应用一Euro滤波器。

示例7：根据示例6的所述计算机实现的方法，其中基于经处理的多个信号数据自动检测输入模式包括将与在输入模式内发生的输入事件相关联的门控应用于一Euro滤波器。

示例8：根据示例7的所述计算机实现的方法，其中将门控应用于一Euro滤波器包括修改一Euro滤波器的自适应时间常数。

示例9：根据示例1所述的计算机实现的方法，还包括(1)将多个信号数据处理到较低维本征空间，(2)在图形界面内呈现较低维本征空间的可视化，以及(3)当接收到新的信号数据时，通过将新的信号数据绘制为较低维本征空间内的一个或更多个本征向量来实时更新较低维本征空间的可视化。

示例10：根据示例9所述的计算机实现的方法，其中本征空间的可视化包括本征空间内本征分类子区域之间的边界的可视化。

示例11：根据示例10所述的计算机实现的方法，其中：(1)一个或更多个本征分类子区域对应于多个区域，并且(2)本征空间的可视化包括施加到本征分类子区域的标记，这些标记描述本征分类子区域的对应的输入模式。

示例12：根据示例9所述的计算机实现的方法，还包括：(1)在图形界面内呈现重复的提示以使用户执行目标输入，(2)将新的信号数据识别为用户执行目标输入的尝试，(3)确定新的信号数据落在不一致的本征分类子区域中，以及(4)向用户呈现提示以再训练第一推理模型。

示例13：根据示例9所述的计算机实现的方法，还包括：(1)在图形界面内呈现重复的提示以使用户执行目标输入，(2)将新的信号数据识别为用户执行目标输入的尝试，(3)确定新的信号数据落在不一致的本征分类子区域中，以及(4)从用户接收输入以修改第一推理模型，使得新的信号数据将落在对应于目标输入的本征分类子区域内。

示例14：一种系统，包括：(1)一个或更多个神经肌肉传感器，其从用户接收多个信号数据；以及(2)物理存储器和至少一个物理处理器，该物理存储器包括计算机可执行指令，该计算机可执行指令在由物理处理器执行时使物理处理器：(i)接收并处理多个信号数据，(ii)将经处理的信号数据映射到由对应于经处理的信号数据的参数定义的特征空间，(iii)基于第一多个经处理的信号数据识别特征空间内的第一子区域，(iv)基于第二多个经处理的信号数据识别特征空间内的第二子区域，(v)基于第三多个经处理的信号数据对应于特征空间的第一子区域，将第一推理模型应用于第三多个经处理的信号数据，以及(vi)基于第四多个经处理的信号数据对应于特征空间的第二子区域，将第二推理模型应用于第四多个经处理的信号数据。

本文公开了一种配备有神经肌肉传感器阵列的可穿戴设备，其被实现为控制基于计算机的系统并与之交互，并使用户能够以不受限制的方式参与交互式媒体。可穿戴系统(“臂带系统”)可以佩戴在手臂或手腕上，并用于基于与由臂带系统识别的手和手臂移动、姿态、姿势和力(等长的(isometric)或其他)相关的神经肌肉信号来控制其他设备(例如，机器人、物联网(IoT)设备和其他合适的计算设备)和交互式媒体的元素。臂带系统支持的一些交互任务包括选择和激活二维空间上显示的图形对象、在二维空间中移动图形对象、悬停在图形对象上以及其他合适的交互。这些交互是基于由臂带系统识别的手和手臂移动、姿态、姿势和力。

臂带系统经由用户特定的推理模型来识别手臂和手移动、姿态、姿势和力，并将这些动作映射到二维空间(例如计算机屏幕、智能TV或其他合适的设备)中。推理模型可以包括一个或更多个统计模型、一个或更多个机器学习模型、和/或一个或更多个统计模型和/或一个或更多个机器学习模型的组合。推理模型是用户特定的，因为它是用从用户的神经肌肉活动以及产生的相关移动和力记录的数据来训练的。用户神经肌肉信号经由臂带系统来收集。此后，用收集的用户数据训练推理模型，以建立用户特定的推理模型。用户特定的推理模型适用于用户，并且可以处理与由个人用户执行的移动、姿态、力和/或姿势相关联的用户特定的特征或特性。因此，在训练之后，臂带系统被调整成个性化的人机界面。

图29示出了根据一些实施例的系统2900。该系统包括多个传感器2902，其被配置为记录由人体骨骼肌中的神经肌肉活动产生的信号。如本文使用的术语“神经肌肉活动”是指对支配肌肉的脊髓运动神经元的神经激活、肌肉激活、肌肉收缩或者神经激活、肌肉激活和肌肉收缩的任意组合。神经肌肉传感器可以包括一个或更多个肌电图(EMG)传感器、一个或更多个肌动图(MMG)传感器、一个或更多个声肌图(SMG)传感器、一个或更多个电阻抗断层摄影(EIT)传感器、两种或更多种类型的EMG传感器、MMG传感器、SMG和EIT传感器的组合，和/或被配置成检测从神经肌肉活动中导出的信号的任何合适类型的一个或更多个传感器。在一些实施例中，多个神经肌肉传感器可用于感测从肌肉活动中导出的信号，所述肌肉活动与由肌肉控制的身体部位的移动相关，神经肌肉传感器布置成从所述肌肉感测所述肌肉活动。当用户随着时间的推移而移动或执行一个或更多个姿势时，可以基于感测到的神经肌肉信号来预测描述移动的空间信息(例如，位置和/或定向信息)和力信息。

传感器2902可以包括一个或更多个惯性测量单元(IMU)，该一个或更多个惯性测量单元(IMU)使用例如加速度计、陀螺仪、磁力计或一个或更多个加速度计、陀螺仪和磁力计的任意组合来测量运动的物理方面的组合。在一些实施例中，IMU可以用于感测关于附接有IMU的身体部位的移动的信息，并且当用户随时间的推移而移动时，从感测到的数据导出的信息(例如，位置和/或定向信息)可以被跟踪。例如，当用户随着时间的推移而移动或执行一个或更多个姿势时，一个或更多个IMU可以用于跟踪用户身体的在用户躯干近端的部分(例如，手臂、腿)相对于传感器的移动。

在包括至少一个IMU和多个神经肌肉传感器的实施例中，IMU和神经肌肉传感器可以被布置成检测人体不同部位的移动。例如，IMU可以被布置成检测躯干近端的一个或更多个体段(body segment)(例如，上臂)的移动，而神经肌肉传感器可以被布置成检测躯干远端的一个或更多个体段(例如，前臂或手腕)的移动。然而，应当理解，传感器可以以任何合适的方式被布置，并且本文描述的技术的实施例不限于基于特定的传感器布置。例如，在一些实施例中，至少一个IMU和多个神经肌肉传感器可以共同位于一个体段上，以使用不同类型的测量来跟踪体段的移动。在下面更详细描述的一个实现中，IMU传感器和多个EMG传感器被布置在臂带系统上，该臂带系统被配置成围绕用户的下臂或手腕配戴。在这样的布置中，IMU传感器可以被配置成跟踪与一个或更多个手臂节段(segment)相关联的移动信息(例如，随着时间的推移的定位和/或定向)，以确定例如用户是否已经举起或放下了他们的手臂，而EMG传感器可以被配置成确定与手腕或手节段相关联的移动信息，以确定例如用户是保持张开的手还是闭合的手。

每个传感器2902包括被配置成感测关于用户的信息的一个或更多个感测部件。在一个或更多个IMU传感器的情况下，感测部件可以包括一个或更多个加速度计、陀螺仪、磁力计或其任意组合，以测量身体运动的特征，这些特征的示例包括但不限于加速度、角速度和在身体周围感测的磁场。在神经肌肉传感器的情况下，感测部件可以包括但不限于，被配置为检测身体表面上的电势的电极(例如，对于EMG传感器)、被配置为测量皮肤表面振动的振动传感器(例如，对于MMG传感器)、被配置为测量由肌肉活动产生的超声信号的声学感测部件(例如，对于SMG传感器)、以及用于测量来自皮肤的电阻抗的电感测部件(例如，对于EIT传感器)。

在一些实施例中，多个传感器2902中的至少一些被布置为臂带设备的一部分，该臂带设备被配置为佩戴在用户身体的部位上或围绕用户身体的部位来佩戴。例如，在一个非限制性示例中，IMU传感器和多个神经肌肉传感器可以围绕可调节和/或弹性的带周向布置，所述可调节和/或弹性的带例如是被配置为围绕用户的手腕或手臂来佩戴的腕带或臂带。在一些实施例中，每个臂带设备上包括有一个或更多个IMU和/或神经肌肉传感器的多个臂带设备可用于预测涉及身体多个部位的移动、姿态或姿势的肌肉骨骼位置信息。

在一些实施例中，传感器2902仅包括多个神经肌肉传感器(例如，EMG传感器)。在其他实施例中，传感器2902包括多个神经肌肉传感器和被配置成连续记录多个辅助信号的至少一个“辅助”传感器。辅助传感器的示例包括但不限于其它传感器(诸如IMU传感器)和外部传感器(诸如成像设备(例如相机)、与辐射生成设备一起使用的基于辐射的传感器(例如激光扫描设备))或其它类型的传感器(诸如心率监视器)。

在一些实施例中，可以使用硬件信号处理电路来处理一个或更多个感测部件的输出(例如，执行放大、滤波和/或整流)。在其他实施例中，可以在软件中执行对感测部件的输出的至少一些信号处理。因此，对由传感器记录的信号的信号处理可以在硬件、软件中执行，或由硬件和软件的任何合适组合执行，因为本文描述的技术的方面在这一点上不受限制。

在一些实施例中，记录的传感器数据可被处理以计算额外的导出的测量值或特征，这些测量值或特征然后被提供作为推理模型的输入，如下面更详细描述的。例如，记录的传感器数据可用于生成地面真实信息，以构建用户特定的推理模型。对于另一个示例，来自IMU传感器的记录的信号可以被处理，以导出指定刚体节段随时间的定向的定向信号。传感器2902可以使用与感测部件集成的部件来实现信号处理，或者信号处理的至少一部分可以由与传感器的感测部件通信但不直接集成的一个或更多个部件来执行。

系统2900还包括被编程为与传感器2902通信的一个或更多个计算机处理器2904。例如，由一个或更多个传感器记录的信号可以被提供给处理器，处理器可以被编程为处理由传感器2902输出的信号以训练一个或更多个推理模型2906，训练的(或再训练的)推理模型2906可以被存储以供以后用于识别/分类姿势和生成控制/命令信号，如下面更详细描述的。在一些实施例中，处理器2904可以被编程为导出与用户执行的一个或更多个姿势相关联的一个或更多个特征，并且导出的特征可以用于训练一个或更多个推理模型2906。处理器2904可以被编程为基于训练的一个或更多个推理模型2906来识别随后执行的姿势。在一些实现中，处理器2904可以被编程为至少部分地利用推理模型来将识别的姿势映射到一个或更多个控制/命令信号。

图30示出了具有神经肌肉传感器(例如，EMG传感器)阵列的臂带系统，该传感器阵列围绕弹性带周向布置，该弹性带被配置为围绕用户的下臂或手腕来佩戴。如图所示，差动神经肌肉传感器被周向布置，并与一个或更多个弹性带耦合。应当理解，可以使用任何合适数量的神经肌肉传感器。神经肌肉传感器的数量和布置可以取决于臂带系统所用于的具体应用。例如，可穿戴的臂带或腕带可用于生成控制信息，用于控制增强现实系统、虚拟现实系统、机器人，控制车辆、滚动文本，控制虚拟化身，或任何其他合适的控制任务。如图所示，可以使用结合到臂带设备中的柔性电子器件将传感器耦合在一起。

在一些实施例中，可选地，可以使用硬件信号处理电路来处理一个或更多个传感器的输出(例如，执行放大、滤波和/或整流)。在其他实施例中，对传感器的输出的至少一些信号处理可以在软件中执行。因此，对由传感器采样的信号的处理可以在硬件、软件中执行，或由硬件和软件的任何合适的组合执行，因为本文描述的技术的方面在这一点上不受限制。

以下图31A和图31B示出了根据本文描述的技术的一些实施例的具有16个EMG传感器的可穿戴系统的内部部件的示意图。如所示的，可穿戴系统包括可穿戴部分3110(图31A)和(例如，经由蓝牙或另一种合适的短程无线通信技术)与可穿戴部分3110通信的加密狗部分3120(图31B)。如图11A中所示，可穿戴部分3110包括传感器2902，结合图29描述了其示例。传感器2902的输出被提供给模拟前端3130，模拟前端3130被配置成对所记录的信号执行模拟处理(例如，降噪、滤波等)。经处理的模拟信号然后被提供给模数转换器3132，模数转换器3132将模拟信号转换成可以由一个或更多个计算机处理器处理的数字信号。可以根据一些实施例使用的计算机处理器的一个示例是图31A所示的微控制器(MCU)3134。如所示的，MCU 3134也可以包括来自其他传感器(例如，IMU传感器3140)以及电源和电池模块3142的输入。由MCU执行的处理的输出可以被提供给天线3150，用于传输到图31B所示的加密狗部分3120。

加密狗部分3120包括天线3152，天线3152被配置成与作为可穿戴部分3110的一部分被包括的天线3150通信。可以使用任何合适的无线技术和协议(其非限制性示例包括射频信令和蓝牙)进行天线3150和3152之间的通信。如所示的，由加密狗部分3120的天线3152接收的信号可以被提供给主计算机，用于进一步处理、显示和/或用于实现对特定物理或虚拟对象的控制。

本公开的实施例可以包括各种类型的人工现实系统或结合各种类型的人工现实系统来实现。人工现实是一种在呈现给用户之前已经以某种方式调整过的现实形式，其可以包括例如虚拟现实、增强现实、混合现实、混杂现实或其某种组合和/或衍生物。人工现实内容可以包括完全地计算机生成的内容或者与捕获的(例如，现实世界)内容相结合的计算机生成的内容。人工现实内容可以包括视频、音频、触觉反馈或它们的某种组合，它们中的任何一个可以在单个通道或多个通道中呈现(例如向观看者产生三维(3D)效果的立体视频)。此外，在一些实施例中，人工现实还可以与应用、产品、附件、服务或其某种组合相关联，这些应用、产品、附件、服务或其某种组合被用于例如在人工现实中创建内容和/或以其他方式在人工现实中使用(例如，在人工现实中执行活动)。

人工现实系统可以以各种不同的形状因子和配置来实现。一些人工现实系统可能被设计成在没有近眼显示器(NED)的情况下工作。其他人工现实系统可以包括NED，其还提供对现实世界的可见性(例如，图32中的增强现实系统3200)或者使用户在视觉上沉浸在人工现实中(例如，图33中的虚拟现实系统3300)。虽然一些人工现实设备可以是独立的系统，但是其他人工现实设备可以与外部设备通信和/或协作以向用户提供人工现实体验。这种外部设备的示例包括手持控制器、移动设备、台式计算机、由用户佩戴的设备、由一个或更多个其他用户佩戴的设备、和/或任何其他合适的外部系统。

转到图32，增强现实系统3200可以包括具有框架3210的眼镜设备3202，框架3210被配置为将左显示设备3215(A)和右显示设备3215(B)保持在用户的眼睛前方。显示设备3215(A)和3215(B)可以一起或独立地起作用来向用户呈现图像或一系列图像。虽然增强现实系统3200包括两个显示器，但是本公开的实施例可以在具有单个NED或多于两个NED的增强现实系统中实现。

在一些实施例中，增强现实系统3200可以包括一个或更多个传感器，例如传感器3240。传感器3240可以响应于增强现实系统3200的运动而产生测量信号，并且可以位于框架3210的基本上任何部分上。传感器3240可以代表多种不同感测机制中的一种或更多种，例如位置传感器、惯性测量单元(IMU)、深度相机组件、结构光发射器和/或检测器或其任意组合。在一些实施例中，增强现实系统3200可以包括或可以不包括传感器3240，或者可以包括多于一个的传感器。在传感器3240包括IMU的实施例中，IMU可以基于来自传感器3240的测量信号来生成校准数据。传感器3240的示例可以包括但不限于加速度计、陀螺仪、磁力计、检测运动的其他合适类型的传感器、用于IMU的误差校正的传感器、或其某种组合。

在一些示例中，增强现实系统3200还可以包括具有多个声换能器3220(A)-3220(J)(统称为声换能器3220)的麦克风阵列。声换能器3220可以代表检测由声波引起的气压变化的换能器。每个声换能器3220可以被配置成检测声音并将检测到的声音转换成电子格式(例如，模拟或数字格式)。图33中的麦克风阵列可以包括，例如，十个声换能器：3220(A)和3220(B)，其可以被设计成放置在用户的相应耳朵内；声换能器3220(C)、3220(D)、3220(E)、3220(F)、3220(G)和3220(H)，其可以位于框架3210上的各个位置；和/或声换能器3220(I)和3220(J)，其可以位于相应的颈带3205上。

在一些实施例中，声换能器3220(A)-3220(F)中的一个或更多个可以用作输出换能器(例如，扬声器)。例如，声换能器3220(A)和/或3220(B)可以是耳塞或任何其他合适类型的耳机或扬声器。

麦克风阵列中的声换能器3220的配置可以变化。虽然增强现实系统3200在图32中显示为具有十个声换能器3220，但是声换能器3220的数量可以大于或小于十个。在一些实施例中，使用更多数量的声换能器3220可以增加所收集的音频信息量和/或音频信息的灵敏度和准确性。相反，使用较少数量的声换能器3220可以降低相关联的控制器3250处理所收集的音频信息所需的计算能力。此外，麦克风阵列中的每个声换能器3220的位置可以变化。例如，声换能器3220的位置可以包括用户上的定义位置、框架3210上的定义坐标、与每个声换能器3220相关联的取向或它们的某种组合。

声换能器3220(A)和3220(B)可以位于用户耳朵的不同部位，例如耳廓(pinna)后面、耳屏后面和/或耳廓(auricle)或窝(fossa)内。或者，除了耳道内的声换能器3220之外，在耳朵上或耳朵周围可以有附加的声换能器3220。将声换能器3220定位在用户的耳道附近可以使麦克风阵列能够收集关于声音如何到达耳道的信息。通过将至少两个声换能器3220定位在用户头部的两侧(例如，作为双耳麦克风)，增强现实设备3200可以模拟双耳听觉并捕获用户头部周围的3D立体声声场。在一些实施例中，声换能器3220(A)和3220(B)可以经由有线连接3230连接到增强现实系统3200，并且在其他实施例中，声换能器3220(A)和3220(B)可以经由无线连接(例如，蓝牙连接)连接到增强现实系统3200。在其他实施例中，声换能器3220(A)和3220(B)可以根本不与增强现实系统3200结合使用。

框架3210上的声换能器3220可以以各种不同的方式定位，包括沿着镜腿的长度、跨过镜梁、在显示设备3215(A)和3215(B)的上方或下方、或它们的某种组合。声换能器3220也可以被定向成使得麦克风阵列能够检测佩戴增强现实系统3200的用户周围的大范围方向上的声音。在一些实施例中，可以在增强现实系统3200的制造期间执行优化过程，以确定麦克风阵列中每个声换能器3220的相对定位。

在一些示例中，增强现实系统3200可以包括或连接到外部设备(例如，配对设备)，例如颈带3205。颈带3205通常代表任何类型或形式的配对设备。因此，以下对颈带3205的讨论也可适用于各种其他配对设备，例如充电盒、智能手表、智能电话、腕带、其他可穿戴设备、手持控制器、平板计算机、膝上型计算机、其他外部计算设备等。

如图所示，颈带3205可以经由一个或更多个连接器耦合到眼镜设备3202。连接器可以是有线或无线的，并且可以包括电气和/或非电气(例如，结构)部件。在一些情况下，眼镜设备3202和颈带3205可以独立操作，而它们之间没有任何有线或无线连接。虽然图32示出了在眼镜设备3202和颈带3205上的示例位置中的眼镜设备3202和颈带3205的部件，但是这些部件可以位于眼镜设备3202和/或颈带3205的其他地方和/或在眼镜设备3202和/或颈带3205上不同地分布。在一些实施例中，眼镜设备3202和颈带3205的部件可以位于与眼镜设备3202、颈带3205或其某种组合配对的一个或更多个附加外围设备上。

将外部设备(如颈带3205)与增强现实眼镜设备配对，可使眼镜设备能够达到一副眼镜的形状因子，同时仍能提供足够的电池和计算能力以用于扩展的能力。增强现实系统3200的电池功率、计算资源和/或附加特征中的一些或全部可以由配对的设备提供，或者在配对的设备和眼镜设备之间共享，因此总体上减少了眼镜设备的重量、热分布和形状因子，同时仍然保持期望的功能。例如，颈带3205可以允许原本将被包括在眼镜设备上的部件被包括在颈带3205中，因为用户可以在他们的肩膀上容忍比在他们的头上将容忍的重量负荷更重的重量负荷。颈带3205也可以具有更大的表面积，以在该表面积上将热量扩散并分散到周围环境中。因此，颈带3205可以允许比以其他方式在独立眼镜设备上可能有的电池和计算容量更大的电池和计算容量。由于颈带3205中承载的重量比眼镜设备3202中承载的重量对用户的伤害更小，因此用户可以忍受佩戴较轻的眼镜设备，并且可以忍受比用户佩戴重的独立眼镜设备将忍受的时间更长的时间来携带或佩戴配对的设备，从而使得用户能够将人工现实环境更充分地结合到他们的日常活动中。

颈带3205可以与眼镜设备3202和/或其他设备通信地耦合。这些其他设备可以向增强现实系统3200提供某些功能(例如，跟踪、定位、深度映射、处理、存储等)。在图32的实施例中，颈带3205可以包括两个声换能器(例如，3220(I)和3220(J))，它们是麦克风阵列的一部分(或者潜在地形成它们自己的麦克风子阵列)。颈带3205还可以包括控制器3225和电源3235。

颈带3205的声换能器3220(I)和3220(J)可以被配置成检测声音并将检测到的声音转换成电子格式(模拟或数字的)。在图32的实施例中，声换能器3220(I)和3220(J)可以定位在颈带3205上，从而增加颈带声换能器3220(I)和3220(J)与定位在眼镜设备3202上的其他声换能器3220之间的距离。在一些情况下，增加麦克风阵列的声换能器3220之间的距离可以提高经由麦克风阵列执行的波束成形的准确度。例如，如果声换能器3220(C)和3220(D)检测到声音，并且声换能器3220(C)和3220(D)之间的距离大于例如声换能器3220(D)和3220(E)之间的距离，则检测到的声音的确定的源位置可能比声音被声换能器3220(D)和3220(E)检测到的情况更准确。

颈带3205的控制器3225可以处理由颈带3205和/或增强现实系统3200上的传感器产生的信息。例如，控制器3225可以处理来自麦克风阵列的描述由麦克风阵列检测到的声音的信息。对于每个检测到的声音，控制器3225可以执行到达方向(DOA)估计，以估计检测到的声音到达麦克风阵列的方向。当麦克风阵列检测到声音时，控制器3225可以用该信息填充音频数据集。在增强现实系统3200包括惯性测量单元的实施例中，控制器3225可以从位于眼镜设备3202上的IMU计算所有惯性和空间计算。连接器可以在增强现实系统3200和颈带3205之间以及在增强现实系统3200和控制器3225之间传递信息。信息可以是光数据、电数据、无线数据的形式或任何其他可传输数据形式。将对增强现实系统3200生成的信息的处理移动到颈带3205可以减少眼镜设备3202中的重量和热量，使其对用户更舒适。

颈带3205中的电源3235可以向眼镜设备3202和/或颈带3205提供电力。电源3235可以包括但不限于锂离子电池、锂聚合物电池、一次锂电池、碱性电池或任何其他形式的电力储存装置。在一些情况下，电源3235可以是有线电源。在颈带3205上而不是在眼镜设备3202上包括电源3235可以帮助更好地分配由电源3235产生的重量和热量。

如上所述，一些人工现实系统可以用虚拟体验实质上代替用户对现实世界的一个或更多个感官感知，而不是将人工现实与实际现实混合。这种类型系统的一个例子是头戴式显示系统，例如图33中的虚拟现实系统3300，其主要或完全覆盖用户的视场。虚拟现实系统3300可以包括前刚性主体3302和形状适于围绕用户头部的带3304。虚拟现实系统3300还可以包括输出音频换能器3306(A)和3306(B)。此外，虽然在图33中未示出，但是前刚性主体3302可以包括一个或更多个电子元件，其包括一个或更多个电子显示器、一个或更多个惯性测量单元(IMU)、一个或更多个跟踪发射器或检测器、和/或用于创建人工现实体验的任何其他合适的设备或系统。

人工现实系统可能包括各种类型的视觉反馈机制。例如，增强现实系统3200和/或虚拟现实系统3300中的显示设备可以包括一个或更多个液晶显示器(LCD)、发光二极管(LED)显示器、有机LED(OLED)显示器、数字光投影(DLP)微显示器、硅上液晶(LCoS)微显示器和/或任何其他合适类型的显示屏。这些人工现实系统可以包括用于双眼的单个显示屏，或者可以为每只眼睛提供显示屏，这可以提供对变焦调节或对于校正用户的屈光不正的附加的灵活性。这些人工现实系统中的一些还可以包括具有一个或更多个透镜(例如，传统的凹透镜或凸透镜、菲涅耳(Fresnel)透镜、可调液体透镜等)的光学子系统，用户可以通过这些透镜来观看显示屏。这些光学子系统可用于多种目的，包括准直(例如，使物体看起来处于比其物理距离更远处)、放大(例如，使物体看起来比其实际尺寸更大)和/或传递光(例如，将光传递到观看者的眼睛)。这些光学子系统可以用于非光瞳形成架构(例如直接准直光但导致所谓枕形失真的单透镜配置)和/或光瞳形成架构(例如产生所谓桶形失真以抵消枕形失真的多透镜配置)。

除了使用显示屏之外或代替使用显示屏，本文描述的一些人工现实系统可以包括一个或更多个投影系统。例如，增强现实系统3200和/或虚拟现实系统3300中的显示设备可以包括将光(使用例如波导)投射到显示设备中的微LED投影仪，例如允许环境光通过的透明组合透镜。显示设备可以朝向用户的瞳孔折射投射的光，并且可以使用户能够同时观看人工现实内容和现实世界。显示设备可以使用多种不同的光学部件中的任何一种来实现这一点，这些光学部件包括波导部件(例如，全息、平面、衍射、偏振和/或反射波导元件)、光操纵表面和元件(例如衍射、反射和折射元件和光栅)、耦合元件等。人工现实系统也可以配置有任何其他合适类型或形式的图像投影系统，例如在虚拟视网膜显示器中使用的视网膜投影仪。

本文描述的人工现实系统还可以包括各种类型的计算机视觉部件和子系统。例如，增强现实系统3200和/或虚拟现实系统3300可以包括一个或更多个光学传感器，例如二维(2D)或3D相机、结构光发射器和检测器、飞行时间深度传感器、单光束或扫描(sweeping)激光测距仪、3D LiDAR传感器和/或任何其他合适类型或形式的光学传感器。人工现实系统可以处理来自这些传感器中的一个或更多个的数据，以识别用户的位置，绘制现实世界的地图，向用户提供关于现实世界周围环境的上下文，和/或执行各种其他功能。

本文描述的人工现实系统还可以包括一个或更多个输入和/或输出音频换能器。输出音频换能器可以包括音圈扬声器、带状扬声器、静电扬声器、压电扬声器、骨传导换能器、软骨传导换能器、耳屏振动换能器和/或任何其他合适类型或形式的音频换能器。类似地，输入音频换能器可以包括电容式麦克风、电动式麦克风(dynamic microphone)、带式麦克风、和/或任何其他类型或形式的输入换能器。在一些实施例中，单个换能器可以用于音频输入和音频输出两者。

在一些实施例中，本文描述的人工现实系统还可以包括触感(即触觉)反馈系统，其可以被结合到头饰、手套、紧身衣裤、手持控制器、环境设备(例如椅子、地板垫等)、和/或任何其他类型的设备或系统中。触觉反馈系统可以提供各种类型的皮肤反馈，包括振动、力、牵引力、纹理和/或温度。触觉反馈系统还可以提供各种类型的动觉反馈，例如运动和顺应性。可以使用电机、压电致动器、射流系统和/或各种其他类型的反馈机构来实现触觉反馈。触觉反馈系统可以独立于其他人工现实设备、在其他人工现实设备内和/或结合其他人工现实设备来实现。

通过提供触觉感觉、听觉内容和/或视觉内容，人工现实系统可以在各种上下文和环境中创建完整的虚拟体验或增强用户的现实世界体验。例如，人工现实系统可以帮助或扩展用户在特定环境内的感知、记忆或认知。一些系统可以增强用户与现实世界中的其他人的交互，或者可以实现用户与虚拟世界中的其他人的更沉浸式的交互。人工现实系统也可以用于教育目的(例如，用于学校、医院、政府组织、军事组织、商业企业等里的教学或培训)、娱乐目的(例如，用于玩视频游戏、听音乐、观看视频内容等)，和/或出于可访问性的目的(例如，作为助听器、视觉辅助设备等)。本文公开的实施例可以在一个或更多个这些上下文和环境中和/或在其他上下文和环境中实现或增强用户的人工现实体验。

如上面所详述的，本文描述和/或示出的计算设备和系统广泛地表示能够执行计算机可读指令(例如在本文描述的模块内包含的那些指令)的任何类型或形式的计算设备或系统。在它们的最基本的配置中，这些计算设备可以各自包括至少一个存储器设备和至少一个物理处理器。

在一些示例中，术语“存储器设备”通常指能够存储数据和/或计算机可读指令的任何类型或形式的易失性或非易失性存储设备或介质。在一个示例中，存储器设备可以存储、加载和/或维护本文描述的一个或更多个模块。存储器设备的示例包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、闪存、硬盘驱动器(HDD)、固态驱动器(SSD)、光盘驱动器、高速缓存、这些部件中的一个或更多个的变形或组合、或者任何其他合适的储存存储器。

在一些示例中，术语“物理处理器”通常指能够解析和/或执行计算机可读指令的任何类型或形式的硬件实现的处理单元。在一个示例中，物理处理器可以访问和/或修改存储在上述存储器设备中的一个或更多个模块。物理处理器的示例包括但不限于微处理器、微控制器、中央处理单元(CPU)、实现软核处理器的现场可编程门阵列(FPGA)、专用集成电路(ASIC)、这些部件中的一个或更多个的部分、这些部件中的一个或更多个的变形或组合、或任何其他合适的物理处理器。

尽管被示为单独的元件，但是本文描述和/或示出的模块可以表示单个模块或应用的部分。此外，在某些实施例中，这些模块中的一个或更多个可以表示一个或更多个软件应用或程序，其当由计算设备执行时可以使计算设备执行一个或更多个任务。例如，本文描述和/或示出的一个或更多个模块可以表示被存储和配置为在本文描述和/或示出的一个或更多个计算设备或系统上运行的模块。这些模块中的一个或更多个还可以表示被配置为执行一个或更多个任务的一个或更多个专用计算机的全部或部分。

此外，本文描述的一个或更多个模块可以将数据、物理设备和/或物理设备的表示从一种形式转换成另一种形式。附加地或替代地，本文所述的一个或更多个模块可以通过在计算设备上执行、在计算设备上存储数据、和/或以其他方式与计算设备交互来将处理器、易失性存储器、非易失性存储器和/或物理计算设备的任何其他部分从一种形式转换成另一种形式。

在一些实施例中，术语“计算机可读介质”通常指能够存储或携带计算机可读指令的任何形式的设备、载体或介质。计算机可读介质的示例包括但不限于传输型介质(诸如，载波)以及非暂时性类型介质，诸如，磁存储介质(例如，硬盘驱动器、磁带驱动器和软盘)、光存储介质(例如，光盘(CD)、数字视频盘(DVD)和BLU-RAY盘)、电子存储介质(例如，固态驱动器和闪存介质)以及其他分发系统。

本文描述和/或示出的过程参数和步骤的顺序仅作为示例被给出，并且可以根据需要变化。例如，虽然本文示出和/或描述的步骤可以以特定顺序被示出或讨论，但是这些步骤不一定需要以所示出或讨论的顺序来被执行。本文描述和/或示出的各种示例性方法也可以省略本文描述或示出的一个或更多个步骤，或者包括除了那些公开的步骤之外的附加步骤。

已经提供了前面的描述，以使本领域的其他技术人员能够最好地利用本文公开的示例性实施例的各个方面。该示例性描述不旨在穷举或限制于所公开的任何精确形式。在不脱离本公开的精神和范围的情况下，许多修改和变化是可能的。本文公开的实施例应当在所有方面被认为是说明性的而不是限制性的。在确定本公开的范围时，应当参考所附权利要求及其等同物。

除非另有说明，否则说明书和权利要求书中使用的术语“连接到”和“耦合到”(及其派生词)应被解释为允许直接和间接(即，通过其他元件或部件)连接。此外，说明书和权利要求书中使用的术语“一个(a)”或“一个(an)”应被解释为意指“...中的至少一个”。最后，为了便于使用，说明书和权利要求书中使用的术语“包括(including)”和“具有”(及其派生词)可与词语“包括(comprising)”互换并具有相同的含义。

Claims (20)

1.一种系统，包括：

一个或更多个神经肌肉传感器，其从用户接收多个信号数据；

至少一个物理处理器；

物理存储器，其包括计算机可执行指令，所述计算机可执行指令在由所述物理处理器执行时使所述物理处理器：

接收并处理所述多个信号数据；

将经处理的信号数据映射到特征空间，所述特征空间由对应于所述经处理的信号数据的一个或更多个参数定义；

基于第一多个经处理的信号数据的映射来识别所述特征空间内的第一子区域；

将第一推理模型与所述特征空间内的所识别的第一子区域相关联；和

基于第三多个经处理的信号数据的映射对应于所述特征空间的所述第一子区域，将所述第一推理模型应用于第三多个经处理的信号数据。

2.根据权利要求1所述的系统，其中，所述计算机可执行指令还使所述物理处理器：

基于第二多个经处理的信号数据识别所述特征空间内的第二子区域；和

基于第四多个经处理的信号数据对应于所述特征空间的所述第二子区域，将第二推理模型应用于所述第四多个经处理的信号数据。

3.一种系统，包括：

一个或更多个神经肌肉传感器，其从用户接收多个信号数据；

至少一个物理处理器；

物理存储器，其包括计算机可执行指令，所述计算机可执行指令在由所述物理处理器执行时使所述物理处理器：

接收并处理第一多个信号数据；

生成由对应于第一多个经处理的信号数据的一个或更多个参数定义的特征空间；

映射所述特征空间内的多个区域，其中，映射所述多个区域包括：

将所述多个区域中的每一个与对应的输入模式相关联；和

将每个输入模式与对应的推理模型相关联；

基于第二多个信号数据自动检测输入模式；

基于检测到的输入模式自动选择第一推理模型；和

通过将所述第一推理模型应用于所述第二多个信号数据来生成输出信号。

4.根据权利要求3所述的系统，其中，所述输入模式涉及以下事件中的至少一个事件的分类：

手部姿态；

离散姿势；

连续姿势；

手指轻击；

2-D手腕旋转；或者

打字动作。

5.根据权利要求3所述的系统，其中，所述输入模式涉及与以下事件中的至少一个相关联的力水平的分类：

离散姿势；

手指轻击；

手部姿态；或者

连续姿势。

6.根据权利要求3所述的系统，其中，所选择的第一推理模型包括先前基于从同一用户收集的经处理的信号数据而训练的个性化模型。

7.根据权利要求3所述的系统，其中，识别所述特征空间内的多个区域还包括基于对经处理的信号数据的计算分析来优化所述区域的大小和形状。

8.根据权利要求3所述的系统，其中，处理所述多个信号数据包括对所述多个信号数据应用一Euro滤波器或两Euro滤波器。

9.根据权利要求8所述的系统，其中，基于经处理的多个信号数据自动检测所述输入模式包括将与在所述输入模式内发生的输入事件相关联的门控应用于所述一Euro滤波器。

10.根据权利要求9所述的系统，其中，将所述门控应用于所述一Euro滤波器包括修改所述一Euro滤波器的自适应时间常数。

11.根据权利要求3所述的系统，其中，所述计算机可执行指令还使所述物理处理器：

处理所述多个信号数据以生成低维本征空间；

在图形界面内呈现所述低维本征空间的可视化；和

当接收到新的信号数据时，通过将所述新的信号数据标绘为所述低维本征空间内的一个或更多个本征向量来实时更新所述低维本征空间的可视化。

12.根据权利要求11所述的系统，其中，所述本征空间的可视化包括所述本征空间内的本征分类子区域之间的边界的可视化。

13.根据权利要求12所述的系统，其中：

所述本征分类子区域中的一个或更多个对应于所述多个区域；和

所述本征空间的可视化包括施加到所述本征分类子区域的标记，所述标记描述所述本征分类子区域的对应的输入模式。

14.根据权利要求11所述的系统，其中，所述计算机可执行指令还使所述物理处理器：

在所述图形界面内呈现重复的提示以使用户执行目标输入；

将所述新的信号数据识别为用户执行所述目标输入的尝试；

确定所述新的信号数据落在不一致的本征分类子区域中；和

向用户呈现提示以再训练所述第一推理模型。

15.根据权利要求11所述的系统，其中，所述计算机可执行指令还使所述物理处理器：

在所述图形界面内呈现重复的提示以使用户执行目标输入；

将所述新的信号数据识别为用户执行所述目标输入的尝试；

确定所述新的信号数据不落在对应于所述目标输入的本征分类子区域内；和

接收来自用户的输入，以修改所述第一推理模型，使得所述新的信号数据将落在对应于所述目标输入的所述本征分类子区域内。

16.一种计算机实现的方法，包括：

接收并处理来自一个或更多个神经肌肉传感器的初始的多个信号数据；

生成由对应于初始的多个经处理的信号数据的一个或更多个参数定义的特征空间；

映射所述特征空间内的多个区域，其中，映射所述多个区域包括：

将所述多个区域中的每一个与对应的输入模式相关联；和

将每个输入模式与对应的推理模型相关联；

基于后续的多个信号数据自动检测输入模式；

基于检测到的输入模式自动选择对应的推理模型；和

通过将所述对应的推理模型应用于所述后续的多个信号数据来生成输出信号。

17.根据权利要求16所述的计算机实现的方法，其中，所述输入模式涉及以下事件中的至少一个事件的分类：

手部姿态；

离散姿势；

连续姿势；

手指轻击；

2-D手腕旋转；或者

打字动作。

18.根据权利要求16所述的计算机实现的方法，其中，处理所述多个信号数据包括对所述多个信号数据应用一Euro滤波器或两Euro滤波器。

19.根据权利要求18所述的计算机实现的方法，其中，基于所述后续的多个信号数据自动检测所述输入模式包括将与在所述输入模式内发生的输入事件相关联的门控应用于所述一Euro滤波器。

20.根据权利要求16所述的计算机实现的方法，还包括：

将所述多个信号数据处理到低维本征空间；

在图形界面内呈现所述低维本征空间的可视化；和

当接收到新的信号数据时，通过将所述新的信号数据标绘为所述低维本征空间内的一个或更多个本征向量来实时更新所述低维本征空间的可视化。

Images