CN113632176A - 用于基于神经肌肉数据的低等待时间身体状态预测的方法和装置 - Google Patents

Abstract

所公开的方法可以包括：从用户穿戴的可穿戴设备上的第一传感器接收第一时间系列上的神经肌肉活动数据，从第二传感器接收第二时间系列上的基本事实数据，该基本事实数据指示用户身体部位的身体部位状态，通过相对于第二时间系列时移第一时间系列上的神经肌肉活动数据的至少一部分以将神经肌肉活动数据与基本事实数据的至少一部分相关联，来生成一个或更多个训练数据集，以及基于一个或更多个训练数据集训练一个或更多个推理模型。还公开了各种其他相关方法和系统。

Description

用于基于神经肌肉数据的低等待时间身体状态预测的方法和 装置

相关申请的交叉引用

本申请要求于2019年3月29日提交的美国申请第62/826,516号、于2019年4月30日提交的美国申请第62/841,054号以及于2020年3月27日提交的美国申请第16/833,309号的优先权。美国申请第62/826,516号、美国申请第62/841,054号以及美国申请第16/833,309号的内容通过引用以其整体并入本文以用于全部目的。

附图简述

附图示出了许多示例实施例，并且是说明书的一部分。与以下描述一起，这些附图展示并解释了本公开的各种原理。

图1是根据本公开实施例的用于预测身体状态信息的系统的示例框图的图示。

图2A是根据本公开实施例的描绘等待时间(latency)对预测身体状态信息的影响的示例图表的图示。

图2B是根据本公开实施例的描绘预测身体状态信息中的等待时间减少的示例图表的图示。

图3是根据本公开实施例的描绘在延迟时间间隔和身体状态预测准确性之间的关系的示例图表的图示。

图4示出了根据本公开实施例的描绘在延迟时间间隔和身体状态预测准确性之间的关系中的用户依赖性的两个图表。

图5是根据本公开实施例的用于生成推理模型的示例方法的流程图的图示，该推理模型用于使用从传感器记录的信号来预测肌肉骨骼位置信息。

图6是根据本公开实施例的用于确定身体状态信息的示例方法的流程图的图示。

图7是根据本公开实施例的具有传感器的示例可穿戴设备的透视图的图示。

图8是根据本公开实施例的可穿戴设备和头戴式显示器的示例框图的图示。

图9是根据本公开实施例的基于神经肌肉数据预测身体状态的示例方法的流程图的图示。

图10是可结合本公开的实施例使用的示例增强现实眼镜的图示。

图11是可结合本公开的实施例使用的示例虚拟现实头戴式装置(headset)的图示。

图12是可结合本公开的实施例使用的示例触觉设备的图示。

图13是根据本公开实施例的示例虚拟现实环境的图示。

图14是根据本公开实施例的示例增强现实环境的图示。

在全部附图中，相同的参考符号和描述指示相似的但不一定相同的元素。虽然本文所述的示例实施例容许各种修改和可选的形式，但特定的实施例作为示例在附图中被示出并且将在本文被详细描述。然而，本文描述的示例实施例并不旨在局限于所公开的特定形式。相反，本公开覆盖了落入所附权利要求的范围内的所有修改、等同物和替代物。

示例实施例的详细描述

本公开总体上涉及使用经训练的推理模型来预测人类用户的身体部位状态。在生成人体的肌肉骨骼表示(musculoskeletal representation)的一些计算机应用中，可能希望应用知道用户身体的空间定位、定向(orientation)和移动，以向该应用提供身体移动的现实表示。例如，在人工现实(AR)环境中，跟踪用户手部的空间位置可以使该应用能够在AR环境中准确地表示手部运动，这可以允许用户(例如，通过抓握或操纵)与AR环境内的虚拟对象进行交互。在用户界面应用中，检测用户姿态(pose)或姿势(gesture)的存在或不存在可以用作对计算机的二进制控制输入(例如，模式切换)。生成人体肌肉骨骼表示的计算机应用的一个重要特征是用户身体的移动与计算机应用对该移动的表示(例如，向用户显示视觉表示)之间的低等待时间。

取决于个体和特定身体部位之间的生理差异，神经肌肉活动的开始(例如，如由可穿戴设备测量的肌电图(EMG)信号指示)和人体部位中的肌肉收缩之间的时间延迟可以在几十毫秒到几百毫秒或更长时间的范围内。因此，在任何时间点，神经肌肉活动信号对应于在未来几十毫秒或更长时间后可能发生的运动。

本公开的用于基于神经肌肉活动数据预测身体部位或身体部位的一部分的状态的系统、方法和装置可以通过相对于身体状态的基本事实(ground truth)测量结果在时间上偏移神经肌肉活动信号数据，来实现更低的身体状态等待时间(例如，从记录的神经肌肉数据到预测用户身体部位或身体部位的一部分的状态的经训练推理模型的输出的等待时间)。时间上偏移的数据集可以用作用于训练推理模型的输入和/或用作先前训练的推理模型的输入。

在一些实施例中，提供了一种方法，该方法包括：经由一个或更多个神经肌肉传感器(例如，用户穿戴的可穿戴设备上的神经肌肉传感器)接收响应于用户身体部位的移动的神经肌肉活动信号，确定与用户身体部位的相应移动相关联的基本事实(例如，直接观察到的)测量结果，时移(time shift)神经肌肉活动信号以与相应移动的定时基本上对齐，以及使用时移的神经肌肉活动信号训练推理模型。

人类肌肉骨骼系统的全部或部分可以被建模为多节段铰接刚体系统(multi-segment articulated rigid body system)，其中关节形成不同节段之间的接合部(interface)，并且关节角度限定了模型中连接节段之间的空间关系。关节处移动的限制可以由连接节段的关节的类型和限制关节处移动范围的生物结构(例如，肌肉、肌腱、韧带等)决定。例如，连接上臂和躯干的肩关节以及连接大腿和躯干的髋关节是球窝关节(ball andsocket joints)，这些球窝关节允许伸展和弯曲移动以及旋转移动。相比之下，连接上臂和前臂的肘关节以及连接大腿和小腿的膝关节允许更有限的运动范围。肌肉骨骼表示可以是用于对人体肌肉骨骼系统的部分进行建模的多节段铰接刚体系统。然而，人类肌肉骨骼系统的一些节段(例如，前臂)虽然在铰接刚体系统中近似为刚体，但是可以包括多个刚性结构(例如，前臂的尺骨和桡骨)，这些刚性结构在身体节段内提供了刚体模型没有明确考虑的更复杂的移动。因此，肌肉骨骼表示可以包括表示不严格为刚体的身体部位的组合的身体节段。

在一些实施例中，经训练的推理模型可以被配置成预测用户身体的一部分的状态。这种身体状态可以包括身体部位或身体部位的一部分的力、移动、姿态或姿势。例如，身体状态可以包括用户身体部分的肌肉骨骼表示中的身体节段之间的位置关系和/或各个身体节段和/或身体节段的组合的力关系。

预测的力可以与用户身体部分的肌肉骨骼表示的一个或更多个节段相关联。这种预测的力可以包括由肌肉骨骼表示的一个或更多个节段施加的线性力或旋转(例如，扭矩)力。线性力的示例包括但不限于手指或手部按压在诸如桌子的实体对象上的力、或者当两个节段(例如，两根手指)被挤压在一起时施加的力。旋转力的示例包括但不限于，当手腕和/或手指中的节段扭转和/或弯曲时产生的旋转力。在一些实施例中，预测的身体状态可以包括但不限于挤压力信息、捏合力(pinching force)信息、抓握力信息、扭转力信息、弯曲力信息或关于由肌肉骨骼表示所表示的肌肉之间的共收缩力(co-contraction force)的信息。

预测的移动可以与用户身体部分的肌肉骨骼表示的一个或更多个节段相关联。这种预测的移动可以包括肌肉骨骼表示的一个或更多个节段的线性/角速度和/或线性/角加速度。线性速度和/或角速度可以是绝对的(例如，相对于固定参考系测量的)或相对的(例如，相对于与另一个节段或身体部位相关联的参考系测量的)。

如本文所使用的，术语“姿态”可以指一个或更多个身体部位的静态配置(例如，定位)。例如，姿态可以包括拳头、张开的手、将食指静态地压在拇指上、手掌向下地按压在固体表面上、抓握球或其组合。如本文所使用的，术语“姿势”可以指一个或更多个身体部位的动态配置、一个或更多个身体部位的移动、与动态配置相关联的力或其组合。例如，姿势可以包括来回挥动手指、投掷球、抓握球或其组合。姿态和/或姿势可以由被配置成提示用户执行姿态和/或姿势的应用来定义。附加地或替代地，姿态和/或姿势可以由用户任意定义。

在一些实施例中，身体状态可以描述用户的手，手可以被建模为多节段铰接体。手腕和每根手指中的关节可以形成模型中多个节段之间的接合部。在一些实施例中，身体状态可以描述手与用户的一个或更多个手臂节段的组合。本文描述的方法也适用于除了手以外的身体部分(包括但不限于手臂、腿、脚、躯干、脖子或其组合)的肌肉骨骼表示。

与传统方法相比，本公开的补偿肌肉骨骼系统中的机电延迟(electromechanicaldelay)的系统和方法可以在预测身体状态方面实现更低的等待时间和/或增加的准确性。肌肉骨骼系统中的机电延迟可以被定义为运动神经元动作电位到达神经肌肉突触和由运动神经元动作电位引导的身体部位的力输出(例如，移动)之间的时间。神经肌肉活动的开始(例如，由用户穿戴的可穿戴设备的EMG信号指示)和肌肉收缩之间的时间延迟可以在几十毫秒到大于几百毫秒的范围内，这取决于用户和由运动神经元动作电位引导的身体部位的生理状况。因此，在任何时间点，EMG信号可以对应于身体部位的运动，该运动在未来几十毫秒或更长时间后发生。

在一些示例中，在相对于身体部位状态的基本事实测量结果时间上偏移的神经肌肉信号上训练的推理模型可以评估神经肌肉信号和身体部位的对应运动之间的关系，而不是神经肌肉信号和对应于较早的神经肌肉信号的运动之间的关系。此外，时间偏移的引入可以减少基本事实身体状态和由经训练的推理模型输出的预测身体状态之间的等待时间，从而改善与应用(例如，人工现实应用、用户界面应用等)相关联的用户体验，因为身体部位表示(例如，头戴式显示器上的视觉表示)对用户的实际运动控制(motor control)更具反应性。

机电延迟可能因个人和用户身体部位而异(例如，由于手和腿的尺寸不同，手和腿的延迟也不同)。在一些示例中，神经肌肉信号相对于关于手臂、手、手腕和/或手指的位置的基本事实数据的偏移量可以根据在用户之间共享的特定生理学(例如，年龄或性别)进行优化，或者基于他们的个人机电延迟(例如，对于控制手和手指移动的前臂肌肉)针对特定用户进行个性化。使用相对于状态的基本事实测量结果在时间上偏移的神经肌肉信号来训练推理模型可以考虑到已知影响人类神经肌肉系统中机电延迟的任何或所有因素，包括但不限于体温、疲劳、昼夜节律周期(circadian cycle)、药物消耗、饮食、咖啡因消耗、酒精消耗、性别、年龄、柔韧性、肌肉收缩水平或其组合。

在一些示例中，可以通过采用多个时间偏移生成多个训练数据集来识别适当的时间偏移。在一些示例中，时间偏移可以是不同的相应时间间隔。例如，可以用以5ms的增量从5ms变化到100ms或者以10ms的增量从10ms变化到150ms的时间间隔，或者用开始时间间隔、结束时间间隔和时间增量的某个其他组合来创建一组训练数据集。多个训练数据集可用于训练多个推理模型。然后可以通过将模型与基本事实数据进行比较来评估这些模型的等待时间和准确性。可以选择表现出等待时间和准确性的期望的平衡的模型。期望的平衡可以取决于用户执行的任务。例如，优先考虑精确移动的任务(例如，远程外科手术)可以接受更长的等待时间来换取更高的准确性，而优先考虑快速移动的任务(例如，视频游戏)可以接受更低的准确性来换取更低的等待时间。

在一些示例中，可以选择使用适当延迟时间间隔训练的推理模型，而不生成多个训练数据集。例如，可以使用已知的适当延迟时间间隔来训练推理模型。已知的适当延迟时间间隔可以取决于已知的机电延迟时间和/或系统的已知特性等待时间。已知的机电延迟时间可以特定于力、移动、姿态、姿势、身体部位、特定用户、具有生理特性(例如，特定年龄、性别、活动水平或影响人类神经肌肉系统中机电延迟的其他特性)的用户或其组合。已知的机电延迟时间可以由临床医生根据已知方法针对特定用户直接确定，和/或基于与用户共享生理特性的用户的已知机电延迟时间来估计。

在一些示例中，可以使用身体部位、用户和/或用户类别的已知机电延迟时间来确定适当的延迟时间间隔。例如，当与身体部位相关联的已知机电延迟是40ms时，时间间隔可以被选择为在20ms至60ms的范围内。可以为使用时移训练数据集训练的推理模型生成预测准确性，该训练数据集是使用所选时间间隔生成的。可以使用生成的预测准确性选择一个或更多个推理模型来预测身体部位状态。通过基于已知的机电延迟时间选择时间间隔，适当的延迟时间间隔的选择可以集中在可能结合足够的准确性和低等待时间的时间间隔上。结果，可以测试更少的时间间隔和/或可以以更高的分辨率(例如，1ms的分辨率而不是5ms或10ms的分辨率)测试一定范围的时间间隔。

图1示出了根据本公开的实施例的系统100。系统100可以包括多个传感器102，该多个传感器102被配置成记录根据人体部分的移动产生的信号。传感器102可以包括自主式传感器(autonomous sensor)。在一些实施例中，术语“自主式传感器”可以指被配置成在不需要使用外部设备的情况下测量身体节段(body segment)的移动的传感器。在附加的实施例中，传感器102也可以包括与自主式传感器组合的非自主式传感器(non-autonomoussensor)。在一些示例中，术语“非自主式传感器”可以指被配置成使用外部设备来测量身体节段的移动的传感器。非自主式传感器的示例可以包括但不限于可穿戴的(例如，安装在身体上的)照相机、全球定位系统、激光扫描系统、雷达测距传感器或其组合。

自主式传感器可以包括多个神经肌肉传感器，该神经肌肉传感器被配置成记录根据人体肌肉中的神经肌肉活动产生的信号。本文使用的术语“神经肌肉活动”可以指对支配肌肉的脊髓运动神经元的神经激活、肌肉激活、肌肉收缩或者其任意组合。神经肌肉传感器可以包括一个或更多个肌电图(EMG)传感器、一个或更多个肌动图(MMG)传感器、一个或更多个声肌图(SMG)传感器、被配置成检测神经肌肉信号的任何合适类型的一个或更多个传感器、或其组合。在一些示例中，传感器102可以用于感测与由肌肉控制的身体部位的移动相关的肌肉活动。传感器102可以被配置和布置成感测肌肉活动。描述移动的空间信息(例如，位置和/或定向信息)和力信息可以在用户随着时间的推移而移动时基于所感测到的神经肌肉信号来预测。

自主式传感器可以包括一个或更多个惯性测量单元(IMU)，该惯性测量单元可以使用例如加速度计、陀螺仪、磁力计或其组合来测量运动的物理方面的组合。在一些示例中，IMU可以用于感测关于附接有IMU的身体部位的移动的信息，并且当用户随时间的推移而移动时，从感测到的数据中导出的信息(例如，位置和/或定向信息)可以被跟踪。例如，当用户随时间的推移而移动时，一个或更多个IMU可以用于跟踪用户躯干近端的用户身体部分(例如，手臂、腿)的移动。

一些实施例可以包括至少一个IMU和多个神经肌肉传感器。IMU和神经肌肉传感器可以被布置成检测人体不同部位的移动。例如，IMU可以被布置成检测躯干近端的一个或更多个身体节段(例如，上臂)的移动，而神经肌肉传感器可以被布置成检测躯干远端的一个或更多个身体节段(例如，前臂或手腕)的移动。自主式传感器可以以任何合适的方式布置，并且本公开的实施例不限于任何特定的传感器布置。例如，至少一个IMU和多个神经肌肉传感器可以共同位于一个身体节段上，以使用不同类型的测量结果来跟踪身体节段的移动。在一些示例中，IMU传感器和多个EMG传感器可以被布置在被配置成围绕用户的下臂(例如，前臂)或手腕穿戴的可穿戴设备上。在这种布置中，IMU传感器可以被配置成跟踪与一个或更多个手臂节段相关联的移动信息(例如，随时间推移的位置、速度、加速度和/或定向)。移动信息可以确定例如用户是否已经举起或放下了他们的手臂。EMG传感器可以被配置成确定与手腕或手部节段相关联的移动信息，以确定例如用户是否具有张开或者闭合的手部形状(hand configuration)。

每个自主式传感器可以包括一个或更多个感测部件，该感测部件被配置成感测关于用户的信息。在IMU的情况下，感测部件可以包括一个或更多个加速度计、陀螺仪、磁力计或其任意组合，以测量身体运动的特性。身体运动的特性的示例可以包括但不限于加速度、角速度、线性速度和身体周围的感测到的磁场。神经肌肉传感器的感测部件可以包括但不限于被配置成检测身体表面上的电位的电极(例如，对于EMG传感器)、被配置成测量皮肤表面振动的振动传感器(例如，对于MMG传感器)、被配置成测量由肌肉活动产生的超声信号的声学感测部件(例如，对于SMG传感器)、或者其组合。

在一些示例中，可以使用硬件信号处理电路来处理传感器102的输出(例如，以执行放大、滤波和/或整流)。在一些示例中，可以以软件的方式执行对传感器102输出的至少一些信号处理。因此，由自主式传感器记录的自主信号的信号处理可以以硬件、软件的方式执行，或者以硬件和软件的任何适当组合的方式执行，因为本公开的实施例在这方面不受限制。

在一些示例中，如下面更详细描述的，来自传感器102的所记录的传感器数据可以被处理以计算附加的导出测量结果，该导出测量结果作为输入被提供给推理模型104。例如，来自IMU传感器的所记录的信号可以被处理，以导出指定刚体节段随时间的推移的定向的定向信号。自主式传感器可以使用与感测部件集成的部件来实现信号处理，或者一部分信号处理可以由与自主式传感器的感测部件通信但不直接集成的一个或更多个部件来执行。

在一些示例中，多个自主式传感器可以被布置作为可穿戴设备的一部分，该可穿戴设备被配置成佩戴(例如，穿戴(don))在用户身体部位上或围绕用户身体部位而穿戴。例如，IMU传感器和/或多个神经肌肉传感器可围绕可调节和/或弹性带周向地布置，该可调节和/或弹性带诸如是被配置成围绕用户的手腕或手臂穿戴的腕带或臂带。在一些示例中，IMU传感器和/或多个神经肌肉传感器可以被布置和/或附接到身体的一部分和/或多个部分，包括但不限于脚踝、腰部、躯干、颈部、头部、足部、胫部(shin)、肩部或其组合。附加地或替代地，自主式传感器可以布置在可穿戴贴片上，该可穿戴贴片被配置成附着到用户身体一部分。在一些示例中，可以使用多个可穿戴设备来预测涉及身体多个部位的移动的肌肉骨骼位置信息，每个可穿戴设备上包括在其之上的一个或更多个IMU和/或神经肌肉传感器。

在一些示例中，传感器102可以仅包括多个神经肌肉传感器(例如，EMG传感器)。在一些示例中，传感器102可以包括多个神经肌肉传感器和被配置成连续记录多个辅助信号的至少一个“辅助”或附加传感器。辅助传感器的示例可以包括但不限于其他自主式传感器(诸如IMU传感器)、非自主式传感器(诸如成像设备(例如照相机)、雷达测距传感器、基于辐射的传感器、激光扫描设备)和/或其他类型的传感器(诸如心率监视器)。

系统100还可以包括被编程为与传感器102通信的至少一个处理器101。例如，由一个或更多个传感器102记录的信号可以被提供给处理器101，处理器101可以被编程为执行一个或更多个机器学习算法，该算法处理由传感器102输出的信号以训练一个或更多个推理模型104。经训练的(或再训练的)推理模型104可以被存储以供以后用于生成肌肉骨骼表示106，如下面更详细描述的。可用于基于从传感器102记录的信号预测身体状态信息的推理模型104的非限制性示例在下面详细讨论。

系统100可以包括显示设备108，显示设备108被配置成显示身体状态的视觉表示(例如，手的视觉表示)。如下面更详细讨论的，处理器101可以使用一个或更多个经训练的推理模型104，该推理模型104被配置成至少部分地基于由传感器102记录的信号来预测身体状态信息。预测的身体状态信息可用于更新肌肉骨骼表示106，肌肉骨骼表示106可用于在显示设备108(例如，头戴式显示器)上渲染(render)视觉表示。当前身体状态的实时重建以及随后在显示设备108上渲染反映肌肉骨骼模型中的当前身体状态信息的视觉表示可以向用户提供关于推理模型104准确表示预期身体状态的有效性的视觉反馈。在一些示例中，可以向用户或其他第三方提供与肌肉骨骼表示106相关联的度量(例如，一个或更多个手势的似然性度量或质量度量，该质量度量表示估计多节段铰接刚体系统(诸如手)的节段的位置、移动和/或力的置信度水平)。

在一些示例中，被配置成模拟人工现实环境的计算机应用可以被指示来在显示设备108上显示用户手部的视觉表示。可以基于经训练的推理模型的输出来显示人工现实环境内由手的部分施加的定位、移动和/或力。当信号被传感器102连续记录并被经训练的推理模型104处理时，用户的定位、移动和/或力的视觉表示可以基于当前重建的身体状态信息被动态地(例如，实时地)更新。

如上所述，一些实施例可以涉及基于从传感器102(例如，可穿戴的自主式传感器)记录的信号，使用推理模型104来预测肌肉骨骼表示106。推理模型104可以用于预测肌肉骨骼位置信息，而不必将传感器102放置在将要在计算机生成的肌肉骨骼表示106中表示的刚体的每个节段上。多节段铰接刚体模型中各节段之间的关节类型可以约束刚体的移动。附加地，不同的用户可以在执行可以在个体用户移动的统计模式中捕获到的任务时，倾向于以各个方式移动。这些对人体移动的约束中的至少一些可以明确地结合到用于预测的推理模型104中。附加地或替代地，约束可以由推理模型104通过基于从传感器102记录的数据的训练来学习到。对推理模型104的构建施加的约束可以是由用户身体的解剖构造(anatomy)和物理构造(physics)决定的约束，而从统计模式导出的约束可以是由从其记录传感器测量结果的一个或更多个用户的人类行为决定的约束。

如上面所讨论的，一些实施例可以涉及使用推理模型104来预测身体状态信息，以能够生成和/或实时更新基于计算机的肌肉骨骼表示106。当用户执行一个或更多个移动时，推理模型104可用于基于来自传感器102的信号(包括但不限于IMU信号、神经肌肉信号(例如，EMG信号、MMG信号和SMG信号)、外部设备信号(例如，照相机、雷达或激光扫描信号)或其组合)来预测身体状态信息。

图2A示出了根据本公开实施例的描绘等待时间对预测身体状态信息的影响的示例图表。系统可以被配置成在用户执行一个或更多个移动时获得神经肌肉信号203和身体状态201(例如，基本事实身体状态)的重复(例如，周期性)测量结果。例如，神经肌肉信号203和基本事实身体状态201可以是时间系列数据(例如，在一段时间内记录的数据)，包括显式和/或隐式加时间戳的测量结果(例如，测量值和测量时间的元组，和/或具有已知采样时间间隔和已知开始时间的测量值序列)。系统可以被配置成基于采集时间对准身体状态201和信号203的样本。身体状态201和信号203样本的对准可以涉及上采样、下采样、内插、其他信号处理技术或其组合。例如，如图2A中所示，系统可以使身体状态样本{B_T0,B_T0+Δt,B_T0+2Δt,B_T0+3Δt,B_T0+4Δt,…}和信号样本{S_T0,S_T0+Δt,S_T0+2Δt,S_T0+3Δt,S_T0+4Δt,…}分别对准。

系统可以被配置成使用身体状态201作为信号203的基本事实数据来训练推理模型。在一些示例中，术语“基本事实数据(ground truth data)”可以与术语“标记时间系列数据(label time series data)”互换使用。标记时间系列数据可以是在一段时间内以恒定时间间隔或可变时间间隔收集的数据。传统系统可以被配置成使用当前信号样本来预测当前身体状态样本(例如，如将信号样本连接到相同时间的身体状态的箭头202所示，根据图2A中表示的S_T0预测B_T0)。由于机电延迟，身体状态B_T0+Δt可能是先前肌肉活动的结果。因此，可以使用较早的信号样本(例如，S_T0)更准确地预测身体状态B_T0+Δt。此外，根据信号样本预测身体状态需要处理时间。该处理时间可以包括与以下项相关联的时间延迟：信号的时间积分、信号记录和调节、信号数据传输(例如，从可穿戴传感器到处理系统)、存储器访问、处理器指令执行以及使用推理模型处理信号数据。这种时间延迟的范围可以在10ms和100ms(或者更长)之间。

预测的身体状态205可以描绘使用信号203生成的样本何时由经训练的推理模型输出(如将信号203的样本与预测的身体状态205连接的箭头206所示)。如图2A所示，当经训练的推理模型输出预测身体状态B_T0时，最近测量的身体部位状态可以是B_T0+Δt。如本文所使用的，等待时间可以是身体状态的测量与对应的预测身体状态205的输出之间的时间段(例如，平均时间段、中值时间段或其他合适的时间段)(例如，测量的身体状态B_T0和预测的身体状态B_T0之间的等待时间207)。等待时间可能会降低用户体验的质量，因为用户可能会感觉系统的输出(例如，在头戴式显示器(HMD)上显示的身体状态的视觉表示)落后于用户的实际移动。

图2B示出了根据本公开实施例的描绘使用时移训练数据训练推理模型对等待时间217的影响的图表。如上参考图2A所述，系统可以获得身体状态211(例如，基本事实身体状态)和信号213的多个样本。在一些示例中，系统可以被配置成将信号213的样本与稍后获取的身体状态211的样本配对(如将信号213的样本与身体状态211的样本连接的箭头212所示)，而不是将信号213的样本与同时获取的身体状态211的样本配对。例如，系统可以将信号样本S_T0与身体状态样本B_T0+Δt配对。以这种方式，系统可以通过时移信号213或基本事实身体状态211来创建训练数据集。该系统可以被配置成使用时移训练数据集来训练推理模型。例如，然后可以使用时移训练数据集来训练推理模型以根据信号213预测身体状态211。

预测的身体状态215描绘了使用信号213生成的样本何时由经训练的推理模型输出(如连接信号213的样本和预测的身体状态215的箭头216所示)。在这个示例中，当经训练的推理模型输出预测的身体状态B_T0+Δt时，最近测量的身体部位状态也是B_T0+Δt。如图所示，通过根据S_T0预测B_T0+Δt,与图2A所示的等待时间207相比，可以减少在身体状态B_T0+Δt出现时与在经训练的推理模型输出预测的身体状态B_T0+Δt时之间的等待时间217。如本文所讨论的，推理模型可以被训练成根据S_T0预测B_T0+Δt，这至少部分是因为机电延迟导致在时间T₀测量的信号影响后来出现的身体状态(例如，在T_0+Δt时的身体状态)。因此，对于延迟时间间隔Δt的适当选择，训练推理模型以根据S_T0预测B_T0+Δt可以提高身体状态预测准确性。下面参考图3和图4讨论选择延迟时间间隔Δt的示例方法。

图3示出了根据本公开实施例的描绘在延迟时间间隔Δt和身体状态预测准确性之间的经验关系的图表300。经验关系可用于选择经训练的推理模型，该模型表现出在等待时间和身体状态预测准确性之间期望的平衡。图3中描绘的自变量是神经肌肉信号样本和身体状态样本之间的延迟时间间隔。正的时间间隔值对应于将神经肌肉信号样本与在神经肌肉信号样本之后获得的身体状态样本配对。负的时间间隔值对应于将神经肌肉信号样本与在神经肌肉信号样本之前获得的身体状态样本配对。零时间间隔(0.0ms)值对应于将信号样本与在和信号样本同一时间获得的身体状态样本配对。图3的图表中描绘的响应变量可以是使用时移了时间间隔的训练数据集训练的模型的预测准确性的量度(measure)。所描绘的量度可以是在手的肌肉骨骼表示中测量的和预测的关节角度之间的相关性值。在一些示例中，可以使用预测准确性的其他量度，诸如身体部位的肌肉骨骼表示的特性值之间的均方误差。这些特性值可以包括但不限于身体部位的关节角度、力或空间坐标。类似地，正确预测已知姿态或姿势(例如，拳头姿态或从张开的手到拳头姿态的过渡)的可能性可以用作预测准确性的量度。例如，身体部位状态和预测的身体部位状态可以是指示姿态或姿势的存在或不存在的二进制标记(binary label)。经训练的推理模型可能具有假正例(false positive)、假反例(false negative)、真正例(true positive)或真反例(truenegative)预测率。预测准确性的量度可以取决于这些预测率中的至少一个。

如图表300所示，随着延迟时间间隔值从零增加到20毫秒，身体状态预测准确性(例如，测量的和预测的关节角度之间的相关性)可以提高。此后，随着延迟时间间隔值的增加，预测准确性降低。如图所示，将测量的信号相对于身体状态标签偏移40ms减少了等待时间，而没有降低预测准确性。如本文所述，根据任务，可以选择使用更短或更长时间间隔(例如，10ms至100ms范围内的时间间隔)训练的推理模型，以用于预测身体状态。

在一些示例中，可以基于预测准确性标准(例如，测量的和预测的关节角度之间的相关性)和用于生成训练推理模型的训练数据集的延迟时间间隔Δt，选择推理模型用于预测身体状态。例如，在满足预测准确性标准(例如，准确性高于设定阈值)的推理模型中，所选择的推理模型可以是使用训练数据集训练的推理模型，该训练数据集是使用最大时间间隔生成的。例如，两个推理模型可以满足准确性标准(例如，两个模型的准确性都高于可接受的阈值)。第一模型可以比第二模型具有更高的准确性，但是用于生成训练第一模型的训练数据集的时间间隔可以小于用于生成训练第二模型的训练数据集的时间间隔。在该示例中，可以选择第二推理模型来预测身体状态，因为该第二推理模型可以具有可接受的预测准确性和比第一推理模型更低的等待时间。

准确性标准可能取决于在推理模型之间观察到的最大准确性。例如，准确性标准可以表示为与最准确模型的准确性的偏差。当推理模型的准确性偏差小于阈值时，推理模型可以满足准确性标准。阈值可以是准确性的绝对差异(例如，最准确的模型具有85％的预测准确性，而第二模型具有至少80％的准确性)。阈值可替代地可以是准确性的相对差异(例如，较不准确的模型具有最准确模型的准确性的至少95％)。

图4示出了根据本公开实施例的描绘时间间隔和预测准确性之间的经验关系中的用户依赖性的两个图表。预测准确性对延迟时间间隔的依赖性可能因用户而异。如图4的图表所示，预测准确性对延迟时间间隔的依赖性可以在图表402所示的用户A和图表404所示的用户B之间变化。因此，可以通过选择使用适合于用户的延迟时间间隔训练的推理模型和/或使用以适合于用户的延迟时间间隔生成的训练数据集训练推理模型，为用户定制系统。适当的延迟时间间隔可以取决于已知的机电延迟时间和/或系统的特性等待时间。例如，用户A和用户B可以根据生理特性(例如，用户年龄、性别、活动水平或已知影响人类神经肌肉系统中的机电延迟的其他特性)而具有不同的机电延迟时间。

图5描述了使用从传感器(例如，传感器102)记录的信号生成(例如，训练)推理模型的方法500。可以使用任何合适的计算设备执行方法500，因为本公开的实施例在这方面不受限制。例如，方法500可以由参考图1和图7描述的一个或更多个计算机处理器执行。作为另一个示例，可以使用一个或更多个服务器(例如，作为云计算环境的一部分而包括的服务器)来执行方法500的一个或更多个操作。例如，方法500中的至少一部分操作可以使用云计算环境和/或可穿戴设备(诸如图7的可穿戴设备700、图8的可穿戴设备810、图11的可穿戴设备1100、图12的可穿戴设备1200、图13的可穿戴设备1320、图14的可穿戴设备1404或图15的可穿戴设备1530)的处理器来执行。虽然方法500的操作在图5中被示为以某种顺序执行，但是方法500的操作可以以任何顺序执行。

方法500可以包括操作502，其中多个传感器信号(例如，神经肌肉信号、IMU信号等)是针对执行一个或更多个移动(例如，玩人工现实游戏)的一个或更多个用户而获得的。在一些示例中，作为方法500的一部分，多个传感器信号可以被记录。附加地或替代地，多个传感器信号可能在方法500执行之前已经被记录，并且在操作502时被访问(而不是记录)。

在一些示例中，多个传感器信号可以包括针对执行单个移动和/或多个移动的单个用户记录的传感器信号。可以指示用户执行针对特定任务(例如，抓握游戏控制器、向计算机提供用户输入等)的一系列移动，并且当用户执行该用户被指示执行的任务时，可以记录对应于用户移动的传感器信号。传感器信号可以由位于任何合适位置处的任何合适数量和/或类型的传感器记录，以检测与所执行的任务相关的用户移动。例如，在用户被指示用该用户右手的手指执行任务之后，传感器信号可以由多个神经肌肉传感器和一个或更多个IMU传感器记录，该多个神经肌肉传感器围绕用户右下臂(例如，周向地)布置以检测引起右手移动的右下臂中的肌肉活动，该一个或更多个IMU传感器被布置成预测用户的手臂相对于用户躯干的关节角度。作为另一个示例，在用户被指示用该用户的腿执行任务(例如，踢对象)之后，传感器信号可以由多个神经肌肉传感器和一个或更多个IMU传感器记录，该多个神经肌肉传感器围绕用户的腿(例如，周向地)布置以检测引起足部移动的腿中的肌肉活动，该一个或更多个IMU传感器被布置成预测用户的腿相对于用户躯干的关节角度。

在一些示例中，在操作502中获得的传感器信号可以对应于来自一种类型的传感器(例如，一个或更多个IMU传感器或一个或更多个神经肌肉传感器)的信号，并且可以基于使用该特定类型的传感器记录的传感器信号来训练推理模型，从而产生特定于传感器类型的经训练的推理模型。例如，所获得的传感器信号可以包括围绕用户的下臂或手腕(例如，周向地)布置的多个EMG传感器信号，并且推理模型可以被训练来预测在执行诸如抓握和扭转对象(诸如游戏控制器或门把手)的任务期间针对手腕和/或手的移动的肌肉骨骼位置信息。

在基于多种类型的传感器(例如，IMU传感器、EMG传感器、MMG传感器、SMG传感器等)提供预测的实施例中，可以为不同类型传感器中的每种传感器训练单独的推理模型，并且可以组合特定于传感器类型的模型的输出以生成用户身体的肌肉骨骼表示。在一些示例中，在操作502中从两种或更多种不同类型的传感器获得的传感器信号可以被提供给单个推理模型，该单个推理模型基于从不同类型的传感器记录的信号而被训练。例如，如下文更详细讨论的，IMU传感器和多个EMG传感器可以被布置在被配置成围绕用户的前臂穿戴的可穿戴设备上，并且由IMU传感器和EMG传感器记录的信号作为输入被共同地提供给推理模型。

在一些示例中，可以指示用户多次执行任务，并且可以针对用户的多次任务重复中的每一次记录传感器信号和位置信息。在一些示例中，多个传感器信号可以包括针对多个用户记录的信号，该多个用户中的每一个执行同一任务一次或更多次。可以指示多个用户中的每个用户执行任务，并且当用户根据指示(一次或重复地)执行任务时，可以记录对应于该用户的移动的传感器信号和位置信息。当从多个用户收集传感器信号并且这些传感器信号被组合以生成推理模型时，可以假设不同的用户采用相似的肌肉骨骼位置来执行相同的移动。从重复执行相同任务的单个用户和/或从执行相同任务一次或多次的多个用户收集传感器信号和位置信息促进收集足够的训练数据以生成推理模型，该推理模型可以准确地预测与任务的执行相关联的肌肉骨骼位置信息。

在一些示例中，可以基于与来自多个用户的所记录的信号相对应的训练数据来生成用户无关的推理模型，并且当系统被用户使用时，可以基于记录的传感器数据来训练推理模型，使得推理模型学习用户相关的特征，以针对特定用户细化系统的预测能力并且提高预测准确性。

在一些示例中，多个传感器信号可以包括针对一次或更多次执行多个任务中的每个任务的用户(或多个用户中的每一个用户)记录的信号。例如，可以指示用户执行多个任务中的每个任务(例如，抓握对象、推动对象、拉开门等)，并且当用户执行用户被指示执行的多个任务中的每个任务时，可以记录对应于用户的移动的信号。收集这样的信号数据可以促进开发推理模型，该推理模型用于预测与用户可能执行的多个不同动作相关联的肌肉骨骼位置信息。例如，包含针对多个动作的肌肉骨骼位置信息的训练数据可以促进生成推理模型，该推理模型用于预测用户可能正在执行多个可能移动中的哪个移动。

如以上所讨论的，可以通过在一个或多个用户中的每一个用户一次或更多次执行一个或更多个任务中的每一个任务时记录传感器信号来获得在操作502获得的传感器数据。在操作504中，基本事实数据(例如，标记时间系列数据)可以由多个传感器获得，这些传感器包括但不限于光学传感器、惯性测量传感器、互磁感应测量传感器(mutual magneticinduction measurement sensor)、压力传感器或其组合。基本事实数据可以指示用户的身体部位状态。例如，当用户执行任务时，在操作504中可以获得描述不同身体节段在任务执行期间的空间位置的位置信息。在一些示例中，可以使用一个或更多个外部设备或系统来获得位置信息，该一个或更多个外部设备或系统在任务执行期间跟踪身体上不同点的位置。例如，可以使用运动捕获系统、激光扫描仪、测量互磁感应的设备、被配置成捕获位置信息的某种其他系统或其组合。作为一个非限制性示例，可以将多个位置传感器放置在用户的手的手指的节段上，并且当用户执行任务(例如抓握对象)时，可以使用运动捕获系统来确定每个位置传感器的空间位置。附加地或替代地，可以在操作502获得神经肌肉信号，并且可以单独地使用或与来自运动捕获系统的一个或更多个图像或IMU信号结合地使用该神经肌肉信号，以在用户执行任务时确定用户身体部位(例如，手指)的空间位置。在操作502获得的传感器数据可以与在操作504中获得的位置信息的记录同时被记录。在该示例中，获得了指示当执行抓握运动时每个手指节段随时间的推移的位置的位置信息。

方法500可以进行到操作506，其中可选地处理在操作502中获得的传感器信号和/或在操作504中获得的位置信息。例如，可以使用但不限于放大、滤波、整流、其他类型的信号处理或其组合来处理传感器信号和/或位置信息信号。

方法500可以进行到操作508，其中基于位置信息(如在操作504中收集的位置信息)确定肌肉骨骼位置特性。在一些示例中，不是使用对应于位置传感器的所记录的空间(例如，x、y、z)坐标作为训练数据来训练推理模型，而是基于所记录的位置信息来确定导出的肌肉骨骼位置特征值的集合，并且将导出的值用作训练数据来训练推理模型。例如，使用关于铰接刚体模型中的连接的刚性节段对之间的约束的信息，位置信息可以用于确定在任务执行期间的多个时间点的每一个时间点处，每个连接的刚性节段对之间的关节角度。相应地，在操作504中获得的位置信息可以由多个时间点中的每个时间点处的n个关节角度的向量来表示，其中n是铰接刚体模型中的节段之间的关节或连接的数量。

方法500可以进行到操作510，其中在操作502和操作508获得的时间系列信息(time series information)可以被组合以创建用于训练推理模型的训练数据。可以使用任何合适的方法组合获得的数据。在一些示例中，在操作502获得的每个传感器信号可以与任务或任务内的移动相关联，该任务或任务内的移动对应于当用户执行任务或移动时基于在操作504中获得的位置信息确定的肌肉骨骼位置特性(例如，关节角度)。以这种方式，传感器信号可以与肌肉骨骼位置特性(例如，关节角度)相关联，并且推理模型可以被训练以预测：当在特定任务的执行期间记录特定的传感器信号时，肌肉骨骼表示将由不同身体节段之间的特定的肌肉骨骼位置特性来表征。

在包括被配置成在任务执行期间同时记录不同类型移动信息(例如，位置信息、速度信息、加速度信息)的不同类型传感器(例如，IMU传感器和神经肌肉传感器)的实施例中，可以使用相同或不同的采样速率来记录不同类型传感器的传感器数据。当传感器数据以不同的采样速率被记录时，至少一些传感器数据可以被重新采样(例如，上采样或下采样)，使得作为输入被提供给推理模型的所有传感器数据对应于相同时间分辨率(例如，样本之间的时间段)的时间系列数据。可以使用任何合适的方法(包括但不限于，对上采样传感器数据使用插值以及对下采样传感器数据使用抽取)对至少一些传感器数据进行重新采样。

附加地或替代地，一些实施例可以采用被配置成异步接受多个输入的推理模型。例如，推理模型可以被配置成对具有较低采样速率的输入数据中的“缺失”值的分布进行建模。附加地或替代地，当来自多个传感器数据测量结果的输入作为训练数据变得可用时(例如，在信号调节之后)，推理模型的训练定时可以异步发生。

组合在操作502和508获得的时间系列信息以在操作510创建用于训练推理模型的训练数据可以包括生成一个或更多个训练数据集。如本文所述，可以通过将在操作502获得的传感器信号时移或者通过将在操作504或操作508获得的基本事实数据时移一个或更多个时间间隔来生成一个或更多个训练数据集。

方法500可以进行到操作512，其中可以使用在操作510生成的训练数据来训练用于预测肌肉骨骼位置信息的推理模型。被训练的推理模型可以使用数据集的序列作为输入，并且序列中的每个数据集可以包括传感器数据的n维向量。推理模型可以提供输出，该输出指示对于可由用户执行的一个或更多个任务或移动中的每一个，用户身体的肌肉骨骼表示将由肌肉骨骼位置特性的集合(例如，铰接多节段身体模型中的节段之间的关节角度的集合)来表征的可能性。例如，推理模型可以将使用在时间点t1、t2、……、tK处获得的测量结果生成的向量序列{xk|1≤k≤K}用作输入，其中向量xj的第i个分量可以是由第i个传感器在时间tj测量的值和/或是从由第i个传感器在时间tj测量的值导出的值。在另一个非限制性示例中，作为输入被提供给推理模型的导出值可以包括在时间tj和/或在时间tj之前从来自所有传感器或传感器的子集的数据中提取的特征(例如，协方差矩阵、功率谱、任何其它合适的导出的表示或其组合)。基于这样的输入，推理模型可以提供输出，该输出指示用户身体的肌肉骨骼表示将由肌肉骨骼位置特性的集合表征的概率。作为一个非限制性示例，推理模型可以被训练成在用户抓握对象时随着时间的推移预测手的手指中的节段的关节角度集合。在该示例中，经训练的推理模型可以输出对应于传感器输入的、手中关节的预测的关节角度集合。

在一些示例中，推理模型可以是神经网络。在一些示例中，推理模型可以是循环神经网络(recurrent neural network)。循环神经网络可以是长短期记忆(LSTM)神经网络。然而，循环神经网络不限于LSTM神经网络，并且可以具有任何其他合适的架构。例如，循环神经网络可以是但不限于完全循环神经网络、递归神经网络(recursive neuralnetwork)、变分自动编码器、Hopfield神经网络、联想记忆神经网络、Elman神经网络、Jordan神经网络、回声状态神经网络、二阶递归神经网络、任何其他合适类型的循环神经网络或其组合。在一些示例中，可以使用并非循环神经网络的神经网络。例如，可以使用深度神经网络、卷积神经网络、前馈神经网络或其组合。

在推理模型是神经网络的一些示例中，神经网络的输出层可以提供对应于可能的肌肉骨骼位置特性(例如，关节角度)的相应集合的输出值集合。在这个示例中，神经网络可以作为非线性回归模型来操作，该模型被配置成从原始和/或经处理的(例如，经调节的)传感器测量结果来预测肌肉骨骼位置特性。在一些示例中，可以使用其他合适的非线性回归模型来代替神经网络，因为本公开在这方面不受限制。

在一些示例中，神经网络可以基于多种和/或不同类型的拓扑和/或架构来实现，包括具有完全连接(密集)层、长短期记忆(LSTM)层、卷积层、时间卷积层(TCL)的深度神经网络、其他合适类型的深度神经网络拓扑和/或架构或其组合。神经网络可以具有不同类型的输出层，包括但不限于具有逻辑sigmoid激活函数、双曲正切激活函数、线性单元、整流线性单元、其他合适类型的非线性单元或其组合的输出层。在一些示例中，神经网络可以被配置成通过softmax函数来表示n个不同类别上的概率分布。在一些示例中，神经网络可以包括提供参数化分布(例如，高斯分布的平均值和/或方差)的输出层。

本公开的实施例不限于使用神经网络，因为可以采用其他类型的推理模型。在一些示例中，推理模型可以包括但不限于隐马尔可夫模型、允许在不同动态系统之间切换的马尔可夫切换模型、动态贝叶斯网络、具有时间成分的任何其他合适的图形模型或其组合。在操作512，可以使用在操作502获得的传感器数据来训练任何这样的推理模型。

作为另一个示例，推理模型可以将从在操作502获得的传感器数据导出的特征用作输入。在这样的实施例中，在操作512，可以使用从在操作502获得的传感器数据提取的特征来训练推理模型。推理模型可以包括但不限于支持向量机、高斯混合模型、基于回归的分类器、决策树分类器、贝叶斯分类器、任何其他合适的分类器或其组合。可以使用任何合适的方法从在操作502获得的传感器数据导出将要作为训练数据被提供给推理模型的输入特征。例如，可以使用但不限于小波(wavelet)分析技术(例如，连续小波变换、离散时间小波变换等)、傅立叶分析技术(例如，短时傅立叶变换、离散时间傅立叶变换、傅立叶变换等)、任何其他合适类型的时间频率分析技术或其组合，将传感器数据作为时间系列数据进行分析。作为一个非限制性示例，可以使用小波变换来变换传感器数据，并且可以将所得的小波系数作为输入提供给推理模型。

在一些示例中，在操作512，可以根据在操作510生成的训练数据来估计推理模型的参数值。例如，当推理模型是神经网络时，可以根据训练数据来估计神经网络的参数(例如，权重)。推理模型的参数可以使用但不限于梯度下降法、随机梯度下降法、任何其他合适的迭代优化技术或其组合来估计。在推理模型是循环神经网络(例如，LSTM神经网络)的实施例中，可以使用随机梯度下降法和随时间反向传播(backpropagation through time)法来训练推理模型。训练可以采用交叉熵损失函数(cross-entropy loss function)和/或任何其他合适的损失函数，因为本公开在这一方面不受限制。

方法500可以进行到操作514，其中经训练的推理模型可以被存储(例如，存储在数据储存器、本地数据库、远程云数据库、存储器等中)。可以使用任何合适的格式、设备和/或方法来存储经训练的推理模型。以这种方式，在方法500的执行期间生成的推理模型可以在以后使用。例如，如下所述，状态预测系统可以使用经训练的推理模型来配置，以根据神经肌肉活动时间系列数据来预测身体部位状态(例如，根据输入传感器数据的给定集合来预测肌肉骨骼位置信息，诸如关节角度)。

在一些示例中，可以从(例如，布置在用户身体表面上或附近的)多个传感器记录传感器信号，这些传感器记录在任务执行期间与身体移动相关联的活动。记录的信号可以可选地被处理(例如，被调节)，并作为输入被提供给使用上面结合图5描述的一种或更多种技术训练的推理模型。在一些示例中，可以连续记录自主信号，并且连续记录的(原始或经处理的)信号可以作为经训练的推理模型的输入被连续和/或周期性地提供，用于针对输入传感器数据的给定集合预测肌肉骨骼位置信息(例如，关节角度)。如以上所讨论的，在一些示例中，经训练的推理模型可以是基于自主式传感器和来自多个用户的位置信息测量结果而训练的用户无关的模型。在一些示例中，经训练的模型可以是根据从个体用户记录的数据训练的用户相关的模型，与传感器信号相关联的数据也是从该个体用户采集的。

在经训练的推理模型接收传感器数据作为输入参数的集合之后，可以从经训练的推理模型输出预测的肌肉骨骼位置信息。如以上所讨论的，在一些示例中，预测的肌肉骨骼位置信息可以包括表示用户身体的至少一部分的多节段铰接刚体模型的肌肉骨骼位置信息值的集合(例如，关节角度的集合)。在一些示例中，肌肉骨骼位置信息可以包括用户正在执行可能的移动集合中的一个或更多个移动的概率集合。

在一些示例中，在预测了肌肉骨骼位置信息之后，可以至少部分地基于从经训练的推理模型输出的肌肉骨骼位置信息来生成用户身体的基于计算机的肌肉骨骼表示。可以使用任何合适的方法生成基于计算机的肌肉骨骼表示。例如，人体的基于计算机的肌肉骨骼模型可以包括多个刚体节段，每个刚体节段对应于身体中的一个或更多个骨骼结构。例如，上臂可以由第一刚体节段表示，下臂可以由第二刚体节段表示，手掌可以由第三刚体节段表示，并且手上的每根手指可以由至少一个刚体节段表示。肌肉骨骼模型中连接的刚体节段之间的关节角度的集合可以限定每个连接的刚体节段相对于彼此和参考系(诸如身体躯干)的定向。随着新的传感器数据被测量并被推理模型处理来提供肌肉骨骼位置信息的新的预测(例如，更新的关节角度的集合)，用户身体的基于计算机的肌肉骨骼表示可以基于更新的关节角度的集合来更新，该更新的关节角度的集合基于推理模型的输出确定。以这种方式，基于计算机的肌肉骨骼表示可以随着传感器数据的连续记录而实时动态更新。

基于计算机的肌肉骨骼表示可以使用任何合适的设备和方法来表示和存储。例如，基于计算机的肌肉骨骼表示可以存储在存储器(例如，图8的存储器821)中。虽然在本文中被称为“肌肉骨骼”表示，以反映肌肉活动可能与该表示相关联，但是一些肌肉骨骼表示可以对应于身体中的骨骼结构、肌肉结构或者骨骼结构和肌肉结构的组合。

在一些示例中，对构成用户移动的基础的神经肌肉活动和/或肌肉活动的直接测量结果可以与生成的肌肉骨骼表示组合。来自放置在用户身体上的多个传感器的测量结果可以用于通过将测量结果叠加到动态形成姿态的骨骼上来创建肌肉募集(musclerecruitment)的统一表示。在一些示例中，由神经肌肉传感器感测的肌肉活动和/或从肌肉活动导出的信息(例如，力信息)可以与计算机生成的肌肉骨骼表示实时组合。

图6示出了根据本公开实施例的基于记录的传感器数据确定身体状态信息的方法600。虽然方法600的操作在图6中被示为以某种顺序执行，但是方法600的操作可以以任何顺序执行。在操作602中，如上所述，传感器数据可由一个或更多个传感器记录，并作为输入被提供给用于预测身体状态的一个或更多个经训练的推理模型。在一些示例中，传感器可以包括被布置在由用户穿戴的可穿戴设备上的多个神经肌肉传感器(例如，EMG传感器)。例如，EMG传感器可以(例如，周向地)布置在弹性带上，该弹性带被配置成围绕用户的手腕或前臂而穿戴，以在用户施加力和/或执行各种移动、姿态和/或姿势时记录来自用户的神经肌肉信号。可根据本公开的实施例使用的可穿戴设备的示例包括图7的可穿戴设备700、图8的可穿戴设备800、图13的可穿戴设备1320、图14的可穿戴设备1404或图15的可穿戴设备1530，这将在下面更详细地描述。

附加地或替代地，一些实施例还可以包括被配置成连续记录辅助信号的一个或更多个辅助传感器，该辅助信号也可以作为输入被提供给一个或更多个经训练的推理模型。辅助传感器的示例可以包括但不限于IMU传感器、成像设备、辐射检测设备(例如，激光扫描设备)、心率监视器、被配置成在执行一个或更多个移动或姿势期间连续记录来自用户的生物物理信息的任何其他类型的生物传感器或其组合。

方法600可以进行到操作604，其中，可选地，基于由传感器记录的信号确定导出的信号数据。例如，由一个或更多个IMU传感器记录的加速度计数据可以被积分和/或过滤，以确定在手势执行期间与一块或更多块肌肉相关联的导出信号数据。除了由传感器记录的原始信号数据或以其他方式处理的原始信号数据，或者作为原始信号数据或以其他方式处理的原始信号数据的替代，导出的信号数据也可以作为输入被提供给经训练的推理模型。

方法600可以进行到操作606，其中基于经训练的推理模型的输出来确定身体状态信息。用户执行的姿势可以包括离散姿势(诸如将用户的手掌心向下地放在桌子上)和/或连续移动姿势(诸如来回挥动手指)。在用户移动期间(包括在姿势的执行期间)，神经肌肉信号可以被连续地记录，并且可以作为输入被连续地提供给经训练的推理模型，产生用户身体部位的位置和/或力的实时估计(即，身体状态信息)作为经训练的推理模型的输出。方法600可以进行到操作608，其中从经训练的推理模型输出的实时身体状态预测输出被用于更新与手相关联的肌肉骨骼表示。在一些示例中，肌肉骨骼表示表示手内的刚性节段和连接这些刚性节段的关节。在其他实施例中，肌肉骨骼表示可以包括对应于连接到手的手臂的至少一些刚性节段。相应地，短语“与手相关联的肌肉骨骼表示”应当被理解为包括手的肌肉骨骼表示和/或包括手和连接到手的至少一部分手臂的表示的肌肉骨骼表示。

图7示出了示例可穿戴设备700的透视图，该设备700包括围绕弹性带720周向布置的十六个传感器710(例如，EMG传感器)，该弹性带720被配置成围绕用户的身体部位(例如，用户的下臂或手腕)而穿戴。如图所示，传感器710可以围绕弹性带720周向布置。可以使用任何合适数量的传感器710。传感器710的数量和布置可以取决于可穿戴设备所用于的特定应用。例如，可穿戴臂带或腕带可以用于生成控制信息，以控制人工现实系统、机器人、车辆、滚动浏览文本、控制虚拟化身或用于任何其他合适的控制任务。

在一些示例中，传感器710可以包括神经肌肉传感器(例如，EMG传感器)的集合。在其他实施例中，传感器710可以包括神经肌肉传感器的集合和被配置成(例如，周期性地、连续地或者根据需要地)记录辅助信号的至少一个“辅助”传感器。辅助传感器的示例可以包括但不限于其他传感器，诸如IMU传感器、麦克风、成像传感器(例如，照相机)、基于辐射的传感器、激光扫描设备或其他类型的传感器，诸如心率监视器。

在一些示例中，可以使用硬件信号处理电路来处理一个或更多个感测部件(例如，传感器710)的输出(例如，以执行放大、滤波和/或整流)。在一些示例中，可以以软件的方式执行对感测部件的输出的至少一些信号处理。因此，对由传感器采样的信号的信号处理可以以硬件、软件的方式执行，或由硬件和软件的任何适当组合执行，因为本文描述的技术的方面在这一点上不受限制。下面参考图8更详细地讨论用于处理从传感器710记录的数据的信号处理系统的非限制性示例。

图8示出了根据本公开实施例的具有多个传感器的可穿戴系统800的示例框图。如图8所示，可穿戴系统800可以包括可穿戴设备810、头戴式显示器(HMD)826和适配器(dongle)840。可穿戴设备810、HMD 826和适配器840可以经由无线通信(例如，经由蓝牙^TM或其他合适的短程无线通信技术)或有线通信彼此进行通信。可穿戴设备810可以包括传感器812(例如，EMG传感器)，其示例在上面参考图5和图6进行了描述。来自传感器812的数据和/或来自HMD 826的传感器的数据可用于生成基本事实数据(例如，标记时间系列数据)。传感器812的输出可以被提供给模拟前端814，模拟前端814可以被配置成对来自传感器812的记录信号执行模拟信号处理(例如，降噪、滤波、放大等)。来自模拟前端814的经处理的模拟信号可以被提供给模数转换器(ADC)816，模数转换器816可以将模拟信号转换成数字信号，使得信号可以被处理器822和/或HMD826的处理器830处理。

处理器822和/或处理器830(例如，微控制器、中央处理单元、数字信号处理器、图形处理器等)可以执行在存储器821中存储的实现本公开的方法(包括但不限于，通过将神经肌肉活动时间系列数据和/或从传感器812接收的标签时间系列数据时移一个或更多个时间间隔来生成一个或更多个训练数据集，使用一个或更多个训练数据集基于神经肌肉活动时间系列数据来训练一个或更多个推理模型，以及配置状态预测系统以使用经训练的推理模型来预测用户的身体部位状态)的指令。如图8所示，处理器822还可以从其他传感器(例如，IMU传感器818、图像传感器等)接收输入，这些传感器可以被配置成跟踪用户身体部位的位置。可以通过电池820向处理器822和可穿戴设备810的其他电子部件供电。由处理器822执行的信号处理的输出(例如，用户身体的肌肉骨骼表示)可以被提供给收发器824，用于传输到适配器840和/或HMD 826。

适配器840可以包括收发器834，收发器834被配置成与可穿戴设备810的收发器824和/或HMD 826的收发器832通信。收发器834、824和828之间的通信可以使用任何合适的无线技术和协议，其非限制性示例包括WiFi、近场通信和/或蓝牙^TM。蓝牙^TM无线电836可以被配置成充当网关设备，以协调包括HMD 826和可穿戴设备810在内的系统800的各种可穿戴设备之间的通信。在附加的实施例中，可穿戴设备810、HMD 826和/或适配器840可以经由有线连接彼此通信。

从传感器812接收的信号可以使用如上所述的推理模型来处理，以预测用户身体的身体部位状态。HMD 826可以从可穿戴设备810接收身体部位状态，和/或在HMD 826的处理器830上执行的指令可以使用经训练的一个或更多个推理模型来确定身体部位状态。HMD826的处理器830可以使用所确定的身体部位状态来生成可穿戴设备810的用户的身体部位状态的视觉表示。用户身体部位状态的视觉表示可以在HMD 826的显示器828上显示给用户。向穿戴HMD 826的用户显示的用户身体部位状态的视觉表示可以结合人工现实应用。在一些示例中，HMD 826可以是图11的眼镜设备1102、图12的虚拟现实系统1200、图14的HMD1402或者图15的增强现实眼镜1520。

图9是示出基于神经肌肉数据预测身体状态的示例方法900的流程图。在操作910，方法900可以包括从用户穿戴的可穿戴设备上的第一传感器接收第一时间系列上的神经肌肉活动数据。操作910可以以多种方式执行，例如，可穿戴设备的神经肌肉传感器可以周期性地生成指示用户的神经肌肉活动的时间系列数据。

在操作920，方法900可以包括从第二不同的传感器接收基本事实数据，该基本事实数据指示用户身体部位在第二时间系列上的身体部位状态。可以以多种方式来执行操作920。例如，基本事实数据可以是指示用户在执行任务时的身体部位状态的标记时间系列数据。身体部位状态可以是或包括在任务执行期间对应于用户不同身体节段的空间位置的位置信息。可以使用一个或更多个外部设备(例如，照相机、IMU)来获得位置信息，该外部设备在任务执行期间跟踪用户身体上不同点的位置。

在操作930，方法900可以包括通过相对于第二时间系列时移第一时间系列上的至少一部分神经肌肉活动数据以将神经肌肉活动数据与至少一部分基本事实数据相关联，来生成一个或更多个训练数据集。可以以多种方式来执行操作930。例如，可以通过用多个时间偏移生成多个训练数据集来识别适当的时间间隔。基于包括用户的机电延迟时间(例如，用户的肌肉响应时间)和/或系统的已知特性等待时间的因素，时间偏移可以是不同的相应时间间隔。时移间隔可以确定系统等待时间，并且可以基于任务的准确性要求。例如，优先考虑精确移动的任务(例如，远程外科手术)可以接受更大的等待时间来换取更高的准确性，而优先考虑快速移动的任务(例如，视频游戏)可以接受更低的准确性来换取更低的等待时间。

在操作940，方法900可以包括基于一个或更多个训练数据集训练一个或更多个推理模型。可以以多种方式来执行操作940。例如，可以使用数据集的序列作为输入来训练推理模型，并且序列中的每个数据集可以包括传感器数据的n维向量(例如，来自神经肌肉传感器、IMU传感器等的传感器数据)。推理模型可以提供输出，该输出指示对于用户执行的每个任务或移动来说，用户身体的肌肉骨骼表示将由肌肉骨骼位置特性的一个集合表征的可能性。推理模型可用于预测身体状态并创建与用户身体部位相关联的肌肉骨骼表示。可以向用户显示用户身体部位的视觉表示。例如，用户身体部位的视觉表示可以在头戴式显示器上显示给用户。

因此，本公开包括可用于预测用户身体部位状态的系统、方法和装置。例如，人工现实系统可以包括可穿戴设备，该可穿戴设备包括被配置成预测用户的身体部位状态的传感器和系统。身体部位(例如，手)的预测状态的虚拟表示可以在HMD上显示给用户。HMD还可以显示由手的虚拟表示持有的虚拟对象(例如，游戏控制器、运动对象)。与传统系统相比，结合人工现实应用的音频/视频内容向用户显示的身体部位的预测状态的虚拟表示可以(诸如通过减少预测的和实际的身体移动之间的等待时间)创建更引人注目的人工现实体验。

可以以多种方式中的任一种来实现上述实施例。例如，可以使用硬件、软件或其组合来实现实施例。当以软件的方式实现时，软件代码可以在任何合适的处理器或处理器集群(无论是在单个计算机中提供的，还是分布在多个计算机之间的)上执行。应当认识到，执行上述功能的任何部件或部件集群可以一般地被考虑为控制上面讨论的功能的一个或更多个控制器。可以以多种方式(诸如利用专用硬件或者利用使用微代码或软件被编程为执行上面列举的功能的一个或更多个处理器)来实现一个或更多个控制器。

在这方面，应当理解，本发明的实施例的一个实现方式包括编码有计算机程序(例如，多个指令)的至少一个非暂时性计算机可读存储介质(例如，计算机存储器、便携式存储器、光盘等)，该计算机程序当在处理器上执行时，执行本发明的实施例的以上所讨论的功能。计算机可读存储介质可以是可移动的，使得可以将存储在其上的程序加载到任何计算机资源上，以实现本文讨论的本发明的各方面。此外，应当认识到，对当被执行时执行上面讨论的功能的计算机程序的提及不限于在主计算机上运行的应用程序。相反，术语“计算机程序”在本文中以一般意义使用，以指代任何类型的计算机代码(例如，软件或微代码)，其可以用于对处理器进行编程以实现本发明的以上所讨论的各方面。

本发明的各个方面可以单独使用、组合使用或者以在前面描述的实施例中没有具体讨论的各种布置使用，因此它们的应用不限于在前面描述中阐述的或者在附图中示出的部件的细节和布置。例如，在一个实施例中描述的方面可以以任何方式与在其他实施例中描述的方面组合。

此外，本发明的实施例可以被实现为一种或更多种方法，已经提供了其示例。作为方法的一部分被执行的动作可以以任何合适的方式被排序。相应地，可以构造实施例，其中动作以与所示出的不同的顺序被执行，这可以包括同时执行一些动作，即使在说明性实施例中被示为顺序动作。

在权利要求中使用序数术语，例如“第一”、“第二”、“第三”等来修改权利要求元素本身并不意味着一个权利要求元素相对于另一个权利要求元素的任何优先、在先或顺序，或者方法的动作被执行的时间顺序。这样的术语仅用作标签以将具有特定名称的一个权利要求元素与具有相同名称的另一个元素区分开(但对于序数术语的使用)。

本文所使用的措辞和术语是为了描述的目的，且不应被视为限制性的。“包括(including)”、“包括(comprising)”、“具有(having)”、“包含(containing)”、“涉及(involving)”、及它们的变形的使用意指包括在其后列出的项和另外的项。

本公开的实施例可以包括或结合各种类型的人工现实系统来实现。人工现实是一种在呈现给用户之前已经以一些方式进行调节的现实形式，其可以包括例如虚拟现实、增强现实、混合现实(mixed reality)、混杂现实(hybrid reality)或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或者与所捕获的(例如，真实世界)内容组合地生成的内容。人工现实内容可以包括视频、音频、触觉反馈或其某种组合，它们中的任何一个可以在单个通道或多个通道中呈现(诸如向观众产生三维(3D)效果的立体视频)。此外，在一些实施例中，人工现实还可以与应用、产品、附件、服务或其某种组合相关联，这些应用、产品、附件、服务或其某种组合用于例如在人工现实中创建内容和/或在人工现实中以其他方式被使用(例如，以在人工现实中执行活动)。

人工现实系统可以以各种不同的形式和配置实现。一些人工现实系统可能被设计成在没有近眼显示器(NED)的情况下工作。其他人工现实系统可以包括也提供对真实世界的可视性的NED(例如，图10中的增强现实系统1000)，或者将用户视觉沉浸在人工现实中的NED(例如，图11中的虚拟现实系统1100)。虽然一些人工现实设备可以是独立的系统，但是其他人工现实设备可以与外部设备通信和/或协调以向用户提供人工现实体验。这种外部设备的示例包括手持控制器、移动设备、台式计算机、由用户穿戴的设备、由一个或更多个其他用户穿戴的设备、和/或任何其他合适的外部系统。

本公开中讨论的实施例也可以在包括一个或更多个NED的增强现实系统中实现。例如，如图10所示，增强现实系统1000可以包括具有框架1010的眼镜设备1002，框架1010被配置成将左显示设备1015(A)和右显示设备1015(B)保持在用户的眼睛前方。显示设备1015(A)和1015(B)可以一起或独立地起作用来向用户呈现图像或一系列图像。虽然增强现实系统1000包括两个显示器，但是本公开的实施例可以在具有单个NED或多于两个NED的增强现实系统中实现。

在一些实施例中，增强现实系统1000可以包括一个或更多个传感器，例如传感器1040。传感器1040可以响应于增强现实系统1000的运动产生测量信号，并且可以位于框架1010的基本上任何部分上。传感器1040可以代表位置传感器、惯性测量单元(IMU)、深度相机组件或其任意组合。在一些实施例中，增强现实系统1000可以包括或不包括传感器1040，或者可以包括一个以上的传感器。在传感器1040包括IMU的实施例中，IMU可以基于来自传感器1040的测量信号来生成校准数据。传感器1040的示例可以包括但不限于加速度计、陀螺仪、磁力计、检测运动的其他合适类型的传感器、用于IMU的误差校正的传感器或其某种组合。

增强现实系统1000还可以包括具有多个声换能器1020(A)-1020(J)(统称为声换能器1020)的麦克风阵列。声换能器1020可以是检测由声波引起的气压变化的换能器。每个声换能器1020可以被配置成检测声音并将检测到的声音转换成电子格式(例如，模拟或数字格式)。图10中的麦克风阵列可以包括例如十个声换能器：1020(A)和1020(B)，其可以被设计成放置在用户的相应耳朵内；声换能器1020(C)、1020(D)、1020(E)、1020(F)、1020(G)和1020(H)，其可以位于框架1010上的不同位置；和/或声换能器1020(I)和1020(J)，其可以位于相应的颈带1005上。

在一些实施例中，声换能器1020(A)-1020(F)中的一个或更多个可以用作输出换能器(例如，扬声器)。例如，声换能器1020(A)和/或1020(B)可以是耳塞或任何其他合适类型的耳机或扬声器。

麦克风阵列的声换能器1020的配置可以变化。虽然增强现实系统1000在图10中显示为具有十个声换能器1020，但是声换能器1020的数量可以大于或小于十个。在一些实施例中，使用更多数量的声换能器1020可以增加所收集的音频信息量和/或音频信息的灵敏度和准确性。相反，使用较少数量的声换能器1020可以降低相关控制器1050处理所收集的音频信息所需的计算能力。此外，麦克风阵列的每个声换能器1020的位置可以变化。例如，声换能器1020的位置可以包括用户上的定义位置、框架1010上的定义坐标、与每个声换能器1020相关联的定向或其某种组合。

声换能器1020(A)和1020(B)可以位于用户耳朵的不同部分，例如耳郭后面或在耳廓或窝内。或者，除了耳道内的声换能器1020之外，在耳朵上或耳朵周围可以有附加的声换能器1020。将声换能器1020定位在用户的耳道附近可以使麦克风阵列能够收集关于声音如何到达耳道的信息。通过将至少两个声换能器1020定位在用户头部的任一侧(例如，作为双耳麦克风)，增强现实设备1000可以模拟双耳听觉并捕获用户头部周围的3D立体声声场。在一些实施例中，声换能器1020(A)和1020(B)可以经由有线连接1030连接到增强现实系统1000，并且在其他实施例中，声换能器1020(A)和1020(B)可以经由无线连接(例如，蓝牙连接)连接到增强现实系统1000。在其他实施例中，声换能器1020(A)和1020(B)可以根本不与增强现实系统1000结合使用。

框架1010上的声换能器1020可以沿着镜腿的长度、跨过镜梁、在显示设备1015(A)和1015(B)之上或之下、或其某种组合来定位。声换能器1020可以被定向成使得麦克风阵列能够检测穿戴增强现实系统1000的用户周围的大范围方向上的声音。在一些实施例中，可以在增强现实系统1000的制造期间执行优化过程，以确定麦克风阵列中每个声换能器1020的相对定位。

在一些示例中，增强现实系统1000可以包括或连接到外部设备(例如，配对设备)，例如颈带1005。颈带1005通常代表任何类型或形式的配对设备。因此，以下对颈带1005的讨论也适用于各种其它配对设备，诸如充电盒、智能手表、智能手机、腕带、其它可穿戴设备、手持控制器、平板计算机、膝上型计算机和其它外部计算设备等。

如图所示，颈带1005可以通过一个或更多个连接器连接到眼镜设备1002。连接器可以是有线的或无线的，并且可以包括电气和/或非电气(例如，结构)部件。在一些情况下，眼镜设备1002和颈带1005可以独立操作，而它们之间没有任何有线或无线连接。虽然图10示出了在眼镜设备1002和颈带1005上的示例位置中的眼镜设备1002和颈带1005的部件，但是这些部件可以位于眼镜设备1002和/或颈带1005的其他地方和/或在眼镜设备1002和/或颈带1005上不同地分布。在一些实施例中，眼镜设备1002和颈带1005的部件可以位于与眼镜设备1002、颈带1005或其某种组合配对的一个或更多个附加外围设备上。

将外部设备(诸如颈带1005)与增强现实眼镜设备配对，可使眼镜设备能够达到一副眼镜的形状因子，同时仍能提供足够的电池和计算能力以扩展功能。增强现实系统1000的电池功率、计算资源和/或附加特征中的一些或全部可以由配对的设备提供，或者在配对的设备和眼镜设备之间共享，因此总体上减少了眼镜设备的重量、热分布和形状因数，同时仍然保持期望的功能。例如，颈带1005可以允许原本将被包括在眼镜设备上的部件被包括在颈带1005中，因为用户可以在他们的肩膀上容忍比在他们的头上将容忍的重量负荷更重的重量负荷。颈带1005也可以具有更大的表面积，以在该表面积上将热量扩散并分散到周围环境中。因此，颈带1005可以允许比以其他方式在独立眼镜设备上可能有的电池和计算容量更大的电池和计算容量。由于颈带1005中承载的重量比眼镜设备1002中承载的重量对用户的伤害更小，因此用户可以忍受穿戴较轻的眼镜设备，并且可以忍受比穿戴较重的独立眼镜设备更长的时间来携带或穿戴配对的设备，从而使得用户能够将人工现实环境更充分地结合到他们的日常活动中。

颈带1005可以与眼镜设备1002和/或其他设备通信地耦合。这些其他设备可以向增强现实系统1000提供某些功能(例如，跟踪、定位、深度映射、处理、存储等)。在图10的实施例中，颈带1005可以包括两个声换能器(例如，1020(I)和1020(J))，它们是麦克风阵列的一部分(或者潜在地形成它们自己的麦克风子阵列)。颈带1005还可以包括控制器1025和电源1035。

颈带1005的声换能器1020(I)和1020(J)可以被配置成检测声音并将检测到的声音转换成电子格式(模拟或数字)。在图10的实施例中，声换能器1020(I)和1020(J)可以定位在颈带1005上，从而增加颈带声换能器1020(I)和1020(J)与定位在眼镜设备1002上的其他声换能器1020之间的距离。在一些情况下，增加麦克风阵列的声换能器1020之间的距离可以提高经由麦克风阵列执行的波束成形的准确性。例如，如果声换能器1020(C)和1020(D)检测到声音，并且声换能器1020(C)和1020(D)之间的距离大于例如声换能器1020(D)和1020(E)之间的距离，则检测到的声音的确定的源位置可能比声换能器1020(D)和1020(E)检测到声音的情况更准确。

颈带1005的控制器1025可以处理由颈带1005和/或增强现实系统1000上的传感器产生的信息。例如，控制器1025可以处理来自麦克风阵列的描述由麦克风阵列检测到的声音的信息。对于每个检测到的声音，控制器1025可以执行到达方向(DOA)估计，以估计检测到的声音到达麦克风阵列的方向。当麦克风阵列检测到声音时，控制器1025可以用该信息填充音频数据集。在增强现实系统1000包括惯性测量单元的实施例中，控制器1025可以从位于眼镜设备1002上的IMU计算所有惯性和空间计算。连接器可以在增强现实系统1000和颈带1005之间以及增强现实系统1000和控制器1025之间传递信息。信息可以是光数据、电数据、无线数据的形式或任何其他可传输数据形式。将增强现实系统1000生成的信息的处理移动到颈带1005可以减少眼镜设备1002中的重量和热量，使其对用户更舒适。

颈带1005中的电源1035可以向眼镜设备1002和/或颈带1005提供电力。电源1035可以包括但不限于锂离子电池、锂聚合物电池、一次锂电池、碱性电池或任何其他形式的电力储存装置。在一些情况下，电源1035可以是有线电源。在颈带1005上而不是在眼镜设备1002上包括电源1035可以帮助更好地分配由电源1035产生的重量和热量。

如上所述，一些人工现实系统可以用虚拟体验代替用户对真实世界的一个或更多个感官感知，而不是将人工现实与实际现实混合。这种类型系统的一个示例是头戴式显示系统，例如图11中的虚拟现实系统1100，其主要或完全覆盖用户的视野。虚拟现实系统1100可以包括前刚体1102和形状适于围绕用户头部的带1104。虚拟现实系统1100还可以包括输出音频换能器1106(A)和1106(B)。此外，虽然在图11中未示出，但是前刚体1102可以包括一个或更多个电子元件，其包括一个或更多个电子显示器、一个或更多个惯性测量单元(IMU)、一个或更多个跟踪发射器或检测器、和/或用于创建人工现实体验的任何其他合适的设备或系统。

人工现实系统可能包括各种类型的视觉反馈机制。例如，增强现实系统1000和/或虚拟现实系统1100中的显示设备可以包括一个或更多个液晶显示器(LCD)、发光二极管(LED)显示器、有机LED(OLED)显示器和/或任何其它合适类型的显示屏。人工现实系统可以包括用于双眼的单个显示屏，或者可以为每只眼睛提供显示屏，这可以为变焦调节或为校正用户的屈光不正提供附加的灵活性。一些人工现实系统还可以包括具有一个或更多个透镜的光学子系统(例如，传统的凹透镜或凸透镜、菲涅耳透镜、可调液体透镜等)，用户可以通过它观看显示屏。

除了或代替使用显示屏，一些人工现实系统可以包括一个或更多个投影系统。例如，增强现实系统1000和/或虚拟现实系统1100中的显示设备可以包括将光(使用例如波导)投射到显示设备中的微型LED投影仪，诸如允许环境光通过的透明组合透镜。显示设备可以向用户的瞳孔折射投射的光，并且可以使用户能够同时观看人工现实内容和真实世界。人工现实系统还可以配置有任何其他合适类型或形式的图像投影系统。

人工现实系统也可能包括各种类型的计算机视觉部件和子系统。例如，增强现实系统1000和/或虚拟现实系统1100可以包括一个或更多个光学传感器，诸如二维(2D)或3D相机、飞行时间深度传感器、单光束或扫描激光测距仪、3D LiDAR传感器和/或任何其他合适类型或形式的光学传感器。人工现实系统可以处理来自这些传感器中的一个或更多个的数据，以识别用户的位置、绘制真实世界的地图、向用户提供关于真实世界环境的上下文、和/或执行各种其他功能。

人工现实系统也可以包括一个或更多个输入和/或输出音频换能器。在图11所示的示例中，输出音频换能器1106(A)和1106(B)可以包括音圈扬声器、带状扬声器、静电扬声器、压电扬声器、骨传导换能器、软骨传导换能器和/或任何其他合适类型或形式的音频换能器。类似地，输入音频换能器可以包括电容式麦克风、电动式麦克风(dynamicmicrophone)、带式麦克风、和/或任何其他类型或形式的输入换能器。在一些实施例中，单个换能器可以用于音频输入和音频输出两者。

虽然在图11中未示出，但是人工现实系统可以包括触感(即触觉)反馈系统，该系统可以结合到头饰、手套、紧身衣裤、手持控制器、环境设备(例如椅子、地板垫等)和/或任何其他类型的设备或系统中。触觉反馈系统可以提供各种类型的皮肤反馈，包括振动、力、牵引力、纹理和/或温度。触觉反馈系统还可以提供各种类型的动觉反馈，诸如运动和顺应性。可以使用电机、压电致动器、射流系统和/或各种其他类型的反馈机构来实现触觉反馈。触觉反馈系统可以独立于其他人工现实设备、在其他人工现实设备内和/或结合其他人工现实设备来实现。

通过提供触觉感觉、听觉内容和/或视觉内容，人工现实系统可以在各种上下文和环境中创建完整的虚拟体验或增强用户的真实世界体验。例如，人工现实系统可以帮助或扩展用户在特定环境内的感知、记忆或认知。一些系统可以增强用户与在真实世界中的其他人的交互，或者可以实现用户与虚拟世界中的其他人的更沉浸式的交互。人工现实系统也可以用于教育目的(例如，用于学校、医院、政府组织、军事组织、商业企业等的教学或培训)、娱乐目的(例如，用于玩视频游戏、听音乐、观看视频内容等)，和/或出于可访问性的目的(例如，作为助听器、视觉辅助设备等)。本文公开的实施例可以在一个或更多个这些上下文和环境中和/或在其他上下文和环境中实现或增强用户的人工现实体验。

如上所述，人工现实系统1000和1100可以与各种其他类型的装置一起使用，以提供更引人注目的人工现实体验。这些设备可以是具有传感器的触觉接口，该传感器提供触觉反馈和/或收集关于用户与环境的交互的触觉信息。本文公开的人工现实系统可以包括检测或传达各种类型的触觉信息的各种类型的触觉接口，包括触感反馈(例如，用户通过皮肤中的神经检测的反馈，也可以称为皮肤反馈)和/或动觉反馈(例如，用户通过位于肌肉、关节和/或肌腱中的感受器检测的反馈)。

触觉反馈可以由位于用户环境内的接口(例如，椅子、桌子、地板等)和/或用户可以穿戴或携带的物品上的接口(例如手套、腕带等)提供。作为示例，图12示出了可穿戴手套(触觉设备1210)和腕带(触觉设备1220)形式的振动触感系统1200。触觉设备1210和触觉设备1220被示为可穿戴设备的示例，其包括柔性的、可穿戴的纺织材料1230，该纺织材料1230被成形和配置成分别抵靠用户的手和手腕定位。本公开还包括振动触感系统，该振动触感系统可以被成形和配置成抵靠其他人体部分定位，例如手指、手臂、头部、躯干、脚或腿。作为示例而非限制，根据本公开的各种实施例的振动触感系统也可以是手套、头带、臂带、袖子、头套、袜子、衬衫或裤子等形式，并存在其他的可能性。在一些示例中，术语“纺织品”可以包括任何柔性的、可穿戴的材料，包括纺织织物、非纺织织物、皮革、布、柔性聚合物材料、复合材料等。

一个或更多个振动触感设备1240可以至少部分地位于振动触感系统1200的纺织材料1230中形成的一个或更多个相应的口袋内。振动触感设备1240可以定位在向振动触感系统1200的用户提供振动感觉(例如触觉反馈)的位置。例如，振动触感设备1240可以被定位成抵靠用户的手指、拇指或手腕，如图12中所示。在一些示例中，振动触感设备1240可以足够柔软以顺应或随着用户的相应身体部位弯曲。

用于向振动触感设备1240施加电压以激活振动触感设备1240的电源1250(例如电池)可以诸如经由导电线路1252电耦合到振动触感设备1240。在一些示例中，每个振动触感设备1240可以独立地电耦合到电源1250，用于单独激活。在一些实施例中，处理器1260可以可操作地耦合到电源1250，并被配置(例如，编程)来控制振动触感设备1240的激活。

振动触感系统1200可以以多种方式实现。在一些示例中，振动触感系统1200可以是独立的系统，其具有独立于其他设备和系统运行的集成子系统和部件。作为另一个示例，振动触感系统1200可以被配置成与另一个设备或系统1270交互。例如，在一些示例中，振动触感系统1200可以包括通信接口1280，用于接收信号和/或向其他设备或系统1270发送信号。其他设备或系统1270可以是移动设备、游戏控制台、人工现实(例如，虚拟现实、增强现实、混合现实)设备、个人计算机、平板计算机、网络设备(例如，调制解调器、路由器等)，手持控制器等。通信接口1280可以实现振动触感系统1200和其他设备或系统1270之间经由无线(例如，Wi-Fi、蓝牙、蜂窝、无线电等)链接或有线链接的通信。如果存在，通信接口1280可以与处理器1260通信，例如向处理器1260提供信号以激活或去激活一个或更多个振动触感设备1240。

振动触感系统1200可以可选地包括其他子系统和部件，诸如触敏垫1290、压力传感器、运动传感器、位置传感器、照明元件和/或用户接口元件(例如，开/关按钮、振动控制元件等)。在使用过程中，振动触感设备1240可以被配置成由于各种不同的原因而被激活，例如响应于用户与用户接口元件的交互、来自运动或位置传感器的信号、来自触敏垫1290的信号、来自压力传感器的信号、来自其他设备或系统1270的信号等。

尽管电源1250、处理器1260和通信接口1280在图12中被示为位于触觉设备1220中，但是本公开不限于此。例如，电源1250、处理器1260或通信接口1280中的一个或更多个可以位于触觉设备1210内或另一个可穿戴纺织品内。

触觉可穿戴设备，例如结合图12示出和描述的那些，可以在各种类型的人工现实系统和环境中实现。图13示出了包括一个头戴式虚拟现实显示器和两个触觉设备(即，手套)的示例性人工现实环境1300，并且在其他实施例中，这些部件和其他部件的任何数量和/或组合可以被包括在人工现实系统中。例如，在一些实施例中，可以有多个头戴式显示器，每个头戴式显示器具有相关联的触觉设备，每个头戴式显示器和每个触觉设备与相同的控制台、便携式计算设备或其他计算系统通信。

头戴式显示器1302通常代表任何类型或形式的虚拟现实系统，诸如图11中的虚拟现实系统1100。触觉设备1304通常表示由人工现实系统的用户穿戴的任何类型或形式的可穿戴设备，其向用户提供触觉反馈，以给予用户他或她正在物理上与虚拟对象接触的感觉。在一些实施例中，触觉设备1304可以通过向用户施加振动、运动和/或力来提供触觉反馈。例如，触觉设备1304可以限制或增强用户的移动。举一个具体的示例，触觉设备1304可以限制用户的手向前移动，使得用户具有他或她的手已经与虚拟墙壁物理接触的感觉。在该特定示例中，触觉设备内的一个或更多个致动器可以通过将流体泵入触觉设备的可膨胀囊状物来实现物理移动限制。在一些示例中，用户也可以使用触觉设备1304向控制台发送动作请求。动作请求的示例包括但不限于启动应用和/或结束应用的请求和/或在应用内执行特定动作的请求。

虽然触觉接口可以用于虚拟现实系统，如图13所示，但是触觉接口也可以用于增强现实系统，如图14所示。图14是用户1410与增强现实系统1400交互的透视图。在该示例中，用户1410可以佩戴一副增强现实眼镜1420，该眼镜可以具有一个或更多个显示器1422并且与触觉设备1430配对。触觉设备1430可以是腕带，该腕带包括多个带元件1432和将带元件1432彼此连接的张紧机构1434。

一个或更多个带元件1432可以包括适于提供触觉反馈的任何类型或形式的致动器。例如，一个或更多个带元件1432可以被配置成提供一种或更多种不同类型的皮肤反馈，包括振动、力、牵引力、纹理和/或温度。为了提供这样的反馈，带元件1432可以包括一个或更多个各种类型的致动器。在一个示例中，每个带元件1432可以包括振动触觉器，该振动触觉器被配置成一致地或独立地振动，以向用户提供一种或更多种各种类型的触觉感觉。可选地，只有单个带元件或带元件的子集可以包括振动触觉器。

触觉设备1210、1220、1304和1430可以包括任何合适数量和/或类型的触觉换能器、传感器和/或反馈机构。例如，触觉设备1210、1220、1304和1430可以包括一个或更多个机械换能器、压电换能器和/或流体换能器。触觉设备1210、1220、1304和1430还可以包括不同类型和形式的换能器的各种组合，这些换能器一起或独立地工作以增强用户的人工现实体验。在一个示例中，触觉设备1430的每个带元件1432可以包括振动触觉器(例如，振动触感致动器)，该振动触觉器被配置成一致地或独立地振动，以向用户提供一种或更多种各种类型的触觉感觉。

作为非限制性示例，以下实施例包括在本公开中。

示例1：一种方法，包括：从用户穿戴的可穿戴设备上的第一传感器接收第一时间系列上的神经肌肉活动数据，从第二传感器接收第二时间系列上的基本事实数据，该基本事实数据指示用户身体部位的身体部位状态，通过相对于第二时间系列时移第一时间系列上的神经肌肉活动数据的至少一部分以将神经肌肉活动数据与基本事实数据的至少一部分相关联，来生成一个或更多个训练数据集，以及基于一个或更多个训练数据集训练一个或更多个推理模型。

示例2：根据示例1的方法，还包括基于与用户的特定身体部位相关联的机电延迟，将神经肌肉活动数据的该部分时移一个或更多个时间间隔。

示例3：根据示例1或2的方法，其中，一个或更多个推理模型包括多个推理模型，并且该方法还包括：确定多个推理模型中的每一个的预测准确性，基于针对多个推理模型中的每一个确定的预测准确性，从多个推理模型中选择第一推理模型，以及使用第一推理模型预测用户的身体部位状态。

示例4：根据示例1至3中任一示例的方法，其中，还基于与用户的特定身体部位相关联的特性等待时间来选择第一推理模型。

示例5：根据示例1至4中任一示例的方法，其中，确定多个推理模型中的每一个的预测准确性包括确定使用多个推理模型中的每一个正确估计身体部位状态的可能性。

示例6：根据示例1至5中任一示例的方法，其中，确定多个推理模型中的每一个的预测准确性包括确定与用户的身体部位状态相关联的已知特性等待时间和使用多个推理模型中的每一个预测的与用户身体部位状态相关联的等待时间之间的误差值。

示例7：根据示例1至6中任一示例的方法，还包括基于一个或更多个推理模型来预测用户的身体部位状态。

示例8：根据示例1至7中任一示例的方法，还包括确定用户的预测身体部位状态对应于特定姿势，以及响应于确定用户的预测身体部位状态对应于特定姿势，在人工现实环境中执行动作。

示例9：根据示例1至8中任一示例的方法，还包括：确定一个或更多个推理模型中的两个推理模型的预测准确性，其中该两个推理模型对应于两个不同时间间隔，确定该两个推理模型的预测准确性满足阈值，选择该两个推理模型中对应于两个不同时间间隔中较大时间间隔的一个，以及使用两个推理模型中选定的一个来预测用户的身体部位状态。

示例10：根据示例1至9中任一示例的方法，其中，阈值是以下中的至少一个：两个推理模型的预测准确性的绝对差异，或者两个推理模型中较准确的一个和两个推理模型中较不准确的一个之间的预测准确性的相对差异。

示例11：根据示例1至10中任一示例的方法，其中，选择两个推理模型中的一个还基于任务相关的准确性水平。

示例12：根据示例1至11中任一示例的方法，其中，第二传感器是头戴式显示器的一部分，并且第二传感器包括光学传感器、惯性测量传感器、互磁感应测量传感器或压力传感器中的至少一种。

示例13：根据示例1至12中任一示例的方法，其中，用户的身体部位状态被表示为指示姿态或姿势中的至少一种的存在或不存在的二进制标记。

示例14：根据示例1至13中任一示例的方法，其中，身体部位状态包括以下中的至少一种：与身体部位相关联的力、身体部位的移动、与身体部位相关联的姿态、与身体部位相关联的姿势或与身体部位的一部分相关联的姿势。

示例15：一种可穿戴设备，包括：一个或更多个神经肌肉传感器，该一个或更多个神经肌肉传感器被配置成记录来自穿戴该可穿戴设备的用户的多个神经肌肉信号；以及一个或更多个处理器，该一个或更多个处理器被编程为从一个或更多个神经肌肉传感器接收时间系列上的神经肌肉活动数据，其中该神经肌肉活动数据对应于由一个或更多个神经肌肉传感器记录的神经肌肉信号，接收指示用户身体部位在时间系列上的状态的位置数据，通过将神经肌肉活动数据或位置数据中的至少一个时移一个或更多个时间间隔来生成一个或更多个训练数据集，至少基于该一个或更多个训练数据集来训练一个或更多个推理模型，以及基于经训练的一个或更多个推理模型来预测用户的身体部位状态。

示例16：根据示例15的可穿戴设备，其中，一个或更多个处理器还被编程为基于与用户身体部位相关联的机电延迟来选择一个或更多个时间间隔。

示例17：根据示例15或示例16的可穿戴设备，其中一个或更多个推理模型包括多个推理模型，并且该一个或更多个处理器还被编程为确定多个推理模型中的每一个的预测准确性，基于针对多个推理模型中的每一个确定的预测准确性从多个推理模型中选择第一推理模型，并且使用第一推理模型来预测用户的身体部位状态。

示例18：根据示例15至17中任一示例的可穿戴设备，其中，多个推理模型中的一个还基于用户身体部位的特性等待时间来选择。

示例19：根据示例15至18中任一示例的可穿戴设备，其中，确定多个推理模型中的每一个的预测准确性包括确定使用多个推理模型中的每一个正确估计已知的身体部位状态的可能性。

示例20：一种包括头戴式显示器和可穿戴设备的人工现实系统，该可穿戴设备包括：一个或更多个神经肌肉传感器，该一个或更多个神经肌肉传感器被配置成记录来自穿戴可穿戴设备的用户的多个神经肌肉信号；以及一个或更多个处理器，该一个或更多个处理器被编程为：从被配置成记录多个神经肌肉信号的神经肌肉传感器接收时间系列上的神经肌肉活动数据，接收指示用户身体部位在时间系列上的身体部位状态的位置数据，通过将神经肌肉活动数据或位置数据中的至少一个时移一个或更多个时间间隔来生成一个或更多个训练数据集，使用该一个或更多个训练数据集至少基于神经肌肉活动时间系列数据来训练一个或更多个推理模型，并且使用经训练的一个或更多个推理模型来预测用户的身体部位状态，其中头戴式显示器被配置成显示用户身体部位的视觉表示。

已经提供了前面的描述，以使本领域的其他技术人员能够最好地利用本文公开的示例实施例的各个方面。该示例描述并不旨在穷举或限制于任何公开的精确形式。在不脱离本公开的精神和范围的情况下，许多修改和变化是可能的。本文公开的实施例应当在所有方面被认为是说明性的而不是限制性的。在确定本公开的范围时，应当参考所附权利要求及其等同物。

除非另有说明，否则说明书和权利要求书中使用的术语“连接到”和“耦合到”(及其派生词)应被解释为允许直接和间接(即，通过其他元件或部件)连接。此外，说明书和权利要求书中使用的术语“一个(a)”或“一个(an)”应被解释为意指“……中的至少一个”。最后，为了便于使用，说明书和权利要求书中使用的术语“包括(including)”和“具有”(及其派生词)可与词语“包括(comprising)”互换并具有相同的含义。

Claims (20)

1.一种方法，包括：

从用户穿戴的可穿戴设备上的第一传感器接收第一时间系列上的神经肌肉活动数据；

从第二传感器接收第二时间系列上的基本事实数据，所述基本事实数据指示用户的身体部位的身体部位状态；

通过相对于所述第二时间系列时移所述第一时间系列上的神经肌肉活动数据的至少一部分以将所述神经肌肉活动数据与所述基本事实数据的至少一部分相关联，来生成一个或更多个训练数据集；以及

基于所述一个或更多个训练数据集，训练一个或更多个推理模型。

2.根据权利要求1所述的方法，还包括基于与用户的特定身体部位相关联的机电延迟，将所述神经肌肉活动数据的所述部分时移一个或更多个时间间隔。

3.根据权利要求1所述的方法，其中：

所述一个或更多个推理模型包括多个推理模型；并且

所述方法还包括：

确定所述多个推理模型中的每一个的预测准确性；

基于针对所述多个推理模型中的每一个确定的预测准确性，从所述多个推理模型中选择第一推理模型；以及

使用所述第一推理模型预测用户的所述身体部位状态。

4.根据权利要求3所述的方法，其中，还基于与用户的特定身体部位相关联的特性等待时间来选择所述第一推理模型。

5.根据权利要求3所述的方法，其中，确定所述多个推理模型中的每一个的预测准确性包括确定使用所述多个推理模型中的每一个正确估计所述身体部位状态的可能性。

6.根据权利要求3所述的方法，其中，确定所述多个推理模型中的每一个的预测准确性包括确定与用户的所述身体部位状态相关联的已知特性等待时间和使用所述多个推理模型中的每一个预测的与用户的所述身体部位状态相关联的等待时间之间的误差值。

7.根据权利要求1所述的方法，还包括基于所述一个或更多个推理模型来预测用户的所述身体部位状态。

8.根据权利要求7所述的方法，还包括：

确定用户的预测身体部位状态对应于特定姿势；以及

响应于确定用户的所述预测身体部位状态对应于所述特定姿势，在人工现实环境中执行动作。

9.根据权利要求1所述的方法，还包括：

确定所述一个或更多个推理模型中的两个推理模型的预测准确性，其中，所述两个推理模型对应于两个不同时间间隔；

确定所述两个推理模型的预测准确性满足阈值；

选择所述两个推理模型中对应于所述两个不同时间间隔中较大时间间隔的一个推理模型；以及

使用所述两个推理模型中选定的一个推理模型来预测用户的所述身体部位状态。

10.根据权利要求9所述的方法，其中，所述阈值是以下中的至少一个：所述两个推理模型的预测准确性的绝对差异，或者所述两个推理模型中较准确的一个和所述两个推理模型中较不准确的一个之间的预测准确性的相对差异。

11.根据权利要求9所述的方法，其中，选择所述两个推理模型中的一个推理模型还基于任务相关的准确性水平。

12.根据权利要求1所述的方法，其中：

所述第二传感器是头戴式显示器的一部分，并且

所述第二传感器包括光学传感器、惯性测量传感器、互磁感应测量传感器或压力传感器中的至少一种。

13.根据权利要求1所述的方法，其中，用户的所述身体部位状态被表示为指示姿态或姿势中的至少一种的存在或不存在的二进制标记。

14.根据权利要求1所述的方法，其中，所述身体部位状态包括以下中的至少一种：与所述身体部位相关联的力、所述身体部位的移动、与所述身体部位相关联的姿态、与所述身体部位相关联的姿势或与所述身体部位的一部分相关联的姿势。

15.一种可穿戴设备，包括：

一个或更多个神经肌肉传感器，所述一个或更多个神经肌肉传感器被配置成记录来自穿戴所述可穿戴设备的用户的神经肌肉信号；以及

一个或更多个处理器，所述一个或更多个处理器被编程为：

从所述一个或更多个神经肌肉传感器接收时间系列上的神经肌肉活动数据，其中，所述神经肌肉活动数据对应于由所述一个或更多个神经肌肉传感器记录的所述神经肌肉信号；

接收指示用户的身体部位在所述时间系列上的状态的位置数据；

通过将所述神经肌肉活动数据或所述位置数据中的至少一个时移一个或更多个时间间隔来生成一个或更多个训练数据集；

至少部分地基于所述一个或更多个训练数据集，训练一个或更多个推理模型；以及

基于经训练的一个或更多个推理模型来预测所述用户的身体部位状态。

16.根据权利要求15所述的可穿戴设备，其中，所述一个或更多个处理器还被编程为基于与所述用户的身体部位相关联的机电延迟来选择所述一个或更多个时间间隔。

17.根据权利要求15所述的可穿戴设备，其中：

所述一个或更多个推理模型包括多个推理模型；并且

所述一个或更多个处理器还被编程为：

确定所述多个推理模型中的每一个的预测准确性；

基于针对所述多个推理模型中的每一个确定的预测准确性，从所述多个推理模型中选择第一推理模型；以及

使用所述第一推理模型预测用户的所述身体部位状态。

18.根据权利要求17所述的可穿戴设备，其中，所述多个推理模型中的一个还基于所述用户的身体部位的特性等待时间来选择。

19.根据权利要求17所述的可穿戴设备，其中，确定所述多个推理模型中的每一个的预测准确性包括确定使用所述多个推理模型中的每一个正确估计已知的身体部位状态的可能性。

20.一种人工现实系统，包括：

头戴式显示器；以及

可穿戴设备，其包括：

一个或更多个神经肌肉传感器，所述一个或更多个神经肌肉传感器被配置成记录来自穿戴所述可穿戴设备的用户的多个神经肌肉信号；以及

一个或更多个处理器，所述一个或更多个处理器被编程为：

从被配置成记录所述多个神经肌肉信号的神经肌肉传感器接收时间系列上的神经肌肉活动数据；

接收指示所述用户的身体部位在所述时间系列上的身体部位状态的位置数据；

通过将所述神经肌肉活动数据或所述位置数据中的至少一个时移一个或更多个时间间隔来生成一个或更多个训练数据集；

使用所述一个或更多个训练数据集至少基于神经肌肉活动时间系列数据来训练一个或更多个推理模型；以及

使用经训练的一个或更多个推理模型预测所述用户的身体部位状态，其中：

所述头戴式显示器被配置成显示所述用户的身体部位的视觉表示。

Images