CN111902077A - 利用神经肌肉信号进行手部状态表示建模的校准技术 - Google Patents

利用神经肌肉信号进行手部状态表示建模的校准技术 Download PDF

Info

Publication number
CN111902077A
CN111902077A CN201980021899.6A CN201980021899A CN111902077A CN 111902077 A CN111902077 A CN 111902077A CN 201980021899 A CN201980021899 A CN 201980021899A CN 111902077 A CN111902077 A CN 111902077A
Authority
CN
China
Prior art keywords
user
gesture
neuromuscular
statistical model
statistical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980021899.6A
Other languages
English (en)
Other versions
CN111902077B (zh
Inventor
P·凯福什
图多尔·吉尔杰卡-蒂龙
亚当·贝雷恩兹维戈
史蒂文·科伯
亚当·阿尔-纳特谢
亚历山大·巴拉尚
王琢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Facebook Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Technologies LLC filed Critical Facebook Technologies LLC
Publication of CN111902077A publication Critical patent/CN111902077A/zh
Application granted granted Critical
Publication of CN111902077B publication Critical patent/CN111902077B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A61B5/1122—Determining geometric values, e.g. centre of rotation or angular range of movement of movement trajectories
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6824—Arm or wrist
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02—Operational features
    • A61B2560/0223—Operational features of calibration, e.g. protocols for calibrating sensors
    • A61B2560/0238—Means for recording calibration data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1107—Measuring contraction of parts of the body, e.g. organ, muscle
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1112—Global tracking of patients, e.g. by using GPS
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/296—Bioelectric electrodes therefor specially adapted for particular uses for electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/30—Input circuits therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods

Abstract

用于校准用来生成肌肉骨骼表示的一个或更多个统计模型的性能的方法和装置。该方法包括控制经由用户界面的指令呈现，以指示用户执行至少一个手势，以及至少部分地基于在用户执行该至少一个手势期间由多个神经肌肉传感器记录的多个神经肌肉信号来更新该一个或更多个统计模型的至少一个参数。

Description

利用神经肌肉信号进行手部状态表示建模的校准技术
相关申请
本申请根据35 U.S.C.§119(e)要求于2018年1月25日提交的、题为“CALIBRATIONTECHNIQUES FOR HANDSTATE REPRESENTATION MODELING USING NEUROMUSCULARSIGNALS”、序列号为62/621,838的美国临时申请的优先权，其全部内容通过引用结合于此。
背景
在生成人体的肌肉骨骼表示(musculoskeletal representation)的一些计算机应用中，希望应用知道或者推断用户身体的空间定位、定向(orientation)和移动，以提供身体移动的现实表示。例如，在虚拟现实(VR)环境中，跟踪用户的手的空间位置使得应用能够在VR环境中表示手部运动，这允许用户(例如，通过抓握或操纵)与VR环境中的虚拟对象进行交互。使用可佩戴传感器跟踪用户身体移动的一些现有技术包括，使用从附着于用户身体不同部位的多个惯性测量单元(IMU)获得的信息，以及使用外部成像设备(例如，固定位置照相机)来重建用户身体部位的位置和定向。
概述
一些实施例涉及预测关于用户身体部分(例如，手臂和/或手)的定位和移动的信息，这些部分被表示为多节段铰接刚体系统(multi-segment articulated rigid bodysystem)，其具有连接刚体系统的多个节段(segment)的关节(joint)。当用户执行一个或更多个移动时，由放置在用户身体上多个定位处的可佩戴神经肌肉传感器记录的信号作为输入被提供给统计模型，该统计模型被训练来预测与基于计算机的表示(例如，与手相关联的肌肉骨骼表示)中的多个刚性节段相关联的位置(例如，绝对位置、相对位置、定向)和力的估计。与和手相关联的肌肉骨骼表示的节段相关联的位置信息和力信息的组合在本文中被通俗地称为肌肉骨骼表示的“手部状态(handstate)”。当用户执行不同的移动时，经训练的统计模型将由可佩戴神经肌肉传感器记录的神经肌肉信号解析为位置和力估计(手部状态信息)，这些估计用于更新基于计算机的表示。随着神经肌肉信号被连续记录，基于计算机的表示被实时更新，并且(例如，虚拟现实环境内手的)视觉表示基于当前的手部状态估计被可选地再现。
其他实施例涉及一种计算机化系统，其被配置成校准用于生成肌肉骨骼表示的一个或更多个统计模型的性能。系统包括：用户界面，该用户界面被配置成指示用户在佩戴其上布置有多个神经肌肉传感器的可佩戴设备时执行至少一个手势；以及至少一个计算机处理器。该至少一个计算机处理器被编程为：控制经由用户界面的指令呈现，以指示用户执行至少一个手势；以及至少部分地基于在用户执行该至少一个手势期间由多个神经肌肉传感器记录的多个神经肌肉信号，来更新一个或更多个统计模型的至少一个参数。
其他实施例涉及一种计算机化系统，其被配置成校准用于生成肌肉骨骼表示的一个或更多个统计模型的性能。该系统包括至少一个计算机处理器，该至少一个计算机处理器被编程为：基于一个或更多个统计模型的输出来识别该一个或更多个统计模型不擅长估计的至少一个手势特性，启动校准例程来更新该一个或更多个统计模型的至少一个参数以提高该一个或更多个统计模型的性能，从而准确地预测所识别的至少一个手势特性，在包括该至少一个手势特性的至少一个手势的执行期间，接收由多个神经肌肉传感器记录的多个神经肌肉信号，并且至少部分地基于在用户执行该至少一个手势期间由神经肌肉传感器记录的多个神经肌肉信号，来更新该一个或更多个统计模型的至少一个参数。
在一个方面，至少一个计算机处理器还被编程为至少部分地基于对至少一个手势的位置信息、力信息和神经肌肉信息中的一个或更多个的预定估计，来更新一个或更多个统计模型的至少一个参数。
在另一个方面，至少一个计算机处理器还被编程为：控制至少一个外部设备，以在执行至少一个手势期间捕获位置信息和/或力信息的至少一个测量结果；以及至少部分地基于位置信息和/或力信息的该至少一个测量结果来更新一个或更多个统计模型的至少一个参数。
在另一个方面，至少一个外部设备包括被配置成捕获至少一个图像的成像设备，并且至少部分地基于该至少一个图像来确定位置的至少一个测量结果。
在另一个方面，至少一个外部设备包括惯性测量单元。
在另一个方面，至少一个外部设备包括多个外部设备，该多个外部设备中的每一个被配置成在至少一个手势的执行期间捕获位置信息和/或力信息的至少一个测量结果，并且至少一个计算机处理器还被编程为：组合由多个外部设备中的每一个捕获的位置信息和/或力信息的至少一个测量结果；以及至少部分地基于位置和/或力的组合测量结果来更新一个或更多个统计模型的至少一个参数。
在另一个方面，更新一个或更多个统计模型的至少一个参数包括至少部分地基于在用户执行至少一个手势期间由神经肌肉传感器记录的多个神经肌肉信号，来训练该一个或更多个统计模型。
在另一个方面，一个或更多个统计模型包括经训练的统计模型，并且更新一个或更多个统计模型的至少一个参数包括调整作为输入被提供给经训练的统计模型的一个或更多个参数，而不重新训练该经训练的统计模型。
在另一个方面，至少一个计算机处理器还被编程为向用户提供反馈，并且该反馈向用户指示至少一个手势的执行是否已经按照指示被执行。
在另一个方面，向用户提供反馈包括提供视觉反馈。
在另一个方面，指示用户执行至少一个手势包括指示用户执行手势的预定集合。
在另一个方面，控制经由用户界面的指令呈现包括指示用户连续执行预定集合中的手势。
在另一个方面，至少一个计算机处理器还被编程为选择要由用户执行的新手势。
在另一个方面，选择要由用户执行的新手势包括从手势集合中随机选择新手势。
在另一个方面，选择要由用户执行的新手势包括选择用户先前执行的手势。
在另一个方面，至少一个计算机处理器还被编程为：基于一个或更多个统计模型的输出，识别该一个或更多个统计模型不擅长估计的至少一个手势特性；以及基于所识别的至少一个手势特性来选择要由用户执行的新手势。
在另一个方面，至少一个手势特性包括多个手势特性，并且基于所识别的至少一个手势特性选择要由用户执行的新手势包括选择包括该多个手势特性的新手势。
在另一个方面，手势集合中第一手势和第二手势中的每一个包括多个手势特性中的至少两个，并且选择要由用户执行的新手势包括当第一手势比第二手势包括该多个手势特性中的更多个时，选择第一手势作为新手势。
在另一个方面，至少一个计算机处理器还被编程为：控制经由用户界面的指令呈现，以指示用户执行新手势；以及至少部分地基于在用户执行新手势期间由神经肌肉传感器记录的多个神经肌肉信号，来更新一个或更多个统计模型的至少一个参数。
在另一个方面，经由用户界面提供的指令包括至少一个用户可解析指令。
在另一个方面，至少一个用户可解析指令包括由用户手的一个或更多个部分施加的力的百分比。
在另一个方面，至少一个用户可解析指令包括通过捏合(pinch)手的至少两个手指所施加的最大力的百分比。
在另一个方面，至少一个计算机处理器还被编程为向用户提供反馈，其中该反馈向用户指示一个或更多个统计模型对用户基于用户可解析指令执行至少一个手势的响应。
在另一个方面，至少一个计算机处理器还被编程为基于一个或更多个统计模型的输出来再现与手相关联的视觉表示。
在另一个方面，一个或更多个统计模型的输出包括位置估计和力估计，并且再现与手相关联的视觉表示包括基于对与手相关联的视觉表示的力估计来再现至少一个力度量。
在另一个方面，至少一个计算机处理器还被编程为向用户提供描述关于至少一个手势的准确性和/或完整性的信息的反馈。
在另一个方面，在更新一个或更多个统计模型的至少一个参数期间再现视觉表示。
在另一个方面，至少一个计算机处理器还被编程为：在训练之后使用一个或更多个统计模型期间，连续跟踪该一个或更多个统计模型的性能校准；以及在性能校准偏离可接受校准阈值特定量时，启动校准例程。
在另一个方面，启动校准例程包括：控制经由用户界面的指令呈现，以指示用户执行一个或更多个附加手势，该附加手势包括一个或更多个统计模型对其表现不佳的至少一个手势特性，以及至少部分地基于在用户执行一个或更多个附加手势期间由神经肌肉传感器记录的多个神经肌肉信号，来更新该一个或更多个统计模型中至少一个的至少一个参数。
在另一个方面，肌肉骨骼表示是与手相关联的肌肉骨骼表示，并且一个或更多个统计模型被配置成输出用于更新与手相关联的肌肉骨骼表示的位置估计和力估计。
在另一个方面，更新一个或更多个统计模型的至少一个参数包括更新多个模型参数，并且至少一个计算机处理器还被编程为：存储包括特定于用户的校准参数的用户简档，其中该特定于用户的校准参数包括该多个模型参数的子集。
在另一个方面，特定于用户的校准参数包括至少一个关节刚度参数。
其他实施例涉及一种计算机化系统，其被配置成校准用于生成肌肉骨骼表示的一个或更多个统计模型的性能，该系统包括：至少一个计算机处理器，该至少一个计算机处理器被编程为：基于一个或更多个统计模型的输出来识别该一个或更多个统计模型不擅长估计的至少一个手势特性；启动校准例程来更新该一个或更多个统计模型的至少一个参数以提高该一个或更多个统计模型的性能，从而准确地预测所识别的至少一个手势特性；在包括该至少一个手势特性的至少一个手势的执行期间，接收由多个神经肌肉传感器记录的多个神经肌肉信号；以及至少部分地基于在用户执行该至少一个手势期间由神经肌肉传感器记录的多个神经肌肉信号，来更新该一个或更多个统计模型的至少一个参数。
其他实施例涉及一种校准用于生成肌肉骨骼表示的一个或更多个统计模型的性能的方法。该方法包括控制经由用户界面的指令呈现，以指示用户执行至少一个手势，以及至少部分地基于在用户执行该至少一个手势期间由多个神经肌肉传感器记录的多个神经肌肉信号，来更新该一个或更多个统计模型的至少一个参数。
其他实施例涉及编码有多个指令的计算机可读介质，这些指令当被至少一个处理器执行时执行一种方法。该方法包括控制经由用户界面的指令呈现，以指示用户执行至少一个手势，以及至少部分地基于在用户执行该至少一个手势期间由多个神经肌肉传感器记录的多个神经肌肉信号，来更新一个或更多个统计模型的至少一个参数。
其他实施例涉及一种计算机化系统，其被配置成校准用于生成肌肉骨骼表示的一个或更多个统计模型的性能，该系统包括：被配置成连续记录多个神经肌肉信号的多个神经肌肉传感器，其中该多个神经肌肉传感器被布置在至少一个可佩戴设备上；以及至少一个计算机处理器，其被编程为：使用统计模型处理多个神经肌肉信号中的至少一些，以生成肌肉骨骼表示；至少部分地基于该肌肉骨骼表示的至少一个方面，确定需要校准用于生成肌肉骨骼模型的统计模型；响应于确定需要校准，启动校准会话；至少部分地基于由多个神经肌肉传感器记录的多个神经肌肉信号和表示在校准会话期间记录的位置信息和/或力信息的基础真实数据(ground truth data)来更新统计模型配置，以产生更新的统计模型；使用更新的统计模型处理多个神经肌肉信号中的至少一些，以生成更新的肌肉骨骼表示；至少部分地基于更新的肌肉骨骼表示的至少一个方面来确定是否需要进一步校准统计模型；以及响应于确定不需要进一步校准，结束校准会话。
在一个方面，更新统计模型配置包括选择与用于生成肌肉骨骼表示的统计模型不同的统计模型来生成更新的肌肉骨骼表示。
其他实施例涉及一种校准用于生成肌肉骨骼表示的一个或更多个统计模型的性能的方法，该方法包括：经由用户界面指示用户在佩戴其上布置有多个神经肌肉传感器的可佩戴设备时执行至少一个手势；控制经由用户界面的指令呈现，以指示用户执行至少一个手势；至少部分基于在用户执行该至少一个手势期间由多个神经肌肉传感器记录的多个神经肌肉信号，来更新一个或更多个统计模型的至少一个参数；基于该一个或更多个统计模型的输出，来识别该一个或更多个统计模型不擅长估计的多个手势特性；为用户选择包括所识别的多个手势特性的要执行的新手势；控制经由用户界面的指令呈现，以指示用户执行新手势；以及至少部分地基于在用户执行该新手势期间由神经肌肉传感器记录的多个神经肌肉信号，来更新该一个或更多个统计模型的至少一个参数。
应当理解，前述概念和下面更详细讨论的附加概念的所有组合(只要这些概念不相互矛盾)都被认为是本文公开的发明主题的一部分。特别地，出现在本公开末尾处的所要求保护的主题的所有组合被认为是本文公开的发明主题的一部分。
附图简述
将参考以下附图描述该技术的各种非限制性实施例。应当理解，附图不一定按比例绘制。
图1是根据本文所描述技术的一些实施例的基于计算机的系统的示意图，该系统用于基于神经肌肉传感器数据生成肌肉骨骼表示；
图2是根据本文所描述技术的一些实施例的用于校准一个或更多个统计模型的性能的说明性过程的流程图；
图3是根据本文所描述技术的一些实施例的用于校准统计模型的性能的说明性过程的流程图；
图4是根据本文所描述技术的一些实施例的用于在运行时间(runtime)期间启动校准例程以更新经训练的统计模型的参数的说明性过程的流程图；
图5是根据本文所描述技术的一些实施例的用于生成统计模型的说明性过程的流程图，该统计模型用于使用从传感器记录的信号来预测肌肉骨骼位置信息；
图6A示出了根据本文所描述技术的一些实施例的可佩戴系统，该可佩戴系统具有围绕弹性带周向布置的16个EMG传感器，该弹性带被配置成围绕用户的下臂或手腕佩戴；
图6B是图6A中所示的16个EMG传感器之一的截面图；
图7A和图7B示意性地示出了在其上实现一些实施例的基于计算机的系统的部件。图7A示出了基于计算机的系统的可佩戴部分，以及图7B示出了连接到计算机的加密狗(dongle)部分，其中加密狗部分被配置成与可佩戴部分通信。
详细描述
鲁棒性、一致性和可靠性是用于估计位置、移动和人体部位所施加的力的系统的重要特征，部分是因为这些特征支持虚拟环境中逼真的高度沉浸式体验，并且支持基于手势的机器控制框架的使用。一些传统系统使用神经肌肉信号来以自主方式估计被表示为多节段铰接刚体系统的用户身体一部分(例如，用户的手臂、手、腿等)的位置和移动。通常在这样的系统中使用一系列规定的移动或通过改变信号放大电路的增益来执行系统校准，但是这些系统通常在调谐、个性化和再训练方面能力有限。
一些传统的用于跟踪用户手部的基于照相机的系统通过校准成像传感器或者通过配置系统以区分各个用户来执行系统校准。基于照相机的系统相对于使用神经肌肉传感器来推断身体部位的位置或移动的系统有一些限制，特别是在遮挡和基于固定照相机的系统的有限空间功能方面。
神经肌肉信号包含关于运动单元(motor-unit)活动水平的信息，该运动单元活动水平决定关节的移动和所施加的力。关节角度和所施加力的估计在用户之间的推广程度受到以下因素的限制：人与人之间在诸如关节刚度、关节节段力矩和惯性的特性方面的可变性，以及运动单元活动和关节扭矩之间的关系。当根据神经肌肉数据预测关节角度和力的估计时，如果不考虑这些特性的变化，则用于进行预测的模型可能表现不佳。为此，一些实施例涉及基于在校准程序期间收集的神经肌肉数据来调整模型参数的技术，以解决特定于用户的生理和解剖差异。
可以在多节段铰接刚体系统中实现的模型中逻辑地表示人类肌肉骨骼系统的全部或部分。这种模型可以被划分成多个数据结构(包括节段、逻辑接合部(interface)和其他合适的数据结构)，这些数据结构整体上模拟人类肌肉骨骼系统的生物学功能和性质。例如，节段可以表示肌肉骨骼系统的刚性部位，并且逻辑接合部可以表示肌肉骨骼系统的关节。每个数据结构(例如，节段和逻辑接合部)可以包括表示这种数据结构所代表的生物部位的性质的属性(变量和常量)。如下文更详细描述的，多节段铰接刚体系统可以被配置成模拟人类肌肉骨骼系统的生物学功能和性质。
人类肌肉骨骼系统的全部或部分可以被建模为多节段铰接刚体系统，其中不同节段之间的关节接合部以及关节角度限定了模型中所连接的节段之间的空间关系。关节处移动的限制由连接节段的关节类型和限制关节处移动范围的生物结构(例如，肌肉、肌腱、韧带和其他生物结构)决定。例如，连接上臂和躯干的肩关节以及连接大腿和躯干的髋关节是球窝关节，其允许伸展和弯曲移动以及旋转移动。相比之下，连接上臂和前臂的肘关节以及连接大腿和小腿的膝关节允许更有限的运动范围。如本文所述，多节段铰接刚体系统可以用于对人类肌肉骨骼系统的部分进行建模。人类肌肉骨骼系统的一些节段(例如，前臂段)虽然在铰接刚体系统中近似为刚体，但是可以包括多个刚性结构(例如，前臂的尺骨和桡骨)，这些刚性结构在节段内提供了刚体模型没有明确考虑的更复杂的移动。因此，与本文所描述技术的一些实施例一起使用的铰接刚体系统的模型可以包括表示不是严格刚体的身体部位的组合的节段。
在运动学中，刚体是表现出各种运动属性(例如，位置、定向、角速度、加速度)的物体。知道刚体一个节段的运动属性使得刚体其他节段的运动属性能够基于节段如何连接的约束来被确定。例如，手可以被建模为多节段铰接体，每个手指和手腕中的关节形成模型中多个节段之间的接合部。如下面更详细描述的，刚体模型中节段的移动可以被模拟为铰接刚体系统，其中节段相对于模型中其他节段的位置(例如，实际位置、相对位置或定向)信息使用经训练的统计模型来被预测。
在一些实现中，多节段铰接刚体系统模拟人体的部分，例如手或手与手臂的一个或更多个部分的组合。用于描述肌肉骨骼表示中节段之间的位置关系和各个节段或节段组合的力关系的信息在本文中被称为肌肉骨骼表示的手部状态。本文描述的技术也适用于除了手之外的身体部分的肌肉骨骼表示，这些身体部分包括但不限于手臂、腿、脚、躯干、颈部或前述的任何组合。
除了空间信息(例如，位置和定向)之外，在一些实现中，多节段铰接刚体系统被配置成预测与肌肉骨骼表示的一个或更多个节段相关联的力信息。例如，多节段铰接刚体系统可以计算由一个或更多个节段施加的线性力或旋转(扭矩)力。线性力的示例包括但不限于手指或手按压在诸如桌子的实体对象上的力，以及当两个节段(例如，两个手指)被挤压在一起时施加的力。旋转力的示例包括但不限于，当手腕或手指中的节段扭转或弯曲时产生的旋转力。
在一些实现中，手部状态还可以包括被确定为当前手部状态估计的一部分的力信息，包括挤压力信息、抓握力信息或关于由肌肉骨骼表示所表示的肌肉之间的共收缩力的信息中的一个或更多个。
图1示出了根据一些实施例的系统100。系统包括多个传感器102，该多个传感器102被配置成记录从人体部分的移动产生的信号。传感器102可以包括自主式传感器(autonomous sensor)。如本文所使用的，术语“自主式传感器”是指被配置成测量体段(body segment)的移动的传感器，而不需要使用外部设备。在一些实施例中，传感器102也可以包括与自主式传感器组合的一个或更多个辅助(例如，非自主式)传感器。辅助传感器的非限制性示例包括但不限于可佩戴(例如，安装在身体上的)照相机、全球定位系统或激光扫描系统。
自主式传感器可以包括多个神经肌肉传感器，该神经肌肉传感器被配置成记录从人体骨骼肌中的神经肌肉活动产生的信号。本文使用的术语“神经肌肉活动”是指对支配肌肉的脊髓运动神经元的神经激活、肌肉激活、肌肉收缩或者神经激活、肌肉激活和肌肉收缩的任意组合。神经肌肉传感器可以包括一个或更多个肌电图(EMG)传感器、一个或更多个肌动图(MMG)传感器、一个或多个声肌图(SMG)传感器、EMG传感器，MMG传感器和SMG传感器中两种或更多种类型的组合、和/或被配置成检测神经肌肉信号的任何合适类型的一个或更多个传感器。在一些实施例中，多个神经肌肉传感器可以用于感测与由肌肉控制的身体部位的移动相关的肌肉活动，神经肌肉传感器被布置成从肌肉感测肌肉活动。描述移动的空间信息(例如，位置信息和/或定向信息)和力信息可以在用户随着时间移动时基于所感测的神经肌肉信号来被预测。
自主式传感器可以包括一个或更多个惯性测量单元(IMU)，该一个或更多个IMU使用例如加速度计、陀螺仪、磁力计或者一个或更多个加速度计、陀螺仪和磁力计的任意组合来测量运动的物理方面的组合。在一些实施例中，IMU可以用于感测关于附接有IMU的身体部位的移动的信息，并且当用户随时间移动时，从感测到的数据导出的信息(例如，位置信息和/或定向信息)可以被跟踪。例如，当用户随时间移动时，一个或更多个IMU可以用于跟踪用户躯干近端的用户身体部分(例如，手臂、腿)相对于传感器的移动。
在包括至少一个IMU和多个神经肌肉传感器的实施例中，IMU和神经肌肉传感器可以被布置成检测人体不同部位的移动。例如，IMU可以被布置成检测躯干近端的一个或更多个体段(例如，上臂)的移动，而神经肌肉传感器可以被布置成检测躯干远端的一个或更多个体段(例如，前臂或手腕)的移动。然而，应当理解，自主式传感器可以以任何合适的方式被布置，并且本文所描述技术的实施例不限于基于特定的传感器布置。例如，在一些实施例中，至少一个IMU和多个神经肌肉传感器可以共同位于一个体段上，以使用不同类型的测量来跟踪体段的移动。在下面更详细描述的一个实现中，一个IMU传感器和多个EMG传感器被布置在可佩戴设备上，该可佩戴设备被配置成围绕用户的下臂或手腕佩戴。在这种布置中，IMU传感器可被配置成跟踪与一个或更多个手臂节段相关联的移动信息(例如，随时间的定位和/或定向)，以确定例如用户是否已经抬起或放下了他们的手臂，而EMG传感器可被配置成确定与手腕或手部节段相关联的移动信息，以确定例如用户是否具有张开或者闭合的手部形状。
每个自主式传感器包括被配置成感测关于用户的信息的一个或更多个感测部件。在IMU的情况下，感测部件可以包括一个或更多个加速度计、陀螺仪、磁力计或其任意组合，以测量身体运动的特性，该特性的示例包括但不限于加速度、角速度和身体周围感测到的磁场。在神经肌肉传感器的情况下，感测部件可以包括但不限于被配置成检测身体表面上的电势的电极(例如，对于EMG传感器)、被配置成测量皮肤表面振动的振动传感器(例如，对于MMG传感器)、以及被配置成测量由肌肉活动引起的超声信号的声学感测部件(例如，对于SMG传感器)。
在一些实施例中，可以使用硬件信号处理电路来处理一个或更多个感测部件的输出(例如，执行放大、滤波和/或整流)。在其他实施例中，感测部件的输出的至少一些信号处理可以在软件中执行。因此，由自主式传感器记录的自主信号的信号处理可以在硬件、软件或由硬件和软件的任何适当组合中执行，因为本文所描述的技术的各方面不限于该方面。
在一些实施例中，如下面更详细描述的，记录的传感器数据可以被处理以计算附加的导出的测量结果，然后将导出的测量结果作为输入提供给统计模型。例如，来自IMU传感器的记录的信号可以被处理，以导出指定刚体节段随时间的定向的定向信号。自主式传感器可以使用与感测部件集成的部件来实现信号处理，或者至少一部分信号处理可以由与自主式传感器的感测部件通信但不直接集成的一个或更多个部件来执行。
在一些实施例中，多个自主式传感器中的至少一些被布置为可佩戴设备的一部分，该可佩戴设备被配置成佩戴在用户身体部位之上或围绕用户身体部位佩戴。例如，在一个非限制性示例中，IMU传感器和多个神经肌肉传感器围绕可调整的和/或弹性的带(例如被配置成围绕用户的手腕或手臂佩戴的腕带或臂带)周向地布置。替代地，至少一些自主式传感器可以布置在可佩戴贴片上，该可佩戴贴片被配置成附着到用户身体一部分。在一些实施例中，可以使用多个可佩戴设备来预测涉及多个身体部位的移动的肌肉骨骼位置信息，每个可佩戴设备上包括一个或更多个IMU和/或神经肌肉传感器。
在一些实施例中，传感器102仅包括多个神经肌肉传感器(例如，EMG传感器)。在其他实施例中，传感器102包括多个神经肌肉传感器和被配置成连续记录多个辅助信号的至少一个“辅助”传感器。辅助传感器的示例包括但不限于其他自主式传感器(例如IMU传感器)和辅助传感器(如成像设备(例如，照相机))、与辐射生成设备(例如，激光扫描设备)一起使用的基于辐射的传感器、或者其他类型的传感器(例如心率监视器)。
系统100也包括被编程为与传感器102通信的一个或更多个计算机处理器。例如，由一个或更多个传感器记录的信号可以被提供给处理器，该处理器可以被编程为执行一个或更多个机器学习算法，该算法处理由传感器102输出的信号以训练一个或更多个统计模型104，并且经训练的(或经过再训练的)统计模型104可以被存储以供以后用于生成肌肉骨骼表示106(如下面更详细描述的)。
在一些实施例中，可以使用一个或多个神经网络来实现统计模型。这种神经网络可以被实现为一个或更多个循环神经网络。例如，在一些实施例中，循环神经网络可以是完全循环神经网络(fully recurrent neural network)、递归神经网络(recursive neuralnetwork)、变分自编码器(variational autoencoder)、Hopfield神经网络、联想记忆神经网络(associative memory neural network)、Elman神经网络、Jordan神经网络、回声状态神经网络(echo state neural network)、二阶循环神经网络(second order recurrentneural network)和/或任何其他合适类型的循环神经网络。在其他实施例中，可以使用不是循环神经网络的神经网络。例如，可以使用深度神经网络、卷积神经网络和/或前馈神经网络。
可以基于各种拓扑和/或架构来实现根据一些实施例使用的神经网络，这些拓扑和/或架构包括具有完全连接(密集)层、长短期记忆(LSTM)层、卷积层、时间卷积层(TCL)的深度神经网络，或者其他合适类型的深度神经网络拓扑和/或架构。神经网络可以具有不同类型的输出层，包括具有逻辑sigmoid激活函数、双曲正切激活函数、线性单元、整流线性单元或其他合适类型的非线性单元的输出层。附加地，神经网络可以被配置成经由例如softmax函数来表示n个不同类别上的概率分布，或者包括提供参数化分布(例如，高斯分布的均值和方差)的输出层。下面结合图5更详细地讨论了统计模型的其他非限制性示例，根据一些实施例，这些示例可以用于基于来自传感器102的记录的信号来预测手部状态信息。
系统100也可选地包括被配置成显示(例如，手的)视觉表示108的显示控制器。如下面更详细讨论的，一个或更多个计算机处理器可以实现一个或多个经训练的统计模型，该统计模型被配置成至少部分地基于由传感器102记录的信号来预测手部状态信息。预测的手部状态信息用于更新肌肉骨骼表示106，肌肉骨骼表示106然后可选地用于基于包含当前手部状态信息的更新的肌肉骨骼表示来再现视觉表示108。当前手部状态的实时重建和随后在肌肉骨骼模型中反映当前手部状态信息的视觉表示的再现可以向用户提供关于经训练的统计模型准确表示预期手部状态的有效性的视觉反馈。并非系统100的所有实施例都包括被配置成再现视觉表示的部件。例如，在一些实施例中，来自经训练的统计模型的手部状态估计输出和相应更新的肌肉骨骼表示被用于确定(例如，在虚拟现实环境中)用户手部的状态，即使基于更新的肌肉骨骼表示的视觉表示没有被再现。
在一些实施例中，被配置成模拟虚拟现实环境的计算机应用可以被指示来显示用户手部的视觉表示。可以基于经训练的统计模型的输出来显示虚拟现实环境内由手的部分所施加的定位、移动和/或力。当连续信号被传感器102记录并被经训练的统计模型104处理以提供实时更新的用户位置、移动和/或力的更新的计算机生成的表示时，可以基于当前重建的手部状态信息来动态更新视觉表示。
如以上所讨论的，一些实施例涉及使用统计模型来基于从可佩戴自主式传感器记录的信号预测肌肉骨骼信息。统计模型可以用于预测肌肉骨骼位置信息，而不必将传感器放置在要在计算机生成的肌肉骨骼表示中表示的刚体的每个节段上。如以上简单讨论的，多节段铰接刚体模型中各节段之间的关节类型约束刚体的移动。附加地，不同的个体在执行可以在个体用户行为的统计模式中捕获到的任务时，倾向于以特有的方式移动。根据一些实施例，对人体移动的这些约束中的至少一些可以被明确地结合到用于预测的统计模型中。附加地或替代地，约束可以由统计模型通过基于记录的传感器数据进行训练来学习。在统计模型的构建中施加的约束是由用户身体的解剖构造(anatomy)和物理构造(physics)决定的约束，而从统计模式导出的约束是由从其测量传感器测量结果的一个或更多个用户的人类行为决定的约束。约束可以包括由模型中的信息(例如，节点之间的连接权重)表示的统计模型本身的一部分。
如以上所讨论的，一些实施例涉及使用统计模型来预测手部状态信息，以能够生成和/或实时更新基于计算机的肌肉骨骼表示。统计模型可以用于基于IMU信号、神经肌肉信号(例如，EMG、MMG和SMG信号)、外部设备信号(例如，照相机或激光扫描信号)、或者IMU信号、神经肌肉信号和当用户执行一个或更多个移动时检测到的外部设备信号的组合来预测手部状态信息。
如上所述，预测用于更新肌肉骨骼表示的估计(例如，手部状态估计)的统计模型包括，由用户身体的解剖构造和物理构造决定的在统计模型的构建中施加的一些约束，以及由一个或更多个用户的人类行为决定的从统计模式中导出的其他约束，传感器测量结果是从该一个或更多个用户测量的。通过使用从多个用户收集的训练数据来训练模型以产生独立于用户的模型，由人类行为决定的从统计模式导出的约束最初可以被统计模型学习。这种独立于用户的模型在基于一些(例如，简单的)手势的所记录的神经肌肉信号来估计位置信息和/或力信息(例如，手部状态估计)方面可能表现良好，而在估计其他(例如，复杂的)手势的这种信息方面可能表现不佳。为了提高模型的特定于用户的性能，可以基于特定于用户的数据来更新独立于用户的模型的一个或更多个参数。为特定用户和/或为特定记录会话期间的使用而更新统计模型的参数在本文被称为模型性能的“校准”。
图2示出了用于校准统计模型的性能的过程200，该过程可以根据结合图1描述的系统100来使用。在一些实施例中，通过向用户呈现执行一个或更多个手势的明确指令来校准一个或更多个统计模型的性能。例如，系统可以包括用户界面，该用户界面被配置成向用户呈现指令，以在佩戴可佩戴设备时执行一个或更多个手势，多个神经肌肉传感器布置在该可佩戴设备上，并且被配置成记录多个神经肌肉信号。用户界面可以是视觉界面、音频界面或用于向用户呈现指令以执行一个或多个手势的任何其他合适类型的用户界面。当用户界面是视觉界面时，可以使用文本、静态视觉表示(例如，图像)、动态视觉表示(例如，视频、动画)或前述的任意组合来呈现指令。
如本文所使用的，术语“手势”指的是一个或更多个身体部位的静态或动态配置，包括一个或更多个身体部位的位置和与该配置相关联的力。例如，手势包括离散手势(例如手掌向下按压固体表面或抓握球)、连续手势(例如来回挥动手指或投掷球)、或离散手势和连续手势的组合(例如抓握并投掷球)。手势可以由被配置成提示用户执行手势的应用来定义，或者替代地，手势可以由用户任意定义。
在指令被呈现给用户以执行一个或更多个手势之后，过程200进行到动作204，在动作204中，在根据所呈现的指令执行手势期间，由布置在用户身体上的多个神经肌肉传感器记录多个神经肌肉信号。如上所述，多个神经肌肉传感器可以被布置在一个或更多个可佩戴设备上，该可佩戴设备被配置成由用户在执行一个或更多个手势期间佩戴。过程200然后进行到动作206，在动作206中，基于所记录的多个神经肌肉信号来更新用于生成肌肉骨骼表示的统计模型配置。例如，在一些实施例中，可以通过选择用于生成肌肉骨骼模型的不同统计模型来更新统计模型配置。在其他实施例中，可以基于所记录的多个神经肌肉信号来更新统计模型的至少一个参数。可以以任何合适的方式更新统计模型的一个或更多个参数。在一些实施例中，可以通过至少部分基于所记录的神经肌肉信号训练统计模型来更新统计模型的一个或更多个参数。在其他实施例中，可以更新统计模型的一个或更多个参数，而无需训练或重新训练模型。例如，统计模型可以接收一个或更多个参数作为输入，并且更新该一个或更多个参数可以包括提供该一个或更多个参数的不同值作为模型的输入。在又一些实施例中，统计模型可以由一个或更多个参数来表征，这些参数不是作为模型的输入提供的，但是仍然是可配置的，使得参数可以基于在手势执行期间记录的神经肌肉信号来被更新。例如，可配置参数可以包括缩放因子，通过该缩放因子，所记录的神经肌肉信号在被提供作为模型的输入之前被缩放。
图3示出了根据一些实施例的用于更新统计模型的一个或更多个参数的过程300。在动作304中，在手势的执行期间记录多个神经肌肉信号。如上面结合过程200所述，可以响应于提示用户执行一个或更多个手势来记录神经肌肉信号，作为训练或再训练方案的一部分来对模型进行训练。例如，可以指示用户伸出他们的手指，将他们的手腕定向成平行于他们的手臂(例如，不弯曲或伸展)，并且以尺骨偏离的方式移动他们的手腕(例如，朝向他们的小指)。替代地，多个神经肌肉信号可以在模型已经被训练之后在系统的运行时间使用期间被记录，并且模型准确预测估计的性能可以被跟踪并用于确定是否执行模型的“在线”校准(如下面更详细讨论的)。
在更新统计模型的至少一个参数涉及训练或再训练模型的实施例中，在动作306中确定基础真实数据，该基础真实数据表示响应于特定输入从模型输出的预期估计。在最简单的情况下，可以基于用户被指示执行的特定手势来预先确定并定义基础真实数据。例如，当从模型输出的估计是手部状态估计(其包括与手相关联的肌肉骨骼表示的关节角度和力的集合)时，手势可以由特定的关节角度和力的集合来定义。在这种情况下，基础真实数据可以被确定为定义手势的关节角度和力的特定集合。附加地或替代地，可以基于手势的神经肌肉信息来确定基础真实数据。例如，手势可以由通用神经肌肉信号形状(其可以至少部分地用于确定基础真实数据)来表征。
在其他实施例中，基础真实数据可以由通过一个或更多个外部设备捕获的一个或更多个测量结果来确定，外部设备的示例包括成像设备(例如，照相机)和惯性测量单元(IMU)。例如，当外部设备是被配置成捕获图像的成像设备时，可以控制成像设备在用户在记录神经肌肉信号时执行手势的时候捕获至少一个图像，并且可以基于捕获的图像来确定一个或更多个测量结果。
在从外部设备确定基础真实数据的一些实施例中，使用多个外部设备来确定基础真实数据。例如，可以使用IMU来确定一些位置/定向(例如手臂和手腕中的大关节角度)，并且可以使用成像设备来捕获其他位置信息/定向信息(例如手指中的较小关节角度)。外部设备的其他组合可替代地用于将位置信息和/或力信息确定为基础真实数据，并且实施例在这方面不受限制。当来自多个外部设备的测量结果被用于确定基础真实数据时，来自多个设备的测量结果可以以任何合适的方式组合，并且可以基于组合的测量结果来更新统计模型。
过程300然后进行到动作308，在动作308中，基于在动作304中记录的多个神经肌肉信号和在动作306中确定的基础真实数据来更新统计模型的至少一个参数。上文结合过程200的动作206描述了更新统计模型的参数的非限制性示例。
过程300然后进行到动作310，在动作310中，反馈被可选地呈现给用户，以向用户提供关于用户对手势的执行是否按照指示(在提供指令时)被正确执行的信息。可以听觉地、视觉地、使用触觉反馈或者使用前述的任意组合来提供反馈。当被视觉地呈现时，反馈可以作为用户执行的手势的静态或动态视觉表示来被提供，以使用户能够比较模型如何解析用户对手势的执行。在一些实施例中，反馈可以示出模型如何估计用户对手势的执行与基于所提供的指令意图如何执行手势之间的比较。然后，用户可以解析该反馈，以确定手势是否被正确执行和/或模型是否基于所执行的手势正确预测了手部状态估计。当确定模型估计对于所执行的手势不准确时，可以重复动作304-310，直到系统和/或用户满意模型输出可用于准确地表示所执行的手势。
过程300然后进行到动作312，在动作312中，确定是否应当用新的手势重复该过程。当确定用新手势重复该过程时，过程300进行到动作314，在动作314中选择新手势。否则，过程结束。
确定是否应当用新手势重复过程300的动作304-310可以以任何合适的方式来被确定。在被动校准程序中，可以指示用户执行预定的手势集合，并且可以基于该集合中的全部手势是否都已经被执行来确定是否执行新手势。该校准程序在本文被称为“被动的”，因为所执行的手势不是(例如，基于模型的性能)主动确定的，而是基于集合中的手势预先确定的。例如，当用户首次使用系统来提供统计模型的特定于用户的初始训练时，或者当用户使用系统来控制将特定手势与应用中的控制命令相关联的新应用时，可以使用被动校准。被动校准可以用于确保统计模型是在与特定应用相关的统一手势的基础集合上训练的。当使用被动校准程序时，可以在动作314中从集合中随机选择集合中的手势，以供用户在校准期间执行，或者可以指示用户以特定顺序执行集合中的至少一些手势。例如，特定顺序可以指定在关于更复杂的手势训练模型之前，先关于简单的手势训练模型。
作为被动校准的替代，一些实施例采用主动校准程序，其中不基于预定的手势集合来确定要执行的新手势，而是基于模型的性能来通知对新手势的选择。在主动校准程序中，基于模型性能的在线(例如，贝叶斯(Bayesian))估计，主动向用户建议要执行的新手势。例如，可以确定该模型在估计某些手势特性方面表现良好，但是在估计其他手势特性方面表现不佳。如上所述，每个手势可以由多个手势特性(例如，关节角度和力)来定义，并且在主动校准程序期间选择的手势可以基于模型估计表现不佳的手势特性和包括该手势特性的手势来被选择。
在主动校准程序的一些实现中，可以从手势集合随机选择新手势，该手势集合具有模型估计表现不佳的手势特性。在主动校准程序的其他实现中，要由用户执行的新手势可以被选择为先前由用户执行的、但是模型性能在其上的校准表现不佳的手势。在主动校准程序的又一个实现中，至少部分地基于特定手势是否是由模型估计表现不佳的多个手势特性定义的来选择新手势。在一些实施例中，可以选择包括模型对其表现不佳的最大数量的手势特性的手势。
当使用被动校准程序或主动校准程序时，可以通过例如在用户界面上显示要执行的手势的静态或动态视觉表示来向用户提供明确指令以解析要执行的手势。替代地，提供给用户的指令可以包括至少一个用户可解析指令，该指令可以由用户主观地解析以执行手势。在这样的程序中，用户通过至少部分地确定如何执行手势来主动参与校准。作为示例，可以向用户提供一系列提示，这些提示指示用户以手指之间施加的力相对于最大用力的不同百分比(例如，25％、50％、75％、100％)捏合两个手指。使用这种技术，用户定义最大力的百分比如何映射到手势执行期间记录的神经肌肉信号。用户可解析指令的其他示例包括但不限于，沿着条(bar)或线移动滑块、与对象交互(例如，紧握)以及按压表面。
如上所述，关于过程300的动作310，当包括用户可解析指令时，可以在被动或主动校准程序期间向用户提供反馈。该反馈可以包括再现与手相关联的视觉表示。附加地，在一些实施例中，视觉表示可以包括力度量，以向用户提供对所施加的力的反馈。力度量可以以任何合适的方式被提供给用户，其示例包括但不限于使用不同的颜色、条形图、散点图、时间序列图等。在一些实施例中，除力度量之外的度量或作为力度量的替代的度量也可以作为反馈被提供给用户。例如，附加的度量可以包括手势完成的程度或手势完成的度(例如，完成50％)，可以提供描述完成或部分完成的手势是否准确的度量，或者在用户执行手势时向用户提供反馈的任何其他合适的度量。
如上面简要讨论的，可以在不同的时间执行本文描述的校准程序。例如，模型的训练或再训练可以在新用户和/或新应用使用系统之前进行。这种校准基于特定于用户的生理和/或解剖特性来个体化统计模型。附加地或替代地，可以在用户使用系统时执行校准程序。
图4示出了用于在系统正常使用期间执行校准的过程400。在动作402中，在运行时间期间跟踪模型的性能以预测模型准确预测手势和/或手势特性的性能。当基于一个或更多个手势或手势特性的降低的模型性能确定应当校准模型时，过程400进行到动作404，在动作404中，启动校准例程。可以以任何合适的方式确定要启动校准例程。例如，可以为对应于手势或手势特性的模型估计确定一个或更多个质量度量，并且可以在质量度量低于手势/手势特性的阈值时确定要启动校准例程。在一个非限制性示例中，如果几个可能手势之间的概率表现出相对高的熵(entropy)，则可以启动校准例程。相反，校准良好的统计模型可以计算出一种手势的可能性为高(例如，大于0.8、大于0.9、接近1)并且其他手势的后验概率(posterior probability)为小。在另一个示例中，如果模型频繁地识别低可能性的手势(通常指示许多“长尾(long tail)”手势的存在或估计)，则可以启动校准例程，或者可以向用户呈现用户通知，以确定用户实际上是否启动了不常见的手势。
在某些情况下，校准例程可以用于考虑用户的解剖结构。例如，检测器电路可以被配置成检测用户手臂中是否有掌长肌(palmaris longus muscle)。确定用户是否有掌长肌的一种方法是指示用户在弯曲其手腕的同时捏合他们的小指和拇指的指尖。响应于确定用户的手臂中确实具有掌长肌，可以启动适当的校准例程，该例程被专门配置为针对具有掌长肌的个体进行校准。在另一个示例中，可以启动校准例程来考虑用户的解剖结构对用户身体(例如，他们的手臂)的导电分布(conductive profile)的影响。影响体内电流传导的一个因素是手臂中脂肪组织的定位和数量。脂肪组织影响由皮肤表面的肌电图记录的神经肌肉活动的过滤，因此可以启动校准例程，该校准例程被优化用于基于脂肪组织的定位和数量来改进统计模型。本领域技术人员将认识到，可以通过各种方式(包括经由超声检查)测量或估计用户体内脂肪组织的定位和数量。在另一个示例中，特定肌肉激活对身体部位(例如，手)的移动的影响取决于个体解剖结构，包括手臂或手的大小和用户关节的性质(例如，关节刚度、关节节段力矩和惯性，以及运动单元活动和关节扭矩之间的关系)，并且基于给定肌肉激活影响关节如何移动的个体解剖结构的变化可能导致模型性能下降并导致校准例程被启动。
校准例程的启动可以通过例如系统进入“校准模式”而对用户变得明显，在“校准模式”中，用指令提示用户执行一个或更多个手势以校准模型的性能(如上所述)。停止使用系统并进入校准模式可以通过让用户专注于执行具有模型估计不佳的特性的手势来使模型性能快速提高。
替代地，校准例程的启动可以在系统的常规使用期间发生，而用户不会意识到正在执行校准。例如，系统可以识别需要模型校准的手势和/或手势特性，并且当用户在系统的正常使用期间执行手势/手势特性时，可以使用在执行这种手势期间记录的神经肌肉信号来执行校准。通过不使校准程序对用户变得明显，用户对系统的使用不会被中断，并且模型在系统的正常使用中自适应。
在启动校准例程之后，过程400进行到动作406，在动作406中，在包括所识别的手势特性(模型对其表现不佳)的手势的执行期间记录多个神经肌肉信号。过程400然后进行到动作408，在动作408中基于所记录的多个神经肌肉信号来更新模型的至少一个参数。如上所述，可以通过训练/再训练模型、修改模型的输入或改变模型的其他可配置参数来实现更新统计模型的参数。在一些实施例中，模型参数的一些简单更新可以在模型的运行时间使用期间发生，而更复杂的更新(例如，模型的再训练)可以在用户不使用系统时离线发生。模型更新发生的时间不是本文所述技术的限制。
一些模型参数(其示例包括但不限于用户的肌肉解剖特征、单块肌肉的定位、肌肉增长(muscle gain)和关节刚度)预计不会在不同会话之间发生显著改变。这种模型参数可以存储在用户的用户简档中，并且用户简档可以在每次用户在新会话中使用系统时被访问。在一些实施例中，用户的用户简档随着每个新的校准会话而被更新，例如，以跟踪用户在生理学和/或解剖学方面的长期变化。其他模型参数可能同时依赖于用户和会话。例如，神经肌肉传感器在用户身体上的放置可以在会话之间改变，或者甚至可以在会话期间改变，导致不同的模型估计。例如，臂带中神经肌肉传感器的放置可以围绕手臂周向旋转；臂带可以放置在手臂上，被定向为面向近端或远端；相对于较早的校准会话，臂带可以被放置在不同的手臂上；或者臂带可以沿着手臂的近端-远端轴线移动(例如，更靠近手或更靠近肩膀)。在另一个示例中，用户可能在一个会话期间经历肌肉疲劳，导致运动单元激活的模式发生改变，并且校准会话对于考虑改变运动单元激活的模式可以是有用的。与会话相关事件相关的模型参数可能需要在每个会话中更新，因此可能不会存储在用户简档中。然而，一些会话相关事件可以是用户的特性(例如，肌肉经历疲劳的倾向)，因此，可以存储在用户的简档中。在一些实施例中，在会话期间或会话结束时做出关于如下内容的决定：在会话期间做出的哪些模型参数更新应该持续并存储在用户简档中以及在会话期间做出的哪些模型参数更新是会话相关的并且应当在会话之后被丢弃。可以基于更新的类型做出该决定，在上文中描述了更新的类型的示例。
图5描述了使用从传感器102记录的信号生成(本文有时称为“训练”)统计模型的过程500。过程500可以由任何合适的计算设备执行，因为本文所描述技术的各方面不限于该方面。例如，过程500可以由参考图7A和图7B描述的一个或更多个计算机处理器执行。作为另一个示例，过程500的一个或更多个动作可以使用一个或更多个服务器(例如，作为云计算环境的一部分包括的服务器)来被执行。例如，与统计模型(例如，神经网络)的训练相关的动作510的至少一部分可以使用云计算环境来执行。
过程500开始于动作502，其中针对一个或更多个用户执行一个或更多个移动(例如，在键盘上打字)获得多个传感器信号。在一些实施例中，作为过程500的一部分，多个传感器信号可以被记录。在其他实施例中，多个传感器信号可能已经在执行过程500之前被记录，并且在动作502被访问(而不是记录)。
在一些实施例中，多个传感器信号可以包括针对单个用户执行单个移动或多个移动记录的传感器信号。可以指示用户执行对于特定任务(例如，打开门)的一系列移动，并且当用户执行他/她被指示执行的任务时，可以记录对应于用户移动的传感器信号。传感器信号可以由位于任何合适定位处的任何合适数量的传感器记录，以检测与所执行的任务相关的用户移动。例如，在用户被指示用他/她的右手手指执行任务之后，传感器信号可以由多个神经肌肉传感器和一个或更多个IMU传感器记录，该多个神经肌肉传感器围绕用户右下臂周向地(或以其他方式)布置，以检测引起右手移动的右下臂中的肌肉活动，该一个或更多个IMU传感器被布置成预测用户手臂相对于用户躯干的关节角度。作为另一个示例，在用户被指示用他/她的腿执行任务(例如，踢物体)之后，传感器信号可以由多个神经肌肉传感器和一个或更多个IMU传感器记录，该多个神经肌肉传感器围绕用户的腿周向地(或以其他方式)布置，以检测引起脚移动的腿中的肌肉活动，该一个或更多个IMU传感器被布置成预测用户的腿相对于用户躯干的关节角度。
在一些实施例中，在动作502中获得的传感器信号对应于来自一种类型的传感器(例如，一个或更多个IMU传感器或一个或更多个神经肌肉传感器)的信号，并且可以基于使用特定类型的传感器记录的传感器信号来训练统计模型，从而产生特定于传感器类型的经训练的统计模型。例如，所获得的传感器信号可以包括围绕用户的下臂或手腕布置的多个EMG传感器信号，并且可以训练统计模型来预测在执行诸如抓握和扭转诸如门把手之类的物体的任务期间手腕和/或手的移动的肌肉骨骼位置信息。
在基于多种类型的传感器(例如，IMU传感器、EMG传感器、MMG传感器、SMG传感器)提供预测的实施例中，可以为每种类型的传感器训练单独的统计模型，并且可以组合特定于传感器类型的模型的输出以生成用户身体的肌肉骨骼表示。在其他实施例中，在动作502中从两种或更多种不同类型的传感器获得的传感器信号可以被提供给单个统计模型，该单个统计模型基于从不同类型的传感器记录的信号而被训练。在一个说明性实现中，如下文更详细讨论的，IMU传感器和多个EMG传感器被布置在被配置成围绕用户前臂佩戴的可佩戴设备上，并且由IMU和EMG传感器记录的信号被共同提供作为统计模型的输入。
在一些实施例中，当用户执行一个或更多个移动时，在多个时间点记录在动作502中获得的传感器信号。结果，每个传感器的记录的信号可以包括在多个时间点中的每个时间点获得的数据。假设n个传感器被布置成在执行任务期间同时测量用户的移动信息，则针对用户记录的传感器信号可以包括在移动的执行期间的时间点t1、t2、…、tK处的K个n维向量{xk|1≤k≤K}的时间序列。
在一些实施例中，可以指示用户多次执行任务，并且可以针对用户的多次任务重复中的每一次记录传感器信号和位置信息。在一些实施例中，多个传感器信号可以包括针对多个用户记录的信号，该多个用户中的每一个执行同一任务一次或更多次。可以指示多个用户中的每一个执行任务，并且当用户执行(一次或重复)他/她被指示执行的任务时，可以记录对应于该用户的移动的传感器信号和位置信息。当传感器信号被多个用户收集时(这些信号被组合在一起以生成统计模型)，假设不同的用户使用相似的肌肉骨骼位置来执行相同的移动。从重复执行同一任务的单个用户和/或从执行同一任务一次或多次的多个用户收集传感器信号和位置信息有助于收集足够的训练数据以生成能够准确预测与任务执行相关联的肌肉骨骼位置信息的统计模型。
在一些实施例中，可以基于与来自多个用户的记录的信号相对应的训练数据来生成与用户无关的统计模型，并且当用户使用系统时，基于记录的传感器数据来训练该统计模型，使得该统计模型学习与用户相关的特性，以改进系统对于特定用户的预测能力。
在一些实施例中，多个传感器信号可以包括针对用户(或多个用户中的每一个用户)一次或多次执行多个任务中每个任务而记录的信号。例如，可以指示用户执行多个任务中的每一个(例如抓握物体、推动物体和拉开门)，并且当用户执行他/她被指示执行的多个任务中的每一个时，可以记录对应于用户移动的信号。收集这样的数据可以有助于开发用于预测与用户可以采取的多个不同动作相关联的肌肉骨骼位置信息的统计模型。例如，包含多个动作的肌肉骨骼位置信息的训练数据可以有助于生成用于预测用户可能正在执行多个可能的移动中的哪一个的统计模型。
如以上所讨论的，可以通过在一个或多个用户中的每一个用户一次或多次执行一个或更多个任务中的每一个任务时记录传感器信号来获得在动作502获得的传感器数据。当用户执行任务时，在动作504中可以获得描述不同体段在任务执行期间的空间位置的位置信息。在一些实施例中，使用一个或更多个外部设备或系统来获得位置信息，该外部设备或系统在任务执行期间跟踪身体上不同点的位置。例如，可以使用运动捕获系统、激光扫描仪、测量相互磁感应的设备、或者被配置成捕获位置信息的某个其他系统。作为一个非限制性示例，多个位置传感器可以放置在右手手指的节段上，并且当用户执行诸如抓握物体的任务时，运动捕获系统可以用来确定每个位置传感器的空间定位。在动作502获得的传感器数据可以与在动作504中获得的位置信息的记录同时被记录。在该示例中，获得了指示当执行抓握运动时每个手指节段随时间的位置的位置信息。
接下来，过程500进行到动作506，在动作506中可选地处理在动作502中获得的传感器信号和/或在动作504中获得的位置信息。例如，可以使用放大、滤波、整流或其他类型的信号处理来处理传感器信号或位置信息信号。
接下来，过程500进行到动作508，在动作508中基于(如在动作504中收集的或者如在动作506中处理的)位置信息来确定肌肉骨骼位置特性。在一些实施例中，不是使用对应于位置传感器的记录的空间(例如，x，y，z)坐标作为训练数据来训练统计模型，而是基于记录的位置信息来确定导出的肌肉骨骼位置特性值的集合，并且将导出的值用作训练统计模型的训练数据。例如，使用关于铰接刚体模型中连接的刚性节段对之间的约束的信息，位置信息可以用于确定关节角度，该关节角度定义了在任务执行期间的多个时间点中的每一个时间点处每个连接的刚性节段对之间的角度。相应地，在动作504中获得的位置信息可以由多个时间点中的每一个时间点处的n个关节角度的向量来表示，其中n是铰接刚体模型中的节段之间的关节或连接的数量。
接下来，过程500前进到动作510，其中在动作502和508获得的时间序列信息被组合以在动作510创建用于训练统计模型的训练数据。可以以任何合适的方式组合获得的数据。在一些实施例中，在动作502获得的每个传感器信号可以与任务或任务内的移动相关联，该任务或任务内的移动对应于当用户执行任务或移动时基于动作504中记录的位置信息确定的肌肉骨骼位置特性(例如，关节角度)。以这种方式，传感器信号可以与肌肉骨骼位置特性(例如，关节角度)相关联，并且统计模型可以被训练来预测当在特定任务的执行期间记录特定传感器信号时，肌肉骨骼表示将由不同体段之间的特定肌肉骨骼位置特性来表征。
在包括被配置成在任务执行期间同时记录不同类型移动信息的不同类型传感器(例如，IMU传感器和神经肌肉传感器)的实施例中，可以使用相同或不同的采样速率来记录不同类型传感器的传感器数据。当传感器数据以不同的采样速率被记录时，至少一些传感器数据可以被重新采样(例如，上采样或下采样)，使得作为输入被提供给统计模型的所有传感器数据对应于相同时间分辨率的时间序列数据。可以以任何合适的方式对至少一些传感器数据重新采样，包括但不限于使用插值进行上采样和使用抽取进行下采样。
除了在以不同采样速率记录时对至少一些传感器数据进行重新采样，或者作为对重新采样的替代，一些实施例采用被配置成异步接受多个输入的统计模型。例如，统计模型可以被配置成对具有较低采样速率的输入数据中的“缺失”值的分布进行建模。替代地，随着来自多个传感器数据测量结果的输入作为训练数据变得可用，统计模型的训练定时异步发生。
接下来，过程500前进到动作512，在动作512中使用在动作510生成的训练数据来训练用于预测肌肉骨骼位置信息的统计模型。被训练的统计模型可以将数据集的序列作为输入，该序列中的每个数据集包括传感器数据的n维向量。统计模型可以提供输出，该输出指示对于可由用户执行的一个或更多个任务或移动中的每一个，用户身体的肌肉骨骼表示将由肌肉骨骼位置特性的集合(例如，铰接的多节段身体模型中节段之间的关节角度集合)表征的可能性。例如，统计模型可以将使用在时间点t1、t2、…、tK处获得的测量结果生成的向量序列{xk|1≤k≤K}作为输入，其中向量xj的第i个分量是由第i个传感器在时间tj测量的值和/或是从由第i个传感器在时间tj测量的值导出的值。在另一个非限制性示例中，作为统计模型的输入而被提供的导出值可以包括在时间tj和/或在时间tj之前从来自全部传感器或传感器子集的数据提取的特征(例如，协方差矩阵、功率谱、其组合或任何其他合适的导出表示)。基于这样的输入，统计模型可以提供指示用户身体的肌肉骨骼表示将由肌肉骨骼位置特性集合表征的概率的输出。作为一个非限制性示例，统计模型可以被训练成在用户抓握物体时，随时间预测手的手指中的节段的关节角度集合。在该示例中，经训练的统计模型可以输出对应于传感器输入的、手中关节的预测的关节角度集合。
在一些实施例中，统计模型可以是神经网络，并且例如可以是循环神经网络。在一些实施例中，循环神经网络可以是长短期记忆(LSTM)神经网络。然而，应当理解，循环神经网络不限于LSTM神经网络，并且可以具有任何其他合适的架构。例如，在一些实施例中，循环神经网络可以是完全循环神经网络、递归神经网络、变分自编码器、Hopfield神经网络、联想记忆神经网络、Elman神经网络、Jordan神经网络、回声状态神经网络、二阶循环神经网络和/或任何其他合适类型的循环神经网络。在其他实施例中，可以使用不是循环神经网络的神经网络。例如，可以使用深度神经网络、卷积神经网络和/或前馈神经网络。
在统计模型是神经网络的一些实施例中，神经网络的输出层可以提供对应于可能的肌肉骨骼位置特性(例如，关节角度)的相应集合的输出值集合。以这种方式，神经网络可以作为非线性回归模型来操作，该模型被配置成从原始或预处理的传感器测量结果来预测肌肉骨骼位置特性。应当理解，在一些实施例中，可以使用任何其他合适的非线性回归模型来代替神经网络，因为本文所描述技术的各方面不限于该方面。
在一些实施例中，可以基于各种拓扑和/或架构来实现神经网络，这些拓扑和/或架构包括具有完全连接(密集)层、长短期记忆(LSTM)层、卷积层、时间卷积层(TCL)的深度神经网络，或者其他合适类型的深度神经网络拓扑和/或架构。神经网络可以具有不同类型的输出层，包括具有逻辑sigmoid激活函数、双曲正切激活函数、线性单元、整流线性单元或其他合适类型的非线性单元的输出层。类似地，神经网络可以被配置成经由例如softmax函数来表示n个不同类别上的概率分布，或者包括提供参数化分布(例如，高斯分布的均值和方差)的输出层。
应当理解，本文所描述技术的各方面不限于使用神经网络，因为在一些实施例中可以采用其他类型的统计模型。例如，在一些实施例中，统计模型可以包括隐马尔可夫模型、马尔可夫切换模型(其中切换允许在不同动态系统之间跳变)、动态贝叶斯网络(dynamic Bayesian network)和/或具有时间分量的任何其他合适的图形模型。在动作512中，可以使用在动作502中获得的传感器数据来训练任何这样的统计模型。
作为另一个示例，在一些实施例中，统计模型可以将从在动作502中获得的传感器数据导出的特征作为输入。在这样的实施例中，在动作512中，可以使用从在动作502中获得的传感器数据提取的特征来训练统计模型。统计模型可以是支持向量机(support vectormachine)、高斯混合模型、基于回归的分类器、决策树分类器、贝叶斯分类器和/或任何其他合适的分类器，因为本文所描述技术的各方面不限于该方面。要作为训练数据提供给统计模型的输入特征可以以任何合适的方式从在动作502中获得的传感器数据导出。例如，可以使用小波(wavelet)分析技术(例如，连续小波变换、离散时间小波变换等)、傅立叶分析技术(例如，短时傅立叶变换、傅立叶变换等)和/或任何其他合适类型的时间频率分析技术将传感器数据分析为时间序列数据。作为一个非限制性示例，可以使用小波变换来对传感器数据进行变换，并且可以将得到的小波系数作为输入提供给统计模型。
在一些实施例中，在动作512中，可以从在动作510中生成的训练数据来估计统计模型的参数值。例如，当统计模型是神经网络时，可以从训练数据估计神经网络的参数(例如，权重)。在一些实施例中，可以使用梯度下降、随机梯度下降和/或任何其他合适的迭代优化技术来估计统计模型的参数。在统计模型是循环神经网络(例如，LSTM)的实施例中，可以使用随机梯度下降和随时间反向传播(backpropagation through time)来训练统计模型。训练可以采用交叉熵损失函数(cross-entropy loss function)和/或任何其他合适的损失函数，因为本文所描述技术的各方面不限于该方面。
接下来，过程500进行到动作514，在动作514中存储经训练的统计模型(例如，存储在未示出的数据储存器中)。可以使用任何合适的格式来存储经训练的统计模型，因为本文所描述技术的各方面不限于该方面。以这种方式，如以下所描述的，在过程500的执行期间生成的统计模型可以在稍后的时间使用，例如，用于针对给定的输入传感器数据集合预测肌肉骨骼位置信息(例如，关节角度)。
在一些实施例中，从(例如，布置在用户身体表面上或附近的)多个传感器记录传感器信号，这些传感器记录在任务执行期间与身体移动相关联的活动。记录的信号可以可选地被处理，并作为输入提供给使用上面结合图5描述的一种或更多种技术训练的统计模型。在连续记录自主信号的一些实施例中，连续记录的(原始或经处理的)信号可以作为经训练的统计模型的输入被连续或周期性地提供，用于针对给定的输入传感器数据集合预测肌肉骨骼位置信息(例如，关节角度)。如以上所讨论的，在一些实施例中，经训练的统计模型是基于自主式传感器和来自多个用户的位置信息测量结果而训练的与用户无关的模型。在其他实施例中，经训练的模型是使用从个体用户记录的数据训练的与用户相关的模型，从该个体用户也获取与传感器信号相关联的数据。
在经训练的统计模型接收到传感器数据作为输入参数集合之后，从经训练的统计模型输出预测的肌肉骨骼位置信息。如以上所讨论的，在一些实施例中，预测的肌肉骨骼位置信息可以包括表示用户身体的至少一部分的多节段铰接刚体模型的肌肉骨骼位置信息值的集合(例如，关节角度集合)。在其他实施例中，肌肉骨骼位置信息可以包括用户正在执行可能的移动集合中的一个或更多个移动的概率集合。
在一些实施例中，在预测肌肉骨骼位置信息之后，至少部分地基于从训练的统计模型输出的肌肉骨骼位置信息，生成用户身体的基于计算机的肌肉骨骼表示。基于计算机的肌肉骨骼表示可以以任何合适的方式生成。例如，基于计算机的人体肌肉骨骼模型可以包括多个刚体节段，每个刚体节段对应于身体中的一个或更多个骨骼结构。例如，上臂可以由第一刚体节段表示，下臂可以由第二刚体节段表示，手掌可以由第三刚体节段表示，并且手上的每根手指可以由至少一个刚体节段表示(例如，至少第四至第八刚体节段)。肌肉骨骼模型中连接的刚体节段之间的关节角度集合可以定义每个连接的刚体节段相对于彼此和参考系(例如身体躯干)的定向。随着新的传感器数据被测量并被统计模型处理来提供肌肉骨骼位置信息的新的预测(例如，更新的关节角度集合)，用户身体的基于计算机的肌肉骨骼表示可以基于更新的关节角度集合来更新，该更新的关节角度集合基于统计模型的输出确定。以这种方式，基于计算机的肌肉骨骼表示随着传感器数据的连续记录而实时动态更新。
基于计算机的肌肉骨骼表示可以以任何合适的方式来表示和存储，因为本文所描述技术的实施例不限于关于存储表示的特定方式。附加地，尽管在本文中被称为“肌肉骨骼”表示以反映在一些实施例中肌肉活动可以与该表示相关联，但是如下文更详细讨论的，应当理解根据一些实施例所使用的一些肌肉骨骼表示可以对应于身体中的骨骼结构、肌肉结构或者骨骼结构和肌肉结构的组合。
在一些实施例中，对构成用户移动的基础的神经肌肉活动和/或肌肉活动的直接测量结果可以与生成的肌肉骨骼表示组合。来自放置在用户身体上各个定位处的多个传感器的测量结果可以用于通过将测量结果叠加到动态形成姿态的骨骼上来创建肌肉补充(muscle recruitment)的统一表示。在一些实施例中，由神经肌肉传感器感测的肌肉活动和/或从肌肉活动导出的信息(例如，力信息)可以与计算机生成的肌肉骨骼表示实时组合。
图6A示出了具有16个神经肌肉传感器610(例如，EMG传感器)的可佩戴系统，这些传感器610围绕弹性带620周向布置，弹性带620被配置成围绕用户的下臂或手腕佩戴。如图所示，EMG传感器610围绕弹性带620周向布置。应当理解，可以使用任何合适数量的神经肌肉传感器。神经肌肉传感器的数量和布置可以取决于使用可佩戴设备的特定应用。例如，可佩戴臂带或腕带可以用于生成控制信息，以控制增强现实系统、机器人、控制车辆、滚动浏览文本、控制虚拟化身或用于任何其他合适的控制任务。
在一些实施例中，传感器610包括神经肌肉传感器(例如，EMG传感器)的集合。在其他实施例中，传感器610可以包括神经肌肉传感器的集合和被配置成连续记录辅助信号的至少一个“辅助”传感器。辅助传感器的示例包括但不限于其他传感器，例如IMU传感器、麦克风、成像传感器(例如，照相机)、与辐射生成设备(例如，激光扫描设备)一起使用的基于辐射的传感器、或者其他类型的传感器(例如心率监视器)。如图所示，传感器610可以使用结合到可佩戴设备中的柔性电子器件630耦合在一起。图6B示出了图6A所示的可佩戴设备的传感器610之一的截面图。
在一些实施例中，可以使用硬件信号处理电路来可选地处理一个或更多个感测部件的输出(例如，从而执行放大、滤波和/或整流)。在其他实施例中，感测部件的输出的至少一些信号处理可以在软件中执行。因此，可以在硬件、软件或硬件和软件的任何适当组合中执行由传感器采样的信号的信号处理，因为本文所描述的技术的各方面不限于该方面。用于处理来自传感器610的所记录的数据的信号处理链的非限制性示例将在下面结合图7A和图7B更详细地讨论。
图7A和图7B示出了根据本文所描述技术的一些实施例的具有16个EMG传感器的可佩戴系统的内部部件的示意图。如图所示，可佩戴系统包括可佩戴部分710(图7A)和(例如，经由蓝牙或另一种合适的短程无线通信技术)与可佩戴部分710通信的加密狗部分720(图7B)。如图7A所示，可佩戴部分710包括传感器610，结合图6A和图6B对传感器610的示例进行了描述。传感器610的输出被提供给模拟前端730，模拟前端730被配置成对所记录的信号执行模拟处理(例如，降噪、滤波等)。经处理的模拟信号然后被提供给模数转换器732，模数转换器732将模拟信号转换成可由一个或更多个计算机处理器处理的数字信号。可以根据一些实施例使用的计算机处理器的一个示例是图7A所示的微控制器(MCU)734。如图所示，MCU734也可以包括来自其他传感器(例如，IMU传感器740)以及电源和电池模块742的输入。由MCU执行的处理的输出可以被提供给天线750，用于传输到图7B所示的加密狗部分720。
加密狗部分720包括天线752，天线752被配置成与作为可佩戴部分710的一部分被包括的天线750通信。可以使用任何合适的无线技术和协议进行天线750和752之间的通信，无线技术和协议的非限制性示例包括射频信令和蓝牙。如图所示，由加密狗部分720的天线752接收的信号可以被提供给主计算机，用于进一步处理、显示和/或实现对特定物理或虚拟对象或对象的控制。
可以多种方式中的任何一种来实现上述实施例。例如，可以使用硬件、软件或其组合来实现实施例。当在软件中实现时，软件代码可以在任何合适的处理器或处理器合集(不管是在单个计算机中提供还是分布在多个计算机中的处理器或处理器合集)上执行。应当理解，执行上述功能的任何部件或部件的合集通常被认为是控制以上所讨论的功能的一个或更多个控制器。可以以多种方式实现一个或更多个控制器，例如利用专用硬件或者利用使用微代码或软件编程来执行上述功能的一个或更多个处理器。
在这方面，应当理解，本发明实施例的一个实现包括编码有计算机程序(即，多个指令)的至少一个非暂时性计算机可读存储介质(例如，计算机存储器、便携式存储器、光盘等)，该计算机程序当在处理器上执行时，执行本发明实施例的以上所讨论的功能。计算机可读存储介质可以是可传输的，使得存储在其上的程序可以被加载到任何计算机资源上，以实现本文所讨论的本发明的各方面。此外，应当理解，对当被执行时执行上述功能的计算机程序的引用不限于在主计算机上运行的应用程序。相反，术语“计算机程序”在本文中以一般意义使用，以指代任何类型的计算机代码(例如，软件或微代码)，其可以用于对处理器进行编程以实现本发明的以上所讨论的各方面。
本发明的各个方面可以单独使用、组合使用或者以在前面描述的实施例中没有具体讨论的各种布置使用，因此它们的应用不限于在前面描述中阐述的或者在附图中示出的部件的细节和布置。例如，一个实施例中描述的各方面可以以任何方式与其他实施例中描述的各方面组合。
此外，本发明的实施例可以被实现为一种或更多种方法，已经提供了其示例。作为方法的一部分被执行的动作可以以任何合适的方式被排序。相应地，可以构建实施例，其中以不同于所示的顺序执行动作，这可以包括同时执行即使在说明性实施例中被示为顺序动作的一些动作。
在权利要求中使用序数术语，例如“第一”、“第二”、“第三”等来修改权利要求元素本身并不意味着一个权利要求元素相对于另一个权利要求元素的任何优先、在先或顺序，或者方法的动作被执行的时间顺序。这些术语仅用作标签，以将具有某种名称的一个权利要求元素与具有相同名称(但是使用序数术语)的另一个元素区分开来。
本文使用的措辞和术语是为了描述的目的，不应该被认为是限制性的。“包括(including)”、“包括(comprising)”、“具有(having)”、“包含(containing)”、“涉及(involving)”及其变体的使用意味着涵盖其后列出的项目和附加项目。
已经详细描述了本发明的几个实施例，本领域技术人员将容易想到各种修改和改进。这种修改和改进旨在落入本发明的精神和范围内。相应地，前面的描述仅仅是示例性的，而不意欲作为限制。本发明仅由所附权利要求及其等同物限定。

Claims (28)

1.一种被配置成校准一个或更多个统计模型的性能的计算机化系统，所述统计模型用于生成肌肉骨骼表示，所述系统包括：
多个神经肌肉传感器，其被配置成连续记录多个神经肌肉信号，其中，所述多个神经肌肉传感器被布置在至少一个可佩戴设备上；以及
至少一个计算机处理器，其被编程为：
使用统计模型处理所述多个神经肌肉信号中的至少一些，以生成所述肌肉骨骼表示；
至少部分地基于所述肌肉骨骼表示的至少一个方面，来确定需要校准用于生成所述肌肉骨骼模型的统计模型；
响应于确定需要校准，启动校准会话；
至少部分地基于由所述多个神经肌肉传感器记录的多个神经肌肉信号和表示在所述校准会话期间记录的位置信息和/或力信息的基础真实数据来更新统计模型配置，以产生更新的统计模型；
使用所述更新的统计模型处理所述多个神经肌肉信号中的至少一些，以生成更新的肌肉骨骼表示；
至少部分地基于所述更新的肌肉骨骼表示的至少一个方面，来确定是否需要进一步校准所述统计模型；以及
响应于确定不需要进一步校准，结束所述校准会话。
2.根据权利要求1所述的计算机化系统，其中，更新所述统计模型配置包括选择与用于生成所述肌肉骨骼表示的统计模型不同的统计模型来生成所述更新的肌肉骨骼表示。
3.根据权利要求1所述的计算机化系统，还包括：
用户界面，其被配置成指示用户在所述配置会话期间执行至少一个手势，
其中，所述至少一个计算机处理器还被编程为控制经由所述用户界面的指令呈现，以指示用户执行所述至少一个手势，并且
其中，更新所述统计模型配置至少部分地基于在用户执行所述至少一个手势期间由所述多个神经肌肉传感器记录的多个神经肌肉信号。
4.根据权利要求3所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为至少部分地基于所存储的对所述至少一个手势的位置信息、力信息和神经肌肉信息中的一个或更多个的估计，来更新所述统计模型配置。
5.根据权利要求1所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为控制至少一个外部设备来捕获所述基础真实数据。
6.根据权利要求5所述的计算机化系统，其中，所述至少一个外部设备包括被配置成捕获至少一个图像的成像设备，并且其中，至少部分地基于所述至少一个图像来确定所述基础真实数据。
7.根据权利要求5所述的计算机化系统，其中，所述至少一个外部设备包括惯性测量单元。
8.根据权利要求5所述的计算机化系统，其中，所述至少一个外部设备包括多个外部设备，所述多个外部设备中的每个外部设备被配置成捕获所述基础真实数据的位置信息或力信息。
9.根据权利要求1所述的计算机化系统，其中，更新所述统计模型配置包括至少部分地基于在所述校准会话期间记录的多个神经肌肉信号来训练所述统计模型。
10.根据权利要求1所述的计算机化系统，其中，所述统计模型是经训练的统计模型，并且其中，更新所述统计模型配置包括调整作为输入被提供给所述经训练的统计模型的一个或更多个参数，而不重新训练所述经训练的统计模型。
11.根据权利要求1所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为在所述校准会话期间向用户提供反馈，其中，所述反馈涉及所述更新的肌肉骨骼表示与在所述校准会话期间记录的基础真实数据之间的匹配程度。
12.根据权利要求11所述的计算机化系统，其中，向用户提供反馈包括提供视觉反馈。
13.根据权利要求3所述的计算机化系统，其中，指示用户执行至少一个手势包括指示用户执行手势的预定集合。
14.根据权利要求13所述的计算机化系统，其中，控制经由所述用户界面的指令呈现包括指示用户连续执行所述预定集合中的手势。
15.根据权利要求1所述的计算机化系统，其中，确定需要校准包括基于所述肌肉骨骼表示的至少一个方面，识别所述统计模型不擅长估计的至少一个手势特性。
16.根据权利要求1所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为基于所述肌肉骨骼表示和/或所述更新的肌肉骨骼表示来再现与手相关联的视觉表示。
17.根据权利要求16所述的计算机化系统，其中，所述视觉表示在所述校准会话期间被再现。
18.根据权利要求1所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为：
在训练之后使用所述统计模型期间，连续跟踪所述统计模型的性能校准；以及
当所述性能校准偏离可接受校准阈值特定量时，启动校准会话。
19.根据权利要求1所述的计算机化系统，其中，更新所述统计模型配置包括更新多个模型参数，并且其中，所述至少一个计算机处理器还被编程为：
存储包括特定于用户的校准参数的用户简档，其中，所述特定于用户的校准参数包括所述多个模型参数的子集。
20.根据权利要求19所述的计算机化系统，其中，所述特定于用户的校准参数包括至少一个关节刚度参数。
21.一种校准一个或更多个统计模型的性能的方法，所述统计模型用于生成肌肉骨骼表示，所述方法包括：
使用布置在至少一个可佩戴设备上的多个神经肌肉传感器来记录多个神经肌肉信号；
使用统计模型处理所述多个神经肌肉信号中的至少一些，以生成所述肌肉骨骼表示；
至少部分地基于所述肌肉骨骼表示的至少一个方面，来确定需要校准用于生成所述肌肉骨骼模型的统计模型；
响应于确定需要校准，启动校准会话；
至少部分地基于由所述多个神经肌肉传感器记录的多个神经肌肉信号和表示在所述校准会话期间记录的位置信息和/或力信息的基础真实数据来更新统计模型配置，以产生更新的统计模型；
使用所述更新的统计模型处理所述多个神经肌肉信号中的至少一些，以生成更新的肌肉骨骼表示；
至少部分地基于所述更新的肌肉骨骼表示的至少一个方面，来确定是否需要进一步校准所述统计模型；以及
响应于确定不需要进一步校准，结束所述校准会话。
22.一种被配置成校准一个或更多个统计模型的性能的计算机化系统，所述一个或更多个统计模型用于生成肌肉骨骼表示，所述系统包括：
用户界面，其被配置成指示用户在佩戴可佩戴设备时执行至少一个手势，所述可佩戴设备上布置有多个神经肌肉传感器；以及
至少一个计算机处理器，其被编程为：
控制经由所述用户界面的指令呈现，以指示用户执行所述至少一个手势；
至少部分地基于在用户执行所述至少一个手势期间由所述多个神经肌肉传感器记录的多个神经肌肉信号，来更新所述一个或更多个统计模型的至少一个参数；
基于所述一个或更多个统计模型的输出，识别所述一个或更多个统计模型不擅长估计的多个手势特性；
为用户选择要执行的新手势，所述新手势包括所识别的多个手势特性；
控制经由所述用户界面的指令呈现，以指示用户执行所述新手势；以及
至少部分地基于在用户执行所述新手势期间由所述神经肌肉传感器记录的多个神经肌肉信号，来更新所述一个或更多个统计模型的至少一个参数。
23.根据权利要求22所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为至少部分地基于所存储的对所述至少一个手势的位置信息、力信息和神经肌肉信息中的一个或更多个的估计，来更新所述一个或更多个统计模型的至少一个参数。
24.根据权利要求22所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为：
控制至少一个外部设备，以在执行所述至少一个手势期间捕获位置信息和/或力信息的至少一个测量结果；以及
至少部分地基于位置信息和/或力信息的所述至少一个测量结果，来更新所述一个或更多个统计模型的至少一个参数。
25.根据权利要求22所述的计算机化系统，其中，更新所述一个或更多个统计模型的至少一个参数包括：至少部分地基于在用户执行所述至少一个手势期间由所述神经肌肉传感器记录的多个神经肌肉信号，来训练所述一个或更多个统计模型。
26.根据权利要求22所述的计算机化系统，其中，所述一个或更多个统计模型包括经训练的统计模型，并且其中，更新所述一个或更多个统计模型的至少一个参数包括调整作为输入被提供给所述经训练的统计模型的一个或更多个参数，而不重新训练所述经训练的统计模型。
27.根据权利要求22所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为向用户提供反馈，其中，所述反馈向用户指示所述至少一个手势的执行是否已经按照指示被执行。
28.一种校准一个或更多个统计模型的性能的方法，所述一个或更多个统计模型用于生成肌肉骨骼表示，所述方法包括：
经由用户界面指示用户在佩戴可佩戴设备时执行至少一个手势，所述可佩戴设备上布置有多个神经肌肉传感器；
控制经由所述用户界面的指令呈现，以指示用户执行所述至少一个手势，
至少部分地基于在用户执行所述至少一个手势期间由所述多个神经肌肉传感器记录的多个神经肌肉信号，来更新所述一个或更多个统计模型的至少一个参数；
基于所述一个或更多个统计模型的输出，识别所述一个或更多个统计模型不擅长估计的多个手势特性；
为用户选择要执行的新手势，所述新手势包括所识别的多个手势特性；
控制经由所述用户界面的指令呈现，以指示用户执行所述新手势；以及
至少部分地基于在用户执行所述新手势期间由所述神经肌肉传感器记录的多个神经肌肉信号，来更新所述一个或更多个统计模型的至少一个参数。
CN201980021899.6A 2018-01-25 2019-01-25 利用神经肌肉信号进行手部状态表示建模的校准技术 Active CN111902077B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862621838P 2018-01-25 2018-01-25
US62/621,838 2018-01-25
PCT/US2019/015238 WO2019147996A1 (en) 2018-01-25 2019-01-25 Calibration techniques for handstate representation modeling using neuromuscular signals

Publications (2)

Publication Number Publication Date
CN111902077A true CN111902077A (zh) 2020-11-06
CN111902077B CN111902077B (zh) 2023-08-04

Family

ID=67298623

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980021899.6A Active CN111902077B (zh) 2018-01-25 2019-01-25 利用神经肌肉信号进行手部状态表示建模的校准技术

Country Status (4)

Country Link
US (2) US10496168B2 (zh)
EP (1) EP3742961A4 (zh)
CN (1) CN111902077B (zh)
WO (1) WO2019147996A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11163361B2 (en) 2018-01-25 2021-11-02 Facebook Technologies, Llc Calibration techniques for handstate representation modeling using neuromuscular signals
CN114093488A (zh) * 2022-01-20 2022-02-25 武汉泰乐奇信息科技有限公司 一种基于骨骼识别的医生技能水平评判方法和装置
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US11481031B1 (en) 2019-04-30 2022-10-25 Meta Platforms Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US11567573B2 (en) 2018-09-20 2023-01-31 Meta Platforms Technologies, Llc Neuromuscular text entry, writing and drawing in augmented reality systems
US11635736B2 (en) 2017-10-19 2023-04-25 Meta Platforms Technologies, Llc Systems and methods for identifying biological structures associated with neuromuscular source signals
US11644799B2 (en) 2013-10-04 2023-05-09 Meta Platforms Technologies, Llc Systems, articles and methods for wearable electronic devices employing contact sensors
US11666264B1 (en) 2013-11-27 2023-06-06 Meta Platforms Technologies, Llc Systems, articles, and methods for electromyography sensors
US11797087B2 (en) 2018-11-27 2023-10-24 Meta Platforms Technologies, Llc Methods and apparatus for autocalibration of a wearable electrode sensor system
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10042422B2 (en) 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
US9880632B2 (en) 2014-06-19 2018-01-30 Thalmic Labs Inc. Systems, devices, and methods for gesture identification
EP3487402B1 (en) 2016-07-25 2021-05-05 Facebook Technologies, LLC Methods and apparatus for inferring user intent based on neuromuscular signals
US11216069B2 (en) 2018-05-08 2022-01-04 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
EP3487595A4 (en) 2016-07-25 2019-12-25 CTRL-Labs Corporation SYSTEM AND METHOD FOR MEASURING MOVEMENTS OF ARTICULATED RIGID BODIES
CN110312471B (zh) 2016-07-25 2022-04-29 脸谱科技有限责任公司 从神经肌肉活动测量中导出控制信号的自适应系统
US10687759B2 (en) 2018-05-29 2020-06-23 Facebook Technologies, Llc Shielding techniques for noise reduction in surface electromyography signal measurement and related systems and methods
CN110300542A (zh) 2016-07-25 2019-10-01 开创拉布斯公司 使用可穿戴的自动传感器预测肌肉骨骼位置信息的方法和装置
US11331045B1 (en) 2018-01-25 2022-05-17 Facebook Technologies, Llc Systems and methods for mitigating neuromuscular signal artifacts
EP3743892A4 (en) 2018-01-25 2021-03-24 Facebook Technologies, Inc. VISUALIZATION OF INFORMATION ON THE STATE OF A RECONSTRUCTED HAND
US10937414B2 (en) 2018-05-08 2021-03-02 Facebook Technologies, Llc Systems and methods for text input using neuromuscular information
US10970936B2 (en) 2018-10-05 2021-04-06 Facebook Technologies, Llc Use of neuromuscular signals to provide enhanced interactions with physical objects in an augmented reality environment
US10817795B2 (en) 2018-01-25 2020-10-27 Facebook Technologies, Llc Handstate reconstruction based on multiple inputs
US10592001B2 (en) 2018-05-08 2020-03-17 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
EP3801743A4 (en) 2018-05-25 2021-08-04 Facebook Technologies, LLC PROCESSES AND APPARATUS FOR OBTAINING A SUB-MUSCULAR COMMAND
EP3807795A4 (en) 2018-06-14 2021-08-11 Facebook Technologies, LLC. USER IDENTIFICATION AND AUTHENTICATION BY MEANS OF NEUROMUSCULAR SIGNATURES
WO2020018892A1 (en) 2018-07-19 2020-01-23 Ctrl-Labs Corporation Methods and apparatus for improved signal robustness for a wearable neuromuscular recording device
WO2020036958A1 (en) 2018-08-13 2020-02-20 Ctrl-Labs Corporation Real-time spike detection and identification
WO2020047429A1 (en) 2018-08-31 2020-03-05 Ctrl-Labs Corporation Camera-guided interpretation of neuromuscular signals
WO2020069181A1 (en) 2018-09-26 2020-04-02 Ctrl-Labs Corporation Neuromuscular control of physical objects in an environment
WO2020172261A1 (en) * 2019-02-19 2020-08-27 Coapt Llc Electromyographic control systems and methods for the coaching of exoprosthetic users
US10905383B2 (en) 2019-02-28 2021-02-02 Facebook Technologies, Llc Methods and apparatus for unsupervised one-shot machine learning for classification of human gestures and estimation of applied forces
US20210100482A1 (en) * 2019-10-04 2021-04-08 Tactual Labs Co. Capactive based mechanomyography
CN112132192A (zh) * 2020-09-07 2020-12-25 北京海益同展信息科技有限公司 一种模型训练方法、装置、电子设备及存储介质
CN112347951B (zh) * 2020-11-11 2023-07-11 哈尔滨工业大学（深圳） 一种手势识别方法、装置、存储介质及数据手套
CN114515146B (zh) * 2020-11-17 2024-03-22 北京机械设备研究所 基于电学测量的智能手势识别方法及系统
CN113221708B (zh) * 2021-04-30 2023-11-10 北京科技大学 面部运动单元检测模型训练方法及装置
US20220391697A1 (en) * 2021-06-04 2022-12-08 Apple Inc. Machine-learning based gesture recognition with framework for adding user-customized gestures

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090327171A1 (en) * 2008-06-26 2009-12-31 Microsoft Corporation Recognizing gestures from forearm emg signals
CN102349037A (zh) * 2009-03-13 2012-02-08 微软公司 用于人机接口的基于肌电图的可佩戴控制器
US20140365163A1 (en) * 2011-10-21 2014-12-11 Commissariat A L'energie Atomique Et Aux Ene Alt Method of detecting activity with a motion sensor, and corresponding device and computer program
WO2016155138A1 (en) * 2015-03-31 2016-10-06 Vita-Course Technologies Co.,Ltd System and method for blood pressure monitoring
US20160306943A1 (en) * 2015-04-17 2016-10-20 Heartflow, Inc. Systems and methods for cardiovascular blood flow and musculoskeletal modeling for predicting device failure or clinical events
US20170188980A1 (en) * 2016-01-06 2017-07-06 Empire Technology Development Llc Wearable sensor based body modeling
CN107397649A (zh) * 2017-08-10 2017-11-28 燕山大学 一种基于径向基神经网络的上肢外骨骼康复机器人控制方法

Family Cites Families (169)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL78244A0 (en) 1986-03-24 1986-07-31 Zvi Kamil Instrumentation amplifier arrangement
US5625577A (en) 1990-12-25 1997-04-29 Shukyohojin, Kongo Zen Sohonzan Shorinji Computer-implemented motion analysis method using dynamics
JP3103427B2 (ja) 1992-04-01 2000-10-30 ダイヤメディカルシステム株式会社 生体電気現象検出装置
EP0959444A4 (en) 1996-08-14 2005-12-07 Nurakhmed Nurislamovic Latypov METHOD FOR TRACKING AND REPRESENTING THE POSITION AND ORIENTATION OF A SUBJECT IN THE SPACE, METHOD FOR PRESENTING A VIRTUAL SPACE THEREON, AND SYSTEMS FOR CARRYING OUT SAID METHODS
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
AU5900299A (en) 1998-08-24 2000-03-14 Emory University Method and apparatus for predicting the onset of seizures based on features derived from signals indicative of brain activity
US6244873B1 (en) 1998-10-16 2001-06-12 At&T Corp. Wireless myoelectric control apparatus and methods
US6774885B1 (en) 1999-01-20 2004-08-10 Motek B.V. System for dynamic registration, evaluation, and correction of functional human behavior
US6411843B1 (en) 1999-05-28 2002-06-25 Respironics, Inc. Method and apparatus for producing a model EMG signal from a measured EMG signal
US6720984B1 (en) 2000-06-13 2004-04-13 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Characterization of bioelectric potentials
WO2002037827A2 (en) 2000-10-30 2002-05-10 Naval Postgraduate School Method and apparatus for motion tracking of an articulated rigid body
AU2003217253A1 (en) 2002-01-25 2003-09-02 Intellipatch, Inc. Evaluation of a patient and prediction of chronic symptoms
JP2003255993A (ja) 2002-03-04 2003-09-10 Ntt Docomo Inc 音声認識システム、音声認識方法、音声認識プログラム、音声合成システム、音声合成方法、音声合成プログラム
US6942621B2 (en) 2002-07-11 2005-09-13 Ge Medical Systems Information Technologies, Inc. Method and apparatus for detecting weak physiological signals
KR100506084B1 (ko) 2002-10-24 2005-08-05 삼성전자주식회사 경혈점 탐색 장치 및 방법
ATE413902T1 (de) 2003-08-18 2008-11-15 Cardiac Pacemakers Inc Patientenüberwachungssystem
CN1838933B (zh) 2003-08-21 2010-12-08 国立大学法人筑波大学 穿着式动作辅助装置、穿着式动作辅助装置的控制方法和控制用程序
JP4178186B2 (ja) 2003-08-21 2008-11-12 国立大学法人 筑波大学 装着式動作補助装置、装着式動作補助装置の制御方法および制御用プログラム
US7565295B1 (en) 2003-08-28 2009-07-21 The George Washington University Method and apparatus for translating hand gestures
US7574253B2 (en) 2003-09-26 2009-08-11 Northwestern University Signal processing using non-linear regression with a sinusoidal model
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
WO2005122900A1 (ja) 2004-06-16 2005-12-29 The University Of Tokyo 筋骨格モデルに基づく筋力取得方法及び装置
US7901368B2 (en) 2005-01-06 2011-03-08 Braingate Co., Llc Neurally controlled patient ambulation system
WO2006105094A2 (en) 2005-03-29 2006-10-05 Duke University Sensor system for identifying and tracking movements of multiple sources
US8190249B1 (en) 2005-08-01 2012-05-29 Infinite Biomedical Technologies, Llc Multi-parametric quantitative analysis of bioelectrical signals
US7725147B2 (en) 2005-09-29 2010-05-25 Nellcor Puritan Bennett Llc System and method for removing artifacts from waveforms
US8280503B2 (en) 2008-10-27 2012-10-02 Michael Linderman EMG measured during controlled hand movement for biometric analysis, medical diagnosis and related analysis
JP4826459B2 (ja) * 2006-01-12 2011-11-30 株式会社豊田中央研究所 筋骨格モデル作成方法、人体応力／ひずみ推定方法、プログラムおよび記録媒体
US7580742B2 (en) 2006-02-07 2009-08-25 Microsoft Corporation Using electroencephalograph signals for task classification and activity recognition
US7827000B2 (en) 2006-03-03 2010-11-02 Garmin Switzerland Gmbh Method and apparatus for estimating a motion parameter
US8311623B2 (en) 2006-04-15 2012-11-13 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for estimating surface electromyography
US20090112080A1 (en) 2006-04-21 2009-04-30 Quantum Applied Science & Research, Inc. System for Measuring Electric Signals
WO2007137047A2 (en) 2006-05-16 2007-11-29 Greer Douglas S Modeling the neocortex
US7661068B2 (en) 2006-06-12 2010-02-09 Microsoft Corporation Extended eraser functions
US9405372B2 (en) 2006-07-14 2016-08-02 Ailive, Inc. Self-contained inertial navigation system for interactive control using movable controllers
US8437844B2 (en) 2006-08-21 2013-05-07 Holland Bloorview Kids Rehabilitation Hospital Method, system and apparatus for real-time classification of muscle signals from self-selected intentional movements
JP4267648B2 (ja) 2006-08-25 2009-05-27 株式会社東芝 インターフェース装置及びその方法
US20080221487A1 (en) 2007-03-07 2008-09-11 Motek Bv Method for real time interactive visualization of muscle forces and joint torques in the human body
FR2916069B1 (fr) 2007-05-11 2009-07-31 Commissariat Energie Atomique Procede de traitement pour la capture de mouvement d'une structure articulee
DE102007044554B3 (de) 2007-07-18 2009-07-16 Siemens Ag Sensorband mit optischer Sensorfaser, Sensor mit diesem Sensorband und Verfahren zum Kalibrieren einer optischen Sensorfaser
US20090082692A1 (en) 2007-09-25 2009-03-26 Hale Kelly S System And Method For The Real-Time Evaluation Of Time-Locked Physiological Measures
US7714757B2 (en) 2007-09-26 2010-05-11 Medtronic, Inc. Chopper-stabilized analog-to-digital converter
US9597015B2 (en) 2008-02-12 2017-03-21 Portland State University Joint angle tracking with inertial sensors
US20100030532A1 (en) * 2008-06-12 2010-02-04 Jasbir Arora System and methods for digital human model prediction and simulation
US9037530B2 (en) 2008-06-26 2015-05-19 Microsoft Technology Licensing, Llc Wearable electromyography-based human-computer interface
US8444564B2 (en) 2009-02-02 2013-05-21 Jointvue, Llc Noninvasive diagnostic system
US8376968B2 (en) 2009-05-15 2013-02-19 The Hong Kong Polytechnic University Method and system for quantifying an intention of movement of a user
US20100315266A1 (en) 2009-06-15 2010-12-16 Microsoft Corporation Predictive interfaces with usability constraints
US9687168B2 (en) 2009-07-30 2017-06-27 University Of Cape Town Non-invasive deep muscle electromyography
US8718980B2 (en) 2009-09-11 2014-05-06 Qualcomm Incorporated Method and apparatus for artifacts mitigation with multiple wireless sensors
US20110077484A1 (en) 2009-09-30 2011-03-31 Nellcor Puritan Bennett Ireland Systems And Methods For Identifying Non-Corrupted Signal Segments For Use In Determining Physiological Parameters
TWI496558B (zh) 2009-10-20 2015-08-21 Tatung Co 使用二極電極貼片量測心電圖與呼吸訊號之系統及方法
US8421634B2 (en) 2009-12-04 2013-04-16 Microsoft Corporation Sensing mechanical energy to appropriate the body for data input
EP2512331A4 (en) 2009-12-16 2015-01-14 Ictalcare As SYSTEM FOR PREDICTING EPILEPTIC INCIDENTS
JP5471490B2 (ja) 2010-01-20 2014-04-16 オムロンヘルスケア株式会社 体動検出装置
US8351651B2 (en) 2010-04-26 2013-01-08 Microsoft Corporation Hand-location post-process refinement in a tracking system
US8754862B2 (en) 2010-07-11 2014-06-17 Lester F. Ludwig Sequential classification recognition of gesture primitives and window-based parameter smoothing for high dimensional touchpad (HDTP) user interfaces
FR2962821B1 (fr) 2010-07-13 2013-02-22 Commissariat Energie Atomique Procede et systeme de classification de signaux neuronaux, et procede de selection d'electrodes pour commande neuronale directe.
WO2012018821A2 (en) 2010-08-02 2012-02-09 The Johns Hopkins University Method for presenting force sensor information using cooperative robot control and audio feedback
US20120066163A1 (en) 2010-09-13 2012-03-15 Nottingham Trent University Time to event data analysis method and system
EP2721582A4 (en) 2011-06-20 2015-03-25 Nokia Corp METHODS, DEVICES AND COMPUTER PROGRAM PRODUCTS FOR IMPLEMENTING DETAILED POSITION PROVISIONS OF OBJECTS
US9128521B2 (en) 2011-07-13 2015-09-08 Lumo Bodytech, Inc. System and method of biomechanical posture detection and feedback including sensor normalization
US20130077820A1 (en) 2011-09-26 2013-03-28 Microsoft Corporation Machine learning gesture detection
US10430066B2 (en) 2011-12-06 2019-10-01 Nri R&D Patent Licensing, Llc Gesteme (gesture primitive) recognition for advanced touch user interfaces
JP2013206273A (ja) 2012-03-29 2013-10-07 Sony Corp 情報処理装置、情報処理方法、および情報処理システム
US10130298B2 (en) 2012-04-03 2018-11-20 Carnegie Mellon University Musculoskeletal activity recognition system and method
US9278453B2 (en) 2012-05-25 2016-03-08 California Institute Of Technology Biosleeve human-machine interface
WO2013177592A2 (en) 2012-05-25 2013-11-28 Emotiv Lifesciences, Inc. System and method for providing and aggregating biosignals and action data
US9582072B2 (en) * 2013-09-17 2017-02-28 Medibotics Llc Motion recognition clothing [TM] with flexible electromagnetic, light, or sonic energy pathways
US9891718B2 (en) 2015-04-22 2018-02-13 Medibotics Llc Devices for measuring finger motion and recognizing hand gestures
US10921886B2 (en) 2012-06-14 2021-02-16 Medibotics Llc Circumferential array of electromyographic (EMG) sensors
US9814426B2 (en) * 2012-06-14 2017-11-14 Medibotics Llc Mobile wearable electromagnetic brain activity monitor
US8484022B1 (en) 2012-07-27 2013-07-09 Google Inc. Adaptive auto-encoders
US10234941B2 (en) 2012-10-04 2019-03-19 Microsoft Technology Licensing, Llc Wearable sensor for tracking articulated body-parts
US10009644B2 (en) 2012-12-04 2018-06-26 Interaxon Inc System and method for enhancing content using brain-state data
US20140196131A1 (en) 2013-01-07 2014-07-10 Salutron, Inc. User authentication based on a wrist vein pattern
US10528135B2 (en) 2013-01-14 2020-01-07 Ctrl-Labs Corporation Wearable muscle interface systems, devices and methods that interact with content displayed on an electronic display
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9299248B2 (en) 2013-02-22 2016-03-29 Thalmic Labs Inc. Method and apparatus for analyzing capacitive EMG and IMU sensor signals for gesture control
US20140245200A1 (en) 2013-02-25 2014-08-28 Leap Motion, Inc. Display control with gesture-selectable control paradigms
US20140249397A1 (en) 2013-03-01 2014-09-04 Thalmic Labs Inc. Differential non-contact biopotential sensor
US9766709B2 (en) 2013-03-15 2017-09-19 Leap Motion, Inc. Dynamic user interactions for display control
US9436287B2 (en) 2013-03-15 2016-09-06 Qualcomm Incorporated Systems and methods for switching processing modes using gestures
US10620709B2 (en) 2013-04-05 2020-04-14 Ultrahaptics IP Two Limited Customized gesture interpretation
US10152082B2 (en) 2013-05-13 2018-12-11 North Inc. Systems, articles and methods for wearable electronic devices that accommodate different user forms
US10620775B2 (en) 2013-05-17 2020-04-14 Ultrahaptics IP Two Limited Dynamic interactive objects
US9218574B2 (en) 2013-05-29 2015-12-22 Purepredictive, Inc. User interface for machine learning
KR20160016925A (ko) 2013-05-31 2016-02-15 프레지던트 앤드 펠로우즈 오브 하바드 칼리지 인간 모션과의 보조를 위한 소프트 엑소슈트
US20150019135A1 (en) 2013-06-03 2015-01-15 Mc10, Inc. Motion sensor and analysis
KR101933921B1 (ko) 2013-06-03 2018-12-31 삼성전자주식회사 포즈 추정 방법 및 장치
WO2014204330A1 (en) 2013-06-17 2014-12-24 3Divi Company Methods and systems for determining 6dof location and orientation of head-mounted display and associated user movements
US20140376773A1 (en) 2013-06-21 2014-12-25 Leap Motion, Inc. Tunable operational parameters in motion-capture and touchless interface operation
US10402517B2 (en) 2013-06-26 2019-09-03 Dassault Systémes Simulia Corp. Musculo-skeletal modeling using finite element analysis, process integration, and design optimization
US9408316B2 (en) 2013-07-22 2016-08-02 Thalmic Labs Inc. Systems, articles and methods for strain mitigation in wearable electronic devices
US20150029092A1 (en) 2013-07-23 2015-01-29 Leap Motion, Inc. Systems and methods of interpreting complex gestures
US11426123B2 (en) 2013-08-16 2022-08-30 Meta Platforms Technologies, Llc Systems, articles and methods for signal routing in wearable electronic devices that detect muscle activity of a user using a set of discrete and separately enclosed pod structures
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US10188309B2 (en) 2013-11-27 2019-01-29 North Inc. Systems, articles, and methods for electromyography sensors
US10042422B2 (en) 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
CA2921954A1 (en) 2013-08-23 2015-02-26 Thalmic Labs Inc. Systems, articles, and methods for human-electronics interfaces
US9788789B2 (en) 2013-08-30 2017-10-17 Thalmic Labs Inc. Systems, articles, and methods for stretchable printed circuit boards
US9372535B2 (en) 2013-09-06 2016-06-21 Thalmic Labs Inc. Systems, articles, and methods for electromyography-based human-electronics interfaces
US9483123B2 (en) 2013-09-23 2016-11-01 Thalmic Labs Inc. Systems, articles, and methods for gesture identification in wearable electromyography devices
WO2015044851A2 (en) 2013-09-25 2015-04-02 Mindmaze Sa Physiological parameter measurement and feedback system
US9389694B2 (en) 2013-10-22 2016-07-12 Thalmic Labs Inc. Systems, articles, and methods for gesture identification in wearable electromyography devices
GB2519987B (en) 2013-11-04 2021-03-03 Imperial College Innovations Ltd Biomechanical activity monitoring
US9594433B2 (en) 2013-11-05 2017-03-14 At&T Intellectual Property I, L.P. Gesture-based controls via bone conduction
EP3068349A4 (en) 2013-11-13 2017-12-13 Hrl Laboratories, Llc System for controlling brain machine interfaces and neural prosthetic systems
US20150157944A1 (en) 2013-12-06 2015-06-11 Glenn I. Gottlieb Software Application for Generating a Virtual Simulation for a Sport-Related Activity
US9367139B2 (en) 2013-12-12 2016-06-14 Thalmic Labs Inc. Systems, articles, and methods for gesture identification in wearable electromyography devices
US9524580B2 (en) 2014-01-06 2016-12-20 Oculus Vr, Llc Calibration of virtual reality systems
US9659403B1 (en) 2014-01-06 2017-05-23 Leap Motion, Inc. Initializing orientation in space for predictive information for free space gesture control and communication
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
CN106102504A (zh) 2014-02-14 2016-11-09 赛尔米克实验室公司 用于弹性电力缆线的系统、制品和方法以及采用弹性电力缆线的可佩戴电子装置
US10254843B2 (en) 2014-02-28 2019-04-09 Vikas Gupta Gesture operated wrist mounted camera system
US10613642B2 (en) 2014-03-12 2020-04-07 Microsoft Technology Licensing, Llc Gesture parameter tuning
US20150261306A1 (en) 2014-03-17 2015-09-17 Thalmic Labs Inc. Systems, devices, and methods for selecting between multiple wireless connections
US10199008B2 (en) 2014-03-27 2019-02-05 North Inc. Systems, devices, and methods for wearable electronic devices as state machines
US10409382B2 (en) 2014-04-03 2019-09-10 Honda Motor Co., Ltd. Smart tutorial for gesture control system
US9858391B2 (en) * 2014-04-17 2018-01-02 The Boeing Company Method and system for tuning a musculoskeletal model
WO2015164951A1 (en) 2014-05-01 2015-11-05 Abbas Mohamad Methods and systems relating to personalized evolving avatars
US20150323998A1 (en) * 2014-05-06 2015-11-12 Qualcomm Incorporated Enhanced user interface for a wearable electronic device
US20150325202A1 (en) 2014-05-07 2015-11-12 Thalmic Labs Inc. Systems, devices, and methods for wearable computers with heads-up displays
US9785247B1 (en) 2014-05-14 2017-10-10 Leap Motion, Inc. Systems and methods of tracking moving hands and recognizing gestural interactions
US9741169B1 (en) 2014-05-20 2017-08-22 Leap Motion, Inc. Wearable augmented reality devices with object detection and tracking
US10782657B2 (en) 2014-05-27 2020-09-22 Ultrahaptics IP Two Limited Systems and methods of gestural interaction in a pervasive computing environment
US9880632B2 (en) 2014-06-19 2018-01-30 Thalmic Labs Inc. Systems, devices, and methods for gesture identification
WO2015199747A1 (en) 2014-06-23 2015-12-30 Thalmic Labs Inc. Systems, articles, and methods for wearable human-electronics interface devices
US10216274B2 (en) 2014-06-23 2019-02-26 North Inc. Systems, articles, and methods for wearable human-electronics interface devices
US9552069B2 (en) 2014-07-11 2017-01-24 Microsoft Technology Licensing, Llc 3D gesture recognition
WO2016041088A1 (en) 2014-09-19 2016-03-24 Sulon Technologies Inc. System and method for tracking wearable peripherals in augmented reality and virtual reality applications
US10274992B2 (en) 2014-11-12 2019-04-30 Kyocera Corporation Wearable device with muscle activity detector
US9720515B2 (en) 2015-01-02 2017-08-01 Wearable Devices Ltd. Method and apparatus for a gesture controlled interface for wearable devices
US9612661B2 (en) 2015-01-02 2017-04-04 Wearable Devices Ltd. Closed loop feedback interface for wearable devices
US9696795B2 (en) 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
US20160274758A1 (en) 2015-03-20 2016-09-22 Thalmic Labs Inc. Systems, devices, and methods for mitigating false positives in human-electronics interfaces
US10432842B2 (en) 2015-04-06 2019-10-01 The Texas A&M University System Fusion of inertial and depth sensors for movement measurements and recognition
US10078435B2 (en) 2015-04-24 2018-09-18 Thalmic Labs Inc. Systems, methods, and computer program products for interacting with electronically displayed presentation materials
US9898864B2 (en) 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
EP4134125A1 (en) 2015-06-02 2023-02-15 Battelle Memorial Institute Neural sleeve for neuromuscular stimulation, sensing and recording
EP3302691B1 (en) 2015-06-02 2019-07-24 Battelle Memorial Institute Non-invasive motor impairment rehabilitation system
US11589814B2 (en) 2015-06-26 2023-02-28 Carnegie Mellon University System for wearable, low-cost electrical impedance tomography for non-invasive gesture recognition
US9240069B1 (en) 2015-06-30 2016-01-19 Ariadne's Thread (Usa), Inc. Low-latency virtual reality display system
EP3329484A4 (en) 2015-07-29 2019-06-05 Sensel Inc. SYSTEMS AND METHODS FOR HANDLING A VIRTUAL ENVIRONMENT
US10854104B2 (en) 2015-08-28 2020-12-01 Icuemotion Llc System for movement skill analysis and skill augmentation and cueing
US10459537B2 (en) 2015-09-30 2019-10-29 Stmicroelectronics, Inc. Encapsulated pressure sensor
WO2017062544A1 (en) 2015-10-06 2017-04-13 University Of Pittsburgh-Of The Commonwealth System Of Higher Education Method, device and system for sensing neuromuscular, physiological, biomechanical, and musculoskeletal activity
US9881273B2 (en) 2015-10-28 2018-01-30 Disney Interprises, Inc. Automatic object detection and state estimation via electronic emissions sensing
US11106273B2 (en) 2015-10-30 2021-08-31 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays
US10595941B2 (en) 2015-10-30 2020-03-24 Orthosensor Inc. Spine measurement system and method therefor
CN105511615B (zh) 2015-12-04 2019-03-05 深圳大学 基于emg的可穿戴式文本输入系统及方法
US11402402B2 (en) 2016-01-12 2022-08-02 Bigmotion Technologies Inc. Systems and methods for human body motion capture
US20170259167A1 (en) 2016-03-14 2017-09-14 Nathan Sterling Cook Brainwave virtual reality apparatus and method
US10503253B2 (en) 2016-03-31 2019-12-10 Intel Corporation Sensor signal processing to determine finger and/or hand position
US9864431B2 (en) 2016-05-11 2018-01-09 Microsoft Technology Licensing, Llc Changing an application state using neurological data
US10203751B2 (en) 2016-05-11 2019-02-12 Microsoft Technology Licensing, Llc Continuous motion controls operable using neurological data
KR101790147B1 (ko) 2016-06-22 2017-10-25 재단법인 실감교류인체감응솔루션연구단 가상 객체 조작 시스템 및 방법
CN110300542A (zh) 2016-07-25 2019-10-01 开创拉布斯公司 使用可穿戴的自动传感器预测肌肉骨骼位置信息的方法和装置
US11635736B2 (en) 2017-10-19 2023-04-25 Meta Platforms Technologies, Llc Systems and methods for identifying biological structures associated with neuromuscular source signals
CN110312471B (zh) 2016-07-25 2022-04-29 脸谱科技有限责任公司 从神经肌肉活动测量中导出控制信号的自适应系统
EP3487402B1 (en) 2016-07-25 2021-05-05 Facebook Technologies, LLC Methods and apparatus for inferring user intent based on neuromuscular signals
EP3487595A4 (en) 2016-07-25 2019-12-25 CTRL-Labs Corporation SYSTEM AND METHOD FOR MEASURING MOVEMENTS OF ARTICULATED RIGID BODIES
US10070799B2 (en) * 2016-12-02 2018-09-11 Pison Technology, Inc. Detecting and using body tissue electrical signals
US10646139B2 (en) 2016-12-05 2020-05-12 Intel Corporation Body movement tracking
US20190025919A1 (en) 2017-01-19 2019-01-24 Mindmaze Holding Sa System, method and apparatus for detecting facial expression in an augmented reality system
US20190076716A1 (en) 2017-09-12 2019-03-14 Intel Corporation Activity training system
US20190150777A1 (en) 2017-11-17 2019-05-23 Ctrl-Labs Corporation Dual-supply analog circuitry for sensing surface emg signals
US10827942B2 (en) 2018-01-03 2020-11-10 Intel Corporation Detecting fatigue based on electroencephalogram (EEG) data
EP3742961A4 (en) 2018-01-25 2021-03-31 Facebook Technologies, Inc. CALIBRATION TECHNIQUES FOR MODELING A HAND CONDITION USING NEUROMUSCULAR SIGNALS

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090327171A1 (en) * 2008-06-26 2009-12-31 Microsoft Corporation Recognizing gestures from forearm emg signals
CN102349037A (zh) * 2009-03-13 2012-02-08 微软公司 用于人机接口的基于肌电图的可佩戴控制器
US20140365163A1 (en) * 2011-10-21 2014-12-11 Commissariat A L'energie Atomique Et Aux Ene Alt Method of detecting activity with a motion sensor, and corresponding device and computer program
WO2016155138A1 (en) * 2015-03-31 2016-10-06 Vita-Course Technologies Co.,Ltd System and method for blood pressure monitoring
US20160306943A1 (en) * 2015-04-17 2016-10-20 Heartflow, Inc. Systems and methods for cardiovascular blood flow and musculoskeletal modeling for predicting device failure or clinical events
US20170188980A1 (en) * 2016-01-06 2017-07-06 Empire Technology Development Llc Wearable sensor based body modeling
CN107397649A (zh) * 2017-08-10 2017-11-28 燕山大学 一种基于径向基神经网络的上肢外骨骼康复机器人控制方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US11644799B2 (en) 2013-10-04 2023-05-09 Meta Platforms Technologies, Llc Systems, articles and methods for wearable electronic devices employing contact sensors
US11666264B1 (en) 2013-11-27 2023-06-06 Meta Platforms Technologies, Llc Systems, articles, and methods for electromyography sensors
US11635736B2 (en) 2017-10-19 2023-04-25 Meta Platforms Technologies, Llc Systems and methods for identifying biological structures associated with neuromuscular source signals
US11163361B2 (en) 2018-01-25 2021-11-02 Facebook Technologies, Llc Calibration techniques for handstate representation modeling using neuromuscular signals
US11567573B2 (en) 2018-09-20 2023-01-31 Meta Platforms Technologies, Llc Neuromuscular text entry, writing and drawing in augmented reality systems
US11797087B2 (en) 2018-11-27 2023-10-24 Meta Platforms Technologies, Llc Methods and apparatus for autocalibration of a wearable electrode sensor system
US11941176B1 (en) 2018-11-27 2024-03-26 Meta Platforms Technologies, Llc Methods and apparatus for autocalibration of a wearable electrode sensor system
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US11481031B1 (en) 2019-04-30 2022-10-25 Meta Platforms Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
CN114093488B (zh) * 2022-01-20 2022-04-22 武汉泰乐奇信息科技有限公司 一种基于骨骼识别的医生技能水平评判方法和装置
CN114093488A (zh) * 2022-01-20 2022-02-25 武汉泰乐奇信息科技有限公司 一种基于骨骼识别的医生技能水平评判方法和装置

Also Published As

Publication number Publication date
US20200125172A1 (en) 2020-04-23
CN111902077B (zh) 2023-08-04
US11163361B2 (en) 2021-11-02
WO2019147996A1 (en) 2019-08-01
US20190227627A1 (en) 2019-07-25
US10496168B2 (en) 2019-12-03
EP3742961A1 (en) 2020-12-02
EP3742961A4 (en) 2021-03-31

Similar Documents

Publication Publication Date Title
CN111902077B (zh) 利用神经肌肉信号进行手部状态表示建模的校准技术
US10489986B2 (en) User-controlled tuning of handstate representation model parameters
US11069148B2 (en) Visualization of reconstructed handstate information
US11587242B1 (en) Real-time processing of handstate representation model estimates
US20210405750A1 (en) Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors
US10817795B2 (en) Handstate reconstruction based on multiple inputs
US10842407B2 (en) Camera-guided interpretation of neuromuscular signals
US20190223748A1 (en) Methods and apparatus for mitigating neuromuscular signal artifacts

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: California, USA

Applicant after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Applicant before: Facebook Technologies, LLC

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant