CN112469469A - 用于提供肌肉下控制的方法和装置 - Google Patents

用于提供肌肉下控制的方法和装置 Download PDF

Info

Publication number
CN112469469A
CN112469469A CN201980049646.XA CN201980049646A CN112469469A CN 112469469 A CN112469469 A CN 112469469A CN 201980049646 A CN201980049646 A CN 201980049646A CN 112469469 A CN112469469 A CN 112469469A
Authority
CN
China
Prior art keywords
sub
muscular
user
neuromuscular
feedback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980049646.XA
Other languages
English (en)
Inventor
亚历山大·巴拉尚
P·凯福什
丹尼尔·韦特莫尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Facebook Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Technologies LLC filed Critical Facebook Technologies LLC
Publication of CN112469469A publication Critical patent/CN112469469A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/30—Input circuits therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6824—Arm or wrist
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/683—Means for maintaining contact with the body
    • A61B5/6831—Straps, bands or harnesses
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Evolutionary Computation (AREA)
  • Dermatology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Fuzzy Systems (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

基于肌肉下激活而生成控制信号的方法和装置。从多个神经肌肉信号中导出多个肌肉下控制通道中的第一肌肉下控制通道的信息。多个肌肉下控制通道中的每一个肌肉下控制通道被配置成处理与一个或更多个肌肉下结构的激活相关联的信息。基于针对第一肌肉下控制通道的导出信息生成控制信号，并且该控制信号被提供给控制接口以控制设备的操作。

Description

用于提供肌肉下控制的方法和装置
相关申请
本申请根据35U.S.C.§119(e)要求于2018年5月25日提交的题为“METHODS ANDAPPARATUS FOR PROVIDING SUB-MUSCULAR CONTROL”、序列号为62/676,567的美国临时申请的优先权，其全部内容通过引用结合于此。
背景
由人类中枢神经系统产生的神经肌肉信号可以反映导致人体中的一个或更多个肌肉收缩的神经激活(neural activation)。神经肌肉传感器的一个示例包括肌电图(EMG)传感器，神经肌肉传感器放置在人体表面，记录骨骼肌细胞被激活时所产生的神经肌肉活动。神经肌肉传感器测量的神经肌肉活动可以起因于神经激活、肌肉兴奋、肌肉收缩、或神经激活和肌肉收缩的组合。由神经肌肉传感器记录的电信号可用于评估患有运动控制紊乱的患者的神经肌肉功能障碍，并在一些应用中可用作设备(诸如假肢)的控制信号。
概述
在人体中共同导致运动任务的执行的骨骼肌的协调移动由在中枢神经系统中产生的神经信号引起。神经信号通过脊髓运动神经元从中枢神经系统行进到肌肉，脊髓运动神经元中的每个具有在脊髓中的细胞主体和在一个或更多个肌肉纤维上的轴突终末。响应于接收到神经信号，肌肉纤维收缩，导致肌肉运动。脊髓运动神经元和它支配的肌肉纤维统称为“运动单元(motor unit)”。肌肉通常包括来自数百个运动单元的肌肉纤维，以及导致肌肉运动的肌肉收缩通常需要的多个运动单元中的肌肉纤维的同时收缩。
神经肌肉传感器(诸如EMG传感器)记录导致运动活动(诸如肌肉收缩)的生物信号。在EMG传感器布置在人体表面的情况下，记录的生物信号与肌肉纤维中动作电位的生成有关。一些实施例旨在分析神经肌肉信号上，以识别与肌肉下生物结构(例如，单个运动单元或运动单元组)相关联的激活的模式。基于肌肉下结构的激活而确定的控制信号可用于控制设备的操作。
一些实施例涉及一种计算机化系统。该计算机化系统包括被配置成记录来自用户的多个神经肌肉信号的多个神经肌肉传感器，以及至少一个计算机处理器，其中该多个神经肌肉传感器被布置在一个或更多个可穿戴设备上。至少一个计算机处理器被编程为，从多个神经肌肉信号中导出针对多个肌肉下控制通道中的第一肌肉下控制通道的信息，其中多个肌肉下控制通道中的每一个肌肉下控制通道被配置为处理与一个或更多个肌肉下结构的激活相关联的信息；基于针对第一肌肉下控制通道的导出信息，生成控制信号；以及向控制接口提供控制信号以控制设备的操作。
在至少一个方面，至少一个计算机处理器还被编程为提供针对第一肌肉下控制通道的导出信息作为经训练的推理模型的输入，并且其中生成控制信号包括基于经训练的推理模型的输出生成控制信号。
在至少一个方面，该至少一个计算机处理器还被编程为提供多个神经肌肉信号作为经训练的推理模型的输入，并且其中导出针对第一肌肉下控制通道的信息包括基于经训练的推理模型对多个神经肌肉信号的处理来导出信息。
在至少一个方面，导出针对第一肌肉下控制通道的信息包括将多个神经肌肉信号分解成表征多个肌肉下控制通道的信号分量。
在至少一个方面，第一肌肉下控制通道被配置为处理由单个运动单元的激活产生的信息。
在至少一个方面，多个肌肉下控制通道中的第二肌肉下控制通道被配置为处理由多个运动单元的激活产生的信息。
在至少一个方面，第一肌肉下控制通道被配置为处理由与第一肌肉相关联的至少一个第一肌肉下结构和与第二肌肉相关联的至少一个第二肌肉下结构的组合的激活产生的信息。
在至少一个方面，计算机化系统还包括至少一个辅助传感器，其被配置为在记录来自用户的所述多个神经肌肉信号的同时记录辅助信号，其中所述至少一个辅助传感器被布置在所述一个或更多个可穿戴设备上。
在至少一个方面，至少一个辅助传感器包括至少一个惯性测量单元。
在至少一个方面，至少一个计算机处理器还被编程为，存储在第一会话期间确定的针对第一肌肉下控制通道的导出信息的表示；以及在第一会话之后的第二会话期间校准从用户记录的神经肌肉信号数据，其中至少部分地基于存储的在第一会话期间确定的针对第一肌肉下控制通道的导出信息的表示来执行校准。
一些实施例针对用于训练用户激活肌肉下结构的计算机化系统。该系统包括多个神经肌肉传感器，其被配置为当用户激活一个或更多个肌肉下结构时记录来自用户的多个神经肌肉信号，其中，所述多个神经肌肉传感器被布置在一个或更多个可穿戴设备上；以及至少一个计算机处理器。该至少一个计算机处理器被编程为，基于多个神经肌肉信号向用户提供反馈，其中反馈包括关于在多个神经肌肉信号中识别的激活的模式的信息；基于所记录的多个神经肌肉信号来调整提供给用户的反馈；以及存储将在多个神经肌肉信号中识别的激活的模式映射到控制信号的信息。
在至少一个方面，肌肉下结构是单个的运动单元。
在至少一个方面，基于多个神经肌肉信号向用户提供反馈包括从多个神经肌肉信号的未处理版本中生成反馈。
在至少一个方面，至少一个计算机处理器还被编程为基于多个神经肌肉信号，从多个肌肉下结构中确定用户已经激活了多个肌肉下结构中的哪一个，并且其中基于多个神经肌肉信号向用户提供反馈包括当确定多个肌肉下结构中的第一肌肉下结构已被激活时提供第一反馈，以及当确定多个肌肉下结构中的第二肌肉下结构已被激活时提供第二反馈。
在至少一个方面，第一反馈和第二反馈具有不同的特征，以使用户能够区分第一反馈和第二反馈。
在至少一个方面，第一反馈包括具有第一音高的听觉反馈，并且其中第二反馈包括具有不同于第一音高的第二音高的听觉反馈。
在至少一个方面，反馈包括从由听觉反馈、视觉反馈、触觉反馈和通过电刺激提供的反馈组成的组中选择的反馈。
在至少一个方面，至少一个计算机处理器还被编程为基于多个神经肌肉信号导出控制信号；以及向具有用户试图进行控制的操作的设备提供控制信号，其中，基于多个神经肌肉信号向用户提供反馈包括基于控制信号改变设备的行为。
在至少一个方面，该设备包括显示器。
在至少一个方面，导出控制信号包括提供多个神经肌肉信号或从多个神经肌肉信号导出的信息作为推理模型的输入，以及基于推理模型的输出导出控制信号。
在至少一个方面，至少一个计算机处理器还被编程为，训练推理模型以将从所述多个神经肌肉信号中确定的激活的所述模式映射到一个或更多个肌肉下激活(sub-muscular activation)模式，并且其中存储将在所述多个神经肌肉信号中识别的激活的所述模式映射到控制信号的所述信息包括存储所述经训练的推理模型。
在至少一个方面，至少一个计算机处理器还被编程为通过计算将一个或更多个肌肉下激活模式映射到控制信号。
在至少一个方面，存储将在多个神经肌肉信号中识别的激活的模式映射到控制信号的信息包括存储描述从多个神经肌肉信号中确定的激活的模式的信息。
在至少一个方面，该至少一个计算机处理器还被编程为基于多个神经肌肉信号来识别由用户激活的多个肌肉下结构。
在至少一个方面，识别由用户激活的多个肌肉下结构包括将多个神经肌肉信号分解成表征特定肌肉下结构的激活的信号分量，以及将从多个神经肌肉信号中导出的信息映射到一个或更多个控制信号包括将表征特定肌肉下结构的激活的信号分量映射到一个或更多个控制信号。
在至少一个方面，至少一个计算机处理器还被编程为基于多个神经肌肉信号，识别由用户激活的多个肌肉下结构；基于与由用户激活的多个肌肉下结构中的每一个肌肉下结构相关联的激活的特征，选择用于训练的肌肉下结构的子集；并且其中反馈包括关于肌肉下结构的子集的激活的模式的信息。
在至少一个方面，与肌肉下结构相关联的激活的特征选自组，该组由以下项组成：与肌肉下结构相关联的运动单元的类型、与肌肉下结构相关联的运动单元动作电位幅度、用于肌肉下结构的激活的波形与用于其他肌肉下结构的激活的波形的相似性、以及与肌肉下结构的激活相关联的激活率和定时统计。
在至少一个方面，计算机化系统还包括至少一个存储设备，该存储设备被配置为存储关于至少一个激活的肌肉下结构的时空信息。
在至少一个方面，计算机化系统还包括用户接口，该用户接口被配置为指示用户激活特定的肌肉下结构，其中多个神经肌肉传感器被配置为响应于用户试图激活通过用户接口指示的特定肌肉下结构，记录多个神经肌肉信号。
在至少一个方面，指示用户激活特定肌肉下结构包括指示用户按顺序激活多个肌肉下结构，并且其中，至少一个计算机处理器还被编程为至少部分地基于多个神经肌肉信号来执行校准。
一些实施例针对一种计算机实现的控制设备的方法。该方法包括接收由布置在用户穿戴的一个或更多个可穿戴设备上的多个神经肌肉传感器记录的多个神经肌肉信号；从多个神经肌肉信号中导出针对多个肌肉下控制通道中的第一肌肉下控制通道的信息，其中多个肌肉下控制通道中的每一个肌肉下控制通道被配置为处理与一个或更多个肌肉下结构的激活相关联的信息；基于针对第一肌肉下控制通道的导出信息生成控制信号；以及向控制接口提供控制信号以控制设备的操作。
一些实施例针对一种计算机实现的训练用户激活肌肉下结构的方法。该方法包括：记录来自布置在用户穿戴的一个或更多个可穿戴设备上的多个神经肌肉传感器的多个神经肌肉信号；基于多个神经肌肉信号向用户提供反馈，其中反馈包括关于在多个神经肌肉信号中识别的激活的模式的信息；基于所记录的多个神经肌肉信号来调整提供给用户的反馈；以及存储将在多个神经肌肉信号中识别的激活的模式映射到控制信号的信息。
应当认识到，前面的概念和下面更详细讨论的另外的概念的所有组合(假设这样的概念不是相互不一致的)被设想为本文公开的创造性主题的一部分。特别是，出现在本公开的结尾处的所主张的主题的所有组合被设想为本文公开的创造性主题的一部分。
附图简述
将参考下面的附图来描述技术的各种非限制性实施例。应当认识到，附图不一定按比例绘制。
图1是根据本文所述的技术的一些实施例的用于执行运动任务(motor task)的生物过程的流程图；
图2是根据本文所述的技术的一些实施例的用于生成肌肉下控制信息的基于计算机的系统的示意图；
图3是根据本文所述的技术的一些实施例的用于训练用户激活肌肉下结构的过程的流程图；
图4是根据本文所述的技术的一些实施例的用于选择用于训练的肌肉下结构的集合的过程的流程图；
图5是根据本文所述的技术的一些实施例的用于校准控制系统的过程的流程图；
图6是根据本文所述的技术的一些实施例的用于基于肌肉下激活利用校准的控制系统提供控制信号的过程的流程图；
图7示出了根据本文所述的技术的一些实施例的腕带/臂带，该腕带/臂带具有周向地布置在其上的EMG传感器；
图8示出了根据本文所述的技术的一些实施例的用户在键盘上打字时戴着图7的腕带/臂带，
图9A示出了根据本文所述的技术的一些实施例的可穿戴系统，该可穿戴系统具有围绕弹性带周向布置的16个EMG传感器，该弹性带被配置为围绕用户的下臂或手腕穿戴；
图9B是图9A中所示的16个EMG传感器之一的截面图；以及
图10A和图10B示意性地示出了在其上实现一些实施例的基于计算机的系统的部件。图10A示出了基于计算机的系统的可穿戴部分，并且图10B示出了连接到计算机的加密狗(dongle)部分，其中该加密狗部分被配置成与可穿戴部分通信。
详细描述
图1示出了用于通过一个或更多个肌肉的协调移动来发起运动任务的生物过程100的流程图。在动作102中，在一个或更多个传出脊髓运动神经元中生成动作电位。运动神经元携带神经元信号离开中枢神经系统并朝向在外周中的骨骼肌。对于其中生成动作电位的每个运动神经元，动作电位沿着运动神经元的轴突，从在此生成动作电位的脊髓中的主体行进到运动神经元的轴突终末(axon terminal)，该轴突终末支配骨骼肌中所包括的肌肉纤维。运动神经元及其支配的肌肉纤维在本文中被称为运动单元。运动单元中的肌肉纤维响应于运动单元的相应运动神经元中生成的动作电位而被一起激活。各个肌肉通常包括来自数百个运动单元的肌肉纤维，并且许多运动单元中的肌肉纤维同时收缩，导致表现为可感知的肌肉移动的肌肉收缩。
在脊髓运动神经元的轴突终末和肌肉纤维之间的界面处形成的化学突触被称为神经肌肉接头(neuromuscular junction)。当沿着运动神经元的轴突传输的动作电位到达神经肌肉接头时，过程100继续进行到动作104，其中在肌肉纤维中生成动作电位，作为在神经肌肉接头处的化学活动的结果。特别是，由运动神经元释放的乙酰胆碱越过神经肌肉接头扩散，并与在肌肉纤维的表面上的受体结合，触发肌肉纤维的去极化。虽然由各个肌肉纤维的去极化生成的在身体表面上感测到的神经肌肉信号很小(例如，小于100μV)，但多个肌肉纤维同时传导的集体动作导致可以由位于身体的表面上的神经肌肉传感器(例如，EMG传感器)记录的可检测电压电位。如上所述，来自许多运动单元的肌肉纤维的集体传导导致肌肉收缩和可感知的运动。因此，当用户执行移动或姿势时，相应记录的神经肌肉信号包括来自多个激活的运动单元的贡献。
在肌肉纤维中生成动作电位之后，过程100继续进行到动作106，在动作106中，在肌肉纤维中的动作电位的传播导致在肌肉纤维中的一系列化学介导的过程。例如，肌肉纤维的去极化导致钙离子流入肌肉纤维内。在肌肉纤维内的钙离子与肌钙蛋白复合物结合，使肌钙蛋白复合物与在肌肉纤维中的肌动蛋白微丝上的肌球蛋白结合位点分离，从而暴露肌球蛋白结合位点。
在这些化学介导的过程之后，过程100继续进行到动作108，在动作108中，肌肉纤维收缩。由于暴露的肌球蛋白头部与在肌肉纤维中的肌动蛋白微丝的结合创建横桥结构，而实现肌肉纤维收缩。过程100然后继续进行到动作110，在动作110中，一个或更多个肌肉中的肌肉纤维的集体收缩导致运动任务的执行。
在执行运动任务期间，随着肌肉张力的增加，活跃神经元的放电率(firing rate)增加，并且额外的神经元可能变得活跃，这是被称为运动单元募集(recruitment)的过程。神经元变得活跃并增加其放电率的模式是定型的，使得预期的运动单元募集模式定义了与标准或正常移动相关联的活动流形(manifold)。一些实施例旨在教导用户激活单个运动单元或“脱离流形”的一组运动单元，因为运动单元激活的模式不同于预期的或典型的运动单元募集模式。这种脱离流形的激活在本文中被称为“肌肉下激活”或“肌肉下结构的激活”，其中肌肉下结构是指与脱离流形的激活相关联的单个运动单元或一组运动单元。脱离流形的运动单元的募集模式的示例包括但不限于选择性地激活高阈值运动单元而不激活通常会按照募集顺序较早激活的低阈值运动单元，以及在相当大的范围内调节运动单元的放电率而不调节通常会在典型的运动募集模式中共同调节的其他神经元的活动。根据本文描述的技术的一些实施例，使用肌肉下激活来生成控制信息，如下文更详细描述的。
当用户执行运动任务(诸如移动他们的手臂)时，执行运动任务所必要的一组肌肉被激活。当在用户穿戴包括神经肌肉传感器的可穿戴设备的同时执行运动任务时，由身体表面上的传感器记录的神经肌肉信号对应于在执行运动任务期间激活的组中的肌肉中的所有运动单元的叠加活动。神经肌肉信号可以被分析并映射到控制信号，以基于用户执行的移动或姿势的类型来控制设备。例如，如果用户用他们的手执行竖起大拇指的手势，则可以生成在用户接口中选择对象的相应控制信号。传感器信号和控制信号之间的映射可以例如使用被训练为将特定传感器信号输入与控制信号输出相关联的推理模型来实现。在一些实现方式中，推理模型可以包括一个或更多个统计模型、一个或更多个机器学习模型、和/或一个或更多个统计模型和/或一个或更多个机器学习模型的组合。以下提供对推理模型的实现方式的进一步讨论。在一些实施例中，经训练的推理模型的输出可以是肌骨骼位置信息，其描述例如计算机实现的肌骨骼模型中的元素的位置和/或力。由于神经肌肉信号被连续地记录，因此可以利用预测从推理模型输出的肌肉骨骼位置信息来更新肌肉骨骼模型。然后可以基于更新的肌肉骨骼位置信息生成控制信号。在其他实施例中，经训练的推理模型的输出可以是控制信息本身，从而不使用单独的肌肉骨骼模型。
如上所述，人体的每块肌肉通常包括来自数百个运动单元的肌肉纤维。在正常运动控制期间，在基于一个或更多个肌肉的激活(例如，当用户激活肌肉或使用一组肌肉执行移动时)生成控制信号的系统中，每个肌肉内的运动单元的关节活动被投射到对应于该肌肉的激活或张力的单维度上。通过将多维传感器信号投射到单维度上，关于单个肌肉下结构(例如，一个或更多个运动单元)的激活的信息被丢失，因为当确定要生成的相应控制信号时，仅考虑用于执行移动、姿势或姿态的每个肌肉内的所有运动单元的集体激活。本文描述的技术的一些实施例旨在使用神经肌肉传感器识别肌肉下结构的激活，以及至少部分地基于所识别的激活的肌肉下结构来生成控制信号。发明人已经认识到并意识到，通过识别肌肉下结构的激活，可以设计包括多个肌肉下控制“通道”的控制系统，每个肌肉下控制通道对应于在一个或更多个运动单元内识别的激活的模式。因此，在一些实施例中，利用关于肌肉下结构的激活的信息来增加可用于控制设备的控制信息的量，其中关于肌肉下结构的激活的信息通常在向下投射到单维度的、传统的基于神经肌肉传感器的控制系统中是丢失的。另外，通过训练用户激活单个运动单元或运动单元的组，一些实施例被配置为基于记录的神经肌肉信号生成控制信息，而无需肌肉或肌肉组的可感知移动。
贯穿于整个本公开，EMG传感器被用作配置为检测神经肌肉活动的神经肌肉传感器类型的示例。然而，应当理解，根据一些实施例，其他类型的神经肌肉传感器(包括但不限于肌动图(MMG)传感器、电阻抗断层成像(EIT)传感器和声肌图(SMG)传感器)可以附加地或可替换地与EMG传感器结合使用，以检测神经肌肉活动。根据本文描述的技术，由神经肌肉传感器记录的神经肌肉信号可用于识别肌肉下结构的激活。
图2示出了根据一些实施例的系统200。该系统包括多个传感器210，该多个传感器210被配置为记录利用人体部分的由运动单元的激活产生的信号。传感器210可以包括多个神经肌肉传感器，该神经肌肉传感器被配置成记录由人体骨骼肌中的神经肌肉活动(neuromuscular activity)产生的信号。本文使用的术语“神经肌肉活动”是指对支配肌肉的脊髓运动神经元的神经激活、肌肉激活、肌肉收缩或者神经激活、肌肉激活和肌肉收缩的任意组合。在一些实施例中，多个神经肌肉传感器可以用于感测与肌肉下结构相关联的肌肉下活动。在一些实施例中，描述肌肉下激活的空间信息(例如，位置和/或定向信息)和力信息可以在用户随着时间激活肌肉下结构时基于所感测的神经肌肉信号而被预测。
传感器210可以包括一个或更多个惯性测量单元(IMU)，该一个或更多个IMU使用例如加速度计、陀螺仪、磁力计、或者一个或更多个加速度计、陀螺仪和磁力计的任意组合来测量运动的物理方面的组合。在一些实施例中，IMU可以用于感测关于附接有IMU的身体部位的移动的信息，并且当用户随时间的推移而移动时，从感测到的数据导出的信息(例如，位置和/或定向信息)可以被跟踪。例如，当用户随时间的推移而移动时，一个或更多个IMU可以用于跟踪用户躯干近端的用户身体部分(例如，手臂、腿)相对于传感器的移动。
在包括至少一个IMU和多个神经肌肉传感器的实施例中，IMU和神经肌肉传感器可以被布置成检测人体不同部位的移动。例如，IMU可以被布置成检测躯干近端的一个或更多个体段(例如，上臂)的移动，而神经肌肉传感器可以被布置成检测躯干远端的一个或更多个体段(例如，前臂或手腕)内的运动单元的活动。然而，应当理解，传感器可以以任何合适的方式被布置，并且本文所描述技术的实施例不限于基于特定的传感器布置。例如，在一些实施例中，至少一个IMU和多个神经肌肉传感器可以共同位于一个体段上，以使用不同类型的测量来跟踪运动单元的活动和/或体段的移动。在下面更详细描述的一个实现方式中，一个IMU传感器和多个EMG传感器被布置在可穿戴设备上，该可穿戴设备被配置成围绕用户的下臂或手腕穿戴。在这种布置中，IMU传感器可被配置成跟踪与一个或更多个手臂段相关联的移动信息(例如，随时间推移的定位和/或定向)，以确定例如用户是否已经抬起或放下了他们的手臂，而EMG传感器可被配置成确定与手腕或手部的肌肉中的肌肉下结构的激活相关联的肌肉下信息。
每个传感器210包括被配置成感测关于用户的信息的一个或更多个感测部件。在IMU的情况下，感测部件可以包括一个或更多个加速度计、陀螺仪、磁力计或其任意组合，以测量身体运动的特性，该特性的示例包括但不限于加速度、角速度和身体周围感测到的磁场。在神经肌肉传感器的情况下，感测部件可以包括但不限于被配置成检测身体表面上的电位的电极(例如，对于EMG传感器)、被配置成测量皮肤表面振动的振动传感器(例如，对于MMG传感器)、以及被配置成测量由肌肉活动产生的超声信号的声学感测部件(例如，对于SMG传感器)。
在一些实施例中，多个传感器中的至少一些被布置为可穿戴设备的一部分，该可穿戴设备被配置成穿戴在用户身体部位之上或围绕用户身体部位穿戴。例如，在一个非限制性示例中，IMU传感器和多个神经肌肉传感器围绕可调整的和/或弹性的带(诸如被配置成围绕用户的手腕或手臂穿戴的腕带或臂带)周向地布置。可替换地，至少一些传感器可以布置在可穿戴贴片上，该可穿戴贴片被配置成附着到用户身体的一部分。在一些实施例中，可以使用多个可穿戴设备以基于来自肌肉下结构的激活和/或涉及身体多个部位的移动生成控制信息，每个可穿戴设备包括在其上的一个或更多个IMU和/或神经肌肉传感器。
在一个实现方式中，16个EMG传感器围绕弹性带周向地布置，该弹性带被配置成围绕用户的下臂穿戴。例如，图7示出了围绕弹性带502周向地布置的EMG传感器504。应当理解，可以使用任何合适数量的神经肌肉传感器，并且所使用的神经肌肉传感器的数量和布置可以取决于可穿戴设备所用于的特定应用。例如，可穿戴臂带或腕带可以用于生成控制信息，以控制机器人、控制车辆、滚动浏览文本、控制虚拟化身或任何其他合适的控制任务。例如，如图8所示，用户506可以在手部508上穿戴弹性带502。以这种方式，EMG传感器504可以被配置成在用户使用手指540控制键盘530时记录EMG信号。在一些实施例中，弹性带502也可以包括被配置成如上讨论地记录移动信息的一个或更多个IMU(未示出)。
在一些实施例中，可以使用多个可穿戴设备以基于与肌肉下结构相关联的激活和/或涉及身体多个部位的移动生成控制信息，每个可穿戴设备包括其上的一个或更多个IMU和/或神经肌肉传感器。
在一些实施例中，传感器210仅包括多个神经肌肉传感器(例如，EMG传感器)。在其他实施例中，传感器210包括多个神经肌肉传感器和被配置成连续记录多个辅助信号的至少一个“辅助”传感器。辅助传感器的示例包括但不限于IMU传感器、成像设备(例如，摄像机)、与辐射生成设备(例如，激光扫描设备)一起使用的基于辐射的传感器、或者其他类型的传感器(诸如心率监视器)。
在一些实施例中，可以使用硬件信号处理电路来可选地处理(例如，执行放大、滤波和/或整流)一个或更多个感测部件的输出。在其他实施例中，可以在软件中执行感测组件的输出的至少部分的信号处理。因此，由传感器记录的信号的信号处理可以以硬件、软件或由硬件和软件的任何适当组合执行，因为本文所描述的技术的各方面不限于该方面。
在一些实施例中，如下面更详细描述的，可以可选地处理所记录的传感器数据，以计算附加的导出的测量结果，然后将导出的测量结果作为输入提供给推理模型。例如，来自IMU传感器的所记录的信号可以被处理，以导出指定体段随时间推移的定向的定向信号。传感器可以使用集成感测部件的部件来实现信号处理，或者至少一部分信号处理可以由与传感器210的感测部件通信但不直接集成的一个或更多个部件来执行。
系统200还包括被编程为与传感器210通信的一个或更多个计算机处理器212。例如，由一个或更多个传感器记录的信号可以被提供给处理器212，该处理器212可以被编程为执行一个或更多个机器学习技术以处理由传感器210输出的信号，以训练一个或更多个推理模型214，并且经训练的(或经过再训练的)推理模型214可以被存储以供后续用于生成控制信号(如下文更详细描述的)。
在一些实施例中，推理模型214可以是神经网络，例如可以是循环神经网络。在一些实施例中，循环神经网络可以是长短期记忆(LSTM)神经网络。然而，应当理解，循环神经网络不限于LSTM神经网络，并且可以具有任何其他合适的架构。例如，在一些实施例中，循环神经网络可以是完全循环神经网络(fully recurrent neural network)、门控循环神经网络(gated recurrent neural network)、递归神经网络(recursive neural network)、Hopfield神经网络、联想记忆神经网络(associative memory neural network)、Elman神经网络、Jordan神经网络、回声状态神经网络(echo state neural network)、二阶循环神经网络(second order recurrent neural network)和/或任何其他合适类型的循环神经网络。在其他实施例中，可以使用不是循环神经网络的神经网络。例如，可以使用深度神经网络、卷积神经网络和/或前馈神经网络。
在一些实施例中，推理模型的输出提供离散输出。例如，当期望的输出是要知晓用户当前是否正在执行激活的特定模式(包括各个神经尖峰事件)时，可以使用离散的输出(例如，分类标签)。例如，可以训练模型来估计用户是否正在激活特定的运动单元、正在以特定的定时激活特定的运动单元、正在以特定的放电模式激活特定的运动单元、或者正在激活运动单元的特定组合。在较短的时间尺度上，在一些实施例中使用离散分类来估计特定的运动单元是否在给定的时间量内放电了动作电位。在这种场景下，这些估计然后可被累加，以获得该运动单元的估计的放电率。
在推理模型被实现为神经网络的实施例中，该神经网络配置为输出离散信号，该神经网络可以包括柔性最大值传输函数(softmax)层，使得输出加起来为1并且可以被解释为概率。柔性最大值传输函数层的输出可以是对应于相应的控制信号集的值的集合，其中每个值指示用户想要执行特定控制动作的概率。作为一个非限制性示例，柔性最大值传输函数层的输出可以是三个概率(例如，0.92、0.05和0.03)的集合，这三个概率指示检测到的活动模式是三个已知模式之一的相应概率。
应当理解，当推理模型是被配置为输出离散信号的神经网络时，该神经网络不需要产生加起来为1的输出。例如，代替softmax层，神经网络的输出层可以是S型(sigmoid)层(其没有概率加起来为1的限制)。在这样的实施例中，可以用sigmoid交叉熵代价来训练神经网络。当多个不同的控制动作可能在时间的阈值量内发生并且区分这些动作发生的顺序并不重要(例如，用户可能在阈值时间量内激活两种神经活动模式)时，在这种情况下这种实现方式可以是有利的。在一些实施例中，可以使用任何其他合适的非概率多级别分类器，因为本文所描述技术的各方面不限于该方面。
在一些实施例中，推理模型的输出可以是连续信号，而不是离散信号。例如，该模型可以输出每个运动单元的放电率的估计，或者该模型可以输出对应于每个运动单元或肌肉下结构的时间序列电信号。
应当理解，本文所描述技术的各方面不限于使用神经网络，因为在一些实施例中可以采用其他类型的推理模型。例如，在一些实施例中，推理模型可以包括隐马尔可夫模型(HMM)、切换HMM(其中切换允许在不同动态系统之间跳变)、动态贝叶斯网络(dynamicBayesian network)和/或具有时间分量的任何其他合适的图形模型。可以使用记录的传感器信号来训练任何这样的推理模型。
作为另一个示例，在一些实施例中，推理模型是将从记录的传感器信号中导出的特征作为输入的分类器。在这样的实施例中，可以使用从传感器数据提取的特征来训练分类器。分类器可以是支持向量机(support vector machine)、高斯混合模型、基于回归的分类器、决策树分类器、贝叶斯分类器和/或任何其他合适的分类器，因为本文所描述技术的各方面不限于该方面。要提供给分类器的输入特征可以以任何合适的方式从传感器数据导出。例如，可以使用小波(wavelet)分析技术(例如，连续小波变换、离散时间小波变换等)、傅立叶分析技术(例如，短时傅立叶变换、傅立叶变换等)和/或任何其他合适类型的时间频率分析技术将传感器数据分析为时间序列数据。作为一个非限制性示例，可以使用小波变换来对传感器数据进行变换，并且可以将得到的小波系数作为输入提供给分类器。
在一些实施例中，可以根据训练数据来估计推理模型的参数的值。例如，当推理模型是神经网络时，可以根据训练数据来估计神经网络的参数(例如，权重)。在一些实施例中，可以使用梯度下降、随机梯度下降和/或任何其他合适的迭代优化技术来估计推理模型的参数。在推理模型是循环神经网络(例如，LSTM)的实施例中，可以使用随机梯度下降和时间反向传播来训练推理模型。训练可以采用交叉熵损失函数(cross-entropy lossfunction)和/或任何其他合适的损失函数，因为本文所描述技术的各方面不限于该方面。
可选地，系统200还包括一个或更多个控制器216。例如，控制器216可以是被配置成在显示器上显示视觉表示(例如，手的视觉表示)的显示控制器。如下文更详细讨论的，一个或更多个计算机处理器可以实现一个或更多个经训练的推理模型，该一个或更多个经训练的推理模型接收作为输入的传感器信号，并提供作为输出的信息，该信息用于生成控制信号。
在一些实施例中，被配置成模拟虚拟现实环境的计算机应用可以被指示来显示视觉角色，诸如，化身(例如通过控制器216的化身)。可以基于经训练的推理模型的输出来显示虚拟现实环境内由视觉角色的部分所施加的定位、移动和/或力。当连续信号被传感器210记录并被经训练的推理模型104处理以提供实时更新的角色的移动的计算机生成的表示时，视觉表示可以被动态更新。
如上所述，一些实施例旨在至少部分地使用推理模型以将传感器信号映射到控制信号。推理模型可以接收当用户执行一个或更多个肌肉下激活时检测到的作为输入的IMU信号、神经肌肉信号(例如，EMG、MMG和SMG信号)、外部设备信号(例如，照相机或激光扫描信号)、或者IMU信号、神经肌肉信号和外部设备信号的组合。推理模型可用于预测控制信息，而无需用户必须进行可感知的移动。
在一些实施例中，系统200被训练为当用户执行肌肉下激活时生成控制信息。在一些实施例中，系统200通过记录来自神经肌肉传感器210的信号和表示特定肌肉下激活的相应控制信号的地面真实数据来训练。例如，可以指示用户激活肌肉下结构来执行特定的控制动作。可以基于所感测的神经激活的精确定时(检测到的尖峰的时间编码)来生成控制信号，或者可以基于运动单元动作电位的速率(速率编码)来生成控制信号。
发明人已经认识到，使用肌肉下激活作为在控制系统中生成控制信号的基础的挑战之一是训练用户如何选择性地激活单个运动单元或一组运动单元。例如，收缩单个肌肉或肌肉组以执行移动(诸如握拳)的指令可能容易被用户理解。然而，指示用户选择性地激活各个肌肉下结构可能不那么简单，并且用户可能需要被训练来可靠地执行这种激活。因此，一些实施例旨在用于在记录神经肌肉信号期间向用户提供反馈的技术，以促进训练用户在需要时激活肌肉下结构(例如，一个或更多个运动单元)的过程。
可选地，系统200还包括用户接口218。基于由传感器210记录并由处理器212处理的信号确定的反馈可以通过用户接口218来提供，以促进用户理解系统如何解释用户的有意的肌肉下激活。用户接口218可以以任何合适的方式实现，包括但不限于音频接口、视频接口、触觉接口和电刺激接口，或者前述的任意组合。
图3示出了根据一些实施例的用于训练用户使用神经肌肉信号和通过处理记录的信号生成的反馈来激活肌肉下结构的过程300。在动作310中，当用户激活一个或更多个肌肉下结构时，由用户穿戴的多个神经肌肉传感器记录多个神经肌肉信号。过程300然后继续进行到动作320，在动作320中，基于记录的神经肌肉信号，向用户提供基于记录的神经肌肉信号生成的反馈。反馈可以通过用户接口(例如，系统200中的用户接口218)来提供。在动作320中生成的反馈向用户提供关于所记录的神经肌肉信号的信息，这反过来使得用户能够学习如何选择性地激活肌肉下结构。尽管反馈被描述为结合用于训练用户激活肌肉下结构的过程300，然而在一些实施例中，即使在系统已经被训练之后，反馈也被提供给用户。当用户在训练后正使用该系统时提供反馈可以有利于用户理解经训练的系统如何解释用户的有意的肌肉下激活，并且可以提醒用户是否需要对该系统进行进一步的训练。
在一些实施例中，在动作320中提供给用户的反馈是使用由神经肌肉传感器记录的原始(例如，未处理的)神经肌肉信号生成的。例如，原始神经肌肉信号可以被转换成通过音频接口(例如，扬声器)播放的音频信号。可替换地，原始神经肌肉信号可以显示在可视接口(诸如显示器)上，以提供反馈。在其他实施例中，可以分析原始神经肌肉信号以识别特定肌肉下结构的激活。发明人已经认识到并意识到肌肉下结构的激活以特有的方式(例如，定时、波形)在神经肌肉信号中被表现出来，从而能够将由一个肌肉下结构产生的信号与由另一个肌肉下结构产生的信号进行分离。可以以任何合适的方式进行根据原始神经肌肉信号识别特定的肌肉下结构的激活。例如，原始神经肌肉信号可以(例如，使用独立分量分析、卷积盲源分离、包括在其后聚类或分类的事件检测的尖峰分类协议、或另一种合适的技术)被分解成与由各个运动单元(例如，运动单元中的各个尖峰事件)或运动单元组产生的激活相对应的信号分量。
在记录的神经肌肉信号中识别的肌肉下激活的特征或“签名”可以用于在用户激活肌肉下结构时生成提供给用户的反馈。例如，可以向用户提供音频反馈，该音频反馈使用具有不同特征的音频对不同肌肉下结构的激活进行编码。在一个简化的示例中，该系统可以分析原始神经肌肉信号并识别两个运动单元的激活。可以生成音频反馈，该音频反馈包括具有第一音高的第一音频音调和具有第二音高的第二音频音调，其中第一音频音调对应于两个运动单元中的一个运动单元的激活，并且第二音频音调对应于两个运动单元中的另一个运动单元的激活。在一些实施例中，音频反馈中音调的呈现的定时可以与对应的运动单元或其他肌肉下结构的激活(例如，神经肌肉尖峰活动)的定时相对应。在一些实施例中，音调的幅度可以对应于激活肌肉下结构的速率或强度。
由用户接收的反馈向用户提供了关于系统是否以及何时能够检测与特定肌肉下结构相关联的神经肌肉活动的模式的信息，并允许用户调整他们的神经肌肉活动以学习如何激活肌肉下结构，诸如单个运动单元。例如，如果用户接收到包括具有多个音高的音调的音频反馈，则使用户知道系统已经识别为被激活的多个肌肉下结构的活动的模式。基于该反馈，用户可以有意识地修改他们的神经肌肉活动，以试图调用与肌肉下结构相关联的特定激活模式。当用户修改他们的运动活动时，提供给用户的反馈也基于记录的神经肌肉信号而改变，以使用户能够实时理解系统如何解释它们的活动中的修改。用户可以基于所提供的反馈不断地修改他们的活动，以学习如何激活特定模式的肌肉下活动。
当音频信号被用作反馈时，除了音调的音高之外的音频特征可以被用来表示所记录的神经肌肉信号中所识别的激活的肌肉下结构之间的差异。例如，可以调节音频反馈的响度、持续时间、音色或其他感知的音频特征，以表示神经肌肉信号中特定肌肉下结构的身份(identification)。另外，也可以使用除音调之外的音频信号。例如，不同的激活的肌肉下结构可以在音频反馈中由不同的乐器表示。
根据一些实施例，可替换地，可以使用除音频反馈以外的反馈。可以提供给用户以促进训练用户激活肌肉下结构的反馈的非限制性示例包括视觉反馈、触觉/触感反馈以及通过电刺激提供的反馈。对于任何选定的反馈形式，所提供的反馈的分量的感知特征可以基于在记录的神经肌肉信号中所识别的肌肉下激活来实时更新，以使得用户能够学习如何使用特定的激活模式来修改他们的神经肌肉活动以激活一个或更多个肌肉下结构。例如，可以训练用户使两个运动单元交替放电，为单个运动单元创建有节奏的放电模式，或者以依赖于时间的方式调节一个或更多个运动单元的速率，并且可以提供反馈来促进训练。
如上所述，可以基于原始(例如，未处理的)传感器数据来生成提供给用户的反馈。在其他实施例中，可以基于从记录的传感器数据导出的信息来生成反馈。例如，记录的传感器数据可以在用于生成提供给用户的反馈之前被过滤或以其他方式被处理。
如上所述，一些实施例采用被训练成输出信息的推理模型，该推理模型用于基于作为输入被提供给模型的传感器数据来生成控制信号。在一些实施例中，基于经训练的推理模型的输出来生成提供给用户的反馈。例如，基于经训练的推理模型的输出生成的控制信号可以被提供给显示控制器(或其他合适的控制器)，该显示控制器(或其他合适的控制器)利用通知用户关于被激活的特定肌肉下结构的信息来更新显示。当用户基于显示器上提供的反馈修改他们的神经肌肉激活时，由系统生成的控制信号也被更新，从而在显示器上产生更新的视觉表示。以这种方式，提供给用户的反馈可以以模仿鼓励用户完成特定任务的游戏的形式呈现，其中任务的完成与特定模式的肌肉下活动的成功激活相关联。这种反馈对一些用户来说可能更容易理解和有用，使得这些用户能够学习如何以特定的方式肌肉下结构。
意识到不同的用户可以以不同的方式学习如何激活肌肉下结构，一些实施例以多种不同的方式向用户提供反馈。用户可以能够选择最有利于促进他们训练的反馈的类型。在一些实施例中，可以至少部分地由系统基于帮助用户学习的反馈的有效性的测量来确定和/或推荐提供给用户的反馈的类型。例如，对用户成功完成与激活肌肉下结构相关联的任务所需时间的测量可用于确定系统为特定用户推荐哪种类型的反馈。
如过程300中所示，当用户学习调用特定的激活模式时，可以连续地提供反馈，并且当用户响应于反馈而修改他们的行为时，连续地记录神经肌肉信号。训练可以继续，直到确定用户已经成功地学习了如何根据需要(例如，以特定模式)激活特定的肌肉下结构。该确定可以由用户做出，或者可以至少部分地使用(例如使用处理器212实现的)自动化过程来做出。例如，由传感器记录的信号可以与描述已知或期望的激活模式的模板进行比较，并且当与模板足够匹配时，可以确定结束对特定肌肉下激活模式的训练。即使在所记录的传感器数据中也观察到了其他肌肉下结构或活动模式，也可以确定用户已经成功训练了肌肉下模式。例如，如果系统被编程为确定用户是否已经激活了运动单元A，则当系统确定运动单元A、B和C(或其他未识别的源)已经被激活时，而不是当系统确定运动单元C和D(但不是A)已经被激活时，可以确定用户已经激活了运动单元A。在一些实施例中，系统被编程为当只有运动单元A已经被激活时，确定用户已经激活了运动单元A。
在已经确定停止训练之后，过程300继续进行到动作330，在动作330中，存储关于用户正训练以激活肌肉下激活的信息。在一些实施例中，被训练以将记录的传感器数据映射到与肌肉下结构相关联的一个或更多个控制信号的推理模型可以被存储和/或更新。例如，当推理模型被实现为神经网络时，与神经网络中的连接相关联的权重可以被更新，以反映记录的传感器数据和从推理模型的输出中输出或导出的控制信号之间的映射。
发明人已经认识到，通过用户存储关于肌肉下激活的信息，使得用户能够在会话之间激活相同的一个或更多个肌肉下结构。穿戴具有图2中所示的多个神经肌肉传感器210和其他组件的系统的第二会话可以发生在第一会话之后的几分钟、几小时、几天、几周、几个月甚至几年。可以访问所存储的用户的肌肉下激活的表示，并将其用作控制信号。
通常，可以实现推理模型，推理模型校准从用户记录的神经肌肉传感器数据，以便可靠地导出用户激活的一个或更多个肌肉下结构的信息。出于几个原因，校准可能是必要的。例如，因为当用户在第二会话中穿戴神经肌肉阵列时，神经肌肉传感器中的一个或更多个可能处于用户身体上的与在第一会话中的不同的位置，所以校准可能是必要的。当神经肌肉传感器被布置在如图7和图9A所示的可穿戴设备上的径向阵列中时，身体上的神经肌肉传感器的位置可以在会话之间旋转，并且推理模型可以用于校准神经肌肉传感器数据，以便可靠地识别在第一会话中识别的相同的一个肌肉下结构(或相同的多个肌肉下结构)。在为什么校准可能必要的另一个示例中，径向神经肌肉阵列(例如，图7和图9A所示的系统)的位置可以位于用户手臂上更远或更近的位置，并且推理模型可以用于校准神经肌肉传感器数据，以便可靠地识别在第一会话中识别的相同的一个肌肉下结构(或相同的多个肌肉下结构)。在为什么校准可能必要的又一个示例中，径向神经肌肉阵列(例如，图7和图9A所示的系统)可以以相反的定向放置在用户的手臂上，即，在第一会话中面向近侧的神经肌肉阵列的一侧可以在第二会话中面向远侧，并且推理模型可以用于识别神经肌肉阵列是面向远侧还是近侧；并且神经肌肉传感器的解剖位置可以在识别先前识别的一个或更多个肌肉下结构之前的处理步骤中被重新排序。
发明人已经认识到，存储关于用户的肌肉下激活的信息的系统和方法有利于识别用户中肌肉下激活随时间的变化，关于用户的肌肉下激活的信息使得用户能够在会话之间激活相同的一个肌肉下结构或相同的多个肌肉下结构。跟踪肌肉下激活的变化有利于监测用户的运动神经系统的变化。肌肉下激活的变化可能因几种原因中的任何原因而改变，这几种原因包括但不限于：肌肉疲劳、加强或以其他方式影响肌肉下激活的模式的训练(例如，运动学习或力量训练)、饮食、一天中的时间、用户的睡眠量和质量、影响运动神经系统的化合物的存在(例如，药物制剂、滥用药物、咖啡因、酒精和尼古丁)、周围神经病、神经退化、周围神经损伤、脑损伤或其他影响运动系统的疾病。
发明人已经认识到，虽然一些用户可能能够选择性地激活肌肉下结构，同时抑制其他的神经活动，但其他用户可能难以学习选择性地激活肌肉下结构。在一些实施例中，从系统输出的控制信号被映射到在运动任务(例如，上下移动手)期间激活的运动单元的子集，其中该运动单元的子集与肌肉下结构相关联。在训练期间，最初用户可以上下移动他们的手，从而激活子集中被映射到控制信号的运动单元以及其他运动单元。随着时间的推移，用户可以了解到，只要用户的移动仍然激活子集中的运动单元，产生越来越小的移动仍然会导致从系统中输出控制信号。最终，通过额外的训练，只要子集中对应于肌肉下结构的运动单元被激活，用户就可能能够生成控制信号而不进行可察觉的移动。根据一些实施例，训练用户进行小的移动来激活肌肉下结构，使得能够创建一种控制系统，在该控制系统中，减少了用户疲劳，并且在该控制系统中用户可以离散地(例如，当用户处于进行较大的移动以生成控制信号并非合适的行为的地方时)或者独立于较大的移动来控制设备。
如上文简要讨论的，可以在记录的传感器数据中观察到特定肌肉下结构的激活，作为表征来自该结构的激活的定时和/或信号波形形状。表征肌肉下结构激活的时空激活模式在本文中也被称为该结构的“签名”。该系统有效地将来自不同的肌肉下结构的激活分离出来并因此为与各个肌肉下结构或多个肌肉下结构(例如，组合代码)相关联的激活而创建单独的控制通道的能力，可能取决于肌肉下结构的签名有何种程度的不同。另外，其签名实现最佳分离的肌肉下结构的集合可能因用户而异。在训练用户如何激活肌肉下激活模式之前，可以识别用户可以被训练来激活的目标肌肉下结构的集合。
图4示出了根据一些实施例的用于识别将被用作训练目标的肌肉下结构的集合的过程400。在动作410中，当用户执行一个或更多个移动或姿势时，从布置在可穿戴设备上的多个传感器中记录多个神经肌肉信号。过程400然后继续进行到动作412，在动作412中基于所记录的神经肌肉信号来识别多个激活的肌肉下结构(例如，运动单元)。可以以任何合适的方式识别多个激活的肌肉下结构。例如，记录的神经肌肉信号可以被分解成表征多个激活的肌肉下结构的激活的信号分量。在一些实施例中，信号分量可以表示各个尖峰事件，并且可以通过确定各个尖峰事件中的哪些尖峰事件与特定的肌肉下结构的激活是相关联的，来识别多个激活的肌肉下结构。可替换地，记录的神经肌肉信号可以以任何其他合适的方式被分析，以识别多个肌肉下结构。
过程400然后继续进行到动作414，在动作414中，选择肌肉下结构的子集以在训练中使用。包括在训练集中的肌肉下结构的选择可以至少部分地基于与在动作412中识别的每个肌肉下结构相关联的激活的特征。如上所述，为了使系统能够区分不同肌肉下结构的激活，发明人已经认识到，训练用户激活如在记录的传感器数据中所显示的具有不同激活特征或签名的肌肉下结构是有利的。在一些实施例中可用于选择包括在训练集中的肌肉下结构的激活的特征的示例包括但不限于，与肌肉下结构相关联的运动单元的类型、与肌肉下结构相关联的运动单元动作电位幅度、用于肌肉下结构的激活的波形与用于其他肌肉下结构的激活的波形的相似性、以及与肌肉下结构的激活相关联的激活率和定时统计。
在一些实施例中，基于控制系统的肌肉下控制通道的期望数量来确定训练集中包括的肌肉下结构的数量。例如，为了构建具有八个肌肉下控制通道的基于神经肌肉的控制系统，可以分析在动作412中识别的多个激活的肌肉下结构，以确定八个激活的肌肉下结构，这些激活的肌肉下结构具有可靠的可分离的激活的特征，以包括在训练集中。应当理解，并非所有被选择包含在训练集中的肌肉下结构都需要使用相同的激活特征与训练集中的其他肌肉下结构分离。例如，训练集中的第一肌肉下结构可以基于信号波形形状而与训练集中的其他结构分离，而训练集中的第二肌肉下结构可以基于运动单元动作电位幅度而与训练集中的其他结构分离。另外，应当理解，为训练集选择的肌肉下结构可以基于激活特征的组合而分离，并且实施例不限于此方面。
在动作414中的肌肉下结构的选择可以由系统100的一个或更多个处理器利用最大化或增加激活的肌肉下结构的激活特征或签名之间的距离的标准来自动执行。可替换地，肌肉下结构的选择可以至少部分地由用户驱动。例如，可以向用户提供基于记录的神经肌肉信号生成的反馈，并且用户可以能够选择要包括在训练集中的肌肉下结构。准许用户参与选择肌肉下结构的过程允许控制系统实施与如果针对训练集的肌肉下结构的选择完全由系统自动完成时所需的相比更不稳健的源分离技术。
在针对训练集选择肌肉下结构的集合之后，可以使用例如图3所示并在上面描述的训练过程300来训练用户激活该集合中的每个肌肉下结构。一旦用户和系统已被训练，与系统相关联的至少一个存储设备可以存储关于训练集中被激活的肌肉下结构的时空信息和/或将神经肌肉传感器信号映射到肌肉下激活的信息(例如，用户指定或训练的推理模型)，用于使用系统来控制设备。
发明人已经认识到，每当用户穿戴包括神经肌肉传感器的可穿戴设备开始控制会话时，至少在最初，系统可能难以恢复来自该系统被训练的相同的肌肉下结构的活动。例如，包括传感器的可穿戴设备在身体上的放置在用户每次使用该设备时可以是不同的。因此，在使用包括经训练的推理模型的系统来控制设备之前，可以校准该系统。当用户开始使用设备时校准可以由系统自动执行，或者校准可以至少部分地由用户驱动，以放宽系统在没有用户输入的情况下执行自动校准的要求。另外，应当理解，校准可以在任何合适的时间(包括在控制会话期间)被执行。
图5示出了根据一些实施例的用于校准系统的过程500。在动作510中，布置在用户穿戴的可穿戴设备上的传感器记录神经肌肉信号。过程500然后继续进行到动作512，在动作512中，将记录的神经肌肉信号与上文结合图3描述的训练过程期间存储的信息进行比较。例如，系统可以分析记录的神经肌肉信号，以确定系统是否可以使用关于训练集中的肌肉下结构的时空信息来自动识别肌肉下结构的激活。该系统可以被配置成通过例如对所记录的神经肌肉信号执行源分离来自动识别所记录的传感器数据中的肌肉下结构。
在系统的一个或更多个处理器没有被配置成执行自动校准的实施例中，或者在自动校准失败的情况下，用户可以提供输入来促进校准过程。例如，可以提示用户按顺序(例如结构A、结构B、结构C)激活多个肌肉下结构。当用户激活每个肌肉下结构时，可以向用户提供反馈，以让用户知晓系统是否正确解释了有意的激活。
过程500然后继续进行到动作514，在动作514中，基于对记录的神经肌肉信号和存储的信息的分析来校准系统。校准可以以任何合适的方式进行，以使系统能够从记录的神经肌肉信号中恢复训练集中的肌肉下结构的激活。在一些实施例中，校准可以包括将一些记录的神经肌肉信号或从记录的神经肌肉信号导出的信息转换成与存储的信息更接近匹配的表示。在其他实施例中，可以向用户提供指示用户调整可穿戴设备在身体上的定位的反馈，并且可以记录额外的神经肌肉信号，直到系统能够从记录的传感器数据可靠地恢复肌肉下结构的激活。
在系统已被校准之后，系统可以用于从记录的信号数据中导出多个肌肉下控制通道的信息，可以基于导出的信息生成控制信号，并将控制信号提供给控制接口以控制实物或虚拟设备的操作。以这种方式，提供了一种能够使用肌肉下激活来控制设备的控制系统。
图6示出了根据一些实施例的用于基于从传感器数据记录的肌肉下控制信息向设备提供控制信号的过程600。在动作610中，记录来自布置在用户身体表面附近或表面上的神经肌肉传感器的多个神经肌肉信号。一个或更多个辅助传感器(例如，IMU传感器)也可以用于记录用于提供控制信息的传感器数据，且实施例不限于此方面。过程600然后继续进行到动作612，在动作612中，对记录的神经肌肉信号执行源分离过程，以识别与在神经肌肉信号中识别的激活相关联的肌肉下控制通道。任何合适的源分离技术(其示例在上面讨论过)都可以用于识别肌肉下控制通道。
过程600然后继续进行到动作614，在动作614中，基于所识别的肌肉下控制通道和在所记录的神经肌肉信号中表示的激活的模式，生成一个或更多个控制信号。例如，神经肌肉信号可以作为输入被提供给经训练的推理模型，并且经训练的推理模型的输出可以用于生成一个或更多个控制信号。在一个实现方式中，经训练的推理模型的输出可以是一个或更多个控制信号的集合。在另一个实现方式中，可以基于神经肌肉信号中的激活的模式而不使用经训练的推理模型来生成控制信号。过程600然后继续进行到动作614，在动作614中控制信号被提供给设备的控制接口以控制设备的操作。例如，该设备可以是显示器，并且控制信号可以被提供给显示器的显示控制器。控制信号可以包括更新显示器上显示的信息的指令。可替换地，该设备可以是计算机或其他计算设备(例如，智能手机)，并且控制信号可以被提供给计算设备的控制器以改变该设备的操作。在又一示例中，控制信号可用于控制设备(例如，乐器)以提供艺术表达。应当理解，任何具有控制接口的设备都可以使用根据本文描述的技术设计的控制系统来控制。
图9A示出了作为具有16个神经肌肉传感器910(例如，EMG传感器)的可穿戴系统的人机接口(本文也称为EMG控制接口)，这16个神经肌肉传感器910围绕弹性带920周向布置，弹性带920被配置成围绕用户的下臂或手腕穿戴。如图所示，EMG传感器910围绕弹性带920周向布置。应当理解，可以使用任何合适数量的神经肌肉传感器。神经肌肉传感器的数量和布置可以取决于使用可穿戴系统的特定应用。例如，可穿戴臂带或腕带可以用于生成控制信息，以控制增强现实系统、机器人、控制车辆、滚动浏览文本、控制虚拟化身或用于任何其他合适的控制任务。如图所示，传感器可以使用结合到无线设备中的柔性电子器件被耦合在一起，图9B示出了通过图9A所示的可穿戴系统的传感器之一的截面图。
在一些实施例中，可选地，一个或更多个感测部件的输出可以使用硬件信号处理电路来处理(例如，执行放大、滤波和/或整流)。在其他实施例中，感测部件的输出的至少一些信号处理可以在软件中执行。因此，由传感器采样的信号的信号处理可以以硬件、软件或由硬件和软件的任何适当组合执行，因为本文所描述的技术的各方面不限于该方面。将在下面结合图10A和图10B更详细地讨论用于处理来自传感器910的所记录的数据的信号处理链的非限制性示例。
图10A和图10B示出了具有十六个EMG传感器的可穿戴系统的内部组件的示意图。如图所示，可穿戴系统包括可穿戴部分1010(图10A)和(例如，经由蓝牙或另一种合适的短程无线通信技术)与可穿戴部分1010通信的加密狗部分1020(图10B)。如图10A所示，可穿戴部分1010包括传感器910，结合图9A和图9B对其示例进行了描述。传感器910的输出被提供给模拟前端1030，模拟前端1030被配置成对所记录的信号执行模拟处理(例如，降噪、滤波等)。经处理的模拟信号然后被提供给模数转换器1032，模数转换器1032将模拟信号转换成可以由一个或更多个计算机处理器处理的数字信号。可以根据一些实施例使用的计算机处理器的一个示例是图l0A所示的微控制器(MCU)1034。如图所示，MCU 1034也可以包括来自其他传感器(例如，IMU传感器1040)以及电源和电池模块1042的输入。由MCU执行的处理的输出可以被提供给天线1050，用于传输到图l0B所示的加密狗部分1020。
加密狗部分1020包括天线1052，天线1052被配置成与作为可穿戴部分1010的一部分而被包括的天线1050通信。可以使用任何合适的无线技术和协议(其非限制性示例包括射频信令和蓝牙)进行天线1050和1052之间的通信。如图所示，由加密狗部分1020的天线1052接收的信号可以被提供给主计算机，用于进一步处理、显示和/或实现对特定物理或虚拟对象的控制。
虽然参考图9A、图9B和图10A、图10B提供的示例是在具有EMG传感器的接口的上下文中被讨论，但是应当理解，本文描述的用于减少电磁干扰的技术也可以在具有其他类型的传感器的可穿戴接口中实现，其他类型的传感器包括但不限于肌动图(MMG)传感器、声肌图(SMG)传感器和电阻抗断层成像(EIT)传感器。
可以以多种方式中的任一种来实现上述实施例。例如，可以使用硬件、软件或其组合来实现实施例。当以软件实现时，软件代码可以在任何合适的处理器或处理器集群上被执行，无论是在单个计算机中被提供还是分布在多个计算机当中。应当认识到，执行上述功能的任何部件或部件集群可以一般地被考虑为控制上面讨论的功能的一个或更多个控制器。一个或更多个控制器可以以多种方式实现，例如用专用硬件或使用微码或软件编程来执行上述功能的一个或更多个处理器。
在这方面，应当理解，本发明实施例的一个实现包括编码有计算机程序(即，多个指令)的至少一个非暂时性计算机可读存储介质(例如，计算机存储器、便携式存储器、光盘等)，该计算机程序当在处理器上执行时，执行本发明实施例的以上所讨论的功能。计算机可读存储介质可以是可传输的，使得存储在其上的程序可以被加载到任何计算机资源上，以实现本文所讨论的本发明的各方面。此外，应当认识到，对当被执行时执行上面讨论的功能的计算机程序的提及不限于在主机计算机上运行的应用程序。相反，术语“计算机程序”在本文中以一般意义使用，以指代任何类型的计算机代码(例如，软件或微代码)，其可以用于对处理器进行编程以实现本发明的以上所讨论的各方面。
本发明的各个方面可以单独使用、组合使用或者以在前面描述的实施例中没有具体讨论的各种布置使用，因此它们的应用不限于在前面描述中阐述的或者在附图中示出的部件的细节和布置。例如，在一个实施例中描述的方面可以以任何方式与在其他实施例中描述的方面组合。
此外，本发明的实施例可以被实现为一种或更多种方法，已经提供了其示例。作为方法的一部分被执行的动作可以以任何合适的方式被排序。相应地，可以构造实施例，其中动作以与所示出的不同的顺序被执行，这可以包括同时执行一些动作，即使在说明性实施例中被示为顺序动作。
在权利要求中使用顺序术语(诸如“第一”、“第二”、“第三”等)来修改权利要求元素并不单独地暗示一个权利要求元素相对于另一个权利要求元素的任何优先级、优先权、或顺序或者方法的动作被执行的时间顺序。这样的术语仅用作标签以将具有特定名称的一个权利要求元素与具有相同名称的另一个元素区分开(但对于序数术语的使用)。
本文所使用的措辞和术语是为了描述的目的，且不应被视为限制性的。“包括(including)”、“包括(comprising)”、“具有(having)”、“包含(containing)”、“涉及(involving)”、及它们的变形的使用意指包括在其后列出的项和另外的项。
在详细描述了本发明的几个实施例后，本领域技术人员将容易想到各种改变和改进。这些修改和改进旨在包括在本发明的精神和范围内。因此，前面的描述仅仅是作为示例，且并不旨在为限制性的。本发明仅由所附权利要求及其等同物限定。

Claims (32)

1.一种计算机化系统，包括：
多个神经肌肉传感器，所述多个神经肌肉传感器被配置为记录来自用户的多个神经肌肉信号，其中，所述多个神经肌肉传感器被布置在一个或更多个可穿戴设备上；以及
至少一个计算机处理器，所述至少一个计算机处理器被编程为：
从所述多个神经肌肉信号中导出针对多个肌肉下控制通道中的第一肌肉下控制通道的信息，其中，所述多个肌肉下控制通道中的每一个肌肉下控制通道被配置为处理与一个或更多个肌肉下结构的激活相关联的信息；
基于针对所述第一肌肉下控制通道的导出信息，生成控制信号；以及
向控制接口提供所述控制信号以控制设备的操作。
2.根据权利要求1所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为：
提供针对所述第一肌肉下控制通道的所述导出信息作为经训练的推理模型的输入，并且其中生成所述控制信号包括基于所述经训练的推理模型的输出生成所述控制信号。
3.根据权利要求1所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为：
提供所述多个神经肌肉信号作为经训练的推理模型的输入，并且其中导出针对所述第一肌肉下控制通道的信息包括基于所述经训练的推理模型对所述多个神经肌肉信号的处理来导出所述信息。
4.根据权利要求1所述的计算机化系统，其中，导出针对所述第一肌肉下控制通道的信息包括将所述多个神经肌肉信号分解成表征所述多个肌肉下控制通道的信号分量。
5.根据权利要求1所述的计算机化系统，其中，所述第一肌肉下控制通道被配置为处理由单个运动单元的激活产生的信息。
6.根据权利要求5所述的计算机化系统，其中，所述多个肌肉下控制通道中的第二肌肉下控制通道被配置为处理由多个运动单元的激活产生的信息。
7.根据权利要求1所述的计算机化系统，其中，所述第一肌肉下控制通道被配置为处理由与第一肌肉相关联的至少一个第一肌肉下结构和与第二肌肉相关联的至少一个第二肌肉下结构的组合的激活产生的信息。
8.根据权利要求1所述的计算机化系统，还包括至少一个辅助传感器，所述至少一个辅助传感器被配置为在记录来自所述用户的所述多个神经肌肉信号的同时记录辅助信号，其中，所述至少一个辅助传感器被布置在所述一个或更多个可穿戴设备上。
9.根据权利要求8所述的计算机化系统，其中，所述至少一个辅助传感器包括至少一个惯性测量单元。
10.根据权利要求1所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为：
存储在第一会话期间确定的针对所述第一肌肉下控制通道的所述导出信息的表示；以及
在所述第一会话之后的第二会话期间校准从所述用户记录的神经肌肉信号数据，其中，至少部分地基于所存储的在所述第一会话期间确定的针对所述第一肌肉下控制通道的所述导出信息的表示来执行校准。
11.一种用于训练用户激活肌肉下结构的计算机化系统，所述系统包括:
多个神经肌肉传感器，所述多个神经肌肉传感器被配置为当所述用户激活一个或更多个肌肉下结构时记录来自所述用户的多个神经肌肉信号，其中，所述多个神经肌肉传感器被布置在一个或更多个可穿戴设备上；以及
至少一个计算机处理器，所述至少一个计算机处理器被编程为：
基于所述多个神经肌肉信号向所述用户提供反馈，其中，所述反馈包括关于在所述多个神经肌肉信号中识别的激活的模式的信息；
基于所记录的多个神经肌肉信号来调整提供给所述用户的所述反馈；以及
存储将在所述多个神经肌肉信号中识别的激活的所述模式映射到控制信号的信息。
12.根据权利要求11所述的计算机化系统，其中，所述肌肉下结构是单个的运动单元。
13.根据权利要求11所述的计算机化系统，其中，基于所述多个神经肌肉信号向所述用户提供反馈包括从所述多个神经肌肉信号的未处理版本中生成所述反馈。
14.根据权利要求11所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为：
基于所述多个神经肌肉信号，从多个肌肉下结构中确定所述用户已经激活了所述多个肌肉下结构中的哪一个，并且其中基于所述多个神经肌肉信号向所述用户提供反馈包括当确定所述多个肌肉下结构中的第一肌肉下结构已被激活时提供第一反馈，以及当确定所述多个肌肉下结构中的第二肌肉下结构已被激活时提供第二反馈。
15.根据权利要求14所述的计算机化系统，其中，所述第一反馈和所述第二反馈具有不同的特征，以使所述用户能够区分所述第一反馈和所述第二反馈。
16.根据权利要求15所述的计算机化系统，其中，所述第一反馈包括具有第一音高的听觉反馈，并且其中所述第二反馈包括具有不同于所述第一音高的第二音高的听觉反馈。
17.根据权利要求11所述的计算机化系统，其中，所述反馈包括从由听觉反馈、视觉反馈、触觉反馈和通过电刺激提供的反馈组成的组中选择的反馈。
18.根据权利要求11所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为：
基于所述多个神经肌肉信号导出控制信号；以及
向具有所述用户试图进行控制的操作的设备提供所述控制信号，
其中，基于所述多个神经肌肉信号向所述用户提供反馈包括基于所述控制信号改变所述设备的行为。
19.根据权利要求18所述的计算机化系统，其中，所述设备包括显示器。
20.根据权利要求18所述的计算机化系统，其中，导出所述控制信号包括提供所述多个神经肌肉信号或从所述多个神经肌肉信号导出的信息作为推理模型的输入，以及基于所述推理模型的输出导出所述控制信号。
21.根据权利要求11所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为：
训练推理模型以将从所述多个神经肌肉信号中确定的激活的所述模式映射到一个或更多个肌肉下激活模式，并且其中存储将在所述多个神经肌肉信号中识别的激活的所述模式映射到控制信号的所述信息包括存储所述经训练的推理模型。
22.根据权利要求21所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为：
通过计算将所述一个或更多个肌肉下激活模式映射到所述控制信号。
23.根据权利要求11所述的计算机化系统，其中，存储将在所述多个神经肌肉信号中识别的激活的所述模式映射到控制信号的所述信息包括存储描述从所述多个神经肌肉信号中确定的激活的所述模式的信息。
24.根据权利要求21所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为：
基于所述多个神经肌肉信号，识别由所述用户激活的多个肌肉下结构。
25.根据权利要求24所述的计算机化系统，其中，识别由所述用户激活的所述多个肌肉下结构包括将所述多个神经肌肉信号分解成表征特定肌肉下结构的激活的信号分量，并且
其中，将从所述多个神经肌肉信号中导出的信息映射到所述一个或更多个控制信号包括将表征所述特定肌肉下结构的激活的所述信号分量映射到所述一个或更多个控制信号。
26.根据权利要求11所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为：
基于所述多个神经肌肉信号，识别由所述用户激活的多个肌肉下结构；
基于与由所述用户激活的所述多个肌肉下结构中的每一个肌肉下结构相关联的激活的特征，选择用于训练的肌肉下结构的子集；并且
其中，所述反馈包括关于肌肉下结构的所述子集的激活的模式的信息。
27.根据权利要求26所述的计算机化系统，其中，与所述肌肉下结构相关联的激活的所述特征选自由以下项组成的组：与所述肌肉下结构相关联的运动单元的类型、与所述肌肉下结构相关联的运动单元动作电位幅度、用于所述肌肉下结构的激活的波形与用于其他肌肉下结构的激活的波形的相似性、以及与所述肌肉下结构的激活相关联的激活率和定时统计。
28.根据权利要求11所述的计算机化系统，还包括：
至少一个存储设备，所述至少一个存储设备被配置为存储关于至少一个被激活的肌肉下结构的时空信息。
29.根据权利要求11所述的计算机化系统，还包括：
用户接口，所述用户接口被配置为指示用户激活特定的肌肉下结构，其中所述多个神经肌肉传感器被配置为，响应于所述用户试图激活通过所述用户接口指示的所述特定肌肉下结构，记录所述多个神经肌肉信号。
30.根据权利要求29所述的计算机化系统，其中，指示所述用户激活所述特定肌肉下结构包括指示所述用户按顺序激活多个肌肉下结构，并且其中，所述至少一个计算机处理器还被编程为至少部分地基于所述多个神经肌肉信号来执行校准。
31.一种计算机实现的控制设备的方法，所述方法包括：
接收由布置在用户穿戴的一个或更多个可穿戴设备上的多个神经肌肉传感器记录的多个神经肌肉信号；
从所述多个神经肌肉信号中导出针对多个肌肉下控制通道中的第一肌肉下控制通道的信息，其中，所述多个肌肉下控制通道中的每一个肌肉下控制通道被配置为处理与一个或更多个肌肉下结构的激活相关联的信息；
基于针对所述第一肌肉下控制通道的导出信息生成控制信号；以及
向控制接口提供所述控制信号以控制设备的操作。
32.一种计算机实现的训练用户激活肌肉下结构的方法，所述方法包括：
记录来自布置在用户穿戴的一个或更多个可穿戴设备上的多个神经肌肉传感器的多个神经肌肉信号；
基于所述多个神经肌肉信号向所述用户提供反馈，其中，所述反馈包括关于在所述多个神经肌肉信号中识别的激活的模式的信息；
基于所记录的多个神经肌肉信号来调整提供给所述用户的所述反馈；以及
存储将在所述多个神经肌肉信号中识别的激活的所述模式映射到控制信号的信息。
CN201980049646.XA 2018-05-25 2019-04-19 用于提供肌肉下控制的方法和装置 Pending CN112469469A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862676567P 2018-05-25 2018-05-25
US62/676,567 2018-05-25
PCT/US2019/028299 WO2019226259A1 (en) 2018-05-25 2019-04-19 Methods and apparatus for providing sub-muscular control

Publications (1)

Publication Number Publication Date
CN112469469A true CN112469469A (zh) 2021-03-09

Family

ID=68613954

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980049646.XA Pending CN112469469A (zh) 2018-05-25 2019-04-19 用于提供肌肉下控制的方法和装置

Country Status (4)

Country Link
US (1) US10772519B2 (zh)
EP (1) EP3801743A4 (zh)
CN (1) CN112469469A (zh)
WO (1) WO2019226259A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113885696A (zh) * 2021-08-20 2022-01-04 深圳先进技术研究院 外骨骼装置交互控制方法及其交互控制装置
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US11481031B1 (en) 2019-04-30 2022-10-25 Meta Platforms Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US11567573B2 (en) 2018-09-20 2023-01-31 Meta Platforms Technologies, Llc Neuromuscular text entry, writing and drawing in augmented reality systems
US11635736B2 (en) 2017-10-19 2023-04-25 Meta Platforms Technologies, Llc Systems and methods for identifying biological structures associated with neuromuscular source signals
US11644799B2 (en) 2013-10-04 2023-05-09 Meta Platforms Technologies, Llc Systems, articles and methods for wearable electronic devices employing contact sensors
CN116126151A (zh) * 2023-04-14 2023-05-16 广州市第一人民医院（广州消化疾病中心、广州医科大学附属市一人民医院、华南理工大学附属第二医院） 舌骨上肌群运动皮质区绘制方法、系统、存储介质及设备
US11666264B1 (en) 2013-11-27 2023-06-06 Meta Platforms Technologies, Llc Systems, articles, and methods for electromyography sensors
US11797087B2 (en) 2018-11-27 2023-10-24 Meta Platforms Technologies, Llc Methods and apparatus for autocalibration of a wearable electrode sensor system
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10042422B2 (en) 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
US11337652B2 (en) 2016-07-25 2022-05-24 Facebook Technologies, Llc System and method for measuring the movements of articulated rigid bodies
US10409371B2 (en) 2016-07-25 2019-09-10 Ctrl-Labs Corporation Methods and apparatus for inferring user intent based on neuromuscular signals
US11179066B2 (en) 2018-08-13 2021-11-23 Facebook Technologies, Llc Real-time spike detection and identification
US10990174B2 (en) 2016-07-25 2021-04-27 Facebook Technologies, Llc Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors
US11216069B2 (en) 2018-05-08 2022-01-04 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
US10687759B2 (en) 2018-05-29 2020-06-23 Facebook Technologies, Llc Shielding techniques for noise reduction in surface electromyography signal measurement and related systems and methods
US11069148B2 (en) 2018-01-25 2021-07-20 Facebook Technologies, Llc Visualization of reconstructed handstate information
US10937414B2 (en) 2018-05-08 2021-03-02 Facebook Technologies, Llc Systems and methods for text input using neuromuscular information
US10592001B2 (en) 2018-05-08 2020-03-17 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
CN112585600A (zh) 2018-06-14 2021-03-30 脸谱科技有限责任公司 使用神经肌肉标记进行用户识别和认证
WO2020018892A1 (en) 2018-07-19 2020-01-23 Ctrl-Labs Corporation Methods and apparatus for improved signal robustness for a wearable neuromuscular recording device
US10842407B2 (en) 2018-08-31 2020-11-24 Facebook Technologies, Llc Camera-guided interpretation of neuromuscular signals
WO2020069181A1 (en) * 2018-09-26 2020-04-02 Ctrl-Labs Corporation Neuromuscular control of physical objects in an environment
CN112822992A (zh) 2018-10-05 2021-05-18 脸谱科技有限责任公司 在增强现实环境中使用神经肌肉信号来提供与物理对象的增强交互
US10905383B2 (en) 2019-02-28 2021-02-02 Facebook Technologies, Llc Methods and apparatus for unsupervised one-shot machine learning for classification of human gestures and estimation of applied forces
EP4091664A4 (en) * 2020-01-13 2023-09-13 Zandona Freitas, Ângelo Eustáquio METHOD AND SYSTEM FOR ARTIFICIAL ACTIVATION AND MONITORING OF NEUROMUSCULAR TISSUE BASED ON ARTIFICIAL INTELLIGENCE
TWI816595B (zh) * 2022-11-01 2023-09-21 國立東華大學 動態肌力分析方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090005700A1 (en) * 2007-06-29 2009-01-01 The Regents Of The University Of California Multi-channel myoelectrical control using single muscle
CN106061369A (zh) * 2013-11-04 2016-10-26 帝国创新技术有限公司 生物力学活动监测
US20160313798A1 (en) * 2015-04-22 2016-10-27 Medibotics Llc Nerd of the Rings -- Devices for Measuring Finger Motion and Recognizing Hand Gestures

Family Cites Families (196)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4055168A (en) 1976-09-21 1977-10-25 The Rockefeller University Posture training device
IL78244A0 (en) 1986-03-24 1986-07-31 Zvi Kamil Instrumentation amplifier arrangement
US5625577A (en) 1990-12-25 1997-04-29 Shukyohojin, Kongo Zen Sohonzan Shorinji Computer-implemented motion analysis method using dynamics
JP3103427B2 (ja) 1992-04-01 2000-10-30 ダイヤメディカルシステム株式会社 生体電気現象検出装置
AU3954997A (en) 1996-08-14 1998-03-06 Nurakhmed Nurislamovich Latypov Method for following and imaging a subject's three-dimensional position and orientation, method for presenting a virtual space to a subject, and systems for implementing said methods
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
WO2000010455A1 (en) 1998-08-24 2000-03-02 Emory University Method and apparatus for predicting the onset of seizures based on features derived from signals indicative of brain activity
US6244873B1 (en) 1998-10-16 2001-06-12 At&T Corp. Wireless myoelectric control apparatus and methods
US6774885B1 (en) 1999-01-20 2004-08-10 Motek B.V. System for dynamic registration, evaluation, and correction of functional human behavior
US6411843B1 (en) 1999-05-28 2002-06-25 Respironics, Inc. Method and apparatus for producing a model EMG signal from a measured EMG signal
US6720984B1 (en) 2000-06-13 2004-04-13 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Characterization of bioelectric potentials
US20030184544A1 (en) 2000-07-24 2003-10-02 Prudent Jean Nicholson Modeling human beings by symbol manipulation
WO2002037827A2 (en) 2000-10-30 2002-05-10 Naval Postgraduate School Method and apparatus for motion tracking of an articulated rigid body
WO2003063684A2 (en) 2002-01-25 2003-08-07 Intellipatch, Inc. Evaluation of a patient and prediction of chronic symptoms
JP2003255993A (ja) 2002-03-04 2003-09-10 Ntt Docomo Inc 音声認識システム、音声認識方法、音声認識プログラム、音声合成システム、音声合成方法、音声合成プログラム
US6942621B2 (en) 2002-07-11 2005-09-13 Ge Medical Systems Information Technologies, Inc. Method and apparatus for detecting weak physiological signals
KR100506084B1 (ko) 2002-10-24 2005-08-05 삼성전자주식회사 경혈점 탐색 장치 및 방법
US7787946B2 (en) 2003-08-18 2010-08-31 Cardiac Pacemakers, Inc. Patient monitoring, diagnosis, and/or therapy systems and methods
JP4178186B2 (ja) 2003-08-21 2008-11-12 国立大学法人 筑波大学 装着式動作補助装置、装着式動作補助装置の制御方法および制御用プログラム
CN1838933B (zh) 2003-08-21 2010-12-08 国立大学法人筑波大学 穿着式动作辅助装置、穿着式动作辅助装置的控制方法和控制用程序
US7565295B1 (en) 2003-08-28 2009-07-21 The George Washington University Method and apparatus for translating hand gestures
US7574253B2 (en) 2003-09-26 2009-08-11 Northwestern University Signal processing using non-linear regression with a sinusoidal model
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
JP4590640B2 (ja) 2004-06-16 2010-12-01 国立大学法人 東京大学 筋骨格モデルに基づく筋力取得方法及び装置
US20060206167A1 (en) 2005-01-06 2006-09-14 Flaherty J C Multi-device patient ambulation system
WO2006105094A2 (en) 2005-03-29 2006-10-05 Duke University Sensor system for identifying and tracking movements of multiple sources
US8190249B1 (en) 2005-08-01 2012-05-29 Infinite Biomedical Technologies, Llc Multi-parametric quantitative analysis of bioelectrical signals
US7725147B2 (en) 2005-09-29 2010-05-25 Nellcor Puritan Bennett Llc System and method for removing artifacts from waveforms
US8280503B2 (en) 2008-10-27 2012-10-02 Michael Linderman EMG measured during controlled hand movement for biometric analysis, medical diagnosis and related analysis
JP4826459B2 (ja) 2006-01-12 2011-11-30 株式会社豊田中央研究所 筋骨格モデル作成方法、人体応力／ひずみ推定方法、プログラムおよび記録媒体
US8762733B2 (en) 2006-01-30 2014-06-24 Adidas Ag System and method for identity confirmation using physiologic biometrics to determine a physiologic fingerprint
US7580742B2 (en) 2006-02-07 2009-08-25 Microsoft Corporation Using electroencephalograph signals for task classification and activity recognition
US7827000B2 (en) 2006-03-03 2010-11-02 Garmin Switzerland Gmbh Method and apparatus for estimating a motion parameter
US8311623B2 (en) 2006-04-15 2012-11-13 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for estimating surface electromyography
EP2010053A4 (en) 2006-04-21 2010-05-12 Quantum Applied Science And Re SYSTEM FOR MEASURING ELECTRIC SIGNALS
GB2453263A (en) 2006-05-16 2009-04-01 Douglas S Greer System and method for modeling the neocortex and uses therefor
US7661068B2 (en) 2006-06-12 2010-02-09 Microsoft Corporation Extended eraser functions
US9405372B2 (en) 2006-07-14 2016-08-02 Ailive, Inc. Self-contained inertial navigation system for interactive control using movable controllers
US8437844B2 (en) 2006-08-21 2013-05-07 Holland Bloorview Kids Rehabilitation Hospital Method, system and apparatus for real-time classification of muscle signals from self-selected intentional movements
JP4267648B2 (ja) 2006-08-25 2009-05-27 株式会社東芝 インターフェース装置及びその方法
US20080221487A1 (en) 2007-03-07 2008-09-11 Motek Bv Method for real time interactive visualization of muscle forces and joint torques in the human body
FR2916069B1 (fr) 2007-05-11 2009-07-31 Commissariat Energie Atomique Procede de traitement pour la capture de mouvement d'une structure articulee
DE102007044554B3 (de) 2007-07-18 2009-07-16 Siemens Ag Sensorband mit optischer Sensorfaser, Sensor mit diesem Sensorband und Verfahren zum Kalibrieren einer optischen Sensorfaser
US20090082692A1 (en) 2007-09-25 2009-03-26 Hale Kelly S System And Method For The Real-Time Evaluation Of Time-Locked Physiological Measures
US7714757B2 (en) 2007-09-26 2010-05-11 Medtronic, Inc. Chopper-stabilized analog-to-digital converter
FI20075798A0 (fi) 2007-11-12 2007-11-12 Polar Electro Oy Elektrodirakenne
US9597015B2 (en) 2008-02-12 2017-03-21 Portland State University Joint angle tracking with inertial sensors
US20100030532A1 (en) 2008-06-12 2010-02-04 Jasbir Arora System and methods for digital human model prediction and simulation
US8170656B2 (en) 2008-06-26 2012-05-01 Microsoft Corporation Wearable electromyography-based controllers for human-computer interface
US9037530B2 (en) 2008-06-26 2015-05-19 Microsoft Technology Licensing, Llc Wearable electromyography-based human-computer interface
US8447704B2 (en) 2008-06-26 2013-05-21 Microsoft Corporation Recognizing gestures from forearm EMG signals
US8444564B2 (en) 2009-02-02 2013-05-21 Jointvue, Llc Noninvasive diagnostic system
US8376968B2 (en) 2009-05-15 2013-02-19 The Hong Kong Polytechnic University Method and system for quantifying an intention of movement of a user
US20100315266A1 (en) 2009-06-15 2010-12-16 Microsoft Corporation Predictive interfaces with usability constraints
CN102573620B (zh) 2009-07-30 2014-10-22 开普敦大学 非介入式深层肌肉肌电描记
US8718980B2 (en) 2009-09-11 2014-05-06 Qualcomm Incorporated Method and apparatus for artifacts mitigation with multiple wireless sensors
US20110077484A1 (en) 2009-09-30 2011-03-31 Nellcor Puritan Bennett Ireland Systems And Methods For Identifying Non-Corrupted Signal Segments For Use In Determining Physiological Parameters
TWI496558B (zh) 2009-10-20 2015-08-21 Tatung Co 使用二極電極貼片量測心電圖與呼吸訊號之系統及方法
US8421634B2 (en) 2009-12-04 2013-04-16 Microsoft Corporation Sensing mechanical energy to appropriate the body for data input
US20120283526A1 (en) 2009-12-16 2012-11-08 Ictalcare A/S Method and a System for the Prediction of Epileptic Seizures
JP5471490B2 (ja) 2010-01-20 2014-04-16 オムロンヘルスケア株式会社 体動検出装置
US8351651B2 (en) 2010-04-26 2013-01-08 Microsoft Corporation Hand-location post-process refinement in a tracking system
US8754862B2 (en) 2010-07-11 2014-06-17 Lester F. Ludwig Sequential classification recognition of gesture primitives and window-based parameter smoothing for high dimensional touchpad (HDTP) user interfaces
FR2962821B1 (fr) 2010-07-13 2013-02-22 Commissariat Energie Atomique Procede et systeme de classification de signaux neuronaux, et procede de selection d'electrodes pour commande neuronale directe.
US20140052150A1 (en) 2010-08-02 2014-02-20 The Johns Hopkins University Method for presenting force sensor information using cooperative robot control and audio feedback
US20120066163A1 (en) 2010-09-13 2012-03-15 Nottingham Trent University Time to event data analysis method and system
WO2012175785A1 (en) 2011-06-20 2012-12-27 Nokia Corporation Methods, apparatuses and computer program products for performing accurate pose estimation of objects
US9128521B2 (en) 2011-07-13 2015-09-08 Lumo Bodytech, Inc. System and method of biomechanical posture detection and feedback including sensor normalization
US9707393B2 (en) * 2011-08-26 2017-07-18 National Yunlin University Of Science And Technology Feedback-control wearable upper-limb electrical stimulation device
US20130077820A1 (en) 2011-09-26 2013-03-28 Microsoft Corporation Machine learning gesture detection
FR2981561B1 (fr) 2011-10-21 2015-03-20 Commissariat Energie Atomique Procede de detection d'activite a capteur de mouvements, dispositif et programme d'ordinateur correspondants
US10430066B2 (en) 2011-12-06 2019-10-01 Nri R&D Patent Licensing, Llc Gesteme (gesture primitive) recognition for advanced touch user interfaces
JP2013206273A (ja) 2012-03-29 2013-10-07 Sony Corp 情報処理装置、情報処理方法、および情報処理システム
US10130298B2 (en) 2012-04-03 2018-11-20 Carnegie Mellon University Musculoskeletal activity recognition system and method
US9278453B2 (en) 2012-05-25 2016-03-08 California Institute Of Technology Biosleeve human-machine interface
WO2013177592A2 (en) 2012-05-25 2013-11-28 Emotiv Lifesciences, Inc. System and method for providing and aggregating biosignals and action data
US10921886B2 (en) 2012-06-14 2021-02-16 Medibotics Llc Circumferential array of electromyographic (EMG) sensors
US9582072B2 (en) 2013-09-17 2017-02-28 Medibotics Llc Motion recognition clothing [TM] with flexible electromagnetic, light, or sonic energy pathways
US9814426B2 (en) 2012-06-14 2017-11-14 Medibotics Llc Mobile wearable electromagnetic brain activity monitor
US8484022B1 (en) 2012-07-27 2013-07-09 Google Inc. Adaptive auto-encoders
US10234941B2 (en) 2012-10-04 2019-03-19 Microsoft Technology Licensing, Llc Wearable sensor for tracking articulated body-parts
WO2014085910A1 (en) 2012-12-04 2014-06-12 Interaxon Inc. System and method for enhancing content using brain-state data
US20140196131A1 (en) 2013-01-07 2014-07-10 Salutron, Inc. User authentication based on a wrist vein pattern
US10528135B2 (en) 2013-01-14 2020-01-07 Ctrl-Labs Corporation Wearable muscle interface systems, devices and methods that interact with content displayed on an electronic display
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
KR102330889B1 (ko) 2013-02-22 2021-11-26 페이스북 테크놀로지스, 엘엘씨 제스처-기반 제어를 위해 근활성도 센서 신호와 관성 센서 신호를 결합하는 방법 및 기기
US20140245200A1 (en) 2013-02-25 2014-08-28 Leap Motion, Inc. Display control with gesture-selectable control paradigms
US20140249397A1 (en) 2013-03-01 2014-09-04 Thalmic Labs Inc. Differential non-contact biopotential sensor
US9436287B2 (en) 2013-03-15 2016-09-06 Qualcomm Incorporated Systems and methods for switching processing modes using gestures
US9361411B2 (en) 2013-03-15 2016-06-07 Honeywell International, Inc. System and method for selecting a respirator
US9766709B2 (en) 2013-03-15 2017-09-19 Leap Motion, Inc. Dynamic user interactions for display control
IN2013MU01148A (zh) 2013-03-26 2015-04-24 Tata Consultancy Services Ltd
US10620709B2 (en) 2013-04-05 2020-04-14 Ultrahaptics IP Two Limited Customized gesture interpretation
WO2014186370A1 (en) 2013-05-13 2014-11-20 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices that accommodate different user forms
US10314506B2 (en) 2013-05-15 2019-06-11 Polar Electro Oy Heart activity sensor structure
US10620775B2 (en) 2013-05-17 2020-04-14 Ultrahaptics IP Two Limited Dynamic interactive objects
US9218574B2 (en) 2013-05-29 2015-12-22 Purepredictive, Inc. User interface for machine learning
KR20160016925A (ko) 2013-05-31 2016-02-15 프레지던트 앤드 펠로우즈 오브 하바드 칼리지 인간 모션과의 보조를 위한 소프트 엑소슈트
EP3003149A4 (en) 2013-06-03 2017-06-14 Kacyvenski, Isaiah Motion sensor and analysis
KR101933921B1 (ko) 2013-06-03 2018-12-31 삼성전자주식회사 포즈 추정 방법 및 장치
WO2014204330A1 (en) 2013-06-17 2014-12-24 3Divi Company Methods and systems for determining 6dof location and orientation of head-mounted display and associated user movements
US20140376773A1 (en) 2013-06-21 2014-12-25 Leap Motion, Inc. Tunable operational parameters in motion-capture and touchless interface operation
US10402517B2 (en) 2013-06-26 2019-09-03 Dassault Systémes Simulia Corp. Musculo-skeletal modeling using finite element analysis, process integration, and design optimization
US9408316B2 (en) 2013-07-22 2016-08-02 Thalmic Labs Inc. Systems, articles and methods for strain mitigation in wearable electronic devices
US20150029092A1 (en) 2013-07-23 2015-01-29 Leap Motion, Inc. Systems and methods of interpreting complex gestures
US20150057770A1 (en) 2013-08-23 2015-02-26 Thaimic Labs Inc. Systems, articles, and methods for human-electronics interfaces
US10042422B2 (en) 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
US11426123B2 (en) 2013-08-16 2022-08-30 Meta Platforms Technologies, Llc Systems, articles and methods for signal routing in wearable electronic devices that detect muscle activity of a user using a set of discrete and separately enclosed pod structures
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US9788789B2 (en) 2013-08-30 2017-10-17 Thalmic Labs Inc. Systems, articles, and methods for stretchable printed circuit boards
US9372535B2 (en) 2013-09-06 2016-06-21 Thalmic Labs Inc. Systems, articles, and methods for electromyography-based human-electronics interfaces
US9483123B2 (en) 2013-09-23 2016-11-01 Thalmic Labs Inc. Systems, articles, and methods for gesture identification in wearable electromyography devices
EP3048955A2 (en) 2013-09-25 2016-08-03 MindMaze SA Physiological parameter measurement and feedback system
US9389694B2 (en) 2013-10-22 2016-07-12 Thalmic Labs Inc. Systems, articles, and methods for gesture identification in wearable electromyography devices
US9594433B2 (en) 2013-11-05 2017-03-14 At&T Intellectual Property I, L.P. Gesture-based controls via bone conduction
EP3068349A4 (en) 2013-11-13 2017-12-13 Hrl Laboratories, Llc System for controlling brain machine interfaces and neural prosthetic systems
WO2015081113A1 (en) 2013-11-27 2015-06-04 Cezar Morun Systems, articles, and methods for electromyography sensors
US20150157944A1 (en) 2013-12-06 2015-06-11 Glenn I. Gottlieb Software Application for Generating a Virtual Simulation for a Sport-Related Activity
US9367139B2 (en) 2013-12-12 2016-06-14 Thalmic Labs Inc. Systems, articles, and methods for gesture identification in wearable electromyography devices
US9659403B1 (en) 2014-01-06 2017-05-23 Leap Motion, Inc. Initializing orientation in space for predictive information for free space gesture control and communication
US9524580B2 (en) 2014-01-06 2016-12-20 Oculus Vr, Llc Calibration of virtual reality systems
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
WO2015123445A1 (en) 2014-02-14 2015-08-20 Thalmic Labs Inc. Systems, articles, and methods for elastic electrical cables and wearable electronic devices employing same
WO2015131157A1 (en) 2014-02-28 2015-09-03 Vikas Gupta Gesture operated wrist mounted camera system
US10613642B2 (en) 2014-03-12 2020-04-07 Microsoft Technology Licensing, Llc Gesture parameter tuning
US20150261306A1 (en) 2014-03-17 2015-09-17 Thalmic Labs Inc. Systems, devices, and methods for selecting between multiple wireless connections
US10199008B2 (en) 2014-03-27 2019-02-05 North Inc. Systems, devices, and methods for wearable electronic devices as state machines
US10409382B2 (en) 2014-04-03 2019-09-10 Honda Motor Co., Ltd. Smart tutorial for gesture control system
US20150296553A1 (en) 2014-04-11 2015-10-15 Thalmic Labs Inc. Systems, devices, and methods that establish proximity-based wireless connections
US9858391B2 (en) 2014-04-17 2018-01-02 The Boeing Company Method and system for tuning a musculoskeletal model
WO2015164951A1 (en) 2014-05-01 2015-11-05 Abbas Mohamad Methods and systems relating to personalized evolving avatars
US20150325202A1 (en) 2014-05-07 2015-11-12 Thalmic Labs Inc. Systems, devices, and methods for wearable computers with heads-up displays
US9785247B1 (en) 2014-05-14 2017-10-10 Leap Motion, Inc. Systems and methods of tracking moving hands and recognizing gestural interactions
USD717685S1 (en) 2014-05-15 2014-11-18 Thalmic Labs Inc. Expandable armband
USD756359S1 (en) 2014-05-15 2016-05-17 Thalmic Labs Inc. Expandable armband device
US9741169B1 (en) 2014-05-20 2017-08-22 Leap Motion, Inc. Wearable augmented reality devices with object detection and tracking
US10782657B2 (en) 2014-05-27 2020-09-22 Ultrahaptics IP Two Limited Systems and methods of gestural interaction in a pervasive computing environment
US9880632B2 (en) 2014-06-19 2018-01-30 Thalmic Labs Inc. Systems, devices, and methods for gesture identification
US10216274B2 (en) 2014-06-23 2019-02-26 North Inc. Systems, articles, and methods for wearable human-electronics interface devices
WO2015199747A1 (en) 2014-06-23 2015-12-30 Thalmic Labs Inc. Systems, articles, and methods for wearable human-electronics interface devices
US9552069B2 (en) 2014-07-11 2017-01-24 Microsoft Technology Licensing, Llc 3D gesture recognition
US9734704B2 (en) 2014-08-12 2017-08-15 Dominick S. LEE Wireless gauntlet for electronic control
WO2016041088A1 (en) 2014-09-19 2016-03-24 Sulon Technologies Inc. System and method for tracking wearable peripherals in augmented reality and virtual reality applications
US10274992B2 (en) 2014-11-12 2019-04-30 Kyocera Corporation Wearable device with muscle activity detector
US9612661B2 (en) 2015-01-02 2017-04-04 Wearable Devices Ltd. Closed loop feedback interface for wearable devices
US9720515B2 (en) 2015-01-02 2017-08-01 Wearable Devices Ltd. Method and apparatus for a gesture controlled interface for wearable devices
US9696795B2 (en) 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
US20160274758A1 (en) 2015-03-20 2016-09-22 Thalmic Labs Inc. Systems, devices, and methods for mitigating false positives in human-electronics interfaces
US10432842B2 (en) 2015-04-06 2019-10-01 The Texas A&M University System Fusion of inertial and depth sensors for movement measurements and recognition
US10078435B2 (en) 2015-04-24 2018-09-18 Thalmic Labs Inc. Systems, methods, and computer program products for interacting with electronically displayed presentation materials
GB2537899B (en) 2015-04-30 2018-02-21 Hy5Pro As Control of digits for artificial hand
US9898864B2 (en) 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
US10765859B2 (en) 2015-06-02 2020-09-08 Battelle Memorial Institute Neural sleeve for neuromuscular stimulation, sensing and recording
EP3556429B1 (en) 2015-06-02 2021-10-13 Battelle Memorial Institute Non-invasive motor impairment rehabilitation system
US11589814B2 (en) 2015-06-26 2023-02-28 Carnegie Mellon University System for wearable, low-cost electrical impedance tomography for non-invasive gesture recognition
US9240069B1 (en) 2015-06-30 2016-01-19 Ariadne's Thread (Usa), Inc. Low-latency virtual reality display system
EP3329484A4 (en) 2015-07-29 2019-06-05 Sensel Inc. SYSTEMS AND METHODS FOR HANDLING A VIRTUAL ENVIRONMENT
KR101626748B1 (ko) 2015-08-03 2016-06-14 숭실대학교산학협력단 뇌파와 근전도를 이용한 움직임 패턴 측정 장치 및 그 방법
US10854104B2 (en) 2015-08-28 2020-12-01 Icuemotion Llc System for movement skill analysis and skill augmentation and cueing
US9824287B2 (en) 2015-09-29 2017-11-21 Huami Inc. Method, apparatus and system for biometric identification
US10459537B2 (en) 2015-09-30 2019-10-29 Stmicroelectronics, Inc. Encapsulated pressure sensor
WO2017062544A1 (en) 2015-10-06 2017-04-13 University Of Pittsburgh-Of The Commonwealth System Of Higher Education Method, device and system for sensing neuromuscular, physiological, biomechanical, and musculoskeletal activity
US9881273B2 (en) 2015-10-28 2018-01-30 Disney Interprises, Inc. Automatic object detection and state estimation via electronic emissions sensing
US11106273B2 (en) 2015-10-30 2021-08-31 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays
US10595941B2 (en) 2015-10-30 2020-03-24 Orthosensor Inc. Spine measurement system and method therefor
CN105511615B (zh) 2015-12-04 2019-03-05 深圳大学 基于emg的可穿戴式文本输入系统及方法
US20170188980A1 (en) 2016-01-06 2017-07-06 Empire Technology Development Llc Wearable sensor based body modeling
US11402402B2 (en) 2016-01-12 2022-08-02 Bigmotion Technologies Inc. Systems and methods for human body motion capture
US20170259167A1 (en) 2016-03-14 2017-09-14 Nathan Sterling Cook Brainwave virtual reality apparatus and method
EP3436902A4 (en) 2016-03-31 2019-11-27 Sensel Inc. HUMAN-COMPUTER INTERFACE SYSTEM
US10503253B2 (en) 2016-03-31 2019-12-10 Intel Corporation Sensor signal processing to determine finger and/or hand position
US10852835B2 (en) 2016-04-15 2020-12-01 Board Of Regents, The University Of Texas System Systems, apparatuses and methods for controlling prosthetic devices by gestures and other modalities
US10320071B2 (en) 2016-04-19 2019-06-11 Skyworks Solutions, Inc. Methods for selectively shielding radio frequency modules
US10203751B2 (en) 2016-05-11 2019-02-12 Microsoft Technology Licensing, Llc Continuous motion controls operable using neurological data
US9864431B2 (en) 2016-05-11 2018-01-09 Microsoft Technology Licensing, Llc Changing an application state using neurological data
KR101790147B1 (ko) 2016-06-22 2017-10-25 재단법인 실감교류인체감응솔루션연구단 가상 객체 조작 시스템 및 방법
WO2018002722A1 (en) 2016-07-01 2018-01-04 L.I.F.E. Corporation S.A. Biometric identification by garments having a plurality of sensors
US11337652B2 (en) 2016-07-25 2022-05-24 Facebook Technologies, Llc System and method for measuring the movements of articulated rigid bodies
US20190121306A1 (en) 2017-10-19 2019-04-25 Ctrl-Labs Corporation Systems and methods for identifying biological structures associated with neuromuscular source signals
US10409371B2 (en) * 2016-07-25 2019-09-10 Ctrl-Labs Corporation Methods and apparatus for inferring user intent based on neuromuscular signals
US10990174B2 (en) 2016-07-25 2021-04-27 Facebook Technologies, Llc Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors
EP3487457B1 (en) 2016-07-25 2023-09-06 Facebook Technologies, LLC. Adaptive system for deriving control signals from measurements of neuromuscular activity
US10489986B2 (en) 2018-01-25 2019-11-26 Ctrl-Labs Corporation User-controlled tuning of handstate representation model parameters
EP3548994B1 (en) 2016-12-02 2021-08-11 Pison Technology, Inc. Detecting and using body tissue electrical signals
US10646139B2 (en) 2016-12-05 2020-05-12 Intel Corporation Body movement tracking
US20190025919A1 (en) 2017-01-19 2019-01-24 Mindmaze Holding Sa System, method and apparatus for detecting facial expression in an augmented reality system
EP3609402A4 (en) 2017-04-14 2020-12-16 Rehabilitation Institute Of Chicago D/B/A Shirley PROSTHETIC VIRTUAL REALITY LEARNING INTERFACE AND RELATED PROCESSES
US20190076716A1 (en) 2017-09-12 2019-03-14 Intel Corporation Activity training system
US20190150777A1 (en) 2017-11-17 2019-05-23 Ctrl-Labs Corporation Dual-supply analog circuitry for sensing surface emg signals
US10827942B2 (en) 2018-01-03 2020-11-10 Intel Corporation Detecting fatigue based on electroencephalogram (EEG) data
CN111902077B (zh) 2018-01-25 2023-08-04 元平台技术有限公司 利用神经肌肉信号进行手部状态表示建模的校准技术
US10504286B2 (en) 2018-01-25 2019-12-10 Ctrl-Labs Corporation Techniques for anonymizing neuromuscular signal data
US11069148B2 (en) 2018-01-25 2021-07-20 Facebook Technologies, Llc Visualization of reconstructed handstate information
EP3742962A4 (en) 2018-01-25 2021-04-28 Facebook Technologies, LLC. NEUROMUSCULAR SIGNAL ARTIFACT MITIGATION METHODS AND APPARATUS
EP3743901A4 (en) 2018-01-25 2021-03-31 Facebook Technologies, Inc. REAL-TIME PROCESSING OF HAND REPRESENTATION MODEL ESTIMATES
CN112005198A (zh) 2018-01-25 2020-11-27 脸谱科技有限责任公司 基于多个输入的手部状态重建

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090005700A1 (en) * 2007-06-29 2009-01-01 The Regents Of The University Of California Multi-channel myoelectrical control using single muscle
CN106061369A (zh) * 2013-11-04 2016-10-26 帝国创新技术有限公司 生物力学活动监测
US20160313798A1 (en) * 2015-04-22 2016-10-27 Medibotics Llc Nerd of the Rings -- Devices for Measuring Finger Motion and Recognizing Hand Gestures

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DARIO FARINA等: ""The Extraction of Neural Information from the Surface EMG for the Control of Upper-Limb Prostheses: Emerging Avenues and Challenges"", 《IEEE TRANSACTIONS ON NEURAL SYSTEMS AND REHABILITATION ENGINEERING》, vol. 22, no. 4, 14 February 2014 (2014-02-14), pages 797, XP011552681, DOI: 10.1109/TNSRE.2014.2305111 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US11644799B2 (en) 2013-10-04 2023-05-09 Meta Platforms Technologies, Llc Systems, articles and methods for wearable electronic devices employing contact sensors
US11666264B1 (en) 2013-11-27 2023-06-06 Meta Platforms Technologies, Llc Systems, articles, and methods for electromyography sensors
US11635736B2 (en) 2017-10-19 2023-04-25 Meta Platforms Technologies, Llc Systems and methods for identifying biological structures associated with neuromuscular source signals
US11567573B2 (en) 2018-09-20 2023-01-31 Meta Platforms Technologies, Llc Neuromuscular text entry, writing and drawing in augmented reality systems
US11797087B2 (en) 2018-11-27 2023-10-24 Meta Platforms Technologies, Llc Methods and apparatus for autocalibration of a wearable electrode sensor system
US11941176B1 (en) 2018-11-27 2024-03-26 Meta Platforms Technologies, Llc Methods and apparatus for autocalibration of a wearable electrode sensor system
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US11481031B1 (en) 2019-04-30 2022-10-25 Meta Platforms Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
CN113885696A (zh) * 2021-08-20 2022-01-04 深圳先进技术研究院 外骨骼装置交互控制方法及其交互控制装置
CN116126151A (zh) * 2023-04-14 2023-05-16 广州市第一人民医院（广州消化疾病中心、广州医科大学附属市一人民医院、华南理工大学附属第二医院） 舌骨上肌群运动皮质区绘制方法、系统、存储介质及设备
CN116126151B (zh) * 2023-04-14 2023-08-08 广州市第一人民医院（广州消化疾病中心、广州医科大学附属市一人民医院、华南理工大学附属第二医院） 舌骨上肌群运动皮质区绘制方法、系统、存储介质及设备

Also Published As

Publication number Publication date
EP3801743A1 (en) 2021-04-14
US10772519B2 (en) 2020-09-15
WO2019226259A1 (en) 2019-11-28
US20190357787A1 (en) 2019-11-28
EP3801743A4 (en) 2021-08-04

Similar Documents

Publication Publication Date Title
US10772519B2 (en) Methods and apparatus for providing sub-muscular control
EP3843617B1 (en) Camera-guided interpretation of neuromuscular signals
US11163361B2 (en) Calibration techniques for handstate representation modeling using neuromuscular signals
US20200097081A1 (en) Neuromuscular control of an augmented reality system
US10504286B2 (en) Techniques for anonymizing neuromuscular signal data
US11179066B2 (en) Real-time spike detection and identification
CN110337269B (zh) 基于神经肌肉信号推断用户意图的方法和装置
US20220269346A1 (en) Methods and apparatuses for low latency body state prediction based on neuromuscular data
US10970374B2 (en) User identification and authentication with neuromuscular signatures
US9037530B2 (en) Wearable electromyography-based human-computer interface
US8170656B2 (en) Wearable electromyography-based controllers for human-computer interface
US8447704B2 (en) Recognizing gestures from forearm EMG signals
RU2683859C1 (ru) Способ и система управления электронными устройствами с помощью электромиографического устройства считывания
US20220019284A1 (en) Feedback from neuromuscular activation within various types of virtual and/or augmented reality environments
WO2023196578A1 (en) Addressable serial electrode arrays for neurostimulation and/or recording applications and wearable patch system with on-board motion sensing and magnetically attached disposable for rehabilitation and physical therapy applications
Ibáñez Jiménez Real-time EMG Control for Hand Exoskeletons
Werner Cutaneous stimulus registration and information processing in the somesthetic cortex
Olson II Use and adaptation in a novel brain machine interface

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: California, USA

Applicant after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Applicant before: Facebook Technologies, LLC