CN112566553A - 实时尖峰检测和识别 - Google Patents

实时尖峰检测和识别 Download PDF

Info

Publication number
CN112566553A
CN112566553A CN201980053249.XA CN201980053249A CN112566553A CN 112566553 A CN112566553 A CN 112566553A CN 201980053249 A CN201980053249 A CN 201980053249A CN 112566553 A CN112566553 A CN 112566553A
Authority
CN
China
Prior art keywords
spiking
computer
neuromuscular
event
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980053249.XA
Other languages
English (en)
Inventor
P·凯福什
亚历山大·巴拉尚
迈克尔·艾萨克·曼德尔
丹尼尔·韦特莫尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Facebook Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Technologies LLC filed Critical Facebook Technologies LLC
Publication of CN112566553A publication Critical patent/CN112566553A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/296—Bioelectric electrodes therefor specially adapted for particular uses for electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A61B5/397—Analysis of electromyograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/486—Bio-feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6824—Arm or wrist
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7282—Event detection, e.g. detecting unique waveforms indicative of a medical condition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/388—Nerve conduction study, e.g. detecting action potential of peripheral nerves
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Fuzzy Systems (AREA)
  • Power Engineering (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Dermatology (AREA)

Abstract

用于实质上实时地检测在神经肌肉数据中的尖峰事件的方法和装置。该方法包括从被布置在由用户穿戴的一个或更多个可穿戴设备上的多个神经肌肉传感器接收多个神经肌肉信号，基于多个神经肌肉信号或从多个神经肌肉信号导出的信息来检测对应于在至少一个运动单元中的动作电位的激发的至少一个尖峰事件，基于多个神经肌肉信号或从多个神经肌肉信号导出的信息来确定检测到的至少一个尖峰事件的生物源，并且至少部分地基于检测到的至少一个尖峰事件和/或检测到的至少一个尖峰事件的所确定的生物源来生成至少一个输出。

Description

实时尖峰检测和识别
背景
由人类中枢神经系统产生的神经肌肉信号可以反映导致在人体中的一个或更多个肌肉的收缩的神经激活。神经肌肉传感器——其的示例包括放置在人体的表面上的肌电图(EMG)传感器，其记录当骨骼肌细胞被激活时产生的神经肌肉活动。由神经肌肉传感器测量的神经肌肉活动可以由神经激活、肌肉兴奋、肌肉收缩或神经激活和肌肉收缩的组合产生。由神经肌肉传感器记录的信号常规地用于评估患有运动控制障碍的患者的神经肌肉机能障碍，并且在一些应用中已经被用作对例如假肢的设备的控制信号。
概述
在人体中共同导致运动任务的执行的骨骼肌的协调运动由在中枢神经系统中产生的神经信号引起。神经信号经由脊髓运动神经元从中枢神经系统行进到肌肉，脊髓运动神经元中的每个具有在脊髓中的细胞体和在一个或更多个肌肉纤维上的轴突终末。响应于接收到神经信号，肌肉纤维收缩，导致肌肉运动。脊髓运动神经元和其所支配的肌肉纤维被统称为“运动单元”。肌肉一般包括来自数百个运动单元的肌肉纤维，并且在多个运动单元中的肌肉纤维的同时收缩通常是肌肉收缩所需要的，肌肉收缩导致骨骼段的运动和/或由身体的一个部位施加的力。
肌肉展示运动单元募集(motor unit recruitment)的特征模式，其中运动单元被依次激活，其中被激活的运动单元的数量取决于期望的肌肉收缩的强度。当运动单元被激活时，运动单元动作电位(MUAP)在运动单元的每个肌肉纤维中被生成。神经肌肉传感器(例如肌电图(EMG)传感器)记录导致运动活动(例如肌肉的收缩)的电化学信号。在布置在人体的表面上的EMG传感器的情况下，所记录的生物信号与在运动单元的肌肉纤维中的MUAP的生成有关。MUAP只有在相对应的运动单元由它的运动神经元触发时才出现。一些实施例是针对分析神经肌肉信号以识别在运动单元的运动神经元中的导致在运动单元的肌肉纤维中的MUAP的生成的尖峰事件。基于一个或更多个识别出的尖峰事件而确定的控制信号可以在一些实施例中被用于控制设备的操作。
一些实施例是针对计算机化系统。该计算机化系统包括：多个神经肌肉传感器，该多个神经肌肉传感器被配置成记录来自用户的多个神经肌肉信号，其中，多个神经肌肉传感器被布置在一个或更多个可穿戴设备上；以及至少一个计算机处理器。至少一个计算机处理器被编程为基于多个神经肌肉信号或从多个神经肌肉信号导出的信息来检测对应于在至少一个运动单元中的动作电位的激发的至少一个尖峰事件，基于多个神经肌肉信号或从多个神经肌肉信号导出的信息来确定检测到的至少一个尖峰事件的生物源，并至少部分地基于检测到的至少一个尖峰事件和/或对检测到的至少一个尖峰事件的所确定的生物源来生成至少一个输出。
根据一个方面，提供了一种计算机化系统。该系统包括：多个神经肌肉传感器，该多个神经肌肉传感器被配置为记录来自用户的多个神经肌肉信号，其中多个神经肌肉传感器被布置在一个或更多个可穿戴设备上；至少一个计算机处理器，该至少一个计算机处理器被编程为基于多个神经肌肉信号或从多个神经肌肉信号导出的信息来检测对应于在至少一个运动单元中的动作电位的激发的至少一个尖峰事件，基于多个神经肌肉信号或从多个神经肌肉信号导出的信息来确定检测到的至少一个尖峰事件的生物源，并至少部分地基于检测到的至少一个尖峰事件和/或对检测到的至少一个尖峰事件的所确定的生物源来生成至少一个输出。
根据一个实施例，至少一个计算机处理器还被编程为应用用于从与相应的检测到的尖峰事件相关联的多个生物源中选择最佳生物源的一个或更多个标准，选择与最佳生物源相关联的至少一个最佳尖峰事件，并且从神经肌肉信号中的至少一个神经肌肉信号减去关于至少最佳尖峰事件的检测到的波形，并且生成残留神经肌肉信号。根据一个实施例，至少一个计算机处理器还被编程为执行用于处理检测到的尖峰事件的迭代过程，直到在残留信号中不存在满足用于选择作为尖峰事件的生物源的最小阈值的生物源为止。根据一个实施例，至少一个计算机处理器还被编程为基于共激活来将检测到的尖峰事件分组到特定肌肉组内，并将在特定肌肉组内的尖峰事件分类以近似募集曲线。根据一个实施例，至少一个计算机处理器还被编程为将至少一个滤波器应用于多个神经肌肉信号的时间滞后表示，并且其中，检测至少一个尖峰事件和确定检测到的至少一个尖峰事件的生物源是基于多个神经肌肉信号的滤波后的时间滞后表示来执行的。
根据一个实施例，将至少一个滤波器应用于多个神经肌肉传感器的时间滞后表示包括使用波束形成过程来将多个波束形成滤波器应用于多个神经肌肉信号的时间滞后表示，其中，多个波束形成滤波器是基于一个或更多个尖峰事件的时空模式而生成的滤波器。根据一个实施例，波束形成过程包括使用最小方差无失真响应技术。根据一个实施例，波束形成过程包括使用线性约束最小方差技术。
根据一个实施例，至少一个计算机处理器还被编程为确定对应于多个波束形成滤波器的一个或更多个尖峰事件的时空模式。根据一个实施例，确定对应于多个波束形成滤波器的一个或更多个尖峰事件的时空模式包括检测在记录的神经肌肉信号中的多个尖峰事件，将检测到的多个尖峰事件聚类，以及基于尖峰事件的集群来确定时空模式。根据一个实施例，检测多个尖峰事件包括在多个神经肌肉信号内检测低活动期，以及在低活动期内检测推定尖峰事件。根据一个实施例，检测多个尖峰事件还包括分析检测到的推定尖峰事件以丢弃具有一个或更多个特定特征的尖峰事件。根据一个实施例，一个或更多个特定特征包括比特定阈值持续时间更长的持续时间。
根据一个实施例，至少一个计算机处理器还被编程为使用一个或更多个神经网络来检测至少一个尖峰事件和/或确定检测到的至少一个尖峰事件的生物源。根据一个实施例，一个或更多个神经网络包括卷积神经网络。根据一个实施例，一个或更多个神经网络包括循环神经网络。根据一个实施例，至少一个计算机处理器还被编程为使用多步迭代技术以将多个神经肌肉信号的时间滞后表示分解成对应于至少一个生物源的信号分量，并且从至少一个生物源检测至少一个尖峰事件，来检测至少一个尖峰事件并确定检测到的至少一个尖峰事件的生物源。根据一个实施例，多步迭代技术包括矩阵分解。
根据一个实施例，生成至少一个输出包括生成包括至少一个尖峰事件的指示的压缩数据。根据一个实施例，至少一个尖峰事件的指示作为控制信号被提供到基于计算机的系统。根据一个实施例，至少一个尖峰事件的指示作为包括离散控制信号、连续控制信号和复合控制信号的组中的至少一个被提供。根据一个实施例，生成至少一个输出包括生成至少一个尖峰事件的指示。根据一个实施例，至少一个尖峰事件的指示包括至少一个尖峰事件的生物源和至少一个尖峰事件的出现的时间的指示。
根据一个实施例，至少一个计算机处理器被编程为响应于至少部分地基于检测到的至少一个尖峰事件和/或检测到的至少一个尖峰事件的所确定的生物源的至少一个输出而向用户提供反馈。根据一个实施例，至少一个计算机处理器被编程为向用户提供反馈作为用户训练过程的一部分。根据一个实施例，反馈包括包含听觉、视觉、触觉和多感觉反馈的组中的至少一个。根据一个实施例，该系统还包括惯性传感器，该惯性传感器被配置为确定至少一个运动单元的肌肉纤维相对于多个神经肌肉传感器中的一个或更多个神经肌肉传感器的空间位置的运动伪影或偏移。根据一个实施例，至少一个计算机处理器被编程为响应于惯性传感器的输出来过滤或细化推理模型的输出。
根据一个实施例，至少一个计算机处理器还被编程为通过一个或更多个无线网络将包括至少一个尖峰事件的指示的压缩数据传输到外部设备。根据一个实施例，该系统还包括至少一个存储设备，并且至少一个计算机处理器还被编程为将压缩数据存储在至少一个存储设备上。
根据一个实施例，生成至少一个输出包括生成包括由关节连接的多个刚性体段的已更新的计算机化肌肉骨骼表示，其中生成已更新的计算机化肌肉骨骼表示包括至少部分地基于检测到的至少一个尖峰事件和/或检测到的至少一个尖峰事件的识别出的生物源来确定描述在计算机化肌肉骨骼表示的多个刚性体段的两个或更多个连接的节段之间的空间关系的肌肉骨骼位置信息和/或描述在计算机化肌肉骨骼表示的多个刚性体段中的两个或更多个节段之间的力的力信息，以及至少部分地基于肌肉骨骼位置信息和/或力信息来更新计算机化肌肉骨骼表示。根据一个实施例，确定肌肉骨骼位置信息和/或力信息包括将检测到的至少一个尖峰事件和/或检测到的至少一个尖峰事件的识别出的生物源作为输入提供到经训练的推理模型，并且肌肉骨骼位置信息和/或力信息是至少部分地基于经训练的推理模型的输出来确定的。
根据一个实施例，生成至少一个输出包括实质上实时地生成用于控制至少一个设备的至少一个控制信号。根据一个实施例，检测至少一个尖峰事件包括检测至少一个尖峰事件的时空模式，并且生成至少一个控制信号包括至少部分地基于至少一个尖峰事件的检测到的时空模式的至少一个特征来生成至少一个控制信号。根据一个实施例，至少一个特征包括至少一个尖峰事件的速率和/或至少一个尖峰事件的检测到的时空模式的空间分布。根据一个实施例，识别出的生物源包括运动单元。根据一个实施例，识别出的生物源包括多个运动单元。根据一个实施例，识别出的生物源包括肌肉。根据一个实施例，识别出的生物源包括多个肌肉。
根据一个实施例，确定至少一个尖峰事件的生物源包括确定至少一个尖峰事件与运动单元或运动单元组相关联，至少一个计算机处理器还被编程为确定运动单元或运动单元组所属于的肌肉，并且其中生成至少一个输出包括基于运动单元或运动单元组所属于的所确定的肌肉来生成至少一个输出。根据一个实施例，所确定的肌肉与描述所确定的肌肉的运动单元的激活的序列的运动单元募集序列相关联，并且其中至少一个计算机处理器还被编程为确定运动单元或运动单元组落在所确定的肌肉的运动单元募集序列内哪里。
根据一个实施例，该系统还包括被配置为记录多个辅助信号的至少一个辅助传感器，并且其中至少一个计算机处理器还被编程为至少部分地基于多个辅助信号来生成至少一个输出。根据一个实施例，至少一个辅助传感器包括被配置为记录多个IMU信号的至少一个惯性测量单元(IMU)传感器，并且其中至少一个计算机处理器还被编程为至少部分地基于多个IMU信号和/或从多个IMU信号导出的信息来生成至少一个输出。根据一个实施例，至少一个辅助传感器包括被配置为记录一个或更多个图像的至少一个照相机，并且其中至少一个计算机处理器还被编程为至少部分地基于一个或更多个图像和/或从一个或更多个图像导出的信息来生成至少一个输出。根据一个实施例，检测至少一个尖峰事件还基于一个或更多个图像和/或从一个或更多个图像导出的信息。
根据一个实施例，至少一个计算机处理器作为与布置在一个或更多个可穿戴设备上的多个神经肌肉传感器分离并通信的设备的一部分被包括，并且其中多个神经肌肉传感器被配置成将多个神经肌肉信号和/或从多个神经肌肉信号导出的信息实质上实时地无线地流式传送到至少一个计算机处理器。根据一个实施例，与多个神经肌肉传感器分离并通信的设备是从包括以下项的组中选择的设备：远程服务器、台式计算机、膝上型计算机、智能手机和可穿戴电子设备。根据一个实施例，可穿戴电子设备是智能手表、健康监测设备、智能眼镜或增强现实系统。根据一个实施例，至少一个计算机处理器与一个或更多个可穿戴设备集成在一起，多个神经肌肉传感器被布置在一个或更多个可穿戴设备上。
根据一个实施例，至少一个计算机处理器包括至少一个第一计算机处理器和至少一个第二计算机处理器，至少一个第一计算机处理器作为与布置在一个或更多个可穿戴设备上的多个神经肌肉传感器分离并通信的设备的一部分被包括，至少一个第二计算机处理器与一个或更多个可穿戴设备集成在一起，多个神经肌肉传感器布置在一个或更多个可穿戴设备上。根据一个实施例，多个神经肌肉传感器被配置为将多个神经肌肉信号中的至少一些神经肌肉信号传输到至少一个第一计算机处理器，其中至少一个第一计算机处理器被编程为基于从多个神经肌肉传感器传输的多个神经肌肉信号中的至少一些来训练至少一个尖峰检测模型和/或至少一个尖峰识别模型，将经训练的至少一个尖峰检测模型和/或至少一个尖峰识别模型传输到至少一个第二计算机处理器，并且其中至少一个第二计算机处理器被编程为使用从至少一个第一计算机处理器传输的至少一个尖峰检测模型和/或至少一个尖峰识别模型，来检测至少一个尖峰事件并且确定检测到的至少一个尖峰事件的生物源。
根据一个实施例，至少一个尖峰检测模型和/或至少一个尖峰识别模型被训练以估计包括以下项的组中的至少一项：用户是否正在激活特定运动单元、用户是否正在以特定定时激活特定运动单元以及用户是否正在激活特定运动单元组合。根据一个实施例，检测对应于在至少一个运动单元中的动作电位的激发的至少一个尖峰事件包括检测对应于在多个运动单元中的动作电位的激发的至少一个尖峰事件。根据一个实施例，至少一个计算机处理器还被编程为将多个神经肌肉信号的滤波后的时间滞后表示阈值化以检测至少一个尖峰事件。
根据一个方面，提供了一种检测在神经肌肉数据中的尖峰事件的计算机实现的方法。该方法包括从布置在由用户穿戴的一个或更多个可穿戴设备上的多个神经肌肉传感器接收多个神经肌肉信号，基于多个神经肌肉信号或从多个神经肌肉信号导出的信息来检测对应于在至少一个运动单元中的动作电位的激发的至少一个尖峰事件，基于多个神经肌肉信号或从多个神经肌肉信号导出的信息来确定检测到的至少一个尖峰事件的生物源，并且至少部分地基于检测到的至少一个尖峰事件和/或检测到的至少一个尖峰事件的所确定的生物源来生成至少一个输出。
根据一个实施例，该方法还包括应用用于从与相应的检测到的尖峰事件相关联的多个生物源中选择最佳生物源的一个或更多个标准，选择与最佳生物源相关联的至少一个最佳尖峰事件，以及从神经肌肉信号中的至少一个神经肌肉信号减去关于至少最佳尖峰事件的检测到的波形，并生成残留神经肌肉信号。根据一个实施例，该方法还包括执行用于处理检测到的尖峰事件的迭代过程，直到在残留信号中不存在满足用于选择作为尖峰事件的生物源的最小阈值的生物源为止。根据一个实施例，该方法还包括基于共激活来将检测到的尖峰事件集合到特定肌肉组内，并将在特定肌肉组内的尖峰事件分类以近似募集曲线。
根据一个实施例，该方法还包括将至少一个滤波器应用于多个神经肌肉信号的时间滞后表示，并且其中基于多个神经肌肉信号的滤波后的时间滞后表示来执行检测至少一个尖峰事件和确定检测到的至少一个尖峰事件的生物源。根据一个实施例，将至少一个滤波器应用于多个神经肌肉传感器的时间滞后表示包括使用波束形成过程来将多个波束形成滤波器应用于多个神经肌肉信号的时间滞后表示，其中多个波束形成滤波器是基于一个或更多个尖峰事件的时空模式而生成的滤波器。根据一个实施例，波束形成过程包括使用最小方差无失真响应技术。根据一个实施例，波束形成过程包括使用线性约束最小方差技术。
根据一个实施例，该方法还包括确定对应于多个波束形成滤波器的一个或更多个尖峰事件的时空模式。根据一个实施例，确定对应于多个波束形成滤波器的一个或更多个尖峰事件的时空模式包括检测在记录的神经肌肉信号中的多个尖峰事件，将检测到的多个尖峰事件聚类，以及基于尖峰事件的集群来确定时空模式。根据一个实施例，检测多个尖峰事件包括在多个神经肌肉信号内检测低活动期；以及在低活动期内检测推定尖峰事件。根据一个实施例，检测多个尖峰事件还包括分析检测到的推定尖峰事件以丢弃具有一个或更多个特定特征的尖峰事件。根据一个实施例，一个或更多个特定特征包括比特定阈值持续时间更长的持续时间。
根据一个实施例，方法还包括使用一个或更多个神经网络来检测至少一个尖峰事件和/或确定检测到的至少一个尖峰事件的生物源。根据一个实施例，一个或更多个神经网络包括卷积神经网络。根据一个实施例，一个或更多个神经网络包括循环神经网络。根据一个实施例，该方法还包括使用多步迭代技术以将多个神经肌肉信号的时间滞后表示分解成对应于至少一个生物源的信号分量，并从至少一个生物源检测至少一个尖峰事件，来检测至少一个尖峰事件并确定检测到的至少一个尖峰事件的生物源。根据一个实施例，多步迭代技术包括矩阵分解。
根据一个实施例，生成至少一个输出包括生成包括至少一个尖峰事件的指示的压缩数据。根据一个实施例，至少一个尖峰事件的指示作为控制信号被提供到基于计算机的系统。根据一个实施例，至少一个尖峰事件的指示作为包括离散控制信号、连续控制信号和复合控制信号的组中的至少一个被提供。根据一个实施例，生成至少一个输出包括生成至少一个尖峰事件的指示。根据一个实施例，至少一个尖峰事件的指示包括至少一个尖峰事件的生物源和至少一个尖峰事件的出现的时间的指示。
根据一个实施例，该方法还包括响应于至少部分地基于检测到的至少一个尖峰事件和/或检测到的至少一个尖峰事件的所确定的生物源的至少一个输出而向用户提供反馈。根据一个实施例，该方法还包括向用户提供反馈作为用户训练过程的一部分。根据一个实施例，反馈包括包含听觉、视觉、触觉和多感觉反馈的组中的至少一个。根据一个实施例，可穿戴设备还包括惯性传感器，并且其中该方法还包括使用惯性传感器来确定至少一个运动单元的肌肉纤维相对于多个神经肌肉传感器中的一个或更多个神经肌肉传感器的空间位置的运动伪影或偏移。根据一个实施例，该方法还包括响应于惯性传感器的输出来过滤或细化推理模型的输出。
根据一个实施例，该方法还包括通过一个或更多个无线网络将包括至少一个尖峰事件的指示的压缩数据传输到外部设备。根据一个实施例，一个或更多个可穿戴设备中的至少一个可穿戴设备包括至少一个存储设备，并且其中该方法还包括将压缩数据存储在至少一个存储设备上。
根据一个实施例，生成至少一个输出包括生成包括由关节连接的多个刚性体段的已更新的计算机化肌肉骨骼表示，其中生成已更新的计算机化肌肉骨骼表示包括至少部分地基于检测到的至少一个尖峰事件和/或检测到的至少一个尖峰事件的识别出的生物源来确定描述在计算机化肌肉骨骼表示的多个刚性体段的两个或更多个连接的节段之间的空间关系的肌肉骨骼位置信息和/或描述在计算机化肌肉骨骼表示的多个刚性体段中的两个或更多个节段之间的力的力信息，以及至少部分地基于肌肉骨骼位置信息和/或力信息来更新计算机化肌肉骨骼表示。根据一个实施例，确定肌肉骨骼位置信息和/或力信息包括将检测到的至少一个尖峰事件和/或检测到的至少一个尖峰事件的识别出的生物源作为输入提供到经训练的推理模型，并且其中肌肉骨骼位置信息和/或力信息是至少部分地基于经训练的推理模型的输出来确定的。
根据一个实施例，生成至少一个输出包括实质上实时地生成用于控制至少一个设备的至少一个控制信号。根据一个实施例，检测至少一个尖峰事件包括检测至少一个尖峰事件的时空模式，并且其中生成至少一个控制信号包括至少部分地基于至少一个尖峰事件的检测到的时空模式的至少一个特征来生成至少一个控制信号。根据一个实施例，至少一个特征包括至少一个尖峰事件的速率和/或至少一个尖峰事件的检测到的时空模式的空间分布。根据一个实施例，识别出的生物源包括运动单元。根据一个实施例，识别出的生物源包括多个运动单元。根据一个实施例，识别出的生物源包括肌肉。根据一个实施例，识别出的生物源包括多个肌肉。
根据一个实施例，确定至少一个尖峰事件的生物源包括确定至少一个尖峰事件与运动单元或运动单元组相关联，其中该方法还包括确定运动单元或运动单元组所属于的肌肉，并且其中生成至少一个输出包括基于运动单元或运动单元组所属于的所确定的肌肉来生成至少一个输出。根据一个实施例，所确定的肌肉与描述所确定的肌肉的运动单元的激活的序列的运动单元募集序列相关联，并且其中该方法还包括确定运动单元或运动单元组落在所确定的肌肉的运动单元募集序列内哪里。
根据一个实施例，一个或更多个可穿戴设备中的至少一个可穿戴设备包括被配置为记录多个辅助信号的至少一个辅助传感器，并且其中该方法还包括至少部分地基于多个辅助信号来生成至少一个输出。根据一个实施例，至少一个辅助传感器包括被配置为记录多个IMU信号的至少一个惯性测量单元(IMU)传感器，并且其中该方法还包括至少部分地基于多个IMU信号和/或从多个IMU信号导出的信息来生成至少一个输出。根据一个实施例，至少一个辅助传感器包括被配置为记录一个或更多个图像的至少一个照相机，并且其中该方法还包括至少部分地基于一个或更多个图像和/或从一个或更多个图像导出的信息来生成至少一个输出。根据一个实施例，检测至少一个尖峰事件还基于一个或更多个图像和/或从一个或更多个图像导出的信息。
根据一个实施例，至少一个计算机处理器作为与布置在一个或更多个可穿戴设备上的多个神经肌肉传感器分离并通信的设备的一部分被包括，并且其中该方法还包括将多个神经肌肉信号和/或从多个神经肌肉信号导出的信息实质上实时地从多个神经肌肉传感器流式传送到至少一个计算机处理器。根据一个实施例，与多个神经肌肉传感器分离并通信的设备是从包括以下项的组中选择的设备：远程服务器、台式计算机、膝上型计算机、智能手机和可穿戴电子设备。根据一个实施例，可穿戴电子设备是智能手表、健康监测设备、智能眼镜或增强现实系统。根据一个实施例，该方法还包括将至少一个计算机处理器与一个或更多个可穿戴设备集成在一起，多个神经肌肉传感器被布置在一个或更多个可穿戴设备上。
根据一个实施例，至少一个计算机处理器包括至少一个第一计算机处理器和至少一个第二计算机处理器，至少一个第一计算机处理器作为与被布置在一个或更多个可穿戴设备上的多个神经肌肉传感器分离并通信的设备的一部分被包括，至少一个第二计算机处理器与一个或更多个可穿戴设备集成在一起，多个神经肌肉传感器被布置在一个或更多个可穿戴设备上。根据一个实施例，该方法还包括由多个神经肌肉传感器将多个神经肌肉信号中的至少一些神经肌肉信号传输到至少一个第一计算机处理器，以及其中至少一个第一计算机处理器执行以下动作：基于从多个神经肌肉传感器传输的多个神经肌肉信号中的至少一些神经肌肉信号来训练至少一个尖峰检测模型和/或至少一个尖峰识别模型以及将经训练的至少一个尖峰检测模型和/或至少一个尖峰识别模型传输到至少一个第二计算机处理器，并且其中至少一个第二计算机处理器执行以下动作：使用从至少一个第一计算机处理器传输的至少一个尖峰检测模型和/或至少一个尖峰识别模型，来检测至少一个尖峰事件并且确定检测到的至少一个尖峰事件的生物源。
根据一个实施例，该方法还包括训练至少一个尖峰检测模型和/或至少一个尖峰识别模型以估计包括以下项的组中的至少一项：用户是否正在激活特定运动单元、用户是否正在以特定定时激活特定运动单元以及用户是否正在激活特定运动单元组合。根据一个实施例，检测对应于在至少一个运动单元中的动作电位的激发的至少一个尖峰事件包括检测对应于在多个运动单元中的动作电位的激发的至少一个尖峰事件。根据一个实施例，该方法还包括将多个神经肌肉信号的滤波后的时间滞后表示阈值化以检测至少一个尖峰事件。
应当认识到，前面的概念和下面更详细讨论的另外的概念的所有组合(假设这样的概念不是相互不一致的)被设想为本文公开的创造性主题的一部分。特别是，出现在本公开的结尾处的所主张的主题的所有组合被设想为本文公开的创造性主题的一部分。
附图简述
将参考下面的附图来描述技术的多个非限制性实施例。应当认识到，附图不一定按比例绘制。
图1是根据本文所述的技术的一些实施例的用于执行运动任务(motor task)的生物过程的流程图。
图2是根据本文所述的技术的一些实施例的用于检测在神经肌肉数据中的尖峰事件的基于计算机的系统的示意图；
图3是根据本文所述的技术的一些实施例的用于检测来自神经肌肉数据的尖峰事件信息的实质上实时过程的流程图；
图4是根据本文所述的技术的一些实施例的用于使尖峰事件与肌肉相关联的过程的流程图；
图5是根据本文所述的技术的一些实施例的用于生成与实质上实时尖峰事件解码器一起使用的滤波器的过程的流程图；
图6根据本文所述的技术的一些实施例示出了具有环向地布置在其上的EMG传感器的腕带。
图7根据本文所述的技术的一些实施例示出了用户在键盘上打字时穿戴图6的腕带。
图8根据本文所述的技术的一些实施例示出了用于在低活动期期间检测在所记录的神经肌肉数据的两个通道中的尖峰事件的图；
图9A根据本文所述的技术的一些实施例示出了将尖峰事件聚类以识别具有相似的时空分布的尖峰事件的图；
图9B根据本文所述的技术的一些实施例示出了生成的关于尖峰事件的六个集群中的每一个集群的六个时空分布；
图10示出了可以根据本文所述的技术的一些实施例产生的与多个生物源相关联的一组EMG通道波形；
图11示出了根据本文所述的技术的一些实施例而配置的基于MVDR的尖峰事件解码器的输出；
图12示出了包括针对多个运动单元中的每一个运动单元的MVDR滤波器的基于MVDR的尖峰事件解码器的输出，其中该解码器是根据本文所述的技术的一些实施例配置的；
图13是根据本文所述的技术的一些实施例的用于检测来自神经肌肉数据的尖峰事件信息的实质上实时过程的流程图；
图14A根据本文所述的技术的一些实施例示出了具有环向地布置在弹性带周围的16个EMG传感器的可穿戴系统，该弹性带被配置成穿戴在用户的下臂或手腕周围；
图14B是穿过图14中所示的16个EMG传感器之一的横截面视图；以及
图15A和图15B示意性地示出了在其上实现一些实施例的基于计算机的系统的部件。图15A示出了基于计算机的系统的可穿戴部分，并且图15B示出了连接到计算机的加密狗(dongle)部分，其中该加密狗部分被配置成与可穿戴部分通信。
详细描述
图1示出了用于通过一个或更多个肌肉的协调移动来发起运动任务的生物过程100的流程图。在动作102中，在一个或更多个传出脊髓运动神经元中生成动作电位。运动神经元携带神经元信号(在本文也被称为“尖峰”)离开中枢神经系统并朝向在外周中的骨骼肌。对于其中生成动作电位的每个运动神经元，动作电位沿着运动神经元的轴突，从在此生成动作电位的脊髓中的主体行进到运动神经元的轴突终末(axon terminal)，该轴突终末支配骨骼肌中所包括的肌肉纤维。运动神经元及其支配的肌肉纤维在本文中被称为运动单元。运动单元中的肌肉纤维响应于运动单元的相应运动神经元中生成的动作电位而被一起激活。各个肌肉通常包括来自数百个运动单元的肌肉纤维，并且许多运动单元中的肌肉纤维同时收缩，导致表现为可感知的肌肉移动的肌肉收缩和/或力。
在脊髓运动神经元的轴突终末和肌肉纤维之间的界面处形成的化学突触被称为神经肌肉接头(neuromuscular junction)。当沿着运动神经元的轴突传输的动作电位到达神经肌肉接头时，过程100继续进行到动作104，其中在肌肉纤维中生成动作电位，作为在神经肌肉接头处的化学活动的结果。特别是，由运动神经元释放的乙酰胆碱越过神经肌肉接头扩散，并与在肌肉纤维的表面上的受体结合，触发肌肉纤维的去极化。虽然由各个肌肉纤维的去极化生成的在身体表面上感测到的神经肌肉信号很小(例如，小于100μV)，但多个肌肉纤维同时传导的集体动作导致可以由位于身体的表面上的神经肌肉(例如，EMG)传感器记录的可检测电压电位。如上所述，来自许多运动单元的肌肉纤维的集体传导导致肌肉收缩和可感知的运动。因此，当用户执行移动或姿势时，相对应记录的神经肌肉信号包括来自多个激活的运动单元的贡献。
在肌肉纤维中生成动作电位之后，过程100继续进行到动作106，在动作106中，在肌肉纤维中的动作电位的传播导致在肌肉纤维中的一系列化学介导的过程。例如，肌肉纤维的去极化导致钙离子流入肌肉纤维内。在肌肉纤维内的钙离子与肌钙蛋白复合物结合，使肌钙蛋白复合物与在肌肉纤维中的肌动蛋白微丝上的肌球蛋白结合位点分离，从而暴露肌球蛋白结合位点。
在这些化学介导的过程之后，过程100继续进行到动作108，在动作108中，肌肉纤维收缩。由于暴露的肌球蛋白头部与在肌肉纤维中的肌动蛋白微丝的结合创建横桥结构，而实现肌肉纤维收缩。过程100然后继续进行到动作110，在动作110中，一个或更多个肌肉中的肌肉纤维的集体收缩导致运动任务的执行。
当肌肉的张力增加时，活跃的运动神经元的激发率增加且额外的运动神经元可以变得活跃，这是被称为运动单元募集的过程。使肌肉受神经支配的运动神经元通过其变得活跃并增加它们的激发率的模式在一些情况下是已定型的。一些实施例是针对分析神经肌肉信号以检测和识别/分类对应于在一个或更多个运动单元中的动作电位的激发的尖峰事件。
当用户执行运动任务(例如移动其手臂)时，执行运动任务所必需的一组肌肉被激活。当运动任务被执行同时用户正穿戴包括神经肌肉传感器(例如EMG传感器)的可穿戴设备时，由在身体的表面上的传感器记录的神经肌肉信号对应于在运动任务的执行期间激活的该组中的肌肉中的所有运动单元的叠加活动。神经肌肉信号可以被分析并被映射到控制信号以基于用户执行的运动或姿势的类型来控制设备。在一些实施例中，对神经肌肉信号的分析涉及对在所激活的运动单元中的尖峰事件的检测和识别。
EMG信号x(t)的生成模型可以采取下面形式：
Figure BDA0002940504310000151
其中t是时间，si是由EMG记录设备观察到的第i个MUAP的时空波形，ti是相对应的运动神经元的尖峰系列，以及η(t)是EMG测量噪声，其中尖峰系列被表示为每当运动神经元激发时出现的狄拉克函数的时间序列。
如上面所讨论的，MUAP是由通过在相对应的运动单元中的肌肉纤维的激活而生成的电位。由一对EMG传感器(或大于两个的若干EMG传感器)检测的MUAP的时空波形主要取决于运动单元相对于EMG传感器的阵列的位置。在组成运动单元的肌肉纤维的位点和EMG传感器之间的组织过滤时空波形，使得由于在下层组织中的肌肉纤维的不同位置以及相应地由在肌肉纤维和EMG传感器(或多个EMG传感器)之间的组织引起的独特过滤，同一EMG传感器(或多个EMG传感器)可以测量不同的时空模式。一些实施例假设，只要电极位置和导电介质(例如用户的身体)不改变，MUAP的时空波形就保持恒定。在实践中，由于肌肉收缩，可能引入MUAP的时空波形的小变化。对于表面EMG传感器，MUAP的持续时间为大约10-20ms，且可以具有大约数百微伏的幅度。MUAP的持续时间很大程度地基于在微分EMG电极之间的间距和沿着肌肉纤维行进的动作电位波的速度而被影响。MUAP的幅度很大程度地基于从运动单元到EMG电极对的距离和在运动单元中的肌肉纤维的数量而被影响。
发明人已经认识到，因为MUAP的时空波形保持实质上恒定并且因此对与用户意图相关的很少信息编码或不对与用户意图相关的信息编码，一些实施例是针对从神经肌肉信号提取尖峰事件信息(例如尖峰系列数据)作为用户意图的度量。所提取的尖峰事件信息可用于生成一个或更多个输出(例如一个或更多个控制信号，其中控制信号可用于改变被配置成接收控制信号的计算机化系统的状态)。可以例如使用被训练来使特定尖峰事件信息与控制信号输出相关联的推理模型来实现在尖峰事件信息和控制信号之间的映射。在一些实施例中，经训练的推理模型的输出可以是描述例如在计算机实现的肌肉骨骼模型中的刚性体段的位置和/或力的肌肉骨骼位置信息。当神经肌肉信号连续地被记录且尖峰事件被检测到时，肌肉骨骼模型可以用从推理模型输出的肌肉骨骼位置信息的预测来更新。然后可以基于已更新的肌肉骨骼位置信息来生成控制信号。在其他实施例中，经训练的推理模型的输出可以是控制信号本身，使得肌肉骨骼模型不被使用。在其他实施例中，来自多个运动单元的尖峰事件信息可以被组合，例如以实现二维控制。
如下面更详细地描述的，一些实施例检测在所记录的神经肌肉信号中的尖峰事件，并识别检测到的尖峰事件的生物源(例如运动单元或运动单元组)。然后基于检测到的尖峰事件和/或识别出的生物源来生成输出(例如控制信号)。
在整个本公开中，EMG传感器被用作被配置成检测神经肌肉活动的神经肌肉传感器的类型的示例。然而，应当认识到，根据一些实施例，其他类型的神经肌肉传感器(包括但不限于机械肌图(MMG)传感器和声肌图(SMG)传感器)可以附加地或可选地与EMG传感器结合来使用，以检测神经肌肉活动。根据本文描述的技术，由神经肌肉传感器记录的神经肌肉信号可用于识别肌下结构的激活。
图2示出了根据一些实施例的系统200。该系统包括多个传感器210，该多个传感器210被配置为记录利用人体部分的由运动单元的激活产生的信号。传感器210可以包括多个神经肌肉传感器，该神经肌肉传感器被配置成记录由人体骨骼肌中的神经肌肉活动(neuromuscular activity)产生的信号。本文使用的术语“神经肌肉活动”是指对支配肌肉的脊髓运动神经元的神经激活、肌肉激活、肌肉收缩或者神经激活、肌肉激活和肌肉收缩的任意组合。在一些实施例中，可以从感测到的神经肌肉信号确定描述动作电位何时出现的尖峰事件信息和/或检测到的尖峰事件的生物源。
传感器210可以包括一个或更多个惯性测量单元(IMU)，该一个或更多个IMU使用例如加速度计、陀螺仪、磁力计、或者一个或更多个加速度计、陀螺仪和磁力计的任意组合来测量运动的物理方面的组合。在一些实施例中，IMU可以用于感测关于附接有IMU的身体部位的移动的信息，并且当用户随时间的推移而移动时，从感测到的数据导出的信息(例如，位置和/或定向信息)可以被跟踪。例如，当用户随时间的推移而移动时，一个或更多个IMU可以用于跟踪用户躯干近端的用户身体部分(例如，手臂、腿)相对于传感器的移动。在一些实施例中，来自IMU的信号可用于过滤、后处理或以其他方式细化通过推理模型推断的尖峰事件。
在包括至少一个IMU和多个神经肌肉传感器的实施例中，IMU和神经肌肉传感器可以被布置成检测人体不同部位的移动。例如，IMU可以被布置成检测躯干近端的一个或更多个体段(例如，上臂)的移动，而神经肌肉传感器可以被布置成检测躯干远端的一个或更多个体段(例如，前臂或手腕)内的运动单元的活动。然而，应当理解，传感器可以以任何合适的方式被布置，并且本文所描述技术的实施例不限于基于特定的传感器布置。例如，在一些实施例中，至少一个IMU和多个神经肌肉传感器可以共同位于一个体段上，以使用不同类型的测量来跟踪运动单元的活动和/或体段的移动。在下面更详细描述的一个实现方式中，一个IMU传感器和多个EMG传感器被布置在可穿戴设备上，该可穿戴设备被配置成围绕用户的下臂或手腕穿戴。在这种布置中，IMU传感器可被配置成跟踪与一个或更多个手臂节段相关联的移动信息(例如，随时间推移的定位和/或定向)，以确定例如用户是否已经抬起或放下了他们的手臂，而EMG传感器可被配置成确定与手腕或手部的肌肉中的肌肉下结构的激活相关联的肌肉下信息。在一些实施例中，IMU传感器可以提供控制信号，用户可以从一个或更多个MUAP独立地凭意志控制所述控制信号。
每个传感器210包括被配置成感测关于用户的信息的一个或更多个感测部件。在IMU的情况下，感测部件可以包括一个或更多个加速度计、陀螺仪、磁力计或其任意组合，以测量身体运动的特性，该特性的示例包括但不限于加速度、角速度和身体周围感测到的磁场。在神经肌肉传感器的情况下，感测部件可以包括但不限于被配置成检测身体表面上的电位的电极(例如，对于EMG传感器)、被配置成测量皮肤表面振动的振动传感器(例如，对于MMG传感器)、以及被配置成测量由肌肉活动产生的超声信号的声学感测部件(例如，对于SMG传感器)。在标题为“METHODS AND APPARATUS FOR PREDICTING MUSCULO-SKELETALPOSITION INFORMATION USING WEARABLE AUTONOMOUS SENSORS”的第15/659,018号美国专利申请中更详细地描述了根据一些实施例可以使用的示例性传感器210，该申请通过引用被全部并入本文。
在一些实施例中，多个传感器中的至少一些被布置为可穿戴设备的一部分，该可穿戴设备被配置成穿戴在用户身体部位之上或围绕用户身体部位穿戴。例如，在一个非限制性示例中，IMU传感器和多个神经肌肉传感器围绕可调整的和/或弹性的带(诸如被配置成围绕用户的手腕或手臂穿戴的腕带或臂带)周向地布置。可选地，至少一些传感器可以布置在可穿戴贴片上，该可穿戴贴片被配置成附着到用户身体的一部分，至少一些传感器可以是植入的EMG传感器，或者至少一些传感器可以被包括作为由用户穿戴的电子纹身的一部分。在一些实施例中，可以使用多个可穿戴设备以基于MUAP、肌肉下结构和/或涉及身体多个部位的移动生成控制信息，每个可穿戴设备包括在其上的一个或更多个神经肌肉传感器(和可选的一个或更多个IMU)。
在一个实现方式中，16个EMG传感器围绕弹性带周向地布置，该弹性带被配置成围绕用户的下臂穿戴。例如，图7示出了围绕弹性带502周向地布置的EMG传感器504。应当理解，可以使用任何合适数量的神经肌肉传感器，并且所使用的神经肌肉传感器的数量和布置可以取决于可穿戴设备所用于的特定应用。还应当认识到，神经肌肉传感器可以被放置在身体的任何部位上(或在身体的任何部位中被植入)。例如，可穿戴臂带或腕带可以用于生成控制信息，以控制机器人、控制车辆、滚动浏览文本、控制虚拟化身、激活离散控件(例如按钮)、在二维(或更高维)空间中导航或任何其他合适的控制任务。例如，如图7所示，用户506可以在手部508上穿戴弹性带502。以这种方式，EMG传感器504可以被配置成在用户使用手指540控制键盘530时记录EMG信号。在一些实施例中，弹性带502也可以包括被配置成如上讨论地记录移动信息的一个或更多个IMU(未示出)作为选项。在其他实施例中，可以提供没有IMU的可穿戴设备。
在一些实施例中，可以使用多个可穿戴设备以基于MUAP、与肌肉下结构相关联的激活和/或涉及身体多个部位的移动生成控制信息，每个可穿戴设备包括其上的一个或更多个IMU和/或神经肌肉传感器。
在一些实施例中，传感器210仅包括多个神经肌肉传感器(例如，EMG传感器)。在其他实施例中，传感器210包括多个神经肌肉传感器和被配置成连续记录多个辅助信号的至少一个“辅助”传感器。辅助传感器的示例包括但不限于IMU传感器、成像设备(例如，摄像机)、与辐射生成设备(例如，激光扫描设备)一起使用的基于辐射的传感器、或者其他类型的传感器(诸如心率监视器)。
在一些实施例中，可以使用硬件信号处理电路来可选地处理(例如，执行放大、滤波和/或整流)一个或更多个感测部件的输出。在其他实施例中，可以在软件中执行感测组件的输出的至少部分的信号处理。因此，由传感器记录的信号的信号处理可以以硬件、软件或由硬件和软件的任何适当组合执行，因为本文所描述的技术的各方面不限于该方面。
在一些实施例中，可以可选地处理所记录的传感器数据，以计算附加的导出的测量结果，然后将导出的测量结果作为输入提供到尖峰事件检测过程。例如，来自IMU传感器的所记录的信号可以被处理，以导出指定体段随时间推移的定向的定向信号。在另一个示例中，来自IMU传感器的所记录的信号可被处理以确定可以引起运动单元的肌肉纤维相对于一个或更多个EMG传感器的空间位置的传感器运动伪影或偏移的运动(例如高速运动)，其中每个EMG传感器可以使假尖峰事件(spurious spike events)被检测到。因此，IMU传感器数据可用于过滤或以其他方式细化被配置为检测一个或更多个MUAP的推理模型的输出。传感器可以使用集成感测部件的部件来实现信号处理，或者至少一部分信号处理可以由与传感器210的感测部件通信但不直接集成的一个或更多个部件来执行。
系统200还包括被编程为与传感器210通信的一个或更多个计算机处理器212。例如，由一个或更多个传感器记录的信号可以被提供给处理器212，该处理器212可以被编程为执行处理由传感器210输出的信号的一个或更多个机器学习算法，以训练一个或更多个推理模型(如，统计模型214)，并且经训练的(或经过再训练的)统计模型214可以被存储以供后续用于生成控制信号(如下文更详细描述的)。
在一些实施例中，统计模型214可以是神经网络，例如可以是循环神经网络。在一些实施例中，循环神经网络可以是长短期记忆(LSTM)神经网络。然而，应当理解，循环神经网络不限于LSTM神经网络，并且可以具有任何其他合适的架构。例如，在一些实施例中，循环神经网络可以是完全循环神经网络(fully recurrent neural network)、门控循环神经网络(gated recurrent neural network)、递归神经网络(recursive neural network)、Hopfield神经网络、联想记忆神经网络(associative memory neural network)、Elman神经网络、Jordan神经网络、回声状态神经网络(echo state neural network)、二阶循环神经网络(second order recurrent neural network)和/或任何其他合适类型的循环神经网络。在其他实施例中，可以使用不是循环神经网络的神经网络。例如，可以使用深度神经网络、卷积神经网络和/或前馈神经网络。
在一些实施例中，推理模型(如，统计模型)的输出提供离散输出。例如，当期望的输出是要知晓是否在神经肌肉信号中检测到激活的特定模式(包括各个神经尖峰事件)时，可以使用离散的输出(例如，分类标签)。例如，可以训练模型来估计用户是否正在激活特定的运动单元、正在以特定的定时激活特定的运动单元、正在以特定的激发模式激活特定的运动单元、或者正在激活运动单元的特定组合。在较短的时间尺度上，在一些实施例中使用离散分类来估计特定的运动单元是否在给定的时间量内激发了动作电位。在这种场景下，这些估计然后可被累加，以获得该运动单元的估计的激发率。
在统计模型被实现为神经网络的实施例中，该神经网络配置为输出离散信号，该神经网络可以包括柔性最大值传输函数(softmax)层，使得输出加起来为1并且可以被解释为概率。柔性最大值传输函数层的输出可以是对应于相应的控制信号集的值的集合，其中每个值指示用户想要执行特定控制动作的概率。作为一个非限制性示例，柔性最大值传输函数层的输出可以是三个概率(例如，0.92、0.05和0.03)的集合，这三个概率指示检测到的活动模式是三个已知模式之一的相应概率。
应当理解，当统计模型是被配置为输出离散信号的神经网络时，该神经网络不需要产生加起来为1的输出。例如，代替softmax层，神经网络的输出层可以是S型(sigmoid)层(其没有概率加起来为1的限制)。在这样的实施例中，可以用sigmoid交叉熵代价来训练神经网络。当多个不同的控制动作可能在时间的阈值量内发生并且区分这些动作发生的顺序并不重要(例如，用户可能在阈值时间量内激活两种神经活动模式)时，在这种情况下这种实现方式可以是有利的。在一些实施例中，可以使用任何其他合适的非概率多级别分类器，因为本文所描述技术的各方面不限于该方面。
在一些实施例中，统计模型的输出可以是连续信号，而不是离散信号。例如，该模型可以输出每个运动单元的激发率的估计，或者该模型可以输出对应于每个运动单元或肌肉下结构的时间序列电信号。
应当理解，本文所描述技术的各方面不限于使用神经网络，因为在一些实施例中可以采用其他类型的统计模型。例如，在一些实施例中，统计模型可以包括隐马尔可夫模型(HMM)、切换HMM(其中切换允许在不同动态系统之间跳变)、动态贝叶斯网络(dynamicBayesian network)和/或具有时间分量的任何其他合适的图形模型。可以使用记录的传感器信号来训练任何这样的统计模型。
作为另一个示例，在一些实施例中，统计模型是将从记录的传感器信号中导出的特征作为输入的分类器。在这样的实施例中，可以使用从传感器数据提取的特征来训练分类器。分类器可以是支持向量机(support vector machine)、高斯混合模型、基于回归的分类器、决策树分类器、贝叶斯分类器和/或任何其他合适的分类器，因为本文所描述技术的各方面不限于该方面。要提供给分类器的输入特征可以以任何合适的方式从传感器数据导出。例如，可以使用小波(wavelet)分析技术(例如，连续小波变换、离散时间小波变换等)、傅立叶分析技术(例如，短时傅立叶变换、傅立叶变换等)和/或任何其他合适类型的时间频率分析技术将传感器数据分析为时间序列数据。作为一个非限制性示例，可以使用小波变换来对传感器数据进行变换，并且可以将得到的小波系数作为输入提供给分类器。
在一些实施例中，可以根据训练数据来估计统计模型的参数的值。例如，当推理模型是神经网络时，可以根据训练数据来估计神经网络的参数(例如，权重)。在一些实施例中，可以使用梯度下降、随机梯度下降和/或任何其他合适的迭代优化技术来估计统计模型的参数。在统计模型是循环神经网络(例如，LSTM)的实施例中，可以使用随机梯度下降和时间反向传播来训练统计模型。训练可以采用交叉熵损失函数(cross-entropy lossfunction)和/或任何其他合适的损失函数，因为本文所描述技术的各方面不限于该方面。
可选地，系统200还包括一个或更多个控制器216。例如，控制器216可以是被配置成在显示器上显示视觉表示(例如，手的视觉表示)的显示控制器。如下文更详细讨论的，一个或更多个计算机处理器可以实现一个或更多个经训练的统计模型，该一个或更多个经训练的统计模型接收作为输入的传感器信号，并提供作为输出的信息，该信息用于生成控制信号。
在一些实施例中，被配置成模拟虚拟现实环境的计算机应用可以被指示来显示视觉角色，诸如，化身(例如通过控制器216的化身)。可以基于经训练的统计模型的输出来显示虚拟现实环境内由视觉角色的部分所施加的定位、移动和/或力。当连续信号被传感器210记录并被经训练的统计模型104处理以提供实时更新的角色的移动的计算机生成的表示时，视觉表示可以被动态更新。
一些实施例旨在使用统计模型，以至少部分地将从神经肌肉信号提取的尖峰事件信息映射到控制信号。统计模型可以接收IMU信号、神经肌肉信号(例如EMG、MMG和/或SMG信号)、从神经肌肉信号提取的尖峰事件信息(例如尖峰序列数据)、外部设备信号(例如照相机或激光扫描信号)或者当用户执行一个或更多个肌肉激活时检测到的IMU信号、神经肌肉信号和外部设备信号的组合作为输入。在一些实施例中，统计模型可以用于预测控制信息，而用户不必进行可感知的运动。
系统200还可选地包括用户接口218。基于由传感器210记录并由处理器212处理的信号而确定的反馈可以经由用户接口218被提供，以便于用户理解系统如何解释用户的预期激活。用户接口218可以以任何合适的方式实现，包括但不限于音频接口、视频接口、触觉接口和电刺激接口或者前述项的任何组合。一般来说，基于用户激活一个或更多个MUAP的控制信号可能需要用户训练，使得用户可以有效地且可靠地激活预期的一个或更多个MUAP以创建预期的控制信号。通常，用户不能检测单个MUAP的激活，因为由肌肉施加的力的量低于本体感受系统的检测极限。在本发明的一些实施例中，当系统和方法激活了指定的(即期望的)MUAP(并且模型检测到指定的MUAP的存在)时，系统和方法向用户提供感觉反馈，使得用户可以在可靠地激活该MUAP方面变得更熟练。例如，反馈可以在有足够低的时延的情况下包括听觉、视觉、触觉或多感觉反馈，用于使用户学习在感觉反馈和先前MUAP激活之间的映射。
系统200的架构可以采取任何合适的形式。一些实施例采用薄架构，其中处理器212作为与被布置在一个或更多个可穿戴设备上的多个神经肌肉传感器210分离并通信的设备的一部分被包括。神经肌肉传感器可以被配置成实质上实时地将多个神经肌肉信号和/或从多个神经肌肉信号导出的信息无线地流式传送到处理器212以用于处理，包括但不限于用于尖峰事件检测和生物源识别。与多个神经肌肉传感器分离并通信的设备可以是例如远程服务器、台式计算机、膝上型计算机、智能手机或可穿戴电子设备，例如智能手表、健康监测设备、智能眼镜、其他可穿戴系统(包括头戴式可穿戴系统)或增强现实系统。
一些实施例采用厚架构，其中处理器212与一个或更多个可穿戴设备集成在一起，神经肌肉传感器210被布置在一个或更多个可穿戴设备上。在又一些另外的实施例中，用于尖峰事件检测和/或生物源识别的处理在多个处理器之间被划分，其中至少一个处理器与传感器210集成，并且其中至少一个处理器被包括作为与传感器210分离并通信的设备的一部分。在这样的实现方式中，神经肌肉传感器可以被配置成将至少一些所记录的神经肌肉信号传输到相对于传感器被远程定位的第一计算机处理器。第一计算机处理器可以被编程为基于所传输的神经肌肉信号来训练至少一个尖峰检测模型和/或至少一个尖峰识别模型。然后，第一计算机处理器可以被编程为将经训练的至少一个尖峰检测模型和/或至少一个尖峰识别模型传输到与其上布置有传感器的一个或更多个可穿戴设备集成的第二计算机处理器。第二计算机处理器可以被编程为使用从第一计算机处理器传输的至少一个尖峰检测模型和/或至少一个尖峰识别模型来检测尖峰事件并确定检测到的尖峰事件的生物源。以这种方式，训练/拟合过程和使用经训练的模型的实时过程可以通过由不同的处理器来执行而被分离。
图3根据一些实施例示出了用于基于在记录的神经肌肉信号中检测到的一个或更多个尖峰事件来生成输出的过程300。在动作310中，当用户激活一个或更多个运动单元时，多个神经肌肉信号被由用户穿戴的多个神经肌肉传感器记录。过程300然后继续进行到动作320，其中所记录的神经肌肉信号可选地在尖峰事件的检测之前被处理。例如，可以生成所记录的信号的一个或更多个时间滞后版本，并且时间滞后版本可以随后用于尖峰事件的检测。发明人已经认识到，有效时间滞后值在特定的神经肌肉记录技术被采用的情况下与在运动单元动作电位的时间量程相似。例如，使用表面EMG记录来测量的运动单元动作电位通常表现在10和50ms之间的范围内的时间滞后。在一些实施例中，15至25ms的时间滞后也可能是有效的。
过程300然后继续进行到动作330，在动作330中至少一个尖峰事件在所记录的神经肌肉信号中被检测到。例如在一些实施例中，使用一个或更多个滤波器来处理所记录的神经肌肉信号或从所记录的神经肌肉信号导出的信息(例如，所记录的神经肌肉信号的时间滞后版本)，以检测在所记录的神经肌肉信号中的尖峰事件。在一些实施例中，一个或更多个滤波器包括多个滤波器，每个滤波器被配置成检测从特定生物源(例如从特定运动单元)生成的尖峰。下面更详细地描述用于生成供一些实施例使用的滤波器的示例技术。
过程300然后继续进行到动作340，在动作340中检测到的尖峰事件的生物源被确定。在使用多个滤波器的实施例中，每个滤波器被配置为检测由特定生物源生成的尖峰事件，在动作340中的生物源确定可以基于多个滤波器的输出和它们的相关联的生物源，多个滤波器被配置为针对相关联的生物源检测尖峰事件。在其他实施例中，可以顺序地执行在动作330中的一个或更多个尖峰事件的检测和在动作340中的尖峰事件的生物源的确定。可以在动作340中确定尖峰事件的任何合适的生物源。例如，生物源可以是单个运动单元、一组运动单元、肌肉或一组肌肉。在一些实施例中，系统确定尖峰事件的特定生物源的能力可以至少部分地基于系统在区分开不同的尖峰事件时的时空分辨率。例如，在一些实例中，系统也许不能够确定尖峰起源于多个运动单元中的哪一个运动单元，但是系统可以能够确定尖峰起源自的运动单元组。在其他实例中，系统也许不能够确定尖峰起源自在肌肉中的哪个运动单元，但是系统可以能够确定尖峰起源自哪个肌肉，等等。
过程300然后继续进行到动作350，在动作350中基于检测到的尖峰事件和/或尖峰事件的生物源来生成一个或更多个输出。可以为特定应用生成任何合适的输出，并且实施例并不被限制在这个方面中。在一些实施例中，输出可以是表示所记录的神经肌肉信号的压缩数据。例如，不是存储“原始”神经肌肉信号，系统可以被配置为仅存储关于检测到的尖峰事件的信息，例如它们的定时特征和/或它们的生物源信息。存储这样的压缩数据可能例如对于数据到外部设备的传输(例如，通过一个或更多个无线网络)和/或对于不必存储原始的所记录的数据的情况下记录用于健康/健身/人体工程学监测应用的数据是有益的。
在一些实施例中，在动作350中生成的输出是用于更新肌肉骨骼模型的信息。如上面简要地描述的，一些实施例采用肌肉骨骼模型，其用描述例如在模型中的刚性体段的位置和/或力的肌肉骨骼位置信息进行更新。在动作330和/或340中确定的尖峰事件信息可以作为输入被提供到肌肉骨骼模型，作为更新过程的一部分。然后可以基于已更新的肌肉骨骼模型来生成控制信号。
在一些实施例中，在动作350中生成的输出是用于控制外部设备的控制信号。不是使用例如经训练的统计模型来将所记录的神经肌肉信号直接映射到控制信号，一些实施例将尖峰事件信息(例如检测到的尖峰事件和/或尖峰事件的生物源信息)映射到控制信号。在这样的实现方式中，可以基于识别出的生物源和在检测到的尖峰事件信息中表示的激活的模式来生成一个或更多个控制信号。例如，尖峰事件信息可以作为输入被提供到经训练的统计模型，并且经训练的统计模型的输出可以用于生成一个或更多个控制信号。在一个实现方式中，经训练的统计模型的输出可以是一组一个或更多个控制信号。在另一实现方式中，可以基于尖峰事件信息来生成控制信号而不使用经训练的统计模型。所生成的控制信号然后可以被提供到设备的控制接口以控制设备的操作。例如，该设备可以是显示器，并且控制信号可以被提供到显示器的显示控制器。控制信号可以包括更新在显示器上显示的信息的指令。可选地，该设备可以是计算机或其他计算设备(例如智能手机)，并且控制信号可以被提供到计算设备的控制器以改变该设备的操作。在又一示例中，控制信号可用于控制设备(例如乐器)以提供艺术表达。应当认识到，可以使用根据本文描述的技术而设计的控制系统来控制具有控制接口的任何设备。
在一些实施例中，至少部分地基于尖峰事件信息实质上实时地生成一个或更多个控制信号。如在本文所使用的，术语“实质上实时”意味着在在神经肌肉数据被记录时与电相关的事件(electrical event)出现之后不久而不是在当神经肌肉信号没有被记录时的时间离线地发生出现尖峰事件信息确定过程和/或生成控制信号。在一些实施例中，在与电相关的事件的出现的5秒内、1秒内、500ms内、100ms内或50ms内检测到尖峰事件信息。
用于在动作350中生成输出的尖峰事件信息可以包括关于检测到的尖峰事件的时空模式的信息(例如尖峰速率、尖峰事件的空间分布、尖峰事件的生物源)。在一些实施例中，可以至少部分地基于检测到的尖峰事件的时空模式的至少一个特征来生成一个或更多个控制信号。例如，可以至少部分地基于从神经肌肉信号检测到的尖峰速率和/或尖峰事件的空间分布来生成一个或更多个控制信号。
一般来说，基于来自一个或更多个运动单元的MUAP的控制信号可以用作一个或更多个离散控件(即，当被激活时使计算设备改变操作的一个按钮或一组按钮)、一个或更多个连续控件(即，例如控制扬声器的音量或恒温器的温度的一维控制器、例如在二维屏幕上操纵光标的二维控制器、或者例如控制具有三个或更多个自由度的机械臂的更高维控制器)。在一些实施例中，基于MUAP的控制信号可以包括基于一个或更多个MUAP的激活的特定序列的复合控件，以便实现比所识别的MUAP的数量更大数量的离散控件(即，自由度(DOF))。在用于实现更大数量的离散控件(即，DOF)的可选或补充实施例中，用户可以同时(或几乎同时、在规定的时间段内)激活实现独特的离散控件的两个或更多个MUAP，而不是MUAP的单一激活。本领域中的技术人员将认识到，如上所述的连续控件通常不是真正连续的，且表示在值的整个范围内的量化控制。
在一些实施例中，检测到的尖峰事件起源自的运动单元可以被映射到一个或更多个肌肉。图4根据一些实施例示出了用于执行肌肉分类的过程400。在动作410中，例如根据上述过程300的至少一部分来确定尖峰事件信息。过程400然后继续进行到动作410，其中确定识别出的运动单元所属于的一个或更多个肌肉。可以以任何合适的方式确定肌肉。例如，在空间分布之间的相似性和由多个运动单元引起的尖峰活动中的相关性可以指示多个运动单元属于同一肌肉。可选地，可以基于在用户的皮肤上(或者可选地，在用户体内植入)的多个神经肌肉传感器上记录的信号的空间模式来推断肌肉(或肌下)源。过程400然后继续进行到动作414，在动作414中至少部分地基于与尖峰事件信息相关联的所确定的肌肉来生成输出。在一些实施例中，与检测到的尖峰事件相关的特定肌肉的识别可用于进一步描述关于与识别出的肌肉相关的尖峰事件的信息。例如，如上所述，在人体中的每个肌肉可以由运动单元募集的特定模式来表征，该特定模式描述额外运动单元在需要时被募集的顺序。在一些实施例中，关于肌肉的运动单元募集模式的信息可以至少部分地用于确定运动单元或运动单元组落在所确定的肌肉的运动单元募集模式内哪里。
一些实施例旨在用于生成用于解码所记录的神经肌肉信号中的尖峰事件的一个或更多个滤波器的过程。图5示出了用于生成多个滤波器的过程500，每个滤波器代表在生物源(例如运动单元)内的尖峰活动。多个滤波器一旦被生成，就可用于处理神经肌肉信号，并在神经肌肉信号被记录时实质上实时地提供输出。另外，在一些实施例中，当额外的神经肌肉数据被记录时，滤波器参数可以被更新，使得滤波器动态地被更新。在动作510中，在所记录的神经肌肉信号中检测到多个尖峰事件。例如，可以在相对低活动期期间记录神经肌肉信号，且然后可以使用对所记录的数据的阈值化来检测尖峰事件。图8示出了在低活动期期间在两个EMG传感器通道中的推定尖峰事件的检测的示例。可以分析在EMG记录中检测到的推定尖峰事件以消除假阳性。例如，可以丢弃具有一个或更多个特定特征(例如，比阈值持续时间长的持续时间)的推定尖峰事件。
在多个尖峰事件被检测到之后，过程500继续进行到动作512，在动作512中检测到的尖峰事件基于它们的时空特征来被聚类，以识别可能从同一生物源引起的尖峰事件。尖峰事件的聚类可以以任何合适的方式出现。在聚类的一个简单化的示例中，在尖峰事件的每个峰周围的窗口(例如10ms窗口)可用于定义事件的时间界限。每个尖峰事件然后可以被定义为值的向量，其中每个向量包括N×M个样本，其中N对应于在事件的窗口中的样本的数量，而M对应于神经肌肉传感器的数量。例如，如果神经肌肉数据的采样率是4kHz并且每个尖峰事件的窗口是10ms，则N＝40。假设具有15个神经肌肉传感器的阵列，在每个尖峰事件向量中的值的数量将是40*15＝600个值。在定义所有检测到的尖峰事件的向量之后，相似性度量可用于识别具有聚类在一起的值的向量，并且因此可能表示从公共生物源生成的尖峰事件。例如，主成分分析(PCA)或某种其他合适的技术可以用于降低每个尖峰事件向量的维数，并且k-均值聚类或另一种合适的聚类技术可以用于将较低维向量聚类成具有相似的时空特征的尖峰波形的集群。维数降低技术的其他非限制性示例包括t分布随机邻域嵌入、深度自动编码器以及均匀流形近似和投影(UMAP)。聚类方法的其他非限制性示例包括凝聚聚类、具有噪声的应用的基于密度的空间聚类(DBSCAN)、具有噪声的应用的基于分级密度的空间聚类(HDBSCAN)。在另一个示例中，每个尖峰事件的向量用于创建不同尖峰事件的亲和矩阵，并且向量的相似性的度量(例如使用相关性)可以用于识别具有相似的时空特征的尖峰波形的集群。图9A示出了聚类过程的结果，其中具有相似的时空特征的尖峰波形的集群已经被识别出。
尖峰事件数据的每个集群包括表示由特定生物源(例如运动单元)生成的尖峰事件的分布的多个尖峰事件。该过程然后继续进行到动作514，在动作514中基于在每个集群内的尖峰事件来生成多个滤波器，导致一组滤波器，每个滤波器被配置为检测关于其相关生物源的尖峰事件(即，MUAP尖峰事件)。动作512用于从在动作510中检测到的未标记数据产生已标记的尖峰事件数据。来自动作512的已标记的尖峰事件数据可以然后至少部分地用于在动作514中生成滤波器。在一些实施例中，可以通过例如计算在集群中的每个尖峰事件向量的平均数来确定每个集群的时空响应函数。图9B示出了使用该技术为六个集群计算的示例时空分布。时空分布可以然后用于在动作514中生成滤波器。例如，一些实施例使用波束形成公式来确定用于自动尖峰解码的滤波器。可用于根据一些实施例生成滤波器的波束形成公式的一个示例是下面更详细地描述的最小方差无失真响应(MVDR)滤波器。在一些实施例中，多个滤波器可以用于消除存在于一个集群中的多个运动单元(例如在解剖学上位于彼此附近的运动单元)的歧义。例如，可以组合多个MVDR滤波器以消除存在于一个MVDR集群中的多个运动单元的歧义。
不是使用滤波器来从神经肌肉数据执行自动尖峰事件检测，一些实施例采用神经网络来检测尖峰事件数据，并且从过程500中的动作512输出的标记数据可以被用于训练神经网络。可以使用任何合适的神经网络架构，包括但不限于卷积神经网络和循环神经网络。当循环神经网络被使用时，卷积层可以用作网络的第一层。
波束形成方法使用滤波器来从多维传感器信号确定源信号。波束形成方法通常使用纯空间滤波器。然而，发明人已经认识到，由于相对于小数量的传感器通道的大数量的类似地定位的源，仅仅空间滤波不适合于检测在神经肌肉信号中的尖峰事件。因此，一些实施例使用所记录的神经肌肉信号的时间滞后表示来增加它们的有效维数，并针对每个源利用一致时空响应函数。可以使用任何合适的波束形成技术，其示例包括但不限于下面更详细描述的MVDR和线性约束最小方差(LCMV)，根据其，滤波器权重为W＝(LTC-1L)-1LTC-1，其中L是时空响应分布的矩阵(即，在下面的MVDR符号中的所有h向量的集合)，以及C是传感器信号协方差矩阵(相当于在下面的MVDR符号中的φyy)。然后可以将经滤波的信号的输出阈值化以确定尖峰事件是否出现。每个滤波器对应于一个生物源(例如一个单独的运动单元)，因此尖峰检测和尖峰的生物源的识别作为单个过程出现。
一些实施例旨在使用多个MVDR滤波器来执行在神经肌肉信号中的实时尖峰检测。类似于所匹配的滤波，MVDR滤波器的使用尽可能多地保持目标信号，但也最小化在所记录的神经肌肉信号中存在的任何其他信号的噪声。假设有S个源，每个源具有跨越通道和时间的一个已定型的信号分布或模板，令xs(t)是指示源s是否在时间t被触发的二进制变量。xs(t)一次在仅仅单个时间步长期间而不是在发射的持续时间期间具有1的值。令hsc(τ)是如在时间τ在通道c中测量的源s的已定型的分布的分布。于是所测量的信号将是yc(t)＝(∑shsc(t)*xs(t)+nc(t)＝∑s∑τhsc(t-τ)xs(t)+nc(t))，其中*为卷积运算符，以及nc(t)是在时间t在通道c上的附加噪声。为了使推导在数学上更加简单，y、x和h可以针对每个时间步长被展开成时间滞后向量。模板，不是C个通道和T个时间步长的大小C×T的2D矩阵，被展开成CT×1向量，这相当于将模板的连续时间帧连接在彼此之上。叠加的模板于是为hs＝[hs(0)，hs1(0)，hs2(0)，...，hsC-1(0)，hs0(1)，....hsC-1(T-1)]T。叠加的观察为y(t)＝[y0(t)，y1(t)，y2(t)，...，yC-1(t)，y0(t+1)，....yC-1(t+T-1)]T，且叠加的噪声为n(t)＝[n0(t)，n1(t)，n2(t)，...，nC-1(t)，n0(t+1)，....nC-1(t+T-1)]T。于是模型可以被重写为y(t)＝∑shsxs(t)+n(t)。假设有感兴趣的单个源，于是y(t)＝hx(t)+n(t)。为了找到滤波器，可以应用于y(t)的w恢复x(t)，其估计可以被提供为
Figure BDA0002940504310000311
MVDR滤波器是满足下面的优化
Figure BDA0002940504310000312
的滤波器
Figure BDA0002940504310000313
使得wTh＝1。操纵项
Figure BDA0002940504310000314
产生
Figure BDA0002940504310000315
其中φyy是y的所有条目的相关矩阵。因此，优化变成
Figure BDA0002940504310000316
使得wTh＝1。这个问题有闭合形式解，其为
Figure BDA0002940504310000317
为了计算这个滤波器，需要模板h和该观察φyy的协方差的估计。在一些实施例中，φyy被计算为来自该观察的样本协方差矩阵。然后所估计的信号是
Figure BDA0002940504310000318
图10示出了与多个生物源相关联的一组EMG通道波形，其可以根据本文描述的技术的一些实施例来产生。如所示，每一列反映从一个生物源(即，一个运动单元)检测的时空波形，以及每一行是从一个EMG通道产生的(平均/模板)波形。
图11示出了使用MVDR滤波器来处理流式传送所记录的神经肌肉数据的自动尖峰检测器的示例性输出。如所示，MVDR滤波器输出与指示自动尖峰检测的准确度是高的地面实况尖峰时间(ground truth spike times)相似。当多个MVDR滤波器(其中每个对应于一个单独的运动单元)被使用时，每个运动单元的尖峰事件信息可以被确定，如图12所示。
对于波束形成技术，例如MVDR，训练/拟合该模型包括确定时空响应函数。可以通过首先对所收集的数据的初始集合执行尖峰排序来确定每个生物源(例如每个运动单元)的时空模式。为了生成滤波器，可以使用对流式传送的数据实时地工作的方法和不实时地工作的方法(例如迭代技术)。例如，在一些实施例中，使用矩阵分解技术来确定生物源的时空响应函数。例如，Negro等人(Journal of Neural Engineering(2016))使用多步迭代算法来将时间滞后传感器信号分解成对应于每个源的分量，并检测来自每个源的尖峰事件。矩阵分解的优点是它不需要训练或参数拟合，因为它对数据起作用以例如通过它的迭代性质来有效地完成此。更一般地，可以通过任何尖峰分解或尖峰分类方法来获得时空响应函数，其中非限制性示例包括由市场上可买到的尖峰分类软件包KiloSort、MountainSort以及在其中使用的技术的组合所使用的那些示例。在一些非限制性实施例中，例如通过用额外的累积数据重复这些估计过程或者在检测器的实时操作期间基于检测到的尖峰的定时执行反向相关来更新时空响应函数的估计。
在一些实施例中，可以在神经肌肉数据中检测尖峰事件。例如，原始神经肌肉数据可以被阈值化。可选地，可以例如用小波来白化或过滤所记录的神经肌肉数据。然后，检测到的尖峰事件可以被聚类以识别相似的尖峰事件。然后，在集群中的尖峰事件可以用于为波束形成滤波器确定每个生物源的时空模式(例如，通过采用聚类方法)。可以通过将波束形成滤波器应用于数据(集群根据该数据被确定)并确定哪个阈值导致在假阴性(未能识别集群的成员)和假阳性(例如识别来自另一个集群的事件)之间的适当平衡，来设置在滤波器输出上的阈值。
在一些实施例中，集群基于质量标准被接受、拒绝或排名。质量标准的非限制性示例可以反映集群内和集群间距离、时空响应函数的幅度、时空响应函数的生物学似真性以及在集群内的事件的尖峰时间的生物学似然性(例如，多个事件是否在运动神经元的不应期内出现)。在一些实施例中，上面所述的事件检测和聚类技术以迭代方式重复多次。例如，在识别出集群之后，选择最佳集群(例如，具有最大幅度事件的集群或最紧密地聚类的集群)，并且对所记录的神经肌肉数据使用波束形成以例如针对第一生物源检测对应于该集群的尖峰事件。将检测到的尖峰事件与时空模式卷积，并从所记录的神经肌肉信号减去结果以在用于事件检测和聚类的另外的迭代上被使用，基本上消除第一生物源对神经肌肉信号的贡献。例如当没有更多的集群通过质量标准时或者当残留信号具有与噪声的方差可比较的方差(其可以从最小神经肌肉活动的周期被估计)时，停止标准可以被用于确定何时停止迭代。
对于采用神经网络而不是波束形成技术的实施例，一般没有对在网络中的最佳权重的闭合形式解。采用监督学习的神经网络也需要具有准确的地面实况标签(ground-truth labels)的训练数据。因此，生成用于训练神经网络的合成训练数据可能是有帮助的。可以通过用随机点过程(例如泊松过程、更新过程)模拟具有尖峰时间的神经肌肉数据、将尖峰事件与尖峰的时空分布卷积来生成合成数据。时空分布可以是集群中心、在集群内的样本、在集群内的样本之间的内插或者来自从集群拟合的模型的样本)并且然后添加噪声。该噪声可以包括高斯噪声以及还有来自其他运动单元的时空分布(例如，根据数学模型合成地生成的、从来自其他用户的数据获得的、或者从另一个用户获得的半合成的、例如按比例缩放的或以其他方式变换的分布)。
对于神经网络，网络的第一卷积层可以用从波束形成方法确定的线性滤波器来被初始化，以及到输出层的连接可以被跳过，使得网络的其余部分可以充当对波束形成估计的校正。
在一些实施例中，滤波器被保存并跨用户会话被重复使用。由于传感器放置的变化，重新使用滤波器可能需要跨会话的信号的校准或配准。
发明人已经认识到，本文描述的任何尖峰识别系统和方法可以可选地包括用于迭代地从不同的生物源(即运动单元)识别和提取尖峰的“尖峰剥离”工作流程。尖峰剥离包括一次识别一个尖峰动作电位(即一个生物源，通常是运动单元)，以及从记录提取该生物源的时空模式，潜在地揭露残留物中的更多尖峰。这种技术的目的是能够以无监督的和可能在线的方式从记录提取尖峰。在一些实施例中，尖峰剥离可用于生成会话特定“尖峰库”以从记录提取尽可能多的尖峰。
图13是根据本文描述的技术的一些实施例示出用于从神经肌肉数据检测尖峰事件信息的实质上实时的过程的流程图。特别是，图13根据一些实施例示出了用于尖峰剥离的示例过程1300。例如，可以使用如本文所述的各种系统或基于计算机的元件来执行这样的过程。在块1302，从用户记录神经肌肉信号。接下来，在块1304处理神经肌肉信号，并且在块1306检测一个或更多个尖峰事件(例如，使用如本文描述的波束形成技术)。在块1308，系统确定关于检测到的一个或更多个尖峰事件的最佳生物源。在块1310通过应用标准以确定要提取的“最佳”生物源(即运动单元)来选择第一生物源，并且尖峰事件(尖峰时间)在块1312被提取(即，被保存用于用作控制信号或其他用途)。在提取关于最佳生物源的尖峰事件之后，在块1314从经处理的神经肌肉信号减去关于该生物源的时空波形(例如该生物源的时空模板)以生成残留神经肌肉信号。接下来，再次从残留的经处理的神经肌肉信号检测尖峰事件，并且工作流程1306至1314重复一次或多次，直到在残留信号中不存在满足用于选择作为尖峰事件的生物源的最小阈值的生物源为止。
尖峰剥离的一个益处是，可以能够基于尖峰的共激活将尖峰分组到“肌肉”内并将在肌肉内的尖峰分类以近似募集曲线。
用于尖峰剥离的一个有效的工作流程基于其最高幅度和在聚类过程中分配给它的尖峰的数量的对数的乘积来选择接下来要提取的“最佳”尖峰。发明人已经认识到，仅使用最高幅度作为用于选择用于提取的下一个尖峰的标准倾向于拾取在单个电极中的单个样本中被局部化的伪影，而使用仅基于检测到的尖峰的数量的标准倾向于拾取非尖峰状(即，不是在生理学上似然的)的常见低幅度模式。尖峰幅度和检测到的尖峰的数量的组合在至少一些实例中对于识别表现生理特征的时空模式是最有效的。
示例可穿戴系统
图14A-14B和图15A-15B示出了可穿戴系统的几个实施例，其中各个实施例可以在可穿戴系统中被实践。具体地，图14A示出了作为具有16个神经肌肉传感器1410(例如，EMG传感器)的可穿戴系统的人机接口(本文也称为EMG控制接口)，这16个神经肌肉传感器1410围绕弹性带1420周向布置，弹性带1420被配置成围绕用户的下臂或手腕穿戴。如图所示，EMG传感器1410围绕弹性带1420周向布置。应当理解，可以使用任何合适数量的神经肌肉传感器。神经肌肉传感器的数量和布置可以取决于使用可穿戴系统的特定应用。例如，可穿戴臂带或腕带可以用于生成控制信息，以控制增强现实系统、机器人、控制车辆、滚动浏览文本、控制虚拟化身或用于任何其他合适的控制任务。
在一些实施例中，传感器1410包括一组神经肌肉传感器(例如EMG传感器)。在其他实施例中，传感器1410可以包括一组神经肌肉传感器和被配置成连续地记录辅助信号的至少一个“辅助”传感器。辅助传感器的示例包括但不限于其他传感器，例如IMU传感器、麦克风、成像传感器(例如，照相机)、与辐射生成设备(例如，激光扫描设备)一起使用的基于辐射的传感器、或者其他类型的传感器(例如心率监测器)。如图所示，传感器1410可以使用结合到可穿戴设备中的柔性电子器件1430耦合在一起。图14B示出了图14A所示的可穿戴设备的传感器1410中的一个传感器的截面图。
在一些实施例中，可选地，一个或更多个感测部件的输出可以使用硬件信号处理电路来处理(例如，执行放大、滤波和/或整流)。在其他实施例中，感测部件的输出的至少一些信号处理可以在软件中执行。因此，由传感器采样的信号的信号处理可以以硬件、软件或由硬件和软件的任何适当组合执行，因为本文所描述的技术的各方面不限于该方面。将在下面结合图15A和图15B更详细地讨论用于处理来自传感器1410的所记录的数据的信号处理链的非限制性示例。
图15A和图15B根据本文描述的技术的一些实施例示出了具有十六个EMG传感器的可穿戴系统的内部部件的示意图。如图所示，可穿戴系统包括可穿戴部分1510(图15A)和(例如，经由蓝牙或另一种合适的短程无线通信技术)与可穿戴部分1510通信的加密狗部分1520(图15B)。如图15A所示，可穿戴部分1510包括传感器1410，结合图14A和图14B对其示例进行了描述。传感器1410的输出被提供给模拟前端1530，模拟前端1530被配置成对所记录的信号执行模拟处理(例如，降噪、滤波等)。经处理的模拟信号然后被提供给模数转换器1532，模数转换器1532将模拟信号转换成可以由一个或更多个计算机处理器处理的数字信号。可以根据一些实施例使用的计算机处理器的一个示例是图15A所示的微控制器(MCU)1534。如图所示，MCU 1534也可以包括来自其他传感器(例如，IMU传感器1540)以及电源和电池模块1542的输入。由MCU执行的处理的输出可以被提供给天线1550，用于传输到图15B所示的加密狗部分1520。
加密狗部分1520包括天线1552，天线1552被配置成与作为可穿戴部分1510的一部分而被包括的天线1550通信。可以使用任何合适的无线技术和协议(其非限制性示例包括射频信令和蓝牙)进行天线1550和1552之间的通信。如图所示，由加密狗部分1520的天线1552接收的信号可以被提供给主计算机，以用于进一步处理、显示和/或实现对特定物理或虚拟对象的控制。
虽然参考图14A、图14B和图15A、图15B提供的示例是在具有EMG传感器的接口的上下文中被讨论，但是应当理解，本文描述的用于减少电磁干扰的技术也可以在具有其他类型的传感器的可穿戴接口中实现，其他类型的传感器包括但不限于肌动图(MMG)传感器、声肌图(SMG)传感器和电阻抗断层成像(EIT)传感器。
可以以多种方式中的任一种来实现上述实施例。例如，可以使用硬件、软件或其组合来实现实施例。当以软件实现时，软件代码可以在任何合适的处理器或处理器集合上被执行，无论是在单个计算机中被提供还是分布在多个计算机当中。应当认识到，执行上述功能的任何部件或部件集合可以一般地被考虑为控制上面讨论的功能的一个或更多个控制器。一个或更多个控制器可以以多种方式实现，例如用专用硬件或使用微码或软件编程来执行上述功能的一个或更多个处理器。
在这方面，应当理解，本发明实施例的一个实现包括编码有计算机程序(即，多个指令)的至少一个非暂时性计算机可读存储介质(例如，计算机存储器、便携式存储器、光盘等)，该计算机程序当在处理器上执行时，执行本发明实施例的以上所讨论的功能。计算机可读存储介质可以是可传输的，使得存储在其上的程序可以被加载到任何计算机资源上，以实现本文所讨论的本发明的各方面。此外，应当认识到，对当被执行时执行上面讨论的功能的计算机程序的提及不限于在主机计算机上运行的应用程序。相反，术语“计算机程序”在本文中以一般意义使用，以指代任何类型的计算机代码(例如，软件或微代码)，其可以用于对处理器进行编程以实现本发明的以上所讨论的各方面。
本发明的各个方面可以单独使用、组合使用或者以在前面描述的实施例中没有具体讨论的各种布置使用，因此它们的应用不限于在前面描述中阐述的或者在附图中示出的部件的细节和布置。例如，在一个实施例中描述的方面可以以任何方式与在其他实施例中描述的方面组合。
此外，本发明的实施例可以被实现为一种或更多种方法，已经提供了其示例。作为方法的一部分被执行的动作可以以任何合适的方式被排序。相应地，可以构造实施例，其中动作以与所示出的不同的顺序被执行，这可以包括同时执行一些动作，即使在说明性实施例中被示为顺序动作。
在权利要求中使用顺序术语(诸如“第一”、“第二”、“第三”等)来修饰权利要求元素并不单独地暗示一个权利要求元素相对于另一个权利要求元素的任何优先级、优先权、或顺序或者方法的动作被执行的时间顺序。这样的术语仅用作标签以将具有特定名称的一个权利要求元素与具有相同名称的另一个元素区分开(但对于序数术语的使用)。
本文所使用的措辞和术语是为了描述的目的，且不应被视为限制性的。“包括(including)”、“包括(comprising)”、“具有(having)”、“包含(containing)”、“涉及(involving)”、及它们的变形的使用意指包括在其后列出的项和另外的项。
在详细描述了本发明的几个实施例后，本领域技术人员将容易想到各种改变和改进。这些修改和改进旨在包括在本发明的精神和范围内。因此，前面的描述仅仅是作为示例，且并不旨在为限制性的。本发明仅由所附权利要求及其等同物限定。

Claims (108)

1.一种计算机化系统，包括：
多个神经肌肉传感器，其被配置成记录来自用户的多个神经肌肉信号，其中，所述多个神经肌肉传感器被布置在一个或更多个可穿戴设备上；以及
至少一个计算机处理器，其被编程为：
基于所述多个神经肌肉信号或从所述多个神经肌肉信号导出的信息来检测对应于在至少一个运动单元中的动作电位的激发的至少一个尖峰事件；
基于所述多个神经肌肉信号或从所述多个神经肌肉信号导出的信息来确定检测到的至少一个尖峰事件的生物源；以及
至少部分地基于所述检测到的至少一个尖峰事件和/或所述检测到的至少一个尖峰事件的所确定的生物源来生成至少一个输出。
2.根据权利要求1所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为：
应用用于从与相应的检测到的尖峰事件相关联的多个生物源中选择最佳生物源的一个或更多个标准；
选择与所述最佳生物源相关联的至少一个最佳尖峰事件；
从所述神经肌肉信号中的至少一个神经肌肉信号减去关于所述至少最佳尖峰事件的检测到的波形，并且生成残留神经肌肉信号。
3.根据权利要求2所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为执行用于处理检测到的尖峰事件的迭代过程，直到在所述残留信号中不存在满足用于选择作为尖峰事件的生物源的最小阈值的生物源为止。
4.根据权利要求1所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为基于共激活来将检测到的尖峰事件分组到特定肌肉组内，并将在所述特定肌肉组内的尖峰事件分类以近似募集曲线。
5.根据权利要求1所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为将至少一个滤波器应用于所述多个神经肌肉信号的时间滞后表示，以及
其中，检测所述至少一个尖峰事件和确定所检测到的至少一个尖峰事件的生物源是基于所述多个神经肌肉信号的滤波后的时间滞后表示来执行的。
6.根据权利要求5所述的计算机化系统，其中，将至少一个滤波器应用于所述多个神经肌肉传感器的时间滞后表示包括使用波束形成过程来将多个波束形成滤波器应用于所述多个神经肌肉信号的所述时间滞后表示，其中，所述多个波束形成滤波器是基于一个或更多个尖峰事件的时空模式而生成的滤波器。
7.根据权利要求6所述的计算机化系统，其中，所述波束形成过程包括使用最小方差无失真响应技术。
8.根据权利要求6所述的计算机化系统，其中，所述波束形成过程包括使用线性约束最小方差技术。
9.根据权利要求6所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为确定对应于所述多个波束形成滤波器的所述一个或更多个尖峰事件的所述时空模式。
10.根据权利要求9所述的计算机化系统，其中，确定对应于所述多个波束形成滤波器的所述一个或更多个尖峰事件的所述时空模式包括：
检测在记录的神经肌肉信号中的多个尖峰事件；
将所述检测到的多个尖峰事件聚类；以及
基于尖峰事件的集群来确定所述时空模式。
11.根据权利要求9所述的计算机化系统，其中，检测多个尖峰事件包括：
在所述多个神经肌肉信号内检测低活动期；以及
在所述低活动期内检测推定尖峰事件。
12.根据权利要求11所述的计算机化系统，其中，检测所述多个尖峰事件还包括分析检测到的推定尖峰事件以丢弃具有一个或更多个特定特征的尖峰事件。
13.根据权利要求12所述的计算机化系统，其中，所述一个或更多个特定特征包括比特定阈值持续时间更长的持续时间。
14.根据权利要求1所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为使用一个或更多个神经网络来检测所述至少一个尖峰事件和/或确定检测到的至少一个尖峰事件的生物源。
15.根据权利要求14所述的计算机化系统，其中，所述一个或更多个神经网络包括卷积神经网络。
16.根据权利要求14所述的计算机化系统，其中，所述一个或更多个神经网络包括循环神经网络。
17.根据权利要求1所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为使用多步迭代技术以将所述多个神经肌肉信号的时间滞后表示分解成对应于至少一个生物源的信号分量，并且从所述至少一个生物源检测所述至少一个尖峰事件，来检测所述至少一个尖峰事件并确定所述检测到的至少一个尖峰事件的生物源。
18.根据权利要求17所述的计算机化系统，其中，所述多步迭代技术包括矩阵分解。
19.根据权利要求1所述的计算机化系统，其中，生成至少一个输出包括生成包括所述至少一个尖峰事件的指示的压缩数据。
20.根据权利要求19所述的计算机化系统，其中，所述至少一个尖峰事件的指示作为控制信号被提供到基于计算机的系统。
21.根据权利要求20所述的计算机化系统，其中，所述至少一个尖峰事件的指示作为包括下列项的组中的至少一项被提供：
离散控制信号；
连续控制信号；以及
复合控制信号。
22.根据权利要求1所述的计算机化系统，其中，生成至少一个输出包括生成所述至少一个尖峰事件的指示。
23.根据权利要求22所述的计算机化系统，其中，所述至少一个尖峰事件的指示包括所述至少一个尖峰事件的生物源和所述至少一个尖峰事件的出现的时间的指示。
24.根据权利要求1所述的计算机化系统，其中，所述至少一个计算机处理器被编程为响应于至少部分地基于所述检测到的至少一个尖峰事件和/或所述检测到的至少一个尖峰事件的所述确定的生物源的所述至少一个输出而向所述用户提供反馈。
25.根据权利要求24所述的计算机化系统，其中，所述至少一个计算机处理器被编程为向所述用户提供反馈作为用户训练过程的一部分。
26.根据权利要求25所述的计算机化系统，其中，所述反馈包括包含听觉、视觉、触觉和多感觉反馈的组中的至少一个。
27.根据权利要求1所述的计算机化系统，还包括惯性传感器，所述惯性传感器被配置为确定所述至少一个运动单元的肌肉纤维相对于所述多个神经肌肉传感器中的一个或更多个的空间位置的运动伪影或偏移。
28.根据权利要求27所述的计算机化系统，其中，所述至少一个计算机处理器被编程为响应于所述惯性传感器的输出来过滤或细化推理模型的输出。
29.根据权利要求19所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为通过一个或更多个无线网络将包括所述至少一个尖峰事件的指示的所述压缩数据传输到外部设备。
30.根据权利要求19所述的计算机化系统，还包括：
至少一个存储设备，以及
其中，所述至少一个计算机处理器还被编程为将所述压缩数据存储在所述至少一个存储设备上。
31.根据权利要求1所述的计算机化系统，其中，生成至少一个输出包括生成包括由关节连接的多个刚性体段的已更新的计算机化肌肉骨骼表示，其中，生成所述已更新的计算机化肌肉骨骼表示包括：
至少部分地基于所述检测到的至少一个尖峰事件和/或所述检测到的至少一个尖峰事件的所识别出的生物源来确定描述在所述计算机化肌肉骨骼表示的所述多个刚性体段的两个或更多个连接的节段之间的空间关系的肌肉骨骼位置信息和/或描述在所述计算机化肌肉骨骼表示的所述多个刚性体段中的两个或更多个节段之间的力的力信息；以及
至少部分地基于所述肌肉骨骼位置信息和/或所述力信息来更新所述计算机化肌肉骨骼表示。
32.根据权利要求31所述的计算机化系统，其中，确定所述肌肉骨骼位置信息和/或所述力信息包括将所述检测到的至少一个尖峰事件和/或所述检测到的至少一个尖峰事件的所识别出的生物源作为输入提供到经训练的推理模型，以及
其中，所述肌肉骨骼位置信息和/或所述力信息是至少部分地基于所述经训练的推理模型的输出来确定的。
33.根据权利要求1所述的计算机化系统，其中，生成至少一个输出包括实质上实时地生成用于控制至少一个设备的至少一个控制信号。
34.根据权利要求33所述的计算机化系统，其中，检测至少一个尖峰事件包括检测所述至少一个尖峰事件的时空模式，以及
其中，生成至少一个控制信号包括至少部分地基于所述至少一个尖峰事件的所检测到的时空模式的至少一个特征来生成所述至少一个控制信号。
35.根据权利要求34所述的计算机化系统，其中，所述至少一个特征包括所述至少一个尖峰事件的速率和/或所述至少一个尖峰事件的所述检测到的时空模式的空间分布。
36.根据权利要求1所述的计算机化系统，其中，所识别出的生物源包括运动单元。
37.根据权利要求1所述的计算机化系统，其中，所识别出的生物源包括多个运动单元。
38.根据权利要求1所述的计算机化系统，其中，所识别出的生物源包括肌肉。
39.根据权利要求1所述的计算机化系统，其中，所识别出的生物源包括多个肌肉。
40.根据权利要求1所述的计算机化系统，其中，确定所述至少一个尖峰事件的生物源包括确定所述至少一个尖峰事件与运动单元或运动单元组相关联，
其中，所述至少一个计算机处理器还被编程为确定所述运动单元或运动单元组所属于的肌肉，以及
其中，生成至少一个输出包括基于所述运动单元或运动单元组所属于的所确定的肌肉来生成所述至少一个输出。
41.根据权利要求40所述的计算机化系统，其中，所述确定的肌肉与描述所述确定的肌肉的运动单元的激活的序列的运动单元募集序列相关联，以及
其中，所述至少一个计算机处理器还被编程为确定所述运动单元或运动单元组落在所述确定的肌肉的所述运动单元募集序列内哪里。
42.根据权利要求1所述的计算机化系统，还包括：
至少一个辅助传感器，所述至少一个辅助传感器被配置为记录多个辅助信号，以及
其中，所述至少一个计算机处理器还被编程为至少部分地基于所述多个辅助信号来生成所述至少一个输出。
43.根据权利要求42所述的计算机化系统，其中，所述至少一个辅助传感器包括至少一个惯性测量单元(IMU)传感器，所述至少一个惯性测量单元(IMU)传感器被配置为记录多个IMU信号，以及
其中，所述至少一个计算机处理器还被编程为至少部分地基于所述多个IMU信号和/或从所述多个IMU信号导出的信息来生成所述至少一个输出。
44.根据权利要求42所述的计算机化系统，其中，所述至少一个辅助传感器包括被配置为记录一个或更多个图像的至少一个照相机，以及
其中，所述至少一个计算机处理器还被编程为至少部分地基于所述一个或更多个图像和/或从所述一个或更多个图像导出的信息来生成所述至少一个输出。
45.根据权利要求44所述的计算机化系统，其中，检测所述至少一个尖峰事件还基于所述一个或更多个图像和/或从所述一个或更多个图像导出的信息。
46.根据权利要求1所述的计算机化系统，其中，所述至少一个计算机处理器作为与被布置在所述一个或更多个可穿戴设备上的所述多个神经肌肉传感器分离并通信的设备的一部分被包括，以及
其中，所述多个神经肌肉传感器被配置成将所述多个神经肌肉信号和/或从所述多个神经肌肉信号导出的信息实质上实时地无线地流式传送到所述至少一个计算机处理器。
47.根据权利要求46所述的计算机化系统，其中，与所述多个神经肌肉传感器分离并通信的设备是从包括以下项的组中选择的设备：远程服务器、台式计算机、膝上型计算机、智能手机和可穿戴电子设备。
48.根据权利要求47所述的计算机化系统，其中，所述可穿戴电子设备是智能手表、健康监测设备、智能眼镜或增强现实系统。
49.根据权利要求1所述的计算机化系统，其中，所述至少一个计算机处理器与所述一个或更多个可穿戴设备集成在一起，所述多个神经肌肉传感器被布置在所述一个或更多个可穿戴设备上。
50.根据权利要求1所述的计算机化系统，其中，所述至少一个计算机处理器包括至少一个第一计算机处理器和至少一个第二计算机处理器，所述至少一个第一计算机处理器作为与被布置在所述一个或更多个可穿戴设备上的所述多个神经肌肉传感器分离并通信的设备的一部分被包括，所述至少一个第二计算机处理器与所述一个或更多个可穿戴设备集成在一起，所述多个神经肌肉传感器被布置在所述一个或更多个可穿戴设备上。
51.根据权利要求50所述的计算机化系统，其中，所述多个神经肌肉传感器被配置为将所述多个神经肌肉信号中的至少一些神经肌肉信号传输到所述至少一个第一计算机处理器，
其中，所述至少一个第一计算机处理器被编程为：
基于从所述多个神经肌肉传感器传输的所述多个神经肌肉信号中的至少一些神经肌肉信号，来训练至少一个尖峰检测模型和/或至少一个尖峰识别模型；以及
将经训练的至少一个尖峰检测模型和/或至少一个尖峰识别模型传输到所述至少一个第二计算机处理器，以及
其中，所述至少一个第二计算机处理器被编程为使用从所述至少一个第一计算机处理器传输的所述至少一个尖峰检测模型和/或所述至少一个尖峰识别模型，来检测所述至少一个尖峰事件，并且确定所述检测到的至少一个尖峰事件的生物源。
52.根据权利要求51所述的计算机化系统，其中，所述至少一个尖峰检测模型和/或至少一个尖峰识别模型被训练以估计包括下列项的组中的至少一项：
所述用户是否正在激活特定运动单元；
所述用户是否正在以特定定时激活特定运动单元；以及
所述用户是否正在激活特定运动单元组合。
53.根据权利要求1所述的计算机化系统，其中，检测对应于在至少一个运动单元中的动作电位的激发的至少一个尖峰事件包括检测对应于在多个运动单元中的动作电位的激发的至少一个尖峰事件。
54.根据权利要求5所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为将所述多个神经肌肉信号的滤波后的时间滞后表示阈值化以检测所述至少一个尖峰事件。
55.一种检测在神经肌肉数据中的尖峰事件的计算机实现的方法，所述方法包括：
从被布置在由用户穿戴的一个或更多个可穿戴设备上的多个神经肌肉传感器接收多个神经肌肉信号；
基于所述多个神经肌肉信号或从所述多个神经肌肉信号导出的信息来检测对应于在至少一个运动单元中的动作电位的激发的至少一个尖峰事件；
基于所述多个神经肌肉信号或从所述多个神经肌肉信号导出的信息来确定所检测到的至少一个尖峰事件的生物源；以及
至少部分地基于所述检测到的至少一个尖峰事件和/或所述检测到的至少一个尖峰事件的所确定的生物源来生成至少一个输出。
56.根据权利要求55所述的计算机实现的方法，其中，所述方法还包括：
应用用于从与相应的检测到的尖峰事件相关联的多个生物源中选择最佳生物源的一个或更多个标准；
选择与所述最佳生物源相关联的至少一个最佳尖峰事件；
从所述神经肌肉信号中的至少一个神经肌肉信号减去关于所述至少最佳尖峰事件的检测到的波形，并生成残留神经肌肉信号。
57.根据权利要求56所述的计算机实现的方法，其中，所述方法还包括执行用于处理检测到的尖峰事件的迭代过程，直到在所述残留信号中不存在满足用于选择作为尖峰事件的生物源的最小阈值的生物源为止。
58.根据权利要求55所述的计算机实现的方法，其中，所述方法还包括基于共激活来将检测到的尖峰事件分组到特定肌肉组内，并将在所述特定肌肉组内的尖峰事件分类以近似募集曲线。
59.根据权利要求55所述的计算机实现的方法，其中，所述方法还包括将至少一个滤波器应用于所述多个神经肌肉信号的时间滞后表示，以及
其中，检测所述至少一个尖峰事件和确定所检测到的至少一个尖峰事件的生物源是基于所述多个神经肌肉信号的滤波后的时间滞后表示来执行的。
60.根据权利要求59所述的计算机实现的方法，其中，将至少一个滤波器应用于所述多个神经肌肉传感器的时间滞后表示包括使用波束形成过程来将多个波束形成滤波器应用于所述多个神经肌肉信号的所述时间滞后表示，其中，所述多个波束形成滤波器是基于一个或更多个尖峰事件的时空模式而生成的滤波器。
61.根据权利要求60所述的计算机实现的方法，其中，所述波束形成过程包括使用最小方差无失真响应技术。
62.根据权利要求60所述的计算机实现的方法，其中，所述波束形成过程包括使用线性约束最小方差技术。
63.根据权利要求60所述的计算机实现的方法，其中，所述方法还包括确定对应于所述多个波束形成滤波器的所述一个或更多个尖峰事件的所述时空模式。
64.根据权利要求63所述的计算机实现的方法，其中，确定对应于所述多个波束形成滤波器的所述一个或更多个尖峰事件的所述时空模式包括：
检测在记录的神经肌肉信号中的多个尖峰事件；
将所检测到的多个尖峰事件聚类；以及
基于尖峰事件的集群来确定所述时空模式。
65.根据权利要求63所述的计算机实现的方法，其中，检测多个尖峰事件包括：
在所述多个神经肌肉信号内检测低活动期；以及
在所述低活动期内检测推定尖峰事件。
66.根据权利要求65所述的计算机实现的方法，其中，检测所述多个尖峰事件还包括分析所检测到的推定尖峰事件以丢弃具有一个或更多个特定特征的尖峰事件。
67.根据权利要求66所述的计算机实现的方法，其中，所述一个或更多个特定特征包括比特定阈值持续时间更长的持续时间。
68.根据权利要求55所述的计算机实现的方法，其中，所述方法还包括使用一个或更多个神经网络来检测所述至少一个尖峰事件和/或确定所检测到的至少一个尖峰事件的生物源。
69.根据权利要求68所述的计算机实现的方法，其中，所述一个或更多个神经网络包括卷积神经网络。
70.根据权利要求68所述的计算机实现的方法，其中，所述一个或更多个神经网络包括循环神经网络。
71.根据权利要求55所述的计算机实现的方法，其中，所述方法还包括使用多步迭代技术以将所述多个神经肌肉信号的时间滞后表示分解成对应于至少一个生物源的信号分量，并从所述至少一个生物源检测所述至少一个尖峰事件，来检测所述至少一个尖峰事件并确定所述检测到的至少一个尖峰事件的所述生物源。
72.根据权利要求71所述的计算机实现的方法，其中，所述多步迭代技术包括矩阵分解。
73.根据权利要求55所述的计算机实现的方法，其中，生成至少一个输出包括生成包括所述至少一个尖峰事件的指示的压缩数据。
74.根据权利要求73所述的计算机实现的方法，其中，所述至少一个尖峰事件的指示作为控制信号被提供到基于计算机的系统。
75.根据权利要求74所述的计算机实现的方法，其中，所述至少一个尖峰事件的指示作为包括下列项的组中的至少一项被提供：
离散控制信号；
连续控制信号；以及
复合控制信号。
76.根据权利要求55所述的计算机实现的方法，其中，生成至少一个输出包括生成所述至少一个尖峰事件的指示。
77.根据权利要求76所述的计算机实现的方法，其中，所述至少一个尖峰事件的指示包括所述至少一个尖峰事件的生物源和所述至少一个尖峰事件的出现的时间的指示。
78.根据权利要求55所述的计算机实现的方法，其中，所述方法还包括响应于至少部分地基于所述检测到的至少一个尖峰事件和/或所述检测到的至少一个尖峰事件的所述确定的生物源的所述至少一个输出而向所述用户提供反馈。
79.根据权利要求78所述的计算机实现的方法，其中，所述方法还包括向所述用户提供反馈作为用户训练过程的一部分。
80.根据权利要求79所述的计算机实现的方法，其中，所述反馈包括包含听觉、视觉、触觉和多感觉反馈的组中的至少一个。
81.根据权利要求55所述的计算机实现的方法，其中，所述可穿戴设备还包括惯性传感器，并且其中所述方法还包括使用所述惯性传感器来确定所述至少一个运动单元的肌肉纤维相对于所述多个神经肌肉传感器中的一个或更多个神经肌肉传感器的空间位置的运动伪影或偏移。
82.根据权利要求81所述的计算机实现的方法，还包括响应于所述惯性传感器的输出来过滤或细化推理模型的输出。
83.根据权利要求73所述的计算机实现的方法，其中，所述方法还包括通过一个或更多个无线网络将包括所述至少一个尖峰事件的指示的所述压缩数据传输到外部设备。
84.根据权利要求73所述的计算机实现的方法，其中，所述一个或更多个可穿戴设备中的至少一个可穿戴设备包括至少一个存储设备，并且其中，所述方法还包括将所述压缩数据存储在所述至少一个存储设备上。
85.根据权利要求55所述的计算机实现的方法，其中，生成至少一个输出包括生成包括由关节连接的多个刚性体段的已更新的计算机化肌肉骨骼表示，其中，生成所述已更新的计算机化肌肉骨骼表示包括：
至少部分地基于所述检测到的至少一个尖峰事件和/或所述检测到的至少一个尖峰事件的所识别出的生物源来确定描述在所述计算机化肌肉骨骼表示的所述多个刚性体段的两个或更多个连接的节段之间的空间关系的肌肉骨骼位置信息和/或描述在所述计算机化肌肉骨骼表示的所述多个刚性体段中的两个或更多个节段之间的力的力信息；以及
至少部分地基于所述肌肉骨骼位置信息和/或所述力信息来更新所述计算机化肌肉骨骼表示。
86.根据权利要求85所述的计算机实现的方法，其中，确定所述肌肉骨骼位置信息和/或所述力信息包括将所述检测到的至少一个尖峰事件和/或所述检测到的至少一个尖峰事件的所识别出的生物源作为输入提供到经训练的推理模型，以及
其中，所述肌肉骨骼位置信息和/或所述力信息是至少部分地基于所述经训练的推理模型的输出来确定的。
87.根据权利要求55所述的计算机实现的方法，其中，生成至少一个输出包括实质上实时地生成用于控制至少一个设备的至少一个控制信号。
88.根据权利要求87所述的计算机实现的方法，其中，检测至少一个尖峰事件包括检测所述至少一个尖峰事件的时空模式，以及
其中，生成至少一个控制信号包括至少部分地基于所述至少一个尖峰事件的所检测到的时空模式的至少一个特征来生成所述至少一个控制信号。
89.根据权利要求88所述的计算机实现的方法，其中，所述至少一个特征包括所述至少一个尖峰事件的速率和/或所述至少一个尖峰事件的所述检测到的时空模式的空间分布。
90.根据权利要求55所述的计算机实现的方法，其中，所识别出的生物源包括运动单元。
91.根据权利要求55所述的计算机实现的方法，其中，所识别出的生物源包括多个运动单元。
92.根据权利要求55所述的计算机实现的方法，其中，所识别出的生物源包括肌肉。
93.根据权利要求55所述的计算机实现的方法，其中，所识别出的生物源包括多个肌肉。
94.根据权利要求55所述的计算机实现的方法，其中，确定所述至少一个尖峰事件的生物源包括确定所述至少一个尖峰事件与运动单元或运动单元组相关联，
其中，所述方法还包括确定所述运动单元或运动单元组所属于的肌肉，以及
其中，生成至少一个输出包括基于所述运动单元或运动单元组所属于的所确定的肌肉来生成所述至少一个输出。
95.根据权利要求94所述的计算机实现的方法，其中，所述确定的肌肉与描述所述确定的肌肉的运动单元的激活的序列的运动单元募集序列相关联，以及
其中，所述方法还包括确定所述运动单元或运动单元组落在所述确定的肌肉的所述运动单元募集序列内哪里。
96.根据权利要求55所述的计算机实现的方法，其中，所述一个或更多个可穿戴设备中的至少一个可穿戴设备包括被配置为记录多个辅助信号的至少一个辅助传感器，并且其中，所述方法还包括至少部分地基于所述多个辅助信号来生成所述至少一个输出。
97.根据权利要求96所述的计算机实现的方法，其中，所述至少一个辅助传感器包括至少一个惯性测量单元(IMU)传感器，所述至少一个惯性测量单元(IMU)传感器被配置为记录多个IMU信号，并且其中，所述方法还包括至少部分地基于所述多个IMU信号和/或从所述多个IMU信号导出的信息来生成所述至少一个输出。
98.根据权利要求96所述的计算机实现的方法，其中，所述至少一个辅助传感器包括被配置为记录一个或更多个图像的至少一个照相机，并且其中，所述方法还包括至少部分地基于所述一个或更多个图像和/或从所述一个或更多个图像导出的信息来生成所述至少一个输出。
99.根据权利要求98所述的计算机实现的方法，其中，检测所述至少一个尖峰事件还基于所述一个或更多个图像和/或从所述一个或更多个图像导出的信息。
100.根据权利要求55所述的计算机实现的方法，其中，至少一个计算机处理器作为与被布置在所述一个或更多个可穿戴设备上的所述多个神经肌肉传感器分离并通信的设备的一部分被包括，以及
其中，所述方法还包括将所述多个神经肌肉信号和/或从所述多个神经肌肉信号导出的信息实质上实时地从所述多个神经肌肉传感器流式传送到所述至少一个计算机处理器。
101.根据权利要求100所述的计算机实现的方法，其中，与所述多个神经肌肉传感器分离并通信的设备是从包括以下项的组中选择的设备：远程服务器、台式计算机、膝上型计算机、智能手机和可穿戴电子设备。
102.根据权利要求101所述的计算机实现的方法，其中，所述可穿戴电子设备是智能手表、健康监测设备、智能眼镜或增强现实系统。
103.根据权利要求55所述的计算机实现的方法，还包括将至少一个计算机处理器与所述一个或更多个可穿戴设备集成在一起，所述多个神经肌肉传感器被布置在所述一个或更多个可穿戴设备上。
104.根据权利要求55所述的计算机实现的方法，其中，至少一个计算机处理器包括至少一个第一计算机处理器和至少一个第二计算机处理器，所述至少一个第一计算机处理器作为与被布置在所述一个或更多个可穿戴设备上的所述多个神经肌肉传感器分离并通信的设备的一部分被包括，所述至少一个第二计算机处理器与所述一个或更多个可穿戴设备集成在一起，所述多个神经肌肉传感器被布置在所述一个或更多个可穿戴设备上。
105.根据权利要求104所述的计算机实现的方法，还包括由所述多个神经肌肉传感器将所述多个神经肌肉信号中的至少一些神经肌肉信号传输到所述至少一个第一计算机处理器，以及其中，所述至少一个第一计算机处理器执行下列动作：
基于从所述多个神经肌肉传感器传输的所述多个神经肌肉信号中的至少一些神经肌肉信号来训练至少一个尖峰检测模型和/或至少一个尖峰识别模型；以及
将经训练的至少一个尖峰检测模型和/或至少一个尖峰识别模型传输到所述至少一个第二计算机处理器，以及
其中，所述至少一个第二计算机处理器执行以下动作：使用从所述至少一个第一计算机处理器传输的所述至少一个尖峰检测模型和/或所述至少一个尖峰识别模型，来检测所述至少一个尖峰事件并且确定所检测到的至少一个尖峰事件的生物源。
106.根据权利要求105所述的计算机实现的方法，还包括训练所述至少一个尖峰检测模型和/或至少一个尖峰识别模型以估计包括下列项的组中的至少一项：
所述用户是否正在激活特定运动单元；
所述用户是否正在以特定定时激活特定运动单元；以及
所述用户是否正在激活特定运动单元组合。
107.根据权利要求55所述的计算机实现的方法，其中，检测对应于在至少一个运动单元中的动作电位的激发的至少一个尖峰事件包括检测对应于在多个运动单元中的动作电位的激发的至少一个尖峰事件。
108.根据权利要求59所述的计算机实现的方法，其中，所述方法还包括将所述多个神经肌肉信号的滤波后的时间滞后表示阈值化以检测所述至少一个尖峰事件。
CN201980053249.XA 2018-08-13 2019-08-13 实时尖峰检测和识别 Pending CN112566553A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862718337P 2018-08-13 2018-08-13
US62/718,337 2018-08-13
PCT/US2019/046351 WO2020036958A1 (en) 2018-08-13 2019-08-13 Real-time spike detection and identification

Publications (1)

Publication Number Publication Date
CN112566553A true CN112566553A (zh) 2021-03-26

Family

ID=69405236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980053249.XA Pending CN112566553A (zh) 2018-08-13 2019-08-13 实时尖峰检测和识别

Country Status (4)

Country Link
US (1) US11179066B2 (zh)
EP (1) EP3836836B1 (zh)
CN (1) CN112566553A (zh)
WO (1) WO2020036958A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255579A (zh) * 2021-06-18 2021-08-13 上海建工集团股份有限公司 一种施工监测异常采集数据自动识别与处理的方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11974857B2 (en) 2019-10-08 2024-05-07 Unlimited Tomorrow, Inc. Biometric sensor array
US20210390436A1 (en) * 2020-06-11 2021-12-16 Sap Se Determining Categories For Data Objects Based On Machine Learning
US11589782B2 (en) * 2020-08-17 2023-02-28 The Trustees of the California State University Movement analysis and feedback systems, applications, devices, and methods of production thereof
CN112434630B (zh) * 2020-12-01 2022-08-16 深圳先进技术研究院 连续运动信息预测模型的训练方法及其训练装置、设备
CN112971813A (zh) * 2021-01-30 2021-06-18 上海麓联智能科技有限公司 一种用于神经信号的峰电位分类系统及分类方法
WO2023076823A1 (en) * 2021-10-25 2023-05-04 Magic Leap, Inc. Mapping of environmental audio response on mixed reality device

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040073414A1 (en) * 2002-06-04 2004-04-15 Brown University Research Foundation Method and system for inferring hand motion from multi-cell recordings in the motor cortex using a kalman filter or a bayesian model
US20090209878A1 (en) * 2006-04-15 2009-08-20 Sanger Terence D Systems and Methods for Estimating Surface Electromyography
US20140330404A1 (en) * 2013-05-03 2014-11-06 The Florida International University Board Of Trustees Systems and methods for decoding intended motor commands from recorded neural signals for the control of external devices or to interact in virtual environments
CN107589782A (zh) * 2016-07-06 2018-01-16 可穿戴设备有限公司 用于可穿戴设备的姿势控制接口的方法和装置
US20180020951A1 (en) * 2016-07-25 2018-01-25 Patrick Kaifosh Adaptive system for deriving control signals from measurements of neuromuscular activity
CN107864440A (zh) * 2016-07-08 2018-03-30 奥迪康有限公司 包括eeg记录和分析系统的助听系统

Family Cites Families (244)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4055168A (en) 1976-09-21 1977-10-25 The Rockefeller University Posture training device
IL78244A0 (en) 1986-03-24 1986-07-31 Zvi Kamil Instrumentation amplifier arrangement
US5625577A (en) 1990-12-25 1997-04-29 Shukyohojin, Kongo Zen Sohonzan Shorinji Computer-implemented motion analysis method using dynamics
JP3103427B2 (ja) 1992-04-01 2000-10-30 ダイヤメディカルシステム株式会社 生体電気現象検出装置
JP2001504605A (ja) 1996-08-14 2001-04-03 ラティポフ，ヌラフメド，ヌリスラモビチ 空間内のユーザの位置及び方向性を追跡及び表示するための方法、ユーザに対し仮想環境を提示するための方法及びこれらの方法を実現するためのシステム
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
WO2000010455A1 (en) 1998-08-24 2000-03-02 Emory University Method and apparatus for predicting the onset of seizures based on features derived from signals indicative of brain activity
US6745062B1 (en) 1998-10-05 2004-06-01 Advanced Imaging Systems, Inc. Emg electrode apparatus and positioning system
US6244873B1 (en) 1998-10-16 2001-06-12 At&T Corp. Wireless myoelectric control apparatus and methods
US6774885B1 (en) 1999-01-20 2004-08-10 Motek B.V. System for dynamic registration, evaluation, and correction of functional human behavior
US6411843B1 (en) 1999-05-28 2002-06-25 Respironics, Inc. Method and apparatus for producing a model EMG signal from a measured EMG signal
US6720984B1 (en) 2000-06-13 2004-04-13 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Characterization of bioelectric potentials
US20030184544A1 (en) 2000-07-24 2003-10-02 Prudent Jean Nicholson Modeling human beings by symbol manipulation
US6820025B2 (en) 2000-10-30 2004-11-16 The United States Of America As Represented By The Secretary Of The Navy Method and apparatus for motion tracking of an articulated rigid body
AU2003217253A1 (en) 2002-01-25 2003-09-02 Intellipatch, Inc. Evaluation of a patient and prediction of chronic symptoms
JP2003255993A (ja) 2002-03-04 2003-09-10 Ntt Docomo Inc 音声認識システム、音声認識方法、音声認識プログラム、音声合成システム、音声合成方法、音声合成プログラム
US6942621B2 (en) 2002-07-11 2005-09-13 Ge Medical Systems Information Technologies, Inc. Method and apparatus for detecting weak physiological signals
EP1537823A1 (en) * 2002-09-11 2005-06-08 National Institute of Information and Communications Technology Incorporated Administrative Agency Active muscle display device
KR100506084B1 (ko) 2002-10-24 2005-08-05 삼성전자주식회사 경혈점 탐색 장치 및 방법
EP2008581B1 (en) 2003-08-18 2011-08-17 Cardiac Pacemakers, Inc. Patient monitoring, diagnosis, and/or therapy systems and methods
JP4178186B2 (ja) 2003-08-21 2008-11-12 国立大学法人 筑波大学 装着式動作補助装置、装着式動作補助装置の制御方法および制御用プログラム
CN1838933B (zh) 2003-08-21 2010-12-08 国立大学法人筑波大学 穿着式动作辅助装置、穿着式动作辅助装置的控制方法和控制用程序
US7565295B1 (en) 2003-08-28 2009-07-21 The George Washington University Method and apparatus for translating hand gestures
US7574253B2 (en) 2003-09-26 2009-08-11 Northwestern University Signal processing using non-linear regression with a sinusoidal model
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US7308826B2 (en) 2004-06-16 2007-12-18 The University Of Tokyo Muscular strength acquiring method and device based on musculoskeletal model
US20060206167A1 (en) 2005-01-06 2006-09-14 Flaherty J C Multi-device patient ambulation system
WO2006105094A2 (en) 2005-03-29 2006-10-05 Duke University Sensor system for identifying and tracking movements of multiple sources
US7428516B2 (en) 2005-06-23 2008-09-23 Microsoft Corporation Handwriting recognition using neural networks
US8190249B1 (en) 2005-08-01 2012-05-29 Infinite Biomedical Technologies, Llc Multi-parametric quantitative analysis of bioelectrical signals
US7725147B2 (en) 2005-09-29 2010-05-25 Nellcor Puritan Bennett Llc System and method for removing artifacts from waveforms
US8280503B2 (en) 2008-10-27 2012-10-02 Michael Linderman EMG measured during controlled hand movement for biometric analysis, medical diagnosis and related analysis
JP4826459B2 (ja) 2006-01-12 2011-11-30 株式会社豊田中央研究所 筋骨格モデル作成方法、人体応力／ひずみ推定方法、プログラムおよび記録媒体
US8762733B2 (en) 2006-01-30 2014-06-24 Adidas Ag System and method for identity confirmation using physiologic biometrics to determine a physiologic fingerprint
US7580742B2 (en) 2006-02-07 2009-08-25 Microsoft Corporation Using electroencephalograph signals for task classification and activity recognition
US7827000B2 (en) 2006-03-03 2010-11-02 Garmin Switzerland Gmbh Method and apparatus for estimating a motion parameter
US20090112080A1 (en) 2006-04-21 2009-04-30 Quantum Applied Science & Research, Inc. System for Measuring Electric Signals
US7805386B2 (en) 2006-05-16 2010-09-28 Greer Douglas S Method of generating an encoded output signal using a manifold association processor having a plurality of pairs of processing elements trained to store a plurality of reciprocal signal pairs
US7661068B2 (en) 2006-06-12 2010-02-09 Microsoft Corporation Extended eraser functions
US9405372B2 (en) 2006-07-14 2016-08-02 Ailive, Inc. Self-contained inertial navigation system for interactive control using movable controllers
US7848797B2 (en) 2006-08-17 2010-12-07 Neurometrix, Inc. Motor unit number estimation (MUNE) for the assessment of neuromuscular function
US8437844B2 (en) 2006-08-21 2013-05-07 Holland Bloorview Kids Rehabilitation Hospital Method, system and apparatus for real-time classification of muscle signals from self-selected intentional movements
JP4267648B2 (ja) 2006-08-25 2009-05-27 株式会社東芝 インターフェース装置及びその方法
US7885732B2 (en) 2006-10-25 2011-02-08 The Boeing Company Systems and methods for haptics-enabled teleoperation of vehicles and other devices
US20080221487A1 (en) 2007-03-07 2008-09-11 Motek Bv Method for real time interactive visualization of muscle forces and joint torques in the human body
JP5357142B2 (ja) 2007-04-24 2013-12-04 コーニンクレッカ フィリップス エヌ ヴェ 生理学的パラメータを測定するセンサー配置構成および方法
FR2916069B1 (fr) 2007-05-11 2009-07-31 Commissariat Energie Atomique Procede de traitement pour la capture de mouvement d'une structure articulee
DE102007044554B3 (de) 2007-07-18 2009-07-16 Siemens Ag Sensorband mit optischer Sensorfaser, Sensor mit diesem Sensorband und Verfahren zum Kalibrieren einer optischen Sensorfaser
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
EP2201761B1 (en) 2007-09-24 2013-11-20 Qualcomm Incorporated Enhanced interface for voice and video communications
US20090082692A1 (en) 2007-09-25 2009-03-26 Hale Kelly S System And Method For The Real-Time Evaluation Of Time-Locked Physiological Measures
US7714757B2 (en) 2007-09-26 2010-05-11 Medtronic, Inc. Chopper-stabilized analog-to-digital converter
US8343079B2 (en) * 2007-10-18 2013-01-01 Innovative Surgical Solutions, Llc Neural monitoring sensor
FI20075798A0 (fi) 2007-11-12 2007-11-12 Polar Electro Oy Elektrodirakenne
GB0800144D0 (en) 2008-01-04 2008-02-13 Fitzpatrick Adam P Electrocardiographic device and method
US9597015B2 (en) 2008-02-12 2017-03-21 Portland State University Joint angle tracking with inertial sensors
US20100030532A1 (en) 2008-06-12 2010-02-04 Jasbir Arora System and methods for digital human model prediction and simulation
US8447704B2 (en) 2008-06-26 2013-05-21 Microsoft Corporation Recognizing gestures from forearm EMG signals
US9037530B2 (en) 2008-06-26 2015-05-19 Microsoft Technology Licensing, Llc Wearable electromyography-based human-computer interface
US8170656B2 (en) 2008-06-26 2012-05-01 Microsoft Corporation Wearable electromyography-based controllers for human-computer interface
US8444564B2 (en) 2009-02-02 2013-05-21 Jointvue, Llc Noninvasive diagnostic system
US8764676B2 (en) * 2009-05-07 2014-07-01 Massachusetts Eye & Ear Infirmary Signal processing in physiological noise
US8376968B2 (en) 2009-05-15 2013-02-19 The Hong Kong Polytechnic University Method and system for quantifying an intention of movement of a user
US20100315266A1 (en) 2009-06-15 2010-12-16 Microsoft Corporation Predictive interfaces with usability constraints
WO2011012988A1 (en) 2009-07-30 2011-02-03 University Of Cape Town Non-invasive deep muscle electromyography
US8718980B2 (en) 2009-09-11 2014-05-06 Qualcomm Incorporated Method and apparatus for artifacts mitigation with multiple wireless sensors
US20110077484A1 (en) 2009-09-30 2011-03-31 Nellcor Puritan Bennett Ireland Systems And Methods For Identifying Non-Corrupted Signal Segments For Use In Determining Physiological Parameters
TWI496558B (zh) 2009-10-20 2015-08-21 Tatung Co 使用二極電極貼片量測心電圖與呼吸訊號之系統及方法
US8421634B2 (en) 2009-12-04 2013-04-16 Microsoft Corporation Sensing mechanical energy to appropriate the body for data input
US20120283526A1 (en) 2009-12-16 2012-11-08 Ictalcare A/S Method and a System for the Prediction of Epileptic Seizures
US8631355B2 (en) 2010-01-08 2014-01-14 Microsoft Corporation Assigning gesture dictionaries
US9268404B2 (en) 2010-01-08 2016-02-23 Microsoft Technology Licensing, Llc Application gesture interpretation
JP5471490B2 (ja) 2010-01-20 2014-04-16 オムロンヘルスケア株式会社 体動検出装置
WO2011113478A1 (de) 2010-03-16 2011-09-22 Carlo Trugenberger Authentifizierungssystem, verfahren zur authentifizierung eines objekts, vorrichtung zur erzeugung einer identifikationseinrichtung, verfahren zur erzeugung einer identifikationseinrichtung
US8351651B2 (en) 2010-04-26 2013-01-08 Microsoft Corporation Hand-location post-process refinement in a tracking system
US8754862B2 (en) 2010-07-11 2014-06-17 Lester F. Ludwig Sequential classification recognition of gesture primitives and window-based parameter smoothing for high dimensional touchpad (HDTP) user interfaces
FR2962821B1 (fr) 2010-07-13 2013-02-22 Commissariat Energie Atomique Procede et systeme de classification de signaux neuronaux, et procede de selection d'electrodes pour commande neuronale directe.
WO2012018821A2 (en) 2010-08-02 2012-02-09 The Johns Hopkins University Method for presenting force sensor information using cooperative robot control and audio feedback
US20120066163A1 (en) 2010-09-13 2012-03-15 Nottingham Trent University Time to event data analysis method and system
US20130123656A1 (en) * 2010-11-15 2013-05-16 Sandy L. Heck Control System and Apparatus Utilizing Signals Originating in the Periauricular Neuromuscular System
WO2012155157A1 (en) 2011-05-06 2012-11-15 Azoteq (Pty) Ltd Multiple media capacitive sensor
US9251588B2 (en) 2011-06-20 2016-02-02 Nokia Technologies Oy Methods, apparatuses and computer program products for performing accurate pose estimation of objects
US9128521B2 (en) 2011-07-13 2015-09-08 Lumo Bodytech, Inc. System and method of biomechanical posture detection and feedback including sensor normalization
WO2013029196A1 (zh) 2011-08-26 2013-03-07 国立云林科技大学 回馈控制的穿戴式上肢电刺激装置
KR20190133080A (ko) 2011-09-19 2019-11-29 아이사이트 모빌 테크놀로지 엘티디 증강 현실 시스템용 터치프리 인터페이스
US20130077820A1 (en) 2011-09-26 2013-03-28 Microsoft Corporation Machine learning gesture detection
FR2981561B1 (fr) 2011-10-21 2015-03-20 Commissariat Energie Atomique Procede de detection d'activite a capteur de mouvements, dispositif et programme d'ordinateur correspondants
ITTO20111024A1 (it) 2011-11-08 2013-05-09 Bitron Spa Dispositivo di misura per segnali elettromiografici ad alta risoluzione e elevato numero di canali.
WO2013071285A1 (en) * 2011-11-11 2013-05-16 Rutgers, The State University Of New Jersey Methods for the diagnosis and treatment of neurological disorders
US10430066B2 (en) 2011-12-06 2019-10-01 Nri R&D Patent Licensing, Llc Gesteme (gesture primitive) recognition for advanced touch user interfaces
JP2013206273A (ja) 2012-03-29 2013-10-07 Sony Corp 情報処理装置、情報処理方法、および情報処理システム
US10130298B2 (en) 2012-04-03 2018-11-20 Carnegie Mellon University Musculoskeletal activity recognition system and method
US9867548B2 (en) 2012-05-25 2018-01-16 Emotiv, Inc. System and method for providing and aggregating biosignals and action data
US9278453B2 (en) 2012-05-25 2016-03-08 California Institute Of Technology Biosleeve human-machine interface
US9891718B2 (en) 2015-04-22 2018-02-13 Medibotics Llc Devices for measuring finger motion and recognizing hand gestures
US20150366504A1 (en) 2014-06-20 2015-12-24 Medibotics Llc Electromyographic Clothing
US9582072B2 (en) 2013-09-17 2017-02-28 Medibotics Llc Motion recognition clothing [TM] with flexible electromagnetic, light, or sonic energy pathways
US10921886B2 (en) 2012-06-14 2021-02-16 Medibotics Llc Circumferential array of electromyographic (EMG) sensors
US9814426B2 (en) 2012-06-14 2017-11-14 Medibotics Llc Mobile wearable electromagnetic brain activity monitor
US8484022B1 (en) 2012-07-27 2013-07-09 Google Inc. Adaptive auto-encoders
US20150182165A1 (en) 2012-08-03 2015-07-02 Neurotopia, Inc. Neurophysiological training headset
US10234941B2 (en) 2012-10-04 2019-03-19 Microsoft Technology Licensing, Llc Wearable sensor for tracking articulated body-parts
WO2014107213A2 (en) * 2012-10-16 2014-07-10 The Florida International University Board Of Trustees Neural interface activity simulator
US9351653B1 (en) * 2012-11-29 2016-05-31 Intan Technologies, LLC Multi-channel reconfigurable systems and methods for sensing biopotential signals
US10009644B2 (en) 2012-12-04 2018-06-26 Interaxon Inc System and method for enhancing content using brain-state data
US20140196131A1 (en) 2013-01-07 2014-07-10 Salutron, Inc. User authentication based on a wrist vein pattern
US10528135B2 (en) 2013-01-14 2020-01-07 Ctrl-Labs Corporation Wearable muscle interface systems, devices and methods that interact with content displayed on an electronic display
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
JP2016507851A (ja) 2013-02-22 2016-03-10 サルミック ラブス インコーポレイテッド ジェスチャに基づいて制御するための筋活動センサ信号と慣性センサ信号とを結合する方法および装置
US20140245200A1 (en) 2013-02-25 2014-08-28 Leap Motion, Inc. Display control with gesture-selectable control paradigms
US20140249397A1 (en) 2013-03-01 2014-09-04 Thalmic Labs Inc. Differential non-contact biopotential sensor
US9766709B2 (en) 2013-03-15 2017-09-19 Leap Motion, Inc. Dynamic user interactions for display control
US20140277622A1 (en) 2013-03-15 2014-09-18 First Principles, Inc. System and method for bio-signal control of an electronic device
US9361411B2 (en) 2013-03-15 2016-06-07 Honeywell International, Inc. System and method for selecting a respirator
US9436287B2 (en) 2013-03-15 2016-09-06 Qualcomm Incorporated Systems and methods for switching processing modes using gestures
IN2013MU01148A (zh) 2013-03-26 2015-04-24 Tata Consultancy Services Ltd
US10620709B2 (en) 2013-04-05 2020-04-14 Ultrahaptics IP Two Limited Customized gesture interpretation
US10152082B2 (en) 2013-05-13 2018-12-11 North Inc. Systems, articles and methods for wearable electronic devices that accommodate different user forms
US10314506B2 (en) 2013-05-15 2019-06-11 Polar Electro Oy Heart activity sensor structure
US10620775B2 (en) 2013-05-17 2020-04-14 Ultrahaptics IP Two Limited Dynamic interactive objects
US9218574B2 (en) 2013-05-29 2015-12-22 Purepredictive, Inc. User interface for machine learning
JP6466420B2 (ja) 2013-05-31 2019-02-06 プレジデント アンド フェローズ オブ ハーバード カレッジ 人間動作を補助するための軟性外骨格スーツ
WO2014197443A1 (en) 2013-06-03 2014-12-11 Kacyvenski Isaiah Motion sensor and analysis
US9383819B2 (en) 2013-06-03 2016-07-05 Daqri, Llc Manipulation of virtual object in augmented reality via intent
KR101933921B1 (ko) 2013-06-03 2018-12-31 삼성전자주식회사 포즈 추정 방법 및 장치
US11083402B2 (en) * 2013-06-04 2021-08-10 Medtronic, Inc. Patient state determination based on one or more spectral characteristics of a bioelectrical brain signal
KR101501661B1 (ko) 2013-06-10 2015-03-12 한국과학기술연구원 착용형 근전도 센서 시스템
WO2014204330A1 (en) 2013-06-17 2014-12-24 3Divi Company Methods and systems for determining 6dof location and orientation of head-mounted display and associated user movements
US20140376773A1 (en) 2013-06-21 2014-12-25 Leap Motion, Inc. Tunable operational parameters in motion-capture and touchless interface operation
US10402517B2 (en) 2013-06-26 2019-09-03 Dassault Systémes Simulia Corp. Musculo-skeletal modeling using finite element analysis, process integration, and design optimization
US9408316B2 (en) 2013-07-22 2016-08-02 Thalmic Labs Inc. Systems, articles and methods for strain mitigation in wearable electronic devices
US20150029092A1 (en) 2013-07-23 2015-01-29 Leap Motion, Inc. Systems and methods of interpreting complex gestures
US11426123B2 (en) 2013-08-16 2022-08-30 Meta Platforms Technologies, Llc Systems, articles and methods for signal routing in wearable electronic devices that detect muscle activity of a user using a set of discrete and separately enclosed pod structures
US10042422B2 (en) 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
CA2921954A1 (en) 2013-08-23 2015-02-26 Thalmic Labs Inc. Systems, articles, and methods for human-electronics interfaces
US9788789B2 (en) 2013-08-30 2017-10-17 Thalmic Labs Inc. Systems, articles, and methods for stretchable printed circuit boards
US9372535B2 (en) 2013-09-06 2016-06-21 Thalmic Labs Inc. Systems, articles, and methods for electromyography-based human-electronics interfaces
US9483123B2 (en) 2013-09-23 2016-11-01 Thalmic Labs Inc. Systems, articles, and methods for gesture identification in wearable electromyography devices
CN105578954B (zh) 2013-09-25 2019-03-29 迈恩德玛泽控股股份有限公司 生理参数测量和反馈系统
US9389694B2 (en) 2013-10-22 2016-07-12 Thalmic Labs Inc. Systems, articles, and methods for gesture identification in wearable electromyography devices
CN103777752A (zh) 2013-11-02 2014-05-07 上海威璞电子科技有限公司 基于手臂肌肉电流检测和运动传感器的手势识别设备
GB2519987B (en) 2013-11-04 2021-03-03 Imperial College Innovations Ltd Biomechanical activity monitoring
US9594433B2 (en) 2013-11-05 2017-03-14 At&T Intellectual Property I, L.P. Gesture-based controls via bone conduction
WO2015073713A1 (en) 2013-11-13 2015-05-21 Hrl Laboratories, Llc System for controlling brain machine interfaces and neural prosthetic systems
WO2015081113A1 (en) 2013-11-27 2015-06-04 Cezar Morun Systems, articles, and methods for electromyography sensors
US20150157944A1 (en) 2013-12-06 2015-06-11 Glenn I. Gottlieb Software Application for Generating a Virtual Simulation for a Sport-Related Activity
US9367139B2 (en) 2013-12-12 2016-06-14 Thalmic Labs Inc. Systems, articles, and methods for gesture identification in wearable electromyography devices
US9524580B2 (en) 2014-01-06 2016-12-20 Oculus Vr, Llc Calibration of virtual reality systems
US9659403B1 (en) 2014-01-06 2017-05-23 Leap Motion, Inc. Initializing orientation in space for predictive information for free space gesture control and communication
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
CA2939644A1 (en) 2014-02-14 2015-08-20 Thalmic Labs Inc. Systems, articles, and methods for elastic electrical cables and wearable electronic devices employing same
EP3111303A4 (en) 2014-02-28 2017-08-23 Vikas Gupta Gesture operated wrist mounted camera system
US10613642B2 (en) 2014-03-12 2020-04-07 Microsoft Technology Licensing, Llc Gesture parameter tuning
US20150261306A1 (en) 2014-03-17 2015-09-17 Thalmic Labs Inc. Systems, devices, and methods for selecting between multiple wireless connections
US10199008B2 (en) 2014-03-27 2019-02-05 North Inc. Systems, devices, and methods for wearable electronic devices as state machines
US10409382B2 (en) 2014-04-03 2019-09-10 Honda Motor Co., Ltd. Smart tutorial for gesture control system
US20150296553A1 (en) 2014-04-11 2015-10-15 Thalmic Labs Inc. Systems, devices, and methods that establish proximity-based wireless connections
US9858391B2 (en) 2014-04-17 2018-01-02 The Boeing Company Method and system for tuning a musculoskeletal model
US20170080346A1 (en) 2014-05-01 2017-03-23 Mohamad Abbas Methods and systems relating to personalized evolving avatars
US20150325202A1 (en) 2014-05-07 2015-11-12 Thalmic Labs Inc. Systems, devices, and methods for wearable computers with heads-up displays
US9785247B1 (en) 2014-05-14 2017-10-10 Leap Motion, Inc. Systems and methods of tracking moving hands and recognizing gestural interactions
USD756359S1 (en) 2014-05-15 2016-05-17 Thalmic Labs Inc. Expandable armband device
USD717685S1 (en) 2014-05-15 2014-11-18 Thalmic Labs Inc. Expandable armband
KR101666399B1 (ko) 2014-05-15 2016-10-14 한국과학기술연구원 다중 채널 표면 근전도에서의 신체 관절 운동학 정보 추출 방법, 이를 수행하기 위한 기록 매체 및 장치
US9741169B1 (en) 2014-05-20 2017-08-22 Leap Motion, Inc. Wearable augmented reality devices with object detection and tracking
US10782657B2 (en) 2014-05-27 2020-09-22 Ultrahaptics IP Two Limited Systems and methods of gestural interaction in a pervasive computing environment
US9880632B2 (en) 2014-06-19 2018-01-30 Thalmic Labs Inc. Systems, devices, and methods for gesture identification
US10216274B2 (en) 2014-06-23 2019-02-26 North Inc. Systems, articles, and methods for wearable human-electronics interface devices
WO2015199747A1 (en) 2014-06-23 2015-12-30 Thalmic Labs Inc. Systems, articles, and methods for wearable human-electronics interface devices
US9552069B2 (en) 2014-07-11 2017-01-24 Microsoft Technology Licensing, Llc 3D gesture recognition
US9734704B2 (en) 2014-08-12 2017-08-15 Dominick S. LEE Wireless gauntlet for electronic control
WO2016041088A1 (en) 2014-09-19 2016-03-24 Sulon Technologies Inc. System and method for tracking wearable peripherals in augmented reality and virtual reality applications
US9864461B2 (en) 2014-09-26 2018-01-09 Sensel, Inc. Systems and methods for manipulating a virtual environment
US9811555B2 (en) 2014-09-27 2017-11-07 Intel Corporation Recognition of free-form gestures from orientation tracking of a handheld or wearable device
WO2016076376A1 (ja) 2014-11-12 2016-05-19 京セラ株式会社 ウェアラブル装置
US9720515B2 (en) 2015-01-02 2017-08-01 Wearable Devices Ltd. Method and apparatus for a gesture controlled interface for wearable devices
US9612661B2 (en) 2015-01-02 2017-04-04 Wearable Devices Ltd. Closed loop feedback interface for wearable devices
US9696795B2 (en) 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
US20160274758A1 (en) 2015-03-20 2016-09-22 Thalmic Labs Inc. Systems, devices, and methods for mitigating false positives in human-electronics interfaces
US10432842B2 (en) 2015-04-06 2019-10-01 The Texas A&M University System Fusion of inertial and depth sensors for movement measurements and recognition
CN108883335A (zh) 2015-04-14 2018-11-23 约翰·詹姆斯·丹尼尔斯 用于人与机器或人与人的可穿戴式的电子多感官接口
US9804733B2 (en) 2015-04-21 2017-10-31 Dell Products L.P. Dynamic cursor focus in a multi-display information handling system environment
US10078435B2 (en) 2015-04-24 2018-09-18 Thalmic Labs Inc. Systems, methods, and computer program products for interacting with electronically displayed presentation materials
GB2537899B (en) 2015-04-30 2018-02-21 Hy5Pro As Control of digits for artificial hand
US9654477B1 (en) 2015-05-05 2017-05-16 Wells Fargo Bank, N. A. Adaptive authentication
US9898864B2 (en) 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
EP3782696B1 (en) * 2015-06-02 2022-12-28 Battelle Memorial Institute Systems for neural bridging of the nervous system
US10765859B2 (en) 2015-06-02 2020-09-08 Battelle Memorial Institute Neural sleeve for neuromuscular stimulation, sensing and recording
US20180333575A1 (en) 2015-06-02 2018-11-22 Battelle Memorial Institute Non-invasive motor impairment rehabilitation system
US11589814B2 (en) 2015-06-26 2023-02-28 Carnegie Mellon University System for wearable, low-cost electrical impedance tomography for non-invasive gesture recognition
US9240069B1 (en) 2015-06-30 2016-01-19 Ariadne's Thread (Usa), Inc. Low-latency virtual reality display system
KR101626748B1 (ko) 2015-08-03 2016-06-14 숭실대학교산학협력단 뇌파와 근전도를 이용한 움직임 패턴 측정 장치 및 그 방법
US10854104B2 (en) 2015-08-28 2020-12-01 Icuemotion Llc System for movement skill analysis and skill augmentation and cueing
US10387034B2 (en) 2015-09-03 2019-08-20 Microsoft Technology Licensing, Llc Modifying captured stroke information into an actionable form
US9824287B2 (en) 2015-09-29 2017-11-21 Huami Inc. Method, apparatus and system for biometric identification
US10459537B2 (en) 2015-09-30 2019-10-29 Stmicroelectronics, Inc. Encapsulated pressure sensor
US11389083B2 (en) 2015-10-06 2022-07-19 University of Pittsburgh—of the Commonwealth System of Higher Education Method, device and system for sensing neuromuscular, physiological, biomechanical, and musculoskeletal activity
US9881273B2 (en) 2015-10-28 2018-01-30 Disney Interprises, Inc. Automatic object detection and state estimation via electronic emissions sensing
US10595941B2 (en) 2015-10-30 2020-03-24 Orthosensor Inc. Spine measurement system and method therefor
US11106273B2 (en) 2015-10-30 2021-08-31 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays
US10776712B2 (en) 2015-12-02 2020-09-15 Preferred Networks, Inc. Generative machine learning systems for drug design
CN105511615B (zh) 2015-12-04 2019-03-05 深圳大学 基于emg的可穿戴式文本输入系统及方法
US20170188980A1 (en) 2016-01-06 2017-07-06 Empire Technology Development Llc Wearable sensor based body modeling
WO2017120669A1 (en) 2016-01-12 2017-07-20 Bigmotion Technologies Inc. Systems and methods for human body motion capture
US20170259167A1 (en) 2016-03-14 2017-09-14 Nathan Sterling Cook Brainwave virtual reality apparatus and method
US9864434B2 (en) 2016-03-30 2018-01-09 Huami Inc. Gesture control of interactive events using multiple wearable devices
JP6728386B2 (ja) 2016-03-31 2020-07-22 センセル インコーポレイテッドＳｅｎｓｅｌ，Ｉｎｃ． 人間コンピュータインタフェースシステム
US10503253B2 (en) 2016-03-31 2019-12-10 Intel Corporation Sensor signal processing to determine finger and/or hand position
US10852835B2 (en) 2016-04-15 2020-12-01 Board Of Regents, The University Of Texas System Systems, apparatuses and methods for controlling prosthetic devices by gestures and other modalities
US10256535B2 (en) 2016-04-19 2019-04-09 Skyworks Solutions, Inc. Selectively shielding radio frequency module with multi-layer antenna
US10203751B2 (en) 2016-05-11 2019-02-12 Microsoft Technology Licensing, Llc Continuous motion controls operable using neurological data
US9864431B2 (en) 2016-05-11 2018-01-09 Microsoft Technology Licensing, Llc Changing an application state using neurological data
US20200324104A1 (en) 2016-05-31 2020-10-15 Lab Schopfergeist Ag Nerve stimulation apparatus and method
US10426371B2 (en) * 2016-06-07 2019-10-01 Smk Corporation Muscle condition measurement sheet
KR101790147B1 (ko) 2016-06-22 2017-10-25 재단법인 실감교류인체감응솔루션연구단 가상 객체 조작 시스템 및 방법
EP3478174A1 (en) 2016-07-01 2019-05-08 L.I.F.E. Corporation S.A. Biometric identification by garments having a plurality of sensors
WO2018022657A1 (en) 2016-07-25 2018-02-01 Ctrl-Labs Corporation System and method for measuring the movements of articulated rigid bodies
US10496168B2 (en) 2018-01-25 2019-12-03 Ctrl-Labs Corporation Calibration techniques for handstate representation modeling using neuromuscular signals
US10990174B2 (en) 2016-07-25 2021-04-27 Facebook Technologies, Llc Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors
US10489986B2 (en) 2018-01-25 2019-11-26 Ctrl-Labs Corporation User-controlled tuning of handstate representation model parameters
WO2018022597A1 (en) 2016-07-25 2018-02-01 Ctrl-Labs Corporation Methods and apparatus for inferring user intent based on neuromuscular signals
US10765363B2 (en) 2016-09-30 2020-09-08 Cognionics, Inc. Headgear for dry electroencephalogram sensors
US10162422B2 (en) 2016-10-10 2018-12-25 Deere & Company Control of machines through detection of gestures by optical and muscle sensors
KR102302640B1 (ko) 2016-12-02 2021-09-15 피손 테크놀로지, 인크. 신체 조직 전기 신호의 검출 및 사용
US10646139B2 (en) 2016-12-05 2020-05-12 Intel Corporation Body movement tracking
US20190025919A1 (en) 2017-01-19 2019-01-24 Mindmaze Holding Sa System, method and apparatus for detecting facial expression in an augmented reality system
EP3609402A4 (en) 2017-04-14 2020-12-16 Rehabilitation Institute Of Chicago D/B/A Shirley PROSTHETIC VIRTUAL REALITY LEARNING INTERFACE AND RELATED PROCESSES
US11259746B2 (en) * 2017-07-10 2022-03-01 General Electric Company Method and system for neuromuscular transmission measurement
US10481699B2 (en) 2017-07-27 2019-11-19 Facebook Technologies, Llc Armband for tracking hand motion using electrical impedance measurement
US20190076716A1 (en) 2017-09-12 2019-03-14 Intel Corporation Activity training system
EP3697297A4 (en) 2017-10-19 2020-12-16 Facebook Technologies, Inc. SYSTEMS AND METHODS FOR IDENTIFYING BIOLOGICAL STRUCTURES ASSOCIATED WITH NEUROMUSCULAR SOURCE SIGNALS
US10606620B2 (en) 2017-11-16 2020-03-31 International Business Machines Corporation Notification interaction in a touchscreen user interface
US20190150777A1 (en) 2017-11-17 2019-05-23 Ctrl-Labs Corporation Dual-supply analog circuitry for sensing surface emg signals
US10827942B2 (en) 2018-01-03 2020-11-10 Intel Corporation Detecting fatigue based on electroencephalogram (EEG) data
WO2019147949A1 (en) 2018-01-25 2019-08-01 Ctrl-Labs Corporation Real-time processing of handstate representation model estimates
WO2019148002A1 (en) 2018-01-25 2019-08-01 Ctrl-Labs Corporation Techniques for anonymizing neuromuscular signal data
WO2019147956A1 (en) 2018-01-25 2019-08-01 Ctrl-Labs Corporation Visualization of reconstructed handstate information
WO2019147928A1 (en) 2018-01-25 2019-08-01 Ctrl-Labs Corporation Handstate reconstruction based on multiple inputs
CN112074225A (zh) 2018-01-25 2020-12-11 脸谱科技有限责任公司 用于减轻神经肌肉信号伪像的方法和装置
US20190247650A1 (en) * 2018-02-14 2019-08-15 Bao Tran Systems and methods for augmenting human muscle controls
US20190324549A1 (en) 2018-04-20 2019-10-24 Immersion Corporation Systems, devices, and methods for providing immersive reality interface modes
JP7341166B2 (ja) 2018-05-22 2023-09-08 マジック リープ， インコーポレイテッド ウェアラブルシステムのためのトランスモード入力融合
EP3801743A4 (en) 2018-05-25 2021-08-04 Facebook Technologies, LLC PROCESSES AND APPARATUS FOR OBTAINING A SUB-MUSCULAR COMMAND

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040073414A1 (en) * 2002-06-04 2004-04-15 Brown University Research Foundation Method and system for inferring hand motion from multi-cell recordings in the motor cortex using a kalman filter or a bayesian model
US20090209878A1 (en) * 2006-04-15 2009-08-20 Sanger Terence D Systems and Methods for Estimating Surface Electromyography
US20140330404A1 (en) * 2013-05-03 2014-11-06 The Florida International University Board Of Trustees Systems and methods for decoding intended motor commands from recorded neural signals for the control of external devices or to interact in virtual environments
CN107589782A (zh) * 2016-07-06 2018-01-16 可穿戴设备有限公司 用于可穿戴设备的姿势控制接口的方法和装置
CN107864440A (zh) * 2016-07-08 2018-03-30 奥迪康有限公司 包括eeg记录和分析系统的助听系统
US20180020951A1 (en) * 2016-07-25 2018-01-25 Patrick Kaifosh Adaptive system for deriving control signals from measurements of neuromuscular activity

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255579A (zh) * 2021-06-18 2021-08-13 上海建工集团股份有限公司 一种施工监测异常采集数据自动识别与处理的方法

Also Published As

Publication number Publication date
US20200046265A1 (en) 2020-02-13
US11179066B2 (en) 2021-11-23
EP3836836B1 (en) 2024-03-20
EP3836836A1 (en) 2021-06-23
WO2020036958A1 (en) 2020-02-20
EP3836836A4 (en) 2021-09-29

Similar Documents

Publication Publication Date Title
US11179066B2 (en) Real-time spike detection and identification
US10772519B2 (en) Methods and apparatus for providing sub-muscular control
CN110337269B (zh) 基于神经肌肉信号推断用户意图的方法和装置
US11361522B2 (en) User-controlled tuning of handstate representation model parameters
US10950047B2 (en) Techniques for anonymizing neuromuscular signal data
US10905383B2 (en) Methods and apparatus for unsupervised one-shot machine learning for classification of human gestures and estimation of applied forces
US9720515B2 (en) Method and apparatus for a gesture controlled interface for wearable devices
US20190223748A1 (en) Methods and apparatus for mitigating neuromuscular signal artifacts
US20200097081A1 (en) Neuromuscular control of an augmented reality system
US10970374B2 (en) User identification and authentication with neuromuscular signatures
CN117687477A (zh) 用于可穿戴设备的姿势控制接口的方法和装置
Zhang et al. Recognizing hand gestures with pressure-sensor-based motion sensing
Antonius et al. Electromyography gesture identification using CNN-RNN neural network for controlling quadcopters
Ramadoss et al. Computer vision for human-computer interaction using noninvasive technology
Baskaran et al. Multi-dimensional task recognition for human-robot teaming: literature review
JP7312838B2 (ja) ジェスチャの分類および加えられた力の推定のための教師なし機械学習のための方法および装置
Murugan et al. EMG signal classification using ANN and ANFIS for neuro-muscular disorders
Baskaran Multi-Dimensional Task Recognition for Human-Robot Teaming
Ramadoss et al. Research Article Computer Vision for Human-Computer Interaction Using Noninvasive Technology
CN115471912A (zh) 人体姿态的确定方法及其确定装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: California, USA

Applicant after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Applicant before: Facebook Technologies, LLC