CN112074225A - 用于减轻神经肌肉信号伪像的方法和装置 - Google Patents
用于减轻神经肌肉信号伪像的方法和装置 Download PDFInfo
- Publication number
- CN112074225A CN112074225A CN201980022051.5A CN201980022051A CN112074225A CN 112074225 A CN112074225 A CN 112074225A CN 201980022051 A CN201980022051 A CN 201980022051A CN 112074225 A CN112074225 A CN 112074225A
- Authority
- CN
- China
- Prior art keywords
- neuromuscular
- artifacts
- sensor
- recorded
- signals
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002232 neuromuscular Effects 0.000 title claims abstract description 365
- 238000000034 method Methods 0.000 title claims abstract description 97
- 230000011664 signaling Effects 0.000 title claims abstract description 7
- 238000013179 statistical model Methods 0.000 claims abstract description 114
- 230000000116 mitigating effect Effects 0.000 claims abstract description 19
- 230000008569 process Effects 0.000 claims description 45
- 238000013442 quality metrics Methods 0.000 claims description 35
- 238000012545 processing Methods 0.000 claims description 29
- 238000002567 electromyography Methods 0.000 claims description 25
- 238000001914 filtration Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 6
- 230000015556 catabolic process Effects 0.000 claims description 4
- 238000006731 degradation reaction Methods 0.000 claims description 4
- 230000033001 locomotion Effects 0.000 description 69
- 238000013528 artificial neural network Methods 0.000 description 40
- 238000012549 training Methods 0.000 description 29
- 210000003205 muscle Anatomy 0.000 description 17
- 230000000694 effects Effects 0.000 description 14
- 230000000306 recurrent effect Effects 0.000 description 13
- 238000005259 measurement Methods 0.000 description 12
- 210000000707 wrist Anatomy 0.000 description 12
- 230000000875 corresponding effect Effects 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 230000000007 visual effect Effects 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 210000001503 joint Anatomy 0.000 description 6
- 210000002414 leg Anatomy 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 230000004913 activation Effects 0.000 description 5
- 210000000245 forearm Anatomy 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000001010 compromised effect Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 230000003387 muscular Effects 0.000 description 3
- 210000002346 musculoskeletal system Anatomy 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004883 computer application Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004118 muscle contraction Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 210000000689 upper leg Anatomy 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 206010040844 Skin exfoliation Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000010420 art technique Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000002567 autonomic effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 244000309466 calf Species 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 210000002310 elbow joint Anatomy 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 210000002478 hand joint Anatomy 0.000 description 1
- 210000004394 hip joint Anatomy 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 210000000629 knee joint Anatomy 0.000 description 1
- 210000003041 ligament Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000002161 motor neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000007115 recruitment Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 210000000323 shoulder joint Anatomy 0.000 description 1
- 210000002027 skeletal muscle Anatomy 0.000 description 1
- 210000000278 spinal cord Anatomy 0.000 description 1
- 210000002435 tendon Anatomy 0.000 description 1
- 210000000623 ulna Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/389—Electromyography [EMG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
- A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1107—Measuring contraction of parts of the body, e.g. organ, muscle
- A61B5/1108—Measuring contraction of parts of the body, e.g. organ, muscle of excised organs, e.g. muscle preparations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1124—Determining motor skills
- A61B5/1125—Grasping motions of hands
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/22—Ergometry; Measuring muscular strength or the force of a muscular blow
- A61B5/224—Measuring muscular strength
- A61B5/225—Measuring muscular strength of the fingers, e.g. by monitoring hand-grip force
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/389—Electromyography [EMG]
- A61B5/397—Analysis of electromyograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6813—Specially adapted to be attached to a specific body part
- A61B5/6824—Arm or wrist
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/22—Ergometry; Measuring muscular strength or the force of a muscular blow
- A61B5/224—Measuring muscular strength
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
- A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/681—Wristwatch-type devices
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Evolutionary Computation (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Neurosurgery (AREA)
- Neurology (AREA)
- Dermatology (AREA)
- Physical Education & Sports Medicine (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
描述了用于减轻神经肌肉信号伪像的方法和装置。该方法包括由至少一个计算机处理器实时检测由多个神经肌肉传感器记录的多个神经肌肉信号中的一个或更多个伪像，至少部分地基于检测到的一个或更多个伪像，确定多个导出的神经肌肉信号以减轻一个或更多个伪像，以及将多个导出的神经肌肉信号作为输入提供给一个或更多个经训练的统计模型。
Description
相关申请
本申请根据35U.S.C.§119(e)要求于2018年1月25日提交的题为“METHODS ANDAPPARATUS FOR MITIGATING NEUROMUSCULAR SIGNAL ARTIFACTS”、序列号为62/621,829的美国临时申请的优先权，其全部内容通过引用结合于此。
背景
在生成人体的表示的一些计算机应用中，希望应用知道用户身体的空间定位、定向(orientation)和移动，以提供身体移动的现实表示。例如，在虚拟现实(VR)环境中，跟踪用户手部的空间位置使得应用能够在VR环境中表示手部运动，这允许用户(例如，通过抓握或操纵)与VR环境中的虚拟对象进行交互。使用可穿戴传感器跟踪用户身体移动的一些现有技术包括，使用从附着于用户身体不同部位的多个惯性测量单元(IMU)获得的信息，以及使用外部成像设备(例如，固定位置照相机)来重建用户身体部位的位置和定向。
概述
一些实施例涉及预测关于用户手臂和/或手的部分的定位和移动的信息，用户手臂和/或手的部分被表示为多节段铰接刚体系统(multi-segment articulated rigidbody system)，其具有连接刚体系统的多个节段的关节(joint)。当用户执行一个或更多个移动时，由放置在用户身体上多个定位处的可穿戴的神经肌肉传感器记录的信号作为输入被提供给统计模型，该统计模型被训练来预测与基于计算机的肌肉骨骼表示(musculoskeletal representation)中的多个刚性节段相关联的位置(例如，绝对位置、相对位置、定向)和力的估计，该基于计算机的肌肉骨骼表示与手相关联。与和手相关联的肌肉骨骼表示的节段相关联的位置信息和力信息的组合在本文中被通俗地称为肌肉骨骼表示的“手部状态(handstate)”。当用户执行不同的移动时，经训练的统计模型将由可穿戴的神经肌肉传感器记录的神经肌肉信号解析为位置和力估计(手部状态信息)，这些估计用于更新肌肉骨骼表示。随着神经肌肉信号被连续记录，肌肉骨骼表示被实时地(或者接近实时地)更新，并且手部的(例如，在虚拟现实环境内的)视觉表示基于当前的手部状态估计被可选地再现。
其他实施例涉及一种计算机化系统。该计算机化系统包括被配置成连续记录来自用户的多个神经肌肉信号的多个神经肌肉传感器，以及至少一个计算机处理器，其中该多个神经肌肉传感器被布置在一个或更多个可穿戴设备上。该至少一个计算机处理器被编程为：实时地(或接近实时地)检测所记录的多个神经肌肉信号中的一个或更多个伪像(artifact)，至少部分地基于检测到的一个或更多个伪像来确定多个导出的神经肌肉信号以减轻该一个或更多个伪像，并且将多个导出的神经肌肉信号作为输入提供给一个或更多个经训练的统计模型。
在一个方面，检测所记录的多个神经肌肉信号中的一个或更多个伪像包括：为多个神经肌肉传感器中的每一个神经肌肉传感器确定与由该神经肌肉传感器记录的多个神经肌肉信号相关联的至少一个质量度量；以及基于该至少一个质量度量来检测所记录的多个神经肌肉信号中的一个或更多个伪像。
在另一方面，检测所记录的多个神经肌肉信号中的一个或更多个伪像包括：识别其中至少一个质量度量偏离阈值超过特定量的第一神经肌肉传感器，并且至少部分地基于检测到的一个或更多个伪像来确定多个导出的神经肌肉信号包括：处理由该第一神经肌肉传感器记录的神经肌肉信号。
在另一方面，处理神经肌肉信号包括对由第一神经肌肉传感器记录的神经肌肉信号进行滤波，以去除至少一个外部噪声分量。
在另一方面，处理神经肌肉信号包括用来自第一神经肌肉传感器的先前记录的神经肌肉信号替换该神经肌肉信号。
在另一方面，检测所记录的多个神经肌肉信号中的一个或更多个伪像包括：识别其中至少一个质量度量偏离阈值超过特定量的第一神经肌肉传感器，并且至少部分地基于检测到的一个或更多个伪像来确定多个导出的神经肌肉信号包括：用由多个神经肌肉传感器中的至少一个第二神经肌肉传感器记录的神经肌肉信号来替换由该第一神经肌肉传感器记录的神经肌肉信号。
在另一方面，替换由第一神经肌肉传感器记录的神经肌肉信号包括：用由多个神经肌肉传感器中的两个或更多个其他神经肌肉传感器记录的神经肌肉信号的平均值来替换该神经肌肉信号。
在另一方面，两个或更多个其他神经肌肉传感器被布置在一个或更多个可穿戴设备上的第一神经肌肉传感器附近。
在另一方面，检测所记录的多个神经肌肉信号中的一个或更多个伪像包括：识别其中至少一个质量度量偏离阈值超过特定量的第一神经肌肉传感器，并且至少部分地基于检测到的一个或更多个伪像来确定多个导出的神经肌肉信号包括：基于该至少一个质量度量来确定是处理由第一神经肌肉传感器记录的神经肌肉信号以至少部分地去除一个或更多个伪像，还是用由多个神经肌肉传感器中的至少一个第二神经肌肉传感器记录的神经肌肉信号来替换由第一神经肌肉传感器记录的神经肌肉信号；当确定处理由第一神经肌肉传感器记录的神经肌肉信号时，处理由第一神经肌肉传感器记录的神经肌肉信号；以及当确定替换由第一神经肌肉传感器记录的神经肌肉信号时，用由多个神经肌肉传感器中的至少一个第二神经肌肉传感器记录的神经肌肉信号来替换由第一神经肌肉传感器记录的神经肌肉信号。
在另一方面，确定是处理由第一神经肌肉传感器记录的神经肌肉信号还是替换由第一神经肌肉传感器记录的神经肌肉信号至少部分地基于与由第一神经肌肉传感器记录的神经肌肉信号相关联的伪像类型。
在另一方面，确定是处理由第一神经肌肉传感器记录的神经肌肉信号还是替换由第一神经肌肉传感器记录的神经肌肉信号至少部分地基于至少一个质量度量的大小。
在另一方面，一个或更多个伪像选自由以下项构成的组：噪声伪像、皮肤接触伪像、皮肤剥离伪像(skin lift-off artifact)、电力线频率(例如，50Hz、60Hz)伪像、削波信号伪像、无效传感器伪像(inactive sensor artifact)、微摩擦伪像(microfrictionartifact)和数据退化伪像。
在另一方面，检测所记录的多个神经肌肉信号中的一个或更多个伪像包括：用多个检测器电路分析多个神经肌肉信号，其中检测器电路中的每一个被配置成检测特定伪像。
在另一方面，一个或更多个经训练的统计模型包括使用包括一个或更多个伪像的神经肌肉信号训练的至少一个经训练的统计模型。
在另一方面，使用至少部分地减轻一个或更多个伪像的导出的神经肌肉信号来训练至少一个经训练的统计模型。
在另一方面，至少一个计算机处理器还被编程为：至少部分地基于一个或更多个经训练的统计模型的输出来生成用户的一部分的肌肉骨骼表示。
在另一方面，用户的一部分的肌肉骨骼表示是用户的手部的肌肉骨骼表示。
在另一方面，手部的肌肉骨骼表示包括至少部分地基于一个或更多个经训练的统计模型的输出而确定的位置信息和力信息。
在另一方面，多个神经肌肉传感器包括肌电图(EMG)传感器、肌动图(MMG)传感器、声肌图(SMG)传感器或EMG传感器、MMG传感器和SMG传感器中的两个或更多个的组合。
其他实施例涉及一种减轻神经肌肉信号伪像的方法。该方法包括由至少一个计算机处理器实时检测由多个神经肌肉传感器记录的多个神经肌肉信号中的一个或更多个伪像，至少部分地基于检测到的一个或更多个伪像来确定多个导出的神经肌肉信号以减轻一个或更多个伪像，以及将多个导出的神经肌肉信号作为输入提供给一个或更多个经训练的统计模型。
其他实施例涉及一种用多个指令编码的计算机可读介质，这些指令当被至少一个计算机处理器执行时执行一种方法。该方法包括实时检测由多个神经肌肉传感器记录的多个神经肌肉信号中的一个或更多个伪像，至少部分地基于检测到的一个或更多个伪像来确定多个导出的神经肌肉信号以减轻一个或更多个伪像，以及将多个导出的神经肌肉信号作为输入提供给一个或更多个经训练的统计模型。
其他实施例涉及一种计算机化系统，包括：被配置成连续记录来自用户的多个神经肌肉信号的多个神经肌肉传感器，其中该多个神经肌肉传感器被布置在一个或更多个可穿戴设备上；以及至少一个计算机处理器，其被编程为：为多个神经肌肉传感器中的每一个神经肌肉传感器确定与由该神经肌肉传感器记录的多个神经肌肉信号相关联的至少一个质量度量；基于该至少一个质量度量实时检测所记录的多个神经肌肉信号中的一个或更多个伪像，其中检测所记录的多个神经肌肉信号中的一个或更多个伪像包括识别其中至少一个质量度量偏离阈值超过特定量的第一神经肌肉传感器；至少部分地基于检测到的一个或更多个伪像确定多个导出的神经肌肉信号以减轻一个或更多个伪像，其中确定多个导出的神经肌肉信号包括：基于至少一个质量度量，选择伪像减轻技术以减轻检测到的一个或更多个伪像；以及将伪像减轻技术应用于所记录的多个神经肌肉信号，以生成其中检测到的一个或更多个伪像已经被至少部分地去除的多个导出的神经肌肉信号；以及将多个导出的神经肌肉信号作为输入提供给一个或更多个经训练的统计模型。
其他实施例涉及一种减轻神经肌肉信号伪像的方法，该方法包括：使用布置在一个或更多个可穿戴设备上的多个神经肌肉传感器连续记录来自用户的多个神经肌肉信号；为多个神经肌肉传感器中的每一个神经肌肉传感器确定与由该神经肌肉传感器记录的多个神经肌肉信号相关联的至少一个质量度量；基于该至少一个质量度量实时检测所记录的多个神经肌肉信号中的一个或更多个伪像，其中检测所记录的多个神经肌肉信号中的一个或更多个伪像包括识别其中至少一个质量度量偏离阈值超过特定量的第一神经肌肉传感器；至少部分地基于检测到的一个或更多个伪像，确定多个导出的神经肌肉信号以减轻一个或更多个伪像，其中确定多个导出的神经肌肉信号包括：基于至少一个质量度量，选择伪像减轻技术以减轻检测到的一个或更多个伪像；以及将伪像减轻技术应用于所记录的多个神经肌肉信号，以生成其中检测到的一个或更多个伪像已经被至少部分地去除的多个导出的神经肌肉信号；以及将该多个导出的神经肌肉信号作为输入提供给一个或更多个经训练的统计模型。
应当理解，前述概念和下面更详细讨论的附加概念的所有组合(只要这些概念不相互矛盾)都被认为是本文公开的发明主题的一部分。特别地，出现在本公开末尾的所要求保护的主题的所有组合被认为是本文公开的发明主题的一部分。
附图简述
将参考以下附图描述该技术的各种非限制性实施例。应当理解，附图不一定按比例绘制。
图1是根据本文所描述技术的一些实施例的基于计算机的系统的示意图，该系统用于基于神经肌肉传感器数据生成肌肉骨骼表示；
图2是根据本文所描述技术的一些实施例的用于减轻神经肌肉信号伪像的过程的流程图；
图3是根据本文所描述技术的一些实施例的使用多个检测器电路来减轻神经肌肉信号伪像的过程的流程图；
图4是根据本文所描述技术的一些实施例的使用训练数据来训练统计模型的过程的流程图，该训练数据是基于具有模拟的伪像的神经肌肉信号数据确定的；
图5是根据本文所描述技术的一些实施例的用于生成统计模型的说明性过程的流程图，该统计模型用于使用从传感器记录的信号来预测肌肉骨骼位置信息；
图6A示出了根据本文所描述技术的一些实施例的可穿戴系统，该系统具有围绕弹性带周向布置的16个EMG传感器，该弹性带被配置成围绕用户的下臂或手腕佩戴；
图6B是图6A中所示的16个EMG传感器之一的截面图；以及
图7A和图7B示意性地示出了在其上实现一些实施例的基于计算机的系统的部件。图7A示出了基于计算机的系统的可穿戴部分，并且图7B示出了连接到计算机的加密狗(dongle)部分，其中加密狗部分被配置成与可穿戴部分通信。
详细描述
人类肌肉骨骼系统的全部或部分可以被建模为多节段铰接刚体系统，其中关节形成不同节段之间的接合部(interface)，并且关节角度定义了模型中连接节段之间的空间关系。关节处移动的限制由连接节段的关节类型和限制关节处移动范围的生物结构(例如，肌肉、肌腱、韧带)决定。例如，连接上臂和躯干的肩关节以及连接大腿和躯干的髋关节是球窝关节，其允许伸展和弯曲移动以及旋转移动。相比之下，连接上臂和前臂的肘关节以及连接大腿和小腿的膝关节允许更有限的运动范围。如本文所述，多节段铰接刚体系统用于对人体肌肉骨骼系统的部分进行建模。然而，应当理解，人体肌肉骨骼系统的一些节段(例如，前臂)虽然在铰接刚体系统中近似为刚体，但是可以包括多个刚性结构(例如，前臂的尺骨和桡骨)，这些刚性结构在节段内提供了刚体模型没有明确考虑的更复杂的移动。因此，与本文所描述技术的一些实施例一起使用的铰接刚体系统的模型可以包括表示不是严格刚体的身体部位的组合的节段。
在运动学中，刚体是表现出各种运动属性(例如，位置、定向、角速度、加速度)的对象。知道刚体一个节段的运动属性使得刚体其他节段的运动属性能够基于节段如何连接的约束来被确定。例如，手可以被建模为多节段铰接体，每个手指和手腕中的关节形成模型中多个节段之间的接合部。在一些实施例中，如下面更详细描述的，刚体模型中节段的移动可以被模拟为铰接刚体系统，其中节段相对于模型中其他节段的位置(例如，实际位置、相对位置或定向)信息使用经训练的统计模型来被预测。
作为一个非限制性示例，本文描述的由肌肉骨骼表示近似的人体部分是手或手与一个或更多个手臂节段的组合，并且用于描述肌肉骨骼表示中各个节段或节段组合的力关系以及节段之间位置关系的当前状态的信息在本文中被称为肌肉骨骼表示的手部状态。然而，应当理解，本文描述的技术也适用于除了手之外的身体部分的肌肉骨骼表示，这些身体部分包括但不限于手臂、腿、脚、躯干、颈部或前述的任何组合。
除了空间(例如，位置/定向)信息之外，一些实施例被配置成预测与肌肉骨骼表示的一个或更多个节段相关联的力信息。例如，可以估计由一个或更多个节段施加的线性力或旋转(扭矩)力。线性力的示例包括但不限于手指或手按压在诸如桌子的实体对象上的力，以及当两个节段(例如，两根手指)被挤压在一起时施加的力。旋转力的示例包括但不限于，当手腕或手指中的节段扭转或弯曲时产生的旋转力。在一些实施例中，被确定为当前手部状态估计的一部分的力信息包括挤压力信息、抓握力信息或关于由肌肉骨骼表示所表示的肌肉之间的共收缩力(co-contraction force)的信息中的一个或更多个。
图1示出了根据一些实施例的系统100。系统包括被配置成记录从人体部分的移动产生的信号的多个传感器102。传感器102可以包括自主式传感器(autonomous sensor)。如本文所使用的，术语“自主式传感器”是指被配置成测量身体节段(body segment)的移动的传感器，而不需要使用外部设备。在一些实施例中，传感器102也可以包括与自主式传感器组合的非自主式传感器(non-autonomous sensor)。如本文所使用的，术语“非自主式传感器”是指被配置成使用外部设备来测量身体节段的移动的传感器。包括非自主式传感器的外部设备的示例包括但不限于，可穿戴的(例如，安装在身体上的)照相机、全球定位系统和激光扫描系统。
自主式传感器可以包括多个神经肌肉传感器，该神经肌肉传感器被配置成记录从人体骨骼肌中的神经肌肉活动产生的信号。本文使用的术语“神经肌肉活动”是指对支配肌肉的脊髓运动神经元的神经激活、肌肉激活、肌肉收缩或者神经激活、肌肉激活和肌肉收缩的任意组合。神经肌肉传感器可以包括一个或更多个肌电图(EMG)传感器、一个或更多个肌动图(MMG)传感器、一个或更多个声肌图(SMG)传感器、EMG传感器，MMG传感器和SMG传感器中两种或更多种类型的组合、和/或被配置成检测神经肌肉信号的任何合适类型的一个或更多个传感器。在一些实施例中，多个神经肌肉传感器可以用于感测与由肌肉控制的身体部位的移动相关的肌肉活动，神经肌肉传感器被布置成从肌肉感测肌肉活动。描述移动的空间信息(例如，位置和/或定向信息)和力信息可以在用户随着时间移动时基于所感测的神经肌肉信号来被预测。
自主式传感器可以包括一个或更多个惯性测量单元(IMU)，该一个或更多个IMU使用例如加速度计、陀螺仪、磁力计或者一个或更多个加速度计、陀螺仪和磁力计的任意组合来测量运动的物理方面的组合。在一些实施例中，IMU可以用于感测关于附接有IMU的身体部位的移动的信息，并且当用户随时间移动时，从感测到的数据导出的信息(例如，位置和/或定向信息)可以被跟踪。例如，当用户随时间移动时，一个或更多个IMU可以用于跟踪用户躯干近端的用户身体部分(例如，手臂、腿)相对于传感器的移动。
在包括至少一个IMU和多个神经肌肉传感器的实施例中，IMU和神经肌肉传感器可以被布置成检测人体不同部位的移动。例如，IMU可以被布置成检测躯干近端的一个或更多个身体节段(例如，上臂)的移动，而神经肌肉传感器可以被布置成检测躯干远端的一个或更多个身体节段(例如，前臂或手腕)的移动。然而，应当理解，自主式传感器可以以任何合适的方式被布置，并且本文所描述技术的实施例不限于基于特定的传感器布置。例如，在一些实施例中，至少一个IMU和多个神经肌肉传感器可以共同位于一个身体节段上，以使用不同类型的测量来跟踪身体节段的移动。在下面更详细描述的一个实现中，一个IMU传感器和多个EMG传感器被布置在可穿戴设备上，该可穿戴设备被配置成围绕用户的下臂或手腕佩戴。在这种布置中，IMU传感器可被配置成跟踪与一个或更多个手臂节段相关联的移动信息(例如，随时间的定位和/或定向)，以确定例如用户已经抬起了还是已经放下了他们的手臂，而EMG传感器可被配置成确定与手腕或手部节段相关联的移动信息，以确定例如用户具有张开的还是闭合的手部形状。
每个自主式传感器包括被配置成感测关于用户的信息的一个或更多个感测部件。在IMU的情况下，感测部件可以包括一个或更多个加速度计、陀螺仪、磁力计或其任意组合，以测量身体运动的特性，该特性的示例包括但不限于加速度、角速度和身体周围感测到的磁场。在神经肌肉传感器的情况下，感测部件可以包括但不限于被配置成检测身体表面上的电势的电极(例如，对于EMG传感器)、被配置成测量皮肤表面振动的振动传感器(例如，对于MMG传感器)、以及被配置成测量由肌肉活动引起的超声信号的声学感测部件(例如，对于SMG传感器)。
在一些实施例中，可以使用硬件信号处理电路来处理一个或更多个感测部件的输出(例如，执行放大、滤波和/或整流)。在其他实施例中，感测部件的输出的至少一些信号处理可以在软件中执行。因此，由自主式传感器记录的自主信号的信号处理可以在硬件、软件或由硬件和软件的任何适当组合中执行，因为本文所描述的技术的各方面不限于该方面。
在一些实施例中，如下面更详细描述的，记录的传感器数据可以被处理以计算附加的导出的测量结果，然后将导出的测量结果作为输入提供给统计模型。例如，来自IMU传感器的记录的信号可以被处理，以导出指定刚体节段随时间的定向的定向信号。自主式传感器可以使用与感测部件集成的部件来实现信号处理，或者至少一部分信号处理可以由与自主式传感器的感测部件通信但不直接集成的一个或更多个部件来执行。
在一些实施例中，多个自主式传感器中的至少一些被布置为可穿戴设备的一部分，该可穿戴设备被配置成佩戴在用户身体部位之上或围绕用户身体部位佩戴。例如，在一个非限制性示例中，IMU传感器和多个神经肌肉传感器围绕可调整的和/或弹性的带(例如被配置成围绕用户的手腕或手臂佩戴的腕带或臂带)周向地布置。替代地，至少一些自主式传感器可以布置在可穿戴贴片上，该可穿戴贴片被配置成附着到用户身体一部分。在一些实施例中，可以使用多个可穿戴设备来预测涉及多个身体部位的移动的肌肉骨骼位置信息，每个可穿戴设备上包括一个或更多个IMU和/或神经肌肉传感器。
在一些实施例中，传感器102仅包括多个神经肌肉传感器(例如，EMG传感器)。在其他实施例中，传感器102包括多个神经肌肉传感器和被配置成连续记录多个辅助信号的至少一个“辅助”传感器。辅助传感器的示例包括但不限于其他自主式传感器(例如IMU传感器)和非自主式传感器(例如成像设备(例如，照相机))、与辐射生成设备(例如，激光扫描设备)一起使用的基于辐射的传感器、或者其他类型的传感器(例如心率监视器)。
系统100也包括被编程为与传感器102通信的一个或更多个计算机处理器(图1中未示出)。例如，由一个或更多个传感器记录的信号可以被提供给处理器，该处理器可以被编程为执行一个或更多个机器学习技术，该机器学习技术处理由传感器102输出的信号以训练一个或更多个统计模型104，并且经训练的(或经过再训练的)统计模型104可以被存储以供以后用于生成肌肉骨骼表示106(如下面更详细描述的)。下面关于图5更详细地讨论了统计模型的非限制性示例，根据一些实施例，这些统计模型可以用于基于来自传感器102的所记录的信号来预测手部状态信息。
系统100也可选地包括被配置成显示(例如，手的)视觉表示108的显示控制器。如下面更详细讨论的，一个或更多个计算机处理器可以实现一个或更多个经训练的统计模型，该统计模型被配置成至少部分地基于由传感器102记录的信号来预测手部状态信息。预测的手部状态信息用于更新肌肉骨骼表示106，肌肉骨骼表示106然后可选地用于基于包含当前手部状态信息的更新的肌肉骨骼表示来再现视觉表示108。当前手部状态的实时重建和随后在肌肉骨骼模型中反映当前手部状态信息的视觉表示的再现可以向用户提供关于经训练的统计模型准确表示预期手部状态的有效性的视觉反馈。并非系统100的所有实施例都包括被配置成再现视觉表示的部件。例如，在一些实施例中，来自经训练的统计模型的手部状态估计输出和相应更新的肌肉骨骼表示被用于确定(例如，在虚拟现实环境中)用户手部的状态，即使基于更新的肌肉骨骼表示的视觉表示没有被再现(例如，用于在没有虚拟再现的手部的情况下与虚拟环境中的虚拟对象交互)。
在一些实施例中，被配置成模拟虚拟现实环境的计算机应用可以被指示来显示用户手部的视觉表示。可以基于经训练的统计模型的输出来显示虚拟现实环境内由手的部分所施加的定位、移动和/或力。当连续信号被传感器102记录并被经训练的统计模型104处理以提供实时更新的用户移动和/或所施加力的更新的计算机生成的表示时，视觉表示可以基于当前重建的手部状态信息来动态更新。
如以上所讨论的，一些实施例涉及使用统计模型来基于从可穿戴自主式传感器记录的信号预测肌肉骨骼信息。统计模型可以用于预测肌肉骨骼位置信息，而不必将传感器放置在要在计算机生成的肌肉骨骼表示中表示的刚体的每个节段上。如以上简单讨论的，多节段铰接刚体模型中各节段之间的关节类型约束刚体的移动。附加地，不同的个体在执行可以在个体用户行为的统计模式中捕获到的任务时，倾向于以特有的方式移动。根据一些实施例，对人体移动的这些约束中的至少一些可以被明确地结合到用于预测的统计模型中。附加地或替代地，统计模型可以通过基于所记录的传感器数据(例如，EMG数据)的上下文中手和手腕的位置和所施加力的基础真实数据(ground-truth data)进行训练来学习约束。在统计模型的构建中施加的约束是由用户身体的解剖构造(anatomy)和物理构造(physics)决定的约束，而从统计模式导出的约束是由一个或更多个用户的人类行为决定的约束，传感器测量结果从一个或更多个用户测量并被用于训练统计模型。如下面更详细描述的，约束可以包括由模型中的信息(例如，节点之间的连接权重)表示的统计模型本身的一部分。
如以上所讨论的，一些实施例涉及使用统计模型来预测手部状态信息，以能够生成和/或实时更新基于计算机的肌肉骨骼表示。统计模型可以用于基于IMU信号、神经肌肉信号(例如，EMG、MMG和SMG信号)、外部设备信号(例如，照相机或激光扫描信号)、或者IMU信号、神经肌肉信号和当用户执行一个或更多个移动时检测到的外部设备信号的组合来预测手部状态信息。
相对于用于神经肌肉记录的桌面研究系统(tabletop research system)，为非技术用户独立使用而设计的系统(包括可穿戴的、无线的和便携式的神经肌肉记录设备)更容易记录伪像。识别、减轻和解释这种伪像是重要的，并且这样做有效地提高了用于估计用户身体部位(例如，手)的位置、移动和/或力的系统和方法的准确性。
发明人已经认识到，在连续记录来自神经肌肉传感器的神经肌肉信号期间，由于各种原因(包括但不限于传感器故障和诸如60Hz噪声的环境因素)，在所记录的信号数据中偶尔会出现伪像。如上所述，提供包括这种伪像的神经肌肉信号作为经训练的统计模型的输入可能导致不准确的模型输出估计(例如，手部状态估计)。发明人已经意识到，实时检测连续记录的神经肌肉信号中的一个或更多个伪像，并且在将神经肌肉信号作为输入提供给经训练的统计模型之前补偿检测到的伪像，可以产生更接近地表示用户移动的模型估计。
图2示出了根据一些实施例的用于实时检测并减轻神经肌肉信号数据中的伪像的过程200。在动作202中，从多个神经肌肉传感器记录多个神经肌肉信号。过程200进行到动作204，在动作204中，当连续记录神经肌肉信号时，分析神经肌肉信号以实时检测神经肌肉信号中的一个或更多个伪像。过程200然后进行到动作206，在动作206中，当在神经肌肉信号中检测到一个或更多个伪像时，确定导出的神经肌肉信号。导出的神经肌肉信号是其中检测到的伪像已经通过以下操作而被减轻的信号：例如(例如，经由如下所述的滤波器或其他合适的技术)处理信号数据以至少部分地去除伪像、用其他信号数据来替换至少一些信号数据、或者用来自相邻传感器的信号数据的平均值来替换信号数据(如下所述)。将在下面进一步详细讨论确定导出的神经肌肉信号的示例。过程200然后进行到动作208，在动作208中，将导出的神经肌肉信号作为输入提供给经训练的统计模型，以代替所记录的神经肌肉信号。在一些情况下，当在从特定传感器记录的神经肌肉信号中没有检测到伪像时，可以将来自那些传感器的神经肌肉信号作为输入提供给经训练的统计模型，而无需处理信号来减轻伪像。
图3示出了根据一些实施例的用于从所记录的神经肌肉信号中检测并减轻伪像的系统架构300。由多个神经肌肉传感器记录的传感器数据310被多个检测器电路312分析，每个检测器电路被配置成通过分析传感器数据来检测特定类型的伪像。可以使用硬件、软件或硬件和软件的组合来实现检测器电路312(如下所述)。在分析了神经肌肉信号之后，做出关于由检测器电路312分析的神经肌肉信号是否包括该检测器电路被配置成对其进行检测的伪像的决策314。在一些实施例中，至少部分地基于与由检测器电路312分析的神经肌肉信号相关联的质量度量来做出决策314。例如，质量度量可以表示神经肌肉信号包括特定伪像的概率(例如，置信度水平)，并且当概率高于阈值时，可以确定神经肌肉信号包括伪像。检测器电路312可以被配置成处理单个通道的神经肌肉传感器数据，或者至少一些检测器电路312可以被配置成处理由多个通道记录的神经肌肉传感器数据以检测伪像。在其中N个检测器电路312中的每一个被配置成处理单个通道的神经肌肉数据以检测特定伪像的实现中，伪像检测过程的输出可以是N个质量度量的向量，每个质量度量对应于由检测器电路312之一对通道数据的分析。检测器电路312可以被配置成检测任何合适的信号伪像，包括但不限于，噪声伪像、皮肤接触伪像、皮肤剥离伪像、电力线频率(例如，50Hz、60Hz)伪像、削波信号伪像、无效传感器伪像、微摩擦伪像、数据退化伪像以及由一个或更多个神经肌肉传感器的移动(例如，包含多个神经肌肉传感器的臂带的旋转，其导致在一个或更多个神经肌肉传感器的定位与神经肌肉传感器的所记录的由下面的运动单元(motor unit)生成的信号之间的映射改变)引起的伪像。
当决策314指示神经肌肉传感器数据包括由相应检测器电路312检测到的伪像时，确定一个或更多个导出的神经肌肉信号316，其中伪像已经通过例如至少部分去除伪像或者用其他信号来替换该信号而被减轻。可以基于从检测器电路312输出的决策314以及与这些决策相关联的一个或更多个规则，以任何合适的方式来确定导出的神经肌肉信号。在一些实施例中，从检测器电路输出的信息用于确定是处理神经肌肉信号以减轻检测到的伪像，还是用其他传感器数据或从其他传感器数据导出的数据来替换神经肌肉传感器数据。
可以以任何合适的方式做出关于是处理传感器数据还是替换数据的决策。在一些实施例中，可以在逐个检测器电路的基础上做出是处理还是替换传感器数据的决策。例如，对于一些检测器电路，可以总是处理(而不是替换)神经肌肉信号，以基于检测器电路被配置成对其进行检测的伪像的类型来减轻检测到的伪像。例如，如果检测到的伪像是外部60Hz噪声，则神经肌肉信号可以总是通过滤波来被处理，而不是被替换。在其他情况下，神经肌肉信号可以总是被替换而不是被处理。例如，如果检测器电路被配置成检测对应于断开或故障传感器的伪像，则神经肌肉信号可以总是被来自一个或更多个相邻传感器的神经肌肉信号的平均值(或其他度量)代替(而不是被处理)。在其他情况下，至少部分地基于作为检测器电路的分析结果而确定的质量因子，来确定由特定检测器电路分析的神经肌肉信号是应当被处理还是被替换。例如，如果质量因子小于阈值或在第一范围内，则可以替换神经肌肉传感器数据，而当质量因子大于阈值或在第二范围内时，可以处理神经肌肉传感器数据。
在一些实施例中，可以基于多个检测器电路的输出来决定是处理具有检测到的伪像的神经肌肉信号还是替换神经肌肉信号。例如，如果检测器电路指示已经检测到特定神经肌肉传感器通道或神经肌肉传感器组中的多个伪像，则由于所记录的信号的质量很差，可以确定替换神经肌肉信号。
当基于特定检测器电路312的决策314确定处理神经肌肉信号时，可以以任何合适的方式执行该处理以减轻检测到的伪像。例如，可以滤波或以其他方式处理神经肌肉信号，以减轻检测到的伪像。伪像的类型和/或检测到的伪像的特性可以告知如何处理神经肌肉信号。在一些实现中，可以通过例如计算功率谱以确定伪像的频率特性，或者将某些伪像类型的生成模型(generative model)拟合到神经肌肉信号，来分析神经肌肉信号以确定伪像的一个或更多个特性。在确定伪像特性之后，可以处理神经肌肉信号以减轻伪像。对于某些类型的伪像(例如，皮肤剥离伪像)，处理可以包括滤波技术(例如，高于临界频率的高通滤波器)。对于其他类型的伪像，处理可以包括使用例如生成模型从所记录的神经肌肉信号中减去至少一些估计的伪像行为。
当基于特定检测器电路312或检测器电路312的合集的决策314确定替换神经肌肉信号时，可以以任何合适的方式执行替换以减轻检测到的伪像。例如，如果检测到的伪像出现在相对短的时间段内，则特定传感器的神经肌肉信号数据可以被来自同一传感器的、在信号中不存在伪像的较早时间点记录的信号数据替换。在某些情况下，用来自同一传感器的信号数据来替换受损的信号数据(例如，具有检测到的伪像的信号数据)可以是优选的，因为用于替换的信号数据已经被记录为来自与受损信号数据相同的一块或多块肌肉的神经肌肉活动。替代地，如果检测到的伪像出现在相对长的时间段内，或者如果来自传感器的信号数据不可用(例如，如果传感器已经断开连接或者存在接触问题)，则可以用由其他传感器记录的信号数据来替换该信号数据。例如，可以基于由一个或更多个传感器记录的信号数据来替换该信号数据，该一个或更多个传感器布置在具有受损数据的传感器附近。在一些实施例中，可以用来自受损传感器的两个或更多个相邻传感器的信号数据的平均值来替换受损传感器的信号数据。例如，两个或更多个相邻传感器可以被布置在包括多个神经肌肉传感器的可穿戴设备上的受损传感器旁边或附近。在一些实施例中，信号数据的平均值可以是信号数据的加权平均值，其中以任何合适的方式确定权重。在一些实施例中，由具有伪像的神经肌肉传感器记录的数据的权重可以被设置为零，使得来自该传感器的数据不被考虑。在一些实施例中，可以基于从神经肌肉传感器阵列中没有经历伪像的神经肌肉传感器的历史数据导出的神经肌肉信号数据来估算来自具有伪像的神经肌肉传感器的信号数据。在某些实施例中，所估算的信号数据可以是特定于用户的或者可以基于来自用户群体的数据。来自经历过伪像的神经肌肉传感器的信号数据可以被推断出来，并且该推断可以包括原始信号数据或经处理的信号数据(例如，幅度、共谱矩阵(cospectrum matrix)或另一种度量)。在一些实施例中，关于来自经历过伪像的神经肌肉传感器的信号数据的推断可以基于以下一项或更多项来生成：关于神经肌肉系统和人体解剖构造的一般约束；与用户的生理构造和/或解剖构造相关的个人约束；以及与多个神经肌肉传感器的特定定位和阻抗相关的特定于会话(session)的约束。
当多个检测器电路中只有单个检测器电路312检测到所分析的神经肌肉信号中的伪像时，可以基于一个或更多个规则来处理或替换神经肌肉信号，该规则指定当单个检测器电路312检测到伪像时如何处理/替换数据。当多个检测器电路检测到所分析的神经肌肉信号中的伪像时，可以基于一个或更多个规则来处理或替换神经肌肉信号，该规则指定当检测到多个伪像时如何处理或替换数据。例如，一个或更多个规则可以基于检测到的伪像来指定处理层级(或顺序)，使得在减轻其他伪像的处理之前执行减轻某些伪像的处理。附加地，一个或更多个规则可以指定，如果任何检测器电路312检测到质量值小于特定阈值的伪像，则信号数据被替换(而不是被处理)，而不管其他检测器电路312检测到的伪像。替代地，可以使用任何其他规则，并且实施例不限于此。
在已经减轻了信号伪像的导出信号316被确定之后，将导出信号作为输入提供给经训练的统计模型318，经训练的统计模型318又被配置成基于输入信号来输出估计(例如，手部状态估计)。应当理解，一些神经肌肉信号可以在检测到伪像时被处理/替换，而其他同时记录的神经肌肉信号(例如，来自其他传感器的信号)可以在没有检测到伪像时不被处理/替换，并且可以将未处理(用于减轻伪像)的信号和导出信号的组合作为输入提供给经训练的统计模型。
发明人已经认识到，根据一些实施例使用的经训练的统计模型可以使用训练数据来被训练，该训练数据使得模型对于所记录的信号中的伪像更加鲁棒。图4示出了使用包括与伪像相关联的神经肌肉信号的训练数据来训练统计模型的过程400。伪像可以被记录为神经肌肉信号的一部分，或者伪像可以被模拟并添加到所记录的神经肌肉信号中。当在运行时间期间使用时，这种经训练的统计模型可能对所记录的神经肌肉信号中的伪像更加鲁棒。过程400开始于动作402，在动作402中，连续记录神经肌肉信号。过程400然后进行到动作404，在动作404中，通过修改所记录的神经肌肉信号以包括伪像特性来合成具有一个或更多个伪像的神经肌肉信号。可以以任何合适的方式创建合成的神经肌肉信号。例如，当在特定环境(例如，普遍存在60Hz噪声的环境)中使用时，可以将噪声添加到神经肌肉信号中以模拟所记录的信号中噪声的存在。在一些实施例中，基于由结合图3的架构描述的检测电路检测到的一些或全部类型的伪像合成的神经肌肉信号可以在动作404中使用。替代地，用作训练模型的训练数据的所记录的神经肌肉信号可能已经具有包含在所记录的信号中的伪像，使得没有必要模拟伪像并将模拟的伪像添加到“干净的”神经肌肉信号中。例如，可以宽松地佩戴具有多个神经肌肉传感器的臂带，以生成由神经肌肉传感器暂时失去与皮肤的低阻抗接触而导致的频繁接触伪像。
过程400然后进行到动作406，在动作406中，合成导出的神经肌肉信号，其中在动作404中引入到神经肌肉信号的伪像已经被减轻。认识到本文描述的用于减轻信号伪像的减轻技术可能无法完全去除信号伪像，在训练数据中包含合成的导出神经肌肉信号数据产生可以提供更准确的模型估计的经训练的统计模型，该合成的导出神经肌肉信号数据模拟在运行时间期间所使用的减轻技术的操作。
过程400然后进行到动作408，在动作408中，使用包括合成的导出神经肌肉信号的训练数据来训练统计模型。在训练之后，过程400进行到动作410，在动作410中，输出经训练的统计模型以供运行时间期间使用(如以上结合图1-图3所述)。
在一些实施例中，作为统计模型的部件的去噪自动编码器被用于识别并减轻伪像。可以通过建立统计模型(例如，神经网络)来实现去噪自动编码器，其中输入数据包括干净的神经肌肉传感器数据(其不包含(或包含很少)与伪像(例如，噪声)组合的伪像)，然后用该干净的神经肌肉传感器数据来训练模型。以这种方式，使用包括去噪自动编码器的统计模型的系统或方法可以针对神经肌肉伪像提供鲁棒性。添加到干净的神经肌肉传感器数据的伪像可以具有与任何合适的信号伪像一致的统计结构，信号伪像包括但不限于噪声伪像、皮肤接触伪像、皮肤剥离伪像、电力线频率(例如，50Hz、60Hz)伪像、削波信号伪像、无效传感器伪像、微摩擦伪像、数据退化伪像以及由一个或更多个神经肌肉传感器的移动(例如，包含多个神经肌肉传感器的臂带的旋转，其导致在一个或更多个神经肌肉传感器的定位与神经肌肉传感器的所记录的由下面的运动单元生成的信号之间的映射改变)引起的伪像。
在一些实施例中，可以从神经肌肉传感器数据的对数功率谱的前几个主要分量导出简单的质量度量，这前几个主要分量倾向于在电极之间以及在用户和记录会话之间是固定不变的(stereotype)。例如，线性和二次判别分析可以考虑异常功率谱的常见原因(例如，以能够识别伪像，该伪像包括但不限于：运动伪像(低频)、接触伪像(宽带噪声)、电力线噪声(60Hz)、由确定用户身体部位(例如，手部关节)位置的基础真实数据系统引起的伪像以及IMU伪像)。在该实施例的变型中，多通道神经肌肉数据的共谱特征可以用于识别表现为神经肌肉传感器之间的相关信息的伪像。
图5描述了使用从传感器102记录的信号生成(本文有时称为“训练”)统计模型的过程500。过程500可以由任何合适的计算设备执行，因为本文所描述技术的各方面不限于该方面。例如，过程500可以由参考图7A和图7B描述的一个或更多个计算机处理器执行。作为另一个示例，过程500的一个或更多个动作可以使用一个或更多个服务器(例如，作为云计算环境的一部分包括的服务器)来被执行。例如，与统计模型(例如，神经网络)的训练相关的动作510的至少一部分可以使用云计算环境来执行。
过程500开始于动作502，在动作502中，针对一个或更多个用户执行一个或更多个移动(例如，在键盘上打字)获得多个传感器信号。在一些实施例中，作为过程500的一部分，多个传感器信号可以被记录。在其他实施例中，多个传感器信号可能已经在执行过程500之前被记录，并且在动作502被访问(而不是记录)。
在一些实施例中，多个传感器信号可以包括针对单个用户执行单个移动或多个移动记录的传感器信号。可以指示用户执行对于特定任务(例如，打开门)的一系列移动，并且当用户执行他/她被指示执行的任务时，可以记录对应于用户移动的传感器信号。传感器信号可以由位于任何合适定位处的任何合适数量的传感器记录，以检测与所执行的任务相关的用户移动。例如，在用户被指示用他/她的右手手指执行任务之后，传感器信号可以由多个神经肌肉传感器和一个或更多个IMU传感器记录，该多个神经肌肉传感器围绕用户右下臂周向地(或以其他方式)布置，以检测引起右手移动的右下臂中的肌肉活动，该一个或更多个IMU传感器被布置成预测用户手臂相对于用户躯干的关节角度。作为另一个示例，在用户被指示用他/她的腿执行任务(例如，踢对象)之后，传感器信号可以由多个神经肌肉传感器和一个或更多个IMU传感器记录，该多个神经肌肉传感器围绕用户的腿周向地(或以其他方式)布置，以检测引起脚移动的腿中的肌肉活动，该一个或更多个IMU传感器被布置成预测用户的腿相对于用户躯干的关节角度。
在一些实施例中，在动作502中获得的传感器信号对应于来自一种类型的传感器(例如，一个或更多个IMU传感器或一个或更多个神经肌肉传感器)的信号，并且可以基于使用特定类型的传感器记录的传感器信号来训练统计模型，从而产生特定于传感器类型的经训练的统计模型。例如，所获得的传感器信号可以包括围绕用户的下臂或手腕布置的多个EMG传感器信号，并且可以训练统计模型来预测在执行诸如抓握和扭转诸如门把手之类的物体的任务期间手腕和/或手的移动的肌肉骨骼位置信息。
在基于多种类型的传感器(例如，IMU传感器、EMG传感器、MMG传感器、SMG传感器)提供预测的实施例中，可以为每种类型的传感器训练单独的统计模型，并且可以组合特定于传感器类型的模型的输出以生成用户身体的肌肉骨骼表示。在其他实施例中，在动作502中从两种或更多种不同类型的传感器获得的传感器信号可以被提供给单个统计模型，该单个统计模型基于从不同类型的传感器记录的信号而被训练。在一个说明性实现中，如下文更详细讨论的，IMU传感器和多个EMG传感器被布置在被配置成围绕用户前臂佩戴的可穿戴设备上，并且由IMU和EMG传感器记录的信号被共同提供作为统计模型的输入。
在一些实施例中，当用户执行一个或更多个移动时，在多个时间点记录在动作502中获得的传感器信号。结果，每个传感器的记录的信号可以包括在多个时间点中的每个时间点获得的数据。假设n个传感器被布置成在执行任务期间同时测量用户的移动信息，则针对用户记录的传感器信号可以包括在移动的执行期间的时间点t1、t2、…、tK处的K个n维向量{xk|1≤k≤K}的时间序列。
在一些实施例中，可以指示用户多次执行任务，并且可以针对用户的多次任务重复中的每一次记录传感器信号和位置信息。在一些实施例中，多个传感器信号可以包括针对多个用户记录的信号，该多个用户中的每一个执行同一任务一次或更多次。可以指示多个用户中的每一个执行任务，并且当用户执行(一次或重复)他/她被指示执行的任务时，可以记录对应于该用户的移动的传感器信号和位置信息。当传感器信号被多个用户收集时(这些信号被组合在一起以生成统计模型)，假设不同的用户使用相似的肌肉骨骼位置来执行相同的移动。从重复执行同一任务的单个用户和/或从执行同一任务一次或多次的多个用户收集传感器信号和位置信息有助于收集足够的训练数据，以生成能够准确预测与任务执行相关联的肌肉骨骼位置信息的统计模型。
在一些实施例中，可以基于与来自多个用户的记录的信号相对应的训练数据来生成与用户无关的统计模型，并且当用户使用系统时，基于所记录的传感器数据来训练该统计模型，使得该统计模型学习与用户相关的特性，以改进系统对于特定用户的预测能力。
在一些实施例中，多个传感器信号可以包括针对用户(或多个用户中的每一个用户)一次或多次执行多个任务中每个任务而记录的信号。例如，可以指示用户执行多个任务中的每一个(例如抓握对象、推动对象和拉开门)，并且当用户执行他/她被指示执行的多个任务中的每一个时，可以记录对应于用户移动的信号。收集这样的数据可以有助于开发用于预测与用户可以采取的多个不同动作相关联的肌肉骨骼位置信息的统计模型。例如，包含多个动作的肌肉骨骼位置信息的训练数据可以有助于生成用于预测用户可能正在执行多个可能的移动中的哪一个的统计模型。
如以上所讨论的，可以通过在一个或更多个用户中的每一个用户一次或多次执行一个或更多个任务中的每一个任务时记录传感器信号来获得在动作502获得的传感器数据。当用户执行任务时，在动作504中可以获得描述不同身体节段在任务执行期间的空间位置的位置信息。在一些实施例中，使用一个或更多个外部设备或系统来获得位置信息，该外部设备或系统在任务执行期间跟踪身体上不同点的位置。例如，可以使用运动捕获系统、激光扫描仪、测量相互磁感应的设备、或者被配置成捕获位置信息的某个其他系统。作为一个非限制性示例，多个位置传感器可以放置在右手手指的节段上，并且当用户执行诸如抓握对象的任务时，运动捕获系统可以用来确定每个位置传感器的空间定位。在动作502获得的传感器数据可以与在动作504中获得的位置信息的记录同时被记录。在该示例中，获得了指示当执行抓握运动时每个手指节段随时间的位置的位置信息。
接下来，过程500进行到动作506，在动作506中可选地处理在动作502中获得的传感器信号和/或在动作504中获得的位置信息。例如，可以使用放大、滤波、整流或其他类型的信号处理来处理传感器信号或位置信息信号。
接下来，过程500进行到动作508，在动作508中基于位置信息(如在动作504中收集的或者如在动作506中处理的)来确定肌肉骨骼位置特性。在一些实施例中，不是使用对应于位置传感器的所记录的空间(例如，x、y、z)坐标作为训练数据来训练统计模型，而是基于所记录的位置信息来确定导出的肌肉骨骼位置特性值的集合，并且将导出的值用作训练统计模型的训练数据。例如，使用关于铰接刚体模型中连接的刚性节段对之间的约束的信息，位置信息可以用于确定关节角度，该关节角度定义了在任务执行期间的多个时间点的每一个时间点处每个连接的刚性节段对之间的角度。相应地，在动作504中获得的位置信息可以由多个时间点的每一个时间点处的n个关节角度的向量来表示，其中n是铰接刚体模型中的节段之间的关节或连接的数量。
接下来，过程500前进到动作510，其中在动作502和508获得的时间序列信息被组合以在动作510创建用于训练统计模型的训练数据。可以以任何合适的方式组合获得的数据。在一些实施例中，在动作502获得的每个传感器信号可以与任务或任务内的移动相关联，该任务或任务内的移动对应于当用户执行任务或移动时基于动作504中记录的位置信息确定的肌肉骨骼位置特性(例如，关节角度)。以这种方式，传感器信号可以与肌肉骨骼位置特性(例如，关节角度)相关联，并且统计模型可以被训练来预测当在特定任务的执行期间记录特定传感器信号时，肌肉骨骼表示将由不同身体节段之间的特定肌肉骨骼位置特性来表征。
在包括被配置成在任务执行期间同时记录不同类型移动信息的不同类型传感器(例如，IMU传感器和神经肌肉传感器)的实施例中，可以使用相同或不同的采样速率来记录不同类型传感器的传感器数据。当传感器数据以不同的采样速率被记录时，至少一些传感器数据可以被重新采样(例如，上采样或下采样)，使得作为输入被提供给统计模型的所有传感器数据对应于相同时间分辨率的时间序列数据。可以以任何合适的方式对至少一些传感器数据重新采样，包括但不限于使用插值进行上采样和使用抽取进行下采样。
除了在以不同采样速率记录时对至少一些传感器数据进行重新采样，或者作为对重新采样的替代，一些实施例采用被配置成异步接受多个输入的统计模型。例如，统计模型可以被配置成对具有较低采样速率的输入数据中的“缺失”值的分布进行建模。替代地，随着来自多个传感器数据测量结果的输入作为训练数据变得可用，统计模型的训练定时异步发生。
接下来，过程500前进到动作512，在动作512中使用在动作510生成的训练数据来训练用于预测肌肉骨骼位置信息的统计模型。被训练的统计模型可以将数据集的序列作为输入，该序列中的每个数据集包括传感器数据的n维向量。统计模型可以提供输出，该输出指示对于可由用户执行的一个或更多个任务或移动中的每一个，用户身体的肌肉骨骼表示将由肌肉骨骼位置特性的集合(例如，铰接的多节段身体模型中节段之间的关节角度集合)表征的可能性。例如，统计模型可以将使用在时间点t1、t2、…、tK处获得的测量值生成的向量序列{xk|1≤k≤K}作为输入，其中向量xj的第i个分量是由第i个传感器在时间tj测量的值和/或是从由第i个传感器在时间tj测量的值导出的值。在另一个非限制性示例中，作为统计模型的输入而提供的导出值可以包括在时间tj处和/或在时间tj之前从来自全部传感器或传感器子集的数据提取的特征(例如，协方差矩阵、功率谱、其组合或任何其他合适的导出表示)。基于这样的输入，统计模型可以提供指示用户身体的肌肉骨骼表示将由肌肉骨骼位置特性集合表征的概率的输出。作为一个非限制性示例，统计模型可以被训练成在用户抓握对象时，随时间预测手的手指中的节段的关节角度集合。在该示例中，经训练的统计模型可以输出对应于传感器输入的、手中关节的预测的关节角度集合。
在一些实施例中，统计模型可以是神经网络，并且例如可以是循环神经网络。在一些实施例中，循环神经网络可以是长短期记忆(LSTM)神经网络。然而，应当理解，循环神经网络不限于LSTM神经网络，并且可以具有任何其他合适的架构。例如，在一些实施例中，循环神经网络可以是完全循环神经网络(fully recurrent neural network)、递归神经网络(recursive neural network)、变分自编码器(variational autoencoder)、Hopfield神经网络、联想记忆神经网络(associative memory neural network)、Elman神经网络、Jordan神经网络、回声状态神经网络(echo state neural network)、二阶循环神经网络(secondorder recurrent neural network)和/或任何其他合适类型的循环神经网络。在其他实施例中，可以使用不是循环神经网络的神经网络。例如，可以使用深度神经网络、卷积神经网络和/或前馈神经网络。
在统计模型是神经网络的一些实施例中，神经网络的输出层可以提供对应于可能的肌肉骨骼位置特性(例如，关节角度)的相应集合的输出值集合。以这种方式，神经网络可以作为非线性回归模型来操作，该模型被配置成从原始或预处理的传感器测量结果来预测肌肉骨骼位置特性。应当理解，在一些实施例中，可以使用任何其他合适的非线性回归模型来代替神经网络，因为本文所描述技术的各方面不限于该方面。
在一些实施例中，神经网络可以基于各种拓扑和/或架构来实现，包括具有完全连接(密集)层、长短期记忆(LSTM)层、卷积层、时间卷积层(TCL)的深度神经网络，或者其他合适类型的深度神经网络拓扑和/或架构。神经网络可以具有不同类型的输出层，包括具有逻辑sigmoid激活函数、双曲正切激活函数、线性单元、整流线性单元或其他合适类型的非线性单元的输出层。类似地，神经网络可以被配置成经由例如softmax函数来表示n个不同类别上的概率分布，或者包括提供参数化分布(例如，高斯分布的均值和方差)的输出层。
应当理解，本文所描述技术的各方面不限于使用神经网络，因为在一些实施例中可以采用其他类型的统计模型。例如，在一些实施例中，统计模型可以包括隐马尔可夫模型、马尔可夫切换模型(其中切换允许在不同动态系统之间跳变)、动态贝叶斯网络(dynamic Bayesian network)和/或具有时间分量的任何其他合适的图形模型。在动作512，可以使用在动作502获得的传感器数据来训练任何这样的统计模型。
作为另一个示例，在一些实施例中，统计模型可以将从在动作502获得的传感器数据导出的特征作为输入。在这样的实施例中，在动作512，可以使用从在动作502获得的传感器数据提取的特征来训练统计模型。统计模型可以是支持向量机(support vectormachine)、高斯混合模型、基于回归的分类器、决策树分类器、贝叶斯分类器和/或任何其他合适的分类器，因为本文所描述技术的各方面不限于该方面。要作为训练数据提供给统计模型的输入特征可以以任何合适的方式从在动作502获得的传感器数据导出。例如，可以使用小波(wavelet)分析技术(例如，连续小波变换、离散时间小波变换等)、傅立叶分析技术(例如，短时傅立叶变换、傅立叶变换等)和/或任何其他合适类型的时间频率分析技术将传感器数据分析为时间序列数据。作为一个非限制性示例，可以使用小波变换来对传感器数据进行变换，并且可以将得到的小波系数作为输入提供给统计模型。
在一些实施例中，在动作512，可以从在动作510生成的训练数据来估计统计模型的参数值。例如，当统计模型是神经网络时，可以从训练数据估计神经网络的参数(例如，权重)。在一些实施例中，可以使用梯度下降、随机梯度下降和/或任何其他合适的迭代优化技术来估计统计模型的参数。在统计模型是循环神经网络(例如，LSTM)的实施例中，可以使用随机梯度下降和随时间反向传播(backpropagation through time)来训练统计模型。训练可以采用交叉熵损失函数(cross-entropy loss function)和/或任何其他合适的损失函数，因为本文所描述技术的各方面不限于该方面。
接下来，过程500进行到动作514，在动作514中存储经训练的统计模型(例如，存储在未示出的数据储存器中)。可以使用任何合适的格式来存储经训练的统计模型，因为本文所描述技术的各方面不限于该方面。以这种方式，如以下所描述的，在过程500的执行期间生成的统计模型可以在稍后的时间使用，例如，用于针对给定的输入传感器数据集合预测肌肉骨骼位置信息(例如，关节角度)。
在一些实施例中，从(例如，布置在用户身体表面上或附近的)多个传感器记录传感器信号，这些传感器记录在任务执行期间与身体移动相关联的活动。所记录的信号可以可选地被处理，并作为输入提供给使用上面结合图5描述的一种或更多种技术训练的统计模型。在连续记录自主信号的一些实施例中，连续记录的(原始或经处理的)信号可以作为经训练的统计模型的输入被连续或周期性地提供，用于针对给定的输入传感器数据集合预测肌肉骨骼位置信息(例如，关节角度)。如以上所讨论的，在一些实施例中，经训练的统计模型是基于自主式传感器和来自多个用户的位置信息测量结果而训练的与用户无关的模型。在其他实施例中，经训练的模型是使用从个体用户记录的数据训练的与用户相关的模型，从该个体用户也获取与传感器信号相关联的数据。
在经训练的统计模型接收到传感器数据作为输入参数集合之后，从经训练的统计模型输出预测的肌肉骨骼位置信息。如以上所讨论的，在一些实施例中，预测的肌肉骨骼位置信息可以包括表示用户身体的至少一部分的多节段铰接刚体模型的肌肉骨骼位置信息值的集合(例如，关节角度集合)。在其他实施例中，肌肉骨骼位置信息可以包括用户正在执行可能的移动集合中的一个或更多个移动的概率集合。
在一些实施例中，在预测肌肉骨骼位置信息之后，至少部分地基于从经训练的统计模型输出的肌肉骨骼位置信息，生成用户身体的基于计算机的肌肉骨骼表示。可以以任何合适的方式生成基于计算机的肌肉骨骼表示。例如，基于计算机的人体肌肉骨骼模型可以包括多个刚体节段，每个刚体节段对应于身体中的一个或更多个骨骼结构。例如，上臂可以由第一刚体节段表示，下臂可以由第二刚体节段表示，手掌可以由第三刚体节段表示，并且手上的每根手指可以由至少一个刚体节段表示(例如，至少第四至第八刚体节段)。肌肉骨骼模型中连接的刚体节段之间的关节角度集合可以定义每个连接的刚体节段相对于彼此和参考系(例如身体躯干)的定向。随着新的传感器数据被测量并被统计模型处理来提供肌肉骨骼位置信息的新的预测(例如，更新的关节角度集合)，用户身体的基于计算机的肌肉骨骼表示可以基于更新的关节角度集合来更新，该更新的关节角度集合基于统计模型的输出确定。以这种方式，基于计算机的肌肉骨骼表示随着传感器数据的连续记录而实时动态更新。
可以以任何合适的方式来表示并存储基于计算机的肌肉骨骼表示，因为本文所描述技术的实施例不限于关于存储表示的特定方式。附加地，尽管在本文中被称为“肌肉骨骼”表示以反映在一些实施例中肌肉活动可以与该表示相关联，但是如下文更详细讨论的，应当理解根据一些实施例所使用的一些肌肉骨骼表示可以对应于身体中的骨骼结构、肌肉结构或者骨骼结构和肌肉结构的组合。
在一些实施例中，对构成用户移动的基础的神经肌肉活动和/或肌肉活动的直接测量值可以与生成的肌肉骨骼表示组合。来自放置在用户身体上各个定位处的多个传感器的测量结果可以用于通过将测量结果叠加到动态形成姿态的骨骼上来创建肌肉补充(muscle recruitment)的统一表示。在一些实施例中，由神经肌肉传感器感测的肌肉活动和/或从肌肉活动导出的信息(例如，力信息)可以与计算机生成的肌肉骨骼表示实时组合。
图6A示出了具有16个神经肌肉传感器610(例如，EMG传感器)的可穿戴系统，这些传感器610围绕弹性带620周向布置，弹性带620被配置成围绕用户的下臂或手腕佩戴。如图所示，EMG传感器610围绕弹性带620周向布置。应当理解，可以使用任何合适数量的神经肌肉传感器。神经肌肉传感器的数量和布置可以取决于使用可穿戴设备的特定应用。例如，可穿戴臂带或腕带可以用于生成控制信息，以控制增强现实系统、机器人、控制车辆、滚动浏览文本、控制虚拟化身或用于任何其他合适的控制任务。
在一些实施例中，传感器610包括神经肌肉传感器(例如，EMG传感器)的集合。在其他实施例中，传感器610可以包括神经肌肉传感器的集合和被配置成连续记录辅助信号的至少一个“辅助”传感器。辅助传感器的示例包括但不限于其他传感器，例如IMU传感器、麦克风、成像传感器(例如，照相机)、与辐射生成设备(例如，激光扫描设备)一起使用的基于辐射的传感器、或者其他类型的传感器(例如心率监视器)。如图所示，传感器610可以使用结合到可穿戴设备中的柔性电子器件630耦合在一起。图6B示出了图6A所示的可穿戴设备的传感器610之一的截面图。
在一些实施例中，可以使用硬件信号处理电路来可选地处理一个或更多个感测部件的输出(例如，从而执行放大、滤波和/或整流)。在其他实施例中，感测部件的输出的至少一些信号处理可以在软件中执行。因此，由传感器采样的信号的信号处理可以在硬件、软件或由硬件和软件的任何适当组合中执行，因为本文所描述的技术的各方面不限于该方面。将在下面结合图7A和图7B更详细地讨论用于处理来自传感器610的所记录的数据的信号处理链的非限制性示例。
图7A和图7B示出了根据本文所描述技术的一些实施例的具有16个EMG传感器的可穿戴系统的内部部件的示意图。如图所示，可穿戴系统包括可穿戴部分710(图7A)和(例如，经由蓝牙或另一种合适的短程无线通信技术)与可穿戴部分710通信的加密狗部分720(图7B)。如图7A所示，可穿戴部分710包括传感器610，其示例结合图6A和图6B进行了描述。传感器610的输出被提供给模拟前端730，模拟前端730被配置成对所记录的信号执行模拟处理(例如，降噪、滤波等)。经处理的模拟信号然后被提供给模数转换器732，模数转换器732将模拟信号转换成可以由一个或更多个计算机处理器处理的数字信号。可以根据一些实施例使用的计算机处理器的一个示例是图7A所示的微控制器(MCU)734。如图所示，MCU 734也可以包括来自其他传感器(例如，IMU传感器740)以及电源和电池模块742的输入。由MCU执行的处理的输出可以被提供给天线750，用于传输到图7B所示的加密狗部分720。
加密狗部分720包括天线752，天线752被配置成与作为可穿戴部分710的一部分而被包括的天线750通信。可以使用任何合适的无线技术和协议(其非限制性示例包括射频信令和蓝牙)进行天线750和752之间的通信。如图所示，由加密狗部分720的天线752接收的信号可以被提供给主计算机，用于进一步处理、显示和/或实现对特定物理或虚拟对象的控制。
可以多种方式中的任何一种来实现上述实施例。例如，可以使用硬件、软件或其组合来实现实施例。当在软件中实现时，软件代码可以在任何合适的处理器或处理器合集(不管是在单个计算机中提供还是分布在多个计算机中的处理器或处理器合集)上执行。应当理解，执行上述功能的任何部件或部件的合集通常被认为是控制以上所讨论的功能的一个或更多个控制器。一个或更多个控制器可以以多种方式实现，例如利用专用硬件或者利用使用微代码或软件编程来执行上述功能的一个或更多个处理器。
在这方面，应当理解，本发明实施例的一个实现包括编码有计算机程序(即，多个指令)的至少一个非暂时性计算机可读存储介质(例如，计算机存储器、便携式存储器、光盘等)，该计算机程序当在处理器上执行时，执行本发明实施例的以上所讨论的功能。计算机可读存储介质可以是可传输的，使得存储在其上的程序可以被加载到任何计算机资源上，以实现本文所讨论的本发明的各方面。此外，应当理解，对当被执行时执行上述功能的计算机程序的引用不限于在主机上运行的应用程序。相反，术语“计算机程序”在本文中以一般意义使用，以指代任何类型的计算机代码(例如，软件或微代码)，其可以用于对处理器进行编程以实现本发明的以上所讨论的各方面。
本发明的各个方面可以单独使用、组合使用或者以在前面描述的实施例中没有具体讨论的各种布置使用，因此它们的应用不限于在前面描述中阐述的或者在附图中示出的部件的细节和布置。例如，一个实施例中描述的各方面可以以任何方式与其他实施例中描述的各方面组合。
此外，本发明的实施例可以被实现为一种或更多种方法，已经提供了其示例。作为方法的一部分被执行的动作可以以任何合适的方式被排序。相应地，可以构建实施例，其中以不同于所示的顺序执行动作，这可以包括同时执行即使在说明性实施例中被示为顺序动作的一些动作。
在权利要求中使用序数术语，例如“第一”、“第二”、“第三”等来修改权利要求元素本身并不意味着一个权利要求元素相对于另一个权利要求元素的任何优先、在先或顺序，或者方法的动作被执行的时间顺序。这些术语仅用作标签，以将具有某种名称的一个权利要求元素与具有相同名称(但是使用序数术语)的另一个元素区分开来。
本文使用的措辞和术语是为了描述的目的，不应该被认为是限制性的。“包括(including)”、“包括(comprising)”、“具有(having)”、“包含(containing)”、“涉及(involving)”及其变体的使用意味着涵盖其后列出的项目和附加项目。
已经详细描述了本发明的几个实施例，本领域技术人员将容易想到各种修改和改进。这种修改和改进旨在落入本发明的精神和范围内。相应地，前面的描述仅仅是示例性的，而不意欲作为限制。本发明仅由所附权利要求及其等同物限定。
Claims (20)
1.一种计算机化系统，包括：
多个神经肌肉传感器，其被配置成连续记录来自用户的多个神经肌肉信号，其中，所述多个神经肌肉传感器被布置在一个或更多个可穿戴设备上；以及
至少一个计算机处理器，其被编程为：
为所述多个神经肌肉传感器中的每一个神经肌肉传感器确定与由该神经肌肉传感器记录的所述多个神经肌肉信号相关联的至少一个质量度量；
基于所述至少一个质量度量来实时检测所记录的多个神经肌肉信号中的一个或更多个伪像，其中，检测所记录的多个神经肌肉信号中的一个或更多个伪像包括识别其中至少一个质量度量偏离阈值超过特定量的第一神经肌肉传感器；
至少部分地基于检测到的一个或更多个伪像，确定多个导出的神经肌肉信号以减轻该一个或更多个伪像，其中，确定所述多个导出的神经肌肉信号包括：
基于所述至少一个质量度量，选择伪像减轻技术来减轻所述检测到的一个或更多个伪像；以及
将所述伪像减轻技术应用于所记录的多个神经肌肉信号，以生成多个导出的神经肌肉信号，在所述多个导出的神经肌肉信号中，所述检测到的一个或更多个伪像已经被至少部分地去除；以及
将所述多个导出的神经肌肉信号作为输入提供给一个或更多个经训练的统计模型。
2.根据权利要求1所述的计算机化系统，其中，选择伪像减轻技术包括：确定是处理由所述第一神经肌肉传感器记录的神经肌肉信号以至少部分去除所述一个或更多个伪像还是用由所述多个神经肌肉传感器中的至少一个第二神经肌肉传感器记录的神经肌肉信号来替换由所述第一神经肌肉传感器记录的神经肌肉信号，并且其中，将所述伪像减轻技术应用于所记录的多个神经肌肉信号包括：
当确定处理由所述第一神经肌肉传感器记录的神经肌肉信号时，处理由所述第一神经肌肉传感器记录的神经肌肉信号；以及
当确定替换由所述第一神经肌肉传感器记录的神经肌肉信号时，用由所述多个神经肌肉传感器中的至少一个第二神经肌肉传感器记录的神经肌肉信号来替换由所述第一神经肌肉传感器记录的神经肌肉信号。
3.根据权利要求2所述的计算机化系统，其中，处理所述神经肌肉信号包括对由所述第一神经肌肉传感器记录的神经肌肉信号进行滤波，以去除至少一个外部噪声分量。
4.根据权利要求2所述的计算机化系统，其中，处理所述神经肌肉信号包括用来自所述第一神经肌肉传感器的先前记录的神经肌肉信号来替换所述神经肌肉信号。
5.根据权利要求2所述的计算机化系统，其中，确定是处理由所述第一神经肌肉传感器记录的神经肌肉信号还是替换由所述第一神经肌肉传感器记录的神经肌肉信号至少部分地基于与由所述第一神经肌肉传感器记录的神经肌肉信号相关联的伪像类型。
6.根据权利要求2所述的计算机化系统，其中，确定是处理由所述第一神经肌肉传感器记录的神经肌肉信号还是替换由所述第一神经肌肉传感器记录的神经肌肉信号至少部分地基于所述至少一个质量度量的大小。
7.根据权利要求2所述的计算机化系统，其中，检测所记录的多个神经肌肉信号中的一个或更多个伪像包括识别其中所述至少一个质量度量偏离阈值超过特定量的第一神经肌肉传感器，并且其中，至少部分地基于检测到的一个或更多个伪像来确定多个导出的神经肌肉信号包括：
用由所述多个神经肌肉传感器中的至少一个第二神经肌肉传感器记录的神经肌肉信号来替换由所述第一神经肌肉传感器记录的神经肌肉信号。
8.根据权利要求7所述的计算机化系统，其中，替换由所述第一神经肌肉传感器记录的神经肌肉信号包括：用由所述多个神经肌肉传感器中的两个或更多个其他神经肌肉传感器记录的神经肌肉信号的平均值来替换该神经肌肉信号。
9.根据权利要求8所述的计算机化系统，其中，所述两个或更多个其他神经肌肉传感器被布置在所述一个或更多个可穿戴设备上的所述第一神经肌肉传感器附近。
10.根据权利要求1所述的计算机化系统，其中，检测所记录的多个神经肌肉信号中的一个或更多个伪像包括识别其中所述至少一个质量度量偏离阈值超过特定量的第一神经肌肉传感器，并且其中，至少部分地基于检测到的一个或更多个伪像来确定多个导出的神经肌肉信号包括：
处理由所述第一神经肌肉传感器记录的神经肌肉信号。
11.根据权利要求1所述的计算机化系统，其中，所述检测到的一个或更多个伪像选自由以下项构成的组：噪声伪像、皮肤接触伪像、皮肤剥离伪像、电力线频率(例如，50Hz、60Hz)伪像、削波信号伪像、无效传感器伪像、微摩擦伪像和数据退化伪像。
12.根据权利要求1所述的计算机化系统，其中，检测所记录的多个神经肌肉信号中的一个或更多个伪像包括用多个检测器电路分析所述多个神经肌肉信号，其中，所述检测器电路中的每一个被配置成检测特定伪像。
13.根据权利要求1所述的计算机化系统，其中，所述一个或更多个经训练的统计模型包括使用包括所述一个或更多个伪像的神经肌肉信号训练的至少一个经训练的统计模型。
14.根据权利要求15所述的计算机化系统，其中，使用至少部分地减轻所述一个或更多个伪像的导出的神经肌肉信号来训练所述至少一个经训练的统计模型。
15.根据权利要求1所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为：
至少部分地基于所述一个或更多个经训练的统计模型的输出，生成用户的一部分的肌肉骨骼表示。
16.根据权利要求15所述的计算机化系统，其中，用户的所述一部分的肌肉骨骼表示是用户的手部的肌肉骨骼表示。
17.根据权利要求16所述的计算机化系统，其中，所述手部的肌肉骨骼表示包括至少部分地基于所述一个或更多个经训练的统计模型的输出而确定的位置信息和力信息。
18.根据权利要求1所述的计算机化系统，其中，所述多个神经肌肉传感器包括肌电图(EMG)传感器、肌动图(MMG)传感器、声肌图(SMG)传感器或EMG传感器、MMG传感器和SMG传感器中的两个或更多个的组合。
19.一种减轻神经肌肉信号伪像的方法，所述方法包括：
使用布置在一个或更多个可穿戴设备上的多个神经肌肉传感器连续记录来自用户的多个神经肌肉信号；
为所述多个神经肌肉传感器中的每一个神经肌肉传感器确定与由该神经肌肉传感器记录的多个神经肌肉信号相关联的至少一个质量度量；
基于所述至少一个质量度量实时检测所记录的多个神经肌肉信号中的一个或更多个伪像，其中，检测所记录的多个神经肌肉信号中的一个或更多个伪像包括识别其中至少一个质量度量偏离阈值超过特定量的第一神经肌肉传感器；以及
至少部分地基于检测到的一个或更多个伪像，确定多个导出的神经肌肉信号以减轻该一个或更多个伪像，其中，确定所述多个导出的神经肌肉信号包括：
基于所述至少一个质量度量，选择伪像减轻技术来减轻所述检测到的一个或更多个伪像；以及
将所述伪像减轻技术应用于所记录的多个神经肌肉信号，以生成多个导出的神经肌肉信号，在所述多个导出的神经肌肉信号中，所述检测到的一个或更多个伪像已经被至少部分地去除；以及
将所述多个导出的神经肌肉信号作为输入提供给一个或更多个经训练的统计模型。
20.一种用多个指令编码的计算机可读介质，所述多个指令当被至少一个计算机处理器执行时，执行以下方法：
使用布置在一个或更多个可穿戴设备上的多个神经肌肉传感器连续记录来自用户的多个神经肌肉信号；
为所述多个神经肌肉传感器中的每一个神经肌肉传感器确定与由该神经肌肉传感器记录的多个神经肌肉信号相关联的至少一个质量度量；
基于所述至少一个质量度量实时检测所记录的多个神经肌肉信号中的一个或更多个伪像，其中，检测所记录的多个神经肌肉信号中的一个或更多个伪像包括识别其中至少一个质量度量偏离阈值超过特定量的第一神经肌肉传感器；以及
至少部分地基于检测到的一个或更多个伪像，确定多个导出的神经肌肉信号以减轻该一个或更多个伪像，其中，确定所述多个导出的神经肌肉信号包括：
基于所述至少一个质量度量，选择伪像减轻技术来减轻所述检测到的一个或更多个伪像；以及
将所述伪像减轻技术应用于所记录的多个神经肌肉信号，以生成多个导出的神经肌肉信号，在所述多个导出的神经肌肉信号中，所述检测到的一个或更多个伪像已经被至少部分地去除；以及
将所述多个导出的神经肌肉信号作为输入提供给一个或更多个经训练的统计模型。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862621829P | 2018-01-25 | 2018-01-25 | |
| US62/621,829 | 2018-01-25 | ||
| PCT/US2019/015174 WO2019147953A1 (en) | 2018-01-25 | 2019-01-25 | Methods and apparatus for mitigating neuromuscular signal artifacts |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112074225A true CN112074225A (zh) | 2020-12-11 |
Family
ID=67299593
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980022051.5A Pending CN112074225A (zh) | 2018-01-25 | 2019-01-25 | 用于减轻神经肌肉信号伪像的方法和装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20190223748A1 (zh) |
| EP (1) | EP3742962A4 (zh) |
| CN (1) | CN112074225A (zh) |
| WO (1) | WO2019147953A1 (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11331045B1 (en) | 2018-01-25 | 2022-05-17 | Facebook Technologies, Llc | Systems and methods for mitigating neuromuscular signal artifacts |
| US11481031B1 (en) | 2019-04-30 | 2022-10-25 | Meta Platforms Technologies, Llc | Devices, systems, and methods for controlling computing devices via neuromuscular signals of users |
| US11481030B2 (en) | 2019-03-29 | 2022-10-25 | Meta Platforms Technologies, Llc | Methods and apparatus for gesture detection and classification |
| US11493993B2 (en) | 2019-09-04 | 2022-11-08 | Meta Platforms Technologies, Llc | Systems, methods, and interfaces for performing inputs based on neuromuscular control |
| US11567573B2 (en) | 2018-09-20 | 2023-01-31 | Meta Platforms Technologies, Llc | Neuromuscular text entry, writing and drawing in augmented reality systems |
| US11635736B2 (en) | 2017-10-19 | 2023-04-25 | Meta Platforms Technologies, Llc | Systems and methods for identifying biological structures associated with neuromuscular source signals |
| US11644799B2 (en) | 2013-10-04 | 2023-05-09 | Meta Platforms Technologies, Llc | Systems, articles and methods for wearable electronic devices employing contact sensors |
| US11666264B1 (en) | 2013-11-27 | 2023-06-06 | Meta Platforms Technologies, Llc | Systems, articles, and methods for electromyography sensors |
| US11797087B2 (en) | 2018-11-27 | 2023-10-24 | Meta Platforms Technologies, Llc | Methods and apparatus for autocalibration of a wearable electrode sensor system |
| US11868531B1 (en) | 2021-04-08 | 2024-01-09 | Meta Platforms Technologies, Llc | Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof |
| US11907423B2 (en) | 2019-11-25 | 2024-02-20 | Meta Platforms Technologies, Llc | Systems and methods for contextualized interactions with an environment |
| US11921471B2 (en) | 2013-08-16 | 2024-03-05 | Meta Platforms Technologies, Llc | Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source |
| US11961494B1 (en) | 2019-03-29 | 2024-04-16 | Meta Platforms Technologies, Llc | Electromagnetic interference reduction in extended reality environments |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10042422B2 (en) | 2013-11-12 | 2018-08-07 | Thalmic Labs Inc. | Systems, articles, and methods for capacitive electromyography sensors |
| US9880632B2 (en) | 2014-06-19 | 2018-01-30 | Thalmic Labs Inc. | Systems, devices, and methods for gesture identification |
| WO2018022658A1 (en) | 2016-07-25 | 2018-02-01 | Ctrl-Labs Corporation | Adaptive system for deriving control signals from measurements of neuromuscular activity |
| US11216069B2 (en) | 2018-05-08 | 2022-01-04 | Facebook Technologies, Llc | Systems and methods for improved speech recognition using neuromuscular information |
| CN110337269B (zh) | 2016-07-25 | 2021-09-21 | 脸谱科技有限责任公司 | 基于神经肌肉信号推断用户意图的方法和装置 |
| US10772519B2 (en) | 2018-05-25 | 2020-09-15 | Facebook Technologies, Llc | Methods and apparatus for providing sub-muscular control |
| EP3487395A4 (en) | 2016-07-25 | 2020-03-04 | CTRL-Labs Corporation | METHODS AND APPARATUS FOR PREDICTING MUSCULOSKELETAL POSITION INFORMATION USING PORTABLE SELF-CONTAINED SENSORS |
| US11337652B2 (en) | 2016-07-25 | 2022-05-24 | Facebook Technologies, Llc | System and method for measuring the movements of articulated rigid bodies |
| US10970936B2 (en) | 2018-10-05 | 2021-04-06 | Facebook Technologies, Llc | Use of neuromuscular signals to provide enhanced interactions with physical objects in an augmented reality environment |
| CN112074870A (zh) | 2018-01-25 | 2020-12-11 | 脸谱科技有限责任公司 | 重构的手部状态信息的可视化 |
| US10937414B2 (en) | 2018-05-08 | 2021-03-02 | Facebook Technologies, Llc | Systems and methods for text input using neuromuscular information |
| WO2019147928A1 (en) | 2018-01-25 | 2019-08-01 | Ctrl-Labs Corporation | Handstate reconstruction based on multiple inputs |
| EP3781903A4 (en) * | 2018-04-19 | 2022-04-20 | Texavie Technologies Inc. | METHODS AND SYSTEMS FOR ESTIMATING A TOPOGRAPHY OF AT LEAST TWO PARTS OF A BODY |
| US10592001B2 (en) | 2018-05-08 | 2020-03-17 | Facebook Technologies, Llc | Systems and methods for improved speech recognition using neuromuscular information |
| WO2019231911A1 (en) | 2018-05-29 | 2019-12-05 | Ctrl-Labs Corporation | Shielding techniques for noise reduction in surface electromyography signal measurement and related systems and methods |
| WO2019241701A1 (en) | 2018-06-14 | 2019-12-19 | Ctrl-Labs Corporation | User identification and authentication with neuromuscular signatures |
| US11045137B2 (en) | 2018-07-19 | 2021-06-29 | Facebook Technologies, Llc | Methods and apparatus for improved signal robustness for a wearable neuromuscular recording device |
| WO2020036958A1 (en) | 2018-08-13 | 2020-02-20 | Ctrl-Labs Corporation | Real-time spike detection and identification |
| EP4241661A1 (en) | 2018-08-31 | 2023-09-13 | Facebook Technologies, LLC | Camera-guided interpretation of neuromuscular signals |
| CN112771478A (zh) | 2018-09-26 | 2021-05-07 | 脸谱科技有限责任公司 | 对环境中的物理对象的神经肌肉控制 |
| US10905383B2 (en) | 2019-02-28 | 2021-02-02 | Facebook Technologies, Llc | Methods and apparatus for unsupervised one-shot machine learning for classification of human gestures and estimation of applied forces |
| GB201912145D0 (en) * | 2019-08-23 | 2019-10-09 | Five Ai Ltd | Performance testing for robotic systems |
| WO2021071915A1 (en) | 2019-10-08 | 2021-04-15 | Unlimited Tomorrow, Inc. | Biometric sensor array |
| US12089953B1 (en) | 2019-12-04 | 2024-09-17 | Meta Platforms Technologies, Llc | Systems and methods for utilizing intrinsic current noise to measure interface impedances |
| US20240172963A1 (en) * | 2021-03-07 | 2024-05-30 | Liquid Wire Llc | Devices, systems, and methods to monitor and characterize the motions of a user via flexibe circuits |
| US11775066B2 (en) * | 2021-04-22 | 2023-10-03 | Coapt Llc | Biometric enabled virtual reality systems and methods for detecting user intentions and manipulating virtual avatar control based on user intentions for providing kinematic awareness in holographic space, two-dimensional (2D), or three-dimensional (3D) virtual space |
| CN118114031B (zh) * | 2024-04-28 | 2024-07-05 | 长鹰恒容电磁科技(成都)有限公司 | 基于机器学习的无线电波形预测方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040138580A1 (en) * | 2002-10-15 | 2004-07-15 | Medtronic, Inc. | Signal quality monitoring and control for a medical device system |
| CN102349037A (zh) * | 2009-03-13 | 2012-02-08 | 微软公司 | 用于人机接口的基于肌电图的可佩戴控制器 |
| CN103501694A (zh) * | 2011-03-24 | 2014-01-08 | 德尔格医疗系统有限公司 | 测量生理信号质量的装置及方法 |
| CN103720470A (zh) * | 2012-08-17 | 2014-04-16 | 尼尔森公司(美国)有限责任公司 | 用于收集和分析脑电图数据的系统和方法 |
| US20140207017A1 (en) * | 2013-01-23 | 2014-07-24 | Altec, Inc. | Signal quality monitor for electromyographic sensors |
| CN104951069A (zh) * | 2014-03-24 | 2015-09-30 | 三星电子株式会社 | 用于使用可穿戴传感器平台的生理测量的置信度指示 |
| US20160313801A1 (en) * | 2015-01-02 | 2016-10-27 | Wearable Devices Ltd. | Method and apparatus for a gesture controlled interface for wearable devices |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6411843B1 (en) * | 1999-05-28 | 2002-06-25 | Respironics, Inc. | Method and apparatus for producing a model EMG signal from a measured EMG signal |
| US7725147B2 (en) * | 2005-09-29 | 2010-05-25 | Nellcor Puritan Bennett Llc | System and method for removing artifacts from waveforms |
| WO2008054511A2 (en) * | 2006-04-21 | 2008-05-08 | Quantum Applied Science & Research, Inc. | System for measuring electric signals |
| US20090082692A1 (en) * | 2007-09-25 | 2009-03-26 | Hale Kelly S | System And Method For The Real-Time Evaluation Of Time-Locked Physiological Measures |
| US8447704B2 (en) * | 2008-06-26 | 2013-05-21 | Microsoft Corporation | Recognizing gestures from forearm EMG signals |
| US8718980B2 (en) * | 2009-09-11 | 2014-05-06 | Qualcomm Incorporated | Method and apparatus for artifacts mitigation with multiple wireless sensors |
| US20110077484A1 (en) * | 2009-09-30 | 2011-03-31 | Nellcor Puritan Bennett Ireland | Systems And Methods For Identifying Non-Corrupted Signal Segments For Use In Determining Physiological Parameters |
| US20160113587A1 (en) * | 2013-06-03 | 2016-04-28 | The Regents Of The University Of California | Artifact removal techniques with signal reconstruction |
| US9389694B2 (en) | 2013-10-22 | 2016-07-12 | Thalmic Labs Inc. | Systems, articles, and methods for gesture identification in wearable electromyography devices |
| US9880632B2 (en) | 2014-06-19 | 2018-01-30 | Thalmic Labs Inc. | Systems, devices, and methods for gesture identification |
| US20190025919A1 (en) * | 2017-01-19 | 2019-01-24 | Mindmaze Holding Sa | System, method and apparatus for detecting facial expression in an augmented reality system |
| US10827942B2 (en) * | 2018-01-03 | 2020-11-10 | Intel Corporation | Detecting fatigue based on electroencephalogram (EEG) data |
-
2019
- 2019-01-25 US US16/258,279 patent/US20190223748A1/en not_active Abandoned
- 2019-01-25 CN CN201980022051.5A patent/CN112074225A/zh active Pending
- 2019-01-25 EP EP19744404.5A patent/EP3742962A4/en active Pending
- 2019-01-25 WO PCT/US2019/015174 patent/WO2019147953A1/en unknown
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040138580A1 (en) * | 2002-10-15 | 2004-07-15 | Medtronic, Inc. | Signal quality monitoring and control for a medical device system |
| CN102349037A (zh) * | 2009-03-13 | 2012-02-08 | 微软公司 | 用于人机接口的基于肌电图的可佩戴控制器 |
| CN103501694A (zh) * | 2011-03-24 | 2014-01-08 | 德尔格医疗系统有限公司 | 测量生理信号质量的装置及方法 |
| CN103720470A (zh) * | 2012-08-17 | 2014-04-16 | 尼尔森公司(美国)有限责任公司 | 用于收集和分析脑电图数据的系统和方法 |
| US20140207017A1 (en) * | 2013-01-23 | 2014-07-24 | Altec, Inc. | Signal quality monitor for electromyographic sensors |
| CN104951069A (zh) * | 2014-03-24 | 2015-09-30 | 三星电子株式会社 | 用于使用可穿戴传感器平台的生理测量的置信度指示 |
| US20160313801A1 (en) * | 2015-01-02 | 2016-10-27 | Wearable Devices Ltd. | Method and apparatus for a gesture controlled interface for wearable devices |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11921471B2 (en) | 2013-08-16 | 2024-03-05 | Meta Platforms Technologies, Llc | Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source |
| US11644799B2 (en) | 2013-10-04 | 2023-05-09 | Meta Platforms Technologies, Llc | Systems, articles and methods for wearable electronic devices employing contact sensors |
| US11666264B1 (en) | 2013-11-27 | 2023-06-06 | Meta Platforms Technologies, Llc | Systems, articles, and methods for electromyography sensors |
| US11635736B2 (en) | 2017-10-19 | 2023-04-25 | Meta Platforms Technologies, Llc | Systems and methods for identifying biological structures associated with neuromuscular source signals |
| US11331045B1 (en) | 2018-01-25 | 2022-05-17 | Facebook Technologies, Llc | Systems and methods for mitigating neuromuscular signal artifacts |
| US11567573B2 (en) | 2018-09-20 | 2023-01-31 | Meta Platforms Technologies, Llc | Neuromuscular text entry, writing and drawing in augmented reality systems |
| US11797087B2 (en) | 2018-11-27 | 2023-10-24 | Meta Platforms Technologies, Llc | Methods and apparatus for autocalibration of a wearable electrode sensor system |
| US11941176B1 (en) | 2018-11-27 | 2024-03-26 | Meta Platforms Technologies, Llc | Methods and apparatus for autocalibration of a wearable electrode sensor system |
| US11481030B2 (en) | 2019-03-29 | 2022-10-25 | Meta Platforms Technologies, Llc | Methods and apparatus for gesture detection and classification |
| US11961494B1 (en) | 2019-03-29 | 2024-04-16 | Meta Platforms Technologies, Llc | Electromagnetic interference reduction in extended reality environments |
| US11481031B1 (en) | 2019-04-30 | 2022-10-25 | Meta Platforms Technologies, Llc | Devices, systems, and methods for controlling computing devices via neuromuscular signals of users |
| US11493993B2 (en) | 2019-09-04 | 2022-11-08 | Meta Platforms Technologies, Llc | Systems, methods, and interfaces for performing inputs based on neuromuscular control |
| US11907423B2 (en) | 2019-11-25 | 2024-02-20 | Meta Platforms Technologies, Llc | Systems and methods for contextualized interactions with an environment |
| US11868531B1 (en) | 2021-04-08 | 2024-01-09 | Meta Platforms Technologies, Llc | Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| US20190223748A1 (en) | 2019-07-25 |
| EP3742962A4 (en) | 2021-04-28 |
| EP3742962A1 (en) | 2020-12-02 |
| WO2019147953A1 (en) | 2019-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112074225A (zh) | 用于减轻神经肌肉信号伪像的方法和装置 | |
| US10489986B2 (en) | User-controlled tuning of handstate representation model parameters | |
| US11069148B2 (en) | Visualization of reconstructed handstate information | |
| US10950047B2 (en) | Techniques for anonymizing neuromuscular signal data | |
| US11587242B1 (en) | Real-time processing of handstate representation model estimates | |
| US11163361B2 (en) | Calibration techniques for handstate representation modeling using neuromuscular signals | |
| US20210405750A1 (en) | Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors | |
| US10817795B2 (en) | Handstate reconstruction based on multiple inputs | |
| CN112996430B (zh) | 神经肌肉信号的相机引导的解释 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: California, USA Applicant after: Yuan Platform Technology Co.,Ltd. Address before: California, USA Applicant before: Facebook Technologies, LLC |
|
| CB02 | Change of applicant information | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20201211 |
|
| WD01 | Invention patent application deemed withdrawn after publication |