CN110337269B - 基于神经肌肉信号推断用户意图的方法和装置 - Google Patents

基于神经肌肉信号推断用户意图的方法和装置 Download PDF

Info

Publication number
CN110337269B
CN110337269B CN201780059101.8A CN201780059101A CN110337269B CN 110337269 B CN110337269 B CN 110337269B CN 201780059101 A CN201780059101 A CN 201780059101A CN 110337269 B CN110337269 B CN 110337269B
Authority
CN
China
Prior art keywords
statistical model
user
athletic
control system
neuromuscular
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780059101.8A
Other languages
English (en)
Other versions
CN110337269A (zh
Inventor
P·凯福什
T·马查多
T·里尔登
E·朔姆堡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Facebook Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Technologies LLC filed Critical Facebook Technologies LLC
Publication of CN110337269A publication Critical patent/CN110337269A/zh
Application granted granted Critical
Publication of CN110337269B publication Critical patent/CN110337269B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7282—Event detection, e.g. detecting unique waveforms indicative of a medical condition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Human Computer Interaction (AREA)
  • Physiology (AREA)
  • Fuzzy Systems (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)

Abstract

使用神经肌肉信号预测运动动作开始的方法和系统。该系统包括：多个传感器，被配置为连续地记录用户的多个神经肌肉信号；以及至少一个计算机处理器，被编程为向训练的统计模型提供多个神经肌肉信号或基于多个神经肌肉信号的信息作为输入，基于训练的统计模型的输出来预测是否将在阈值时间量内发生运动动作的开始，并且至少部分地基于输出概率将控制信号发送到至少一个装置，其中，在用户完成运动动作之前将所述控制信号发送到所述至少一个装置。

Description

基于神经肌肉信号推断用户意图的方法和装置
相关申请的交叉引用
本申请基于35U.S.C.§119(e)要求2016年7月25日提交的序列号为62/366419的题目为“推断用户意图的方法和装置(Method And Apparatus For Inferring UserIntention)”的美国临时专利申请的权益，其全部内容通过引用的方式并入本文。
背景技术
人类中枢神经系统产生的神经肌肉信号提供关于导致人体中一个或多个肌肉收缩的神经激活的信息。神经肌肉信号可以测量神经激活、肌肉激发、肌肉收缩、或神经激活和肌肉收缩的组合。放置在人体体表上的肌电图(EMG)传感器记录骨骼肌细胞激活时产生的电活动。EMG传感器记录的信号通常用于评估患有运动控制障碍的患者的神经肌肉功能障碍，并且已经在一些应用中用作诸如假肢等装置的控制信号。
发明内容
诸如EMG传感器等生物物理传感器在运动活动开始之前记录生物信号。在EMG传感器布置在人体表面上的情况下，记录的生物信号涉及人体肌肉的肌纤维中动作电位的产生。一些实施例涉及使用训练的统计模型分析EMG信号以在执行运动任务之前预测运动任务的开始。基于模型预测确定的控制信号可以用于控制具有短延时的装置的运行。
控制装置至少部分地基于对运动任务的开始的可靠预测而不是等到用户已经完成运动任务为止来提供对控制装置传统技术的改进。非限制性说明性应用包括用于需要快速反应时间的游戏的按钮或触发器/开关、用于包括汽车的物理或虚拟车辆的转向或其他运行输入、操纵杆或导航控制的增强控制，以及用于虚拟现实环境中对象的操纵(例如拾取或抛出虚拟球)的替换或增强。
一些实施例涉及控制系统。控制系统包括：多个传感器，被配置为连续地记录用户的多个神经肌肉信号；以及至少一个计算机处理器，被编程为向训练的统计模型提供多个神经肌肉信号和/或基于多个神经肌肉信号的信息作为输入，基于训练的统计模型的输出预测是否将在阈值时间量内发生运动动作的开始，并且至少部分地基于输出概率向至少一个装置发送控制信号，其中，在用户完成运动动作之前将控制信号发送到至少一个装置。
其他实施例涉及编码有多个指令的至少一个非暂时性计算机可读介质，当多个指令被至少一个计算机处理器执行时，所述多个指令执行方法。该方法包括向训练的统计模型提供从布置在用户身体的一部分上或周围的多个传感器记录的多个神经肌肉信号作为输入，预测是否将在阈值时间量内发生运动动作的开始，并且至少部分地基于输出概率向至少一个装置发送控制信号，其中，在用户完成运动动作之前将控制信号发送到至少一个装置。
其他实施例涉及预测运动动作的开始的方法。该方法包括向训练的统计模型提供从布置在用户身体的一部分上或周围的多个传感器记录的多个神经肌肉信号作为输入，使用至少一个计算机处理器预测是否将在阈值时间量内发生运动动作的开始，并且至少部分地基于输出概率向至少一个装置发送控制信号，其中，在用户完成运动动作之前将控制信号发送到至少一个装置。
其他实施例涉及一种用于训练统计模型以至少部分地基于神经肌肉信号数据来预测运动任务的开始的计算机系统。该计算机系统包括输入接口，被配置为接收在执行一个或多个用户执行的运动动作期间记录的神经肌肉信号数据，接收指示一个或多个用户执行的运动动作的结果的结果数据。该计算机系统还包括至少一个存储装置，被配置为存储多个指令，当多个指令被至少一个计算机处理器执行时，执行方法：至少部分地基于接收的神经肌肉信号数据和接收的结果数据生成训练数据，使用至少一些生成的训练数据训练统计模型以输出训练的统计模型，确定用于解释训练的统计模型的输出的运行阈值，以及由至少一个存储装置存储训练的统计模型和运行阈值，其中，训练的统计模型被配置为在用户完成运动任务之前预测运动任务的开始。
应当理解，前述概念和以下更详细讨论的附加概念的所有组合(假设这些概念不相互矛盾)被认为是本文公开的发明主题的一部分。特别地，出现在本公开结尾的所要求保护的主题的所有组合都被认为是本文公开的发明主题的一部分。
附图说明
将参考以下附图描述本技术的各种非限制性实施例。应该理解的是，附图不一定按比例绘制。
图1是根据本文描述技术的一些实施例执行运动任务的生物过程的流程图；
图2是根据本文描述技术的一些实施例预测一个或多个运动任务的开始的基于计算机的系统的示意图；
图3是根据本文描述技术的一些实施例使用神经肌肉信号生成用于预测一个或多个运动任务开始的统计模型的说明性过程的流程图；
图4是根据本文描述技术的一些实施例使用训练的统计模型来使用神经肌肉信号预测一个或多个运动任务开始的说明性过程的流程图。
图5A示出了根据本文描述技术的一些实施例具有沿其周向布置的EMG传感器的腕带；以及
图5B示出了根据本文描述技术的一些实施例在键盘上打字时佩戴图5A的腕带的用户。
具体实施方式
共同导致运动任务执行的人体中骨骼肌的协调运动源自中枢神经系统中产生的神经信号。神经信号通过脊髓运动神经元从中枢神经系统传递到肌肉，每个脊髓运动神经元具有在脊髓中的细胞体并且具有在一个或多个肌纤维上的轴突末端。响应于接收的神经信号，肌纤维收缩导致肌肉运动。
图1示出了通过一个或多个肌肉的协调运动启动运动任务的生物过程100的流程图。在动作102中，在一个或多个传出脊髓运动神经元中产生动作电位。运动神经元携带神经元信号远离中枢神经系统，朝向周围的骨骼肌。对于其中产生动作电位的每个运动神经元，动作电位沿着运动神经元的轴突从产生动作电位的脊髓中的细胞体传递到支配包括在骨骼肌中的肌纤维的运动神经元的轴突末端。
在脊髓运动神经元的轴突末端和肌纤维之间的界面处形成的化学突触称为神经肌肉接合点。当沿着运动神经元的轴突传递的动作电位到达神经肌肉关节时，过程100进行到动作104，其中，由于神经肌肉关节处的化学活动而在肌纤维中产生动作电位。特别地，运动神经元释放的乙酰胆碱扩散穿过神经肌肉关节并与肌纤维表面上的受体结合，引发肌纤维的去极化。虽然单个肌纤维产生的在体表感测的神经肌肉信号很小(例如，小于100μV)，但是多个肌纤维同时传导的共同作用导致可以由位于身体表面的神经肌肉传感器(例如，EMG)记录的可检测的电压电位。
在肌纤维中产生动作电位之后，过程100进行到动作106，其中，动作电位在肌纤维中的传播导致肌纤维内的一系列化学介导的过程。例如，肌纤维的去极化导致钙离子流入肌纤维。肌纤维内的钙离子与肌钙蛋白复合物结合，导致肌钙蛋白复合物与肌纤维中肌动蛋白丝上的肌球蛋白结合位点分离，从而暴露肌球蛋白结合位点。
在这些化学介导的过程之后，过程100进行到步骤108，其中，肌纤维收缩。由于暴露的肌球蛋白头与肌纤维中的肌动蛋白丝结合而产生交叉桥结构，从而实现了肌纤维收缩。然后，过程100进行到动作110，其中，一个或多个肌肉中的肌纤维的共同收缩导致运动任务的执行。运动任务可以是诸如按钮按压(仅涉及手指和/或手腕中的少数肌肉)的简单任务、诸如抓握和转动门把手(涉及手、手腕和手臂的若干肌肉)的更复杂的任务，或者任何其他复杂性的运动任务，因为本文描述技术的实施例不限于此方面。
神经活动、肌纤维聚集、肌肉收缩和关节运动都在完成运动任务之前。例如，过程100的动作106和108中涉及的化学介导和机械过程不是瞬时的，而是在一段时间内发生，该时间段可以是几百毫秒的量级。因此，在放置在身体表面上或身体表面附近的神经肌肉传感器记录过程100中的动作104处肌纤维中的动作电位的产生时与动作110中执行运动任务时之间存在时间延迟。发明人已经认识到并且应当理解，不是直到等到执行有意的动作为止，而是根据神经肌肉传感器记录的信号可以预测在传感器佩戴者实际执行任务之前要被执行的运动任务。
在整个本公开中，肌电图(EMG)传感器用作被配置为检测神经肌肉活动的神经肌肉传感器类型的示例。然而，应当理解，根据一些实施例，其他类型的神经肌肉传感器包括但不限于肌动图(MMG)传感器和声肌图(SMG)传感器可以附加地或替代地与EMG传感器组合使用以检测神经肌肉活动。神经肌肉传感器记录的神经肌肉信号可以用于预测这些传感器的佩戴者执行的一个或多个运动任务的开始。
因此，一些实施例涉及基于记录的神经肌肉信号(例如，EMG信号、MMG信号和SMG信号)以短延时(例如，在执行运动任务之前)使用统计模型预测运动任务的开始，该统计模型被训练为模拟导致运动任务的执行的神经肌肉活动。在一些实施例中，连续记录神经肌肉信号并基于连续记录的神经肌肉信号进行预测。作为按下按钮的简单运动任务的非限制性示例，一些实施例基于多个神经肌肉信号确定在用户实际按下按钮之前按钮被按下的可能性。在一些实施例中，可以在执行动作之前10毫秒进行预测，在其他实施例中，可以在执行任务之前50毫秒、100毫秒、200毫秒或250毫秒进行预测。在一些实施例中，在执行任务之前50-100毫秒、100-200毫秒或200-300毫秒可以进行预测。根据一些实施例的用户执行运动任务的意图的预测可用于以短等待时间控制装置，如下面更详细地讨论的。
图2示出了根据一些实施例的系统200。该系统包括多个神经肌肉传感器210，被配置为记录人体骨骼肌中的神经肌肉活动产生的信号。神经肌肉传感器210可以包括一个或多个EMG传感器、一个或多个MMG传感器、一个或多个SMG传感器，和/或被配置为检测神经肌肉信号的任何合适类型的一个或多个传感器。典型的EMG传感器包括检测身体表面上的电势的电极和硬件处理电路，该硬件处理电路处理原始EMG信号以执行放大、滤波(例如，低通、高通、带通、整形、窄带、宽带、时间等)或其他类型的信号处理(例如，整流)。一些实施例采用包括处理记录的EMG信号的硬件信号处理电路的EMG传感器。其他实施例采用EMG传感器，其中，至少一些处理电路由与记录信号的电极通信但不直接集成的一个或多个电路执行。在其他实施例中，可以使用软件而不是通过使用硬件信号处理电路来实现信号处理(例如，放大、滤波、整流等)中的至少一些(例如，全部)。因此，EMG信号的信号处理(例如，放大、滤波和整流)可以仅在硬件中、仅在软件中或者通过硬件和软件的任何组合来执行，因为本文描述的技术的各方面在这方面不受限制。
在一些实施例中，除EMG传感器之外或代替EMG传感器，神经肌肉传感器210包括一个或多个MMG传感器和/或一个或多个SMG传感器。当使用时，MMG和SMG传感器可以是任何合适的类型，因为本文描述的技术的各方面在这方面不受限制。一些实施例采用MMG和/或SMG传感器，其包括硬件信号处理电路，用于对记录的MMG和/或SMG信号执行信号处理(例如，放大、滤波和整流)。在其他实施例中，MMG和/或SMG信号的至少一些信号处理可以用软件执行。因此，MMG和/或SMG信号的信号处理可以仅在硬件中、仅在软件中执行、或者通过硬件和软件的任何合适组合来执行，因为本文描述的技术的各方面在这方面不受限制。
在一些实施例中，多个神经肌肉传感器210包括一对或多对神经肌肉传感器，被布置为可穿戴装置的一部分，该可穿戴装置被配置为佩戴在用户身体的一部分上或周围。例如，在一个非限制性示例中，多个神经肌肉传感器可以围绕可调节和/或弹性带(例如，腕带或臂带，被配置为佩戴在用户的手腕或手臂周围)周向布置。
在一个实施方式中，16个EMG传感器围绕弹性带周向布置，所述弹性带被配置为围绕用户的下臂佩戴。例如，图5A示出了围绕弹性带502周向布置的EMG传感器504。应当理解，可以使用任何合适数量的EMG传感器，并且所使用的EMG传感器的特定数量和布置可以取决于使用可穿戴装置的特定应用。例如，可穿戴的臂带或腕带可以用于预测基于手的诸如按下按钮或移动操纵杆等运动任务，而可穿戴的腿或踝带可以用于预测基于脚的诸如在车辆(例如，真车或虚拟车)上按压气体或刹车踏板运动任务。例如，如图5B所示，用户506可以在手508上佩戴弹性带502。以这种方式，EMG传感器504可以被配置为在用户使用手指510控制键盘512时记录EMG信号。
在一些实施例中，多个可穿戴装置可以用于预测涉及身体多个部分的复杂运动任务的开始，每个可穿戴装置都具有包括在其上的一个或多个EMG传感器。
系统200还包括被编程为与传感器210通信的一个或多个计算机处理器212。例如，可以将传感器210记录的信号提供给处理器212进行处理。处理器212可以以硬件、固件、软件或其任何组合来实现。另外，处理器212可以与神经肌肉传感器210共同位于相同的可穿戴装置上，或者可以至少部分地远程定位(例如，处理可以在一个或多个网络连接的处理器上发生)。
系统200还包括与处理器212通信的数据存储214。数据存储214可以包括一个或多个存储装置，其被配置为存储描述统计模型的信息，根据一些实施例该统计模型用于预测运动任务的开始。处理器212可以被配置为执行一个或多个机器学习算法，其处理由传感器210输出的信号以训练存储在数据存储214中的统计模型，并且训练的(或重新训练的)统计模型可以存储在数据存储214以稍后用于预测运动任务的开始。根据一些实施例，统计模型可以基于记录的神经肌肉信号预测运动任务的开始，下面更详细地讨论该统计模型的非限制性示例。
在一些实施例中，处理器212可以被配置为与神经肌肉传感器210通信，例如，以在测量神经肌肉信号之前校准传感器。例如，可穿戴装置可以在用户身体的一部分上或周围的不同取向上定位，并且可以执行校准以确定可穿戴装置的取向和/或执行任何其他合适的校准任务。神经肌肉传感器210的校准可以以任何合适的方式执行，并且实施例不限于此方面。例如，在一些实施例中，可以指示用户执行特定的运动序列，并且通过虚拟地旋转和/或缩放传感器检测的信号(例如，通过EMG传感器上的电极)可以将记录的神经肌肉活动与模板匹配。在一些实施例中，校准可能涉及改变一个或多个模数转换器(ADC)的增益，例如，在传感器检测到的信号导致ADC饱和的情况下。
系统200还包括一个或多个装置216，其被配置为至少部分地基于处理器212的处理被控制。如下面更详细讨论的，处理器212可以实现训练的统计模型214，该训练的统计模型214被配置为至少部分地基于传感器210(例如，EMG传感器、MMG传感器和SMG传感器)记录的神经肌肉信号来预测运动任务的开始，并且基于预测的运动任务的开始确定的一个或多个控制信号可以被发送到装置216，以控制装置的一个或多个运行，其延时比直达运动任务完成为止才发送控制信号时所实现的延时更短。在一些实施例中，装置216可以被控制为具有不可感知、难以察觉或不可能被人感知的时长的延时，或具有普通感知知觉的人不易察觉的持续时间的延时。
装置216可以包括被配置为通过控制接口接收控制信号的任何装置。装置的非限制性示例包括消费者电子装置(例如，电视、智能电话、计算机、笔记本电脑、电话、摄像机、照相机、视频游戏系统、器械等)、车辆(例如，汽车、船舶、有人驾驶飞机、无人驾驶飞机、农用机械等)、机器人、武器或可以通过一个或多个控制接口接收控制信号的任何其他装置。
可以通过任何合适类型的控制接口来控制装置216。可以使用硬件、软件或其任何合适的组合来实现控制接口。例如，装置216可以是通过游戏控制器被控制的视频游戏系统。作为另一示例，装置216可以是计算装置，其可以通过键盘、小键盘和/或鼠标来控制。作为另一示例，装置可以是计算装置，其可以通过由触摸屏显示器生成的图形用户界面来进行触摸控制。作为另一示例，装置可以是车辆(例如，汽车、飞机、船舶、无人驾驶飞行器等)，其可以通过一个或多个机械控制装置(例如，踏板、车轮、操纵杆、拨片、杠杆、旋钮等)被控制。
在一些实施例中，可以训练系统200以预测用户执行的一个或多个运动动作的开始。运动动作可以包括用户相对于装置216的装置控制接口采取的控制动作。例如，当装置控制接口包括一个或多个按钮时，可以训练系统200以预测用户是否将在阈值时间量内按下一个或多个按钮。在一些实施例中，当用户通过装置控制接口提供输入时，可以通过记录一个或多个用户的神经肌肉信号来训练系统200。在这样的训练之后，系统200可以被配置为基于特定用户的神经肌肉信号来预测该用户是否将执行关于控制接口的一个或多个控制动作。
在一些实施例中，在系统200被训练为基于特定用户的神经肌肉信号预测用户是否将相对于装置控制接口执行一个或多个控制动作之后，用户可以利用系统200在没有控制接口的情况下控制装置。例如，当训练系统200以高精度(例如，至少阈值精度)预测用户打算采取的控制动作时，预测本身可以用于控制装置。
在一些实施例中，用户可以利用系统200和控制接口的组合来控制装置。例如，当系统200生成用户相对于控制接口将采取的控制动作的预测时，并且以至少阈值置信度量和/或在预测的动作要发生时的阈值时间量内生成预测。预测可以用于生成控制信号，并且系统200可以控制装置。另一方面，如果以低于阈值置信度生成预测或者提前太多生成预测，则系统200可以被配置为不使用这样的预测来控制装置。在这种情况下，用户可以通过控制接口直接控制装置。
根据一些实施例，一些实施例包括反馈系统，该反馈系统被配置为基于处理器212提供的控制信号来启动。反馈系统可以表示要执行的最终运动任务，并且可以在任务完成的同时启动。在一些实施例中，反馈系统可以被配置为使用触觉技术或使用蜂鸣器系统来提供反馈。
如上所述，一些实施例涉及使用统计模型来在用户完成运动任务之前预测运动任务的开始。统计模型可以基于在运动任务开始之前发生的神经肌肉活动检测到的神经肌肉信号(例如，EMG、MMG和SMG信号)来预测运动任务的开始。图3描述了过程300，用于在用户执行一个或多个运动任务之前从记录的一个或多个用户EMG信号生成(本文有时称为“训练”)这样的统计模型。尽管本文关于EMG信号描述了过程300，但是应当理解，过程300可以用于训练统计模型，该统计模型基于EMG信号、MMG信号，SMG信号或其任何合适的组合来预测运动任务的开始。
过程300可以由任何合适的计算装置执行，因为本文描述的技术的各方面在这方面不受限制。例如，过程300可以由参考图2描述的处理器212执行。作为另一示例，可以使用一个或多个服务器(例如，云计算环境的服务器组件)来执行过程300的一个或多个动作。例如，可以使用云计算环境来执行与统计模型(例如，神经网络)的训练有关的动作310的至少一部分。
过程300在动作302处开始，其中，获得执行一个或多个运动任务的一个或多个用户的多个神经肌肉信号。在一些实施例中，记录多个EMG信号可以为过程300的一部分。在其他实施例中，可以在执行过程300之前记录多个EMG信号，并且在动作302处访问(而不是记录)多个EMG信号。
在一些实施例中，可以使用放大、滤波、校正或其他类型的信号处理来预处理在动作302处获得的EMG信号。在一些实施例中，滤波可以包括使用频域中的卷积运算和/或等效运算实现的时间滤波(例如，在应用离散傅立叶变换之后)。
在一些实施例中，多个EMG信号可以包括为执行一个或多个运动任务的单个用户记录的EMG信号。可以指示用户执行运动任务(例如，按下两个按钮中的一个)，并且当用户执行他/她被指示执行的运动任务时，可以记录对应于用户神经肌肉活动的EMG信号。EMG信号可以由位于任何合适位置的任何合适数量的EMG传感器记录，以检测用户与运动任务相关的神经肌肉活动。例如，在用户被指示用他/她的右手的手指执行运动任务之后，可以通过围绕用户右下臂周向(或以其他方式)布置的多个EMG传感器来记录EMG信号。作为另一示例，在指示用户用他/她的腿执行运动任务(例如，踩压两个踏板中的一个，例如，汽车中的油门或制动踏板)之后，可以通过围绕用户腿部周向(或以其他方式)布置的多个EMG传感器记录EMG信号。
在一些实施例中，当用户执行运动任务时，可以在多个时间点记录EMG信号。因此，记录的EMG信号可以包括在多个时间点中的每个时间点多个EMG传感器获得的EMG数据。假设n个EMG传感器被布置为在执行运动任务期间同时测量用户的神经肌肉活动，记录的用户的EMG信号可以包括在时间点t1、t2、...tK之前和直到运动任务完成为止的K个n维向量的时间序列{xk|1≤k≤K}。
在一些实施例中，可以指示用户多次执行运动任务，并且可以针对用户多次重复执行任务中的每一次记录用户的神经肌肉活动。在一些实施例中，多个EMG信号可以包括记录的多个用户的EMG信号，多个用户中的每一个执行一次或多次相同的运动任务。可以指示多个用户中的每一个执行运动任务，并且当用户执行(一次或重复)他/她被指示执行的运动任务时，可以记录与该用户的神经肌肉活动相对应的EMG信号。当收集多个用户的EMG信号并将其组合以生成统计模型时，假设不同的用户调用类似的神经肌肉活动来执行相同的运动任务。从重复执行相同任务的单个用户收集EMG信号和/或从执行相同运动任务一次或多次的多个用户收集EMG信号有助于收集足够的训练数据以生成可以准确地在运动任务执行之前预测运动任务开始的统计模型。在一些实施例中，可以基于记录的与多个用户的EMG信号对应的训练数据生成用户独立的统计模型，并且当用户使用该系统时，基于记录的EMG数据重新训练统计模型，使得统计模型学习用户相关特征以改善针对特定用户的系统的预测能力。
在一些实施例中，多个EMG信号可以包括记录的用户(或多个用户中的每一个)一次或多次执行多个运动任务中的每一个的EMG信号。例如，可以指示用户执行多个任务中的每一个(例如，按下键盘上的两个按钮中的第一个并按下键盘上的两个按钮中的第二个)，并且当用户执行他/她被指示执行的多个运动任务中的每一个时，可以记录与用户的神经肌肉活动相对应的EMG信号。收集这样的EMG数据可以有助于开发预测用户可以采取的多个不同动作之一开始的统计模型。例如，包含对多个动作响应的训练数据可以有助于生成统计模型，用于预测在用户的环境中用户可能向一个或多个控制装置(例如，键盘、操纵杆、机械控制输入、图形用户界面的输入等)提供多个可能输入中的哪一个。
如上所述，当一个或多个用户中的每一个一次或多次执行一个或多个动作中的每一个时，可以通过记录EMG信号来获得在动作302处获得的EMG数据。可以在动作304处获得这些用户执行的任务的结果(例如，按下了哪个按钮、提供了哪个输入、哪个控制器被移动)。作为一个非限制性示例，在动作302处获得的EMG数据可以包括当用户正在执行按下键盘上特定按钮的任务时的EMG信号。在该示例中，获得指示用户按下了哪个按钮的信息(例如，按钮“A”)。以这种方式，除了在执行任务之前记录EMG信号之外，还记录用户执行的动作。在一些实施例中，当在执行过程300之前记录EMG信号并且在动作302处访问EMG信号时，也可以在执行过程300之前记录用户执行任务的结果，并且可以在动作304处访问该结果。在其他实施例中，可以在动作304处记录任务的结果。
接下来，过程300进行到动作306，其中，可选地获得预测时间尺度阈值。预测时间尺度阈值提供作为过程300的一部分生成的统计模型将尝试预测在未来多长时间内用户动作将开始的指示。例如，如果预测时间尺度阈值被设置为250毫秒(ms)，则作为过程300的一部分生成的训练统计模型可以基于从用户获得的EMG信号来预测在接下来的250毫秒内发生运动任务的概率。应当理解，该预测时间尺度阈值不同于下面参考动作312描述的运行阈值。运行阈值涉及概率阈值而不是基于时间的阈值。
可以使用任何合适的预测时间尺度阈值(包括没有预测时间尺度阈值)，因为本文描述的技术的各方面在这方面不受限制。将该阈值设置得太高(例如，几秒)可能导致执行额外的计算，但实际上不太可能提供任何附加的性能益处，因为模型正在处理的神经肌肉活动可能与遥远的未来执行的运动任务的性能无关。例如，在此期间可能存在干预事件，导致用户改变他们关于执行什么任务的想法。将预测时间尺度阈值设置得太低(例如，在微秒量级上)可以导致可靠的预测，但是这样的预测可能具有有限的值，因为它们接近用户执行任务开始的时间。因此，在一些实施例中，预测时间尺度阈值不设置在这些极值中的任何一个。在一些实施例中，预测时间尺度阈值可以是至少50ms、至少100ms、至少250ms、至少500ms、至少1s、50至250ms之间、100至500ms之间、200ms至800ms之间，或者这些范围内的任何其它合适的范围。在未设置预测时间尺度阈值的实施例中(或者当预测时间尺度阈值被设置为足够长的值时)，尽管如此仍然可以使用记录的EMG信号来训练统计模型，尽管模型的学习过程可能花费比如果设置了合适的运动任务或一系列运动任务的预测阈值。
接下来，过程300进行到动作308，其中，在动作302和304处获得的数据被组合以创建在动作310处训练统计模型的训练数据。可以以任何合适的方式组合获得的数据。在一些实施例中，当记录EMG信号时，在动作302处获得的每个EMG信号可以与对应于用户正在执行的运动任务的结果相对应的动作相关联。例如，用户执行运动任务之前在大于预测时间尺度阈值的时间获得的EMG信号可以与“无动作”标签相关联，并且在对应于运动任务开始之前的预测时间尺度阈值量的时间之间获得的EMG信号。可以用用户执行的任务来标记运动任务的开始。以这种方式，可以训练统计模型以预测在未来的预测时间尺度阈值的时间内动作的发生。
表1中进一步示出了动作308，其示出了在用户按下按钮“A”之前在大于预测时间尺度阈值的时间获得的EMG信号被标记为动作的名称(即，“A”)，而早于预测时间尺度阈值获得的EMG信号用标签”无动作“标记。在该示例中，预测时间尺度阈值是在记录EMG信号x3和x4之间的时间。
无动作 无动作 无动作 A A A A
x<sub>1</sub> x<sub>2</sub> x<sub>3</sub> x<sub>4</sub> x<sub>5</sub> x<sub>6</sub> x<sub>7</sub>
表1：在用户被指示按下按钮“A”之后并且在用户按下该按钮之前由用户佩戴的EMG传感器记录的EMG信号x1...x7组成的训练数据。EMG信号与包括“A”和“无动作”的相应动作相关联。
作为非限制性示例，在动作302处获得的特定用户的EMG信号可以包括使用在时间点t1、t2、...、tK处获得的测量值生成向量序列{xk|1≤k≤K}，其中，向量xj的第i分量是在时间tj由第i个EMG传感器测量的值和/或从在时间tj由第i个EMG传感器测量的值导出的值。设M表示预测时间尺度阈值。如果用户在时间T执行任务(例如，用户按下被指示按下的按钮“A”)，则在T的M内(即，|T-tk|≤M)发生的时间tk处获得的任何向量xk可以与任务的结果相关联(例如，与指示用户按下了按钮“A”的信息关联)。另一方面，不在T的M内发生(即，|T-tk|>M)的时间tk处获得的任何向量xk可以与“无动作”结果相关联(例如，用户没有在预测时间尺度阈值内按下按钮“A”)。
接下来，过程300进行到动作310，其中，使用在动作308处生成的训练数据来训练用于预测运动任务开始的统计模型。
被训练的统计模型可以将数据集序列作为输入，每个数据集包括EMG传感器数据的n维向量。统计模型可以提供输出，针对可以由用户执行的一个或多个运动任务中的每一个，该输出指示在未来的阈值时间量内发生运动任务的可能性或概率。例如，统计模型可以将使用在时间点t1、t2、...、tK处获得的测量值生成的向量序列{xk|1≤k≤K}作为输入，其中，向量xj的第i分量是在时间tj由第i个EMG传感器测量的值和/或从在时间tj由第i个EMG传感器测量的值导出的值。基于这样的输入，统计模型可以提供输出，该输出指示对于一组动作中的每个动作(该组可以包括对应于不采取任何动作的成员)，动作开始将在未来的阈值时间量内发生的概率，该阈值可以是在动作306处选择的阈值。作为一个非限制性示例，可以训练统计模型以预测用户将在未来的阈值时间量内按下键盘上多个键中的哪一个。在该示例中，统计模型可以为键盘上的每个键输出指示用户将在未来的阈值时间量内按下该键的概率的值。另外，统计模型可以提供输出，该输出指示用户将来在阈值时间量内不按任何键的概率。
在一些实施例中，统计模型可以是神经网络，并且例如可以是循环神经网络(recurrent neural network)。在一些实施例中，循环神经网络可以是长短期记忆(LSTM)神经网络。然而，应当理解，循环神经网络不限于是LSTM神经网络，并且可以具有任何其他合适的架构。例如，在一些实施例中，循环神经网络可以是完全循环神经网络、递归神经网络、Hopfield神经网络、联想记忆神经网络、Elman神经网络、Jordan神经网络、回声状态神经网络、二阶循环神经网络，和/或任何其他合适类型的循环神经网络。在其他实施例中，可以使用不是循环神经网络的神经网络。例如，可以使用深度神经网络、卷积神经网络和/或前馈神经网络。
在统计模型是神经网络的一些实施例中，神经网络可以包括分类器(softmax)层，使得输出加起来成为1，并且可以被解释为概率。分类器层的输出可以是与相应的成组的动作相对应的成组的值，每个值指示用户将在未来的阈值时间量内执行该组动作中相应动作的概率。作为一个非限制性示例，分类器层的输出可以是一组三个概率(例如，0.92、0.05和0.03)，指示用户在未来的阈值时间量内(例如，在将来的250毫秒内和/或任何其他合适的阈值，其示例在本文中提供)将按下键盘上的键“A”、“B”和“C”之一的相应概率。
应当理解，当统计模型是神经网络时，不需要神经网络产生加起来为1的输出。例如，代替分类器层，神经网络的输出层可以是S形(sigmoid)层(其没有概率加起来为1的限制)。在这样的实施例中，可以用S形交叉熵成本训练神经网络。在阈值时间量内可能发生多个不同动作并且区分这些动作发生的顺序(例如，用户可以在阈值时间量内同时按下两个按钮)并不重要的情况下，这种实现可能是有利的。在一些实施例中，可以使用任何其他合适的非概率多类分类器，因为本文描述的技术的各方面在这方面不受限制。
应当理解，本文描述的技术的各方面不限于使用神经网络，因为在一些实施例中可以采用其他类型的统计模型。例如，在一些实施例中，统计模型可以包括隐马尔可夫模型(HMM)、具有允许在不同动态系统之间切换的切换HMM、动态贝叶斯网络和/或具有时间分量的任何其他合适的图形模型。可以使用在动作302处获得的EMG数据在动作310处训练任何这样的统计模型。
作为另一示例，在一些实施例中，统计模型可以是将从动作302处获得的EMG数据导出的特征作为输入的分类器。在这样的实施例中，可以使用从动作302处获得的EMG数据提取的特征在动作310处训练分类器。分类器可以是支持向量机、高斯混合模型、基于回归的分类器、决策树分类器、贝叶斯分类器和/或任何其他合适的分类器，因为本文描述的技术的各方面在这方面不受限制。要提供给分类器的输入特征可以从在动作302处以任何合适的方式获得的EMG数据导出。例如，可以使用小波分析技术(例如，连续小波变换、离散时间小波变换等)、傅立叶分析技术(例如，短时傅里叶变换、傅立叶变换等)和/或任何其他合适类型的时频分析技术将EMG数据分析为时间序列数据。作为一个非限制性示例，可以使用小波变换来变换EMG数据，并且可以将得到的小波系数作为输入提供给分类器。
在一些实施例中，在动作310处，可以根据在动作308处生成的训练数据估计统计模型参数的值。例如，当统计模型是神经网络时，可以从训练数据估计神经网络的参数(例如，权重)。在一些实施例中，可以使用梯度下降、随机梯度下降和/或任何其他合适的迭代优化技术来估计统计模型的参数。在统计模型是循环神经网络(例如，LSTM)的实施例中，可以使用随机梯度下降和随时间的反向传播来训练统计模型。训练可以采用交叉熵损失函数和/或任何其他合适的损失函数，因为本文描述的技术的各方面在这方面不受限制。
接下来，过程300进行到动作312，其中，确定动作310处生成的统计模型的运行阈值。当预测特定动作的开始是否将在未来的阈值时间量内发生时，运行阈值可用于解释统计模型的输出。例如，当统计模型提供成组的值时，每个值指示相应动作的开始将在阈值时间量(例如，由预测时间尺度阈值设置)内发生的概率时，概率可以与运行阈值相比，并且可以基于该比较进行预测。例如，当特定动作的概率超过运行阈值时，可以预测用户将在阈值时间量内执行特定动作。
作为示例，假设统计模型的输出是一组三个概率值(例如，0.8、0.15和0.05)，其指示用户将在未来的阈值时间量内按下键盘上的键“A”、“B”和“C”之一的相应概率并且运行阈值设置为0.75。因为0.8大于0.75的运行阈值，所以可以预测用户将在阈值时间量内按下键“A”。另一方面，如果运行阈值被设置为大于0.8(例如，0.9)，则可以预测用户将不会按下A”、“B”和“C”中任何一个键，因为统计模型的输出向量中的概率值全都小于运行阈值。
在一些实施例中，在动作312处，针对不同候选运行阈值，可以通过使用动作302处获得的的至少一些EMG数据来表征训练的统计模型的性能来确定运行阈值。在一些实施例中，可以保持在动作302处获得的至少一些EMG数据并且不用于在动作310处训练统计模型。针对不同候选运行阈值，所保持的数据可以至少部分地通过表征的训练统计模型的性能用于在过程300的动作312处确定运行阈值。
发明人已经意识到统计模型的某些性能特征(例如，假阳性率和平均预期时间)可以取决于所使用的运行阈值的值。平均预期时间可以指示平均提前预测动作的发生多久，统计模型可以能够正确地预测用户将执行预测动作。在一些实施例中，针对每个不同的候选运行阈值，所保持的EMG数据可以用于计算至少一个性能特征(例如，假阳性率(falsepositive rate)、假阴性率(false negative rate)、真阳性率、真阴性率、正预测值、负预测值、平均预期时间、可从这些量得出的任何其他性能特征等)。然后可以基于所保持的数据和目标性能特征的分析来选择运行阈值。例如，对于多个不同的运行阈值中的每一个，可以使用保持的EMG数据获得假阳性率和平均预期时间。基于目标假阳性率(例如，15％)和目标平均预期时间(例如，150毫秒)，可以选择与最接近假阳性率的假阳性率和最接近目标平均预期时间的平均预期时间相关联的候选运行阈值。在一些实施例中，用户可以指定(例如，通过用户界面)要执行的任务的至少一个性能特征，并且可以基于所指定的至少一个性能特征来确定运行阈值。
还应当理解，在一些实施例中，当训练统计模型以预测多个不同动作中的任何一个的开始时，不同的运行阈值可以用于不同的动作。例如，当训练统计模型以预测用户是否将按下两个不同按钮中的一个时，可以将不同的运行阈值用于不同的按钮。在存在预测不同动作和不同(例如，更大或更小)假阳性成本的不同(例如，更大或更小)益处的应用中，使用不同的运行阈值尤其有价值。
接下来，过程300进行到动作314，其中，存储(例如，在数据存储214中)训练的统计模型和/或运行阈值。可以使用任何合适的格式来存储训练的统计模型和/或运行阈值，因为本文描述的技术的各方面在这方面不受限制。以这种方式，例如，根据参考图4描述的过程，在过程300的执行期间生成的统计模型和运行阈值可以在稍后的时间使用。
应当理解，过程300是说明性的，并且可以预期该过程的变化。例如，尽管在所示实施例中，训练统计模型以预测运动动作是否将在阈值时间量内发生，但是在其他实施例中，可以训练统计模型以随时间输出分布，指示运动动作将在未来的不同时间点发生的概率。这种分布可以是离散的(例如，通过点质量函数指定)或连续分布的(例如，通过概率密度函数指定)。通过在适当时对分布求和或积分，这种分布可以用于确定是否将在阈值时间量内发生运动动作(例如，对分布进行积分以确定阈值右侧的概率质量的量)。
作为另一示例，尽管在所示实施例中，训练统计模型以输出动作在阈值时间量内发生的概率，在其他实施例中，统计模型可以被配置为输出任何合适类型的输出指示动作是否将在阈值时间量内发生的预测。这种预测不一定是概率。例如，这种预测可以是二进制的(例如，是或否)，指示输出动作是否将在阈值时间量内发生。作为另一示例，这种预测可以是数字，但不是概率，因为预测可以是大于1的值(例如，非标准化似然性)。在统计模型的预测输出不是概率值的实施例中，运行阈值可以被另一个合适的超参数代替，其允许控制性能测量和平均预期速率之间的折衷，或者可以完全省略。
图4示出了根据一些实施例基于记录的EMG信号和训练的统计模型来预测用户执行运动动作的过程400。尽管这里描述了关于EMG信号的过程400，但是应当理解，过程400可以用于基于任何记录的神经肌肉信号(包括但不限于EMG信号、MMG信号、SMG信号或其任何合适的组合)和训练有关此类神经肌肉信号的训练统计模型来预测用户执行的运动动作。
过程400开始于动作410，其中，根据布置在用户身体表面上或附近的多个EMG传感器记录EMG信号，以在用户执行运动动作时记录神经肌肉活动。在上述一个示例中，多个EMG传感器沿周向(或以其他方式定向)布置在被配置为佩戴在用户身体的一部分上或周围的可穿戴装置上。在一些实施例中，当用户佩戴包括多个EMG传感器的可穿戴装置时，连续记录多个EMG信号。然后，过程400进行到动作412，其中，可选地处理EMG传感器中的电极记录的原始EMG信号。例如，可以使用放大、滤波或其他类型的信号处理(例如，整流)来处理EMG信号。在一些实施例中，滤波包括使用频域中的卷积运算和/或等效运算实现的时间滤波(例如，在应用离散傅立叶变换之后)。
然后，过程400进行到动作414，其中，EMG信号被提供为使用上面结合过程300描述的一种或多种技术训练的统计模型(例如，神经网络)的输入。在连续记录EMG信号的一些实施例中，连续记录的EMG信号(原始的或处理过的)可以连续地或周期性地作为输入提供给训练的统计模型，用于预测用户执行的一个或多个运动动作的开始。如上所述，在一些实施例中，训练的统计模型是基于来自多个用户的EMG测量训练的用户独立模型。在其他实施例中，训练的模型是在从单个用户数据(在动作410中从用户数据记录EMG数据)记录的EMG数据上训练的用户相关模型。
在训练的统计模型接收EMG数据作为一组输入参数之后，过程400进行到动作416，其中，一个或多个运动动作发生在特定时间阈值(例如，上面讨论的预测时间尺度阈值)内的概率从训练的统计模型输出。而且，如上所述，在一些实施例中，训练的统计模型的输出可以是一组概率值(例如，0.8、0.15和0.05)，指示用户将在未来的时间量阈值内执行相应动作的相应概率。可以通过将输出的概率值组与为特定任务或应用设置的运行阈值进行比较来确定用户将在阈值时间量内是否执行和/或执行什么运动动作的预测。以上讨论了设定预测一个或多个运动动作的运行阈值的非限制性示例。在统计模型的输出是非概率预测的实施例中，可以使用另一个合适的超参数代替运行阈值来优化如上所述的性能特征中的权衡。
在动作416中预测运动动作之后，过程400进行到动作418，其中，控制信号至少部分地基于预测的运动动作被发送到装置。优选地，在动作416中的预测之后尽快将控制信号发送到装置，以增加当基于预测的控制信号被发送到装置时的时间与控制信号发送时控制信号已发送的时间之间的时间量以响应运动动作的完成。
如上面简要讨论的，在一些实施例中，至少一些连续记录的EMG数据可以用于重新训练统计模型(或从头训练统计模型)以使模型能够学习EMG传感器记录的神经肌肉活动与特定用户执行的运动动作之间的统计关系。统计模型的连续训练可以使得模型在预测用户以一致方式执行的动作方面的性能的改进。
虽然过程400在本文中被描述为在过程300已经完成并且已经训练了统计模型之后执行，但是在一些实施例中，过程300和400可以一起执行。例如，可以实时训练统计模型，因为用户正在与装置的控制接口交互，并且一旦模型已经被充分训练为提供可靠的预测，就可以使用训练的统计模型。
在上面讨论的示例中，在预测单个运动任务的开始(例如，用户是否将按下按钮的概率)或从多个运动任务中预测运动任务的开始(例如，用户是否将按下三个按钮中的特定按钮的概率)的背景下描述了本技术的各方面。在其他实施例中，根据本文描述的一种或多种技术训练的统计模型可用于预测用户将执行一系列运动动作的概率。例如，不是仅仅预测用户是否按下按钮“A”、“B”或“C”，而是一些实施例涉及预测用户是否按下按钮序列“ABC”、“ABA”或“CAB”。尽管选择训练统计模型的数据的过程可能与上述示例不同，但是在预测一系列运动动作的实施例中，训练模型、选择预测时间尺度阈值和运行阈值的过程类似地进行。
可以以多种方式中的任何一种来实现上述实施例。例如，可以使用硬件、软件或其组合来实现实施例。当在软件中实现时，软件代码可以在任何合适的处理器或处理器集合上执行，无论该处理器或处理器集合是设置在单个计算机中还是分布在多个计算机之间。应当理解，执行上述功能的任何组件或组件集合可以通常被认为是控制上述功能的一个或多个控制器。一个或多个控制器可以以多种方式实现，例如，使用专用硬件或使用微代码或软件编程的一个或多个处理器来执行上述功能。
在这方面，应当理解，本发明实施例的一种实现方式包括用计算机程序(即，多个指令)编码的至少一个非暂时性计算机可读存储介质(例如，计算机存储器、便携式存储器，光盘等)，当在处理器上执行时，执行本发明实施例的上述功能。计算机可读存储介质可以是可移动的，使得存储在其上的程序可以加载到任何计算机资源上，以实现这里讨论的本发明的各方面。另外，应当理解，对计算机程序的引用在被执行时执行上述功能，并不限于在主计算机上运行的应用程序。相反，术语计算机程序在本文中以一般含义使用，以引用可用于对处理器进行编程以实现本发明的上述方面的任何类型的计算机代码(例如，软件或微代码)。
本发明的各个方面可以单独使用、组合使用，或者在前面描述的实施例中没有具体讨论的各种布置中使用，因此它们的应用不限于在前面的描述中阐述的或在附图中示出的组件的细节和布置。例如，一个实施例中描述的方面可以以任何方式与其他实施例中描述的方面组合。
此外，本发明的实施例可以实现为一个或多个方法，已经提供了方法的示例。作为方法的一部分执行的动作可以以任何合适的方式排序。因此，可以构造其中以不同于所示顺序的顺序执行动作的实施例，其可以包括同时执行一些动作，即使在示例性实施例中示出为顺序动作。
在权利要求中使用诸如“第一”、“第二”、“第三”等序数术语来修改权利要求元素本身并不意味着一个权利要求要素的优先级、优先性或顺序优于另一个，或者执行方法动作的时间顺序。这些术语仅用作标记以将具有特定名称的一个权利要求元素与具有相同名称(对于序数术语的使用)的另一个元素区分开。
这里使用的措辞和术语是为了描述的目的，不应该被认为是限制性的。“包括”、“包含”、“具有”、“含有”、“涉及”及其变形的使用旨在包括其后列出的项目和附加项目。
已经详细描述了本发明的若干实施例，本领域技术人员将容易想到各种修改和改进。这些修改和改进旨在落入本发明的精神和范围内。因此，前面的描述仅是示例性的，而不是限制性的。本发明仅受所附权利要求及其等同物限定。

Claims (20)

1.一种控制系统，包括：
多个传感器，被配置为连续记录用户的多个神经肌肉信号；以及
至少一个计算机处理器，被编程为：
向训练的统计模型提供所述多个神经肌肉信号和/或基于所述多个神经肌肉信号的信息作为输入；
基于所述训练的统计模型的输出，预测是否将在阈值时间量内发生运动动作的开始；以及
至少部分地基于输出的概率将控制信号发送到至少一个装置，其中，在用户完成所述运动动作之前将所述控制信号发送到所述至少一个装置。
2.根据权利要求1所述的控制系统，其中，所述训练的统计模型的输出包括所述运动动作的开始将在所述阈值时间量内发生的概率，以及
其中，预测在阈值时间量内将发生运动动作的开始包括确定所述概率是否大于运行阈值。
3.根据权利要求2所述的控制系统，其中，所述至少一个计算机处理器还被编程为至少部分地基于对从所述多个传感器中的至少一些记录的神经肌肉信号获得的数据的分析来确定所述运行阈值。
4.根据权利要求3所述的控制系统，其中，确定所述运行阈值包括：
基于所述数据确定平均预期时间；以及
至少部分地基于所述平均预期时间来确定所述运行阈值。
5.根据权利要求2所述的控制系统，其中，所述至少一个计算机处理器还被编程为接收要执行的任务的至少一个性能特征，并且其中，至少部分地基于接收的至少一个性能特征来确定所述运行阈值。
6.根据权利要求5所述的控制系统，其中，所述至少一个性能特征包括从由假阳性率、假阴性率、真阳性率、真阴性率、正预测值、负预测值和平均预期时间组成的组中选择的性能特征。
7.根据权利要求1所述的控制系统，其中，所述训练的统计模型的输出包括成组的概率，组中的每个概率指示多个运动动作的相应运动动作的开始将在所述阈值时间量内发生的概率，以及
其中，预测在阈值时间量内将发生运动动作的开始包括确定所述成组的概率中的任何概率是否大于所述系统存储的运行阈值。
8.根据权利要求1所述的控制系统，其中，所述训练的统计模型的输出包括在所述阈值时间量内将发生一系列运动动作的开始的概率，以及
其中，预测在阈值时间量内将发生运动动作的开始包括确定所述概率是否大于运行阈值。
9.根据权利要求1所述的控制系统，其中，所述至少一个计算机处理器还被编程为至少部分地基于所述多个神经肌肉信号中的至少一些来重新训练所述训练的统计模型。
10.根据权利要求1所述的控制系统，其中，所述训练的统计模型包括循环神经网络。
11.根据权利要求1所述的控制系统，其中，所述至少一个计算机处理器还被编程为：
基于所述多个神经肌肉信号确定成组的特征；以及
将作为基于所述多个神经肌肉信号的信息的所述成组的特征作为输入提供给训练的统计模型，
其中，基于所述训练的统计模型的输出，预测在阈值时间量内将发生运动动作的开始包括使用训练的统计模型对所述成组的特征进行分类。
12.根据权利要求1所述的控制系统，其中，所述多个传感器被布置在可穿戴装置上，该可穿戴装置被配置为佩戴在用户身体的一部分上或围绕用户身体的一部分。
13.根据权利要求12所述的控制系统，其中，所述可穿戴装置包括被配置为围绕所述用户身体的一部分佩戴的柔性或弹性带。
14.根据权利要求13所述的控制系统，其中，所述可穿戴装置包括被配置为围绕用户的手臂佩戴的臂带。
15.根据权利要求1所述的控制系统，还包括硬件电路和/或软件，被配置为在神经肌肉信号作为输入提供给所述训练的统计模型之前处理所述神经肌肉信号，其中，处理所述神经肌肉信号包括选自由放大、过滤和整流组成的组中的处理。
16.根据权利要求1所述的控制系统，其中，在用户完成所述运动动作之前将所述控制信号发送到所述至少一个装置包括：在用户完成所述运动动作之前至少25ms发送所述控制信号。
17.根据权利要求1所述的控制系统，其中，所述至少一个装置包括从由视频游戏系统、消费电子装置、有人驾驶车辆、无人驾驶车辆、机器人和武器组成的组中选择的至少一个装置。
18.根据权利要求1所述的控制系统，其中，所述多个传感器包括选自由肌电图(EMG)传感器、肌动图(MMG)传感器和声肌图(SMG)传感器组成的组中的传感器。
19.一种预测运动动作开始的方法，所述方法包括：
将多个神经肌肉信号作为输入提供给训练的统计模型，所述多个神经肌肉信号是由布置在用户身体的一部分上或周围的多个传感器记录的；
使用至少一个计算机处理器预测是否将在阈值时间量内发生运动动作的开始；以及
至少部分地基于输出的概率向至少一个装置发送控制信号，其中，在用户完成所述运动动作之前将所述控制信号发送到所述至少一个装置。
20.一种计算机系统，用于训练统计模型以至少部分地基于神经肌肉信号数据来预测运动任务的开始，所述计算机系统包括：
输入接口，被配置为：
接收在执行一个或多个用户执行的运动动作期间记录的神经肌肉信号数据；
接收指示一个或多个用户执行的运动动作的结果的结果数据；以及
至少一个存储装置，被配置为存储多个指令，当所述多个指令被至少一个计算机处理器执行时执行如下方法：
至少部分地基于接收的神经肌肉信号数据和接收的结果数据生成训练数据；
使用至少一些生成的训练数据来训练统计模型以输出训练的统计模型；
确定用于解释训练的统计模型的输出的运行阈值；以及
由所述至少一个存储装置存储所述训练的统计模型和运行阈值，其中，所述训练的统计模型被配置为在用户完成运动任务之前预测运动任务的开始。
CN201780059101.8A 2016-07-25 2017-07-25 基于神经肌肉信号推断用户意图的方法和装置 Active CN110337269B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662366419P 2016-07-25 2016-07-25
US62/366,419 2016-07-25
PCT/US2017/043686 WO2018022597A1 (en) 2016-07-25 2017-07-25 Methods and apparatus for inferring user intent based on neuromuscular signals

Publications (2)

Publication Number Publication Date
CN110337269A CN110337269A (zh) 2019-10-15
CN110337269B true CN110337269B (zh) 2021-09-21

Family

ID=60988501

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780059101.8A Active CN110337269B (zh) 2016-07-25 2017-07-25 基于神经肌肉信号推断用户意图的方法和装置

Country Status (4)

Country Link
US (2) US10409371B2 (zh)
EP (1) EP3487402B1 (zh)
CN (1) CN110337269B (zh)
WO (1) WO2018022597A1 (zh)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11253781B2 (en) * 2009-07-10 2022-02-22 Valve Corporation Player biofeedback for dynamically controlling a video game state
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US10042422B2 (en) 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
US10188309B2 (en) 2013-11-27 2019-01-29 North Inc. Systems, articles, and methods for electromyography sensors
US9880632B2 (en) 2014-06-19 2018-01-30 Thalmic Labs Inc. Systems, devices, and methods for gesture identification
CN110300542A (zh) 2016-07-25 2019-10-01 开创拉布斯公司 使用可穿戴的自动传感器预测肌肉骨骼位置信息的方法和装置
US10489986B2 (en) 2018-01-25 2019-11-26 Ctrl-Labs Corporation User-controlled tuning of handstate representation model parameters
WO2018022658A1 (en) 2016-07-25 2018-02-01 Ctrl-Labs Corporation Adaptive system for deriving control signals from measurements of neuromuscular activity
EP3487402B1 (en) 2016-07-25 2021-05-05 Facebook Technologies, LLC Methods and apparatus for inferring user intent based on neuromuscular signals
US11635736B2 (en) 2017-10-19 2023-04-25 Meta Platforms Technologies, Llc Systems and methods for identifying biological structures associated with neuromuscular source signals
US10496168B2 (en) 2018-01-25 2019-12-03 Ctrl-Labs Corporation Calibration techniques for handstate representation modeling using neuromuscular signals
US11216069B2 (en) 2018-05-08 2022-01-04 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
US11331045B1 (en) 2018-01-25 2022-05-17 Facebook Technologies, Llc Systems and methods for mitigating neuromuscular signal artifacts
WO2018022657A1 (en) 2016-07-25 2018-02-01 Ctrl-Labs Corporation System and method for measuring the movements of articulated rigid bodies
US11327566B2 (en) * 2019-03-29 2022-05-10 Facebook Technologies, Llc Methods and apparatuses for low latency body state prediction based on neuromuscular data
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US10937414B2 (en) 2018-05-08 2021-03-02 Facebook Technologies, Llc Systems and methods for text input using neuromuscular information
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US10504286B2 (en) 2018-01-25 2019-12-10 Ctrl-Labs Corporation Techniques for anonymizing neuromuscular signal data
CN111902847A (zh) 2018-01-25 2020-11-06 脸谱科技有限责任公司 手部状态表示模型估计的实时处理
WO2019147928A1 (en) 2018-01-25 2019-08-01 Ctrl-Labs Corporation Handstate reconstruction based on multiple inputs
CN112074870A (zh) 2018-01-25 2020-12-11 脸谱科技有限责任公司 重构的手部状态信息的可视化
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US10592001B2 (en) 2018-05-08 2020-03-17 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
US10861242B2 (en) 2018-05-22 2020-12-08 Magic Leap, Inc. Transmodal input fusion for a wearable system
CN112469469A (zh) * 2018-05-25 2021-03-09 脸谱科技有限责任公司 用于提供肌肉下控制的方法和装置
WO2019231911A1 (en) 2018-05-29 2019-12-05 Ctrl-Labs Corporation Shielding techniques for noise reduction in surface electromyography signal measurement and related systems and methods
US10970374B2 (en) 2018-06-14 2021-04-06 Facebook Technologies, Llc User identification and authentication with neuromuscular signatures
WO2020018892A1 (en) 2018-07-19 2020-01-23 Ctrl-Labs Corporation Methods and apparatus for improved signal robustness for a wearable neuromuscular recording device
CN112566553A (zh) 2018-08-13 2021-03-26 脸谱科技有限责任公司 实时尖峰检测和识别
US10842407B2 (en) 2018-08-31 2020-11-24 Facebook Technologies, Llc Camera-guided interpretation of neuromuscular signals
CN112789577B (zh) 2018-09-20 2024-04-05 元平台技术有限公司 增强现实系统中的神经肌肉文本输入、书写和绘图
US10921764B2 (en) 2018-09-26 2021-02-16 Facebook Technologies, Llc Neuromuscular control of physical objects in an environment
WO2020072915A1 (en) * 2018-10-05 2020-04-09 Ctrl-Labs Corporation Use of neuromuscular signals to provide enhanced interactions with physical objects in an augmented reality environment
TWI685330B (zh) * 2018-11-22 2020-02-21 財團法人金屬工業研究發展中心 肌肉張力感測方法與系統
EP3886693A4 (en) 2018-11-27 2022-06-08 Facebook Technologies, LLC. METHOD AND DEVICE FOR AUTOCALIBRATION OF A PORTABLE ELECTRODE SENSING SYSTEM
KR20210099141A (ko) 2018-12-14 2021-08-11 밸브 코포레이션 비디오 게임 상태를 동적으로 제어하기 위한 플레이어 바이오피드백
US11426114B2 (en) 2018-12-21 2022-08-30 Metal Industries Research & Development Centre Method and system for measuring spasticity
US10905383B2 (en) 2019-02-28 2021-02-02 Facebook Technologies, Llc Methods and apparatus for unsupervised one-shot machine learning for classification of human gestures and estimation of applied forces
CN113795813A (zh) * 2019-04-12 2021-12-14 惠普发展公司，有限责任合伙企业 用于预测性执行的生物测定
WO2021071915A1 (en) 2019-10-08 2021-04-15 Unlimited Tomorrow, Inc. Biometric sensor array
US12089953B1 (en) 2019-12-04 2024-09-17 Meta Platforms Technologies, Llc Systems and methods for utilizing intrinsic current noise to measure interface impedances
CN110974172A (zh) * 2019-12-13 2020-04-10 北京理工大学 一种实时生理参数的测量系统
CN111184512B (zh) * 2019-12-30 2021-06-01 电子科技大学 一种脑卒中患者上肢及手部康复训练动作识别方法
CN111898205B (zh) * 2020-07-29 2022-09-13 吉林大学 基于rbf神经网络人机性能感知评价预测方法及系统
CN111976733B (zh) * 2020-08-27 2021-11-12 清华大学 一种驾驶员转向意图连续预测方法和系统
CN112115813B (zh) * 2020-08-31 2024-08-13 深圳市联合视觉创新科技有限公司 人体肌电信号的标注方法、装置及计算设备
CN112137591B (zh) * 2020-10-12 2021-07-23 平安科技（深圳）有限公司 基于视频流的目标物位置检测方法、装置、设备及介质
US12007561B2 (en) 2020-12-22 2024-06-11 Telefonaktiebolaget Lm Ericsson (Publ) Methods and devices related to extended reality
US11461991B2 (en) 2020-12-30 2022-10-04 Imagine Technologies, Inc. Method of developing a database of controllable objects in an environment
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
CN113177359B (zh) * 2021-04-30 2023-04-18 上海电机学院 一种基于假人模型的身体组织状态预测方法
TWI846055B (zh) * 2022-09-14 2024-06-21 國立中興大學 穿戴式腰部輔助外骨骼系統
CN115317207B (zh) * 2022-10-12 2023-03-17 深圳市心流科技有限公司 一种仿生肢体动作控制方法和控制装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6720984B1 (en) * 2000-06-13 2004-04-13 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Characterization of bioelectric potentials
JP2005011037A (ja) * 2003-06-18 2005-01-13 National Institute Of Advanced Industrial & Technology ポインティングデバイス
JP2006314670A (ja) * 2005-05-16 2006-11-24 Kenichi Katsura 歩行補助装置及びリハビリテーションシステム
CN101926722A (zh) * 2003-08-21 2010-12-29 国立大学法人筑波大学 穿着式动作辅助装置、穿着式动作辅助装置的控制方法和控制用程序
CN101987048A (zh) * 2009-08-03 2011-03-23 深圳先进技术研究院 假肢控制方法和系统
CN105578954A (zh) * 2013-09-25 2016-05-11 迈恩德玛泽股份有限公司 生理参数测量和反馈系统
CN105654037A (zh) * 2015-12-21 2016-06-08 浙江大学 一种基于深度学习和特征图像的肌电信号手势识别方法

Family Cites Families (246)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4055168A (en) 1976-09-21 1977-10-25 The Rockefeller University Posture training device
IL78244A0 (en) 1986-03-24 1986-07-31 Zvi Kamil Instrumentation amplifier arrangement
US5625577A (en) 1990-12-25 1997-04-29 Shukyohojin, Kongo Zen Sohonzan Shorinji Computer-implemented motion analysis method using dynamics
JP3103427B2 (ja) 1992-04-01 2000-10-30 ダイヤメディカルシステム株式会社 生体電気現象検出装置
AU3954997A (en) 1996-08-14 1998-03-06 Nurakhmed Nurislamovich Latypov Method for following and imaging a subject's three-dimensional position and orientation, method for presenting a virtual space to a subject, and systems for implementing said methods
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6658287B1 (en) * 1998-08-24 2003-12-02 Georgia Tech Research Corporation Method and apparatus for predicting the onset of seizures based on features derived from signals indicative of brain activity
US6745062B1 (en) 1998-10-05 2004-06-01 Advanced Imaging Systems, Inc. Emg electrode apparatus and positioning system
US6244873B1 (en) 1998-10-16 2001-06-12 At&T Corp. Wireless myoelectric control apparatus and methods
US6774885B1 (en) 1999-01-20 2004-08-10 Motek B.V. System for dynamic registration, evaluation, and correction of functional human behavior
US6411843B1 (en) 1999-05-28 2002-06-25 Respironics, Inc. Method and apparatus for producing a model EMG signal from a measured EMG signal
US20030184544A1 (en) 2000-07-24 2003-10-02 Prudent Jean Nicholson Modeling human beings by symbol manipulation
US6820025B2 (en) 2000-10-30 2004-11-16 The United States Of America As Represented By The Secretary Of The Navy Method and apparatus for motion tracking of an articulated rigid body
AU2003217253A1 (en) 2002-01-25 2003-09-02 Intellipatch, Inc. Evaluation of a patient and prediction of chronic symptoms
JP2003255993A (ja) 2002-03-04 2003-09-10 Ntt Docomo Inc 音声認識システム、音声認識方法、音声認識プログラム、音声合成システム、音声合成方法、音声合成プログラム
US6942621B2 (en) 2002-07-11 2005-09-13 Ge Medical Systems Information Technologies, Inc. Method and apparatus for detecting weak physiological signals
WO2004023996A1 (ja) 2002-09-11 2004-03-25 National Institute Of Information And Communications Technology Incorporated Administrative Agency 活動筋肉表示装置
KR100506084B1 (ko) 2002-10-24 2005-08-05 삼성전자주식회사 경혈점 탐색 장치 및 방법
EP2008581B1 (en) 2003-08-18 2011-08-17 Cardiac Pacemakers, Inc. Patient monitoring, diagnosis, and/or therapy systems and methods
CN1838933B (zh) 2003-08-21 2010-12-08 国立大学法人筑波大学 穿着式动作辅助装置、穿着式动作辅助装置的控制方法和控制用程序
US7565295B1 (en) 2003-08-28 2009-07-21 The George Washington University Method and apparatus for translating hand gestures
US7574253B2 (en) 2003-09-26 2009-08-11 Northwestern University Signal processing using non-linear regression with a sinusoidal model
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
EP1782733B1 (en) 2004-06-16 2019-03-13 The University of Tokyo Muscular strength acquiring method and device based on musculoskeletal model
US7901368B2 (en) 2005-01-06 2011-03-08 Braingate Co., Llc Neurally controlled patient ambulation system
US7351975B2 (en) 2005-03-29 2008-04-01 Duke University Sensor system for identifying and tracking movements of multiple sources
US7428516B2 (en) 2005-06-23 2008-09-23 Microsoft Corporation Handwriting recognition using neural networks
US8190249B1 (en) 2005-08-01 2012-05-29 Infinite Biomedical Technologies, Llc Multi-parametric quantitative analysis of bioelectrical signals
US7725147B2 (en) 2005-09-29 2010-05-25 Nellcor Puritan Bennett Llc System and method for removing artifacts from waveforms
US8280503B2 (en) 2008-10-27 2012-10-02 Michael Linderman EMG measured during controlled hand movement for biometric analysis, medical diagnosis and related analysis
JP4826459B2 (ja) 2006-01-12 2011-11-30 株式会社豊田中央研究所 筋骨格モデル作成方法、人体応力／ひずみ推定方法、プログラムおよび記録媒体
US8762733B2 (en) 2006-01-30 2014-06-24 Adidas Ag System and method for identity confirmation using physiologic biometrics to determine a physiologic fingerprint
US7580742B2 (en) 2006-02-07 2009-08-25 Microsoft Corporation Using electroencephalograph signals for task classification and activity recognition
US7827000B2 (en) 2006-03-03 2010-11-02 Garmin Switzerland Gmbh Method and apparatus for estimating a motion parameter
WO2007120819A2 (en) * 2006-04-15 2007-10-25 The Board Of Regents Of The Leland Stanford Junior University Systems and methods for estimating surface electromyography
US20090112080A1 (en) 2006-04-21 2009-04-30 Quantum Applied Science & Research, Inc. System for Measuring Electric Signals
WO2007137047A2 (en) 2006-05-16 2007-11-29 Greer Douglas S Modeling the neocortex
US7661068B2 (en) 2006-06-12 2010-02-09 Microsoft Corporation Extended eraser functions
US9405372B2 (en) 2006-07-14 2016-08-02 Ailive, Inc. Self-contained inertial navigation system for interactive control using movable controllers
US7848797B2 (en) 2006-08-17 2010-12-07 Neurometrix, Inc. Motor unit number estimation (MUNE) for the assessment of neuromuscular function
US8437844B2 (en) 2006-08-21 2013-05-07 Holland Bloorview Kids Rehabilitation Hospital Method, system and apparatus for real-time classification of muscle signals from self-selected intentional movements
JP4267648B2 (ja) 2006-08-25 2009-05-27 株式会社東芝 インターフェース装置及びその方法
US7885732B2 (en) 2006-10-25 2011-02-08 The Boeing Company Systems and methods for haptics-enabled teleoperation of vehicles and other devices
US20080221487A1 (en) 2007-03-07 2008-09-11 Motek Bv Method for real time interactive visualization of muscle forces and joint torques in the human body
ATE513508T1 (de) 2007-04-24 2011-07-15 Koninkl Philips Electronics Nv Sensoranordnung und verfahren zur überwachung physiologischer parameter
FR2916069B1 (fr) 2007-05-11 2009-07-31 Commissariat Energie Atomique Procede de traitement pour la capture de mouvement d'une structure articulee
DE102007044554B3 (de) 2007-07-18 2009-07-16 Siemens Ag Sensorband mit optischer Sensorfaser, Sensor mit diesem Sensorband und Verfahren zum Kalibrieren einer optischen Sensorfaser
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US8325214B2 (en) 2007-09-24 2012-12-04 Qualcomm Incorporated Enhanced interface for voice and video communications
US20090082692A1 (en) 2007-09-25 2009-03-26 Hale Kelly S System And Method For The Real-Time Evaluation Of Time-Locked Physiological Measures
US7714757B2 (en) 2007-09-26 2010-05-11 Medtronic, Inc. Chopper-stabilized analog-to-digital converter
US8343079B2 (en) 2007-10-18 2013-01-01 Innovative Surgical Solutions, Llc Neural monitoring sensor
FI20075798A0 (fi) 2007-11-12 2007-11-12 Polar Electro Oy Elektrodirakenne
GB0800144D0 (en) 2008-01-04 2008-02-13 Fitzpatrick Adam P Electrocardiographic device and method
US9597015B2 (en) 2008-02-12 2017-03-21 Portland State University Joint angle tracking with inertial sensors
US20100030532A1 (en) 2008-06-12 2010-02-04 Jasbir Arora System and methods for digital human model prediction and simulation
US8170656B2 (en) 2008-06-26 2012-05-01 Microsoft Corporation Wearable electromyography-based controllers for human-computer interface
US8447704B2 (en) * 2008-06-26 2013-05-21 Microsoft Corporation Recognizing gestures from forearm EMG signals
US9037530B2 (en) 2008-06-26 2015-05-19 Microsoft Technology Licensing, Llc Wearable electromyography-based human-computer interface
US8444564B2 (en) 2009-02-02 2013-05-21 Jointvue, Llc Noninvasive diagnostic system
US8764676B2 (en) 2009-05-07 2014-07-01 Massachusetts Eye & Ear Infirmary Signal processing in physiological noise
US8376968B2 (en) * 2009-05-15 2013-02-19 The Hong Kong Polytechnic University Method and system for quantifying an intention of movement of a user
US20100315266A1 (en) * 2009-06-15 2010-12-16 Microsoft Corporation Predictive interfaces with usability constraints
JP5662443B2 (ja) 2009-07-30 2015-01-28 ユニバーシティ・オブ・ケープ・タウンＵｎｉｖｅｒｓｉｔｙ Ｏｆ Ｃａｐｅ Ｔｏｗｎ 非侵襲性深部筋肉筋電図検査法
US8718980B2 (en) 2009-09-11 2014-05-06 Qualcomm Incorporated Method and apparatus for artifacts mitigation with multiple wireless sensors
US20110077484A1 (en) 2009-09-30 2011-03-31 Nellcor Puritan Bennett Ireland Systems And Methods For Identifying Non-Corrupted Signal Segments For Use In Determining Physiological Parameters
TWI496558B (zh) 2009-10-20 2015-08-21 Tatung Co 使用二極電極貼片量測心電圖與呼吸訊號之系統及方法
US8421634B2 (en) 2009-12-04 2013-04-16 Microsoft Corporation Sensing mechanical energy to appropriate the body for data input
US20120283526A1 (en) 2009-12-16 2012-11-08 Ictalcare A/S Method and a System for the Prediction of Epileptic Seizures
US8631355B2 (en) 2010-01-08 2014-01-14 Microsoft Corporation Assigning gesture dictionaries
US9268404B2 (en) 2010-01-08 2016-02-23 Microsoft Technology Licensing, Llc Application gesture interpretation
JP5471490B2 (ja) 2010-01-20 2014-04-16 オムロンヘルスケア株式会社 体動検出装置
US9268990B2 (en) 2010-03-16 2016-02-23 Carlo Trugenberger Apparatus and method for producing an identification device
US8351651B2 (en) 2010-04-26 2013-01-08 Microsoft Corporation Hand-location post-process refinement in a tracking system
US8754862B2 (en) 2010-07-11 2014-06-17 Lester F. Ludwig Sequential classification recognition of gesture primitives and window-based parameter smoothing for high dimensional touchpad (HDTP) user interfaces
FR2962821B1 (fr) 2010-07-13 2013-02-22 Commissariat Energie Atomique Procede et systeme de classification de signaux neuronaux, et procede de selection d'electrodes pour commande neuronale directe.
JP5782515B2 (ja) 2010-08-02 2015-09-24 ザ・ジョンズ・ホプキンス・ユニバーシティ ロボットの協働制御および音声フィードバックを用いて力覚センサ情報を提示する方法
US20120066163A1 (en) * 2010-09-13 2012-03-15 Nottingham Trent University Time to event data analysis method and system
US20130123656A1 (en) 2010-11-15 2013-05-16 Sandy L. Heck Control System and Apparatus Utilizing Signals Originating in the Periauricular Neuromuscular System
KR101159475B1 (ko) * 2010-12-10 2012-06-25 숭실대학교산학협력단 근전도 센서와 가속도 센서를 이용한 로봇 이동 제어 장치 및 방법
WO2012155157A1 (en) 2011-05-06 2012-11-15 Azoteq (Pty) Ltd Multiple media capacitive sensor
US9251588B2 (en) 2011-06-20 2016-02-02 Nokia Technologies Oy Methods, apparatuses and computer program products for performing accurate pose estimation of objects
US9128521B2 (en) 2011-07-13 2015-09-08 Lumo Bodytech, Inc. System and method of biomechanical posture detection and feedback including sensor normalization
WO2013029196A1 (zh) 2011-08-26 2013-03-07 国立云林科技大学 回馈控制的穿戴式上肢电刺激装置
JP2014531662A (ja) 2011-09-19 2014-11-27 アイサイト モバイル テクノロジーズ リミテッド 拡張現実システムのためのタッチフリーインターフェース
US20130077820A1 (en) 2011-09-26 2013-03-28 Microsoft Corporation Machine learning gesture detection
FR2981561B1 (fr) 2011-10-21 2015-03-20 Commissariat Energie Atomique Procede de detection d'activite a capteur de mouvements, dispositif et programme d'ordinateur correspondants
ITTO20111024A1 (it) 2011-11-08 2013-05-09 Bitron Spa Dispositivo di misura per segnali elettromiografici ad alta risoluzione e elevato numero di canali.
US10176299B2 (en) 2011-11-11 2019-01-08 Rutgers, The State University Of New Jersey Methods for the diagnosis and treatment of neurological disorders
US10430066B2 (en) 2011-12-06 2019-10-01 Nri R&D Patent Licensing, Llc Gesteme (gesture primitive) recognition for advanced touch user interfaces
JP2013206273A (ja) 2012-03-29 2013-10-07 Sony Corp 情報処理装置、情報処理方法、および情報処理システム
WO2013151770A1 (en) 2012-04-03 2013-10-10 Carnegie Mellon University Musculoskeletal activity recognition system and method
US9278453B2 (en) 2012-05-25 2016-03-08 California Institute Of Technology Biosleeve human-machine interface
US9867548B2 (en) 2012-05-25 2018-01-16 Emotiv, Inc. System and method for providing and aggregating biosignals and action data
US20150366504A1 (en) 2014-06-20 2015-12-24 Medibotics Llc Electromyographic Clothing
US9891718B2 (en) * 2015-04-22 2018-02-13 Medibotics Llc Devices for measuring finger motion and recognizing hand gestures
US9582072B2 (en) 2013-09-17 2017-02-28 Medibotics Llc Motion recognition clothing [TM] with flexible electromagnetic, light, or sonic energy pathways
US9814426B2 (en) 2012-06-14 2017-11-14 Medibotics Llc Mobile wearable electromagnetic brain activity monitor
US10921886B2 (en) 2012-06-14 2021-02-16 Medibotics Llc Circumferential array of electromyographic (EMG) sensors
US8484022B1 (en) 2012-07-27 2013-07-09 Google Inc. Adaptive auto-encoders
US20150182165A1 (en) 2012-08-03 2015-07-02 Neurotopia, Inc. Neurophysiological training headset
US10234941B2 (en) 2012-10-04 2019-03-19 Microsoft Technology Licensing, Llc Wearable sensor for tracking articulated body-parts
US9351653B1 (en) 2012-11-29 2016-05-31 Intan Technologies, LLC Multi-channel reconfigurable systems and methods for sensing biopotential signals
WO2014085910A1 (en) 2012-12-04 2014-06-12 Interaxon Inc. System and method for enhancing content using brain-state data
US20140196131A1 (en) 2013-01-07 2014-07-10 Salutron, Inc. User authentication based on a wrist vein pattern
US20140198034A1 (en) 2013-01-14 2014-07-17 Thalmic Labs Inc. Muscle interface device and method for interacting with content displayed on wearable head mounted displays
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
KR102330889B1 (ko) 2013-02-22 2021-11-26 페이스북 테크놀로지스, 엘엘씨 제스처-기반 제어를 위해 근활성도 센서 신호와 관성 센서 신호를 결합하는 방법 및 기기
US20140245200A1 (en) 2013-02-25 2014-08-28 Leap Motion, Inc. Display control with gesture-selectable control paradigms
US20140249397A1 (en) 2013-03-01 2014-09-04 Thalmic Labs Inc. Differential non-contact biopotential sensor
US9766709B2 (en) 2013-03-15 2017-09-19 Leap Motion, Inc. Dynamic user interactions for display control
US9436287B2 (en) 2013-03-15 2016-09-06 Qualcomm Incorporated Systems and methods for switching processing modes using gestures
US20140276238A1 (en) * 2013-03-15 2014-09-18 Ivan Osorio Method, system and apparatus for fall detection
US9361411B2 (en) 2013-03-15 2016-06-07 Honeywell International, Inc. System and method for selecting a respirator
US20140277622A1 (en) 2013-03-15 2014-09-18 First Principles, Inc. System and method for bio-signal control of an electronic device
IN2013MU01148A (zh) 2013-03-26 2015-04-24 Tata Consultancy Services Ltd
US10620709B2 (en) 2013-04-05 2020-04-14 Ultrahaptics IP Two Limited Customized gesture interpretation
US9717440B2 (en) 2013-05-03 2017-08-01 The Florida International University Board Of Trustees Systems and methods for decoding intended motor commands from recorded neural signals for the control of external devices or to interact in virtual environments
US10152082B2 (en) 2013-05-13 2018-12-11 North Inc. Systems, articles and methods for wearable electronic devices that accommodate different user forms
US10314506B2 (en) 2013-05-15 2019-06-11 Polar Electro Oy Heart activity sensor structure
US10620775B2 (en) 2013-05-17 2020-04-14 Ultrahaptics IP Two Limited Dynamic interactive objects
US9218574B2 (en) 2013-05-29 2015-12-22 Purepredictive, Inc. User interface for machine learning
EP3003231B1 (en) 2013-05-31 2019-09-18 President and Fellows of Harvard College Soft exosuit for assistance with human motion
WO2014197443A1 (en) 2013-06-03 2014-12-11 Kacyvenski Isaiah Motion sensor and analysis
US9383819B2 (en) 2013-06-03 2016-07-05 Daqri, Llc Manipulation of virtual object in augmented reality via intent
KR101933921B1 (ko) 2013-06-03 2018-12-31 삼성전자주식회사 포즈 추정 방법 및 장치
US11083402B2 (en) 2013-06-04 2021-08-10 Medtronic, Inc. Patient state determination based on one or more spectral characteristics of a bioelectrical brain signal
KR101501661B1 (ko) * 2013-06-10 2015-03-12 한국과학기술연구원 착용형 근전도 센서 시스템
WO2014204330A1 (en) 2013-06-17 2014-12-24 3Divi Company Methods and systems for determining 6dof location and orientation of head-mounted display and associated user movements
US20140376773A1 (en) 2013-06-21 2014-12-25 Leap Motion, Inc. Tunable operational parameters in motion-capture and touchless interface operation
US10402517B2 (en) 2013-06-26 2019-09-03 Dassault Systémes Simulia Corp. Musculo-skeletal modeling using finite element analysis, process integration, and design optimization
US9408316B2 (en) 2013-07-22 2016-08-02 Thalmic Labs Inc. Systems, articles and methods for strain mitigation in wearable electronic devices
US20150029092A1 (en) 2013-07-23 2015-01-29 Leap Motion, Inc. Systems and methods of interpreting complex gestures
US10042422B2 (en) 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US10188309B2 (en) 2013-11-27 2019-01-29 North Inc. Systems, articles, and methods for electromyography sensors
US11426123B2 (en) 2013-08-16 2022-08-30 Meta Platforms Technologies, Llc Systems, articles and methods for signal routing in wearable electronic devices that detect muscle activity of a user using a set of discrete and separately enclosed pod structures
CA2921954A1 (en) 2013-08-23 2015-02-26 Thalmic Labs Inc. Systems, articles, and methods for human-electronics interfaces
US9788789B2 (en) 2013-08-30 2017-10-17 Thalmic Labs Inc. Systems, articles, and methods for stretchable printed circuit boards
US9372535B2 (en) 2013-09-06 2016-06-21 Thalmic Labs Inc. Systems, articles, and methods for electromyography-based human-electronics interfaces
US9483123B2 (en) 2013-09-23 2016-11-01 Thalmic Labs Inc. Systems, articles, and methods for gesture identification in wearable electromyography devices
US9389694B2 (en) 2013-10-22 2016-07-12 Thalmic Labs Inc. Systems, articles, and methods for gesture identification in wearable electromyography devices
CN103777752A (zh) 2013-11-02 2014-05-07 上海威璞电子科技有限公司 基于手臂肌肉电流检测和运动传感器的手势识别设备
GB2519987B (en) 2013-11-04 2021-03-03 Imperial College Innovations Ltd Biomechanical activity monitoring
US9594433B2 (en) 2013-11-05 2017-03-14 At&T Intellectual Property I, L.P. Gesture-based controls via bone conduction
CN105722479B (zh) 2013-11-13 2018-04-13 赫尔实验室有限公司 用于控制大脑机器接口和神经假肢系统的系统
US20150157944A1 (en) 2013-12-06 2015-06-11 Glenn I. Gottlieb Software Application for Generating a Virtual Simulation for a Sport-Related Activity
US9367139B2 (en) 2013-12-12 2016-06-14 Thalmic Labs Inc. Systems, articles, and methods for gesture identification in wearable electromyography devices
US9524580B2 (en) 2014-01-06 2016-12-20 Oculus Vr, Llc Calibration of virtual reality systems
US9659403B1 (en) 2014-01-06 2017-05-23 Leap Motion, Inc. Initializing orientation in space for predictive information for free space gesture control and communication
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
JP2017509386A (ja) 2014-02-14 2017-04-06 サルミック ラブス インコーポレイテッド 弾性電気ケーブルのためのシステム、製品、及び方法、並びに、それを用いるウェアラブル電子デバイス
EP3111303A4 (en) 2014-02-28 2017-08-23 Vikas Gupta Gesture operated wrist mounted camera system
US10613642B2 (en) 2014-03-12 2020-04-07 Microsoft Technology Licensing, Llc Gesture parameter tuning
US20150261306A1 (en) * 2014-03-17 2015-09-17 Thalmic Labs Inc. Systems, devices, and methods for selecting between multiple wireless connections
US10199008B2 (en) 2014-03-27 2019-02-05 North Inc. Systems, devices, and methods for wearable electronic devices as state machines
US10409382B2 (en) 2014-04-03 2019-09-10 Honda Motor Co., Ltd. Smart tutorial for gesture control system
US9149938B1 (en) * 2014-04-11 2015-10-06 Harris Corporation Robotic exoskeleton with adaptive viscous user coupling
US20150296553A1 (en) 2014-04-11 2015-10-15 Thalmic Labs Inc. Systems, devices, and methods that establish proximity-based wireless connections
US9858391B2 (en) 2014-04-17 2018-01-02 The Boeing Company Method and system for tuning a musculoskeletal model
US20170080346A1 (en) 2014-05-01 2017-03-23 Mohamad Abbas Methods and systems relating to personalized evolving avatars
US20150325202A1 (en) 2014-05-07 2015-11-12 Thalmic Labs Inc. Systems, devices, and methods for wearable computers with heads-up displays
US9785247B1 (en) 2014-05-14 2017-10-10 Leap Motion, Inc. Systems and methods of tracking moving hands and recognizing gestural interactions
KR101666399B1 (ko) * 2014-05-15 2016-10-14 한국과학기술연구원 다중 채널 표면 근전도에서의 신체 관절 운동학 정보 추출 방법, 이를 수행하기 위한 기록 매체 및 장치
USD756359S1 (en) 2014-05-15 2016-05-17 Thalmic Labs Inc. Expandable armband device
USD717685S1 (en) 2014-05-15 2014-11-18 Thalmic Labs Inc. Expandable armband
US9741169B1 (en) 2014-05-20 2017-08-22 Leap Motion, Inc. Wearable augmented reality devices with object detection and tracking
US10782657B2 (en) 2014-05-27 2020-09-22 Ultrahaptics IP Two Limited Systems and methods of gestural interaction in a pervasive computing environment
US9880632B2 (en) 2014-06-19 2018-01-30 Thalmic Labs Inc. Systems, devices, and methods for gesture identification
WO2015199747A1 (en) 2014-06-23 2015-12-30 Thalmic Labs Inc. Systems, articles, and methods for wearable human-electronics interface devices
US10216274B2 (en) 2014-06-23 2019-02-26 North Inc. Systems, articles, and methods for wearable human-electronics interface devices
US9552069B2 (en) 2014-07-11 2017-01-24 Microsoft Technology Licensing, Llc 3D gesture recognition
US9734704B2 (en) 2014-08-12 2017-08-15 Dominick S. LEE Wireless gauntlet for electronic control
WO2016041088A1 (en) 2014-09-19 2016-03-24 Sulon Technologies Inc. System and method for tracking wearable peripherals in augmented reality and virtual reality applications
US9811555B2 (en) 2014-09-27 2017-11-07 Intel Corporation Recognition of free-form gestures from orientation tracking of a handheld or wearable device
WO2016076376A1 (ja) 2014-11-12 2016-05-19 京セラ株式会社 ウェアラブル装置
US9720515B2 (en) 2015-01-02 2017-08-01 Wearable Devices Ltd. Method and apparatus for a gesture controlled interface for wearable devices
US9612661B2 (en) 2015-01-02 2017-04-04 Wearable Devices Ltd. Closed loop feedback interface for wearable devices
US9696795B2 (en) 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
US20160274758A1 (en) 2015-03-20 2016-09-22 Thalmic Labs Inc. Systems, devices, and methods for mitigating false positives in human-electronics interfaces
US10432842B2 (en) 2015-04-06 2019-10-01 The Texas A&M University System Fusion of inertial and depth sensors for movement measurements and recognition
US10437335B2 (en) 2015-04-14 2019-10-08 John James Daniels Wearable electronic, multi-sensory, human/machine, human/human interfaces
US9804733B2 (en) 2015-04-21 2017-10-31 Dell Products L.P. Dynamic cursor focus in a multi-display information handling system environment
US10078435B2 (en) 2015-04-24 2018-09-18 Thalmic Labs Inc. Systems, methods, and computer program products for interacting with electronically displayed presentation materials
GB2537899B (en) 2015-04-30 2018-02-21 Hy5Pro As Control of digits for artificial hand
US9654477B1 (en) 2015-05-05 2017-05-16 Wells Fargo Bank, N. A. Adaptive authentication
US9898864B2 (en) 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
EP3556429B1 (en) 2015-06-02 2021-10-13 Battelle Memorial Institute Non-invasive motor impairment rehabilitation system
EP3782696B1 (en) 2015-06-02 2022-12-28 Battelle Memorial Institute Systems for neural bridging of the nervous system
EP4134125A1 (en) 2015-06-02 2023-02-15 Battelle Memorial Institute Neural sleeve for neuromuscular stimulation, sensing and recording
US11589814B2 (en) 2015-06-26 2023-02-28 Carnegie Mellon University System for wearable, low-cost electrical impedance tomography for non-invasive gesture recognition
US9240069B1 (en) 2015-06-30 2016-01-19 Ariadne's Thread (Usa), Inc. Low-latency virtual reality display system
EP3329484A4 (en) 2015-07-29 2019-06-05 Sensel Inc. SYSTEMS AND METHODS FOR HANDLING A VIRTUAL ENVIRONMENT
KR101626748B1 (ko) 2015-08-03 2016-06-14 숭실대학교산학협력단 뇌파와 근전도를 이용한 움직임 패턴 측정 장치 및 그 방법
US10854104B2 (en) 2015-08-28 2020-12-01 Icuemotion Llc System for movement skill analysis and skill augmentation and cueing
US10387034B2 (en) 2015-09-03 2019-08-20 Microsoft Technology Licensing, Llc Modifying captured stroke information into an actionable form
US9824287B2 (en) 2015-09-29 2017-11-21 Huami Inc. Method, apparatus and system for biometric identification
US10459537B2 (en) 2015-09-30 2019-10-29 Stmicroelectronics, Inc. Encapsulated pressure sensor
WO2017062544A1 (en) 2015-10-06 2017-04-13 University Of Pittsburgh-Of The Commonwealth System Of Higher Education Method, device and system for sensing neuromuscular, physiological, biomechanical, and musculoskeletal activity
US9881273B2 (en) 2015-10-28 2018-01-30 Disney Interprises, Inc. Automatic object detection and state estimation via electronic emissions sensing
US11106273B2 (en) 2015-10-30 2021-08-31 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays
US10595941B2 (en) 2015-10-30 2020-03-24 Orthosensor Inc. Spine measurement system and method therefor
US10776712B2 (en) 2015-12-02 2020-09-15 Preferred Networks, Inc. Generative machine learning systems for drug design
CN105511615B (zh) 2015-12-04 2019-03-05 深圳大学 基于emg的可穿戴式文本输入系统及方法
US20170188980A1 (en) 2016-01-06 2017-07-06 Empire Technology Development Llc Wearable sensor based body modeling
US11402402B2 (en) 2016-01-12 2022-08-02 Bigmotion Technologies Inc. Systems and methods for human body motion capture
US20170259167A1 (en) 2016-03-14 2017-09-14 Nathan Sterling Cook Brainwave virtual reality apparatus and method
US9864434B2 (en) 2016-03-30 2018-01-09 Huami Inc. Gesture control of interactive events using multiple wearable devices
US10331265B2 (en) 2016-03-31 2019-06-25 Sensel, Inc. Human-computer interface system
US10503253B2 (en) 2016-03-31 2019-12-10 Intel Corporation Sensor signal processing to determine finger and/or hand position
US10852835B2 (en) 2016-04-15 2020-12-01 Board Of Regents, The University Of Texas System Systems, apparatuses and methods for controlling prosthetic devices by gestures and other modalities
CN109155303B (zh) 2016-04-19 2020-05-22 天工方案公司 射频模块的选择性屏蔽
US9864431B2 (en) 2016-05-11 2018-01-09 Microsoft Technology Licensing, Llc Changing an application state using neurological data
US10203751B2 (en) 2016-05-11 2019-02-12 Microsoft Technology Licensing, Llc Continuous motion controls operable using neurological data
CN109661251A (zh) 2016-05-31 2019-04-19 斯高弗盖斯特实验室公司 神经刺激装置和方法
US10426371B2 (en) 2016-06-07 2019-10-01 Smk Corporation Muscle condition measurement sheet
KR101790147B1 (ko) 2016-06-22 2017-10-25 재단법인 실감교류인체감응솔루션연구단 가상 객체 조작 시스템 및 방법
CA3029445A1 (en) 2016-07-01 2018-01-04 L.I.F.E. Corporation S.A. Biometric identification by garments having a plurality of sensors
US10489986B2 (en) 2018-01-25 2019-11-26 Ctrl-Labs Corporation User-controlled tuning of handstate representation model parameters
US20190223748A1 (en) 2018-01-25 2019-07-25 Ctrl-Labs Corporation Methods and apparatus for mitigating neuromuscular signal artifacts
WO2018022658A1 (en) 2016-07-25 2018-02-01 Ctrl-Labs Corporation Adaptive system for deriving control signals from measurements of neuromuscular activity
WO2018022657A1 (en) 2016-07-25 2018-02-01 Ctrl-Labs Corporation System and method for measuring the movements of articulated rigid bodies
CN110300542A (zh) 2016-07-25 2019-10-01 开创拉布斯公司 使用可穿戴的自动传感器预测肌肉骨骼位置信息的方法和装置
US11635736B2 (en) 2017-10-19 2023-04-25 Meta Platforms Technologies, Llc Systems and methods for identifying biological structures associated with neuromuscular source signals
US10496168B2 (en) 2018-01-25 2019-12-03 Ctrl-Labs Corporation Calibration techniques for handstate representation modeling using neuromuscular signals
EP3487402B1 (en) 2016-07-25 2021-05-05 Facebook Technologies, LLC Methods and apparatus for inferring user intent based on neuromuscular signals
US10765363B2 (en) 2016-09-30 2020-09-08 Cognionics, Inc. Headgear for dry electroencephalogram sensors
US10162422B2 (en) 2016-10-10 2018-12-25 Deere & Company Control of machines through detection of gestures by optical and muscle sensors
CN109804331B (zh) 2016-12-02 2021-06-22 皮松科技股份有限公司 检测和使用身体组织电信号
US10646139B2 (en) 2016-12-05 2020-05-12 Intel Corporation Body movement tracking
US20190025919A1 (en) 2017-01-19 2019-01-24 Mindmaze Holding Sa System, method and apparatus for detecting facial expression in an augmented reality system
US10796599B2 (en) 2017-04-14 2020-10-06 Rehabilitation Institute Of Chicago Prosthetic virtual reality training interface and related methods
US11259746B2 (en) 2017-07-10 2022-03-01 General Electric Company Method and system for neuromuscular transmission measurement
US10481699B2 (en) 2017-07-27 2019-11-19 Facebook Technologies, Llc Armband for tracking hand motion using electrical impedance measurement
US20190076716A1 (en) 2017-09-12 2019-03-14 Intel Corporation Activity training system
US10606620B2 (en) 2017-11-16 2020-03-31 International Business Machines Corporation Notification interaction in a touchscreen user interface
US20190150777A1 (en) 2017-11-17 2019-05-23 Ctrl-Labs Corporation Dual-supply analog circuitry for sensing surface emg signals
US10827942B2 (en) 2018-01-03 2020-11-10 Intel Corporation Detecting fatigue based on electroencephalogram (EEG) data
WO2019147928A1 (en) 2018-01-25 2019-08-01 Ctrl-Labs Corporation Handstate reconstruction based on multiple inputs
CN112074870A (zh) 2018-01-25 2020-12-11 脸谱科技有限责任公司 重构的手部状态信息的可视化
CN111902847A (zh) 2018-01-25 2020-11-06 脸谱科技有限责任公司 手部状态表示模型估计的实时处理
US10504286B2 (en) 2018-01-25 2019-12-10 Ctrl-Labs Corporation Techniques for anonymizing neuromuscular signal data
US20190247650A1 (en) 2018-02-14 2019-08-15 Bao Tran Systems and methods for augmenting human muscle controls
US20190324549A1 (en) 2018-04-20 2019-10-24 Immersion Corporation Systems, devices, and methods for providing immersive reality interface modes
US10861242B2 (en) 2018-05-22 2020-12-08 Magic Leap, Inc. Transmodal input fusion for a wearable system
CN112469469A (zh) 2018-05-25 2021-03-09 脸谱科技有限责任公司 用于提供肌肉下控制的方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6720984B1 (en) * 2000-06-13 2004-04-13 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Characterization of bioelectric potentials
JP2005011037A (ja) * 2003-06-18 2005-01-13 National Institute Of Advanced Industrial & Technology ポインティングデバイス
CN101926722A (zh) * 2003-08-21 2010-12-29 国立大学法人筑波大学 穿着式动作辅助装置、穿着式动作辅助装置的控制方法和控制用程序
JP2006314670A (ja) * 2005-05-16 2006-11-24 Kenichi Katsura 歩行補助装置及びリハビリテーションシステム
CN101987048A (zh) * 2009-08-03 2011-03-23 深圳先进技术研究院 假肢控制方法和系统
CN105578954A (zh) * 2013-09-25 2016-05-11 迈恩德玛泽股份有限公司 生理参数测量和反馈系统
CN105654037A (zh) * 2015-12-21 2016-06-08 浙江大学 一种基于深度学习和特征图像的肌电信号手势识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"基于表面肌电多特征的下肢行走关键模态识别研究";刘亚伟;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》;20111215(第S2期);全文 *
A probalilistic Neural Network with Anomaly Detection and Related Applicaiotn to an EMG-controlled Prosthetic Hand;Keisuke Shima, et.al.;《Journal of the Robotics Society of Japan》;20150630;第33卷(第4期);全文 *

Also Published As

Publication number Publication date
WO2018022597A1 (en) 2018-02-01
US20190354182A1 (en) 2019-11-21
EP3487402B1 (en) 2021-05-05
EP3487402A1 (en) 2019-05-29
CN110337269A (zh) 2019-10-15
EP3487402A4 (en) 2019-12-25
US20180024634A1 (en) 2018-01-25
US10656711B2 (en) 2020-05-19
US10409371B2 (en) 2019-09-10

Similar Documents

Publication Publication Date Title
CN110337269B (zh) 基于神经肌肉信号推断用户意图的方法和装置
CN112040858B (zh) 用于识别与神经肌肉源信号相关的生物结构的系统和方法
EP3801743B1 (en) Methods and apparatus for providing sub-muscular control
EP3836836B1 (en) Real-time spike detection and identification
US11361522B2 (en) User-controlled tuning of handstate representation model parameters
US11069148B2 (en) Visualization of reconstructed handstate information
CN111902077B (zh) 利用神经肌肉信号进行手部状态表示建模的校准技术
CN110312471B (zh) 从神经肌肉活动测量中导出控制信号的自适应系统
US9392954B2 (en) Classification estimating system and classification estimating program
US9720515B2 (en) Method and apparatus for a gesture controlled interface for wearable devices
CN107589782B (zh) 用于可穿戴设备的姿势控制接口的方法和装置
EP3951564A1 (en) Methods and apparatus for simultaneous detection of discrete and continuous gestures
Fang et al. Improve inter-day hand gesture recognition via convolutional neural network-based feature fusion
Antonius et al. Electromyography gesture identification using CNN-RNN neural network for controlling quadcopters

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201130

Address after: California, USA

Applicant after: Facebook Technologies, LLC

Address before: New York, USA

Applicant before: CTRL-LABS Corp.

GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: California, USA

Patentee after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Patentee before: Facebook Technologies, LLC