CN110312471A - 从神经肌肉活动测量中导出控制信号的自适应系统 - Google Patents

从神经肌肉活动测量中导出控制信号的自适应系统 Download PDF

Info

Publication number
CN110312471A
CN110312471A CN201780059076.3A CN201780059076A CN110312471A CN 110312471 A CN110312471 A CN 110312471A CN 201780059076 A CN201780059076 A CN 201780059076A CN 110312471 A CN110312471 A CN 110312471A
Authority
CN
China
Prior art keywords
control
sensor
signal
neuromuscular
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780059076.3A
Other languages
English (en)
Other versions
CN110312471B (zh
Inventor
P·凯福什
T·马查多
T·里尔登
E·朔姆堡
J·玛瑞尔
S·德默斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Founding Labs Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Founding Labs Co filed Critical Founding Labs Co
Publication of CN110312471A publication Critical patent/CN110312471A/zh
Application granted granted Critical
Publication of CN110312471B publication Critical patent/CN110312471B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1104—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb induced by stimuli or drugs
    • A61B5/1106—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb induced by stimuli or drugs to assess neuromuscular blockade, e.g. to estimate depth of anaesthesia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/681—Wristwatch-type devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/68—Operating or control means
    • A61F2/70—Operating or control means electrical
    • A61F2/72—Bioelectric control, e.g. myoelectric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/296—Bioelectric electrodes therefor specially adapted for particular uses for electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/30—Input circuits therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/38—Acoustic or auditory stimuli

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Neurology (AREA)
  • Cardiology (AREA)
  • Transplantation (AREA)
  • Vascular Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Anesthesiology (AREA)
  • Chemical & Material Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medicinal Chemistry (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Dermatology (AREA)
  • Neurosurgery (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

调整将传感器信号与用于控制装置的运行的控制信号相关联的控制映射的方法和装置。该方法包括：获得装置运行的第一状态信息；将第一状态信息作为输入提供给与装置运行相关联的意图模型并获得相应的第一意图模型输出；将从用户记录的多个神经肌肉信号和/或从神经肌肉信号导出的信号作为输入提供给第一控制映射并获得相应的第一控制映射输出；以及使用提供给第一控制映射的输入和第一意图模型输出来更新第一控制映射以获得第二控制映射。

Description

从神经肌肉活动测量中导出控制信号的自适应系统
相关申请的交叉引用
本申请基于35 U.S.C.§119(e)要求2016年7月25日提交的名称为“用于从肌肉或运动单元活动的测量中导出控制信号的自适应系统(ADAPTIVE SYSTEM FOR DERIVINGCONTROL SIGNALS FROM MEASUREMENTS OF MUSCLE OR MOTOR UNIT ACTIVITY)”的第62/366,427号美国临时专利申请的权益，其全部内容通过引用的方式并入本文。
背景技术
存在通过无线肌电用户接口控制计算机系统的技术。在一种这样的方法中，用户佩戴尺寸适合于围绕用户的前臂或手腕的带子。该带子包括被布置为通过感测用户的肌肉活动来检测手和/或手指手势的肌电传感器。通常，可穿戴带子包括接收感测的信号并将其转换成电子控制信号的处理能力，然后将电子控制信号(无线地或以其他方式)传送到被控制的装置，例如，计算机、一些其他便携式电子装置、在这样的装置上执行的应用程序等。
另外，研究大脑-计算机接口(BCI)(也称为脑机接口(BMI)、思维-机器接口(MMI)或直接神经接口(DNI))的研究已经表明在增强的或有线的大脑与外部装置之间建立直接通信路径。BCI通常涉及研究、映射、辅助、增强或修复人类认知或感觉运动功能。
发明内容
一些传统的大脑控制接口使用从大脑中的皮层神经元直接记录的信号来提供对装置的自适应控制。一些实施例涉及在不使用皮层接口的情况下提供对装置的增强的自适应控制。相反，一些实施例涉及使用神经肌肉传感器记录神经肌肉信号的连续时间序列的系统。神经肌肉信号作为前端提供给自适应控制系统以控制装置。神经肌肉信号还可以与关于用户通常如何控制装置的信息组合使用以训练将神经肌肉信号与预期的控制动作相关联的统计模型。
控制诸如计算机游戏的游戏控制器等装置通常需要用户学习如何与装置上的不同控件进行交互以在计算机游戏中产生期望的动作。基于装置如何被编程为将用户与装置的交互转换为控制信号来限制用户可以如何与装置交互以执行期望的动作。例如，控制计算机游戏中计算机生成的图像在显示器上运动的方向的操纵杆游戏控制器可以被编程为当用户向右推动操纵杆时产生第一控制信号，并且当用户向左推动操纵杆时产生第二控制信号。控制装置生成的相应控制信号被提供给计算机以控制计算机生成的图像运动的方向。发明人已经认识并理解到，需要用户学习装置操作的现有控制系统是不灵活的，并且通常不能适应用户更喜欢与装置交互的方式。一些实施例涉及一种训练控制系统以将用户特定的身体运动转换成控制装置的控制信号的技术。这些实施例提供了高度可配置的控制接口，该控制接口使得不同的用户能够根据他们的偏好来控制装置，并且没有装置制造商施加在控制装置上的限制。
一些实施例涉及一种从肌肉或运动单位活动的测量导出控制信号的自适应系统。当用户控制(例如，计算机应用程序或其他效应器)时，系统基于神经肌肉活动的测量来调整用户意图的统计模型。在一些实施例中，当从多个传感器接收神经肌肉活动数据时，控制映射实时地或基本上实时地计算控制信号。
在一些实施例中，计算机被编程为执行一个或多个信号处理算法，该算法将传感器信号的时间序列映射到计算机作为输入向效应器(例如，用户接口程序)提供的控制信号。在用户执行任务时动态更新基于任务特定信息对用户意图建模的意图模型，以改进从传感器信号到控制信号的控制映射。在一些实施例中，通过对预期信号的估计进行回归或分类分析以将传感器信号分别映射到连续或离散输入，从而基于收集的数据调整控制映射。在一些实施例中，得到的自适应控制映射提供提高的控制保真度、减少的等效控制所需的用户努力，并允许适应用户的信号行为的变化。
根据一些实施例的自适应控制技术使用EMG或其他神经肌肉信号作为利用自适应反馈进行控制的源信号。该方法避免了需要与皮层神经元直接神经相互作用的侵入性方法。用于自适应控制的相关神经信号是使用神经肌肉数据合成构建的，其提供较低成本和较少的侵入性处理。此外，由于易于在记录的神经肌肉数据和合成的神经数据流之间切换，因此可以实时地执行根据一些实施例的本文描述的自适应控制方法。该方法通过捕获用于强制肌肉收缩的信号(例如，EMG信号)来改变传统的BCI范式(BCI paradigm)，并且重定向那些信号以用于任意自适应控制。根据一些实施例生成的估计的控制信号可以用于控制需要或以其他方式受益于连续控制的任何应用或装置。
一些实施例涉及用于控制应用的技术，包括但不限于虚拟现实、增强现实和运动计算技术。
根据一个方面，提供了一种用于调整控制映射的系统，该控制映射将传感器信号与用于控制装置运行的控制信号相关联。该系统包括多个传感器，多个传感器包括布置在一个或多个可穿戴装置上的多个神经肌肉传感器，其中，多个神经肌肉传感器被配置为连续地记录来自用户的神经肌肉信号。该系统还包括至少一个计算机硬件处理器和存储处理器可执行指令的至少一个非暂时性计算机可读存储介质，当处理器可执行指令由至少一个计算机硬件处理器执行时，使得至少一个计算机硬件处理器执行：获得装置运行的第一状态信息；将第一状态信息作为输入提供给与装置运行相关联的意图模型并获得相应的第一意图模型输出；将神经肌肉信号和/或从神经肌肉信号导出的信号作为输入提供给第一控制映射并获得相应的第一控制映射输出；以及使用第一控制映射的输入和第一意图模型输出来更新第一控制映射以获得第二控制映射。
根据另一方面，提供了一种调整控制映射的方法，该控制映射将传感器信号与用于控制装置运行的控制信号相关联。该方法包括：从多个传感器获得多个传感器信号，多个传感器包括被布置在一个或多个可穿戴装置上的多个神经肌肉传感器，其中，多个神经肌肉传感器被配置为连续地记录来自用户的神经肌肉信号；获得装置运行的第一状态信息；将第一状态信息作为输入提供给与装置运行相关联的意图模型并获得相应的第一意图模型输出；将神经肌肉信号和/或从神经肌肉信号导出的信号作为输入提供给第一控制映射并获得相应的第一控制映射输出；以及使用提供给第一控制映射的输入和第一意图模型输出来更新第一控制映射以获得第二控制映射。
根据另一方面，提供了一种编码有多个指令的非暂时性计算机可读存储介质，当多个指令由至少一个计算机硬件处理器执行时执行一种方法。该方法包括：从多个传感器获得多个传感器信号，多个传感器包括被布置在一个或多个可穿戴装置上的多个神经肌肉传感器，其中所述多个神经肌肉传感器被配置为连续地记录来自用户的神经肌肉信号；获得装置运行的第一状态信息；将第一状态信息作为输入提供给与装置运行相关联的意图模型并获得相应的第一意图模型输出；将神经肌肉信号和/或从神经肌肉信号导出的信号作为输入提供给第一控制映射并获得相应的第一控制映射输出；以及使用提供给第一控制映射的输入和第一意图模型输出来更新第一控制映射以获得第二控制映射。
应当理解，前述概念和以下更详细讨论的附加概念的所有组合(假设这些概念不相互矛盾)被认为是本文公开的发明主题的一部分。特别地，出现在本公开结尾的所要求保护的主题的所有组合都被认为是本文公开的发明主题的一部分。
附图说明
将参考以下附图描述本技术的各种非限制性实施例。应该理解的是，附图不一定按比例绘制。
图1描绘了根据本文描述的技术的一些实施例的控制过程；
图2示出了根据本文描述的技术的一些实施例的用于控制装置的过程；
图3示出了根据本文描述的技术的一些实施例的使用自动传感器信号更新控制映射的过程；
图4是可用于实现本文描述的技术的一些实施例的说明性计算机系统的示图；
图5是说明根据本文描述的技术的一些实施例的控制映射适配的示图；
图6示出了根据本文描述的技术的一些实施例的沿其周向布置有EMG传感器的腕带；以及
图7示出了根据本文描述技术的一些实施例的用户在键盘上打字时佩戴图6的腕带。
具体实施方式
一些传统的脑机接口记录大脑(例如皮层)信号并将记录的大脑信号映射到相应的控制信号以控制假肢，使假体装置执行运动。尽管这种脑机接口技术对于使患者能够使用患者自身的大脑信号自我控制假体装置有用，但实施这些技术非常具有侵入性，因为它们需要直接进入大脑中的皮层神经元以记录用于提供控制信号的生物信号。发明人已经认识并理解到，可以通过使用用户佩戴的多个传感器(例如，EMG传感器)测量与用户的运动相对应的生物物理信号，并将传感器记录的运动信息映射到用于控制装置的控制信号来改进传统的控制接口。
图1示出了根据一些实施例的将从用户101佩戴的传感器102记录的信号映射到随后提供给用户交互程序(或更一般地，用户接口)的控制信号的系统的组件。传感器102被配置为记录由人体部位的运动产生的信号。传感器102可以包括使用例如加速计和陀螺仪测量运动的物理方面的组合的一个或多个惯性测量单元(IMU)。在一些实施例中，IMU可以用于感测关于IMU所附着的身体部位的运动的信息，并且当用户随时间运动时，可以跟踪从感测的数据(例如，位置和/或方向信息)导出的信息。例如，当用户随时间移动时，一个或多个IMU可用于跟踪靠近用户躯干的用户身体部位(例如，手臂、腿)的运动。
传感器102还可以包括多个神经肌肉传感器，其被配置为记录由人体骨骼肌中的神经肌肉活动产生的信号。如本文所用的术语“神经肌肉活动”是指支配肌肉、肌肉激活、肌肉收缩或神经激活、肌肉激活和肌肉收缩的任何组合的脊髓运动神经元的神经激活。神经肌肉传感器可包括一个或多个肌电图(EMG)传感器、一个或多个肌动图(MMG，mechanomyography)传感器、一个或多个声肌(SMG，sonomyography)传感器和/或被配置为检测神经肌肉信号的任何合适类型的一个或多个传感器。在一些实施例中，多个神经肌肉传感器可以用于感测与由肌肉控制的身体部位的运动相关的肌肉活动，神经肌肉传感器被布置为从肌肉感测肌肉活动。描述运动(例如，对于远离用户躯干的诸如手和脚等用户身体部位)的空间信息(例如，位置和/或方向信息)可以在用户随时间运动时基于感测的神经肌肉信号来预测。
在包括至少一个IMU和多个神经肌肉传感器的实施例中，IMU和神经肌肉传感器可以被布置为检测人体的不同部位的运动。例如，IMU可以被布置为检测靠近躯干的一个或多个身体部分的运动，而神经肌肉传感器可以被布置为检测远离躯干的一个或多个身体部分的运动。然而，应当理解，传感器102可以以任何合适的方式布置，并且本文描述的技术的实施例不限于基于特定的传感器布置。例如，在一些实施例中，至少一个IMU和多个神经肌肉传感器可以共同位于身体部分上，以使用不同类型的测量来跟踪身体部分的运动。在下面更详细描述的一个实施方式中，多个EMG传感器被布置在可穿戴装置上，该可穿戴装置被配置为围绕用户的下臂或手腕佩戴。在这样的布置中，EMG传感器可以被配置为确定与手腕或手部分相关联的运动信息，以确定例如用户是否具有打开或关闭的手部配置。
传感器102中的每一个包括被配置为感测运动信息的一个或多个运动感测组件。在IMU的情况下，运动感测组件可包括一个或多个加速度计、陀螺仪、磁力计或其任何组合以测量身体运动的特征，其示例包括但不限于加速度、角速度和感测到的身体周围的磁场。在神经肌肉传感器的情况下，运动感测组件可以包括但不限于被配置为检测身体表面上的电势的电极(例如，用于EMG传感器)、被配置为测量皮肤表面振动的振动传感器(例如，用于MMG传感器)和被配置为测量肌肉活动引起的超声信号的声学传感组件(例如，用于SMG传感器)。
在一些实施例中，可以使用硬件信号处理电路(例如，以执行放大、滤波和/或校正)来处理一个或多个运动感测组件的输出。在其他实施例中，运动感测组件输出的至少一些信号处理可以在软件中执行。因此，传感器102记录的自动信号(autonomous signal)的信号处理可以在硬件、软件或通过硬件和软件的任何合适组合中来执行，因为本文描述的技术的各方面在这方面不受限制。
在一些实施例中，可以处理记录的传感器数据以计算随后用于控制装置的附加的导出的测量，如下面更详细描述的。例如，可以处理来自IMU传感器的记录的信号以导出指定刚性的身体部分随时间的空间位置的空间信息(例如，方向、位置、估计的关节角度)。传感器102可以使用与运动感测组件集成的组件来实现信号处理，或者信号处理的至少一部分可以由与传感器的运动感测组件通信但不直接集成的一个或多个组件来执行。
在一些实施例中，多个传感器102中的至少一些被布置为可穿戴装置的一部分，该可穿戴装置被配置为佩戴在用户身体部位上或周围。例如，在一个非限制性示例中，IMU传感器和多个神经肌肉传感器围绕可调节和/或弹性带(例如被配置为佩戴在用户的手腕或手臂周围的腕带或臂带)周向布置。或者，至少一些传感器可以被布置在被配置成固定到用户身体部位的可穿戴贴片上。
在一个实施方式中，16个EMG传感器围绕被配置为围绕用户的下臂佩戴的弹性带周向布置。例如，图6示出了围绕弹性带602周向布置的EMG传感器604。应当理解，可以使用任何合适数量的神经肌肉传感器，并且所使用的神经肌肉传感器的特定数量和布置可以取决于使用可穿戴装置的特定应用。例如，可穿戴的臂带或腕带可以用于产生控制信号，用于在计算机生成的虚拟现实环境中通过化身来控制球的投掷，而可穿戴的腿或脚踝带可以产生用于通过化身控制踢球的控制信号。例如，如图7所示，用户606可以在手608上佩戴弹性带602。以这种方式，EMG传感器604可以被配置为在用户使用手指640控制键盘630时记录EMG信号。在一些实施例中，弹性带602还可以包括被配置为记录运动信息的一个或者更多IMU(未示出)，如上所述。
在一些实施例中，每个上都包括有一个或多个IMU和/或神经肌肉传感器的多个可穿戴装置可用于控制装置。
该系统还包括被编程为与传感器102通信的一个或多个计算机处理器103。例如，一个或多个传感器102记录的信号可以被提供给可被编程为执行信号处理的处理器103，其非限制性实例如上所述。尽管在图1中示出为软件，处理器103可以用硬件、固件、软件或其任何组合来实现。另外，处理器103可以与一个或多个传感器共同位于相同的可穿戴装置上，或者可以至少部分地远程定位(例如，处理可以在一个或多个网络连接的处理器上发生)。
该系统还包括与处理器103通信的一个或多个非暂时性计算机可读存储装置。存储装置可以被配置为存储描述一个或多个统计模型(例如，意图模型)的信息，其实例在下面更详细地描述。
在一些实施例中，处理器103可以被配置为与一个或多个传感器102通信，例如，以在测量运动信息之前校准传感器。例如，可穿戴装置可以在用户身体部位上或周围的不同方位上定位，并且可以执行校准以确定可穿戴装置的方位和/或执行任何其他合适的校准任务。传感器102的校准可以以任何合适的方式执行，并且实施例在此方面不受限制。例如，在一些实施例中，可以指示用户执行特定系列的运动，并且通过虚拟地旋转和/或缩放传感器检测的信号(例如，通过EMG传感器上的电极)可以将记录的运动信息与模板匹配。在一些实施例中，校准可以涉及改变一个或多个模数转换器(ADC)的增益，例如，在传感器检测到的信号导致ADC饱和的情况下。
图1的系统还包括一个或多个控制器，其被配置为至少部分地基于处理器103的处理来接收控制信号。如图所示，控制器的非限制性示例包括但不限于游戏控制器104、计算机105和假体装置106。如下面更详细地讨论的，处理器103可以实现一个或多个训练的统计模型，其被配置为生成至少部分地基于用户佩戴的传感器102记录的信号而确定的控制信号。可以将基于训练的统计模型的输出确定的一个或多个控制信号发送到一个或多个控制器，以控制与控制器相关联的装置的一个或多个操作。在一些实施例中，控制器包括显示控制器，其被配置为指示视觉显示器基于提供的控制信号显示图形表示(例如，屏幕上的条、用户身体的图形表示或角色(例如，虚拟现实环境中的化身)的图形表示)。在其他实施例中，控制器包括诸如机器人或假体装置等物理装置的控制器。发送到控制器的控制信号可以由控制器解释，以操作机器人的一个或多个组件，以对应于使用传感器102感测的用户的运动的方式运动。
根据本文描述的技术的实施例，可以使用被配置为控制一个或多个物理或虚拟装置的任何合适的控制器。可以被控制的物理装置的非限制性示例包括消费者电子装置(例如，电视、智能电话、计算机、笔记本电脑、电话、摄像机、照相机、视频游戏系统、器械等)、运载工具(例如，汽车、船舶、有人驾驶飞机、无人驾驶飞机、农用机械等)、机器人、武器或可以从处理器103接收控制信号的任何其他装置。
本文描述的技术的一些实施例的应用的非限制性示例包括菜单导航、按钮、拨号、控制杆、项目选择、在桌面或运动设置中无需物理键盘或小键盘打字、文档编辑的剪切/粘贴操作、光标控制、滚动和音量控制。应用的非限制性示例还包括控制诸如听觉或触觉菜单或游戏等非可视用户接口的机制。应用的非限制性示例还包括控制假肢的系统、促进人之间手势通信的系统、以及诸如三维和旋转数据的更高维数据的操纵。应用的非限制性示例还包括用于电话和计算机的唤醒和解锁手势、生物识别代码和密匙、以及家用电器控制。
当用户与用户交互程序或其他受控装置交互时，传感器收集传感器数据。收集的传感器数据和用户与装置的交互使系统能够学习如何修改记录的传感器信号和发送到控制器的控制信号之间的映射。以这种方式，可穿戴传感器记录的信号用于控制装置并促进控制系统的学习以将用户的身体运动映射到预期的动作。
图2描述了基于神经肌肉信号(例如，EMG信号、MMG信号、SMG信号)向控制装置(例如，计算机应用的控制器)提供控制信号的过程200。术语“效应器”和“控制装置”在本文中可互换使用，并且两个术语都指的是由控制映射输出的控制信号所控制的实体，如下面更详细地讨论的。尽管本文关于EMG信号描述了过程200，但是应当理解，过程200可以基于EMG信号、MMG信号、SMG信号或其任何合适的组合或基于与额外的传感器信号(例如，来自惯性测量单元的数据)组合的神经肌肉信号来提供控制信号。
过程200可以由任何合适的计算装置执行，本文描述的技术的各方面在这方面不受限制。例如，过程200可以由参考图1描述的处理器103执行。作为另一示例，可以使用一个或多个服务器(例如，云计算环境的服务器部分)来执行过程200的一个或多个动作。过程200开始于动作210，其中，从用户佩戴的多个传感器(例如，EMG传感器)获得多个自动信号。
在一些实施例中，在动作210处获得的信号在动作220中使用放大、滤波、校正或其他类型的信号处理进行预处理。在一些实施例中，滤波包括使用频域中的卷积运算和/或等效运算实现的时间滤波(例如，在应用离散傅立叶变换之后)。在一些实施例中，预处理可以包括降维(例如，非负矩阵分解(NMF)、主成分分析(PCA)、独立分量分析(ICA))、导出的肌肉活动信号的估计、尖峰分类(spike sorting)、频谱分解、导出的特征的估计(例如，关节角度)和/或其他形式的特征提取。该预处理的结果是从中计算控制信号的成组的导出的信号。
发明人已经意识到，使用从用户记录的EMG信号通过重新利用EMG数据进行自适应控制，特别是通过生成成组的从记录的EMG数据合成神经数据流的导出信号，消除了一些传统机器控制接口中所需的皮层接口。在一些实施例中，收集(例如，使用可穿戴传感器阵列)身体额外用于运动一个或多个肌肉或肌肉组的神经肌肉信号，并重新用于装置(例如，被编程为呈现用户交互式应用程序的计算机)的任意自适应控制。
接下来，过程200进行到动作230，其中，将控制映射应用于处理的传感器信号以将传感器信号映射到控制信号。在一些实施例中，控制映射将一个或多个处理的传感器信号的时间序列映射到一个或多个控制信号。在一些实施例中，该映射作用于来自单个时间点的传感器信号数据，以产生该时间点的相应的传感器控制信号。在一些实施例中，控制映射的输出可以取决于多个时间点的输入信号，其非限制性示例包括有状态映射(statefulmapping)(例如，卡尔曼滤波器或递归网络(recurrent network))和在多个时滞作用于输入的映射(例如，时间卷积)。
在一些实施例中，控制映射是由矩阵表示的线性映射，其中，行的数量等于控制信号的数量，列的数量等于处理的传感器信号的数量，使得通过将在动作220中处理的处理后的传感器信号乘以该矩阵来计算控制信号。然而，应该理解，控制映射不限于是线性映射，并且可以是任何其他合适的形式。例如，在一些实施例中，控制映射可以是广义线性模型、神经网络、递归神经网络、卷积网络、有限状态机、卡尔曼滤波器、动态系统、隐马尔可夫模型、马尔可夫切换模型、动态贝叶斯网络、和/或任何其他合适的计算映射。
接下来，过程200进行到动作240，其中，将计算的控制信号发送到效应器。效应器的非限制性示例包括计算机游戏、计算机程序、假肢、机器人或运载工具。任务的非限制性示例包括玩计算机游戏、将文本输入计算机应用程序、将光标运动到期望位置、用假肢臂拾取物体或驾驶运载工具。
图3示出了根据一些实施例的调整控制映射的过程300。尽管本文关于EMG信号描述了过程300，但是应当理解，过程300可以用于调整将任何记录的神经肌肉信号(包括但不限于EMG信号、MMG信号、SMG信号、或EMG信号、MMG信号和SMG信号的任意组合)作为输入的控制映射。另外，在一些实施例中，可以使用其他信号(例如，IMU记录的信号、从IMU测量导出的信号)来调整控制映射。
过程300开始于动作302，其中，获得多个传感器记录的信号。以上结合图2的过程描述了获得传感器信号的示例。然后，过程300进行到动作304，其中，系统获得包含关于任务状态的信息的数据，其中，用户通过使用效应器参与任务，控制信号在动作240中被传送给效应器。在一些实施例中，任务的状态结合其他控制信号来确定。关于任务状态的信息(本文也称为“任务信息”)可以以任何合适的方式确定。在一些实施例中，可以使用额外的传感器来获得任务信息。例如，在用户使用假肢操纵物体的说明性情况下，可以使用相机和/或位置传感器来获得诸如假肢和被操纵物体的相对位置的任务信息。在一些实施例中，例如，在基于计算机的任务的情况下，可以使用应用程序编程接口(API)和/或屏幕捕获来获得关于任务状态的信息。在一些实施例中，包含关于任务状态的信息的数据经受处理(例如，图像分割和/或其他图像处理)。
接下来，过程300进行到动作306，其中，基于获得的传感器信号和获得的描述任务状态的任务信息来估计一个或多个控制信号。一些实施例被配置为实现预测用户的意图的控制信号的统计意图模型。意图模型的输入包括但不限于关于系统在动作304中获得的任务状态的信息。在一些实施例中，获得的神经肌肉信号、控制映射、控制映射输出的控制信号、或者其任何组合也可以作为输入提供给意图模型。
在一些实施例中，意图模型是用户行为的特定任务模型。特定任务模型可以被实现为基于任务背景下的用户行为的启发或直观近似构建的统计模型。在任务是计算机游戏Pong的情况下提供这种意图模型的非限制性说明性示例，其中，用户控制球拍的一维速度以拦截球的轨迹。在该示例中，意图模型将用户控制的球拍的位置和球的位置和速度作为输入，并且提供用户想要提供给球拍的估计的速度控制信号作为输出。根据一个非限制性意图模型，意图的球拍速度与从球拍的当前位置到球拍必须运动到以便拦截球的轨迹的目标位置的距离成比例，例如，intended_velocity＝proportionality_constant*(target_position-position_paddle)。
在一些实施例中，意图模型可以被配置为连续地提供用户的预期控制信号的估计，而在其他实施例中，意图模型可以被配置为仅在特定时间提供估计。例如，在Pong的说明性示例中，在一些实施例中，意图模型将仅在球朝向用户的球拍将沿其运动的线运动的时间输出对用户的预期控制信号的估计，并且在球离开这条线期间的时间不提供估计。
在一些实施例中，意图模型被配置为基于对应于不晚于用户的估计意图的时间的输入来计算其在每个时间点对用户意图的估计。计算机游戏Pong的意图模型的上述说明性示例提供了这种实施例的示例，其中，同时基于任务状态来估计用户在给定时间的意图。在该示例中，意图模型被配置为基本上实时地估计用户的预期控制信号。
在一些其他实施例中，意图模型基于对应于时间的输入来计算用户意图的估计，所述时间包括但不限于比正估计用户意图的时间晚的时间。本文提供了意图模型的这样的非限制性说明性示例，即，在用户控制光标以导航并点击来自计算机屏幕上显示的多个可能选择中选择的图标的任务背景下，意图模型使用对应于较晚时间的输入以在较早时间估计用户的预期控制信号。根据用于这样任务的意图模型的一些非限制性实施方式，意图模型可以直到用户点击其中一个图标才输出用户的预期光标速度的估计。在用户选择图标之后，意图模型被配置为在较早时间估计用户的预期光标速度控制信号，该信号在从意图正被估计时的光标位置指向用户点击图标时的光标位置的向量方向上。
在一些实施例中，意图模型是训练的统计模型。在一些实施例中，意图模型的输出是用户的预期控制信号的点估计(例如，最大似然估计)。在一些实施例中，意图模型的输出是关于用户的预期控制信号的可能值的概率分布。例如，意图模型可以在连续值控制信号上输出离散控制信号的概率或用于分布的参数(例如，高斯分布的均值和方差)。
在一些实施例中，统计模型可以是神经网络，并且例如可以是递归神经网络。在一些实施例中，递归神经网络可以是长短期记忆(LSTM)神经网络。然而，应当理解，递归神经网络不限于是LSTM神经网络，并且可以具有任何其他合适的架构。例如，在一些实施例中，递归神经网络可以是完全递归神经网络、结构递归神经网络、Hopfield神经网络、关联记忆神经网络、Elman神经网络、Jordan神经网络、回声状态神经网络、二阶递归神经网络和/或任何其他合适类型的递归神经网络。在其他实施例中，可以使用不是递归神经网络的神经网络。例如，可以使用深度神经网络、卷积神经网络和/或前馈神经网络。
应当理解，本文描述的技术的各方面不限于使用神经网络，因为在一些实施例中可以采用其他类型的统计模型。例如，在一些实施例中，统计模型可以包括广义线性模型、隐马尔可夫模型、马尔可夫切换模型、动态贝叶斯网络和/或具有时间分量的任何其他合适的图形模型。
在一些实施例中，可以根据在一个或多个用户执行一个或多个任务时生成的训练数据来估计统计模型的参数的值。例如，当统计模型是神经网络时，可以从训练数据估计神经网络的参数(例如，权重)。在一些实施例中，可以使用梯度下降、随机梯度下降和/或任何其他合适的迭代优化技术来估计统计模型的参数。在统计模型是递归神经网络(例如，LSTM)的实施例中，可以使用随机梯度下降和定时后向传播(backpropagation throughtime)来训练统计模型。训练可以采用均方差损失函数(例如，在连续控制信号的情况下)、交叉熵损失函数(例如，在离散控制信号的情况下)和/或任何其他合适的损失函数，本文描述的技术的各方面在这方面不受限制。
在一些实施例中，可以利用在一个或多个用户执行一个或多个任务时生成的训练数据来训练统计模型。训练数据可以包括当一个或多个用户至少部分地使用控制过程200、使用独立于过程200的一个或多个控制系统(例如，使用键盘和/或鼠标控制计算机游戏)执行一个或多个任务时生成的数据，本发明不受生成和参数化意图模型的方法的限制。
在一些实施例中，可以在不使用训练数据的情况下参数化意图模型。作为非限制性示例，一些实施例可以包括基于控制策略的意图模型，该控制策略具有使用动态编程计算的或通过强化学习学习的参数。在一些实施例中，意图模型的训练数据可以将在一个或多个人类用户执行一个或多个任务时生成的数据与从用计算控制策略的任务模拟计算生成的数据组合。
在一些实施例中，用户的预期控制信号中的一个或多个、记录的神经肌肉信号、从神经肌肉信号导出的信息(例如，方位、估计的关节角度)、处理的(例如，过滤、放大、矫正)神经肌肉信号、与表征神经肌肉信号的足够统计相关联的信息、意图模型的输入和/或输出、以及控制映射的输入和/或输出可以存储在与处理器103通信的一个或多个非暂时性计算机可读介质上。
接下来，过程300进行到动作308，其中，聚合用户的预期控制信号的估计和处理的神经肌肉信号以产生用于调整控制映射的训练数据。可以以任何合适的方式组合并进一步处理获得的数据。在一些实施例中，可以对至少一些数据进行重采样(例如，上采样或下采样)，使得所有训练数据对应于相同时间分辨率的时间序列数据。可以以任何合适的方式执行对至少一些数据的重采样，包括但不限于使用插值进行上采样并使用抽取进行下采样。
除了或作为替代在以不同采样率记录时重新采样至少一些传感器数据之外，一些实施例采用被配置为异步接受多个输入的统计模型。例如，统计模型可以被配置为对具有较低采样率的输入数据中的“丢失”值的分布进行建模。或者，当来自多个传感器数据测量的输入变为可用作训练数据时，统计模型的训练定时异步发生。
然后使用训练数据更新控制映射。控制映射的更新可以在用户根据过程200执行任务时基本上实时发生、可以在用户执行任务时间歇地发生、可以在过程200的使用之间离线发生以控制任务、和/或者可以根据任何合适的时间表或时间表组合发生，本发明不限制更新控制映射的时机和频率。然后在过程200的动作230中使用更新的控制映射。
图5描绘了根据一些实施例的方法，其中，记录的自动信号和控制信号之间的控制映射是使用递归最小二乘(RLS)算法更新的线性滤波器。术语“控制映射”和“控制模型”在本文中可互换使用，并且两者均表示从传感器信号到使用本文描述的一种或多种技术进行调整的控制信号的映射。如图所示，控制模型的参数可以实现为可变滤波器系数500，并且更新算法502可以包括RLS算法，其示例在本领域中是已知的。在时间(n)处导出的(例如，预处理的)信号504被提供给可变滤波器500，其在时间(n)输出控制信号(506)，如控制模型所计算的。元件508接收控制信号以及在时间(n)处的估计的意图e(n)(510)，如意图模型505基于任务的状态所预测的，如上所述。更新算法502使用导出的信号504以及信号506和508之间的误差512来计算对控制模型的参数的更新514(即，对控制映射的更新)。
应当理解，本文描述的技术的各方面不限于使用RLS算法，因为可以另外地或替代地采用其他类型的学习和/或优化算法。例如，在一些实施例中，可以使用期望最大化、梯度下降、随机梯度下降和/或任何其他合适的迭代优化技术来更新控制映射。在控制映射被实现为递归神经网络(例如，LSTM)的实施例中，可以使用随机梯度下降和定时后向传播(backpropagation through time)来更新统计模型。更新算法可以采用均方差损失函数(例如，在连续控制信号的情况下)、交叉熵损失函数(例如，在离散控制信号的情况下)和/或任何其他合适的损失函数，本文描述的技术的各方面在这方面不受限制。
在一些实施例中，在一个任务的背景下调整的控制映射可以用于控制一个或多个附加任务。作为说明性示例，首先可以在用户控制光标以选择计算机屏幕上的图标的任务的背景下调整控制映射。稍后，可以使用相同的控制映射来控制物理或虚拟运载工具的操作，例如通过将光标的垂直运动的控制信号映射到运载工具的加速和/或制动以及将光标的水平运动的控制信号映射到车辆的转向。控制映射可以继续或可以不继续在附加任务的背景下进行调整，一些实施例的各方面在这方面不受限制。
可以结合本文提供的本公开的任何实施例使用的计算机系统400的说明性实现方式在图4中示出。计算机系统400可以包括一个或多个处理器410和包括非暂时性计算机可读存储介质(例如，存储器420和一个或多个非易失性存储介质430)的一个或多个制品。处理器410可以以任何合适的方式控制向存储器420和非易失性存储装置430写入数据和从存储器420和非易失性存储装置430读取数据。为了执行本文描述的任何功能，处理器410可以执行存储在一个或多个非暂时性计算机可读存储介质(例如，存储器420)(可以用作存储由处理器410执行的处理器可执行指令的非暂时性计算机可读存储介质)中的一个或多个处理器可执行指令。
本文使用的术语“程序”或“软件”在一般意义上是指任何类型的计算机代码或处理器可执行指令集，其可用于对计算机或其他处理器进行编程以实现如上所述的实施例的各个方面。另外，应当理解，根据一个方面，在被执行时执行本文提供的本公开的方法的一个或多个计算机程序不需要驻留在单个计算机或处理器上，而是可以以模块化方式在不同计算机或处理器之间分布以实现本文提供的本公开的各个方面。
处理器可执行指令可以是诸如程序模块等的许多形式，由一个或多个计算机或其他装置执行。通常，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。通常，程序模块的功能可以根据需要在各种实施例中组合或分布。
此外，数据结构可以以任何合适的形式存储在一个或多个非暂时性计算机可读存储介质中。为了简化说明，数据结构可以显示为具有通过数据结构中的位置相关的字段。这种关系同样可以通过为字段的存储分配非暂时性计算机可读存储介质中的位置(其传递字段之间的关系)来实现。然而，可以使用任何合适的机制来建立数据结构的字段中的信息之间的关系，包括通过使用指针、标签或建立数据元素之间的关系的其他机制。
此外，各种发明构思可以体现为一个或多个过程，其中已经提供了示例(例如，参考图2和图3描述的过程)。作为每个过程的一部分执行的动作可以以任何合适的方式排序。因此，可以构造其中以不同于所示顺序的顺序执行动作的实施例，其可以包括同时执行一些动作，即使在示例性实施例中示出为顺序动作。
如本文定义和使用的所有定义应被理解为优先于字典定义和/或定义术语的普通含义。
如本文说明书和权利要求书中所使用的，关于一个或多个元素的列表，短语“至少一个”应该理解为表示从元素列表中的任何一个或多个元素中选择的至少一个元素，但不一定包括元素列表中具体列出的每个元素和每一个元素中的至少一个元素，并且不排除元素列表中元素的任何组合。该定义还允许除了短语“至少一个”指示的元素列表中具体指定的元素之外的元素可以可选地存在，无论其与具体指定的那些元素相关还是不相关。因此，作为非限制性示例，“A和B中的至少一个”(或等效地，“A或B中的至少一个”，或等效地，“A和/或B中的至少一个”)可以在一个实施例中指至少一个(任选地包括多于一个)A，并且不存在B(并且任选地包括除了B之外的元素)；在另一个实施例中，指至少一个(任选地包括多于一个)B，并且不存在A(并且任选地包括除了A之外的元素)；在又一个实施例中，指至少一个(任选地包括多于一个)A以及至少一个(任选地包括多于一个)B(和任选地包括其他元素)；等等。
本文说明书和权利要求书中使用的短语“和/或”应理解为表示元素中的“任意一个或两个都”，这些元素这样结合使得在某些情况下结合地存在而在其他情况下分离地存在。用“和/或”列出的多个元素应以相同的方式解释，即，如此结合的元素中的“一个或多个”。除了“和/或”句子具体指定的元素之外，还可以选择性地存在其他元素，无论其与具体指定的那些元素相关还是无关。因此，作为非限制性示例，当与诸如“包括”的开放式语言结合使用时，对“A和/或B”的引用可以：在一个实施例中仅指A(可选地包括除了B以外的元素)；在另一个实施例中仅指B(可选地包括除了A以外的元素)；在又一个实施例中指A和B两者(可选地包括其他元素)；等等。
在权利要求中使用诸如“第一”、“第二”、“第三”等序数术语来修改权利要求元素本身并不意味着一个权利要求要素相对于另一个的优先级、优先性或顺序，或者执行方法动作的时间顺序。这些术语仅用作标记以将具有特定名称的一个权利要求元素与具有相同名称(如果没有使用序数术语的话)的另一个元素区分开。
这里使用的措辞和术语是为了描述的目的，不应该被认为是限制性的。“包括”、“包含”、“具有”、“含有”、“涉及”及其变形的使用旨在包括其后列出的项目和附加项目。
已经详细描述了本文描述的技术的若干实施例，本领域技术人员将容易想到各种修改和改进。这些修改和改进旨在落入本公开的精神和范围内。因此，前面的描述仅是示例性的，而不是意图限制。本技术仅受所附权利要求及其等同物限定。

Claims (20)

1.一种调整将传感器信号与控制装置的运行的控制信号相关联的控制映射的系统，所述系统包括：
多个传感器，包括布置在一个或多个可穿戴装置上的多个神经肌肉传感器，其中，所述多个神经肌肉传感器被配置为连续地记录来自用户的神经肌肉信号；
至少一个计算机硬件处理器；
至少一个非暂时性计算机可读存储介质，存储处理器可执行指令，当处理器可执行指令由所述至少一个计算机硬件处理器执行时，使所述至少一个计算机硬件处理器执行：
获得装置的运行的第一状态信息；
将第一状态信息作为输入提供给与装置的运行相关联的意图模型并获得相应的第一意图模型输出；
将神经肌肉信号和/或从神经肌肉信号导出的信号作为输入提供给第一控制映射并获得相应的第一控制映射输出；以及
使用第一控制映射的输入和第一意图模型输出来更新第一控制映射以获得第二控制映射。
2.根据权利要求1所述的系统，其中，当处理器可执行指令由所述至少一个计算机硬件处理器执行时，使所述至少一个计算机硬件处理器执行：
从所述多个神经肌肉传感器获得新的成组的神经肌肉信号；以及
将新的成组的神经肌肉信号和/或从新的成组的神经肌肉信号导出的信号作为输入提供给第二控制映射以获得相应的第二控制映射输出；以及
使用第二控制映射输出控制装置。
3.根据权利要求2所述的系统，其中，当处理器可执行指令由所述至少一个计算机硬件处理器执行时，使所述至少一个计算机硬件处理器执行：
获得至少一个用户交互式应用程序的第二状态信息；
将第二状态信息作为输入提供给与装置的运行相关联的意图模型并获得相应的第二意图模型输出；以及
使用提供给第二控制映射的输入和第二意图模型输出来更新第二控制映射以获得第三控制映射。
4.根据权利要求1所述的系统，其中，使用递归最小二乘RLS技术来执行使用提供给第一控制映射的输入和第一意图模型输出来更新第一控制映射以获得第二控制映射。
5.根据权利要求4所述的系统，其中，RLS技术被配置为拟合从神经肌肉信号预测指示用户控制意图的速度控制信号的线性模型。
6.根据权利要求1所述的系统，其中，意图模型是被实施为递归神经网络的训练的统计模型。
7.根据权利要求6所述的系统，其中，递归神经网络是长短期记忆LSTM神经网络。
8.根据权利要求1所述的系统，其中，意图模型是被实施为非线性回归模型的训练的统计模型。
9.根据权利要求1所述的系统，其中，神经肌肉传感器包括肌电图EMG传感器、肌动图MMG传感器、声肌图SMG传感器、或EMG、MMG和SMG传感器的组合。
10.根据权利要求1所述的系统，其中，所述一个或多个可穿戴装置包括单个可穿戴装置，并且其中，所有的所述多个传感器被布置在被配置为佩戴在用户的身体部位上或周围的单个可穿戴装置上。
11.根据权利要求1所述的系统，其中，所述一个或多个可穿戴装置中的至少一个包括被配置为围绕用户的身体部位佩戴的柔性或弹性带。
12.根据权利要求11所述的系统，其中，柔性或弹性带包括被配置为围绕用户的手臂佩戴的臂带。
13.根据权利要求1所述的系统，其中，所述多个传感器还包括被配置为连续地记录IMU信号的至少一个IMU传感器，其中，当处理器可执行指令由所述至少一个计算机硬件处理器执行时，使所述至少一个计算机硬件处理器执行：
将IMU信号和/或基于多个IMU信号的信息作为输入提供给第一控制映射。
14.根据权利要求13所述的系统，其中，所述至少一个IMU传感器和所述多个神经肌肉传感器被布置在同一可穿戴装置上。
15.根据权利要求1所述的系统，其中，更新第一控制映射还包括使用第一控制映射输出更新第一控制映射。
16.根据权利要求1所述的系统，其中，意图模型是基于用户与装置的交互的启发或直观近似或一个或多个用户与装置的观察到的用户交互来生成的。
17.根据权利要求1所述的系统，其中，装置包括执行用户交互式应用程序的计算机，并且其中，装置的运行包括用户交互式应用程序的运行。
18.根据权利要求1所述的系统，其中，当处理器可执行指令由所述至少一个计算机硬件处理器执行时，使所述至少一个计算机硬件处理器执行：
使用第一控制映射输出来控制装置。
19.一种调整控制映射的方法，控制映射将传感器信号与用于控制装置的运行的控制信号相关联，所述方法包括：
从多个传感器获得多个传感器信号，所述多个传感器包括布置在一个或多个可穿戴装置上的多个神经肌肉传感器，其中，所述多个神经肌肉传感器被配置为连续地记录来自用户的神经肌肉信号；
获得装置的运行的第一状态信息；
将第一状态信息作为输入提供给与装置的运行相关联的意图模型并获得相应的第一意图模型输出；
将神经肌肉信号和/或从神经肌肉信号导出的信号作为输入提供给第一控制映射并获得相应的第一控制映射输出；以及
使用提供给第一控制映射的输入和第一意图模型输出来更新第一控制映射以获得第二控制映射。
20.一种编码有多个指令的非暂时性计算机可读存储介质，当所述多个指令由至少一个计算机硬件处理器执行时，执行包括以下步骤的方法：
从多个传感器获得多个传感器信号，所述多个传感器包括布置在一个或多个可穿戴装置上的多个神经肌肉传感器，其中，所述多个神经肌肉传感器被配置为连续地记录来自用户的神经肌肉信号；
获得装置的运行的第一状态信息；
将第一状态信息作为输入提供给与装置的运行相关联的意图模型并获得相应的第一意图模型输出；
将神经肌肉信号和/或从神经肌肉信号导出的信号作为输入提供给第一控制映射并获得相应的第一控制映射输出；以及
使用提供给第一控制映射的输入和第一意图模型输出来更新第一控制映射以获得第二控制映射。
CN201780059076.3A 2016-07-25 2017-07-25 从神经肌肉活动测量中导出控制信号的自适应系统 Active CN110312471B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662366427P 2016-07-25 2016-07-25
US62/366,427 2016-07-25
PCT/US2017/043792 WO2018022658A1 (en) 2016-07-25 2017-07-25 Adaptive system for deriving control signals from measurements of neuromuscular activity

Publications (2)

Publication Number Publication Date
CN110312471A true CN110312471A (zh) 2019-10-08
CN110312471B CN110312471B (zh) 2022-04-29

Family

ID=60990183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780059076.3A Active CN110312471B (zh) 2016-07-25 2017-07-25 从神经肌肉活动测量中导出控制信号的自适应系统

Country Status (4)

Country Link
US (1) US11000211B2 (zh)
EP (1) EP3487457B1 (zh)
CN (1) CN110312471B (zh)
WO (1) WO2018022658A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085052A (zh) * 2020-07-28 2020-12-15 中国科学院深圳先进技术研究院 运动想象分类模型的训练方法、运动想象方法及相关设备
US11000211B2 (en) 2016-07-25 2021-05-11 Facebook Technologies, Llc Adaptive system for deriving control signals from measurements of neuromuscular activity
CN113688660A (zh) * 2020-05-19 2021-11-23 丰田自动车株式会社 计算机实现的方法、数据处理装置、非侵入性脑电接口系统和非暂时性计算机可读介质
CN115381469A (zh) * 2022-08-12 2022-11-25 歌尔股份有限公司 肌电信号采集装置及控制方法、电子设备

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11229789B2 (en) 2013-05-30 2022-01-25 Neurostim Oab, Inc. Neuro activator with controller
US20180200514A1 (en) 2013-05-30 2018-07-19 Neurostim Oab, Inc. Non-invasive nerve stimulation
CA2913074C (en) 2013-05-30 2023-09-12 Graham H. Creasey Topical neurological stimulation
US20180154146A1 (en) 2013-05-30 2018-06-07 NeurostimOAB, Inc. Non-invasive nerve stimulation
US10042422B2 (en) 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US10188309B2 (en) 2013-11-27 2019-01-29 North Inc. Systems, articles, and methods for electromyography sensors
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US9880632B2 (en) 2014-06-19 2018-01-30 Thalmic Labs Inc. Systems, devices, and methods for gesture identification
US11216069B2 (en) 2018-05-08 2022-01-04 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
US10687759B2 (en) 2018-05-29 2020-06-23 Facebook Technologies, Llc Shielding techniques for noise reduction in surface electromyography signal measurement and related systems and methods
CN110337269B (zh) 2016-07-25 2021-09-21 脸谱科技有限责任公司 基于神经肌肉信号推断用户意图的方法和装置
US10489986B2 (en) 2018-01-25 2019-11-26 Ctrl-Labs Corporation User-controlled tuning of handstate representation model parameters
US10496168B2 (en) 2018-01-25 2019-12-03 Ctrl-Labs Corporation Calibration techniques for handstate representation modeling using neuromuscular signals
EP3487395A4 (en) 2016-07-25 2020-03-04 CTRL-Labs Corporation METHODS AND APPARATUS FOR PREDICTING MUSCULOSKELETAL POSITION INFORMATION USING PORTABLE SELF-CONTAINED SENSORS
US11337652B2 (en) 2016-07-25 2022-05-24 Facebook Technologies, Llc System and method for measuring the movements of articulated rigid bodies
US11331045B1 (en) 2018-01-25 2022-05-17 Facebook Technologies, Llc Systems and methods for mitigating neuromuscular signal artifacts
US10930157B2 (en) 2017-04-26 2021-02-23 Dropoff, Inc. Systems and methods for automated real-time and advisory routing within a fleet of geographically distributed drivers
US11043205B1 (en) * 2017-06-27 2021-06-22 Amazon Technologies, Inc. Scoring of natural language processing hypotheses
WO2019079757A1 (en) 2017-10-19 2019-04-25 Ctrl-Labs Corporation SYSTEMS AND METHODS FOR IDENTIFYING BIOLOGICAL STRUCTURES ASSOCIATED WITH NEUROMUSCULAR SOURCE SIGNALS
US11986645B2 (en) 2017-11-07 2024-05-21 Neurostim Technologies Llc Restless legs syndrome treatment system
EP3743901A4 (en) 2018-01-25 2021-03-31 Facebook Technologies, Inc. REAL-TIME PROCESSING OF HAND REPRESENTATION MODEL ESTIMATES
WO2019147956A1 (en) 2018-01-25 2019-08-01 Ctrl-Labs Corporation Visualization of reconstructed handstate information
WO2019148002A1 (en) 2018-01-25 2019-08-01 Ctrl-Labs Corporation Techniques for anonymizing neuromuscular signal data
EP3743790A4 (en) 2018-01-25 2021-03-17 Facebook Technologies, Inc. RECONSTRUCTION OF HAND STATE ON THE BASIS OF MULTIPLE ENTRIES
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US10937414B2 (en) 2018-05-08 2021-03-02 Facebook Technologies, Llc Systems and methods for text input using neuromuscular information
US11961494B1 (en) * 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US10592001B2 (en) 2018-05-08 2020-03-17 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
US10861242B2 (en) 2018-05-22 2020-12-08 Magic Leap, Inc. Transmodal input fusion for a wearable system
CN112469469A (zh) 2018-05-25 2021-03-09 脸谱科技有限责任公司 用于提供肌肉下控制的方法和装置
WO2019241701A1 (en) 2018-06-14 2019-12-19 Ctrl-Labs Corporation User identification and authentication with neuromuscular signatures
GB2574886A (en) * 2018-06-22 2019-12-25 Ecole Polytechnique Fed Lausanne Epfl Teleoperation with a wearable sensor system
US11045137B2 (en) 2018-07-19 2021-06-29 Facebook Technologies, Llc Methods and apparatus for improved signal robustness for a wearable neuromuscular recording device
EP3836836B1 (en) * 2018-08-13 2024-03-20 Meta Platforms Technologies, LLC Real-time spike detection and identification
JP2021535465A (ja) 2018-08-31 2021-12-16 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーFacebook Technologies, Llc 神経筋信号のカメラ誘導による解釈
CN112789577B (zh) 2018-09-20 2024-04-05 元平台技术有限公司 增强现实系统中的神经肌肉文本输入、书写和绘图
US10921764B2 (en) 2018-09-26 2021-02-16 Facebook Technologies, Llc Neuromuscular control of physical objects in an environment
WO2020072915A1 (en) 2018-10-05 2020-04-09 Ctrl-Labs Corporation Use of neuromuscular signals to provide enhanced interactions with physical objects in an augmented reality environment
CN109276245B (zh) * 2018-11-01 2020-02-07 重庆中科云从科技有限公司 一种表面肌电信号特征处理与关节角度预测方法及系统
EP3886693A4 (en) 2018-11-27 2022-06-08 Facebook Technologies, LLC. METHOD AND DEVICE FOR AUTOCALIBRATION OF A PORTABLE ELECTRODE SENSING SYSTEM
US11426114B2 (en) * 2018-12-21 2022-08-30 Metal Industries Research & Development Centre Method and system for measuring spasticity
US10905383B2 (en) * 2019-02-28 2021-02-02 Facebook Technologies, Llc Methods and apparatus for unsupervised one-shot machine learning for classification of human gestures and estimation of applied forces
EP3935581A4 (en) 2019-03-04 2022-11-30 Iocurrents, Inc. DATA COMPRESSION AND COMMUNICATION USING MACHINE LEARNING
US11596339B2 (en) * 2019-03-13 2023-03-07 Case Western Reserve University Determining intended user movement to control an external device
US11321891B2 (en) 2020-04-29 2022-05-03 Htc Corporation Method for generating action according to audio signal and electronic device
TWI747258B (zh) * 2020-04-29 2021-11-21 宏達國際電子股份有限公司 依據音訊訊號產生動作的方法及電子裝置
RU2756162C1 (ru) * 2020-07-05 2021-09-28 Андрей Николаевич Брико Способ и комплекс бионического управления техническими устройствами
US20220088378A1 (en) * 2020-09-22 2022-03-24 Gary Thomas Baker, Jr. Methods, systems, apparatuses, and devices for facilitating stimulating of muscles of users
CN112183462B (zh) * 2020-10-23 2023-07-25 东北大学 一种借助残肢表面肌电控制智能鼠标装置的方法
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
US20230218198A1 (en) * 2022-01-13 2023-07-13 Synchron Australia Pty Limited Methods and systems for neurofeedback training

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6546378B1 (en) * 1997-04-24 2003-04-08 Bright Ideas, L.L.C. Signal interpretation engine
CN1490134A (zh) * 2003-09-19 2004-04-21 清华大学 实现动物节律运动的足式仿生机器人控制方法及装置
US20050085865A1 (en) * 2003-10-15 2005-04-21 Tehrani Amir J. Breathing disorder detection and therapy delivery device and method
US20070229529A1 (en) * 2006-03-29 2007-10-04 Masahiro Sekine Texture mapping apparatus, method and program
US20090023422A1 (en) * 2007-07-20 2009-01-22 Macinnis Alexander Method and system for processing information based on detected biometric event data
US20100293115A1 (en) * 2006-08-21 2010-11-18 Kaveh Seyed Momen Method, system and apparatus for real-time classification of muscle signals from self -selected intentional movements
CN102349037A (zh) * 2009-03-13 2012-02-08 微软公司 用于人机接口的基于肌电图的可佩戴控制器
CN102573618A (zh) * 2009-06-26 2012-07-11 甘布罗伦迪亚股份公司 用于数据提取的装置、计算机程序产品及方法
CN103777752A (zh) * 2013-11-02 2014-05-07 上海威璞电子科技有限公司 基于手臂肌肉电流检测和运动传感器的手势识别设备
CN103824436A (zh) * 2013-12-19 2014-05-28 深圳市炎志科技有限公司 一种基于生物反馈控制设备的装置
BR102012023193A2 (pt) * 2012-09-14 2014-12-02 Univ Fed Do Rio Grande Do Sul Estimulador elétrico artificial portátil, processo de produção e método de estímulo elétrico muscular
CN105190578A (zh) * 2013-02-22 2015-12-23 赛尔米克实验室公司 用于基于手势控制的组合肌肉活动传感器信号和惯性传感器信号的方法和设备
CN105373214A (zh) * 2014-08-25 2016-03-02 深圳Tcl新技术有限公司 终端控制方法和系统
CN105457158A (zh) * 2014-05-25 2016-04-06 塞恩克公司 可佩戴的经皮神经刺激器
CN105550871A (zh) * 2015-12-17 2016-05-04 浙江脸谱科技有限公司 一种基于移动互联网的手机银行交易系统
CN105719560A (zh) * 2010-12-22 2016-06-29 Lg电子株式会社 电子设备及其控制方法

Family Cites Families (208)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4055168A (en) 1976-09-21 1977-10-25 The Rockefeller University Posture training device
IL78244A0 (en) 1986-03-24 1986-07-31 Zvi Kamil Instrumentation amplifier arrangement
US5625577A (en) 1990-12-25 1997-04-29 Shukyohojin, Kongo Zen Sohonzan Shorinji Computer-implemented motion analysis method using dynamics
JP3103427B2 (ja) 1992-04-01 2000-10-30 ダイヤメディカルシステム株式会社 生体電気現象検出装置
JP2001504605A (ja) 1996-08-14 2001-04-03 ラティポフ，ヌラフメド，ヌリスラモビチ 空間内のユーザの位置及び方向性を追跡及び表示するための方法、ユーザに対し仮想環境を提示するための方法及びこれらの方法を実現するためのシステム
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
AU5900299A (en) 1998-08-24 2000-03-14 Emory University Method and apparatus for predicting the onset of seizures based on features derived from signals indicative of brain activity
US6244873B1 (en) 1998-10-16 2001-06-12 At&T Corp. Wireless myoelectric control apparatus and methods
US6774885B1 (en) 1999-01-20 2004-08-10 Motek B.V. System for dynamic registration, evaluation, and correction of functional human behavior
US6411843B1 (en) 1999-05-28 2002-06-25 Respironics, Inc. Method and apparatus for producing a model EMG signal from a measured EMG signal
US6720984B1 (en) 2000-06-13 2004-04-13 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Characterization of bioelectric potentials
WO2002009037A2 (en) 2000-07-24 2002-01-31 Reflex Systems Inc. Modeling human beings by symbol manipulation
US6820025B2 (en) 2000-10-30 2004-11-16 The United States Of America As Represented By The Secretary Of The Navy Method and apparatus for motion tracking of an articulated rigid body
WO2003063684A2 (en) 2002-01-25 2003-08-07 Intellipatch, Inc. Evaluation of a patient and prediction of chronic symptoms
JP2003255993A (ja) 2002-03-04 2003-09-10 Ntt Docomo Inc 音声認識システム、音声認識方法、音声認識プログラム、音声合成システム、音声合成方法、音声合成プログラム
US6942621B2 (en) 2002-07-11 2005-09-13 Ge Medical Systems Information Technologies, Inc. Method and apparatus for detecting weak physiological signals
KR100506084B1 (ko) 2002-10-24 2005-08-05 삼성전자주식회사 경혈점 탐색 장치 및 방법
EP1670547B1 (en) 2003-08-18 2008-11-12 Cardiac Pacemakers, Inc. Patient monitoring system
CN1838933B (zh) 2003-08-21 2010-12-08 国立大学法人筑波大学 穿着式动作辅助装置、穿着式动作辅助装置的控制方法和控制用程序
JP4178186B2 (ja) 2003-08-21 2008-11-12 国立大学法人 筑波大学 装着式動作補助装置、装着式動作補助装置の制御方法および制御用プログラム
US7565295B1 (en) 2003-08-28 2009-07-21 The George Washington University Method and apparatus for translating hand gestures
US7574253B2 (en) 2003-09-26 2009-08-11 Northwestern University Signal processing using non-linear regression with a sinusoidal model
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US7308826B2 (en) 2004-06-16 2007-12-18 The University Of Tokyo Muscular strength acquiring method and device based on musculoskeletal model
WO2006074029A2 (en) 2005-01-06 2006-07-13 Cyberkinetics Neurotechnology Systems, Inc. Neurally controlled and multi-device patient ambulation systems and related methods
WO2006105094A2 (en) 2005-03-29 2006-10-05 Duke University Sensor system for identifying and tracking movements of multiple sources
US7428516B2 (en) 2005-06-23 2008-09-23 Microsoft Corporation Handwriting recognition using neural networks
US8190249B1 (en) 2005-08-01 2012-05-29 Infinite Biomedical Technologies, Llc Multi-parametric quantitative analysis of bioelectrical signals
US7725147B2 (en) 2005-09-29 2010-05-25 Nellcor Puritan Bennett Llc System and method for removing artifacts from waveforms
US8280503B2 (en) * 2008-10-27 2012-10-02 Michael Linderman EMG measured during controlled hand movement for biometric analysis, medical diagnosis and related analysis
JP4826459B2 (ja) 2006-01-12 2011-11-30 株式会社豊田中央研究所 筋骨格モデル作成方法、人体応力／ひずみ推定方法、プログラムおよび記録媒体
US8762733B2 (en) 2006-01-30 2014-06-24 Adidas Ag System and method for identity confirmation using physiologic biometrics to determine a physiologic fingerprint
US7580742B2 (en) 2006-02-07 2009-08-25 Microsoft Corporation Using electroencephalograph signals for task classification and activity recognition
US7827000B2 (en) 2006-03-03 2010-11-02 Garmin Switzerland Gmbh Method and apparatus for estimating a motion parameter
US20080009771A1 (en) * 2006-03-29 2008-01-10 Joel Perry Exoskeleton
WO2007120819A2 (en) 2006-04-15 2007-10-25 The Board Of Regents Of The Leland Stanford Junior University Systems and methods for estimating surface electromyography
US20090112080A1 (en) 2006-04-21 2009-04-30 Quantum Applied Science & Research, Inc. System for Measuring Electric Signals
GB2453263A (en) 2006-05-16 2009-04-01 Douglas S Greer System and method for modeling the neocortex and uses therefor
US7661068B2 (en) 2006-06-12 2010-02-09 Microsoft Corporation Extended eraser functions
US9405372B2 (en) 2006-07-14 2016-08-02 Ailive, Inc. Self-contained inertial navigation system for interactive control using movable controllers
JP4267648B2 (ja) 2006-08-25 2009-05-27 株式会社東芝 インターフェース装置及びその方法
US20080221487A1 (en) 2007-03-07 2008-09-11 Motek Bv Method for real time interactive visualization of muscle forces and joint torques in the human body
JP5357142B2 (ja) 2007-04-24 2013-12-04 コーニンクレッカ フィリップス エヌ ヴェ 生理学的パラメータを測定するセンサー配置構成および方法
FR2916069B1 (fr) 2007-05-11 2009-07-31 Commissariat Energie Atomique Procede de traitement pour la capture de mouvement d'une structure articulee
DE102007044554B3 (de) 2007-07-18 2009-07-16 Siemens Ag Sensorband mit optischer Sensorfaser, Sensor mit diesem Sensorband und Verfahren zum Kalibrieren einer optischen Sensorfaser
US20090082692A1 (en) 2007-09-25 2009-03-26 Hale Kelly S System And Method For The Real-Time Evaluation Of Time-Locked Physiological Measures
US7714757B2 (en) 2007-09-26 2010-05-11 Medtronic, Inc. Chopper-stabilized analog-to-digital converter
FI20075798A0 (fi) 2007-11-12 2007-11-12 Polar Electro Oy Elektrodirakenne
US9597015B2 (en) 2008-02-12 2017-03-21 Portland State University Joint angle tracking with inertial sensors
US20100030532A1 (en) 2008-06-12 2010-02-04 Jasbir Arora System and methods for digital human model prediction and simulation
US9037530B2 (en) 2008-06-26 2015-05-19 Microsoft Technology Licensing, Llc Wearable electromyography-based human-computer interface
US8447704B2 (en) 2008-06-26 2013-05-21 Microsoft Corporation Recognizing gestures from forearm EMG signals
US8444564B2 (en) 2009-02-02 2013-05-21 Jointvue, Llc Noninvasive diagnostic system
US8376968B2 (en) 2009-05-15 2013-02-19 The Hong Kong Polytechnic University Method and system for quantifying an intention of movement of a user
US20100315266A1 (en) 2009-06-15 2010-12-16 Microsoft Corporation Predictive interfaces with usability constraints
JP5662443B2 (ja) 2009-07-30 2015-01-28 ユニバーシティ・オブ・ケープ・タウンＵｎｉｖｅｒｓｉｔｙ Ｏｆ Ｃａｐｅ Ｔｏｗｎ 非侵襲性深部筋肉筋電図検査法
US8718980B2 (en) 2009-09-11 2014-05-06 Qualcomm Incorporated Method and apparatus for artifacts mitigation with multiple wireless sensors
US20110077484A1 (en) 2009-09-30 2011-03-31 Nellcor Puritan Bennett Ireland Systems And Methods For Identifying Non-Corrupted Signal Segments For Use In Determining Physiological Parameters
TWI496558B (zh) 2009-10-20 2015-08-21 Tatung Co 使用二極電極貼片量測心電圖與呼吸訊號之系統及方法
US8421634B2 (en) 2009-12-04 2013-04-16 Microsoft Corporation Sensing mechanical energy to appropriate the body for data input
EP2512331A4 (en) 2009-12-16 2015-01-14 Ictalcare As SYSTEM FOR PREDICTING EPILEPTIC INCIDENTS
US8631355B2 (en) 2010-01-08 2014-01-14 Microsoft Corporation Assigning gesture dictionaries
JP5471490B2 (ja) 2010-01-20 2014-04-16 オムロンヘルスケア株式会社 体動検出装置
EP2548153A1 (de) 2010-03-16 2013-01-23 Carlo Trugenberger Authentifizierungssystem, verfahren zur authentifizierung eines objekts, vorrichtung zur erzeugung einer identifikationseinrichtung, verfahren zur erzeugung einer identifikationseinrichtung
US8351651B2 (en) 2010-04-26 2013-01-08 Microsoft Corporation Hand-location post-process refinement in a tracking system
US8754862B2 (en) 2010-07-11 2014-06-17 Lester F. Ludwig Sequential classification recognition of gesture primitives and window-based parameter smoothing for high dimensional touchpad (HDTP) user interfaces
FR2962821B1 (fr) 2010-07-13 2013-02-22 Commissariat Energie Atomique Procede et systeme de classification de signaux neuronaux, et procede de selection d'electrodes pour commande neuronale directe.
KR101840312B1 (ko) 2010-08-02 2018-03-20 더 존스 홉킨스 유니버시티 협동 로봇 제어 및 음향 피드백을 사용하여 힘 센서 정보를 나타내기 위한 방법
US20120066163A1 (en) 2010-09-13 2012-03-15 Nottingham Trent University Time to event data analysis method and system
US9251588B2 (en) 2011-06-20 2016-02-02 Nokia Technologies Oy Methods, apparatuses and computer program products for performing accurate pose estimation of objects
US9128521B2 (en) 2011-07-13 2015-09-08 Lumo Bodytech, Inc. System and method of biomechanical posture detection and feedback including sensor normalization
WO2013029196A1 (zh) 2011-08-26 2013-03-07 国立云林科技大学 回馈控制的穿戴式上肢电刺激装置
US20130077820A1 (en) 2011-09-26 2013-03-28 Microsoft Corporation Machine learning gesture detection
FR2981561B1 (fr) 2011-10-21 2015-03-20 Commissariat Energie Atomique Procede de detection d'activite a capteur de mouvements, dispositif et programme d'ordinateur correspondants
ITTO20111024A1 (it) 2011-11-08 2013-05-09 Bitron Spa Dispositivo di misura per segnali elettromiografici ad alta risoluzione e elevato numero di canali.
US10430066B2 (en) 2011-12-06 2019-10-01 Nri R&D Patent Licensing, Llc Gesteme (gesture primitive) recognition for advanced touch user interfaces
JP2013206273A (ja) 2012-03-29 2013-10-07 Sony Corp 情報処理装置、情報処理方法、および情報処理システム
US10130298B2 (en) 2012-04-03 2018-11-20 Carnegie Mellon University Musculoskeletal activity recognition system and method
US9278453B2 (en) 2012-05-25 2016-03-08 California Institute Of Technology Biosleeve human-machine interface
WO2013177592A2 (en) 2012-05-25 2013-11-28 Emotiv Lifesciences, Inc. System and method for providing and aggregating biosignals and action data
US10921886B2 (en) 2012-06-14 2021-02-16 Medibotics Llc Circumferential array of electromyographic (EMG) sensors
US9891718B2 (en) 2015-04-22 2018-02-13 Medibotics Llc Devices for measuring finger motion and recognizing hand gestures
US20150366504A1 (en) 2014-06-20 2015-12-24 Medibotics Llc Electromyographic Clothing
US9582072B2 (en) 2013-09-17 2017-02-28 Medibotics Llc Motion recognition clothing [TM] with flexible electromagnetic, light, or sonic energy pathways
US9814426B2 (en) 2012-06-14 2017-11-14 Medibotics Llc Mobile wearable electromagnetic brain activity monitor
US8484022B1 (en) 2012-07-27 2013-07-09 Google Inc. Adaptive auto-encoders
US10234941B2 (en) 2012-10-04 2019-03-19 Microsoft Technology Licensing, Llc Wearable sensor for tracking articulated body-parts
US10009644B2 (en) 2012-12-04 2018-06-26 Interaxon Inc System and method for enhancing content using brain-state data
US20140196131A1 (en) 2013-01-07 2014-07-10 Salutron, Inc. User authentication based on a wrist vein pattern
US20140198034A1 (en) 2013-01-14 2014-07-17 Thalmic Labs Inc. Muscle interface device and method for interacting with content displayed on wearable head mounted displays
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US20140245200A1 (en) 2013-02-25 2014-08-28 Leap Motion, Inc. Display control with gesture-selectable control paradigms
US20140249397A1 (en) 2013-03-01 2014-09-04 Thalmic Labs Inc. Differential non-contact biopotential sensor
US9766709B2 (en) 2013-03-15 2017-09-19 Leap Motion, Inc. Dynamic user interactions for display control
US9361411B2 (en) 2013-03-15 2016-06-07 Honeywell International, Inc. System and method for selecting a respirator
US9436287B2 (en) 2013-03-15 2016-09-06 Qualcomm Incorporated Systems and methods for switching processing modes using gestures
IN2013MU01148A (zh) 2013-03-26 2015-04-24 Tata Consultancy Services Ltd
US10620709B2 (en) 2013-04-05 2020-04-14 Ultrahaptics IP Two Limited Customized gesture interpretation
WO2014186370A1 (en) 2013-05-13 2014-11-20 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices that accommodate different user forms
US10314506B2 (en) 2013-05-15 2019-06-11 Polar Electro Oy Heart activity sensor structure
US10620775B2 (en) 2013-05-17 2020-04-14 Ultrahaptics IP Two Limited Dynamic interactive objects
US9218574B2 (en) 2013-05-29 2015-12-22 Purepredictive, Inc. User interface for machine learning
EP3777677A3 (en) 2013-05-31 2021-02-24 President And Fellows Of Harvard College Soft exosuit for assistance with human motion
KR101933921B1 (ko) 2013-06-03 2018-12-31 삼성전자주식회사 포즈 추정 방법 및 장치
EP3003149A4 (en) 2013-06-03 2017-06-14 Kacyvenski, Isaiah Motion sensor and analysis
KR101501661B1 (ko) 2013-06-10 2015-03-12 한국과학기술연구원 착용형 근전도 센서 시스템
WO2014204330A1 (en) 2013-06-17 2014-12-24 3Divi Company Methods and systems for determining 6dof location and orientation of head-mounted display and associated user movements
US20140376773A1 (en) 2013-06-21 2014-12-25 Leap Motion, Inc. Tunable operational parameters in motion-capture and touchless interface operation
US10402517B2 (en) 2013-06-26 2019-09-03 Dassault Systémes Simulia Corp. Musculo-skeletal modeling using finite element analysis, process integration, and design optimization
US9408316B2 (en) 2013-07-22 2016-08-02 Thalmic Labs Inc. Systems, articles and methods for strain mitigation in wearable electronic devices
US20150029092A1 (en) 2013-07-23 2015-01-29 Leap Motion, Inc. Systems and methods of interpreting complex gestures
US10188309B2 (en) 2013-11-27 2019-01-29 North Inc. Systems, articles, and methods for electromyography sensors
US10042422B2 (en) 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US11426123B2 (en) 2013-08-16 2022-08-30 Meta Platforms Technologies, Llc Systems, articles and methods for signal routing in wearable electronic devices that detect muscle activity of a user using a set of discrete and separately enclosed pod structures
CA2921954A1 (en) 2013-08-23 2015-02-26 Thalmic Labs Inc. Systems, articles, and methods for human-electronics interfaces
US9788789B2 (en) 2013-08-30 2017-10-17 Thalmic Labs Inc. Systems, articles, and methods for stretchable printed circuit boards
US9372535B2 (en) 2013-09-06 2016-06-21 Thalmic Labs Inc. Systems, articles, and methods for electromyography-based human-electronics interfaces
US9483123B2 (en) * 2013-09-23 2016-11-01 Thalmic Labs Inc. Systems, articles, and methods for gesture identification in wearable electromyography devices
WO2015044851A2 (en) 2013-09-25 2015-04-02 Mindmaze Sa Physiological parameter measurement and feedback system
US9389694B2 (en) 2013-10-22 2016-07-12 Thalmic Labs Inc. Systems, articles, and methods for gesture identification in wearable electromyography devices
GB2519987B (en) 2013-11-04 2021-03-03 Imperial College Innovations Ltd Biomechanical activity monitoring
US9594433B2 (en) 2013-11-05 2017-03-14 At&T Intellectual Property I, L.P. Gesture-based controls via bone conduction
CN105722479B (zh) 2013-11-13 2018-04-13 赫尔实验室有限公司 用于控制大脑机器接口和神经假肢系统的系统
US20150157944A1 (en) 2013-12-06 2015-06-11 Glenn I. Gottlieb Software Application for Generating a Virtual Simulation for a Sport-Related Activity
US9367139B2 (en) 2013-12-12 2016-06-14 Thalmic Labs Inc. Systems, articles, and methods for gesture identification in wearable electromyography devices
US9524580B2 (en) 2014-01-06 2016-12-20 Oculus Vr, Llc Calibration of virtual reality systems
US9659403B1 (en) 2014-01-06 2017-05-23 Leap Motion, Inc. Initializing orientation in space for predictive information for free space gesture control and communication
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
US9600030B2 (en) 2014-02-14 2017-03-21 Thalmic Labs Inc. Systems, articles, and methods for elastic electrical cables and wearable electronic devices employing same
WO2015131157A1 (en) 2014-02-28 2015-09-03 Vikas Gupta Gesture operated wrist mounted camera system
US10613642B2 (en) 2014-03-12 2020-04-07 Microsoft Technology Licensing, Llc Gesture parameter tuning
US20150261306A1 (en) 2014-03-17 2015-09-17 Thalmic Labs Inc. Systems, devices, and methods for selecting between multiple wireless connections
US10199008B2 (en) 2014-03-27 2019-02-05 North Inc. Systems, devices, and methods for wearable electronic devices as state machines
US10409382B2 (en) 2014-04-03 2019-09-10 Honda Motor Co., Ltd. Smart tutorial for gesture control system
US20150296553A1 (en) 2014-04-11 2015-10-15 Thalmic Labs Inc. Systems, devices, and methods that establish proximity-based wireless connections
US9858391B2 (en) 2014-04-17 2018-01-02 The Boeing Company Method and system for tuning a musculoskeletal model
US20170080346A1 (en) 2014-05-01 2017-03-23 Mohamad Abbas Methods and systems relating to personalized evolving avatars
US20150325202A1 (en) 2014-05-07 2015-11-12 Thalmic Labs Inc. Systems, devices, and methods for wearable computers with heads-up displays
US9785247B1 (en) 2014-05-14 2017-10-10 Leap Motion, Inc. Systems and methods of tracking moving hands and recognizing gestural interactions
USD717685S1 (en) 2014-05-15 2014-11-18 Thalmic Labs Inc. Expandable armband
USD756359S1 (en) 2014-05-15 2016-05-17 Thalmic Labs Inc. Expandable armband device
US9741169B1 (en) 2014-05-20 2017-08-22 Leap Motion, Inc. Wearable augmented reality devices with object detection and tracking
US10782657B2 (en) 2014-05-27 2020-09-22 Ultrahaptics IP Two Limited Systems and methods of gestural interaction in a pervasive computing environment
US9880632B2 (en) 2014-06-19 2018-01-30 Thalmic Labs Inc. Systems, devices, and methods for gesture identification
WO2015199747A1 (en) 2014-06-23 2015-12-30 Thalmic Labs Inc. Systems, articles, and methods for wearable human-electronics interface devices
US10216274B2 (en) 2014-06-23 2019-02-26 North Inc. Systems, articles, and methods for wearable human-electronics interface devices
US9552069B2 (en) 2014-07-11 2017-01-24 Microsoft Technology Licensing, Llc 3D gesture recognition
US9734704B2 (en) 2014-08-12 2017-08-15 Dominick S. LEE Wireless gauntlet for electronic control
WO2016041088A1 (en) 2014-09-19 2016-03-24 Sulon Technologies Inc. System and method for tracking wearable peripherals in augmented reality and virtual reality applications
US10274992B2 (en) 2014-11-12 2019-04-30 Kyocera Corporation Wearable device with muscle activity detector
US9612661B2 (en) 2015-01-02 2017-04-04 Wearable Devices Ltd. Closed loop feedback interface for wearable devices
US9720515B2 (en) * 2015-01-02 2017-08-01 Wearable Devices Ltd. Method and apparatus for a gesture controlled interface for wearable devices
US9696795B2 (en) 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
US20160274758A1 (en) 2015-03-20 2016-09-22 Thalmic Labs Inc. Systems, devices, and methods for mitigating false positives in human-electronics interfaces
US10432842B2 (en) 2015-04-06 2019-10-01 The Texas A&M University System Fusion of inertial and depth sensors for movement measurements and recognition
US10078435B2 (en) 2015-04-24 2018-09-18 Thalmic Labs Inc. Systems, methods, and computer program products for interacting with electronically displayed presentation materials
GB2537899B (en) 2015-04-30 2018-02-21 Hy5Pro As Control of digits for artificial hand
US9654477B1 (en) 2015-05-05 2017-05-16 Wells Fargo Bank, N. A. Adaptive authentication
US9898864B2 (en) 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
US20180333575A1 (en) 2015-06-02 2018-11-22 Battelle Memorial Institute Non-invasive motor impairment rehabilitation system
ES2933725T3 (es) 2015-06-02 2023-02-13 Battelle Memorial Institute Manguito neural para estimulación, detección y registro neuromuscular
WO2016210441A1 (en) 2015-06-26 2016-12-29 Carnegie Mellon University System for wearable, low-cost electrical impedance tomography for non-invasive gesture recognition
US9240069B1 (en) 2015-06-30 2016-01-19 Ariadne's Thread (Usa), Inc. Low-latency virtual reality display system
EP3329484A4 (en) 2015-07-29 2019-06-05 Sensel Inc. SYSTEMS AND METHODS FOR HANDLING A VIRTUAL ENVIRONMENT
KR101626748B1 (ko) 2015-08-03 2016-06-14 숭실대학교산학협력단 뇌파와 근전도를 이용한 움직임 패턴 측정 장치 및 그 방법
US10854104B2 (en) 2015-08-28 2020-12-01 Icuemotion Llc System for movement skill analysis and skill augmentation and cueing
US9824287B2 (en) 2015-09-29 2017-11-21 Huami Inc. Method, apparatus and system for biometric identification
US10459537B2 (en) 2015-09-30 2019-10-29 Stmicroelectronics, Inc. Encapsulated pressure sensor
US11389083B2 (en) 2015-10-06 2022-07-19 University of Pittsburgh—of the Commonwealth System of Higher Education Method, device and system for sensing neuromuscular, physiological, biomechanical, and musculoskeletal activity
US9881273B2 (en) 2015-10-28 2018-01-30 Disney Interprises, Inc. Automatic object detection and state estimation via electronic emissions sensing
US11106273B2 (en) 2015-10-30 2021-08-31 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays
US10595941B2 (en) 2015-10-30 2020-03-24 Orthosensor Inc. Spine measurement system and method therefor
US10776712B2 (en) 2015-12-02 2020-09-15 Preferred Networks, Inc. Generative machine learning systems for drug design
CN105511615B (zh) 2015-12-04 2019-03-05 深圳大学 基于emg的可穿戴式文本输入系统及方法
US20170188980A1 (en) 2016-01-06 2017-07-06 Empire Technology Development Llc Wearable sensor based body modeling
US11402402B2 (en) 2016-01-12 2022-08-02 Bigmotion Technologies Inc. Systems and methods for human body motion capture
US20170259167A1 (en) 2016-03-14 2017-09-14 Nathan Sterling Cook Brainwave virtual reality apparatus and method
US9864434B2 (en) 2016-03-30 2018-01-09 Huami Inc. Gesture control of interactive events using multiple wearable devices
US10503253B2 (en) 2016-03-31 2019-12-10 Intel Corporation Sensor signal processing to determine finger and/or hand position
CN109313492B (zh) 2016-03-31 2022-03-18 森赛尔股份有限公司 人机接口系统
US10852835B2 (en) 2016-04-15 2020-12-01 Board Of Regents, The University Of Texas System Systems, apparatuses and methods for controlling prosthetic devices by gestures and other modalities
US10256535B2 (en) 2016-04-19 2019-04-09 Skyworks Solutions, Inc. Selectively shielding radio frequency module with multi-layer antenna
US9864431B2 (en) 2016-05-11 2018-01-09 Microsoft Technology Licensing, Llc Changing an application state using neurological data
US10203751B2 (en) 2016-05-11 2019-02-12 Microsoft Technology Licensing, Llc Continuous motion controls operable using neurological data
US10555865B2 (en) * 2016-05-25 2020-02-11 Carnegie Mellon University Torque control methods for an exoskeleton device
KR101790147B1 (ko) 2016-06-22 2017-10-25 재단법인 실감교류인체감응솔루션연구단 가상 객체 조작 시스템 및 방법
US10154791B2 (en) 2016-07-01 2018-12-18 L.I.F.E. Corporation S.A. Biometric identification by garments having a plurality of sensors
US10496168B2 (en) 2018-01-25 2019-12-03 Ctrl-Labs Corporation Calibration techniques for handstate representation modeling using neuromuscular signals
US10489986B2 (en) 2018-01-25 2019-11-26 Ctrl-Labs Corporation User-controlled tuning of handstate representation model parameters
CN110337269B (zh) 2016-07-25 2021-09-21 脸谱科技有限责任公司 基于神经肌肉信号推断用户意图的方法和装置
WO2018022658A1 (en) 2016-07-25 2018-02-01 Ctrl-Labs Corporation Adaptive system for deriving control signals from measurements of neuromuscular activity
EP3487395A4 (en) 2016-07-25 2020-03-04 CTRL-Labs Corporation METHODS AND APPARATUS FOR PREDICTING MUSCULOSKELETAL POSITION INFORMATION USING PORTABLE SELF-CONTAINED SENSORS
US11337652B2 (en) 2016-07-25 2022-05-24 Facebook Technologies, Llc System and method for measuring the movements of articulated rigid bodies
WO2018102429A2 (en) 2016-12-02 2018-06-07 Pison Technology, Inc. Detecting and using body tissue electrical signals
US10646139B2 (en) 2016-12-05 2020-05-12 Intel Corporation Body movement tracking
US20190025919A1 (en) 2017-01-19 2019-01-24 Mindmaze Holding Sa System, method and apparatus for detecting facial expression in an augmented reality system
US10796599B2 (en) 2017-04-14 2020-10-06 Rehabilitation Institute Of Chicago Prosthetic virtual reality training interface and related methods
US10481699B2 (en) 2017-07-27 2019-11-19 Facebook Technologies, Llc Armband for tracking hand motion using electrical impedance measurement
US20190076716A1 (en) 2017-09-12 2019-03-14 Intel Corporation Activity training system
WO2019079757A1 (en) 2017-10-19 2019-04-25 Ctrl-Labs Corporation SYSTEMS AND METHODS FOR IDENTIFYING BIOLOGICAL STRUCTURES ASSOCIATED WITH NEUROMUSCULAR SOURCE SIGNALS
US20190150777A1 (en) 2017-11-17 2019-05-23 Ctrl-Labs Corporation Dual-supply analog circuitry for sensing surface emg signals
US10827942B2 (en) 2018-01-03 2020-11-10 Intel Corporation Detecting fatigue based on electroencephalogram (EEG) data
EP3743901A4 (en) 2018-01-25 2021-03-31 Facebook Technologies, Inc. REAL-TIME PROCESSING OF HAND REPRESENTATION MODEL ESTIMATES
WO2019147956A1 (en) 2018-01-25 2019-08-01 Ctrl-Labs Corporation Visualization of reconstructed handstate information
WO2019148002A1 (en) 2018-01-25 2019-08-01 Ctrl-Labs Corporation Techniques for anonymizing neuromuscular signal data
EP3742962A4 (en) 2018-01-25 2021-04-28 Facebook Technologies, LLC. NEUROMUSCULAR SIGNAL ARTIFACT MITIGATION METHODS AND APPARATUS
EP3743790A4 (en) 2018-01-25 2021-03-17 Facebook Technologies, Inc. RECONSTRUCTION OF HAND STATE ON THE BASIS OF MULTIPLE ENTRIES

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6546378B1 (en) * 1997-04-24 2003-04-08 Bright Ideas, L.L.C. Signal interpretation engine
CN1490134A (zh) * 2003-09-19 2004-04-21 清华大学 实现动物节律运动的足式仿生机器人控制方法及装置
US20050085865A1 (en) * 2003-10-15 2005-04-21 Tehrani Amir J. Breathing disorder detection and therapy delivery device and method
US20070229529A1 (en) * 2006-03-29 2007-10-04 Masahiro Sekine Texture mapping apparatus, method and program
US20100293115A1 (en) * 2006-08-21 2010-11-18 Kaveh Seyed Momen Method, system and apparatus for real-time classification of muscle signals from self -selected intentional movements
US20090023422A1 (en) * 2007-07-20 2009-01-22 Macinnis Alexander Method and system for processing information based on detected biometric event data
CN102349037A (zh) * 2009-03-13 2012-02-08 微软公司 用于人机接口的基于肌电图的可佩戴控制器
CN102573618A (zh) * 2009-06-26 2012-07-11 甘布罗伦迪亚股份公司 用于数据提取的装置、计算机程序产品及方法
CN105719560A (zh) * 2010-12-22 2016-06-29 Lg电子株式会社 电子设备及其控制方法
BR102012023193A2 (pt) * 2012-09-14 2014-12-02 Univ Fed Do Rio Grande Do Sul Estimulador elétrico artificial portátil, processo de produção e método de estímulo elétrico muscular
CN105190578A (zh) * 2013-02-22 2015-12-23 赛尔米克实验室公司 用于基于手势控制的组合肌肉活动传感器信号和惯性传感器信号的方法和设备
CN103777752A (zh) * 2013-11-02 2014-05-07 上海威璞电子科技有限公司 基于手臂肌肉电流检测和运动传感器的手势识别设备
CN103824436A (zh) * 2013-12-19 2014-05-28 深圳市炎志科技有限公司 一种基于生物反馈控制设备的装置
CN105457158A (zh) * 2014-05-25 2016-04-06 塞恩克公司 可佩戴的经皮神经刺激器
CN105373214A (zh) * 2014-08-25 2016-03-02 深圳Tcl新技术有限公司 终端控制方法和系统
CN105550871A (zh) * 2015-12-17 2016-05-04 浙江脸谱科技有限公司 一种基于移动互联网的手机银行交易系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
ALBERTO LÓPEZ DELIS等: "Development of A Myoelectric Controller Based On Knee Angle Estimation", 《BIODEVICES 2009 - INTERNATIONAL CONFERENCE ON BIOMEDICAL ELECTRONICS AND DEVICES》 *
REARDON THOMAS等: "Outcomes of pharmacist-managed diabetes care services in a community health center", 《63RD ANNUAL MEETING OF THE AMERICAN-DIABETES-ASSOCIATION》 *
T. DESPLENTER等: "Development of an EMG-driven control system for a wearable mechatronic elbow brace", 《 2016 IEEE-EMBS INTERNATIONAL CONFERENCE ON BIOMEDICAL AND HEALTH INFORMATICS (BHI)》 *
侯泽跃: "纯电动汽车转矩控制策略的研究", 《中国高新技术企业》 *
尹宝才等: "基于模型的头部运动估计和面部图像合成", 《计算机研究与发展》 *
廖备水等: "自主计算概念模型与实现方法", 《软件学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11000211B2 (en) 2016-07-25 2021-05-11 Facebook Technologies, Llc Adaptive system for deriving control signals from measurements of neuromuscular activity
CN113688660A (zh) * 2020-05-19 2021-11-23 丰田自动车株式会社 计算机实现的方法、数据处理装置、非侵入性脑电接口系统和非暂时性计算机可读介质
CN112085052A (zh) * 2020-07-28 2020-12-15 中国科学院深圳先进技术研究院 运动想象分类模型的训练方法、运动想象方法及相关设备
CN115381469A (zh) * 2022-08-12 2022-11-25 歌尔股份有限公司 肌电信号采集装置及控制方法、电子设备

Also Published As

Publication number Publication date
EP3487457B1 (en) 2023-09-06
WO2018022658A1 (en) 2018-02-01
EP3487457A4 (en) 2020-08-12
EP3487457A1 (en) 2019-05-29
US20180020951A1 (en) 2018-01-25
CN110312471B (zh) 2022-04-29
US11000211B2 (en) 2021-05-11

Similar Documents

Publication Publication Date Title
CN110312471A (zh) 从神经肌肉活动测量中导出控制信号的自适应系统
US11587242B1 (en) Real-time processing of handstate representation model estimates
US11337652B2 (en) System and method for measuring the movements of articulated rigid bodies
US11361522B2 (en) User-controlled tuning of handstate representation model parameters
US11069148B2 (en) Visualization of reconstructed handstate information
US10817795B2 (en) Handstate reconstruction based on multiple inputs
US10496168B2 (en) Calibration techniques for handstate representation modeling using neuromuscular signals
CN110300542A (zh) 使用可穿戴的自动传感器预测肌肉骨骼位置信息的方法和装置
CN110337269A (zh) 基于神经肌肉信号推断用户意图的方法和装置
Luzhnica et al. A sliding window approach to natural hand gesture recognition using a custom data glove
JP2021535465A (ja) 神経筋信号のカメラ誘導による解釈
EP3951564A1 (en) Methods and apparatus for simultaneous detection of discrete and continuous gestures
Fahim et al. A visual analytic in deep learning approach to eye movement for human-machine interaction based on inertia measurement
EP3897890A1 (en) Methods and apparatus for unsupervised machine learning for classification of gestures and estimation of applied forces

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201130

Address after: California, USA

Applicant after: Facebook Technologies, LLC

Address before: New York, USA

Applicant before: CTRL-LABS Corp.

GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: California, USA

Patentee after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Patentee before: Facebook Technologies, LLC