CN111902847A - 手部状态表示模型估计的实时处理 - Google Patents

手部状态表示模型估计的实时处理 Download PDF

Info

Publication number
CN111902847A
CN111902847A CN201980022115.1A CN201980022115A CN111902847A CN 111902847 A CN111902847 A CN 111902847A CN 201980022115 A CN201980022115 A CN 201980022115A CN 111902847 A CN111902847 A CN 111902847A
Authority
CN
China
Prior art keywords
statistical model
output
trained statistical
smoothing
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980022115.1A
Other languages
English (en)
Inventor
图多尔·吉尔杰卡-蒂龙
亚当·阿尔-纳特谢
内森·丹尼尔森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Facebook Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Technologies LLC filed Critical Facebook Technologies LLC
Publication of CN111902847A publication Critical patent/CN111902847A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

提供了用于提供手部的动态更新的肌肉骨骼表示的系统和方法。该系统包括：被配置成连续记录来自用户的多个神经肌肉信号的多个神经肌肉传感器；以及至少一个计算机处理器，该至少一个计算机处理器被编程为将多个神经肌肉信号作为输入提供给经训练的统计模型，并且实时地时间平滑该经训练的统计模型的输出。系统还被编程为基于经训练的统计模型的平滑后输出来确定描述肌肉骨骼表示的两个或更多个连接节段之间的空间关系的位置信息、描述由肌肉骨骼表示的至少一个节段施加的力的力信息，并且至少部分地基于位置信息和力信息来更新手部的肌肉骨骼表示。

Description

手部状态表示模型估计的实时处理
相关申请
本申请根据35 U.S.C.§119(e)要求于2018年1月25日提交的题为“REAL-TIMEPROCESSING OF HANDSTATE REPRESENTATION MODEL ESTIMATES”、序列号为62/621,741的美国临时申请的优先权，其全部内容通过引用结合于此。
背景
在生成人体的肌肉骨骼表示(musculoskeletal representation)的一些计算机应用中，希望应用知道用户身体的空间定位、定向(orientation)和移动，以提供身体移动的现实表示。例如，在虚拟现实(VR)环境中，跟踪用户手部的空间位置使得应用能够在VR环境中表示手部运动，这允许用户(例如，通过抓握或操纵)与VR环境中的虚拟对象进行交互。使用可穿戴传感器跟踪用户身体移动的一些现有技术包括，使用从附着于用户身体不同部位的多个惯性测量单元(IMU)获得的信息，以及使用外部成像设备(例如，固定位置照相机)来重建用户身体部位的位置和定向。
概述
在生成人体的肌肉骨骼表示的一些计算机应用中，可以理解的是，希望该应用提供身体位置、移动和力的更真实的表示。在示例中，在VR环境中，跟踪用户手部的空间位置使得能够虚拟地再现手部，并且逼真地近似自然运动学和手势的再现可以增强用户在虚拟环境中的沉浸感。尽管一些基于照相机的系统试图跟踪用户身体的移动，但是应当理解，通过使用可穿戴的神经肌肉传感器来进行测量并对人体解剖构造(anatomy)建模，可以改进这种解析。
一些实施例涉及预测关于用户手臂和/或手的部分的定位和移动的信息，用户手臂和/或手的部分被表示为多节段铰接刚体系统(multi-segment articulated rigidbody system)，其具有连接刚体系统的多个节段的关节(joints)。当用户执行一个或更多个移动时，由放置在用户身体上多个定位处的可穿戴的神经肌肉传感器记录的信号作为输入被提供给统计模型，该统计模型被训练来预测与基于计算机的肌肉骨骼表示中的多个刚性节段相关联的位置(例如，绝对位置、相对位置、定向)和力的估计，该基于计算机的肌肉骨骼表示与手相关联。与和手相关联的肌肉骨骼表示的节段相关联的位置信息和力信息的组合在本文中被通俗地称为肌肉骨骼表示的“手部状态(handstate)”。当用户执行不同的移动时，经训练的统计模型将由可穿戴的神经肌肉传感器记录的神经肌肉信号解析为位置和力估计(手部状态信息)，这些估计用于更新肌肉骨骼表示。随着神经肌肉信号被连续记录，肌肉骨骼表示被实时地(或者接近实时地)更新，并且手部的(例如，在虚拟现实环境内的)视觉表示基于当前的手部状态估计被可选地再现。
在一些方面，提供了一种用于提供手部的动态更新的肌肉骨骼表示的计算机化系统。在一些实施例中，该系统包括被配置成连续记录来自用户的多个神经肌肉信号的多个神经肌肉传感器，以及至少一个计算机处理器，该至少一个计算机处理器被编程为：将多个神经肌肉信号作为输入提供给经训练的统计模型，实时地时间平滑(temporallysmoothing)经训练的统计模型的输出，基于经训练的统计模型的平滑后输出来确定描述肌肉骨骼表示的两个或更多个连接节段之间的空间关系的位置信息、描述由肌肉骨骼表示的至少一个节段施加的力的力信息，并且至少部分地基于位置信息和力信息来更新手部的肌肉骨骼表示。
根据一些实施例，时间平滑经训练的统计模型的输出包括使用至少一个滤波器来处理经训练的统计模型的输出。根据一些实施例，至少一个滤波器包括选自一个组的至少一个滤波器，该组包括：指数滤波器、卡尔曼滤波器(Kalman filter)、非线性卡尔曼滤波器、粒子滤波器和贝叶斯滤波器(Bayesian filter)。根据一些实施例，至少一个计算机处理器被编程为确定经训练的统计模型的准确性，并且响应于所确定的经训练的统计模型的准确性，实时地时间平滑该经训练的统计模型的输出。
根据一些实施例，至少一个计算机处理器被编程为确定经训练模型的输入准确性和输出准确性中的至少一个。
根据一些实施例，时间平滑经训练的统计模型的输出包括在经训练的统计模型中包括至少一个时间平滑特性。根据一些实施例，经训练的统计模型包括至少一个时间平滑特性，包括用惩罚项(penalization term)来训练统计模型以提高模型输出的平滑度。
根据一些实施例，经训练的统计模型包括至少一个时间平滑特性包括用误差函数来训练统计模型，该误差函数包括统计模型的输出的时间导数估计中的误差。根据一些实施例，经训练的统计模型包括至少一个时间平滑特性包括在该经训练的统计模型中包括关于统计模型的输出的平滑度的先验(prior)。
根据一些实施例，时间平滑经训练的统计模型的输出还包括，基于在第一时间点记录的第一神经肌肉信号和在该第一时间点之后的至少一个第二时间点记录的第二神经肌肉信号，来生成经训练的统计模型的第一时间点的输出。根据一些实施例，至少一个计算机处理器还被编程为确定经训练的统计模型在第一时间点的平滑后输出的质量，基于所确定的质量来调整至少一个平滑参数，以及基于调整后的至少一个平滑参数来时间平滑经训练的统计模型在第二时间点的输出。
根据一些实施例，至少一个计算机处理器还被编程为在记录多个神经肌肉信号期间，至少部分地基于用户运动的至少一个特性来时间平滑经训练的统计模型的输出。根据一些实施例，系统还包括至少一个惯性测量单元(IMU)，该至少一个惯性测量单元被配置成连续记录多个惯性测量单元信号，其中至少部分地基于该多个惯性测量单元信号来确定用户运动的至少一个特性。
根据一些实施例，用户运动的至少一个特性包括用户移动用户的手和/或手臂的速度。
根据一些实施例，时间平滑经训练的统计模型的输出包括当确定用户正在以大于阈值的速度移动用户的手和/或手臂时，增加经训练的统计模型的输出的时间平滑量。根据一些实施例，至少一个计算机处理器还被编程为，至少部分地基于经训练的统计模型的平滑后输出来更新该经训练的统计模型的损失函数(loss function)。
根据一些实施例，至少一个计算机处理器还被编程为：执行提供虚拟现实环境的应用，基于用户身体部位(例如手)的更新的肌肉骨骼模型来在虚拟现实环境中再现手部的视觉表示，并且至少部分地基于手部的视觉表示与虚拟现实环境内一个或更多个对象之间的空间关系来调整经训练的统计模型的输出的时间平滑量。根据一些实施例，当手部的视觉表示接近虚拟现实环境中的对象时，调整经训练的统计模型的输出的时间平滑量包括减少时间平滑量和增加时间平滑量中的至少一个。根据一些实施例，时间平滑量在选定的自由度上增加或减少。
根据其他方面，提供了一种用于动态更新手部的肌肉骨骼表示的方法。在一些实施例中，该方法包括：从多个神经肌肉传感器接收来自用户的多个神经肌肉信号，执行表示手部状态的经训练的统计模型，将多个神经肌肉信号作为输入提供给所执行的统计模型，实时地时间平滑经训练的统计模型的输出，基于经训练的统计模型的平滑后输出来确定描述肌肉骨骼表示的两个或更多个连接节段之间的空间关系的位置信息，和描述由肌肉骨骼表示的至少一个节段施加的力的力信息，以及至少部分地基于位置信息和力信息来更新手部的肌肉骨骼表示。
根据其他方面，一种编码有多个指令的计算机可读介质，这些指令当被至少一个计算机处理器执行时，执行用于提供手部的动态更新的肌肉骨骼表示的方法。在一些实施例中，该方法包括：从多个神经肌肉传感器接收来自用户的多个神经肌肉信号，执行表示手部状态的经训练的统计模型，将多个神经肌肉信号作为输入提供给所执行的统计模型，实时地时间平滑经训练的统计模型的输出，基于经训练的统计模型的平滑后输出来确定描述肌肉骨骼表示的两个或更多个连接节段之间的空间关系的位置信息，和描述由肌肉骨骼表示的至少一个节段施加的力的力信息，以及至少部分地基于位置信息和力信息来更新手部的肌肉骨骼表示。
应当理解，前述概念和下面更详细讨论的附加概念的所有组合(只要这些概念不相互矛盾)都被认为是本文公开的发明主题的一部分。特别地，出现在本公开末尾的所要求保护的主题的所有组合被认为是本文公开的发明主题的一部分。
附图简述
将参考以下附图描述该技术的各种非限制性实施例。应当理解，附图不一定按比例绘制。
图1是根据本文所描述技术的一些实施例的基于计算机的系统的示意图，该系统用于基于神经肌肉传感器数据生成肌肉骨骼表示；
图2是示出根据本文所述一些实施例的用于处理位置信息和力信息的基于计算机的过程的流程图；
图3是示出根据本文所述一些实施例的用于实时地平滑统计模型的输出的基于计算机的过程的流程图；
图4是示出根据本文所述一些实施例的用于实时地时间平滑输出的基于计算机的过程的流程图；
图5是示出根据本文所述一些实施例的用于在经训练的统计模型中包括平滑特性的基于计算机的过程的流程图；
图6是根据本文所描述技术的一些实施例的用于生成统计模型的说明性过程的流程图，该统计模型用于使用从传感器记录的信号来预测肌肉骨骼位置信息；
图7A示出了根据本文所描述技术的一些实施例的可穿戴系统，该可穿戴系统具有围绕弹性带周向布置的16个EMG传感器，该弹性带被配置成围绕用户的下臂或手腕佩戴；
图7B是图7A中所示的16个EMG传感器之一的截面图；以及
图8A和图8B示意性地示出了在其上实现一些实施例的基于计算机的系统的部件。图8A示出了基于计算机的系统的可穿戴部分，并且图8B示出了连接到计算机的加密狗(dongle)部分，其中该加密狗部分被配置成与可穿戴部分通信。
详细描述
尽管存在用于跟踪人类移动的基于照相机的系统，但是它们缺乏对用户身体部位(例如手)的真实地跟踪(以及可选地再现)，至少是因为这种系统中的时间平滑没有考虑真实的物理构造(physics)、人体解剖构造(包括关节运动学)以及模式化(stereotyped)且常见的手势。本文描述的一些实施例解决了用于跟踪并可选地再现用户身体部位(例如手)的现有系统的限制，以便更真实地再现用户身体部位的位置和/或移动。用户身体部位(例如手)的更真实的再现可以增强虚拟环境中的沉浸感。
人类肌肉骨骼系统的全部或部分可以被建模为多节段铰接刚体系统，其中关节形成不同节段之间的接合部(interface)，并且关节角度定义了模型中连接节段之间的空间关系。关节处移动的限制由连接节段的关节类型和限制关节处移动范围的生物结构(例如，肌肉、肌腱、韧带)决定。例如，连接上臂和躯干的肩关节以及连接大腿和躯干的髋关节是球窝关节，其允许伸展和弯曲移动以及旋转移动。相比之下，连接上臂和前臂的肘关节以及连接大腿和小腿的膝关节允许更有限的运动范围。如本文所述，多节段铰接刚体系统用于对人体肌肉骨骼系统的部分进行建模。然而，应当理解，人体肌肉骨骼系统的一些节段(例如，前臂)虽然在铰接刚体系统中近似为刚体，但是可以包括多个刚性结构(例如，前臂的尺骨和桡骨)，这些刚性结构在节段内提供了刚体模型没有明确考虑的更复杂的移动。因此，与本文所描述技术的一些实施例一起使用的铰接刚体系统的模型可以包括表示不是严格刚体的身体部位的组合的节段。
在运动学中，刚体是表现出各种运动属性(例如，位置、定向、角速度、加速度)的对象。知道刚体一个节段的运动属性使得刚体其他节段的运动属性能够基于节段如何连接的约束来被确定。例如，手可以被建模为多节段铰接体，每个手指和手腕中的关节形成模型中多个节段之间的接合部。在一些实施例中，如下面更详细描述的，刚体模型中节段的移动可以被模拟为铰接刚体系统，其中节段相对于模型中其他节段的位置(例如，实际位置、相对位置或定向)信息使用经训练的统计模型来被预测。
作为一个非限制性示例，本文描述的由肌肉骨骼表示近似的人体部分是手或手与一个或更多个手臂节段的组合，并且用于描述肌肉骨骼表示中各个节段或节段组合的力关系以及节段之间位置关系的当前状态的信息在本文中被称为肌肉骨骼表示的手部状态。然而，应当理解，本文描述的技术也适用于除了手之外的身体部分的肌肉骨骼表示，这些身体部分包括但不限于手臂、腿、脚、躯干、颈部或前述的任何组合。
除了空间(例如，位置/定向)信息之外，一些实施例被配置成预测与肌肉骨骼表示的一个或更多个节段相关联的力信息。例如，可以估计由一个或更多个节段施加的线性力或旋转(扭矩)力。线性力的示例包括但不限于手指或手按压在诸如桌子的实体对象上的力，以及当两个节段(例如，两根手指)被挤压在一起时施加的力。旋转力的示例包括但不限于，当手腕或手指中的节段扭转或弯曲时产生的旋转力。在一些实施例中，被确定为当前手部状态估计的一部分的力信息包括挤压力信息、抓握力信息或关于由肌肉骨骼表示所表示的肌肉之间的共收缩力(co-contraction force)的信息中的一个或更多个。
图1示出了根据一些实施例的系统100。系统包括多个传感器102，该多个传感器102被配置成记录从人体部分的移动产生的信号。传感器102可以包括自主式传感器(autonomous sensor)。如本文所使用的，术语“自主式传感器”是指被配置成测量体段(body segment)的移动的传感器，而不需要使用外部设备。在非自主式传感器(non-autonomous sensor)中使用的外部设备的示例包括但不限于，可穿戴的(例如，安装在身体上的)照相机、全球定位系统、或激光扫描系统。在一些实施例中，传感器102也可以包括与自主式传感器组合的非自主式传感器。如本文所使用的，术语“非自主式传感器”是指被配置成使用外部设备来测量体段的移动的传感器。
自主式传感器可以包括多个神经肌肉传感器，该神经肌肉传感器被配置成记录从人体骨骼肌中的神经肌肉活动产生的信号。本文使用的术语“神经肌肉活动”是指对支配肌肉的脊髓运动神经元的神经激活、肌肉激活、肌肉收缩或者神经激活、肌肉激活和肌肉收缩的任意组合。神经肌肉传感器可以包括一个或更多个肌电图(EMG)传感器、一个或更多个肌动图(MMG)传感器、一个或更多个声肌图(SMG)传感器、EMG传感器，MMG传感器和SMG传感器中两种或更多种类型的组合、和/或被配置成检测神经肌肉信号的任何合适类型的一个或更多个传感器。在一些实施例中，多个神经肌肉传感器可以用于感测与由肌肉控制的身体部位的移动相关的肌肉活动，神经肌肉传感器被布置成从肌肉感测肌肉活动。描述移动的空间信息(例如，位置和/或定向信息)和力信息可以在用户随着时间移动时基于所感测的神经肌肉信号来被预测。
自主式传感器可以包括一个或更多个惯性测量单元(IMU)，该一个或更多个IMU使用例如加速度计、陀螺仪、磁力计或者一个或更多个加速度计、陀螺仪和磁力计的任意组合来测量运动的物理方面的组合。在一些实施例中，IMU可以用于感测关于附接有IMU的身体部位的移动的信息，并且当用户随时间移动时，从感测到的数据导出的信息(例如，位置和/或定向信息)可以被跟踪。例如，当用户随时间移动时，一个或更多个IMU可以用于跟踪用户躯干近端的用户身体部分(例如，手臂、腿)相对于传感器的移动。
在包括至少一个IMU和多个神经肌肉传感器的实施例中，IMU和神经肌肉传感器可以被布置成检测人体不同部位的移动。例如，IMU可以被布置成检测躯干近端的一个或更多个体段(例如，上臂)的移动，而神经肌肉传感器可以被布置成检测躯干远端的一个或更多个体段(例如，前臂或手腕)的移动。然而，应当理解，自主式传感器可以以任何合适的方式被布置，并且本文所描述技术的实施例不限于基于特定的传感器布置。例如，在一些实施例中，至少一个IMU和多个神经肌肉传感器可以共同位于一个体段上，以使用不同类型的测量来跟踪体段的移动。在下面更详细描述的一个实现中，一个IMU传感器和多个EMG传感器被布置在可穿戴设备上，该可穿戴设备被配置成围绕用户的下臂或手腕佩戴。在这种布置中，IMU传感器可被配置成跟踪与一个或更多个手臂节段相关联的移动信息(例如，随时间的定位和/或定向)，以确定例如用户已经抬起了还是已经放下了他们的手臂，而EMG传感器可被配置成确定与手腕或手部节段相关联的移动信息，以确定例如用户具有张开的还是闭合的手部形状。
每个自主式传感器包括被配置成感测关于用户的信息的一个或更多个感测部件。在IMU的情况下，感测部件可以包括一个或更多个加速度计、陀螺仪、磁力计或其任意组合，以测量身体运动的特性，该特性的示例包括但不限于加速度、角速度和身体周围感测到的磁场。在神经肌肉传感器的情况下，感测部件可以包括但不限于被配置成检测身体表面上的电势的电极(例如，对于EMG传感器)、被配置成测量皮肤表面振动的振动传感器(例如，对于MMG传感器)、以及被配置成测量由肌肉活动引起的超声信号的声学感测部件(例如，对于SMG传感器)。
在一些实施例中，可以使用硬件信号处理电路来处理一个或更多个感测部件的输出(例如，执行放大、滤波和/或整流)。在其他实施例中，感测部件的输出的至少一些信号处理可以在软件中执行。因此，由自主式传感器记录的自主信号的信号处理可以在硬件、软件或由硬件和软件的任何适当组合中执行，因为本文所描述的技术的各方面不限于该方面。
在一些实施例中，如下面更详细描述的，记录的传感器数据可以被处理以计算附加的导出的测量结果，然后将导出的测量结果作为输入提供给统计模型。例如，来自IMU传感器的记录的信号可以被处理，以导出指定刚体节段随时间的定向的定向信号。自主式传感器可以使用与感测部件集成的部件来实现信号处理，或者至少一部分信号处理可以由与自主式传感器的感测部件通信但不直接集成的一个或更多个部件来执行。
在一些实施例中，多个自主式传感器中的至少一些被布置为可穿戴设备的一部分，该可穿戴设备被配置成佩戴在用户身体部位之上或围绕用户身体部位佩戴。例如，在一个非限制性示例中，IMU传感器和多个神经肌肉传感器围绕可调整的和/或弹性的带(例如被配置成围绕用户的手腕或手臂佩戴的腕带或臂带)周向地布置。替代地，至少一些自主式传感器可以布置在可穿戴贴片上，该可穿戴贴片被配置成附着到用户身体一部分。在一些实施例中，可以使用多个可穿戴设备来预测涉及多个身体部位的移动的肌肉骨骼位置信息，每个可穿戴设备上包括一个或更多个IMU和/或神经肌肉传感器。
在一些实施例中，传感器102仅包括多个神经肌肉传感器(例如，EMG传感器)。在其他实施例中，传感器102包括多个神经肌肉传感器和被配置成连续记录多个辅助信号的至少一个“辅助”传感器。辅助传感器的示例包括但不限于其他自主式传感器(例如IMU传感器)和非自主式传感器(例如成像设备(例如，照相机))、与辐射生成设备(例如，激光扫描设备)一起使用的基于辐射的传感器、或者其他类型的传感器(例如心率监视器)。
系统100还包括被编程为与传感器102通信的一个或更多个计算机处理器(图1中未示出)。例如，由一个或更多个传感器记录的信号可以被提供给处理器，该处理器可以被编程为执行一个或更多个机器学习技术，该机器学习技术处理由传感器102输出的信号以训练一个或更多个统计模型104，并且经训练的(或经过再训练的)统计模型104可以被存储以供以后用于生成肌肉骨骼表示106(如下面更详细描述的)。下面更详细地讨论了统计模型的非限制性示例，根据一些实施例，这些统计模型可以用于基于来自传感器102的所记录的信号来预测手部状态信息。
系统100也可选地包括被配置成显示(例如，手的)视觉表示108的显示控制器。如下面更详细讨论的，一个或更多个计算机处理器可以实现一个或更多个经训练的统计模型，该统计模型被配置成至少部分地基于由传感器102记录的信号来预测手部状态信息。预测的手部状态信息用于更新肌肉骨骼表示106，肌肉骨骼表示106然后可选地用于基于包含当前手部状态信息的更新的肌肉骨骼表示来再现视觉表示108。当前手部状态的实时重建和随后在肌肉骨骼模型中反映当前手部状态信息的视觉表示的再现可以向用户提供关于经训练的统计模型准确表示预期手部状态的有效性的视觉反馈。并非系统100的所有实施例都包括被配置成再现视觉表示的部件。例如，在一些实施例中，来自经训练的统计模型的手部状态估计输出和相应更新的肌肉骨骼表示被用于确定(例如，在虚拟现实环境中)用户手部的状态，即使基于更新的肌肉骨骼表示的视觉表示没有被再现(例如，用于在没有虚拟再现的手部的情况下与虚拟环境中的虚拟对象交互)。
在一些实施例中，被配置成模拟虚拟现实环境的计算机应用可以被指示来显示用户手部的视觉表示。可以基于经训练的统计模型的输出来显示虚拟现实环境内由手的部分所施加的定位、移动和/或力。当连续信号被传感器102记录并被经训练的统计模型104处理以提供实时更新的用户移动和/或所施加力的更新的计算机生成的表示时，视觉表示可以基于当前重建的手部状态信息来动态更新。
如以上所讨论的，一些实施例涉及使用统计模型来基于从可穿戴自主式传感器记录的信号预测肌肉骨骼信息。统计模型可以用于预测肌肉骨骼位置信息，而不必将传感器放置在要在计算机生成的肌肉骨骼表示中表示的刚体的每个节段上。如以上简单讨论的，多节段铰接刚体模型中各节段之间的关节类型约束刚体的移动。附加地，不同的个体在执行可以在个体用户行为的统计模式中捕获到的任务时，倾向于以特有的方式移动。根据一些实施例，对人体移动的这些约束中的至少一些可以被明确地结合到用于预测的统计模型中。
附加地或替代地，统计模型可以通过基于所记录的传感器数据(例如，EMG数据)的上下文中手和手腕的位置和所施加力的基础真实数据(ground truth data)进行训练来学习约束。在统计模型的构建中施加的约束是由用户身体的解剖构造和物理构造决定的约束，而从统计模式导出的约束是由一个或更多个用户的人类行为决定的约束，传感器测量结果从一个或更多个用户测量并被用于训练统计模型。如下面更详细描述的，约束可以包括由模型中的信息(例如，节点之间的连接权重)表示的统计模型本身的一部分。
如以上所讨论的，一些实施例涉及使用统计模型来预测手部状态信息，以能够生成和/或实时更新基于计算机的肌肉骨骼表示。统计模型可以用于基于IMU信号、神经肌肉信号(例如，EMG、MMG和SMG信号)、外部设备信号(例如，照相机或激光扫描信号)、或者IMU信号、神经肌肉信号和当用户执行一个或更多个移动时检测到的外部设备信号的组合来预测手部状态信息。
尽管可以理解，统计建模可以用于预测手部状态信息，但是应当理解，可以使用统计模型来建模并预测身体其他部位的状态。为此，可以有其他类型的设备，该其他类型的设备具有可以用于其他身体部位的一种或更多种传感器类型，以使用例如IMU、神经肌肉信号或其他外部设备信号来预测它们的位置和任何相关联的力、移动或加速度。
根据一个方面，可以理解的是，实际关节角度和力的瞬时最佳(例如，最小均方估计(MSE))估计可能因不匹配行为的自相关函数的自相关函数而波动。这种波动导致较差的再现和次优的交互式体验。根据一个方面，提供实时平滑函数来调整手部状态(或其他身体部位)模型估计。例如，可以使用一个或更多个处理步骤(例如，滤波器)、在模型中引入平滑函数、或者提供其他调整或控制来平滑模型预测输出，这些调整或控制允许输出更准确地表示各种移动条件下的手部状态，或者允许输出被用户(或多玩家虚拟环境中的第三方)感知为更加自然且真实(即使这样的再现不是为了最大化再现用户移动的特定实例的准确性)。可以实时地执行这种平滑，以更准确且积极响应的方式来提供对模型状态的表示的调整。
图2示出了根据一些实施例的过程200。在框201，系统(例如，如上面参考图1讨论的系统)将传感器数据输入到一个或更多个统计模型。如上所讨论的，当用户执行一个或更多个手势时，表示手部状态的统计模型可以用于在与手相关联的基于计算机的肌肉骨骼表示中投影位置和力的估计。由可穿戴的神经肌肉设备提供的神经肌肉信号被记录并作为输入被提供给统计模型。
在框202，系统实时地时间平滑统计模型的输出。例如，系统可以包括实施统计模型输出的时间平滑的一个或更多个部件。在一个实现中，系统可以对模型预测输出中的一个或更多个输出执行平滑操作。
在框203，系统确定肌肉骨骼表示的连接节段之间的空间关系的位置信息。此外，在框204，系统确定由肌肉骨骼表示施加的力。总的来说，位置信息和力信息的组合被称为肌肉骨骼模型的手部状态。在框205，系统基于位置信息和所确定的力来更新肌肉骨骼表示。
图3示出了根据一些实施例的用于实时地平滑统计模型的输出的基于计算机的过程300的示意图。在框301，从手部的经训练的统计模型提供输出。在框302，将至少一个滤波器应用于该输出，然后在框303，该至少一个滤波器实时地提供时间平滑后输出。平滑后输出可以用于更新肌肉骨骼表示，该肌肉骨骼表示然后可以用于例如，基于包含当前手部状态信息的更新的肌肉骨骼表示来再现视觉表示，或者该平滑后输出可以以其他方式用作一个或更多个系统的控制输入。可以例如在虚拟现实环境内示出这种视觉表示。在其他实施例中，输出可以用于控制一个或更多个系统，例如响应于手部状态信息的机器人系统。在这样的系统中，提供平滑效果可以是有用的，该平滑效果对响应于提供不准确表示的情境输出的输出进行限制。可以实时地执行这种平滑，以便在这种虚拟现实环境、控制环境或其他环境内有用。
图4示出了根据一些实施例的用于实时地时间平滑输出的基于计算机的过程400的示意图。根据一个方面，应当理解，模型在任何特定时间点的最佳估计可能不是正确的或最准确的表示。因此，在实时地接收传感器输出(包括噪声、高变化输出(例如，高度变化的移动数据)、或可能急剧改变统计模型状态的其他信号)的系统中，提供某种类型的平滑函数(例如，对应于非线性卡尔曼滤波器的平滑函数)可能是有益的，这减少了误差和/或以其他方式提高了输出响应对用户的预期移动进行建模的可靠性。在一些情况下，平滑函数可以被配置成生成输出响应，该输出响应符合用户身体部位(例如，手)的真实的物理构造、解剖构造、自然关节运动学和/或常见手势(即“竖起大拇指”手势)，而不是针对用户身体部位的移动、位置和/或力(例如，手部状态)的估计的准确性进行优化。在一些情况下，可以存储预设移动，并且可以确定用户的移动是否对应于特定的预设移动(例如，“竖起大拇指”手势)。在一些示例实现中，系统可以再现预设移动，而不是再现实际移动的解析(例如，估计的手部状态)。此外，在某些情况下，可以在增加的时间延迟和所建模的移动的准确性之间进行权衡。
根据一个实现，实施统计模型的时间平滑的部件可以用于调整模型的输出，和/或可以包括传感器输出在被模型处理之前的预处理。在一个示例中，系统可以在少量连续时间点上求平均值，从而随着时间的推移产生平滑的输出。可以通过平滑函数来调整这种输出，该平滑函数实时地操作以产生建模操作的输出。平滑函数可以(例如在检测到快速移动的时间点期间)基于一些输入来被打开或关闭。例如，输入可以在被输入到统计模型之前在传感器处被调整。例如，可能存在存在于传感器输出上的EMG伪像，该传感器输出可以在更新统计模型之前被平滑。在另一个示例中，IMU输出可以被非常快地加速，并且作为响应，模型的即时响应性可以被调整(例如，向下调整以使得对变化的输入的响应性更低)。除了预滤波之外，或者与预滤波相结合，可以在例如视觉地表示模型之前平滑模型的输出。
可以响应于一个或更多个控制输入来执行平滑函数的这种调整。例如，可以理解的是，经训练的模型可以记录它自己的准确性度量，该度量可以用作用于控制平滑函数的控制输入。在一个实施例中，在框401，系统可以接收统计模型的准确性的估计，该估计可以用作控制平滑操作的控制函数。例如，统计模型的准确性可以包括似然性(likelihood)或置信度度量(confidence metric)。此外，在框402，系统可以确定与从神经肌肉传感器、IMU或其他外部传感器接收的输入神经肌肉数据相关联的质量度量。在一些实施例中，系统在平滑度和误差之间进行权衡——也就是说，系统可以在经调整的响应模式下执行，这使得模型对输入变化不太敏感，但不一定准确地反映身体部位的当前状态。响应于这些估计和/或所确定的质量度量，系统可以时间平滑模型的输出。这种平滑后输出可以作为控制输入被提供给另一个系统和/或例如通过可视化被再现(例如，在VR环境中)。
在一个示例实现中，可以使用简单的非线性卡尔曼滤波器来平滑模型预测输出。根据一个方面，可以响应于输出改变的速度以及系统认为模型实时地所处的位置来实时地修改卡尔曼滤波器的性能(例如，修改模型的损失函数)。尽管可以使用非线性卡尔曼滤波器，但是也可以使用其他滤波器来平滑输出。例如，可以使用指数滤波器、粒子滤波器、贝叶斯滤波器、无迹卡尔曼滤波器(UKF)或其他卡尔曼滤波器类型，或其他合适的滤波器类型。同样，可以理解，流水线技术(pipelining)可以用于在建模系统内接收并处理数据。流水线上的后处理可以允许系统在数据经过流水线时挑选出数据片段，以执行类似的滤波效果。
此外，应当理解，模型本身可以基于模型的某些输入、估计或输出的识别来被控制和/或被修改。图5是根据一些实施例的基于计算机的过程504的示意图，该过程在经训练的统计模型中包括平滑特性。具体地，在框501，系统确定应当在模型内执行平滑自适应。通常，在框502，系统可以在经训练的统计模型(例如，手部状态的模型)中包括时间平滑特性。
可以使用许多种不同的方法来修改统计模型以实现平滑函数。例如，在框503，可以用惩罚项来训练统计模型。在一个实现中，系统可以被编程为用惩罚项(例如||y_t-y_{t-1}||^2)来训练模型，以提高模型输出的平滑度。在另一个示例实现中，在框504，系统可以被配置成用误差函数来训练统计模型。例如，系统可以用误差函数来训练模型，该误差函数包括关节角度和力的时间导数估计中的误差。误差函数可以包括各个阶的一个或更多个导数的估计中的误差，包括一阶导数(速度)、二阶导数(加速度)、三阶导数(加加速度(jerk))、四阶导数(颠簸(jounce)或急速(snap))或更高阶导数(炸裂(crackle)、爆裂(pop)、锁定(lock)、跌落(drop)、击打(shot)、猛推(put)等)。
在另一个实现中，在框505，系统可以将未来信息的评估包括到平滑效果中。例如，系统可以在模型中包括对输出时间序列的平滑度的先验估计，并且可以稍微滞后地执行实时估计，以便通过结合“未来”信息(例如，在关节角度和力被估计的时间点之后接收的EMG测量结果)来获得平滑效果。在另一个示例中，系统可以使用模型输出的在线质量估计来调整平滑和后处理。例如，系统可以使用IMU的输出来调整EMG模型后处理。应当理解，可以使用其他处理阶段来调整输入和/或输出，以单独地或者与其他效果组合地调整模型并提供一个或更多个平滑效果。
在某些情况下，可以通过改变模型输出的频率来实现动态时间平滑。例如，输入数据(即，神经肌肉数据)的时间窗口的长度可以变化，使得当由统计模型计算的质量度量确定一系列模型输出的平滑度低于阈值时，则使用较长的时间窗口。通过在传感器数据的较长时间序列上求平均值，可以减少传感器数据中存在的变化，使得模型的输出对于体验模型输出的虚拟再现的用户来说表现出增加的平滑度和改善的沉浸感。
在一些实施例中，通过(连续地或动态地)调整用于表示用户身体部位(例如，手)的多铰接刚体的维数来实现时间平滑。例如，通过仅估计连接多铰接刚体的多个节段的关节角度的子集，统计模型的输出可以表现出较高的准确性和改善的时间平滑度(例如，更好地反映真实的物理构造、关节运动学、人体解剖构造等)。可以通过在模型输出时或在数据处理流水线的早期阶段投影到低维流形(manifold)上来实现降低用户身体部位的位置和/或力(例如，手部状态)的估计的维数。在降低多铰接刚体的维数的一个示例中，近端和远端指间关节通常无法彼此完全独立地移动，因此这两个关节可以被建模为一个融合关节角度。在降低多铰接刚体的维数的另一个示例中，无名指和小指经常表现出耦合的屈曲(flexion)和伸展，因此这两根手指的屈曲和伸展可以被表示为较低维统计模型中的单个输出。
可以通过结合误差函数来实现时间平滑，该误差函数使得统计模型的输出更接近于用户身体部位(例如，手)的自然位置、移动和/或力。例如，在各种自然的手部移动期间获得的并且包括神经肌肉数据和关于多铰接刚体(例如，手)的关节位置的基础真实数据(例如，从基于照相机的系统收集的数据)的广泛训练集可以用于构建将统计模型的输出约束到自然移动模式的动力学先验。例如，系统可以结合函数，该函数将统计模型的输出限制到所存储的自然移动模式中的一个或所存储的自然移动模式的组合，该一个自然移动模式或自然移动模式的组合然后可以在界面中被再现、作为控制输入被提供等。
象征性(Symbolic)的手势表示常见的移动模式，并且手势对于视觉沉浸感是显著的，部分原因在于它们在人类交流中的作用。在一个实施例中，统计模型被配置成基于神经肌肉数据和/或来自其他传感器(例如，IMU)的数据的模式来识别用户正在做出特定手势。系统还可以被配置成在非暂时性计算机可读存储介质上存储特定手势的手部关节角度的一般的或典型的轨迹(prototypical trajectory)。当系统检测到手势时(即，基于似然性度量)，可以基于所存储的高度自然且平滑的模式化手势为用户再现移动的视觉再现，而不是再现手势的特殊实例，否则该特殊实例将由统计模型针对该特定手势移动来估计。例如，系统可以检测“竖起大拇指”手势，并再现预先记录的典型的“竖起大拇指”。在该实施例的变型中，在非暂时性计算机可读存储介质上存储丰富的手部姿势和移动集合，作为一般的或典型的位置和移动，并且统计模型被配置成在该有限的状态集合内估计手部状态，并且通过减少位置和/或移动集合来实现时间平滑。
可以提供允许模型对系统输入动态地做出反应的其他功能。例如，可以提供允许动态操作作为模型中的辅助任务来被执行的部件。例如，这样的部件可以执行分批方法(batching method)，该分批方法在时间尺度上实施预测，在时间序列上执行损失函数，实施某种“粘性(sticky)”动力学，诸如通过停留在某个位置(零位置或某个手势)，直到某种(例如，贝叶斯)方法确定了其他性质以及其他类型的动态行为。
在其他实施例中，模型可以响应于外部输入(例如在虚拟现实(VR)环境中提供的情境输入)。例如，在VR环境中再现模型之后，可以响应于VR环境内的环境状况信息(例如所建模的表示(例如，手)相对于虚拟现实环境内一个或更多个对象的空间关系)来控制平滑操作。例如，当手部的视觉表示接近VR环境内的对象时，可以在模型上实施平滑效果(或动态平滑效果的改变)。例如，如果用户的(虚拟的或现实的)身体部位(例如，手)接近(虚拟或现实环境中的)对象，则用户更有可能将移动识别为非自然的或非平滑的，因此基于虚拟对象接近再现的用户身体部位(例如，手)的动态平滑可以增强用户的沉浸式虚拟现实的体验。
图6描述了使用从传感器102记录的信号生成(本文有时称为“训练”)统计模型的过程600。过程600可以由任何合适的计算设备执行，因为本文所描述技术的各方面不限于该方面。例如，过程600可以由参考图8A和图8B描述的一个或更多个计算机处理器执行。作为另一个示例，过程600的一个或更多个动作可以使用一个或更多个服务器(例如，作为云计算环境的一部分包括的服务器)来被执行。例如，与统计模型(例如，神经网络)的训练相关的动作610的至少一部分可以使用云计算环境来执行。
过程600开始于动作602，其中针对一个或更多个用户执行一个或更多个移动(例如，在键盘上打字)获得多个传感器信号。在一些实施例中，作为过程600的一部分，多个传感器信号可以被记录。在其他实施例中，多个传感器信号可能已经在执行过程600之前被记录，并且在动作602被访问(而不是记录)。
在一些实施例中，多个传感器信号可以包括针对单个用户执行单个移动或多个移动记录的传感器信号。可以指示用户执行对于特定任务(例如，打开门)的一系列移动，并且当用户执行他/她被指示执行的任务时，可以记录对应于用户移动的传感器信号。传感器信号可以由位于任何合适定位处的任何合适数量的传感器记录，以检测与所执行的任务相关的用户移动。例如，在用户被指示用他/她的右手手指执行任务之后，传感器信号可以由多个神经肌肉传感器和一个或更多个IMU传感器记录，该多个神经肌肉传感器围绕用户右下臂周向地(或以其他方式)布置，以检测引起右手移动的右下臂中的肌肉活动，该一个或更多个IMU传感器被布置成预测用户手臂相对于用户躯干的关节角度。作为另一个示例，在用户被指示用他/她的腿执行任务(例如，踢对象)之后，传感器信号可以由多个神经肌肉传感器和一个或更多个IMU传感器记录，该多个神经肌肉传感器围绕用户的腿周向地(或以其他方式)布置，以检测引起脚移动的腿中的肌肉活动，该一个或更多个IMU传感器被布置成预测用户的腿相对于用户躯干的关节角度。
在一些实施例中，在动作602中获得的传感器信号对应于来自一种类型的传感器(例如，一个或更多个IMU传感器或一个或更多个神经肌肉传感器)的信号，并且可以基于使用特定类型的传感器记录的传感器信号来训练统计模型，从而产生特定于传感器类型的经训练的统计模型。例如，所获得的传感器信号可以包括围绕用户的下臂或手腕布置的多个EMG传感器信号，并且可以训练统计模型来预测在执行诸如抓握和扭转诸如门把手之类的对象的任务期间手腕和/或手的移动的肌肉骨骼位置信息。
在基于多种类型的传感器(例如，IMU传感器、EMG传感器、MMG传感器、SMG传感器)提供预测的实施例中，可以为每种类型的传感器训练单独的统计模型，并且可以组合特定于传感器类型的模型的输出以生成用户身体的肌肉骨骼表示。在其他实施例中，在动作602中从两种或更多种不同类型的传感器获得的传感器信号可以被提供给单个统计模型，该单个统计模型基于从不同类型的传感器记录的信号而被训练。在一个说明性实现中，如下文更详细讨论的，IMU传感器和多个EMG传感器被布置在被配置成围绕用户前臂佩戴的可穿戴设备上，并且由IMU和EMG传感器记录的信号被共同提供作为统计模型的输入。
在一些实施例中，当用户执行一个或更多个移动时，在多个时间点记录在动作602中获得的传感器信号。结果，每个传感器的记录的信号可以包括在多个时间点中的每个时间点获得的数据。假设n个传感器被布置成在执行任务期间同时测量用户的移动信息，则针对用户记录的传感器信号可以包括在移动的执行期间的时间点t1、t2、…、tK处的K个n维向量{xk|1≤k≤K}的时间序列。
在一些实施例中，可以指示用户多次执行任务，并且可以针对用户的多次任务重复中的每一次记录传感器信号和位置信息。在一些实施例中，多个传感器信号可以包括针对多个用户记录的信号，该多个用户中的每一个执行同一任务一次或更多次。可以指示多个用户中的每一个执行任务，并且当用户执行(一次或重复)他/她被指示执行的任务时，可以记录对应于该用户的移动的传感器信号和位置信息。当传感器信号被多个用户收集时(这些信号被组合在一起以生成统计模型)，假设不同的用户使用相似的肌肉骨骼位置来执行相同的移动。从重复执行同一任务的单个用户和/或从执行同一任务一次或多次的多个用户收集传感器信号和位置信息有助于收集足够的训练数据以生成能够准确预测与任务执行相关联的肌肉骨骼位置信息的统计模型。
在一些实施例中，可以基于与来自多个用户的记录的信号相对应的训练数据来生成与用户无关的统计模型，并且当用户使用系统时，基于记录的传感器数据来训练该统计模型，使得该统计模型学习与用户相关的特性，以改进系统对于特定用户的预测能力。
在一些实施例中，多个传感器信号可以包括针对用户(或多个用户中的每一个用户)一次或多次执行多个任务中每个任务而记录的信号。例如，可以指示用户执行多个任务中的每一个(例如抓握对象、推动对象和拉开门)，并且当用户执行他/她被指示执行的多个任务中的每一个时，可以记录对应于用户移动的信号。收集这样的数据可以有助于开发用于预测与用户可以采取的多个不同动作相关联的肌肉骨骼位置信息的统计模型。例如，包含多个动作的肌肉骨骼位置信息的训练数据可以有助于生成用于预测用户可能正在执行多个可能的移动中的哪一个的统计模型。
如以上所讨论的，可以通过在一个或更多个用户中的每一个用户一次或多次执行一个或更多个任务中的每一个任务时记录传感器信号来获得在动作602获得的传感器数据。当用户执行任务时，在动作604中可以获得描述不同体段在任务执行期间的空间位置的位置信息。在一些实施例中，使用一个或更多个外部设备或系统来获得位置信息，该外部设备或系统在任务执行期间跟踪身体上不同点的位置。例如，可以使用运动捕获系统、激光扫描仪、测量相互磁感应的设备、或者被配置成捕获位置信息的某个其他系统。作为一个非限制性示例，多个位置传感器可以放置在右手手指的节段上，并且当用户执行诸如抓握对象的任务时，运动捕获系统可以用来确定每个位置传感器的空间定位。在动作602获得的传感器数据可以与在动作604中获得的位置信息的记录同时被记录。在该示例中，获得了指示当执行抓握运动时每个手指节段随时间的位置的位置信息。
接下来，过程600前进到动作606，其中可选地处理在动作602中获得的传感器信号和/或在动作604中获得的位置信息。例如，可以使用放大、滤波、整流或其他类型的信号处理来处理传感器信号或位置信息信号。
接下来，过程600进行到动作608，其中基于位置信息(如在动作604中收集的或者如在动作606中处理的)来确定肌肉骨骼位置特性。在一些实施例中，不是使用对应于位置传感器的记录的空间(例如，x、y、z)坐标作为训练数据来训练统计模型，而是基于记录的位置信息来确定导出的肌肉骨骼位置特性值的集合，并且将导出的值用作训练统计模型的训练数据。例如，使用关于铰接刚体模型中连接的刚性节段对之间的约束的信息，位置信息可以用于确定关节角度，该关节角度定义了在任务执行期间的多个时间点的每一个时间点处每个连接的刚性节段对之间的角度。相应地，在动作604中获得的位置信息可以由多个时间点的每一个时间点处的n个关节角度的向量来表示，其中n是铰接刚体模型中的节段之间的关节或连接的数量。
接下来，过程600前进到动作610，其中在动作602和608获得的时间序列信息被组合以在动作610创建用于训练统计模型的训练数据。可以以任何合适的方式组合获得的数据。在一些实施例中，在动作602获得的每个传感器信号可以与任务或任务内的移动相关联，该任务或任务内的移动对应于当用户执行任务或移动时基于动作604中记录的位置信息确定的肌肉骨骼位置特性(例如，关节角度)。以这种方式，传感器信号可以与肌肉骨骼位置特性(例如，关节角度)相关联，并且统计模型可以被训练来预测当在特定任务的执行期间记录特定传感器信号时，肌肉骨骼表示将由不同体段之间的特定肌肉骨骼位置特性来表征。
在包括被配置成在任务执行期间同时记录不同类型移动信息的不同类型传感器(例如，IMU传感器和神经肌肉传感器)的实施例中，可以使用相同或不同的采样速率来记录不同类型传感器的传感器数据。当传感器数据以不同的采样速率被记录时，至少一些传感器数据可以被重新采样(例如，上采样或下采样)，使得作为输入被提供给统计模型的所有传感器数据对应于相同时间分辨率的时间序列数据。可以以任何合适的方式对至少一些传感器数据重新采样，包括但不限于使用插值进行上采样和使用抽取进行下采样。
除了在以不同采样速率记录时对至少一些传感器数据进行重新采样，或者作为对重新采样的替代，一些实施例采用被配置成异步接受多个输入的统计模型。例如，统计模型可以被配置成对具有较低采样速率的输入数据中的“缺失”值的分布进行建模。替代地，随着来自多个传感器数据测量结果的输入作为训练数据变得可用，统计模型的训练定时异步发生。
接下来，过程600前进到动作612，其中使用在动作610生成的训练数据来训练用于预测肌肉骨骼位置信息的统计模型。被训练的统计模型可以将数据集的序列作为输入，该序列中的每个数据集包括传感器数据的n维向量。统计模型可以提供输出，该输出指示对于可由用户执行的一个或更多个任务或移动中的每一个，用户身体的肌肉骨骼表示将由肌肉骨骼位置特性的集合(例如，铰接的多节段身体模型中节段之间的关节角度集合)表征的可能性。例如，统计模型可以将使用在时间点t1、t2、…、tK处获得的测量值生成的向量序列{xk|1≤k≤K}作为输入，其中向量xj的第i个分量是由第i个传感器在时间tj测量的值和/或是从由第i个传感器在时间tj测量的值导出的值。在另一个非限制性示例中，作为统计模型的输入而提供的导出值可以包括在时间tj和/或之前从来自全部传感器或传感器子集的数据提取的特征(例如，协方差矩阵、功率谱、其组合或任何其他合适的导出表示)。基于这样的输入，统计模型可以提供指示用户身体的肌肉骨骼表示将由肌肉骨骼位置特性集合表征的概率的输出。作为一个非限制性示例，统计模型可以被训练成在用户抓握对象时，随时间预测手的手指中的节段的关节角度集合。在该示例中，经训练的统计模型可以输出对应于传感器输入的、手中关节的预测的关节角度集合。
在一些实施例中，统计模型可以是神经网络，并且例如可以是循环神经网络。在一些实施例中，循环神经网络可以是长短期记忆(LSTM)神经网络。然而，应当理解，循环神经网络不限于LSTM神经网络，并且可以具有任何其他合适的架构。例如，在一些实施例中，循环神经网络可以是完全循环神经网络(fully recurrent neural network)、递归神经网络(recursive neural network)、变分自编码器(variational autoencoder)、Hopfield神经网络、联想记忆神经网络(associative memory neural network)、Elman神经网络、Jordan神经网络、回声状态神经网络(echo state neural network)、二阶循环神经网络(secondorder recurrent neural network)和/或任何其他合适类型的循环神经网络。在其他实施例中，可以使用不是循环神经网络的神经网络。例如，可以使用深度神经网络、卷积神经网络和/或前馈神经网络。
在统计模型是神经网络的一些实施例中，神经网络的输出层可以提供对应于可能的肌肉骨骼位置特性(例如，关节角度)的相应集合的输出值集合。以这种方式，神经网络可以作为非线性回归模型来操作，该模型被配置成从原始或预处理的传感器测量结果来预测肌肉骨骼位置特性。应当理解，在一些实施例中，可以使用任何其他合适的非线性回归模型来代替神经网络，因为本文所描述技术的各方面不限于该方面。
在一些实施例中，神经网络可以基于各种拓扑和/或架构来实现，包括具有完全连接(密集)层、长短期记忆(LSTM)层、卷积层、时间卷积层(TCL)的深度神经网络，或者其他合适类型的深度神经网络拓扑和/或架构。神经网络可以具有不同类型的输出层，包括具有逻辑sigmoid激活函数、双曲正切激活函数、线性单元、整流线性单元或其他合适类型的非线性单元的输出层。类似地，神经网络可以被配置成经由例如softmax函数来表示n个不同类别上的概率分布，或者包括提供参数化分布(例如，高斯分布的均值和方差)的输出层。
应当理解，本文所描述技术的各方面不限于使用神经网络，因为在一些实施例中可以采用其他类型的统计模型。例如，在一些实施例中，统计模型可以包括隐马尔可夫模型、马尔可夫切换模型(其中切换允许在不同动态系统之间跳变)、动态贝叶斯网络(dynamic Bayesian network)和/或具有时间分量的任何其他合适的图形模型。在动作612，可以使用在动作602获得的传感器数据来训练任何这样的统计模型。
作为另一个示例，在一些实施例中，统计模型可以将从在动作602获得的传感器数据导出的特征作为输入。在这样的实施例中，在动作612，可以使用从在动作602获得的传感器数据提取的特征来训练统计模型。统计模型可以是支持向量机(support vectormachine)、高斯混合模型、基于回归的分类器、决策树分类器、贝叶斯分类器和/或任何其他合适的分类器，因为本文所描述技术的各方面不限于该方面。要作为训练数据提供给统计模型的输入特征可以以任何合适的方式从在动作602获得的传感器数据导出。例如，可以使用小波(wavelet)分析技术(例如，连续小波变换、离散时间小波变换等)、傅立叶分析技术(例如，短时傅立叶变换、傅立叶变换等)和/或任何其他合适类型的时间频率分析技术将传感器数据分析为时间序列数据。作为一个非限制性示例，可以使用小波变换来对传感器数据进行变换，并且可以将得到的小波系数作为输入提供给统计模型。
在一些实施例中，在动作612，可以从在动作610生成的训练数据来估计统计模型的参数值。例如，当统计模型是神经网络时，可以从训练数据估计神经网络的参数(例如，权重)。在一些实施例中，可以使用梯度下降、随机梯度下降和/或任何其他合适的迭代优化技术来估计统计模型的参数。在统计模型是循环神经网络(例如，LSTM)的实施例中，可以使用随机梯度下降和随时间反向传播(backpropagation through time)来训练统计模型。训练可以采用交叉熵损失函数(cross-entropy loss function)和/或任何其他合适的损失函数，因为本文所描述技术的各方面不限于该方面。
接下来，过程600进行到动作614，在动作614中存储经训练的统计模型(例如，存储在未示出的数据储存器中)。可以使用任何合适的格式来存储经训练的统计模型，因为本文所描述技术的各方面不限于该方面。以这种方式，如以下所描述的，在过程600的执行期间生成的统计模型可以在稍后的时间使用，例如，用于针对给定的输入传感器数据集合预测肌肉骨骼位置信息(例如，关节角度)。
在一些实施例中，从(例如，布置在用户身体表面上或附近的)多个传感器记录传感器信号，这些传感器记录在任务执行期间与身体移动相关联的活动。所记录的信号可以可选地被处理，并作为输入提供给使用上面描述的一种或更多种技术训练的统计模型。在连续记录自主信号的一些实施例中，连续记录的(原始或经处理的)信号可以作为经训练的统计模型的输入被连续或周期性地提供，用于针对给定的输入传感器数据集合预测肌肉骨骼位置信息(例如，关节角度)。如以上所讨论的，在一些实施例中，经训练的统计模型是基于自主式传感器和来自多个用户的位置信息测量结果而训练的与用户无关的模型。在其他实施例中，经训练的模型是使用从个体用户记录的数据训练的与用户相关的模型，从该个体用户也获取与传感器信号相关联的数据。
在经训练的统计模型接收到传感器数据作为输入参数集合之后，从经训练的统计模型输出预测的肌肉骨骼位置信息。如以上所讨论的，在一些实施例中，预测的肌肉骨骼位置信息可以包括表示用户身体的至少一部分的多节段铰接刚体模型的肌肉骨骼位置信息值的集合(例如，关节角度集合)。在其他实施例中，肌肉骨骼位置信息可以包括用户正在执行可能的移动集合中的一个或更多个移动的概率集合。
在一些实施例中，在预测肌肉骨骼位置信息之后，至少部分地基于从经训练的统计模型输出的肌肉骨骼位置信息，生成用户身体的基于计算机的肌肉骨骼表示。可以以任何合适的方式生成基于计算机的肌肉骨骼表示。例如，基于计算机的人体肌肉骨骼模型可以包括多个刚体节段，每个刚体节段对应于身体中的一个或更多个骨骼结构。例如，上臂可以由第一刚体节段表示，下臂可以由第二刚体节段表示，手掌可以由第三刚体节段表示，并且手上的每根手指可以由至少一个刚体节段表示(例如，至少第四至第八刚体节段)。肌肉骨骼模型中连接的刚体节段之间的关节角度集合可以定义每个连接的刚体节段相对于彼此和参考系(例如身体躯干)的定向。随着新的传感器数据被测量并被统计模型处理来提供肌肉骨骼位置信息的新的预测(例如，更新的关节角度集合)，用户身体的基于计算机的肌肉骨骼表示可以基于更新的关节角度集合来更新，该更新的关节角度集合基于统计模型的输出确定。以这种方式，基于计算机的肌肉骨骼表示随着传感器数据的连续记录而实时动态更新。
可以以任何合适的方式来表示并存储基于计算机的肌肉骨骼表示，因为本文所描述技术的实施例不限于关于存储表示的特定方式。附加地，尽管在本文中被称为“肌肉骨骼”表示以反映在一些实施例中肌肉活动可以与该表示相关联，但是如下文更详细讨论的，应当理解根据一些实施例所使用的一些肌肉骨骼表示可以对应于身体中的骨骼结构、肌肉结构或者骨骼结构和肌肉结构的组合。
在一些实施例中，对构成用户移动的基础的神经肌肉活动和/或肌肉活动的直接测量结果可以与生成的肌肉骨骼表示组合。来自放置在用户身体上各个定位处的多个传感器的测量结果可以用于通过将测量结果叠加到动态形成姿态的骨骼上来创建肌肉补充(muscle recruitment)的统一表示。在一些实施例中，由神经肌肉传感器感测的肌肉活动和/或从肌肉活动导出的信息(例如，力信息)可以与计算机生成的肌肉骨骼表示实时组合。
图7A示出了具有16个神经肌肉传感器610(例如，EMG传感器)的可穿戴系统，这些传感器710围绕弹性带720周向布置，弹性带720被配置成围绕用户的下臂或手腕佩戴。如图所示，EMG传感器710围绕弹性带720周向布置。应当理解，可以使用任何合适数量的神经肌肉传感器。神经肌肉传感器的数量和布置可以取决于使用可穿戴设备的特定应用。例如，可穿戴臂带或腕带可以用于生成控制信息，以控制增强现实系统、机器人、控制车辆、滚动浏览文本、控制虚拟化身或用于任何其他合适的控制任务。
在一些实施例中，传感器710包括神经肌肉传感器(例如，EMG传感器)的集合。在其他实施例中，传感器710可以包括神经肌肉传感器的集合和被配置成连续记录辅助信号的至少一个“辅助”传感器。辅助传感器的示例包括但不限于其他传感器，例如IMU传感器、麦克风、成像传感器(例如，照相机)、与辐射生成设备(例如，激光扫描设备)一起使用的基于辐射的传感器、或者其他类型的传感器(例如心率监视器)。如图所示，传感器710可以使用结合到可穿戴设备中的柔性电子器件730耦合在一起。图7B示出了图7A所示的可穿戴设备的传感器710之一的截面图。
在一些实施例中，可以使用硬件信号处理电路来可选地处理一个或更多个感测部件的输出(例如，从而执行放大、滤波和/或整流)。在其他实施例中，感测部件的输出的至少一些信号处理可以在软件中执行。因此，由传感器采样的信号的信号处理可以在硬件、软件或由硬件和软件的任何适当组合中执行，因为本文所描述的技术的各方面不限于该方面。将在下面结合图8A和图8B更详细地讨论用于处理来自传感器710的所记录的数据的信号处理链的非限制性示例。
图8A和图8B示出了根据本文所描述技术的一些实施例的具有16个EMG传感器的可穿戴系统的内部部件的示意图。如图所示，可穿戴系统包括可穿戴部分810(图8A)和(例如，经由蓝牙或另一种合适的短程无线通信技术)与可穿戴部分810通信的加密狗部分820(图8B)。如图8A所示，可穿戴部分810包括传感器710，其示例结合图7A和图7B进行了描述。传感器710的输出被提供给模拟前端830，模拟前端830被配置成对所记录的信号执行模拟处理(例如，降噪、滤波等)。经处理的模拟信号然后被提供给模数转换器832，模数转换器832将模拟信号转换成可以由一个或更多个计算机处理器处理的数字信号。可以根据一些实施例使用的计算机处理器的一个示例是图8A所示的微控制器(MCU)834。如图所示，MCU 834也可以包括来自其他传感器(例如，IMU传感器840)以及电源和电池模块842的输入。由MCU执行的处理的输出可以被提供给天线850，用于传输到图8B所示的加密狗部分820。
加密狗部分820包括天线852，天线852被配置成与作为可穿戴部分810的一部分而被包括的天线850通信。可以使用任何合适的无线技术和协议(其非限制性示例包括射频信令和蓝牙)进行天线850和852之间的通信。如图所示，由加密狗部分820的天线852接收的信号可以被提供给主计算机，用于进一步处理、显示和/或实现对特定物理或虚拟对象的控制。
可以多种方式中的任何一种来实现上述实施例。例如，可以使用硬件、软件或其组合来实现实施例。当在软件中实现时，软件代码可以在任何合适的处理器或处理器合集(不管是在单个计算机中提供还是分布在多个计算机中的处理器或处理器合集)上执行。应当理解，执行上述功能的任何部件或部件的合集通常被认为是控制以上所讨论的功能的一个或更多个控制器。一个或更多个控制器可以以多种方式实现，例如利用专用硬件或者利用使用微代码或软件编程来执行上述功能的一个或更多个处理器。
在这方面，应当理解，本发明实施例的一个实现包括编码有计算机程序(即，多个指令)的至少一个非暂时性计算机可读存储介质(例如，计算机存储器、便携式存储器、光盘等)，该计算机程序当在处理器上执行时，执行本发明实施例的以上所讨论的功能。计算机可读存储介质可以是可传输的，使得存储在其上的程序可以被加载到任何计算机资源上，以实现本文所讨论的本发明的各方面。此外，应当理解，对当被执行时执行上述功能的计算机程序的引用不限于在主机上运行的应用程序。相反，术语“计算机程序”在本文中以一般意义使用，以指代任何类型的计算机代码(例如，软件或微代码)，其可以用于对处理器进行编程以实现本发明的以上所讨论的各方面。
本发明的各个方面可以单独使用、组合使用或者以在前面描述的实施例中没有具体讨论的各种布置使用，因此它们的应用不限于在前面描述中阐述的或者在附图中示出的部件的细节和布置。例如，一个实施例中描述的各方面可以以任何方式与其他实施例中描述的各方面组合。
此外，本发明的实施例可以被实现为一种或更多种方法，已经提供了其示例。作为方法的一部分被执行的动作可以以任何合适的方式被排序。相应地，可以构建实施例，其中以不同于所示的顺序执行动作，这可以包括同时执行即使在说明性实施例中被示为顺序动作的一些动作。
在权利要求中使用序数术语，例如“第一”、“第二”、“第三”等来修改权利要求元素本身并不意味着一个权利要求元素相对于另一个权利要求元素的任何优先、在先或顺序，或者方法的动作被执行的时间顺序。这些术语仅用作标签，以将具有某种名称的一个权利要求元素与具有相同名称(但是使用序数术语)的另一个元素区分开来。
本文使用的措辞和术语是为了描述的目的，不应该被认为是限制性的。“包括(including)”、“包括(comprising)”、“具有(having)”、“包含(containing)”、“涉及(involving)”及其变体的使用意味着涵盖其后列出的项目和附加项目。
已经详细描述了本发明的几个实施例，本领域技术人员将容易想到各种修改和改进。这种修改和改进旨在落入本发明的精神和范围内。相应地，前面的描述仅仅是示例性的，而不意欲作为限制。本发明仅由所附权利要求及其等同物限定。

Claims (21)

1.一种用于提供手部的动态更新的肌肉骨骼表示的计算机化系统，所述系统包括：
多个神经肌肉传感器，其被配置成连续记录来自用户的多个神经肌肉信号；以及
至少一个计算机处理器，其被编程为：
将所述多个神经肌肉信号作为输入提供给经训练的统计模型；
实时地时间平滑所述经训练的统计模型的输出；
基于所述经训练的统计模型的平滑后输出来确定：
描述所述肌肉骨骼表示的两个或更多个连接节段之间的空间关系的位置信息；
描述由所述肌肉骨骼表示的至少一个节段施加的力的力信息；以及
至少部分地基于所述位置信息和所述力信息来更新手部的肌肉骨骼表示。
2.根据权利要求1所述的计算机化系统，其中，时间平滑所述经训练的统计模型的输出包括使用至少一个滤波器来处理所述经训练的统计模型的输出。
3.根据权利要求2所述的计算机化系统，其中，所述至少一个滤波器包括选自以下组的至少一个滤波器，所述组包括：指数滤波器、卡尔曼滤波器、非线性卡尔曼滤波器、粒子滤波器和贝叶斯滤波器。
4.根据权利要求1所述的计算机化系统，其中，所述至少一个计算机处理器被编程为确定所述经训练的统计模型的准确性，并且响应于所确定的所述经训练的统计模型的准确性，实时地时间平滑所述经训练的统计模型的输出。
5.根据权利要求4所述的计算机化系统，其中，所述至少一个计算机处理器被编程为确定经训练模型的输入准确性和输出准确性中的至少一个。
6.根据权利要求1所述的计算机化系统，其中，时间平滑所述经训练的统计模型的输出包括在所述经训练的统计模型中包括至少一个时间平滑特性。
7.根据权利要求6所述的计算机化系统，其中，包括至少一个时间平滑特性的所述经训练的统计模型包括用惩罚项来训练统计模型，以提高模型输出的平滑度。
8.根据权利要求6所述的计算机化系统，其中，包括至少一个时间平滑特性的所述经训练的统计模型包括用误差函数来训练统计模型，所述误差函数包括所述统计模型的输出的时间导数估计中的误差。
9.根据权利要求6所述的计算机化系统，其中，包括至少一个时间平滑特性的所述经训练的统计模型包括在所述经训练的统计模型中包括关于统计模型的输出的平滑度的先验。
10.根据权利要求9所述的计算机化系统，其中，时间平滑所述经训练的统计模型的输出还包括，基于在第一时间点记录的第一神经肌肉信号和在所述第一时间点之后的至少一个第二时间点记录的第二神经肌肉信号，来生成所述经训练的统计模型的所述第一时间点的输出。
11.根据权利要求1所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为：
确定所述经训练的统计模型在第一时间点的平滑后输出的质量；以及
基于所确定的质量来调整至少一个平滑参数；以及
基于调整后的至少一个平滑参数，来时间平滑所述经训练的统计模型在第二时间点的输出。
12.根据权利要求1所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为，至少部分地基于在记录所述多个神经肌肉信号期间用户运动的至少一个特性来时间平滑所述经训练的统计模型的输出。
13.根据权利要求12所述的计算机化系统，还包括：
至少一个惯性测量单元，其被配置成连续记录多个惯性测量单元信号，其中，至少部分地基于所述多个惯性测量单元信号来确定用户运动的所述至少一个特性。
14.根据权利要求13所述的计算机化系统，其中，用户运动的所述至少一个特性包括用户移动用户的手和/或手臂的速度。
15.根据权利要求14所述的计算机化系统，其中，时间平滑所述经训练的统计模型的输出包括当确定用户正在以大于阈值的速度移动用户的手和/或手臂时，增加所述经训练的统计模型的输出的时间平滑量。
16.根据权利要求1所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为至少部分地基于所述经训练的统计模型的平滑后输出来更新所述经训练的统计模型的损失函数。
17.根据权利要求1所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为：
执行提供虚拟现实环境的应用；
基于手部的更新的肌肉骨骼模型，在所述虚拟现实环境中再现手部的视觉表示；以及
至少部分地基于所述手部的视觉表示与所述虚拟现实环境内一个或更多个对象之间的空间关系，来调整所述经训练的统计模型的输出的时间平滑量。
18.根据权利要求17所述的计算机化系统，其中，当所述手部的视觉表示接近所述虚拟现实环境中的对象时，调整所述经训练的统计模型的输出的时间平滑量包括减少所述时间平滑量和增加所述时间平滑量中的至少一个。
19.根据权利要求18所述的计算机化系统，其中，所述时间平滑量在选定的自由度上增加或减少。
20.一种用于提供手部的动态更新的肌肉骨骼表示的方法，所述方法包括：
从多个神经肌肉传感器接收来自用户的多个神经肌肉信号；
执行表示手部状态的经训练的统计模型；
提供所述多个神经肌肉信号作为所执行的统计模型的输入；
实时地时间平滑所述经训练的统计模型的输出；
基于所述经训练的统计模型的平滑后输出来确定：
描述所述肌肉骨骼表示的两个或更多个连接节段之间的空间关系的位置信息；以及
描述由所述肌肉骨骼表示的至少一个节段施加的力的力信息；以及
至少部分地基于所述位置信息和所述力信息来更新手部的肌肉骨骼表示。
21.一种编码有多个指令的计算机可读介质，所述多个指令当被至少一个计算机处理器执行时，执行用于提供手部的动态更新的肌肉骨骼表示的方法，所述方法包括：
从多个神经肌肉传感器接收来自用户的多个神经肌肉信号；
执行表示手部状态的经训练的统计模型；
提供所述多个神经肌肉信号作为所执行的统计模型的输入；
实时地时间平滑所述经训练的统计模型的输出；
基于所述经训练的统计模型的平滑后输出来确定：
描述所述肌肉骨骼表示的两个或更多个连接节段之间的空间关系的位置信息；以及
描述由所述肌肉骨骼表示的至少一个节段施加的力的力信息；以及
至少部分地基于所述位置信息和所述力信息来更新手部的肌肉骨骼表示。
CN201980022115.1A 2018-01-25 2019-01-25 手部状态表示模型估计的实时处理 Pending CN111902847A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862621741P 2018-01-25 2018-01-25
US62/621,741 2018-01-25
PCT/US2019/015167 WO2019147949A1 (en) 2018-01-25 2019-01-25 Real-time processing of handstate representation model estimates

Publications (1)

Publication Number Publication Date
CN111902847A true CN111902847A (zh) 2020-11-06

Family

ID=67300069

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980022115.1A Pending CN111902847A (zh) 2018-01-25 2019-01-25 手部状态表示模型估计的实时处理

Country Status (4)

Country Link
US (3) US10460455B2 (zh)
EP (1) EP3743901A4 (zh)
CN (1) CN111902847A (zh)
WO (1) WO2019147949A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11127143B2 (en) 2018-01-25 2021-09-21 Facebook Technologies, Llc Real-time processing of handstate representation model estimates

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US10042422B2 (en) 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
WO2015081113A1 (en) 2013-11-27 2015-06-04 Cezar Morun Systems, articles, and methods for electromyography sensors
US9880632B2 (en) 2014-06-19 2018-01-30 Thalmic Labs Inc. Systems, devices, and methods for gesture identification
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
US11216069B2 (en) 2018-05-08 2022-01-04 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
US10990174B2 (en) 2016-07-25 2021-04-27 Facebook Technologies, Llc Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors
US11337652B2 (en) 2016-07-25 2022-05-24 Facebook Technologies, Llc System and method for measuring the movements of articulated rigid bodies
EP3487457B1 (en) 2016-07-25 2023-09-06 Facebook Technologies, LLC. Adaptive system for deriving control signals from measurements of neuromuscular activity
US10772519B2 (en) 2018-05-25 2020-09-15 Facebook Technologies, Llc Methods and apparatus for providing sub-muscular control
US20190121306A1 (en) 2017-10-19 2019-04-25 Ctrl-Labs Corporation Systems and methods for identifying biological structures associated with neuromuscular source signals
US11331045B1 (en) 2018-01-25 2022-05-17 Facebook Technologies, Llc Systems and methods for mitigating neuromuscular signal artifacts
US11179066B2 (en) 2018-08-13 2021-11-23 Facebook Technologies, Llc Real-time spike detection and identification
US10687759B2 (en) 2018-05-29 2020-06-23 Facebook Technologies, Llc Shielding techniques for noise reduction in surface electromyography signal measurement and related systems and methods
US10409371B2 (en) 2016-07-25 2019-09-10 Ctrl-Labs Corporation Methods and apparatus for inferring user intent based on neuromuscular signals
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US11069148B2 (en) 2018-01-25 2021-07-20 Facebook Technologies, Llc Visualization of reconstructed handstate information
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
CN112005198A (zh) 2018-01-25 2020-11-27 脸谱科技有限责任公司 基于多个输入的手部状态重建
US20230072423A1 (en) * 2018-01-25 2023-03-09 Meta Platforms Technologies, Llc Wearable electronic devices and extended reality systems including neuromuscular sensors
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US10937414B2 (en) 2018-05-08 2021-03-02 Facebook Technologies, Llc Systems and methods for text input using neuromuscular information
US10592001B2 (en) 2018-05-08 2020-03-17 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
CN112585600A (zh) 2018-06-14 2021-03-30 脸谱科技有限责任公司 使用神经肌肉标记进行用户识别和认证
WO2020018892A1 (en) 2018-07-19 2020-01-23 Ctrl-Labs Corporation Methods and apparatus for improved signal robustness for a wearable neuromuscular recording device
US10842407B2 (en) 2018-08-31 2020-11-24 Facebook Technologies, Llc Camera-guided interpretation of neuromuscular signals
CN112789577B (zh) 2018-09-20 2024-04-05 元平台技术有限公司 增强现实系统中的神经肌肉文本输入、书写和绘图
WO2020069181A1 (en) 2018-09-26 2020-04-02 Ctrl-Labs Corporation Neuromuscular control of physical objects in an environment
CN112822992A (zh) 2018-10-05 2021-05-18 脸谱科技有限责任公司 在增强现实环境中使用神经肌肉信号来提供与物理对象的增强交互
CN113423341A (zh) 2018-11-27 2021-09-21 脸谱科技有限责任公司 用于可穿戴电极传感器系统的自动校准的方法和装置
US10905383B2 (en) 2019-02-28 2021-02-02 Facebook Technologies, Llc Methods and apparatus for unsupervised one-shot machine learning for classification of human gestures and estimation of applied forces
US10620713B1 (en) * 2019-06-05 2020-04-14 NEX Team Inc. Methods and systems for touchless control with a mobile device
US11974857B2 (en) 2019-10-08 2024-05-07 Unlimited Tomorrow, Inc. Biometric sensor array
CN111077999B (zh) * 2019-11-14 2021-08-13 联想(北京)有限公司 一种信息处理方法、设备及系统
CN110974425B (zh) * 2019-12-20 2020-10-30 哈尔滨工业大学 对手术器械夹持力感知模型进行训练的方法
CN111700718B (zh) * 2020-07-13 2023-06-27 京东科技信息技术有限公司 一种识别握姿的方法、装置、假肢及可读存储介质
CN112205990B (zh) * 2020-09-07 2023-07-14 武汉科技大学 一种基于sEMG的不同负载下手腕角度预测方法及装置
US11768546B1 (en) 2020-09-24 2023-09-26 Apple Inc. Method and device for positional/rotational information of a finger-wearable device
US11592907B2 (en) * 2020-10-20 2023-02-28 Google Llc Gesture-triggered augmented-reality
CN112347951B (zh) * 2020-11-11 2023-07-11 哈尔滨工业大学（深圳） 一种手势识别方法、装置、存储介质及数据手套
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
CN114224326B (zh) * 2021-11-18 2024-05-03 北京精密机电控制设备研究所 一种穿戴式步态相位和动作识别装置及方法
US20230297167A1 (en) * 2022-03-15 2023-09-21 Port 6 Oy Detecting user input from multi-modal hand bio-metrics
US20240037299A1 (en) * 2022-07-29 2024-02-01 BeeKeeperAI, Inc. Systems and methods for algorithm performance modeling in a zero-trust environment

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100292617A1 (en) * 2009-05-15 2010-11-18 Kin Fong Lei method and system for quantifying an intention of movement of a user
CN104665962A (zh) * 2015-02-05 2015-06-03 华南理工大学 可穿戴式功能增强机器手系统及其辅助手指和控制方法
CN105190578A (zh) * 2013-02-22 2015-12-23 赛尔米克实验室公司 用于基于手势控制的组合肌肉活动传感器信号和惯性传感器信号的方法和设备
CN105578954A (zh) * 2013-09-25 2016-05-11 迈恩德玛泽股份有限公司 生理参数测量和反馈系统
CN105830092A (zh) * 2013-12-20 2016-08-03 高通股份有限公司 用于数字合成及/或检索的系统、方法及设备
CN106055114A (zh) * 2016-07-20 2016-10-26 西安中科比奇创新科技有限责任公司 一种可穿戴式人机交互手势识别控制装置
CN106227346A (zh) * 2016-07-25 2016-12-14 南京航空航天大学 基于电磁场控制的力觉和触觉融合再现装置和方法
CN106293057A (zh) * 2016-07-20 2017-01-04 西安中科比奇创新科技有限责任公司 基于bp神经网络的手势识别方法
CN106648071A (zh) * 2016-11-21 2017-05-10 捷开通讯科技(上海)有限公司 虚拟现实社交实现系统

Family Cites Families (160)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL78244A0 (en) 1986-03-24 1986-07-31 Zvi Kamil Instrumentation amplifier arrangement
US5625577A (en) 1990-12-25 1997-04-29 Shukyohojin, Kongo Zen Sohonzan Shorinji Computer-implemented motion analysis method using dynamics
JP3103427B2 (ja) 1992-04-01 2000-10-30 ダイヤメディカルシステム株式会社 生体電気現象検出装置
AU3954997A (en) 1996-08-14 1998-03-06 Nurakhmed Nurislamovich Latypov Method for following and imaging a subject's three-dimensional position and orientation, method for presenting a virtual space to a subject, and systems for implementing said methods
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
WO2000010455A1 (en) 1998-08-24 2000-03-02 Emory University Method and apparatus for predicting the onset of seizures based on features derived from signals indicative of brain activity
US6244873B1 (en) 1998-10-16 2001-06-12 At&T Corp. Wireless myoelectric control apparatus and methods
US6774885B1 (en) 1999-01-20 2004-08-10 Motek B.V. System for dynamic registration, evaluation, and correction of functional human behavior
US6720984B1 (en) 2000-06-13 2004-04-13 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Characterization of bioelectric potentials
WO2002037827A2 (en) 2000-10-30 2002-05-10 Naval Postgraduate School Method and apparatus for motion tracking of an articulated rigid body
WO2003063684A2 (en) 2002-01-25 2003-08-07 Intellipatch, Inc. Evaluation of a patient and prediction of chronic symptoms
JP2003255993A (ja) 2002-03-04 2003-09-10 Ntt Docomo Inc 音声認識システム、音声認識方法、音声認識プログラム、音声合成システム、音声合成方法、音声合成プログラム
US6942621B2 (en) 2002-07-11 2005-09-13 Ge Medical Systems Information Technologies, Inc. Method and apparatus for detecting weak physiological signals
KR100506084B1 (ko) 2002-10-24 2005-08-05 삼성전자주식회사 경혈점 탐색 장치 및 방법
US7787946B2 (en) 2003-08-18 2010-08-31 Cardiac Pacemakers, Inc. Patient monitoring, diagnosis, and/or therapy systems and methods
CN1838933B (zh) 2003-08-21 2010-12-08 国立大学法人筑波大学 穿着式动作辅助装置、穿着式动作辅助装置的控制方法和控制用程序
JP4178186B2 (ja) 2003-08-21 2008-11-12 国立大学法人 筑波大学 装着式動作補助装置、装着式動作補助装置の制御方法および制御用プログラム
US7565295B1 (en) 2003-08-28 2009-07-21 The George Washington University Method and apparatus for translating hand gestures
US7574253B2 (en) 2003-09-26 2009-08-11 Northwestern University Signal processing using non-linear regression with a sinusoidal model
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
JP4590640B2 (ja) 2004-06-16 2010-12-01 国立大学法人 東京大学 筋骨格モデルに基づく筋力取得方法及び装置
US20060206167A1 (en) 2005-01-06 2006-09-14 Flaherty J C Multi-device patient ambulation system
WO2006105094A2 (en) 2005-03-29 2006-10-05 Duke University Sensor system for identifying and tracking movements of multiple sources
US8190249B1 (en) 2005-08-01 2012-05-29 Infinite Biomedical Technologies, Llc Multi-parametric quantitative analysis of bioelectrical signals
US7725147B2 (en) 2005-09-29 2010-05-25 Nellcor Puritan Bennett Llc System and method for removing artifacts from waveforms
US8280503B2 (en) 2008-10-27 2012-10-02 Michael Linderman EMG measured during controlled hand movement for biometric analysis, medical diagnosis and related analysis
JP4826459B2 (ja) 2006-01-12 2011-11-30 株式会社豊田中央研究所 筋骨格モデル作成方法、人体応力／ひずみ推定方法、プログラムおよび記録媒体
US7580742B2 (en) 2006-02-07 2009-08-25 Microsoft Corporation Using electroencephalograph signals for task classification and activity recognition
US7827000B2 (en) 2006-03-03 2010-11-02 Garmin Switzerland Gmbh Method and apparatus for estimating a motion parameter
US8311623B2 (en) 2006-04-15 2012-11-13 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for estimating surface electromyography
EP2010053A4 (en) 2006-04-21 2010-05-12 Quantum Applied Science And Re SYSTEM FOR MEASURING ELECTRIC SIGNALS
GB2453263A (en) 2006-05-16 2009-04-01 Douglas S Greer System and method for modeling the neocortex and uses therefor
US7661068B2 (en) 2006-06-12 2010-02-09 Microsoft Corporation Extended eraser functions
US9405372B2 (en) 2006-07-14 2016-08-02 Ailive, Inc. Self-contained inertial navigation system for interactive control using movable controllers
US8437844B2 (en) 2006-08-21 2013-05-07 Holland Bloorview Kids Rehabilitation Hospital Method, system and apparatus for real-time classification of muscle signals from self-selected intentional movements
JP4267648B2 (ja) 2006-08-25 2009-05-27 株式会社東芝 インターフェース装置及びその方法
US20080221487A1 (en) 2007-03-07 2008-09-11 Motek Bv Method for real time interactive visualization of muscle forces and joint torques in the human body
FR2916069B1 (fr) 2007-05-11 2009-07-31 Commissariat Energie Atomique Procede de traitement pour la capture de mouvement d'une structure articulee
DE102007044554B3 (de) 2007-07-18 2009-07-16 Siemens Ag Sensorband mit optischer Sensorfaser, Sensor mit diesem Sensorband und Verfahren zum Kalibrieren einer optischen Sensorfaser
US7714757B2 (en) 2007-09-26 2010-05-11 Medtronic, Inc. Chopper-stabilized analog-to-digital converter
US9597015B2 (en) 2008-02-12 2017-03-21 Portland State University Joint angle tracking with inertial sensors
US20100030532A1 (en) 2008-06-12 2010-02-04 Jasbir Arora System and methods for digital human model prediction and simulation
US8170656B2 (en) 2008-06-26 2012-05-01 Microsoft Corporation Wearable electromyography-based controllers for human-computer interface
US9037530B2 (en) 2008-06-26 2015-05-19 Microsoft Technology Licensing, Llc Wearable electromyography-based human-computer interface
US8447704B2 (en) 2008-06-26 2013-05-21 Microsoft Corporation Recognizing gestures from forearm EMG signals
US8444564B2 (en) 2009-02-02 2013-05-21 Jointvue, Llc Noninvasive diagnostic system
US20100315266A1 (en) 2009-06-15 2010-12-16 Microsoft Corporation Predictive interfaces with usability constraints
CN102573620B (zh) 2009-07-30 2014-10-22 开普敦大学 非介入式深层肌肉肌电描记
US8718980B2 (en) 2009-09-11 2014-05-06 Qualcomm Incorporated Method and apparatus for artifacts mitigation with multiple wireless sensors
US20110077484A1 (en) 2009-09-30 2011-03-31 Nellcor Puritan Bennett Ireland Systems And Methods For Identifying Non-Corrupted Signal Segments For Use In Determining Physiological Parameters
TWI496558B (zh) 2009-10-20 2015-08-21 Tatung Co 使用二極電極貼片量測心電圖與呼吸訊號之系統及方法
US8421634B2 (en) 2009-12-04 2013-04-16 Microsoft Corporation Sensing mechanical energy to appropriate the body for data input
US20120283526A1 (en) 2009-12-16 2012-11-08 Ictalcare A/S Method and a System for the Prediction of Epileptic Seizures
JP5471490B2 (ja) 2010-01-20 2014-04-16 オムロンヘルスケア株式会社 体動検出装置
US8351651B2 (en) 2010-04-26 2013-01-08 Microsoft Corporation Hand-location post-process refinement in a tracking system
US8754862B2 (en) 2010-07-11 2014-06-17 Lester F. Ludwig Sequential classification recognition of gesture primitives and window-based parameter smoothing for high dimensional touchpad (HDTP) user interfaces
FR2962821B1 (fr) 2010-07-13 2013-02-22 Commissariat Energie Atomique Procede et systeme de classification de signaux neuronaux, et procede de selection d'electrodes pour commande neuronale directe.
US20140052150A1 (en) 2010-08-02 2014-02-20 The Johns Hopkins University Method for presenting force sensor information using cooperative robot control and audio feedback
US20120066163A1 (en) 2010-09-13 2012-03-15 Nottingham Trent University Time to event data analysis method and system
WO2012175785A1 (en) 2011-06-20 2012-12-27 Nokia Corporation Methods, apparatuses and computer program products for performing accurate pose estimation of objects
US9128521B2 (en) 2011-07-13 2015-09-08 Lumo Bodytech, Inc. System and method of biomechanical posture detection and feedback including sensor normalization
US20130077820A1 (en) 2011-09-26 2013-03-28 Microsoft Corporation Machine learning gesture detection
FR2981561B1 (fr) 2011-10-21 2015-03-20 Commissariat Energie Atomique Procede de detection d'activite a capteur de mouvements, dispositif et programme d'ordinateur correspondants
US10430066B2 (en) 2011-12-06 2019-10-01 Nri R&D Patent Licensing, Llc Gesteme (gesture primitive) recognition for advanced touch user interfaces
JP2013206273A (ja) 2012-03-29 2013-10-07 Sony Corp 情報処理装置、情報処理方法、および情報処理システム
US10130298B2 (en) 2012-04-03 2018-11-20 Carnegie Mellon University Musculoskeletal activity recognition system and method
WO2013177592A2 (en) 2012-05-25 2013-11-28 Emotiv Lifesciences, Inc. System and method for providing and aggregating biosignals and action data
US9278453B2 (en) 2012-05-25 2016-03-08 California Institute Of Technology Biosleeve human-machine interface
US10921886B2 (en) 2012-06-14 2021-02-16 Medibotics Llc Circumferential array of electromyographic (EMG) sensors
US9582072B2 (en) 2013-09-17 2017-02-28 Medibotics Llc Motion recognition clothing [TM] with flexible electromagnetic, light, or sonic energy pathways
US9891718B2 (en) 2015-04-22 2018-02-13 Medibotics Llc Devices for measuring finger motion and recognizing hand gestures
US9814426B2 (en) 2012-06-14 2017-11-14 Medibotics Llc Mobile wearable electromagnetic brain activity monitor
US8484022B1 (en) 2012-07-27 2013-07-09 Google Inc. Adaptive auto-encoders
US10234941B2 (en) 2012-10-04 2019-03-19 Microsoft Technology Licensing, Llc Wearable sensor for tracking articulated body-parts
US20140196131A1 (en) 2013-01-07 2014-07-10 Salutron, Inc. User authentication based on a wrist vein pattern
US10528135B2 (en) 2013-01-14 2020-01-07 Ctrl-Labs Corporation Wearable muscle interface systems, devices and methods that interact with content displayed on an electronic display
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US20140245200A1 (en) 2013-02-25 2014-08-28 Leap Motion, Inc. Display control with gesture-selectable control paradigms
US20140249397A1 (en) 2013-03-01 2014-09-04 Thalmic Labs Inc. Differential non-contact biopotential sensor
US9436287B2 (en) 2013-03-15 2016-09-06 Qualcomm Incorporated Systems and methods for switching processing modes using gestures
US9766709B2 (en) 2013-03-15 2017-09-19 Leap Motion, Inc. Dynamic user interactions for display control
US10620709B2 (en) 2013-04-05 2020-04-14 Ultrahaptics IP Two Limited Customized gesture interpretation
WO2014186370A1 (en) 2013-05-13 2014-11-20 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices that accommodate different user forms
US10620775B2 (en) 2013-05-17 2020-04-14 Ultrahaptics IP Two Limited Dynamic interactive objects
US9218574B2 (en) 2013-05-29 2015-12-22 Purepredictive, Inc. User interface for machine learning
KR20160016925A (ko) 2013-05-31 2016-02-15 프레지던트 앤드 펠로우즈 오브 하바드 칼리지 인간 모션과의 보조를 위한 소프트 엑소슈트
KR101933921B1 (ko) 2013-06-03 2018-12-31 삼성전자주식회사 포즈 추정 방법 및 장치
EP3003149A4 (en) 2013-06-03 2017-06-14 Kacyvenski, Isaiah Motion sensor and analysis
US20140376773A1 (en) 2013-06-21 2014-12-25 Leap Motion, Inc. Tunable operational parameters in motion-capture and touchless interface operation
US10402517B2 (en) 2013-06-26 2019-09-03 Dassault Systémes Simulia Corp. Musculo-skeletal modeling using finite element analysis, process integration, and design optimization
US9408316B2 (en) 2013-07-22 2016-08-02 Thalmic Labs Inc. Systems, articles and methods for strain mitigation in wearable electronic devices
US20150029092A1 (en) 2013-07-23 2015-01-29 Leap Motion, Inc. Systems and methods of interpreting complex gestures
US10042422B2 (en) 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
US20150057770A1 (en) 2013-08-23 2015-02-26 Thaimic Labs Inc. Systems, articles, and methods for human-electronics interfaces
US11426123B2 (en) 2013-08-16 2022-08-30 Meta Platforms Technologies, Llc Systems, articles and methods for signal routing in wearable electronic devices that detect muscle activity of a user using a set of discrete and separately enclosed pod structures
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US9788789B2 (en) 2013-08-30 2017-10-17 Thalmic Labs Inc. Systems, articles, and methods for stretchable printed circuit boards
US9372535B2 (en) 2013-09-06 2016-06-21 Thalmic Labs Inc. Systems, articles, and methods for electromyography-based human-electronics interfaces
US9483123B2 (en) 2013-09-23 2016-11-01 Thalmic Labs Inc. Systems, articles, and methods for gesture identification in wearable electromyography devices
US9389694B2 (en) 2013-10-22 2016-07-12 Thalmic Labs Inc. Systems, articles, and methods for gesture identification in wearable electromyography devices
GB2519987B (en) 2013-11-04 2021-03-03 Imperial College Innovations Ltd Biomechanical activity monitoring
US9594433B2 (en) 2013-11-05 2017-03-14 At&T Intellectual Property I, L.P. Gesture-based controls via bone conduction
EP3068349A4 (en) 2013-11-13 2017-12-13 Hrl Laboratories, Llc System for controlling brain machine interfaces and neural prosthetic systems
WO2015081113A1 (en) 2013-11-27 2015-06-04 Cezar Morun Systems, articles, and methods for electromyography sensors
US20150157944A1 (en) 2013-12-06 2015-06-11 Glenn I. Gottlieb Software Application for Generating a Virtual Simulation for a Sport-Related Activity
US9367139B2 (en) 2013-12-12 2016-06-14 Thalmic Labs Inc. Systems, articles, and methods for gesture identification in wearable electromyography devices
US9659403B1 (en) 2014-01-06 2017-05-23 Leap Motion, Inc. Initializing orientation in space for predictive information for free space gesture control and communication
US9524580B2 (en) 2014-01-06 2016-12-20 Oculus Vr, Llc Calibration of virtual reality systems
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
WO2015123445A1 (en) 2014-02-14 2015-08-20 Thalmic Labs Inc. Systems, articles, and methods for elastic electrical cables and wearable electronic devices employing same
WO2015131157A1 (en) 2014-02-28 2015-09-03 Vikas Gupta Gesture operated wrist mounted camera system
US10613642B2 (en) 2014-03-12 2020-04-07 Microsoft Technology Licensing, Llc Gesture parameter tuning
US20150261306A1 (en) 2014-03-17 2015-09-17 Thalmic Labs Inc. Systems, devices, and methods for selecting between multiple wireless connections
US10199008B2 (en) 2014-03-27 2019-02-05 North Inc. Systems, devices, and methods for wearable electronic devices as state machines
US10409382B2 (en) 2014-04-03 2019-09-10 Honda Motor Co., Ltd. Smart tutorial for gesture control system
US9858391B2 (en) 2014-04-17 2018-01-02 The Boeing Company Method and system for tuning a musculoskeletal model
WO2015164951A1 (en) 2014-05-01 2015-11-05 Abbas Mohamad Methods and systems relating to personalized evolving avatars
US20150323998A1 (en) * 2014-05-06 2015-11-12 Qualcomm Incorporated Enhanced user interface for a wearable electronic device
US20150325202A1 (en) 2014-05-07 2015-11-12 Thalmic Labs Inc. Systems, devices, and methods for wearable computers with heads-up displays
US9785247B1 (en) 2014-05-14 2017-10-10 Leap Motion, Inc. Systems and methods of tracking moving hands and recognizing gestural interactions
US9741169B1 (en) 2014-05-20 2017-08-22 Leap Motion, Inc. Wearable augmented reality devices with object detection and tracking
US10782657B2 (en) 2014-05-27 2020-09-22 Ultrahaptics IP Two Limited Systems and methods of gestural interaction in a pervasive computing environment
US9880632B2 (en) 2014-06-19 2018-01-30 Thalmic Labs Inc. Systems, devices, and methods for gesture identification
US10216274B2 (en) 2014-06-23 2019-02-26 North Inc. Systems, articles, and methods for wearable human-electronics interface devices
WO2015199747A1 (en) 2014-06-23 2015-12-30 Thalmic Labs Inc. Systems, articles, and methods for wearable human-electronics interface devices
US9552069B2 (en) 2014-07-11 2017-01-24 Microsoft Technology Licensing, Llc 3D gesture recognition
WO2016041088A1 (en) 2014-09-19 2016-03-24 Sulon Technologies Inc. System and method for tracking wearable peripherals in augmented reality and virtual reality applications
US10274992B2 (en) 2014-11-12 2019-04-30 Kyocera Corporation Wearable device with muscle activity detector
US9720515B2 (en) 2015-01-02 2017-08-01 Wearable Devices Ltd. Method and apparatus for a gesture controlled interface for wearable devices
US9612661B2 (en) 2015-01-02 2017-04-04 Wearable Devices Ltd. Closed loop feedback interface for wearable devices
US9696795B2 (en) 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
US20160274758A1 (en) 2015-03-20 2016-09-22 Thalmic Labs Inc. Systems, devices, and methods for mitigating false positives in human-electronics interfaces
US20160282947A1 (en) * 2015-03-26 2016-09-29 Lenovo (Singapore) Pte. Ltd. Controlling a wearable device using gestures
US10432842B2 (en) 2015-04-06 2019-10-01 The Texas A&M University System Fusion of inertial and depth sensors for movement measurements and recognition
US10078435B2 (en) 2015-04-24 2018-09-18 Thalmic Labs Inc. Systems, methods, and computer program products for interacting with electronically displayed presentation materials
US10765859B2 (en) 2015-06-02 2020-09-08 Battelle Memorial Institute Neural sleeve for neuromuscular stimulation, sensing and recording
US11589814B2 (en) 2015-06-26 2023-02-28 Carnegie Mellon University System for wearable, low-cost electrical impedance tomography for non-invasive gesture recognition
US9240069B1 (en) 2015-06-30 2016-01-19 Ariadne's Thread (Usa), Inc. Low-latency virtual reality display system
US10854104B2 (en) 2015-08-28 2020-12-01 Icuemotion Llc System for movement skill analysis and skill augmentation and cueing
US10459537B2 (en) 2015-09-30 2019-10-29 Stmicroelectronics, Inc. Encapsulated pressure sensor
WO2017062544A1 (en) * 2015-10-06 2017-04-13 University Of Pittsburgh-Of The Commonwealth System Of Higher Education Method, device and system for sensing neuromuscular, physiological, biomechanical, and musculoskeletal activity
US9881273B2 (en) 2015-10-28 2018-01-30 Disney Interprises, Inc. Automatic object detection and state estimation via electronic emissions sensing
US10595941B2 (en) * 2015-10-30 2020-03-24 Orthosensor Inc. Spine measurement system and method therefor
US11106273B2 (en) * 2015-10-30 2021-08-31 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays
CN105511615B (zh) 2015-12-04 2019-03-05 深圳大学 基于emg的可穿戴式文本输入系统及方法
US20170188980A1 (en) 2016-01-06 2017-07-06 Empire Technology Development Llc Wearable sensor based body modeling
US11402402B2 (en) 2016-01-12 2022-08-02 Bigmotion Technologies Inc. Systems and methods for human body motion capture
US20170259167A1 (en) 2016-03-14 2017-09-14 Nathan Sterling Cook Brainwave virtual reality apparatus and method
US10503253B2 (en) 2016-03-31 2019-12-10 Intel Corporation Sensor signal processing to determine finger and/or hand position
US10203751B2 (en) 2016-05-11 2019-02-12 Microsoft Technology Licensing, Llc Continuous motion controls operable using neurological data
US9864431B2 (en) 2016-05-11 2018-01-09 Microsoft Technology Licensing, Llc Changing an application state using neurological data
US10990174B2 (en) 2016-07-25 2021-04-27 Facebook Technologies, Llc Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors
EP3487457B1 (en) 2016-07-25 2023-09-06 Facebook Technologies, LLC. Adaptive system for deriving control signals from measurements of neuromuscular activity
US20190121306A1 (en) 2017-10-19 2019-04-25 Ctrl-Labs Corporation Systems and methods for identifying biological structures associated with neuromuscular source signals
US10409371B2 (en) 2016-07-25 2019-09-10 Ctrl-Labs Corporation Methods and apparatus for inferring user intent based on neuromuscular signals
US11337652B2 (en) 2016-07-25 2022-05-24 Facebook Technologies, Llc System and method for measuring the movements of articulated rigid bodies
EP3548994B1 (en) 2016-12-02 2021-08-11 Pison Technology, Inc. Detecting and using body tissue electrical signals
US10646139B2 (en) 2016-12-05 2020-05-12 Intel Corporation Body movement tracking
US20190076716A1 (en) 2017-09-12 2019-03-14 Intel Corporation Activity training system
EP3743901A4 (en) 2018-01-25 2021-03-31 Facebook Technologies, Inc. REAL-TIME PROCESSING OF HAND REPRESENTATION MODEL ESTIMATES

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100292617A1 (en) * 2009-05-15 2010-11-18 Kin Fong Lei method and system for quantifying an intention of movement of a user
CN105190578A (zh) * 2013-02-22 2015-12-23 赛尔米克实验室公司 用于基于手势控制的组合肌肉活动传感器信号和惯性传感器信号的方法和设备
CN105578954A (zh) * 2013-09-25 2016-05-11 迈恩德玛泽股份有限公司 生理参数测量和反馈系统
CN105830092A (zh) * 2013-12-20 2016-08-03 高通股份有限公司 用于数字合成及/或检索的系统、方法及设备
CN104665962A (zh) * 2015-02-05 2015-06-03 华南理工大学 可穿戴式功能增强机器手系统及其辅助手指和控制方法
CN106055114A (zh) * 2016-07-20 2016-10-26 西安中科比奇创新科技有限责任公司 一种可穿戴式人机交互手势识别控制装置
CN106293057A (zh) * 2016-07-20 2017-01-04 西安中科比奇创新科技有限责任公司 基于bp神经网络的手势识别方法
CN106227346A (zh) * 2016-07-25 2016-12-14 南京航空航天大学 基于电磁场控制的力觉和触觉融合再现装置和方法
CN106648071A (zh) * 2016-11-21 2017-05-10 捷开通讯科技(上海)有限公司 虚拟现实社交实现系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XU ZHANG等: "A Framework for Hand Gesture Recognition Based on Accelerometer and EMG Sensors", 《IEEE TRANSACTIONS ON SYSTEMS, MAN, AND CYBERNETICS—PART A: SYSTEMS AND HUMANS》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11127143B2 (en) 2018-01-25 2021-09-21 Facebook Technologies, Llc Real-time processing of handstate representation model estimates
US11587242B1 (en) 2018-01-25 2023-02-21 Meta Platforms Technologies, Llc Real-time processing of handstate representation model estimates

Also Published As

Publication number Publication date
EP3743901A4 (en) 2021-03-31
WO2019147949A1 (en) 2019-08-01
EP3743901A1 (en) 2020-12-02
US20190228533A1 (en) 2019-07-25
US20200034978A1 (en) 2020-01-30
US11587242B1 (en) 2023-02-21
US10460455B2 (en) 2019-10-29
US11127143B2 (en) 2021-09-21

Similar Documents

Publication Publication Date Title
US11587242B1 (en) Real-time processing of handstate representation model estimates
US10489986B2 (en) User-controlled tuning of handstate representation model parameters
US11163361B2 (en) Calibration techniques for handstate representation modeling using neuromuscular signals
US11069148B2 (en) Visualization of reconstructed handstate information
US10817795B2 (en) Handstate reconstruction based on multiple inputs
US20210405750A1 (en) Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors
US11337652B2 (en) System and method for measuring the movements of articulated rigid bodies
US20190223748A1 (en) Methods and apparatus for mitigating neuromuscular signal artifacts
JP2021535465A (ja) 神経筋信号のカメラ誘導による解釈
EP3951564A1 (en) Methods and apparatus for simultaneous detection of discrete and continuous gestures

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: California, USA

Applicant after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Applicant before: Facebook Technologies, LLC

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20201106

RJ01 Rejection of invention patent application after publication