CN112074870A - 重构的手部状态信息的可视化 - Google Patents

重构的手部状态信息的可视化 Download PDF

Info

Publication number
CN112074870A
CN112074870A CN201980022049.8A CN201980022049A CN112074870A CN 112074870 A CN112074870 A CN 112074870A CN 201980022049 A CN201980022049 A CN 201980022049A CN 112074870 A CN112074870 A CN 112074870A
Authority
CN
China
Prior art keywords
representation
visual
musculoskeletal
updating
force
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980022049.8A
Other languages
English (en)
Inventor
图多尔·吉尔杰卡-蒂龙
亚当·贝雷恩兹维戈
阿提拉·马察克
迈克尔·阿斯托尔菲
梅森·雷马利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Facebook Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Technologies LLC filed Critical Facebook Technologies LLC
Publication of CN112074870A publication Critical patent/CN112074870A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/33—Controlling, regulating or measuring
    • A61M2205/3375—Acoustical, e.g. ultrasonic, measuring means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/35—Communication
    • A61M2205/3546—Range
    • A61M2205/3553—Range remote, e.g. between patient's home and doctor's office
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/50—General characteristics of the apparatus with microprocessors or computers
    • A61M2205/502—User interfaces, e.g. screens or keyboards
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/82—Internal energy supply devices
    • A61M2205/8206—Internal energy supply devices battery-operated
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/04—Heartbeat characteristics, e.g. ECG, blood pressure modulation
    • A61M2230/06—Heartbeat rate only
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/08—Other bio-electrical signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/60—Muscle strain, i.e. measured on the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/63—Motion, e.g. physical activity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Dermatology (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

用于基于肌肉骨骼表示来再现视觉表示的方法和装置。该方法包括至少部分地基于从用户记录的多个神经肌肉信号来更新肌肉骨骼表示，其中，至少部分地基于以下信息来更新该肌肉骨骼表示：描述肌肉骨骼表示的两个或更多个连接节段之间的空间关系的位置信息、以及描述由肌肉骨骼表示的至少一个节段施加的力的力信息，以及基于更新的肌肉骨骼表示经由用户界面来再现视觉表示，其中视觉表示包括位置信息的视觉指示和力信息的视觉指示。

Description

重构的手部状态信息的可视化
相关申请
本申请根据35USC 119(e)要求于2018年1月25日提交的题为“VISUALIZATION OFRECONSTRUCTED HANDSTATE INFORMATION”、序列号为62/621,792的美国临时申请的优先权，其全部内容通过引用结合于此。
背景
在生成人体的表示的一些计算机应用中，希望应用知道用户身体的空间定位、定向(orientation)和移动，以提供身体移动的现实表示。例如，在虚拟现实(VR)环境中，跟踪用户手部的空间位置使得应用能够在VR环境中表示手部运动，这允许用户(例如，通过抓握或操纵)与VR环境中的虚拟对象进行交互。使用可穿戴传感器跟踪用户身体移动的一些现有技术包括，使用从附着于用户身体不同部位的多个惯性测量单元(IMU)获得的信息，以及使用外部成像设备(例如，固定位置照相机)来重建用户身体部位的位置和定向。
概述
在虚拟现实(VR)环境中，“沉浸感(immersion)”指的是足够令人信服的虚拟体验，使得用户体验虚拟环境作为现实的真实代理(realistic proxy)，并且感觉沉浸在虚拟环境中。逼真的图形再现和响应于头部移动的视点偏移是有助于沉浸在虚拟环境中的一些特征。类似地，可以理解，再现的手部(或再现的用户手持控制器)的逼真再现、运动学和环境交互有助于沉浸在虚拟环境中，部分原因是手在非虚拟环境交互中的作用以及人类检测手、手腕和手臂的自然运动学的天生能力。用于用户身体部位(例如，手)的逼真且自然再现的改进系统可以改善用户体验的沉浸感，以及共享虚拟环境中的第三方用户体验的沉浸感。
在生成人体的肌肉骨骼表示(musculoskeletal representation)的一些计算机应用中，可以理解的是，希望该应用提供身体位置、移动和由用户身体的一个或更多个部分(例如，手)施加的力的更真实的表示。在示例中，在VR环境中，跟踪用户手部的空间位置使得能够虚拟地再现手部，并且逼真地近似自然运动学和手势的再现可以增强用户在虚拟环境中的沉浸感。尽管一些基于照相机的系统试图跟踪用户身体的位置和移动，但是应当理解，可以通过使用可穿戴的神经肌肉传感器进行生理测量并基于人体解剖学进行建模来改进这种解析。
一些实施例涉及预测关于用户手臂和/或手的部分的定位和移动的信息，用户手臂和/或手的部分被表示为多节段铰接刚体系统(multi-segment articulated rigidbody system)，其具有连接刚体系统的多个节段的关节(joint)。当用户执行一个或更多个移动时，由放置在用户身体上多个定位处的可穿戴的神经肌肉传感器记录的信号作为输入被提供给统计模型，该统计模型被训练来预测与基于计算机的肌肉骨骼表示中的多个刚性节段相关联的位置(例如，绝对位置、相对位置、定向)和力的估计，该基于计算机的肌肉骨骼表示与手相关联。与和手相关联的肌肉骨骼表示的节段相关联的位置信息和力信息的组合在本文中被通俗地称为肌肉骨骼表示的“手部状态(handstate)”。当用户执行不同的移动时，经训练的统计模型将由可穿戴的神经肌肉传感器记录的神经肌肉信号解析为位置和力估计(手部状态信息)，这些估计用于更新肌肉骨骼表示。随着神经肌肉信号被连续记录，肌肉骨骼表示被实时地(或者接近实时地)更新，并且手部的(例如，在虚拟现实环境内的)视觉表示基于当前的手部状态估计被可选地再现。
其他实施例涉及用于基于肌肉骨骼表示来再现视觉表示的计算机化系统。该系统包括至少一个计算机处理器，该至少一个计算机处理器被编程为：至少部分地基于从用户记录的多个神经肌肉信号来更新肌肉骨骼表示，其中，至少部分地基于以下信息来更新该肌肉骨骼表示：描述肌肉骨骼表示的两个或更多个连接节段之间的空间关系的位置信息、以及描述由肌肉骨骼表示的至少一个节段施加的力的力信息，以及基于更新的肌肉骨骼表示经由用户界面来再现视觉表示，其中视觉表示包括位置信息的视觉指示和力信息的视觉指示。
在一个方面，至少一个计算机处理器还被编程为：基于更新的肌肉骨骼表示来实时地更新视觉表示。
在另一个方面，更新视觉表示还包括更新位置信息的视觉指示和/或力信息的视觉指示。
在另一个方面，更新力信息的视觉指示包括，改变视觉表示的对应于更新的肌肉骨骼表示的至少一个节段的部分的颜色，以指示力信息。
在另一个方面，改变颜色包括改变视觉表示的对应于至少一个节段的部分的颜色的色调(hue)，并且其中色调指示由至少一个节段施加的力的量。
在另一个方面，更新力信息的视觉指示包括，改变视觉表示的对应于更新的肌肉骨骼表示的至少一个节段的部分的比例或大小，以指示力信息。
在另一个方面，更新力信息的视觉指示包括，将至少一个视觉元素应用于视觉表示的对应于更新的肌肉骨骼表示的至少一个节段的部分，以指示力信息。
在另一个方面，至少一个视觉元素的尺寸指示由至少一个节段施加的力的量。
在另一个方面，更新力信息的视觉指示包括，增大或减小视觉表示的对应于更新的肌肉骨骼表示的至少一个节段的部分的亮度，以指示力信息。
在另一个方面，亮度增大或减小的程度指示由至少一个节段施加的力的量。
在另一个方面，至少一个计算机处理器还被编程为：输出指示与更新的肌肉骨骼表示相关联的力信息的声音表示。
在另一个方面，至少一个计算机处理器还被编程为：执行提供虚拟现实环境的计算机应用，并实时地更新虚拟现实环境中的视觉表示，其中更新视觉表示还包括更新位置信息的视觉指示和力信息的视觉指示。
在另一个方面，虚拟现实环境包括虚拟对象，并且其中更新视觉表示包括更新视觉表示以使得手与虚拟现实环境内的虚拟对象交互。
在另一个方面，更新力信息的视觉指示包括改变虚拟对象的外观或尺寸，其中虚拟对象的改变程度指示由至少一个节段在与虚拟现实环境内的虚拟对象交互时施加的力的量。
在另一个方面，与虚拟对象的交互包括从由以下项构成的组中选择的动作：抓握虚拟对象、放下虚拟对象、推动虚拟对象、投掷虚拟对象、拉动虚拟对象、打开虚拟对象和关闭虚拟对象。
在另一方面，至少一个计算机处理器还被编程为：向用户提供关于由肌肉骨骼表示的至少一个节段施加的力的量的反馈。
在另一方面，提供反馈包括提供指示由至少一个节段施加的力的量的触觉反馈。
其他实施例涉及用于基于肌肉骨骼表示来再现视觉表示的方法。该方法包括至少部分地基于从用户记录的多个神经肌肉信号来更新肌肉骨骼表示，其中，至少部分地基于以下信息来更新该肌肉骨骼表示：描述肌肉骨骼表示的两个或更多个连接节段之间的空间关系的位置信息、以及描述由肌肉骨骼表示的至少一个节段施加的力的力信息，以及基于更新的肌肉骨骼表示经由用户界面来再现视觉表示，其中视觉表示包括位置信息的视觉指示和力信息的视觉指示。
在一个方面，虚拟现实环境中的视觉表示被实时地更新，其中更新视觉表示还包括更新位置信息的视觉指示和力信息的视觉指示。
其他实施例涉及编码有多个指令的计算机可读介质，这些指令当被至少一个计算机处理器执行时执行一种方法。该方法包括至少部分地基于从用户记录的多个神经肌肉信号来更新肌肉骨骼表示，其中，至少部分地基于以下信息来更新该肌肉骨骼表示：描述肌肉骨骼表示的两个或更多个连接节段之间的空间关系的位置信息、以及描述由肌肉骨骼表示的至少一个节段施加的力的力信息，以及基于更新的肌肉骨骼表示经由用户界面来再现视觉表示，其中视觉表示包括位置信息的视觉指示和力信息的视觉指示。
应当理解，前述概念和下面更详细讨论的附加概念的所有组合(只要这些概念不相互矛盾)都被认为是本文公开的发明主题的一部分。特别地，出现在本公开末尾处的所要求保护的主题的所有组合被认为是本文公开的发明主题的一部分。
附图简述
将参考以下附图描述该技术的各种非限制性实施例。应当理解，附图不一定按比例绘制。
图1是根据本文所描述技术的一些实施例的用于重建手部状态信息的基于计算机的系统的示意图；
图2是根据本文所描述技术的一些实施例的用于确定手部状态信息的过程的流程图。
图3是根据本文所描述技术的一些实施例的用于生成统计模型的过程的流程图，该统计模型用于使用从传感器记录的信号来预测肌肉骨骼位置信息；
图4A示出了根据本文所描述技术的一些实施例的可穿戴系统，该可穿戴系统具有围绕弹性带周向布置的16个EMG传感器，该弹性带被配置成围绕用户的下臂或手腕穿戴；
图4B是图4A所示的16个EMG传感器之一的截面图；以及
图5A和图5B示意性地示出了在其上实现一些实施例的基于计算机的系统的部件。图5A示出了基于计算机的系统的可穿戴部分，并且图5B示出了连接到计算机的加密狗(dongle)部分，其中加密狗部分被配置成与可穿戴部分通信。
详细描述
人类肌肉骨骼系统的全部或部分可以被建模为多节段铰接刚体系统，其中关节形成不同节段之间的接合部(interface)，并且关节角度定义了模型中连接节段之间的空间关系。关节处移动的限制由连接节段的关节类型和限制关节处移动范围的生物结构(例如，肌肉、肌腱、韧带)决定。例如，连接上臂和躯干的肩关节以及连接大腿和躯干的髋关节是球窝关节，其允许伸展和弯曲移动以及旋转移动。相比之下，连接上臂和前臂的肘关节以及连接大腿和小腿的膝关节允许更有限的运动范围。如本文所述，多节段铰接刚体系统用于对人体肌肉骨骼系统的一些部分进行建模。然而，应当理解，人体肌肉骨骼系统的一些节段(例如，前臂)虽然在铰接刚体系统中近似为刚体，但是可以包括多个刚性结构(例如，前臂的尺骨和桡骨)，这些刚性结构在节段内提供了刚体模型没有明确考虑的更复杂的移动。因此，与本文所描述技术的一些实施例一起使用的铰接刚体系统的模型可以包括表示不是严格刚体的身体部位的组合的节段。
在运动学中，刚体是表现出各种运动属性(例如，位置、定向、角速度、加速度)的对象。知道刚体一个节段的运动属性使得刚体其他节段的运动属性能够基于节段如何连接的约束来被确定。例如，手可以被建模为多节段铰接体，每个手指和手腕中的关节形成模型中多个节段之间的接合部。在一些实施例中，如下面更详细描述的，刚体模型中节段的移动可以被模拟为铰接刚体系统，其中节段相对于模型中其他节段的位置(例如，实际位置、相对位置或定向)信息使用经训练的统计模型来被预测。
作为一个非限制性示例，本文描述的由肌肉骨骼表示近似的人体部分是手或手与一个或更多个手臂节段的组合，并且用于描述肌肉骨骼表示中各个节段或节段组合的力关系以及节段之间位置关系的当前状态的信息在本文中被称为肌肉骨骼表示的手部状态。然而，应当理解，本文描述的技术也适用于除了手之外的身体部分的肌肉骨骼表示，这些身体部分包括但不限于手臂、腿、脚、躯干、颈部或前述的任何组合。
除了空间(例如，位置/定向)信息之外，一些实施例被配置成预测与肌肉骨骼表示的一个或更多个节段相关联的力信息。例如，可以估计由一个或更多个节段施加的线性力或旋转(扭矩)力。线性力的示例包括但不限于手指或手按压在诸如桌子的实体对象上的力，以及当两个节段(例如，两根手指)被挤压在一起时施加的力。旋转力的示例包括但不限于，当手腕或手指中的节段扭转或弯曲时产生的旋转力。在一些实施例中，被确定为当前手部状态估计的一部分的力信息包括挤压力信息、抓握力信息或关于由肌肉骨骼表示所表示的肌肉之间的共收缩力(co-contraction force)的信息中的一个或更多个。
图1示出了根据一些实施例的系统100。系统包括被配置成记录从人体部分的移动产生的信号的多个传感器102。传感器102可以包括自主式传感器(autonomous sensor)。如本文所使用的，术语“自主式传感器”是指被配置成测量体段(body segment)的移动的传感器，而不需要使用外部设备。在一些实施例中，传感器102也可以包括与自主式传感器组合的非自主式传感器(non-autonomous sensor)。如本文所使用的，术语“非自主式传感器”是指被配置成使用外部设备来测量体段的移动的传感器。在非自主式传感器中使用的外部传感器的示例包括但不限于，可穿戴的(例如，安装在身体上的)照相机、全球定位系统和激光扫描系统。
自主式传感器可以包括多个神经肌肉传感器，这些神经肌肉传感器被配置成记录从人体骨骼肌中的神经肌肉活动(neuromuscular activity)产生的信号。本文使用的术语“神经肌肉活动”是指对支配肌肉的脊髓运动神经元的神经激活、肌肉激活、肌肉收缩或者神经激活、肌肉激活和肌肉收缩的任意组合。神经肌肉传感器可以包括一个或更多个肌电图(EMG)传感器、一个或更多个肌动图(MMG)传感器、一个或更多个声肌图(SMG)传感器、EMG传感器，MMG传感器和SMG传感器中两种或更多种类型的组合、和/或被配置成检测神经肌肉信号的任何合适类型的一个或更多个传感器。在一些实施例中，多个神经肌肉传感器可以用于感测与由肌肉控制的身体部位的移动相关的肌肉活动，神经肌肉传感器被布置成从肌肉感测肌肉活动。描述移动的空间信息(例如，位置和/或定向信息)和力信息可以在用户随着时间移动时基于所感测的神经肌肉信号来被预测。
自主式传感器可以包括一个或更多个惯性测量单元(IMU)，该一个或更多个IMU使用例如加速度计、陀螺仪、磁力计或者一个或更多个加速度计、陀螺仪和磁力计的任意组合来测量运动的物理方面的组合。在一些实施例中，IMU可以用于感测关于附接有IMU的身体部位的移动的信息，并且当用户随时间移动时，从感测到的数据导出的信息(例如，位置和/或定向信息)可以被跟踪。例如，当用户随时间移动时，一个或更多个IMU可以用于跟踪用户躯干近端的用户身体部分(例如，手臂、腿)相对于传感器的移动。
在包括至少一个IMU和多个神经肌肉传感器的实施例中，IMU和神经肌肉传感器可以被布置成检测人体不同部位的移动。例如，IMU可以被布置成检测躯干近端的一个或更多个体段(例如，上臂)的移动，而神经肌肉传感器可以被布置成检测躯干远端的一个或更多个体段(例如，前臂或手腕)的移动。然而，应当理解，自主式传感器可以以任何合适的方式被布置，并且本文所描述技术的实施例不限于基于特定的传感器布置。例如，在一些实施例中，至少一个IMU和多个神经肌肉传感器可以共同位于一个体段上，以使用不同类型的测量来跟踪体段的移动。在下面更详细描述的一个实现中，一个IMU传感器和多个EMG传感器被布置在可穿戴设备上，该可穿戴设备被配置成围绕用户的下臂或手腕穿戴。在这种布置中，IMU传感器可被配置成跟踪与一个或更多个手臂节段相关联的移动信息(例如，随时间的定位和/或定向)，以确定例如用户已经抬起了还是已经放下了他们的手臂，而EMG传感器可被配置成确定与手腕或手部节段相关联的移动信息，以确定例如用户具有张开的还是闭合的手部形状。
每个自主式传感器包括被配置成感测关于用户的信息的一个或更多个感测部件。在IMU的情况下，感测部件可以包括一个或更多个加速度计、陀螺仪、磁力计或其任意组合，以测量身体运动的特性，该特性的示例包括但不限于加速度、角速度和身体周围感测到的磁场。在神经肌肉传感器的情况下，感测部件可以包括但不限于被配置成检测身体表面上的电势的电极(例如，对于EMG传感器)、被配置成测量皮肤表面振动的振动传感器(例如，对于MMG传感器)、以及被配置成测量由肌肉活动引起的超声信号的声学感测部件(例如，对于SMG传感器)。
在一些实施例中，可以使用硬件信号处理电路来处理一个或更多个感测部件的输出(例如，执行放大、滤波和/或整流)。在其他实施例中，感测部件的输出的至少一些信号处理可以在软件中执行。因此，由自主式传感器记录的自主信号的信号处理可以在硬件、软件或由硬件和软件的任何适当组合中执行，因为本文所描述的技术的各方面不限于该方面。
在一些实施例中，如下面更详细描述的，记录的传感器数据可以被处理以计算附加的导出的测量结果，然后将导出的测量结果作为输入提供给统计模型。例如，来自IMU传感器的记录的信号可以被处理，以导出指定刚体节段随时间的定向的定向信号。自主式传感器可以使用与感测部件集成的部件来实现信号处理，或者至少一部分信号处理可以由与自主式传感器的感测部件通信但不直接集成的一个或更多个部件来执行。
在一些实施例中，多个自主式传感器中的至少一些被布置为可穿戴设备的一部分，该可穿戴设备被配置成穿戴在用户身体部位之上或围绕用户身体部位穿戴。例如，在一个非限制性示例中，IMU传感器和多个神经肌肉传感器围绕可调整的和/或弹性的带(例如被配置成围绕用户的手腕或手臂穿戴的腕带或臂带)周向地布置。替代地，至少一些自主式传感器可以布置在可穿戴贴片上，该可穿戴贴片被配置成附着到用户身体一部分。在一些实施例中，可以使用多个可穿戴设备来预测涉及多个身体部位的移动的肌肉骨骼位置信息，每个可穿戴设备上包括一个或更多个IMU和/或神经肌肉传感器。
在一些实施例中，传感器102仅包括多个神经肌肉传感器(例如，EMG传感器)。在其他实施例中，传感器102包括多个神经肌肉传感器和被配置成连续记录多个辅助信号的至少一个“辅助”传感器。辅助传感器的示例包括但不限于其他自主式传感器(例如IMU传感器)和非自主式传感器(例如成像设备(例如，照相机))、与辐射生成设备(例如，激光扫描设备)一起使用的基于辐射的传感器、或者其他类型的传感器(例如心率监视器)。
系统100也包括被编程为与传感器102通信的一个或更多个计算机处理器(图1中未示出)。例如，由一个或更多个传感器记录的信号可以被提供给处理器，该处理器可以被编程为执行一个或更多个机器学习技术，该机器学习技术处理由传感器102输出的信号以训练一个或更多个统计模型104，并且经训练的(或经过再训练的)统计模型104可以被存储以供以后用于生成肌肉骨骼表示106(如下面更详细描述的)。下面详细地讨论了统计模型的非限制性示例，根据一些实施例，这些统计模型可以用于基于来自传感器102的所记录的信号来预测手部状态信息。
系统100也可选地包括被配置成显示(例如，手的)视觉表示108的显示控制器。如下面更详细讨论的，一个或更多个计算机处理器可以实现一个或更多个经训练的统计模型，该统计模型被配置成至少部分地基于由传感器102记录的信号来预测手部状态信息。预测的手部状态信息用于更新肌肉骨骼表示106，肌肉骨骼表示106然后可选地用于基于包含当前手部状态信息的更新的肌肉骨骼表示来再现视觉表示108。当前手部状态的实时重建和随后在肌肉骨骼模型中反映当前手部状态信息的视觉表示的再现可以向用户提供关于经训练的统计模型准确表示预期手部状态的有效性的视觉反馈。
在一些实施例中，被配置成模拟虚拟现实环境的计算机应用可以被指示来显示用户手部的视觉表示。可以基于经训练的统计模型的输出来显示虚拟现实环境内由手的部分所施加的定位、移动和/或力。当连续信号被传感器102记录并被经训练的统计模型104处理以提供实时更新的用户移动、位置和/或力的更新的计算机生成的表示时，视觉表示可以基于当前重建的手部状态信息来动态更新。
如以上所讨论的，一些实施例涉及使用统计模型来基于从可穿戴自主式传感器记录的信号预测肌肉骨骼信息。统计模型可以用于预测肌肉骨骼位置信息，而不必将传感器放置在要在计算机生成的肌肉骨骼表示中表示的刚体的每个节段上。如以上简单讨论的，多节段铰接刚体模型中各节段之间的关节类型约束刚体的移动。附加地，当执行可以在用户行为的统计模式(例如，与特定于用户的特性和/或在用户群体中概括的通用特性相关联的统计模式)中捕获的任务时，个人倾向于以特性化方式移动。根据一些实施例，对人体移动的这些约束中的至少一些可以被明确地结合到用于预测的统计模型中。附加地或替代地，约束可以由统计模型通过基于记录的传感器数据进行训练来学习。在统计模型的构建中施加的约束是由用户身体的解剖构造(anatomy)和物理构造(physics)决定的约束，而从统计模式导出的约束是由一个或更多个用户的人类行为决定的约束，传感器测量结果从一个或更多个用户测量并被用于训练统计模型。如下面详细描述的，约束可以包括由模型中的信息(例如，节点之间的连接权重)表示的统计模型本身的一部分。
如以上所讨论的，一些实施例涉及使用统计模型来预测手部状态信息，以能够生成和/或实时更新基于计算机的肌肉骨骼表示。统计模型可以用于基于IMU信号、神经肌肉信号(例如，EMG、MMG和SMG信号)、外部设备信号(例如，照相机或激光扫描信号)、或者IMU信号、神经肌肉信号和当用户执行一个或更多个移动时检测到的外部设备信号的组合来预测手部状态信息。
图2示出了根据一些实施例的基于所记录的传感器数据来确定手部状态信息的过程200。在动作202中，将由一个或更多个传感器记录的传感器数据作为输入提供给一个或更多个经训练的统计模型，该统计模型用于生成手部状态信息的估计(如上面简要描述的)。在一些实施例中，传感器包括布置在用户穿戴的可穿戴设备上的多个神经肌肉传感器(例如，EMG传感器)。例如，EMG传感器可以被布置在弹性带上，该弹性带被配置成围绕用户的手腕或前臂穿戴，以在用户执行各种移动或手势时记录来自用户的神经肌肉信号。在图4A和图4B中示出并描述了可以根据一些实施例来使用的示例可穿戴设备，这将在下面更详细地描述。
如本文所使用的，术语“手势”指的是一个或更多个身体部位的静态或动态配置，包括一个或更多个身体部位的位置和与配置相关联的力。例如，手势包括离散手势(例如手掌向下按压固体表面或抓握球)、连续手势(例如来回挥动手指或投掷球)、或离散手势和连续手势的组合(例如抓握并投掷球)。手势可以由被配置成提示用户执行手势的应用来定义，或者替代地，手势可以由用户任意定义。在某些情况下，手和手臂手势可以是象征性的(symbolic)，并根据文化标准用于交流。
除了多个神经肌肉传感器，一些实施例还包括被配置成连续记录辅助信号的一个或更多个辅助传感器，也可以将该辅助信号作为输入提供给一个或更多个经训练的统计模型。辅助传感器的示例包括IMU传感器、成像设备、辐射检测设备(例如，激光扫描设备)、心率监视器、或者被配置成在一个或更多个移动或手势的执行期间连续记录来自用户的生物物理信息的任何其他类型的生物传感器。
过程200然后进行到动作204，在动作204中，可选地，基于传感器记录的信号来确定导出的信号数据。例如，由一个或更多个IMU传感器记录的加速度计数据可以被积分和/或过滤，以确定在手势执行期间与一块或更多块肌肉相关联的导出的信号数据。除了由传感器记录的原始信号数据或以其他方式处理的原始信号数据，或者作为由传感器记录的原始信号数据或以其他方式处理的原始信号数据的替代，可以将导出的信号数据作为输入提供给经训练的统计模型。
过程200然后进行到动作206，在动作206中，基于经训练的统计模型的输出来确定手部状态信息。用户执行的手势包括离散手势(例如将手部掌心向下放在桌子上)以及连续手势(例如来回挥动手指)。用户执行的手势可以包括象征性手势(例如，基于指定映射的手势词汇表而映射到其他手势、交互或命令的手势)。一些象征性手势在特定于文化的情境(context)中是有意义的，并且这种手势可以被优化用于被经训练的统计模型识别，并且在虚拟环境中被准确地再现，以便增强虚拟环境的沉浸感。交流性象征性手势在不同文化之间可能不同，并且在一些实施例中，系统可以包括自动地或者根据用户选择为特定用户定义适当的特定于文化的手势集合的模块。定义特定于文化的手势集合的模块可以被优化或以其他方式被配置，以准确地(并且在适当情况下以低延迟)识别这样的手势，并且以高保真度(fidelity)再现这样的手势。
在用户移动期间(包括在手势的执行期间)神经肌肉信号被连续地记录，并被连续地提供作为经训练统计模型的输入，产生用户手部位置和/或力的实时估计(即，手部状态信息)作为经训练的统计模型的输出。过程200然后进行到动作208，在动作208中，来自经训练统计模型的实时手部状态估计输出被用于更新与手部相关联的肌肉骨骼表示。在一些实施例中，肌肉骨骼表示表示手内的刚性节段和连接这些刚性节段的关节。在其他实施例中，肌肉骨骼表示包括对应于连接到手的手臂的至少一些刚性节段。相应地，短语“与手相关联的肌肉骨骼表示”应当被理解为包括手部的肌肉骨骼表示以及包括手和连接到手的至少一部分手臂的表示的肌肉骨骼表示。
过程200然后进行到动作210，在动作210中，基于手部的更新的肌肉骨骼表示来在图形用户界面内再现手部的视觉表示。如上所述，从经训练的统计模型输出的用户手部的位置和/或力的实时估计(例如，手部状态信息)被用于更新手部的肌肉骨骼表示。在手部的更新的肌肉骨骼表示中反映出来的实时位置和/或力信息又可以在手部的视觉表示中被描绘。例如，手部的视觉表示可以包括位置信息的视觉指示和力信息的视觉指示。基于更新的肌肉骨骼表示，可以实时地更新与位置信息和/或力信息相关联的视觉指示。例如，力信息可以被表示为用户身体部位(例如，手)的全部或部分的再现的颜色、大小、形状或其他特性的改变。在另一个非限制性示例中，可以通过连续缩放力的视觉指示符(例如，随着力的增加，通过调整力的视觉指示符的色调或者通过缩放用户的虚拟再现的手的全部或一部分)以连续的方式来表示力信息，或者以分类方式来表示力信息，该分类方式可以包括一个或更多个力阈值，该一个或更多个力阈值一旦被达到，就会导致系统显示不同的视觉效果(例如，从虚拟再现的手的手指发出火花)。
在一些实现中，可以在用户界面内将力信息的视觉指示与用户身体部位(例如，手)的视觉表示分开显示。换句话说，力信息的视觉指示可以不叠加在用户身体部位(例如，手)的视觉表示上或者是其一部分。在这样的实现中，可以以多种方式中的任何方式来再现/显示力信息的视觉指示。例如，力信息的视觉指示可以显示在手部的视觉表示附近，例如，作为指示力信息(例如，由手和/或手指施加的力的量或强度)的加载进度条(loadingbar)(或其他图形元素)。力信息的视觉指示可以显示在用户界面中的固定位置，或者可以(例如，在虚拟现实环境中)靠近手部的视觉表示并与其一起移动。
在一些实现中，手部的视觉表示可以被再现以呈现逼真的手(例如，具有手指、关节、手掌等)。替代地，手部的视觉表示可以被再现为手的一个或更多个部分的抽象视觉表示。例如，视觉表示中的手指可以被再现为圆形，或者手部的视觉表示可以被描绘为诸如几何形状的抽象光标(cursor)。
在一些实施例中，可以通过改变手部的视觉表示的一部分的颜色来更新位置信息和/或力信息的视觉指示，以指示位置和/或力信息。视觉表示的更新部分可以对应于手部的更新的肌肉骨骼表示中位置信息和/或力信息所涉及的一个或更多个节段。例如，当用户执行“大拇指朝上”手势时，可以在手部的视觉表示中描绘与手指相关联的力信息。在一些实现中，改变手部的视觉表示的一部分的颜色可以包括改变颜色的一个或更多个属性，以指示例如由一个或更多个节段所施加的力的量。颜色的属性可以包括但不限于色调、色度(tint)、阴影、饱和度和/或其他属性。在上面的示例中，可以用相同或不同颜色的不同色调来描绘不同的手指，以指示由每根手指施加的力的量。
根据一个实施例，可以通过改变手部的视觉表示的对应于手部的更新的肌肉骨骼表示的一个或更多个节段的部分的比例或大小来更新位置信息和/或力信息的视觉指示，以指示位置和/或力信息。在一些实现中，手部的视觉表示的一部分的比例或大小可以相对于视觉表示的其他部分增大或减小，以指示力信息。例如，当用户执行在桌子上向下按压手指的手势时，手指的大小可以增大或减小，以指示当执行该手势时手指施加的力的量。当用户改变手指的定向并增大他在桌子上向下按压手指的力时，手指的视觉表示可以被动态更新以反映改变的定向和由手指施加的增大的力(例如，通过增大手指的大小或改变手指的颜色)。
在另一个实施例中，可以通过将至少一个视觉元素(例如，2D或3D视觉元素)应用于手部的视觉表示的一部分来更新位置信息和/或力信息的视觉指示，该部分对应于手部的更新的肌肉骨骼表示中与该位置信息和/或力信息相关联的一个或更多个节段。例如，可以围绕一个或更多个节段描绘圆形，其中每个圆形的尺寸指示由每个节段施加的力的量。在用户在桌子上向下按压手指的上述示例中，可以在手指的视觉表示上描绘圆形或其他视觉元素以指示力信息，并且当用户增大或减少由手指施加的力的量时，可以实时地增大或减小圆形的大小。
在另一个实施例中，可以通过增大或减小手部的视觉表示的对应于手部的更新的肌肉骨骼表示的一个或更多个节段的部分的亮度来更新位置信息和/或力信息的视觉指示，以指示位置和/或力信息。在一些实现中，亮度增大或减小的程度可以指示由一个或更多个节段施加的力的量。继续上面的同一示例，手指在桌子上向下按压的亮度可以基于手指施加的力的增大或减小而增大或减小。
应当理解，虽然本文描述了某些类型的视觉指示或效果，但是在不脱离本公开的范围的情况下，(替代地或与本文描述的视觉指示组合地)可以使用其他类型的视觉指示/效果，例如闪光效果(sparkle effect)、眩光效果(glare effect)和/或其他视觉效果。此外，在一些实现中，(例如，与手相关联的)视觉表示可以与指示位置信息和/或力信息的声音表示和/或触觉表示相结合。
如上所述，可以在虚拟现实环境中再现手部的视觉表示。定位、移动和/或由手的部分施加的力可以在虚拟现实环境内被可视地描绘以及动态地更新(例如，当用户执行手势或与环境内的虚拟对象交互时)。例如，视觉表示可以被更新，使得手与虚拟现实环境内的虚拟对象交互，并且位置信息和/或力信息的视觉指示可以被更新以反映该交互。与虚拟对象的交互可以包括一个或更多个动作，例如抓握虚拟对象、推动虚拟对象、放下虚拟对象、投掷虚拟对象、拉动虚拟对象、打开虚拟对象、关闭虚拟对象和/或其他动作。
在一些实施例中，可以使用上述技术(例如改变与节段相关联的颜色、比例、大小和/或亮度，将视觉元素应用于节段，生成听觉表示，生成触觉表示等)中的任何技术或组合来更新与虚拟对象的交互相关联的位置信息和/或力信息的视觉指示。
在其他实施例中，可以通过改变虚拟对象的外观或尺寸来更新与虚拟对象的交互相关联的位置信息和/或力信息的视觉指示。在一些实现中，虚拟对象的外观或尺寸的改变程度可以指示当与虚拟对象交互时由节段施加的力的量。例如，当用户与虚拟对象(例如球)的交互包括抓握球时，球的外观可以通过描绘球处于压缩状态而改变，和/或球的尺寸(例如，球的直径)可以改变。压缩或大小缩减的程度可以反映用户手指在抓握球时施加的力的量。
根据一些实施例，除了位置信息和/或力信息的视觉指示，再现的视觉表示还可以包括用户的一个或更多个个性的视觉指示，这些个性例如可以与位置和/或由节段施加的力相关。例如，用户手的特定手指可以具有僵硬度(stiffness)，这会影响用户抓握球所用的力。由于用户手指的僵硬度，手部的视觉表示中所指示的力的量可能无法表示用户在抓握球时所施加的力的实际量。然而，通过除了力信息的视觉指示之外还包括僵硬度的视觉指示，用户可以容易地理解在视觉表示中指示的力信息和由用户施加的实际力量之间的差异的原因。
在一些实施例中，当用户在虚拟现实环境中执行连续手势或移动(例如，投掷球)时，位置信息和/或力信息的视觉指示可以被更新，以反映投掷球时用户手指/手的位置/定向的改变和/或投掷球时手指所施加的力的量的改变。在一些实现中，视觉表示可以包括表示运动的轨迹。例如，轨迹可以与手部的视觉表示的全部或一部分(例如，一根或更多根手指)相关联，并且可以被动态更新以指示移动。替代地，在虚拟现实环境中，轨迹可以与在手势的执行期间手部的视觉表示正与之交互的对象(例如，当用户投掷球时的球)相关联。
如上所讨论的，可以基于使用从经训练的统计模型输出的当前手部状态估计而更新的肌肉骨骼表示来再现手部的视觉表示。在一些实施例中，可以基于修改版本的肌肉骨骼表示来再现视觉表示。例如，当执行包括与虚拟现实环境中的虚拟对象交互的手势时，手部的视觉表示可以被再现为看起来扭曲，以看起来更接近与交互相关联的自然姿态(pose)。附加地或替代地，手部的视觉表示可以包括突出各种交互模式的视觉提示(visualcue)。例如，(例如，以特定颜色再现的)光晕(halo)可以显示在手的周围，其中光晕的存在或不存在和/或光晕的颜色或其他视觉方面可以提供关于手是处于与虚拟对象的特定交互的正确位置还是不正确位置的反馈。
根据一些实施例，可以向共享虚拟环境中的用户或第三方提供关于位置和/或力信息的反馈。例如，可以提供关于由更新的肌肉骨骼表示的一个或更多个节段施加的力的量的反馈。在一些实现中，可以向用户或第三方提供指示由节段施加的力的量的触觉反馈。在一些实现中，可以经由本文描述的可穿戴设备(例如，其上布置有多个神经肌肉传感器的弹性带)来提供触觉反馈。在其他实现中，一个或更多个计算机处理器可以通信地耦合到单独的可穿戴设备(例如，智能手表)，并且可以被配置成控制该单独的可穿戴设备来提供触觉反馈。
根据一些实施例，在共享虚拟环境中再现关于第一用户身体部位(例如，手)的位置和/或力信息，其中共享虚拟环境中的第三方体验该第一用户身体部位(例如，手)的空间一致的视点，由于第一用户身体部位(例如，手)的逼真表示，该视点为共享虚拟环境中的多个用户提供了共同呈现的沉浸式体验(co-embodied immersive experience)。在共享虚拟环境中提供用第三方的空间视点再现的第一用户的手部位置的视觉表示有助于共享虚拟环境中的全部用户获得逼真且更沉浸式的体验。在一些实施例中，在共享虚拟环境中提供，例如在由第一用户执行的手势期间或当第一用户与各种对象交互时，所施加的力的视觉指示符进一步增强了沉浸式体验。
在一些实现中，由用户施加的力可以作为机器控制方案中的参数被提供(例如，用来控制或操纵虚拟环境中的其他设备(例如手术机器人))，和/或可以有益于向用户或第三方传达或提供反馈。例如，该系统可以被配置成向用户(或第三方)提供关于具体力(或力范围内的力)的视觉指示符，使得用户可以为特定的机器控制方案生成有效的力。提供关于用户手部状态的反馈(包括力和位置信息)对于各种应用(例如，远程训练应用)可以是有益的。在一个非限制性示例中，工业装备技师可以与受训者一起进入虚拟环境，并且向受训者提供训练信息，该训练信息包括手部状态位置信息和施加的力(例如，用于传达在使用特定工具期间要施加的适当力)。
文化上有意义的手势(culturally-significant gesture)通常是象征性的，并且可以用于与能够观察手势的第三方交流。常见和/或文化上有意义的手势的准确再现可以增强用户或第三方的虚拟环境沉浸感，该第三方的虚拟视点结合了用户的手部状态。在一些实施例中，可以优化统计模型以识别旨在(例如，在共享虚拟环境中)向第三方进行传达的文化上有意义的手势。通过识别文化上有意义的手势并再现它们(在一些情况下，用视觉信号和/或指示力的其他感官(例如，听觉、触觉等)信号来再现)，用户和多人共享虚拟环境中的其他人可以体验增强的沉浸感。此外，用户身体部位(例如，手)的再现可以被配置成具有降低的维度(例如，通过选择适当的子流形(sub-manifold))，以改进模型精度、延迟和/或广度通信(breadth communication)。在一些实施例中，被优化以用于象征性手势交流的统计模型可以被配置成选择子流形来降低模型结果的维度，从而更可靠地再现象征性手势和文化上有意义的手势。在一些实施例中，被配置成检测(并且可选地，在虚拟环境中再现)用户身体部位的位置、移动和/或力的统计模型可以检测并过滤掉文化上无意义的手势。在一些实施例中，可以通过避免在虚拟环境中显示或再现这样的手势来过滤掉文化上无意义的手势。
应当理解，在不脱离本公开的范围的情况下，本文描述的技术可以用于在共享虚拟环境中识别并准确地再现文化上有意义的手势(或其他非语言交流手段)。
图3描述了使用从传感器102记录的信号生成(本文有时称为“训练”)统计模型的过程300。过程300可以由任何合适的计算设备执行，因为本文所描述技术的各方面不限于该方面。例如，过程300可以由参考图5A和图5B描述的一个或更多个计算机处理器执行。作为另一个示例，过程300的一个或更多个动作可以使用一个或更多个服务器(例如，作为云计算环境的一部分包括的服务器)来被执行。例如，与统计模型(例如，神经网络)的训练相关的动作310的至少一部分可以使用云计算环境来执行。
过程300开始于动作302，在动作302中，针对一个或更多个用户执行一个或更多个移动(例如，在键盘上打字)获得多个传感器信号。在一些实施例中，作为过程300的一部分，多个传感器信号可以被记录。在其他实施例中，多个传感器信号可能已经在执行过程300之前被记录，并且在动作302被访问(而不是记录)。
在一些实施例中，多个传感器信号可以包括针对单个用户执行单个移动或多个移动记录的传感器信号。可以指示用户执行对于特定任务(例如，打开门)的一系列移动，并且当用户执行他/她被指示执行的任务时，可以记录对应于用户移动的传感器信号。传感器信号可以由位于任何合适定位处的任何合适数量的传感器记录，以检测与所执行的任务相关的用户移动。例如，在用户被指示用他/她的右手手指执行任务之后，传感器信号可以由多个神经肌肉传感器和一个或更多个IMU传感器记录，该多个神经肌肉传感器围绕用户右下臂周向地(或以其他方式)布置，以检测引起右手移动的右下臂中的肌肉活动，该一个或更多个IMU传感器被布置成预测用户手臂相对于用户躯干的关节角度。作为另一个示例，在用户被指示用他/她的腿执行任务(例如，踢对象)之后，传感器信号可以由多个神经肌肉传感器和一个或更多个IMU传感器记录，该多个神经肌肉传感器围绕用户的腿周向地(或以其他方式)布置，以检测引起脚移动的腿中的肌肉活动，该一个或更多个IMU传感器被布置成预测用户的腿相对于用户躯干的关节角度。
在一些实施例中，在动作302中获得的传感器信号对应于来自一种类型的传感器(例如，一个或更多个IMU传感器或一个或更多个神经肌肉传感器)的信号，并且可以基于使用特定类型的传感器记录的传感器信号来训练统计模型，从而产生特定于传感器类型的经训练的统计模型。例如，所获得的传感器信号可以包括围绕用户的下臂或手腕布置的多个EMG传感器信号，并且可以训练统计模型来预测在执行诸如抓握和扭转诸如门把手之类的对象的任务期间手腕和/或手的移动的肌肉骨骼位置信息。
在基于多种类型的传感器(例如，IMU传感器、EMG传感器、MMG传感器、SMG传感器)提供预测的实施例中，可以为每种类型的传感器训练单独的统计模型，并且可以组合特定于传感器类型的模型的输出以生成用户身体的肌肉骨骼表示。在其他实施例中，在动作302中从两种或更多种不同类型的传感器获得的传感器信号可以被提供给单个统计模型，该单个统计模型基于从不同类型的传感器记录的信号而被训练。在一个说明性实现中，如下文更详细讨论的，IMU传感器和多个EMG传感器被布置在被配置成围绕用户前臂穿戴的可穿戴设备上，并且由IMU和EMG传感器记录的信号被共同提供作为统计模型的输入。
在一些实施例中，当用户执行一个或更多个移动时，在多个时间点记录在动作302中获得的传感器信号。结果，每个传感器的记录的信号可以包括在多个时间点中的每个时间点获得的数据。假设n个传感器被布置成在执行任务期间同时测量用户的移动信息，则针对用户记录的传感器信号可以包括在移动的执行期间的时间点t1、t2、…、tK处的K个n维向量{xk|1≤k≤K}的时间序列。
在一些实施例中，可以指示用户多次执行任务，并且可以针对用户的多次任务重复中的每一次记录传感器信号和位置信息。在一些实施例中，多个传感器信号可以包括针对多个用户记录的信号，该多个用户中的每一个执行同一任务一次或更多次。可以指示多个用户中的每一个执行任务，并且当用户执行(一次或重复)他/她被指示执行的任务时，可以记录对应于该用户的移动的传感器信号和位置信息。当传感器信号被多个用户收集时(这些信号被组合在一起以生成统计模型)，假设不同的用户使用相似的肌肉骨骼位置来执行相同的移动。从重复执行同一任务的单个用户和/或从执行同一任务一次或多次的多个用户收集传感器信号和位置信息有助于收集足够的训练数据以生成能够准确预测与任务执行相关联的肌肉骨骼位置信息的统计模型。
在一些实施例中，可以基于与来自多个用户的记录的信号相对应的训练数据来生成与用户无关的统计模型，并且当用户使用系统时，基于所记录的传感器数据来训练该统计模型，使得该统计模型学习与用户相关的特性，以改进系统对于特定用户的预测能力。
在一些实施例中，多个传感器信号可以包括针对用户(或多个用户中的每一个用户)一次或多次执行多个任务中每个任务而记录的信号。例如，可以指示用户执行多个任务中的每一个(例如抓握对象、推动对象和拉开门)，并且当用户执行他/她被指示执行的多个任务中的每一个时，可以记录对应于用户移动的信号。收集这样的数据可以有助于开发用于预测与用户可以采取的多个不同动作相关联的肌肉骨骼位置信息的统计模型。例如，包含多个动作的肌肉骨骼位置信息的训练数据可以有助于生成用于预测用户可能正在执行多个可能的移动中的哪一个的统计模型。
如以上所讨论的，可以通过在一个或更多个用户中的每一个用户一次或多次执行一个或更多个任务中的每一个任务时记录传感器信号来获得在动作302获得的传感器数据。当用户执行任务时，在动作304中可以获得描述不同体段在任务执行期间的空间位置的位置信息。在一些实施例中，使用一个或更多个外部设备或系统来获得位置信息，该外部设备或系统在任务执行期间跟踪身体上不同点的位置。例如，可以使用运动捕获系统、激光扫描仪、测量相互磁感应的设备、或者被配置成捕获位置信息的某个其他系统。作为一个非限制性示例，多个位置传感器可以放置在右手手指的节段上，并且当用户执行诸如抓握对象的任务时，运动捕获系统可以用来确定每个位置传感器的空间定位。在动作302获得的传感器数据可以与在动作804中获得的位置信息的记录同时被记录。在该示例中，获得了指示当执行抓握运动时每个手指节段随时间的位置的位置信息。
接下来，过程300前进到动作306，其中可选地处理在动作302中获得的传感器信号和/或在动作304中获得的位置信息。例如，可以使用放大、滤波、整流或其他类型的信号处理来处理传感器信号或位置信息信号。
接下来，过程300进行到动作308，其中基于位置信息(如在动作304中收集的或者如在动作306中处理的)来确定肌肉骨骼位置特性。在一些实施例中，不是使用对应于位置传感器的所记录的空间(例如，x、y、z)坐标作为训练数据来训练统计模型，而是基于所记录的位置信息来确定导出的肌肉骨骼位置特性值的集合，并且将导出的值用作训练统计模型的训练数据。例如，使用关于铰接刚体模型中连接的刚性节段对之间的约束的信息，位置信息可以用于确定关节角度，该关节角度定义了在任务执行期间的多个时间点的每一个时间点处每个连接的刚性节段对之间的角度。相应地，在动作304中获得的位置信息可以由多个时间点的每一个时间点处的n个关节角度的向量来表示，其中n是铰接刚体模型中的节段之间的关节或连接的数量。
接下来，过程300前进到动作310，其中在动作302和308获得的时间序列信息被组合以在动作310创建用于训练统计模型的训练数据。可以以任何合适的方式组合获得的数据。在一些实施例中，在动作302获得的每个传感器信号可以与任务或任务内的移动相关联，该任务或任务内的移动对应于当用户执行任务或移动时基于动作304中记录的位置信息确定的肌肉骨骼位置特性(例如，关节角度)。以这种方式，传感器信号可以与肌肉骨骼位置特性(例如，关节角度)相关联，并且统计模型可以被训练来预测当在特定任务的执行期间记录特定传感器信号时，肌肉骨骼表示将由不同体段之间的特定肌肉骨骼位置特性来表征。
在包括被配置成在任务执行期间同时记录不同类型移动信息的不同类型传感器(例如，IMU传感器和神经肌肉传感器)的实施例中，可以使用相同或不同的采样速率来记录不同类型传感器的传感器数据。当传感器数据以不同的采样速率被记录时，至少一些传感器数据可以被重新采样(例如，上采样或下采样)，使得作为输入被提供给统计模型的所有传感器数据对应于相同时间分辨率的时间序列数据。可以以任何合适的方式对至少一些传感器数据重新采样，包括但不限于使用插值进行上采样和使用抽取进行下采样。
除了在以不同采样速率记录时对至少一些传感器数据进行重新采样，或者作为对重新采样的替代，一些实施例采用被配置成异步接受多个输入的统计模型。例如，统计模型可以被配置成对具有较低采样速率的输入数据中的“缺失”值的分布进行建模。替代地，随着来自多个传感器数据测量结果的输入作为训练数据变得可用，统计模型的训练定时异步发生。
接下来，过程300前进到动作312，其中使用在动作310生成的训练数据来训练用于预测肌肉骨骼位置信息的统计模型。被训练的统计模型可以将数据集的序列作为输入，该序列中的每个数据集包括传感器数据的n维向量。统计模型可以提供输出，该输出指示对于可由用户执行的一个或更多个任务或移动中的每一个，用户身体的肌肉骨骼表示将由肌肉骨骼位置特性的集合(例如，铰接的多节段身体模型中节段之间的关节角度集合)表征的可能性。例如，统计模型可以将使用在时间点t1、t2、…、tK处获得的测量值生成的向量序列{xk|1≤k≤K}作为输入，其中向量xj的第i个分量是由第i个传感器在时间tj测量的值和/或是从由第i个传感器在时间tj测量的值导出的值。在另一个非限制性示例中，作为统计模型的输入而提供的导出值可以包括在时间tj处和/或在时间tj之前从来自全部传感器或传感器子集的数据提取的特征(例如，协方差矩阵、功率谱、其组合或任何其他合适的导出表示)。基于这样的输入，统计模型可以提供指示用户身体的肌肉骨骼表示将由肌肉骨骼位置特性集合表征的概率的输出。作为一个非限制性示例，统计模型可以被训练成在用户抓握对象时，随时间预测手的手指中的节段的关节角度集合。在该示例中，经训练的统计模型可以输出对应于传感器输入的、手中关节的预测的关节角度集合。
在一些实施例中，统计模型可以是神经网络，并且例如可以是循环神经网络。在一些实施例中，循环神经网络可以是长短期记忆(LSTM)神经网络。然而，应当理解，循环神经网络不限于LSTM神经网络，并且可以具有任何其他合适的架构。例如，在一些实施例中，循环神经网络可以是完全循环神经网络(fully recurrent neural network)、循环神经网络(recursive neural network)、变分自编码器(variational autoencoder)、Hopfield神经网络、联想记忆神经网络(associative memory neural network)、Elman神经网络、Jordan神经网络、回声状态神经网络(echo state neural network)、二阶循环神经网络(secondorder recurrent neural network)和/或任何其他合适类型的循环神经网络。在其他实施例中，可以使用不是循环神经网络的神经网络。例如，可以使用深度神经网络、卷积神经网络和/或前馈神经网络。
在统计模型是神经网络的一些实施例中，神经网络的输出层可以提供对应于可能的肌肉骨骼位置特性(例如，关节角度)的相应集合的输出值集合。以这种方式，神经网络可以作为非线性回归模型来操作，该模型被配置成从原始或预处理的传感器测量结果来预测肌肉骨骼位置特性。应当理解，在一些实施例中，可以使用任何其他合适的非线性回归模型来代替神经网络，因为本文所描述技术的各方面不限于该方面。
在一些实施例中，神经网络可以基于各种拓扑和/或架构来实现，包括具有完全连接(密集)层、长短期记忆(LSTM)层、卷积层、时间卷积层(TCL)的深度神经网络，或者其他合适类型的深度神经网络拓扑和/或架构。神经网络可以具有不同类型的输出层，包括具有逻辑sigmoid激活函数、双曲正切激活函数、线性单元、整流线性单元或其他合适类型的非线性单元的输出层。类似地，神经网络可以被配置成经由例如softmax函数来表示n个不同类别上的概率分布，或者包括提供参数化分布(例如，高斯分布的均值和方差)的输出层。
应当理解，本文所描述技术的各方面不限于使用神经网络，因为在一些实施例中可以采用其他类型的统计模型。例如，在一些实施例中，统计模型可以包括隐马尔可夫模型、马尔可夫切换模型(其中切换允许在不同动态系统之间跳变)、动态贝叶斯网络(dynamic Bayesian network)和/或具有时间分量的任何其他合适的图形模型。在动作312，可以使用在动作302获得的传感器数据来训练任何这样的统计模型。
作为另一个示例，在一些实施例中，统计模型可以将从在动作302获得的传感器数据导出的特征作为输入。在这样的实施例中，在动作312，可以使用从在动作302获得的传感器数据提取的特征来训练统计模型。统计模型可以是支持向量机(support vectormachine)、高斯混合模型、基于回归的分类器、决策树分类器、贝叶斯分类器和/或任何其他合适的分类器，因为本文所描述技术的各方面不限于该方面。要作为训练数据提供给统计模型的输入特征可以以任何合适的方式从在动作302获得的传感器数据导出。例如，可以使用小波(wavelet)分析技术(例如，连续小波变换、离散时间小波变换等)、傅立叶分析技术(例如，短时傅立叶变换、傅立叶变换等)和/或任何其他合适类型的时间频率分析技术将传感器数据分析为时间序列数据。作为一个非限制性示例，可以使用小波变换来对传感器数据进行变换，并且可以将得到的小波系数作为输入提供给统计模型。
在一些实施例中，在动作312，可以从在动作310生成的训练数据来估计统计模型的参数值。例如，当统计模型是神经网络时，可以从训练数据估计神经网络的参数(例如，权重)。在一些实施例中，可以使用梯度下降、随机梯度下降和/或任何其他合适的迭代优化技术来估计统计模型的参数。在统计模型是循环神经网络(例如，LSTM)的实施例中，可以使用随机梯度下降和随时间反向传播(backpropagation through time)来训练统计模型。训练可以采用交叉熵损失函数(cross-entropy loss function)和/或任何其他合适的损失函数，因为本文所描述技术的各方面不限于该方面。
接下来，过程300前进到动作314，在动作314中，存储经训练的统计模型(例如，存储在未示出的数据储存器中)。可以使用任何合适的格式来存储经训练的统计模型，因为本文所描述技术的各方面不限于该方面。以这种方式，如以下所描述的，在过程300的执行期间生成的统计模型可以在稍后的时间使用，例如，用于针对给定的输入传感器数据集合预测肌肉骨骼位置信息(例如，关节角度)。
在一些实施例中，从(例如，布置在用户身体表面上或附近的)多个传感器记录传感器信号，这些传感器记录在任务执行期间与身体移动相关联的活动。所记录的信号可以可选地被处理，并作为输入提供给使用上面结合图3描述的一种或更多种技术训练的统计模型。在连续记录自主信号的一些实施例中，连续记录的(原始或经处理的)信号可以作为经训练的统计模型的输入被连续或周期性地提供，用于针对给定的输入传感器数据集合预测肌肉骨骼位置信息(例如，关节角度)。如以上所讨论的，在一些实施例中，经训练的统计模型是基于自主式传感器和来自多个用户的位置信息测量结果而训练的与用户无关的模型。在其他实施例中，经训练的模型是使用从个体用户记录的数据训练的与用户相关的模型，从该个体用户也获取与传感器信号相关联的数据。
在经训练的统计模型接收到传感器数据作为输入参数集合之后，从经训练的统计模型输出预测的肌肉骨骼位置信息。如以上所讨论的，在一些实施例中，预测的肌肉骨骼位置信息可以包括表示用户身体的至少一部分的多节段铰接刚体模型的肌肉骨骼位置信息值的集合(例如，关节角度集合)。在其他实施例中，肌肉骨骼位置信息可以包括用户正在执行可能的移动集合中的一个或更多个移动的概率集合。
在一些实施例中，在预测肌肉骨骼位置信息之后，至少部分地基于从经训练的统计模型输出的肌肉骨骼位置信息，生成用户身体的基于计算机的肌肉骨骼表示。可以以任何合适的方式生成基于计算机的肌肉骨骼表示。例如，基于计算机的人体肌肉骨骼模型可以包括多个刚体节段，每个刚体节段对应于身体中的一个或更多个骨骼结构。例如，上臂可以由第一刚体节段表示，下臂可以由第二刚体节段表示，手掌可以由第三刚体节段表示，并且手上的每根手指可以由至少一个刚体节段表示(例如，至少第四至第八刚体节段)。肌肉骨骼模型中连接的刚体节段之间的关节角度集合可以定义每个连接的刚体节段相对于彼此和参考系(例如身体躯干)的定向。随着新的传感器数据被测量并被统计模型处理来提供肌肉骨骼位置信息的新的预测(例如，更新的关节角度集合)，用户身体的基于计算机的肌肉骨骼表示可以基于更新的关节角度集合来更新，该更新的关节角度集合基于统计模型的输出确定。以这种方式，基于计算机的肌肉骨骼表示随着传感器数据的连续记录而实时动态更新。
可以以任何合适的方式来表示并存储基于计算机的肌肉骨骼表示，因为本文所描述技术的实施例不限于关于存储表示的特定方式。附加地，尽管在本文中被称为“肌肉骨骼”表示以反映在一些实施例中肌肉活动可以与该表示相关联，但是如下文更详细讨论的，应当理解根据一些实施例所使用的一些肌肉骨骼表示可以对应于身体中的骨骼结构、肌肉结构或者骨骼结构和肌肉结构的组合。
在一些实施例中，对构成用户移动的基础的神经肌肉活动和/或肌肉活动的直接测量结果可以与生成的肌肉骨骼表示组合。来自放置在用户身体上各个定位(locations)处的多个传感器的测量结果可以用于通过将测量结果叠加到动态形成姿态的骨骼上来创建肌肉补充(muscle recruitment)的统一表示。在一些实施例中，由神经肌肉传感器感测的肌肉活动和/或从肌肉活动导出的信息(例如，力信息)可以与计算机生成的肌肉骨骼表示实时组合。
图4A示出了具有16个神经肌肉传感器410(例如，EMG传感器)的可穿戴系统，这些传感器410围绕弹性带420周向布置，弹性带420被配置成围绕用户的下臂或手腕穿戴。如图所示，EMG传感器410围绕弹性带420周向布置。应当理解，可以使用任何合适数量的神经肌肉传感器。神经肌肉传感器的数量和布置可以取决于使用可穿戴设备的特定应用。例如，可穿戴臂带或腕带可以用于生成控制信息，以控制增强现实系统、机器人、控制车辆、滚动浏览文本、控制虚拟化身或用于任何其他合适的控制任务。
在一些实施例中，传感器410包括神经肌肉传感器(例如，EMG传感器)的集合。在其他实施例中，传感器410可以包括神经肌肉传感器的集合和被配置成连续记录辅助信号的至少一个“辅助”传感器。辅助传感器的示例包括但不限于其他传感器，例如IMU传感器、麦克风、成像传感器(例如，照相机)、与辐射生成设备(例如，激光扫描设备)一起使用的基于辐射的传感器、或者其他类型的传感器(例如心率监视器)。如图所示，传感器410可以使用结合到可穿戴设备中的柔性电子器件430耦合在一起。图4B示出了图4A所示的可穿戴设备的传感器410之一的截面图。
在一些实施例中，可以使用硬件信号处理电路来可选地处理一个或更多个感测部件的输出(例如，从而执行放大、滤波和/或整流)。在其他实施例中，感测部件的输出的至少一些信号处理可以在软件中执行。因此，由传感器采样的信号的信号处理可以在硬件、软件或由硬件和软件的任何适当组合执行，因为本文所描述的技术的各方面不限于该方面。将在下面结合图5A和图5B更详细地讨论用于处理来自传感器410的所记录的数据的信号处理链的非限制性示例。
图5A和图5B示出了根据本文所描述技术的一些实施例的具有16个EMG传感器的可穿戴系统的内部部件的示意图。如图所示，可穿戴系统包括可穿戴部分510(图5A)和(例如，经由蓝牙或另一种合适的短程无线通信技术)与可穿戴部分510通信的加密狗部分520(图5B)。如图5A所示，可穿戴部分510包括传感器410，其示例结合图4A和图4B进行了描述。传感器410的输出被提供给模拟前端530，模拟前端530被配置成对所记录的信号执行模拟处理(例如，降噪、滤波等)。经处理的模拟信号然后被提供给模数转换器532，模数转换器532将模拟信号转换成可以由一个或更多个计算机处理器处理的数字信号。可以根据一些实施例使用的计算机处理器的一个示例是图5A所示的微控制器(MCU)534。如图所示，MCU 534也可以包括来自其他传感器(例如，IMU传感器540)以及电源和电池模块542的输入。由MCU执行的处理的输出可以被提供给天线550，用于传输到图5B所示的加密狗部分520。
加密狗部分520包括天线552，天线552被配置成与作为可穿戴部分510的一部分而被包括的天线550通信。可以使用任何合适的无线技术和协议(其非限制性示例包括射频信令和蓝牙)进行天线550和552之间的通信。如图所示，由加密狗部分520的天线552接收的信号可以被提供给主计算机，用于进一步处理、显示和/或实现对特定物理或虚拟对象的控制。
可以多种方式中的任何一种来实现上述实施例。例如，可以使用硬件、软件或其组合来实现实施例。当在软件中实现时，软件代码可以在任何合适的处理器或处理器合集(不管是在单个计算机中提供还是分布在多个计算机中的处理器或处理器合集)上执行。应当理解，执行上述功能的任何部件或部件的合集通常被认为是控制以上所讨论的功能的一个或更多个控制器。一个或更多个控制器可以以多种方式实现，例如利用专用硬件或者利用使用微代码或软件编程来执行上述功能的一个或更多个处理器。
在这方面，应当理解，本发明实施例的一个实现包括编码有计算机程序(即，多个指令)的至少一个非暂时性计算机可读存储介质(例如，计算机存储器、便携式存储器、光盘等)，该计算机程序当在处理器上执行时，执行本发明实施例的以上所讨论的功能。计算机可读存储介质可以是可传输的，使得存储在其上的程序可以被加载到任何计算机资源上，以实现本文所讨论的本发明的各方面。此外，应当理解，对当被执行时执行上述功能的计算机程序的引用不限于在主机上运行的应用程序。相反，术语“计算机程序”在本文中以一般意义使用，以指代任何类型的计算机代码(例如，软件或微代码)，其可以用于对处理器进行编程以实现本发明的以上所讨论的各方面。
本发明的各个方面可以单独使用、组合使用或者以在前面描述的实施例中没有具体讨论的各种布置使用，因此它们的应用不限于在前面描述中阐述的或者在附图中示出的部件的细节和布置。例如，一个实施例中描述的各方面可以以任何方式与其他实施例中描述的各方面组合。
此外，本发明的实施例可以被实现为一种或更多种方法，已经提供了其示例。作为方法的一部分被执行的动作可以以任何合适的方式被排序。相应地，可以构建实施例，其中以不同于所示的顺序执行动作，这可以包括同时执行即使在说明性实施例中被示为顺序动作的一些动作。
在权利要求中使用序数术语，例如“第一”、“第二”、“第三”等来修改权利要求元素本身并不意味着一个权利要求元素相对于另一个权利要求元素的任何优先、在先或顺序，或者方法的动作被执行的时间顺序。这些术语仅用作标签，以将具有某种名称的一个权利要求元素与具有相同名称(但是使用序数术语)的另一个元素区分开来。
本文使用的措辞和术语是为了描述的目的，不应该被认为是限制性的。“包括(including)”、“包括(comprising)”、“具有(having)”、“包含(containing)”、“涉及(involving)”及其变体的使用意味着涵盖其后列出的项目和附加项目。
已经详细描述了本发明的几个实施例，本领域技术人员将容易想到各种修改和改进。这种修改和改进旨在落入本发明的精神和范围内。相应地，前面的描述仅仅是示例性的，而不意欲作为限制。本发明仅由所附权利要求及其等同物限定。
除了上述描述之外，本公开还包括附于此的附录A和附录B中的描述，其通过引用结合于此。

Claims (31)

1.一种用于基于肌肉骨骼表示来再现视觉表示的计算机化系统，所述系统包括：
至少一个计算机处理器，其被编程为：
至少部分地基于从用户记录的第一多个神经肌肉信号来生成所述肌肉骨骼表示，其中，至少部分地基于以下信息来生成所述肌肉骨骼表示：
描述所述肌肉骨骼表示的两个或更多个连接节段之间的空间关系的位置信息，以及
描述由所述肌肉骨骼表示的至少一个节段施加的力的力信息；以及
基于所生成的肌肉骨骼表示经由用户界面来再现所述视觉表示，其中，所述视觉表示包括所述位置信息的视觉指示和所述力信息的视觉指示；
至少部分地基于从所述用户记录的第二多个神经肌肉信号来更新所述肌肉骨骼表示，其中，更新所述肌肉骨骼表示包括更新所述位置信息和所述力信息；以及
基于更新的肌肉骨骼表示来实时地更新所述视觉表示，其中，更新所述视觉表示包括更新所述位置信息的视觉指示和/或所述力信息的视觉指示。
2.根据权利要求1所述的计算机化系统，其中，更新所述力信息的视觉指示包括，改变所述视觉表示的对应于所述更新的肌肉骨骼表示的所述至少一个节段的部分的颜色，以指示所述力信息。
3.根据权利要求2所述的计算机化系统，其中，改变所述颜色包括改变所述视觉表示的对应于所述至少一个节段的部分的颜色的色调，并且其中，所述色调指示由所述至少一个节段施加的力的量。
4.根据权利要求1所述的计算机化系统，其中，更新所述力信息的视觉指示包括，改变所述视觉表示的对应于所述更新的肌肉骨骼表示的所述至少一个节段的部分的比例或大小，以指示所述力信息。
5.根据权利要求1所述的计算机化系统，其中，更新所述力信息的视觉指示包括，将至少一个视觉元素应用于所述视觉表示的对应于所述更新的肌肉骨骼表示的所述至少一个节段的部分，以指示所述力信息。
6.根据权利要求5所述的计算机化系统，其中，所述至少一个视觉元素的尺寸指示由所述至少一个节段施加的力的量。
7.根据权利要求1所述的计算机化系统，其中，更新所述力信息的视觉指示包括，增大或减小所述视觉表示的对应于所述更新的肌肉骨骼表示的所述至少一个节段的部分的亮度，以指示所述力信息。
8.根据权利要求7所述的计算机化系统，其中，所述亮度的增大或减小的程度指示由所述至少一个节段施加的力的量。
9.根据权利要求1所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为：
输出指示与所述更新的肌肉骨骼表示相关联的力信息的声音表示。
10.根据权利要求1所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为：
执行提供虚拟现实环境的计算机应用；以及
实时地更新所述虚拟现实环境中的视觉表示，其中，更新所述视觉表示还包括更新所述位置信息的视觉指示和所述力信息的视觉指示。
11.根据权利要求10所述的计算机化系统，其中，所述虚拟现实环境包括虚拟对象，并且其中，更新所述视觉表示包括更新所述视觉表示以使得手与所述虚拟现实环境内的所述虚拟对象交互。
12.根据权利要求11所述的计算机化系统，其中，更新所述力信息的视觉指示包括改变所述虚拟对象的外观或尺寸，其中，所述虚拟对象的改变程度指示由所述至少一个节段在与所述虚拟现实环境内的所述虚拟对象交互时施加的力的量。
13.根据权利要求12所述的计算机化系统，其中，与所述虚拟对象的交互包括从由以下项构成的组中选择的动作：抓握所述虚拟对象、放下所述虚拟对象、推动所述虚拟对象、投掷所述虚拟对象、拉动所述虚拟对象、打开所述虚拟对象和关闭所述虚拟对象。
14.根据权利要求10所述的计算机化系统，其中，所述虚拟现实环境包括共享虚拟现实环境，并且其中，所述至少一个计算机处理器还被编程为向参与所述共享虚拟现实环境的第三方提供更新的视觉表示。
15.根据权利要求14所述的计算机化系统，其中，提供更新的视觉表示包括提供所述位置信息的更新的视觉指示和所述力信息的更新的视觉指示。
16.根据权利要求1所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为：
提供关于由所述肌肉骨骼表示的所述至少一个节段施加的力的量的反馈。
17.根据权利要求14所述的计算机化系统，其中，提供反馈包括提供指示由所述至少一个节段施加的力的量的触觉反馈。
18.根据权利要求16所述的计算机化系统，其中，提供反馈包括向虚拟现实环境中的用户提供反馈。
19.根据权利要求16所述的计算机化系统，其中，提供反馈包括向共享虚拟现实环境中的第三方提供反馈。
20.一种用于基于肌肉骨骼表示来再现视觉表示的方法，所述方法包括：
至少部分地基于从用户记录的多个神经肌肉信号来生成所述肌肉骨骼表示，其中，至少部分地基于以下信息来生成所述肌肉骨骼表示：
描述所述肌肉骨骼表示的两个或更多个连接节段之间的空间关系的位置信息，以及
描述由所述肌肉骨骼表示的至少一个节段施加的力的力信息；
基于所生成的肌肉骨骼表示经由用户界面来再现所述视觉表示，其中，所述视觉表示包括所述位置信息的视觉指示和所述力信息的视觉指示；
至少部分地基于从所述用户记录的第二多个神经肌肉信号来更新所述肌肉骨骼表示，其中，更新所述肌肉骨骼表示包括更新所述位置信息和所述力信息；以及
基于更新的肌肉骨骼表示来实时地更新所述视觉表示，其中，更新所述视觉表示包括更新所述位置信息的视觉指示和/或所述力信息的视觉指示。
21.根据权利要求20所述的方法，还包括：
实时地更新虚拟现实环境中的视觉表示，其中，更新所述视觉表示还包括更新所述位置信息的视觉指示和所述力信息的视觉指示。
22.根据权利要求21所述的方法，其中，所述虚拟现实环境包括共享虚拟现实环境，并且其中，所述方法还包括向参与所述共享虚拟现实环境的第三方提供更新的视觉表示。
23.根据权利要求22所述的方法，其中，提供更新的视觉表示包括提供所述位置信息的更新的视觉指示和所述力信息的更新的视觉指示。
24.根据权利要求20所述的方法，还包括：
提供关于由所述肌肉骨骼表示的至少一个节段施加的力的量的反馈。
25.根据权利要求24所述的方法，其中，提供反馈包括提供指示由所述至少一个节段施加的力的量的触觉反馈。
26.根据权利要求24所述的方法，其中，提供反馈包括向虚拟现实环境中的用户提供反馈。
27.根据权利要求24所述的方法，其中，提供反馈包括向共享虚拟现实环境中的第三方提供反馈。
28.一种编码有多个指令的计算机可读介质，所述多个指令当被至少一个计算机处理器执行时，执行以下方法：
至少部分地基于从用户记录的多个神经肌肉信号来生成肌肉骨骼表示，其中，至少部分地基于以下信息来生成所述肌肉骨骼表示：
描述所述肌肉骨骼表示的两个或更多个连接节段之间的空间关系的位置信息，以及
描述由所述肌肉骨骼表示的至少一个节段施加的力的力信息；
基于所生成的肌肉骨骼表示经由用户界面来再现视觉表示，其中，所述视觉表示包括所述位置信息的视觉指示和所述力信息的视觉指示；
至少部分地基于从所述用户记录的第二多个神经肌肉信号来更新所述肌肉骨骼表示，其中，更新所述肌肉骨骼表示包括更新所述位置信息和所述力信息；以及
基于更新的肌肉骨骼表示来实时地更新所述视觉表示，其中，更新所述视觉表示包括更新所述位置信息的视觉指示和/或所述力信息的视觉指示。
29.根据权利要求28所述的计算机可读介质，其中，所述方法还包括：
实时地更新虚拟现实环境中的视觉表示，其中，更新所述视觉表示还包括更新所述位置信息的视觉指示和所述力信息的视觉指示。
30.根据权利要求29所述的计算机可读介质，其中，所述虚拟现实环境包括共享虚拟现实环境，并且其中，所述方法还包括向参与所述共享虚拟现实环境的第三方提供更新的视觉表示。
31.一种用于基于肌肉骨骼表示来再现视觉表示的计算机化系统，所述系统包括：
至少一个计算机处理器，其被编程为：
至少部分地基于从用户记录的多个神经肌肉信号来更新所述肌肉骨骼表示，其中，至少部分地基于以下信息来更新所述肌肉骨骼表示：
描述所述肌肉骨骼表示的两个或更多个连接节段之间的空间关系的位置信息，以及
描述由所述肌肉骨骼表示的至少一个节段施加的力的力信息；以及
基于更新的肌肉骨骼表示经由用户界面来再现所述视觉表示，其中，所述视觉表示包括所述位置信息的视觉指示和所述力信息的视觉指示。
CN201980022049.8A 2018-01-25 2019-01-25 重构的手部状态信息的可视化 Pending CN112074870A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862621792P 2018-01-25 2018-01-25
US62/621,792 2018-01-25
PCT/US2019/015180 WO2019147956A1 (en) 2018-01-25 2019-01-25 Visualization of reconstructed handstate information

Publications (1)

Publication Number Publication Date
CN112074870A true CN112074870A (zh) 2020-12-11

Family

ID=67300100

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980022049.8A Pending CN112074870A (zh) 2018-01-25 2019-01-25 重构的手部状态信息的可视化

Country Status (4)

Country Link
US (1) US11069148B2 (zh)
EP (1) EP3743892A4 (zh)
CN (1) CN112074870A (zh)
WO (1) WO2019147956A1 (zh)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US10042422B2 (en) 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
US10188309B2 (en) 2013-11-27 2019-01-29 North Inc. Systems, articles, and methods for electromyography sensors
US9880632B2 (en) 2014-06-19 2018-01-30 Thalmic Labs Inc. Systems, devices, and methods for gesture identification
CN110300542A (zh) 2016-07-25 2019-10-01 开创拉布斯公司 使用可穿戴的自动传感器预测肌肉骨骼位置信息的方法和装置
US11179066B2 (en) 2018-08-13 2021-11-23 Facebook Technologies, Llc Real-time spike detection and identification
US10409371B2 (en) 2016-07-25 2019-09-10 Ctrl-Labs Corporation Methods and apparatus for inferring user intent based on neuromuscular signals
WO2018022657A1 (en) 2016-07-25 2018-02-01 Ctrl-Labs Corporation System and method for measuring the movements of articulated rigid bodies
US11000211B2 (en) 2016-07-25 2021-05-11 Facebook Technologies, Llc Adaptive system for deriving control signals from measurements of neuromuscular activity
US11216069B2 (en) 2018-05-08 2022-01-04 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
US20190121306A1 (en) 2017-10-19 2019-04-25 Ctrl-Labs Corporation Systems and methods for identifying biological structures associated with neuromuscular source signals
US11331045B1 (en) 2018-01-25 2022-05-17 Facebook Technologies, Llc Systems and methods for mitigating neuromuscular signal artifacts
WO2020112986A1 (en) 2018-11-27 2020-06-04 Facebook Technologies, Inc. Methods and apparatus for autocalibration of a wearable electrode sensor system
WO2019123530A1 (ja) * 2017-12-19 2019-06-27 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、及びプログラム
EP3743892A4 (en) 2018-01-25 2021-03-24 Facebook Technologies, Inc. VISUALIZATION OF INFORMATION ON THE STATE OF A RECONSTRUCTED HAND
US10937414B2 (en) 2018-05-08 2021-03-02 Facebook Technologies, Llc Systems and methods for text input using neuromuscular information
US10817795B2 (en) 2018-01-25 2020-10-27 Facebook Technologies, Llc Handstate reconstruction based on multiple inputs
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US10592001B2 (en) 2018-05-08 2020-03-17 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
EP3801743A4 (en) 2018-05-25 2021-08-04 Facebook Technologies, LLC PROCESSES AND APPARATUS FOR OBTAINING A SUB-MUSCULAR COMMAND
EP3801216A4 (en) 2018-05-29 2021-04-14 Facebook Technologies, LLC. SHIELDING TECHNIQUES FOR NOISE REDUCTION IN SURFACE ELECTROMYOGRAPHY SIGNAL MEASUREMENT AND RELATED SYSTEMS AND METHODS
CN112585600A (zh) 2018-06-14 2021-03-30 脸谱科技有限责任公司 使用神经肌肉标记进行用户识别和认证
US11045137B2 (en) 2018-07-19 2021-06-29 Facebook Technologies, Llc Methods and apparatus for improved signal robustness for a wearable neuromuscular recording device
EP4241661A1 (en) 2018-08-31 2023-09-13 Facebook Technologies, LLC Camera-guided interpretation of neuromuscular signals
WO2020061451A1 (en) 2018-09-20 2020-03-26 Ctrl-Labs Corporation Neuromuscular text entry, writing and drawing in augmented reality systems
US10921764B2 (en) 2018-09-26 2021-02-16 Facebook Technologies, Llc Neuromuscular control of physical objects in an environment
WO2020072915A1 (en) 2018-10-05 2020-04-09 Ctrl-Labs Corporation Use of neuromuscular signals to provide enhanced interactions with physical objects in an augmented reality environment
US10905383B2 (en) 2019-02-28 2021-02-02 Facebook Technologies, Llc Methods and apparatus for unsupervised one-shot machine learning for classification of human gestures and estimation of applied forces
US11974857B2 (en) 2019-10-08 2024-05-07 Unlimited Tomorrow, Inc. Biometric sensor array
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
NL2031070B1 (en) * 2022-02-24 2023-09-06 Microsoft Technology Licensing Llc Spatially tracking muscle activity

Family Cites Families (271)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4055168A (en) 1976-09-21 1977-10-25 The Rockefeller University Posture training device
IL78244A0 (en) 1986-03-24 1986-07-31 Zvi Kamil Instrumentation amplifier arrangement
US5625577A (en) 1990-12-25 1997-04-29 Shukyohojin, Kongo Zen Sohonzan Shorinji Computer-implemented motion analysis method using dynamics
JP3103427B2 (ja) 1992-04-01 2000-10-30 ダイヤメディカルシステム株式会社 生体電気現象検出装置
US5785666A (en) * 1995-10-31 1998-07-28 Ergonomic Technologies Corporation Portable electronic data collection apparatus for monitoring musculoskeletal stresses
JP2001504605A (ja) 1996-08-14 2001-04-03 ラティポフ，ヌラフメド，ヌリスラモビチ 空間内のユーザの位置及び方向性を追跡及び表示するための方法、ユーザに対し仮想環境を提示するための方法及びこれらの方法を実現するためのシステム
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
AU5900299A (en) 1998-08-24 2000-03-14 Emory University Method and apparatus for predicting the onset of seizures based on features derived from signals indicative of brain activity
US6745062B1 (en) 1998-10-05 2004-06-01 Advanced Imaging Systems, Inc. Emg electrode apparatus and positioning system
US6244873B1 (en) 1998-10-16 2001-06-12 At&T Corp. Wireless myoelectric control apparatus and methods
US6774885B1 (en) 1999-01-20 2004-08-10 Motek B.V. System for dynamic registration, evaluation, and correction of functional human behavior
US6411843B1 (en) 1999-05-28 2002-06-25 Respironics, Inc. Method and apparatus for producing a model EMG signal from a measured EMG signal
US6720984B1 (en) 2000-06-13 2004-04-13 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Characterization of bioelectric potentials
US20030184544A1 (en) 2000-07-24 2003-10-02 Prudent Jean Nicholson Modeling human beings by symbol manipulation
WO2002037827A2 (en) 2000-10-30 2002-05-10 Naval Postgraduate School Method and apparatus for motion tracking of an articulated rigid body
US20030144829A1 (en) 2002-01-25 2003-07-31 Geatz Michael W. System and method for sensing and evaluating physiological parameters and modeling an adaptable predictive analysis for symptoms management
JP2003255993A (ja) 2002-03-04 2003-09-10 Ntt Docomo Inc 音声認識システム、音声認識方法、音声認識プログラム、音声合成システム、音声合成方法、音声合成プログラム
US6942621B2 (en) 2002-07-11 2005-09-13 Ge Medical Systems Information Technologies, Inc. Method and apparatus for detecting weak physiological signals
WO2004023996A1 (ja) 2002-09-11 2004-03-25 National Institute Of Information And Communications Technology Incorporated Administrative Agency 活動筋肉表示装置
EP1408443B1 (en) * 2002-10-07 2006-10-18 Sony France S.A. Method and apparatus for analysing gestures produced by a human, e.g. for commanding apparatus by gesture recognition
KR100506084B1 (ko) 2002-10-24 2005-08-05 삼성전자주식회사 경혈점 탐색 장치 및 방법
ATE413902T1 (de) 2003-08-18 2008-11-15 Cardiac Pacemakers Inc Patientenüberwachungssystem
JP4178186B2 (ja) 2003-08-21 2008-11-12 国立大学法人 筑波大学 装着式動作補助装置、装着式動作補助装置の制御方法および制御用プログラム
CN1838933B (zh) 2003-08-21 2010-12-08 国立大学法人筑波大学 穿着式动作辅助装置、穿着式动作辅助装置的控制方法和控制用程序
US7565295B1 (en) 2003-08-28 2009-07-21 The George Washington University Method and apparatus for translating hand gestures
US7574253B2 (en) 2003-09-26 2009-08-11 Northwestern University Signal processing using non-linear regression with a sinusoidal model
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
JP4590640B2 (ja) * 2004-06-16 2010-12-01 国立大学法人 東京大学 筋骨格モデルに基づく筋力取得方法及び装置
US20060206167A1 (en) 2005-01-06 2006-09-14 Flaherty J C Multi-device patient ambulation system
WO2006105094A2 (en) 2005-03-29 2006-10-05 Duke University Sensor system for identifying and tracking movements of multiple sources
US7428516B2 (en) 2005-06-23 2008-09-23 Microsoft Corporation Handwriting recognition using neural networks
US8190249B1 (en) 2005-08-01 2012-05-29 Infinite Biomedical Technologies, Llc Multi-parametric quantitative analysis of bioelectrical signals
US7725147B2 (en) 2005-09-29 2010-05-25 Nellcor Puritan Bennett Llc System and method for removing artifacts from waveforms
US8280503B2 (en) 2008-10-27 2012-10-02 Michael Linderman EMG measured during controlled hand movement for biometric analysis, medical diagnosis and related analysis
JP4826459B2 (ja) 2006-01-12 2011-11-30 株式会社豊田中央研究所 筋骨格モデル作成方法、人体応力／ひずみ推定方法、プログラムおよび記録媒体
US8762733B2 (en) 2006-01-30 2014-06-24 Adidas Ag System and method for identity confirmation using physiologic biometrics to determine a physiologic fingerprint
US7580742B2 (en) 2006-02-07 2009-08-25 Microsoft Corporation Using electroencephalograph signals for task classification and activity recognition
US7827000B2 (en) 2006-03-03 2010-11-02 Garmin Switzerland Gmbh Method and apparatus for estimating a motion parameter
US8311623B2 (en) 2006-04-15 2012-11-13 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for estimating surface electromyography
JP2009534108A (ja) 2006-04-21 2009-09-24 クァンタム・アプライド・サイエンス・アンド・リサーチ・インコーポレーテッド 電気信号測定システム
GB2453263A (en) 2006-05-16 2009-04-01 Douglas S Greer System and method for modeling the neocortex and uses therefor
US7661068B2 (en) 2006-06-12 2010-02-09 Microsoft Corporation Extended eraser functions
US9405372B2 (en) 2006-07-14 2016-08-02 Ailive, Inc. Self-contained inertial navigation system for interactive control using movable controllers
US7848797B2 (en) 2006-08-17 2010-12-07 Neurometrix, Inc. Motor unit number estimation (MUNE) for the assessment of neuromuscular function
US8437844B2 (en) 2006-08-21 2013-05-07 Holland Bloorview Kids Rehabilitation Hospital Method, system and apparatus for real-time classification of muscle signals from self-selected intentional movements
JP4267648B2 (ja) 2006-08-25 2009-05-27 株式会社東芝 インターフェース装置及びその方法
US7885732B2 (en) 2006-10-25 2011-02-08 The Boeing Company Systems and methods for haptics-enabled teleoperation of vehicles and other devices
US20080221487A1 (en) 2007-03-07 2008-09-11 Motek Bv Method for real time interactive visualization of muscle forces and joint torques in the human body
CN101662984B (zh) 2007-04-24 2013-10-30 皇家飞利浦电子股份有限公司 用于监测生理参数的传感器装置和方法
FR2916069B1 (fr) 2007-05-11 2009-07-31 Commissariat Energie Atomique Procede de traitement pour la capture de mouvement d'une structure articulee
US8645440B2 (en) * 2007-06-11 2014-02-04 Guy Rosman Acceleration of multidimensional scaling by vector extrapolation techniques
DE102007044555A1 (de) 2007-07-18 2009-01-22 Siemens Ag Optische Koppelvorrichtung und Verfahren zu deren Herstellung
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
EP2201761B1 (en) 2007-09-24 2013-11-20 Qualcomm Incorporated Enhanced interface for voice and video communications
US20090082692A1 (en) 2007-09-25 2009-03-26 Hale Kelly S System And Method For The Real-Time Evaluation Of Time-Locked Physiological Measures
US7714757B2 (en) 2007-09-26 2010-05-11 Medtronic, Inc. Chopper-stabilized analog-to-digital converter
US7853432B2 (en) * 2007-10-02 2010-12-14 The Regents Of The University Of Michigan Method and apparatus for clustering and visualization of multicolor cytometry data
US8343079B2 (en) 2007-10-18 2013-01-01 Innovative Surgical Solutions, Llc Neural monitoring sensor
FI20075798A0 (fi) 2007-11-12 2007-11-12 Polar Electro Oy Elektrodirakenne
GB0800144D0 (en) 2008-01-04 2008-02-13 Fitzpatrick Adam P Electrocardiographic device and method
US9597015B2 (en) 2008-02-12 2017-03-21 Portland State University Joint angle tracking with inertial sensors
US20100030532A1 (en) 2008-06-12 2010-02-04 Jasbir Arora System and methods for digital human model prediction and simulation
US9037530B2 (en) 2008-06-26 2015-05-19 Microsoft Technology Licensing, Llc Wearable electromyography-based human-computer interface
US8447704B2 (en) * 2008-06-26 2013-05-21 Microsoft Corporation Recognizing gestures from forearm EMG signals
US8170656B2 (en) 2008-06-26 2012-05-01 Microsoft Corporation Wearable electromyography-based controllers for human-computer interface
US8444564B2 (en) 2009-02-02 2013-05-21 Jointvue, Llc Noninvasive diagnostic system
EP2427109A4 (en) 2009-05-07 2015-01-07 Massachusetts Eye & Ear Infirm SIGNAL PROCESSING FOR PHYSIOLOGICAL NOISE
US8376968B2 (en) 2009-05-15 2013-02-19 The Hong Kong Polytechnic University Method and system for quantifying an intention of movement of a user
US20100315266A1 (en) 2009-06-15 2010-12-16 Microsoft Corporation Predictive interfaces with usability constraints
US9687168B2 (en) 2009-07-30 2017-06-27 University Of Cape Town Non-invasive deep muscle electromyography
US8738122B2 (en) * 2009-08-21 2014-05-27 The Chinese University Of Hong Kong Systems and methods for reproducing body motions via networks
US8718980B2 (en) 2009-09-11 2014-05-06 Qualcomm Incorporated Method and apparatus for artifacts mitigation with multiple wireless sensors
US20110077484A1 (en) 2009-09-30 2011-03-31 Nellcor Puritan Bennett Ireland Systems And Methods For Identifying Non-Corrupted Signal Segments For Use In Determining Physiological Parameters
TWI496558B (zh) 2009-10-20 2015-08-21 Tatung Co 使用二極電極貼片量測心電圖與呼吸訊號之系統及方法
US8421634B2 (en) 2009-12-04 2013-04-16 Microsoft Corporation Sensing mechanical energy to appropriate the body for data input
WO2011072684A1 (en) 2009-12-16 2011-06-23 Ictalcare A/S A system for the prediction of epileptic seizures
US9268404B2 (en) 2010-01-08 2016-02-23 Microsoft Technology Licensing, Llc Application gesture interpretation
US8631355B2 (en) 2010-01-08 2014-01-14 Microsoft Corporation Assigning gesture dictionaries
JP5471490B2 (ja) 2010-01-20 2014-04-16 オムロンヘルスケア株式会社 体動検出装置
US9268990B2 (en) 2010-03-16 2016-02-23 Carlo Trugenberger Apparatus and method for producing an identification device
US8351651B2 (en) 2010-04-26 2013-01-08 Microsoft Corporation Hand-location post-process refinement in a tracking system
US8754862B2 (en) 2010-07-11 2014-06-17 Lester F. Ludwig Sequential classification recognition of gesture primitives and window-based parameter smoothing for high dimensional touchpad (HDTP) user interfaces
FR2962821B1 (fr) 2010-07-13 2013-02-22 Commissariat Energie Atomique Procede et systeme de classification de signaux neuronaux, et procede de selection d'electrodes pour commande neuronale directe.
KR101840312B1 (ko) * 2010-08-02 2018-03-20 더 존스 홉킨스 유니버시티 협동 로봇 제어 및 음향 피드백을 사용하여 힘 센서 정보를 나타내기 위한 방법
US20120066163A1 (en) 2010-09-13 2012-03-15 Nottingham Trent University Time to event data analysis method and system
US20130123656A1 (en) 2010-11-15 2013-05-16 Sandy L. Heck Control System and Apparatus Utilizing Signals Originating in the Periauricular Neuromuscular System
WO2012154260A2 (en) * 2011-02-17 2012-11-15 The Johns Hopkins University Multiparametric non-linear dimension reduction methods and systems related thereto
WO2012155157A1 (en) 2011-05-06 2012-11-15 Azoteq (Pty) Ltd Multiple media capacitive sensor
WO2012175785A1 (en) 2011-06-20 2012-12-27 Nokia Corporation Methods, apparatuses and computer program products for performing accurate pose estimation of objects
US9128521B2 (en) 2011-07-13 2015-09-08 Lumo Bodytech, Inc. System and method of biomechanical posture detection and feedback including sensor normalization
WO2013029196A1 (zh) 2011-08-26 2013-03-07 国立云林科技大学 回馈控制的穿戴式上肢电刺激装置
KR20220032059A (ko) 2011-09-19 2022-03-15 아이사이트 모빌 테크놀로지 엘티디 증강 현실 시스템용 터치프리 인터페이스
US20130077820A1 (en) 2011-09-26 2013-03-28 Microsoft Corporation Machine learning gesture detection
FR2981561B1 (fr) 2011-10-21 2015-03-20 Commissariat Energie Atomique Procede de detection d'activite a capteur de mouvements, dispositif et programme d'ordinateur correspondants
ITTO20111024A1 (it) 2011-11-08 2013-05-09 Bitron Spa Dispositivo di misura per segnali elettromiografici ad alta risoluzione e elevato numero di canali.
WO2013071285A1 (en) 2011-11-11 2013-05-16 Rutgers, The State University Of New Jersey Methods for the diagnosis and treatment of neurological disorders
US10430066B2 (en) 2011-12-06 2019-10-01 Nri R&D Patent Licensing, Llc Gesteme (gesture primitive) recognition for advanced touch user interfaces
US8992230B2 (en) * 2012-01-23 2015-03-31 Virtamed Ag Medical training systems and methods
JP2013206273A (ja) 2012-03-29 2013-10-07 Sony Corp 情報処理装置、情報処理方法、および情報処理システム
US10130298B2 (en) 2012-04-03 2018-11-20 Carnegie Mellon University Musculoskeletal activity recognition system and method
US9221177B2 (en) * 2012-04-18 2015-12-29 Massachusetts Institute Of Technology Neuromuscular model-based sensing and control paradigm for a robotic leg
WO2013177592A2 (en) 2012-05-25 2013-11-28 Emotiv Lifesciences, Inc. System and method for providing and aggregating biosignals and action data
US9278453B2 (en) * 2012-05-25 2016-03-08 California Institute Of Technology Biosleeve human-machine interface
US9814426B2 (en) 2012-06-14 2017-11-14 Medibotics Llc Mobile wearable electromagnetic brain activity monitor
US10921886B2 (en) 2012-06-14 2021-02-16 Medibotics Llc Circumferential array of electromyographic (EMG) sensors
US9891718B2 (en) * 2015-04-22 2018-02-13 Medibotics Llc Devices for measuring finger motion and recognizing hand gestures
US9582072B2 (en) 2013-09-17 2017-02-28 Medibotics Llc Motion recognition clothing [TM] with flexible electromagnetic, light, or sonic energy pathways
US9588582B2 (en) * 2013-09-17 2017-03-07 Medibotics Llc Motion recognition clothing (TM) with two different sets of tubes spanning a body joint
US20150366504A1 (en) 2014-06-20 2015-12-24 Medibotics Llc Electromyographic Clothing
US20150370320A1 (en) * 2014-06-20 2015-12-24 Medibotics Llc Smart Clothing with Human-to-Computer Textile Interface
US8484022B1 (en) 2012-07-27 2013-07-09 Google Inc. Adaptive auto-encoders
US20150182165A1 (en) 2012-08-03 2015-07-02 Neurotopia, Inc. Neurophysiological training headset
US10234941B2 (en) 2012-10-04 2019-03-19 Microsoft Technology Licensing, Llc Wearable sensor for tracking articulated body-parts
US9351653B1 (en) 2012-11-29 2016-05-31 Intan Technologies, LLC Multi-channel reconfigurable systems and methods for sensing biopotential signals
WO2014085910A1 (en) 2012-12-04 2014-06-12 Interaxon Inc. System and method for enhancing content using brain-state data
US20140196131A1 (en) 2013-01-07 2014-07-10 Salutron, Inc. User authentication based on a wrist vein pattern
US10528135B2 (en) * 2013-01-14 2020-01-07 Ctrl-Labs Corporation Wearable muscle interface systems, devices and methods that interact with content displayed on an electronic display
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9387083B2 (en) * 2013-01-30 2016-07-12 Conformis, Inc. Acquiring and utilizing kinematic information for patient-adapted implants, tools and surgical procedures
US20140240103A1 (en) 2013-02-22 2014-08-28 Thalmic Labs Inc. Methods and devices for combining muscle activity sensor signals and inertial sensor signals for gesture-based control
US20140245200A1 (en) 2013-02-25 2014-08-28 Leap Motion, Inc. Display control with gesture-selectable control paradigms
US20140249397A1 (en) 2013-03-01 2014-09-04 Thalmic Labs Inc. Differential non-contact biopotential sensor
US9436287B2 (en) 2013-03-15 2016-09-06 Qualcomm Incorporated Systems and methods for switching processing modes using gestures
US9361411B2 (en) 2013-03-15 2016-06-07 Honeywell International, Inc. System and method for selecting a respirator
US20140277622A1 (en) 2013-03-15 2014-09-18 First Principles, Inc. System and method for bio-signal control of an electronic device
US9690784B1 (en) * 2013-03-15 2017-06-27 University Of Central Florida Research Foundation, Inc. Culturally adaptive avatar simulator
US9766709B2 (en) 2013-03-15 2017-09-19 Leap Motion, Inc. Dynamic user interactions for display control
IN2013MU01148A (zh) 2013-03-26 2015-04-24 Tata Consultancy Services Ltd
US10620709B2 (en) 2013-04-05 2020-04-14 Ultrahaptics IP Two Limited Customized gesture interpretation
US9367136B2 (en) * 2013-04-12 2016-06-14 Microsoft Technology Licensing, Llc Holographic object feedback
US9717440B2 (en) 2013-05-03 2017-08-01 The Florida International University Board Of Trustees Systems and methods for decoding intended motor commands from recorded neural signals for the control of external devices or to interact in virtual environments
US10152082B2 (en) 2013-05-13 2018-12-11 North Inc. Systems, articles and methods for wearable electronic devices that accommodate different user forms
US10314506B2 (en) 2013-05-15 2019-06-11 Polar Electro Oy Heart activity sensor structure
US10620775B2 (en) 2013-05-17 2020-04-14 Ultrahaptics IP Two Limited Dynamic interactive objects
US9218574B2 (en) 2013-05-29 2015-12-22 Purepredictive, Inc. User interface for machine learning
WO2014194257A1 (en) 2013-05-31 2014-12-04 President And Fellows Of Harvard College Soft exosuit for assistance with human motion
KR101933921B1 (ko) 2013-06-03 2018-12-31 삼성전자주식회사 포즈 추정 방법 및 장치
US9383819B2 (en) 2013-06-03 2016-07-05 Daqri, Llc Manipulation of virtual object in augmented reality via intent
WO2014197443A1 (en) 2013-06-03 2014-12-11 Kacyvenski Isaiah Motion sensor and analysis
US11083402B2 (en) 2013-06-04 2021-08-10 Medtronic, Inc. Patient state determination based on one or more spectral characteristics of a bioelectrical brain signal
KR101501661B1 (ko) 2013-06-10 2015-03-12 한국과학기술연구원 착용형 근전도 센서 시스템
WO2014204330A1 (en) * 2013-06-17 2014-12-24 3Divi Company Methods and systems for determining 6dof location and orientation of head-mounted display and associated user movements
US20140376773A1 (en) 2013-06-21 2014-12-25 Leap Motion, Inc. Tunable operational parameters in motion-capture and touchless interface operation
US10402517B2 (en) 2013-06-26 2019-09-03 Dassault Systémes Simulia Corp. Musculo-skeletal modeling using finite element analysis, process integration, and design optimization
US9408316B2 (en) 2013-07-22 2016-08-02 Thalmic Labs Inc. Systems, articles and methods for strain mitigation in wearable electronic devices
US20150029092A1 (en) 2013-07-23 2015-01-29 Leap Motion, Inc. Systems and methods of interpreting complex gestures
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US10188309B2 (en) 2013-11-27 2019-01-29 North Inc. Systems, articles, and methods for electromyography sensors
US20150057770A1 (en) 2013-08-23 2015-02-26 Thaimic Labs Inc. Systems, articles, and methods for human-electronics interfaces
US10042422B2 (en) 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
US11426123B2 (en) 2013-08-16 2022-08-30 Meta Platforms Technologies, Llc Systems, articles and methods for signal routing in wearable electronic devices that detect muscle activity of a user using a set of discrete and separately enclosed pod structures
US9788789B2 (en) 2013-08-30 2017-10-17 Thalmic Labs Inc. Systems, articles, and methods for stretchable printed circuit boards
US9372535B2 (en) 2013-09-06 2016-06-21 Thalmic Labs Inc. Systems, articles, and methods for electromyography-based human-electronics interfaces
US9483123B2 (en) 2013-09-23 2016-11-01 Thalmic Labs Inc. Systems, articles, and methods for gesture identification in wearable electromyography devices
CN105578954B (zh) 2013-09-25 2019-03-29 迈恩德玛泽控股股份有限公司 生理参数测量和反馈系统
US9389694B2 (en) 2013-10-22 2016-07-12 Thalmic Labs Inc. Systems, articles, and methods for gesture identification in wearable electromyography devices
CN103777752A (zh) 2013-11-02 2014-05-07 上海威璞电子科技有限公司 基于手臂肌肉电流检测和运动传感器的手势识别设备
GB2519987B (en) 2013-11-04 2021-03-03 Imperial College Innovations Ltd Biomechanical activity monitoring
US9594433B2 (en) 2013-11-05 2017-03-14 At&T Intellectual Property I, L.P. Gesture-based controls via bone conduction
WO2015073713A1 (en) 2013-11-13 2015-05-21 Hrl Laboratories, Llc System for controlling brain machine interfaces and neural prosthetic systems
US20150157944A1 (en) 2013-12-06 2015-06-11 Glenn I. Gottlieb Software Application for Generating a Virtual Simulation for a Sport-Related Activity
US9367139B2 (en) 2013-12-12 2016-06-14 Thalmic Labs Inc. Systems, articles, and methods for gesture identification in wearable electromyography devices
US9659403B1 (en) 2014-01-06 2017-05-23 Leap Motion, Inc. Initializing orientation in space for predictive information for free space gesture control and communication
US9524580B2 (en) 2014-01-06 2016-12-20 Oculus Vr, Llc Calibration of virtual reality systems
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
CN106102504A (zh) 2014-02-14 2016-11-09 赛尔米克实验室公司 用于弹性电力缆线的系统、制品和方法以及采用弹性电力缆线的可佩戴电子装置
WO2015123759A1 (en) * 2014-02-21 2015-08-27 Trispera Dental Inc. Augmented reality dental design method and system
EP3111303A4 (en) 2014-02-28 2017-08-23 Vikas Gupta Gesture operated wrist mounted camera system
US10613642B2 (en) 2014-03-12 2020-04-07 Microsoft Technology Licensing, Llc Gesture parameter tuning
US20150261306A1 (en) 2014-03-17 2015-09-17 Thalmic Labs Inc. Systems, devices, and methods for selecting between multiple wireless connections
US10199008B2 (en) 2014-03-27 2019-02-05 North Inc. Systems, devices, and methods for wearable electronic devices as state machines
US10409382B2 (en) 2014-04-03 2019-09-10 Honda Motor Co., Ltd. Smart tutorial for gesture control system
US20150296553A1 (en) 2014-04-11 2015-10-15 Thalmic Labs Inc. Systems, devices, and methods that establish proximity-based wireless connections
US9858391B2 (en) 2014-04-17 2018-01-02 The Boeing Company Method and system for tuning a musculoskeletal model
US20170080346A1 (en) 2014-05-01 2017-03-23 Mohamad Abbas Methods and systems relating to personalized evolving avatars
US20150325202A1 (en) 2014-05-07 2015-11-12 Thalmic Labs Inc. Systems, devices, and methods for wearable computers with heads-up displays
US9785247B1 (en) 2014-05-14 2017-10-10 Leap Motion, Inc. Systems and methods of tracking moving hands and recognizing gestural interactions
USD717685S1 (en) 2014-05-15 2014-11-18 Thalmic Labs Inc. Expandable armband
KR101666399B1 (ko) 2014-05-15 2016-10-14 한국과학기술연구원 다중 채널 표면 근전도에서의 신체 관절 운동학 정보 추출 방법, 이를 수행하기 위한 기록 매체 및 장치
USD756359S1 (en) 2014-05-15 2016-05-17 Thalmic Labs Inc. Expandable armband device
US9741169B1 (en) 2014-05-20 2017-08-22 Leap Motion, Inc. Wearable augmented reality devices with object detection and tracking
US10782657B2 (en) 2014-05-27 2020-09-22 Ultrahaptics IP Two Limited Systems and methods of gestural interaction in a pervasive computing environment
US9880632B2 (en) 2014-06-19 2018-01-30 Thalmic Labs Inc. Systems, devices, and methods for gesture identification
WO2015199747A1 (en) 2014-06-23 2015-12-30 Thalmic Labs Inc. Systems, articles, and methods for wearable human-electronics interface devices
US10216274B2 (en) 2014-06-23 2019-02-26 North Inc. Systems, articles, and methods for wearable human-electronics interface devices
US9552069B2 (en) 2014-07-11 2017-01-24 Microsoft Technology Licensing, Llc 3D gesture recognition
US9734704B2 (en) 2014-08-12 2017-08-15 Dominick S. LEE Wireless gauntlet for electronic control
WO2016041088A1 (en) 2014-09-19 2016-03-24 Sulon Technologies Inc. System and method for tracking wearable peripherals in augmented reality and virtual reality applications
US9811555B2 (en) 2014-09-27 2017-11-07 Intel Corporation Recognition of free-form gestures from orientation tracking of a handheld or wearable device
JP6415592B2 (ja) 2014-11-12 2018-10-31 京セラ株式会社 ウェアラブル装置
CN105607253B (zh) 2014-11-17 2020-05-12 精工爱普生株式会社 头部佩戴型显示装置以及控制方法、显示系统
US9612661B2 (en) 2015-01-02 2017-04-04 Wearable Devices Ltd. Closed loop feedback interface for wearable devices
US9720515B2 (en) * 2015-01-02 2017-08-01 Wearable Devices Ltd. Method and apparatus for a gesture controlled interface for wearable devices
US9696795B2 (en) 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
US20160274758A1 (en) 2015-03-20 2016-09-22 Thalmic Labs Inc. Systems, devices, and methods for mitigating false positives in human-electronics interfaces
US10432842B2 (en) 2015-04-06 2019-10-01 The Texas A&M University System Fusion of inertial and depth sensors for movement measurements and recognition
US10437335B2 (en) 2015-04-14 2019-10-08 John James Daniels Wearable electronic, multi-sensory, human/machine, human/human interfaces
US9804733B2 (en) 2015-04-21 2017-10-31 Dell Products L.P. Dynamic cursor focus in a multi-display information handling system environment
US10078435B2 (en) 2015-04-24 2018-09-18 Thalmic Labs Inc. Systems, methods, and computer program products for interacting with electronically displayed presentation materials
GB2537899B (en) 2015-04-30 2018-02-21 Hy5Pro As Control of digits for artificial hand
US9654477B1 (en) 2015-05-05 2017-05-16 Wells Fargo Bank, N. A. Adaptive authentication
US9898864B2 (en) * 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
ES2933725T3 (es) 2015-06-02 2023-02-13 Battelle Memorial Institute Manguito neural para estimulación, detección y registro neuromuscular
EP3782696B1 (en) 2015-06-02 2022-12-28 Battelle Memorial Institute Systems for neural bridging of the nervous system
EP3556429B1 (en) * 2015-06-02 2021-10-13 Battelle Memorial Institute Non-invasive motor impairment rehabilitation system
US11589814B2 (en) 2015-06-26 2023-02-28 Carnegie Mellon University System for wearable, low-cost electrical impedance tomography for non-invasive gesture recognition
US9240069B1 (en) 2015-06-30 2016-01-19 Ariadne's Thread (Usa), Inc. Low-latency virtual reality display system
CN108140360B (zh) 2015-07-29 2020-12-04 森赛尔股份有限公司 用于操纵虚拟环境的系统和方法
KR101626748B1 (ko) 2015-08-03 2016-06-14 숭실대학교산학협력단 뇌파와 근전도를 이용한 움직임 패턴 측정 장치 및 그 방법
US10854104B2 (en) 2015-08-28 2020-12-01 Icuemotion Llc System for movement skill analysis and skill augmentation and cueing
US10387034B2 (en) 2015-09-03 2019-08-20 Microsoft Technology Licensing, Llc Modifying captured stroke information into an actionable form
US9824287B2 (en) 2015-09-29 2017-11-21 Huami Inc. Method, apparatus and system for biometric identification
US10459537B2 (en) * 2015-09-30 2019-10-29 Stmicroelectronics, Inc. Encapsulated pressure sensor
US11389083B2 (en) 2015-10-06 2022-07-19 University of Pittsburgh—of the Commonwealth System of Higher Education Method, device and system for sensing neuromuscular, physiological, biomechanical, and musculoskeletal activity
US9881273B2 (en) 2015-10-28 2018-01-30 Disney Interprises, Inc. Automatic object detection and state estimation via electronic emissions sensing
US11106273B2 (en) * 2015-10-30 2021-08-31 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays
US10595941B2 (en) 2015-10-30 2020-03-24 Orthosensor Inc. Spine measurement system and method therefor
US10776712B2 (en) 2015-12-02 2020-09-15 Preferred Networks, Inc. Generative machine learning systems for drug design
CN105511615B (zh) 2015-12-04 2019-03-05 深圳大学 基于emg的可穿戴式文本输入系统及方法
US20170188980A1 (en) 2016-01-06 2017-07-06 Empire Technology Development Llc Wearable sensor based body modeling
US11402402B2 (en) 2016-01-12 2022-08-02 Bigmotion Technologies Inc. Systems and methods for human body motion capture
KR102619981B1 (ko) * 2016-02-02 2024-01-02 삼성전자주식회사 근전도 신호를 이용한 동작 분류 방법 및 장치
EP3425481B1 (en) 2016-03-04 2020-11-11 Sony Interactive Entertainment Inc. Control device
US10449672B2 (en) * 2016-03-14 2019-10-22 California Institute Of Technology Wearable electromyography sensor array using conductive cloth electrodes for human-robot interactions
US20170259167A1 (en) 2016-03-14 2017-09-14 Nathan Sterling Cook Brainwave virtual reality apparatus and method
US10331221B2 (en) * 2016-03-29 2019-06-25 SessionCam Limited Methods for analysing user interactions with a user interface
US9864434B2 (en) 2016-03-30 2018-01-09 Huami Inc. Gesture control of interactive events using multiple wearable devices
US10503253B2 (en) 2016-03-31 2019-12-10 Intel Corporation Sensor signal processing to determine finger and/or hand position
CN109313492B (zh) 2016-03-31 2022-03-18 森赛尔股份有限公司 人机接口系统
US10852835B2 (en) 2016-04-15 2020-12-01 Board Of Regents, The University Of Texas System Systems, apparatuses and methods for controlling prosthetic devices by gestures and other modalities
CN109155303B (zh) 2016-04-19 2020-05-22 天工方案公司 射频模块的选择性屏蔽
US9864431B2 (en) 2016-05-11 2018-01-09 Microsoft Technology Licensing, Llc Changing an application state using neurological data
US10203751B2 (en) 2016-05-11 2019-02-12 Microsoft Technology Licensing, Llc Continuous motion controls operable using neurological data
EP3463550B1 (en) 2016-05-31 2024-03-27 Lab Schöpfergeist AG Nerve stimulation apparatus and method
US10426371B2 (en) 2016-06-07 2019-10-01 Smk Corporation Muscle condition measurement sheet
KR101790147B1 (ko) * 2016-06-22 2017-10-25 재단법인 실감교류인체감응솔루션연구단 가상 객체 조작 시스템 및 방법
US10154791B2 (en) 2016-07-01 2018-12-18 L.I.F.E. Corporation S.A. Biometric identification by garments having a plurality of sensors
US20190223748A1 (en) 2018-01-25 2019-07-25 Ctrl-Labs Corporation Methods and apparatus for mitigating neuromuscular signal artifacts
US20190121306A1 (en) 2017-10-19 2019-04-25 Ctrl-Labs Corporation Systems and methods for identifying biological structures associated with neuromuscular source signals
US10409371B2 (en) 2016-07-25 2019-09-10 Ctrl-Labs Corporation Methods and apparatus for inferring user intent based on neuromuscular signals
WO2018022657A1 (en) 2016-07-25 2018-02-01 Ctrl-Labs Corporation System and method for measuring the movements of articulated rigid bodies
CN110300542A (zh) 2016-07-25 2019-10-01 开创拉布斯公司 使用可穿戴的自动传感器预测肌肉骨骼位置信息的方法和装置
US11000211B2 (en) 2016-07-25 2021-05-11 Facebook Technologies, Llc Adaptive system for deriving control signals from measurements of neuromuscular activity
US10489986B2 (en) 2018-01-25 2019-11-26 Ctrl-Labs Corporation User-controlled tuning of handstate representation model parameters
US10765363B2 (en) 2016-09-30 2020-09-08 Cognionics, Inc. Headgear for dry electroencephalogram sensors
US10162422B2 (en) 2016-10-10 2018-12-25 Deere & Company Control of machines through detection of gestures by optical and muscle sensors
EP3324204B1 (en) * 2016-11-21 2020-12-23 HTC Corporation Body posture detection system, suit and method
CN109804331B (zh) 2016-12-02 2021-06-22 皮松科技股份有限公司 检测和使用身体组织电信号
US10646139B2 (en) 2016-12-05 2020-05-12 Intel Corporation Body movement tracking
US20190025919A1 (en) 2017-01-19 2019-01-24 Mindmaze Holding Sa System, method and apparatus for detecting facial expression in an augmented reality system
EP3609402A4 (en) 2017-04-14 2020-12-16 Rehabilitation Institute Of Chicago D/B/A Shirley PROSTHETIC VIRTUAL REALITY LEARNING INTERFACE AND RELATED PROCESSES
US10902743B2 (en) * 2017-04-14 2021-01-26 Arizona Board Of Regents On Behalf Of Arizona State University Gesture recognition and communication
EP3985488A1 (en) * 2017-05-25 2022-04-20 Samsung Electronics Co., Ltd. Method and wearable device for performing actions using body sensor array
US11259746B2 (en) 2017-07-10 2022-03-01 General Electric Company Method and system for neuromuscular transmission measurement
US10481699B2 (en) * 2017-07-27 2019-11-19 Facebook Technologies, Llc Armband for tracking hand motion using electrical impedance measurement
US20190076716A1 (en) * 2017-09-12 2019-03-14 Intel Corporation Activity training system
WO2019056008A1 (en) * 2017-09-18 2019-03-21 West Virginia University SYSTEMS AND METHODS FOR APPROXIMATION OF MUSCULOSKELETAL DYNAMICS
US9918504B1 (en) * 2017-11-02 2018-03-20 Lanny L. Johnson Sensitivity enhancement glove
US10606620B2 (en) 2017-11-16 2020-03-31 International Business Machines Corporation Notification interaction in a touchscreen user interface
US20190150777A1 (en) 2017-11-17 2019-05-23 Ctrl-Labs Corporation Dual-supply analog circuitry for sensing surface emg signals
EP3493217A1 (en) * 2017-12-01 2019-06-05 Tata Consultancy Services Limited Method and system for injury risk prediction and corrective action for high contact type activity
US10827942B2 (en) 2018-01-03 2020-11-10 Intel Corporation Detecting fatigue based on electroencephalogram (EEG) data
EP3743901A4 (en) 2018-01-25 2021-03-31 Facebook Technologies, Inc. REAL-TIME PROCESSING OF HAND REPRESENTATION MODEL ESTIMATES
EP3743892A4 (en) 2018-01-25 2021-03-24 Facebook Technologies, Inc. VISUALIZATION OF INFORMATION ON THE STATE OF A RECONSTRUCTED HAND
WO2019147996A1 (en) 2018-01-25 2019-08-01 Ctrl-Labs Corporation Calibration techniques for handstate representation modeling using neuromuscular signals
US10817795B2 (en) 2018-01-25 2020-10-27 Facebook Technologies, Llc Handstate reconstruction based on multiple inputs
WO2019148002A1 (en) 2018-01-25 2019-08-01 Ctrl-Labs Corporation Techniques for anonymizing neuromuscular signal data
US20190247650A1 (en) 2018-02-14 2019-08-15 Bao Tran Systems and methods for augmenting human muscle controls
US20190324549A1 (en) 2018-04-20 2019-10-24 Immersion Corporation Systems, devices, and methods for providing immersive reality interface modes
US10861242B2 (en) 2018-05-22 2020-12-08 Magic Leap, Inc. Transmodal input fusion for a wearable system
EP3801743A4 (en) 2018-05-25 2021-08-04 Facebook Technologies, LLC PROCESSES AND APPARATUS FOR OBTAINING A SUB-MUSCULAR COMMAND

Also Published As

Publication number Publication date
EP3743892A4 (en) 2021-03-24
US20190228591A1 (en) 2019-07-25
US11069148B2 (en) 2021-07-20
WO2019147956A1 (en) 2019-08-01
EP3743892A1 (en) 2020-12-02

Similar Documents

Publication Publication Date Title
US11069148B2 (en) Visualization of reconstructed handstate information
CN111902077B (zh) 利用神经肌肉信号进行手部状态表示建模的校准技术
US10489986B2 (en) User-controlled tuning of handstate representation model parameters
US11587242B1 (en) Real-time processing of handstate representation model estimates
US20210405750A1 (en) Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors
US10817795B2 (en) Handstate reconstruction based on multiple inputs
US10950047B2 (en) Techniques for anonymizing neuromuscular signal data
EP3843617B1 (en) Camera-guided interpretation of neuromuscular signals
CN112074225A (zh) 用于减轻神经肌肉信号伪像的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: California, USA

Applicant after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Applicant before: Facebook Technologies, LLC

CB02 Change of applicant information