CN110300542A - 使用可穿戴的自动传感器预测肌肉骨骼位置信息的方法和装置 - Google Patents
使用可穿戴的自动传感器预测肌肉骨骼位置信息的方法和装置 Download PDFInfo
- Publication number
- CN110300542A CN110300542A CN201780059093.7A CN201780059093A CN110300542A CN 110300542 A CN110300542 A CN 110300542A CN 201780059093 A CN201780059093 A CN 201780059093A CN 110300542 A CN110300542 A CN 110300542A
- Authority
- CN
- China
- Prior art keywords
- musculoskeletal
- sensor
- statistical model
- neuromuscular
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 210000003205 muscle Anatomy 0.000 title claims description 39
- 238000013179 statistical model Methods 0.000 claims abstract description 118
- 230000002232 neuromuscular Effects 0.000 claims abstract description 91
- 230000033001 locomotion Effects 0.000 claims description 147
- 238000012549 training Methods 0.000 claims description 52
- 238000013528 artificial neural network Methods 0.000 claims description 27
- 230000000306 recurrent effect Effects 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 230000004048 modification Effects 0.000 claims description 5
- 238000012986 modification Methods 0.000 claims description 5
- 210000005036 nerve Anatomy 0.000 claims description 5
- 238000012952 Resampling Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 4
- 230000003993 interaction Effects 0.000 claims description 3
- 210000004717 laryngeal muscle Anatomy 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims 1
- 230000008569 process Effects 0.000 description 38
- 230000000694 effects Effects 0.000 description 34
- 238000005259 measurement Methods 0.000 description 21
- 238000012545 processing Methods 0.000 description 15
- 210000000707 wrist Anatomy 0.000 description 13
- 230000000875 corresponding effect Effects 0.000 description 9
- 210000000988 bone and bone Anatomy 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 210000002414 leg Anatomy 0.000 description 7
- 241001269238 Data Species 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000001914 filtration Methods 0.000 description 6
- 210000000245 forearm Anatomy 0.000 description 6
- 230000004913 activation Effects 0.000 description 5
- 238000013500 data storage Methods 0.000 description 5
- 235000013601 eggs Nutrition 0.000 description 5
- 239000000700 radioactive tracer Substances 0.000 description 5
- 230000003321 amplification Effects 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 210000002683 foot Anatomy 0.000 description 3
- 230000003387 muscular Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 210000002310 elbow joint Anatomy 0.000 description 2
- 235000013372 meat Nutrition 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 230000004118 muscle contraction Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000009017 pursuit movement Effects 0.000 description 2
- 210000000323 shoulder joint Anatomy 0.000 description 2
- 210000002027 skeletal muscle Anatomy 0.000 description 2
- 230000018199 S phase Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 230000037147 athletic performance Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 210000004394 hip joint Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000030214 innervation Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 210000000629 knee joint Anatomy 0.000 description 1
- 210000003041 ligament Anatomy 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 230000024159 perception of rate of movement Effects 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000007115 recruitment Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 210000002435 tendon Anatomy 0.000 description 1
- 210000000623 ulna Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Dermatology (AREA)
- Neurosurgery (AREA)
- Neurology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
提供动态更新的包括通过关节连接的多个刚体区段的计算机化肌肉‑骨骼表示的方法和装置。该方法包括使用布置在一个或多个可穿戴装置上的多个自动传感器记录来自用户的多个自动信号，其中，多个自动传感器包括被配置为记录多个神经肌肉信号的多个神经肌肉传感器。该方法还包括向训练的统计模型提供多个神经肌肉信号和/或基于多个神经肌肉信号的信息作为输入。该方法还包括：基于训练的统计模型的输出确定描述计算机化肌肉‑骨骼表示的多个刚体区段的两个或更多个连接区段之间的空间关系的肌肉‑骨骼位置信息；以及至少部分地基于肌肉‑骨骼位置信息更新计算机化肌肉‑骨骼表示。
Description
相关申请的交叉引用
本申请基于35U.S.C.§119(e)要求2016年7月25日提交的名称为“使用可穿戴传感器的虚拟肌肉-骨骼表示(Virtual Musculo-Skeletal Representation Using WearableSensors)”的第62/366,421号美国临时专利申请的权益，其全部内容通过引用的方式并入本文。
背景技术
在生成人体的肌肉-骨骼表示的一些计算机应用中，期望应用知道用户身体的空间定位、方向和运动以提供身体运动的真实表示。例如，在虚拟现实(VR)环境中，跟踪用户手的空间位置使得应用能够表示VR环境中的手部运动，这允许用户在VR环境中与虚拟物体交互(例如，通过抓握或操纵)。使用可穿戴传感器跟踪运动的一些现有技术包括使用从固定到用户身体的不同部位的多个惯性测量单元(IMU)获得的信息，并使用外部成像装置(例如，固定位置的相机)来重建用户身体部位的位置和方向。
发明内容
一些实施例涉及以自动的方式，即，不需要诸如照相机、激光器或全球定位系统(GPS)等外部传感器，预测关于用户身体的部分的定位和运动的信息，用户身体的部分表示为多区段铰接刚体系统(例如，用户的手臂、手、腿等)。由放置在用户身体上的位置处的可穿戴自动传感器记录的信号作为输入提供给训练的统计模型，以预测肌肉-骨骼位置信息，例如人体的铰接多区段刚体模型的刚体区段之间的关节角度。作为训练的结果，统计模型隐含地表示在限定的运动约束下的铰接刚体的运动的统计。训练的统计模型的输出可用于生成用户身体的至少一部分的基于计算机的肌肉-骨骼表示，其进而可用于诸如在虚拟环境中呈现用户身体的表示、与物理或虚拟物体交互以及在用户执行身体活动以评估例如用户是否以期望的方式提供物理活动时监测用户的运动等应用程序。
一些实施例涉及一种系统，该系统被配置为聚合来自放置在用户身体上的位置处的多个自动传感器的测量。通过将测量叠加到动态构造的骨骼上，聚合测量可以用于创建肌肉聚集(muscle recruitment)的统一表示。在一些实施例中，由神经肌肉传感器感测的肌肉活动和/或从肌肉活动导出的信息(例如，力信息)可以与计算机生成的肌肉-骨骼表示实时组合。
一些实施例涉及一种提供动态更新的包括通过关节连接的多个刚体区段的计算机化肌肉-骨骼表示的计算机化系统。该系统包括多个自动传感器和至少一个计算机处理器，多个自动传感器包括多个神经肌肉传感器，其中，多个自动传感器被布置在一个或多个可穿戴装置上，其中，多个神经肌肉传感器被配置为连续地记录来自用户的多个神经肌肉信号。至少一个计算机处理器被编程为向训练的统计模型提供多个神经肌肉信号和/或基于多个神经肌肉信号的信息作为输入、基于训练的统计模型的输出确定描述计算机化肌肉-骨骼表示的多个刚体区段的两个或更多个连接区段之间的空间关系的肌肉-骨骼位置信息、以及至少部分地基于肌肉-骨骼位置信息更新计算机化肌肉-骨骼表示。
其他实施例涉及一种提供动态更新的计算机化肌肉-骨骼表示的方法，该计算机化肌肉-骨骼表示包括通过关节连接的多个刚体区段。该方法包括：使用布置在一个或多个可穿戴装置上的多个自动传感器记录来自用户的多个自动信号，其中，多个自动传感器包括多个神经肌肉传感器，其被配置为记录多个神经肌肉信号；向训练的统计模型提供多个神经肌肉信号和/或基于多个神经肌肉信号的信息作为输入；基于训练的统计模型的输出确定描述计算机化肌肉-骨骼表示的多个刚体区段的两个或更多个连接区段之间的空间关系的肌肉-骨骼位置信息；以及至少部分地基于肌-骨骼位置信息更新计算机化的肌肉-骨骼表示。
其他实施例涉及编码有多个指令的计算机可读存储介质，当多个指令由至少一个计算机处理器执行时执行一方法。该方法包括：使用布置在一个或多个可穿戴装置上的多个自动传感器记录来自用户的多个自动信号，其中，多个自动传感器包括多个神经肌肉传感器，其被配置为记录多个神经肌肉信号；向训练的统计模型提供多个神经肌肉信号和/或基于多个神经肌肉信号的信息作为输入；基于训练的统计模型的输出确定描述计算机化肌肉-骨骼表示的多个刚体区段的两个或更多个连接区段之间的空间关系的肌肉-骨骼位置信息；以及至少部分地基于肌-骨骼位置信息更新计算机化的肌肉-骨骼表示。
其他实施例涉及一种用于训练统计模型以至少部分地基于由多个自动传感器记录的自动信号来预测肌肉-骨骼位置信息的计算机系统，其中，多个自动传感器包括被配置为记录多个神经肌肉信号的多个神经肌肉传感器。该计算机系统包括：输入接口，被配置为接收在执行由一个或多个用户执行的任务期间记录的神经肌肉信号、接收位置信息，该位置信息指示在执行由一个或多个用户执行的任务期间计算机化肌肉-骨骼表示的多个刚体区段的位置；以及至少一个存储装置，被配置为存储多个指令，当多个指令被至少一个计算机处理器执行时执行一方法。该方法包括：至少部分地基于接收的神经肌肉信号和接收的位置信息生成训练数据；使用生成的训练数据中的至少一些来训练统计模型以输出训练的统计模型；并且通过至少一个存储装置存储训练的统计模型，其中，训练的统计模型被配置为至少部分地基于连续记录的来自神经肌肉传感器的信号来预测肌肉-骨骼位置信息。
应当理解，以下更详细讨论的前述构思和附加构思的所有组合(假设这些构思不相互矛盾)被认为是本文公开的发明主题的一部分。特别地，出现在本公开结尾的所要求保护的主题的所有组合都被认为是本文公开的发明主题的一部分。
附图说明
将参考以下附图描述本技术的各种非限制性实施例。应该理解的是，附图不一定按比例绘制。
图1是根据本文描述的技术的一些实施例的预测肌肉-骨骼位置信息的基于计算机的系统的示意图；
图2示出了根据本文描述的技术的一些实施例的具有沿其周向布置的EMG传感器的腕带；以及
图3示出了根据本文描述的技术的一些实施例的穿戴图2的腕带同时在键盘上键入的用户；
图4是根据本文描述的技术的一些实施例的使用从自动传感器记录的信号生成用于预测肌肉-骨骼位置信息的统计模型的说明性过程的流程图；
图5是根据本文描述的技术的一些实施例的使用训练的统计模型来预测肌肉-骨骼位置信息的说明性过程的流程图；以及
图6是根据本文描述的技术的一些实施例的将神经肌肉信号与预测的肌肉-骨骼位置信息组合的说明性过程的流程图。
具体实施方式
人类肌肉-骨骼系统可以被建模为多区段铰接刚体系统(multiple segmentarticulated rigid body system)，其中，关节形成不同区段之间的界面，以及关节角度限定模型中连接区段之间的空间关系。关节处的运动约束由连接各区段的关节的类型和限制关节处运动范围的生物结构(例如，肌肉、肌腱、韧带)决定。例如，将上臂连接到躯干的肩关节和将上腿连接到躯干的髋关节是球窝关节，其允许伸展和弯曲运动以及旋转运动。相比之下，连接上臂和前臂的肘关节以及连接上腿和下腿的膝关节允许的运动范围更受限。如本文所述，多区段铰接刚体系统用于模拟人类肌肉-骨骼系统。然而，应当理解，人体肌肉-骨骼系统的一些区段(例如，前臂)虽然近似为铰接刚体系统中的刚体，但可以包括多个刚性结构(例如，前臂的尺骨和桡骨)，该多个刚性结构提供了区段内的更复杂的运动，这明显没有被刚体模型考虑。因此，与本文描述的技术的一些实施例一起使用的铰接刚体系统的模型可以包括表示不是严格刚体的身体部位的组合的区段。
在运动学中，刚体是表现出各种运动属性(例如，位置、方向、角速度、加速度)的物体。已知刚体的一区段的运动属性能够基于区段如何连接的约束来确定刚体的其他区段的运动属性。例如，手臂可以被建模为两区段铰接刚体，其上部对应于在肩关节处连接到身体的躯干的上臂并且下部对应于前臂，其中，两区段在肘关节处连接。作为另一个例子，手可以被建模为多区段铰接体，其中，手腕中的关节和每个手指形成模型中多个区段之间的界面。在一些实施例中，刚体模型中区段的运动可以被模拟为铰接刚体系统，其中，使用训练的统计模型预测模型中一区段相对于其他段的方向和位置信息，如下面更详细地描述的。
图1示出了根据一些实施例的系统100。该系统包括多个自动传感器110，被配置为记录由人体部分的运动产生的信号。如本文所使用的，术语“自动传感器”指的是被配置为测量身体区段的运动而不需要使用外部传感器(其示例包括但不限于相机或全球定位系统)的传感器。自动传感器110可以包括一个或多个惯性测量单元(IMU)，其使用例如加速计和陀螺仪测量运动的物理方面的组合。在一些实施例中，IMU可以用于感测关于IMU所附着的身体的部分的运动的信息，并且当用户随时间运动时，可以跟踪从感测的数据(例如，位置和/或方向信息)导出的信息。例如，当用户随时间运动时，一个或多个IMU可用于跟踪靠近用户躯干的用户身体的部分(例如，手臂、腿)的运动。
自动传感器110还可以包括多个神经肌肉传感器，其被配置为记录由人体骨骼肌中的神经肌肉活动产生的信号。如本文所用的术语“神经肌肉活动”是指支配肌肉、肌肉激活、肌肉收缩或神经激活、肌肉激活和肌肉收缩的任何组合的脊髓运动神经元的神经激活。神经肌肉传感器可包括一个或多个肌电图(EMG)传感器、一个或多个肌动图(MMG，mechanomyography)传感器、一个或多个声肌图(SMG，sonomyography)传感器和/或被配置为检测神经肌肉信号的任何合适类型的一个或多个传感器。在一些实施例中，多个神经肌肉传感器可以用于感测与由肌肉控制的身体的部分的运动相关的肌肉活动，神经肌肉传感器被布置为从该肌肉感测肌肉活动。描述运动(例如，对于远离用户躯干的诸如手和脚等用户身体部分)的空间信息(例如，位置和/或方向信息)可以在用户随时间运动时基于感测的神经肌肉信号来预测。
在包括至少一个IMU和多个神经肌肉传感器的实施例中，IMU和神经肌肉传感器可以被布置为检测人体的不同部分的运动。例如，IMU可以被布置为检测靠近躯干的一个或多个身体区段的运动，而神经肌肉传感器可以被布置为检测远离躯干的一个或多个身体区段的运动。然而，应当理解，自动传感器110可以以任何合适的方式布置，并且本文描述的技术的实施例不限于基于特定的传感器布置。例如，在一些实施例中，至少一个IMU和多个神经肌肉传感器可以共同位于身体区段上，以使用不同类型的测量来跟踪身体区段的运动。在下面更详细描述的一个实施方式中，IMU传感器和多个EMG传感器被布置在可穿戴装置上，该可穿戴装置被配置为围绕用户的下臂或手腕穿戴。在这样的布置中，IMU传感器可以被配置为跟踪与一个或多个臂段相关联的运动信息(例如，随时间的定位和/或方向)，以确定例如用户是否已经升高或降低他们的手臂，而EMG传感器可以被配置为确定与手腕或手部区段相关联的运动信息，以确定例如用户是否具有打开或关闭的手部配置。
每个自动传感器110包括被配置为感测运动信息的一个或多个运动感测组件。在IMU的情况下，运动感测组件可包括一个或多个加速度计、陀螺仪、磁力计或其任何组合以测量身体运动的特征，其示例包括但不限于加速度、角速度和感测到的身体周围的磁场。在神经肌肉传感器的情况下，运动感测组件可以包括但不限于被配置为检测身体表面上的电势的电极(例如，用于EMG传感器)、被配置为测量皮肤表面振动的振动传感器(例如，用于MMG传感器)和被配置为测量肌肉活动引起的超声信号的声学传感组件(例如，用于SMG传感器)。
在一些实施例中，可以使用硬件信号处理电路(例如，以执行放大、滤波和/或校正)来处理一个或多个运动感测组件的输出。在其他实施例中，运动感测组件的输出的至少一些信号处理可以在软件中执行。因此，自动传感器110记录的自动信号的信号处理可以在硬件、软件或通过硬件和软件的任何合适组合中来执行，因为本文描述的技术的各方面在这方面不受限制。
在一些实施例中，可以处理记录的传感器数据以计算附加的导出的测量，然后将其作为输入提供给统计模型，如下面更详细描述的。例如，可以处理来自IMU传感器的记录的信号以导出指定刚体区段随时间的方向的方向信号。自动传感器110可以使用与运动感测组件集成的组件来实现信号处理，或者信号处理的至少一部分可以由与自动传感器的运动感测组件通信但不直接集成的一个或多个组件来执行。
在一些实施例中，多个自动传感器110中的至少一些被布置为可穿戴装置的一部分，该可穿戴装置被配置为穿戴在用户身体的一部分上或周围。例如，在一个非限制性示例中，IMU传感器和多个神经肌肉传感器围绕可调节和/或弹性带周向布置，可调节和/或弹性带是例如被配置为穿戴在用户的手腕或手臂周围的腕带或臂带。或者，至少一些自动传感器可以被布置在被配置成固定到用户身体的一部分上的可穿戴贴片上。
在一个实施方式中，16个EMG传感器围绕被配置为围绕使用者的下臂穿戴的弹性带周向布置。例如，图2示出了围绕弹性带502周向布置的EMG传感器504。应当理解，可以使用任何合适数量的EMG传感器，并且所使用的EMG传感器的特定数量和布置可以取决于使用可穿戴装置的特定应用。例如，可穿戴的臂带或腕带可以用于预测基于手的诸如操纵虚拟或物理物体等运动任务的肌肉-骨骼位置信息，而可穿戴的腿或脚踝带可以用于预测基于脚的诸如踢虚拟或物理球等运动任务的肌肉-骨骼位置信息。例如，如图3所示，用户506可以在手508上穿戴弹性带502。以这种方式，EMG传感器504可以被配置为在用户使用手指540控制键盘530时记录EMG信号。在一些实施例中，弹性带502还可以包括被配置为记录运动信息的一个或者更多IMU(未示出)，如上所述。
在一些实施例中，每个都包括有一个或多个IMU和/或神经肌肉传感器的多个可穿戴装置可用于预测涉及身体的多个部分的运动的肌肉-骨骼位置信息。
系统100还包括被编程为与自动传感器110通信的一个或多个计算机处理器112。例如，一个或多个自动传感器110记录的信号可以被提供给被编程为执行信号处理的处理器112，其非限制性示例如上所述。处理器112可以用硬件、固件、软件或其任何组合来实现。另外，处理器112可以与一个或多个自动传感器共同位于相同的可穿戴装置上，或者可以至少部分地远程定位(例如，处理可以在一个或多个网络连接的处理器上发生)。
系统100还包括与处理器112通信的数据存储114。根据一些实施例，数据存储114可以包括一个或多个存储装置，其被配置为存储描述基于自动传感器110记录的信号预测肌肉-骨骼位置信息的统计模型的信息。处理器112可以被配置为执行一个或多个机器学习算法，其处理由自动传感器110输出的信号以训练存储在数据存储114中的统计模型，并且训练的(或重新训练的)统计模型可以存储在数据存储114中以稍后用于生成肌肉-骨骼表示。根据一些实施例可以使用以基于来自自动传感器的记录的信号来预测肌肉-骨骼位置信息的统计模型的非限制性示例在下面更详细地讨论。
在一些实施例中，处理器112可以被配置为与一个或多个自动传感器110通信，例如，以在测量运动信息之前校准传感器。例如，可穿戴装置可以在用户身体的一部分上或周围的不同方向上定位，并且可以执行校准以确定可穿戴装置的方向和/或执行任何其他合适的校准任务。自动传感器110的校准可以以任何合适的方式执行，并且实施例在此方面不受限制。例如，在一些实施例中，可以指示用户执行特定系列的运动，并且通过虚拟地旋转和/或缩放传感器检测的信号(例如，通过EMG传感器上的电极)可以将记录的运动信息与模板匹配。在一些实施例中，校准可以涉及改变一个或多个模数转换器(ADC)的增益，例如，在传感器检测到的信号导致ADC饱和的情况下。
系统100还包括一个或多个控制器116，其被配置为至少部分地基于处理器112的处理来接收控制信号。如下面更详细地讨论的，处理器112可以实现一个或多个训练的统计模型114，其被配置为至少部分地基于用户穿戴的自动传感器110记录的信号来预测肌肉-骨骼位置信息。基于训练的统计模型的输出而确定的一个或多个控制信号可以被发送到控制器116以控制与控制器相关联的装置的一个或多个操作。在一些实施例中，控制器116包括显示控制器，其被配置为指示视觉显示器基于预测的肌肉-骨骼信息来显示基于计算机的肌肉-骨骼表示的图形表示(例如，用户身体的图形表示或角色(例如，虚拟现实环境中的化身)的图形表示)。例如，可以指示被配置为模拟虚拟现实环境的计算机应用程序基于训练的统计模型的输出来显示虚拟现实环境内的用户身体方向、定位和/或运动的图形表示。当使用训练的统计模型114由自动传感器110记录信号并由处理器112处理信号时可以连续更新显示的图形表示的不同部分的定位和方向，以提供实时动态更新的用户的运动的计算机生成的表示。在其他实施例中，控制器116包括诸如机器人等物理装置的控制器。发送到控制器的控制信号可以由控制器解释，以操作机器人的一个或多个部件来以对应于使用自动传感器110感测的用户的运动的方式进行运动。
控制器116可以被配置为控制一个或多个物理或虚拟装置，并且本文描述的技术的实施例在该方面不受限制。可以通过控制器116控制的物理装置的非限制性示例包括消费者电子装置(例如，电视、智能电话、计算机、笔记本电脑、电话、摄像机、照相机、视频游戏系统、器械等)、运载工具(例如，汽车、船舶、有人驾驶飞机、无人驾驶飞机、农用机械等)、机器人、武器或可以通过控制器116接收控制信号的任何其他装置。
在更进一步的实施例中，系统100可以不包括被配置为控制装置的一个或多个控制器。在这样的实施例中，可以存储作为处理器112的处理结果的数据输出(例如，使用训练的统计模型114)以供将来使用(例如，用于分析用户的健康状况或用户正在执行的活动的性能分析)。
在一些实施例中，在运动实时跟踪期间，从包括至少一个IMU和多个神经肌肉传感器的单个臂带/腕带可穿戴装置感测的信息用于重建身体运动，例如使用单个臂/腕戴装置重建前臂、上臂、手腕和手相对于躯干参考系的位置和方向，而不使用外部装置或位置确定系统。为简洁起见，确定位置和方向这两者在本文中通常也称为确定运动。
如上所述，一些实施例涉及使用统计模型来基于从可穿戴自动传感器记录的信号来预测肌肉-骨骼信息。统计模型可用于预测肌肉-骨骼位置信息，而不必将传感器放置在刚体的每区段上，该刚体将在计算机生成的用户身体的肌肉-骨骼表示中表示。如上面简要讨论的，多区段铰接刚体模型中的区段之间的关节类型约束刚体的运动。另外，当执行可以在个体用户行为的统计模式中捕获的任务时，不同的个体倾向于以特有的方式运动。根据一些实施例，可以将对人体运动的这些约束中的至少一些明确地包含在用于预测的统计模型中。附加地或替代地，统计模型可以基于记录的传感器数据通过训练来学习约束。在统计模型的构造中施加的约束是由解剖学和用户身体的物理学设定的那些约束，而从统计模式得到的约束是由测量传感器测量的一个或多个用户的人类行为设定的约束。如下面更详细描述的，约束可以包括由模型中的信息(例如，节点之间的连接权重)表示的统计模型本身的一部分。
在一些实施例中，可以训练系统100以在用户运动时预测肌肉-骨骼信息。在一些实施例中，可以通过来自自动传感器110(例如，IMU传感器、EMG传感器)的记录信号和当用户执行一个或多个运动时由一个或多个用户穿戴的位置传感器记录的位置信息来训练系统100。当在训练期间执行一个或多个运动时下面更详细描述的位置传感器可以测量用户身体上的多个空间位置中的每一个的位置，以确定身体区段的实际位置。在这样的训练之后，系统100可以被配置为基于特定用户的自动传感器信号来预测肌肉-骨骼位置信息(例如，成组的关节角度)，其能够生成肌肉-骨骼表示而无需使用位置传感器。
在一些实施例中，在系统100被训练以基于特定用户的自动传感器信号预测肌肉-骨骼位置信息之后，用户可以利用系统100来执行虚拟或物理动作而不使用位置传感器。例如，当训练系统100以高精度(例如，至少阈值精度)预测肌肉-骨骼位置信息时，预测本身可用于确定用于生成用户身体的肌肉-骨骼表示的肌肉-骨骼位置信息。
如上所述，一些实施例涉及使用统计模型来预测肌肉-骨骼位置信息以能够生成基于计算机的肌肉-骨骼表示。统计模型可用于基于当用户执行一个或多个运动时检测到的IMU信号、神经肌肉信号(例如，EMG、MMG和SMG信号)或者IMU信号和神经肌肉信号的组合来预测肌肉-骨骼位置信息。
图4描述了使用从一个或多个用户穿戴的自动传感器记录的信号来生成(本文有时称为“训练”)统计模型的过程400。过程400可以由任何合适的计算装置执行，因为这里描述的技术的各方面在这方面不受限制。例如，过程400可以由参考图1描述的处理器112执行。作为另一示例，可以使用一个或多个服务器(例如，包括作为云计算环境的一部分的服务器)来执行过程400的一个或多个动作。例如，可以使用云计算环境来执行与训练统计模型(例如，神经网络)有关的动作410的至少一部分。
过程400开始于动作402，其中，获得一个或多个用户执行一个或多个运动(例如，在键盘上打字)的多个传感器信号。在一些实施例中，作为过程400的一部分，可以记录多个传感器信号。在其他实施例中，可以在执行过程400之前记录多个传感器信号，并且在动作402处访问(而不是记录)多个传感器信号。
在一些实施例中，多个传感器信号可包括针对单个用户执行单个运动或多个运动而记录的传感器信号。可以指示用户执行特定任务(例如，打开门)的一系列运动，并且当用户执行他/她被指示执行的任务时，可以记录与用户的运动相对应的传感器信号。传感器信号可以由位于任何合适位置的任何合适数量的自动传感器记录，以检测与所执行任务相关的用户运动。例如，在指示用户用他/她的右手的手指执行任务之后，可以通过围绕用户的右下臂周向(或以其他方式)布置的多个神经肌肉传感器来记录传感器信号，以检测引起右手的运动的右下臂中的肌肉活动，并且一个或多个IMU传感器被布置为预测用户手臂相对于用户躯干的关节角度。作为另一示例，在指示用户用他/她的腿执行任务(例如，踢物体)之后，可以通过围绕用户的腿周向(或以其他方式)布置的多个神经肌肉传感器记录传感器信号以检测引起脚的运动的腿部中的肌肉活动，并且一个或多个IMU传感器被布置为预测用户的腿相对于用户的躯干的关节角度。
在一些实施例中，在动作402中获得的传感器信号对应于来自一种类型的自动传感器(例如，一个或多个IMU传感器或一个或多个神经肌肉传感器)的信号，并且可以基于使用特定类型的自动传感器记录的传感器信号训练统计模型，产生特定传感器类型的训练的统计模型。例如，获得的传感器信号可以包括围绕用户的下臂或手腕布置的多个EMG传感器信号，并且可以训练统计模型以预测在例如诸如门把手等物体的抓取和扭转等任务执行期间的手腕和/或手的运动的肌肉-骨骼位置信息。
在基于多种类型的传感器(例如，IMU传感器、EMG传感器、MMG传感器、SMG传感器)提供预测的实施例中，可以针对每种类型的传感器训练单独的统计模型并且可以组合特定传感器类型模型的输出以生成用户身体的肌肉-骨骼表示。在其他实施例中，可以将在动作402中从两个或更多个不同类型的传感器获得的传感器信号提供给基于从不同类型的传感器记录的信号训练的单个统计模型。在一个说明性实施方式中，IMU传感器和多个EMG传感器被布置在可穿戴装置上，该可穿戴装置被配置为穿戴在用户的前臂周围，并且IMU和EMG传感器记录的信号被共同作为输入提供给统计模型，如下面更详细讨论的。
在一些实施例中，当用户执行一个或多个运动时，在多个时间点记录在动作402中获得的传感器信号。因此，每个传感器的记录信号可以包括在多个时间点中的每一个获得的数据。假设n个自动传感器被布置为在执行任务期间同时测量用户的运动信息，记录的用户的传感器信号可以包括在执行运动期间的时间点t1、t2、...、tK处的K个n维矢量的{xk|1≤k≤K}的时间序列。
在一些实施例中，可以指示用户多次执行任务，并且可以针对用户的多次重复任务中的每一次来记录传感器信号和位置信息。在一些实施例中，多个传感器信号可以包括针对多个用户记录的信号，多个用户中的每一个执行相同的任务一次或多次。可以指示多个用户中的每一个执行任务，并且当用户执行(一次或重复地)他/她被指示执行的任务时可以记录与该用户的运动相对应的传感器信号和位置信息。当通过多个用户收集传感器信号并将其组合以生成统计模型时，假设不同的用户使用类似的肌肉-骨骼位置来执行相同的运动。从重复执行相同任务的单个用户和/或从执行相同任务一次或多次的多个用户收集传感器信号和位置信息有助于收集足够的训练数据以生成可以准确预测与任务的执行相关联的肌肉-骨骼位置信息的统计模型。
在一些实施例中，可以基于与来自多个用户的记录的信号相对应的训练数据来生成独立于用户的统计模型，并且当用户使用该系统时，基于记录的传感器数据来训练统计模型，以使统计模型学习用户相关特征以优化针对特定用户的系统预测能力。
在一些实施例中，多个传感器信号可以包括针对用户(或多个用户中的每一个)执行多个任务中的每一个一次或多次记而录的信号。例如，可以指示用户执行多个任务(例如，抓取物体、推动物体以及拉开门)中的每一个，并且当用户执行他/她被指示执行的多个任务中的每一个时，可以记录与用户的运动相对应的信号。收集这样的数据可以有助于开发用于预测与用户可能采取的多个不同动作相关联的肌肉-骨骼位置信息的统计模型。例如，包含多个动作的肌肉-骨骼位置信息的训练数据可以促进生成统计模型，用于预测用户可能正在执行的多个可能运动中的哪一个。
如上所述，可以通过在一个或多个用户中的每一个执行一个或多个任务中的每一个一次或多次时记录传感器信号来获得在动作402处获得的传感器数据。当用户执行任务时，可以在动作404中获得描述在执行任务期间不同身体区段的空间位置的位置信息。在一些实施例中，使用在任务执行期间跟踪身体上不同点的位置的一个或多个外部装置或系统获得位置信息。例如，可以使用运动捕捉系统、激光扫描仪、测量互磁感应的装置、或者被配置为捕捉位置信息的一些其他系统。作为一个非限制性示例，多个位置传感器可以放置在右手的手指段上，并且运动捕捉系统可以用于在用户执行诸如抓取物体等任务时确定每个位置传感器的空间位置。在动作402处获得的传感器数据可以与在动作404中记录获得的位置信息同时被记录。在该示例中，获得当执行抓取动作时指示每个手指段的位置随着时间的位置信息。
接下来，过程400进行到动作406，其中，可选地处理在动作402中获得的自动传感器信号和/或在动作404中获得的位置信息。例如，可以使用放大、滤波、整流或其他类型的信号处理来处理自动传感器信号或位置信息信号。
接下来，过程400进行到动作408，其中，基于位置信息(如在动作404中收集的或在动作406中处理的)确定肌肉-骨骼位置特征。在一些实施例中，不是使用对应于位置传感器的记录空间(例如，x、y、z)坐标作为训练数据来训练统计模型，而是基于记录的位置确定成组的导出的肌肉-骨骼位置特征值，并且导出的值用作训练统计模型的训练数据。例如，使用关于铰接刚体模型中的连接的刚体区段对之间的约束的信息，位置信息可以用于确定在执行任务期间的多个时间点中的每个时间点处限定每对连接的刚体区段之间的角度的关节角度。因此，在动作404中获得的位置信息可以由在多个时间点中的每个时间点处的n个关节角度的矢量表示，其中，n是铰接刚体模型中的区段之间的关节或连接的数量。
接下来，过程400进行到动作410，其中，将在动作402和408处获得的时间序列信息组合以创建在动作410处的用于训练统计模型的训练数据。可以以任何合适的方式组合获得的数据。在一些实施例中，在动作402处获得的每个自动传感器信号可以与任务或任务内的运动相关联，该任务或任务内的运动对应于基于在用户执行任务或运动时在动作404中记录的位置信息确定的肌肉-骨骼位置特征(例如，关节角度)。以这种方式，传感器信号可以与肌肉-骨骼位置特征(例如，关节角度)相关联，并且可以训练统计模型以预测当在执行特定任务期间记录特定传感器信号时，由不同身体区段之间的特定肌肉-骨骼位置特征来表征肌肉-骨骼表示。
在包括被配置为在执行任务期间同时记录不同类型的运动信息的不同类型的自动传感器(例如，IMU传感器和神经肌肉传感器)的实施例中，可以使用相同或不同的采样率记录不同类型的传感器的传感器数据。当以不同的采样率记录传感器数据时，可以对至少一些传感器数据进行重采样(例如，上采样或下采样)，使得作为统计模型的输入提供的所有传感器数据对应于相同的时间分辨率的时间序列数据。可以以任何合适的方式执行对至少一些传感器数据的重采样，包括但不限于使用插值进行上采样并使用抽取进行下采样。
除了或作为替代在以不同采样率记录时重新采样至少一些传感器数据之外，一些实施例采用被配置为异步接受多个输入的统计模型。例如，统计模型可以被配置为对具有较低采样率的输入数据中的“丢失”值的分布进行建模。或者，当来自多个传感器数据测量的输入变为可用作训练数据时，统计模型的训练定时异步发生。
接下来，过程400进行到动作412，其中，使用在动作410处生成的训练数据来训练预测肌肉-骨骼位置信息的统计模型。正被训练的统计模型可以将数据集序列作为输入，该序列中的每个数据集包括自动传感器数据的n维矢量。统计模型可以提供输出，该输出针对用户可能执行的一个或多个任务或运动中的每一个，指示用户身体的肌肉-骨骼表示将由成组的肌肉-骨骼位置特征(例如，铰接多区段身体模型中区段之间的成组的关节角度)来表征的可能性。例如，统计模型可以将使用在时间点t1、t2、...、tK处获得的测量生成的矢量序列{xk|1≤k≤K}作为输入，其中，矢量xj的第i分量是由第i个自动传感器在时间tj测量的值和/或从由第i个自动传感器在时间tj测量的值导出的值。基于这样的输入，统计模型可以提供输出，该输出指示用户身体的肌肉-骨骼表示将由成组的肌肉-骨骼位置特征来表征的概率。作为一个非限制性示例，可以训练统计模型以当用户抓握物体时来预测手中的手指中区段的成组的关节角度。在该示例中，训练的统计模型可以输出对应于传感器输入的手中的关节的成组的预测的关节角度。
在一些实施例中，统计模型可以是神经网络，并且例如可以是递归神经网络。在一些实施例中，递归神经网络可以是长短期记忆(LSTM)神经网络。然而，应当理解，递归神经网络不限于是LSTM神经网络，并且可以具有任何其他合适的架构。例如，在一些实施例中，递归神经网络可以是完全递归神经网络、结构递归神经网络、变分自编码器、Hopfield神经网络、关联记忆神经网络、Elman神经网络、Jordan神经网络、回声状态神经网络、二阶递归神经网络和/或任何其他合适类型的递归神经网络。在其他实施例中，可以使用不是递归神经网络的神经网络。例如，可以使用深度神经网络、卷积神经网络和/或前馈神经网络。
在统计模型是神经网络的一些实施例中，神经网络的输出层可以提供对应于各个成组的可能的肌肉-骨骼位置特征(例如，关节角度)的成组的输出值。以这种方式，神经网络可以作为被配置为从原始或预处理的传感器测量来预测肌肉-骨骼位置特征的非线性回归模型运行。应当理解，在一些实施例中，可以使用任何其他合适的非线性回归模型来代替神经网络，本文描述的技术的方面在这方面不受限制。
应当理解，本文描述的技术的方面不限于使用神经网络，在一些实施例中可以采用其他类型的统计模型。例如，在一些实施例中，统计模型可以包括隐马尔可夫模型(HMM)、具有允许在不同动态系统之间切换的马尔可夫切换模型、动态贝叶斯网络和/或具有时间分量的任何其他合适的图形模型。可以使用在动作402处获得的传感器数据在动作412处训练任何这样的统计模型。
作为另一示例，在一些实施例中，统计模型可以将从在动作402处获得的传感器数据导出的特征作为输入。在这样的实施例中，可以使用从在动作402处获得的传感器数据提取的特征在动作412处训练统计模型。统计模型可以是支持矢量机、高斯混合模型、基于回归的分类器、决策树分类器、贝叶斯分类器和/或任何其他合适的分类器，本文描述的技术的方面在这方面不受限制。作为训练数据要向统计模型提供的输入特征可以以任何合适的方式从在动作402处获得的传感器数据导出。例如，可以使用小波分析技术(例如，连续小波变换、离散时间小波变换等)、傅立叶分析技术(例如，短时傅里叶变换、傅立叶变换等)和/或任何其他合适类型的时频分析技术将传感器数据分析为时间序列数据。作为一个非限制性示例，可以使用小波变换来变换传感器数据，并且可以将得到的小波系数作为输入提供给统计模型。
在一些实施例中，在动作412处，可以从在动作410处生成的训练数据来估计统计模型的参数的值。例如，当统计模型是神经网络时，可以从训练数据估计神经网络的参数(例如，权重)。在一些实施例中，可以使用梯度下降、随机梯度下降和/或任何其他合适的迭代优化技术来估计统计模型的参数。在统计模型是递归神经网络(例如，LSTM)的实施例中，可以使用随机梯度下降和定时后向传播(backpropagation through time)来训练统计模型。训练可以采用交叉熵损失函数和/或任何其他合适的损失函数，本文描述的技术的各方面在这方面不受限制。
接下来，过程400进行到动作414，其中，存储(例如，在数据存储114中)训练的统计模型。可以使用任何合适的格式来存储经训练的统计模型，本文描述的技术的方面在这方面不受限制。以这种方式，例如，根据参考图5描述的过程，在过程400的执行期间生成的统计模型可以在稍后的时间使用。
图5示出了根据一些实施例的基于来自多个自动传感器的记录信号和训练的统计模型来预测肌肉-骨骼位置信息的过程500。尽管本文关于IMU和EMG信号描述了过程500，但是应当理解，过程500可以用于基于任何记录的自动信号(包括但不限于IMU信号、EMG信号、MMG信号、SMG信号或其任何合适的组合)和有关这种自动信号训练的训练统计模型来预测肌肉-骨骼位置信息。
过程500在动作510中开始，其中，从布置在用户身体表面上或附近的多个自动传感器记录信号，以在执行任务期间记录与身体的运动相关联的活动。在上述一个示例中，自动传感器包括IMU传感器和多个EMG传感器，IMU传感器和多个EMG传感器沿周向(或以其他方式方向)布置在可穿戴装置上，该可穿戴装置被配置为穿戴在用户身体的一部分(例如，用户的手臂)上或周围。在一些实施例中，当用户穿戴包括多个自动传感器的可穿戴装置时，连续记录多个EMG信号。然后，过程500进行到动作512，其中，可选地处理自动传感器记录的信号。例如，可以使用放大、滤波、校正或其他类型的信号处理来处理信号。在一些实施例中，滤波包括使用频域中的卷积运算和/或等效运算实现的时间滤波(例如，在应用离散傅立叶变换之后)。在一些实施例中，以与上述过程400的动作402中记录的信号相同或类似的方式处理信号，并将其用作训练数据以训练统计模型。
然后，过程500进行到动作514，其中，将自动传感器信号作为输入提供给使用上面结合过程400描述的一种或多种技术训练的统计模型(例如，神经网络)。在连续记录自动信号的一些实施例中，连续记录的自动信号(原始的或处理过的)可以连续地或周期性地作为输入提供给训练的统计模型，用于针对给定的成组的输入传感器数据预测肌肉-骨骼位置信息(例如，关节角度)。如上所述，在一些实施例中，训练的统计模型是基于来自多个用户的自动传感器和位置信息测量而训练的用户独立模型。在其他实施例中，训练的模型是有关从个体用户记录的数据而训练的用户相关模型，也获取在动作510中从个体用户记录的数据。
在训练的统计模型接收传感器数据作为成组的输入参数之后，过程500进行到动作516，其中，从训练的统计模型输出预测的肌肉-骨骼位置信息。如上所述，在一些实施例中，预测的肌肉-骨骼位置信息可包括表示至少用户的身体的一部分的多区段铰接刚体模型的成组的肌肉-骨骼位置信息值(例如，成组的关节角度)。在其他实施例中，肌肉-骨骼位置信息可以包括用户正在执行来自成组的可能的运动中的一个或多个运动的成组的概率。
在动作516中预测肌肉-骨骼位置信息之后，过程500进行到动作518，其中，至少部分地基于从训练的统计模型输出的肌肉-骨骼位置信息生成用户身体的基于计算机的肌肉-骨骼表示。可以以任何合适的方式生成基于计算机的肌肉-骨骼表示。例如，人体的基于计算机的肌肉-骨骼模型可以包括多个刚体区段，每个刚体区段对应于身体中的一个或多个骨骼结构。例如，上臂可以由第一刚体区段表示，下臂可以由第二刚体区段表示，手掌可以由第三刚体区段表示，并且手上的每个手指可以由至少一个刚体区段(例如，至少第四至第八刚体区段)表示。肌肉-骨骼模型中的连接的刚体区段之间的成组的关节角度可以限定每个连接的刚体区段相对于彼此和诸如身体的躯干等参考系的方向。当新的传感器数据由统计模型测量和处理以提供肌肉-骨骼位置信息(例如，更新的成组的关节角度)的新预测时，可以基于更新的成组的关节角度(基于统计模型的输出确定的)来更新用户身体的基于计算机的肌肉-骨骼表示。以这种方式，当连续记录自动传感器数据时，基于计算机的肌肉-骨骼表示被实时动态更新。
可以以任何合适的方式表示和存储基于计算机的肌肉-骨骼表示，本文描述的技术的实施例对于存储表示的特定方式不限制。另外，虽然在本文中称为“肌肉-骨骼”表示，但是在一些实施例中为了反映肌肉活动可以与表示相关联，如下面更详细地讨论的，应该理解的是，根据一些实施例使用的一些肌肉-骨骼表示可以对应于骨骼结构、肌肉结构或身体中的骨骼结构和肌肉结构的组合。
如上所述，在一些实施例中，可以基于在过程500的动作518中生成的肌肉-骨骼表示将一个或多个控制信号发送到控制器。例如，当控制器是显示控制器时，控制信号可以指示与显示控制器通信的显示器，以基于生成的肌肉-骨骼表示来显示图形呈现。对于提供虚拟现实环境的计算机应用程序，图形呈现可以是基于肌肉-骨骼表示的当前状态的用户身体或另一计算机生成的角色(例如，化身)的呈现。当收集传感器数据时，可以动态地更新渲染的角色以提供渲染角色的动画，该渲染角色模仿穿戴包括自动传感器的可穿戴装置的用户的运动。在虚拟现实环境中，角色动画的结果可以是动画角色与虚拟现实环境中的物体交互的能力，其示例包括但不限于抓取虚拟物体。
在控制器被配置为控制物理装置(例如，机器人)的实施例中，发送到控制器的控制信号可以指示物理装置执行与生成的肌肉-骨骼表示相对应的一个或多个动作。例如，当被控制的装置是机器人时，控制信号可以指示机器人的控制器模仿用户的运动或者基于生成的肌肉-骨骼表示来控制机器人的操作。
在更进一步的实施例中，生成的肌肉-骨骼表示可用于跟踪用户随时间的运动并向控制器提供控制信号，该控制器向用户提供关于跟踪的运动的反馈。例如，当用户在键盘上打字时，生成的且动态更新的肌肉-骨骼表示可以跟踪用户的手的位置，并且当确定用户可能由于他们打字时手的位置而经历肌肉疲劳时向用户提供反馈。如下面关于图6更详细地讨论的，当与产生的肌肉-骨骼表示结合使用时记录肌肉活动可以用于在执行各种任务期间跟踪肌肉性能(例如，疲劳、激活)，并且可以提供反馈以指示用户在执行任务时使用不同的肌肉-骨骼定位来改善执行的任务。可以以任何合适的方式提供反馈，例如使用触觉反馈、音频反馈和/或视觉反馈，本文描述的技术的实施例不基于如何提供反馈而被限制。
在一些实施例中，在系统使用期间记录的至少一些传感器数据可以用作训练数据以训练统计模型，以使模型能够继续细化由自动传感器记录的基于运动的信息和统计模型输出的肌肉-骨骼位置信息之间的统计关系。连续训练统计模型可以改善模型以一致的方式预测用户执行的运动的肌肉-骨骼定位信息的性能。
虽然过程500在本文中被描述为在过程400已经完成并且已经训练了统计模型之后执行，但是在一些实施例中，过程400和500可以一起执行。例如，当用户正在执行运动以与虚拟或物理物体交互时，可以实时训练统计模型，并且一旦模型已经被充分训练以提供可靠的预测，就可以使用训练的统计模型。在一些实施例中，这可以使用变分自动编码器来执行。
在上述实施例中，由诸如IMU和神经肌肉传感器(EMG)的自动传感器记录的运动数据的时间序列被用于预测肌肉-骨骼位置信息(例如，成组的关节角度)，其描述基于计算机的肌肉-骨骼表示的不同区段的方向如何基于用户的运动而随时间变化。以这种方式，通过骨骼肌的激活间接测量身体运动的神经肌肉传感器记录的神经肌肉活动可用于通过使用训练的统计模型预测用户如何运动，该统计模型学习记录的神经肌肉信号和用户的动作之间的统计关系。
发明人已经认识到并理解到，除了用于预测肌肉-骨骼位置信息之外，如上所述，与仅表示肌肉-骨骼随时间的定位/方向的实施例相比，神经肌肉传感器直接记录的神经肌肉活动可以与生成的肌肉-骨骼表示相结合以提供表示用户运动中涉及的附加生物物理基础的更丰富的肌肉-骨骼表示。在可穿戴装置上的神经肌肉传感器记录的神经肌肉信号的双重使用-直接测量神经肌肉活动并间接预测肌肉-骨骼位置信息，使得一些实施例能够以更接近类似于用户运动的方式控制虚拟或物理装置。例如，一些实施例被配置为使用神经肌肉传感器记录的神经肌肉活动信息来修改用于控制虚拟或物理装置的控制信号。作为非限制性示例，对于提供虚拟现实环境的应用，动态更新的基于计算机的肌肉-骨骼表示可以跟踪用户的运动以抓住位于虚拟环境内的虚拟蛋，该虚拟环境允许计算机生成的与用户相关联的角色(例如，化身)将虚拟蛋保持在手中。当用户紧握拳头而基本上没有运动他们手指的空间位置时，可以使用相应的检测到的神经肌肉信号来修改发送到应用程序的控制信号，使得计算机生成的角色不仅仅是拿着鸡蛋，而是用力挤压鸡蛋并打破鸡蛋。例如，可以基于神经肌肉传感器感测到的检测的肌肉活动导出力值，并且导出的力值可以用于修改发送到应用的控制信号。以这种方式，EMG传感器直接记录的神经肌肉活动和/或基于直接记录的EMG传感器数据的导出的测量可以用于增强根据本文描述的技术的一些实施例预测的生成的肌肉-骨骼表示。结合神经肌肉活动和肌肉-骨骼表示的进一步应用将在下面结合图6进行讨论。
图6示出了根据一些实施例的将用神经肌肉传感器记录的神经肌肉活动与至少部分地从神经肌肉活动产生的肌肉-骨骼表示相结合的过程600。在动作602中，从布置在用户身体表面附近或表面上的多个神经肌肉传感器记录神经肌肉信号。在一些实施例中，其示例如上所述，多个神经肌肉传感器与可穿戴装置(例如可以穿戴在用户身体的一部分周围的柔性或可调节带)集成。
然后，过程600进行到动作604，其中，至少部分地基于记录的神经肌肉信号或从神经肌肉信号导出的信号来预测肌肉-骨骼位置信息。例如，如上面结合过程500所讨论的，可以使用放大、滤波、校正或任何其他合适的信号处理技术来处理神经肌肉信号所记录的记录的神经肌肉信号，并且可以将经处理的神经肌肉信号作为输入提供给统计模型，该统计模型被训练为输出基于提供给统计模型的输入而预测的肌肉-骨骼位置信息。在一些实施例中，其示例如上所述，一个或多个IMU传感器记录的IMU信号也被作为输入提供给训练的统计模型，并且从训练的统计模型输出的预测的肌肉-骨骼位置信息基于作为输入提供的IMU信号和神经肌肉信号两者。
然后，过程600进行到动作606，其中，基于从训练的统计模型输出的预测的肌肉-骨骼位置信息生成基于计算机的肌肉-骨骼表示。以上结合过程500描述了根据一些实施例的使用训练的统计模型预测肌肉-骨骼位置信息并基于预测的肌肉-骨骼位置信息生成肌肉-骨骼表示的过程，并且为了简洁起见，不再重复。如从前述应当理解的，在过程600的动作604和606中，记录的神经肌肉活动与训练的统计模型结合使用，作为估计用户身体部分的运动的间接方式，而不需要使用诸如相机或全球定位系统等外部传感器。
发明人已经认识到，提供直接测量用户运动的神经肌肉活动的神经肌肉信号可以与生成的肌肉-骨骼表示相结合以提供丰富的肌肉-骨骼表示。因此，过程600进行到动作608，其中，从记录的神经肌肉活动预测的神经肌肉活动和/或肌肉活动与产生的肌肉-骨骼表示相结合。
可以以任何合适的方式将神经肌肉活动与生成的肌肉-骨骼表示相结合。例如，如上所述，在一些实施例中，可以至少部分地基于神经肌肉信号来修改发送到控制器以与物理或虚拟物体交互的控制信号。在一些实施例中，可以通过向控制器发送一个或多个附加控制信号和/或通过修改基于生成的肌肉-骨骼表示生成的一个或多个控制信号来实现修改控制信号。在提供虚拟现实环境的应用中，神经肌肉信号的一个或多个特性可用于确定虚拟现实环境中的角色如何与虚拟环境中的物体交互。在其他实施例中，可以在虚拟现实环境内结合角色来显示神经肌肉活动的视觉表示。例如，由于特定肌肉的长时间收缩和神经肌肉传感器感测的肌肉疲劳可以在虚拟现实环境中角色的渲染上示出。也可以使用神经肌肉活动的其他视觉表示，并且本文描述的技术的实施例不限于此方面。
在其他实施例中，可以基于神经肌肉传感器记录的神经肌肉活动和生成的肌肉-骨骼表示的组合来向用户提供反馈。例如，根据一些实施例的系统可以跟踪用户身体的一部分的运动(如使用生成的肌肉-骨骼表示所预测的)和引起运动的肌肉活动，以指示用户以合适的方式执行特定的任务。这种组合运动和肌肉活动的跟踪可能是有用的应用包括但不限于跟踪运动员的表现以提供肌肉介入的反馈以减少肌肉疲劳、通过向受伤患者提供指导反馈来促进身体康复、以及向用户提供指导反馈以教授主动防止受伤的执行任务所需的方法。
如图6所示，过程600包括使用神经肌肉信号预测肌肉活动的可选动作608。发明人已经认识到并意识到，记录的神经肌肉信号在执行相应的运动动作之前数百毫秒。因此，神经肌肉信号本身可用于在进行运动之前预测运动的开始。在与本申请同一天提交的题为“推断用户意图的方法和装置”的共同待定专利申请中描述了使用训练的统计模型来预测运动开始的示例，其全部内容通过引用并入本文。因此，在一些实施例中，至少部分地基于动作608中记录的神经肌肉信号预测的肌肉活动与动作610中生成的肌肉-骨骼表示相结合。由于神经肌肉信号的记录与实际运动的执行之间的时间延迟，一些实施例能够以短延迟控制虚拟或物理装置。
可以以多种方式中的任何一种来实现上述实施例。例如，可以使用硬件、软件或其组合来实现实施例。当在软件中实现时，软件代码可以在任何合适的处理器或处理器集合上执行，无论该处理器或处理器集合是设置在单个计算机中还是分布在多个计算机之间。应当理解，执行上述功能的任何组件或组件集合可以通常被认为是控制上述功能的一个或多个控制器。一个或多个控制器可以以多种方式实现，例如，使用专用硬件或使用微代码或软件编程的一个或多个处理器来执行上述功能。
在这方面，应当理解，本发明实施例的一个实现包括至少一个非暂时性计算机可读存储介质(例如，计算机存储器、便携式存储器、光盘等)，其用计算机程序(即，多个指令)编码，当在处理器上执行时，执行本发明实施例的上述功能。计算机可读存储介质可以是便携的，使得存储在其上的程序可以加载到任何计算机资源上，以实现这里讨论的本发明的各方面。另外，应当理解，计算机程序在执行时执行上述功能，其引用不限于在主计算机上运行的应用程序。相反，术语计算机程序在本文中以一般含义使用，以引用可用于对处理器进行编程以实现本发明的上述方面的任何类型的计算机代码(例如，软件或微代码)。
本发明的各个方面可以单独使用、组合使用、或者在前面描述的实施例中没有具体讨论的各种布置中使用，因此它们的应用不限于在前面的描述中阐述的或在附图中示出的部件的细节和布置。例如，一个实施例中描述的方面可以以任何方式与其他实施例中描述的方面组合。
此外，本发明的实施例可以实现为一个或多个方法，已经提供了方法的示例。作为方法的一部分执行的动作可以以任何合适的方式排序。因此，可以构造其中以不同于所示顺序的顺序执行动作的实施例，其可以包括同时执行一些动作，即使在示例性实施例中示出为顺序动作。
在权利要求中使用诸如“第一”、“第二”、“第三”等序数术语来修改权利要求元素本身并不意味着一个权利要求要素相对于另一个的优先级、优先性或顺序，或者执行方法动作的时间顺序。这些术语仅用作标记以将具有特定名称的一个权利要求元素与具有相同名称(如果没有使用序数术语的话)的另一个元素区分开。
这里使用的措辞和术语是为了描述的目的，不应该被认为是限制性的。“包括”、“包含”、“具有”、“含有”、“涉及”及其变形的使用旨在包括其后列出的项目和附加项目。
已经详细描述了本发明的若干实施例，本领域技术人员将容易想到各种修改和改进。这些修改和改进旨在落入本发明的精神和范围内。因此，前面的描述仅是示例性的，而不是限制性的。本发明仅受所附权利要求及其等同物限定。
Claims (20)
1.一种提供动态更新的包括通过关节连接的多个刚体区段的计算机化肌肉-骨骼表示的计算机化系统，所述系统包括：
多个自动传感器，包括多个神经肌肉传感器，其中，所述多个自动传感器被布置在一个或多个可穿戴装置上，其中，所述多个神经肌肉传感器被配置为连续地记录来自用户的多个神经肌肉信号；以及
至少一个计算机处理器，被编程为：
向训练的统计模型提供所述多个神经肌肉信号和/或基于所述多个神经肌肉信号的信息作为输入；
基于训练的统计模型的输出确定描述计算机化肌肉-骨骼表示的所述多个刚体区段的两个或更多个连接区段之间的空间关系的肌肉-骨骼位置信息；以及
至少部分地基于肌肉-骨骼位置信息更新计算机化肌肉-骨骼表示。
2.根据权利要求1所述的计算机化系统，其中，确定的肌肉-骨骼位置信息包括描述计算机化肌肉-骨骼表示的所述两个或更多个连接区段之间的空间关系的成组的关节角度。
3.根据权利要求1所述的计算机化系统，其中，所述多个自动传感器还包括配置为连续地记录IMU信号的至少一个IMU传感器，其中，所述至少一个处理器还被编程为向训练的统计模型提供所述多个IMU信号和/或基于所述多个IMU信号的信息作为输入，并且其中，基于训练的统计模型的输出确定肌肉-骨骼位置信息包括至少部分地基于作为输入向训练的统计模型提供的神经肌肉信号和IMU信号确定肌肉-骨骼位置信息。
4.根据权利要求3所述的计算机化系统，其中，所述至少一个IMU传感器被配置为以第一采样率连续地记录IMU信号，所述多个神经肌肉传感器被配置为以第二采样率连续地记录神经肌肉信号，第一次采样率和第二次采样率不同，并且
其中，
(1)重新采样IMU信号或神经肌肉信号中的至少一个，使得IMU信号和神经肌肉信号以相同的速率作为输入提供给训练的统计模型；或者
(2)其中，训练的统计模型被配置为处理异步输入。
5.根据权利要求4所述的计算机化系统，其中，所述至少一个IMU传感器和所述多个神经肌肉传感器被布置在同一可穿戴装置上。
6.根据权利要求1所述的计算机化系统，其中，所述神经肌肉传感器包括肌电图EMG传感器、肌动图MMG传感器、声肌图SMG传感器、或EMG、MMG和SMG传感器的组合。
7.根据权利要求1所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为通过将基于神经肌肉传感器记录的神经肌肉信号而确定的信息与生成的肌肉-骨骼表示相结合来提供修改的肌肉-骨骼表示。
8.根据权利要求8所述的计算机化系统，其中，基于神经肌肉信号确定的信息包括力信息。
9.根据权利要求1所述的计算机化系统，其中，所述至少一个处理器还被编程为至少部分地基于更新的计算机化肌肉-骨骼表示发送一个或多个控制信号到控制器，控制器被配置为指示装置基于所述一个或多个控制信号执行动作。
10.根据权利要求9所述的计算机化系统，其中，所述至少一个处理器还被编程为执行提供虚拟现实环境的计算机应用程序，
其中，控制器包括显示控制器，显示控制器被配置为指示显示器在虚拟现实环境中显示角色的视觉表示，以及
其中，所述一个或多个控制信号包括指示显示控制器基于更新的计算机化肌肉-骨骼表示实时更新角色的视觉表示的信号。
11.根据权利要求10所述的计算机化系统，其中，虚拟现实环境包括虚拟物体，并且其中，基于更新的计算机化肌肉-骨骼表示来更新角色的视觉表示包括更新视觉表示，使得角色与虚拟物体交互。
12.根据权利要求11所述的计算机化系统，其中，与虚拟物体的交互包括从由抓取虚拟物体、放下虚拟物体、推动虚拟物体、投掷虚拟物体、拉动虚拟物体、打开虚拟物体、以及关闭虚拟物体组成的组中选择动作。
13.根据权利要求9所述的计算机化系统，其中，控制器包括用于物理装置的控制接口，并且其中，所述一个或多个控制信号包括指示物理装置的至少一个组件基于更新的计算机化肌肉-骨骼表示而运动的信号。
14.根据权利要求1所述的计算机化系统，其中，训练的统计模型包括递归神经网络。
15.根据权利要求1所述的计算机化系统，其中，训练的统计模型包括非线性回归模型。
16.根据权利要求1所述的计算机化系统，其中，所述一个或多个可穿戴装置由单个可穿戴装置组成，并且其中，所述多个自动传感器全部被布置在被配置为穿戴在用户身体一部分上或周围的单个可穿戴装置上。
17.根据权利要求1所述的计算机化系统，其中，所述一个或多个可穿戴装置中的至少一个包括被配置为围绕用户身体的一部分穿戴的柔性或弹性带。
18.根据权利要求16所述的计算机化系统，其中，柔性或弹性带包括被配置为围绕用户的手臂穿戴的臂带。
19.一种提供动态更新的包括通过关节连接的多个刚体区段的计算机化肌肉-骨骼表示的方法，所述方法包括：
使用布置在一个或多个可穿戴装置上的多个自动传感器记录来自用户的多个自动信号，其中，所述多个自动传感器包括被配置为记录多个神经肌肉信号的多个神经肌肉传感器；
向训练的统计模型提供所述多个神经肌肉信号和/或基于所述多个神经肌肉信号的信息作为输入；
基于训练的统计模型的输出确定描述计算机化肌肉-骨骼表示的所述多个刚体区段的两个或更多个连接区段之间的空间关系的肌肉-骨骼位置信息；以及
至少部分地基于肌-骨骼位置信息更新计算机化的肌肉-骨骼表示。
20.一种用于训练统计模型以至少部分地基于多个自动传感器记录的自动信号来预测肌肉-骨骼位置信息的计算机系统，其中，所述多个自动传感器包括被配置为记录多个神经肌肉信号的多个神经肌肉传感器，所述计算机系统包括：
输入接口，被配置为：
接收在执行由一个或多个用户执行的任务行期间记录的神经肌肉信号，
接收在执行由所述一个或多个用户执行的任务期间指示计算机化肌肉-骨骼表示的多个刚体区段的位置的位置信息；以及
至少一个存储装置，被配置为存储多个指令，当所述多个指令被至少一个计算机处理器执行时，执行以下方法：
至少部分地基于所接收的神经肌肉信号和所接收的位置信息来生成训练数据；
使用生成的训练数据中的至少一些来训练统计模型以输出训练的统计模型；以及
通过所述至少一个存储装置存储训练的统计模型，其中，训练的统计模型被配置为至少部分地基于连续记录的来自神经肌肉传感器的信号来预测肌肉-骨骼位置信息。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201662366421P | 2016-07-25 | 2016-07-25 | |
| US62/366,421 | 2016-07-25 | ||
| PCT/US2017/043693 WO2018022602A1 (en) | 2016-07-25 | 2017-07-25 | Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110300542A true CN110300542A (zh) | 2019-10-01 |
Family
ID=60988496
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201780059093.7A Pending CN110300542A (zh) | 2016-07-25 | 2017-07-25 | 使用可穿戴的自动传感器预测肌肉骨骼位置信息的方法和装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (3) | US10990174B2 (zh) |
| EP (1) | EP3487395A4 (zh) |
| CN (1) | CN110300542A (zh) |
| WO (1) | WO2018022602A1 (zh) |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109793645A (zh) * | 2019-01-21 | 2019-05-24 | 徐州医科大学附属医院 | 一种辅助帕金森病人步态康复训练装置 |
| US10842407B2 (en) | 2018-08-31 | 2020-11-24 | Facebook Technologies, Llc | Camera-guided interpretation of neuromuscular signals |
| CN112107852A (zh) * | 2020-09-16 | 2020-12-22 | 西安万像电子科技有限公司 | 云游戏的控制方法及装置、云游戏控制系统 |
| US10937414B2 (en) | 2018-05-08 | 2021-03-02 | Facebook Technologies, Llc | Systems and methods for text input using neuromuscular information |
| CN112486331A (zh) * | 2020-12-18 | 2021-03-12 | 清华大学 | 基于imu的三维空间手写输入方法和装置 |
| US10990174B2 (en) | 2016-07-25 | 2021-04-27 | Facebook Technologies, Llc | Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors |
| CN112932898A (zh) * | 2021-01-28 | 2021-06-11 | 东南大学 | 一种基于贝叶斯优化的按需辅助康复机器人训练方法 |
| US11036302B1 (en) | 2018-05-08 | 2021-06-15 | Facebook Technologies, Llc | Wearable devices and methods for improved speech recognition |
| CN113081671A (zh) * | 2021-03-31 | 2021-07-09 | 东南大学 | 一种基于贝叶斯优化提高按需辅助康复训练参与度的方法 |
| US11216069B2 (en) | 2018-05-08 | 2022-01-04 | Facebook Technologies, Llc | Systems and methods for improved speech recognition using neuromuscular information |
| US11481031B1 (en) | 2019-04-30 | 2022-10-25 | Meta Platforms Technologies, Llc | Devices, systems, and methods for controlling computing devices via neuromuscular signals of users |
| US11481030B2 (en) | 2019-03-29 | 2022-10-25 | Meta Platforms Technologies, Llc | Methods and apparatus for gesture detection and classification |
| US11493993B2 (en) | 2019-09-04 | 2022-11-08 | Meta Platforms Technologies, Llc | Systems, methods, and interfaces for performing inputs based on neuromuscular control |
| US11567573B2 (en) | 2018-09-20 | 2023-01-31 | Meta Platforms Technologies, Llc | Neuromuscular text entry, writing and drawing in augmented reality systems |
| US11635736B2 (en) | 2017-10-19 | 2023-04-25 | Meta Platforms Technologies, Llc | Systems and methods for identifying biological structures associated with neuromuscular source signals |
| US11644799B2 (en) | 2013-10-04 | 2023-05-09 | Meta Platforms Technologies, Llc | Systems, articles and methods for wearable electronic devices employing contact sensors |
| US11666264B1 (en) | 2013-11-27 | 2023-06-06 | Meta Platforms Technologies, Llc | Systems, articles, and methods for electromyography sensors |
| US11797087B2 (en) | 2018-11-27 | 2023-10-24 | Meta Platforms Technologies, Llc | Methods and apparatus for autocalibration of a wearable electrode sensor system |
| US11868531B1 (en) | 2021-04-08 | 2024-01-09 | Meta Platforms Technologies, Llc | Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof |
| US11907423B2 (en) | 2019-11-25 | 2024-02-20 | Meta Platforms Technologies, Llc | Systems and methods for contextualized interactions with an environment |
| US11921471B2 (en) | 2013-08-16 | 2024-03-05 | Meta Platforms Technologies, Llc | Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source |
| US11961494B1 (en) | 2019-03-29 | 2024-04-16 | Meta Platforms Technologies, Llc | Electromagnetic interference reduction in extended reality environments |
Families Citing this family (44)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10042422B2 (en) | 2013-11-12 | 2018-08-07 | Thalmic Labs Inc. | Systems, articles, and methods for capacitive electromyography sensors |
| US9880632B2 (en) | 2014-06-19 | 2018-01-30 | Thalmic Labs Inc. | Systems, devices, and methods for gesture identification |
| EP3487457B1 (en) | 2016-07-25 | 2023-09-06 | Facebook Technologies, LLC. | Adaptive system for deriving control signals from measurements of neuromuscular activity |
| US11179066B2 (en) | 2018-08-13 | 2021-11-23 | Facebook Technologies, Llc | Real-time spike detection and identification |
| US10687759B2 (en) | 2018-05-29 | 2020-06-23 | Facebook Technologies, Llc | Shielding techniques for noise reduction in surface electromyography signal measurement and related systems and methods |
| US10489986B2 (en) | 2018-01-25 | 2019-11-26 | Ctrl-Labs Corporation | User-controlled tuning of handstate representation model parameters |
| WO2020102693A1 (en) * | 2018-11-16 | 2020-05-22 | Facebook Technologies, Inc. | Feedback from neuromuscular activation within various types of virtual and/or augmented reality environments |
| US10409371B2 (en) | 2016-07-25 | 2019-09-10 | Ctrl-Labs Corporation | Methods and apparatus for inferring user intent based on neuromuscular signals |
| US11327566B2 (en) * | 2019-03-29 | 2022-05-10 | Facebook Technologies, Llc | Methods and apparatuses for low latency body state prediction based on neuromuscular data |
| US10772519B2 (en) | 2018-05-25 | 2020-09-15 | Facebook Technologies, Llc | Methods and apparatus for providing sub-muscular control |
| US11331045B1 (en) | 2018-01-25 | 2022-05-17 | Facebook Technologies, Llc | Systems and methods for mitigating neuromuscular signal artifacts |
| US11337652B2 (en) | 2016-07-25 | 2022-05-24 | Facebook Technologies, Llc | System and method for measuring the movements of articulated rigid bodies |
| CN107378944B (zh) * | 2017-06-20 | 2020-12-25 | 东南大学 | 一种基于主成分分析法的多维表面肌电信号假手控制方法 |
| CN112005198A (zh) | 2018-01-25 | 2020-11-27 | 脸谱科技有限责任公司 | 基于多个输入的手部状态重建 |
| EP3743901A4 (en) | 2018-01-25 | 2021-03-31 | Facebook Technologies, Inc. | REAL-TIME PROCESSING OF HAND REPRESENTATION MODEL ESTIMATES |
| US11069148B2 (en) * | 2018-01-25 | 2021-07-20 | Facebook Technologies, Llc | Visualization of reconstructed handstate information |
| US10504286B2 (en) | 2018-01-25 | 2019-12-10 | Ctrl-Labs Corporation | Techniques for anonymizing neuromuscular signal data |
| CN111902077B (zh) | 2018-01-25 | 2023-08-04 | 元平台技术有限公司 | 利用神经肌肉信号进行手部状态表示建模的校准技术 |
| GB2573091B (en) * | 2018-02-19 | 2020-11-18 | Valkyrie Industries Ltd | Haptic feedback for virtual reality |
| ES2725128B2 (es) * | 2018-03-15 | 2020-07-22 | Univ Rey Juan Carlos | Método implementado por ordenador, sistema y producto del programa de ordenador para simular el comportamiento de una mano que interactúa con objetos en un entorno virtual. |
| JP7341166B2 (ja) | 2018-05-22 | 2023-09-08 | マジック リープ， インコーポレイテッド | ウェアラブルシステムのためのトランスモード入力融合 |
| US10694017B2 (en) * | 2018-06-14 | 2020-06-23 | International Business Machines Corporation | Ergonomic position detector |
| CN112585600A (zh) | 2018-06-14 | 2021-03-30 | 脸谱科技有限责任公司 | 使用神经肌肉标记进行用户识别和认证 |
| WO2020018892A1 (en) | 2018-07-19 | 2020-01-23 | Ctrl-Labs Corporation | Methods and apparatus for improved signal robustness for a wearable neuromuscular recording device |
| CN109299732B (zh) * | 2018-09-12 | 2020-05-05 | 北京三快在线科技有限公司 | 无人驾驶行为决策及模型训练的方法、装置及电子设备 |
| WO2020069181A1 (en) | 2018-09-26 | 2020-04-02 | Ctrl-Labs Corporation | Neuromuscular control of physical objects in an environment |
| CN112822992A (zh) | 2018-10-05 | 2021-05-18 | 脸谱科技有限责任公司 | 在增强现实环境中使用神经肌肉信号来提供与物理对象的增强交互 |
| CN109276245B (zh) * | 2018-11-01 | 2020-02-07 | 重庆中科云从科技有限公司 | 一种表面肌电信号特征处理与关节角度预测方法及系统 |
| US10905383B2 (en) | 2019-02-28 | 2021-02-02 | Facebook Technologies, Llc | Methods and apparatus for unsupervised one-shot machine learning for classification of human gestures and estimation of applied forces |
| US10902618B2 (en) | 2019-06-14 | 2021-01-26 | Electronic Arts Inc. | Universal body movement translation and character rendering system |
| JP2022536349A (ja) * | 2019-06-14 | 2022-08-15 | ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア | 生体力学的モデルアニメーションのためのバイオメトリック感覚運動制御の深層学習 |
| EP3770822A1 (en) * | 2019-07-26 | 2021-01-27 | Nokia Technologies Oy | Method and apparatus for processing sensor data |
| US11460914B2 (en) | 2019-08-01 | 2022-10-04 | Brave Virtual Worlds, Inc. | Modular sensor apparatus and system to capture motion and location of a human body, body part, limb, or joint |
| US11974857B2 (en) | 2019-10-08 | 2024-05-07 | Unlimited Tomorrow, Inc. | Biometric sensor array |
| US11504625B2 (en) | 2020-02-14 | 2022-11-22 | Electronic Arts Inc. | Color blindness diagnostic system |
| US11232621B2 (en) | 2020-04-06 | 2022-01-25 | Electronic Arts Inc. | Enhanced animation generation based on conditional modeling |
| US11648480B2 (en) * | 2020-04-06 | 2023-05-16 | Electronic Arts Inc. | Enhanced pose generation based on generative modeling |
| CN112545525B (zh) * | 2020-11-30 | 2022-05-13 | 中国科学技术大学 | 心电图数据分类方法、装置及系统 |
| US11914762B2 (en) * | 2020-12-28 | 2024-02-27 | Meta Platforms Technologies, Llc | Controller position tracking using inertial measurement units and machine learning |
| WO2022193330A1 (zh) * | 2021-03-19 | 2022-09-22 | 深圳市韶音科技有限公司 | 一种运动监控方法及其系统 |
| US20220316884A1 (en) * | 2021-04-06 | 2022-10-06 | Franz J. Gayl | Inertial navigation system of systems (insos) |
| US11887232B2 (en) | 2021-06-10 | 2024-01-30 | Electronic Arts Inc. | Enhanced system for generation of facial models and animation |
| US11983329B1 (en) | 2022-12-05 | 2024-05-14 | Meta Platforms, Inc. | Detecting head gestures using inertial measurement unit signals |
| CN117593924B (zh) * | 2024-01-19 | 2024-03-26 | 中国民用航空飞行学院 | 一种基于场景复现的空管员培训方法及系统 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1838933A (zh) * | 2003-08-21 | 2006-09-27 | 山海嘉之 | 穿着式动作辅助装置、穿着式动作辅助装置的控制方法和控制用程序 |
| US20070016265A1 (en) * | 2005-02-09 | 2007-01-18 | Alfred E. Mann Institute For Biomedical Engineering At The University Of S. California | Method and system for training adaptive control of limb movement |
| US20070256494A1 (en) * | 2004-06-16 | 2007-11-08 | Yoshihiko Nakamura | Muscular Strength Acquiring Method and Device Based on Musculoskeletal Model |
| US20100106044A1 (en) * | 2008-10-27 | 2010-04-29 | Michael Linderman | EMG measured during controlled hand movement for biometric analysis, medical diagnosis and related analysis |
| US20120209134A1 (en) * | 2009-07-15 | 2012-08-16 | University Of Tsukuba | Classification estimating system and classification estimating program |
| US20130077820A1 (en) * | 2011-09-26 | 2013-03-28 | Microsoft Corporation | Machine learning gesture detection |
| US20130317648A1 (en) * | 2012-05-25 | 2013-11-28 | California Institute Of Technology | Biosleeve human-machine interface |
| US20150094564A1 (en) * | 2012-05-03 | 2015-04-02 | University Of Pittsburgh - Of The Commonwealth System Of Higher Education | Intelligent algorithms for tracking three-dimensional skeletal movement from radiographic image sequences |
| WO2015063520A1 (en) * | 2013-11-04 | 2015-05-07 | Imperial Innovations Limited | Biomechanical activity monitoring |
| US20150257682A1 (en) * | 2014-03-17 | 2015-09-17 | Ben Hansen | Method and system for delivering biomechanical feedback to human and object motion |
| US20150332013A1 (en) * | 2014-05-15 | 2015-11-19 | Korea Institute Of Science And Technology | Human joint kinematics information extraction method from multi-channel surface electromyogram signals, recording medium and device for performing the method |
Family Cites Families (475)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US1411995A (en) | 1919-06-20 | 1922-04-04 | Raymond W Dull | Link belt |
| US3580243A (en) | 1968-10-21 | 1971-05-25 | Marquette Electronics Inc | Means and method for subtracting dc noise from electrocardiographic signals |
| US3620208A (en) | 1969-11-03 | 1971-11-16 | Atomic Energy Commission | Ekg amplifying electrode pickup |
| US3880146A (en) | 1973-06-04 | 1975-04-29 | Donald B Everett | Noise compensation techniques for bioelectric potential sensing |
| US4055168A (en) | 1976-09-21 | 1977-10-25 | The Rockefeller University | Posture training device |
| LU84250A1 (de) | 1982-07-01 | 1984-03-22 | Mardice Holding | Verfahren und vorrichtung fuer das kontaktlose messen von spannungsunterschieden bei lebenden organismen |
| EP0210199A1 (de) | 1985-02-05 | 1987-02-04 | MILLES, Victor Alexander | Verfahren zum herstellen von schmuckstücken bzw. armbanduhren |
| US5003978A (en) | 1985-08-21 | 1991-04-02 | Technology 21, Inc. | Non-polarizable dry biomedical electrode |
| IL78244A0 (en) | 1986-03-24 | 1986-07-31 | Zvi Kamil | Instrumentation amplifier arrangement |
| ATE38569T1 (de) | 1986-04-01 | 1988-11-15 | Altop Sa | An einer klammer montierte uhr. |
| JPH01126692A (ja) | 1987-07-24 | 1989-05-18 | Univ Leland Stanford Jr | 音楽およびビデオ用のバイオポテンシャルディジタルコントローラ |
| USD322227S (en) | 1989-03-23 | 1991-12-10 | North American Watch Company | Watch |
| US5625577A (en) | 1990-12-25 | 1997-04-29 | Shukyohojin, Kongo Zen Sohonzan Shorinji | Computer-implemented motion analysis method using dynamics |
| US5081852A (en) | 1991-02-14 | 1992-01-21 | Cox Michael F | Display bracelet |
| JP3103427B2 (ja) | 1992-04-01 | 2000-10-30 | ダイヤメディカルシステム株式会社 | 生体電気現象検出装置 |
| EP0648090A4 (en) | 1992-07-06 | 1995-11-02 | James F Kramer | DETERMINATION OF MOVEMENT OF MULTIPLE-JOINTED ARMS. |
| US5251189A (en) | 1992-10-16 | 1993-10-05 | Timex Corporation | Wristwatch radiotelephone |
| JPH06216475A (ja) | 1993-01-21 | 1994-08-05 | Matsushita Electric Ind Co Ltd | フレキシブル基板 |
| USD348660S (en) | 1993-04-29 | 1994-07-12 | Micro-Integration Corp. | Hand-held computer input device |
| US5482051A (en) | 1994-03-10 | 1996-01-09 | The University Of Akron | Electromyographic virtual reality system |
| DE4412278A1 (de) | 1994-04-09 | 1995-10-12 | Bosch Gmbh Robert | Starre und flexible Bereiche aufweisende Leiterplatte |
| US6032530A (en) | 1994-04-29 | 2000-03-07 | Advantedge Systems Inc. | Biofeedback system for sensing body motion and flexure |
| US5462065A (en) | 1994-08-17 | 1995-10-31 | Cusimano; Maryrose | Integrated movement analyziing system |
| US5605059A (en) | 1995-03-09 | 1997-02-25 | Woodward; Robin | Sleeved bangle bracelet |
| US6238338B1 (en) | 1999-07-19 | 2001-05-29 | Altec, Inc. | Biosignal monitoring system and method |
| JP3141737B2 (ja) | 1995-08-10 | 2001-03-05 | 株式会社セガ | 仮想画像生成装置及びその方法 |
| US5683404A (en) | 1996-06-05 | 1997-11-04 | Metagen, Llc | Clamp and method for its use |
| AU3954997A (en) | 1996-08-14 | 1998-03-06 | Nurakhmed Nurislamovich Latypov | Method for following and imaging a subject's three-dimensional position and orientation, method for presenting a virtual space to a subject, and systems for implementing said methods |
| US6009210A (en) | 1997-03-05 | 1999-12-28 | Digital Equipment Corporation | Hands-free interface to a virtual reality environment using head tracking |
| US6880364B1 (en) | 1998-04-23 | 2005-04-19 | Michael F. Vidolin | Friendship band with exchangeable closed loop members |
| WO2000010455A1 (en) | 1998-08-24 | 2000-03-02 | Emory University | Method and apparatus for predicting the onset of seizures based on features derived from signals indicative of brain activity |
| EP1116211A4 (en) | 1998-09-22 | 2001-11-21 | Vega Vista Inc | INTUITIVE CONTROL OF A PORTABLE DATA PRESENTATION SCREEN |
| US6745062B1 (en) | 1998-10-05 | 2004-06-01 | Advanced Imaging Systems, Inc. | Emg electrode apparatus and positioning system |
| US6244873B1 (en) | 1998-10-16 | 2001-06-12 | At&T Corp. | Wireless myoelectric control apparatus and methods |
| US6774885B1 (en) | 1999-01-20 | 2004-08-10 | Motek B.V. | System for dynamic registration, evaluation, and correction of functional human behavior |
| US7640007B2 (en) | 1999-02-12 | 2009-12-29 | Fisher-Rosemount Systems, Inc. | Wireless handheld communicator in a process control environment |
| US6411843B1 (en) | 1999-05-28 | 2002-06-25 | Respironics, Inc. | Method and apparatus for producing a model EMG signal from a measured EMG signal |
| US6972734B1 (en) | 1999-06-11 | 2005-12-06 | Canon Kabushiki Kaisha | Mixed reality apparatus and mixed reality presentation method |
| US6807438B1 (en) | 1999-08-26 | 2004-10-19 | Riccardo Brun Del Re | Electric field sensor |
| JP4168221B2 (ja) | 1999-09-06 | 2008-10-22 | 株式会社島津製作所 | 身体装着型表示システム |
| US6527711B1 (en) | 1999-10-18 | 2003-03-04 | Bodymedia, Inc. | Wearable human physiological data sensors and reporting system therefor |
| WO2001035173A1 (fr) | 1999-11-11 | 2001-05-17 | The Swatch Group Management Services Ag | Montre-bracelet electronique comportant un circuit imprime incorpore dans un bracelet souple |
| GB0004688D0 (en) | 2000-02-28 | 2000-04-19 | Radley Smith Philip J | Bracelet |
| JP2003530184A (ja) | 2000-04-17 | 2003-10-14 | ビボメトリックス，インコーポレイテッド | 生理学的徴候を着装携行式にモニタするモニタ装置、システムおよび記録媒体 |
| US6510333B1 (en) | 2000-05-16 | 2003-01-21 | Mark J. Licata | Sensor for biopotential measurements |
| US6720984B1 (en) | 2000-06-13 | 2004-04-13 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Characterization of bioelectric potentials |
| US20030184544A1 (en) | 2000-07-24 | 2003-10-02 | Prudent Jean Nicholson | Modeling human beings by symbol manipulation |
| US20030036691A1 (en) | 2000-08-10 | 2003-02-20 | Stanaland Thomas G. | Capacitively coupled electrode system with variable capacitance for sensing potentials at the surface of tissue |
| US6487906B1 (en) | 2000-09-18 | 2002-12-03 | Advantedge Systems Inc | Flexible film sensor system for monitoring body motion |
| WO2002037827A2 (en) | 2000-10-30 | 2002-05-10 | Naval Postgraduate School | Method and apparatus for motion tracking of an articulated rigid body |
| US6743982B2 (en) | 2000-11-29 | 2004-06-01 | Xerox Corporation | Stretchable interconnects using stress gradient films |
| JP2004527815A (ja) | 2000-12-18 | 2004-09-09 | ヒューマン バイオニクス エルエルシー、 | 感知電気生理学的データに基づく活動開始方法及びシステム |
| WO2002065904A1 (en) | 2001-02-23 | 2002-08-29 | Cordless Antistatic Research Inc. | Enhanced pickup bio-electrode |
| JP2002358149A (ja) | 2001-06-01 | 2002-12-13 | Sony Corp | ユーザ入力装置 |
| USD459352S1 (en) | 2001-08-10 | 2002-06-25 | Michael C. Giovanniello | Wireless mouse wristband |
| US20030051505A1 (en) | 2001-09-14 | 2003-03-20 | Robertson Catrina M. | Selectively self-adjustable jewelry item and method of making same |
| US6755795B2 (en) | 2001-10-26 | 2004-06-29 | Koninklijke Philips Electronics N.V. | Selectively applied wearable medical sensors |
| US6865409B2 (en) | 2001-11-07 | 2005-03-08 | Kinesense, Inc. | Surface electromyographic electrode assembly |
| JP4391717B2 (ja) | 2002-01-09 | 2009-12-24 | 富士通マイクロエレクトロニクス株式会社 | コンタクタ及びその製造方法並びにコンタクト方法 |
| WO2003063684A2 (en) | 2002-01-25 | 2003-08-07 | Intellipatch, Inc. | Evaluation of a patient and prediction of chronic symptoms |
| JP2003220040A (ja) | 2002-01-31 | 2003-08-05 | Seiko Instruments Inc | 生体情報観測装置 |
| JP2003255993A (ja) | 2002-03-04 | 2003-09-10 | Ntt Docomo Inc | 音声認識システム、音声認識方法、音声認識プログラム、音声合成システム、音声合成方法、音声合成プログラム |
| CA2379268A1 (en) | 2002-03-26 | 2003-09-26 | Hans Kolpin | Skin impedance matched biopotential electrode |
| WO2003082103A1 (en) | 2002-03-29 | 2003-10-09 | Koninklijke Philips Electronics N.V. | A wearable monitoring system and method of manufacturing of a wearable monitoring system |
| US6942621B2 (en) | 2002-07-11 | 2005-09-13 | Ge Medical Systems Information Technologies, Inc. | Method and apparatus for detecting weak physiological signals |
| US6984208B2 (en) | 2002-08-01 | 2006-01-10 | The Hong Kong Polytechnic University | Method and apparatus for sensing body gesture, posture and movement |
| JP3831788B2 (ja) | 2002-09-11 | 2006-10-11 | 独立行政法人情報通信研究機構 | 活動筋肉表示装置 |
| DE60215504T2 (de) | 2002-10-07 | 2007-09-06 | Sony France S.A. | Verfahren und Gerät zur Analyse von Gesten eines Menschen, z.B. zur Steuerung einer Maschine durch Gestik |
| KR100506084B1 (ko) | 2002-10-24 | 2005-08-05 | 삼성전자주식회사 | 경혈점 탐색 장치 및 방법 |
| US7491892B2 (en) | 2003-03-28 | 2009-02-17 | Princeton University | Stretchable and elastic interconnects |
| US20040194500A1 (en) | 2003-04-03 | 2004-10-07 | Broadway Entertainment, Inc. | Article of jewelry |
| US7028507B2 (en) | 2003-04-03 | 2006-04-18 | Broadway Entertainment, Inc. | Article of jewelry |
| US7265298B2 (en) | 2003-05-30 | 2007-09-04 | The Regents Of The University Of California | Serpentine and corduroy circuits to enhance the stretchability of a stretchable electronic device |
| CA2529203C (en) | 2003-06-12 | 2015-03-03 | Control Bionics | Method, system, and software for interactive communication and analysis |
| US7022919B2 (en) | 2003-06-30 | 2006-04-04 | Intel Corporation | Printed circuit board trace routing method |
| US7787946B2 (en) | 2003-08-18 | 2010-08-31 | Cardiac Pacemakers, Inc. | Patient monitoring, diagnosis, and/or therapy systems and methods |
| TWI240819B (en) | 2003-08-21 | 2005-10-01 | Toppoly Optoelectronics Corp | Flexible printed circuit board (FPC) for liquid crystal display (LCD) module |
| JP4178186B2 (ja) | 2003-08-21 | 2008-11-12 | 国立大学法人 筑波大学 | 装着式動作補助装置、装着式動作補助装置の制御方法および制御用プログラム |
| EP1659940B1 (en) | 2003-08-22 | 2014-07-23 | Foster-Miller, Inc. | Physiological monitoring garment |
| US7565295B1 (en) | 2003-08-28 | 2009-07-21 | The George Washington University | Method and apparatus for translating hand gestures |
| US7574253B2 (en) | 2003-09-26 | 2009-08-11 | Northwestern University | Signal processing using non-linear regression with a sinusoidal model |
| US20050070227A1 (en) | 2003-09-30 | 2005-03-31 | Chih-Hsiang Shen | Detecting and actuating method of bluetooth devices and a control system thereof |
| US7961909B2 (en) | 2006-03-08 | 2011-06-14 | Electronic Scripting Products, Inc. | Computer interface employing a manipulated object with absolute pose detection component and a display |
| USD502662S1 (en) | 2004-02-23 | 2005-03-08 | Broadway Entertainment, Inc. | Bracelet |
| USD503646S1 (en) | 2004-02-23 | 2005-04-05 | Broadway Entertainment, Inc. | Bracelet |
| USD502661S1 (en) | 2004-02-23 | 2005-03-08 | Broadway Entertainment, Inc. | Bracelet |
| US7618260B2 (en) | 2004-02-27 | 2009-11-17 | Daniel Simon R | Wearable modular interface strap |
| KR100541958B1 (ko) | 2004-04-21 | 2006-01-10 | 삼성전자주식회사 | 연성인쇄회로기판 |
| US7173437B2 (en) | 2004-06-10 | 2007-02-06 | Quantum Applied Science And Research, Inc. | Garment incorporating embedded physiological sensors |
| US8061160B2 (en) | 2004-08-17 | 2011-11-22 | Carissa Stinespring | Adjustable fashion mechanism |
| KR100594117B1 (ko) | 2004-09-20 | 2006-06-28 | 삼성전자주식회사 | Ｈｍｄ 정보 단말기에서 생체 신호를 이용하여 키를입력하는 장치 및 방법 |
| KR100680023B1 (ko) | 2004-12-06 | 2007-02-07 | 한국전자통신연구원 | 생체신호를 이용한 착용형 휴대폰 입력 장치 및 그 제어방법 |
| US20060206167A1 (en) | 2005-01-06 | 2006-09-14 | Flaherty J C | Multi-device patient ambulation system |
| US8702629B2 (en) | 2005-03-17 | 2014-04-22 | Great Lakes Neuro Technologies Inc. | Movement disorder recovery system and method for continuous monitoring |
| US20070132785A1 (en) | 2005-03-29 | 2007-06-14 | Ebersole John F Jr | Platform for immersive gaming |
| WO2006105094A2 (en) | 2005-03-29 | 2006-10-05 | Duke University | Sensor system for identifying and tracking movements of multiple sources |
| USD535401S1 (en) | 2005-06-21 | 2007-01-16 | Biocare Systems, Inc. | Heat and light therapy device |
| US7428516B2 (en) | 2005-06-23 | 2008-09-23 | Microsoft Corporation | Handwriting recognition using neural networks |
| US8190249B1 (en) | 2005-08-01 | 2012-05-29 | Infinite Biomedical Technologies, Llc | Multi-parametric quantitative analysis of bioelectrical signals |
| US7086218B1 (en) | 2005-08-18 | 2006-08-08 | M & J - R & R Grosbard, Inc. | Linked ring structures |
| US7725147B2 (en) | 2005-09-29 | 2010-05-25 | Nellcor Puritan Bennett Llc | System and method for removing artifacts from waveforms |
| US7271774B2 (en) | 2005-10-21 | 2007-09-18 | Suunto Oy | Electronic wearable device |
| US7517725B2 (en) | 2005-11-28 | 2009-04-14 | Xci, Inc. | System and method for separating and packaging integrated circuits |
| USD543212S1 (en) | 2006-01-04 | 2007-05-22 | Sony Computer Entertainment Inc. | Object for interfacing with a computer program |
| US7809435B1 (en) | 2006-01-11 | 2010-10-05 | Iq Biolabs, Inc. | Adjustable wireless electromyography sensor and system |
| JP4826459B2 (ja) | 2006-01-12 | 2011-11-30 | 株式会社豊田中央研究所 | 筋骨格モデル作成方法、人体応力／ひずみ推定方法、プログラムおよび記録媒体 |
| US8762733B2 (en) | 2006-01-30 | 2014-06-24 | Adidas Ag | System and method for identity confirmation using physiologic biometrics to determine a physiologic fingerprint |
| US7580742B2 (en) | 2006-02-07 | 2009-08-25 | Microsoft Corporation | Using electroencephalograph signals for task classification and activity recognition |
| US7827000B2 (en) | 2006-03-03 | 2010-11-02 | Garmin Switzerland Gmbh | Method and apparatus for estimating a motion parameter |
| US8311623B2 (en) | 2006-04-15 | 2012-11-13 | The Board Of Trustees Of The Leland Stanford Junior University | Systems and methods for estimating surface electromyography |
| US7636549B2 (en) | 2006-04-21 | 2009-12-22 | Abbott Medical Optics Inc. | Automated bonding for wireless devices |
| EP2010053A4 (en) | 2006-04-21 | 2010-05-12 | Quantum Applied Science And Re | SYSTEM FOR MEASURING ELECTRIC SIGNALS |
| US7558622B2 (en) | 2006-05-24 | 2009-07-07 | Bao Tran | Mesh network stroke monitoring appliance |
| GB2453263A (en) | 2006-05-16 | 2009-04-01 | Douglas S Greer | System and method for modeling the neocortex and uses therefor |
| US7661068B2 (en) | 2006-06-12 | 2010-02-09 | Microsoft Corporation | Extended eraser functions |
| US9405372B2 (en) | 2006-07-14 | 2016-08-02 | Ailive, Inc. | Self-contained inertial navigation system for interactive control using movable controllers |
| GB0614261D0 (en) | 2006-07-18 | 2006-08-30 | Univ Sussex The | Electric Potential Sensor |
| US7844310B2 (en) | 2006-07-20 | 2010-11-30 | L3 Communications Corporation | Wearable communication device with contoured back |
| US7848797B2 (en) | 2006-08-17 | 2010-12-07 | Neurometrix, Inc. | Motor unit number estimation (MUNE) for the assessment of neuromuscular function |
| US8437844B2 (en) | 2006-08-21 | 2013-05-07 | Holland Bloorview Kids Rehabilitation Hospital | Method, system and apparatus for real-time classification of muscle signals from self-selected intentional movements |
| JP4267648B2 (ja) | 2006-08-25 | 2009-05-27 | 株式会社東芝 | インターフェース装置及びその方法 |
| US8212859B2 (en) | 2006-10-13 | 2012-07-03 | Apple Inc. | Peripheral treatment for head-mounted displays |
| US7885732B2 (en) | 2006-10-25 | 2011-02-08 | The Boeing Company | Systems and methods for haptics-enabled teleoperation of vehicles and other devices |
| US8082149B2 (en) | 2006-10-26 | 2011-12-20 | Biosensic, Llc | Methods and apparatuses for myoelectric-based speech processing |
| US20080136775A1 (en) | 2006-12-08 | 2008-06-12 | Conant Carson V | Virtual input device for computing |
| US20080221487A1 (en) * | 2007-03-07 | 2008-09-11 | Motek Bv | Method for real time interactive visualization of muscle forces and joint torques in the human body |
| EP1970005B1 (en) | 2007-03-15 | 2012-10-03 | Xsens Holding B.V. | A system and a method for motion tracking using a calibration unit |
| ATE513508T1 (de) | 2007-04-24 | 2011-07-15 | Koninkl Philips Electronics Nv | Sensoranordnung und verfahren zur überwachung physiologischer parameter |
| FR2916069B1 (fr) | 2007-05-11 | 2009-07-31 | Commissariat Energie Atomique | Procede de traitement pour la capture de mouvement d'une structure articulee |
| US8718742B2 (en) | 2007-05-24 | 2014-05-06 | Hmicro, Inc. | Integrated wireless patch for physiological monitoring |
| US20090007597A1 (en) | 2007-07-02 | 2009-01-08 | Hanevold Gail F | Body attached band with removal visual image pockets |
| JP2010533559A (ja) | 2007-07-16 | 2010-10-28 | サンライズ メディカル エイチエイチジー インコーポレイテッド | 生理的データ収集システム |
| DE102007044554B3 (de) | 2007-07-18 | 2009-07-16 | Siemens Ag | Sensorband mit optischer Sensorfaser, Sensor mit diesem Sensorband und Verfahren zum Kalibrieren einer optischen Sensorfaser |
| US8726194B2 (en) | 2007-07-27 | 2014-05-13 | Qualcomm Incorporated | Item selection using enhanced control |
| JP5057070B2 (ja) | 2007-07-31 | 2012-10-24 | 株式会社エクォス・リサーチ | 心電センサー |
| US7925100B2 (en) | 2007-07-31 | 2011-04-12 | Microsoft Corporation | Tiled packaging of vector image data |
| US20090031757A1 (en) | 2007-08-01 | 2009-02-05 | Funki Llc | Modular toy bracelet |
| JP4434247B2 (ja) | 2007-08-10 | 2010-03-17 | ソニー株式会社 | リモートコントローラ、リモートコントロールシステムおよびリモートコントロール方法 |
| WO2009026289A2 (en) | 2007-08-20 | 2009-02-26 | Hmicro, Inc. | Wearable user interface device, system, and method of use |
| WO2009042579A1 (en) | 2007-09-24 | 2009-04-02 | Gesturetek, Inc. | Enhanced interface for voice and video communications |
| US20090082692A1 (en) | 2007-09-25 | 2009-03-26 | Hale Kelly S | System And Method For The Real-Time Evaluation Of Time-Locked Physiological Measures |
| US7714757B2 (en) | 2007-09-26 | 2010-05-11 | Medtronic, Inc. | Chopper-stabilized analog-to-digital converter |
| US8343079B2 (en) | 2007-10-18 | 2013-01-01 | Innovative Surgical Solutions, Llc | Neural monitoring sensor |
| WO2009052621A1 (en) | 2007-10-22 | 2009-04-30 | D-Wave Systems Inc. | Systems, methods, and apparatus for electrical filters and input/output systems |
| FI20075798A0 (fi) | 2007-11-12 | 2007-11-12 | Polar Electro Oy | Elektrodirakenne |
| GB0800144D0 (en) | 2008-01-04 | 2008-02-13 | Fitzpatrick Adam P | Electrocardiographic device and method |
| US8355671B2 (en) | 2008-01-04 | 2013-01-15 | Kopin Corporation | Method and apparatus for transporting video signal over Bluetooth wireless interface |
| US10969917B2 (en) | 2008-01-30 | 2021-04-06 | Apple Inc. | Auto scanning for multiple frequency stimulation multi-touch sensor panels |
| US9597015B2 (en) | 2008-02-12 | 2017-03-21 | Portland State University | Joint angle tracking with inertial sensors |
| WO2009119168A1 (ja) | 2008-03-28 | 2009-10-01 | シャープ株式会社 | 遠隔操作装置、操作対象装置、遠隔操作装置の制御方法、操作対象装置の制御方法、及び遠隔操作システム |
| US20090251407A1 (en) | 2008-04-03 | 2009-10-08 | Microsoft Corporation | Device interaction with combination of rings |
| JP5580292B2 (ja) | 2008-05-01 | 2014-08-27 | スリーエム イノベイティブ プロパティズ カンパニー | 伸縮性伝導コネクタ |
| US20100030532A1 (en) | 2008-06-12 | 2010-02-04 | Jasbir Arora | System and methods for digital human model prediction and simulation |
| JP2010000283A (ja) | 2008-06-23 | 2010-01-07 | Shimadzu Corp | リアルタイム同時計測システム、リアルタイム同時計測装置、リアルタイム同時計測方法、およびプログラム |
| US8207473B2 (en) | 2008-06-24 | 2012-06-26 | Imec | Method for manufacturing a stretchable electronic device |
| US8447704B2 (en) * | 2008-06-26 | 2013-05-21 | Microsoft Corporation | Recognizing gestures from forearm EMG signals |
| US8170656B2 (en) | 2008-06-26 | 2012-05-01 | Microsoft Corporation | Wearable electromyography-based controllers for human-computer interface |
| US9037530B2 (en) | 2008-06-26 | 2015-05-19 | Microsoft Technology Licensing, Llc | Wearable electromyography-based human-computer interface |
| AU2009267790B2 (en) | 2008-07-07 | 2014-09-18 | Heard Systems Pty Ltd | A system for sensing electrophysiological signals |
| US20110263398A1 (en) | 2008-07-29 | 2011-10-27 | James Brent Klassen | Balance training system |
| US8389862B2 (en) | 2008-10-07 | 2013-03-05 | Mc10, Inc. | Extremely stretchable electronics |
| US9393418B2 (en) | 2011-06-03 | 2016-07-19 | Great Lakes Neuro Technologies Inc. | Movement disorder therapy system, devices and methods of tuning |
| US8647287B2 (en) | 2008-12-07 | 2014-02-11 | Andrew Greenberg | Wireless synchronized movement monitoring apparatus and system |
| US9439566B2 (en) | 2008-12-15 | 2016-09-13 | Proteus Digital Health, Inc. | Re-wearable wireless device |
| US7870211B2 (en) | 2008-12-23 | 2011-01-11 | At&T Mobility Ii Llc | Conversation message routing supporting dynamic class transitions |
| EP2392196B1 (en) | 2009-01-30 | 2018-08-22 | IMEC vzw | Stretchable electronic device |
| WO2010086033A1 (en) | 2009-01-30 | 2010-08-05 | Interuniversitair Microelektronica Centrum Vzw | Stretchable electronic device |
| US8444564B2 (en) | 2009-02-02 | 2013-05-21 | Jointvue, Llc | Noninvasive diagnostic system |
| USD661613S1 (en) | 2009-02-19 | 2012-06-12 | 1922 Manifatture Preziose Torino SpA | Jewelry |
| US20100228487A1 (en) | 2009-03-05 | 2010-09-09 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Postural information system and method |
| US20100249635A1 (en) | 2009-03-26 | 2010-09-30 | Cordial Medical Europe B.V. | Hearing screening system for a subject or a patient, and a method for hearing screening |
| EP2236078A1 (en) | 2009-04-02 | 2010-10-06 | Koninklijke Philips Electronics N.V. | Processing a bio-physiological signal |
| EP2427109A4 (en) | 2009-05-07 | 2015-01-07 | Massachusetts Eye & Ear Infirm | SIGNAL PROCESSING FOR PHYSIOLOGICAL NOISE |
| WO2010131267A1 (en) | 2009-05-15 | 2010-11-18 | Nox Medical | System and methods using flexible capacitive electrodes for measuring biosignals |
| US8376968B2 (en) | 2009-05-15 | 2013-02-19 | The Hong Kong Polytechnic University | Method and system for quantifying an intention of movement of a user |
| US20100315266A1 (en) | 2009-06-15 | 2010-12-16 | Microsoft Corporation | Predictive interfaces with usability constraints |
| US8427977B2 (en) | 2009-06-23 | 2013-04-23 | CSC Holdings, LLC | Wireless network polling and data warehousing |
| AU2009348759B2 (en) | 2009-06-26 | 2013-10-03 | T&W Engineering A/S | EEG monitoring apparatus and method for presenting messages therein |
| WO2011008459A2 (en) | 2009-06-29 | 2011-01-20 | Infinite Corridor Technology, Llc | Structured material substrates for flexible, stretchable electronics |
| CN102573620B (zh) | 2009-07-30 | 2014-10-22 | 开普敦大学 | 非介入式深层肌肉肌电描记 |
| US8718980B2 (en) | 2009-09-11 | 2014-05-06 | Qualcomm Incorporated | Method and apparatus for artifacts mitigation with multiple wireless sensors |
| FR2950713A1 (fr) | 2009-09-29 | 2011-04-01 | Movea Sa | Systeme et procede de reconnaissance de gestes |
| US20110077484A1 (en) | 2009-09-30 | 2011-03-31 | Nellcor Puritan Bennett Ireland | Systems And Methods For Identifying Non-Corrupted Signal Segments For Use In Determining Physiological Parameters |
| TWI496558B (zh) | 2009-10-20 | 2015-08-21 | Tatung Co | 使用二極電極貼片量測心電圖與呼吸訊號之系統及方法 |
| KR101708682B1 (ko) | 2010-03-03 | 2017-02-21 | 엘지전자 주식회사 | 영상표시장치 및 그 동작 방법. |
| US8421634B2 (en) | 2009-12-04 | 2013-04-16 | Microsoft Corporation | Sensing mechanical energy to appropriate the body for data input |
| US8620361B2 (en) | 2009-12-08 | 2013-12-31 | At&T Mobility Ii Llc | Intelligent routing of SMS and MMS messages to short codes |
| WO2011070554A2 (en) | 2009-12-13 | 2011-06-16 | Ringbow Ltd. | Finger-worn input devices and methods of use |
| US20120283526A1 (en) | 2009-12-16 | 2012-11-08 | Ictalcare A/S | Method and a System for the Prediction of Epileptic Seizures |
| US20110151974A1 (en) | 2009-12-18 | 2011-06-23 | Microsoft Corporation | Gesture style recognition and reward |
| US9268404B2 (en) | 2010-01-08 | 2016-02-23 | Microsoft Technology Licensing, Llc | Application gesture interpretation |
| US8631355B2 (en) | 2010-01-08 | 2014-01-14 | Microsoft Corporation | Assigning gesture dictionaries |
| JP5471490B2 (ja) | 2010-01-20 | 2014-04-16 | オムロンヘルスケア株式会社 | 体動検出装置 |
| CN102740767B (zh) | 2010-02-01 | 2015-11-25 | 唯听助听器公司 | 能够进行无线通信的便携式eeg监控系统 |
| CN102771047B (zh) | 2010-02-25 | 2014-12-03 | 夏普株式会社 | 偏置电路、lna、lnb、通信用接收机、通信用发送机及传感器系统 |
| US20110213278A1 (en) | 2010-02-26 | 2011-09-01 | Apdm, Inc. | Movement monitoring system and apparatus for objective assessment of movement disorders |
| US20110224498A1 (en) | 2010-03-10 | 2011-09-15 | Sotera Wireless, Inc. | Body-worn vital sign monitor |
| WO2011113478A1 (de) | 2010-03-16 | 2011-09-22 | Carlo Trugenberger | Authentifizierungssystem, verfahren zur authentifizierung eines objekts, vorrichtung zur erzeugung einer identifikationseinrichtung, verfahren zur erzeugung einer identifikationseinrichtung |
| KR101114870B1 (ko) | 2010-03-22 | 2012-03-06 | (주)헤리트 | 지능형 ｌｅｄ 조명 제어 시스템 및 제어 방법 |
| US20110248914A1 (en) | 2010-04-11 | 2011-10-13 | Sherr Alan B | System and Method for Virtual Touch Typing |
| CN103109462A (zh) | 2010-04-16 | 2013-05-15 | 尼古拉斯·J.·马斯坦德雷亚 | 可佩戴式动作感测计算接口 |
| JP5702947B2 (ja) | 2010-04-22 | 2015-04-15 | 矢崎総業株式会社 | 配線材 |
| US8351651B2 (en) | 2010-04-26 | 2013-01-08 | Microsoft Corporation | Hand-location post-process refinement in a tracking system |
| KR101130697B1 (ko) | 2010-05-07 | 2012-04-02 | 삼성전자주식회사 | 복수 층의 신축성 배선 |
| WO2011150407A2 (en) | 2010-05-28 | 2011-12-01 | The Regents Of The University Of California | Cell-phone based wireless and mobile brain-machine interface |
| US20110313762A1 (en) | 2010-06-20 | 2011-12-22 | International Business Machines Corporation | Speech output with confidence indication |
| USD643428S1 (en) | 2010-07-07 | 2011-08-16 | Iota, Inc. | Wearable mobile accessory |
| US8754862B2 (en) | 2010-07-11 | 2014-06-17 | Lester F. Ludwig | Sequential classification recognition of gesture primitives and window-based parameter smoothing for high dimensional touchpad (HDTP) user interfaces |
| FR2962821B1 (fr) | 2010-07-13 | 2013-02-22 | Commissariat Energie Atomique | Procede et systeme de classification de signaux neuronaux, et procede de selection d'electrodes pour commande neuronale directe. |
| US20140052150A1 (en) | 2010-08-02 | 2014-02-20 | The Johns Hopkins University | Method for presenting force sensor information using cooperative robot control and audio feedback |
| US20120066163A1 (en) | 2010-09-13 | 2012-03-15 | Nottingham Trent University | Time to event data analysis method and system |
| US20130123656A1 (en) | 2010-11-15 | 2013-05-16 | Sandy L. Heck | Control System and Apparatus Utilizing Signals Originating in the Periauricular Neuromuscular System |
| US10244988B2 (en) | 2010-12-16 | 2019-04-02 | Nokia Technologies Oy | Method, apparatus and computer program of using a bio-signal profile |
| US20120203076A1 (en) | 2011-02-08 | 2012-08-09 | Jean Pierre Fatta | Portable Physiological Data Monitoring Device |
| KR101448106B1 (ko) | 2011-02-17 | 2014-10-08 | 주식회사 라이프사이언스테크놀로지 | 무구속 근전도 신호를 이용한 재활상태 분석방법 |
| KR101206280B1 (ko) | 2011-02-28 | 2012-11-29 | (주)락싸 | 전기적 비접촉 전위 센서 회로 |
| USD646192S1 (en) | 2011-03-11 | 2011-10-04 | Jamie Renae Woode | Bracelet |
| US20120265090A1 (en) | 2011-04-13 | 2012-10-18 | Fink Rainer J | System and method of acquiring uterine emg signals and wirelessly transmitting the same |
| WO2012155157A1 (en) | 2011-05-06 | 2012-11-15 | Azoteq (Pty) Ltd | Multiple media capacitive sensor |
| US9330499B2 (en) | 2011-05-20 | 2016-05-03 | Microsoft Technology Licensing, Llc | Event augmentation with real-time information |
| US8203502B1 (en) | 2011-05-25 | 2012-06-19 | Google Inc. | Wearable heads-up display with integrated finger-tracking input sensor |
| US9018532B2 (en) | 2011-06-09 | 2015-04-28 | Multi-Fineline Electronix, Inc. | Stretchable circuit assemblies |
| US20130198694A1 (en) | 2011-06-10 | 2013-08-01 | Aliphcom | Determinative processes for wearable devices |
| US8879276B2 (en) | 2011-06-15 | 2014-11-04 | Power Gold LLC | Flexible circuit assembly and method thereof |
| WO2012175785A1 (en) | 2011-06-20 | 2012-12-27 | Nokia Corporation | Methods, apparatuses and computer program products for performing accurate pose estimation of objects |
| US9089270B2 (en) | 2011-06-29 | 2015-07-28 | Lg Electronics Inc. | Terminal and control method thereof |
| US9128521B2 (en) | 2011-07-13 | 2015-09-08 | Lumo Bodytech, Inc. | System and method of biomechanical posture detection and feedback including sensor normalization |
| US8179604B1 (en) | 2011-07-13 | 2012-05-15 | Google Inc. | Wearable marker for passive interaction |
| US9707393B2 (en) | 2011-08-26 | 2017-07-18 | National Yunlin University Of Science And Technology | Feedback-control wearable upper-limb electrical stimulation device |
| USD654622S1 (en) | 2011-09-15 | 2012-02-21 | Shih-Ling Hsu | Hair band |
| WO2013093906A1 (en) | 2011-09-19 | 2013-06-27 | Eyesight Mobile Technologies Ltd. | Touch free interface for augmented reality systems |
| US20130080794A1 (en) | 2011-09-24 | 2013-03-28 | Jawbone Industrial Co., Ltd. | Wireless controller with universal serial bus and system having the same |
| US20130271292A1 (en) | 2011-10-09 | 2013-10-17 | James Andrew McDermott | Driver Alert and Monitoring System |
| FR2981561B1 (fr) | 2011-10-21 | 2015-03-20 | Commissariat Energie Atomique | Procede de detection d'activite a capteur de mouvements, dispositif et programme d'ordinateur correspondants |
| US8467270B2 (en) | 2011-10-26 | 2013-06-18 | Google Inc. | Smart-watch with user interface features |
| ITTO20111024A1 (it) | 2011-11-08 | 2013-05-09 | Bitron Spa | Dispositivo di misura per segnali elettromiografici ad alta risoluzione e elevato numero di canali. |
| WO2013071285A1 (en) | 2011-11-11 | 2013-05-16 | Rutgers, The State University Of New Jersey | Methods for the diagnosis and treatment of neurological disorders |
| US8704882B2 (en) | 2011-11-18 | 2014-04-22 | L-3 Communications Corporation | Simulated head mounted display system and method |
| US9152376B2 (en) | 2011-12-01 | 2015-10-06 | At&T Intellectual Property I, L.P. | System and method for continuous multimodal speech and gesture interaction |
| US10430066B2 (en) | 2011-12-06 | 2019-10-01 | Nri R&D Patent Licensing, Llc | Gesteme (gesture primitive) recognition for advanced touch user interfaces |
| TWI446896B (zh) | 2011-12-23 | 2014-08-01 | Ind Tech Res Inst | 肌能參數感測器 |
| US8971023B2 (en) | 2012-03-21 | 2015-03-03 | Google Inc. | Wearable computing device frame |
| US20130191741A1 (en) | 2012-01-24 | 2013-07-25 | Motorola Mobility, Inc. | Methods and Apparatus for Providing Feedback from an Electronic Device |
| US10188307B2 (en) | 2012-02-23 | 2019-01-29 | Bio-Signal Group Corp. | Shielded multi-channel EEG headset systems and methods |
| US8970571B1 (en) | 2012-03-13 | 2015-03-03 | Google Inc. | Apparatus and method for display lighting adjustment |
| US8922481B1 (en) | 2012-03-16 | 2014-12-30 | Google Inc. | Content annotation |
| USD682727S1 (en) | 2012-03-27 | 2013-05-21 | Bulgari S.P.A. | Bracelet |
| JP2013206273A (ja) | 2012-03-29 | 2013-10-07 | Sony Corp | 情報処理装置、情報処理方法、および情報処理システム |
| US10130298B2 (en) | 2012-04-03 | 2018-11-20 | Carnegie Mellon University | Musculoskeletal activity recognition system and method |
| US9170674B2 (en) | 2012-04-09 | 2015-10-27 | Qualcomm Incorporated | Gesture-based device control using pressure-sensitive sensors |
| US8994672B2 (en) | 2012-04-09 | 2015-03-31 | Sony Corporation | Content transfer via skin input |
| US9221177B2 (en) | 2012-04-18 | 2015-12-29 | Massachusetts Institute Of Technology | Neuromuscular model-based sensing and control paradigm for a robotic leg |
| USD716457S1 (en) | 2012-05-23 | 2014-10-28 | Neurometrix, Inc. | Transcutaneous electrical nerve stimulation device |
| WO2013177592A2 (en) | 2012-05-25 | 2013-11-28 | Emotiv Lifesciences, Inc. | System and method for providing and aggregating biosignals and action data |
| US20130332196A1 (en) | 2012-06-07 | 2013-12-12 | The Government Of The United States As Represented By The Secretary Of The Army | Diabetes Monitoring Using Smart Device |
| US20150366504A1 (en) | 2014-06-20 | 2015-12-24 | Medibotics Llc | Electromyographic Clothing |
| US10921886B2 (en) | 2012-06-14 | 2021-02-16 | Medibotics Llc | Circumferential array of electromyographic (EMG) sensors |
| US9891718B2 (en) | 2015-04-22 | 2018-02-13 | Medibotics Llc | Devices for measuring finger motion and recognizing hand gestures |
| US9814426B2 (en) | 2012-06-14 | 2017-11-14 | Medibotics Llc | Mobile wearable electromagnetic brain activity monitor |
| US9582072B2 (en) | 2013-09-17 | 2017-02-28 | Medibotics Llc | Motion recognition clothing [TM] with flexible electromagnetic, light, or sonic energy pathways |
| US9536449B2 (en) | 2013-05-23 | 2017-01-03 | Medibotics Llc | Smart watch and food utensil for monitoring food consumption |
| US8954135B2 (en) | 2012-06-22 | 2015-02-10 | Fitbit, Inc. | Portable biometric monitoring devices and methods of operating same |
| US9615447B2 (en) | 2012-07-23 | 2017-04-04 | Zhuhai Advanced Chip Carriers & Electronic Substrate Solutions Technologies Co. Ltd. | Multilayer electronic support structure with integral constructional elements |
| US8484022B1 (en) | 2012-07-27 | 2013-07-09 | Google Inc. | Adaptive auto-encoders |
| EP2698686B1 (en) | 2012-07-27 | 2018-10-10 | LG Electronics Inc. | Wrist-wearable terminal and control method thereof |
| US20150182165A1 (en) | 2012-08-03 | 2015-07-02 | Neurotopia, Inc. | Neurophysiological training headset |
| US9729687B2 (en) | 2012-08-10 | 2017-08-08 | Silverplus, Inc. | Wearable communication device |
| USD689862S1 (en) | 2012-08-15 | 2013-09-17 | Kye Systems Corp. | Ring mouse |
| US20140049417A1 (en) | 2012-08-20 | 2014-02-20 | Playtabase, LLC | Wireless motion activated command transfer device, system, and method |
| US8895865B2 (en) | 2012-09-07 | 2014-11-25 | Conor P. Lenahan | Conductive connections allowing XYZ translation |
| US9211417B2 (en) | 2012-09-10 | 2015-12-15 | Great Lakes Neurotechnologies Inc | Movement disorder therapy system, devices and methods, and intelligent methods of tuning |
| US10824310B2 (en) | 2012-12-20 | 2020-11-03 | Sri International | Augmented reality virtual personal assistant for external representation |
| CN203252647U (zh) | 2012-09-29 | 2013-10-30 | 艾利佛公司 | 用于判定生理特征的可佩带的设备 |
| US10234941B2 (en) | 2012-10-04 | 2019-03-19 | Microsoft Technology Licensing, Llc | Wearable sensor for tracking articulated body-parts |
| USD695454S1 (en) | 2012-10-24 | 2013-12-10 | Patricia Lynn Moore | Hair holding device |
| CN105050487B (zh) | 2012-10-26 | 2018-04-06 | 耐克创新有限合伙公司 | 利用心率信息的运动表现监测系统 |
| KR102043703B1 (ko) | 2012-11-12 | 2019-11-12 | 한국전자통신연구원 | 신축성 박막트랜지스터의 제조방법 |
| US9477313B2 (en) | 2012-11-20 | 2016-10-25 | Samsung Electronics Co., Ltd. | User gesture input to wearable electronic device involving outward-facing sensor of device |
| US9182826B2 (en) | 2012-11-21 | 2015-11-10 | Intel Corporation | Gesture-augmented speech recognition |
| US9351653B1 (en) | 2012-11-29 | 2016-05-31 | Intan Technologies, LLC | Multi-channel reconfigurable systems and methods for sensing biopotential signals |
| WO2014085910A1 (en) | 2012-12-04 | 2014-06-12 | Interaxon Inc. | System and method for enhancing content using brain-state data |
| US9042829B2 (en) | 2013-01-04 | 2015-05-26 | Nokia Corporation | Method, apparatus, and computer program product for wireless short-range communication |
| US20140196131A1 (en) | 2013-01-07 | 2014-07-10 | Salutron, Inc. | User authentication based on a wrist vein pattern |
| US9092664B2 (en) | 2013-01-14 | 2015-07-28 | Qualcomm Incorporated | Use of EMG for subtle gesture recognition on surfaces |
| US10528135B2 (en) | 2013-01-14 | 2020-01-07 | Ctrl-Labs Corporation | Wearable muscle interface systems, devices and methods that interact with content displayed on an electronic display |
| US9459697B2 (en) | 2013-01-15 | 2016-10-04 | Leap Motion, Inc. | Dynamic, free-space user interactions for machine control |
| US9211073B2 (en) | 2013-02-20 | 2015-12-15 | Tosense, Inc. | Necklace-shaped physiological monitor |
| KR102330889B1 (ko) | 2013-02-22 | 2021-11-26 | 페이스북 테크놀로지스, 엘엘씨 | 제스처-기반 제어를 위해 근활성도 센서 신호와 관성 센서 신호를 결합하는 방법 및 기기 |
| US20140245200A1 (en) | 2013-02-25 | 2014-08-28 | Leap Motion, Inc. | Display control with gesture-selectable control paradigms |
| US20140249397A1 (en) | 2013-03-01 | 2014-09-04 | Thalmic Labs Inc. | Differential non-contact biopotential sensor |
| US20140257141A1 (en) | 2013-03-05 | 2014-09-11 | Great Lakes Neurotechnologies Inc. | Movement disorder monitoring and symptom quantification system and method |
| US20140334653A1 (en) | 2013-03-14 | 2014-11-13 | Aliphcom | Combination speaker and light source responsive to state(s) of an organism based on sensor data |
| US20150182163A1 (en) | 2013-12-31 | 2015-07-02 | Aliphcom | Wearable device to detect inflamation |
| US20140285326A1 (en) | 2013-03-15 | 2014-09-25 | Aliphcom | Combination speaker and light source responsive to state(s) of an organism based on sensor data |
| US9146730B2 (en) | 2013-03-15 | 2015-09-29 | Netgear, Inc. | System and method for remotely updating cable modem software |
| US9361411B2 (en) | 2013-03-15 | 2016-06-07 | Honeywell International, Inc. | System and method for selecting a respirator |
| US9766709B2 (en) | 2013-03-15 | 2017-09-19 | Leap Motion, Inc. | Dynamic user interactions for display control |
| US20140277622A1 (en) | 2013-03-15 | 2014-09-18 | First Principles, Inc. | System and method for bio-signal control of an electronic device |
| US9436287B2 (en) | 2013-03-15 | 2016-09-06 | Qualcomm Incorporated | Systems and methods for switching processing modes using gestures |
| IN2013MU01148A (zh) | 2013-03-26 | 2015-04-24 | Tata Consultancy Services Ltd | |
| US20140299362A1 (en) | 2013-04-04 | 2014-10-09 | Electronics And Telecommunications Research Institute | Stretchable electric device and manufacturing method thereof |
| US10620709B2 (en) | 2013-04-05 | 2020-04-14 | Ultrahaptics IP Two Limited | Customized gesture interpretation |
| US9717440B2 (en) | 2013-05-03 | 2017-08-01 | The Florida International University Board Of Trustees | Systems and methods for decoding intended motor commands from recorded neural signals for the control of external devices or to interact in virtual environments |
| KR102043200B1 (ko) | 2013-05-07 | 2019-11-11 | 엘지전자 주식회사 | 스마트 워치 및 제어 방법 |
| US9582317B2 (en) | 2013-05-10 | 2017-02-28 | Samsung Electronics Co., Ltd. | Method of using use log of portable terminal and apparatus using the same |
| WO2014186370A1 (en) | 2013-05-13 | 2014-11-20 | Thalmic Labs Inc. | Systems, articles and methods for wearable electronic devices that accommodate different user forms |
| US9706647B2 (en) | 2013-05-14 | 2017-07-11 | Mc10, Inc. | Conformal electronics including nested serpentine interconnects |
| US10314506B2 (en) | 2013-05-15 | 2019-06-11 | Polar Electro Oy | Heart activity sensor structure |
| USD741855S1 (en) | 2013-05-16 | 2015-10-27 | Samsung Electronics Co., Ltd. | Smart watch |
| USD750623S1 (en) | 2013-05-16 | 2016-03-01 | Samsung Electronics Co., Ltd. | Smart watch |
| US10620775B2 (en) | 2013-05-17 | 2020-04-14 | Ultrahaptics IP Two Limited | Dynamic interactive objects |
| US9395810B2 (en) | 2013-05-28 | 2016-07-19 | The Boeing Company | Ubiquitous natural user system |
| US9904356B2 (en) | 2013-05-28 | 2018-02-27 | The Boeing Company | Tracking a user to support tasks performed on complex-system components |
| US9218574B2 (en) | 2013-05-29 | 2015-12-22 | Purepredictive, Inc. | User interface for machine learning |
| KR20160016925A (ko) | 2013-05-31 | 2016-02-15 | 프레지던트 앤드 펠로우즈 오브 하바드 칼리지 | 인간 모션과의 보조를 위한 소프트 엑소슈트 |
| US9383819B2 (en) | 2013-06-03 | 2016-07-05 | Daqri, Llc | Manipulation of virtual object in augmented reality via intent |
| EP3003149A4 (en) | 2013-06-03 | 2017-06-14 | Kacyvenski, Isaiah | Motion sensor and analysis |
| KR101933921B1 (ko) | 2013-06-03 | 2018-12-31 | 삼성전자주식회사 | 포즈 추정 방법 및 장치 |
| US11083402B2 (en) | 2013-06-04 | 2021-08-10 | Medtronic, Inc. | Patient state determination based on one or more spectral characteristics of a bioelectrical brain signal |
| KR101501661B1 (ko) | 2013-06-10 | 2015-03-12 | 한국과학기술연구원 | 착용형 근전도 센서 시스템 |
| KR102131358B1 (ko) | 2013-06-17 | 2020-07-07 | 삼성전자주식회사 | 유저 인터페이스 장치 및 유저 인터페이스 장치의 동작 방법 |
| WO2014204330A1 (en) | 2013-06-17 | 2014-12-24 | 3Divi Company | Methods and systems for determining 6dof location and orientation of head-mounted display and associated user movements |
| US20140376773A1 (en) | 2013-06-21 | 2014-12-25 | Leap Motion, Inc. | Tunable operational parameters in motion-capture and touchless interface operation |
| CA2913483A1 (en) | 2013-06-21 | 2014-12-24 | Mc10, Inc. | Band with conformable electronics |
| US10402517B2 (en) | 2013-06-26 | 2019-09-03 | Dassault Systémes Simulia Corp. | Musculo-skeletal modeling using finite element analysis, process integration, and design optimization |
| US9146618B2 (en) | 2013-06-28 | 2015-09-29 | Google Inc. | Unlocking a head mounted device |
| US9408316B2 (en) | 2013-07-22 | 2016-08-02 | Thalmic Labs Inc. | Systems, articles and methods for strain mitigation in wearable electronic devices |
| US20150029092A1 (en) | 2013-07-23 | 2015-01-29 | Leap Motion, Inc. | Systems and methods of interpreting complex gestures |
| US10042422B2 (en) | 2013-11-12 | 2018-08-07 | Thalmic Labs Inc. | Systems, articles, and methods for capacitive electromyography sensors |
| US11426123B2 (en) | 2013-08-16 | 2022-08-30 | Meta Platforms Technologies, Llc | Systems, articles and methods for signal routing in wearable electronic devices that detect muscle activity of a user using a set of discrete and separately enclosed pod structures |
| US20150124566A1 (en) | 2013-10-04 | 2015-05-07 | Thalmic Labs Inc. | Systems, articles and methods for wearable electronic devices employing contact sensors |
| US20150057770A1 (en) | 2013-08-23 | 2015-02-26 | Thaimic Labs Inc. | Systems, articles, and methods for human-electronics interfaces |
| US9788789B2 (en) | 2013-08-30 | 2017-10-17 | Thalmic Labs Inc. | Systems, articles, and methods for stretchable printed circuit boards |
| JP6600310B2 (ja) | 2013-09-04 | 2019-10-30 | エシロール エンテルナショナル | シースルー頭部装着型装置に基づいたナビゲーション方法 |
| US9372535B2 (en) | 2013-09-06 | 2016-06-21 | Thalmic Labs Inc. | Systems, articles, and methods for electromyography-based human-electronics interfaces |
| WO2015033737A1 (ja) | 2013-09-06 | 2015-03-12 | 株式会社村田製作所 | 多層基板 |
| US9483123B2 (en) | 2013-09-23 | 2016-11-01 | Thalmic Labs Inc. | Systems, articles, and methods for gesture identification in wearable electromyography devices |
| EP3048955A2 (en) | 2013-09-25 | 2016-08-03 | MindMaze SA | Physiological parameter measurement and feedback system |
| JP2016536050A (ja) | 2013-10-14 | 2016-11-24 | ナイキ イノベイト シーブイ | アスレチック運動属性からのペースとエネルギー消費量の計算 |
| US9389694B2 (en) | 2013-10-22 | 2016-07-12 | Thalmic Labs Inc. | Systems, articles, and methods for gesture identification in wearable electromyography devices |
| CN103777752A (zh) | 2013-11-02 | 2014-05-07 | 上海威璞电子科技有限公司 | 基于手臂肌肉电流检测和运动传感器的手势识别设备 |
| US9594433B2 (en) | 2013-11-05 | 2017-03-14 | At&T Intellectual Property I, L.P. | Gesture-based controls via bone conduction |
| EP3068349A4 (en) | 2013-11-13 | 2017-12-13 | Hrl Laboratories, Llc | System for controlling brain machine interfaces and neural prosthetic systems |
| WO2015081113A1 (en) | 2013-11-27 | 2015-06-04 | Cezar Morun | Systems, articles, and methods for electromyography sensors |
| US20150157944A1 (en) | 2013-12-06 | 2015-06-11 | Glenn I. Gottlieb | Software Application for Generating a Virtual Simulation for a Sport-Related Activity |
| US9367086B2 (en) | 2013-12-10 | 2016-06-14 | Atmel Corporation | Smart watch with adaptive touch screen |
| US9367139B2 (en) | 2013-12-12 | 2016-06-14 | Thalmic Labs Inc. | Systems, articles, and methods for gesture identification in wearable electromyography devices |
| US9971412B2 (en) | 2013-12-20 | 2018-05-15 | Lenovo (Singapore) Pte. Ltd. | Enabling device features according to gesture input |
| US9640181B2 (en) | 2013-12-27 | 2017-05-02 | Kopin Corporation | Text editing with gesture control and natural speech |
| USD751065S1 (en) | 2013-12-28 | 2016-03-08 | Intel Corporation | Wearable computing device |
| KR20150077684A (ko) | 2013-12-30 | 2015-07-08 | 삼성전자주식회사 | 생체 신호 기반 기능 운용 방법 및 이를 지원하는 전자 장치 |
| US20150182130A1 (en) | 2013-12-31 | 2015-07-02 | Aliphcom | True resting heart rate |
| US9524580B2 (en) | 2014-01-06 | 2016-12-20 | Oculus Vr, Llc | Calibration of virtual reality systems |
| US9659403B1 (en) | 2014-01-06 | 2017-05-23 | Leap Motion, Inc. | Initializing orientation in space for predictive information for free space gesture control and communication |
| US9613262B2 (en) | 2014-01-15 | 2017-04-04 | Leap Motion, Inc. | Object detection and tracking for providing a virtual device experience |
| WO2015123445A1 (en) | 2014-02-14 | 2015-08-20 | Thalmic Labs Inc. | Systems, articles, and methods for elastic electrical cables and wearable electronic devices employing same |
| TWI596994B (zh) | 2014-02-20 | 2017-08-21 | Tear-resistant structure of the flexible circuit board | |
| WO2015131157A1 (en) | 2014-02-28 | 2015-09-03 | Vikas Gupta | Gesture operated wrist mounted camera system |
| USD751068S1 (en) | 2014-03-07 | 2016-03-08 | Sony Mobile Communications Ab | Display portion of watch shaped communications equipment |
| US10613642B2 (en) | 2014-03-12 | 2020-04-07 | Microsoft Technology Licensing, Llc | Gesture parameter tuning |
| US9649558B2 (en) | 2014-03-14 | 2017-05-16 | Sony Interactive Entertainment Inc. | Gaming device with rotatably placed cameras |
| US20150261306A1 (en) | 2014-03-17 | 2015-09-17 | Thalmic Labs Inc. | Systems, devices, and methods for selecting between multiple wireless connections |
| USD736664S1 (en) | 2014-03-18 | 2015-08-18 | Google Technology Holdings LLC | Wrist band for an electronic device |
| US10199008B2 (en) | 2014-03-27 | 2019-02-05 | North Inc. | Systems, devices, and methods for wearable electronic devices as state machines |
| US10409382B2 (en) | 2014-04-03 | 2019-09-10 | Honda Motor Co., Ltd. | Smart tutorial for gesture control system |
| TWD165563S (zh) | 2014-04-08 | 2015-01-21 | 緯創資通股份有限公司 | 穿戴式電子裝置之部分 |
| US20150296553A1 (en) | 2014-04-11 | 2015-10-15 | Thalmic Labs Inc. | Systems, devices, and methods that establish proximity-based wireless connections |
| US9858391B2 (en) | 2014-04-17 | 2018-01-02 | The Boeing Company | Method and system for tuning a musculoskeletal model |
| US10845982B2 (en) | 2014-04-28 | 2020-11-24 | Facebook, Inc. | Providing intelligent transcriptions of sound messages in a messaging application |
| WO2015164951A1 (en) | 2014-05-01 | 2015-11-05 | Abbas Mohamad | Methods and systems relating to personalized evolving avatars |
| US20150325202A1 (en) | 2014-05-07 | 2015-11-12 | Thalmic Labs Inc. | Systems, devices, and methods for wearable computers with heads-up displays |
| AU2015259540B2 (en) | 2014-05-12 | 2018-11-08 | Commscope Technologies Llc | Remote radio heads having wireless jumper connections and related equipment, systems and methods |
| US9785247B1 (en) | 2014-05-14 | 2017-10-10 | Leap Motion, Inc. | Systems and methods of tracking moving hands and recognizing gestural interactions |
| USD717685S1 (en) | 2014-05-15 | 2014-11-18 | Thalmic Labs Inc. | Expandable armband |
| USD756359S1 (en) | 2014-05-15 | 2016-05-17 | Thalmic Labs Inc. | Expandable armband device |
| US9741169B1 (en) | 2014-05-20 | 2017-08-22 | Leap Motion, Inc. | Wearable augmented reality devices with object detection and tracking |
| US10782657B2 (en) | 2014-05-27 | 2020-09-22 | Ultrahaptics IP Two Limited | Systems and methods of gestural interaction in a pervasive computing environment |
| JP6362444B2 (ja) | 2014-06-16 | 2018-07-25 | 日本メクトロン株式会社 | フレキシブルプリント基板およびフレキシブルプリント基板の製造方法 |
| US9880632B2 (en) | 2014-06-19 | 2018-01-30 | Thalmic Labs Inc. | Systems, devices, and methods for gesture identification |
| US10216274B2 (en) | 2014-06-23 | 2019-02-26 | North Inc. | Systems, articles, and methods for wearable human-electronics interface devices |
| WO2015199747A1 (en) | 2014-06-23 | 2015-12-30 | Thalmic Labs Inc. | Systems, articles, and methods for wearable human-electronics interface devices |
| US9552069B2 (en) | 2014-07-11 | 2017-01-24 | Microsoft Technology Licensing, Llc | 3D gesture recognition |
| US10609267B2 (en) | 2014-07-23 | 2020-03-31 | Orcam Technologies Ltd. | Systems and methods for analyzing advertisement effectiveness using wearable camera systems |
| US9734704B2 (en) | 2014-08-12 | 2017-08-15 | Dominick S. LEE | Wireless gauntlet for electronic control |
| WO2016041088A1 (en) | 2014-09-19 | 2016-03-24 | Sulon Technologies Inc. | System and method for tracking wearable peripherals in augmented reality and virtual reality applications |
| US9811555B2 (en) | 2014-09-27 | 2017-11-07 | Intel Corporation | Recognition of free-form gestures from orientation tracking of a handheld or wearable device |
| EP3210096B1 (en) | 2014-10-21 | 2019-05-15 | Robert Bosch GmbH | Method and system for automation of response selection and composition in dialog systems |
| US10274992B2 (en) | 2014-11-12 | 2019-04-30 | Kyocera Corporation | Wearable device with muscle activity detector |
| US9807221B2 (en) | 2014-11-28 | 2017-10-31 | Thalmic Labs Inc. | Systems, devices, and methods effected in response to establishing and/or terminating a physical communications link |
| KR20160071732A (ko) | 2014-12-12 | 2016-06-22 | 삼성전자주식회사 | 음성 입력을 처리하는 방법 및 장치 |
| JP2018506773A (ja) | 2014-12-16 | 2018-03-08 | ソマティクス， インコーポレイテッド | ジェスチャベースの行動を監視し、それに影響を与える方法およびシステム |
| USD743963S1 (en) | 2014-12-22 | 2015-11-24 | Osterhout Group, Inc. | Air mouse |
| US9720515B2 (en) | 2015-01-02 | 2017-08-01 | Wearable Devices Ltd. | Method and apparatus for a gesture controlled interface for wearable devices |
| US9612661B2 (en) | 2015-01-02 | 2017-04-04 | Wearable Devices Ltd. | Closed loop feedback interface for wearable devices |
| US9696795B2 (en) | 2015-02-13 | 2017-07-04 | Leap Motion, Inc. | Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments |
| WO2016140908A1 (en) | 2015-03-02 | 2016-09-09 | Tap Systems Inc. | Arbitrary surface and finger position keyboard |
| US20160274758A1 (en) | 2015-03-20 | 2016-09-22 | Thalmic Labs Inc. | Systems, devices, and methods for mitigating false positives in human-electronics interfaces |
| US10432842B2 (en) | 2015-04-06 | 2019-10-01 | The Texas A&M University System | Fusion of inertial and depth sensors for movement measurements and recognition |
| US20170095178A1 (en) | 2015-04-09 | 2017-04-06 | Marco Schoen | EMG Home Trainer |
| CN108883335A (zh) | 2015-04-14 | 2018-11-23 | 约翰·詹姆斯·丹尼尔斯 | 用于人与机器或人与人的可穿戴式的电子多感官接口 |
| US20160309249A1 (en) | 2015-04-16 | 2016-10-20 | Hong Fu Jin Precision Industry (Wuhan) Co., Ltd. | Wearable electronic device |
| US9804733B2 (en) | 2015-04-21 | 2017-10-31 | Dell Products L.P. | Dynamic cursor focus in a multi-display information handling system environment |
| US10078435B2 (en) | 2015-04-24 | 2018-09-18 | Thalmic Labs Inc. | Systems, methods, and computer program products for interacting with electronically displayed presentation materials |
| GB2537899B (en) | 2015-04-30 | 2018-02-21 | Hy5Pro As | Control of digits for artificial hand |
| US9654477B1 (en) | 2015-05-05 | 2017-05-16 | Wells Fargo Bank, N. A. | Adaptive authentication |
| US9898864B2 (en) | 2015-05-28 | 2018-02-20 | Microsoft Technology Licensing, Llc | Shared tactile interaction and user safety in shared space multi-person immersive virtual reality |
| EP3556429B1 (en) | 2015-06-02 | 2021-10-13 | Battelle Memorial Institute | Non-invasive motor impairment rehabilitation system |
| US10765859B2 (en) * | 2015-06-02 | 2020-09-08 | Battelle Memorial Institute | Neural sleeve for neuromuscular stimulation, sensing and recording |
| EP4137196A1 (en) | 2015-06-02 | 2023-02-22 | Battelle Memorial Institute | Systems for neural bridging of the nervous system |
| US11589814B2 (en) | 2015-06-26 | 2023-02-28 | Carnegie Mellon University | System for wearable, low-cost electrical impedance tomography for non-invasive gesture recognition |
| US9240069B1 (en) | 2015-06-30 | 2016-01-19 | Ariadne's Thread (Usa), Inc. | Low-latency virtual reality display system |
| EP3329484A4 (en) | 2015-07-29 | 2019-06-05 | Sensel Inc. | SYSTEMS AND METHODS FOR HANDLING A VIRTUAL ENVIRONMENT |
| KR101626748B1 (ko) | 2015-08-03 | 2016-06-14 | 숭실대학교산학협력단 | 뇌파와 근전도를 이용한 움직임 패턴 측정 장치 및 그 방법 |
| US10854104B2 (en) | 2015-08-28 | 2020-12-01 | Icuemotion Llc | System for movement skill analysis and skill augmentation and cueing |
| US10387034B2 (en) | 2015-09-03 | 2019-08-20 | Microsoft Technology Licensing, Llc | Modifying captured stroke information into an actionable form |
| US9824287B2 (en) | 2015-09-29 | 2017-11-21 | Huami Inc. | Method, apparatus and system for biometric identification |
| US10459537B2 (en) | 2015-09-30 | 2019-10-29 | Stmicroelectronics, Inc. | Encapsulated pressure sensor |
| WO2017062544A1 (en) | 2015-10-06 | 2017-04-13 | University Of Pittsburgh-Of The Commonwealth System Of Higher Education | Method, device and system for sensing neuromuscular, physiological, biomechanical, and musculoskeletal activity |
| US9881273B2 (en) | 2015-10-28 | 2018-01-30 | Disney Interprises, Inc. | Automatic object detection and state estimation via electronic emissions sensing |
| US10595941B2 (en) | 2015-10-30 | 2020-03-24 | Orthosensor Inc. | Spine measurement system and method therefor |
| US11106273B2 (en) | 2015-10-30 | 2021-08-31 | Ostendo Technologies, Inc. | System and methods for on-body gestural interfaces and projection displays |
| KR101739656B1 (ko) | 2015-11-23 | 2017-05-24 | 이경호 | 핸디형 유방암 검진기 |
| US10776712B2 (en) | 2015-12-02 | 2020-09-15 | Preferred Networks, Inc. | Generative machine learning systems for drug design |
| CN105511615B (zh) | 2015-12-04 | 2019-03-05 | 深圳大学 | 基于emg的可穿戴式文本输入系统及方法 |
| US20170188980A1 (en) | 2016-01-06 | 2017-07-06 | Empire Technology Development Llc | Wearable sensor based body modeling |
| US11402402B2 (en) | 2016-01-12 | 2022-08-02 | Bigmotion Technologies Inc. | Systems and methods for human body motion capture |
| US20170259167A1 (en) | 2016-03-14 | 2017-09-14 | Nathan Sterling Cook | Brainwave virtual reality apparatus and method |
| KR102158743B1 (ko) | 2016-03-15 | 2020-09-22 | 한국전자통신연구원 | 자연어 음성인식의 성능향상을 위한 데이터 증강장치 및 방법 |
| US9864434B2 (en) | 2016-03-30 | 2018-01-09 | Huami Inc. | Gesture control of interactive events using multiple wearable devices |
| EP3436902A4 (en) | 2016-03-31 | 2019-11-27 | Sensel Inc. | HUMAN-COMPUTER INTERFACE SYSTEM |
| US10503253B2 (en) | 2016-03-31 | 2019-12-10 | Intel Corporation | Sensor signal processing to determine finger and/or hand position |
| US10852835B2 (en) | 2016-04-15 | 2020-12-01 | Board Of Regents, The University Of Texas System | Systems, apparatuses and methods for controlling prosthetic devices by gestures and other modalities |
| US10320071B2 (en) | 2016-04-19 | 2019-06-11 | Skyworks Solutions, Inc. | Methods for selectively shielding radio frequency modules |
| US9864431B2 (en) | 2016-05-11 | 2018-01-09 | Microsoft Technology Licensing, Llc | Changing an application state using neurological data |
| US10203751B2 (en) | 2016-05-11 | 2019-02-12 | Microsoft Technology Licensing, Llc | Continuous motion controls operable using neurological data |
| EP3463550B1 (en) | 2016-05-31 | 2024-03-27 | Lab Schöpfergeist AG | Nerve stimulation apparatus and method |
| US10426371B2 (en) | 2016-06-07 | 2019-10-01 | Smk Corporation | Muscle condition measurement sheet |
| KR101790147B1 (ko) | 2016-06-22 | 2017-10-25 | 재단법인 실감교류인체감응솔루션연구단 | 가상 객체 조작 시스템 및 방법 |
| WO2018002722A1 (en) | 2016-07-01 | 2018-01-04 | L.I.F.E. Corporation S.A. | Biometric identification by garments having a plurality of sensors |
| CN108369643B (zh) | 2016-07-20 | 2022-05-13 | 杭州凌感科技有限公司 | 用于3d手部骨架跟踪的方法和系统 |
| US11337652B2 (en) | 2016-07-25 | 2022-05-24 | Facebook Technologies, Llc | System and method for measuring the movements of articulated rigid bodies |
| US20190121306A1 (en) | 2017-10-19 | 2019-04-25 | Ctrl-Labs Corporation | Systems and methods for identifying biological structures associated with neuromuscular source signals |
| US11216069B2 (en) | 2018-05-08 | 2022-01-04 | Facebook Technologies, Llc | Systems and methods for improved speech recognition using neuromuscular information |
| US10489986B2 (en) | 2018-01-25 | 2019-11-26 | Ctrl-Labs Corporation | User-controlled tuning of handstate representation model parameters |
| EP3487457B1 (en) | 2016-07-25 | 2023-09-06 | Facebook Technologies, LLC. | Adaptive system for deriving control signals from measurements of neuromuscular activity |
| US10772519B2 (en) | 2018-05-25 | 2020-09-15 | Facebook Technologies, Llc | Methods and apparatus for providing sub-muscular control |
| US10409371B2 (en) | 2016-07-25 | 2019-09-10 | Ctrl-Labs Corporation | Methods and apparatus for inferring user intent based on neuromuscular signals |
| US10990174B2 (en) | 2016-07-25 | 2021-04-27 | Facebook Technologies, Llc | Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors |
| US10765363B2 (en) | 2016-09-30 | 2020-09-08 | Cognionics, Inc. | Headgear for dry electroencephalogram sensors |
| US10162422B2 (en) | 2016-10-10 | 2018-12-25 | Deere & Company | Control of machines through detection of gestures by optical and muscle sensors |
| EP3548994B1 (en) | 2016-12-02 | 2021-08-11 | Pison Technology, Inc. | Detecting and using body tissue electrical signals |
| US10646139B2 (en) | 2016-12-05 | 2020-05-12 | Intel Corporation | Body movement tracking |
| US20190025919A1 (en) | 2017-01-19 | 2019-01-24 | Mindmaze Holding Sa | System, method and apparatus for detecting facial expression in an augmented reality system |
| GB2561537B (en) | 2017-02-27 | 2022-10-12 | Emteq Ltd | Optical expression detection |
| EP3609402A4 (en) | 2017-04-14 | 2020-12-16 | Rehabilitation Institute Of Chicago D/B/A Shirley | PROSTHETIC VIRTUAL REALITY LEARNING INTERFACE AND RELATED PROCESSES |
| US11259746B2 (en) | 2017-07-10 | 2022-03-01 | General Electric Company | Method and system for neuromuscular transmission measurement |
| US10481699B2 (en) | 2017-07-27 | 2019-11-19 | Facebook Technologies, Llc | Armband for tracking hand motion using electrical impedance measurement |
| US20190076716A1 (en) | 2017-09-12 | 2019-03-14 | Intel Corporation | Activity training system |
| US10606620B2 (en) | 2017-11-16 | 2020-03-31 | International Business Machines Corporation | Notification interaction in a touchscreen user interface |
| US20190150777A1 (en) | 2017-11-17 | 2019-05-23 | Ctrl-Labs Corporation | Dual-supply analog circuitry for sensing surface emg signals |
| US10827942B2 (en) | 2018-01-03 | 2020-11-10 | Intel Corporation | Detecting fatigue based on electroencephalogram (EEG) data |
| CN112005198A (zh) | 2018-01-25 | 2020-11-27 | 脸谱科技有限责任公司 | 基于多个输入的手部状态重建 |
| US11069148B2 (en) | 2018-01-25 | 2021-07-20 | Facebook Technologies, Llc | Visualization of reconstructed handstate information |
| US10504286B2 (en) | 2018-01-25 | 2019-12-10 | Ctrl-Labs Corporation | Techniques for anonymizing neuromuscular signal data |
| EP3743901A4 (en) | 2018-01-25 | 2021-03-31 | Facebook Technologies, Inc. | REAL-TIME PROCESSING OF HAND REPRESENTATION MODEL ESTIMATES |
| US10937414B2 (en) | 2018-05-08 | 2021-03-02 | Facebook Technologies, Llc | Systems and methods for text input using neuromuscular information |
| EP3742962A4 (en) | 2018-01-25 | 2021-04-28 | Facebook Technologies, LLC. | NEUROMUSCULAR SIGNAL ARTIFACT MITIGATION METHODS AND APPARATUS |
| CN111902077B (zh) | 2018-01-25 | 2023-08-04 | 元平台技术有限公司 | 利用神经肌肉信号进行手部状态表示建模的校准技术 |
| US20190247650A1 (en) | 2018-02-14 | 2019-08-15 | Bao Tran | Systems and methods for augmenting human muscle controls |
| US20190324549A1 (en) | 2018-04-20 | 2019-10-24 | Immersion Corporation | Systems, devices, and methods for providing immersive reality interface modes |
| EP3791387B1 (en) | 2018-05-08 | 2023-08-30 | Facebook Technologies, LLC. | Systems and methods for improved speech recognition using neuromuscular information |
| US10592001B2 (en) | 2018-05-08 | 2020-03-17 | Facebook Technologies, Llc | Systems and methods for improved speech recognition using neuromuscular information |
| JP7341166B2 (ja) | 2018-05-22 | 2023-09-08 | マジック リープ， インコーポレイテッド | ウェアラブルシステムのためのトランスモード入力融合 |
| US10842407B2 (en) | 2018-08-31 | 2020-11-24 | Facebook Technologies, Llc | Camera-guided interpretation of neuromuscular signals |
| JP2022500729A (ja) | 2018-09-20 | 2022-01-04 | フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーFacebook Technologies, Llc | 拡張現実システムの神経筋制御 |
-
2017
- 2017-07-25 US US15/659,072 patent/US10990174B2/en active Active
- 2017-07-25 WO PCT/US2017/043693 patent/WO2018022602A1/en unknown
- 2017-07-25 CN CN201780059093.7A patent/CN110300542A/zh active Pending
- 2017-07-25 EP EP17835112.8A patent/EP3487395A4/en not_active Withdrawn
-
2019
- 2019-03-14 US US16/353,998 patent/US20190212817A1/en not_active Abandoned
-
2021
- 2021-04-12 US US17/228,351 patent/US20210405750A1/en not_active Abandoned
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1838933A (zh) * | 2003-08-21 | 2006-09-27 | 山海嘉之 | 穿着式动作辅助装置、穿着式动作辅助装置的控制方法和控制用程序 |
| US20070256494A1 (en) * | 2004-06-16 | 2007-11-08 | Yoshihiko Nakamura | Muscular Strength Acquiring Method and Device Based on Musculoskeletal Model |
| US20070016265A1 (en) * | 2005-02-09 | 2007-01-18 | Alfred E. Mann Institute For Biomedical Engineering At The University Of S. California | Method and system for training adaptive control of limb movement |
| US20100106044A1 (en) * | 2008-10-27 | 2010-04-29 | Michael Linderman | EMG measured during controlled hand movement for biometric analysis, medical diagnosis and related analysis |
| US20120209134A1 (en) * | 2009-07-15 | 2012-08-16 | University Of Tsukuba | Classification estimating system and classification estimating program |
| US20130077820A1 (en) * | 2011-09-26 | 2013-03-28 | Microsoft Corporation | Machine learning gesture detection |
| US20150094564A1 (en) * | 2012-05-03 | 2015-04-02 | University Of Pittsburgh - Of The Commonwealth System Of Higher Education | Intelligent algorithms for tracking three-dimensional skeletal movement from radiographic image sequences |
| US20130317648A1 (en) * | 2012-05-25 | 2013-11-28 | California Institute Of Technology | Biosleeve human-machine interface |
| WO2015063520A1 (en) * | 2013-11-04 | 2015-05-07 | Imperial Innovations Limited | Biomechanical activity monitoring |
| US20150257682A1 (en) * | 2014-03-17 | 2015-09-17 | Ben Hansen | Method and system for delivering biomechanical feedback to human and object motion |
| US20150332013A1 (en) * | 2014-05-15 | 2015-11-19 | Korea Institute Of Science And Technology | Human joint kinematics information extraction method from multi-channel surface electromyogram signals, recording medium and device for performing the method |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11921471B2 (en) | 2013-08-16 | 2024-03-05 | Meta Platforms Technologies, Llc | Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source |
| US11644799B2 (en) | 2013-10-04 | 2023-05-09 | Meta Platforms Technologies, Llc | Systems, articles and methods for wearable electronic devices employing contact sensors |
| US11666264B1 (en) | 2013-11-27 | 2023-06-06 | Meta Platforms Technologies, Llc | Systems, articles, and methods for electromyography sensors |
| US10990174B2 (en) | 2016-07-25 | 2021-04-27 | Facebook Technologies, Llc | Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors |
| US11635736B2 (en) | 2017-10-19 | 2023-04-25 | Meta Platforms Technologies, Llc | Systems and methods for identifying biological structures associated with neuromuscular source signals |
| US10937414B2 (en) | 2018-05-08 | 2021-03-02 | Facebook Technologies, Llc | Systems and methods for text input using neuromuscular information |
| US11036302B1 (en) | 2018-05-08 | 2021-06-15 | Facebook Technologies, Llc | Wearable devices and methods for improved speech recognition |
| US11216069B2 (en) | 2018-05-08 | 2022-01-04 | Facebook Technologies, Llc | Systems and methods for improved speech recognition using neuromuscular information |
| US10905350B2 (en) | 2018-08-31 | 2021-02-02 | Facebook Technologies, Llc | Camera-guided interpretation of neuromuscular signals |
| US10842407B2 (en) | 2018-08-31 | 2020-11-24 | Facebook Technologies, Llc | Camera-guided interpretation of neuromuscular signals |
| US11567573B2 (en) | 2018-09-20 | 2023-01-31 | Meta Platforms Technologies, Llc | Neuromuscular text entry, writing and drawing in augmented reality systems |
| US11941176B1 (en) | 2018-11-27 | 2024-03-26 | Meta Platforms Technologies, Llc | Methods and apparatus for autocalibration of a wearable electrode sensor system |
| US11797087B2 (en) | 2018-11-27 | 2023-10-24 | Meta Platforms Technologies, Llc | Methods and apparatus for autocalibration of a wearable electrode sensor system |
| CN109793645B (zh) * | 2019-01-21 | 2021-07-13 | 徐州医科大学附属医院 | 一种辅助帕金森病人步态康复训练装置 |
| CN109793645A (zh) * | 2019-01-21 | 2019-05-24 | 徐州医科大学附属医院 | 一种辅助帕金森病人步态康复训练装置 |
| US11481030B2 (en) | 2019-03-29 | 2022-10-25 | Meta Platforms Technologies, Llc | Methods and apparatus for gesture detection and classification |
| US11961494B1 (en) | 2019-03-29 | 2024-04-16 | Meta Platforms Technologies, Llc | Electromagnetic interference reduction in extended reality environments |
| US11481031B1 (en) | 2019-04-30 | 2022-10-25 | Meta Platforms Technologies, Llc | Devices, systems, and methods for controlling computing devices via neuromuscular signals of users |
| US11493993B2 (en) | 2019-09-04 | 2022-11-08 | Meta Platforms Technologies, Llc | Systems, methods, and interfaces for performing inputs based on neuromuscular control |
| US11907423B2 (en) | 2019-11-25 | 2024-02-20 | Meta Platforms Technologies, Llc | Systems and methods for contextualized interactions with an environment |
| CN112107852A (zh) * | 2020-09-16 | 2020-12-22 | 西安万像电子科技有限公司 | 云游戏的控制方法及装置、云游戏控制系统 |
| CN112486331A (zh) * | 2020-12-18 | 2021-03-12 | 清华大学 | 基于imu的三维空间手写输入方法和装置 |
| CN112932898A (zh) * | 2021-01-28 | 2021-06-11 | 东南大学 | 一种基于贝叶斯优化的按需辅助康复机器人训练方法 |
| CN113081671A (zh) * | 2021-03-31 | 2021-07-09 | 东南大学 | 一种基于贝叶斯优化提高按需辅助康复训练参与度的方法 |
| US11868531B1 (en) | 2021-04-08 | 2024-01-09 | Meta Platforms Technologies, Llc | Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018022602A1 (en) | 2018-02-01 |
| US20190212817A1 (en) | 2019-07-11 |
| EP3487395A1 (en) | 2019-05-29 |
| US10990174B2 (en) | 2021-04-27 |
| US20180024635A1 (en) | 2018-01-25 |
| US20210405750A1 (en) | 2021-12-30 |
| EP3487395A4 (en) | 2020-03-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110300542A (zh) | 使用可穿戴的自动传感器预测肌肉骨骼位置信息的方法和装置 | |
| US11587242B1 (en) | Real-time processing of handstate representation model estimates | |
| US11361522B2 (en) | User-controlled tuning of handstate representation model parameters | |
| US11069148B2 (en) | Visualization of reconstructed handstate information | |
| US10950047B2 (en) | Techniques for anonymizing neuromuscular signal data | |
| US11163361B2 (en) | Calibration techniques for handstate representation modeling using neuromuscular signals | |
| US11337652B2 (en) | System and method for measuring the movements of articulated rigid bodies | |
| CN110312471B (zh) | 从神经肌肉活动测量中导出控制信号的自适应系统 | |
| US20190223748A1 (en) | Methods and apparatus for mitigating neuromuscular signal artifacts | |
| US20190228330A1 (en) | Handstate reconstruction based on multiple inputs | |
| CN110456902A (zh) | 跟踪用户移动以控制计算机系统中的骨架模型 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20201202 Address after: California, USA Applicant after: Facebook Technologies, LLC Address before: New York, USA Applicant before: CTRL-LABS Corp. |
|
| TA01 | Transfer of patent application right | ||
| CB02 | Change of applicant information |
Address after: California, USA Applicant after: Yuan Platform Technology Co.,Ltd. Address before: California, USA Applicant before: Facebook Technologies, LLC |
|
| CB02 | Change of applicant information | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191001 |
|
| RJ01 | Rejection of invention patent application after publication |