CN113646734A - 用于手势检测和分类的方法和装置 - Google Patents
用于手势检测和分类的方法和装置 Download PDFInfo
- Publication number
- CN113646734A CN113646734A CN202080026319.5A CN202080026319A CN113646734A CN 113646734 A CN113646734 A CN 113646734A CN 202080026319 A CN202080026319 A CN 202080026319A CN 113646734 A CN113646734 A CN 113646734A
- Authority
- CN
- China
- Prior art keywords
- emg
- user
- gesture
- training
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 110
- 238000001514 detection method Methods 0.000 title description 17
- 238000002567 electromyography Methods 0.000 claims abstract description 161
- 238000012549 training Methods 0.000 claims description 106
- 230000003190 augmentative effect Effects 0.000 claims description 37
- 238000012545 processing Methods 0.000 claims description 22
- 238000004891 communication Methods 0.000 claims description 14
- 230000015654 memory Effects 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 7
- 238000012986 modification Methods 0.000 claims description 5
- 230000004048 modification Effects 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000013145 classification model Methods 0.000 description 48
- 210000003811 finger Anatomy 0.000 description 46
- 238000000513 principal component analysis Methods 0.000 description 25
- 238000012360 testing method Methods 0.000 description 21
- 239000003550 marker Substances 0.000 description 17
- 230000008569 process Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 13
- 238000007477 logistic regression Methods 0.000 description 11
- 230000009466 transformation Effects 0.000 description 11
- 238000013508 migration Methods 0.000 description 10
- 230000005012 migration Effects 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 9
- 230000006978 adaptation Effects 0.000 description 8
- 238000005259 measurement Methods 0.000 description 8
- 238000002790 cross-validation Methods 0.000 description 7
- 230000010354 integration Effects 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 7
- 238000007637 random forest analysis Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 210000003128 head Anatomy 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 238000012417 linear regression Methods 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 210000000707 wrist Anatomy 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 210000003205 muscle Anatomy 0.000 description 4
- 230000002232 neuromuscular Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 238000013501 data transformation Methods 0.000 description 3
- 210000000613 ear canal Anatomy 0.000 description 3
- 230000000704 physical effect Effects 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 3
- 230000011664 signaling Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000001131 transforming effect Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 241000226585 Antennaria plantaginifolia Species 0.000 description 2
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 2
- 241000746998 Tragus Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 238000002593 electrical impedance tomography Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000008713 feedback mechanism Effects 0.000 description 2
- 230000005057 finger movement Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 229910052744 lithium Inorganic materials 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000002207 retinal effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000000153 supplemental effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 241000677647 Proba Species 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000000845 cartilage Anatomy 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000005520 electrodynamics Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 210000005224 forefinger Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000003155 kinesthetic effect Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 208000014733 refractive error Diseases 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000021317 sensory perception Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000004513 sizing Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
- G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Neurology (AREA)
- Biomedical Technology (AREA)
- Neurosurgery (AREA)
- Dermatology (AREA)
- Medical Informatics (AREA)
- Social Psychology (AREA)
- Computing Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Psychiatry (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
示例系统可以包括:头戴式设备,其被配置为向用户呈现人工现实视图;控制设备,其包括多个肌电图(EMG)传感器;以及至少一个物理处理器,其被编程为接收基于由EMG传感器检测到的信号的EMG数据,检测EMG数据内对应于用户手势的EMG信号,对EMG信号进行分类以识别手势类型,并基于手势类型提供控制信号,其中,控制信号触发头戴式设备以修改人工现实视图。还公开了各种其他方法、系统和计算机可读介质。
Description
相关申请的交叉引用
本申请要求2019年3月29日提交的第62/826,478号美国申请和2020年3月27日提交的第16/833,307号美国申请的优先权。出于所有目的,第62/826,478号美国申请和第16/833,307号美国申请的内容通过引用以其整体并入本文。
附图简述
附图示出了许多示例性实施例,并且是说明书的一部分。与以下描述一起,这些附图展示并解释了本公开的各种原理。
图1示出了从PCA的应用中提取的第一成分的示例。
图2示出了从检测到的事件产生的示例簇(cluster)。
图3示出了来自在检测到的离散事件上执行的PCA的第一成分的示例图。
图4A-4B图示了对应于离散事件的epoch,示出了同步质量方面。
图5A-5B示出了对应于检测到的离散事件的对齐的(aligned)epoch。
图6A-6B示出了对应于在两个不同手势的平均值上执行的PCA分析的模板。
图7示出了在第一PCA成分上的示例检测到的事件以及从两秒数据生成的相应标记。
图8示出了使用测试集检测离散事件的示例。
图9示出了在测试数据集中检测到的离散事件的示例。
图10A-10B示出了食指轻敲事件模型和中指轻敲事件模型的示例。
图11A-11F示出了两类事件的特定于用户的事件模型的示例。
图12示出了由各种单用户事件分类模型实现的示例准确度水平。
图13A示出了由两个单用户事件分类模型实现的示例准确度水平。
图13B示出了两个单用户事件分类模型(单戳记(stamp)和累积窗口大小)的示例准确度水平与时间的关系。
图14示出了为确定时间样本的独立性而执行的跨时间泛化(generalizationacross time)。
图15示出了泛化交叉用户分类模型(generalized cross-user classificationmodel)的示例准确度水平。
图16示出了基于线性回归的特定于用户的分类器的可迁移性(transferability)的示例。
图17A-17Q示出了两类手势的示例分布。
图18A-18B示出了使用UMAP和PCA分离的簇的示例。
图19示出了使用自监督(self-supervised)模型实现的准确度水平的示例。
图20示出了使用有监督(supervised)的特定于用户的模型和自监督的特定于用户的模型实现的准确度水平与训练事件数量的关系的示例。
图21示出了针对特定于用户的模型和自监督模型的窗口大小确定的示例。
图22A-22D示出了与第一用户相关联的每个事件类别的示例模型。
图23A-23B示出了与第一用户和第二用户相关联的每个事件类别的对齐模型的示例。
图24A-24B分别示出了变换前和变换后的示例数据。
图25A示出了来自一组用户中的所有用户的跨用户的示例迁移(transfer)矩阵。
图25B示出了基于迁移函数确定监督域自适应的数据大小。
图26A示出了根据一些实施例的可佩戴系统,该可佩戴系统具有围绕弹性带周向地布置的EMG传感器,该弹性带被配置为围绕用户的下臂或手腕佩戴。
图26B是穿过图2A中所示的EMG传感器中的一个EMG传感器的横截面视图。
图27A和图27B示意性地示出了在其上实现一些实施例的基于计算机的系统的部件。图27A示出了基于计算机的系统的控制设备的示意图,并且图27B示出了可以连接到计算机的示例加密狗(dongle)部分,其中加密狗部分被配置为与控制设备通信(并且类似的配置可以在与控制设备通信的头戴式设备内使用)。
图28示出了示例实现,其中可佩戴设备与头戴式可佩戴显示器接合(interface)。
图29和图30示出了示例方法。
图31是可结合本公开的实施例使用的示例性增强现实眼镜的图示。
图32是可结合本公开的实施例使用的示例性虚拟现实头戴装置(headset)的图示。
在全部附图中,相同的参考符号和描述指示相似的但不一定相同的元素。虽然本文描述的示例性实施例易于进行各种修改和替代形式,但是特定实施例已经通过附图中的示例示出,并且在本文被详细描述。然而,本文描述的示例性实施例不旨在限于所公开的特定形式。更确切地,本公开覆盖了落入所附权利要求的范围内的所有修改、等同物和替代物。
示例性实施例的详细描述
本公开的示例针对对来自用户的信号的检测以及基于检测到的信号对人工现实设备的控制。如下文更详细解释的,本公开的实施例可以包括具有头戴式设备和控制设备的系统,该头戴式设备被配置为向用户呈现人工现实视图,该控制设备包括多个肌电图(EMG)传感器。可以位于任何系统部件中的一个或更多个处理器可以被编程为检测对应于与从传感器接收的EMG数据相关联的用户手势的EMG信号,并且对EMG信号进行分类以识别手势类型。控制信号可以触发头戴式设备以(例如基于手势类型)修改人工现实视图。
对人工现实环境内的(真实或虚拟)对象的准确控制对于保持沉浸式体验可能是有用的。手势可能是控制对象的有用方式,并且不需要与任何真实的物理对象进行交互。例如,诸如按压键盘的按键、转动拨号盘、按压按钮、从菜单中选择项目(以及许多其他动作)的动作可以通过用户手势来模拟。轻敲手势可以模拟按键按压。此外,识别哪个身体部位(例如,哪根手指)已经被用于执行手势允许对人工现实环境进行进一步控制。
根据本文描述的一般原理,本文描述的任何实施例的特征可以彼此结合使用。当结合附图和权利要求阅读下面的详细描述时,这些和其他实施例、特征和优点将被更充分地理解。
参考图1-30,以下提供了手势识别模型(包括无监督(unsupervised)模型和自监督模型)的详细描述。图1-13B示出了事件检测和分类,其中术语“事件”可以包括诸如手指轻敲的手势。图14-25B进一步示出了各种模型的时间依赖性、聚类(clustering)、训练和准确度。图26A-26B示出了示例控制设备。图27A-27B示出了控制设备的示意图。图28示出了包括头戴式设备的示例系统。图29-30示出了示例计算机化方法,并且图31和图32示出了示例AR/VR应用。
本公开针对可用于检测用户手势的事件检测器模型。这种检测器模型可能涉及在一个或更多个用户执行不同手势时记录一系列EMG信号(数据集)。在一些示例中,示例手势可以包括手指轻敲(例如,模拟的按键按压),但是其他类型的手势可以类似地用于实现示例事件检测器模型。
手势可以包括跨越有限时间段的离散事件,并且在一些实施例中可以由表示肌肉激活的一个或更多个肌电图信号(包括肌电图小波(wavelet))来表征。将系统配置为使用机器学习技术检测和分类这样的手势可能涉及大量标记的训练样本。因此,可以从很少的样本中快速学习手势并以无监督或自监督的方式从人类手势中捕获和解释有意义的特征的系统是非常期望的。本文描述的示例提供了这种无监督模型和/或自监督模型。
图1示出了可以从主成分分析(principal component analysis)的应用中提取的第一成分(PCA,垂直线)和检测到的峰(点)。示出了多个事件,其被划分成由休息时段分隔的两组。图示的事件可以使用峰检测过程来检测,峰检测过程还可以检测在休息时段期间记录的峰,该峰对应于休息期间的局部极大值。
数据集可以包括对应于食指轻敲和中指轻敲的EMG信号。数据集可以分为训练集和测试集,训练集包括以大约2Hz记录的每根手指的50次连续手指轻敲,测试集包括以大约2Hz记录的每根手指的20次连续手指轻敲。上述数据集可能表示少于2分钟的记录数据。任何其他合适的数据集也可以用作训练集。
映射到切线空间的协方差可以被选择作为特征。短时间窗口(30ms)和5个样本的步长(stride)(对应于400Hz的数据速率)可以用于特征提取。通过对5个成分应用主成分分析(PCA),可以降低特征空间的维数以找到数据集中的事件。此后,数据可以被中心化(centered)(例如,通过去除中值),并且最后,可以在第一成分上识别局部极大值(峰)。
图2示出了可以从检测到的事件(包括在休息时段期间记录的检测到的事件)产生的簇。示出了三个簇,分别用于每种类型的手指轻敲(数据组100和102,其对应于食指轻敲和中指轻敲)。对于在休息时段期间记录的那些事件(其可能不被认为是有用的事件),可能会出现额外的簇。这个额外的簇104可以位于左下角,其指示具有低能量样本的簇。可以通过丢弃低于例如预定能量水平阈值的所有相应的事件来去除该簇。
围绕每个事件的数据可以在epoch中被切片,为聚类分析做准备。在一个示例中,150ms的窗口可以以每个事件为中心来对数据进行切片,并且可以以类似的方式使用任何其他合适的窗口大小。此后,可以对每个epoch进行矢量化,并且进行K-Means聚类过程,以提取三个簇。出于可视化目的,基于均匀流形逼近和投影(UMAP)的降维过程可以被应用以绘制图2所示的簇(包括每类事件的大约五十个事件)。
图3示出了来自主成分分析(PCA)的第一成分的图,该主成分分析(PCA)可以在检测到的离散事件上执行。可以关于由主成分分析产生的第一成分绘制数据。在本示例中,食指事件被首先示出(在左边),随后是休息时段,然后是在右边的中指事件。
在一些示例中,可以对记录的事件执行时序调整。每个事件的时序可以与使用PCA分析的执行而识别的第一成分上的局部极大值相关联。然后,可以从所获取的样本中生成基本事实(ground truth),以训练事件检测模型。
图4A和图4B图示了对应于离散事件的epoch,示出了同步质量方面。不同的epoch中可能存在一些抖动和未对齐。
在一些示例中,通过分析epoch和所有事件的平均值之间的自相关性,为每个epoch找到最佳偏移,可以减少或消除抖动和未对齐。因此,可以测试不同的偏移(-10到10个样本),然后可以选择最大化相关性的时序。测试过程可以迭代执行,直到所有epoch都正确对齐。
图5A和图5B示出了对应于检测到的离散事件的对齐的epoch。
图6A和图6B示出了对应于PCA分析的两个模板的图,该PCA分析可以在两个不同手势的平均值上执行。图6A对应于食指轻敲数据,而图6B对应于中指轻敲数据。模板可以基于同步后获得的每个事件的epoch的平均能量。(PCA的五个成分中的)第一PCA成分在两个手指(食指与中指)轻敲之间在幅度上可能有显著差异,而其他成分可能具有不同的信号形式。
当检测到事件(事件发生)时,二进制时间序列可以用值1来标记,并且当没有检测到事件(例如,事件可能尚未发生)时,二进制时间序列可以用值0来标记。可以基于标记的样本来训练用于预测这种时间序列的模型。然后可以将模型的输出与预定能量阈值进行比较,并且去抖动(debounce)以配置事件检测器。
可以为模型的基本事实配置示例性参数。在重新同步之后,事件可以以第一PCA成分的峰为中心。模型可以依赖于完整的事件时间过程,并且一旦用户完成其执行,该模型可以预测该事件。因此,标记可以基于事件时序被移位或偏离。这个参数可以称为“偏移”。
在一些示例中,模型可能不能完美地预测对应于事件的正确的单一时间样本。因此,该模型可以被配置为在围绕事件中心的几个连续时间样本上预测值(例如1)。这个参数可以称为“脉冲宽度”。
在一些示例中,偏移可以被设置在事件峰之后的75ms(事件的峰之后大约30个样本)处,并且脉冲宽度可以被设置为25ms。这些示例和其他示例是非限制性的,并且根据在事件检测器模型的训练期间使用的信号的特殊性,可以使用其他参数值。
图7示出了可以使用第一PCA成分检测的具有相应的标记的事件,可以针对2秒的数据生成这些标记。事件检测器模型可以实现为多层感知器(MLP)模型或其他合适的机器学习模型。可以从PCA特征上的150ms(大约60个样本)滑动窗口收集特征(例如,对于每个时间样本,可以生成具有五个PCA成分的前60个时间样本(即,300个维度)的矢量化的矢量)。
该模型可以被训练来预测所使用的标记。该模型可以应用于测试集,并且可以将推断的输出与预定阈值进行比较并且去抖动以引出离散事件的识别。
图8示出了对测试集上的离散事件的检测,包括来自模型的两个输出(实线)以及可以从测试集产生的离散事件(短划线)。
图9示出了可以在测试数据集中检测的离散事件,包括例如使用在测试集上进行的PCA分析产生的五个成分以及可以在同一集合中检测到的事件。模型可以检测所有可能的事件,并且在两种类型的离散事件之间可能有明确的歧义消除。
在一些示例中,可以根据从EMG信号拍摄的快照对事件进行分类。事件检测器可以检测或记录在时间事件周围拍摄的快照。事件分类器模型可以被训练来区分不同类型或类别的事件。这种分类是可能的,部分是因为每个事件与事件的类别或类型相关联,该事件的类别或类型对应于关联于与事件发生同步的特定肌肉激活的特征(characteristic)或常规(stereotypical)信号。可以使用18个数据集,并且每个数据集可以从不同的用户收集。这些数据集包括从按键按下(key down)、按键松开(key up)和轻敲事件中捕获的EMG信号的记录。每个用户使用的事件总数可以为大约160(针对每根食指和中指各为80)。
可以使用40ms的时间窗口和2.5ms的步长(这是由400Hz的特征采样频率产生的)来估计协方差。然后,协方差可以被投射在切线空间中,并且可以通过选择对角线和两个相邻通道(在矩阵中由位于对角线上方和下方的值表示)来降低维数。通过应用上述操作产生维数大小为48的特征空间。
可以提取(例如,切片和缓冲)围绕每个按键按压事件的范围从-100ms到+125ms的信号窗口。这样的窗口可以包括大约90个EMG样本值。在前述操作结束时,可以为每个用户获得大小为160×90×48(N_事件×N_时间_样本×N_特征)的数据集。
图10A和图10B分别示出了食指轻敲事件模型和中指轻敲事件模型的示例。可以通过对所有发生的这些事件的每个事件类别(例如,食指轻敲和中指轻敲)的EMG值取平均值来产生每个事件的模型。轻敲事件的示例在图10A和图10B中示出。
在图10A和图10B所示的事件模型中,可以识别两个信号,一个信号对应于按键按压,并且一个信号对应于按键释放。相同的特征可能看起来在食指按键按压类别和中指按键按压类别中都是活跃的,但是它们各自的幅度明显不同,并且为辨别提供了良好的基础。
图11A-11F示出了针对两类事件的特定于用户的事件模型的示例。图11A、图11C和图11E对应于食指按键按压,而图11B、图11D和图11F对应于中指按键按压。每个用户可以针对每个事件类别显示不同的模式。虽然时序通常是相同的,但是可以在信号之间观察到巨大的幅度差异。
几个分类模型可以用于实现单用户事件分类模型。在一些示例中,每个试验(trial)可以被矢量化成大矢量(其维数对应于时间点×特征的数量)。一旦生成了这样的大矢量,就可以基于逻辑回归、随机森林或多层感知器来产生分类器,并且可以在手势分类模型中实现该分类器。
在一些示例中,可以通过应用空间滤波器、然后将结果矢量化和使用分类器来降低数据的维数(在特征维度上)。空间滤波器的示例可以基于例如公共空间模式(CSP)的提取,或者与线性判别分析(LDA)集成的诱发电位的xDawn增强。通过CSP的应用,可以确定使源的方差差异最大化的子空间。在xDawn方法中,空间滤波器可以根据类别平均值而不是原始数据来估计(这可以提高信噪比(SNR))。
在一些示例中,可以通过包括以下方式中的一种或更多种方式的方法来开发模型:将每个类别的事件模型(例如,中指按键按压和食指按键按压)连接(concatenate)到每个试验;估计协方差矩阵;进行切线空间映射,并应用LDA。这样的方式可以产生信号的紧凑表示,并且在低SNR的情况下可能有效。
具有90%的训练和10%的测试的分层随机分割(stratified random split)可以部分地用于保持类别平衡。也可以使用随机分割。使用线性回归分类器可以达到用户平均99%的准确度,其中对于最差的用户,可以达到95%的准确度。
图12示出了用于单用户事件分类的每个测试模型所达到的准确度水平。图中的每个点表示单个用户。分类器通常可以以与图12所示的准确度水平类似的准确度水平执行。
可以修改训练集大小。训练集的大小可以在分割中从5%改变到90%。测试数据量可以保持固定在10%。可以使用两个分类器(LR和XDCov+LDA)。具有10%测试和可变训练大小的10个分层随机分割可以用于交叉验证。
在大约80个事件时,准确度可能达到稳定水平。在基于逻辑回归的分类器的情况下,可以使用20个事件来达到95%的准确度。基于XDCov+LDA的分类器可能需要更多的事件才能收敛。
图13A示出了作为训练事件的数量的函数的示例准确度水平,可以通过单用户事件分类模型的两种不同实现达到该示例准确度水平。示出了LR(实线)和XDCov+LDA(短划线)方法的结果。剩余的短划线和点划线给出了LR结果(上面的点划线和大致中下部的短划线)和XDCov+LDA结果(剩余的短划线和下面的点划线)的可能的不确定性的定性指示。
还可以调整窗口大小。用于对事件进行分类的窗口的大小可能会影响事件检测的延迟。因此,模型的性能可能根据窗口大小参数而变化,窗口大小参数可以相应地调整。
在一些实现中,分类的单时间点可用于揭示哪个时间点包含信息。可替代地,可以使用例如在按键按压事件之后从-100ms到+125ms的增大的窗口大小(包含所有过去的时间点)。对于每个时间点或窗口大小,可以训练特定于用户的模型,然后可以评估得到的分类器或模型的性能。如上面所讨论的,逻辑回归模型或其他合适的模型可以用实现分类器。交叉验证可以使用10个分层随机分割(其中10%保留用于测试目的,并且90%用于训练目的)来实现。这些数值以及本文讨论的其他值是示例性的,而不是限制性的。
图13B示出了可以通过单时间戳和累积窗口大小实现的示例准确度水平。结果表明:窗口中的大多数时间点可以包含允许模型将它们分类到高于机会水平(具有例如大约50%的准确度)的信息。对于按键按压,最大准确度可在-25ms处被达到,而对于按键释放,最大准确度可在+70ms左右被达到。使用包括所有过去时间样本的累积窗口,可以在窗口的结束处达到最大准确度水平。使用按键按压事件之前的所有时间戳可以达到95%的平均准确度水平。等待释放波可以通过提供补充信息来提高准确度。剩余的短划线和点划线表示可能的不确定性的定性指示。
可以使用跨时间泛化来确定时间样本的独立程度。作为跨时间泛化的一部分,可以在单时间点训练分类器,然后可以在另一个时间点测试该分类器。这种方法可以确定事件中涉及的不同过程是否是平稳的。如果源的同一组合在两个不同的时间点上类似地活跃,则可以意味着单用户模型可以被迁移或被使用以对其他用户产生的事件进行分类。
可以对于每个用户和每个时间点训练基于逻辑回归的分类器。然后可以每隔一个时间点(对于同一用户)评估每个分类器的准确度。然后可以对跨所有用户的准确度以及准确度矩阵的结构进行平均。
图14示出了可以被执行来确定时间样本的独立性的跨时间泛化。可以在准确度矩阵中观察到两个簇,一个簇对应于按键按压,另一个簇对应于按键释放。从每个簇内观察到的传递来看,这可以意味着,每个时间样本没有携带很多补充信息,以及使用仔细选择的样本子集可能足以实现最佳准确度(或者可替代地,用奇异值分解SVD压缩特征空间可能是有用的)。
在一些示例中,可以使用泛化交叉用户分类模型。可以用从几个用户收集的数据来训练分类器,并且可以测试所获得的经训练的分类器,以获得它在测试用户上的性能。如上面所讨论的,可以实现几种类型的分类器来确定最佳类型的分类器。出于交叉验证的目的,从一个用户提取的数据可能会被留出来。平均而言,在所实现的模型上达到的准确度可能在82%左右。还可以观察到用户之间的巨大差异。
图15示出了泛化交叉用户分类模型的准确度水平,并且示出了一些分类器可以达到100%的准确度,而其他分类器可能仅达到低于60%的准确度。图16还表明:可以使用基于线性回归的分类器来实现合理的准确度水平。
在一些示例中,可以使用跨用户对的模型迁移。可以基于从一个用户提取的数据来训练分类器模型,然后,然后可以关于每个其他用户的数据来评估模型的准确度。分类器模型可以基于逻辑回归。
图16示出了基于线性回归的特定于用户的分类器的可迁移性,表明可以观察到迁移准确度的巨大可变性。一些特定于用户的模型可以被充分地迁移到一些其他用户。一些特定于用户的模型看起来是良好的接收者(例如,图16中所示的针对“Alex”的用户模型),其对于大多数其他用户具有良好的迁移性,而其他特定于用户的模型(例如,针对“Rob”的用户模型)看起来与其他用户不具有良好的匹配。
在一些示例中,还可以使用用户自适应。基于对单用户事件分类模型的调查,甚至可以分离从单用户导出的类别,并且可以使用相对少量的标记的训练数据来获得合理准确的单用户事件分类模型。
从泛化交叉用户分类模型结果来看,可以推断一些特定于用户的分类模型充分地迁移到其他用户。根据这些初步结果,以下示例如下。在一些示例中,可以使用来自其他(不同)用户的模型来获得当前用户的标记的良好估计。此外,使用标记的这种估计,可以训练特定于用户的模型,以获得接近用标记的数据训练的单用户模型的性能的性能。
还可以使用用户嵌入。可以生成两个事件类别可以被聚类的嵌入空间。用户迁移矩阵表明,对于每个测试用户,通常有一些(例如,两个)单用户模型可以被充分地迁移。可以构建包括单用户模型集合的输出的用户嵌入空间。具体来说,可以构建关于协方差特征的简单最近质心分类器(XDCov+MDM)。XDCov+MDM方法相对于线性回归或其他替代概率模型的优势在于,即使模型可能校准不当,事件仍可能有助于簇可分离性。
XDCov+MDM模型的输出可以是softmax的函数,该函数在到每个事件类别的质心的距离上应用。在一些示例(例如,二进制分类)中,一个维度可以用于每个特定于用户的模式。然而,维度的数量可以根据分类类型而扩展(例如可以从多于两个可能的类别的池中进行的分类,例如,大于二进制分类)。
可以用来源于一组用户中的所有用户(减去一个用户)的样本来训练与用户相关联的嵌入。此后,与嵌入的训练中未使用的用户相关联的样本可以被投射到经训练的嵌入中。因此,可以产生X-1维的空间,其中X是来自该一组用户的用户数量。
图17A-17Q示出了每个维度的两个类别的手势(食指轻敲和中指轻敲)的示例分布。在一些模型中,可以区分这两个类别的分离,而其他模型显示大约相同的分布。在一些示例中,当模型没有被最佳校准时(即,类别之间的最佳分离可能不在0.5),模型仍然可以有效地分离这两个类别。
在如上面所讨论产生嵌入之后,可以执行聚类过程来分离对应于不同类型的事件类别(例如食指轻敲和中指轻敲或捏合或打响指(snap)或其他要分离的手势类型)的簇。例如,可以在使用嵌入产生的数据点集上运行K-means过程。
图18A和图18B示出了使用UMAP和PCA分离的簇的示例,表明可以使用如图18A中的均匀流形逼近和投影(UMAP)或者如图18B所示的主成分分析(PCA)来绘制这样的簇。可以看到多个簇(例如,两个簇),这些簇各自可以对应于不同的事件类别(例如手势类型)和不同的标记。由于嵌入空间传达了一种含义(其可以称为“proba”),所以每个簇可以与其对应的类别相关联。
还可以开发自监督的用户模型。在可以使用例如聚类技术产生一组标记之后,这些标记可以用于从原始数据集训练特定于用户的模型。例如,如果已知所选择的分类模型基本上不会过拟合模型,并且可能对标记的数据中包含的噪声不敏感,则可以实现XDCov和线性位移分析、或其他合适的分类模型。
图19示出了使用自监督模型实现的示例准确度水平,表明在训练自监督模型之后,可以实现标记或分类的估计的大约99%的准确度。在这个示例中,两次训练迭代可能就足够了。
可以使用完整的训练集来实现98%的准确度,该完整的训练集可以包括来自一组用户的所有用户的数据点。
图20示出了使用有监督的特定于用户的模型和自监督的特定于用户的模型实现的准确度水平,表明自监督模型比用标记的数据训练的特定于用户的模型表现得更好。剩余的短划线和点划线给出了可能的不确定性的定性指示。
可以调整窗口大小以提高自监督模型的性能。随着窗口大小的增大,观察自监督模型的准确度可以用于确定最佳窗口大小。为了模型的交叉验证,可以省略来自一个用户的数据。对于聚类和特定于用户的模型,可以使用具有10%的测试数据和90%的训练数据的10折随机分割(10fold random split)。在这种情况下,可以确定自监督模型在全窗口大小的情况下表现得更好。这可以通过观察到以下项来解释:在该实例中,小的窗口大小不会产生可分离的簇。因此,可以使用大的窗口大小来获得标记的数据,然后可以使用相对小的窗口大小(例如,使用标记)来训练特定于用户的模型。
图21示出了针对特定于用户的模型(实线)和自监督模型(下短划线)的窗口大小确定。剩余的短划线和点划线给出了可能的不确定性的定性指示。
可以使用类似的方法研究数据大小的影响。单用户模型的集成(ensemble)可以用于评估性能。交叉验证可以包括将一个用户留出来用于对齐,然后使用相同的10折随机分割(其具有10%的测试数据和从5%增大到90%的训练大小)。集成方法可能在30个事件之后达到96%的准确度,然后对于更大数量的事件,准确度可能在此之后趋于平稳。
有监督域自适应可以使用正则偏最小二乘(CPLS)模型。在一些示例中,可以使用基于域自适应的方法来代替构建特定于用户的模型(例如,通过确定可以导致跨用户充分迁移的数据变换)。可以使用CPLS模型来执行域自适应。可以确定变换函数来将一个用户的每个事件类别(例如,不同的手势类型,诸如食指轻敲、中指轻敲、食指到拇指的捏合、中指到拇指的捏合、打响指等)的模型与另一个用户的每个事件类别的模型对齐。
图22A-22B示出了与第一用户相关联的每个事件类别的模型。
图22C-22D示出了与第二用户相关联的每个事件类别的模型。
图23A-23B示出了与第一用户和第二用户相关联的事件类别的模型的对齐,表明一个用户的事件类别的模型可以与另一个用户的事件类别的对应模型对齐。垂直短划线对应于按键按压。对齐可能是有效的,部分是因为两个用户的每个事件类别的原始模型可能有很大的不同,但是在对齐之后它们可能变得几乎相同。
对齐后的数据分布可以通过考虑变换前和变换后的数据的UMAP嵌入来研究。
图24A-24B示出了变换前和变换后的示例数据。图24A示出了原始数据可以被明确地分离,并且在两个用户之间可以看到最大的变化。在变换之后,事件的两个事件类别可以以高程度的准确度匹配(例如,如图24B所示)。
可以研究针对一组用户中的每对用户的变换过程。在执行对齐之后,可以再现用户到用户的迁移矩阵。可以训练单用户模型,然后对于每个测试用户,可以对齐数据,并且可以对变换后的数据测试模型的准确度。对于测试用户,交叉验证可以包括对前40个事件(或其他数量的事件)估计事件类别模型,然后执行域自适应,并且最后对剩余事件(例如,120个事件)测试模型的准确度。这些(和其他)示例中使用的数值是示例性的而非限制性的。
图25A示出了来自一组用户中的所有用户的跨用户迁移,表明该过程可以增强单用户模型到任何其他用户的迁移。
可以确定达到最佳自适应所需的数据量。可以使用单用户模型的集成来进行性能评估,部分是因为在用户对之间适应数据是可能的。交叉验证可以包括将一个用户留出来以进行对齐,然后使用10折随机分割(其具有10%的测试数据,并且将训练大小从5%增大到90%)。数值是示例性的而非限制性的。
图25B示出了基于迁移函数确定监督域自适应的数据大小,表明准确度与训练事件的数量的关系。结果表明,集成可以在30个事件之后达到96%的准确度,并且此后可以趋于平稳。剩余的短划线和点划线给出了可能的不确定性的定性指示。
图26A-26B示出了示例设备,其可以包括以下项中的一项或更多项:人机界面、接口设备、控制设备和/或控制接口。在一些示例中,该设备可以包括控制设备2600,在该示例中(如图26A所示),控制设备2600可以包括多个(例如,16个)神经肌肉传感器2610(例如,EMG传感器),这些神经肌肉传感器2610围绕弹性带2620周向布置,该弹性带2620被配置为围绕用户的下臂或手腕佩戴。在一些示例中,EMG传感器2610可以围绕弹性带2620周向布置。该带可以包括柔性电子连接2640(在图26B中示出),该柔性电子连接2640可以互连分离的传感器和电子电路,在一些示例中,这些传感器和电子电路可以封装在一个或更多个传感器外壳2660中。每个传感器2610可以具有皮肤接触部分2650,该皮肤接触部分2650可以包括一个或更多个电极。可以使用任何合适数量的神经肌肉传感器2610。神经肌肉传感器的数量和布置可以取决于控制设备所用于的特定应用。例如,被配置为臂带、腕带或胸带的可佩戴控制设备可以用于生成控制信息,以控制增强现实系统、控制机器人、控制车辆、滚动浏览文本、控制虚拟化身或用于任何其他合适的控制任务。如所示的,传感器可以使用结合到无线设备中的柔性电子器件来耦合在一起。
图26B示出了穿过图26A所示的控制设备2600的传感器2610之一的横截面视图。传感器2610可以包括位于皮肤接触表面2650内的多个电极。弹性带2620可以包括外侧柔性层2622和内侧柔性层2630,它们可以至少部分地围住柔性电连接器2640。
在一些实施例中,可以可选地使用基于硬件的信号处理电路来处理一个或更多个感测部件的输出(例如,以执行放大、滤波、整流和/或其它合适的信号处理功能)。在一些实施例中,可以在软件中执行对感测部件的输出的至少一些信号处理。因此,对由传感器采样的信号的信号处理可以在硬件、软件中执行,或由硬件和软件的任何合适组合执行,因为本文描述的技术的方面在这一点上不受限制。用于处理来自传感器2610的信号数据的模拟电路的非限制性示例在下面参考图27A和图27B进行更详细地讨论。
图27A和图27B示出了具有装置的内部部件的示意图,该装置可以包括一个或更多个EMG传感器,例如16个EMG传感器。该装置可以包括可佩戴设备(例如控制设备2710(在图27A中示意性地示出))以及可以与控制设备2710通信(例如,使用蓝牙或另一种合适的短距离无线通信技术)的加密狗部分2750(在图27B中示意性地示出)。在一些示例中,加密狗部分的功能(例如,与图27B所示的电路类似的电路)可以被包括在头戴式设备内,从而允许控制设备与头戴式设备进行通信。
图27A示出了控制设备2710可以包括一个或更多个传感器2712(例如上面结合图26A和图26B描述的传感器2610)。传感器各自可以包括一个或更多个电极。来自传感器2712的传感器信号可以被提供给模拟前端2714,该模拟前端2714可以被配置为执行传感器信号的模拟处理(例如,降噪、滤波等)。经处理的模拟信号然后可以被提供给模数转换器(ADC)2716,该模数转换器(ADC)2716可以将经处理的模拟信号转换为数字信号,该数字信号然后可以由一个或更多个计算机处理器进一步处理。根据一些实施例可以使用的示例计算机处理器可以包括微控制器(MCU)2722。MCU 2722还可以从其他传感器(例如,诸如惯性测量单元(IMU)传感器2718的惯性传感器,或其他合适的传感器)接收信号。控制设备2710还可以包括电源2720或从电源2720接收电力,该电源2720可以包括电池模块或其他电源。由MCU2722执行的处理的输出可以被提供给天线2730,以用于传输到图27B所示的加密狗部分2750。
图27B示出了加密狗部分2750可以包括天线2752,该天线2752可以被配置为与关联于控制设备2710的天线2730进行通信。可以使用任何合适的无线技术和协议(其非限制性示例包括射频信令和蓝牙)进行天线2730和2752之间的通信。如图所示,由加密狗部分2750的天线2752接收的信号可以通过蓝牙无线电(或其他接收器电路)接收,并通过输出2756(例如,USB输出)提供给主计算机,以用于进一步处理、显示和/或用于实现对一个或更多个特定物理或虚拟对象的控制。
在一些示例中,加密狗可以被插入单独的计算机设备中,该计算机设备可以位于与用户相同的环境内,但是不被用户携带。该单独的计算机可以从控制设备接收控制信号,并进一步处理这些信号,以向头戴式设备提供进一步的控制信号。控制信号可以触发头戴式设备来修改人工现实视图。在一些示例中,加密狗(或头戴式设备或其他设备中的等效电路)可以是网络使能的,允许通过网络与远程计算机进行通信,并且远程计算机可以向头戴式设备提供控制信号,以触发头戴式设备来修改人工现实视图。在一些示例中,加密狗可以被插入头戴式设备中以提供改进的通信功能,并且头戴式设备可以基于从控制设备2710接收的控制信号来执行进一步的处理(例如,修改AR图像)。
在一些示例中,加密狗部分的配置可以被包括在头戴式设备(例如人工现实头戴装置)中。在一些示例中,上面在图27B中描述的电路可以由头戴式设备的部件提供(即,集成在头戴式设备的部件内)。在一些示例中,控制设备可以使用所描述的无线通信和/或类似的示意性电路或具有类似功能的电路来与头戴式设备进行通信。
头戴式设备可以包括类似于上面关于图27B描述的天线2752的天线。头戴式设备的天线可以被配置为与关联于控制设备的天线进行通信。控制设备和头戴式设备的天线之间的通信可以使用任何合适的无线技术和协议进行,无线技术和协议的非限制性示例包括射频信令和蓝牙。由头戴式设备的天线接收的信号(例如控制信号)可以通过蓝牙无线电(或其他接收器电路)接收,并被提供给头戴式设备内的处理器,该处理器可以被编程为响应于控制信号而为用户修改人工现实视图。例如,响应于检测到的手势类型,控制信号可以触发头戴式设备来修改呈现给用户的人工现实视图。
示例设备可以包括控制设备和与控制设备进行通信(例如,经由蓝牙或另一种合适的短距离无线通信技术)的一个或更多个设备(例如,一个或更多个加密狗部分、头戴装置、远程计算机设备等)。控制设备可以包括一个或更多个传感器,这些传感器可以包括电传感器(包括一个或更多个电极)。来自电极的电输出(其可以被称为传感器信号)可以被提供给模拟电路,该模拟电路被配置为执行传感器信号的模拟处理(例如,滤波等)。经处理的传感器信号然后可以被提供给模数转换器(ADC),该模数转换器(ADC)可以被配置为将模拟信号转换为可以由一个或更多个计算机处理器处理的数字信号。示例计算机处理器可以包括一个或更多个微控制器(MCU),例如nRF52840(由NORDIC SEMICONDUCOTR制造)。MCU还可以接收来自一个或更多个其他传感器的输入。该设备可以包括一个或更多个其他传感器(例如取向传感器),其可以是绝对取向传感器并且可以包括惯性测量单元。示例取向传感器可以包括BNO055惯性测量单元(由BOSCH SENSORTEC制造)。该设备还可以包括专用供电电源(例如电源和电池模块)。由MCU执行的处理的输出可以被提供给天线,以用于传输到加密狗部分或另一个设备。其他传感器可以包括肌动图(MMG)传感器、声肌图(SMG)传感器、电阻抗断层成像(EIT)传感器和其他合适类型的传感器。
加密狗部分或诸如头戴式设备的其他设备可以包括被配置为与控制设备和/或其他设备进行通信的一个或更多个天线。系统部件之间的通信可以使用任何合适的无线协议(例如射频信令和蓝牙)。由加密狗部分(或其他设备)的天线接收的信号可以通过输出(例如USB输出)提供给计算机,以用于进一步处理、显示和/或实现对一个或更多个特定物理或虚拟对象的控制。
尽管参考图26A、26B和图27A、27B提供的示例是在具有EMG传感器的接口的上下文中讨论的,但是示例还可以在控制设备(例如与其他类型的传感器一起使用的可佩戴接口,这些其它类型的传感器包括但不限于肌动图(MMG)传感器、声肌图(SMG)传感器和电阻抗断层成像(EIT)传感器)中实现。本文描述的方法还可以在可佩戴接口中实现,该可佩戴接口通过电线和电缆(例如,USB电缆、光纤电缆)与计算机主机进行通信。
图28示出了示例系统2800,其可以包括头戴装置2810和控制设备2820(其可以表示可佩戴的控制设备)。在一些示例中,系统2800可以包括磁跟踪器。在这些示例中,用于磁跟踪器的发射器可以安装在控制设备2820上,并且用于磁跟踪器的接收器可以安装在头戴装置2810上。在其他示例中,用于磁跟踪器的发射器可以安装在头戴装置上或者以其他方式位于环境内。在一些实施例中,系统2800还可以包括一个或更多个可选的控制手套2830。在一些示例中,控制手套的许多或所有功能可以由控制设备2820提供。在一些示例中,系统可以是增强现实和/或虚拟现实系统。在一些示例中,控制手套2830可以包括多个磁跟踪器接收器,可以使用这些接收器来确定用户的手的各个部位的取向和/或位置。在一些示例中,控制设备2820可以类似于图26A和图26B所示的控制设备。在一些示例中,控制设备可以包括类似于图27A(和/或图27B)所示的电子电路的电子电路。
在一些示例中,控制手套2830(其可以被更简单地称为手套)可以包括一个或更多个磁跟踪器接收器。例如,手套的手指可以包括至少一个接收器线圈,并且来自至少一个接收器线圈的由磁跟踪器发射器感应的跟踪器信号的检测可以用于确定手指的至少一部分的位置和/或取向。一个或更多个接收器线圈可以与手的每个部分(例如手指(例如拇指)、手掌等)相关联。手套还可以包括提供指示手的位置和/或配置的传感器信号的其他传感器(例如电活性传感器)。传感器信号(例如磁跟踪器接收器信号)可以被传输到控制设备(例如可佩戴的控制设备)。在一些示例中,控制设备(例如腕戴式控制设备)可以与控制手套进行通信,并且使用有线和/或无线通信从控制手套接收传感器数据。例如,柔性电连接器可以在控制设备(例如,腕戴式控制设备)和手套之间延伸。在一些示例中,控制装置可以包括手套,和/或可以包括腕带。
在一些示例中,控制设备2820可以包括EMG控制接口,该EMG控制接口类似于图26A和图26B所示的设备。由于感应电流和/或电压,将磁跟踪器发射器定位在控制设备2820上或附近可能导致将噪声引入由控制设备2820记录的信号中。在一些实施例中,通过将发射器定位在离控制设备2820更远的距离处,可以减少由磁跟踪器发射器引起的电磁干扰。例如,发射器可以安装在头戴装置2810上,而磁跟踪器接收器可以安装在控制设备2820上。例如,当用户保持其手臂远离其头部时,这种配置效果很好,但如果用户将其手臂移动到靠近头戴装置的位置,则这种配置可能效果不佳。然而,许多应用不需要用户的头部和手之间的广泛接近。
控制设备(例如可佩戴控制设备2820)可以包括模拟电路和模数转换器,该模拟电路包括被配置为放大源自用户身体(例如,来自与皮肤接触的电极、和/或一个或更多个其他传感器)的模拟电信号的至少一个放大器,该模数转换器被配置为将放大后的模拟电信号转换为可以用于控制该系统(例如虚拟现实(VR)和/或增强现实(AR)系统)的数字信号。
在一些示例中,增强现实系统可以包括磁跟踪器。磁跟踪器可以包括位于头戴装置中或其他位置的发射器以及一个或更多个接收器,这些接收器可以与被跟踪的对象或用户的身体部位(例如用户的手、或其他肢体或其部分、或关节)相关联。
图29示出了对事件进行分类的示例方法(2900),该示例方法包括:从用户获得肌电图(EMG)数据(2910),EMG数据包括对应于事件的EMG信号;检测对应于事件的EMG信号(2920);将EMG信号分类为来自事件类型(2930);以及基于事件类型生成控制信号(2940)。示例方法还可以包括基于控制信号来触发头戴式设备以修改人工现实视图,从而控制人工现实环境。
图30示出了对事件进行分类的示例方法(3000),该示例方法包括:检测对应于事件的EMG信号(3010);使用训练的模型将EMG信号分类为对应于事件类型(3020);以及基于事件类型生成用于人工现实环境的控制信号(3030)。控制信号可以触发头戴式设备来修改人工现实视图。
在一些示例中,图29和图30可以表示示例性计算机实现的方法的流程图,这些示例性计算机实现的方法用于检测至少一个手势,并使用至少一个检测到的手势类型来控制人工现实系统(例如增强现实系统或虚拟现实系统)。附图中所示的一个或更多个步骤可以由任何合适的计算机可执行代码和/或计算机设备(例如控制设备、头戴式设备、与控制设备通信的其他计算机设备、或者与提供传感器信号的设备通信的计算机设备)来执行。在一些示例中,图29和/或图30中所示的一个或更多个步骤可以表示使用方法(例如本文描述的那些方法)的算法,该算法的结构包括多个子步骤和/或由多个子步骤表示。在一些示例中,特定示例方法的步骤可以由系统的不同部件(包括例如控制设备和头戴式设备)执行。
在一些示例中,事件检测和分类可以通过无监督模型或自监督模型来执行,并且这些方法可以用于检测用户手势。可以为特定用户训练模型,或者在一些示例中,模型可以在不同的用户上进行训练,并且该不同的用户的训练数据适于与当前用户一起使用。在示例训练方法中,EMG数据可以被检测,并且可选地被记录以用于分析。可以使用EMG数据来训练模型,这些EMG数据可以在一个或更多个用户执行一个或更多个手势时获得。示例手势包括手指轻敲(例如,模拟的按键按压)、其他手指移动(例如手指卷曲、滑动、指向(pointing)手势等)或者其他类型的手势,和/或传感器数据可以被类似地用于训练示例事件检测器模型。
在一些实施例中,通过构建包括单用户模型的嵌入空间,可以获得清晰可分离的事件簇。可以实现聚类技术来确定每个事件的标记,然后可以使用标记的数据来训练特定于用户的模型。通过使用这些技术中的至少一种技术,可以以完全无监督的方式达到非常高的准确率(例如,98%的准确率)。例如,使用相对少量的样本(例如,少于40个事件样本),可以实现相对高的准确度(例如,95%的准确度)。
此外,在一些实施例中,单用户事件模板可以适应于其他用户,从而进一步减少了与所适应的用户一起使用模型可能需要的附加数据量。例如,可以使用PLS通过跨用户对对齐数据集来适应域。例如,PLS可以被训练来跨用户对齐事件模板。对齐的用户模板的集成可以导致高准确度(例如,96%的准确度),从而需要收集非常少的事件数据(例如,少于10个事件)。
姿态(pose)可以定义为随着时间的推移而静止的身体位置,并且理论上可以无限期保持。相比之下,在一些示例中,手势可以被定义为包括动态的身体位置,其可以每次出现具有开始时间和结束时间。因此,手势可以被定义为特定手势类型的离散事件。手势类型的代表性示例包括打响指、手指轻敲、手指卷曲或弯曲、指向、滑动、转动、抓握或其他手指运动。在一些示例中,手势可以包括手臂、手腕或手的至少一部分的移动或者其他肌肉激活。在一些示例中,可能不需要用户的视觉上可感知的移动,并且手势可以由肌肉激活模式来定义(独立于用户身体的一部分的任何视觉上可感知的移动)。
当(例如在连续的肌电图(EMG)数据流中)检测到手势事件时,通用事件检测器(generic event detector)可以生成输出信号。用于计算机设备(例如人工现实系统)的控制信号可以基于通用事件检测器的输出信号。通用事件检测器可以在用户每次执行手势时产生输出信号。在一些示例中,可以独立于所执行的手势的类型来产生输出信号。在一些示例中,当事件检测器检测到事件(例如手势)时,可以执行事件分类器。事件分类器可以确定与用户所执行的手势相关的信息(例如手势类型)。手势类型可以包括以下项中的一项或更多项:执行的物理动作、用于执行物理动作的身体部位(例如手指或其他身体部位)、用户的预期动作、同一时间或近似同一时间执行的其他物理动作。控制信号还可以基于来自一种或更多种传感器类型的传感器数据的组合。相应的控制信号可以被发送到增强现实(AR)系统,并且控制信号可以至少部分地基于手势类型。控制信号可以通过以下项中的一项或更多项来修改人工现实显示:项目的选择、任务的执行、可以至少部分地由手势类型确定的将对象移动一定程度和/或方向、与对象(例如,真实或虚拟对象)的用户界面的交互、或其他动作。在一些实施例中,手势可以基于一个或更多个肌电图信号(例如肌电图小波)被分类为特定手势类型。
在一些示例中,检测事件(例如手势)的方法可以包括:获得包括对应于第一用户的手势的EMG信号的第一组肌电图(EMG)数据;通过对从获得的第一组EMG信号确定的事件数据进行聚类来训练第一分类器;使用第一分类器标记获得的第二组EMG数据;以及使用标记的第二组EMG数据来训练事件检测器。
在一些示例中,用于对事件(例如手势)进行分类的方法可以包括以下步骤中的一个或更多个步骤:生成多个单用户事件分类器;使用多个单用户分类器生成多用户事件分类器;使用生成的多用户分类器标记肌电图(EMG)数据;生成对应于多个用户的数据变换;生成与多个用户中的第一用户相关的单用户分类器;使用针对多个用户中的第二用户的数据变换和针对第一用户的单用户分类器来标记第二用户的接收到的EMG数据;以及使用标记的EMG数据来训练事件检测器。
在一些示例中,提供了一种用于训练事件检测器(例如手势检测器)的方法。该方法可以包括以下步骤中的一个或更多个步骤:获得包括对应于手势的EMG信号的肌电图(EMG)数据;从EMG数据生成特征数据;检测特征数据中的事件;使用特征数据生成epoch,其中每个epoch可以以检测到的事件之一为中心;将epoch聚类成类型,其中至少一种类型可以对应于手势;按类型对齐epoch以生成对齐的epoch;使用对齐的epoch训练标记模型;使用标记模型标记特征数据以生成标记的特征数据;以及使用标记的特征数据来训练事件检测器。
在一些示例中,一种用于训练事件分类器的方法可以包括以下步骤中的一个或更多个步骤:获得包括对应于多个手势的EMG信号的肌电图(EMG)数据;从EMG数据生成特征数据;使用事件检测器检测特征数据中的事件;使用特征数据生成epoch,每个epoch以检测到的事件之一为中心;使用epoch生成单用户事件分类模型;使用单用户事件分类模型标记EMG数据;以及使用标记的EMG数据来训练事件分类器。
在一些示例中,一种使用epoch生成单用户事件分类模型的方法可以包括以下步骤中的一个或更多个步骤:使用epoch生成矢量化的epoch;以及通过使用矢量化的epoch训练逻辑回归、随机森林或多层感知器分类器中的一个或更多个来生成单用户事件分类模型。在一些示例中,其中使用epoch生成单用户事件分类模型包括:使用epoch生成经空间滤波的降维的epoch;使用经空间滤波的降维的epoch生成矢量化的epoch;以及通过使用矢量化的epoch训练逻辑回归、随机森林或多层感知器分类器中的一个或更多个来生成单用户事件分类模型。在一些示例中,其中使用epoch生成单用户事件分类模型包括:使用epoch生成一个或更多个事件模型,每个事件模型对应于手势;通过将每个epoch与一个或更多个事件模型组合来生成组合的epoch;以及通过使用组合的epoch训练逻辑回归、随机森林或多层感知器分类器中的一个或更多个来生成单用户事件分类模型。
在一些示例中,提供了一种用于训练事件分类器的方法。该方法可以包括以下步骤中的一个或更多个步骤:获得包括对应于多个用户的多个手势的EMG信号的肌电图(EMG)数据;从EMG数据生成特征数据;使用事件检测器检测特征数据中的事件;使用特征数据生成epoch,每个epoch以检测到的事件之一为中心;使用epoch生成交叉用户事件分类模型;使用交叉用户事件分类模型标记EMG数据;以及使用标记的EMG数据来训练事件分类器。
在一些示例中,提供了一种用于训练事件分类器的方法。该方法可以包括以下步骤中的一个或更多个步骤:使用多个单用户事件分类模型生成嵌入模型;使用嵌入模型和包括对应于用户的多个手势的EMG信号的肌电图(EMG)数据生成嵌入事件;将嵌入事件聚类成对应于多个手势的簇;基于聚类的嵌入事件将标记与EMG数据相关联;以及使用EMG数据和相关联的标记为用户训练事件分类器。
在一些示例中,提供了一种用于训练事件分类器的方法。该方法可以包括以下步骤中的一个或更多个步骤:为多个用户中的每一个用户生成针对多个事件中的每一个事件的事件模板;跨多个用户确定针对多个事件中的每一个事件的事件模板之间的对齐变换;使用为第二用户确定的对齐变换中的对齐变换来对第一用户的EMG数据进行变换;使用变换后的EMG数据和第二用户的单用户事件分类模型将标记与EMG数据相关联;以及使用EMG数据和相关联的标记为用户训练事件分类器。
在一些示例中,提供了一种用于手势检测的系统。该系统可以包括至少一个处理器和至少一个非暂时性存储器,该至少一个非暂时性存储器包括指令,该指令在被至少一个处理器执行时使该用于手势检测的系统执行操作,这些操作包括:使用事件检测器将事件标记与肌电图数据的一部分相关联;响应于将事件标记与肌电图数据的该部分相关联,使用事件分类器将手势标记与肌电图数据的该部分相关联;以及输出事件标记或手势标记中的至少一个的指示。
本文描述的示例可以包括示例方面的各种合适的组合,前提是这些方面不是不兼容的。
示例系统和方法可以包括用于以准确和无监督的方式检测手势的基于用户的模型。提供了事件检测器模型——这些事件检测器模型可以在特定用户的有限的用户数据集上并且使用标记和聚类方法进行训练,可以在限制事件数据实例的数量的同时提高事件检测器的准确度。
通过构建包括单用户模型的嵌入空间,可以获得清晰可分离的事件簇。可以实现聚类技术来确定每个事件的标记,然后可以使用标记的数据来训练特定于用户的模型。在一些示例中,通过以完全无监督的方式应用该过程,可以达到98%的准确度。此外,可以使用有限数量(例如,40个)的事件样本来达到95%的准确度。
使用PLS进行的域自适应可以包括以下项中的一项或更多项。可以通过训练PLS以对齐事件模板,来对齐跨用户对的数据集。对齐的单用户的集成可以导致96%的准确度。对齐需要执行非常少的数据(例如少于10个事件)。
当在连续的肌电图(EMG)数据流中检测到手势事件时,通用事件检测器可以发出输出信号。示例通用事件检测器可以在用户每次执行手势时产生输出信号,并且可以独立于所执行手势的类型来产生该输出信号。
当事件检测器识别手势事件时,可以执行事件分类器。事件分类器然后可以确定用户执行的手势类型。
在一些示例中,一种用于检测事件的方法可以包括以下项中的一项或更多项:获得包括对应于第一用户的手势的EMG信号的第一组肌电图(EMG)数据;通过对从获得的第一组EMG信号确定的事件数据进行聚类来训练第一分类器;以及使用第一分类器标记获得的第二组EMG数据;以及使用标记的第二组EMG数据来训练事件检测器。示例方法可以包括提供通用事件检测器。
在一些示例中,一种用于对事件进行分类的方法可以包括以下项中的一项或更多项:生成多个单用户事件分类器;使用多个单用户分类器生成多用户事件分类器;使用生成的多用户分类器标记肌电图(EMG)数据;生成对应于多个用户的数据变换;生成与多个用户中的第一用户相关的单用户分类器;使用针对多个用户中的第二用户的数据变换和针对第一用户的单用户分类器来标记第二用户的接收到的EMG数据;以及使用标记的EMG数据来训练事件检测器。示例方法可以包括提供通用事件分类器。
在一些示例中,一种用于训练事件检测器的方法可以包括以下项中的一项或更多项:获得包括对应于手势的EMG信号的肌电图(EMG)数据;从EMG数据生成特征数据;检测特征数据中的事件;使用特征数据生成epoch,每个epoch以检测到的事件之一为中心;将epoch聚类成类型,至少一个类型对应于手势;按类型对齐epoch以生成对齐的epoch;使用对齐的epoch训练标记模型;使用标记模型标记特征数据,以生成标记的特征数据;以及使用标记的特征数据来训练事件检测器。示例方法可以包括生成分类器来标记未标记的数据,然后使用标记的数据来生成事件检测器。
在一些示例中,一种用于训练事件分类器的方法可以包括以下项中的一项或更多项:获得包括对应于多个手势的EMG信号的肌电图(EMG)数据;从EMG数据生成特征数据;使用事件检测器检测特征数据中的事件;使用特征数据生成epoch,每个epoch以检测到的事件之一为中心;使用epoch生成单用户事件分类模型;使用单用户事件分类模型标记EMG数据;以及使用标记的EMG数据来训练事件分类器。示例方法可以包括生成单用户事件分类模型来标记未标记的数据,然后使用标记的数据来生成事件分类器。
在一些示例中,使用epoch生成单用户事件分类模型可以包括以下项中的一项或更多项:使用epoch生成矢量化的epoch;以及通过使用矢量化的epoch训练逻辑回归、随机森林或多层感知器分类器中的一个或更多个来生成单用户事件分类模型。示例方法可以包括从矢量化的试验中生成单用户事件分类模型。
在一些示例中,使用epoch生成单用户事件分类模型可以包括以下项中的一项或更多项:使用epoch生成经空间滤波的降维的epoch;使用经空间滤波的降维的epoch生成矢量化的epoch;以及通过使用矢量化的epoch训练逻辑回归、随机森林或多层感知器分类器中的一个或更多个来生成单用户事件分类模型。该方法可以用于根据通过对试验进行空间滤波而生成的降维数据,生成单用户事件分类模型。
在一些示例中,使用epoch生成单用户事件分类模型可以包括以下项中的一项或更多项:使用epoch生成一个或更多个事件模型,每个事件模型对应于手势;通过将每个epoch与一个或更多个事件模型组合来生成组合的epoch;以及通过使用组合的epoch训练逻辑回归、随机森林或多层感知器分类器中的一个或更多个来生成单用户事件分类模型。示例方法可以包括通过生成事件模板并且将事件模板与试验连接来生成单用户事件分类模型。
在一些示例中,一种用于训练事件分类器的方法包括以下项中的一项或更多项:获得包括对应于多个用户的多个手势的EMG信号的肌电图(EMG)数据;从EMG数据生成特征数据;使用事件检测器检测特征数据中的事件;使用特征数据生成epoch,每个epoch以检测到的事件之一为中心;使用epoch生成交叉用户事件分类模型;以及使用交叉用户事件分类模型来标记EMG数据;以及使用标记的EMG数据来训练事件分类器。示例方法可以包括生成交叉用户事件分类模型来标记未标记的数据,然后使用标记的数据来生成事件分类器。
在一些示例中,一种用于训练事件分类器的方法可以包括以下项中的一项或更多项:使用多个单用户事件分类模型生成嵌入模型;使用嵌入模型和包括对应于用户的多个手势的EMG信号的肌电图(EMG)数据来生成嵌入事件;将嵌入事件聚类成对应于多个手势的簇;基于聚类的嵌入事件将标记与EMG数据相关联;以及使用EMG数据和相关联的标记为用户训练事件分类器。示例方法可以包括生成独立于用户的事件分类模型,以根据单用户事件分类模型的集成来标记未标记的数据,然后使用标记的数据来生成事件分类器。
在一些示例中,一种用于训练事件分类器的方法可以包括以下项中的一项或更多项:为多个用户中的每一个用户生成多个事件中的每一个事件的事件模板;跨多个用户确定针对多个事件中的每一个事件的事件模板之间的对齐变换;使用为第二用户确定的对齐变换中的至少一个对齐变换来对第一用户的EMG数据进行变换;使用变换后的EMG数据和第二用户的单用户事件分类模型将标记与EMG数据相关联;以及使用EMG数据和相关联的标记为用户训练事件分类器。示例方法可以包括使用用户之间的对齐变换来对数据进行变换,以便通过特定于单用户的事件分类模型进行标记,然后使用标记的数据来生成事件分类器。
在一些示例中,一种用于手势检测的系统可以被配置为使用事件检测器来识别手势,并且使用事件分类器来对手势进行分类,其中事件检测器可以使用训练方法(例如本文描述的训练方法)来进行训练。在一些示例中,一种用于手势检测的系统可以包括:至少一个处理器;以及至少一个非暂时性存储器,其包括指令,该指令在由至少一个处理器执行时使该用于手势检测的系统执行操作,这些操作包括:使用事件检测器将事件标记与肌电图数据的一部分相关联;响应于将事件标记与肌电图数据的该部分相关联,使用事件分类器将手势标记与肌电图数据的该部分相关联;以及输出事件标记或手势标记中的至少一个的指示。
示例性计算机实现的方法可以由任何合适的计算机可执行代码和/或计算系统来执行,其中该方法的一个或更多个步骤可以表示算法,该算法的结构可以包括多个子步骤和/或可以由多个子步骤表示。
在一些示例中,一种系统包括至少一个物理处理器和包括计算机可执行指令的物理存储器,这些计算机可执行指令在由物理处理器执行时使物理处理器执行如本文所述的一个或更多个方法或方法步骤。在一些示例中,一种计算机实现的方法可以包括对手势的检测和分类,以及使用检测到的手势类型对人工现实系统的控制。
在一些示例中,一种非暂时性计算机可读介质包括一个或更多个计算机可执行指令,这些计算机可执行指令在由计算设备的至少一个处理器执行时使计算设备执行如本文所述的一个或更多个方法步骤。在一些示例中,一种计算机实现的方法可以包括对手势的检测和分类,以及使用检测到的手势类型对人工现实系统的控制。
示例包括一种控制设备,该控制设备包括多个肌电图(EMG)传感器和/或其他传感器以及至少一个物理处理器,该物理处理器被编程为接收传感器数据、检测传感器数据内对应于用户手势的传感器信号、对传感器信号进行分类以识别手势类型、以及基于手势类型提供控制信号。控制信号可以触发头戴式设备来修改人工现实视图。
示例实施例
示例1。一种示例系统,包括:头戴式设备,该头戴式设备被配置为向用户呈现人工现实视图;控制设备,该控制设备包括多个肌电图(EMG)传感器,该肌电图(EMG)传感器包括当用户佩戴控制设备时接触用户的皮肤的电极;至少一个物理处理器;以及物理存储器,该物理存储器包括计算机可执行指令,这些计算机可执行指令在由物理处理器执行时使物理处理器:处理如由EMG传感器检测到的一个或更多个EMG信号;将经处理的一个或更多个EMG信号分类为一种或更多种手势类型;基于手势类型提供控制信号,其中控制信号触发头戴式设备来修改人工现实视图的至少一个方面。
2。根据示例1所述的系统,其中,至少一个物理处理器位于控制设备内。
示例3。根据示例1-2中任一项所述的系统,其中,至少一个物理处理器位于头戴式设备内,或者位于与控制设备通信的外部计算机设备内。
示例4。根据示例1-3中任一项所述的系统,其中,当由物理处理器执行时,计算机可执行指令使物理处理器使用分类器模型将经处理的EMG信号分类为一种或更多种手势类型。
示例5。根据示例1-4中任一项所述的系统,其中,使用包括针对手势类型的多个EMG训练信号的训练数据来训练分类器模型。
示例6。根据示例1-5中任一项所述的系统,其中,训练数据是从多个用户获得的。
示例7。根据示例1-6中任一项所述的系统,其中,头戴式设备包括虚拟现实头戴装置或增强现实设备。
示例8。一种示例方法,包括:从用户获得一个或更多个肌电图(EMG)信号;处理该一个或更多个EMG信号以生成相关联的特征数据;使用分类器模型将相关联的特征数据分类为一种或更多种手势类型;以及基于该一种或更多种手势类型向人工现实(AR)设备提供控制信号,其中,使用包括针对该一种或更多种手势类型的多个EMG训练信号的训练数据来训练分类器模型。
示例9。根据示例8所述的方法,其中,通过对从EMG训练信号确定的特征数据进行聚类来训练分类器模型。
示例10。根据示例8-9中任一项所述的方法,其中,使用从多个用户获得的EMG训练信号来训练分类器模型。
示例11。根据示例8-10中任一项所述的方法,其中,多个用户不包括该用户。
示例12。根据示例8-11中任一项所述的方法,还包括通过以下步骤训练分类器模型:获得对应于手势类型的EMG训练信号;通过对从EMG训练信号获得的EMG训练数据进行聚类来训练分类器模型。
示例13。根据示例8-12中任一项所述的方法,其中,通过以下步骤进一步训练分类器模型:确定EMG训练信号相对于相应的EMG训练信号最大值的时间的时间依赖性;通过向多个EMG训练信号中的至少一个EMG训练信号添加时间偏移来对齐多个EMG训练信号的时间依赖性;从对齐的多个EMG训练信号中获得信号特征;以及训练分类器模型以检测具有信号特征的EMG信号。
示例14。根据示例8-13中任一项所述的方法,其中,通过以下步骤进一步训练分类器模型:获得包括对应于手势类型的EMG训练信号的训练数据;以及将对应于该手势类型的每次出现的EMG训练信号进行平均,以获得针对该手势类型的手势模型,其中,分类器模型使用手势模型对EMG信号进行分类。
示例15。根据示例8-14中任一项所述的方法,其中,手势模型是针对手势类型的特定于用户的手势模型。
示例16。根据示例8-14中任一项所述的方法,其中,手势模型是基于从多个用户获得的EMG训练数据的多用户手势模型,该多用户手势模型是多个特定于用户的手势模型的组合。
示例17。根据示例8-16中任一项所述的方法,其中,人工现实设备包括头戴式设备,该头戴式设备被配置为向用户呈现人工现实图像,该方法还包括基于控制信号来修改人工现实图像。
示例18。根据示例8-17中任一项所述的方法,其中,修改人工现实图像包括基于手势类型选择或控制人工现实图像中的对象。
示例19。一种非暂时性计算机可读介质,包括一个或更多个计算机可执行指令,当由计算设备的至少一个处理器执行时,这些计算机可执行指令使计算设备:接收如由EMG传感器检测到的一个或更多个肌电图(EMG)信号;处理该一个或更多个EMG信号以识别对应于用户手势类型的一个或更多个特征;使用该一个或更多个特征来将该一个或更多个EMG信号分类为手势类型;基于手势类型提供控制信号;以及将控制信号传输到头戴式设备,以响应于控制信号来触发人工现实视图的修改。
示例20。根据示例19所述的非暂时性计算机可读介质,其中,计算机设备被配置为对EMG信号进行分类,以基于根据从多个用户获得的训练数据确定的手势模型来识别手势类型。
本公开的实施例可以包括各种类型的人工现实系统或结合各种类型的人工现实系统来实现。人工现实是一种在呈现给用户之前已经以某种方式调整过的现实形式,其可以包括例如虚拟现实、增强现实、混合现实、混杂现实或其某种组合和/或衍生物。人工现实内容可以包括完全地计算机生成的内容或者与捕获的(例如,真实世界)内容相结合的计算机生成的内容。人工现实内容可以包括视频、音频、触觉反馈或它们的某种组合,它们中的任何一个可以在单个通道或多个通道中呈现(例如向观看者产生三维(3D)效果的立体视频)。此外,在一些实施例中,人工现实还可以与应用、产品、附件、服务或其某种组合相关联,这些应用、产品、附件、服务或其某种组合被用于例如在人工现实中创建内容和/或以其他方式在人工现实中使用(例如,在人工现实中执行活动)。
人工现实系统可以以各种不同的形状因子和配置来实现。一些人工现实系统可能被设计成在没有近眼显示器(NED)的情况下工作。其他人工现实系统可以包括NED,其还提供对真实世界的可见性(例如,图31中的增强现实系统3100)或者使用户在视觉上沉浸在人工现实中(例如,图32中的虚拟现实系统3200)。虽然一些人工现实设备可以是独立的系统,但是其他人工现实设备可以与外部设备通信和/或协作以向用户提供人工现实体验。这种外部设备的示例包括手持控制器、移动设备、台式计算机、由用户佩戴的设备、由一个或更多个其他用户佩戴的设备、和/或任何其他合适的外部系统。
转到图31,增强现实系统3100可以包括具有框架3110的眼镜设备3102,框架3110被配置为将左显示设备3115(A)和右显示设备3115(B)保持在用户的眼睛前方。显示设备3115(A)和3115(B)可以一起或独立地起作用来向用户呈现图像或一系列图像。虽然增强现实系统3100包括两个显示器,但是本公开的实施例可以在具有单个NED或多于两个NED的增强现实系统中实现。
在一些实施例中,增强现实系统3100可以包括一个或更多个传感器,例如传感器3140。传感器3140可以响应于增强现实系统3100的运动而产生测量信号,并且可以位于框架3110的基本上任何部分上。传感器3140可以表示位置传感器、惯性测量单元(IMU)、深度相机组件、结构光发射器和/或检测器、或其任意组合。在一些实施例中,增强现实系统3100可以包括或可以不包括传感器3140,或者可以包括多于一个的传感器。在传感器3140包括IMU的实施例中,IMU可以基于来自传感器3140的测量信号来生成校准数据。传感器3140的示例可以包括但不限于加速度计、陀螺仪、磁力计、检测运动的其他合适类型的传感器、用于IMU的误差校正的传感器、或其某种组合。
增强现实系统3100还可以包括具有多个声换能器3120(A)-1320(J)(统称为声换能器3120)的麦克风阵列。声换能器3120可以是检测由声波引起的气压变化的换能器。每个声换能器3120可以被配置成检测声音并将检测到的声音转换成电子格式(例如,模拟或数字格式)。图2中的麦克风阵列可以包括例如十个声换能器:3120(A)和3120(B),其可以被设计成放置在用户的相应耳朵内;声换能器3120(C)、3120(D)、3120(E)、3120(F)、3120(G)和3120(H),其可以位于框架3110上的各个位置;和/或声换能器3120(I)和3120(J),其可以位于相应的颈带3105上。
在一些实施例中,声换能器3120(A)-3120(F)中的一个或更多个可以用作输出换能器(例如,扬声器)。例如,声换能器3120(A)和/或3120(B)可以是耳塞或任何其他合适类型的耳机或扬声器。
麦克风阵列中的声换能器3120的配置可以变化。虽然增强现实系统3100在图31中显示为具有十个声换能器3120,但是声换能器3120的数量可以大于或小于十个。在一些实施例中,使用更多数量的声换能器3120可以增加所收集的音频信息量和/或音频信息的灵敏度和准确性。相反,使用较少数量的声换能器3120可以降低相关联的控制器3150处理所收集的音频信息所需的计算能力。此外,麦克风阵列中的每个声换能器3120的位置可以变化。例如,声换能器3120的位置可以包括用户上的定义位置、框架3110上的定义坐标、与每个声换能器3120相关联的取向或它们的某种组合。
声换能器3120(A)和3120(B)可以位于用户耳朵的不同部位,例如耳廓(pinna)后面、耳屏后面和/或耳廓(auricle)或窝(fossa)内。或者,除了耳道内的声换能器3120之外,在耳朵上或耳朵周围可以有附加的声换能器3120。将声换能器3120定位在用户的耳道附近可以使麦克风阵列能够收集关于声音如何到达耳道的信息。通过将至少两个声换能器3120定位在用户头部的两侧(例如,作为双耳麦克风),增强现实设备3100可以模拟双耳听觉并捕获用户头部周围的3D立体声声场。在一些实施例中,声换能器3120(A)和3120(B)可以使用有线连接3130连接到增强现实系统3100,并且在其他实施例中,声换能器3120(A)和3120(B)可以使用无线连接(例如,蓝牙连接)连接到增强现实系统3100。在其他实施例中,声换能器3120(A)和3120(B)可以根本不与增强现实系统3100结合使用。
框架3110上的声换能器3120可以沿着镜腿的长度、跨过镜梁、在显示设备3115(A)和3115(B)的上方或下方、或者它们的某种组合来定位。声换能器3120可以被定向成使得麦克风阵列能够检测佩戴增强现实系统3100的用户周围的大范围方向上的声音。在一些实施例中,可以在增强现实系统3100的制造期间执行优化过程,以确定麦克风阵列中每个声换能器3120的相对定位。
在一些示例中,增强现实系统3100可以包括或连接到外部设备(例如,配对设备),例如颈带3105。颈带3105通常代表任何类型或形式的配对设备。因此,以下对颈带3105的讨论也可适用于各种其他配对设备,例如充电盒、智能手表、智能电话、腕带、其他可佩戴设备、手持控制器、平板计算机、膝上型计算机、其他外部计算设备等。
如图所示,颈带3105可以使用一个或更多个连接器耦合到眼镜设备3102。连接器可以是有线或无线的,并且可以包括电气和/或非电气(例如,结构)部件。在一些情况下,眼镜设备3102和颈带3105可以独立操作,而它们之间没有任何有线或无线连接。虽然图31示出了在眼镜设备3102和颈带3105上的示例位置中的眼镜设备3102和颈带3105的部件,但是这些部件可以位于眼镜设备3102和/或颈带3105的其他地方和/或在眼镜设备3102和/或颈带3105上不同地分布。在一些实施例中,眼镜设备3102和颈带3105的部件可以位于与眼镜设备3102、颈带3105或其某种组合配对的一个或更多个附加外围设备上。
将外部设备(如颈带3105)与增强现实眼镜设备配对,可使眼镜设备能够达到一副眼镜的形状因子,同时仍能提供足够的电池和计算能力以用于扩展的能力。增强现实系统3100的电池功率、计算资源和/或附加特征中的一些或全部可以由配对的设备提供,或者在配对的设备和眼镜设备之间共享,因此总体上减少了眼镜设备的重量、热分布和形状因子,同时仍然保持期望的功能。例如,颈带3105可以允许原本将被包括在眼镜设备上的部件被包括在颈带3105中,因为用户可以在他们的肩膀上容忍比在他们的头上将容忍的重量负荷更重的重量负荷。颈带3105也可以具有更大的表面积,以在该表面积上将热量扩散并分散到周围环境中。因此,颈带3105可以允许比以其他方式在独立眼镜设备上可能有的电池和计算容量更大的电池和计算容量。由于颈带3105中承载的重量比眼镜设备3102中承载的重量对用户的侵害更小,因此用户可以忍受佩戴较轻的眼镜设备,并且可以忍受比用户佩戴重的独立眼镜设备将忍受的时间更长的时间来携带或佩戴配对设备,从而使得用户能够将人工现实环境更充分地结合到他们的日常活动中。
颈带3105可以与眼镜设备3102和/或其他设备通信地耦合。这些其他设备可以向增强现实系统3100提供某些功能(例如,跟踪、定位、深度映射、处理、存储等)。在图31的实施例中,颈带3105可以包括两个声换能器(例如,3120(I)和3120(J)),它们是麦克风阵列的一部分(或者潜在地形成它们自己的麦克风子阵列)。颈带3105还可以包括控制器3125和电源3135。
颈带3105的声换能器3120(I)和3120(J)可以被配置成检测声音并将检测到的声音转换成电子格式(模拟或数字的)。在图31的实施例中,声换能器3120(I)和3120(J)可以定位在颈带3105上,从而增加颈带声换能器3120(I)和3120(J)与定位在眼镜设备3102上的其他声换能器3120之间的距离。在一些情况下,增加麦克风阵列的声换能器3120之间的距离可以提高使用麦克风阵列执行的波束成形的准确度。例如,如果声换能器3120(C)和3120(D)检测到声音,并且声换能器3120(C)和3120(D)之间的距离大于例如声换能器3120(D)和3120(E)之间的距离,则检测到的声音的确定的源位置可能比声音被声换能器3120(D)和3120(E)检测到的情况更准确。
颈带3105的控制器3125可以处理由颈带3105和/或增强现实系统3100上的传感器产生的信息。例如,控制器3125可以处理来自麦克风阵列的描述由麦克风阵列检测到的声音的信息。对于每个检测到的声音,控制器3125可以执行到达方向(DOA)估计,以估计检测到的声音到达麦克风阵列的方向。当麦克风阵列检测到声音时,控制器3125可以用该信息填充音频数据集。在增强现实系统3100包括惯性测量单元的实施例中,控制器3125可以从位于眼镜设备3102上的IMU计算所有惯性和空间计算。连接器可以在增强现实系统3100和颈带3105之间以及在增强现实系统3100和控制器3125之间传递信息。信息可以是光数据、电数据、无线数据的形式或任何其他可传输数据形式。将对增强现实系统3100生成的信息的处理移动到颈带3105可以减少眼镜设备3102中的重量和热量,使其对用户更舒适。
颈带3105中的电源3135可以向眼镜设备3102和/或颈带3105提供电力。电源3135可以包括但不限于锂离子电池、锂聚合物电池、一次锂电池、碱性电池或任何其他形式的电力储存装置。在一些情况下,电源3135可以是有线电源。在颈带3105上而不是在眼镜设备3102上包括电源3135可以帮助更好地分配由电源3135产生的重量和热量。
如所提到的,一些人工现实系统可以用虚拟体验实质上代替用户对真实世界的一个或更多个感官感知,而不是将人工现实与实际现实混合。这种类型系统的一个示例是头戴式显示系统(例如图32中的虚拟现实系统3200),其主要或完全覆盖用户的视场。虚拟现实系统3200可以包括前刚性主体3202和形状适于围绕用户头部的带3204。虚拟现实系统3200还可以包括输出音频换能器3206(A)和3206(B)。此外,虽然在图32中未示出,但是前刚性主体3202可以包括一个或更多个电子元件,其包括一个或更多个电子显示器、一个或更多个惯性测量单元(IMU)、一个或更多个跟踪发射器或检测器、和/或用于创建人工现实体验的任何其他合适的设备或系统。
人工现实系统可以包括各种类型的视觉反馈机构。例如,增强现实系统3100和/或虚拟现实系统3200中的显示设备可以包括一个或更多个液晶显示器(LCD)、发光二极管(LED)显示器、有机LED(OLED)显示器、数字光投影(DLP)微显示器、硅上液晶(LCoS)微显示器和/或任何其他合适类型的显示屏。人工现实系统可以包括用于双眼的单显示屏,或者可以为每只眼睛提供显示屏,这可以为变焦调节或为校正用户的屈光不正提供附加的灵活性。一些人工现实系统还可以包括具有一个或更多个透镜(例如,传统的凹透镜或凸透镜、菲涅耳(Fresnel)透镜、可调液体透镜等)的光学子系统,用户可以通过这些透镜来观看显示屏。这些光学子系统可用于多种目的,包括准直(例如,使物体看起来处于比其物理距离更大的距离处)、放大(例如,使物体看起来比其实际尺寸更大)和/或传递光(例如,将光传递到观看者的眼睛)。这些光学子系统可以用于非光瞳形成架构(例如直接准直光但可以导致所谓枕形失真的单透镜配置)和/或光瞳形成架构(例如可以产生桶形失真以抵消枕形失真的多透镜配置)。
除了或代替使用显示屏,一些人工现实系统可以包括一个或更多个投影系统。例如,增强现实系统3100和/或虚拟现实系统3200中的显示设备可以包括将光(使用例如波导)投射到显示设备中的微LED投影仪,例如允许环境光通过的透明组合透镜。显示设备可以朝向用户的瞳孔折射投射的光,并且可以使用户能够同时观看人工现实内容和真实世界。显示设备可以使用多种不同的光学部件中的任何一种来实现这一点,这些光学部件包括波导部件(例如,全息、平面、衍射、偏振和/或反射波导元件)、光操纵表面和元件(例如衍射、反射和折射元件和光栅)、耦合元件等。人工现实系统还可以配置有任何其他合适类型或形式的图像投影系统(例如在虚拟视网膜显示器中使用的视网膜投影仪)。
人工现实系统还可以包括各种类型的计算机视觉部件和子系统。例如,增强现实系统3100和/或虚拟现实系统3200可以包括一个或更多个光学传感器,例如二维(2D)或3D相机、结构光发射器和检测器、飞行时间深度传感器、单光束或扫描(sweeping)激光测距仪、3D LiDAR传感器和/或任何其他合适类型或形式的光学传感器。人工现实系统可以处理来自这些传感器中的一个或更多个的数据,以识别用户的位置、绘制真实世界的地图、向用户提供关于真实世界周围环境的上下文、和/或执行各种其他功能。
人工现实系统还可以包括一个或更多个输入和/或输出音频换能器。例如,元件3206(A)和3206(B)可以包括音圈扬声器、带状扬声器、静电扬声器、压电扬声器、骨传导换能器、软骨传导换能器、耳屏振动换能器和/或任何其他合适类型或形式的音频换能器。类似地,输入音频换能器可以包括电容式麦克风、电动式麦克风(dynamic microphone)、带式麦克风、和/或任何其他类型或形式的输入换能器。在一些实施例中,单个换能器可以用于音频输入和音频输出两者。
在一些示例中,人工现实系统可以包括触感(即触觉)反馈系统,该系统可以结合到头饰、手套、紧身衣裤、手持式控制器、环境设备(例如椅子、地板垫等)和/或任何其他类型的设备或系统中。触觉反馈系统可以提供各种类型的皮肤反馈,包括振动、力、牵引力、纹理和/或温度。触觉反馈系统还可以提供各种类型的动觉反馈,例如运动和顺应性。可以使用电机、压电致动器、射流系统和/或各种其他类型的反馈机构来实现触觉反馈。可以独立于其他人工现实设备、在其他人工现实设备内、和/或与其他人工现实设备结合来实现触觉反馈系统。
通过提供触觉感觉、听觉内容和/或视觉内容,人工现实系统可以在各种上下文和环境中创建完整的虚拟体验或增强用户的真实世界体验。例如,人工现实系统可以帮助或扩展用户在特定环境内的感知、记忆或认知。一些系统可以增强用户与在真实世界中的其他人的交互,或者可以实现用户与虚拟世界中的其他人的更沉浸式的交互。人工现实系统还可以用于教育目的(例如,用于在学校、医院、政府组织、军事组织、商业企业等中的教学或培训)、娱乐目的(例如,用于玩视频游戏、听音乐、观看视频内容等)和/或用于可及性目的(例如,作为助听器、助视器等)。本文公开的实施例可以在一个或更多个这些上下文和环境中和/或在其他上下文和环境中实现或增强用户的人工现实体验。
如上面所详述的,本文描述和/或示出的计算设备和系统广泛地表示能够执行计算机可读指令(例如在本文描述的模块内包含的那些指令)的任何类型或形式的计算设备或系统。在它们的最基本的配置中,这些计算设备可以各自包括至少一个存储器设备和至少一个物理处理器。
在一些示例中,术语“存储器设备”通常指能够存储数据和/或计算机可读指令的任何类型或形式的易失性或非易失性存储设备或介质。在一个示例中,存储器设备可以存储、加载和/或维护本文描述的一个或更多个模块。存储器设备的示例包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、闪存、硬盘驱动器(HDD)、固态驱动器(SSD)、光盘驱动器、高速缓存、这些部件中的一个或更多个的变形或组合、或者任何其他合适的储存存储器。
在一些示例中,术语“物理处理器”通常指能够解析和/或执行计算机可读指令的任何类型或形式的硬件实现的处理单元。在一个示例中,物理处理器可以访问和/或修改存储在上述存储器设备中的一个或更多个模块。物理处理器的示例包括但不限于微处理器、微控制器、中央处理单元(CPU)、实现软核处理器的现场可编程门阵列(FPGA)、专用集成电路(ASIC)、这些部件中的一个或更多个的部分、这些部件中的一个或更多个的变形或组合、或任何其他合适的物理处理器。
尽管被示为单独的元件,但是本文描述和/或示出的模块可以表示单个模块或应用的部分。此外,在某些实施例中,这些模块中的一个或更多个可以表示一个或更多个软件应用或程序,其当由计算设备执行时可以使计算设备执行一个或更多个任务。例如,本文描述和/或示出的一个或更多个模块可以表示被存储和配置为在本文描述和/或示出的一个或更多个计算设备或系统上运行的模块。这些模块中的一个或更多个还可以表示被配置为执行一个或更多个任务的一个或更多个专用计算机的全部或部分。
此外,本文描述的一个或更多个模块可以将数据、物理设备和/或物理设备的表示从一种形式变换成另一种形式。例如,本文所述的一个或更多个模块可以接收待变换的数据(例如基于检测到的来自用户的信号的数据,例如EMG数据),对数据进行变换,输出变换的结果以执行功能(例如,输出控制数据、控制AR系统或其他功能)或者以其它方式使用变换的结果以执行功能,并且存储变换的结果以执行功能。附加地或可替代地,本文所述的一个或更多个模块可以通过在计算设备上执行、在计算设备上存储数据、和/或以其他方式与计算设备交互来将处理器、易失性存储器、非易失性存储器和/或物理计算设备的任何其他部分从一种形式变换成另一种形式。
在一些实施例中,术语“计算机可读介质”通常指能够存储或携带计算机可读指令的任何形式的设备、载体或介质。计算机可读介质的示例包括但不限于传输型介质(诸如,载波)以及非暂时性类型介质,诸如,磁存储介质(例如,硬盘驱动器、磁带驱动器和软盘)、光存储介质(例如,光盘(CD)、数字视频盘(DVD)和BLU-RAY盘)、电子存储介质(例如,固态驱动器和闪存介质)以及其他分发系统。
在本文描述和/或示出的过程参数和步骤的顺序仅作为示例被给出,并且可以根据需要而变化。例如,虽然本文示出和/或描述的步骤可以以特定顺序被示出或讨论,但是这些步骤不一定需要以所示出或讨论的顺序来被执行。本文描述和/或示出的各种示例性方法也可以省略本文描述或示出的一个或更多个步骤,或者包括除了那些公开的步骤之外的附加步骤。
序数术语(例如“第一”、“第二”、“第三”)的使用本身并不暗示一个权利要求元素相对于另一个权利要求元素的任何优先级、优先权或顺序或者方法的动作被执行的时间顺序。这些术语可以仅用作标记,以将一个元素与具有其它相似名称的另一个元素区分开来。
已经提供了前面的描述,以使本领域的其他技术人员能够最好地利用本文公开的示例性实施例的各个方面。该示例性描述不旨在穷举或限制于所公开的任何精确形式。在不脱离本公开的精神和范围的情况下,许多修改和变化是可能的。本文公开的实施例应当在所有方面被认为是说明性的而不是限制性的。在确定本公开的范围时,应当参考所附权利要求及其等同物。
除非另有说明,否则如说明书和权利要求书中使用的术语“连接到”和“耦合到”(及其派生词)应被解释为允许直接和间接(即,使用其他元件或部件)连接。此外,说明书和权利要求书中使用的术语“一个(a)”或“一个(an)”应被解释为意指“...中的至少一个”。最后,为了便于使用,如说明书和权利要求书中使用的术语“包括(including)”和“具有”(及其派生词)可与词语“包括(including)”互换并且与词语“包括(including)”具有相同的含义。
Claims (20)
1.一种系统,包括:
头戴式设备,其被配置为向用户呈现人工现实视图;
控制设备,其包括多个肌电图(EMG)传感器,所述肌电图(EMG)传感器包括当所述用户佩戴所述控制设备时接触所述用户的皮肤的电极;
至少一个物理处理器;和
物理存储器,其包括计算机可执行指令,所述计算机可执行指令在由所述物理处理器执行时使所述物理处理器:
处理如由所述EMG传感器检测到的一个或更多个EMG信号;
将经处理的一个或更多个EMG信号分类为一种或更多种手势类型;
基于所述手势类型提供控制信号,其中,所述控制信号触发所述头戴式设备来修改所述人工现实视图的至少一个方面。
2.根据权利要求1所述的系统,其中,所述至少一个物理处理器位于所述控制设备内。
3.根据权利要求1所述的系统,其中,所述至少一个物理处理器位于所述头戴式设备内,或者位于与所述控制设备通信的外部计算机设备内。
4.根据权利要求1所述的系统,其中,所述计算机可执行指令在由所述物理处理器执行时使所述物理处理器使用分类器模型将经处理的EMG信号分类为一种或更多种手势类型。
5.根据权利要求4所述的系统,其中,所述分类器模型是使用训练数据来训练的,所述训练数据包括针对所述手势类型的多个EMG训练信号。
6.根据权利要求5所述的系统,其中,所述训练数据是从多个用户获得的。
7.根据权利要求1所述的系统,其中,所述头戴式设备包括虚拟现实头戴装置或增强现实设备。
8.一种方法,包括:
从用户获得一个或更多个肌电图(EMG)信号;
处理所述一个或更多个EMG信号以生成相关联的特征数据;
使用分类器模型将所述相关联的特征数据分类为一种或更多种手势类型;和
基于所述一种或更多种手势类型,向人工现实(AR)设备提供控制信号,
其中,所述分类器模型是使用训练数据来训练的,所述训练数据包括针对所述一种或更多种手势类型的多个EMG训练信号。
9.根据权利要求8所述的方法,其中,所述分类器模型是通过对从EMG训练信号确定的特征数据进行聚类来训练的。
10.根据权利要求8所述的方法,其中,所述分类器模型是使用从多个用户获得的EMG训练信号来训练的。
11.根据权利要求10所述的方法,其中,所述多个用户不包括所述用户。
12.根据权利要求8所述的方法,还包括通过以下步骤来训练所述分类器模型:
获得对应于手势类型的EMG训练信号;
通过对从所述EMG训练信号获得的EMG训练数据进行聚类来训练所述分类器模型。
13.根据权利要求8所述的方法,其中,所述分类器模型还通过以下步骤进行训练:
确定EMG训练信号相对于相应的EMG训练信号最大值的时间的时间依赖性;
通过向多个EMG训练信号中的至少一个EMG训练信号添加时间偏移来使所述多个EMG训练信号的所述时间依赖性对齐;
从对齐的多个EMG训练信号中获得信号特征;和
训练所述分类器模型以检测具有所述信号特征的EMG信号。
14.根据权利要求8所述的方法,其中,所述分类器模型还通过以下步骤进行训练:
获得包括对应于手势类型的EMG训练信号的训练数据;和
将对应于所述手势类型的每次出现的所述EMG训练信号进行平均,以获得针对所述手势类型的手势模型,其中,所述分类器模型使用所述手势模型对EMG信号进行分类。
15.根据权利要求14所述的方法,其中,所述手势模型是针对所述手势类型的特定于用户的手势模型。
16.根据权利要求14所述的方法,其中,所述手势模型是基于从多个用户获得的EMG训练数据的多用户手势模型,
所述多用户手势模型是多个特定于用户的手势模型的组合。
17.根据权利要求8所述的方法,其中,所述人工现实设备包括被配置为向用户呈现人工现实图像的头戴式设备,所述方法还包括基于所述控制信号来修改所述人工现实图像。
18.根据权利要求17所述的方法,其中,修改所述人工现实图像包括基于所述手势类型选择或控制所述人工现实图像中的对象。
19.一种非暂时性计算机可读介质,其包括一个或更多个计算机可执行指令,所述计算机可执行指令在由计算设备的至少一个处理器执行时使所述计算设备:
接收如由EMG传感器检测到的一个或更多个肌电图(EMG)信号;
处理所述一个或更多个EMG信号以识别对应于用户手势类型的一个或更多个特征;
使用所述一个或更多个特征来将所述一个或更多个EMG信号分类为所述手势类型;
基于所述手势类型提供控制信号;和
将所述控制信号传输到头戴式设备,以响应于所述控制信号来触发对人工现实视图的修改。
20.根据权利要求19所述的非暂时性计算机可读介质,其中,所述计算机设备被配置为对所述EMG信号进行分类,以基于根据从多个用户获得的训练数据确定的手势模型来识别所述手势类型。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962826478P | 2019-03-29 | 2019-03-29 | |
US62/826,478 | 2019-03-29 | ||
US16/833,307 US11481030B2 (en) | 2019-03-29 | 2020-03-27 | Methods and apparatus for gesture detection and classification |
US16/833,307 | 2020-03-27 | ||
PCT/US2020/025772 WO2020205767A1 (en) | 2019-03-29 | 2020-03-30 | Methods and apparatus for gesture detection and classification |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113646734A true CN113646734A (zh) | 2021-11-12 |
Family
ID=72605971
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080026319.5A Pending CN113646734A (zh) | 2019-03-29 | 2020-03-30 | 用于手势检测和分类的方法和装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11481030B2 (zh) |
EP (1) | EP3948497A1 (zh) |
JP (1) | JP2022526060A (zh) |
CN (1) | CN113646734A (zh) |
WO (1) | WO2020205767A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11934586B2 (en) | 2022-06-29 | 2024-03-19 | Google Llc | Gesture detection via image capture of subdermal tissue from a wrist-pointing camera system |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102313622B1 (ko) * | 2019-08-21 | 2021-10-19 | 한국과학기술연구원 | 생체신호 기반 아바타 제어시스템 및 방법 |
KR102278069B1 (ko) * | 2019-10-22 | 2021-07-14 | 조선대학교산학협력단 | 근전도 신호 기반 사용자 인증 장치 및 인증 방법 |
EP4111442A4 (en) * | 2020-02-26 | 2023-08-16 | Magic Leap, Inc. | FUSION OF HANDS AND TOTEM INPUT DATA FOR HABITRONIC SYSTEMS |
US20220318672A1 (en) * | 2021-04-01 | 2022-10-06 | Samsung Display Co., Ltd. | Systems and methods for identifying manufacturing defects |
US11775066B2 (en) * | 2021-04-22 | 2023-10-03 | Coapt Llc | Biometric enabled virtual reality systems and methods for detecting user intentions and manipulating virtual avatar control based on user intentions for providing kinematic awareness in holographic space, two-dimensional (2D), or three-dimensional (3D) virtual space |
US11829531B2 (en) * | 2021-09-13 | 2023-11-28 | Htc Corporation | Human-computer interaction method and system and non-transitory computer readable storage medium |
WO2023196671A1 (en) | 2022-04-08 | 2023-10-12 | Meta Platforms Technologies, Llc | Techniques for neuromuscular-signal-based detection of in-air hand gestures for text production and modification, and systems, wearable devices, and methods for using these techniques |
WO2022204614A1 (en) * | 2022-05-02 | 2022-09-29 | Innopeak Technology, Inc. | Wrist-wearable controller for head-mounted device (hmd) or other user device with camera input |
WO2022226429A1 (en) * | 2022-05-03 | 2022-10-27 | Innopeak Technology, Inc. | Smart watch -based control of user interface (ui) of other device(s) |
Family Cites Families (632)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US1411995A (en) | 1919-06-20 | 1922-04-04 | Raymond W Dull | Link belt |
US3580243A (en) | 1968-10-21 | 1971-05-25 | Marquette Electronics Inc | Means and method for subtracting dc noise from electrocardiographic signals |
US3620208A (en) | 1969-11-03 | 1971-11-16 | Atomic Energy Commission | Ekg amplifying electrode pickup |
US3735425A (en) | 1971-02-10 | 1973-05-29 | Us Of America The Secretary Of | Myoelectrically controlled prothesis |
US3880146A (en) | 1973-06-04 | 1975-04-29 | Donald B Everett | Noise compensation techniques for bioelectric potential sensing |
US4055168A (en) | 1976-09-21 | 1977-10-25 | The Rockefeller University | Posture training device |
LU84250A1 (de) | 1982-07-01 | 1984-03-22 | Mardice Holding | Verfahren und vorrichtung fuer das kontaktlose messen von spannungsunterschieden bei lebenden organismen |
WO1986004696A1 (en) | 1985-02-05 | 1986-08-14 | Victor Alexander Milles | Method for fabricating jewellery parts or wrist watches |
US5003978A (en) | 1985-08-21 | 1991-04-02 | Technology 21, Inc. | Non-polarizable dry biomedical electrode |
IL78244A0 (en) | 1986-03-24 | 1986-07-31 | Zvi Kamil | Instrumentation amplifier arrangement |
ATE38569T1 (de) | 1986-04-01 | 1988-11-15 | Altop Sa | An einer klammer montierte uhr. |
JPH01126692A (ja) | 1987-07-24 | 1989-05-18 | Univ Leland Stanford Jr | 音楽およびビデオ用のバイオポテンシャルディジタルコントローラ |
USD322227S (en) | 1989-03-23 | 1991-12-10 | North American Watch Company | Watch |
US5625577A (en) | 1990-12-25 | 1997-04-29 | Shukyohojin, Kongo Zen Sohonzan Shorinji | Computer-implemented motion analysis method using dynamics |
US5081852A (en) | 1991-02-14 | 1992-01-21 | Cox Michael F | Display bracelet |
JP3103427B2 (ja) | 1992-04-01 | 2000-10-30 | ダイヤメディカルシステム株式会社 | 生体電気現象検出装置 |
CA2139336C (en) | 1992-07-06 | 2004-06-01 | James F. Kramer | Determination of kinematically constrained multi-articulated structures |
US5251189A (en) | 1992-10-16 | 1993-10-05 | Timex Corporation | Wristwatch radiotelephone |
JPH06216475A (ja) | 1993-01-21 | 1994-08-05 | Matsushita Electric Ind Co Ltd | フレキシブル基板 |
USD348660S (en) | 1993-04-29 | 1994-07-12 | Micro-Integration Corp. | Hand-held computer input device |
US5482051A (en) | 1994-03-10 | 1996-01-09 | The University Of Akron | Electromyographic virtual reality system |
WO1995027341A1 (en) | 1994-04-04 | 1995-10-12 | Motorola Inc. | Shielded circuit assembly and method for forming same |
DE4412278A1 (de) | 1994-04-09 | 1995-10-12 | Bosch Gmbh Robert | Starre und flexible Bereiche aufweisende Leiterplatte |
US6032530A (en) | 1994-04-29 | 2000-03-07 | Advantedge Systems Inc. | Biofeedback system for sensing body motion and flexure |
US5462065A (en) | 1994-08-17 | 1995-10-31 | Cusimano; Maryrose | Integrated movement analyziing system |
US5605059A (en) | 1995-03-09 | 1997-02-25 | Woodward; Robin | Sleeved bangle bracelet |
US6238338B1 (en) | 1999-07-19 | 2001-05-29 | Altec, Inc. | Biosignal monitoring system and method |
JP3141737B2 (ja) | 1995-08-10 | 2001-03-05 | 株式会社セガ | 仮想画像生成装置及びその方法 |
US6184847B1 (en) | 1998-09-22 | 2001-02-06 | Vega Vista, Inc. | Intuitive control of portable data displays |
US6066794A (en) | 1997-01-21 | 2000-05-23 | Longo; Nicholas C. | Gesture synthesizer for electronic sound device |
US5683404A (en) | 1996-06-05 | 1997-11-04 | Metagen, Llc | Clamp and method for its use |
JP2001504605A (ja) | 1996-08-14 | 2001-04-03 | ラティポフ,ヌラフメド,ヌリスラモビチ | 空間内のユーザの位置及び方向性を追跡及び表示するための方法、ユーザに対し仮想環境を提示するための方法及びこれらの方法を実現するためのシステム |
US6009210A (en) | 1997-03-05 | 1999-12-28 | Digital Equipment Corporation | Hands-free interface to a virtual reality environment using head tracking |
US6880364B1 (en) | 1998-04-23 | 2005-04-19 | Michael F. Vidolin | Friendship band with exchangeable closed loop members |
AU5900299A (en) | 1998-08-24 | 2000-03-14 | Emory University | Method and apparatus for predicting the onset of seizures based on features derived from signals indicative of brain activity |
US6745062B1 (en) | 1998-10-05 | 2004-06-01 | Advanced Imaging Systems, Inc. | Emg electrode apparatus and positioning system |
US6244873B1 (en) | 1998-10-16 | 2001-06-12 | At&T Corp. | Wireless myoelectric control apparatus and methods |
US6774885B1 (en) | 1999-01-20 | 2004-08-10 | Motek B.V. | System for dynamic registration, evaluation, and correction of functional human behavior |
US7640007B2 (en) | 1999-02-12 | 2009-12-29 | Fisher-Rosemount Systems, Inc. | Wireless handheld communicator in a process control environment |
US6411843B1 (en) | 1999-05-28 | 2002-06-25 | Respironics, Inc. | Method and apparatus for producing a model EMG signal from a measured EMG signal |
US6972734B1 (en) | 1999-06-11 | 2005-12-06 | Canon Kabushiki Kaisha | Mixed reality apparatus and mixed reality presentation method |
CA2276962A1 (en) | 1999-07-07 | 2001-01-07 | Universite De Montreal | Electromyogram signal analysis method and system for use with electrode array |
US6807438B1 (en) | 1999-08-26 | 2004-10-19 | Riccardo Brun Del Re | Electric field sensor |
JP4168221B2 (ja) | 1999-09-06 | 2008-10-22 | 株式会社島津製作所 | 身体装着型表示システム |
US6527711B1 (en) | 1999-10-18 | 2003-03-04 | Bodymedia, Inc. | Wearable human physiological data sensors and reporting system therefor |
JP4763200B2 (ja) | 1999-11-11 | 2011-08-31 | ザ・スウォッチ・グループ・マネージメント・サービシイズ・エイ ジー | フレキシブル・リストバンド中に組み込まれたプリント回路を含んでいる電子腕時計 |
US6771294B1 (en) | 1999-12-29 | 2004-08-03 | Petri Pulli | User interface |
GB0004688D0 (en) | 2000-02-28 | 2000-04-19 | Radley Smith Philip J | Bracelet |
WO2001078577A2 (en) | 2000-04-17 | 2001-10-25 | Vivometrics, Inc. | Systems and methods for ambulatory monitoring of physiological signs |
US6683600B1 (en) | 2000-04-19 | 2004-01-27 | Microsoft Corporation | Adaptive input pen mode selection |
US6510333B1 (en) | 2000-05-16 | 2003-01-21 | Mark J. Licata | Sensor for biopotential measurements |
US6720984B1 (en) | 2000-06-13 | 2004-04-13 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Characterization of bioelectric potentials |
US20030184544A1 (en) | 2000-07-24 | 2003-10-02 | Prudent Jean Nicholson | Modeling human beings by symbol manipulation |
US20030036691A1 (en) | 2000-08-10 | 2003-02-20 | Stanaland Thomas G. | Capacitively coupled electrode system with variable capacitance for sensing potentials at the surface of tissue |
US6487906B1 (en) | 2000-09-18 | 2002-12-03 | Advantedge Systems Inc | Flexible film sensor system for monitoring body motion |
WO2002037827A2 (en) | 2000-10-30 | 2002-05-10 | Naval Postgraduate School | Method and apparatus for motion tracking of an articulated rigid body |
US6743982B2 (en) | 2000-11-29 | 2004-06-01 | Xerox Corporation | Stretchable interconnects using stress gradient films |
US20020077534A1 (en) | 2000-12-18 | 2002-06-20 | Human Bionics Llc | Method and system for initiating activity based on sensed electrophysiological data |
WO2002065904A1 (en) | 2001-02-23 | 2002-08-29 | Cordless Antistatic Research Inc. | Enhanced pickup bio-electrode |
JP2002287869A (ja) | 2001-03-26 | 2002-10-04 | System Lsi Kk | 筋電位信号の識別方式および筋電位信号を用いた入力装置 |
JP2002358149A (ja) | 2001-06-01 | 2002-12-13 | Sony Corp | ユーザ入力装置 |
USD459352S1 (en) | 2001-08-10 | 2002-06-25 | Michael C. Giovanniello | Wireless mouse wristband |
US20030051505A1 (en) | 2001-09-14 | 2003-03-20 | Robertson Catrina M. | Selectively self-adjustable jewelry item and method of making same |
US6755795B2 (en) | 2001-10-26 | 2004-06-29 | Koninklijke Philips Electronics N.V. | Selectively applied wearable medical sensors |
US6865409B2 (en) | 2001-11-07 | 2005-03-08 | Kinesense, Inc. | Surface electromyographic electrode assembly |
JP4391717B2 (ja) | 2002-01-09 | 2009-12-24 | 富士通マイクロエレクトロニクス株式会社 | コンタクタ及びその製造方法並びにコンタクト方法 |
US20030144829A1 (en) | 2002-01-25 | 2003-07-31 | Geatz Michael W. | System and method for sensing and evaluating physiological parameters and modeling an adaptable predictive analysis for symptoms management |
JP2003220040A (ja) | 2002-01-31 | 2003-08-05 | Seiko Instruments Inc | 生体情報観測装置 |
JP2003255993A (ja) | 2002-03-04 | 2003-09-10 | Ntt Docomo Inc | 音声認識システム、音声認識方法、音声認識プログラム、音声合成システム、音声合成方法、音声合成プログラム |
CA2379268A1 (en) | 2002-03-26 | 2003-09-26 | Hans Kolpin | Skin impedance matched biopotential electrode |
DE60318827T2 (de) | 2002-03-29 | 2009-01-22 | Philips Intellectual Property & Standards Gmbh | Ein tragbares überwachungssystem und herstellungsmethode für ein tragbares überwachungssystem |
US6942621B2 (en) | 2002-07-11 | 2005-09-13 | Ge Medical Systems Information Technologies, Inc. | Method and apparatus for detecting weak physiological signals |
US6984208B2 (en) | 2002-08-01 | 2006-01-10 | The Hong Kong Polytechnic University | Method and apparatus for sensing body gesture, posture and movement |
WO2004023996A1 (ja) | 2002-09-11 | 2004-03-25 | National Institute Of Information And Communications Technology Incorporated Administrative Agency | 活動筋肉表示装置 |
EP1408443B1 (en) | 2002-10-07 | 2006-10-18 | Sony France S.A. | Method and apparatus for analysing gestures produced by a human, e.g. for commanding apparatus by gesture recognition |
KR100506084B1 (ko) | 2002-10-24 | 2005-08-05 | 삼성전자주식회사 | 경혈점 탐색 장치 및 방법 |
CA2415173A1 (en) | 2002-12-09 | 2004-06-09 | Thomas Hemmerling | Neuromuscular monitoring using phonomyography |
US7491892B2 (en) | 2003-03-28 | 2009-02-17 | Princeton University | Stretchable and elastic interconnects |
US20040194500A1 (en) | 2003-04-03 | 2004-10-07 | Broadway Entertainment, Inc. | Article of jewelry |
US7028507B2 (en) | 2003-04-03 | 2006-04-18 | Broadway Entertainment, Inc. | Article of jewelry |
US7265298B2 (en) | 2003-05-30 | 2007-09-04 | The Regents Of The University Of California | Serpentine and corduroy circuits to enhance the stretchability of a stretchable electronic device |
EP1634155A2 (en) | 2003-06-12 | 2006-03-15 | Control Bionics | Method, system, and software for interactive communication and analysis |
US7022919B2 (en) | 2003-06-30 | 2006-04-04 | Intel Corporation | Printed circuit board trace routing method |
US8323190B2 (en) | 2003-07-09 | 2012-12-04 | Med-Tek Llc | Comprehensive neuromuscular profiler |
ATE413902T1 (de) | 2003-08-18 | 2008-11-15 | Cardiac Pacemakers Inc | Patientenüberwachungssystem |
TWI240819B (en) | 2003-08-21 | 2005-10-01 | Toppoly Optoelectronics Corp | Flexible printed circuit board (FPC) for liquid crystal display (LCD) module |
CN1838933B (zh) | 2003-08-21 | 2010-12-08 | 国立大学法人筑波大学 | 穿着式动作辅助装置、穿着式动作辅助装置的控制方法和控制用程序 |
JP4178186B2 (ja) | 2003-08-21 | 2008-11-12 | 国立大学法人 筑波大学 | 装着式動作補助装置、装着式動作補助装置の制御方法および制御用プログラム |
US7559902B2 (en) | 2003-08-22 | 2009-07-14 | Foster-Miller, Inc. | Physiological monitoring garment |
US7565295B1 (en) | 2003-08-28 | 2009-07-21 | The George Washington University | Method and apparatus for translating hand gestures |
US7574253B2 (en) | 2003-09-26 | 2009-08-11 | Northwestern University | Signal processing using non-linear regression with a sinusoidal model |
US20050070227A1 (en) | 2003-09-30 | 2005-03-31 | Chih-Hsiang Shen | Detecting and actuating method of bluetooth devices and a control system thereof |
US7961909B2 (en) | 2006-03-08 | 2011-06-14 | Electronic Scripting Products, Inc. | Computer interface employing a manipulated object with absolute pose detection component and a display |
USD502662S1 (en) | 2004-02-23 | 2005-03-08 | Broadway Entertainment, Inc. | Bracelet |
USD502661S1 (en) | 2004-02-23 | 2005-03-08 | Broadway Entertainment, Inc. | Bracelet |
USD503646S1 (en) | 2004-02-23 | 2005-04-05 | Broadway Entertainment, Inc. | Bracelet |
WO2005083546A1 (en) | 2004-02-27 | 2005-09-09 | Simon Richard Daniel | Wearable modular interface strap |
KR100541958B1 (ko) | 2004-04-21 | 2006-01-10 | 삼성전자주식회사 | 연성인쇄회로기판 |
US7173437B2 (en) | 2004-06-10 | 2007-02-06 | Quantum Applied Science And Research, Inc. | Garment incorporating embedded physiological sensors |
JP4590640B2 (ja) | 2004-06-16 | 2010-12-01 | 国立大学法人 東京大学 | 筋骨格モデルに基づく筋力取得方法及び装置 |
US8061160B2 (en) | 2004-08-17 | 2011-11-22 | Carissa Stinespring | Adjustable fashion mechanism |
KR100594117B1 (ko) | 2004-09-20 | 2006-06-28 | 삼성전자주식회사 | Hmd 정보 단말기에서 생체 신호를 이용하여 키를입력하는 장치 및 방법 |
KR100680023B1 (ko) | 2004-12-06 | 2007-02-07 | 한국전자통신연구원 | 생체신호를 이용한 착용형 휴대폰 입력 장치 및 그 제어방법 |
US7254516B2 (en) | 2004-12-17 | 2007-08-07 | Nike, Inc. | Multi-sensor monitoring of athletic performance |
US20060206167A1 (en) | 2005-01-06 | 2006-09-14 | Flaherty J C | Multi-device patient ambulation system |
EP1850907A4 (en) | 2005-02-09 | 2009-09-02 | Univ Southern California | METHOD AND SYSTEM FOR PRACTICING THE ADAPTIVE CONTROL OF STATE MOVEMENTS |
US8702629B2 (en) | 2005-03-17 | 2014-04-22 | Great Lakes Neuro Technologies Inc. | Movement disorder recovery system and method for continuous monitoring |
US20070132785A1 (en) | 2005-03-29 | 2007-06-14 | Ebersole John F Jr | Platform for immersive gaming |
WO2006105094A2 (en) | 2005-03-29 | 2006-10-05 | Duke University | Sensor system for identifying and tracking movements of multiple sources |
USD535401S1 (en) | 2005-06-21 | 2007-01-16 | Biocare Systems, Inc. | Heat and light therapy device |
US7428516B2 (en) | 2005-06-23 | 2008-09-23 | Microsoft Corporation | Handwriting recognition using neural networks |
US8190249B1 (en) | 2005-08-01 | 2012-05-29 | Infinite Biomedical Technologies, Llc | Multi-parametric quantitative analysis of bioelectrical signals |
US7086218B1 (en) | 2005-08-18 | 2006-08-08 | M & J - R & R Grosbard, Inc. | Linked ring structures |
US7725147B2 (en) | 2005-09-29 | 2010-05-25 | Nellcor Puritan Bennett Llc | System and method for removing artifacts from waveforms |
US7733224B2 (en) | 2006-06-30 | 2010-06-08 | Bao Tran | Mesh network personal emergency response appliance |
US7271774B2 (en) | 2005-10-21 | 2007-09-18 | Suunto Oy | Electronic wearable device |
US7517725B2 (en) | 2005-11-28 | 2009-04-14 | Xci, Inc. | System and method for separating and packaging integrated circuits |
US8280503B2 (en) | 2008-10-27 | 2012-10-02 | Michael Linderman | EMG measured during controlled hand movement for biometric analysis, medical diagnosis and related analysis |
US7365647B2 (en) | 2005-12-23 | 2008-04-29 | Avinoam Nativ | Kinesthetic training system with composite feedback |
USD543212S1 (en) | 2006-01-04 | 2007-05-22 | Sony Computer Entertainment Inc. | Object for interfacing with a computer program |
US7809435B1 (en) | 2006-01-11 | 2010-10-05 | Iq Biolabs, Inc. | Adjustable wireless electromyography sensor and system |
JP4826459B2 (ja) | 2006-01-12 | 2011-11-30 | 株式会社豊田中央研究所 | 筋骨格モデル作成方法、人体応力/ひずみ推定方法、プログラムおよび記録媒体 |
US8762733B2 (en) | 2006-01-30 | 2014-06-24 | Adidas Ag | System and method for identity confirmation using physiologic biometrics to determine a physiologic fingerprint |
US7580742B2 (en) | 2006-02-07 | 2009-08-25 | Microsoft Corporation | Using electroencephalograph signals for task classification and activity recognition |
US7827000B2 (en) | 2006-03-03 | 2010-11-02 | Garmin Switzerland Gmbh | Method and apparatus for estimating a motion parameter |
EP2004423B1 (en) | 2006-04-04 | 2013-06-26 | Koninklijke Philips Electronics N.V. | Expressive pen |
US8311623B2 (en) | 2006-04-15 | 2012-11-13 | The Board Of Trustees Of The Leland Stanford Junior University | Systems and methods for estimating surface electromyography |
US7636549B2 (en) | 2006-04-21 | 2009-12-22 | Abbott Medical Optics Inc. | Automated bonding for wireless devices |
JP2009534108A (ja) | 2006-04-21 | 2009-09-24 | クァンタム・アプライド・サイエンス・アンド・リサーチ・インコーポレーテッド | 電気信号測定システム |
US7558622B2 (en) | 2006-05-24 | 2009-07-07 | Bao Tran | Mesh network stroke monitoring appliance |
US7539533B2 (en) | 2006-05-16 | 2009-05-26 | Bao Tran | Mesh network monitoring appliance |
GB2453263A (en) | 2006-05-16 | 2009-04-01 | Douglas S Greer | System and method for modeling the neocortex and uses therefor |
US7661068B2 (en) | 2006-06-12 | 2010-02-09 | Microsoft Corporation | Extended eraser functions |
US9405372B2 (en) | 2006-07-14 | 2016-08-02 | Ailive, Inc. | Self-contained inertial navigation system for interactive control using movable controllers |
GB0614261D0 (en) | 2006-07-18 | 2006-08-30 | Univ Sussex The | Electric Potential Sensor |
US7844310B2 (en) | 2006-07-20 | 2010-11-30 | L3 Communications Corporation | Wearable communication device with contoured back |
US7848797B2 (en) | 2006-08-17 | 2010-12-07 | Neurometrix, Inc. | Motor unit number estimation (MUNE) for the assessment of neuromuscular function |
US8437844B2 (en) | 2006-08-21 | 2013-05-07 | Holland Bloorview Kids Rehabilitation Hospital | Method, system and apparatus for real-time classification of muscle signals from self-selected intentional movements |
JP4267648B2 (ja) | 2006-08-25 | 2009-05-27 | 株式会社東芝 | インターフェース装置及びその方法 |
US8212859B2 (en) | 2006-10-13 | 2012-07-03 | Apple Inc. | Peripheral treatment for head-mounted displays |
US7885732B2 (en) | 2006-10-25 | 2011-02-08 | The Boeing Company | Systems and methods for haptics-enabled teleoperation of vehicles and other devices |
US8082149B2 (en) | 2006-10-26 | 2011-12-20 | Biosensic, Llc | Methods and apparatuses for myoelectric-based speech processing |
US20080136775A1 (en) | 2006-12-08 | 2008-06-12 | Conant Carson V | Virtual input device for computing |
US9311528B2 (en) | 2007-01-03 | 2016-04-12 | Apple Inc. | Gesture learning |
US20090265671A1 (en) | 2008-04-21 | 2009-10-22 | Invensense | Mobile devices with motion gesture recognition |
US20080221487A1 (en) | 2007-03-07 | 2008-09-11 | Motek Bv | Method for real time interactive visualization of muscle forces and joint torques in the human body |
EP1970005B1 (en) | 2007-03-15 | 2012-10-03 | Xsens Holding B.V. | A system and a method for motion tracking using a calibration unit |
CN101662984B (zh) | 2007-04-24 | 2013-10-30 | 皇家飞利浦电子股份有限公司 | 用于监测生理参数的传感器装置和方法 |
FR2916069B1 (fr) | 2007-05-11 | 2009-07-31 | Commissariat Energie Atomique | Procede de traitement pour la capture de mouvement d'une structure articulee |
WO2008148067A2 (en) | 2007-05-24 | 2008-12-04 | Hmicro, Inc. | An integrated wireless sensor for physiological monitoring |
US8504146B2 (en) | 2007-06-29 | 2013-08-06 | The Regents Of The University Of California | Multi-channel myoelectrical control using single muscle |
US20090007597A1 (en) | 2007-07-02 | 2009-01-08 | Hanevold Gail F | Body attached band with removal visual image pockets |
CA2693193A1 (en) | 2007-07-16 | 2009-01-22 | Sunrise Medical Hhg Inc. | Physiological data collection system |
DE102007044555A1 (de) | 2007-07-18 | 2009-01-22 | Siemens Ag | Optische Koppelvorrichtung und Verfahren zu deren Herstellung |
US8726194B2 (en) | 2007-07-27 | 2014-05-13 | Qualcomm Incorporated | Item selection using enhanced control |
US7925100B2 (en) | 2007-07-31 | 2011-04-12 | Microsoft Corporation | Tiled packaging of vector image data |
JP5057070B2 (ja) | 2007-07-31 | 2012-10-24 | 株式会社エクォス・リサーチ | 心電センサー |
US20090031757A1 (en) | 2007-08-01 | 2009-02-05 | Funki Llc | Modular toy bracelet |
JP4434247B2 (ja) | 2007-08-10 | 2010-03-17 | ソニー株式会社 | リモートコントローラ、リモートコントロールシステムおよびリモートコントロール方法 |
AU2008290211A1 (en) | 2007-08-19 | 2009-02-26 | Ringbow Ltd. | Finger-worn devices and related methods of use |
WO2009026289A2 (en) | 2007-08-20 | 2009-02-26 | Hmicro, Inc. | Wearable user interface device, system, and method of use |
EP2201761B1 (en) | 2007-09-24 | 2013-11-20 | Qualcomm Incorporated | Enhanced interface for voice and video communications |
US20090082692A1 (en) | 2007-09-25 | 2009-03-26 | Hale Kelly S | System And Method For The Real-Time Evaluation Of Time-Locked Physiological Measures |
US7714757B2 (en) | 2007-09-26 | 2010-05-11 | Medtronic, Inc. | Chopper-stabilized analog-to-digital converter |
US8343079B2 (en) | 2007-10-18 | 2013-01-01 | Innovative Surgical Solutions, Llc | Neural monitoring sensor |
US8159313B2 (en) | 2007-10-22 | 2012-04-17 | D-Wave Systems Inc. | Systems, methods, and apparatus for electrical filters and input/output systems |
FI20075798A0 (fi) | 2007-11-12 | 2007-11-12 | Polar Electro Oy | Elektrodirakenne |
US8355671B2 (en) | 2008-01-04 | 2013-01-15 | Kopin Corporation | Method and apparatus for transporting video signal over Bluetooth wireless interface |
GB0800144D0 (en) | 2008-01-04 | 2008-02-13 | Fitzpatrick Adam P | Electrocardiographic device and method |
US10969917B2 (en) | 2008-01-30 | 2021-04-06 | Apple Inc. | Auto scanning for multiple frequency stimulation multi-touch sensor panels |
US8456425B2 (en) | 2008-01-30 | 2013-06-04 | International Business Machines Corporation | Self-adapting keypad |
US8344998B2 (en) | 2008-02-01 | 2013-01-01 | Wimm Labs, Inc. | Gesture-based power management of a wearable portable electronic device with display |
US9597015B2 (en) | 2008-02-12 | 2017-03-21 | Portland State University | Joint angle tracking with inertial sensors |
WO2009119168A1 (ja) | 2008-03-28 | 2009-10-01 | シャープ株式会社 | 遠隔操作装置、操作対象装置、遠隔操作装置の制御方法、操作対象装置の制御方法、及び遠隔操作システム |
US20090251407A1 (en) | 2008-04-03 | 2009-10-08 | Microsoft Corporation | Device interaction with combination of rings |
BRPI0907655A2 (pt) | 2008-05-01 | 2015-07-21 | 3M Innovative Properties Co | Conector condutor extensível |
US20100030532A1 (en) | 2008-06-12 | 2010-02-04 | Jasbir Arora | System and methods for digital human model prediction and simulation |
JP2010000283A (ja) | 2008-06-23 | 2010-01-07 | Shimadzu Corp | リアルタイム同時計測システム、リアルタイム同時計測装置、リアルタイム同時計測方法、およびプログラム |
US8207473B2 (en) | 2008-06-24 | 2012-06-26 | Imec | Method for manufacturing a stretchable electronic device |
US8447704B2 (en) | 2008-06-26 | 2013-05-21 | Microsoft Corporation | Recognizing gestures from forearm EMG signals |
US9037530B2 (en) | 2008-06-26 | 2015-05-19 | Microsoft Technology Licensing, Llc | Wearable electromyography-based human-computer interface |
US8170656B2 (en) | 2008-06-26 | 2012-05-01 | Microsoft Corporation | Wearable electromyography-based controllers for human-computer interface |
BRPI0915729A2 (pt) | 2008-07-07 | 2015-10-27 | Heard Sytems Pty Ltd | eletrodo para um sistema para sensorear sinais eletrofisiológicos, conjunto de eletrodo, e, sistema para sensorear sinais eletrofisiológicos. |
CA2732384C (en) | 2008-07-29 | 2020-07-14 | James Brent Klassen | Balance training system |
US8389862B2 (en) | 2008-10-07 | 2013-03-05 | Mc10, Inc. | Extremely stretchable electronics |
US9393418B2 (en) | 2011-06-03 | 2016-07-19 | Great Lakes Neuro Technologies Inc. | Movement disorder therapy system, devices and methods of tuning |
US8647287B2 (en) | 2008-12-07 | 2014-02-11 | Andrew Greenberg | Wireless synchronized movement monitoring apparatus and system |
US9439566B2 (en) | 2008-12-15 | 2016-09-13 | Proteus Digital Health, Inc. | Re-wearable wireless device |
US7870211B2 (en) | 2008-12-23 | 2011-01-11 | At&T Mobility Ii Llc | Conversation message routing supporting dynamic class transitions |
PL2392196T3 (pl) | 2009-01-30 | 2019-05-31 | Imec Vzw | Rozciągliwe urządzenie elektroniczne |
WO2010086033A1 (en) | 2009-01-30 | 2010-08-05 | Interuniversitair Microelektronica Centrum Vzw | Stretchable electronic device |
US8444564B2 (en) | 2009-02-02 | 2013-05-21 | Jointvue, Llc | Noninvasive diagnostic system |
USD661613S1 (en) | 2009-02-19 | 2012-06-12 | 1922 Manifatture Preziose Torino SpA | Jewelry |
US20100228487A1 (en) | 2009-03-05 | 2010-09-09 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Postural information system and method |
US20100249635A1 (en) | 2009-03-26 | 2010-09-30 | Cordial Medical Europe B.V. | Hearing screening system for a subject or a patient, and a method for hearing screening |
EP2236078A1 (en) | 2009-04-02 | 2010-10-06 | Koninklijke Philips Electronics N.V. | Processing a bio-physiological signal |
EP2427109A4 (en) | 2009-05-07 | 2015-01-07 | Massachusetts Eye & Ear Infirm | SIGNAL PROCESSING FOR PHYSIOLOGICAL NOISE |
US9192316B2 (en) | 2009-05-15 | 2015-11-24 | Nox Medical | Systems and methods using flexible capacitive electrodes for measuring biosignals |
US8376968B2 (en) | 2009-05-15 | 2013-02-19 | The Hong Kong Polytechnic University | Method and system for quantifying an intention of movement of a user |
US8856691B2 (en) | 2009-05-29 | 2014-10-07 | Microsoft Corporation | Gesture tool |
US20100315266A1 (en) | 2009-06-15 | 2010-12-16 | Microsoft Corporation | Predictive interfaces with usability constraints |
US8427977B2 (en) | 2009-06-23 | 2013-04-23 | CSC Holdings, LLC | Wireless network polling and data warehousing |
WO2010149157A1 (en) | 2009-06-26 | 2010-12-29 | Widex A/S | Eeg monitoring apparatus and method for presenting messages therein |
WO2011008459A2 (en) | 2009-06-29 | 2011-01-20 | Infinite Corridor Technology, Llc | Structured material substrates for flexible, stretchable electronics |
JP5545574B2 (ja) | 2009-07-15 | 2014-07-09 | 国立大学法人 筑波大学 | 分類推定システムおよび分類推定プログラム |
US9687168B2 (en) | 2009-07-30 | 2017-06-27 | University Of Cape Town | Non-invasive deep muscle electromyography |
US8718980B2 (en) | 2009-09-11 | 2014-05-06 | Qualcomm Incorporated | Method and apparatus for artifacts mitigation with multiple wireless sensors |
US10213159B2 (en) | 2010-03-10 | 2019-02-26 | Sotera Wireless, Inc. | Body-worn vital sign monitor |
FR2950713A1 (fr) | 2009-09-29 | 2011-04-01 | Movea Sa | Systeme et procede de reconnaissance de gestes |
US20110077484A1 (en) | 2009-09-30 | 2011-03-31 | Nellcor Puritan Bennett Ireland | Systems And Methods For Identifying Non-Corrupted Signal Segments For Use In Determining Physiological Parameters |
US9779267B2 (en) | 2009-10-07 | 2017-10-03 | F-Secure Oyj | Computer security method and apparatus |
TWI496558B (zh) | 2009-10-20 | 2015-08-21 | Tatung Co | 使用二極電極貼片量測心電圖與呼吸訊號之系統及方法 |
WO2011050393A1 (en) | 2009-10-26 | 2011-05-05 | Impedimed Limited | Fluid level indicator determination |
US20110119216A1 (en) | 2009-11-16 | 2011-05-19 | Microsoft Corporation | Natural input trainer for gestural instruction |
US20110270135A1 (en) | 2009-11-30 | 2011-11-03 | Christopher John Dooley | Augmented reality for testing and training of human performance |
US8421634B2 (en) | 2009-12-04 | 2013-04-16 | Microsoft Corporation | Sensing mechanical energy to appropriate the body for data input |
KR101708682B1 (ko) | 2010-03-03 | 2017-02-21 | 엘지전자 주식회사 | 영상표시장치 및 그 동작 방법. |
US8620361B2 (en) | 2009-12-08 | 2013-12-31 | At&T Mobility Ii Llc | Intelligent routing of SMS and MMS messages to short codes |
WO2011070554A2 (en) | 2009-12-13 | 2011-06-16 | Ringbow Ltd. | Finger-worn input devices and methods of use |
WO2011072684A1 (en) | 2009-12-16 | 2011-06-23 | Ictalcare A/S | A system for the prediction of epileptic seizures |
US20110151974A1 (en) | 2009-12-18 | 2011-06-23 | Microsoft Corporation | Gesture style recognition and reward |
US9268404B2 (en) | 2010-01-08 | 2016-02-23 | Microsoft Technology Licensing, Llc | Application gesture interpretation |
US8631355B2 (en) | 2010-01-08 | 2014-01-14 | Microsoft Corporation | Assigning gesture dictionaries |
JP5471490B2 (ja) | 2010-01-20 | 2014-04-16 | オムロンヘルスケア株式会社 | 体動検出装置 |
EP2531100B1 (en) | 2010-02-01 | 2017-09-20 | T&W Engineering A/S | Portable eeg monitor system with wireless communication |
US8947455B2 (en) | 2010-02-22 | 2015-02-03 | Nike, Inc. | Augmented reality design system |
CN102771047B (zh) | 2010-02-25 | 2014-12-03 | 夏普株式会社 | 偏置电路、lna、lnb、通信用接收机、通信用发送机及传感器系统 |
US20110213278A1 (en) | 2010-02-26 | 2011-09-01 | Apdm, Inc. | Movement monitoring system and apparatus for objective assessment of movement disorders |
JP2013521576A (ja) | 2010-02-28 | 2013-06-10 | オスターハウト グループ インコーポレイテッド | 対話式ヘッド取付け型アイピース上での地域広告コンテンツ |
US9268990B2 (en) | 2010-03-16 | 2016-02-23 | Carlo Trugenberger | Apparatus and method for producing an identification device |
KR101114870B1 (ko) | 2010-03-22 | 2012-03-06 | (주)헤리트 | 지능형 led 조명 제어 시스템 및 제어 방법 |
US9341659B2 (en) | 2010-04-08 | 2016-05-17 | Disney Enterprises, Inc. | User interactive living organisms |
US20110248914A1 (en) | 2010-04-11 | 2011-10-13 | Sherr Alan B | System and Method for Virtual Touch Typing |
WO2011130752A1 (en) | 2010-04-16 | 2011-10-20 | Mastandrea Nicholas J | Wearable motion sensing computing interface |
JP5702947B2 (ja) | 2010-04-22 | 2015-04-15 | 矢崎総業株式会社 | 配線材 |
US8384683B2 (en) | 2010-04-23 | 2013-02-26 | Tong Luo | Method for user input from the back panel of a handheld computerized device |
US8351651B2 (en) | 2010-04-26 | 2013-01-08 | Microsoft Corporation | Hand-location post-process refinement in a tracking system |
KR101130697B1 (ko) | 2010-05-07 | 2012-04-02 | 삼성전자주식회사 | 복수 층의 신축성 배선 |
US20130127708A1 (en) | 2010-05-28 | 2013-05-23 | The Regents Of The University Of California | Cell-phone based wireless and mobile brain-machine interface |
US8588884B2 (en) | 2010-05-28 | 2013-11-19 | Emkinetics, Inc. | Microneedle electrode |
US20110313762A1 (en) | 2010-06-20 | 2011-12-22 | International Business Machines Corporation | Speech output with confidence indication |
USD643428S1 (en) | 2010-07-07 | 2011-08-16 | Iota, Inc. | Wearable mobile accessory |
US8754862B2 (en) | 2010-07-11 | 2014-06-17 | Lester F. Ludwig | Sequential classification recognition of gesture primitives and window-based parameter smoothing for high dimensional touchpad (HDTP) user interfaces |
FR2962821B1 (fr) | 2010-07-13 | 2013-02-22 | Commissariat Energie Atomique | Procede et systeme de classification de signaux neuronaux, et procede de selection d'electrodes pour commande neuronale directe. |
KR101840312B1 (ko) | 2010-08-02 | 2018-03-20 | 더 존스 홉킨스 유니버시티 | 협동 로봇 제어 및 음향 피드백을 사용하여 힘 센서 정보를 나타내기 위한 방법 |
US20120066163A1 (en) | 2010-09-13 | 2012-03-15 | Nottingham Trent University | Time to event data analysis method and system |
US9107627B2 (en) | 2010-09-21 | 2015-08-18 | Alexander B Grey | Method for assessing and optimizing muscular performance including a muscleprint protocol |
US10216893B2 (en) | 2010-09-30 | 2019-02-26 | Fitbit, Inc. | Multimode sensor devices |
US20120117514A1 (en) | 2010-11-04 | 2012-05-10 | Microsoft Corporation | Three-Dimensional User Interaction |
US20130123656A1 (en) | 2010-11-15 | 2013-05-16 | Sandy L. Heck | Control System and Apparatus Utilizing Signals Originating in the Periauricular Neuromuscular System |
US10244988B2 (en) | 2010-12-16 | 2019-04-02 | Nokia Technologies Oy | Method, apparatus and computer program of using a bio-signal profile |
US20120203076A1 (en) | 2011-02-08 | 2012-08-09 | Jean Pierre Fatta | Portable Physiological Data Monitoring Device |
KR101448106B1 (ko) | 2011-02-17 | 2014-10-08 | 주식회사 라이프사이언스테크놀로지 | 무구속 근전도 신호를 이용한 재활상태 분석방법 |
KR101206280B1 (ko) | 2011-02-28 | 2012-11-29 | (주)락싸 | 전기적 비접촉 전위 센서 회로 |
USD646192S1 (en) | 2011-03-11 | 2011-10-04 | Jamie Renae Woode | Bracelet |
US20120265090A1 (en) | 2011-04-13 | 2012-10-18 | Fink Rainer J | System and method of acquiring uterine emg signals and wirelessly transmitting the same |
WO2012155157A1 (en) | 2011-05-06 | 2012-11-15 | Azoteq (Pty) Ltd | Multiple media capacitive sensor |
MY167168A (en) | 2011-05-20 | 2018-08-13 | Univ Nanyang Tech | Systems, apparatuses, devices, and processes for synergistic neuro-physiological rehabilitation and/or functional development |
US9330499B2 (en) | 2011-05-20 | 2016-05-03 | Microsoft Technology Licensing, Llc | Event augmentation with real-time information |
US8203502B1 (en) | 2011-05-25 | 2012-06-19 | Google Inc. | Wearable heads-up display with integrated finger-tracking input sensor |
US9018532B2 (en) | 2011-06-09 | 2015-04-28 | Multi-Fineline Electronix, Inc. | Stretchable circuit assemblies |
US9921641B1 (en) | 2011-06-10 | 2018-03-20 | Amazon Technologies, Inc. | User/object interactions in an augmented reality environment |
US20130198694A1 (en) | 2011-06-10 | 2013-08-01 | Aliphcom | Determinative processes for wearable devices |
US8879276B2 (en) | 2011-06-15 | 2014-11-04 | Power Gold LLC | Flexible circuit assembly and method thereof |
WO2012175785A1 (en) | 2011-06-20 | 2012-12-27 | Nokia Corporation | Methods, apparatuses and computer program products for performing accurate pose estimation of objects |
US9089270B2 (en) | 2011-06-29 | 2015-07-28 | Lg Electronics Inc. | Terminal and control method thereof |
US9128521B2 (en) | 2011-07-13 | 2015-09-08 | Lumo Bodytech, Inc. | System and method of biomechanical posture detection and feedback including sensor normalization |
US8179604B1 (en) | 2011-07-13 | 2012-05-15 | Google Inc. | Wearable marker for passive interaction |
US8832233B1 (en) | 2011-07-20 | 2014-09-09 | Google Inc. | Experience sharing for conveying communication status |
US9123155B2 (en) | 2011-08-09 | 2015-09-01 | Covidien Lp | Apparatus and method for using augmented reality vision system in surgical procedures |
WO2013029196A1 (zh) | 2011-08-26 | 2013-03-07 | 国立云林科技大学 | 回馈控制的穿戴式上肢电刺激装置 |
USD654622S1 (en) | 2011-09-15 | 2012-02-21 | Shih-Ling Hsu | Hair band |
KR20220032059A (ko) | 2011-09-19 | 2022-03-15 | 아이사이트 모빌 테크놀로지 엘티디 | 증강 현실 시스템용 터치프리 인터페이스 |
US20130080794A1 (en) | 2011-09-24 | 2013-03-28 | Jawbone Industrial Co., Ltd. | Wireless controller with universal serial bus and system having the same |
US20130077820A1 (en) | 2011-09-26 | 2013-03-28 | Microsoft Corporation | Machine learning gesture detection |
US20130271292A1 (en) | 2011-10-09 | 2013-10-17 | James Andrew McDermott | Driver Alert and Monitoring System |
FR2981561B1 (fr) | 2011-10-21 | 2015-03-20 | Commissariat Energie Atomique | Procede de detection d'activite a capteur de mouvements, dispositif et programme d'ordinateur correspondants |
US8467270B2 (en) | 2011-10-26 | 2013-06-18 | Google Inc. | Smart-watch with user interface features |
US20130106686A1 (en) | 2011-10-31 | 2013-05-02 | Broadcom Corporation | Gesture processing framework |
ITTO20111024A1 (it) | 2011-11-08 | 2013-05-09 | Bitron Spa | Dispositivo di misura per segnali elettromiografici ad alta risoluzione e elevato numero di canali. |
WO2013071285A1 (en) | 2011-11-11 | 2013-05-16 | Rutgers, The State University Of New Jersey | Methods for the diagnosis and treatment of neurological disorders |
US8704882B2 (en) | 2011-11-18 | 2014-04-22 | L-3 Communications Corporation | Simulated head mounted display system and method |
US9152376B2 (en) | 2011-12-01 | 2015-10-06 | At&T Intellectual Property I, L.P. | System and method for continuous multimodal speech and gesture interaction |
US10430066B2 (en) | 2011-12-06 | 2019-10-01 | Nri R&D Patent Licensing, Llc | Gesteme (gesture primitive) recognition for advanced touch user interfaces |
TWI446896B (zh) | 2011-12-23 | 2014-08-01 | Ind Tech Res Inst | 肌能參數感測器 |
EP2613223A1 (en) | 2012-01-09 | 2013-07-10 | Softkinetic Software | System and method for enhanced gesture-based interaction |
US8971023B2 (en) | 2012-03-21 | 2015-03-03 | Google Inc. | Wearable computing device frame |
US20130191741A1 (en) | 2012-01-24 | 2013-07-25 | Motorola Mobility, Inc. | Methods and Apparatus for Providing Feedback from an Electronic Device |
WO2013126798A2 (en) | 2012-02-23 | 2013-08-29 | Bio-Signal Group Corp. | Shielded multi-channel eeg headset systems and methods |
US8970571B1 (en) | 2012-03-13 | 2015-03-03 | Google Inc. | Apparatus and method for display lighting adjustment |
US8922481B1 (en) | 2012-03-16 | 2014-12-30 | Google Inc. | Content annotation |
USD682728S1 (en) | 2012-03-27 | 2013-05-21 | Bulgari S.P.A. | Ring |
ITMI20120494A1 (it) | 2012-03-27 | 2013-09-28 | B10Nix S R L | Apparato e metodo per l'acquisizione ed analisi di una attivita' muscolare |
JP2013206273A (ja) | 2012-03-29 | 2013-10-07 | Sony Corp | 情報処理装置、情報処理方法、および情報処理システム |
US10448161B2 (en) | 2012-04-02 | 2019-10-15 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for gestural manipulation of a sound field |
US10130298B2 (en) | 2012-04-03 | 2018-11-20 | Carnegie Mellon University | Musculoskeletal activity recognition system and method |
US9170674B2 (en) | 2012-04-09 | 2015-10-27 | Qualcomm Incorporated | Gesture-based device control using pressure-sensitive sensors |
US8994672B2 (en) | 2012-04-09 | 2015-03-31 | Sony Corporation | Content transfer via skin input |
US9221177B2 (en) | 2012-04-18 | 2015-12-29 | Massachusetts Institute Of Technology | Neuromuscular model-based sensing and control paradigm for a robotic leg |
US20130285916A1 (en) | 2012-04-30 | 2013-10-31 | Research In Motion Limited | Touchscreen keyboard providing word predictions at locations in association with candidate letters |
US20130297460A1 (en) | 2012-05-01 | 2013-11-07 | Zambala Lllp | System and method for facilitating transactions of a physical product or real life service via an augmented reality environment |
US9538940B2 (en) | 2012-05-03 | 2017-01-10 | University of Pittsburgh—of the Commonwealth System of Higher Education | Intelligent algorithms for tracking three-dimensional skeletal movement from radiographic image sequences |
USD716457S1 (en) | 2012-05-23 | 2014-10-28 | Neurometrix, Inc. | Transcutaneous electrical nerve stimulation device |
US9278453B2 (en) | 2012-05-25 | 2016-03-08 | California Institute Of Technology | Biosleeve human-machine interface |
WO2013177592A2 (en) | 2012-05-25 | 2013-11-28 | Emotiv Lifesciences, Inc. | System and method for providing and aggregating biosignals and action data |
US20130332196A1 (en) | 2012-06-07 | 2013-12-12 | The Government Of The United States As Represented By The Secretary Of The Army | Diabetes Monitoring Using Smart Device |
US10921886B2 (en) | 2012-06-14 | 2021-02-16 | Medibotics Llc | Circumferential array of electromyographic (EMG) sensors |
US20150366504A1 (en) | 2014-06-20 | 2015-12-24 | Medibotics Llc | Electromyographic Clothing |
US9582072B2 (en) * | 2013-09-17 | 2017-02-28 | Medibotics Llc | Motion recognition clothing [TM] with flexible electromagnetic, light, or sonic energy pathways |
US9536449B2 (en) | 2013-05-23 | 2017-01-03 | Medibotics Llc | Smart watch and food utensil for monitoring food consumption |
US9891718B2 (en) | 2015-04-22 | 2018-02-13 | Medibotics Llc | Devices for measuring finger motion and recognizing hand gestures |
US9814426B2 (en) | 2012-06-14 | 2017-11-14 | Medibotics Llc | Mobile wearable electromagnetic brain activity monitor |
US8954135B2 (en) | 2012-06-22 | 2015-02-10 | Fitbit, Inc. | Portable biometric monitoring devices and methods of operating same |
US9615447B2 (en) | 2012-07-23 | 2017-04-04 | Zhuhai Advanced Chip Carriers & Electronic Substrate Solutions Technologies Co. Ltd. | Multilayer electronic support structure with integral constructional elements |
US8484022B1 (en) | 2012-07-27 | 2013-07-09 | Google Inc. | Adaptive auto-encoders |
EP2698686B1 (en) | 2012-07-27 | 2018-10-10 | LG Electronics Inc. | Wrist-wearable terminal and control method thereof |
US20150182165A1 (en) | 2012-08-03 | 2015-07-02 | Neurotopia, Inc. | Neurophysiological training headset |
US9729687B2 (en) | 2012-08-10 | 2017-08-08 | Silverplus, Inc. | Wearable communication device |
TWD152714S (zh) | 2012-08-15 | 2013-04-01 | 昆盈企業股份有限公司 | 套戴式滑鼠 |
US20140049417A1 (en) | 2012-08-20 | 2014-02-20 | Playtabase, LLC | Wireless motion activated command transfer device, system, and method |
JP5887026B2 (ja) | 2012-09-03 | 2016-03-16 | ゼンソモトリック インストゥルメンツ ゲゼルシャフト ヒューア イノベイティブ ゼンソリック エムベーハーSENSOMOTORIC INSTRUMENTS Gesellschaft fur innovative Sensorik mbH | ヘッドマウントシステム及びヘッドマウントシステムを用いてディジタル画像のストリームを計算しレンダリングする方法 |
US8895865B2 (en) | 2012-09-07 | 2014-11-25 | Conor P. Lenahan | Conductive connections allowing XYZ translation |
US9211417B2 (en) | 2012-09-10 | 2015-12-15 | Great Lakes Neurotechnologies Inc | Movement disorder therapy system, devices and methods, and intelligent methods of tuning |
US20170277282A1 (en) | 2012-09-14 | 2017-09-28 | Widevantage Inc. | Input device for transmitting user input |
US10606353B2 (en) | 2012-09-14 | 2020-03-31 | Interaxon Inc. | Systems and methods for collecting, analyzing, and sharing bio-signal and non-bio-signal data |
US10824310B2 (en) | 2012-12-20 | 2020-11-03 | Sri International | Augmented reality virtual personal assistant for external representation |
CN203252647U (zh) | 2012-09-29 | 2013-10-30 | 艾利佛公司 | 用于判定生理特征的可佩带的设备 |
US10234941B2 (en) | 2012-10-04 | 2019-03-19 | Microsoft Technology Licensing, Llc | Wearable sensor for tracking articulated body-parts |
US10413251B2 (en) | 2012-10-07 | 2019-09-17 | Rhythm Diagnostic Systems, Inc. | Wearable cardiac monitor |
US9563740B2 (en) | 2012-10-16 | 2017-02-07 | The Florida International University Board Of Trustees | Neural interface activity simulator |
USD695454S1 (en) | 2012-10-24 | 2013-12-10 | Patricia Lynn Moore | Hair holding device |
US10206589B2 (en) | 2012-10-26 | 2019-02-19 | Nike, Inc. | Athletic performance monitoring system utilizing heart rate information |
KR102043703B1 (ko) | 2012-11-12 | 2019-11-12 | 한국전자통신연구원 | 신축성 박막트랜지스터의 제조방법 |
US9477313B2 (en) | 2012-11-20 | 2016-10-25 | Samsung Electronics Co., Ltd. | User gesture input to wearable electronic device involving outward-facing sensor of device |
US9182826B2 (en) | 2012-11-21 | 2015-11-10 | Intel Corporation | Gesture-augmented speech recognition |
US8743052B1 (en) | 2012-11-24 | 2014-06-03 | Eric Jeffrey Keller | Computing interface system |
US9892655B2 (en) | 2012-11-28 | 2018-02-13 | Judy Sibille SNOW | Method to provide feedback to a physical therapy patient or athlete |
US9351653B1 (en) | 2012-11-29 | 2016-05-31 | Intan Technologies, LLC | Multi-channel reconfigurable systems and methods for sensing biopotential signals |
WO2014085910A1 (en) | 2012-12-04 | 2014-06-12 | Interaxon Inc. | System and method for enhancing content using brain-state data |
US9042829B2 (en) | 2013-01-04 | 2015-05-26 | Nokia Corporation | Method, apparatus, and computer program product for wireless short-range communication |
US20140196131A1 (en) | 2013-01-07 | 2014-07-10 | Salutron, Inc. | User authentication based on a wrist vein pattern |
US10528135B2 (en) | 2013-01-14 | 2020-01-07 | Ctrl-Labs Corporation | Wearable muscle interface systems, devices and methods that interact with content displayed on an electronic display |
US9092664B2 (en) | 2013-01-14 | 2015-07-28 | Qualcomm Incorporated | Use of EMG for subtle gesture recognition on surfaces |
US9459697B2 (en) | 2013-01-15 | 2016-10-04 | Leap Motion, Inc. | Dynamic, free-space user interactions for machine control |
US10610737B1 (en) | 2013-01-22 | 2020-04-07 | Bruce Scott Crawford | System and method for using video-synchronized electromyography to improve neuromuscular performance of a target muscle |
US9791921B2 (en) | 2013-02-19 | 2017-10-17 | Microsoft Technology Licensing, Llc | Context-aware augmented reality object commands |
US9211073B2 (en) | 2013-02-20 | 2015-12-15 | Tosense, Inc. | Necklace-shaped physiological monitor |
US20140240103A1 (en) | 2013-02-22 | 2014-08-28 | Thalmic Labs Inc. | Methods and devices for combining muscle activity sensor signals and inertial sensor signals for gesture-based control |
US20140245200A1 (en) | 2013-02-25 | 2014-08-28 | Leap Motion, Inc. | Display control with gesture-selectable control paradigms |
US20140249397A1 (en) | 2013-03-01 | 2014-09-04 | Thalmic Labs Inc. | Differential non-contact biopotential sensor |
US20140257141A1 (en) | 2013-03-05 | 2014-09-11 | Great Lakes Neurotechnologies Inc. | Movement disorder monitoring and symptom quantification system and method |
US20140334653A1 (en) | 2013-03-14 | 2014-11-13 | Aliphcom | Combination speaker and light source responsive to state(s) of an organism based on sensor data |
US20140285326A1 (en) | 2013-03-15 | 2014-09-25 | Aliphcom | Combination speaker and light source responsive to state(s) of an organism based on sensor data |
US20150182163A1 (en) | 2013-12-31 | 2015-07-02 | Aliphcom | Wearable device to detect inflamation |
US9146730B2 (en) | 2013-03-15 | 2015-09-29 | Netgear, Inc. | System and method for remotely updating cable modem software |
US9766709B2 (en) | 2013-03-15 | 2017-09-19 | Leap Motion, Inc. | Dynamic user interactions for display control |
US9495389B2 (en) | 2013-03-15 | 2016-11-15 | Qualcomm Incorporated | Client-server based dynamic search |
US20140277622A1 (en) | 2013-03-15 | 2014-09-18 | First Principles, Inc. | System and method for bio-signal control of an electronic device |
US9361411B2 (en) | 2013-03-15 | 2016-06-07 | Honeywell International, Inc. | System and method for selecting a respirator |
US9436287B2 (en) | 2013-03-15 | 2016-09-06 | Qualcomm Incorporated | Systems and methods for switching processing modes using gestures |
JP5900393B2 (ja) | 2013-03-21 | 2016-04-06 | ソニー株式会社 | 情報処理装置、操作制御方法及びプログラム |
IN2013MU01148A (zh) | 2013-03-26 | 2015-04-24 | Tata Consultancy Services Ltd | |
US20140299362A1 (en) | 2013-04-04 | 2014-10-09 | Electronics And Telecommunications Research Institute | Stretchable electric device and manufacturing method thereof |
US10620709B2 (en) | 2013-04-05 | 2020-04-14 | Ultrahaptics IP Two Limited | Customized gesture interpretation |
US9717440B2 (en) | 2013-05-03 | 2017-08-01 | The Florida International University Board Of Trustees | Systems and methods for decoding intended motor commands from recorded neural signals for the control of external devices or to interact in virtual environments |
KR102043200B1 (ko) | 2013-05-07 | 2019-11-11 | 엘지전자 주식회사 | 스마트 워치 및 제어 방법 |
US9582317B2 (en) | 2013-05-10 | 2017-02-28 | Samsung Electronics Co., Ltd. | Method of using use log of portable terminal and apparatus using the same |
US10152082B2 (en) | 2013-05-13 | 2018-12-11 | North Inc. | Systems, articles and methods for wearable electronic devices that accommodate different user forms |
US9706647B2 (en) | 2013-05-14 | 2017-07-11 | Mc10, Inc. | Conformal electronics including nested serpentine interconnects |
US10314506B2 (en) | 2013-05-15 | 2019-06-11 | Polar Electro Oy | Heart activity sensor structure |
USD741855S1 (en) | 2013-05-16 | 2015-10-27 | Samsung Electronics Co., Ltd. | Smart watch |
USD750623S1 (en) | 2013-05-16 | 2016-03-01 | Samsung Electronics Co., Ltd. | Smart watch |
US10620775B2 (en) | 2013-05-17 | 2020-04-14 | Ultrahaptics IP Two Limited | Dynamic interactive objects |
US9645652B2 (en) | 2013-05-28 | 2017-05-09 | The Boeing Company | Ubiquitous natural user system for human-machine interaction |
US9904356B2 (en) | 2013-05-28 | 2018-02-27 | The Boeing Company | Tracking a user to support tasks performed on complex-system components |
US9395810B2 (en) | 2013-05-28 | 2016-07-19 | The Boeing Company | Ubiquitous natural user system |
US9218574B2 (en) | 2013-05-29 | 2015-12-22 | Purepredictive, Inc. | User interface for machine learning |
WO2014194257A1 (en) | 2013-05-31 | 2014-12-04 | President And Fellows Of Harvard College | Soft exosuit for assistance with human motion |
US9383819B2 (en) | 2013-06-03 | 2016-07-05 | Daqri, Llc | Manipulation of virtual object in augmented reality via intent |
WO2014197443A1 (en) | 2013-06-03 | 2014-12-11 | Kacyvenski Isaiah | Motion sensor and analysis |
WO2015047462A2 (en) | 2013-06-03 | 2015-04-02 | The Regents Of The University Of California | Artifact removal techniques with signal reconstruction |
KR101933921B1 (ko) | 2013-06-03 | 2018-12-31 | 삼성전자주식회사 | 포즈 추정 방법 및 장치 |
US11083402B2 (en) | 2013-06-04 | 2021-08-10 | Medtronic, Inc. | Patient state determination based on one or more spectral characteristics of a bioelectrical brain signal |
US10285617B2 (en) | 2013-06-06 | 2019-05-14 | Lifelens Technologies, Llc | Modular physiologic monitoring systems, kits, and methods |
KR101501661B1 (ko) | 2013-06-10 | 2015-03-12 | 한국과학기술연구원 | 착용형 근전도 센서 시스템 |
KR102131358B1 (ko) | 2013-06-17 | 2020-07-07 | 삼성전자주식회사 | 유저 인터페이스 장치 및 유저 인터페이스 장치의 동작 방법 |
KR102170321B1 (ko) | 2013-06-17 | 2020-10-26 | 삼성전자주식회사 | 파지된 물체를 이용한 모션을 인식하는 장치 및 방법, 시스템 |
WO2014204330A1 (en) | 2013-06-17 | 2014-12-24 | 3Divi Company | Methods and systems for determining 6dof location and orientation of head-mounted display and associated user movements |
US20140376773A1 (en) | 2013-06-21 | 2014-12-25 | Leap Motion, Inc. | Tunable operational parameters in motion-capture and touchless interface operation |
KR20160022375A (ko) | 2013-06-21 | 2016-02-29 | 엠씨10, 인크 | 정합성 전자기기를 구비한 밴드 |
US10402517B2 (en) | 2013-06-26 | 2019-09-03 | Dassault Systémes Simulia Corp. | Musculo-skeletal modeling using finite element analysis, process integration, and design optimization |
US9146618B2 (en) | 2013-06-28 | 2015-09-29 | Google Inc. | Unlocking a head mounted device |
US10295338B2 (en) | 2013-07-12 | 2019-05-21 | Magic Leap, Inc. | Method and system for generating map data from an image |
US9408316B2 (en) | 2013-07-22 | 2016-08-02 | Thalmic Labs Inc. | Systems, articles and methods for strain mitigation in wearable electronic devices |
US20150029092A1 (en) | 2013-07-23 | 2015-01-29 | Leap Motion, Inc. | Systems and methods of interpreting complex gestures |
US10042422B2 (en) | 2013-11-12 | 2018-08-07 | Thalmic Labs Inc. | Systems, articles, and methods for capacitive electromyography sensors |
US11426123B2 (en) | 2013-08-16 | 2022-08-30 | Meta Platforms Technologies, Llc | Systems, articles and methods for signal routing in wearable electronic devices that detect muscle activity of a user using a set of discrete and separately enclosed pod structures |
US20150057770A1 (en) | 2013-08-23 | 2015-02-26 | Thaimic Labs Inc. | Systems, articles, and methods for human-electronics interfaces |
US10188309B2 (en) | 2013-11-27 | 2019-01-29 | North Inc. | Systems, articles, and methods for electromyography sensors |
US20150124566A1 (en) | 2013-10-04 | 2015-05-07 | Thalmic Labs Inc. | Systems, articles and methods for wearable electronic devices employing contact sensors |
US9788789B2 (en) | 2013-08-30 | 2017-10-17 | Thalmic Labs Inc. | Systems, articles, and methods for stretchable printed circuit boards |
EP3042152B1 (en) | 2013-09-04 | 2022-11-09 | Essilor International | Navigation method based on a see-through head-mounted device |
US9372535B2 (en) | 2013-09-06 | 2016-06-21 | Thalmic Labs Inc. | Systems, articles, and methods for electromyography-based human-electronics interfaces |
JP5924456B2 (ja) | 2013-09-06 | 2016-05-25 | 株式会社村田製作所 | 多層基板 |
US9483123B2 (en) | 2013-09-23 | 2016-11-01 | Thalmic Labs Inc. | Systems, articles, and methods for gesture identification in wearable electromyography devices |
CN105578954B (zh) | 2013-09-25 | 2019-03-29 | 迈恩德玛泽控股股份有限公司 | 生理参数测量和反馈系统 |
US10048761B2 (en) | 2013-09-30 | 2018-08-14 | Qualcomm Incorporated | Classification of gesture detection systems through use of known and yet to be worn sensors |
US10405786B2 (en) | 2013-10-09 | 2019-09-10 | Nedim T. SAHIN | Systems, environment and methods for evaluation and management of autism spectrum disorder using a wearable data collection device |
WO2015057701A1 (en) | 2013-10-14 | 2015-04-23 | Nike Innovate C.V. | Calculating pace and energy expenditure from athletic movement attributes |
US9389694B2 (en) | 2013-10-22 | 2016-07-12 | Thalmic Labs Inc. | Systems, articles, and methods for gesture identification in wearable electromyography devices |
CN103777752A (zh) | 2013-11-02 | 2014-05-07 | 上海威璞电子科技有限公司 | 基于手臂肌肉电流检测和运动传感器的手势识别设备 |
GB2519987B (en) | 2013-11-04 | 2021-03-03 | Imperial College Innovations Ltd | Biomechanical activity monitoring |
US9594433B2 (en) | 2013-11-05 | 2017-03-14 | At&T Intellectual Property I, L.P. | Gesture-based controls via bone conduction |
US10676083B1 (en) | 2013-11-13 | 2020-06-09 | Hrl Laboratories, Llc | System and method for prediction of occupant motor response in accidents |
WO2015073713A1 (en) | 2013-11-13 | 2015-05-21 | Hrl Laboratories, Llc | System for controlling brain machine interfaces and neural prosthetic systems |
US20150157944A1 (en) | 2013-12-06 | 2015-06-11 | Glenn I. Gottlieb | Software Application for Generating a Virtual Simulation for a Sport-Related Activity |
US9367086B2 (en) | 2013-12-10 | 2016-06-14 | Atmel Corporation | Smart watch with adaptive touch screen |
US9367139B2 (en) | 2013-12-12 | 2016-06-14 | Thalmic Labs Inc. | Systems, articles, and methods for gesture identification in wearable electromyography devices |
US9971412B2 (en) | 2013-12-20 | 2018-05-15 | Lenovo (Singapore) Pte. Ltd. | Enabling device features according to gesture input |
US9640181B2 (en) | 2013-12-27 | 2017-05-02 | Kopin Corporation | Text editing with gesture control and natural speech |
USD751065S1 (en) | 2013-12-28 | 2016-03-08 | Intel Corporation | Wearable computing device |
KR20150077684A (ko) | 2013-12-30 | 2015-07-08 | 삼성전자주식회사 | 생체 신호 기반 기능 운용 방법 및 이를 지원하는 전자 장치 |
US20150182130A1 (en) | 2013-12-31 | 2015-07-02 | Aliphcom | True resting heart rate |
US9524580B2 (en) | 2014-01-06 | 2016-12-20 | Oculus Vr, Llc | Calibration of virtual reality systems |
US9659403B1 (en) | 2014-01-06 | 2017-05-23 | Leap Motion, Inc. | Initializing orientation in space for predictive information for free space gesture control and communication |
US9613262B2 (en) | 2014-01-15 | 2017-04-04 | Leap Motion, Inc. | Object detection and tracking for providing a virtual device experience |
CN106102504A (zh) | 2014-02-14 | 2016-11-09 | 赛尔米克实验室公司 | 用于弹性电力缆线的系统、制品和方法以及采用弹性电力缆线的可佩戴电子装置 |
TWI596994B (zh) | 2014-02-20 | 2017-08-21 | Tear-resistant structure of the flexible circuit board | |
US20150242009A1 (en) | 2014-02-26 | 2015-08-27 | Qeexo, Co. | Using Capacitive Images for Touch Type Classification |
EP3111303A4 (en) | 2014-02-28 | 2017-08-23 | Vikas Gupta | Gesture operated wrist mounted camera system |
USD751068S1 (en) | 2014-03-07 | 2016-03-08 | Sony Mobile Communications Ab | Display portion of watch shaped communications equipment |
US10613642B2 (en) | 2014-03-12 | 2020-04-07 | Microsoft Technology Licensing, Llc | Gesture parameter tuning |
US9649558B2 (en) | 2014-03-14 | 2017-05-16 | Sony Interactive Entertainment Inc. | Gaming device with rotatably placed cameras |
US20150261306A1 (en) | 2014-03-17 | 2015-09-17 | Thalmic Labs Inc. | Systems, devices, and methods for selecting between multiple wireless connections |
USD736664S1 (en) | 2014-03-18 | 2015-08-18 | Google Technology Holdings LLC | Wrist band for an electronic device |
US10520378B1 (en) | 2014-03-20 | 2019-12-31 | Invent.Ly, Llc | Wearable user input device and sensors system to detect injury |
US10575760B2 (en) | 2014-03-26 | 2020-03-03 | GestureLogic Inc. | Systems, methods and devices for activity recognition |
US10199008B2 (en) | 2014-03-27 | 2019-02-05 | North Inc. | Systems, devices, and methods for wearable electronic devices as state machines |
US10409382B2 (en) | 2014-04-03 | 2019-09-10 | Honda Motor Co., Ltd. | Smart tutorial for gesture control system |
TWD165563S (zh) | 2014-04-08 | 2015-01-21 | 緯創資通股份有限公司 | 穿戴式電子裝置之部分 |
US9149938B1 (en) | 2014-04-11 | 2015-10-06 | Harris Corporation | Robotic exoskeleton with adaptive viscous user coupling |
US20150296553A1 (en) | 2014-04-11 | 2015-10-15 | Thalmic Labs Inc. | Systems, devices, and methods that establish proximity-based wireless connections |
US9858391B2 (en) | 2014-04-17 | 2018-01-02 | The Boeing Company | Method and system for tuning a musculoskeletal model |
US9402582B1 (en) | 2014-04-21 | 2016-08-02 | Verily Life Sciences Llc | Smart surgical glove |
US10845982B2 (en) | 2014-04-28 | 2020-11-24 | Facebook, Inc. | Providing intelligent transcriptions of sound messages in a messaging application |
US20170080346A1 (en) | 2014-05-01 | 2017-03-23 | Mohamad Abbas | Methods and systems relating to personalized evolving avatars |
US20150323998A1 (en) | 2014-05-06 | 2015-11-12 | Qualcomm Incorporated | Enhanced user interface for a wearable electronic device |
US20150325202A1 (en) | 2014-05-07 | 2015-11-12 | Thalmic Labs Inc. | Systems, devices, and methods for wearable computers with heads-up displays |
US9472956B2 (en) | 2014-05-12 | 2016-10-18 | Commscope Technologies Llc | Remote radio heads having wireless jumper connections and related equipment, systems and methods |
US9785247B1 (en) | 2014-05-14 | 2017-10-10 | Leap Motion, Inc. | Systems and methods of tracking moving hands and recognizing gestural interactions |
USD717685S1 (en) | 2014-05-15 | 2014-11-18 | Thalmic Labs Inc. | Expandable armband |
KR101666399B1 (ko) | 2014-05-15 | 2016-10-14 | 한국과학기술연구원 | 다중 채널 표면 근전도에서의 신체 관절 운동학 정보 추출 방법, 이를 수행하기 위한 기록 매체 및 장치 |
USD756359S1 (en) | 2014-05-15 | 2016-05-17 | Thalmic Labs Inc. | Expandable armband device |
US9741169B1 (en) | 2014-05-20 | 2017-08-22 | Leap Motion, Inc. | Wearable augmented reality devices with object detection and tracking |
US10782657B2 (en) | 2014-05-27 | 2020-09-22 | Ultrahaptics IP Two Limited | Systems and methods of gestural interaction in a pervasive computing environment |
CN105320248B (zh) | 2014-06-03 | 2018-12-07 | 深圳Tcl新技术有限公司 | 空中手势输入方法及装置 |
US9977505B2 (en) | 2014-06-06 | 2018-05-22 | International Business Machines Corporation | Controlling inadvertent inputs to a mobile device |
US9329694B2 (en) | 2014-06-06 | 2016-05-03 | Google Technology Holdings LLC | Preemptive machine learning-based gesture recognition |
WO2015192117A1 (en) | 2014-06-14 | 2015-12-17 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
JP6362444B2 (ja) | 2014-06-16 | 2018-07-25 | 日本メクトロン株式会社 | フレキシブルプリント基板およびフレキシブルプリント基板の製造方法 |
US9880632B2 (en) | 2014-06-19 | 2018-01-30 | Thalmic Labs Inc. | Systems, devices, and methods for gesture identification |
WO2015199747A1 (en) | 2014-06-23 | 2015-12-30 | Thalmic Labs Inc. | Systems, articles, and methods for wearable human-electronics interface devices |
US10216274B2 (en) | 2014-06-23 | 2019-02-26 | North Inc. | Systems, articles, and methods for wearable human-electronics interface devices |
US20150379770A1 (en) | 2014-06-27 | 2015-12-31 | David C. Haley, JR. | Digital action in response to object interaction |
US9552069B2 (en) | 2014-07-11 | 2017-01-24 | Microsoft Technology Licensing, Llc | 3D gesture recognition |
US10178291B2 (en) | 2014-07-23 | 2019-01-08 | Orcam Technologies Ltd. | Obtaining information from an environment of a user of a wearable camera system |
US9734704B2 (en) | 2014-08-12 | 2017-08-15 | Dominick S. LEE | Wireless gauntlet for electronic control |
US20160050037A1 (en) | 2014-08-12 | 2016-02-18 | Valcom, Inc. | Emergency alert notification device, system, and method |
US20160071319A1 (en) | 2014-09-09 | 2016-03-10 | Schneider Electric It Corporation | Method to use augumented reality to function as hmi display |
WO2016041088A1 (en) | 2014-09-19 | 2016-03-24 | Sulon Technologies Inc. | System and method for tracking wearable peripherals in augmented reality and virtual reality applications |
US9811555B2 (en) | 2014-09-27 | 2017-11-07 | Intel Corporation | Recognition of free-form gestures from orientation tracking of a handheld or wearable device |
US10783900B2 (en) | 2014-10-03 | 2020-09-22 | Google Llc | Convolutional, long short-term memory, fully connected deep neural networks |
CN105573536B (zh) | 2014-10-16 | 2018-09-07 | 华为技术有限公司 | 触控交互的处理方法、装置和系统 |
WO2016065020A2 (en) | 2014-10-21 | 2016-04-28 | Robert Bosch Gmbh | Method and system for automation of response selection and composition in dialog systems |
JP6415592B2 (ja) | 2014-11-12 | 2018-10-31 | 京セラ株式会社 | ウェアラブル装置 |
US9807221B2 (en) | 2014-11-28 | 2017-10-31 | Thalmic Labs Inc. | Systems, devices, and methods effected in response to establishing and/or terminating a physical communications link |
KR20160071732A (ko) | 2014-12-12 | 2016-06-22 | 삼성전자주식회사 | 음성 입력을 처리하는 방법 및 장치 |
EP3234731B1 (en) | 2014-12-16 | 2020-07-01 | Somatix Inc. | Methods and systems for monitoring and influencing gesture-based behaviors |
USD743963S1 (en) | 2014-12-22 | 2015-11-24 | Osterhout Group, Inc. | Air mouse |
US9612661B2 (en) | 2015-01-02 | 2017-04-04 | Wearable Devices Ltd. | Closed loop feedback interface for wearable devices |
US9720515B2 (en) * | 2015-01-02 | 2017-08-01 | Wearable Devices Ltd. | Method and apparatus for a gesture controlled interface for wearable devices |
US11119565B2 (en) | 2015-01-19 | 2021-09-14 | Samsung Electronics Company, Ltd. | Optical detection and analysis of bone |
US9852546B2 (en) | 2015-01-28 | 2017-12-26 | CCP hf. | Method and system for receiving gesture input via virtual control objects |
US9696795B2 (en) | 2015-02-13 | 2017-07-04 | Leap Motion, Inc. | Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments |
WO2016132371A1 (en) | 2015-02-22 | 2016-08-25 | Technion Research & Development Foundation Limited | Gesture recognition using multi-sensory data |
US10599216B2 (en) | 2015-03-02 | 2020-03-24 | Tap Systems Inc. | Arbitrary surface and finger position keyboard |
EP3064130A1 (en) | 2015-03-02 | 2016-09-07 | MindMaze SA | Brain activity measurement and feedback system |
US10124210B2 (en) | 2015-03-13 | 2018-11-13 | KO Luxembourg SARL | Systems and methods for qualitative assessment of sports performance |
GB201504362D0 (en) | 2015-03-16 | 2015-04-29 | Elliptic Laboratories As | Touchless user interfaces for electronic devices |
US20160274758A1 (en) | 2015-03-20 | 2016-09-22 | Thalmic Labs Inc. | Systems, devices, and methods for mitigating false positives in human-electronics interfaces |
US20160282947A1 (en) | 2015-03-26 | 2016-09-29 | Lenovo (Singapore) Pte. Ltd. | Controlling a wearable device using gestures |
KR101927323B1 (ko) | 2015-04-03 | 2018-12-10 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
US10432842B2 (en) | 2015-04-06 | 2019-10-01 | The Texas A&M University System | Fusion of inertial and depth sensors for movement measurements and recognition |
US20170095178A1 (en) | 2015-04-09 | 2017-04-06 | Marco Schoen | EMG Home Trainer |
US20180107275A1 (en) | 2015-04-13 | 2018-04-19 | Empire Technology Development Llc | Detecting facial expressions |
US10437335B2 (en) | 2015-04-14 | 2019-10-08 | John James Daniels | Wearable electronic, multi-sensory, human/machine, human/human interfaces |
US20160309249A1 (en) | 2015-04-16 | 2016-10-20 | Hong Fu Jin Precision Industry (Wuhan) Co., Ltd. | Wearable electronic device |
KR102063895B1 (ko) | 2015-04-20 | 2020-01-08 | 삼성전자주식회사 | 서버, 사용자 단말 장치 및 그 제어 방법 |
US9804733B2 (en) | 2015-04-21 | 2017-10-31 | Dell Products L.P. | Dynamic cursor focus in a multi-display information handling system environment |
US9972133B2 (en) | 2015-04-24 | 2018-05-15 | Jpw Industries Inc. | Wearable display for use with tool |
US10175492B2 (en) | 2015-04-24 | 2019-01-08 | Eon Reality, Inc. | Systems and methods for transition between augmented reality and virtual reality |
US10078435B2 (en) | 2015-04-24 | 2018-09-18 | Thalmic Labs Inc. | Systems, methods, and computer program products for interacting with electronically displayed presentation materials |
GB2537899B (en) | 2015-04-30 | 2018-02-21 | Hy5Pro As | Control of digits for artificial hand |
US9654477B1 (en) | 2015-05-05 | 2017-05-16 | Wells Fargo Bank, N. A. | Adaptive authentication |
US9740310B2 (en) | 2015-05-22 | 2017-08-22 | Adobe Systems Incorporated | Intuitive control of pressure-sensitive stroke attributes |
US9898864B2 (en) | 2015-05-28 | 2018-02-20 | Microsoft Technology Licensing, Llc | Shared tactile interaction and user safety in shared space multi-person immersive virtual reality |
EP3556429B1 (en) | 2015-06-02 | 2021-10-13 | Battelle Memorial Institute | Non-invasive motor impairment rehabilitation system |
ES2933725T3 (es) * | 2015-06-02 | 2023-02-13 | Battelle Memorial Institute | Manguito neural para estimulación, detección y registro neuromuscular |
EP3782696B1 (en) | 2015-06-02 | 2022-12-28 | Battelle Memorial Institute | Systems for neural bridging of the nervous system |
US10813559B2 (en) | 2015-06-14 | 2020-10-27 | Facense Ltd. | Detecting respiratory tract infection based on changes in coughing sounds |
US11589814B2 (en) | 2015-06-26 | 2023-02-28 | Carnegie Mellon University | System for wearable, low-cost electrical impedance tomography for non-invasive gesture recognition |
US9240069B1 (en) | 2015-06-30 | 2016-01-19 | Ariadne's Thread (Usa), Inc. | Low-latency virtual reality display system |
WO2017007518A1 (en) | 2015-07-07 | 2017-01-12 | Obma Padraic R | Noninvasive medical monitoring device, system and method |
CN108140360B (zh) | 2015-07-29 | 2020-12-04 | 森赛尔股份有限公司 | 用于操纵虚拟环境的系统和方法 |
KR101626748B1 (ko) | 2015-08-03 | 2016-06-14 | 숭실대학교산학협력단 | 뇌파와 근전도를 이용한 움직임 패턴 측정 장치 및 그 방법 |
US10854104B2 (en) | 2015-08-28 | 2020-12-01 | Icuemotion Llc | System for movement skill analysis and skill augmentation and cueing |
US10387034B2 (en) | 2015-09-03 | 2019-08-20 | Microsoft Technology Licensing, Llc | Modifying captured stroke information into an actionable form |
US10348355B2 (en) | 2015-09-16 | 2019-07-09 | Intel Corporation | Techniques for gesture recognition using photoplethysmographic (PPMG) sensor and low-power wearable gesture recognition device using the same |
US20170079828A1 (en) | 2015-09-22 | 2017-03-23 | Lim Innovations, Inc. | Scoliosis treatment system and method |
US9824287B2 (en) | 2015-09-29 | 2017-11-21 | Huami Inc. | Method, apparatus and system for biometric identification |
US11026628B1 (en) | 2015-09-30 | 2021-06-08 | Apple Inc. | Systems and methods of spatial filtering for measuring electrical signals |
US10459537B2 (en) | 2015-09-30 | 2019-10-29 | Stmicroelectronics, Inc. | Encapsulated pressure sensor |
US11389083B2 (en) | 2015-10-06 | 2022-07-19 | University of Pittsburgh—of the Commonwealth System of Higher Education | Method, device and system for sensing neuromuscular, physiological, biomechanical, and musculoskeletal activity |
US9881273B2 (en) | 2015-10-28 | 2018-01-30 | Disney Interprises, Inc. | Automatic object detection and state estimation via electronic emissions sensing |
US10595941B2 (en) | 2015-10-30 | 2020-03-24 | Orthosensor Inc. | Spine measurement system and method therefor |
US11106273B2 (en) | 2015-10-30 | 2021-08-31 | Ostendo Technologies, Inc. | System and methods for on-body gestural interfaces and projection displays |
US10552752B2 (en) | 2015-11-02 | 2020-02-04 | Microsoft Technology Licensing, Llc | Predictive controller for applications |
GB201520367D0 (en) | 2015-11-19 | 2016-01-06 | Bespoke Vr Ltd | Editing interactive motion capture data for creating the interaction characteristics of non player characters |
KR102570068B1 (ko) | 2015-11-20 | 2023-08-23 | 삼성전자주식회사 | 동작 인식 방법, 동작 인식 장치 및 웨어러블 장치 |
KR101739656B1 (ko) | 2015-11-23 | 2017-05-24 | 이경호 | 핸디형 유방암 검진기 |
US10776712B2 (en) | 2015-12-02 | 2020-09-15 | Preferred Networks, Inc. | Generative machine learning systems for drug design |
CN105511615B (zh) | 2015-12-04 | 2019-03-05 | 深圳大学 | 基于emg的可穿戴式文本输入系统及方法 |
US20170188980A1 (en) | 2016-01-06 | 2017-07-06 | Empire Technology Development Llc | Wearable sensor based body modeling |
US11402402B2 (en) | 2016-01-12 | 2022-08-02 | Bigmotion Technologies Inc. | Systems and methods for human body motion capture |
US10973422B2 (en) | 2016-01-22 | 2021-04-13 | Fitbit, Inc. | Photoplethysmography-based pulse wave analysis using a wearable device |
KR102619981B1 (ko) | 2016-02-02 | 2024-01-02 | 삼성전자주식회사 | 근전도 신호를 이용한 동작 분류 방법 및 장치 |
KR102576908B1 (ko) | 2016-02-16 | 2023-09-12 | 삼성전자주식회사 | 동적 파노라마 기능을 제공하는 방법 및 장치 |
US10567449B2 (en) | 2016-02-17 | 2020-02-18 | Meta View, Inc. | Apparatuses, methods and systems for sharing virtual elements |
US20170259167A1 (en) | 2016-03-14 | 2017-09-14 | Nathan Sterling Cook | Brainwave virtual reality apparatus and method |
KR102158743B1 (ko) | 2016-03-15 | 2020-09-22 | 한국전자통신연구원 | 자연어 음성인식의 성능향상을 위한 데이터 증강장치 및 방법 |
US9864434B2 (en) | 2016-03-30 | 2018-01-09 | Huami Inc. | Gesture control of interactive events using multiple wearable devices |
CN109313492B (zh) | 2016-03-31 | 2022-03-18 | 森赛尔股份有限公司 | 人机接口系统 |
US10338686B2 (en) | 2016-03-31 | 2019-07-02 | Disney Enterprises, Inc. | Control system using aesthetically guided gesture recognition |
US10503253B2 (en) | 2016-03-31 | 2019-12-10 | Intel Corporation | Sensor signal processing to determine finger and/or hand position |
US10852835B2 (en) | 2016-04-15 | 2020-12-01 | Board Of Regents, The University Of Texas System | Systems, apparatuses and methods for controlling prosthetic devices by gestures and other modalities |
CN109155303B (zh) | 2016-04-19 | 2020-05-22 | 天工方案公司 | 射频模块的选择性屏蔽 |
US10046229B2 (en) | 2016-05-02 | 2018-08-14 | Bao Tran | Smart device |
US10203751B2 (en) | 2016-05-11 | 2019-02-12 | Microsoft Technology Licensing, Llc | Continuous motion controls operable using neurological data |
US9864431B2 (en) | 2016-05-11 | 2018-01-09 | Microsoft Technology Licensing, Llc | Changing an application state using neurological data |
US10555865B2 (en) | 2016-05-25 | 2020-02-11 | Carnegie Mellon University | Torque control methods for an exoskeleton device |
EP3463550B1 (en) | 2016-05-31 | 2024-03-27 | Lab Schöpfergeist AG | Nerve stimulation apparatus and method |
US10426371B2 (en) | 2016-06-07 | 2019-10-01 | Smk Corporation | Muscle condition measurement sheet |
KR101790147B1 (ko) | 2016-06-22 | 2017-10-25 | 재단법인 실감교류인체감응솔루션연구단 | 가상 객체 조작 시스템 및 방법 |
US10154791B2 (en) | 2016-07-01 | 2018-12-18 | L.I.F.E. Corporation S.A. | Biometric identification by garments having a plurality of sensors |
US10943398B2 (en) | 2016-07-15 | 2021-03-09 | Samsung Electronics Co., Ltd. | Augmented reality device and operation thereof |
US10433052B2 (en) | 2016-07-16 | 2019-10-01 | Ron Zass | System and method for identifying speech prosody |
CN108369643B (zh) | 2016-07-20 | 2022-05-13 | 杭州凌感科技有限公司 | 用于3d手部骨架跟踪的方法和系统 |
KR102655669B1 (ko) | 2016-07-20 | 2024-04-05 | 삼성전자주식회사 | 생체신호의 특징 추출 장치 및 방법과, 생체정보 검출 장치 |
US20190121306A1 (en) | 2017-10-19 | 2019-04-25 | Ctrl-Labs Corporation | Systems and methods for identifying biological structures associated with neuromuscular source signals |
US11000211B2 (en) | 2016-07-25 | 2021-05-11 | Facebook Technologies, Llc | Adaptive system for deriving control signals from measurements of neuromuscular activity |
US20190223748A1 (en) | 2018-01-25 | 2019-07-25 | Ctrl-Labs Corporation | Methods and apparatus for mitigating neuromuscular signal artifacts |
US10489986B2 (en) | 2018-01-25 | 2019-11-26 | Ctrl-Labs Corporation | User-controlled tuning of handstate representation model parameters |
WO2018022657A1 (en) | 2016-07-25 | 2018-02-01 | Ctrl-Labs Corporation | System and method for measuring the movements of articulated rigid bodies |
CN110300542A (zh) | 2016-07-25 | 2019-10-01 | 开创拉布斯公司 | 使用可穿戴的自动传感器预测肌肉骨骼位置信息的方法和装置 |
US10409371B2 (en) | 2016-07-25 | 2019-09-10 | Ctrl-Labs Corporation | Methods and apparatus for inferring user intent based on neuromuscular signals |
US11216069B2 (en) | 2018-05-08 | 2022-01-04 | Facebook Technologies, Llc | Systems and methods for improved speech recognition using neuromuscular information |
US20180088675A1 (en) | 2016-09-29 | 2018-03-29 | Brian K. Vogel | Coordinate system for gesture control |
US10765363B2 (en) | 2016-09-30 | 2020-09-08 | Cognionics, Inc. | Headgear for dry electroencephalogram sensors |
US20180095542A1 (en) | 2016-09-30 | 2018-04-05 | Sony Interactive Entertainment Inc. | Object Holder for Virtual Reality Interaction |
US10300372B2 (en) | 2016-09-30 | 2019-05-28 | Disney Enterprises, Inc. | Virtual blaster |
US10162422B2 (en) | 2016-10-10 | 2018-12-25 | Deere & Company | Control of machines through detection of gestures by optical and muscle sensors |
WO2018094011A1 (en) | 2016-11-16 | 2018-05-24 | Lumo Bodytech, Inc. | System and method for personalized exercise training and coaching |
EP3544495A4 (en) | 2016-11-25 | 2020-08-19 | Kinaptic, LLC | HAPTIC HUMAN-MACHINE INTERFACE AND METHODS AND APPARATUS WITH PORTABLE ELECTRONIC ELEMENTS |
CN109804331B (zh) | 2016-12-02 | 2021-06-22 | 皮松科技股份有限公司 | 检测和使用身体组织电信号 |
US10646139B2 (en) | 2016-12-05 | 2020-05-12 | Intel Corporation | Body movement tracking |
US10736564B2 (en) | 2016-12-16 | 2020-08-11 | Elwha Llc | System and method for enhancing learning of a motor task |
US20190025919A1 (en) | 2017-01-19 | 2019-01-24 | Mindmaze Holding Sa | System, method and apparatus for detecting facial expression in an augmented reality system |
US10488510B2 (en) | 2017-02-02 | 2019-11-26 | Leah La Salla | Predictive probable cause system and unmanned vehicles using the same |
US10854194B2 (en) | 2017-02-10 | 2020-12-01 | Johnson Controls Technology Company | Building system with digital twin based data ingestion and processing |
GB2561537B (en) | 2017-02-27 | 2022-10-12 | Emteq Ltd | Optical expression detection |
US20180247443A1 (en) | 2017-02-28 | 2018-08-30 | International Business Machines Corporation | Emotional analysis and depiction in virtual reality |
EP3609402A4 (en) | 2017-04-14 | 2020-12-16 | Rehabilitation Institute Of Chicago D/B/A Shirley | PROSTHETIC VIRTUAL REALITY LEARNING INTERFACE AND RELATED PROCESSES |
US10874309B2 (en) | 2017-05-01 | 2020-12-29 | Samsung Electronics Company, Ltd. | Determining emotions using camera-based sensing |
GB201709227D0 (en) | 2017-06-09 | 2017-07-26 | Microsoft Technology Licensing Llc | A wearable device |
US11259746B2 (en) | 2017-07-10 | 2022-03-01 | General Electric Company | Method and system for neuromuscular transmission measurement |
US20190025906A1 (en) | 2017-07-21 | 2019-01-24 | Pearson Education, Inc. | Systems and methods for virtual reality-based assessment |
US10481699B2 (en) | 2017-07-27 | 2019-11-19 | Facebook Technologies, Llc | Armband for tracking hand motion using electrical impedance measurement |
WO2019024051A1 (en) | 2017-08-03 | 2019-02-07 | Intel Corporation | HAPTIC GLOVES FOR VIRTUAL REALITY SYSTEMS AND METHODS OF CONTROLLING THEM |
US11561806B2 (en) * | 2017-08-04 | 2023-01-24 | Hannes Bendfeldt | Adaptive interface for screen-based interactions |
KR102408359B1 (ko) | 2017-08-23 | 2022-06-14 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 제어 방법 |
RU2678494C1 (ru) | 2017-08-24 | 2019-01-29 | Самсунг Электроникс Ко., Лтд. | Устройство и способ для биометрической идентификации пользователя с использованием рч (радиочастотного) радара |
WO2019051082A1 (en) * | 2017-09-06 | 2019-03-14 | Georgia Tech Research Corporation | SYSTEMS, METHODS AND DEVICES FOR GESTURE RECOGNITION |
WO2019050651A1 (en) | 2017-09-08 | 2019-03-14 | Intel Corporation | LOW NOISE FRONTAL APPLICATION FOR CARDIAC FREQUENCY MONITOR USING PHOTOPLETHYSMOGRAPHY |
US20190076716A1 (en) | 2017-09-12 | 2019-03-14 | Intel Corporation | Activity training system |
KR102434402B1 (ko) | 2017-09-19 | 2022-08-22 | 한국전자통신연구원 | 혼합현실 콘텐츠를 제공하는 장치 및 방법 |
US10606620B2 (en) | 2017-11-16 | 2020-03-31 | International Business Machines Corporation | Notification interaction in a touchscreen user interface |
US20190150777A1 (en) | 2017-11-17 | 2019-05-23 | Ctrl-Labs Corporation | Dual-supply analog circuitry for sensing surface emg signals |
JP6881687B2 (ja) * | 2017-12-20 | 2021-06-02 | 株式会社村田製作所 | ユーザの精神/感情状態をモデリングする方法およびシステム |
US10175697B1 (en) | 2017-12-21 | 2019-01-08 | Luminar Technologies, Inc. | Object identification and labeling tool for training autonomous vehicle controllers |
US10671164B2 (en) * | 2017-12-27 | 2020-06-02 | X Development Llc | Interface for electroencephalogram for computer control |
US20190196586A1 (en) * | 2017-12-27 | 2019-06-27 | X Development Llc | Electroencephalogram system with machine learning filtering of redundant signals |
US10827942B2 (en) | 2018-01-03 | 2020-11-10 | Intel Corporation | Detecting fatigue based on electroencephalogram (EEG) data |
WO2019139884A1 (en) | 2018-01-09 | 2019-07-18 | St. Jude Medical, Cardiology Division, Inc. | System and method for sorting electrophysiological signals on virtual catheters |
US10729564B2 (en) | 2018-01-12 | 2020-08-04 | Ripple Llc | Sensor system |
WO2019147996A1 (en) | 2018-01-25 | 2019-08-01 | Ctrl-Labs Corporation | Calibration techniques for handstate representation modeling using neuromuscular signals |
WO2019148002A1 (en) | 2018-01-25 | 2019-08-01 | Ctrl-Labs Corporation | Techniques for anonymizing neuromuscular signal data |
US11150730B1 (en) | 2019-04-30 | 2021-10-19 | Facebook Technologies, Llc | Devices, systems, and methods for controlling computing devices via neuromuscular signals of users |
US10817795B2 (en) | 2018-01-25 | 2020-10-27 | Facebook Technologies, Llc | Handstate reconstruction based on multiple inputs |
US20200097081A1 (en) | 2018-09-20 | 2020-03-26 | Jasmine Stone | Neuromuscular control of an augmented reality system |
US10937414B2 (en) | 2018-05-08 | 2021-03-02 | Facebook Technologies, Llc | Systems and methods for text input using neuromuscular information |
EP3743892A4 (en) | 2018-01-25 | 2021-03-24 | Facebook Technologies, Inc. | VISUALIZATION OF INFORMATION ON THE STATE OF A RECONSTRUCTED HAND |
EP3743901A4 (en) | 2018-01-25 | 2021-03-31 | Facebook Technologies, Inc. | REAL-TIME PROCESSING OF HAND REPRESENTATION MODEL ESTIMATES |
US20190247650A1 (en) * | 2018-02-14 | 2019-08-15 | Bao Tran | Systems and methods for augmenting human muscle controls |
US11145096B2 (en) | 2018-03-07 | 2021-10-12 | Samsung Electronics Co., Ltd. | System and method for augmented reality interaction |
US10901508B2 (en) * | 2018-03-20 | 2021-01-26 | X Development Llc | Fused electroencephalogram and machine learning for precognitive brain-computer interface for computer control |
WO2019199924A1 (en) | 2018-04-10 | 2019-10-17 | Rhythmlink International, Llc | Virtual electrode template system for neurological monitoring |
US20190324549A1 (en) | 2018-04-20 | 2019-10-24 | Immersion Corporation | Systems, devices, and methods for providing immersive reality interface modes |
CN112424859A (zh) | 2018-05-08 | 2021-02-26 | 脸谱科技有限责任公司 | 使用神经肌肉信息改善语音识别的系统和方法 |
US10592001B2 (en) | 2018-05-08 | 2020-03-17 | Facebook Technologies, Llc | Systems and methods for improved speech recognition using neuromuscular information |
US10861242B2 (en) | 2018-05-22 | 2020-12-08 | Magic Leap, Inc. | Transmodal input fusion for a wearable system |
EP3801743A4 (en) | 2018-05-25 | 2021-08-04 | Facebook Technologies, LLC | PROCESSES AND APPARATUS FOR OBTAINING A SUB-MUSCULAR COMMAND |
EP3801216A4 (en) | 2018-05-29 | 2021-04-14 | Facebook Technologies, LLC. | SHIELDING TECHNIQUES FOR NOISE REDUCTION IN SURFACE ELECTROMYOGRAPHY SIGNAL MEASUREMENT AND RELATED SYSTEMS AND METHODS |
US11099647B2 (en) * | 2018-08-05 | 2021-08-24 | Pison Technology, Inc. | User interface control of responsive devices |
EP4241661A1 (en) | 2018-08-31 | 2023-09-13 | Facebook Technologies, LLC | Camera-guided interpretation of neuromuscular signals |
US11478193B2 (en) | 2018-09-11 | 2022-10-25 | Apple Inc. | Contact detection for physiological sensor |
WO2020061451A1 (en) | 2018-09-20 | 2020-03-26 | Ctrl-Labs Corporation | Neuromuscular text entry, writing and drawing in augmented reality systems |
WO2020072915A1 (en) | 2018-10-05 | 2020-04-09 | Ctrl-Labs Corporation | Use of neuromuscular signals to provide enhanced interactions with physical objects in an augmented reality environment |
US11457995B2 (en) | 2018-12-27 | 2022-10-04 | Biosense Webster (Israel) Ltd. | Accurate balloon computation and visualization |
US10905383B2 (en) | 2019-02-28 | 2021-02-02 | Facebook Technologies, Llc | Methods and apparatus for unsupervised one-shot machine learning for classification of human gestures and estimation of applied forces |
TWI689859B (zh) | 2019-03-19 | 2020-04-01 | 國立臺灣科技大學 | 由手腕偵測肌動訊號識別使用者手勢之系統及方法 |
KR102278069B1 (ko) | 2019-10-22 | 2021-07-14 | 조선대학교산학협력단 | 근전도 신호 기반 사용자 인증 장치 및 인증 방법 |
CN113301710B (zh) | 2020-02-24 | 2022-09-09 | 京东方科技集团股份有限公司 | 显示装置及其制备方法 |
-
2020
- 2020-03-27 US US16/833,307 patent/US11481030B2/en active Active
- 2020-03-30 WO PCT/US2020/025772 patent/WO2020205767A1/en unknown
- 2020-03-30 CN CN202080026319.5A patent/CN113646734A/zh active Pending
- 2020-03-30 EP EP20721981.7A patent/EP3948497A1/en not_active Withdrawn
- 2020-03-30 JP JP2021533832A patent/JP2022526060A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11934586B2 (en) | 2022-06-29 | 2024-03-19 | Google Llc | Gesture detection via image capture of subdermal tissue from a wrist-pointing camera system |
Also Published As
Publication number | Publication date |
---|---|
WO2020205767A1 (en) | 2020-10-08 |
US11481030B2 (en) | 2022-10-25 |
US20200310539A1 (en) | 2020-10-01 |
EP3948497A1 (en) | 2022-02-09 |
JP2022526060A (ja) | 2022-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11481030B2 (en) | Methods and apparatus for gesture detection and classification | |
CN114341779B (zh) | 用于基于神经肌肉控制执行输入的系统、方法和界面 | |
US10795445B2 (en) | Methods, devices, and systems for determining contact on a user of a virtual reality and/or augmented reality device | |
US10564717B1 (en) | Apparatus, systems, and methods for sensing biopotential signals | |
US11331045B1 (en) | Systems and methods for mitigating neuromuscular signal artifacts | |
CN113316754A (zh) | 用于在用于人工现实界面的跟踪真实世界对象的模式之间转换的系统和方法 | |
US11630520B1 (en) | Systems and methods for sensing gestures via vibration-sensitive wearables donned by users of artificial reality systems | |
CN111868666A (zh) | 用于确定虚拟现实和/或增强现实设备的用户的接触的方法、设备和系统 | |
US11281293B1 (en) | Systems and methods for improving handstate representation model estimates | |
US10656710B1 (en) | Apparatus, systems, and methods for sensing biopotential signals via compliant electrodes | |
US20220293241A1 (en) | Systems and methods for signaling cognitive-state transitions | |
US20220236795A1 (en) | Systems and methods for signaling the onset of a user's intent to interact | |
US11579704B2 (en) | Systems and methods for adaptive input thresholding | |
CN115698989A (zh) | 用于认证头戴式显示器的用户的系统和方法 | |
US20240130681A1 (en) | Electrode placement calibration | |
US11789544B2 (en) | Systems and methods for communicating recognition-model uncertainty to users | |
US11399074B2 (en) | Devices, systems, and methods for modifying features of applications based on predicted intentions of users | |
US11844623B1 (en) | Systems and methods for tracking sleep | |
US11961494B1 (en) | Electromagnetic interference reduction in extended reality environments | |
US11662815B2 (en) | Apparatus, system, and method for detecting user input via hand gestures and arm movements | |
US20230196765A1 (en) | Software-based user interface element analogues for physical device elements | |
WO2022192759A1 (en) | Systems and methods for signaling cognitive-state transitions | |
WO2023023299A1 (en) | Systems and methods for communicating model uncertainty to users | |
JP2024516755A (ja) | 親指圧力感知を有するハンドヘルドコントローラ | |
CN118056176A (zh) | 用于经由手部姿势和手臂运动来检测用户输入的装置、系统和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: California, USA Applicant after: Yuan Platform Technology Co.,Ltd. Address before: California, USA Applicant before: Facebook Technologies, LLC |
|
CB02 | Change of applicant information |