CN102640086A - 感测机械能以使得身体适用于进行数据输入 - Google Patents

感测机械能以使得身体适用于进行数据输入 Download PDF

Info

Publication number
CN102640086A
CN102640086A CN2010800545516A CN201080054551A CN102640086A CN 102640086 A CN102640086 A CN 102640086A CN 2010800545516 A CN2010800545516 A CN 2010800545516A CN 201080054551 A CN201080054551 A CN 201080054551A CN 102640086 A CN102640086 A CN 102640086A
Authority
CN
China
Prior art keywords
health
sensors
finger
signal
touching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800545516A
Other languages
English (en)
Other versions
CN102640086B (zh
Inventor
D·S·谭
D·莫里斯
C·哈里森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102640086A publication Critical patent/CN102640086A/zh
Application granted granted Critical
Publication of CN102640086B publication Critical patent/CN102640086B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1662Details related to the integrated keyboard
    • G06F1/1673Arrangements for projecting a virtual keyboard
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Prostheses (AREA)

Abstract

描述了使用人体作为计算设备的输入机构。传感器集合被耦合至人体的部位。传感器集合检测作为由动作/身体执行的动作(诸如用户手指轻击或轻弹)的结果通过身体传送的机械(例如,生物声学)能量。处理传感器输出数据(例如,信号)以确定采取了什么动作。例如,姿势可以是手指轻击,并且输出数据可指示哪个手指轻击、手指在什么表面上轻击、或者手指在身体上的哪里轻击。

Description

感测机械能以使得身体适用于进行数据输入
背景
现今,许多计算设备具有显著计算功率和能力,而且足够小且足够轻,以致它们可被容易地携带。然而,具有这样的小尺寸通常意味着这些设备因此具有小且受限的交互机构,诸如微小屏幕、按钮和/或转轮形式的。这降低了此类设备的可用性和功能性,因为简单地使按钮和屏幕变得更大会导致小型设备的益处的损失。
一个选择是机会性地使表面区域适用于交互性目的。例如,一个技术允许小型移动设备使用桌面作为姿势手指输入画布(该移动设备放置在桌子上)。然而,桌面并非总是可用的,并且在移动上下文中,用户几乎不可能希望随身携带此类表面;(的确,此时,用户将很可能偏好于简单地具有较大设备)。
概述
提供本概述以便以简化形式介绍将在以下的详细描述中进一步描述的一些代表性概念。本概述不旨在标识出所要求保护的主题的关键特征或必要特征,也不旨在以限制所要求保护的主题的范围的任何方式来使用。
简言之,本文中所描述的主题的各方面涉及将人体用作计算设备的输入机构的技术。传感器集合被耦合至人体的部位,诸如通过佩戴包含传感器阵列的臂带。传感器集合检测由身体所执行的动作(姿势)导致的机械能,并提供与动作相对应的输出数据(例如,信号)。信号可被处理成与输出数据相对应的其他信息,例如,可能的姿势当中的特定姿势。
计算设备使用与输出数据相对应的信息(诸如被执行的姿势的类型,或者关于身体轻击之处的位置信息)作为数据输入。例如,姿势可以是手指轻击,并且输出数据可指示哪个手指轻击、手指在什么表面上轻击、或者手指在身体上的哪里轻击等。
在一个实现中,传感器集合检测多个频率下的横向波和纵向波,且每个传感器与谐振频率相关联。传感器集合可将信号输出到数据捕捉(例如,采样)机构。信号可以各种方式被处理成例如分段,且每一分段被评估以确定其是否对应于用户预期姿势。如果对应于一姿势,则分段(例如,波形)可使其特征被提取出。所提取的特征可在随后被分类器用来确定动作/姿势是什么,例如,手指轻击、手指在哪里轻击等。
结合附图阅读以下详细描述,本发明的其他优点会变得显而易见。
附图简述
作为示例而非限制,在附图中示出了本发明,附图中相同的附图标记指示相同或相似的元素,附图中:
图1是示出用于实现使用身体来检测数据输入的系统的示例组件的框图。
图2是用于耦合至身体的配备有传感器集合(传感器阵列)的臂带的表示。
图3是传感器集合可如何被佩戴到手臂上以检测手指与手臂的交互的表示。
图4是传感器集合可如何被佩戴到手臂上以检测手指与手臂的交互——包括与同投影图像相对应的位置的交互——的表示。
图5是传感器集合中的一传感器如何检测通过人体传送的横向波的表示。
图6是传感器集合中的一传感器如何检测通过人体传送的纵向波的表示。
图7是示出可被采取来经由传感器集合来感测身体所执行的动作以及根据传感器集合的信号确定所采取的特定动作的示例步骤的流程图。
图8是示出用于实现使用身体来检测数据输入的替换性系统的示例组件的框图。
图9-11是示出手臂上、手上、以及手指上用户可与之交互的各个位置的输入位置集合的表示。
图12-17是对输入位置集合的编组的表示。
图18和19是用户界面图像或图像集可如何被投影以供用户与之交互的表示。
图20示出了本发明的各方面可被并入其中的移动计算设备/环境的说明性示例。
详细描述
本文中描述的技术的各个方面一般涉及使人体部位适于作为交互式数据输入设备。在一个实现中,可使用用于生物声学信号捕获的非侵入、可佩戴生物声学传感器组合来就手指输入感测身体。一般而言,传感器集合可检测通过身体传送的机械能。而且还提供了使得系统能求解动作(例如,身体上发生手指轻击的位置)的分析办法。注意,使用一个人的身体作为输入设备是合意的,因为其总是存在,并且因为人体具有近似两平方米的外部表面积。此外,指人类对他或她的身体如何在三维空间中被配置的感觉的本体感受允许一个人与其身体准确地交互,包括以盲眼(eyes-free)方式。
应当注意,本文中所描述的各个示例仅是示例,并且本文中描述的技术可以超出这些示例的许多其他方式来实现和使用。因此,本发明不限于在此描述的任何具体的实施例、方面、概念、结构、功能或示例。相反,此处所描述的任何一个实施例、方面、概念、结构、功能或示例都是非限制性的,可以以一般而言在计算和进行数据输入时提供好处和优点的各种方式来使用本发明。
图1示出了可被用来使人体的部位适于作为交互性数据输入设备的各个组件。包括一个或多个传感器的可佩戴传感器集合102被耦合至数据捕捉机构104——诸如从传感器集合102数字地捕捉数据的音频接口。数据捕捉机构向传输机构106提供此信息,该传输机构106又向计算设备118传送位置信息;(注意,虽然例示了无线通信链路,但是其等效于使用至设备的有线链路)。还注意,可接收输入数据的任何电子设备可被考虑为计算设备,包括蜂窝电话、计算机系统、个人数字助理(PDA)等。计算设备108随后处理数据以确定关于身体进行交互(例如,轻击)之处的位置信息,并使用此信息作为输入,例如,因为其同与用户界面进行的任何交互有关。为此,使用信号处理和分类器110,如以下所描述的。
在一个实现中,本发明技术利用人体的自然机制(例如,声学)传导特性来提供输入系统,并且包括允许将皮肤用作手指输入表面的输入技术。在一个实现中,在如图2-4中所表示的附连到手臂的柔性臂带202中实现传感器集合102。尽管如此,但是传感器集合实际上可被定位在任何地方,包括头、颈、手腕(例如,类似腕带或腕表)、腿、胸、腰(例如,腰带)等。注意,手臂提供合理的表面区域供进行交互,包括用于供微型投影仪(pico-projector)400(图4,以下所描述的)进行投影的连续且平坦的区域。此外,前臂和手包含便于不同位置的声学特殊性的复杂骨骼组合。而且,可佩戴臂带是非侵入且可易于移动。
在一个实现中,各包括五个传感元件的两个阵列被各自整合到臂带形状因子中。当手指302或其他对象轻击皮肤(如图3-6中一般地表示的),通过身体传送机械能。这由传感器集合102(示为图5中在某一时刻t=2被激活的一个特定传感器502,以及图6中在某一时刻t=4被激活的另一特定传感器602)来检测。一些能量作为声学声波被辐射到空气中,在一些实现中,该声学声波可被感测到,然而,此声能没有被本文中所描述的实现使用。
为了捕捉以上所描述的丰富多种的机械能/声学信息,可使用各种感测技术/能量转换器,包括骨传导话筒、与听诊器耦合的常规话筒、压电接触话筒、以及加速计。然而,注意,商业上可购得的能量转换器未被设计成检测通过人体传送的机械能/声学,由此,一般要求一些定制等来提供可接受结果。
由于低频信号(例如,25Hz)在表征手指轻击时是有用的,但是一些实现使用包括经高度调谐的振动传感器(highly-tuned vibration sensor)阵列的传感器集合。合适的传感器类型包括商业可购得的小型悬臂式压电薄膜。通过将小权重添加到悬臂的末端,能改变谐振频率,从而允许感测元件对声谱的唯一性、低频窄带进行响应。添加更大的质量缩减传感器作出响应的激励范围;对每个元件加权,以使其与在表征生物声学输入时有用的特定频率对准。
悬臂式传感器的另一益处在于,它们对于同皮肤平行的力(例如,由拉伸导致的剪切运动)天生地有些不敏感。因而,由许多常规移动(例如,对门把手伸出手)导致的皮肤拉伸倾向于被衰减。然而,传感器高度响应于同皮肤垂直的运动,这有助于捕捉横向表面波(图5)以及源自内部结构的纵向波(图6)。
如下表,不同的谐振频率集可被用于各个传感器组。
Figure BDA00001715481600041
Figure BDA00001715481600051
如上表中可看到的,上传感器阵列(大部分)被调谐成对低频信号更敏感,因为在较肥胖区域,低频信号更普遍。相反,下传感器阵列被调谐成对高频信号敏感,以便更好地捕捉通过(更致密)的骨传送的信号。
在一个实现中,在图7的流程图中的步骤702处一般表示地,阵列中的每个传感器在5.5kHz下被采样,采样速率一般被认为对于讲话或呼叫音频而言过低,但是能表示通过手臂传送的相关频谱。此缩减的采样速率(并由此的低处理带宽)使得本发明技术适于与嵌入式处理器联用。
结果,可使用图8中所示的替换性实现,以便将组件安装到或紧密地耦合至包含传感器集合802的相同臂带等。在此替换性实现中,在被合适的传输结构806传送到计算设备808之前,由数据捕捉和处理结构804来执行位置求解处理。如以下所描述的,信号处理连同分类器810提供与交互相对应的输出数据,由此在此替换性实现中,计算设备808可由此简单地接收此类数据作为输入,例如,由常规定点设备提供的位置和定时数据。
不管在远程计算机上还是在嵌入式处理器中运行,程序都可被用来诸如通过计算十个通道的绝对指数平均数来将所捕捉的数据分度成(例如,与轻击相对应的)独立输入实例。这由图7的步骤704来表示。每个输入实例在随后被处理,如步骤706所表示的,以确定其是否满足表示用户预期的实际姿势的特定准则。例如,当超过强度阈值时,程序记录时间戳作为潜在轻击起始,即,“开始”阈值。如果强度没有降至第二独立的“结束”阈值(例如,在开始越过之后在100ms与700ms之间)之下,则丢弃事件(步骤708)。当开始与结束越过被检测为满足这些准则,则此时段(加上任一端的60ms缓冲)中的声学数据被认为是输入姿势并被进一步处理,如以下描述的。
在经分段的信号实例被确定为姿势之后,实例(即,其波形)被分析以找到各种特征,如由步骤710一般地表示的。示例特征包括每个通道(提供30个特征)中的波形的平均振幅、标准偏差、和总(绝对)能量。据此计算通道之间的平均振幅比;(从而提供45个特征),连同这些比的平均(一个特征)。计算256点快速傅里叶变换(FFT),其中较低的10个值被使用(表示从0Hz到193Hz的声学功率),从而提供另外100个特征。根据在任一通道上找到的最高振幅FFT值来对这些特征进行归一化。还包括每个通道的相同的0Hz到193Hz内的功率谱的质心——置换(displace)每个传感器的信号的基频的一般估计(提供10个特征)。后继特征选择确立所有成对的振幅比以及FFT的特定频带为最具预测性特征。
这些特征(总共186个)被传递到先前用每个感兴趣的输入位置的多个示例训练的支持向量机(SVM)分类器。如步骤712所表示的,分类器随后确定用户执行的动作,例如,姿势是什么、输入姿势的位置、或者使用哪个手指、其被如何使用等。该信息的输出(供作为计算设备的用户输入)由步骤714来表示。在一个实现中,使用事件模型,以使得一旦输入被分类,与该位置/姿势相关联的事件就被实例化。绑定到该事件的任何交互式特征被遗弃(fire)。
关于训练,注意,不同的用户具有不同的身体质量索引等。而且,人们具有不同长度的手臂以及其他身体部位,这在将较小的儿童同较高的成人比较时特别明显。因而,初始训练可由每个用户来执行,或者通过在用户简档中进行选择来执行。替换地,给定足够的训练数据,可对所有类型的用户执行初始训练,以使得个体用户完全无需执行个性化训练或选择简档。
此外,作为定制训练的替代或补充,传感器集合可针对不同用户(以及不同使用)被不同地调谐或以其他方式被改变。因而,例如,可以有针对特定重量和高度、针对特定身体质量、针对男性对女性等来调谐的传感器集合。
转到各个姿势,一个姿势集合对应于用户轻击他或她的五个手指中的每一个的尖端,如图9中一般地表示的。注意,使手指轻击诸如表面之类的其他东两也是可能的。在任一事件中,在手指之间存在可测量的声学差异。同时,对于数据输入而言手指是合意的,因为它们清楚地提供离散交互点;注意,还有14个指关节(5个较大,9个较小),它们连同手指一起单独提供19个可容易标识的输入位置。逐手指灵巧性也是自然的,并且手指被线性地排序,其潜在用于诸如数字输入、量值控制(例如,音量)和菜单选择之类的界面。
另一姿势集合包括前臂和/或手上的输入位置,如图10和11中表示的,例如手臂、手腕、手掌、拇指和中指。这些位置在物理上和声学上是不同的,并且输入点的大空间扩展提供进一步变体。传感器集合可以是以下图3中的肘部,或者以上图4中的肘部。
图11中表示的前臂位置提供相对高密度的输入位置,并且具有提供高度物理一致性(例如,不同于手)的输入表面(前臂)。前臂还提供大且平坦的表面区域,以及其立即可达性,两者都是直观的且用于手指输入。此外,前臂提供如图4中的投影表面,其对于动态界面而言是有用的。然而,使用前臂需要以上设置到肘部(或可能的手腕)的例示传感器。
图11的位置可被组合到组中,以提供更高的准确性。图12-17示出了基于什么逻辑空间编组的至目标集合的示例编组。在区分准确性方面,横向编组(例如,图15)往往胜于纵向编组(例如,图13)。
除双手姿势以外,在无传感器的手臂以及特别是手指被用来提供输入的情形中,存在可只用一只手的手指来执行的其他姿势,且在区分准确性方面有合理的结果。例如,用户可对着其拇指轻击其食指、中指、无名指和小指(类似于捏姿势);用户还可执行轻弹来代替轻击(即,使用拇指作为掣锁扣(catch),随后快速向前轻弹手指)。此类轻弹是高度准确的。轻弹也可与轻击组合在单个姿势集合中。注意,用户的单只手上的手指的本体感受十分准确,从而提供用于高准确度盲眼(eyes-free)输入的机制。
转到另一方面,检测系统能在用户对其操作的各种类型的材料之间进行区分。例如,系统在轻击另一只手上的手指、轻击纸垫、以及轻击LCD屏幕之间进行区分。这实现各种应用,诸如由不同的交互性表面构成的工作站或设备,或者对环境中抓住的不同对象的识别。
此外,用户可以不同的方式用其手指“轻击”表面。例如,其手指的尖端,即指甲,或手指的指垫(pad)(平坦底部)提供骨与肉的区别。用指关节(较大和较小的掌指骨关节)进行轻击也是可能的。这便于供交互性触摸表面区分不同类型的手指接触的能力(例如,其当前在基于电容性和视觉的系统中是不可区分的)。作为示例交互,考虑在对象上“双击”来打开它,而“指垫轻击”激活选项菜单。
另一方面涉及可被提供来与身体数据输入系统联用的用户界面,如图18和19中一般地表示的。一般而言,投影仪(例如,微型投影仪)将界面的图像投影到表面,该表面可以是前臂(图18)或手(图19),或者诸如桌面之类的任何其他表面。投影仪可被安装到身体,诸如图4中的;然而,将投影仪合并到分开的设备(诸如蜂窝电话)中也是可行的。在任一事件中,当用户与投影图像交互时,检测交互的位置,其被映射至图像以向计算设备提供合适的输入。
虽然以上的描述是涉及一种类型的身体输入系统,但是其他系统可被用于检测通过身体传送的机械能。例如,作为频率感测的替代或补充,振幅感测和/或定时信息可被用来检测轻击或其他姿势的位置。例如,由多个传感器检测到的轻击将各自在不同时间检测到轻击,由此定时提供关于位置的信息。更强和更弱的轻击可根据振幅变化来检测,以便帮助在骨质(例如,指关节)轻击或肉质(例如,手指的指垫)轻击之间进行区分。
身体输入感测系统还可与其他输入设备相组合,以执行其他数据输入操作。例如,相机可感测例如用户的手的粗略位置,而身体输入感测系统可更精细地确定这只手当前在做什么。一个示例是在诸如攀岩游戏之类的视频游戏中。作为另一示例,考虑其中用户通过举手、向前或向后来在不同的水平面在不同的虚拟对象之间进行选择的视频游戏。相机可感测手臂位置以及由此的当前水平面,而检测到的物理姿势可被用来检测在该水平面哪个对象正被选择。
作为另一示例,考虑用户与设备的触敏屏幕进行交互。如果用户用一个手指进行交互,则一个描述可以是激活的,诸如键入字符,而如果用户用另一手指交互,则可提供编辑模式(例如,退格、删除、光标移动、输入),而甚至无需改变底层显示。这种模式区分是通过如本文中所描述的区分手指来实现的。
将身体输入系统与加速计或其他传感器(例如,GPS)组合可提供进一步使用,以及其他改进。例如,如果加速计检测到实质运动,则可应用更强过滤和/或阈值,以使得减少或消除假肯定等。例如,感测手的定向可提供不同的输入含义,例如,轻击前臂且手掌向上可对应于一组输入,该组输入与通过同样的轻击但手掌向下作出的另一组输入不同。弯曲手臂相对于伸展手臂、紧握拳头相对于松开拳头、以及其他物理动作倾向于导致不同的频率特性,或者可另外被感测,并由此可被用来调节姿势的含义。
此外,由于传感器感测机械能,因此可感测其他振动频率和/或振动模式。例如,如果蜂窝电话产生机械振动,则感测系统能检测模式并知晓用户何时持握蜂窝电话,这在随后可与身体输入系统绑定以进行通信和交互。如果用户抓住药(药丸)瓶子,且该瓶子被配置成振动,则可向用户警告不要服用此特定药物,例如由于这不是他的,或者他最近已经服用过;类似地,计算设备可提醒用户服用特定药品,因为输入设备尚未感测到振动且剂量是适当的。
因而,分类器可对身体上或由身体作出的、可由传感器集合检测到的轻击进行分类,其中轻击由手指或其他对象作出。分类器还可检测由身体中传感器被耦合至的至少一个部位创建的姿势(例如,轻弹)。分类器还可在作为与身体接触(例如,达一足够的时间长度)的结果而被感测到的有源能量发射对象之间进行区分。
示例性操作环境
图20示出可在其上实现此处所描述的主题的各方面的合适的移动设备2000的示例。例如,移动设备2000可用作图1的计算设备108。移动设备2000仅为设备的一个示例,并非旨在对此处所描述的主题的各方面的使用范围或功能提出任何限制。移动设备2000也不应被解释成对于在示例性移动设备2000中所示出的任一组件或其组合有任何依赖或要求。
参考图20,用于实现此处所述的主题的各方面的示例性设备包括移动设备2000。在一些实施例中,移动设备2000包括蜂窝电话、允许与其他手持设备的语音通信的手持设备、某一其他语音通信设备等。在这些实施例中,移动设备2000可配备用于拍摄照片的相机,虽然这在其他实施例中可能不是必需的。在其他实施例中,移动设备2000包括个人数字助理(PDA)、手持游戏设备、笔记本计算机、打印机、包括机顶盒、媒体中心等的装置、或其他装置、其他移动设备等。在又一些实施例中,移动设备2000可包括通常被认作非移动的设备,如个人计算机、服务器等。
移动设备2000的组件可以包括但不限于,处理单元2005、系统存储器2010和将包括系统存储器2015在内的各种系统组件耦合至处理单元2010的总线2015。总线2015可包括几种类型的总线结构中的任何一种,包括存储器总线、存储控制器、外围总线、以及使用各种总线体系结构中的任一种的局部总线等。总线2015允许在移动设备2000的各种组件之间传送数据。
移动设备2000可以包括各种计算机可读介质。计算机可读介质可以是能由移动设备2000访问的任何可用介质,而且包含易失性和非易失性介质以及可移动、不可移动介质。作为示例而非限制,计算机可读介质可包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据这样的信息的任意方法或技术来实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括但不限于,RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁带盒、磁带、磁盘存储或其他磁存储设备、或者可用于存储所需信息并且可由移动设备2000访问的任何其他介质。
通信介质通常以诸如载波或其他传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其他数据,并包括任何信息传送介质。术语“已调制数据信号”是指具有以在信号中编码信息的方式被设定或改变其一个或多个特征的信号。作为示例而非限制,通信介质包括有线介质,诸如有线网络或直接线连接,以及无线介质,诸如声学、RF、蓝牙
Figure BDA00001715481600101
无线USB、红外、WiFi、WiMAX、和其他无线介质。上述的任意组合也应包含在计算机可读介质的范围内。
系统存储器2010包括易失性和/或非易失性存储器形式的计算机存储介质,且可包括只读存储器(ROM)和随机存取存储器(RAM)。在诸如蜂窝电话等移动设备上,操作系统代码2020有时被包括ROM中,虽然在其他实施例中,这不是必需的。类似地,应用程序2025通常位于RAM中,但同样在其他实施例中,应用程序可位于ROM中或其他计算机可读存储器中。堆2030提供用于与操作系统2020和应用程序2025相关联的状态的存储器。例如,操作系统2020和应用程序2025可在其操作期间将变量和数据结构存储在堆2030中。
移动设备2000还可包括其他可移动/不可移动、易失性/非易失性存储器。作为示例,图20示出闪存卡2035、硬盘驱动器2036、以及记忆棒2037。例如,可小型化硬盘驱动器2036以适应存储器槽。移动设备2000可经由可移动存储器接口2031与这些类型的非易失性可移动存储器接口,或可经由通用串行总线(USB)、IEEE 20394、一个或多个有线端口2040、或天线2065连接。在这些实施例中,可移动存储器设备2035-2037可经由通信模块2032与移动设备接口。在一些实施例中,并非所有这些类型的存储器都可被包括在单个移动设备上。在其他实施例中,可将这些和其他类型的可移动存储器中的一个或多个包括在单个移动设备上。
在一些实施例中,可按更永久地附连到移动设备2000的方式连接硬盘驱动器2036。例如,硬盘驱动器2036可连接到诸如并行高级技术附件(PATA)、串行高级技术附件(SATA)或其他可连接到总线2015的附件等接口。在此类实施例中,移除硬盘驱动器可涉及移除移动设备2000的外壳并移除将硬盘驱动器2036连接到移动设备2000内的支承结构的螺丝钉或其他紧固件。
以上描述和在图20中示出的可移动存储设备2035-2037及其相关联的计算机存储介质提供对用于移动设备2000的计算机可读指令、程序模块、数据结构、和其他数据的存储。例如,可移动存储器设备2035-2037可存储由移动设备2000拍摄的图像、语音录音、联系人信息、程序、用于程序的数据等。
用户可通过诸如键区2041和话筒2042等输入设备向移动设备2000中输入命令和信息。在某些实施例中,显示器2043可以是触敏屏幕并可允许用户在其上输入命令和信息。键区2041和显示器2043可通过耦合到总线2015的用户输入接口2050连接到处理单元2005,但也可由其他接口和总线结构连接,如通信模块2032和有线端口2040。运动检测2052可用于确定对设备2000作出的姿势。
例如,用户可经由对话筒2042讲话以及经由在键区2041或触敏显示器2043上输入的文本消息来与其他用户通信。音频单元2055可提供电信号以驱动扬声器2044以及接收并数字化接收自话筒2042的音频信号。
移动设备2000可包括提供信号以驱动相机2060的视频单元2061。视频单元2060还可接收由相机2061获得的图像并将这些图像提供给包括在移动设备2000上的处理单元2005和/或存储器。由相机2061获得的图像可包括视频、不形成视频的一个或多个图像、或其某一组合。
通信模块2032可向一根或多根天线2065提供信号并从其接收信号。天线2065之一可发射并接收用于蜂窝电话网络的消息。另一天线可发射并接收蓝牙
Figure BDA00001715481600111
消息。又一天线(或共享天线)可经由无线以太网网络标准发射并接收网络消息。
更进一步,天线将例如GPS信号等基于位置的信息提供给GPS接口和机制2072。GPS机制2072又使相应的GPS数据(例如时间和坐标)可用于处理。
在一些实施例中,可使用单根天线来发射和/或接收用于超过一种类型的网络的消息。例如,单根天线可发射并接收语音和分组消息。
当在网络化环境中操作时,移动设备2000可连接到一个或多个远程设备。远程设备可包括个人计算机、服务器、路由器、网络PC、蜂窝电话、媒体回放设备、对等设备或其他常见的网络节点,并且一般包括上面相对于移动设备2000所述的许多或全部元件。
本文所描述的主题的各方面可与众多其他通用或专用计算系统环境或配置一起操作。适用于此处所描述的主题的各方面的公知的计算系统、环境和/或配置的示例包括,但不限于,个人计算机、服务器计算机、手持式或膝上型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费电子产品、网络PC、小型计算机、大型计算机、包括上述系统或设备中的任一个的分布式计算环境等。
此处所描述的主题的各方面可在由移动设备执行的诸如程序模块等计算机可执行指令的一般上下文中描述。一般而言,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。本文所描述的主题的各方面也可以在其中任务由通过通信网络链接的远程处理设备执行的分布式计算环境中实现。在分布式计算环境中,程序模块可以位于包括存储器存储设备在内的本地和远程计算机存储介质中。
此外,虽然此处频繁使用术语服务器,但可以认识到,该术语也可涵盖客户机、分布在一个或多个计算机上的一个或多个进程的集合、一个或多个独立的存储设备、一个或多个其他设备的集合、以上的一个或多个的组合,等等。
结语
尽管本发明易于作出各种修改和替换构造,但其某些说明性实施例在附图中示出并在上面被详细地描述。然而应当了解,这不旨在将本发明限于所公开的具体形式,而是相反地,旨在覆盖落入本发明的精神和范围之内的所有修改、替换构造和等效方案。

Claims (15)

1.一种系统,包括:耦合至人体的部位的传感器集合和计算设备,所述传感器集合被配置成检测由所述身体执行的动作导致的、通过所述身体传送的机械能,并且提供与所述动作相对应的输出数据,所述计算设备使用与所述输出数据相对应的信息作为数据输入。
2.如权利要求1所述的系统,其特征在于,所述传感器集合包括多个经调谐的振动传感器。
3.如权利要求1所述的系统,其特征在于,所述传感器集合被整合到耦合至手臂的臂带中。
4.如权利要求1所述的系统,其特征在于,所述传感器集合检测与至少一个手指在所述身体上、或者在不同于所述身体的表面上的轻击相对应的机械能。
5.如权利要求1所述的系统,其特征在于,所述传感器集合向数据捕捉机构输出信号,并且还包括分类器,所述分类器根据所述信号的特征确定由所述身体执行的所述动作。
6.如权利要求5所述的系统,其特征在于,所述分类器确定:所述身体上的轻击的位置、所述身体上的轻击的量级、所述身体上的轻击的类型、或哪个手指对应于由所述身体执行的所述动作,或者述身体上的轻击的位置、所述身体上的轻击的量级、所述身体上的轻击的类型、或哪个手指对应于由所述身体执行的所述动作的任意组合。
7.如权利要求5所述的系统,其特征在于,所述分类器对以下各项进行分类或区分:身体上由手指或其他对象作出的可由所述传感器检测的轻击;由所述传感器被耦合至的身体的至少一个部位创建的姿势;或由于与所述身体接触而能被检测到的有源能量发射对象;或者身体上由手指或其他对象作出的可由传感器检测的轻击;由所述传感器被耦合至的身体的至少一个部位创建的姿势;或作为与所述身体接触的结果而能被检测的有源能量发射对象的任意组合。
8.如权利要求1所述的系统,其特征在于,还包括向所述计算设备提供信息的至少一个其他传感器。
9.如权利要求1所述的系统,其特征在于,所述传感器集合向数据捕捉机构输出信号,并且所述系统还包括将所述信号处理成所述输出数据的嵌入式处理器。
10.如权利要求1所述的系统,其特征在于,还包括投影图像的投影仪,并且其中所述传感器检测由与所述图像交互的身体执行的动作所导致的机械能。
11.如权利要求10所述的系统,其特征在于,所述投影仪被物理地耦合至所述身体,或者所述投影仪将所述图像投影到所述身体的表面,或者所述投影仪被物理地耦合至所述身体并且所述投影仪将所述图像投影到所述身体的表面。
12.如权利要求1所述的系统,其特征在于,所述传感器集合还检测并非是所述身体的一部分的对象的振动。
13.一种计算环境中的在至少一个处理器上执行的方法,包括将从耦合至人类用户的机械能传感器集合接收的信号处理成表示由所述用户采取的动作的特征;使用所述特征来将所述动作分类成输出数据;以及提供所述输出数据以输入到计算设备中。
14.如权利要求13所述的方法,其特征在于,处理所述信号包括对所述信号进行采样,以获得所捕捉的数据,以及将所捕捉的数据分段成独立输入实例,并且所述方法还包括确定独立输入实例是否对应于姿势。
15.具有计算机可执行指令的一个或多个计算机可读介质,所述指令在被执行时执行包括以下各项的步骤:
处理从机械能传感器集合接收的信号集合,以确定所述信号集合是否对应于姿势,并且如果不对应,则丢弃所述信号集合,或者如果对应,则:
从所述信号集合提取特征;以及
将所述特征提供给分类器,所述分类器从一组可能的姿势当中确定哪个姿势被执行;以及
提供指示被执行的姿势的输出数据。
CN201080054551.6A 2009-12-04 2010-11-05 感测机械能以使得身体适用于进行数据输入 Active CN102640086B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/630,892 2009-12-04
US12/630,892 US8421634B2 (en) 2009-12-04 2009-12-04 Sensing mechanical energy to appropriate the body for data input
PCT/US2010/055735 WO2011068632A2 (en) 2009-12-04 2010-11-05 Sensing mechanical energy to appropriate the body for data input

Publications (2)

Publication Number Publication Date
CN102640086A true CN102640086A (zh) 2012-08-15
CN102640086B CN102640086B (zh) 2015-02-25

Family

ID=44081482

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080054551.6A Active CN102640086B (zh) 2009-12-04 2010-11-05 感测机械能以使得身体适用于进行数据输入

Country Status (5)

Country Link
US (1) US8421634B2 (zh)
EP (1) EP2507686A4 (zh)
CN (1) CN102640086B (zh)
HK (1) HK1173240A1 (zh)
WO (1) WO2011068632A2 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103472920A (zh) * 2013-09-13 2013-12-25 通号通信信息集团有限公司 基于动作识别的医学影像控制方法及系统
CN104954714A (zh) * 2015-06-24 2015-09-30 福州瑞芯微电子有限公司 手背投影方法和装置
CN105074626A (zh) * 2013-05-01 2015-11-18 英特尔公司 对额外设备触摸事件的检测和响应
CN103472920B (zh) * 2013-09-13 2016-11-30 通号通信信息集团有限公司 基于动作识别的医学影像控制方法及系统
CN107111282A (zh) * 2015-01-13 2017-08-29 索尼公司 基于超声的多身体上动作检测
CN111695100A (zh) * 2019-03-14 2020-09-22 阿里巴巴集团控股有限公司 用于验证访问尝试的方法
CN111971643A (zh) * 2018-02-14 2020-11-20 皇家飞利浦有限公司 对个人护理设备的定位
CN117369649A (zh) * 2023-12-05 2024-01-09 山东大学 基于本体感觉的虚拟现实交互系统及方法

Families Citing this family (112)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7148879B2 (en) 2000-07-06 2006-12-12 At&T Corp. Bioacoustic control system, method and apparatus
US9971458B2 (en) 2009-03-25 2018-05-15 Mep Tech, Inc. Projection of interactive environment
US20110165923A1 (en) 2010-01-04 2011-07-07 Davis Mark L Electronic circle game system
US20110256927A1 (en) 2009-03-25 2011-10-20 MEP Games Inc. Projection of interactive game environment
JP5786854B2 (ja) * 2010-03-15 2015-09-30 日本電気株式会社 入力装置、入力方法及びプログラム
WO2011115027A1 (ja) * 2010-03-15 2011-09-22 日本電気株式会社 入力装置、入力方法及びプログラム
US10061387B2 (en) * 2011-03-31 2018-08-28 Nokia Technologies Oy Method and apparatus for providing user interfaces
US9411442B2 (en) 2011-06-29 2016-08-09 Google Technology Holdings LLC Electronic device having managed input components
US8890823B2 (en) 2012-01-09 2014-11-18 Motorola Mobility Llc System and method for reducing occurrences of unintended operations in an electronic device
US9069164B2 (en) * 2011-07-12 2015-06-30 Google Inc. Methods and systems for a virtual input device
US9042571B2 (en) * 2011-07-19 2015-05-26 Dolby Laboratories Licensing Corporation Method and system for touch gesture detection in response to microphone output
CN109582180A (zh) 2011-10-18 2019-04-05 卡内基梅隆大学 用于分类触敏表面上的触摸事件的方法和设备
US8908894B2 (en) 2011-12-01 2014-12-09 At&T Intellectual Property I, L.P. Devices and methods for transferring data through a human body
US8994672B2 (en) * 2012-04-09 2015-03-31 Sony Corporation Content transfer via skin input
US8988373B2 (en) * 2012-04-09 2015-03-24 Sony Corporation Skin input via tactile tags
US10314492B2 (en) 2013-05-23 2019-06-11 Medibotics Llc Wearable spectroscopic sensor to measure food consumption based on interaction between light and the human body
US9536449B2 (en) 2013-05-23 2017-01-03 Medibotics Llc Smart watch and food utensil for monitoring food consumption
US9442100B2 (en) 2013-12-18 2016-09-13 Medibotics Llc Caloric intake measuring system using spectroscopic and 3D imaging analysis
US9254099B2 (en) 2013-05-23 2016-02-09 Medibotics Llc Smart watch and food-imaging member for monitoring food consumption
US9042596B2 (en) 2012-06-14 2015-05-26 Medibotics Llc Willpower watch (TM)—a wearable food consumption monitor
US9317109B2 (en) 2012-07-12 2016-04-19 Mep Tech, Inc. Interactive image projection accessory
US9081542B2 (en) * 2012-08-28 2015-07-14 Google Technology Holdings LLC Systems and methods for a wearable touch-sensitive device
EP2959394B1 (en) 2013-02-22 2021-05-12 Facebook Technologies, LLC. Methods and devices that combine muscle activity sensor signals and inertial sensor signals for gesture-based control
KR20140114766A (ko) 2013-03-19 2014-09-29 퀵소 코 터치 입력을 감지하기 위한 방법 및 장치
US9013452B2 (en) 2013-03-25 2015-04-21 Qeexo, Co. Method and system for activating different interactive functions using different types of finger contacts
US9612689B2 (en) 2015-02-02 2017-04-04 Qeexo, Co. Method and apparatus for classifying a touch event on a touchscreen as related to one of multiple function generating interaction layers and activating a function in the selected interaction layer
WO2014186370A1 (en) 2013-05-13 2014-11-20 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices that accommodate different user forms
US9529385B2 (en) 2013-05-23 2016-12-27 Medibotics Llc Smart watch and human-to-computer interface for monitoring food consumption
US20150035759A1 (en) * 2013-08-02 2015-02-05 Qeexo, Co. Capture of Vibro-Acoustic Data Used to Determine Touch Types
US9778546B2 (en) 2013-08-15 2017-10-03 Mep Tech, Inc. Projector for projecting visible and non-visible images
US10042422B2 (en) 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
US10188309B2 (en) 2013-11-27 2019-01-29 North Inc. Systems, articles, and methods for electromyography sensors
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US11426123B2 (en) 2013-08-16 2022-08-30 Meta Platforms Technologies, Llc Systems, articles and methods for signal routing in wearable electronic devices that detect muscle activity of a user using a set of discrete and separately enclosed pod structures
US9788789B2 (en) 2013-08-30 2017-10-17 Thalmic Labs Inc. Systems, articles, and methods for stretchable printed circuit boards
US9372535B2 (en) * 2013-09-06 2016-06-21 Thalmic Labs Inc. Systems, articles, and methods for electromyography-based human-electronics interfaces
US9483123B2 (en) 2013-09-23 2016-11-01 Thalmic Labs Inc. Systems, articles, and methods for gesture identification in wearable electromyography devices
US10108984B2 (en) 2013-10-29 2018-10-23 At&T Intellectual Property I, L.P. Detecting body language via bone conduction
US9594433B2 (en) 2013-11-05 2017-03-14 At&T Intellectual Property I, L.P. Gesture-based controls via bone conduction
US9349280B2 (en) 2013-11-18 2016-05-24 At&T Intellectual Property I, L.P. Disrupting bone conduction signals
US10678322B2 (en) 2013-11-18 2020-06-09 At&T Intellectual Property I, L.P. Pressure sensing via bone conduction
US9715774B2 (en) 2013-11-19 2017-07-25 At&T Intellectual Property I, L.P. Authenticating a user on behalf of another user based upon a unique body signature determined through bone conduction signals
US9405892B2 (en) 2013-11-26 2016-08-02 At&T Intellectual Property I, L.P. Preventing spoofing attacks for bone conduction applications
JP2015121979A (ja) * 2013-12-24 2015-07-02 株式会社東芝 装着型情報入力装置、情報入力システム、及び情報入力方法
CN103793057B (zh) * 2014-01-26 2017-02-01 华为终端有限公司 信息处理方法、装置及设备
CN106102504A (zh) 2014-02-14 2016-11-09 赛尔米克实验室公司 用于弹性电力缆线的系统、制品和方法以及采用弹性电力缆线的可佩戴电子装置
US10199008B2 (en) 2014-03-27 2019-02-05 North Inc. Systems, devices, and methods for wearable electronic devices as state machines
WO2015150868A1 (en) * 2014-04-01 2015-10-08 Sony Corporation Harmonizing a projected user interface
US10013083B2 (en) 2014-04-28 2018-07-03 Qualcomm Incorporated Utilizing real world objects for user input
KR101534282B1 (ko) * 2014-05-07 2015-07-03 삼성전자주식회사 포터블 디바이스의 사용자 입력 방법 및 상기 사용자 입력 방법이 수행되는 포터블 디바이스
CA2949088C (en) * 2014-05-15 2023-01-24 Federal Express Corporation Wearable devices for courier processing and methods of use thereof
US9880632B2 (en) 2014-06-19 2018-01-30 Thalmic Labs Inc. Systems, devices, and methods for gesture identification
US9389733B2 (en) * 2014-08-18 2016-07-12 Sony Corporation Modal body touch using ultrasound
EP3373122B1 (en) 2014-09-02 2022-04-06 Apple Inc. Reduced-size interfaces for managing alerts
US9882992B2 (en) 2014-09-10 2018-01-30 At&T Intellectual Property I, L.P. Data session handoff using bone conduction
US9582071B2 (en) 2014-09-10 2017-02-28 At&T Intellectual Property I, L.P. Device hold determination using bone conduction
US10045732B2 (en) 2014-09-10 2018-08-14 At&T Intellectual Property I, L.P. Measuring muscle exertion using bone conduction
US9589482B2 (en) 2014-09-10 2017-03-07 At&T Intellectual Property I, L.P. Bone conduction tags
US9329715B2 (en) 2014-09-11 2016-05-03 Qeexo, Co. Method and apparatus for differentiating touch screen users based on touch event analysis
US11619983B2 (en) 2014-09-15 2023-04-04 Qeexo, Co. Method and apparatus for resolving touch screen ambiguities
US10606417B2 (en) 2014-09-24 2020-03-31 Qeexo, Co. Method for improving accuracy of touch screen event analysis by use of spatiotemporal touch patterns
US10282024B2 (en) 2014-09-25 2019-05-07 Qeexo, Co. Classifying contacts or associations with a touch sensitive device
US9600079B2 (en) 2014-10-15 2017-03-21 At&T Intellectual Property I, L.P. Surface determination via bone conduction
US9807221B2 (en) 2014-11-28 2017-10-31 Thalmic Labs Inc. Systems, devices, and methods effected in response to establishing and/or terminating a physical communications link
US10078435B2 (en) 2015-04-24 2018-09-18 Thalmic Labs Inc. Systems, methods, and computer program products for interacting with electronically displayed presentation materials
US10642404B2 (en) 2015-08-24 2020-05-05 Qeexo, Co. Touch sensitive device with multi-sensor stream synchronized data
US20190129508A1 (en) * 2016-06-23 2019-05-02 Carnegie Mellon University Method and System for Interacting with a Wearable Electronic Device
WO2018022658A1 (en) 2016-07-25 2018-02-01 Ctrl-Labs Corporation Adaptive system for deriving control signals from measurements of neuromuscular activity
CN110300542A (zh) 2016-07-25 2019-10-01 开创拉布斯公司 使用可穿戴的自动传感器预测肌肉骨骼位置信息的方法和装置
US11331045B1 (en) 2018-01-25 2022-05-17 Facebook Technologies, Llc Systems and methods for mitigating neuromuscular signal artifacts
WO2018022597A1 (en) 2016-07-25 2018-02-01 Ctrl-Labs Corporation Methods and apparatus for inferring user intent based on neuromuscular signals
US11337652B2 (en) 2016-07-25 2022-05-24 Facebook Technologies, Llc System and method for measuring the movements of articulated rigid bodies
US11216069B2 (en) 2018-05-08 2022-01-04 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
CA3033852C (en) 2016-08-15 2023-04-11 Georgia Tech Research Corporation Electronic device and method of controlling the same
WO2018126128A2 (en) * 2016-12-29 2018-07-05 Caeden, Inc. Detecting resonance breathing using a wearable device and related methods and systems
US11762474B2 (en) * 2017-09-06 2023-09-19 Georgia Tech Research Corporation Systems, methods and devices for gesture recognition
EP3697297A4 (en) 2017-10-19 2020-12-16 Facebook Technologies, Inc. SYSTEMS AND METHODS FOR IDENTIFYING BIOLOGICAL STRUCTURES ASSOCIATED WITH NEUROMUSCULAR SOURCE SIGNALS
US10504286B2 (en) 2018-01-25 2019-12-10 Ctrl-Labs Corporation Techniques for anonymizing neuromuscular signal data
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
EP3743790A4 (en) 2018-01-25 2021-03-17 Facebook Technologies, Inc. RECONSTRUCTION OF HAND STATE ON THE BASIS OF MULTIPLE ENTRIES
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
CN111902077B (zh) 2018-01-25 2023-08-04 元平台技术有限公司 利用神经肌肉信号进行手部状态表示建模的校准技术
US10937414B2 (en) 2018-05-08 2021-03-02 Facebook Technologies, Llc Systems and methods for text input using neuromuscular information
WO2019147958A1 (en) 2018-01-25 2019-08-01 Ctrl-Labs Corporation User-controlled tuning of handstate representation model parameters
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
EP3743901A4 (en) 2018-01-25 2021-03-31 Facebook Technologies, Inc. REAL-TIME PROCESSING OF HAND REPRESENTATION MODEL ESTIMATES
EP3743892A4 (en) 2018-01-25 2021-03-24 Facebook Technologies, Inc. VISUALIZATION OF INFORMATION ON THE STATE OF A RECONSTRUCTED HAND
US10592001B2 (en) 2018-05-08 2020-03-17 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
EP3801743B1 (en) 2018-05-25 2024-07-03 Meta Platforms Technologies, LLC Methods and apparatus for providing sub-muscular control
EP3801216A4 (en) 2018-05-29 2021-04-14 Facebook Technologies, LLC. SHIELDING TECHNIQUES FOR NOISE REDUCTION IN SURFACE ELECTROMYOGRAPHY SIGNAL MEASUREMENT AND RELATED SYSTEMS AND METHODS
US10970374B2 (en) 2018-06-14 2021-04-06 Facebook Technologies, Llc User identification and authentication with neuromuscular signatures
WO2020018892A1 (en) 2018-07-19 2020-01-23 Ctrl-Labs Corporation Methods and apparatus for improved signal robustness for a wearable neuromuscular recording device
US10831316B2 (en) 2018-07-26 2020-11-10 At&T Intellectual Property I, L.P. Surface interface
CN112566553A (zh) 2018-08-13 2021-03-26 脸谱科技有限责任公司 实时尖峰检测和识别
US11009989B2 (en) 2018-08-21 2021-05-18 Qeexo, Co. Recognizing and rejecting unintentional touch events associated with a touch sensitive device
US10905350B2 (en) 2018-08-31 2021-02-02 Facebook Technologies, Llc Camera-guided interpretation of neuromuscular signals
WO2020061451A1 (en) 2018-09-20 2020-03-26 Ctrl-Labs Corporation Neuromuscular text entry, writing and drawing in augmented reality systems
WO2020069181A1 (en) 2018-09-26 2020-04-02 Ctrl-Labs Corporation Neuromuscular control of physical objects in an environment
CN112822992A (zh) 2018-10-05 2021-05-18 脸谱科技有限责任公司 在增强现实环境中使用神经肌肉信号来提供与物理对象的增强交互
US11797087B2 (en) 2018-11-27 2023-10-24 Meta Platforms Technologies, Llc Methods and apparatus for autocalibration of a wearable electrode sensor system
US10905383B2 (en) 2019-02-28 2021-02-02 Facebook Technologies, Llc Methods and apparatus for unsupervised one-shot machine learning for classification of human gestures and estimation of applied forces
TWI689859B (zh) 2019-03-19 2020-04-01 國立臺灣科技大學 由手腕偵測肌動訊號識別使用者手勢之系統及方法
US10942603B2 (en) 2019-05-06 2021-03-09 Qeexo, Co. Managing activity states of an application processor in relation to touch or hover interactions with a touch sensitive device
US11477609B2 (en) 2019-06-01 2022-10-18 Apple Inc. User interfaces for location-related communications
US11152100B2 (en) 2019-06-01 2021-10-19 Apple Inc. Health application user interfaces
US11231815B2 (en) 2019-06-28 2022-01-25 Qeexo, Co. Detecting object proximity using touch sensitive surface sensing and ultrasonic sensing
US11592423B2 (en) 2020-01-29 2023-02-28 Qeexo, Co. Adaptive ultrasonic sensing techniques and systems to mitigate interference
WO2022046047A1 (en) * 2020-08-26 2022-03-03 Google Llc Skin interface for wearables: sensor fusion to improve signal quality
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007128304A (ja) * 2005-11-04 2007-05-24 Nikon Corp 情報入力装置及びその方法、並びにこれを用いた電子機器
US20080055248A1 (en) * 1995-11-30 2008-03-06 Immersion Corporation Tactile feedback man-machine interface device
US20080136775A1 (en) * 2006-12-08 2008-06-12 Conant Carson V Virtual input device for computing
US20090251407A1 (en) * 2008-04-03 2009-10-08 Microsoft Corporation Device interaction with combination of rings

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2698320B2 (ja) * 1993-08-31 1998-01-19 日本電信電話株式会社 常装着型入力システム、常装着型意図伝達システム、常装着型音楽用キーボードシステム及び常装着型点字入出力システム
US6771294B1 (en) * 1999-12-29 2004-08-03 Petri Pulli User interface
US7148879B2 (en) * 2000-07-06 2006-12-12 At&T Corp. Bioacoustic control system, method and apparatus
US6748281B2 (en) * 2000-09-29 2004-06-08 Gunilla Alsio Wearable data input interface
US7042438B2 (en) * 2003-09-06 2006-05-09 Mcrae Michael William Hand manipulated data apparatus for computers and video games
US7362305B2 (en) * 2004-02-10 2008-04-22 Senseboard Technologies Ab Data input device
US8031172B2 (en) * 2007-10-12 2011-10-04 Immersion Corporation Method and apparatus for wearable remote interface device
US20090295712A1 (en) * 2008-05-29 2009-12-03 Sony Ericsson Mobile Communications Ab Portable projector and method of operating a portable projector

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080055248A1 (en) * 1995-11-30 2008-03-06 Immersion Corporation Tactile feedback man-machine interface device
JP2007128304A (ja) * 2005-11-04 2007-05-24 Nikon Corp 情報入力装置及びその方法、並びにこれを用いた電子機器
US20080136775A1 (en) * 2006-12-08 2008-06-12 Conant Carson V Virtual input device for computing
US20090251407A1 (en) * 2008-04-03 2009-10-08 Microsoft Corporation Device interaction with combination of rings

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
席旭刚,李仲宁,罗志增: "基于相关性分析和支持向量机的手部肌电信号动作识别", 《电子与信息学报》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105074626A (zh) * 2013-05-01 2015-11-18 英特尔公司 对额外设备触摸事件的检测和响应
CN105074626B (zh) * 2013-05-01 2019-03-05 英特尔公司 对额外设备触摸事件的检测和响应
CN103472920A (zh) * 2013-09-13 2013-12-25 通号通信信息集团有限公司 基于动作识别的医学影像控制方法及系统
CN103472920B (zh) * 2013-09-13 2016-11-30 通号通信信息集团有限公司 基于动作识别的医学影像控制方法及系统
CN107111282A (zh) * 2015-01-13 2017-08-29 索尼公司 基于超声的多身体上动作检测
CN104954714A (zh) * 2015-06-24 2015-09-30 福州瑞芯微电子有限公司 手背投影方法和装置
CN104954714B (zh) * 2015-06-24 2017-12-19 福州瑞芯微电子股份有限公司 手背投影方法和装置
CN111971643A (zh) * 2018-02-14 2020-11-20 皇家飞利浦有限公司 对个人护理设备的定位
CN111695100A (zh) * 2019-03-14 2020-09-22 阿里巴巴集团控股有限公司 用于验证访问尝试的方法
CN117369649A (zh) * 2023-12-05 2024-01-09 山东大学 基于本体感觉的虚拟现实交互系统及方法
CN117369649B (zh) * 2023-12-05 2024-03-26 山东大学 基于本体感觉的虚拟现实交互系统及方法

Also Published As

Publication number Publication date
US8421634B2 (en) 2013-04-16
WO2011068632A2 (en) 2011-06-09
WO2011068632A3 (en) 2011-09-29
US20110133934A1 (en) 2011-06-09
EP2507686A4 (en) 2016-01-27
CN102640086B (zh) 2015-02-25
EP2507686A2 (en) 2012-10-10
HK1173240A1 (zh) 2013-05-10

Similar Documents

Publication Publication Date Title
CN102640086B (zh) 感测机械能以使得身体适用于进行数据输入
US10936085B2 (en) Gesture detection and interactions
US9400489B2 (en) Smart watch and control method thereof
Gong et al. Wristwhirl: One-handed continuous smartwatch input using wrist gestures
JP6542262B2 (ja) ペンおよびコンピューティングデバイスのインタラクションのためのマルチデバイスマルチユーザセンサ相関
Gummeson et al. An energy harvesting wearable ring platform for gestureinput on surfaces
KR102437106B1 (ko) 마찰음을 이용하는 장치 및 방법
US20150293592A1 (en) Haptic information management method and electronic device supporting the same
CN107193455B (zh) 一种信息处理方法及移动终端
US20160299570A1 (en) Wristband device input using wrist movement
US10248224B2 (en) Input based on interactions with a physical hinge
KR102233728B1 (ko) 전자 장치의 제어 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
JP2017517813A (ja) ペンおよびタッチ感応コンピューティングデバイスのインタラクションのためのセンサ相関
US9619024B2 (en) Virtual input device and virtual input method
CN108958615A (zh) 一种显示控制方法、终端及计算机可读存储介质
CN104049734A (zh) 基于用户接触显示图形用户界面的方法和设备
US9560186B2 (en) Wrist wearable apparatus with transformable substrate
WO2018076380A1 (zh) 在电子设备中生成视频缩略图的方法及电子设备
CN106878390B (zh) 电子宠物互动控制方法、装置及可穿戴设备
KR20150065336A (ko) 전자 장치의 제스처 인식 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
Shi et al. Ready, steady, touch! sensing physical contact with a finger-mounted IMU
CN106662898A (zh) 利用超声的模式身体触摸
KR20160039589A (ko) 손가락 센싱 방식을 이용한 무선 공간 제어 장치
EP3198367A1 (en) Control unit and method of interacting with a graphical user interface
KR101211808B1 (ko) 동작인식장치 및 동작인식방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1173240

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150728

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150728

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.

REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1173240

Country of ref document: HK