CN104919397B - 针对表面上的姿势识别的emg的使用 - Google Patents

针对表面上的姿势识别的emg的使用 Download PDF

Info

Publication number
CN104919397B
CN104919397B CN201480004523.1A CN201480004523A CN104919397B CN 104919397 B CN104919397 B CN 104919397B CN 201480004523 A CN201480004523 A CN 201480004523A CN 104919397 B CN104919397 B CN 104919397B
Authority
CN
China
Prior art keywords
body part
posture
standard
contact
sensed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480004523.1A
Other languages
English (en)
Other versions
CN104919397A (zh
Inventor
B·福鲁坦普尔
S·巴拉苏布拉马尼亚姆
V·R·卡瓦略
B·M·金
J·S·岩前
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN104919397A publication Critical patent/CN104919397A/zh
Application granted granted Critical
Publication of CN104919397B publication Critical patent/CN104919397B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了用于检测身体部分相对于一个表面的姿势的装置、方法和计算机程序产品。该装置确定身体部分是否接近该表面。如果该身体部分接近该表面，则该装置确定从身体部分感应到的电活动是否指示了该身体部分和表面之间的接触。如果该身体部分与表面接触，则该装置确定从身体部分感应到的运动活动是否指示姿势。

Description

针对表面上的姿势识别的EMG的使用
技术领域
概括地说，本公开内容的某些方面涉及姿势识别，而更具体地说，涉及针对表面上的细微姿势识别的肌电图(EMG)的使用。
背景技术
用于实现增强实境(AR)的系统和应用已经变得非常流行和普遍。AR系统通常包括头戴式显示器(HMD)，其允许用户能够在与应用(比如邮件和媒体播放器)交互时同时看到并与他们周围的事物互动。虽然很多AR应用运行在智能手机和平板电脑上，但是用于实现AR系统的最自然形式的因素是光学设备，比如眼镜。
用于通过AR眼镜与应用交互的传统方法包括手势，通过佩戴者的手部在AR眼镜的视野范围内的不同大幅度动作发起对眼镜的不同操作。但是，这些方法受困于明显的缺点。例如，佩戴者可能并不想由于在公共场合执行这一大幅度姿势而引起大家对她的注意。因此，针对隐私、半隐私和公开状况需要有不同的姿势集合。
发明内容
提供了用于检测身体部分相对于一个表面的姿势的装置、方法和计算机程序产品。上述装置确定身体部分是否接近该表面。如果该身体部分接近该表面，则该装置确定从该身体部分感应到的电活动是否指示了该身体部分和表面之间的接触。如果该身体部分与表面接触，则该装置确定从该身体部分感应到的运动活动是否指示姿势。
附图说明
图1是描绘了包括用户设备和姿势识别设备的示例性姿势系统的图。
图2是识别姿势并根据该姿势影响用户设备的操作的方法的流程图。
图3是描绘了对应于同时接触和脱离表面的身体部分的EMG传感器的输出的变化的图表。
图4是描绘了对应于身体部分的姿势的加速计输出的变化的图表。
图5是描绘了示例性姿势识别装置中的不同模块/单元/部件的操作的概念性流程图。
图6是描绘了采用处理系统的收拾识别装置的硬件实现的示例的图。
具体实施方式
下面结合附图描述的详细描述仅仅旨在对各种配置进行描述，而不是旨在表示本申请所描述的构思仅可以通过这些配置来实现。为了对各种构思有一个透彻理解，详细描述包括具体细节。但是，对于本领域普通技术人员来说显而易见的是，可以在没有这些具体细节的情况下实现这些构思。在一些实例中，为了避免使这些概念不明显，公知的结构和组件以框图形式示出。
现在将针对各种装置和方法来介绍姿势识别系统的多个方面。将通过各种方框、模块、组件、电路、步骤、过程、算法等(统称为“元素”)在下面的详细说明中描述并且在附图中展示这些装置和方法。这些元素可以使用电子硬件、计算机软件或者它们的任意组合来实现。至于这些元素是实现成硬件还是软件，取决于具体应用和施加到整个系统上的设计约束。
举例来说，可以利用包括一个或多个处理器的“处理系统”来实现一个元素、或一个元素的任何部分、或多个元素的任何组合。处理器的示例包括：微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、状态机、门逻辑、分立硬件电路、以及配置为执行本公开内容全文所描述的各项功能的其它合适的硬件。处理系统中的一个或多个处理器可以执行软件。软件应当被广泛地解释为是指：指令、指令集、代码、代码片段、程序代码、程序、子程序、软件模块、应用程序、软件应用程序、软件包、例程、子例程、对象、可执行文件、执行的线程、进程、函数等，无论是被称为软件、固件、中间件、微代码、硬件描述语言或者其它术语。
因此，在一个或多个示例性实施例中，本文所述的功能可以用硬件、软件、固件或者其任意组合来实现。当用软件实现时，可以将功能保存或编码作为计算机可读介质上的一条或多条指令或代码。计算机可读介质包括计算机存储介质。存储介质可以是计算机能够存取的任何可用介质。举例说明而非限制，这种计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘储存器、磁盘储存器或其它磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够被计算机访问的任何其它介质。如本文所使用的，磁盘和光盘包括压缩光盘(CD)、激光光盘、光盘、数字通用光盘(DVD)、软盘和蓝光光盘，其中磁盘通常磁性地复制数据，而光盘则用激光来光学地复制数据。上述的组合也应当被包括在计算机可读介质的范围之内。
图1是示出了包括用户设备102和姿势识别设备104的姿势识别系统100的图。示出的用户设备102是被配置为使用本领域公知的方法通过其镜片投射内容的一副AR眼镜。例如，AR眼镜102可以被配置为通过其镜片投射应用内容，比如邮件、文档、网页，或者投射诸如视频游戏、电影或电子书这样的媒体内容。其它类型的用户设备102可以包括智能手机、平板电脑、笔记本电脑等等。
AR眼镜102包括用于与姿势识别设备104通信的通信设备106。该通信设备106可以是，例如蓝牙设备。AR眼镜102还包括处理器108，用于处理从姿势识别设备104接收到的信号。
姿势识别设备104被配置为与身体部分相关联，并且可以是任何形式有助于提供这种关联的形式。例如，如果身体部分是手或手指，该姿势识别设备可以被配置为腕带104，如图1中所描绘的。在一种配置中，该姿势识别设备104包括近距离传感器110、提供EMG感应能力的一对电极112、114、运动传感器116和用于与用户设备102通信的通信设备118。该姿势识别设备104还包括处理器120，用于处理各个传感器所提供的信号。这些与处理器组合起来的传感器110、112、114、116如下面进一步解释说明地提供检测能力。
在姿势识别设备104是腕带的形式的情况中，该近距离传感器110最好放置在腕带上，这样当用户佩戴该腕带时，近距离传感器位于手腕底部或下面。近距离传感器110是由处理器120周期性连接(poled)的(例如，每两秒一次)低功率设备，以提供指示该近距离传感器和结构之间的靠近度的信号。近距离传感器110可以是基于公知的红外检测或超声波检测技术的一系列发现设备。作为替代或者另外，近距离传感器110可以是基于公知的电容技术的触摸感应设备。
电极112、114最好放置在腕带上，这样当用户佩戴腕带104时，电极被放置以感应从手腕的肌肉运动得到的电活动。与处理器120的EMG感应单元组合起来的电极112、114用作EMG传感器，提供指示身体部分和表面之间的潜在接触的信号。EMG感应能力基于公知的技术。
运动传感器116可以放置在腕带上的任何地方，并且提供指示身体部分的运动的信号。所提供的指示可以是身体部分的一般整体运动或对应于一个姿势的身体部分的更精细的运动中的一种。该运动传感器可以是，例如加速计、陀螺仪或磁力计。
图2是一种检测身体部分的姿势的方法的流程图。该处理过程针对检测一般平面的表面上的姿势同时避免由于身体穿过空气的运动的姿势检测。为此，在步骤202处，姿势识别设备检测身体部分是否靠近一般平面的表面。该身体部分可以是，例如手指。该通常平面的表面可以是，例如桌面或用户的腿的顶面。
接近度检测用作进一步处理步骤的触发事件并且消除由于身体部分穿过空气的运动造成的错误的姿势检测。接近度检测可以使用如上所述的一类近距离传感器来完成。在一种配置中，姿势识别设备104的处理器120周期性地接触近距离传感器110以获取信号，例如每秒一次。处理器120处理获取的信号以确定近距离传感器110是否处于该表面的门限距离范围内。例如，处理器120可以用接近度门限(例如，5厘米)编程。如果近距离传感器110提供的信号对应于处于或低于该门限的距离，则处理器120推断身体部分接近该表面。换句话说，该姿势识别设备104检测到身体部分和表面之间的接近。如上所述，这一接近度检测消除了可能从手穿过空气的移动所得出的错误的姿势检测。
在步骤204处，如果确定身体部分没有接近平面，则处理过程返回步骤202。但是，如果确定该身体部分接近平面表面，则处理转到步骤206，在此姿势识别设备104检测指示该身体部分和表面之间的接触的肌电活动。这可以使用上述EMG传感器来完成该操作。在一种配置中，为了节省系统功率，EMG传感器(例如，电极112、114和处理器120的EMG感应元件)被维持在休眠模式直到该身体部分被确定为接近表面。一旦检测到身体-表面接近并且EMG传感器被唤醒，处理器120的其它单元就从该EMG传感器接收信号并且将该信号与对应于身体部分在表面上的放置的电活动标准进行比较。如果满足该标准，则处理器120推断身体部分位于该表面之上。换句话说，姿势识别设备104检测到身体-表面接触。
图3是描绘了EMG信号根据时间的振幅的曲线图300。低水平部分302、304代表对应于没有身体部分和表面之间的接触的肌电活动。高水平部分306代表对应于身体部分和表面之间接触的较高水平的肌电活动。基于实验性的EMG信号数据，可以建立指示身体部分和表面之间的接触的标准。例如，峰值到峰值电压、或者在接触过程中测量出的实验性EMG信号的动态范围可以用作稍后获取的EMG信号的测量与之进行比较的标准。处理器120将获取的信号的测量结果与实验性数据定义的门限进行比较。如果满足该门限，则处理器120推断身体部分和表面之间有接触。换句话说，姿势识别设备104检测到身体-表面接触。否则处理器120推断没有接触。可选地，也可以实现时间标准，其中，对获取的信号的测量结果需要满足一定时间量的门限才能认为检测到身体-表面接触。
在步骤208，如果确定身体部分没有与平面接触，则处理过程返回步骤202。作为替代，处理过程可以返回步骤206。但是，如果确定身体部分与平面接触，则处理过程继续到步骤210，在此姿势识别设备检测指示姿势的身体部分的活动。这可以使用如上所述的运动传感器116来完成。在一种配置中，为了节省系统功率，运动传感器116被维持在休眠模式直到确定身体部分与表面接触。一旦检测到身体-表面接触并且运动传感器116被唤醒，则处理器120从运动传感器接收信号并将信号与对应于姿势的运动活动的标准进行比较。如果满足该标准，则处理器120推断身体部分做出该姿势。换句话说，姿势识别设备104检测到姿势。
图4是示出了随着时间的运动传感器(例如，加速计)信号的曲线图500，其中，信号对应于用户在平面上做出字母“O”姿势两次。应该注意的是，运动发生在x和y平面中，而几乎没有任何运动发生在z平面中。这仅仅是可以实验性地获得的很多运动型号形式或运动-姿势模板中的一种。处理器120包括这些姿势模板的库。处理器120将获取的运动传感器信号与运动-姿势模板库进行比较。如果获取的运动信号的形式接近匹配运动-姿势模板之一，则处理器120推断身体部分做出了与匹配的运动-姿势模板相关联的姿势。换句话说，姿势识别设备104检测到一个姿势。获取的运动信号和运动-姿势模板之间的接近水平定义了上述标准。例如，逐点电压比较，或获取的运动信号和运动-姿势模板的波形区域比较可以产生波形之间的百分比匹配。在这种情况中，该标准可以是百分比(比如，90％)，并且产生处于或高于该标准的百分比可以被认为得到姿势检测。
在步骤212，如果没有检测到姿势，处理过程返回步骤202。作为替代，该处理过程可以返回步骤206或步骤210。但是，如果检测到姿势，则在步骤214处，将信号传输给用户设备102。该信号用于对应于检测到的姿势影响设备102的操作。在一种配置中，姿势识别设备104的处理器120包括姿势和要发送给用户设备102以影响其操作的相应输出信号的查找表。例如，如果检测到的姿势是字母“O”，则识别设备104可以向用户设备输出信号使该用户设备打开一个应用。举另一个例子，手指在表面上的顺时针方向运动使得在识别设备104输出信号使用户设备向下滚动并打开文档。在另一种配置中，该查找表可以与用户设备共存，在这种情况中，识别设备104本身简单地传输对应于姿势本身的信号，而用户设备102通过其查找表确定要影响的操作。如上所述，姿势识别设备104和用户设备102之间的通信可以是无线的。
作为另一个可选步骤(未示出)，在确定感应到的电活动是否指示身体部分和表面之间的接触(步骤206)之前，姿势识别设备104可以首先确定身体部分是否展现任何类型的运动。这可以使用如上所述的运动传感器116来完成。处理器120从运动传感器116接收信号，并将信号与一般运动活动的标准进行比较。如果满足该标准，则处理器120推断身体部分正在运动并且处理过程继续到步骤206。换句话说，姿势识别设备104检测身体部分的一般运动。这一方面的标准可以简单地关于任何方向上的特定水平的运动而无需匹配运动-姿势模板。
这一初始一般运动感应是有益的，它可以消除计算上集中的EMG传感器处理和运动-姿势模板匹配处理(在它们无法得到保证时)。例如，如果用户的手正轻轻放在表面上而没有任何运动，则姿势识别设备104应该检测身体-表面接近。下一步的由姿势识别设备104进行的EMG感应应该检测出身体-表面接触。但是，接下来的步骤运动-模板匹配应该会得出没有运动-模板匹配，因为手是静止的。在检测身体-表面接触和运动-模板匹配之前，对身体部分的一般运动的检测应该排除对这些处理步骤的需要。
图5是描绘了示例性姿势识别装置502中的不同模块/单元/部件的操作的概念性流图500。装置502包括身体-表面接近度检测模块504、可选的身体运动检测模块506、身体-表面接触检测模块508、姿势检测模块510和通信模块512。身体-表面接近度检测模块504确定身体是否接近表面。身体运动检测模块506确定身体部分是否在运动。身体-表面接触检测模块508确定从身体部分感应到的电活动是否指示身体部分和表面之间的接触。姿势检测模块510确定从身体部分感应到的运动活动是否指示姿势。通信模块510向用户设备传输影响该用户设备的操作的信号。
该装置可以包括执行前述流程图2中的算法的每一步骤的额外的模块。这样，上述流程图2中的每一步可以由模块和可以包括一个或多个那些模块的装置来执行。这些模块可以是专门配置为执行声明的处理过程/算法的硬件部件，由被配置为执行所声明的处理过程/算法的处理器实现，存储在用于由处理器实现的计算机可读介质中的一个或多个硬件部件中，或它们的一些组合。
图6是示出了采用处理系统614的装置502’的硬件实现的示图600。处理系统614可以用总线结构实现，一般由总线624代表。依赖于处理系统614的具体应用和整体设计约束，该总线624可以包括任何数量的互连总线和桥路。总线624将包括一个或多个处理器和/或硬件模块的各个电路(由处理器604、模块504、506、508、510、512和计算机可读介质606代表)连接起来。总线624还可以链接各种其它电路，比如时间源、外设、稳压器和功率管理电路，它们都是本领域公知的，因此不再进一步描述。
处理系统614包括耦合到计算机可读介质606的处理器604。处理器604负责一般处理，包括存储在计算机可读介质606上存储的软件的执行。当该软件被处理器604执行时，使得处理系统614执行上面针对任何特定装置描述的各种功能。计算机可读介质606还可以用于存储由处理器604在执行软件时操纵的数据。处理系统还包括模块504、506、508、510、512中的至少一个。这些模块可以是运行在处理器604中、驻留/存储在计算机可读介质606中的软件模块，耦合到处理器604的一个或多个硬件模块，或它们的一些组合。
在一种配置中，装置502/502’包括用于确定身体部分是否接近表面的单元，用于如果身体部分接近该表面，确定从该身体部分感应到的电活动是否指示该身体部分和表面之间的接触的单元，以及用于如果该身体部分与表面接触，确定从身体部分感应到的动作活动是否指示姿势的单元。装置502/502’还可以包括用于在确定感应到的电活动是否指示身体部分和表面接触之前确定该身体部分是否运动的单元，以及用于响应于检测到姿势，向用户设备传输信号(该信号用于影响用户设备的操作)的单元。上述单元可以是上述装置502和/或装置502’的处理系统614的前述模块中的一个或多个模块，其被配置为执行上述单元所列举的功能。
应该理解的是，所公开的处理步骤的具体顺序或层级式示例性方法的举例说明。根据设计优先权，应该理解的是该处理步骤的特定顺序或层级是可以重新排列的。此外，一些步骤可以被组合或省略。所附方法要求以示例顺序显示出各个步骤的单元，但并不是意在将其限制在所给出的特定顺序或层级。
为使本领域技术人员能够实践本申请中所描述的各个方面，提供了上述描述。对于本领域技术人员来说，对于这些方面的各种修改都是显而易见的，并且，本发明所定义的总体原理也可以适用于其它的方面。因此，权利要求并不是要限于本申请中给出的方面，而是要与所付权利要求保持全部范围的一致，其中，除非具体说明，以单数形式提到的单元并不是意为“一个且只有一个”，而是意为“一个或更多个”。除非具体说明，否则术语“一些”指的是一个或多个。对于本领域一般技术人员公知的或稍后将会公知的，贯穿本发明所描述的各个方面的单元的所有结构性和功能性等效物明确地以引用的形式合并入本申请，并且意在包含在权利要求中。此外，本申请中所公开的没有意在专门针对公开而不考虑这一公开内容是否在权利要求中有明确的列举。没有权利要求项是作为附加功能构造的，除非利用短语“用于…的单元”明确地限定该项。

Claims (32)

1.一种检测身体部分相对于表面的姿势的方法，所述方法包括：
基于由近距离传感器提供的信号，来确定所述身体部分是否接近所述表面，其中来自与所述身体部分相关联的近距离传感器的信号被监测；
如果所述身体部分接近所述表面，则确定由肌电图EMG传感器从所述身体部分感应到的肌电活动是否指示所述身体部分和所述表面之间的接触，其中响应于来自所述近距离传感器的一个或多个信号，所述EMG传感器的状态从低功率状态改变为与激活状态相对应的高功率状态，以及，来自所述EMG传感器的输出被监测以确定在所述身体部分和所述表面之间的接触；以及
如果所述身体部分与所述表面相接触，则确定从所述身体部分感应到的运动活动是否指示所述姿势。
2.如权利要求1所述的方法，其中，如果所述身体部分与所述表面相接触，则确定从所述身体部分感应到的运动活动是否指示所述姿势包括：
响应于来自所述EMG传感器的一个或多个信号，将运动传感器的状态从低功率状态改变为高功率状态；以及
监测来自与所述身体部分相关联的运动传感器的运动活动以确定所述身体部分的指示姿势的运动。
3.如权利要求1所述的方法，其中，确定感应到的电活动是否指示所述身体部分和所述表面之间的接触包括：
将从所述身体部分感应到的所述电活动与对应于所述身体部分在表面上的放置的电活动的标准进行比较；以及
当满足所述标准时推断所述身体部分与所述表面相接触。
4.如权利要求1所述的方法，其中，确定感应到的运动活动是否指示所述姿势包括：
将从所述身体部分感应到的所述运动活动与对应于所述姿势的运动活动的标准进行比较；以及
当满足所述标准时推断所述身体部分做出所述姿势。
5.如权利要求4所述的方法，还包括提供姿势标准库，每个标准对应于不同的姿势。
6.如权利要求1所述的方法，还包括：
在确定所感应到的电活动是否指示所述身体部分和表面之间的接触之前，确定所述身体部分是否在运动。
7.如权利要求6所述的方法，其中，确定所述身体部分是否在运动包括：
将从所述身体部分感应到的运动活动与对应于运动的运动活动的标准进行比较；以及
当满足所述标准时推断所述身体部分在运动。
8.如权利要求1所述的方法，还包括响应于检测到所述姿势，向用户设备传输信号，所述信号用于影响所述用户设备的操作。
9.一种检测身体部分相对于表面的姿势的装置，所述装置包括：
用于基于由近距离传感器提供的信号，来确定所述身体部分是否接近所述表面的单元，其中用于确定所述身体部分是否接近所述表面的所述单元被配置为监测来自与所述身体部分相关联的近距离传感器的信号；
用于如果所述身体部分接近所述表面，则确定由肌电图EMG传感器从所述身体部分感应到的肌电活动是否指示所述身体部分和所述表面之间的接触的单元，其中，用于确定的所述单元包括用于响应于来自所述近距离传感器的一个或多个信号，将所述EMG传感器的状态从低功率状态改变为与激活状态相对应的高功率状态的单元，以及，用于监测来自所述EMG传感器的输出以确定在所述身体部分和所述表面之间的接触的单元；以及
用于如果所述身体部分与所述表面相接触，则确定从所述身体部分感应到的运动活动是否指示所述姿势的单元。
10.如权利要求9所述的装置，其中，所述用于如果所述身体部分与所述表面相接触，则确定从所述身体部分感应到的运动活动是否指示所述姿势的单元包括：
用于响应于来自所述EMG传感器的一个或多个信号，将运动传感器的状态从低功率状态改变为高功率状态的单元；以及
用于监测来自与所述身体部分相关联的运动传感器的运动活动以确定所述身体部分的指示姿势的运动的单元。
11.如权利要求9所述的装置，其中，所述用于确定感应到的电活动是否指示所述身体部分和所述表面之间的接触的单元被配置为：
将从所述身体部分感应到的所述电活动与对应于所述身体部分在表面上的放置的电活动的标准进行比较；以及
当满足所述标准时推断所述身体部分与所述表面相接触。
12.如权利要求9所述的装置，其中，所述用于确定感应到的运动活动是否指示所述姿势的单元被配置为：
将从所述身体部分感应到的所述运动活动与对应于所述姿势的运动活动的标准进行比较；以及
当满足所述标准时推断所述身体部分做出所述姿势。
13.如权利要求12所述的装置，还包括姿势标准库，每个标准对应于不同的姿势。
14.如权利要求9所述的装置，还包括用于在确定所感应到的电活动是否指示所述身体部分和表面之间的接触之前，确定所述身体部分是否在运动的单元。
15.如权利要求14所述的装置，其中，所述用于确定所述身体部分是否在运动的单元被配置为：
将从所述身体部分感应到的运动活动与对应于运动的运动活动的标准进行比较；以及
当满足所述标准时推断所述身体部分在运动。
16.如权利要求9所述的装置，还包括用于响应于检测到所述姿势，向用户设备传输信号的单元，所述信号用于影响所述用户设备的操作。
17.一种用于检测身体部分相对于表面的姿势的装置，所述装置包括：
处理系统，其被配置为：
基于由近距离传感器提供的信号，来确定所述身体部分是否接近所述表面，其中所述处理系统通过监测来自与所述身体部分相关联的近距离传感器的信号，来确定所述身体部分是否接近所述表面；
如果所述身体部分接近所述表面，则确定由肌电图EMG传感器从所述身体部分感应到的肌电活动是否指示所述身体部分和所述表面之间的接触，其中，所述处理系统通过响应于来自所述近距离传感器的一个或多个信号来将所述EMG传感器的状态从低功率状态改变为与激活状态相对应的高功率状态以及监测来自所述EMG传感器的输出以确定在所述身体部分和所述表面之间的接触，来确定从所述身体部分感应到的肌电活动是否指示所述身体部分和所述表面之间的接触；
以及
如果所述身体部分与所述表面相接触，则确定从所述身体部分感应到的运动活动是否指示所述姿势。
18.如权利要求17所述的装置，其中，所述处理系统通过以下操作来确定从所述身体部分感应到的运动活动是否指示所述姿势:
响应于来自所述EMG传感器的一个或多个信号，将运动传感器的状态从低功率状态改变为高功率状态；以及
监测来自与所述身体部分相关联的运动传感器的运动活动以确定所述身体部分的指示姿势的运动。
19.如权利要求17所述的装置，其中，所述处理系统通过以下操作来确定感应到的电活动是否指示所述身体部分和所述表面之间的接触：
将从所述身体部分感应到的所述电活动与对应于所述身体部分在表面上的放置的电活动的标准进行比较；以及
当满足所述标准时推断所述身体部分与所述表面相接触。
20.如权利要求17所述的装置，其中，所述处理系统通过以下操作来确定感应到的运动活动是否指示所述姿势：
将从所述身体部分感应到的所述运动活动与对应于所述姿势的运动活动的标准进行比较；以及
当满足所述标准时推断所述身体部分做出所述姿势。
21.如权利要求20所述的装置，还包括姿势标准库，每个标准对应于不同的姿势。
22.如权利要求17所述的装置，其中，所述处理系统被配置为在确定所感应到的电活动是否指示所述身体部分和表面之间的接触之前，确定所述身体部分是否在运动。
23.如权利要求22所述的装置，其中，所述处理系统通过以下操作来确定所述身体部分是否在运动：
将从所述身体部分感应到的运动活动与对应于运动的运动活动的标准进行比较；以及
当满足所述标准时推断所述身体部分在运动。
24.如权利要求17所述的装置，其中，所述处理系统被配置为响应于检测到所述姿势，向用户设备传输信号，所述信号用于影响所述用户设备的操作。
25.一种计算机可读介质，其包括用于以下操作的代码：
基于由近距离传感器提供的信号，来确定身体部分是否接近表面，其中用于确定所述身体部分是否接近所述表面的代码包括用于监测来自与所述身体部分相关联的近距离传感器的信号的代码；
如果所述身体部分接近所述表面，则确定由肌电图EMG传感器从所述身体部分感应到的肌电活动是否指示所述身体部分和所述表面之间的接触，其中，用于确定肌电活动是否指示所述身体部分和所述表面之间的接触的代码包括用于响应于来自所述近距离传感器的一个或多个信号，将所述EMG传感器的状态从低功率状态改变为与激活状态相对应的高功率状态的代码，以及，用于监测来自所述EMG传感器的输出以确定在所述身体部分和所述表面之间的接触的代码；以及
如果所述身体部分与所述表面相接触，则确定从所述身体部分感应到的运动活动是否指示姿势。
26.如权利要求25所述的计算机可读介质，其中，用于确定从所述身体部分感应到的运动活动是否指示所述姿势的代码包括：
用于响应于来自所述EMG传感器的一个或多个信号，将运动传感器的状态从低功率状态改变为高功率状态的代码；以及
用于监测来自与所述身体部分相关联的运动传感器的运动活动以确定所述身体部分的指示姿势的运动的代码。
27.如权利要求25所述的计算机可读介质，其中，用于确定感应到的电活动是否指示所述身体部分和所述表面之间的接触的代码包括用于以下操作的代码：
将从所述身体部分感应到的所述电活动与对应于所述身体部分在表面上的放置的电活动的标准进行比较；以及
当满足所述标准时推断所述身体部分与所述表面相接触。
28.如权利要求25所述的计算机可读介质，其中，用于确定感应到的运动活动是否指示所述姿势的代码包括用于以下操作的代码：
将从所述身体部分感应到的所述运动活动与对应于所述姿势的运动活动的标准进行比较；以及
当满足所述标准时推断所述身体部分做出所述姿势。
29.如权利要求28所述的计算机可读介质，还包括限定姿势标准库的代码，每个标准对应于不同的姿势。
30.如权利要求25所述的计算机可读介质，还包括用于以下操作的代码：
在确定所感应到的电活动是否指示所述身体部分和表面之间的接触之前，确定所述身体部分是否在运动。
31.如权利要求30所述的计算机可读介质，其中，用于确定所述身体部分是否在运动的代码包括用于以下操作的代码：
将从所述身体部分感应到的运动活动与对应于运动的运动活动的标准进行比较；以及
当满足所述标准时推断所述身体部分在运动。
32.如权利要求25所述的计算机可读介质，还包括用于响应于检测到所述姿势，向用户设备传输信号的代码，所述信号用于影响所述用户设备的操作。
CN201480004523.1A 2013-01-14 2014-01-10 针对表面上的姿势识别的emg的使用 Active CN104919397B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/740,315 US9092664B2 (en) 2013-01-14 2013-01-14 Use of EMG for subtle gesture recognition on surfaces
US13/740,315 2013-01-14
PCT/US2014/011136 WO2014110439A1 (en) 2013-01-14 2014-01-10 Use of emg for gesture recognition on surfaces

Publications (2)

Publication Number Publication Date
CN104919397A CN104919397A (zh) 2015-09-16
CN104919397B true CN104919397B (zh) 2019-03-15

Family

ID=50071724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480004523.1A Active CN104919397B (zh) 2013-01-14 2014-01-10 针对表面上的姿势识别的emg的使用

Country Status (6)

Country Link
US (1) US9092664B2 (zh)
EP (1) EP2943855B1 (zh)
JP (1) JP6227669B2 (zh)
KR (1) KR102220893B1 (zh)
CN (1) CN104919397B (zh)
WO (1) WO2014110439A1 (zh)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US20150124566A1 (en) * 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US10042422B2 (en) 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
WO2015081113A1 (en) 2013-11-27 2015-06-04 Cezar Morun Systems, articles, and methods for electromyography sensors
KR20150065336A (ko) * 2013-12-05 2015-06-15 삼성전자주식회사 전자 장치의 제스처 인식 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
US10585484B2 (en) * 2013-12-30 2020-03-10 Samsung Electronics Co., Ltd. Apparatus, system, and method for transferring data from a terminal to an electromyography (EMG) device
US9880632B2 (en) 2014-06-19 2018-01-30 Thalmic Labs Inc. Systems, devices, and methods for gesture identification
WO2016093612A1 (en) * 2014-12-09 2016-06-16 Lg Innotek Co., Ltd. Band type sensor and wearable device having the same
CN104598078B (zh) * 2015-01-19 2017-07-11 青岛海信移动通信技术股份有限公司 一种触摸屏检测方法及终端
CN106339076B (zh) 2015-10-22 2019-11-15 北京智谷睿拓技术服务有限公司 基于动作识别的控制方法及控制装置
CN106371569A (zh) * 2015-10-22 2017-02-01 北京智谷睿拓技术服务有限公司 动作识别方法及动作识别装置
US11635736B2 (en) 2017-10-19 2023-04-25 Meta Platforms Technologies, Llc Systems and methods for identifying biological structures associated with neuromuscular source signals
WO2020112986A1 (en) 2018-11-27 2020-06-04 Facebook Technologies, Inc. Methods and apparatus for autocalibration of a wearable electrode sensor system
US11216069B2 (en) 2018-05-08 2022-01-04 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
EP3487395A4 (en) 2016-07-25 2020-03-04 CTRL-Labs Corporation METHODS AND APPARATUS FOR PREDICTING MUSCULOSKELETAL POSITION INFORMATION USING PORTABLE SELF-CONTAINED SENSORS
EP3548994B1 (en) 2016-12-02 2021-08-11 Pison Technology, Inc. Detecting and using body tissue electrical signals
CN106821720B (zh) * 2017-01-13 2020-05-19 北京安云世纪科技有限公司 一种穴位按摩的推送方法、装置及ar设备
US10902743B2 (en) 2017-04-14 2021-01-26 Arizona Board Of Regents On Behalf Of Arizona State University Gesture recognition and communication
CN109213305A (zh) * 2017-06-29 2019-01-15 沈阳新松机器人自动化股份有限公司 一种基于表面肌电信号的手势识别方法
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US10937414B2 (en) 2018-05-08 2021-03-02 Facebook Technologies, Llc Systems and methods for text input using neuromuscular information
US20200097081A1 (en) * 2018-09-20 2020-03-26 Jasmine Stone Neuromuscular control of an augmented reality system
US10592001B2 (en) 2018-05-08 2020-03-17 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
US11099647B2 (en) * 2018-08-05 2021-08-24 Pison Technology, Inc. User interface control of responsive devices
US10802598B2 (en) 2018-08-05 2020-10-13 Pison Technology, Inc. User interface control of responsive devices
EP4241661A1 (en) 2018-08-31 2023-09-13 Facebook Technologies, LLC Camera-guided interpretation of neuromuscular signals
WO2020061451A1 (en) 2018-09-20 2020-03-26 Ctrl-Labs Corporation Neuromuscular text entry, writing and drawing in augmented reality systems
US11157086B2 (en) 2020-01-28 2021-10-26 Pison Technology, Inc. Determining a geographical location based on human gestures
US11199908B2 (en) 2020-01-28 2021-12-14 Pison Technology, Inc. Wrist-worn device-based inputs for an operating system
US11397466B2 (en) * 2020-03-31 2022-07-26 Apple Inc. Skin-to-skin contact detection
US11397468B2 (en) 2020-03-31 2022-07-26 Apple Inc. Skin-to-skin contact detection
CN112315488A (zh) * 2020-11-23 2021-02-05 宁波工业互联网研究院有限公司 一种基于肌电信号的人体运动状态识别方法
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101482773A (zh) * 2009-01-16 2009-07-15 中国科学技术大学 一种多通道无线表面肌电信号采集装置及系统
CN101819464A (zh) * 2009-02-27 2010-09-01 株式会社电装 可佩戴电气设备
CN101930285A (zh) * 2009-11-23 2010-12-29 上海交通大学 基于表面肌电信号的手写识别方法
WO2011151881A1 (ja) * 2010-05-31 2011-12-08 株式会社モバイルビジネスプロモート 入力補助具
CN102349037A (zh) * 2009-03-13 2012-02-08 微软公司 用于人机接口的基于肌电图的可佩戴控制器
CN102799270A (zh) * 2012-07-04 2012-11-28 北京理工大学 一种基于静电和肌电探测的人机交互方法
CN102854973A (zh) * 2011-06-30 2013-01-02 德信互动科技（北京）有限公司 单机游戏实现装置和方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7020508B2 (en) * 2002-08-22 2006-03-28 Bodymedia, Inc. Apparatus for detecting human physiological and contextual information
EP1408443B1 (en) * 2002-10-07 2006-10-18 Sony France S.A. Method and apparatus for analysing gestures produced by a human, e.g. for commanding apparatus by gesture recognition
JP2004348382A (ja) * 2003-05-21 2004-12-09 Ntt Docomo Inc 携帯型電子装置およびその制御方法
US7519223B2 (en) * 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
JP2006323690A (ja) * 2005-05-19 2006-11-30 Sony Corp 検索装置，プログラム及び検索方法
US20090278798A1 (en) 2006-07-26 2009-11-12 The Research Foundation Of The State University Of New York Active Fingertip-Mounted Object Digitizer
US8860683B2 (en) * 2007-04-05 2014-10-14 Cypress Semiconductor Corporation Integrated button activation sensing and proximity sensing
JP2008304632A (ja) * 2007-06-06 2008-12-18 Casio Comput Co Ltd カメラ及びカメラのレンズ鏡筒制御方法
US20110210931A1 (en) 2007-08-19 2011-09-01 Ringbow Ltd. Finger-worn device and interaction methods and communication methods
KR100934514B1 (ko) * 2008-05-07 2009-12-29 엘지전자 주식회사 근접한 공간에서의 제스쳐를 이용한 사용자 인터페이스제어방법
JP4683148B2 (ja) 2009-02-27 2011-05-11 株式会社デンソー 電気機器
ES2571133T3 (es) * 2009-04-07 2016-05-24 Microchip Tech Germany Gmbh Dispositivo sensor y procedimiento de detección de agarre y proximidad
US8581856B2 (en) 2009-05-27 2013-11-12 Microsoft Corporation Touch sensitive display apparatus using sensor input
KR20130000401A (ko) 2010-02-28 2013-01-02 오스터하우트 그룹 인코포레이티드 대화형 머리­장착식 아이피스 상의 지역 광고 컨텐츠
US8874129B2 (en) * 2010-06-10 2014-10-28 Qualcomm Incorporated Pre-fetching information based on gesture and/or location
JP5512884B2 (ja) * 2010-07-20 2014-06-04 エンパイア テクノロジー ディベロップメント エルエルシー 拡張現実の近接感知
US9089270B2 (en) * 2011-06-29 2015-07-28 Lg Electronics Inc. Terminal and control method thereof

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101482773A (zh) * 2009-01-16 2009-07-15 中国科学技术大学 一种多通道无线表面肌电信号采集装置及系统
CN101819464A (zh) * 2009-02-27 2010-09-01 株式会社电装 可佩戴电气设备
CN102349037A (zh) * 2009-03-13 2012-02-08 微软公司 用于人机接口的基于肌电图的可佩戴控制器
CN101930285A (zh) * 2009-11-23 2010-12-29 上海交通大学 基于表面肌电信号的手写识别方法
WO2011151881A1 (ja) * 2010-05-31 2011-12-08 株式会社モバイルビジネスプロモート 入力補助具
CN102854973A (zh) * 2011-06-30 2013-01-02 德信互动科技（北京）有限公司 单机游戏实现装置和方法
CN102799270A (zh) * 2012-07-04 2012-11-28 北京理工大学 一种基于静电和肌电探测的人机交互方法

Also Published As

Publication number Publication date
WO2014110439A1 (en) 2014-07-17
KR20150107785A (ko) 2015-09-23
JP6227669B2 (ja) 2017-11-08
KR102220893B1 (ko) 2021-02-25
CN104919397A (zh) 2015-09-16
EP2943855A1 (en) 2015-11-18
US9092664B2 (en) 2015-07-28
EP2943855B1 (en) 2018-08-29
US20140198944A1 (en) 2014-07-17
JP2016507098A (ja) 2016-03-07

Similar Documents

Publication Publication Date Title
CN104919397B (zh) 针对表面上的姿势识别的emg的使用
CN106456000B (zh) 生物测定信号的基于运动的估计
ES2813611T3 (es) Aprovechamiento de un apretón de manos físico en pantallas montadas en la cabeza
CN107809949A (zh) 用于测量与人体有关的信息的电子设备及其操作方法
CN109303390B (zh) 电子串珠环及其计数方法
WO2020207317A1 (zh) 用户健康评估方法、装置、存储介质及电子设备
CN105996984A (zh) 利用可穿戴电子装置的久坐时间段检测
US20180136715A1 (en) Method of providing content and electronic device for same
Masai et al. Evaluation of facial expression recognition by a smart eyewear for facial direction changes, repeatability, and positional drift
US10282030B2 (en) Wearable device and method of operating the same
Roy et al. CovidAlert-a wristwatch-based system to alert users from face touching
Riemer et al. Emotion and motion: Toward emotion recognition based on standing and walking
CN107195163B (zh) 一种报警方法、装置和可穿戴设备
US12073620B2 (en) Visual tag emerging pattern detection
CN209028659U (zh) 电子系统及可携式电子装置
Thakur et al. An Ambient Intelligence-Based Human Behavior Monitoring Framework for Ubiquitous Environments. Information 2021, 12, 81
Zhou et al. Towards unobtrusive detection and realistic attribute analysis of daily activity sequences using a finger-worn device
Sadat et al. Recognizing human affection: Smartphone perspective
Filipowska et al. Machine Learning-Based Gesture Recognition Glove: Design and Implementation
Srinivas et al. A survey report on mobile eye-based Human-Computer Interaction
Way EMGRIE: Ergonomic Microgesture Recognition and Interaction Evaluation, A Case Study
Kim et al. A practical activity recognition approach based on the generic activity framework
Chakraborty A study on context driven human activity recognition framework
Singh Leveraging Textile Capacitive Sensor Arrays for Body Gesture Classification Applications
Lustig et al. Reminding short-term memory sufferers to complete routine tasks

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant