CN111565637A - 基于可穿戴压力传感器阵列的人体动作和位置感测、识别与分析 - Google Patents

基于可穿戴压力传感器阵列的人体动作和位置感测、识别与分析 Download PDF

Info

Publication number
CN111565637A
CN111565637A CN201880065882.6A CN201880065882A CN111565637A CN 111565637 A CN111565637 A CN 111565637A CN 201880065882 A CN201880065882 A CN 201880065882A CN 111565637 A CN111565637 A CN 111565637A
Authority
CN
China
Prior art keywords
pressure
user
motion
sensors
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880065882.6A
Other languages
English (en)
Inventor
本杰明·亚瑟·巴佐尔
朱子杰
潘挺睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Titanium Deep Technology
University of California
Original Assignee
Titanium Deep Technology
University of California
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Titanium Deep Technology, University of California filed Critical Titanium Deep Technology
Publication of CN111565637A publication Critical patent/CN111565637A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

基于压力传感器的阵列集成到控制装置中，控制装置检测用户一个或多个身体部位的位置、动作或运动，以识别动作并将其转换为独特的用户动作分布。用户动作分布可以被独立地分析或识别为离散的运动或姿势，并且可以用作控制装置本身的输入或命令，或者用作将输出信号传递给配套装置的信号或信号集。压力传感器可以连接到用户的任何身体部位，例如用户的手腕或脚踝。用户的动作或位置或其变化生成可用于控制配套装置的输出信号。可检测信号的来源是基于压力的传感器阵列，传感器阵列产生压力数据分布，压力数据分布转换为输出信号以控制配套装置。

Description

基于可穿戴压力传感器阵列的人体动作和位置感测、识别与 分析
发明背景
各种各样的电力和机械设备可以与单独的控制装置耦合，该控制装置接收来自用户的输入，该输入被感测、识别和分析，以解释来自用户的输入，并将该输入转换为可用于各种目的的输出。由控制装置感测和识别的来自用户身体的输入可以与配套装置通信，并且这种感测、识别和分析过程使得用户能够手动操纵控制装置以创建数据输出。该数据输出可用于用户动作的独立分析，或转换为对配套装置的命令或控制指令。示例包括键盘、触摸板、计算机鼠标、麦克风、数字小键盘、踏板以及各种其他常用的通常使用手或脚操作的输入设备。在这些示例中，由用户赋予设备的动作(例如，通过敲击键盘的各个键、移动计算机鼠标、将声音输入到麦克风中或启动踏板)导致一个输出，该输出指示配套装置，例如作为计算机执行某些步骤。从这些示例中可以明显看出，将用户的特定输入耦合到所需输出到配套装置是一个集成过程，该集成过程旨在将用户提供输入的最便捷方式转换为配套装置正常运行所必需的数据输出。
各种各样的输入设备反映了可以通过来自用户的手动输入来控制的各种各样的配套装置，包括但不限于计算机、电话、视频显示器、控制及安全系统，以及虚拟的具有控制机制或接口的任何设备或系统，其中用户通过输入或接口指导对设备的控制。
大多数用户熟悉诸如键盘和数字小键盘之类的输入设备，其中手动接触机械键或按钮或者触摸屏幕或视野中的空间转换为单个字母、数字或其他指令，例如打开或关闭设备或者使配套装置执行某些预定功能。为了使这些输入设备更快、更有效并且更方便，已经开发了几种动作或运动检测器装置，其可以物理地附着到诸如用户的手、手腕或脚的身体附肢上，并且可以将用户的动作或姿势转换为数据输入或指令，即使动作或姿势完全在“空间”中执行，即用户不与任何输入设备直接接触的地方。
美国专利公开2016/0091980(苹果公司)和2017/0031453(飞利浦公司)通过引用具体结合到本文中，它们都描述了使用光传感器来检测手部运动的装置，该光传感器依靠一对光发射器和一系列光检测器，根据手做某些手势时穿过手腕解剖结构的光线的差异来识别手部动作。这些设备旨在基于光的检测来检测手势，然后将光信号转换为数据输入。例如，通过将发光设备和光检测传感设备布置在手腕周围，这些设备感测通过骨骼、肌肉和肌腱传输的光的差异，用户移动其手，基于用户的手和手腕的动作，设备将透射光的差异转换为可以控制手表、计算机或其他设备的指令。例如，系统可以检测用户的挥手动作以表示某些行动，例如打开或关闭计算机，并且可以检测用户的各个手指运动过程中通过组织透射的光的差异，以将不同的手指动作转换为离散信号以控制配套装置。
这些现有设备通常耦合到数据处理单元，该数据处理单元将来自用户的动作或姿势的感测到的光信号转换成特定的输出信号。例如，传感器和数据处理单元的组合可能会检测到用户伸出一根手指时，用户的骨骼、肌肉和肌腱的光学特性相对于伸出两根手指存在差异，并将它们识别为不同的信号，然后指示配套装置执行不同的功能。因此，伸出一根手指与伸出两根手指之间的手和手指动作变化可能是不同的，例如，“打开”或“关闭”计算机或手机。这些设备还可以与运动传感器和电传感器结合，以生成混合信号输入或与光发射器和光传感器结合以反映用户动作、运动或姿势的多路复用(multiplex)。
尽管主要基于光感测阵列的设备可以区分用户的多个单独运动，但是这些设备在使用光或电信号来检测运动方面具有某些固有的缺点，包括以外来光或电信号的形式存在的背景噪声损害所检测到的信号的准确性的固有可能性。此外，发光设备往往需要很大的功率才能工作，并且该功率要求可导致对相关的大且笨重的功率存储设备的需求，或者导致基于光传感器或电传感器的任何设备的使用寿命受限。
发明内容
本发明是一种集成在控制装置中的基于压力传感器的阵列，该控制装置检测用户的一个或多个身体部位的位置、动作或运动，以识别该动作并将其转换为唯一的用户动作分布。用户动作分布可以被独立地分析或识别为离散的动作或姿势，并且可以用作控制装置本身的输入或命令，或者用作产生输出信号给配套装置的信号或信号集。压力传感器可以附着到用户的任何身体部位，但优选地附着到用户的手腕、脚踝或其他可以被形成阵列的多个传感器围绕并且通常用于为配套装置提供输入的身体部位。例如，附着到手腕上的基于压力传感器的装置，基于包括用户的手腕、手、手臂和手指中的肌肉、肌腱和骨骼的运动的基本生理结构来检测多个单独的部件，以将位置、动作或运动转换成可用于产生输出信号的可检测信号，该输出信号被解码以控制配套装置。可检测信号的来源是附着在用户肢体上的基于压力传感器的阵列，例如，附着在手腕上的阵列检测肌肉、肌腱和骨骼的单个运动，其方式与附着在脚踝上的阵列类似地检测脚或脚趾的肌肉、肌腱和骨骼的运动相同，以生成信号，该信号产生控制配套装置的输出信号。
为了便于参考，术语“动作”在下文中用于描述将用户身体的一部分的初始、静止或基线位置感测为第一位置、感测远离第一位置的过渡动作(例如表示命令的不同运动或姿势)以及感测不同于第一位置的最终或第二位置中的每一个，其中第一位置与第二位置和/或过渡动作之间的差异被诠释为信号或输入，优选地用于控制配套装置。因此，本发明的装置可以随着用户移动而将动作感测为活动过程或者检测身体在初始位置与最终位置之间的差异或者两者的组合，识别这些动作或位置变化，并生成特定的动作分布用于分析，包括将其转化为动作分布，以便在重复诠释时进行分析，以作为配套装置的控制。
在功能上，本发明的装置在沿着和/或围绕用户的身体部位的多个点处检测压力，并进行通过动作产生的独特压力测量，以将压力读数值转换成独特的定量压力分布，该压力分布被分析并转换为任何一个或几个离散数据分布，包括但不限于动作分布、离散姿势和对配套装置的指令。例如，压力传感器沿圆周定位，并且沿着附接在手腕上的束带的内表面的特定选择点检测压力值，这些压力值是前臂、手、手腕、手指、任何单个单元或其组合的运动的特征，包括单个手指的运动，包括单个和集体指定的字母数字表中的数字或字母。身体的不同运动生成不同的特征压力值和组合分布，通过单独和集体使用多个压力测量值，这些身体运动可以被识别并与转换成输出的姿势相关，例如控制计算机的命令。由于本发明中使用的特定压力传感器的灵敏度和选择性，身体部位的特征运动可用于区分用户执行的细微运动，识别、输出为唯一的定量数据分布，分析为特定动作或动作范围，并可选地为配套装置分配特定的命令和控制功能。
为了使从用户的动作获得的信息最大化，多个单独的压力传感器被组合以建立压力传感器阵列，该压力传感器阵列可以与不同类型的传感器组合，该不同类型的传感器被设计用于在身体组织的相同或不同区域检测其他参数，包括肌腱、韧带、肌肉、骨骼、间质组织、静脉、动脉的选定部分，以及除了单个的压力传感器与皮肤表面接触的点的压力读数外，还会引起静态或差分测量值的任何身体部位。传感器阵列和附加传感器的组合还可包括脉搏血流或其他生理参数的检测器，以及电场或磁场中的加速、旋转或变化的传感器。总的来说，来自所有传感器的信号会创建一个数据输出和一个传感器分布，其中，用户肢体的每个运动生成特定的、定量的压力分布，这些压力分布对于单个动作以及可选地对于个人都是唯一的。因此，很容易将伸出单个食指的用户的动作与伸出食指和中指的用户的动作区分开，并且每个动作或姿势的唯一的特定的压力传感器分布产生离散的命令或数据输出，该离散的命令或数据输出优选地被处理成基于压力的数据分布，该数据分布被分析并且可以被转换成用于配套装置的输入或命令和控制指令。
当如本文所述部署包括压力传感器阵列的这种传感器阵列时，可以针对任何肢体或身体部位的任何动作构造局部的、可选地沿周向定向的压力数据“图”。随着压力传感器的数量和密度的增加，以及各个压力数据值的组合数量增加，将收集有关基本身体结构的位置或动作的更多信息，以用于后续分析和生成输出指令到配套装置。在单个传感器跨过手腕周长的情况下，可以根据基本生理结构的单个和集体动作来确定张力(与手腕的扩张/收缩有关，如手的弯曲和伸展)。
当传感器的数量增加并且各个传感器的尺寸减小时，传感器的尺寸可接近平均肌腱尺寸(大约4mm)。因此，随着传感器数量的增加(例如，超过6个、8个、10个、12个、14个、16个、18个、20个、22个、24个、32个或64个单独的传感器的阵列)，传感器的数量将超过被检测压力的基本生理结构的数量，且传感器数据组合由多个单独解剖结构的离散测量组成。
因此，两个相邻的传感器可各自检测来自任何一个或多个基本解剖结构的压力贡献，所述解剖结构包括但不限于一个或多个肌腱、一个或多个肌肉、一个或多个韧带和/或一个或多个骨骼。当传感器的数量接近所测量的身体特征(例如，肌腱、肌肉、骨骼等的组合，总共大约18个特征)的数量的两倍时，单个传感器更直接地测量单个生理结构，并且使用各个单个生理结构或单个生理结构的组合结合来自其他单个生理结构或多个单个生理结构的传感器数据的多路复用(multiplex)，可以更精确地跟踪肢体的特定动作。一种称为去混叠(de-aliasing)的信号处理技术允许分离/确定影响多个传感器的变化。类似的技术可以适应传感器绕手腕旋转的变化。在阵列包含较少传感器的情况下，可追踪感应到的生理结构、肌腱组的总数(例如，阵列中的8个传感器围绕8个以上的肌腱布置)，可确定大多数自然手部位置(包括但不限于手的弯曲/伸展、内收/外展，以及各种手指弯曲/伸展图。)
控制装置可具有专用电源和将各个压力传感器连接到至少一个数据存储介质的电路，以及可选的用于识别特定压力分布并对其进行分析逻辑电路，用于定量的唯一的压力分布的进行信号处理可以容纳在控制装置或配套装置中。因此，附着到手腕的控制装置可以处理由压力分布产生的命令和控制功能，或者压力分布可以传送到诸如计算机、电话、游戏控制器或其他包含逻辑电路以将动作转换为命令和控制功能的配套装置。优选地，以至少三个优选五个或更多临界压力收集数据。例如，特定的传感器可以检测到方向或动作的零变化、动作产生的压力的小的正变化、动作产生的压力的大的正变化、压力的小的负变化或压力的大的负变化。除了离散的定量值外，还可以预先设置单个阈值，以组合如本文所述的独特的定量的压力分布。
通过组合来自部署在阵列中的多个单个传感器的数据，可识别与特定的单个或离散动作、动作范围、组合动作集或动作子集相对应的单个压力分布，以建立动作模式或相对于现存模式的偏离。动作、范围或动作模式的任何绝对或相对测量值可以被分析，并用于生成定量的分数，该分数可单独或集体地反映单个或组合/多重压力测量结果，并与先前的单个动作或动作组合集进行比较。单个或集体动作分数可以与用户执行的动作类型相关联，这些用户执行的动作具有用户要执行的功能的特征，或者用户要控制配套装置的控制或命令的特征。
如果用户将压力分布与特定姿势关联，则可以为各个姿势分配用于控制装置或配套装置的命令或控制功能。例如，在至少六个肌腱上检测到的一组压力变化可能指示对应于一个特定命令输出的特定姿势。类似地，四个或更多肌腱的细微变化加上两个肌腱的零变化可能表示不同的特定姿势和不同的特定命令输出。在实际应用中，当用户握拳时建立的肌肉、肌腱、韧带和骨骼的方向和动作集可能指示配套装置“通电”，而当用户指食指时建立的特有的肌肉、韧带、肌腱和骨骼动作集可能指示配套装置打开特定程序或关闭电源。如下面详细描述的，可以通过预先编程或在用户指示下的学习模式来测量和大量的动作和姿势，并为其分配不同的命令和控制指令。根据以下描述和附图，本领域普通技术人员将理解所有这些功能以及更多功能。
附图简要说明
图1是表示本发明的控制装置的定量姿势检测数据分布的各个元素的六个独立度量(G0-G5)的图形。基于各个度量的各个幅度的度量组合基于从传感器阵列输入并反映在度量G0-G5中的特定的各个压力值，产生唯一的定量的姿势检测分数。
图2是人类手腕的剖视图，示出了包括14个肌腱、桡骨和尺骨以及其他内部解剖结构在内的各个生理结构的方向，从而使多个单独的压力传感器的放置与手腕的外皮肤层紧密一致地贴合，基于前臂、手腕、手和手指的不同构造和动作产生独特的定量的压力分布。
图3A和图3B是本发明的控制装置，其与用户的肢体一致贴合，示出了在人类手腕的生理结构中的肌腱的方向，其中传感器放置得非常接近肌腱。
图4是由手臂运动、手指运动和手掌运动组成的组合异常人类手势。
图5是可能与压力传感器数据相关的姿势和命令的组合，并示出了如何将某些姿势转换为用于三个不同控制器的命令的示例。
图6是示出位于右手腕中的十四个单个肌腱的生理界面压力的代表性变化的图表。空白字段表示压力值没有变化，单个的向下箭头表示压力值减小较小，双向的向下箭头表示压力值减小较大，单个的向上箭头表示压力值增加较小，双向的向上箭头表示压力值增加较大。左轴包含至少11个单独的方向或命令和控制功能，这些功能可以分配给所测得的肌腱压力变化的特定组合。
发明详细说明
本发明涉及一种基于压力传感器的包括形成阵列的单个压力传感器的控制装置、一种与配套装置相结合控制装置，以及它们的使用方法，所述方法使用多个压力传感器来检测用户的动作，以基于形成阵列的多个传感器的传感器输入来生成被定向到控制装置或配套装置的数据、数据分布、定量压力信号、定义的姿势、控制指令、命令或其他输入。所述控制装置通过任何使所述阵列牢固地定位于所述肢体的结构或机械手段而物理地附着到所述用户的肢体，使得基于压力的传感器能够检测由位于第一构造或初始静止状态中的任何一个的皮下解剖结构产生的压力，包括过渡运动状态或状态范围的一系列运动，以及在过渡运动之后产生第二状态都不同于第一构造，并且可以在其后跟随任何数量的不同构造。
尽管传感器输入依赖于多个压力传感器，但是附加的光学传感器、加速度或惯性传感器、回转仪或其他旋转传感器，以及磁传感器可以独立地提供与用户的动作有关的输入，并且可以与如本文所述的压力传感器数据结合。在一些实施例中，来自压力传感器阵列的数据与来自加速度计、回转仪和磁力计中的每一个的至少3个的数据集成。
基于检测到的动作，控制装置生成到控制装置本身或配套装置的输入，并且该控制装置和/或配套装置基于该输入执行操作。来自控制装置的输入可以与诸如键盘、小键盘、触摸屏等的其他常规用户接口机制结合，使得本发明的控制装置与现有的输入设备协同工作。配套装置的示例包括但不限于计算机、蜂窝电话、视频显示设备、游戏、运动或其他交互式控制台、机器人运动和其他远程操纵系统、乐器、医疗设备、汽车、电器以及几乎任何能够接收输入以控制配套装置的状态或操作的电子或机械设备。
在一些示例中，形成压力感测阵列的多个压力传感器位于控制装置本身或位于包含传感器阵列的配套装置的附件上。例如，传感器阵列可以位于控制装置和作为配套装置的手表的集成组件中，或者可以是独立于手表的离散装置，但可以通过任何常规通信机制进行可操作连接，例如蓝牙、有线连接、光或无线传输或任何其他常用数据传输机制或方法。
压力传感器阵列根据用户的肌腱、韧带、皮肤、肌肉和骨骼所施加的皮下压力，产生独特的特定的压力分布。在一些实施例中，控制装置由功能感测材料组成，该功能感测材料通常用于衣服或其他附着在用户身上的他穿戴物品，如手表、帽子、珠宝，绷带或使压力传感器阵列与皮肤表面紧密一致贴合的其他结构，在用户的身体表面保持基本一致的方向，使得用户的绝对或相对动作引起控制装置感测的特定压力分布的变化。
示例1—基于压力传感器的控制装置被集成到传统的带状材料(织物、皮革、硅树脂、聚合物、金属或其组合物)。
在该示例中，压力传感器阵列被嵌入表带中，并且该表带用作控制装置。传感器周向地环绕手腕，并且由于没有刚性传感器组件，该表带与典型表带一样，保持与用户皮肤表面一致贴合。柔性的单个压力传感器形成阵列，并作为表带材料的一部分集成或嵌入，从而使表带区域包括覆盖手腕的基本圆周或者不被控制装置或配套装置占用基本圆周的传感器阵列。因此，在感测阵列覆盖整个表带的情况下，该阵列横跨整个手腕，使得传感器围绕肢体的整个圆周定位，这种构造使来自施加在皮肤表面的各个压力的感测输入最大化，并且随着传感器数量的增加，使数据最大化。如容易理解的那样，可在围绕肢体的较小弧线周围布置更多数量的传感器，并且，根据基本生理学，所得的数据分布将取决于传感器所覆盖的区域以及布置在阵列中的传感器的数量。下面和附图中描述了传感器的数量和围绕身体肢体的覆盖范围的优选实施例。
沿着横穿手腕中心的轴观察表带，角度δ定义了各个传感器在其中部署的周长的不连续部分。例如，如果传感器围绕表带的整个周长部署，则角度δ将为360°。类似地，如果表带的一部分被控制装置或配套装置的壳体占据，使得各个传感器被部署在表带圆周的大约四分之三处，则角度δ将为270°。本发明的压力传感器阵列考虑的特定角度包括大于90°、大于120°、大于150°、大于180°、大于210°、大于240°、大于270°、大于330°的角度δ，以及其中的积分值。
示例2—传感器规格。
单个传感器优选地包括如美国专利9,170,166、9,459,171、9,739,679(以及待审的美国申请2017/0059434A1和5月25日提交的Fabric传感器申请)中所述的离子传感器。所述传感器优选为基于织物的、薄的(500μm或通常为1.5mm)，并且与身体的弯曲表面的外表面一致，例如手腕、前臂、脚踝、头盖骨、颈部、胸部或腹部。所述传感器还可以集成到衣服中，并根据应用定制尺寸、材料和灵敏度。
各个传感器必须有一个工作压力范围，以检测手势产生的最大压力变化，并考虑束带张力引起的基线压力(范围为0-100mmHg)。偏置结构可以将最小工作压力从0改变，并保持最大灵敏度范围的大小(例如对于高基线压力的区域为40-70mmHg)。0-30mmHg(带偏置结构)的工作范围是理想的，但可以低至0-10mmHg或高达0-120mmHg。对于基本手势检测，必须能检测到低至4mmHg的压力变化，并与噪声区分开来，因此灵敏度(压力分辨率)和噪声水平不大于1mmHg，重复性误差不大于50％。对于高级姿势检测，必须能检测到低至0.5-1mmHg的压力变化，因此灵敏度和噪声水平不大于0.2mmHg，最优选在1Pa(0.0075mmHg)的情况下，最优选地重复性误差在10％以下。在位置检测(而不是过渡/动作检测)的情况下，需要准确的压力读数。考虑到来自噪声、线性度和重复性的精度误差，系统必须准确地将肌腱压力量化为3到5类。对于检测基本手部位置，精度最好为±5mmHg(满量程范围的83.3％)，对于高级手部位置，精度最好为±1mmHg(96.7％)，且精度比±0.5mmHg(98.3％)更高是最优选的。线性度和重复性精度必须超过总精度要求。因此，对于基本位置，线性度和重复性的精度优选为90％，对于高级位置，精度优选为98％，最优选为99.5％。
信噪比大于100：1(相当于0.3mmHg)是优选的，而1000：1的比例是最优选的。
传感器阵列优选具有垂直于用户皮肤表面的总垂直高度为0mm(保形接触)，优选不大于0.5mm，最优选不大于1.1mm。该控制装置具有FPC型连接器，该连接器优选具有与传感器的数量(Sn)有关的多个位置。在一些实施例中，位置是Sn+1(例如8个传感器的9个位置)，而其他位置是大于或等于Sn的平方根的两倍的最接近的整数(ceiling(2*sqrt(Sn)))(例如16个传感器的8个位置)。理想的销间距为1mm，范围为0.25mm至2.54mm。
使用前述压力传感器的压力数据可以在低功率下获取。功耗与采样率成正比。125Hz和16mA是高性能压力传感系统的典型代表。由于响应时间，这些传感器的理论最大值为240Hz。在姿势监测的情况下，这是过度的。人体运动通常小于1Hz(1秒级变化)，很少超过10Hz(100ms级变化)。人类将接近/低于100ms的变化视为接近瞬时的，并将超过50Hz(20ms)的变化视为瞬时的。10Hz的采样频率可产生1.6mA的电流。连同惯性传感器(回转仪、加速度计和磁力计)，总电流通常为2.6mA。可穿戴式手表的电池容量为100-200mAh，因此运行时间为42-78小时或5-9天的连续工作8小时。省电功能(如睡眠模式)可以使其大大扩展。
由于数据的高信噪比(SNR)，对于姿势采集(通常是简单的算术运算)而言，几乎不需要任何处理，所消耗的功率可以忽略不计。EMG信号需要小波分析、强模拟放大以及CPU密集型降噪，这会消耗更多功率。作为参考，Myo EMG臂带一次充电可运行1天，模块化EMG单元每通道消耗2-4mA(8通道消耗16-32mA)。生物光学系统会通过辐射(光)发射和数据处理而损失大量功率。这些系统类似于诸如
Figure BDA0002443975390000101
的心率监测器，作为参考，它一次充电可运行5天。请注意，
Figure BDA0002443975390000102
并未真正进行连续的光学监测。PPG(光学模块)通常消耗2.3mA，并且功耗根据传感器的数量而定。使用8通道光学系统+惯性测量，功耗为19.4mA，工作时间为5-10小时。
在一实施例中，控制装置包括压力传感器阵列，该压力传感器阵列布置在束带的弧内的连续柔性结构内或用于保持传感器阵列与身体肢体紧密贴合的其他结构内。压力传感器阵列由基本上不含玻璃、刚性透明聚合物、不锈钢或光发射或检测装置中的任何一种的材料组成。尽管这些成分可以包括在控制装置内，或者可以包括在控制装置的数据存储、数据处理、逻辑电路、存储器或通信组件的任何组件内，但是这些结构不包括在阵列的各个压力传感器中。
实施例3—压力传感器数据的定量分析和身体位置的三点分析。
在优选实施例中，压力传感器数据是定量的。例如，紧握的拳头(以肌肉张力为特征)在数量上不同于松握的拳头(以手指弯曲且无肌肉张力为特征)，并且仍然不同于其他手部位置，例如张开的手掌。类似地，随着控制手指运动的肌腱局部压力增加，手指弯曲的变化和离散程度也可以得到解决。来自压力传感器阵列的数据可以包括三个单独的数据点，这些单独的数据点包括用户的肢体的第一初始位置或静止位置，在该位置没有动作发生，远离第一位置发生动作的过渡阶段，例如用户的手腕、手或单个手指的有意运动，以及随后的数量上不同于第一位置的第二位置，该第二位置是过渡阶段动作的结果，并导致第二位置。与第一位置和/或第二位置不同并且具有随后的过渡阶段的附加动作也可以被检测和量化。
用于姿势检测的电气系统(EMG)依赖于肌肉收缩期间的信号检测。这要求电极靠近驱动手/手指运动的收缩肌肉，并且肌肉必须主动收缩。这意味着只能测量以主动收缩为特征的状态。被动的手部位置没有明显的电信号，例如伸出的手指或松握的拳头。为了检测拳头，手必须握紧。这一限制仅用于检测运动/转换，并且只能在收缩期间检测到长时间状态，这会迅速导致肌肉疲劳。EMG信号的特征在于高水平的噪声，这些噪声源自EMF干扰、运动伪迹、小(μV)输入信号、生物阻抗变化和生物界面变化。为了进行特定的姿势检测，这些信号的信号放大和去噪是耗费功率的(通常每通道2-4mA)，并且计算量很大。
光学系统(如2016/0091980中所述，使用与PPG相似的设备和原理进行操作，光电血管容积图)依靠光源穿透和反射人体组织，并通过检测器跟踪该反射光的强度。该系统的主要限制是来自连续辐射发射的功耗(每个发射器/检测器对通常为2mA)和对噪声的敏感性。后者尤为麻烦。尽管可以检测到手部位置变化(不需要进行主动的肌肉收缩)，但是噪声(记录在2016/0091980中第[0039]段)和光信号的基线偏移使得仅可以可靠地检测到过渡。2016/0091980出版物在图9B中记录了运动检测，并且在段落[0040]的描述中特别指出了运动的检测。对于禁止绝对位置检测的光学系统，姿势/位置检测的关键区别在于，检测到的光与肌腱位置没有直接关系。也就是说，没有特定的光通量必然表示肌腱收缩/松弛。输入到检测器中的信号受到环境光、皮肤反射、光学系统和皮肤之间的压力以及肌腱/肌肉/骨骼位置的影响。由噪声源引起的变化通常超过肌腱位置的变化一个数量级或更多。实际上，这使得在没有姿势变化的情况下的绝对位置检测(例如伸出的食指的长时间状态)变得困难，即使不是不可能。
通过压力或光学系统测量的基本生物学参数是由于收缩和松弛引起的肌腱移位。在基于压力的系统的情况下，这种肌腱移位必定会对紧贴在手腕周围的束带产生压力。在已知的带张力的情况下，压力直接与肌腱的位移有关。使得大位移(例如拳头)会产生大约10mmHg的压力，而小位移(例如小指伸直)会导致大约1mmHg的压力。在一个校准良好的系统中，给定位置的定量压力对基础组织具有明确定义的重要性。以这种方式，即使在没有动作的情况下，也可以使用手腕的周向压力分布来精确地访问肌腱/肌肉/骨骼状态，并确定手部位置/姿势状态。
示例4—基于压力的姿势分析的学习模式
控制装置或配套装置优选地包括存储装置，以保存生成独特的压力分布的压力传感器数据，该压力分布包括由用户发起的动作的各个方面。压力分布特征被量化为：1)每个单个压力传感器的值，2)每个或所有单个压力传感器的单独值的变化，3)多个单个或组合值，由多个压力传感器的输入导致的一个或多个度量产生的总的量化分数，4)在离散时间点的上述任意一个，5)上述多个时间点的任意一个，包括上述变化率以及上述变化率的变化，且全部取决于用户的位置或动作。
控制装置还可将由压力阵列产生的独特的压力分布与一个或多个存储的值或包括独特的压力分布的分布进行比较，以确定单个用户动作或动作集是否对应于所存储的独特的压力分布，并且该比较可以生成信号、基于该比较的新分数、动作对应的由控制装置生成的命令的确定或不存在这样的确定中的任何一个。在一实施例中，控制装置将独特的压力分布与预定压力分布的存储范围进行比较，并将感测到的压力分布与最相似的存储压力分布相关联，并生成被传送到配套装置的命令。在另一实施例中，配套装置具有在配套装置上显示的视觉或机械选项，以询问用户由控制装置生成的解释后的控制或命令信号是否正确。
控制装置可以适用于过滤由用户的动作引起的噪声，该噪声不是独特的压力分布或分数的产生、确定或分析所特有的。噪声可以包括用户的随机动作、自主生理功能(如呼吸，心率)或任何与用户的有意运动不同的无关信号或部分背景信号。过滤功能可以基于压力范围、作为基线测量的一部分而建立的已知生理功能的存在，或将噪声与由压力传感器生成的数据产生的有意用户生成的信号区分开的任何其他因素。
在优选实施例中，控制装置或配套装置中的任何一个包含数据存储和逻辑电路或功能，以允许一个或两个装置在学习或示教模式下操作，其中用户动作响应于来自任一装置的指令，该指令指示用户执行随后由用户有意执行的特定动作或姿势，以分别为用户提供存储的独特的压力分布，并与在标准操作模式下执行的后续姿势进行比较。用户还可以根据用户的指示标识与特有命令相关联的特定姿势，以便用户教导控制设备由控制设备命令生成的特定输出与特定动作或动作集或特定姿势相关联。
在一些实施例中，分离的、可拆卸的以及便携的控制装置包括至少六个压力传感器，所述传感器嵌入在柔性和可穿戴装置的具有至少120度的角度的弧形δ中，该柔性和可穿戴装置将压力传感器定位在用户身体部位皮肤表面的圆周上，其中第一定量测量压力值或值集合与用户肢体的第一位置相关联，定量过渡压力值或值集合与选自骨骼、韧带、肌腱、表皮层、肌肉和间质组织的两个或多个物理结构的动作相关联，第二定量测量压力值或值集合与用户肢体的第二位置相关联。控制装置可操作地与包含存储器的数据处理器连接，并且能够确定用户的动作的逻辑与要与控制装置或配套装置通信的命令相关联。
在一实施例中，多个压力传感器位于控制装置中，该控制装置包括嵌入条带中的压力传感器阵列，至少8个、至少16个、至少24个、至少32个或至少64个单独的传感器围绕条带周向地布置。传感器阵列可操作地连接到包含存储器的数据处理器，并且能够确定由周向压力阵列检测到的动作的逻辑与要与控制装置或配套装置通信的命令相关联。在一些实施例中，配套装置也被用户穿戴并且通过无线传输或通过机械连接可操作地连接到控制装置，使得配套装置由便携式电子装置控制，而该便携式电子装置依次由由用户的运动检测到的和由控制装置检测到的压力信号控制。
在一些实施例中，控制装置包括压力传感器阵列，该压力传感器阵列单独且独立地位于将配套装置保持在皮肤表面处靠近位于肢体中的一个或多个肌腱、韧带、骨骼或肌肉的结构中。例如，配套装置可以是智能手表，并且控制装置可以包括结合到束带中的传感器阵列，该束带由与配套装置间隔开的多个感测区域组成，并且在靠近智能手表的区域和跨过用户皮肤的相邻表面的压力传感器界面处检测压力变化。
本发明还包括使用本文所述的控制装置来区分用户的多个单独的姿势的方法，使得独特的姿势可以被转化成用于控制配套装置的命令。基于用户动作来执行命令的方法可包括确定用户的姿势符合由传感器阵列检测到的预定压力分布的步骤。该方法可以包括：检测包括压力传感器值的信号，其中该值是将第一静止位置的独特压力分布与反映用户动作的过渡压力值进行比较的定量值；检测与用户动作相关的压力变化；以及确定该信号对应于用于控制控制装置或配套装置的特定命令。
综合参考附图，本发明涉及基于压力的动作检测装置，用于检测特定的身体动作并将该身体动作转换为输出。人体动作被转换成独特的压力信号，并转换成控制指令。在一些实施例中，身体动作包括手的特定运动，并且通常包括产生独特的压力特征的前臂/手腕、手掌和手指的公认方向。由人体动作(例如公认的手势)产生的独特压力信号被处理为基于测量的压力、测量的压力变化或测量的压力变化随时间变化的传感器输入的测量组合。以这种方式，基于独特的压力特征来量化身体动作，并且将其转换成向控制装置或可操作地连接至该控制装置的配套装置提供指令的命令和控制指令。
因为本文所述的压力传感器制造成本低廉，并且如示例2中所述提供了极高的压力感测性能，所以可以将多个传感器并入控制装置中，为大量单独的压力监测数据输入提供能力，该控制装置可以根据由皮肤下生理结构的动作位置导致的大量离散压力测量值分别并同时检测离散动作。大量的定量数据输入允许组装极其敏感和选择性的独特压力分布，这些压力分布是离散的并且与身体的特定动作不同。因此，压力传感器阵列可以检测用户特定的身体动作，包括缩回、伸展、扩张、收缩、旋转以及用户的几乎任何其他运动，可以是自愿的或非自愿的、自发的或有意的，如预选手势中的手部动作，或者是被动的或自动的，如呼吸、脉搏或血压。
具体地，关于由前臂/手腕、手和手指的独特构造导致的压力变化检测到的手和手腕的动作，确定肌腱测量、单个部件或集合的运动，并可将其表征为屈曲、扩展、外展和内收，将各个度量的组合作为分数，具有对每一个动作、位置、动作或位置随时间的变化或变化率随时间的变化地加权分布。屈曲通常被定义为手掌向身体侧移动的手的动作，伸展通常被描述为手掌远离身体侧移动的手的动作。外展通常被定义为手掌向小指侧移动的手的运动，内收通常被定义为手掌向拇指侧移动的手的运动。手指屈曲定义为手指朝向手腕的运动，而伸展则定义为手指伸直。
关于身体上的任何点，运动可以被表征为沿着任意X、Y或Z轴的绝对运动或相对运动，围绕轴线θ、γ或φ的任何旋转，任何点或点集的位置随时间的变化，以及运动或旋转的变化率随时间的变化。除了基于压力的传感器阵列外，还可以将诸如加速度计、回转仪和磁力计的附加组件并入控制装置中，并随时间进行类似的变化测量、变化率出测量和变化率的变化测量。在优选实施例中，三个加速度计、三个回转仪和三个磁力计与至少八个用于生成独特的压力分布的基于离子的压力传感器结合在一起。绝对或相对运动的组合可以与绝对或相对压力的变化相结合，以创建高选择性和高特异性的运动和基于压力的命令，该命令被转换为特定输出，例如用于配套装置的命令或控制功能。
肘部和肩部的大多数运动，在某些情况下，用户的动作对手和手腕没有明显的压力影响，例如沿X、Y或Z轴的位移，包括一定程度的线性或弓形运动或旋转，我们可以作为独立的量度进行分析。一些用户动作，例如手的内旋转和外旋转、手掌向上或向下，因为压力和旋转变化都可以在皮肤表面使用压力阵列检测到。结合了肢体的运动和旋转的姿势组合产生更多的不同位置状态和特征运动的选择，可以对这些姿势组合进行分析和评分。例如，拇指向上位置、拇指侧位置和拇指向下位置都是不同的位置状态和旋转，其中如本文所述的压力传感器和运动传感器的组合可以产生压力信号和运动信号。重复姿势(例如，食指和拇指一起轻敲两次)可以为任何动作或姿势的诠释提供更高的准确性，并增加压力分数的信号成分，区别于其他被恰当表征为噪声的常见动作。
在操作中，最终结果是在用户身体的一个区域周围感测到的压力变化被转换为用于诸如图像或视频显示控制器、游戏机控制器或计算机用户界面的配套装置的命令。如用户所知，身体动作瞬时被转换为任何配套装置的可识别命令。因此，当用户执行姿势时，基本组织的组成在传感器阵列上施加独特且特征性的压力分布，压力传感器阵列，可能与其他运动感测部件结合，将姿势转换为在配套装置中立即执行的特定命令。
控制装置或配套装置包括逻辑电路，用于比较任何值、一组值或对存储的参考值或比较值进行评分，可选地将其视为阈值，以确定身体动作对应于与特定控制命令配对的存储的身体动作参数。如果确定身体动作与所存储的值、分布或分数匹配，则控制装置生成预定命令。例如，任何前臂/手腕、手或手指姿势都可以依赖于特定压力检测特征的生成，前臂、手腕、手或手指或任何离散的生理结构的运动集合可以被分离，使得手在任何手指子集中的运动可以与不同的手指子集中的运动以及相似或不同的手势区分开来。以这种方式，任何单独的生理部件，其位置或运动都可以被分配为空集合或控制值，任何生理结构的单独运动指示特定控制或命令的控制装置的输出。
定量测量中的等效区别也可以基于绝对或相对时间特征，使得任何压力读数的绝对或相对值可以与任何其他测量一起或分开表达或分析为时间的函数。以这种方式，可以为任何特定的压力传感器的读数、分布或分数确定时间间隔T1，使得从时间点T12到时间点T2的时间间隔中的差异仅确定来自控制装置的输出中的差异。换句话说，较慢的动作与较快的动作是有区别的，进行任何动作或位置改变所需的时间之间的差异本身可导致命令控制的退化。
如上所述，控制装置的逻辑电路可适于过滤由诸如脉冲产生的外部压力产生的噪声信号，包括随时间变化的心率、呼吸、血流或其他自主功能。为此，控制装置可以接受来自参考传感器的输入，该参考传感器被特别定位以解释与主传感器阵列信号分离的噪声。控制装置还可以包括用于将压力传感器阵列输出发送到位于配套装置或其他地方的逻辑电路，使得压力传感器阵列数据可以被进一步处理以生成如本文所述的命令和控制信号。在这样的实施例中，配套装置包括相应的接收单元，使得配套装置与控制装置彼此无线通信。
在本发明的方法中，压力传感器阵列基于定量的压力传感器数据，在测量来自任何加速度计、回转仪或磁力计的任何信号之前，首先测量起始、静止或原始的第一位置。随后，确定并量化由用户身体的动作引起的压力传感器阵列值相对于第一位置的变化，并可选地与来自任何加速度计、回转仪或磁力计的输入相结合。随后，在过渡运动阶段之后，针对不同于第一位置的不同的第二位置，确定压力传感器数据或压力传感器数据的变化。测量第一位置、过渡阶段或第二位置之间的差异，并将其与用户身体的位置或动作相关联。例如，如果身体动作是包括整只手的运动或一部分手的运动(例如一个或多个手指相对于手的另一部分的运动)的手部动作，基于压力传感器值的差异来确定手的位置差异，或比较分数被确定为指示预定的手部运动，并由控制装置1发送到由手部运动控制的配套装置。
该方法可以包括终止或验证步骤，其中向用户提供显示装置或感官输入，以确认或否认由用户执行的姿势生成了正确的命令或控制指令。一旦用户做出选择，将忽略姿势，并且逻辑电路将丢弃从第一位置通过过渡阶段到第二位置的测量数据。如果确认姿势，则执行命令或控制。
通常，来自加速度计、回转仪和磁力计的信号独立于压力阵列产生的信号，但可以与压力阵列数据一起分析，以产生控制装置的输出。在某些情况下，压力传感器和位置传感器可以连接在一起并评分。例如，主要是肘部和肩部的用户运动导致压力传感器中的信号较少，运动传感器中的信号较多，而手部运动导致压力传感器中的信号较多，运动传感器中的信号较少。一个重要的例外是手的内部/外部旋转(向上或向下)，由肘部的旋转引起，其中布置在手腕上的压力阵列上的压力变化可能会产生大于基于动作的信号的主要信号。
尽管在上述实施例中，检测到的身体动作被用于控制配套装置，在一些实施例中，身体动作可以被用于控制控制装置本身，例如使装置通电或断电，或启动与配套装置的通信。
具体地参考图1，六个单独的度量(G0-G5)表示本发明的控制装置的定量压力检测数据分布的各个元素。基于各个度量G0-G5的各个幅度的度量组合基于从传感器阵列输入的特定的单个压力值产生唯一的定量的姿势检测分数，并且可根据单个度量G0-G5的贡献大小的任意组合反映为一个区域。在图1中，各个度量的组合由围绕图形中心点布置的阴影区域显示。本领域技术人员将理解，仅出于方便起见选择该图形和单个度量G0-G5的具体表示，并且任何相似的图形都可以传达基于人类各个度量的多个测量的组合分数的相同概念。此外，如图1所示的各个度量的特定数量仅是代表性的。与传感器的总数无关，可以选择不同数量的单独的度量。因此，单独的度量的数量可以小于、等于或大于传感器的总数。
在任何配置中，各个度量的输入可以用于基于度量的单个或集体贡献来生成定量分数。此外，可以对各个度量的贡献进行加权，使得一个或多个度量或多或少地对最终分数有所贡献。更进一步，可以随时间分析每个单独的度量，以确定度量随时间的变化，包括任何单独的度量或度量集合随时间的变化率。图1的示例显示了来自压力传感器数据的六个单独的度量G0-G5。另外，可以将非压力数据的单独的传感器集成到分布中，以改变X-Y平面中分布形状，或者可以提供其他部件(例如页面平面之外的Z方向)以进一步增强功分布。如上所述，在任何度量变化中，包括它们的绝对值或相对值、值的变化、值的变化率、变化率的变化，分布可以是静态的或动态的，并且与姿势或姿势组合相关联。
可以对运动，范围或运动模式的任何绝对或相对测量值进行分析，并用于生成定量分数，该分数既可以单独反映出组合压力测量，又可以与先前的单个动作或组合动作集相比较。可以将单个或集体动作分数与用户执行的动作类型相关联，这些动作类型具有用户要执行的功能的特征或者用户要控制配套设备的控制或命令的特征。
通常，单个度量将不会与特定数量的传感器或特定解剖结构(如肌腱)一对一地匹配，由于每个度量可能是来自一个或多个压力传感器的贡献，组合度量反映了组合的压力分布，该组合的压力分布有来自多个解剖结构的组合贡献。可识别与特定的单个或离散动作、动作范围或动作组合集或动作子集相对应的压力分布分数，并将其用于建立动作模式或与预先存在的模式的偏离。
具体参考图2，人体手腕的横截面显示了包括14个肌腱T1-T14、桡骨和尺骨以及软骨、间质组织、神经和关节等其他内部解剖结构在内的各个生理结构的位置和方向。多个单独的压力传感器的放置与手腕的外皮肤层紧密一致地贴合，基于前臂、手腕、手和手指的不同构造和动作生成独特的定量的压力分布。由于大量的解剖结构以及它们在人类用户动作范围内的独特的位置和方向，皮肤表面压力变化可能会有巨大的变化，使得能够通过放置足够多的具有足够的选择性和灵敏度来检测这些变化的压力传感器来进行精确测量。
如上所述，可以将本发明的压力传感器阵列并入围绕肢体(例如手腕)的带状结构中，以将传感器放置在能够检测到皮肤表面压力变化所反映的基本生理结构运动的位置。如图2所示，如下面更详细的描述，肌腱、骨骼和其他生理结构在水平或垂直方向上的分布并不均匀。类似地，当一个人向上或向下移动手臂时，各个结构的位置和形状发生变化，因此围绕手腕的束带的位置对于用户而言可能是高度独立的。阵列中压力传感器的选择和定位可根据每个肌腱、骨骼或其他结构的特定位置进行定制，以专门检测某些运动的位置差异。
从传感器的相对位置可以明显看出，从单个传感器读取的压力将反映在传感器和与传感器一致贴合的皮肤区域之间的接触点附近的生理结构。由于手腕中的生理结构相对于皮肤的外表面并非对称地定向，因此各个传感器必定会反映来自肌腱、骨骼、肌肉和任何其他对传感器产生压差的结构的不同组合的压力变化。因此，传递给单个传感器的压力数据对于其在手腕的圆周外部周围的位置可能是唯一的。因此，在其中布置传感器的束带被设计成在每次单独使用时都以相同的方向围绕手腕放置。例如，束带可以具有使端部与皮肤的外表面保持一致接合的张紧元件，用于使传感器阵列的定位定向，使得各个传感器重复地感测生理结构的相同组合，从而传感器阵列数据分布在重复使用时会产生类似的数据，因此数据传感器分布可以存储在数据存储元件中，以供比较各个用户使用。
具体参照图3A和3B，控制装置10包括多个传感器，其在图3A中编号为1-8，在图3B中编号为1-16，以及用于容纳数据存储器、电源和逻辑电路的外壳或壳体11，以检测和分析本文所述的独特压力特征。参照图3A，传感器阵列20包括与用户的肢体的外表面紧密一致地贴合的单个传感器的集合1-8。如上所述，传感器阵列优选地布置在具有用于保持传感器阵列与皮肤的外表面之间的接触的张紧元件的束带中，以最大程度地检测围绕阵列的每个点处的压力变化。与表带一样，束带和张紧元件的设计将传感器阵列重复放置在相对于用户的基础生理结构的相同位置，以便每次后续使用都可以可靠地比较先前使用或校准的压力传感器数据分布，以准确地诠释用户的姿势。
在图3A的实施例中，除了壳体11占据的部分以外，传感器围绕肢体的整个圆周，因此假设壳体与任何单个传感器的尺寸大致相等，传感器围绕肢体的大约320°。图3A的实施例表示布置在表带中的传感器阵列20的可识别示例，其中，手表元件的功能部分布置在壳体11中，其附着或结合到表带中，如同传统手表或数字手表那样。优选地，传感器围绕至少180°、200°、220°、240°、260°、280°、300°、320°、340°和360°。传感器的数量可以大、等于或小于肌腱的数量。假设如图2所示存在14个肌腱，图3A实施例中的8个传感器中的每个传感器都从一个以上的肌腱以及下伏骨、韧带、关节、硬膜下组织和血管系统接收压力数据。此外，尽管图3A和图3B中的阵列20中的各个传感器在尺寸上基本相等并且在围绕肢体等间距分布，其他实施例也可以包括具有不同尺寸且其围绕肢体的间隔是偏心的的传感器，以利用可能由手腕周围不同点的基本生理结构引起的独特的压力传感器。
具体参考图3B的实施例，传感器阵列20包括围绕用户的整个肢体的16个单独的传感器1-16，使得壳体11与皮肤层分开并且沿着传感器阵列20的一个或多个部件的表面布置。因此，传感器阵列围绕肢体的圆周的覆盖是360°。如上所述，在本实施例中，传感器1-16的数量超过14个单独的肌腱，并且由于可以指定不止一个传感器来诠释从单个肌腱输入的传感器数据，控制装置10的选择性和特异性增加。这种构造增加了阵列的灵敏度和特异性，在诠释基于压力的单个分布方面，提高了阵列的精度。此外，随着传感器阵列20中的各个传感器T1-Tn的数量增加，可以检测和分析用户的动作的较小变化，以产生更精确的压力特征分布，并且可以检测到更精细的动作和姿势。
具体地参考图4，可以通过简单的压力变化来检测人体肢体的正常运动，该压力变化反映在传感器阵列的输出中，并且与基于阵列输入的明显和已识别的变化的多个动作或姿势相关联。具体地关于手臂、手和手腕的动作，可以检测到由于手臂、手和手腕的这种单独和集体动作而导致的检测到的压力变化，并将其与各个运动分量相关联。运动的各个分量可以单独或集体地表征为屈曲、伸展、外展和内收以及每个测量的组合，并且可选地被描述为具有对每个动作、位置、动作或位置随时间变化或变化率随时间变化的加权分布的分数。手臂、手和手腕运动的每个不同组合都会生成特定动作或姿势的可识别地压力数据分布特征，可用于生成至配套装置的输出信号，或被存储以供进一步分析，与未来的动作或姿势集进行比较，或用作校准程序的一部分。
再次参考图4，屈曲通常被定义为手掌向身体侧移动的手的动作，伸展通常被描述为手掌远离身体侧移动的手的动作。外展通常被定义为手掌向小指侧移动的手的运动，内收通常被定义为手掌向拇指侧移动的手的运动。手指屈曲定义为手指朝向手腕的运动，而伸展则定义为手指伸直。“N”表示解剖结构的取向处于中性状态或位置。1级压力分布最容易检测到，包括手臂运动、手掌屈曲或伸展以及通过手指动作检测到的手张开或闭合。2级动作变化更难检测到，包括手掌的内收或外展。3级压力信号更难检测，需要区分手指的各个动作。
如所指示的，测量拇指和食指之间的差异，与其他手指或解剖结构一起或分开地测量，允许压力数据分布区分形成“okay”信号、指出食指、给出“好”或“大拇指”手势、伸出食指、或形成用手指和手掌“握枪”，以及打开或关闭手掌。如上所述，每组动作产生的压力数据分布可以转换为输出信号，存储或用作分析或校准过程的一部分，其中存储由一系列动作产生的压力数据分布，并用于与导致输出信号和配套装置的确定结构的未来动作进行比较。例如，可以指示希望发出“竖起大拇指”手势来激活计算机终端的用户重复执行该结构，以便压力传感器阵列测量动作特征集，以生成特定于该用户且特定于由用户手腕生理结构的选定动作而导致的测量压力差异的压力数据分布。一旦收集到足够的数据基线，便会对设备进行功能校准，以便识别用户未来的特征动作或姿势并将其转换为输出信号。
参考图5，简单的命令列表显示了如何使用手腕、手和手指的单个动作将单个功能分配给诸如游戏控制器、计算机鼠标的配套装置，或在软件程序(如
Figure BDA0002443975390000221
)中生成单个命令。以图5中间栏的计算机鼠标为例，张开手给出了“拖动并释放”质量控制器突出显示的字段的指令。闭合手命令拖动字段，而手的屈曲表示“撤消”或“后退”，而手的伸展表示“前进”。使用拇指和食指形成一个圆会产生“左键单击”的输出信号、命令或控制，而用拇指和无名指形成一个圆会导致“右键单击”。外展或内收分别生成用于向上翻页或向下翻页的控制命令。
参照图6，图6是示出跨过右手腕并如图2和图3A-3B所示标为T1-T14的14条独立肌腱的生理界面压力的代表性变化的图表。尽管编号和方向是任意的，但是在图6中描述的压力信号、动作检测和姿势命令明细表中以及在图3B的示例性装置中，压力传感器使用箭头指示的五种压力变化类别测量和量化手腕/前臂掌侧屈肌和手腕/前臂背侧肌腱伸肌的肌腱1-6的变化。通过这些标准来测量针对特定用户动作的14个肌腱中的每个肌腱的检测到的压力变化的广泛范围，并将其转换为姿势。参考图6的各个方框，空白字段表示压力没有变化，单个向下箭头指示压力值减小很小，两个向下箭头指示压力值减小较大，单个向上箭头指示压力值小的增加，以及两个向上箭头指示压力值增加较大。通过将特定变化与每个肌腱处的压力相关联，检测和分析由多个压力变化数据组成的压力数据分布，以进行模式识别和与不同姿势的关联。左轴包含至少11个单独方向或命令-控制功能的示例，这些方向或命令-控制功能可以分配给所测量的跨肌腱压力变化的特定组合。
因此，对于张开手的姿势，如图3B所示的压力传感器阵列20检测到肌腱1的大的压力增大，检测到肌腱2-4的小的压力增大，检测到肌腱5-10的大的压力增大，检测到肌腱11-13的小的压力减小，以及检测到肌腱14的大的压力增大。对于左栏中显示的其余姿势，可以在14个肌腱上关联类似的压力变化。尽管编号和方向是任意的，但是在图6中所示的压力信号、动作检测和姿势命令明细表中以及在图3B的示例性设备中，压力传感器生成特定的压力数据分布，该分布被进一步处理并可以转换为输出到配套装置的信号。如上所述，由于用户的个体生理学和所选择的动作是该个体独有的，因此可以使用独特的压力传感器数据来生成该个体的动作或姿势所独有的压力数据分布。因此，在实践中，做出相同“okay”手势的同一个人将产生与另一个人明显不同的压力数据分布。这些差异可用于出于安全目的识别个人，并激活唯一的标识符，例如登录、密码、锁以及需要个人识别的任何其他机制。重要的是，与诸如键盘或鼠标之类的传统输入设备不同，仅从贴在用户肢体上的传感器阵列检测姿势，因此用户与输入设备之间无需物理接触。当集成到手表中时，单个姿势也可以操作手表的任何功能，包括发送或接收消息、拨打或接听电话、激活电子设备和用户界面的指令，以及通过简单手势根据用户独有的个性化压力数据分布生成输出信号以控制各种电子设备。
尽管已经参考附图充分描述了所公开的示例，但是应当注意，各种改变和修改对于本领域技术人员将变得显而易见。这样的改变和修改应被理解为包括在由所附权利要求限定的所公开示例的范围内。

Claims (17)

1.一种用于检测用户动作的装置，包括：
压力传感器阵列，其包括围绕支撑带间隔开的多个单独的压力传感器，所述支撑带具有用于围绕所述用户的肢体使所述传感器与皮肤保持接触的张紧元件，其中，所述多个传感器围绕所述带间隔开，以检测由所述用户动作引起的压力变化；以及
由所述传感器阵列检测到的由所述用户动作引起的压力数据分布，其中，所述压力数据分布包括多个皮肤压力测量值。
2.根据权利要求1所述的装置，其中，所述压力传感器阵列包括至少六个单独的压力传感器，所述至少六个单独的压力传感器布置在带的内表面上，所述带的大小为周向地围绕人的手腕。
3.根据权利要求1所述的装置，还包括数据存储单元，所述数据存储单元包含来自所述用户的所述压力数据分布，所述压力数据分布包括与所述用户的特定姿势相关联的压力数据分布的变化。
4.根据权利要求1所述的装置，其中，至少四个单独的传感器围绕所述带以与人的手腕中至少四个分开的肌腱的位置相对应的方向间隔开。
5.根据权利要求3所述的装置，其中，所述压力数据分布包括与所述用户的手臂和手指的动作相关联的压力传感器阵列数据。
6.根据权利要求1所述的装置，其中，所述压力数据分布包括灵敏度小于1mmHg的压力测量值。
7.根据权利要求1所述的装置，还包括选自由光学传感器、回转仪、磁力计和加速度计及其组合组成的群组的单独的传感器，其中，所述压力数据分布还包括来自所述单独的传感器的数据。
8.根据权利要求2所述的装置，其中，所述阵列的各个传感器是高度小于1.5mm的离子传感器。
9.如权利要求1所述的装置，还包括配套装置，所述配套装置选自数字手表、数字电话、计算机、视频游戏控制器、数字锁定机构或其组合。
10.一种将用户的识别姿势转换为配套装置的控制信号的方法，包括：
生成由压力传感器阵列检测的所述用户的所述识别姿势所引起的压力数据分布输入，所述压力传感器阵列包括围绕所述用户的肢体与皮肤接触的多个单独的压力传感器，
将来自所述识别姿势的所述压力数据分布输入关联到输出信号；
将所述输出信号发送到配套装置，以使所述配套装置执行与所述用户的所述识别姿势相关联的功能。
11.根据权利要求10所述的方法，其中，生成压力数据分布的步骤包括：
测量至少六个单独的压力传感器值，所述压力传感器值来沿圆周布置在人的手腕的皮肤周围并与之接触的压力传感器。
12.根据权利要求10所述的方法，其中，所述关联步骤包括：
将所述压力数据分布输入与对应于所述用户的所述识别姿势的存储压力数据分布进行比较。
13.根据权利要求11所述的方法，其中，将所述输入压力数据分布与所述存储压力数据分布进行比较的步骤包括：
比较所述使用者的手指和肌腱的第一次动作引起的压力变化与所述使用者的手指和肌腱的第二次动作引起的压力变化。
14.根据权利要求11所述的方法，其中，所述输入压力数据分布包括邻近所述用户的至少四个单独的肌腱的皮肤处的来自至少四个传感器的压力测量值，所述至少四个传感器围绕与所述用户的所述手腕保持贴合的束带间隔开。
15.根据权利要求11所述的方法，其中，所述输入压力数据分布具有小于1mmHg的灵敏度。
16.根据权利要求11所述的方法，其中，所述输入压力数据分布还包括选自光学传感器、回转仪、磁力计和加速度计以及其组合的单独的传感器的输入。
17.根据权利要求11所述的方法，其中，所述生成用于控制所述配套装置的输出信号的步骤包括：
生成将单个用户与其他用户区分开来的数据成分，使得所述配套装置将在没有所述单个用户的数据成分的情况下不工作。
CN201880065882.6A 2017-10-09 2018-10-09 基于可穿戴压力传感器阵列的人体动作和位置感测、识别与分析 Pending CN111565637A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762570058P 2017-10-09 2017-10-09
US62/570,058 2017-10-09
PCT/US2018/055090 WO2019074978A1 (en) 2017-10-09 2018-10-09 DETECTION, RECOGNITION AND ANALYSIS OF BODY MOVEMENT AND POSITION FROM A PRESSURE SENSOR ARRAY THAT CAN BE USED

Publications (1)

Publication Number Publication Date
CN111565637A true CN111565637A (zh) 2020-08-21

Family

ID=65993497

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880065882.6A Pending CN111565637A (zh) 2017-10-09 2018-10-09 基于可穿戴压力传感器阵列的人体动作和位置感测、识别与分析

Country Status (3)

Country Link
US (2) US10928905B2 (zh)
CN (1) CN111565637A (zh)
WO (1) WO2019074978A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112021023351A2 (pt) * 2019-05-28 2022-01-04 Humain Solutions Ug Haftungsbeschraenkt Interface homem-máquina vestível, e, método para detectar uma deformação da superfície de uma área de pele de um corpo humano ou animal
US20210109597A1 (en) * 2019-10-11 2021-04-15 Zhengwei Zhai System and method for recognizing gestures through multi-point force distribution change map

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120280905A1 (en) * 2011-05-05 2012-11-08 Net Power And Light, Inc. Identifying gestures using multiple sensors
US20150301608A1 (en) * 2014-04-22 2015-10-22 Samsung Electronics Co., Ltd. Method of providing user interaction with a wearable device and wearable device thereof
WO2017111972A1 (en) * 2015-12-22 2017-06-29 Intel Corporation System and method to collect gesture input through wrist tendon and muscle sensing
US20170188895A1 (en) * 2014-03-12 2017-07-06 Smart Monitor Corp System and method of body motion analytics recognition and alerting
CN107145236A (zh) * 2017-05-12 2017-09-08 中国科学技术大学 一种基于腕部肌腱压力相关特性的手势识别方法及系统

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5880411A (en) * 1992-06-08 1999-03-09 Synaptics, Incorporated Object position detector with edge motion feature and gesture recognition
US7532205B2 (en) * 1992-06-08 2009-05-12 Synaptics, Inc. Object position detector with edge motion feature and gesture recognition
US7911456B2 (en) * 1992-06-08 2011-03-22 Synaptics Incorporated Object position detector with edge motion feature and gesture recognition
US5471405A (en) * 1992-11-13 1995-11-28 Marsh; Stephen A. Apparatus for measurement of forces and pressures applied to a garment
DE69908126T2 (de) 1998-09-09 2005-06-09 Helen Marcoyannopoulou Fojas Vorrichtung zur bestimmung der elastizität einer arterienwand
US20040030581A1 (en) * 2002-06-12 2004-02-12 Samuel Leven Heart monitoring device
EP1615541A4 (en) 2003-04-03 2009-05-27 Univ Virginia SYSTEM AND METHOD FOR PASSIVE MONITORING OF ARTERIAL PRESSURE AND PULSE FREQUENCY
US20100058834A1 (en) 2008-09-09 2010-03-11 Honeywell International Inc. Method and apparatus for low drift chemical sensor array
GB0821084D0 (en) 2008-11-18 2008-12-24 King S College London Apparatus and method
US9086875B2 (en) * 2009-06-05 2015-07-21 Qualcomm Incorporated Controlling power consumption of a mobile device based on gesture recognition
EP2506760B1 (en) 2009-12-03 2015-09-16 Deltex Medical Limited Method and apparatus for hemodynamic monitoring using combined blood flow and blood pressure measurement
JP5101659B2 (ja) 2010-05-25 2012-12-19 株式会社東芝 血圧センサ
US9596988B2 (en) * 2011-10-12 2017-03-21 Purdue Research Foundation Pressure sensors for small-scale applications and related methods
US10223710B2 (en) * 2013-01-04 2019-03-05 Visa International Service Association Wearable intelligent vision device apparatuses, methods and systems
US20130331993A1 (en) * 2012-06-11 2013-12-12 Richard Mark Detsch Ergonomic computer workstation to improve or maintain health
US20140129239A1 (en) * 2012-11-06 2014-05-08 Aliphcom General health and wellness management method and apparatus for a wellness application using data associated with a data-capable band
US9704209B2 (en) * 2013-03-04 2017-07-11 Hello Inc. Monitoring system and device with sensors and user profiles based on biometric user information
WO2014169119A1 (en) 2013-04-10 2014-10-16 President And Fellows Of Harvard College Stretchable ionics for transparent sensors and actuators
US20150124566A1 (en) * 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US9218034B2 (en) * 2014-02-13 2015-12-22 Qualcomm Incorporated User-directed motion gesture control
US9594427B2 (en) * 2014-05-23 2017-03-14 Microsoft Technology Licensing, Llc Finger tracking
CN104199566B (zh) 2014-08-21 2017-04-05 三星电子（中国）研发中心 一种笔迹同步的装置及方法
JP2018506773A (ja) * 2014-12-16 2018-03-08 ソマティクス， インコーポレイテッド ジェスチャベースの行動を監視し、それに影響を与える方法およびシステム
WO2016108938A1 (en) * 2014-12-29 2016-07-07 Loop Devices, Inc. Functional, socially-enabled jewelry and systems for multi-device interaction
US9811165B2 (en) * 2015-03-11 2017-11-07 Samsung Electronics Co., Ltd. Electronic system with gesture processing mechanism and method of operation thereof
JP6540397B2 (ja) 2015-09-07 2019-07-10 オムロンヘルスケア株式会社 圧脈波センサの検査方法及び圧脈波センサの製造方法
US11707216B2 (en) * 2016-07-21 2023-07-25 Comcast Cable Communications, Llc Recommendations based on biometric feedback from wearable device
US9730494B1 (en) 2016-09-23 2017-08-15 Feinstein Patents, Llc Self-fitting, self-adjusting, automatically adjusting and/or automatically fitting shoe/sneaker/footwear

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120280905A1 (en) * 2011-05-05 2012-11-08 Net Power And Light, Inc. Identifying gestures using multiple sensors
US20170188895A1 (en) * 2014-03-12 2017-07-06 Smart Monitor Corp System and method of body motion analytics recognition and alerting
US20150301608A1 (en) * 2014-04-22 2015-10-22 Samsung Electronics Co., Ltd. Method of providing user interaction with a wearable device and wearable device thereof
WO2017111972A1 (en) * 2015-12-22 2017-06-29 Intel Corporation System and method to collect gesture input through wrist tendon and muscle sensing
CN107145236A (zh) * 2017-05-12 2017-09-08 中国科学技术大学 一种基于腕部肌腱压力相关特性的手势识别方法及系统

Also Published As

Publication number Publication date
WO2019074978A1 (en) 2019-04-18
US20210173481A1 (en) 2021-06-10
US10928905B2 (en) 2021-02-23
US20190107887A1 (en) 2019-04-11

Similar Documents

Publication Publication Date Title
US11931178B2 (en) Wearable device for healthcare and method thereof
US9999391B2 (en) Wearable electromyogram sensor system
EP3411772B1 (en) Wearable controller for wrist
CN104665820B (zh) 可穿戴式移动装置以及使用其测量生物信号的方法
CN109804331B (zh) 检测和使用身体组织电信号
Esposito et al. A piezoresistive array armband with reduced number of sensors for hand gesture recognition
US11185739B2 (en) Electronic device, and method for providing personalised exercise guide therefor
EP3065628B1 (en) Biomechanical activity monitoring
JP2017514657A (ja) ウェアラブル電子機器
Zheng et al. An emerging wearable world: New gadgetry produces a rising tide of changes and challenges
JP7265741B2 (ja) ウェアラブルデバイス
CN107427239A (zh) 将压力换能到非侵入性脉搏的传感器
US11281301B2 (en) Wearable controller for wrist
US20210173481A1 (en) Body motion and position sensing, recognition and analytics from an array of wearable pressure sensors
US20190320944A1 (en) Biomechanical activity monitoring
Banissi et al. QL-282-Emerging medical sensory technology
JP2023135632A (ja) 手のマルチモーダル生体測定装置からのユーザ入力の検出
CN116774816A (zh) 从多模式的手部生物测量中检测用户输入

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200821