CN117687477A - 用于可穿戴设备的姿势控制接口的方法和装置 - Google Patents

用于可穿戴设备的姿势控制接口的方法和装置 Download PDF

Info

Publication number
CN117687477A
CN117687477A CN202311690905.1A CN202311690905A CN117687477A CN 117687477 A CN117687477 A CN 117687477A CN 202311690905 A CN202311690905 A CN 202311690905A CN 117687477 A CN117687477 A CN 117687477A
Authority
CN
China
Prior art keywords
gesture
user
sensor
signal
sensors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311690905.1A
Other languages
English (en)
Inventor
居伊·瓦格纳
利奥尔·朗格尔
阿希尔·达汉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wearable Devices Ltd
Original Assignee
Wearable Devices Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/202,750 external-priority patent/US9720515B2/en
Application filed by Wearable Devices Ltd filed Critical Wearable Devices Ltd
Publication of CN117687477A publication Critical patent/CN117687477A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/02—Devices for Braille writing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information

Abstract

本发明公开了用于可穿戴设备的姿势控制接口的方法和装置。姿势控制接口装置包括一个或多个生物电势传感器和一个处理器。一个或多个生物电势传感器可穿戴在用户的身体上，用于检测来自用户身体的一个或多个生物电信号，其中，一个或多个生物电势传感器包括至少一个表面神经传导(SNC)传感器，用于检测至少一个表面神经传导信号。处理器被配置为将检测到的至少一个表面神经传导信号与对应于多个已知姿势的多个参考信号的数据进行比较，每个参考信号与其中一个已知姿势明显相关联，以便从多个已知姿势识别与至少一个表面神经传导信号相对应的已知姿势，并将所识别的已知姿势传达到计算机化设备。

Description

用于可穿戴设备的姿势控制接口的方法和装置
本申请是分案申请，其母案申请的申请号201710543994.5，申请日为2017年7月5日，发明名称为“用于可穿戴设备的姿势控制接口的方法和装置”。
相关申请的交叉引用
本申请是于2015年1月2日提交的美国专利申请No.14/588,592的部分继续申请，以及请求2015年1月2日提交的美国专利申请No.14/588,592的优先权的于2015年12月31日提交的国际专利申请No.PCT/IL2015/051273的部分继续申请，两者均通过引用并入本文。
技术领域
本发明涉及可穿戴设备。更具体地，本发明涉及用于可穿戴设备的基于生物电势的接口。
背景技术
自然语言对于人类通信是直观的。它依赖于口语，但它是潜意识地基于身体和手势，其中由旁观者提供恒定的反馈，例如经由微妙的肢体语言，对说话者做出反应。另一方面，人类计算机接口并不是基于微妙的人类技能，因此与人类口语和肢体语言相比，这是非常麻烦和不直观的。自然直观交流的另一个实例是诸如小提琴或钢琴的乐器，音乐家使用诸如移动的姿势来产生也被用作听觉反馈的声音。在这样的系统中，训练有素的音乐家可没有眼神接触地弹奏乐器，这样的反馈增加了学习速度。
多年来，人机交互主要使用标准的“QWERTY”键盘进行，屏幕为用户提供键盘(和鼠标)输入的视觉反馈。随着计算机化设备技术的不断完善，这些键盘现在已成为繁琐的通信手段。目前，智能接口领域最重要的发展是基于使用相机和视频分析的计算机视觉。但是，由于视觉数据的复杂性，这种方法受到限制。
近年来，触摸屏接口已经成为用于向计算机输入文本或给出一般指令的最常见的解决方案之一，由此触摸屏替代了标准键盘和鼠标。但是，使用触摸屏需要将眼睛和手指全部集中在屏幕上，当前不需要直接观看屏幕的接口还是不可获得的。
为了寻求用于人机交互的更直观的手段，近年来已经可获得诸如(使用内置麦克风和/或相机)语音识别和姿势识别的其他解决方案；但是，这些解决方案无法提供对输入的准确解释。语音识别基于(在没有一组附加信号的情况下)不能被轻易解译的一个信号，而姿势识别基于计算机视觉，因此对许多环境参数高度敏感。
已经从医疗应用(诸如假体生物力学解决方案)转变为通用人机接口的附加解决方案是基于表面肌电图(sEMG)的设备，提供对基本命令的粗略手势(例如对假体抓握的控制)的识别，其中sEMG传感器位于肘部附近。但是，这样的装置不能容易地检测手的微妙移动，例如单个手指的移动，因此不能有效地用作更宽范围姿势的接口。另外，这样的装置需要sEMG传感器阵列位于肘部稍低的位置，这对大多数用户来说是不方便的，因此在医疗界以外不被广泛接受。其他设备适用于视障者，并具有物理盲文显示，但它们不提供基于sEMG的接口，因此无法检测姿势。US 8,447,704描述了一种用于基于sEMG信号识别预定义的一组一般姿势的接口。
因此，需要一种用于计算机化机器的高效和直观的用户接口，其可基于EMG信号识别(由用户定义的)不同类型的微妙姿势。此外，随着物联网(IoT)适用设备的发展，特别是可穿戴的智能手表，基于屏幕的计算机接口由于难以闭合用户和计算机化设备之间的反馈环路，对于复杂的交互变得越来越小，越来越不方便。
发明内容
因此，根据本发明的一些实施例，提供了包括一个或多个生物电势传感器和处理器的姿势控制接口装置。所述一个或多个生物电势传感器可穿戴在用户的身体上，用于检测来自用户身体的一个或多个生物电信号，其中，所述一个或多个生物电势传感器包括至少一个表面神经传导(SNC)传感器，用于检测至少一个表面神经传导信号。所述处理器被配置为将检测到的至少一个表面神经传导信号与对应于多个已知姿势的多个参考信号的数据进行比较，每个参考信号与其中一个已知姿势明显相关联，以便从所述多个已知姿势识别与所述至少一个表面神经传导信号相对应的已知姿势，并将所识别的已知姿势传达到计算机化设备。
根据本发明的一些实施例，该装置被配置成装配到用户的手腕上，其中至少一个SNC传感器被配置为检测来自手腕中的神经束的电信号。
根据本发明的一些实施例，该装置包括至少一个运动传感器，被配置为检测身体的移动，并且所述处理器被配置为使用检测到的移动来识别已知姿势。
根据本发明的一些实施例，该装置包括触觉致动器，被配置为当所识别的已知姿势登记在计算机化设备中时，在用户的身体上激活触觉反馈。
根据本发明的一些实施例，所述处理器被配置为通过使用一个或多个生物电信号来训练用于用户的身体的数据，以将至少一个表面神经传导信号与多个已知姿势中的每一个相关联。
根据本发明的一些实施例，一个或多个生物电势传感器选自由表面肌电图(sEMG)传感器、电容肌电图(cEMG)传感器和皮肤电导率传感器组成的组。
根据本发明的一些实施例，所述处理器被配置为通过将具有表面神经传导(SNC)母小波的离散小波变换(DWT)应用到所述检测到的一个或多个生物电信号，来从所述检测到的一个或多个生物电信号滤除肌电图(EMG)噪声信号。
根据本发明的一些实施例，所述识别的已知姿势包括将至少两个手指压在一起，并且所述处理器被配置为通过评估包括与施加在所述至少两个手指之间的压力成比例的振幅和频率的所述至少一个检测到的表面神经传导信号来识别所述至少两个手指压在一起。
根据本发明的一些实施例，所述处理器被配置为估计在所述至少两个手指之间施加的压力。
根据本发明的一些实施例，进一步提供了一种方法，用于姿势控制接口装置和计算机化设备之间的通信，所述方法包括：检测来自置于用户身体上的一个或多个生物电势传感器的一个或多个生物电信号，其中，所述一个或多个生物电势传感器包括至少一个表面神经传导(SNC)传感器，用于检测至少一个表面神经传导信号。使用处理器，将所述检测到的至少一个表面神经传导信号与对应于多个已知姿势的多个参考信号的数据进行比较，每个所述参考信号与其中一个所述已知姿势明显相关联。从所述多个已知姿势识别与所述至少一个表面神经传导信号相对应的已知姿势。将所述识别的已知姿势传达到计算机化设备。
根据本发明的一些实施例，识别所述已知姿势包括对所述检测到的至少一个表面神经传导(SNC)信号进行去噪，检测所述至少一个SNC信号中的事件，应用分段以确定所述检测到的事件的一个或多个帧，提取所述一个或多个帧内的统计特征，以及将基于所述数据的分类算法应用于所述提取的统计特征，以便确定所述已知姿势。
根据本发明的一些实施例，所述已知姿势包括将至少两个手指压在一起，并且其中，识别所述至少两个手指压在一起包括评估包括与施加在所述至少两个手指之间的压力成比例的振幅和频率的所述至少一个检测到的表面神经传导信号。
根据本发明的一些实施例，所述方法包括通过将所述一个或多个检测到的生物电信号施加到包括卷积神经网络(CNN)和长短期记忆(LSTM)神经网络的成比例的控制管线来估计施加在所述至少两个手指之间的压力。
根据本发明的一些实施例，该方法包括通过使用辅助信号训练LSTM神经网络。
附图说明
为了更好地理解本发明并且为了理解其实际应用，下面提供并参考以下附图。应当注意，附图仅作为实例给出，绝不限制本发明的范围。相同的组件由相同的参考标号表示。
图1A示意性地示出了根据本发明的一些实施例的柔性接口的正视图；
图1B示意性地示出了根据本发明的一些实施例的围绕用户手腕的柔性PCB接口的横截面图；
图2描绘了示出了根据本发明的一些实施例的用户接口和计算机化设备之间的信息流的姿势控制系统的框图；
图3描绘了根据本发明的一些实施例的具有附加的心率传感器的姿势控制系统的框图，示出了用户接口和计算机化设备之间的信息流；
图4A描绘了根据本发明的一些实施例的姿势控制系统的框图，其中所有处理在计算机化的嵌入式设备中执行；
图4B描绘了根据本发明的一些实施例的具有输入/输出接口的姿势控制系统的框图；
图5描绘了根据本发明的一些实施例的使用姿势控制系统写入文本的流程图；
图6A示意性地示出了根据本发明的一些实施例的用户的手；
图6B示意性地示出了根据本发明的一些实施例的盲文中的字母“C”的符号；
图7A示出了根据本发明的一些实施例的由食指移动产生的信号；
图7B示出了根据本发明的一些实施例的由中指移动产生的信号；
图7C示出了根据本发明的一些实施例的由拇指移动产生的信号；
图7D示出了根据本发明的一些实施例的由紧握的拳头移动产生的信号；
图8A示出了根据本发明的一些实施例的根据sEMG信号的不同特征分类的三种姿势的绘图；
图8B示出了根据本发明的一些实施例的包括针对三种姿势测量的突出特征的三维绘图；
图9示意性地示出了根据本发明的一些实施例的面部姿势控制系统；
图10A示意性地示出了根据本发明的一些实施例的组合传感器和触觉反馈致动器的示例性电路；
图10B示意性地示出了根据本发明的一些实施例的具有同心环的组合传感器的示例性电路的横截面图；
图11A示意性地示出了如现有技术中所执行的控制手表的手指；
图11B示意性地示出了根据本发明的一些实施例的控制手表的拇指姿势；
图11C示意性地示出了如现有技术中所执行的控制手持设备的拇指；
图11D示意性地示出了根据本发明的一些实施例的控制手持设备的拇指姿势；
图11E示意性地示出了如现有技术中执行的控制游戏控制台的拇指；
图11F示意性地示出了根据本发明的一些实施例的控制游戏控制台的拇指姿势；
图12A示意性地示出了根据本发明的一些实施例的具有通过智能腕带保持在手腕上的智能手表的手的背部视图；
图12B示意性地示出了根据本发明的一些实施例的具有通过智能腕带保持在手腕上的智能手表的手的手掌视图；
图13示意性地示出了根据本发明的一些实施例的被配置为用于反射计测量的绕手腕放置的智能手表；
图14A示出了根据本发明的一些实施例的由智能手表识别的拇指移动姿势；
图14B示出了根据本发明的一些实施例的由智能手表识别的食指移动姿势；
图14C示出了根据本发明的一些实施例的由智能手表识别的两个手指的轻敲姿势；
图14D示出了根据本发明的一些实施例的由智能手表16识别的将两个手指挤压在一起的姿势；
图15是描绘根据本发明的一些实施例的用于在姿势控制的柔性用户接口和计算机化设备之间进行通信的方法的流程图；
图16是描绘根据本发明的一些实施例的用于识别已知姿势的方法的流程图；
图17示意性地示出了根据本发明的一些实施例的当将两个手指挤压在一起时检测到的生物电势信号；
图18A是根据本发明的一些实施例的用于姿势识别的数据管线的框图；
图18B是根据本发明的一些实施例的用于比例控制的数据管线的框图；
图19示意性地示出了根据本发明的一些实施例的使用神经网络的组合管线架构；
图20是示出根据本发明的一些实施例的使用组合管线架构估计的两个手指挤压在一起时的标准化压力对时间帧的曲线图；
图21A示意性地示出了根据本发明的一些实施例的具有触觉反馈的手套的第一实施例；以及
图21B示意性地示出了根据本发明的一些实施例的具有触觉反馈的手套的第二实施例。
具体实施方式
在下面的详细描述中，阐述了许多具体细节，以便提供对本发明的透彻理解。但是，本领域的技术人员将会理解，可以在没有这些具体细节的情况下实践本发明。在其他情况下，没有详细描述公知的方法、程序、组件、模块、单元和/或电路，以免使本发明晦涩难懂。
虽然本发明的实施例在这方面不受限制，但是使用诸如例如“处理”、“计算”、“算”、“确定”、“建立”、“分析”、“检查”等术语的讨论可指代计算机、计算平台、计算系统或其它电子计算设备的操作和/或过程，其操纵和/或将表示为计算机的寄存器和/或存储器中的物理(例如电子)数量的数据转换成类似地表示为计算机的寄存器和/或存储器或可存储用于执行操作和/或过程的指令的其他信息非暂时性存储介质(例如，存储器)内的物理数量的其他数据。虽然本发明的实施例在这方面不受限制，但是本文使用的术语“多个”和“多数个”可包括例如“多个”或“两个或更多个”。在整个说明书中可使用术语“多个”或“多数个”来描述两个或更多个组件、设备、元件、单元、参数等。除非另有明确说明，本文描述的方法实施例不限于特定的顺序或序列。另外，所描述的方法实施例或其元件中的一些可在同一时间点或并发同时发生或被进行。除非另有说明，否则本文所使用的“或”连接的使用应被理解为包容性(所述选项的任何或所有)。
图1A示意性地示出了根据本发明的一些实施例的柔性用户接口10的正视图。用户接口10包括具有多个元件的印刷电路板(PCB)，被配置为允许用户和计算机化设备(例如平板电脑)之间的接口。用户接口10的PCB被集成到弹性基板11中，使得该用户接口10可通过连接边缘19而变形，以便实现能够装配到用户的肢体上的圆柱形形状(诸如用于腕表的柔性表带)。
柔性用户接口10的PCB包括多个生物电势传感器12和触觉反馈致动器14的阵列，其中传导条17具有用于这些元件的对应布线。每个传感器12可包括与用户的皮肤直接接触的至少两个电极16，通过它们检测信号。
可选地，生物电势传感器12是表面肌电图(sEMG)传感器，并且传导条17具有用于电力传递以及还用于信号传递的几个传导层。在一些实施例中，使用其它传感器代替sEMG，例如电容肌电图(cEMG)传感器。应当注意，肌电图传感器能够检测从肌肉移动得到的信号，其中，这些信号可沿着肢体运送。
优选地，生物电势传感器12是表面神经传导(SNC)传感器，能够检测来自手腕的神经信号，其中，这些信号是由用户的移动引起的。具体地，检测来自三个主要神经的信号：正中神经、尺骨神经和桡神经，如在标准医学诊断神经传导研究中所执行的。应当注意，在包括SNC传感器的实施例中，可能需要至少三个SNC传感器，以便准确地检测来自三个主要神经的神经活动(即，每个主要神经，一个传感器)。
PCB进一步包括无线通信控制器13，提供无线通信(例如，用蓝牙收发器)到附近设备；以及运动传感器15。这些运动传感器15优选地是微机电系统(MEMS)，并且可包括加速度计(检测加速度)、陀螺仪(检测方向)、磁力计或适当传感器的任何其他组合。
用该系统实现的校正可为姿势识别提供比用其他系统更准确的解决方案，这是由于与内置加速度计和陀螺仪相关联的数据的组合提供了仅用加速度计不可能提供的移动信息(具有所有可能的方向)。可选地，生物电势传感器12可以以多对的配置对齐，以便检测不同的电活动源，因为每个神经在特定位置产生信号(例如，臂背侧的传感器可以没有检测到手臂前方的移动信号)。
在优选实施例中，通信控制器13是蓝牙低功耗(BLE)控制器，为无线通信提供降低的功耗。
应当注意，触觉反馈致动器的阵列用作用户触觉反馈机制，而不是基于屏幕的视觉反馈，从而产生闭环反馈。闭环反馈是任何接口成功的关键组成部分，如Jiang N.等人,“Myoelectric control of artificial limbs-is there aneed to change focus”,IEEESignal Processing Magazine(2012),Vol.29,No.5,pp.152-150，中所示的假体控制，其中的结论总体上与人机交互相关。这种闭环反馈可由任何用户以最小意识力学习，并且在人类适应这种接口中提供重要的层。
传感器12可具有对应于检测到的信号的性质的差别配置，并且能够通过测量每个传感器12的至少两个对应的电极16之间的电压差来检测在这些传感器附近产生的电动作电势。这样的电极16通常是干电极，可与用户的皮肤接合，而不需要另外的物质(诸如凝胶)来改善皮肤电导率。因此，如果生物电势传感器12附接到用户的身体，则由于所产生的电动作电势，可由这些传感器检测每个动作。通过对已知动作(例如握紧拳头)的接收信号进行适当的校准，可将由生物电势传感器12接收的任何信号与身体的移动相关联。可选地，生物电势传感器12的相邻电极对之间的距离为～1.5cm，对应于身体中已知信号传播速率的最佳距离。在一些实施例中，用户接口的至少一部分是刚性的并且不是完全弹性的(例如，类似于手表)。
可选地，传导条17进一步连接到位于弹性基板11中的预定位置处的参考驱动器18。该参考驱动器18将肌电图输入电压限制在预定范围内，并且可抑制诸如荧光辐射的常见噪声和来自电力线的标准的50Hz/60Hz辐射(导致测量噪声)。应当注意，来自参考驱动器18的单个参考信号用于所有生物电势传感器12，这与传感器的典型使用相反，在传感器的典型使用中，每个传感器通常通过右腿驱动(DRL)电路驱动其自己的参考。因此，在保持传感器12的高精度的同时，可使用更少的元件(因此消耗更少的电力和空间)，这是由于柔性用户接口10中的输出信号的质量不降低(如用这种配置进行的几个测试所示)。可选地，也可能使用公共DRL机构而不是上述配置。
在本发明的一些实施例中，来自生物电势传感器12的每个传感器也连接到自动增益控制放大器(AGC)，以便降低信号变化性(下文进一步描述)。可选地，所有生物电势传感器12被激活，但是仅检测清楚信号的传感器传递该数据以进行进一步处理。
图1B示意性地示出了根据本发明的一些实施例的围绕用户手腕5的柔性PCB用户接口10的横截面图。在该配置中，所有生物电势传感器12和所有触觉反馈致动器14与手腕5的皮肤直接接触。因此，用户手腕5的任何移动对应于在神经并且紧随着肌细胞上的电动作电势，并且可被生物电势传感器12检测。另外，运动传感器15可检测由生物电势传感器12未检测到的(由于位置和方向的变化导致的)一些移动，因为一些姿势需要在测量区域的很少或不需要肌肉移动，因此没有测量出明显的电动作电势。可选地，用户接口进一步包括作为系统的接口的显示器(例如类似于智能手表上的显示器)。
通过根据这些传感器检测到的信号来初始校准这样的移动或姿势，在稍后阶段可能将接收到的信号与姿势相关联，使得可创建用户计算机接口并将其调谐到特定的用户。这种校准过程在下文进一步描述。一旦校准完成，解译手势(例如在柔性PCB用户接口10围绕手腕的情况下)可允许控制和操作具有计算机化接口(例如PC、电视或平板电脑)的设备或其他可穿戴设备(诸如智能手表)，其中，每个姿势对应于由计算机接收的命令。该特征可完美或甚至取代当前的触摸屏接口。
在一些实施例中，这种传感器阵列可集成到现有智能手表的腕带中，或者可替代地可用作独立设备。处理来自这些传感器的数据可用使用设备中的数字信号处理单元(DSP)的实时“机器学习”来实现。可选地，这样的传感器阵列可集成到现有标准手表的腕带中，从而将其转换成智能手表。
应当注意，以类似的方式，柔性PCB用户接口10可围绕用户身体的不同部分(通常围绕肢体的一部分)，其中生物电势传感器12和触觉反馈致动器14与用户的皮肤直接接触。可选地，该接口对于身体是不可察觉的，使得用户可自由地移动而没有来自该设备对于其皮肤的干扰。
图2描绘了根据本发明的一些实施例的示出了用户接口10和计算机化设备29之间的信息流的姿势控制系统的框图。箭头的方向指示信息流的方向。用户接口10检测用户的姿势和移动(如上所述)。信号处理器22对检测到的信号进行调节，并将标签应用于数据集，使得用户的特定移动与发送到计算机化设备29的与这样的已知姿势对应的命令配对。因此，计算机化设备29可由用户接口10，由此计算机化设备29可以是具有诸如智能电话、PC、平板电脑、电视等的计算机化接口的任何设备。
用户接口10使用生物电势传感器12和运动传感器15检测姿势(如上所述)。为了增强从生物电势传感器12所接收的模拟信号，附加的放大电子器件21可耦接到每个生物电势传感器12，其中，放大电子器件21可以被嵌入到柔性用户接口10的基板11中(如图1A所示)。优选地，电子器件21可包括模拟放大器和/或模数转换器(ADC)，使得模拟信号被放大，然后转换成数字信号，以便在稍后的阶段进一步处理。另外，每个生物电势信号12还可耦接到模拟增益控制器(AGC)，使得放大电子器件21的增益均等，以便确保合适的电压范围。
从生物电势传感器12和运动传感器15接收到的信息被实时采样并发送到专用信号处理器22，其中，信号处理器22可嵌入柔性用户接口10的基板11中(图1A所示)。信号处理器22可执行基本信号调节处理，然后导出用于每个信号的一组指示符。然后，信号处理器22可识别来自这些指示符的信号的特定组合，例如使用维度减少方法。
到达和来自信号处理器22的所有数据被存储在闪速存储器模块24中，以允许将所有这些数据上传到远程计算机化设备或基于云的服务中的数据库。例如，为了开发需要大量示例性数据的附加特征，可在稍后阶段收集这样的数据用于分析。在一些实施例中，不需要单独的存储器模块。
为了识别特定的姿势，系统20通过对存储器模块24进行采样并使用预定的内部参数来执行分类处理，以便将姿势分配给N+1个符号中的一个(“N”是已知符号，“NULL”符号表示用户没有做出姿势时的静态模式)。一旦将特定姿势分类为符号26，则分类符号26作为输出发送到通信控制器13。因此，信号处理器仅识别已知的姿势。可选地，符号26的即时反馈可被发送23到符号反馈控制28。
然后，通信控制器13可经由无线通信(用虚线箭头指示)将分类符号26作为相应命令发送到计算机化设备29。一旦计算机化设备29接收到命令，附加的信号也可经由无线通信被发送回通信控制器13，例如指示已经执行了该命令的信号。可替代地，没有从计算机化设备29接收到信号，并且处理在此停止。
通信控制器13可将来自计算机化设备29的相应信号作为用户接口10的输入进行发送。然后，接收到的信号被符号反馈控制单元28识别，符号反馈控制单元28使用触觉反馈致动器14激活向用户的对应触觉反馈。
例如，用户做出与命令“打开”相对应的手势(基于校准的一组命令)。该命令被分类为符号26，并且相应地在符号反馈控制28处产生即时反馈(即，对应于命令的数据)23。同时，该命令经由通信控制器13发送到计算机化设备29接口(诸如“智能电视”的接口)。一旦执行了“打开”命令，电视可将信号发送回用户接口10，使得用户获得触觉反馈，而不需要用户和电视之间的直接眼睛接触。
这可以通过适当的校准来实现，由于为识别的手势识别的适当的感觉反馈。形成闭合反馈回路，使得随着时间的推移在用户的姿势与所接收的反馈之间产生关系。以这种方式，用户还可以通过识别接收的触觉反馈来从计算机化设备29“读取”符号序列。例如，用户接收文本消息并且使用触觉反馈机构14感觉到这样的消息，而不需要用户和计算机化设备29之间的直接的眼睛接触。这样的实例可能与驾驶车辆的驾驶员或视障者特别相关。
在本发明的一些实施例中，一旦计算机化设备29接收到识别的命令，则创建听觉反馈，使得用户可以听到已经接收到和/或执行了的要求的命令。可选地，仅进行听觉反馈而没有通过触觉反馈机构14进行的相应的触觉反馈。
应当注意，图1A至图1B中描述的用户接口10可进一步包括附加元件，以增加姿势检测的准确性。这些元件中的一些在下文中描述。
图3描绘了根据本发明的一些实施例的具有附加心率传感器32的姿势控制系统30的框图。图3示出了用户接口和计算机化设备29之间的信息流(其中，箭头方向表示信息流的方向)。用户接口33进一步配备有可检测用户的心率的多个心率传感器32(该特征已经作为一些智能电话中的嵌入元件可获得)，例如具有穿透皮肤、从血管反弹的光束的光学传感器。通常，心率在休息期间不改变，因此心率传感器32可提供认知努力/应变识别(strainrecognition.)。
检测到的心率可用作系统校准期间用户专注的指示符，其中，用户正在训练以创建特定姿势并识别触觉反馈模式。如果心率传感器32指示用户专注，那么校准的姿势可被分配较高的指数，使得该特定姿势可能被不同地加权，从而改善校准过程。另外，用户的专注可用于改善用户和计算机化设备29之间的整个通信过程，因为如果信号处理器22没有从心率传感器32接收到所需的指示，则无意的姿势可被忽略。
在本发明的一些实施例中，可提供能够测量用户的皮肤阻抗的至少一个皮肤电导率传感器，使得当测量皮肤阻抗的预定值时可执行校准过程。可选地，至少一个皮肤电导率传感器可进一步与脉搏组合，并且肌肉张力传感器可针对用户的刺激或专注提供最佳识别。
图4A描绘了根据本发明的一些实施例的姿势控制系统40的框图，其中，所有处理在计算机化设备上进行(箭头的方向指示信息流的方向)。在本实施例40中，信号处理器22、闪存24和分类符号26都是计算机化设备49的元件。
来自用户接口43(即，来自生物电势传感器12、运动传感器15和/或来自心率传感器32)的信号作为输出从输出控制器42传送到通信控制器13。然后可经由无线通信将输出发送到计算机化设备49，以便处理这些信号(如上所述)。分类符号26被传送到计算机化设备49的命令处理器44，使得可执行要求的命令。
在将信号发送回用户(例如在执行命令的情况下)的情况下，经由无线通信发送到通信控制器13的信号被传送到符号反馈控制单元28并最终传送到触觉反馈致动器14。应当注意，在本实施例40中执行的处理与前述实施例所描述的过程类似，其中，使所有处理在用户接口43的外部执行的主要优点是节省了用于其他应用的空间。另外，由于在计算机化设备49处远程执行所有功耗计算，因此在用户接口43处可节省电力，使得用户接口43的电池可持续更长时间。
在姿势控制系统的初始使用之前，需要执行系统的校准。校准过程被用作信号检测机构，其初始设定静止模式(即NULL姿势)的值，其中，唯一输入应为噪声，具有预定数量的迭代。通过“双阈值”方法对生物电势传感器的信号进行校准，以便在进行信号计算时消除伪信息。该方法已经在以下文献中描述为成功用sEMG检测在噪声背景环境中发生的信号：Bonato P.et al.,“A Statistical Method for the Measurement of MuscleActivation Intervals from Surface Myoelectric Signal During Gait”,IEEETransactions on Biomedical Engineering(1998),Vol.45,NO.3,pp.287-299,以及Severini G.et al.,“Novel formulation of a double threshold algorithm for theestimation of muscle activation intervals designed for variable SNRenvironments”,Journal of Electromyography and Kinesiology(2012),Vol.22,pp.878-885。
在下一步骤中，系统学习区分不同的姿势(例如手或特定手指的特定移动)。用户指示执行特定姿势，根据该姿势，系统学习对于特定用户典型的预定义的一组内部参数。然后，系统将这些参数存储在内部闪存中。用户重复此过程NxM次，其中N表示系统以低错误检测到的姿势数，M表示特定姿势的重复次数。例如，重复代表字母“E”的姿势二十次，由此不同的用户可使用不同的姿势来表示同一字母“E”。可选地，每个用户基于预定义的训练集来学习特定的姿势。
在本发明的一些实施例中，向用户接口提供初始扩展训练集。由于大多数人对于同一姿态具有类似的肌肉活动，因此初始训练模式可能归属于大群人。可利用这种大量数据的高效姿势预测模型的一个实例是“深度学习”方法。因此，可与特定训练集一起提供扩展训练集，使得用户仅(在短时间内)学习预定姿势，而不是执行完全校准过程。通过使用用户信息将用户与模型进行匹配，扩展训练集可应用于各种群体。例如，可将男性用户分配给扩展的“男性姿势模型”。
图4B描绘了根据本发明的一些实施例的具有输入/输出接口的姿势控制系统41的框图。箭头的方向指示信息流的方向。在该实施例41中，传感器阵列12和触觉反馈致动器14一起用作用于感觉替代的通用输入/输出(I/O)接口。在该配置中，电信号可在信号处理器22中进行调节，并经由电触觉和/或振动触觉刺激器48直接反馈回I/O用户接口45，而不需要离散分类。这样的I/O接口可完全替代或增强各种身体感觉能力。例如，作为用于盲人的相机，作为用于具有前庭损失的人的惯性测量单元(IMU)，或者作为可被转换为直接触觉感觉输入的聋人用户的麦克风。这样的实例和其他使用例如在以下文献中讨论：Bach-y-Rita,P.,“Tactile sensory substitution studies”,ANNALS-NEW YORK ACADEMY OFSCIENCES(2004),Vol.1013,pp.83-91。
在一些实施例中，选择所有姿势和符号，使得最简单和最短的姿势将用于表达用户语言中最常见的字母、音节、单词和句子。以这种方式，可能比现有方法写得更快，因为不再需要直接的眼睛接触。这个原则的一个实例可在盲文写作中看到，它可表示字母表中的所有字母，以及常用的英文后缀“tion”、“ing”和常用单词，如“the”、“and”。因此可实现通过训练有素的姿势写入文本；或通过触觉反馈阅读文本。
在本发明的一些实施例中，姿势控制系统可在用户握住书写工具(例如笔)时检测手写。在该实施例中，该系统检测由于在书写期间由于手的移动而被激活的肌肉引起的信号。
在本发明的一些实施例中，姿势控制系统可与基于专用姿势的操作系统一起使用，其中，所有基本命令都是面向姿势和触觉反馈的。使用这样的操作系统，屏幕将是可选的，因为不需要与计算机化设备的直接眼睛接触。这样的操作系统的接口可以是纯粹基于命令的，没有屏幕或鼠标，因此可特别地与诸如智能冰箱的“物联网”设备兼容。
图5描绘了根据本发明的一些实施例的使用姿势控制系统写入文本的流程图。最初，用户接口被激活50，其中用户接口经由无线通信连接到计算机化设备。系统等待直到信号活动被检测到52，使用运动传感器和/或生物电势传感器。当没有检测到移动时51a，系统返回初始状态。一旦检测到移动51b，则系统检查移动是否是识别的姿势54。如果移动不是识别的姿势53a，则系统返回到初始状态，直到检测到另一个信号活动开始。否则，如果移动是识别的姿势53b，除了执行命令(如果这样的命令可应用)之外，还向用户发送相关的触觉反馈56，使得用户知道正确的姿势被登记，从而形成闭合的“人机”反馈回路。
接下来，系统检查所识别的姿势是否是完整符号58，因为特定符号(例如字母“C”)可包括一组几个姿势。如果所识别的姿势不是完整符号55a，则系统返回到初始状态，直到检测到另一个开始。否则，如果识别的姿势是完整符号55b，则在计算机化装置上执行要求的命令59。例如，术语“和(and)”被写入文本消息中。可选地，完整符号58可进一步包含超时机构，使得如果在序列完成之前经过了预定量的时间，则所有与这样的序列有关的数据被擦除。
在本发明的一些实施例中，触觉反馈致动器的阵列以能够创建不同模式的配置被定位在用户接口处。例如，计算机化的浇水系统检测到特定的洒水器具有故障。然后，浇水系统可经由触觉反馈机构最初通知用户该计算机化浇水系统需要注意。接下来，计算机化的浇水系统可通过激活触觉反馈致动器阵列中的不同元件，以指示方向(例如特定的致动器组合指示向右移动)，直到系统识别出用户到达损坏的洒水器，例如使用基于标准位置的服务，引导用户到达损坏的洒水器的位置。
现在参考图6A至6B，示出了用于姿势控制系统的盲文语言的示例性使用。图6A示意性地示出了根据本发明的一些实施例的用户的手4。使用盲文语言，可通过弯曲食指1、弯曲中指2、弯曲无名指3或者还通过旋转61手4来创建姿势。
图6B示意性地示出了根据本发明的一些实施例的盲文63中的字母“C”的符号。为了在盲文63中形成与字母“C”相对应的姿势，用户需要在旋转61手4的同时弯曲无名指a3，并最终弯曲无名指b3。以类似的方式，可使用盲文语言来表示字母表中的所有字母，以便可以在不需要与屏幕进行直接眼睛接触的情况下书写和/或阅读文本。应该注意的是，盲文类型语言可用各种姿势序列来实现。可选地，生成不同类型的触觉反馈以对应于特定字母和单词。
这种姿势控制系统的主要优点是：
·操作自由-熟练的用户可以少量的认知资源分配来操作上述设备。这使得这样的用户能够同时执行复杂的操作(诸如驾驶和写入)。
·为视觉障碍者和听觉障碍者提供现代智能设备的可及性。
·将眼睛和耳朵-从看屏幕和听讲话中释放。
·保护隐私-避免在使用语音识别接口时或在屏幕对其他人可见时造成危害。
在本发明的一些实施例中，姿势控制系统可被用作独立的产品，从而将接口暴露给应用程序接口(API)，以便一般地集成到原始设备制造商(OEM)系统中，这可能会节省资源(电力、处理能力等)。
现在参考图7A至7D，这些图显示了用于由用户执行的不同姿势的位于桡神经和尺骨神经之间的传感器检测到的SNC信号行为的曲线图。图7A示出了根据本发明的一些实施例的从拇指移动产生的信号72。图7B示出了根据本发明的一些实施例的从食指移动产生的信号74。图7C示出了根据本发明的一些实施例从第一小指移动产生的信号76。图7D示出了根据本发明的一些实施例的从第二小指移动产生的信号78。从这些图可很容易地看出，不同的姿势给出不同的信号行为，在由SNC传感器检测到的典型电气行为(即，不同的姿势引起不同的电压尖峰)以及信号的典型持续时间两者中存在差异。但是，可使用更准确的算法(测量附加参数)，以便识别用户执行的不同姿势。
在所有图7A至7D中，二进制信号71指示何时系统识别出已经执行姿势。使用双阈值方法(如上所述)，噪声被忽略，系统仅对实际姿势作出反应。
现在参考图8A至8B，这些图示出了使用单个生物电势传感器的姿势分类算法的示例性结果。在该示例性算法中，测量帧的长度表示为Nf，信号样本xi(x1，x2，...xNf)。将相应的二进制信号(指示检测到姿势，例如如图7A至7D所示)表示为sigdet，使得其中检测到肌电活动的帧的样本表示为sigdet＝1，类似地，对应于噪声的样本表示为sigdet＝0。最后，定义了五个示例性统计特征来对SNC信号的属性进行分类：
卡方和：
(I)
总的检测长度：
(2)
弧长：
(3)
基尼指数(分散指数)：
(4)
其中μ是均值，n是正的检测到的指数的数量，其中sigdet＝1。
平均绝对值：
(5)
对于每个测量考虑到所有这些特征可创建信号签名，使得可以区分不同的姿势。第一特征在卡方统计分布域中测量信号的活动。第二特征测量信号的检测长度。第三特征使用绝对导数测量时域中的活动。第四特征是现代分散测量。第五特征是平均绝对振幅。
在测量期间，对包括三个姿势的二十个帧进行采样：对于食指移动81的七个姿势重复，拳头紧握82的七个姿势重复，以及小指移动83的六个姿势重复(总共具有二十帧)。为了准确地对这些特征进行分类，需要考虑所有上述特征。
图8A示出了根据本发明的一些实施例的根据SNC信号的不同特征f1至f4分类的三种类型的姿势81，82，83的绘图。从这些图可以看出，不同的姿势给出了不同的模式行为，但是为了准确地对姿势进行分类，这些特征必须被嵌入到多维特征空间中，使得每个姿势被清楚地分离并形成簇。
图8B示出了根据本发明的一些实施例的三维散点图，其包括针对三种类型的姿势81，82，83测量的突出特征。该散点图的轴是定义如上所述的这样的“特征空间”的特征f1-f3-f4。分类算法可使用标记的一组SNC数据特征并输出分段，使得每个姿势簇在特征空间中被分离。当对新的姿势进行采样并且其特征(或签名)被计算时，相应的“多维特征空间中的点”将被分配段(即，姿势)。应当注意，在该实例中仅使用单个SNC传感器，并且多个传感器可实现更好的姿势类型识别和改进的泛化性能。
应当说明的是，虽然本文提供的实例使用特定特征，但是可使用其它特征或算法而不限制本发明的范围。
图9示意性地示出了根据本发明的一些实施例的面部姿势控制系统90。除了(由围绕用户肢体的一部分的系统检测)上述姿势外，还可以使用EMG传感器进行面部姿势识别。例如，EMG传感器可检测额肌(位于前额)和颞肌(位于太阳穴)的面部姿势，如以下文献讨论的：Hamedi M.et al.,“EMG-based facial gesture recognition through versatileelliptic basis function neural network”,BioMedical Engineering OnLine(2013),Vol.12,NO.73。
面部姿势不能被装配在用户的肢体上的系统所检测到，因此需要一个不同的系统，其可以戴在用户的头部，同时类似于上述系统的操作，因为只有姿势的类型改变。优选地，这样的系统被嵌入到诸如眼镜之类的可穿戴设备中。这样的系统可被提供为独立产品(其中眼镜不用于视力改善)、耦接到现有眼镜上、或嵌入到智能眼镜中，使得姿势识别是眼镜的附加特征。
面部姿势控制系统90嵌入到可戴在用户头部的设备中(例如眼镜)，并且可与上述系统类似地操作(例如，类似于图2所示的姿势控制系统20)。面部姿势控制系统90包括对应于额肌并且能够识别前额处面部姿势的额头EMG传感器92。面部姿势控制系统90进一步包括对应于颞肌并且能够识别在太阳穴处面部姿势的至少一个太阳穴EMG传感器94。可选地，至少一个太阳穴EMG传感器94可耦接到至少一个触觉反馈致动器，使得面部姿势控制系统90可被校准以识别面部姿势，然后用户可(在太阳穴处)接收针对识别的姿势的触觉反馈。
这样的系统可在以下至少一个中有用：
·控制计算机化设备，诸如使用面部姿势的智能眼镜。
·训练有素的用户可能能够从接收到的反馈中识别面部姿势。以这种方式，两个远程配对的用户可获得彼此的面部姿势的远程反馈，并且能够识别通常只有在面对面见面时被注意到的感觉和其他细微差别。这可通过传达感觉和身体语言以及文本、语音和通常使用的视频来丰富电子通信。
·对于支配其肢体有物理问题的用户，使用面部姿势控制计算机化设备。
·将这样的系统与基于图像处理的面部姿势识别相结合可帮助视力障碍的用户识别其伙伴的感觉和面部姿势。
·此外，这些系统可用于与自闭症用户合作，以改善身心技能。
现在参考10A至10B，这些图涉及将触觉反馈嵌入到EMG传感器中的进一步的实施例。虽然EMG是对肌肉产生的神经动作电势的读取，但神经肌肉电刺激(NMES)实际上是相反的动作，其中使用电信号来刺激运动神经并引起肌肉收缩。电触觉刺激(ETS)是使用电势激活与皮肤下的触觉感觉接受器相连的神经纤维。
最近的研究已经表明，NMES和电触觉方法可涉及触觉反馈和触觉显示，而NMES通常用于模拟力感测(诸如感觉推动重物的阻力)，并且使用电触觉显示以模拟触感，诸如纹理。这些研究的一些实例可在如下文献中发现：Pamungkas D.et al.,“Electro-TactileFeedback for Tele-operation of aMobile Robot”,Proceedings of AustralasianConference on Robotics and Automation,University ofNew South Wales,Australia(2013)；Peruzzini,M.et al.,“Electro-tactiledevice for material texturesimulation”,IEEE(2012),pp.178-183以及Kruijff,E.,et al.,“Using neuromuscularelectrical stimulation for pseudo-haptic feedback”,Proceedings of the ACMsymposium on Virtual reality software and technology(2006),pp.316-319。
在该实施例中，将EMG传感器与NMES和ETS组合以产生能够感测EMG并产生触觉反馈的单个单元。除了立即与姿势控制系统一起使用之外，这种组合的传感器-致动器可产生用于手指移动的触觉反馈以便于读取和通知接收。具体而言，这种装置可用于假肢领域，其中假肢臂可由EMG传感器控制，然后向用户提供关于纹理和力的反馈。可选地，组合的传感器-致动器也可以用于计算机化的机器人和机器的远程控制领域。在一些实施例中，组合的传感器-致动器可进一步与脉搏传感器和/或电流皮肤响应(GSR)传感器组合。
图10A示意性地示出了根据本发明的一些实施例的组合传感器和触觉反馈致动器的示例性电路。生物电势传感器12的放大器右腿驱动(DRL)元件21(例如如图2所示)电路也可以用作ETS和NMES刺激器，以产生触觉反馈以及读取肌肉电势。由于EMG(例如，sEMG/cEMG)基本上是差分放大器，所以将被添加到共模信号的刺激信号将不会被EMG传感器放大，其中，该共模信号通过DRL驱动到身体。
在标准DRL电路中，EMG信号101被收集在正电极104和负极106上，以使用差分放大器21进行放大，以产生放大的EMG信号。同时，来自电极106，104的EMG信号105在刺激器107处被平均以产生共模信号103，该共模信号随后由附加放大器109放大并通过参考电极108驱动到用户的皮肤。在该实施例中，刺激电流信号在刺激器107处与共模信号组合，经过相同的路径至基准电极108，在此，它刺激皮肤神经。
图10B示意性地示出了根据本发明的一些实施例的具有同心环的组合传感器的示例性电路的横截面图。图10B所示的进一步的实施例120包括参考电极108，参考电极108包括两个同心环，具有内部电极110和通过非导电材料111与内部电极110分离的外部电极112，其中刺激信号被驱动到内部电极110并且共模信号被驱动到外部环形电极112。在本发明的一些实施例中，通过使用生物电势传感器测量将电流驱动穿过皮肤的阻抗而产生的振幅，从而在两个电极之间测量用户手腕的皮肤电导率。由于电流是恒定的并由所述设备控制，所测量的电压可能根据皮肤阻抗而改变。
在本发明的一些实施例中，姿势控制系统可使用专用操作系统(OS)操作。在该实施例中，OS可用于控制和导航计算机化设备(例如，智能手表)。具有显示器，具有与用户的不同手指(例如食指、中指、无名指和拇指)对应的四个图标的显示菜单。使得移动特定手指对应于特定图标，并且选择可导航到附加菜单(例如，移动食指指示选择字母组“A-G”)。当(例如，使用智能手表)写入文本消息时，可使用该操作来导航经过不同的字母。此外，这样的操作系统可用专用语言(诸如如图6A至6B所示的盲文语言)操作。
现在参考图11A至11F，这些图示出了如现有技术中所执行的用拇指姿势控制计算机化设备的实例；通过利用基于姿势的操作系统，根据所公开的主题的一些示例性实施例。
姿势控制系统可与能够发出命令的基于姿势的操作系统耦接，以控制和浏览计算机化设备(例如，智能手表)。在该实施例中，系统检测由于拇指的特定移动导致的手腕支配神经信号。这样的操作系统可在计算机化设备上执行操作，无论是否包括触摸屏，不需要观察屏幕。这种操作系统的接口可纯粹基于拇指姿势，而不用触摸屏幕、键盘、鼠标、其组合等。
图11A示出了用拇指控制手表的触摸屏用户界面(UI)的市售解决方案。在一些示例性实施例中，根据本发明的一些实施例，在没有真实屏幕的情况下仿真拇指移动，如图11B所示，提供基于姿势的操作系统的UI元件来控制手表。
图11C示出了用拇指控制手持设备的触摸屏UI的市售解决方案。在一些示例性实施例中，根据本发明的一些实施例，在没有真实屏幕的情况下仿真拇指移动，如图11D所示，提供基于姿势的操作系统的UI元件来控制手持设备。
图11E示出了用于使用两个拇指控制游戏控制台的操纵杆UI的市售解决方案。在一些示例性实施例中，根据本发明的一些实施例，在没有真实操纵杆的情况下仿真拇指移动，如图11F所示，提供基于姿势的操作系统的UI元件来控制游戏控制台。
随着更多的用于各种平台的电子通信设备引进，诸如物联网(IoT)、虚拟现实(VR)、智能家居、智能电视、计算机化车辆等，例如，用触摸屏或键盘控制这些设备并且/或者键盘在特别用于例如诸如在驾驶时操作或操纵汽车功能时播放音乐的忙碌活动时是麻烦的。智能手表是可穿戴的用户接口，其可被配置为通过使用如前所述的姿势移动来控制这些通信设备。
智能手表可包括传感器12、具有柔性形式和互连17的智能腕带10、用于执行定制算法的处理器/计算单元22、通信组件13和触觉致动器14，例如，如图1A至1B(例如智能腕带)和图2至4的框图所示。智能手表设计可包括被处理的检测到的生物电信号的信噪比(SNR)、舒适度和功能之间的独特平衡(trade-off，权衡)。例如，良好的设计可很好地贴合用户的手腕，从而增加SNR并减少对于移动期间使电极与用户皮肤之间的接触变化所检测到的生物电信号中的运动伪影。
图12A示意性地示出了根据本发明的一些实施例的手150的背部视图140，手具有通过智能腕带165在手腕155上保持的智能手表160。智能手表160可包括屏幕162，其中手150做出的已知姿势可用于控制屏幕162和/或计算机化设备29，49上的屏幕元件，诸如选择图标。图12B示意性地示出了根据本发明的一些实施例的手150的手掌视图145，手具有通过智能腕带165保持在手腕155上的智能手表160。
插图170示出了智能手表160的底视图175。图1A中的柔性接口10的一个实施例可包括具有用于检测生物电势信号的生物电势电极16的腕带165。生物电势电极16中的至少一个可包括用于检测表面神经传导信号的表面神经传导(SNC)电极。如图1A所示，生物电极16耦接到生物电传感器12。腕带155可包括触觉致动器14和通信控制器13。智能手表160可包括用于识别姿势的处理器22，其中，已知姿势和表面神经传导之间的关联或生物电信号被存储在存储器24中。
处理器22可包括例如一台或多台计算机的一个或多个处理单元。处理器22可包括现场可编程门阵列(FPGA)、图形处理单元(GPU)、微控制器和微处理器。处理器22可包括远程计算机或者可包括任何其他合适的处理技术。
传感器180可包括诸如惯性测量单元(IMU)、压力传感器、光电体积描记图(PPG)传感器和RF传感器的任何传感器。传感器180可置于沿着腕带165的任何位置。压力传感器可用于测量肌腱移动。惯性测量单元(IMU)可用于测量手150的粗略移动。压力传感器可用于测量手150和手臂中肌腱的移动中的力。PPG传感器(诸如基于发光二极管(LED)技术的传感器)可用于测量手腕肌腱移动期间手腕的体积变化。除了由生物电传感器12从手腕155的神经检测到的生物电信号之外，来自传感器180的信号可由处理器使用，以便增加从生物电信号(例如，SNC信号)识别正确姿势的可能性。
在本发明的一些实施例中，通信控制器13可在智能手表160中的处理器22和存储器24之间以及智能腕带165上的生物电势传感器12、传感器180和触觉致动器14之间中继信息。在其他实施例中，处理器22和存储器24也可置于腕带165上。传感器180可包括上述技术的任何组合。如图1A所示，SNC传感器可包括模拟前端和电极阵列。
图13示意性地示出了根据本发明的一些实施例的被配置为用于反射计测量的绕手腕150设置的智能手表160。传感器180可包括诸如波发生器190和接收器195的RF传感器。由波发生器190产生的RF脉冲可用于测量由于随着脉冲从发生器190传播到接收器195，不同的姿势移动而导致的手腕155的组织中的反射率的变化。
在本发明的一些实施例中，姿势识别算法(以下称为姿势识别)检测传感器12中检测到的由于手150做出的姿势产生的生物电信号中的事件，并将分类算法应用于检测到的事件以便识别如图8A至8B所述的姿势。
图14A至14D示出了根据本发明的一些实施例的由智能手表160可识别的姿势200。图14A至14D所示的姿势200仅出于视觉清晰度。处理器22可被配置为识别任何合适的手和手指姿势，并且不限于图14A至14D中的姿势200。
图14A示出了根据本发明的一些实施例的由智能手表160可识别的拇指移动210姿势。例如，由用户做出的拇指移动210可将智能手表160的屏幕162和/或计算机化设备29，49的屏幕上的光标移动到右侧，和/或启动由计算机化设备29，49执行的某些功能。
图14B示出了根据本发明的一些实施例的由智能手表160可识别的食指215移动姿势。例如，食指移动215可将智能手表160的屏幕162和/或计算机化设备29，49的屏幕上的光标移动到左侧，和/或启动由计算机化设备29，49执行的某些功能。
图14C示出了根据本发明的一些实施例的由智能手表160可识别的两个手指叩220在一起的姿势。将至少两个手指叩220在一起可例如选择在智能手表160的屏幕162上和/或计算机化设备29，49的屏幕上的项，和/或启动由计算机化设备29，49执行的某些功能。
图14D示出了根据本发明的一些实施例的由智能手表160识别的挤压225两个手指的姿势。将至少两根手指挤压225或按压在一起可连续地选择智能手表160的屏幕162上和/或计算机化设备29，49的屏幕上的项目，和/或启动由计算机化设备29，49执行的某些功能。
在本发明的一些实施例中，智能手表160可被配置为与(例如位于汽车仪表板的控制台中的)播放音乐的收音机或音响系统进行通信。用户可通过将至少两个手指挤压225在一起来改变收音机扬声器的音量。例如，将食指和拇指挤在一起可用于增加音量，将中指和拇指挤压在一起可用于减小音量。在其他实施例中，加速度计可置于腕带165上。加速度计可用于检测食指和拇指是否一起指向上挤压(例如，增加音量)或指向下挤压(例如，减少音量)。
图15是描绘根据本发明的一些实施例的用于在姿势控制的柔性用户接口10和计算机化设备49之间进行通信的方法250的流程图。方法250包括检测225来自置于用户身体的一个或多个生物电势传感器(例如，传感器12)的一个或多个生物电信号，其中一个或多个生物电势传感器包括用于检测至少一个SNC信号的至少一个表面神经传导(SNC)传感器。方法250包括(例如，通过使用处理器22)将检测到的至少一个SNC信号与对应于多个已知姿势的多个参考信号的数据进行比较260，每个参考信号与其中一个已知姿势明显相关联。数据可存储在存储器24中。
方法250可包括(例如，通过使用处理器22)从多个已知姿势识别265对应于至少一个SNC信号的已知姿势。方法250可包括(例如，通过使用处理器22)经由通信设备13将识别的已知姿势传送270给计算机化设备49。
图16是描绘根据本发明的一些实施例的用于识别已知姿势的方法300的流程图。姿势识别可包括事件检测和分类算法，应用于从生物电电极16检测225的生物电信号。方法300可包括(例如，通过使用处理器22)对检测到的至少一个表面神经传导(SNC)信号进行去噪305。
在本发明的一些实施例中，从生物电信号滤除噪声或对其进行去噪305可包括生成生物电信号的定制基函数表示。可使用离散小波变换(DWT)作为生成稀疏表示的有效方式。时间帧内的信号以下列方式转换：
(6)
(7)/>
其中，是小波系数，/>是母小波。可选择母小波/>使得表示生物电信号的f(t)被变换为稀疏域。小的小波系数可以被清零，从而实现生物电信号的有效去噪。在其他实施例中，诸如例如来自传感器16的生物电信号之间的相关性的主成分分析(PCA)的附加变换由(f1(t)，f2(t)，f3(t)...)给出，其中，指数n＝1,2,3，...是传感器的数量。以此方式在等式(6)中计算小波系数/>增加了对生物电信号去噪的更高精度，因为在相邻传感器12之间的生物电信号中检测到的噪声相关，因为传感器12靠近在一起地被置于手腕155。在本文所述的实施例中，“靠近在一起”的相邻传感器可指可置于相同的肢体上并且靠近肌群的传感器12，例如小于约15cm。通常，传感器12可置于分开小于1cm，例如，并且通常沿着动作电势信号的路径(例如，沿着神经)。此外，使用SNC母小波作为唯一基础能够从EMG信号(例如，EMG噪声)中提取SNC信号。可基于许多用户的多次测试试验产生的数据来生成母小波/>
除了EMG噪声之外，检测到的生物电信号中的其它噪声信号可能包括电极移动、摩擦伪影、50/60Hz电力线噪声和其他可能被误认为来自神经支配的压力的噪声源。由于噪声伪影的形状可能与母小波不同，所以等式(6)的内积很小并且可在提供对这些不需要的噪声信号进行有效去噪的计算中被清零或忽略。
方法300可包括检测310至少一个SNC信号中的事件。在对SNC信号去噪之后，处理器22可使用事件检测算法来判定是否发生了姿势事件。例如，在示出了传感器12检测到生物电信号的图7A至7D中，处理器22可检测姿势事件，诸如对应于如前所述的手150的姿势事件的生物电信号72，74，76，78。
方法300可包括对检测到的事件应用315分段以确定其中生姿势事件发的一个或多个时间帧。在图7A至7D中，处理器22可识别段71，其指示开始和停止时间，或者其中检测到的姿势事件开始和结束的时间帧。图7A至7D所示的实施例示出硬分段，其中开始和结束帧从0到1的电压定义矩形。在本发明的其它实施例中，可使用软分段，其中段71可以不是矩形，而可以是跟踪检测到的姿势事件的包络的任何形状。段的振幅可包括任何上限值，并且不限于在硬分段的情况下的电压1。在一些实施例中，软分段可将属于已知姿势事件的概率分配给每个传感器样本。
方法300可包括在检测到的事件的一个或多个帧内提取320统计特征。图8A示出了分别从等式(1)至(4)得到的四个统计特征f1、f2、f3、f4，以便在本实例中针对三个检测到的姿势事件81，82，83对生物电信号(例如，SNC信号)的属性进行分类。如前所述，如图8B所示的特征空间由三个特征f1、f3和f4构成。
方法300可包括将基于与SNC信号相关的数据的分类算法应用于所提取的统计特征，以便确定已知的姿势。图8B示出了具有已知姿势81，82，83的特征空间。
在本发明的一些实施例中，分类算法可包括特征空间，例如如图8B所示，其基于与SNC信号相关的数据。在其他实施例中，分类算法可被配置为识别特征空间中的簇之间的边界，以便增加从SNC信号确定已知姿势的可能性。
在本发明的一些实施例中，软分段可允许加权特征提取。例如，除等式(1)至(5)之外的另一个统计特征可包括传感器12之间的相关性和/或来自传感器12的生物电信号的采样帧。使用加权相关度量可提供确定已知姿势的更精确的方式。
在本发明的一些实施例中，可在步骤320中的特征提取之后使用姿势分类器(例如，机器学习)。分类算法可包括随机森林分类器(random forest classifier)。可训练多个随机森林分类器。去噪可包括使用低通滤波器。例如，事件检测可包括在具有固定窗口长度的数据流上训练的分类器之一。分类器可对每个样本输出投票。一旦投票数达到阈值，诸如例如，窗口长度中的一半样本被归类为属于姿势事件，则姿势的快照可被输入到分类器。快照可包括来自多个数据点的所有传感器12的一系列帧，直到信号(例如，事件检测)完成发射(firing)，其中事件检测窗口停止在0和1之间切换。数据被输入到姿势分类器并在多个快照进行训练。上述随机森林分类器分析有助于评估泛化误差。可通过聚合多个快照来预测以减少错误。
比例控制是将生物电传感器读数转换成连续的控制信号，其可被输入到计算机化装置29。姿势225，其中至少两个手指可以按压或挤压在一起，其中由传感器12检测到的生物电信号可用于测量或估计至少两个手指之间的压力。例如，将两根手指按压在一起可用于产生应用于视频设备的控制信号，以便用户快进观看的电影，例如施加到手指之间的压力越大，转换成电影的快进速度越快。以相同的方式，姿势225可由汽车的驾驶员使用，例如在驾驶时通过将他的手指挤压在一起来控制汽车中的收音机的音量。
对生物电信号读数至控制信号的估计应该是平滑的，并且在时间上是一致的，例如，以便不过快地改变诸如收音机音量或快进电影的速度的参数。分类分析可由姿势识别使用，如图14和图15的流程图所描述的，而回归分析用于比例控制。通常，智能手表160使用分类分析，例如，以便识别手150做出的姿势225，以及应用于由传感器12检测到的生物电事件的回归分析，以将姿势转换为连续的控制信号，如下面的比例控制实施例中所描述的。
图17示意性地示出了根据本发明的一些实施例，当将两个手指405挤压在一起时检测到的生物电势信号420。生物电势信号420是从多个传感器12之一检测的信号。在图17中示出了将至少两个手指一起挤压在一起的姿势400。手415的手指405用压力P(t)挤压或按压在一起，其中压力可以以任何合适的单位表示，例如诸如帕斯卡、磅每平方英寸(psi)。智能手表410的腕带上的传感器12检测传感器电压420，其中振幅和频率在时间上的增加与增加的压力P(t)成正比。换句话说，当已知的姿势包括将至少两个手指按压在一起时，并且处理器22被配置为通过评估至少一个检测到的表面神经传导信号包括与施加在至少两个手指之间的压力成比例的振幅和频率，来识别已知姿势。然后可应用如下所述的比例控制算法来提取可应用于计算机化设备29的压力控制信号。
在本发明的一些实施例中，用于姿势识别的分类分析和用于比例控制的回归分析可使用类似的数据管线(data pipeline)来处理数据。例如，姿势识别和比例控制数据管线可使用本文首先讨论的类似的算法。
图18A是根据本发明的一些实施例的用于姿势识别的数据管线的框图421。框图421包括去噪框432、事件检测框434、软分段框436、特征提取框438和分类框440。用于姿势识别的数据管线中的这些框中的每一个在图16的流程图中讨论。
图18B是根据本发明的一些实施例的用于比例控制的数据管线的框图431。框图431包括去噪框432、维度减少框442、变换框444、反馈框446和压力估计框448。
在本发明的一些实施例中，使用神经网络的机器学习技术可用来实现这两条管线中的数据流。如上所述的表示图18A至18B中的姿势识别和比例控制管线的功能框可使用相同的算法或管线架构来实现，使用离散小波变换(DWT)422(如前所述)、卷积神经网络(CNN)424、以及长短期记忆(LSTM)神经网络426来处理一个或多个生物电信号，如稍后将描述的。CNN 424是被选择用于管理从置于手腕附近的传感器12检测的生物电信号的神经网络。CNN424在处理检测到的相关的信号方面是有效的。LSTM 426在时间上(例如，时间帧)保持生物电信号的存储器，并且可在短时间和长时间段内检测信号中的模式，如将在后面的组合管线架构中讨论的。
在用于估计至少两个手指之间的压力的比例控制管线431之后，对由传感器12检测到的一个或多个生物电信号进行去噪422(例如，去噪框432)可使用离散的小波变换(DWT)，如前所述，用于姿势识别管线。对生物电信号进行去噪可包括例如从SNC信号中去除EMG信号噪声。
在本发明的一些实施例中，管线431中的维度减少442可用于减少数据量，以便仅留下与姿势检测相关的重要数据并降低检测的复杂度。有各种技术来实现这一点：
A.无监督维度减少：在本发明的一些实施例中，使用诸如NMS(非负矩阵分解)之类的技术，可减少帧内的数据的维度，即，来自传感器12的检测数据可减少到表示单个时间序列的单个帧。这种减少可以通过最小化成本函数来完成：
(8)minW，H||F-W·H||w
根据条件W，H≥0，其中F表示以矩阵形式布置的帧去噪后的原始生物电信号数据，H是隐藏变量(例如，在手指405之间施加的压力)，W是权重矩阵，其中一个帧中的每个样本有助于经由W重建F。等式(8)中的范数的选择用于调整比例控制应用的最小化。
B.监督的未标记的维度减少：在本发明的一些实施例中，可经由自动编码器神经网络来减少数据F。该架构可包括前馈神经网络，但是代替在数据集DF(例如，帧Fi的多个实例)上训练网络以便预测标签Yi(分类)，网络可被训练为重构输入DF。可应用约束，使得自动编码器神经网络中的隐藏层节点的数量小于输入层节点的数量，迫使网络学习其自身的紧凑表示。隐藏层可用于维度减少。
C.监督标记的维度减少：在本发明的一些实施例中，监督的标记维度减少是回归问题，其中经由某种分析函数建立输入\输出关系。在转换步骤444之后，该技术可能更适用。此外，这种关系可能不一定是线性的。因此，经典的线性回归不适用。随机森林回归和最小绝对收缩和选择运算符(LASSO)回归更适合于这样的问题。
监督时间序列学习的现代方法是周期性的神经网络(recurrent neuralnetwork)，具体而言是LSTM(长短期记忆)。与更“经典”学习方法相反，LSTM神经网络可以以考虑上下文的方式处理串行数据。更具体地说，LSTM网络可考虑来自先前帧的数据。所有其他方法都可处理固定大小的帧。提供了来自先前帧的反馈，但反馈也是预定义的(通过固定先前帧的数目)。因此，由于其独特的隐藏状态公式，LSTM提供了更灵活的处理数据的方法。
监督学习需要标记的数据集。在本发明的一些实施例中，在处理器22识别已知的姿势400之后，为了对来自传感器12的生物电信号导出的姿势400的数据进行标记，向用户提供辅助信号。例如，可向用户播放声音信号。声音信号可在频率和/或幅度上变化。可指示用户与用户听到的辅助信号成比例地改变手指405之间的压力P(t)。来自传感器12的数据被记录并进一步作为标签组Y提供给数据DF。可考虑用户听到声音信号与用户反应之间的响应时间，以防止Y和DF之间的不匹配。
在本发明的一些实施例中，管线431中的变换444可用于通过管线431对数据进行预处理(precondition)或后处理(post-condition)。在监督学习的情况下，变换444可用作预处理步骤以实现更好地估计压力学习步骤，并将领域知识引入系统(例如，神经记录中对振幅和频率的敏感度特性)。对于其他维度减少技术，变换步骤444在维度减少步骤442之后，以便将输出转换为更有意义的信号。
在本发明的一些实施例中，变换444可包括作为后处理公式的经过滤的Teager-Kaiser能量运算符。该运算符定义为：
(9)TK[f(ti)]＝f(ti)2-f(ti-1)·f(ti+1)
其中，f(t)是生物电信号，TK运算符与信号的瞬时频率和振幅成比例。
在预处理公式中，滤波器包括CNN(卷积神经网络)444。该方法被证明可以学习有效的局部变换，类似于工程滤波器，诸如基于傅立叶的低通/高通或TK运算符。
对于比例控制应用，辅助信号可经由经过滤的TK运算符使用等式(9)得到变换。辅助信号无噪声，因此对于TK变换是理想的。CNN 424可学习这样的表示。简单地过滤和转换数据的优点在于，这样一个神经网络是从数据中导出的，使其对于噪声更加稳健。但是，这样的网络需要大量的数据，并且在计算上更昂贵。
图19示意地示出了根据本发明的一些实施例的使用神经网络的组合管线架构450。组合管线架构450可包括用于去噪432的DWT 470和CNN424，以及维度减少442框，与用于实现变换444和反馈446框的LSTM 426组合。注意，组合管线架构450可用于实现姿势识别(GR)管线421和比例控制(PC)管线431。但是，实现GR和PC管线之间的差异在于神经网络(例如，CNN 424和LSTM 426)可被训练以实现姿势识别或实现比例控制。
组合管线架构450可包括由n个传感器12检测到的n个生物电信号，其中n是整数。来自传感器1的生物电信号455、来自传感器2的生物电信号460和来自传感器n的生物电信号465可被输入到表示为DWT1、DWT2、……DWTn的相应DWT单元或框422。可使用离散小波变换(DWT)来分解来自每个相应传感器的生物电信号455、460和465中的每个重叠片段。分解的结果是时间帧和每个传感器单个矩阵。矩阵元可包括生物电信号与一组自定义小波的卷积，导致超完整的稀疏基，准备用于去噪(例如，用于去除不相关的数据)。在该公式中，许多矩阵元系数可以是小的并且可忽略不计，从而实现数据中的形状和趋势的稀疏表示。由于电极可置于彼此附近并且可以一起被采样，所以信号可彼此相关(例如，信号和噪声两者)。通过用稀疏基表示这样的信号集，可从数据的形状(由DWT系数表示)和时间趋势(DWT系数的变化)推断观察。
在每个时间帧，DWT 422的每个片在CNN 424的输入层482中具有相应的输入节点485。CNN 424被配置为使隐藏层484具有比输入层482更少的节点，从而实现维度减少442。由于信号因电极16的接近而相关，CNN 424被配置为减少数据量。由于生物电信号的空间-时间相关性，这是可能的。减少数据的维度而删除不必要的成分允许提取感兴趣的特征，以便在分类或回归之前调节数据。节点485之间的互连包括权重。例如，每个节点可包括诸如对数或S形转换的变换。CNN 424的CNN输出层486中的节点485可用作每个时间帧上的LTSM426机器的输入向量。
LSTM 426具有表示为LSTM1、LSTM2……LSTMm的m单元，其中m是整数。CNN输出层486中的CNN节点485连接到m个LSTM单元的输入，如图19所示。m个LSTM单元中的每个具有隐藏的门连接491，其提供在LSTM隐藏门中呈现的存储器机构。可堆叠m’个多层LSTM单元(其中m’是整数)，以实现数据的更抽象的表示(图19中未示出)。注意，在组合管线架构450中，反馈446被集成到LSTM的存储器机构中。LSTM1的输出492、LSTM2的输出494……LSTMm的输出496是在连续时间帧中挤压在一起的手指405之间的估计压力P(t)的样本。
m个LSTM存储器单元可根据基于先前输入提供信号的隐藏存储器的输入(例如，来自CNN 424的输出)接收输入和输出决定。在训练期间，LSTM单元可接收特征(例如，本地描述符)、网络数据和先前LSTM单元决策的结果。利用LSTM 426的唯一隐藏层，LSTM 426可在长期和短期的数据(例如，可变长度的唯一存储器组件)检测模式。
在本发明的一些实施例中，LTSM 426机器可使用先前描述的辅助信号进行训练。例如，辅助信号可表示压力，诸如用户响应于听到声音信号的频率和音量的变化而改变手指405之间的压力。类似地，辅助信号可包括表示姿势的离散信号。LSTM网络将接收辅助信号数据(监督学习)并收敛于一个方案。
图20是示出根据本发明的一些实施例的使用组合管线架构450估计两个手指405挤压时的标准化压力对时间帧的曲线图500。当智能手表410的用户在姿势400中以增大的压力将手指405挤压到一起时，来自压力估计框448的估计的归一化压力增加，直到用户不能更用力地将手指405挤压在一起，因此，归一化的P(t)饱和值为1。曲线图500可通过将分别从LSTM1、LSTM2……LSTMm的输出492、494和496的代表性绘图与时间帧连结来产生。
在本发明的一些实施例中，反馈446回路的输入可使得已经估计出“瞬时”压力。反馈446提供了一种使用输入信号和控制环路来稳定输出的方法。这可能有助于消除在将指状物405挤压在一起时检测到的生物电信号中的瞬时波动，否则该波动可能限制用于控制计算机化设备29的信号的使用(例如，汽车收音机的音量、快进视频的速度，例如)。控制信号不一定需要是最准确的，但足够稳定以达到用户的意图。
在本发明的一些实施例中，反馈回路可包括各种架构。最简单的架构可包括利用来自先前的时间样本的压力以某个时间阶的压力的加权平均值：
(10)
上述公式相当于输出压力信号的低通滤波器。更复杂的架构可包括更复杂的滤波器或控制反馈回路，例如诸如比例积分微分控制器(PID)控制器。
在本发明的一些实施例中，如图5的流程图所示的姿势控制系统的操作可包括可穿戴键盘。可向用户手上戴手套的用户提供触觉反馈以增强文本写入学习和/或启用文本读取。
图21A示意性地示出了根据本发明的一些实施例的具有触觉反馈的手套525的第一实施例520。由用户戴的手套525包括触觉致动器527和传感器532，诸如惯性测量单元(IMU)，用于检测用户的手指移动。当手套可用作穿戴式键盘时，通过用触觉致动器527向用户提供触觉反馈，训练手套525的姿势，从而可促进通过手势写入文本。类似地，如前所述，手套525可用于通过向用户进行触觉反馈读取文本。手套525可以包括运行算法的处理器和用于检测来自传感器532的手和手指移动并且向用户致动触觉反馈的其它电路。
图21B示意性地示出了根据本发明的一些实施例的具有触觉反馈的手套525的第二实施例520。用户穿戴的手套525可仅包括用于检测手指移动的传感器532。但是，用户戴的腕带540可仅包括用于向用户提供触觉反馈的触觉致动器527。腕带540可与手套525通信并且接收关于用户的手指移动的信息。腕带540可响应于手指移动而向用户提供触觉反馈。
对于本文参考的任何流程图应当理解，仅为了方便和清楚而选择了所示方法划分成由流程图的框表示的分立操作。将所示方法替代划分成分立操作是可能的，具有相同的结果。所示方法的这种替代划分应该被理解为表示所示方法的其他实施例。
类似地，应当理解，除非另有说明，否则仅为了方便和清楚而选择了示出的本文参考的任何流程图的框表示的操作执行顺序。所示方法的操作可以以替代顺序执行，或者同时执行，具有相同的结果。所示方法的操作的这种重新排序应被理解为表示所示方法的其他实施例。
本文公开了不同的实施例。某些实施例的特征可与其他实施例的特征组合；因此某些实施例可以是多个实施例的特征的组合。出于说明和描述的目的，已经呈现了本发明的实施例的前述描述。它不是穷举的或将本发明限制为所公开的精确形式。本领域技术人员应当理解，鉴于上述教导，许多修改、变化、替换、改变和等同物是可能的。因此，应当理解，所附权利要求旨在覆盖落入本发明的真实精神内的所有这样的修改和变化。
虽然本文已经说明和描述了本发明的某些特征，但是本领域普通技术人员现在将会想到许多修改、替换、改变和等同物。因此，应当理解，所附权利要求旨在覆盖落入本发明的真实精神内的所有这样的修改和变化。

Claims (12)

1.一种能够由用户穿戴的姿势控制系统，所述姿势控制系统包括：
多个不同的传感器，至少包括用于测量手腕肌腱运动期间手腕的体积变化的光电体积描记图(PPG)传感器和能够检测移动的运动传感器；
存储器模块，具有表示不同姿势的已知记录的数据库和姿势预测模型；和
信号处理器，用于根据所述姿势预测模型从所述数据库中识别来自不同的传感器的信号参数作为已知姿势，并用于生成与所识别的信号参数对应的信号。
2.根据权利要求1所述的姿势控制系统，其中，多个传感器包括惯性测量单元，用于测量所述用户的手的粗略移动。
3.根据权利要求1所述的姿势控制系统，其中，多个传感器包括压力传感器，用于测量所述用户的手臂和手中的肌腱的移动中的力。
4.根据权利要求1所述的姿势控制系统，其中，所述光电体积描记图(PPG)传感器基于发光二极管(LED)技术。
5.根据权利要求1所述的姿势控制系统，其中，多个传感器包括生物电传感器。
6.根据权利要求5所述的姿势控制系统，其中，所述生物电传感器用于增加正确识别所述用户的姿势的可能性。
7.一种用于姿势控制的方法，所述方法包括：
使用多个不同的传感器，多个不同的传感器至少包括用于测量手腕肌腱运动期间手腕的体积变化的光电体积描记图(PPG)传感器和能够检测移动的运动传感器；
使用存储器模块，所述存储器模块具有表示不同姿势的已知记录的数据库和姿势预测模型；
使用信号处理器，根据所述姿势预测模型从所述数据库中识别来自不同的传感器的信号参数作为已知姿势；和
生成与所识别的信号参数对应的信号。
8.根据权利要求7所述的方法，其中，多个传感器包括惯性测量单元，用于测量用户的手的粗略移动。
9.根据权利要求7所述的方法，其中，多个传感器包括压力传感器，用于测量用户的手臂和手中的肌腱的移动中的力。
10.根据权利要求7所述的方法，其中，所述光电体积描记图(PPG)传感器基于发光二极管(LED)技术。
11.根据权利要求7所述的方法，其中，多个传感器包括生物电传感器。
12.根据权利要求11所述的方法，包括使用所述生物电传感器来增加正确识别用户的姿势的可能性。
CN202311690905.1A 2016-07-06 2017-07-05 用于可穿戴设备的姿势控制接口的方法和装置 Pending CN117687477A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/202,750 2016-07-06
US15/202,750 US9720515B2 (en) 2015-01-02 2016-07-06 Method and apparatus for a gesture controlled interface for wearable devices
CN201710543994.5A CN107589782A (zh) 2016-07-06 2017-07-05 用于可穿戴设备的姿势控制接口的方法和装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201710543994.5A Division CN107589782A (zh) 2016-07-06 2017-07-05 用于可穿戴设备的姿势控制接口的方法和装置

Publications (1)

Publication Number Publication Date
CN117687477A true CN117687477A (zh) 2024-03-12

Family

ID=61041788

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202311690905.1A Pending CN117687477A (zh) 2016-07-06 2017-07-05 用于可穿戴设备的姿势控制接口的方法和装置
CN201710543994.5A Pending CN107589782A (zh) 2016-07-06 2017-07-05 用于可穿戴设备的姿势控制接口的方法和装置
CN202311036961.3A Pending CN117032398A (zh) 2016-07-06 2017-07-05 用于可穿戴设备的姿势控制接口的方法和装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201710543994.5A Pending CN107589782A (zh) 2016-07-06 2017-07-05 用于可穿戴设备的姿势控制接口的方法和装置
CN202311036961.3A Pending CN117032398A (zh) 2016-07-06 2017-07-05 用于可穿戴设备的姿势控制接口的方法和装置

Country Status (1)

Country Link
CN (3) CN117687477A (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020112986A1 (en) * 2018-11-27 2020-06-04 Facebook Technologies, Inc. Methods and apparatus for autocalibration of a wearable electrode sensor system
CN108345873A (zh) * 2018-03-22 2018-07-31 哈尔滨工业大学 一种基于多层卷积神经网络的多自由度人体运动信息解析方法
CN108453736A (zh) * 2018-03-22 2018-08-28 哈尔滨工业大学 一种基于深度学习的多自由度同步肌电控制方法
WO2020036958A1 (en) * 2018-08-13 2020-02-20 Ctrl-Labs Corporation Real-time spike detection and identification
CN110896425B (zh) * 2018-09-12 2021-10-22 意法半导体股份有限公司 用于识别将移动电子设备带到用户耳朵的姿势的系统和方法
EP3650956A1 (fr) * 2018-11-07 2020-05-13 Tissot S.A. Procede de diffusion d'un signal acoustique
CN109782999A (zh) * 2019-01-30 2019-05-21 上海摩软通讯技术有限公司 一种输入方法、输入设备以及一种计算机可读介质
CN110209270B (zh) * 2019-05-14 2022-10-25 李子琪 一种数据手套、数据手套系统、校正方法及存储介质
US11010921B2 (en) * 2019-05-16 2021-05-18 Qualcomm Incorporated Distributed pose estimation
CN111062021B (zh) * 2019-12-19 2022-03-11 清华大学 一种基于可穿戴设备进行身份认证的方法及装置
US11397466B2 (en) * 2020-03-31 2022-07-26 Apple Inc. Skin-to-skin contact detection
US11397468B2 (en) 2020-03-31 2022-07-26 Apple Inc. Skin-to-skin contact detection
CN114442798A (zh) * 2020-11-06 2022-05-06 复旦大学附属妇产科医院 便携控制系统及控制方法
CN114494424A (zh) * 2022-04-14 2022-05-13 常州市新创智能科技有限公司 一种基于视觉的焊接引导方法及装置
CN115381469A (zh) * 2022-08-12 2022-11-25 歌尔股份有限公司 肌电信号采集装置及控制方法、电子设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8280503B2 (en) * 2008-10-27 2012-10-02 Michael Linderman EMG measured during controlled hand movement for biometric analysis, medical diagnosis and related analysis
US7835999B2 (en) * 2007-06-27 2010-11-16 Microsoft Corporation Recognizing input gestures using a multi-touch input device, calculated graphs, and a neural network with link weights
DE102009014991A1 (de) * 2008-03-26 2010-08-05 Ident Technology Ag System und Verfahren zur multidimensionalen Gestenauswertung
US8170656B2 (en) * 2008-06-26 2012-05-01 Microsoft Corporation Wearable electromyography-based controllers for human-computer interface
US20110181510A1 (en) * 2010-01-26 2011-07-28 Nokia Corporation Gesture Control
CA2902045A1 (en) * 2013-02-22 2014-08-28 Thalmic Labs Inc. Methods and devices that combine muscle activity sensor signals and inertial sensor signals for gesture-based control

Also Published As

Publication number Publication date
CN107589782A (zh) 2018-01-16
CN117032398A (zh) 2023-11-10

Similar Documents

Publication Publication Date Title
US9720515B2 (en) Method and apparatus for a gesture controlled interface for wearable devices
CN117687477A (zh) 用于可穿戴设备的姿势控制接口的方法和装置
US9612661B2 (en) Closed loop feedback interface for wearable devices
US10970936B2 (en) Use of neuromuscular signals to provide enhanced interactions with physical objects in an augmented reality environment
EP3843617B1 (en) Camera-guided interpretation of neuromuscular signals
US11567573B2 (en) Neuromuscular text entry, writing and drawing in augmented reality systems
WO2020061440A1 (en) Neuromuscular control of an augmented reality system
JP2022546179A (ja) 神経筋制御に基づいて入力を実施するシステム、方法、およびインターフェース
JP2021072136A (ja) ジェスチャに基づいて制御するための筋活動センサ信号と慣性センサ信号とを結合する方法および装置
Zhang et al. Recognizing hand gestures with pressure-sensor-based motion sensing
US11179066B2 (en) Real-time spike detection and identification
Aswath et al. Human gesture recognition for real-time control of humanoid robot
Chapman et al. A wearable, open-source, lightweight forcemyography armband: on intuitive, robust muscle-machine interfaces
Eddy et al. A framework and call to action for the future development of emg-based input in hci
Kumar et al. Human-computer interface technologies for the motor impaired
Eddy et al. LibEMG: An Open Source Library to Facilitate the Exploration of Myoelectric Control
Ossmann et al. AsTeRICS, a flexible AT construction set
Kawamoto et al. A dataset for electromyography-based dactylology recognition
Saha Design of a wearable two-dimensional joystick as a muscle-machine interface using mechanomyographic signals
Liu et al. A wearable system for sign language recognition enabled by a convolutional neural network
Akumalla Evaluating appropriateness of emg and flex sensors for classifying hand gestures
Booth Design and Testing of a Wristband with Piezoelectric Sensors for Finger Gesture Recognition
Chhatre Exploratory study to use K-means clustering for gesture selection of force myography upper limb data in participants with cerebral palsy
Liu et al. Multimodal Haptic Interaction with a Carbon Nanotube-based Tactile Oral Pad
Saponas Supporting Everyday Activities through Always-Available Mobile Computing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination