CN109804331B - 检测和使用身体组织电信号 - Google Patents
检测和使用身体组织电信号 Download PDFInfo
- Publication number
- CN109804331B CN109804331B CN201780060545.3A CN201780060545A CN109804331B CN 109804331 B CN109804331 B CN 109804331B CN 201780060545 A CN201780060545 A CN 201780060545A CN 109804331 B CN109804331 B CN 109804331B
- Authority
- CN
- China
- Prior art keywords
- signal
- wrist
- user
- potential
- skin
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/389—Electromyography [EMG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/053—Measuring electrical impedance or conductance of a portion of the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4851—Prosthesis assessment or monitoring
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
- G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
- G06F3/0233—Character input methods
- G06F3/0236—Character input methods using selection techniques to select from displayed items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
- A61B2560/02—Operational features
- A61B2560/0242—Operational features adapted to measure environmental factors, e.g. temperature, pollution
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
- A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
- A61B5/0024—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system for multiple sensor units attached to the patient, e.g. using a body or personal area network
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02438—Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/0245—Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
- A61B5/1114—Tracking parts of the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/25—Bioelectric electrodes therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4836—Diagnosis combined with treatment in closed-loop systems or methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/681—Wristwatch-type devices
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6813—Specially adapted to be attached to a specific body part
- A61B5/6824—Arm or wrist
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6813—Specially adapted to be attached to a specific body part
- A61B5/6829—Foot or ankle
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices
Abstract
在受试者的皮肤上感测生物电位。生物电位包括肌肉生物电位和神经生物电位。定位皮肤传感器以使感测电路能够加强由感测电路产生的处理的生物电位信号中的神经生物电位并且减弱肌肉生物电位。机器学习组件基于处理的生物电位信号识别控制序列或跟踪身体运动。
Description
交叉引用
本申请有权享有2016年12月2日提交的序列号为62/429,334的美国临时申请以及2017年10月2日提交的序列号为62/566,674的美国临时申请的提交日的权益,两者的全部内容通过引用结合于此。
技术领域
该描述涉及检测和使用身体组织电信号。
背景技术
例如,人体中的外周神经产生并传播电信号(有时称为脉冲)以进行各种工作。例如,传出神经将信号从中枢神经系统传播到四肢的肌肉,以引起肌肉收缩或放松。(为简单起见,我们有时使用术语“收缩”来指代收缩或放松。)传入神经在另一个方向传播信号,从包括皮肤的感觉器官到中枢神经系统。检测神经电信号(脉冲活动)的一种方式是通过将电极经皮肤插入神经中的侵入性技术;然后可以在电极的暴露端检测神经电信号。
肌肉的收缩或放松是由例如在操作手指的肌肉附近的位置处的神经元引起的。为了激活特定的肌肉(例如,使其收缩),大脑可以向具有神经元束的特定所选择的神经发送信号,以使该神经元产生电信号。这些电信号是基于神经元之间以及神经元和效应细胞之间通过被释放的化学信使或神经递质的相互作用的化学过程。在骨骼肌细胞的情况下,激活的运动神经元将神经递质乙酰胆碱传递到骨骼肌细胞的突触,允许该细胞中的离子通道打开。这改变了细胞的膜电位,导致引起动作电位和随后的肌肉的收缩的事件序列。
例如,通过经所选择的神经将协调电信号发送到与特定手指相关联的对应肌肉,大脑可以使手指产生各种各样的动作,诸如触摸手掌。因此,大脑可以经神经向身体各部位的肌肉发送信号,以使身体的部位按照大脑所意图的姿势而运动,诸如以“V”竖起手的食指和中指。姿势又可以代表意图,例如,祝贺队友胜利的意图。
身体的其他组织,例如脑细胞、中间神经元和骨骼(表现出压电特性)也可以产生电信号。由身体的一些组织产生的电信号有时被称为动作电位。
发明内容
通常,在一个方面,在受试者的皮肤上感测生物电位(例如,可以生物学生成的任何电位)。生物电位包括肌肉生物电位和神经生物电位。放置皮肤传感器以使感测电路能够加强由感测电路生成的处理的生物电位信号中的神经生物电位并减弱由感测电路生成的处理的生物电位信号中的肌肉生物电位。机器学习组件基于处理的生物电位信号识别控制序列或追踪身体运动。
通常,在一个方面,在(例如)手腕或脚踝(或其他身体部位)的皮肤表面检测电位,并处理所检测到的电位以提供代表出现在手腕或脚踝神经处的电信号的数据值。
实现方式可以包括以下特征中的任何一个、或两个或多个的组合。结构支撑手腕的检测器和电路。检测器包括电极。对准特征将该结构相对于手腕的上表面和外边缘对准,以将检测器放置成与手腕或脚踝处的皮肤相接触,并在手腕的特定内部组织附近。对准特征被配置为将检测器放置成与手腕的顶部或脚踝的特定表面相接触。对准特征被配置为将检测器放置成与手腕的底部相接触。对准特征以“J”布置,并包括大致平坦的部分以接合手腕的上表面,并包括凸起部分以接合手腕的外侧。对准特征是单个集成的刚性片的一部分。对准特征包括柔性特征。对准特征包括刚性特征。检测器暴露在一个或多个内表面处。检测器包括成对的检测器,每对中的一个检测器比该对中的另一个检测器更靠近手指或脚趾。可以有至少两个检测器、至少六个检测器、至少十二个检测器或至少一百个检测器。检测器中的至少一个被放置成与手腕或脚踝的外侧的皮肤相接触。检测器中的至少一个被放置成与手腕的上表面上的皮肤相接触。每个检测器包括与导电固体、凝胶、泡沫或薄膜相关联的干燥接触表面。每个检测器可以作为单独的组件嵌入对准特征中,结合在用于形成对准特征的材料内,或者可以是织物内的纤维。对于检测器中的至少一个存在弹性安装件(mounting)。弹性安装件迫使检测器从内表面突出。带子将结构保持在手腕或脚踝上。对准特征可以与可穿戴纹身(wearable tattoo)或皮肤基电路(skin-based circuit)连接。对准特征包括抵靠尺骨的突出部(在手腕示例中)的边缘。电路包括电子组件。电子组件包括具有耦合到检测器中的至少一个的输入的陷波滤波器。电子组件包括与检测器中的至少一个相关联的带通滤波器(例如,可编程硬件)。电子组件包括放大器和模数转换器。电子组件包括惯性测量单元。电子组件包括无线通信组件。电子组件包括处理器,以运行存储的指令来处理从检测器得到的数字信号。所存储的指令将使处理器产生数据值。所存储的指令将使处理器应用过程以从数据值中提取特征并产生关于姿势或意图或肌肉收缩的表征。该过程包括分类器。所存储的指令将使处理器也使用来自一个或多个其他数据源的信息。其他源之一包括惯性测量单元。所存储的指令将使处理器控制两个或多个检测器的分组的选择,其中将从这些检测器的分组获取信号并且信号作为通道被处理。分组之一的检测器中的一个包括在腕设备外部的电极。通道中的一个与电极中的三个相关联。电子组件包括用户接口。用户接口包括显示器。用户接口包括一个或多个按钮控制的开关以及多色强度可控的LED。用户接口包括触觉功能。存在用于在端口和检测器之间连接电导体的端口,该检测器被配置为粘附到用户的皮肤。提供除了检测皮肤上的电信号之外的功能。功能组件包括时间片(time piece)。用于该结构的外壳具有对准特征、处理器、电池、无线通信模块和用户接口。存在用于将处理器耦合到外部数字设备的USB端口。存在用于将处理器耦合到外部数字设备的无线通信器。
通常,在一个方面,在受试者的皮肤上,检测作为神经组织的电活动的特性的电位,并且也检测作为在检测器附近的非神经组织的电活动的特性的电位。存在处理器和数字存储器,该数字存储器包含将由处理器执行的指令,以使处理器基于所检测到的电位产生代表神经组织的电活动的数据值。
实现方式可以包括以下特征中的任何一个、或两个或多个的组合。指令将使处理器将代表神经组织的电活动的数据值解释为与特定肌肉的收缩相关联。指令将使处理器识别与所检测到的电位相对应的一个或多个手势。指令将使处理器识别与所检测到的电位相对应的意图。指令将使处理器对数据的特征应用过程,以基于特征与动作或手势或意图的已知关系来推断特定肌肉的动作或手势或意图。过程包括机器学习过程。过程包括分类器过程。过程包括阈值过程。在受试者的手腕皮肤上检测电位。检测器包括电极以接触受试者的皮肤。检测器包括将成对使用的电极,以检测皮肤上的差分电位。检测器包括预定样式的电极以接触受试者的皮肤,指令将使处理器将数据解释为与一个或多个手势、肌肉动作或意图相关联,并且系统包括存储的信息,该信息代表由预定样式的电极检测到的电位与对应的手势、肌肉动作或意图之间的已知关系。存在一个或多个信号处理组件以接收所检测到的电位并产生处理的电信号,该电信号代表所检测到的神经组织的电位,并具有比所检测到的神经组织的电位更好的信噪比。频谱滤波器基于神经组织的电活动的已知频谱特性通过对所检测到的电位进行频谱滤波来产生处理的电信号。陷波滤波器基于已知的频谱特性通过滤除环境电噪声来产生处理的电信号,以获得生物电位信号。时间滤波器去除或衰减生物电位信号中的频率。这有助于改善信号的信噪比。空间滤波器可以基于彼此间的距离来确定每个检测器的幅度。分析部件通过分析皮肤上两个位置处的电位的发生的相继时间或变化的极性并基于发生的时间或极性的关系识别神经组织的电活动的电位特性来产生处理的电信号。在受试者的皮肤上检测肌肉组织的电活动的一个或多个电位特性,并所检测到的肌肉组织电位被用于相对于对神经组织所检测到的电位的噪声消除。阻抗匹配组件通过匹配检测器的阻抗与皮肤的阻抗来产生处理的电信号。手动或动态地匹配阻抗。阻抗匹配组件控制可编程电阻器。阻抗匹配组件接收对应于受试者皮肤上的阻抗的实时测量。
检测器包括电位检测器阵列,并且指令将使处理器选择检测器中的两个或多个的集合,数据基于所选择的检测器的集合的电位而产生。存在通信设备。指令将使处理器通过通信设备将数据传达到治疗系统。指令将使处理器通过通信设备将数据传达到诊断系统。指令将使处理器通过通信设备将数据传达到控制系统。指令将使处理器通过通信设备将数据传达到反馈系统。指令将使处理器通过通信设备将数据传达到研究系统。指令将使处理器通过通信设备将数据传达到性能测量系统。指令将使处理器执行校准操作。指令将使处理器通过通信设备将数据传达到增强现实或虚拟现实系统。
通常,在一个方面,使用利用一个或多个表面肌电图传感器和传感器集线器从皮肤表面测量的肌电图信号来控制设备。
通常,在一方面,基于神经电活动确定手势或意图信息,并将其提供给应用。
实现方式可以包括以下特征中的任何一个、或两个或多个的组合。将由处理器运行的指令将使处理器无线地从具有在用户的皮肤上的电位检测器的设备接收手势或意图信息。将由处理器运行的指令将使处理器接收不代表在用户的皮肤上检测到的电位的其他信息,并还基于该其他信息生成手势或意图信息。其他信息包括来自惯性测量单元的惯性信息。处理器是用户设备的一部分,并且将由处理器运行的指令将使处理器向在用户设备上运行的两个或多个其他应用提供手势或意图信息。从两个或多个这样的设备无线地接收手势或意图信息,并且该手势或意图信息以与设备无关的格式表达。基于在一时间系列(succession of time)发生的神经电活动,手势或意图信息与该时间系列相关联。手势或意图是基于一个或多个手指的运动,并且手势或意图信息被提供给应用以与手指运动的物理模型一起使用来在用户接口上控制手指的运动。将由处理器运行的指令将引起向作为手势或意图的来源的受试者的触觉反馈。
通常,在一个方面,在受试者的皮肤上,检测作为组织的电活动的特性、包括每个神经组织和肌肉组织的电位特性的电位。将由处理器运行的指令将使处理器基于所检测到的电位产生代表每个组织的单独电活动的数据。
实现方式可以包括以下特征中的任何一个、或两个或多个的组合。指令将使处理器将代表各个组织的电活动的数据解释为与特定肌肉的动作相关联。指令将使处理器推断与各个组织的所检测到的电位对应的一个或多个手势或意图。指令将使处理器对数据的特征应用过程,以基于特征与动作、意图或手势的已知关系来推断特定肌肉的动作或手势或意图。过程包括机器学习过程。过程包括分类器过程。在受试者的皮肤上检测电位。在手腕的皮肤上检测电位。传感器包括电极以接触受试者的皮肤。传感器包括将成对使用的电极,以检测皮肤上的差分电位。传感器包括预定样式的电极以接触受试者的皮肤,指令将使处理器将数据解释为与一个或多个手势相关联,并且系统包括存储的信息,该信息代表由预定样式的电极检测到的电位与对应的手势之间的已知关系。一个或多个信号处理组件接收所检测到的电位,并产生处理的电信号,该电信号代表所检测到的电位,并具有比所检测到的电位更好的信噪比。处理的电信号的产生包括基于各个组织的电活动的已知频谱特性对所检测到的电位进行频谱滤波。处理的电信号的产生包括基于环境噪声的已知频谱特性对所检测到的电位进行陷波滤波。处理的电信号的产生包括匹配传感器的阻抗与皮肤的阻抗。阻抗是动态匹配的。阻抗匹配包括控制可编程电阻器。阻抗匹配包括接收对应于受试者皮肤上的阻抗的实时测量。传感器包括电位检测器阵列,并且指令将使处理器选择检测器中的两个或多个的集合,数据基于所选择的检测器的集合的电位而产生。指令将使处理器选择一系列的检测器集合,数据基于来自每个检测器集合的电位而产生。存在通信设备。指令将使处理器将数据传达到治疗系统、诊断系统、控制系统、反馈系统、研究系统或性能测量系统。指令将使处理器将代表神经组织的电活动的数据解释为与受试者的意图相关联。指令将使处理器执行校准操作。指令将使处理器将数据传达到增强现实或虚拟现实系统。
通常,在一个方面,监测脊椎动物受试者的附肢的运动的激活。至少两个电极的集合在靠近与附肢相关联的神经肌肉束的位置接触脊椎动物的皮肤表面。矩阵将该电极的集合安装在该位置中的适当位置。信号处理单元具有耦合到电极的输入、以及输出。该单元包括:放大器系统,耦合到单元的输入并具有输出;滤波器系统,使神经元信号通过并衰减其他信号;以及耦合到该输出的后处理器。
实现方式可以包括以下特征中的任何一个、或两个或多个的组合。后处理器是提供与运动的激活相关联的神经元活动水平的测量的计量设备。后处理器包括阈值处理器,以仅在神经元活动水平超过阈值时提供输出。
通常,在一个方面,装置包括处理器和数字存储器,该数字存储器包含可由处理器运行的指令,以(a)基于在人的皮肤上检测到的神经电活动来确定人的手势或意图信息,以及(b)向应用提供该手势或意图信息,该手势或意图是关于人的手或手腕或手指或它们的组合的运动的。
实现方式可以包括以下特征中的一个、或两个或多个的组合。运动包括手或手腕或手和手腕的组合的转动、倾斜或偏转。运动包括旋转或扭转手和手腕。手势或意图信息包括方向、朝向、运动速率或幅度中的至少一个。运动对应于对球体的操纵。手势或意图信息与显示的应用的用户接口的所显示的元素的运动相关联。所显示的元素包括球体或类似于球体的元素。所显示的元素与手势或意图的运动成比例。所显示的元素的运动不是必需与手势或意图的运动成比例。根据映射,所显示的元素的运动被转换为所显示的元素的运动。所显示的元素的运动幅度是手势或意图的运动幅度的倍数。所显示的元素的运动幅度基于手势或意图的运动的加速度的幅度。
其他方面、实现方式、特征和优点以及它们的组合可以表示为用于执行功能的方法、装置、系统、组件、部件和步骤、程序产品、软件、商业方法以及以其他方式表示。
根据以下描述并根据权利要求书,其他方面、特征、实现方式和优点将变得明显。
附图说明
图1A是与sEMG传感器通信并与客户端设备通过接口连接的示例传感器集线器的图;
图1B是客户端设备和EMG控制器的图。
图2是监测sEMG传感器的示例方法的流程图;
图3A、图3B和图3C是传感器显示器和接口的示例实现方式的屏幕图像;
图4是使用sEMG传感器选择矩阵域的示例方法的流程图;
图5是使用sEMG传感器操作指针的示例方法的流程图;
图6是使用sEMG传感器选择菜单选项的示例方法的流程图;
图7是区分多个sEMG传感器的示例方法的流程图;以及
图8是适合在所描述的各种实现方式中使用的计算系统的框图。
图9是示意框图。
图10是腕设备的透视图。
图11是腕设备的分解透视图。
图12、13和14分别是电极按扣布置的透视图、侧视图和透视图。
图15是腕设备的一部分的俯视图。
图16是信号处理电路的框图。
图17是处理设备的框图。
图18是对所显示的用户接口的控制的示意图。
图19是示意框图。
具体实施方式
在此,除了其他方面,我们描述了可以非侵入地、准确地和精确地检测组织电信号(特别是神经电信号)并使用关于电信号的信息用于各种各样的目的的技术,仅举几例,目的包括诊断、治疗、控制、手势或意图的其他指示的推断、生物反馈、交互、分析和研究。因为关于电信号的信息可以比其他技术更准确和精确,所以使用它们的目的可以更有效、更快速、更简单、更精细和更高效,等等。也可以实现目前尚不可能的新应用。
我们广泛地使用术语“神经”来包括例如运送信号、特别是身体的部分之间的电信号(例如,电化学信号)的身体的任何部分。神经包括传出神经,其是周围神经系统的一部分,并引起肌肉例如收缩或放松,并且我们有时使用术语“神经”来指代传出神经。神经还包括传入神经,其作为感觉神经系统的一部分来运送信号,并且我们有时使用术语“神经”也指代传入神经。神经通常包括一束的神经束,每个神经束包括一束神经元。
我们广泛地使用术语“电信号”来包括例如可以电检测的任何事件、发生或现象,比如电位、电阻、电容、电感、其他阻抗或电流。我们有时使用术语“电信号”来指代发生在身体中的一处的、可以通过身体组织传播的、并且可以在皮肤上的(例如,附近的)位置处被检测或感测的这样的事件、发生或现象。为简单起见,我们有时使用术语“电位”来广泛地包括例如电位、电阻、电容、电感、其他阻抗或电流。
随着电信号沿着给定的神经传播,其可以在沿着神经长度的一连串位置处被检测到,并且可以通过在两个(例如,紧密地)间隔开的位置处检测电信号的出现的时间和极性并确定在这些时间之间经过了多少时间来确定其方向和传播速度。
在我们的讨论中,我们经常用出现在手腕中的神经电信号的检测和使用作为示例。我们在此描述的技术对于检测和使用身体任何其他部位、尤其是四肢的神经电信号或其他组织电信号也可以是有用的。
虽然我们在此描述的技术通常适用于周围神经系统的任何部分,但它们对于影响骨骼肌的自主控制的躯体或自主神经系统特别有用。
在人体生理学中,特定神经或它们的一部分可以嵌入肌肉、骨骼和其他组织中或与肌肉、骨骼和其他组织紧密相关联。体内的电信号不仅可以发生在神经中,而且可以发生在肌肉、骨骼和其他组织中(我们有时将其所有称为“信号源”)。
人体的许多部分包含交织、重叠或以其他方式彼此接近的这些信号源的组合。在信号源中的一个处发生的电信号通常在所有方向上传播,并且被衰减和分散到由其传播的距离以及由其传播所经过的其他组织的衰减特性确定的程度。最终,在信号源处发生的原始电信号的传播的、衰减的版本到达皮肤表面,例如,其在皮肤表面形成可检测的电位。因为来自两个或多个信号源(比如肌肉和附近的神经)的电信号可以在大致相同的时间发生,所以在给定时间在皮肤上的给定位置处的电位通常表示从发生在多个信号源的电信号得到的电位的复杂聚合。因此,在皮肤表面的给定区域中的位置阵列处的、例如在手腕处的在给定时间且在连续的时间出现的电位指示在该给定时间和时间系列在体内的该区域附近的每个信号源处发生的特定电信号。
通过检测皮肤上给定区域中的这种位置阵列处的电位并处理表示这些电位的信息,我们在此描述的技术可用来识别、绘制(二维或三维地)、观察、存储以及使用(用于各种目的)关于在给定时间或在时间系列上在特定可识别的信号源(例如,与拇指的收缩和四指的伸展相关联的特定传出神经)处发生的电信号的准确和精确的信息。关于电信号的信息可以与特定个别肌肉、肌腱和神经相关联。在不同位置检测到的电位的相对大小可用于推断哪个肌肉或神经是动作电位的来源。如后文所解释的,当在皮肤上的多个位置检测到电位时,机器学习是确定电活动的特定肌肉或神经的一种方式。如后文所讨论的,在一些情况下,可以仅仅基于幅度的阈值来进行确定。在不同位置处的检测到的差分信号的相对幅度可用于推断哪个肌肉或神经是电活动的。
在确定在特定神经处发生了电信号的示例中,该技术可以有效地确定哪个肌肉是所意图的运动的目标或将要移动,而不需要检测与肌肉收缩直接相关联的电信号。
在一些实施方式中,所检测到的电位不与控制特定目标肌肉的特定神经相关。在这些其他实施方式中,在某些位置检测神经电信号,并将其与已知生理学匹配以将所检测到的电信号映射到对应的目标肌肉。电极帮助我们基于生理学映射到特定肌肉。在对具有萎缩的无法移动的肌肉的ALS人群的实验中,该技术可以检测神经电信号,并确定这些神经电信号对应于所意图的大肌肉移动,即使没有物理移动或肌肉电信号存在。
因此,在比如手腕中的信号源和可以从所检测到的电位生成的信息中特别感兴趣的是,关于电信号在何时以及达何种程度发生在特定传出神经处的细节,这些特定传出神经在给定时间或时间系列控制手的肌肉。手的肌肉在人体如何与外部世界交互(例如通过手指)中起重要作用。通过我们在此描述的技术可以生成的信息可以使实现各种范围的设备、系统、过程和其他应用,它们依赖于理解手的肌肉在何时、如何以及达何种程度已经或者是将要被收缩或放松以及依赖于由这些收缩或放松所代表的手势和意图。
当身体的肌肉收缩或放松时,它们产生电信号。可以使用表面肌电图(“sEMG”)通过在肌肉附近的身体的皮肤上的表面电极来检测这些肌肉电信号,并且这些肌肉电信号可以用于各种目的。一对皮肤电极(例如,位于上前臂)通常用于检测电压差,作为肌肉中电活动的指示物。检测到的电压差可以用于确定大脑意图使(或将要使或实际已经使)对应的肌肉例如收缩。例如,收缩可以是食指的肌肉的收缩,如果手正握着鼠标,其将具有点击计算机鼠标按键的效果。并且,即使手没有握着鼠标,通过使程序进行使真实鼠标按键实际上已经被点击本该完成的内容,处理器也可以将来自肌肉的电压差信号翻译为所意图的动作(点击鼠标)。
尽管一些现有系统可以通过检测在肌肉本身的收缩或放松中发生的电信号来使实现一些这样的应用,但是在能够直接检测并处理关于诸如触发肌肉中的电信号的传出神经的神经中的电信号的信息是有优势的。发生在传出神经处的电信号是比对应的通过肌肉的收缩生成的电信号更直接、更精确、更早出现的大脑的活动的指示物。
许多应用程序被设计成基于代表由大脑向传出神经传播的信号表达的用户意图的信息来引起动作(例如,在用户界面上选择菜单项)。现有的电位检测系统使用肌肉收缩电信号作为用于推断由大脑传播的意图信号的代理。除了其他方面,通过在此描述的技术检测和处理的神经电信号比作为得到的肌肉收缩电信号稍早地被接收,作为意图的指示物可以比肌肉收缩信号更精确,并且可以避免当肌肉收缩事实上不能准确地代表在神经电信号中所运送的意图时可能发生的错误。后者可能由于各种原因而发生,比如,当肌肉不在工作或没有正常工作或已经萎缩或缺失时(例如,患有ALS、中风或截肢的人群)。
我们在此描述的技术提供比任何已知系统更准确和更精确的对神经电信号和其他组织电信号的测量。因此,使得关于组织电信号的信息的更有效的和新的应用成为可能。除了其他方面,例如当肌肉收缩(和相关的肌肉电信号)可能同时出现在多个肌肉中时,由于在由不同组织生成的电信号之间的更少的串扰,与组织电信号相关联的手势或意图的表征可以更准确。
如上所述,神经电信号可以是比肌肉电信号更准确和更细粒度的肌肉收缩和放松的指示物。然而,神经电信号检测具有比肌肉收缩信号小的幅度。并且在皮肤表面检测到的所有电位经受“噪声”,包括来自附近电力设备的60Hz噪声、来自肌肉、骨骼和其他组织的电信号、皮肤的电属性的变化以及其他噪声源。
我们在此描述的技术使用各种策略及其组合来改善在皮肤上所检测到的电位的信噪比。在实现方式中,这些策略可以包括以下的一个或多个:
1.发生在不同类型的组织中已经发生在体内用于不同目的电信号可能具有不同的频谱特性。例如,肌肉收缩电信号的典型频率范围是20Hz到300Hz,主要能量在50Hz到150Hz范围内,而神经电信号的典型频率范围是200Hz到1000Hz。通过在对所检测到的电位的信号处理期间应用适当的滤波器,可能增强例如神经电信号的相对强度。
2.身体的某些部位(诸如手腕)包含相对较少的肌肉组织,特别是相对较少的大块肌肉组织,其产生由肌肉收缩引起的力的主要部分。在具有相对较少的这种肌肉组织的身体部位的皮肤上放置电位检测器可以减小肌肉收缩电信号在皮肤表面产生的“噪声”的相对幅度。
3.在身体的某些部位(诸如手腕),要对其检测神经电信号的神经位于皮肤表面上的检测器与肌肉或其他组织之间。因此,发生在其他组织处的电信号可能被在其到达皮肤的途中的中间组织阻断或衰减。因此,在这种身体部位处的皮肤上放置电位检测器可以减少与神经相关联的电位信号中的“噪声”。
4.来自多个信号源的电信号在皮肤表面处组合的方式可以对电位检测器在皮肤上放置的特定位置或位置的样式是敏感的。基于生理学和神经的排布,对于检测器的放置存在科学基础。在一个位置,所测量的电位中归于神经电信号的部分可以具有比在第一位置的一厘米或更小范围内的附近位置处更低的信噪比。因此,以小增量调整检测器的位置以定位信噪比最高的位置可以是有用的。
5.在我们在此描述的技术的应用中,从在皮肤上的两个或多个位置处在给定时间或在时间系列上测量的电位(及其样式)推断由肌肉的收缩或放松引起的身体部位的运动。然后可以向用于各种目的的应用提供关于所推断的身体部位的运动的信息。可以使用许多不同的方案来进行这样的推断。当在代表性特征集上训练时,如像精细高斯支持向量机(SVM)的基本机器学习算法能够实现高准确性,同时保持低计算复杂度。随着聚集更多用户数据,如果特征集代表彼此区分的动作,则模型的准确性将增加。如果所提取的特征集不具代表性或者在准确性上没有增加,则可以使用计算更密集的学习框架来识别特征。已经表明深度神经网络在识别简明并有代表性的特征集方面是有效的。但是,此特征集可能不依赖于基础生物学,并可能降低关于系统进行推断的能力。这样的方案在这些方案之中:其中在皮肤表面的电位与身体部位的对应的实际运动之间的已知关系用于训练机器学习过程,以识别从电位提取的特征与身体部位的对应的运动之间的关系。可以以各种方式从人们获得这种已知关系。使用哪些已知关系用于训练的选择以及它们所应用于的机器学习过程的选择可能影响推断的速度和准确性。在一些实施方式中,用于训练的有用关系可以从其相关肌肉已经萎缩或由于某些其他原因失去功能的人们得到。在这种情况下,因为肌肉收缩电信号不发生,所以可能减小否则将由这种相对大的幅度的不想要的电信号引起的影响。通常,对应于这些人中假定的肌肉收缩的神经电信号与对应于肌肉正常运作的人的实际肌肉收缩的神经电信号相同。历史训练可以利用此相同的原理。
6.因为肌肉收缩电信号可以表示“噪声”的重要来源,并且与那些电信号相关联的电位可以是在皮肤表面可获得的,所以能够从聚集的所检测到的电位中分辨出(disambiguate)肌肉电信号。通过在比神经电信号正被检测到的位置更靠近肌肉的位置检测电位,可以降低噪声。然后,可以从神经电信号中消除肌肉电信号。
7.来自大脑的电信号(脉冲,动作电位)以特征上不同于肌肉中电信号的局部化的发生(“在原地(in place)”收缩)的速度沿着神经传播。针对目标肌肉收缩位置的神经电信号可以行进快达119米/秒。痛觉电信号可以更慢地行进,例如,以0.61米/秒,并且触觉电信号可以以例如76.2米/秒行进。通过将给定对的电位检测器(例如,皮肤表面电极)以使得由传播脉冲引起的电位变化首先出现在检测器中的一个处并且在可测量的时间之后出现在检测器中的另一个处的位置和相对朝向放置,能够确定脉冲的传播方向和传播速度。该信息使我们在此描述的技术能够在肌肉电信号和神经电信号之间区分。类似的方案对于区分骨骼或其他组织的电信号可以是有用的。
8.神经包括神经元束,其中一些神经元具有运动的功能(使肌肉收缩或放松),并且其中一些神经元具有感觉功能(以将感测到的刺激报告回大脑)。在检测神经电信号时,在运动和感觉神经电信号之间进行区分是有用的。通过检测离手指更近和更远地放置的两个电极之间的差分信号的极性,能够识别传播方向并因此基于该极性而忽略感觉神经电信号。
为了降低噪声并改善信噪比,可以利用各种技术或组件。一种这样的技术是在电子元件周围添加导电或磁性材料以用作对电磁干扰的屏蔽。可以将电容器添加到电路中以用作储电器来平滑电压变化。可以将扼流圈或电感添加到电路以平滑电流变化。低通滤波器、高通滤波器、带通滤波器和带阻滤波器都可以物理地或数字地创建,以衰减信号中的噪声。高通滤波器仅允许高频信号通过它们。低通滤波器仅允许低频通过它们。带通滤波器仅允许从一个频率到另一个频率的某个范围通过它们。带阻滤波器衰减从一个频率到另一个频率的范围内的频率,并允许所有其他频率通过。可以通过根据系统需要更改电路或软件来调整这些滤波器允许或衰减的频率。通过将降噪技术与增加信号幅度的如放大器的信号增强技术组合,可以产生更全面的信号用于分析。
通常,除了检测、测量、感测和得到具体关于发生在神经处的电信号的信息之外,我们在此描述的技术的一些实施方式和方面可以替代地使用或者还使用发生在肌肉或其他组织中的电信号。同样,由其他传感器或其他源提供的信息也可以与神经电信号结合使用,包括来自惯性测量单元(IMU)、陀螺仪、湿度传感器、温度传感器、可见光传感器、红外传感器、相机、音频传感器、接近传感器、超声波传感器、触觉、皮肤阻抗压力传感器、电磁干扰、接触电容、外部设备或其他检测器的信息。
HMI平台
如图9所示,我们在此描述的技术的一些实施方式提供了全面的、集成的、通用的人机接口(HMI)平台10,其一方面可以检测或另外从与用户16相关联的用户接口设备14接收和向该用户接口设备14发送信号、命令或其他信息12,并且另一方面,可以向应用设备和过程20发送并从应用设备和过程20接收信号、命令或其他信息18。除了其他方面,HMI平台10可以以各种各样的方式累积、分析、更改和另外处理信息12和信息18,以便为用户16创建有用的全面的方式来通过用户接口设备14与应用设备和过程20交互(我们以其最广的意义使用术语“与...交互”)。
用户接口设备14可以包括各种各样的组件,包括可以从诸如手指、手、脚、腿、嘴或眼的人体的任何部位接收、处理和发送信号或命令或其他信息、或向包括眼、耳、鼻、嘴和皮肤的身体的任何感觉器官提供信号或命令或感觉刺激或其他信息的任何类型的硬件或软件22。在一些情况下,所接收的信息将作为人体的这些部位中的一个的运动的结果已被提供,例如,通过手指的运动或眼睛的移动。通常,提供给用户的信息将以视觉、听觉或触觉形式提供,尽管其他模式也是可能的。在一些情况下,用户接口设备与用户的一个或多个部位物理接触。在一些情况下,用户接口设备(诸如相机或麦克风)不与用户的一个或多个部位物理接触,但是能够在适当的距离感知用户的一个或多个部位。
在可以由HMI平台10服务的各种各样的用户接口设备14的宽泛范围内,有键盘、鼠标、追踪球、操纵杆、触发器、开关、触摸屏、拨号盘、旋钮、麦克风、图像传感器、相机、眼镜、耳机、手套、衣物、扬声器、耳机、显示器、投影仪、电容传感器、触摸传感器、指纹检测器、湿度检测器、温度检测器、运动追踪传感器、超声波传感器、电话、智能手表、笔记本电脑、平板电脑、计算机、电视、车辆、机器人、外骨骼、假肢、无人机、健康监测设备、健康监测服、电子诊断系统、警报系统、以及对下面某些示例的讨论特别感兴趣的电极或其他皮肤电位检测器。
HMI平台和用户接口设备之间以及HMI平台和应用之间的界限不需要是严格的或静态的。在一些实施方式中,如果用户接口设备被专门设计为与HMI平台一起有效地工作,则用户接口设备中的一个或多个(或它们的一部分)可以在概念上被认为是HMI平台的一部分;或者如果它不是被专门设计与HMI平台一起工作,则其可以在概念上被认为在HMI平台之外。在一些情况下,用户接口设备可以具有在HMI平台内部(是其一部分)的元件以及在HMI平台外部(不是其一部分)的其他元件。例如,检测皮肤表面上原始电位信号的腕带可以在概念上在HMI平台之外,而用于电位信号的信号处理器在概念上可以是HMI平台的一部分,即使其位于腕设备上。
由给定用户接口设备提供或接收的信号或命令或其他信息可能已从各种不同级别的处理以及他们的组合产生。例如,信号或命令或其他信息可以是原始电位、处理的电位、或者代表处理的电位或从处理的电位得到的更高级别的信息、或者它们的组合。处理可以全部在HMI平台中、全部在用户接口设备中、全部在应用设备和过程中发生,或者可以以各种方式在它们之间进行分割。
通常,当用户针对用户接口设备中的一个或多个采取动作时(我们以其最广泛的意义使用短语“采取动作”),用户具有意图(例如,点击鼠标左键的意图)。意图在大脑中形成并以手势表达(例如,收缩右手食指——手势——使鼠标按键被点击——意图),并且大脑将信号发送到神经,神经将信号传播到手以执行与手势对应的肌肉动作(我们宽泛地使用短语“肌肉动作”)。
我们宽泛地使用术语“手势”来包括例如任何肌肉动作或(经常地)(单独地或与在给定时间或时间系列的一个或多个其他手势一起)对应于受试者的一个或多个意图的一系列肌肉动作。“竖起拇指”、“举手击掌”、“握手”、点击鼠标按键、弯曲上臂以及在用户界面上拖拽对象是手势的几个示例。手势可以是众所周知的并且被接受作为典型的正常人类活动的一部分,或者可以为各种目的新开发手势。握手是已有几百年的手势,而鼠标点击则是相对近期创建的手势。
HMI平台的组件的重要活动是识别(推断、确定)手势24(使用手势识别组件26)并且通过通信组件28向应用设备和过程20提供关于手势的信息,在应用设备和过程20处,可以以各种方式使用它们。在一些情况下,应用设备和过程20使用手势信息来推断用户的意图,然后按该意图行动。在一些情况下,HMI平台的意图识别组件30可以例如从发生在某个时刻或时间的序列的手势之一或手势的组合或手势的序列来推断(确定,识别)用户的意图32,并通过通信组件28向应用设备和过程20提供意图信息。
在一些情况下,由HMI平台确定的手势或意图不需要“推送”到特定应用。HMI平台可以临时存储手势或意图信息,并提供使其对任何其他可能请求该手势或意图信息的过程、程序或应用可用的API或其他模式。在该意义上,HMI平台可以作为服务提供者而操作,在某些情况下是通过操作系统。例如,如果HMI平台被实现为智能手机上的应用程序(app),则该应用程序可以根据请求使手势或意图信息对在该智能手机上运行的任何其他授权的应用程序可用。
在一些示例中,从用户接口设备到应用设备和过程的信息流开始于用户的大脑52形成针对用户接口设备14中的一个或针对应用设备和过程20中的一个或针对这两者采取动作的意图54。大脑52将意图转换为手势(或在给定时间或时间序列的两个或多个手势)24,其通常涉及以某种方式移动一个或多个肌肉56以实现该手势并且又表达该意图。在一些情况下,大脑使适当的神经58向适当的肌肉传播信号57,以使它们以对应于该手势的方式移动。手势的一个或多个方面可以通过用户接口设备被检测。例如,用户接口设备可以是具有电极的腕设备以检测用户皮肤表面上对应于沿神经传播的电信号的电位。在一些情况下,用户接口装置以其他方式检测肌肉运动,比如通过摄像机或惯性测量单元。由用户接口设备检测到的对于手势的电信号或其他事件可以在某个时刻或这样的时刻的序列发生。
通过一个或多个检测器64在用户接口设备处获取、感测或以其他方式检测出现在皮肤上的电位或关于肌肉运动的其他指示或信息。通常,必须处理(例如,在信号处理器66中)原始电位或肌肉运动的其他指示65,以例如去除噪声、去除无用的信号、组织和排序信号并以对接下来的步骤有用的格式表达所得到的处理的信号。信号处理器的其他主要功能包括但不限于测量、滤波或压缩作为用户的输出(以信号形式)而生成的模拟信号,用于设备的输入。
我们宽泛地使用术语“信号处理”来包括例如对相对原始的信号执行的任何操作以产生更加准确、简明、精确、紧凑、完整、相关或可理解的相对更多处理的信号,等等。
然后,可以将所得到的处理的信号68存储在存储器70中,并且(无论是否第一次存储)通过通信组件72发送到HMI平台。在HMI平台中,处理的信号可以由手势识别组件或者意图识别组件使用以识别用户的相应手势或意图或这两者。在一些情况下,手势识别组件和意图识别组件可以组合为单个组件。在一些实例中,不需要包括它们中的一个或另一个。在一些实施方式中,两个组件可以并行操作。
手势识别组件和意图识别组件可以接收和使用来自两个或多个不同用户接口设备或检测器的处理的信号的组合,并且可以应用一个或多个算法、分析、变换或其他解释过程来解释、识别或确定一个或多个用户的手势和意图。
可以使用代表不同复杂度和样式的范围的各种各样的手势或意图识别过程。在一些情况下,识别过程可以像确定已经接触计算机鼠标中的电开关并且识别用户的手势是点击鼠标按键一样简单。在一些实例中,识别过程可以是解释例如在用户手腕的皮肤表面上检测到的神经电信号集合所需的更复杂的方法。在这些情况下可以使用分类器或其他机器学习组件。当在代表性特征集上训练时,如精细高斯支持向量机(SVM)的基本机器学习算法能够实现高准确性,同时保持低计算复杂度。随着聚集更多的用户数据,如果特征集代表彼此区分的动作,则模型的准确性将增加。如果所提取的特征集不具代表性或者在准确性上没有增加,则可以使用计算更密集的学习框架来识别特征。已经表明深度神经网络在识别简明并有代表性的特征集方面是有效的。但是,此特征集可能不依赖于基础生物学,并可能降低关于系统进行推断的能力。通过基于神经电信号与相应的手势或意图之间的已知关系训练这样的机器学习过程,能够在“运行时间”对来自用户的新的神经电系统集合应用训练的过程,以得到用户的相应手势或意图的正确的解释。如之前所述,在一些情况下,从已知数据中提取特征集的特征,并将其与已知手势相关联,作为用于训练然后应用机器学习技术的基础。
如之前所述,在一些实施方式中,HMI平台包括一个或多个意图识别组件,其可以使用所识别的手势或其他处理的信号或这两者来推断对应于一个或多个手势的用户意图。可将机器学习技术用于此目的。例如,手势识别组件可以确定处理的电信号对应于用户正在以其食指伸展地在空中挥手的手势,并且意图识别组件可以使用该解释的手势来推断该用户要打出租车的意图。
HMI平台可以服务于单个用户的单个用户接口设备(例如,腕设备)和用户的单个应用设备或过程(例如,增强现实眼镜),或者它可以服务于多个用户接口设备、多个用户、多个应用程序设备或进程、或它们的组合。例如,用户可以具有腕设备和追踪球作为用户接口设备以及具有智能电话和膝上型计算机作为应用。
HMI平台与用户接口设备中的每一个以及应用设备和过程中的每一个之间的通信可以符合用于所传达的信号或其他信息的约定协议和格式。在一些实施方式中,HMI平台被定制化配置为使用对于所服务的用户接口设备或应用设备或过程所特有的协议和格式来通信。在一些实例中,HMI平台可以使用与设备无关并且与过程无关的协议和格式通信,并且可以与其设计或制造无关地实质上服务于符合该协议或格式的任何用户接口设备或任何应用设备或过程。为此目的,HMI平台的组件可以将一个或多个应用程序接口(API)或两者暴露给用户接口设备或应用设备和过程。在一些情况下,API可以定义标准化格式和数据结构以用于表达在HMI平台和用户接口设备或应用设备和过程之间来回传递的信号或命令或其他信息。(为简单起见,我们有时将使用词语“应用”来泛指任何这样的设备或过程。)
腕设备
如图10所示,用户接口设备的一些示例是腕设备802的形式。腕设备可包括例如连接到柔性的可调节腕带806的通常刚性的部件804,该腕带806被配置为允许腕设备的内周809被调节到不同大小的手腕,很像表带可以调节到其使用者的手腕。
在一些实施方式中,刚性组件804包括外壳806,其上安装有保持电子组件的电路板808、电池810、用户接口面板812、通信(例如,USB)端口814、外部电极端口816、位于腕带通道内的(例如,快速释放)腕带安装销818、820、以及保持在电极盒822中的电极的集合826。
外壳806通常被配置为搁置在手腕的顶部,腕带围绕手腕的底部而缠绕。外壳被设计为提供具有两个片段830、832的刚性内表面828,片段830、832合作以保持腕设备以相对于手腕的相对平坦的顶部表面834以及相对于沿尺骨侧面的手腕外侧836的预定位置和朝向而配准(register),并且还抵靠尺骨的茎突838配准。因此,虽然腕设备可以佩戴在许多不同大小和形状的手腕上,但是其将可靠地处于已知的位置和朝向,以检测由尺骨神经和正中神经中的电信号产生的在手腕上表面处的电位。这是因为对于许多不同大小和形状的手腕,尺骨神经和正中神经倾向于定位在距尺骨侧面大致相同的距离处。因此,在刚性内表面的固定位置处暴露的电极(稍后描述)将可靠地检测由手腕中的已知神经生成的在皮肤处的电位。
为了在各种大小和形状的手腕上实现这种自动配准,片段830具有平坦的刚性内表面840,并且片段832具有与该平坦的刚性内表面相接的凹形弯曲刚性内表面842。内表面840和842的轮廓倾向于对于具有各种大小和形状的手腕,将腕设备推压到相对于沿着控制手部肌肉的神经的预定位置的一致位置和朝向。
电极826暴露在刚性内表面840、842处,使得电极的接触表面844面向手腕皮肤。接触表面844的各种大小和形状的都是可能的。在一些情况下,接触表面是圆形的并且可以具有在小至1毫米(或在一些示例中更小)或大至10毫米(或在一些实例中更大)的范围内的宽度。通常,接触表面将是平坦的,但是其他轮廓可能对匹配例如皮肤的轮廓是有用的。电极中的不同电极可以具有不同的大小和轮廓。
在一些实施方式中,接触表面以样式布置。该样式可以包括对846。在一些情况下,每对可以沿着平行于前臂长度的轴848定位,该对中的一个电极比该对中的另一个电极更靠近手指。接触表面的数量可以少至两个并且可以多达数十或数百个。在特定实施方式中,可以是在沿着刚性内表面串联布置的两对和八对接触表面之间。每对的两个接触表面之间的间距可以变化;在一些情况下,间距可以在小至5毫米或大至25毫米或更大的范围内。相邻电极对之间的间距可以变化。
可以使用各种各样的其他样式的电极及其接触表面,包括规则的行和列的样式以及沿两个维度中的任一个或两个不规则的样式。
在一些实施方式中,一些电极可以具有暴露在柔性腕带806的内表面上的接触表面,用于与手腕皮肤的其他部位接触,包括手腕的底部。这样的电极可以以规则的行和列或其他样式成对地组织,并且数目可以少至一个电极或多达数十或数百个。接触表面可具有各种大小、形状、维度和轮廓,如对于上述接触表面所指示的。
通常,电极的数量、大小、形状、轮廓和组织样式可以根据经验选择,例如,以提供最准确、简明、精确、最强和受噪声影响最小的来自手腕皮肤的电位信号,并且从特定肌肉的收缩或放松的这些电位信号,提供对手势和意图的最准确的推断。
通过使用非常大量的紧密间隔的电极来随着时间捕获来自给定身体部位的皮肤表面上的紧密间隔的位置阵列的电位,得到随着时间的关于(每个)神经和在测量电极附近的肌肉的动作电位的准确信息可以是可能的。该信息可是对于各种目的有用的。
为了将电流从每个电极的接触表面运送到信号处理器66,在电极和电路板808之间提供电线、导电路线(conductive run)或其他类型的电耦合。通常,每个电极将具有其自己的这样的电连接,使得可以独立于任何其他电极上的电位来检测和测量该电极上的电位。在一些情况下,两个或多个电极可以通过公共电连接连接到电路板。如图12、13和14所示,电极中的每一个可以包括在电极的与接触表面844相对的面上的按扣接头(snapnipple)841。按扣接头与按扣槽843配对。按扣槽宽松地安装在电极盒的套管845中,以可沿槽的轴滑动。螺旋弹簧847焊接到按扣槽。
可以将任何一个或多个电极安装在外壳的刚性内表面上或或其处,或者安装在柔性腕带的内表面上或其处。可以将一个或多个电极安装为当佩戴腕设备时朝向皮肤弹性地压迫。如图12、13和14所示,在一些情况下,电极的弹性可以通过将其安装在盒822中的套管845中并且合并螺旋弹簧847以在皮肤的方向上压迫电极的接触表面来实现。通常压迫弹性安装的电极的方向正交于腕设备的内表面,但可以处于非正交方向。弹性电极中的每一个的运动的跨度可以在从例如1毫米或更小到5毫米或更大的范围内。
由于这些特征,当将腕设备放在手腕上时,每个弹性安装的电极将自动与皮肤形成良好的电接触,并且将适应在各个位置处的在腕设备的内表面与手腕的皮肤之间的距离的小的差异。
可以将其他配置用于腕设备及其组件以实现电极的弹性。例如,外壳或外壳的一部分(例如面向皮肤的部分)可以由柔性弹性材料(例如橡胶)形成,并且电极可以直接安装在该材料中,电极的一小截从内表面向皮肤突出。当将腕设备放在手腕上时,柔性弹性材料将电极的接触表面朝向皮肤压迫,以在手腕的运动例如引起皮肤表面与外壳内表面之间的小间隙的小的变化时持续提供与皮肤的良好接触。
如上所述,在一些情况下,可以使用按扣将电极附接到腕设备以及从腕设备拆下,以允许容易更换。在一些实施方式中,电极的安装可以使用嵌入在腕设备的内表面中的盘状磁体,具有连接线路的柔性电路被嵌入到腕设备内,并且电极配合在腕设备内表面中提供的凹槽内,并电极具有磁体以耦合到盘状磁体。
电极可以由各种金属、金属合金或导电材料形成,但某些材料比其他的更有效。关于金属和金属合金,银、铜、金、铝、锌、镍和黄铜是几种导电性更好的。用这些材料形成的电极工作得特别好,因为它们的电子比其他元素或合金更自由地移动。这使得在这些材料上展现的任何电流几乎没有阻力地行进。一些其他导电材料和化合物包括银/氯化银(Ag/AgCl)、导电织物和线、以及石墨烯。在一些实施方式中,电极以干接触模式使用,在干接触模式中在电极的金属与皮肤之间直接进行接触。传统的干接触电极倾向于在电极和皮肤之间产生高阻抗耦合,这使得难以获得良好的电位信号。通过提供产生与皮肤的低阻抗耦合的液体或凝胶导电材料,该问题在湿电极技术中得到解决,但具有杂乱等等的缺点。我们在此描述的干电极的一些实施方式使用导电凝胶和渗透膜,该渗透膜允许在皮肤和导电凝胶之间的离子交换,同时阻止水分润湿膜的外部。这种电极在美国专利8,798,710(其内容通过引用结合于此)中描述,并且可从美国加利福尼亚州圣地亚哥的Cognionics获得。
在一些示例中,可以无弹性地刚性安装电极中的一个或多个。
在一些情况下,腕设备在不同大小和形状的手腕上的配准可以通过不同于刚性特征的技术来实现。例如,具有柔性接头、铰链或模块化组件的外壳结构可以适应不同的手腕大小和形状。该设备可以具有用于像可调扳手、夹钳或抓斗(clamshell)那样用于调整大小的元件。可以添加或移除外壳的片段或长度,以扩展或减小外壳的整体大小,如在手表的连杆中那样。
通过外部电极端口816,电线817可以从外壳206连接到外部“粘贴”电极856,该电极856可以通过胶带或其他粘合技术附着到受试者的皮肤。外部电极856可以是使用渗透膜的类型的。在一些情况下,可以使用传统导电液体或凝胶来应用外部电极。
端口816可以布置提供到向两个或更多个这样的外部电极的独立连接。
在一些情况下,可以以与安装在腕设备上的电极类似的方式以及出于类似的目的使用外部电极或多个外部电极。在一些情况下,可以以不同方式并出于不同目的使用外部电极或多个外部电极。例如,外部电极可以以一位置或朝向放置,以检测可以用于补偿或消除一个或多个其他电极中的肌肉电信号噪声的肌肉电信号。在一些实例中,外部电极或电极可用于实验或研究目的。
USB端口814可以接收USB连接器815,用于在腕设备和例如HMI平台之间传达数据、信息和命令以将运送电流以对腕设备中的电池充电的目的。
电路板808可采用与腕带在手腕上的安装一致的各种形式、形状或大小。电子组件可以安装在电路板上。
如图16所示,在一些实施方式中,腕设备的电路板上的电子组件包括模拟组件860、数字组件862、以及一个或多个模数转换器864,模数转换器864转换由电极捕获由模拟组件处理的模拟信号,以传送到数字组件(例如,一个或多个数字处理器866)用于进一步的数字处理。
处理器866使用从一个或多个模数转换器接收的数字信号值868。数字信号值基于在各时刻和时刻的序列上在各个电极处的电位。
在一些实施方式中,数字信号值代表差分电位,即在一个电极873处的电位与在第二电极875处的电位之差,这两个电位都是相对于在第三电极877处的接地电位而言。
为此目的,每个差分对的两个电极可以连接到从电极到共享的模数转换器864的专用信号路径870、872,并由该专用信号路径870、872服务。
数字信号路径的每个包括陷波滤波器874、876,其去除例如由该差分对的两个电极在皮肤处检测到的电位信号的60Hz频率分量,以减少或消除由在受试者附近的60Hz电源引起的噪声。将每个电位信号的陷波滤波后版本878传送到测量放大器(instrumentationamplifier)879,其输出是在差分对的两个电极处的电位差的值。在确定电位差时,相对于由在第三特定电极处的电位表示的公共接地电位来考虑每个电位,该第三特定电极通常被选择为远离可以检测到来自神经电信号的良好电位的手腕上的位置。因此,该电位差是两个值的差,一个值是在两个信号电极之一处的电位与接地电极处的电位之差,另一个值是在两个信号电极中的另一个处的电位与同一接地电极处的电位之差。在一些实施方式中,接地电极是预先选择的并且不能改变。在一些情况下,可以选择电极中的任意一个作为接地电极877。
类似地,在一些情况下,处理器可以选择哪些电极包括每个电极差分对以及哪些对在给定时间正由处理器积极地使用(轮询)。在多个处理通道的情况下,一个通道可以从六个可用电极中的特定三个接收电位;另一个通道可以在粘贴电极(连接到音频插孔)或具有从腕设备的内表面暴露的接触表面的电极中的一个之间切换。通过利用多个通道,由于从每个相应的电极集合收集数据,因此可以对原始信号信息有更多访问。该数据可以被处理和用于辨别更复杂的手势、收集数据用于研究学习、全面分辨肌肉或神经信号以及其他应用。
测量放大器的增益由可编程电阻器880支配,该可编程电阻器880的增益由处理器控制。测量放大器的这种动态增益提供阻抗匹配功能,以匹配差分对的两个电极之间的阻抗。测量放大器还借助于第三电极877连接到地。
如图19所示,测量放大器980的对于电极-皮肤接口982的变化阻抗的动态阻抗匹配有助于改善从电极获取的信号的信噪比。动态阻抗匹配组件984接收电极-皮肤接口的阻抗的测量986。阻抗测量由测量组件986完成。基于阻抗测量,动态阻抗匹配组件计算改善(例如,最大化)信噪比所需的测量放大器输入的理想电阻(阻抗)。然后,动态阻抗匹配组件984的输出988相应地控制可编程电阻器880的电阻。
测量放大器的输出——差分电位值882被提供给带通滤波器884,带通滤波器884使作为出现在一种感兴趣的组织处的电信号的特性的差分电位值的频率分量的频带通过。在一些示例中,感兴趣的组织是神经组织,并且带通滤波器可以使20Hz到1000Hz的频带中的信号频率分量通过,这去除了不感兴趣的组织的一些频率分量特性。例如,肌肉电信号通常具有5-400Hz范围内的频率,神经具有200-1000Hz范围内的频率,包括脑电信号(单独的神经元发射的频率,而不是作为聚合神经的较低频率(0Hz至80Hz)振荡样式的EEG脑电波(α,β,γ)。
差分信号886的带通滤波后版本以其原始形式890被提供给增益放大器888,并且还在已通过整流器895之后以整流形式892被提供给增益放大器。如果原始信号具有正极性,则增益放大器使用原始信号作为其输入;如果原始信号具有负极性,则增益放大器使用该整流形式作为其输入。增益放大器的增益由可编程电阻器894的值控制,该可编程电阻器894的值由处理器确定。处理器基于输出信号电压确定该增益水平。以这种方式输出信号以可测量的电压水平提供数据用于更容易的可视化和分析。
当传播的电信号(动作电位)出现在沿神经的位置时,更靠近该位置的电极将在皮肤上检测到比更远离的电极更高的电位。当传播的电信号(动作电位)出现在沿神经的位置时,出现极化阶段,并且当达到阈值时电位改变。电位朝向正方位移动。然后,随着在该位置处的动作电位从激发态来到休止状态,在所谓的复极化阶段期间,电位在收敛到休止状态之前将变为零并且短暂地摆动到不应期(refractory period),或者到比其初始状态更负的电位。电子组件利用这种效应来确定动作电位的传播方向,以便分辨运动动作电位与感觉动作电位,并确定传播速度。
模数转换器持续地接收在皮肤上的电极差分对的每一对处检测到的差分电位的处理后版本。控制模数转换器以在给定时间仅从电极对中的一对采样差分电位之一,并以例如循环(round robin)模式对不同电极对进行采样。模数转换器可以被布置为以任意速率对输入信号进行采样,该任意速率足够高以捕获由每个输入信号携带的感兴趣的频域信息,并且足够高以捕获用于由模数转换器所服务的一样多的电极差分对的该信息。在两个具体示例中,取决于模数转换器的规格和限制,轮询电极差分对的速率可以是500Hz或4000Hz或更高。一个模数转换器可以服务一个或许多个电极差分对,在多个电极差分对的情况下,模数转换器的采样速率将在这些电极对之间共享。通常,轮询速率应至少是被检测的信号的频率的两倍。在一些实施方式中,可以使用多于一个模数转换器来并行地服务对应的电极对集合。
因此,在典型的实施方式中,处理器(我们有时使用单数“处理器”也指代例如并行使用两个或多个“处理器”的示例)将接收表示在连续时刻在各个电极差分对处的差分电位的数字电位值的流。在某些情况下,处理器是专用处理器,其用作表征引擎以基于该数字电位值来表征运动、手势或意图。我们有时使用术语“处理器”来指代这样的专用处理器或表征引擎。
每个数字电位值可以是例如24位值(如果模数转换器具有24位分辨率),标记有标识符902以将其与电极差分对中的一对相关联,并且还标记有时间戳904。
除了接收和使用由模数转换器提供的数字电位值之外,处理器还可以接收和使用从各种各样的其他输入源907接收的其他数字源值905,仅举几例,其他输入源907比如从9轴或其他惯性测量单元(IMU)、陀螺仪、湿度传感器、温度传感器、光传感器、相机、音频传感器、位置传感器和接近传感器。IMU可以提供关于用户接口设备被用户轻敲或挤压的数据作为有意或无意的输入,其可以被用作数字源值。这些数字源值中的一个或多个可以由处理器在实现生成前面提到的表征的过程中使用。
到来的数字电位值和到来的数字源值(我们有时使用术语“数字值”来指代数字电位值和数字源值两者)可以临时存储在安装在电路板上的存储器906中。存储器可以具有足够大以用作缓冲器的大小,但是不用于存储供研究或以后使用的大量数字值。在某些情况下,存储器可以足够大以在腕设备不能与HMI平台的其他部分通信期间临时存储大量的数字电位值,用于稍后传送到HMI平台。在一些情况下,该存储器可以足够大以存储整个数字值集合,以由处理器或HMI的其他部分为特定任务而使用。所存储的数字值的部分或全部可以由腕设备无线传输到HMI的其他部分,诸如根据需要传输到本地智能电话。可以使用蓝牙或任何其他无线协议。
腕设备上的处理器可以在数字值被检测到时基本上实时地处理数字值,或者根据需要通过从存储器取出它们而处理,以产生肌肉收缩或放松、手势或意图或其任意的组合的表征908。我们宽泛地使用术语“表征”来包括例如数字电位值本身、它们的转换或修改、以及肌肉收缩或放松、手势或意图或它们的组合的任何标识、描述、推断或其他指示或量化。在处理数字电位值之后,所得到的表征可以存储在腕设备上的存储器中,或者传达到HMI的另一个组件或部分,例如,传达到一个或多个应用或用于各种各样的其他目的中的任何一个。
作为一个具体示例,处理器可以处理特定的数字值集合,以生成对应于用于点击鼠标按键的运动的用户食指的收缩的一个或多个表征。手势的表征可以基本上实时无线地发送到运行交互式应用的本地计算机,在该交互式应用中,表征可以被视为鼠标点击事件,即使用户仅做出了鼠标点击手势但还没有实际点击物理鼠标按键。
在一些情况下,表征可以表示用户身体的部位例如指尖的特定二维或三维位置或朝向或位置或朝向的变化的量化。由于数字电位值的准确性、精度和质量,量化可以比已知的其他技术更精确,并且可以是例如一毫米或更小的分辨率的。量化的准确性可能受到神经大小、肌肉大小和电极大小的影响。在一些情况下,分辨率可以在10毫米的范围内。
处理器可以使用各种各样的算法、技术、计算、转换、映射、变换、分类器、统计、模型、分析或其他过程以及它们的组合,以从数字值生成表征。所使用的过程可以取决于处理器的处理能力、存储器的存储容量、输入数字值的数量、类型和接收速率、要生成的表征的复杂度以及其他因素。可以以各种方式实现过程及其部分,包括实现为由专用处理器运行的软件、实现为固件或实现为专用硬件。在软件或固件的情况下,过程或其部分可以在制造时安装,或者可以在制造之后安装或更新,例如,通过无线下载或经通信端口(例如,USB端口)的有线下载。这些更新可以基于随时间发展的知识(例如,使用关于电位和相应表征的相关性的历史数据)改善或以其他方式改变过程或其部分的性能和操作,可以考虑处理器可用的新的和附加的数据源,并可以服务于新的或附加的应用。
在相对简单的示例中,处理器可以执行以下步骤以基于来自模数转换器的24位数字电位值生成手势的表征。可以使用三个阈值状态(LT[解释为手处于静止]、MT和HT)来对2^24个可能的数字电位值进行分类,并且分类可如下用于得到手势的表征。将超过LT并且稍后落在LT以下的数字电位值的序列表征为手势1;将超过MT并且稍后落在LT以下的数字电位值的序列表征为手势2;并将超过HT并且随后落在LT以下的数字电位值的序列表征为手势3。
在一些情况下,可以使用两个或更多个数字电位值来表征手势。例如:数字电位值1超过LT并且数字电位值2超过LT并且随后数字电位值1下降到LT的序列被表征为手势1;数字电位值1超过LT并且数字电位值2超过MT并且随后数字电位值1下降到LT的序列被分类为手势2;数字电位值1超过LT并且数字电位值2超过HT并且随后数字电位值1下降到LT的序列被分类为手势3;并且数字电位值1超过MT并且数字电位值2超过LT并且随后数字电位值1下降到LT的序列被表征为手势4。LT、MT和HT是与低阈值、中间/中等阈值或高阈值相当的值,以便理解运动与运动幅度之间的相关性。
如果有足够的处理能力,则可以从更复杂的数字电位值和序列的集合中确定更复杂的手势(和意图)集合。
在一些处理密集型示例中,处理器运行分类器过程910。分类器过程和分类器过程所使用的分类器数据912在制造时或在稍后被加载。在一些情况下,分类器数据识别(a)数字值源的集合(诸如来自特定电极或指定的IMU的数字值的集合),(b)特定数字值或那些数字值的范围(源和特定值的集合或值的范围有时称为“特征集”)和(c)已知与特征集相关的对应表征(诸如肌肉收缩或放松、手势或意图)。实际上,分类器捕获关于哪些特征集与哪些表征相关的信息。在“运行时间”,分类器过程根据分类器数据来测试数字值及其序列的到来的集合,并基于分类器数据将它们映射到相应的输出表征及其序列。输出表征及其序列可以被存储或转发到应用或HMI的部分,用于各种各样的目的。
可以使用其他类型的表征过程。例如,由于生物电位中的不同频率,频域分析可用于表征所执行的不同动作。当多个电极就位时,共同平均参考(CAR)也可用于表征不同的动作。简单地通过比较一个电极与手腕周围所有电极的平均值以基于电极位置表征激活。可以使用小型和大型拉普拉斯算子通过比较最近电极的总和以表征动作来表征动作。
腕设备具有外表面,该外表面提供用户接口面板812用于用户的交互。如图15所示,在一些示例中,用户接口面板包括两个按钮823和825。按钮823的功能是控制设备的电源,开或者关。按钮825的功能是提供蓝牙配对控制并打开或关闭蓝牙控制器。两个按钮之间的LED 827提供以下功能:指示设备的状态,包括通电;蓝牙配对;以及传感器数据的视觉反馈,包括神经肌肉信号幅度、IMU、触觉和当与来自多个传感器的数据组合时的传感器融合。
在一些示例中,用户接口面板是触敏OLED面板,其允许数据值和表征的可视化,以及诸如键盘的输入特征。该面板可以显示智能手表、电话、智能眼镜和计算机可以显示的范围的信息。该面板可以提供诸如图表、菜单选择、模式改变、设备操作的状态、配对状态、电池寿命、视频、应用、互联网站点以及来自诸如智能眼镜或电话的系留设备(tethereddevice)以及一般计算的内容的数据。用户可以以与智能手表、电话、智能眼镜和计算机所使用的方法相同的方法与OLED交互,包括轻敲、触摸、摆动或滑动一个或多个手指或触笔。OLED面板将使设备能够具有低功率显示,并且具有在阳光下的更高质量照度的可读性。可以使用柔性显示面板来提供较少的刚性设计选项。
为了使开发者能够创建由腕设备的处理器使用的软件、硬件和固件,可以提供与腕设备有关的开发者套件。开发者套件使用户能够定义将在腕设备上存储什么数据值,存储多久以及以什么格式存储;何时以及如何将数据值传送到HMI的其他部分,将使用什么过程来从数字值得到表征,以及将如何表达表征。开发者套件还可以使开发者能够通过HMI组件来定义要应用于数据值和表征的分析,定义要在腕设备上呈现给用户的用户接口的元素,并特别定义特征集和相应的表征之间的映射。
在一些情况下,腕设备可以包含其他功能或特征、或与其他功能或特征结合,比如由手表、或智能手表、或运动监测器、或提供关于脉搏率、血压、温度、皮肤湿度、湿度、气压、加速度、惯性、朝向、皮肤压力、血氧水平或其他参数的反馈的健康监测器提供的那些功能或特征。在一些情况下,这些功能可以独立于与组织电信号相关的功能而操作。在一些实施方式中,功能可以组合,或者由这些功能生成的数据可以被用作用户接口设备中的处理器的附加数据源。
应用程序(App)
如图17所示,在一些情况下,HMI平台的一个或多个特征可以在例如运行在智能电话、平板机、膝上型计算机或其他处理设备928上的app 926中实现。在一些情况下,这些功能可以在作为腕设备的一部分的处理器中实现。在一些实例中,特征可以在用户接口设备和HMI平台的组合中实现。
特征930可以以硬件、固件或软件或它们的组合来实现。每个特征可以由模块实现。通常,特征可以涉及通过设备928的用户接口932的用户交互,并且可以使用户能够定制、控制、修改、配置、调用、终止和以其他方式使用特征中的每一个。
特征模块中的一个可以使用户能够创建或定制手势识别组件可以识别的手势。例如,用户可以通过指示手势定制模块934接受新手势然后执行手势来定义新手势。当执行手势时,收集并存储来自例如腕设备中的处理器的数据值,并将其与正被定义的手势相关联。然后,用户可以将所定义的手势与其他app在其接收到已经执行了手势的指示时所要采取的动作相关联。例如,新手势可以是握拳,并且用户可以使该手势与关闭目标应用的命令相关联。可以提示用户多次执行手势,以便可以存储与该手势相关联的附加数据值集合,并且比如可以用于训练分类器。手势定制模块还可以用于例如通过使用户能够更新在识别手势时目标app所要采取的动作或者能够将稍有不同的物理运动分类为表示该手势(比如握紧拳头相对于轻轻合上手)来更新或修改现有手势。
特征模块中的一个可以是结果定制模块936,其使得用户能够识别目标应用针对任何现有或新创建的手势所要采取的动作。例如,如果手势是食指的闭合(closing),则所要采取的动作可以是点击鼠标按键、输入字符或其他动作,如用户通过由结果定制模块呈现的用户接口所确定的。
特征模块中的一个可以是通信模块938,其将手势转换成相应的通信,以便用户可以通过各种app而通信,而无需像通常那样使用键盘或语音。例如,通信模块可以接受来自手势识别组件的手势,并生成相应的通信或其元素,用于另一个app使用,比如文本app、字处理app、语音合成app或社交网络app。手势到通信的映射可以基于标准化的预定关系集合。在一些情况下,用户可以通过由通信模块呈现的用户接口来查看、更新或修改映射或创建新映射。
特征模块中的一个可以是生物电位追踪和监测模块,其将所生成的电信号转换为输出可视化。在一些情况下,该可视化将以类似图表的方式示出由用户产生的频率和幅度数据。该可视化将在设备使用时段期间更新。例如,患有退行性肌肉失常的患者将佩戴该装置并且能够在他们的临床医生旁边随着时间监测他们的信号输出。在某些情况下,用户可以通过用户接口手动查看、移动或更新图表。
特征模块中的一个可以是身体成分分析模块。当暴露于电流时,脂肪和水具有不同的阻抗。瘦组织主要是水,并且具有比脂肪组织低得多的阻抗。这允许测量体内的脂肪含量和水含量以及进一步的健康度量。例如,如果少量电流通过手腕安装的设备中的一个电极被发送给用户,则其可以在另一个电极处被接收。然后可能基于所测量的阻抗值和个人的身高和体重来计算该个人的无脂肪质量和体脂百分比。
特征模块中的一个可以是活动追踪模块,其将所生成的电信号转换为输出可视化。在一些情况下,这种可视化将以类似图表的方式示出个人已激活某些神经肌肉区域的频率以及这些激活如何与静止或运动(exercise)值相关。此可视化将在设备使用时段期间更新。
特征模块中的一个可以是活动识别模块,其中设备辨识由用户执行的活动。例如,用户将其拳头闭合到某一点并弯曲前臂和二头肌以进行引体向上运动。设备识别所执行的手势和设备相对于用户的朝向,并将其与该活动相对应。
特征模块中的一个可以基于触摸执行对象识别。
特征模块中的一个可以是刺激控制模块,其用电流刺激用户,以便基于期望的设置引发动作。通过具有可变可控电阻器的设备发送电流允许该设备被用于刺激某些神经肌肉区域以用于治疗和其他医疗目的。
校准
校准过程是诸如腕带的一个或多个用户接口设备的使用中的步骤。校准可以是物理的或电子的(例如,数字的)或它们的组合。校准的目标之一是改善例如腕设备(进而在腕设备上的电极)的用户放置或改善所检测到的电位的信噪比或两者。在一些情况下,用户接口将提供屏幕上指令以帮助用户建立设备的适当校准。这还可以包括简短的测试阶段,以确保激活正由设备准确记录。
出于校准的目的,在用户接口上提供数据值的可视化、表征或响应于这些表征而移动的身体部位的三维表示可以是有用的。
数据源
关于这一点的大部分讨论已涉及对手腕中的神经电信号产生的电位的检测、识别、处理和使用。我们描述的技术可以针对身体其他部位、例如包括大脑和其他肢体的神经电信号使用,并可用于对由诸如肌肉组织的其他组织产生的电位的检测、识别、处理和使用。另外,各种各样的其他数据源可以由处理器在生成手势、意图和肌肉收缩等的表征中使用。
例如,来自原生红外相机、RGB相机和LED显示器的数据值的组合可用于生成眼睛注视数据,以与用于生成表征的电位信息结合使用。
在一些实施方式中,可以例如与神经电信号信息一起在手腕捕获肌电图(EMG)信息。EMG信息本身可以是有用的,并且作为处理器的数据源用于改善处理器生成的数据值的质量可以是有用的。例如,可以通过腕设备上的一个或多个次级电极捕获EMG信息。
在一些情况下,诸如IMU的其他数据源可以提供信息,该信息可以与来自处理器的数据值一起被解释,以辨别手势和与用户接口设备的用户接口的直接交互,例如,以辨别用户在空中做手势与用户触摸应用的用户接口的控件。在这个意义上,更广泛地说,将来自处理器的数据值与来自诸如IMU的其他来源的数据组合可以有助于辨识用户的意图。
在用户的大脑和由于在大脑中所形成的意图而最终移动的身体部位(例如,手指)之间存在电活动的神经传导(pathway)。这些神经传导始于大脑(可以在颅骨上测量的神经活动和相关联的电活动的地点),并沿着神经(其沿着它们的长度也表现出电活动)延伸到可以包括肌肉和可能的肌腱的组织(在那里发生肌肉的收缩或放松以及相关联的电活动)。电活动首先在大脑中发生,然后沿着神经发生,然后发生肌肉收缩和放松。
确定人的意图和手势的速度可以部分取决于使得神经活动测量距大脑有多近。意图和手势的确定的准确性和鲁棒性可以取决于进行测量的地点的数量和位置。例如,尽管使用IMU来确定手指或手的实际运动可以提供关于手势的非常好的信息,但是该信息是在与大脑神经活动、电信号沿神经的传播、肌肉的反应和IMU信号的处理所需的时间相关联的延迟之后得到的。另外,可能存在不能仅从IMU信号完全确定而且只能通过还测量和处理神经信号和脑信号来确定的意图和手势的细微方面。
在我们描述的技术的一些实施方式中,不仅测量神经电活动(比如,在手腕)和身体各部位的实际运动(例如,使用IMU来测量手指的运动),而且还测量脑电活动(通过EEG或类似技术)和在更靠近大脑的地方的神经电活动(例如,通过沿着手臂的皮肤处的测量)。分析电信号的相对定时和强度以及沿着神经传导的手指和手部运动以及这些信号和运动的组合,可以使得实现更丰富、更复杂和更快速的意图和手势的解释,这对于包括游戏、制造和应用的控制的许多应用可以是有用的。
我们描述的技术包括用于研究神经传导和用于开发机器学习的平台,以及用于解释沿着神经传导的信号和运动的其他技术。在一些情况下,通过这些研究,有可能足够准确地将脑电活动与在手腕测量的信号和所测量的手和手指的运动相关,以使能够仅依赖脑电信号作为意图和手势的良好指示。
应用
我们描述的技术的应用范围很广,并且包括例如工业、商业、消费者、医疗、机构和军事用途。功能上,应用涵盖范围广泛,包括监测、控制、反馈、驱动、通信以及数据累积和分析,等等。
监测应用涉及检测、存储和累积个人和群组以及人群的组织电信号的数据值,诸如监测神经电信号(有时称为神经电图或ENG信号)、ENG或sENG(表面ENG)信号与EMG或sEMG信号组合、以及监测例如EMG、sEMG、ENG、sENG、EEG、ECG和IMU信号的其他组合。
这种监测可以提供在测量或分析包括军事人员的受试者群组或个人受试者的健康(例如,在肌肉力量或耐力方面)方面有用的数据主体。例如,通过使用表示肌肉强度的数据,所监测的电信号数据主体可以用于开发组织电信号与肌肉强度之间的相关性,并且基于从皮肤电位得到的数据值,这些相关性可以用来表征肌肉强度。
监测应用在医疗领域可以是有用的。这些应用之一是从手腕或足部监测心率和EKG。心脏产生在一毫伏范围内的强电信号,其可在胸部以及附肢的皮肤表面上检测到。心率信号以可与其他肌肉和神经信号区分的频率而发生。追踪心率的重要性是用于确定用户健康或状况的测量。由于传统捕获心脏行为的方法可能仅在胸部上,因此这也是有用的。我们描述的这些神经肌肉传感器可以辨别包括手腕和足部的整个身体上的ECG模式。使用红外技术的传统的基于手腕的方法仅测量心率而不测量心脏行为,诸如心室的定时。桡动脉脉搏动可以在手腕上触知。同时也可以分别在足部和脚踝的足背动脉和胫骨后区域以及身体的其他位置测量脉搏。依据患者或医师的需要,这给出了用以执行EKG的多种方法和位置。
监测诸如ALS和其他神经退行性疾病的神经系统疾病的状态和进展也可以是有用的。更一般地,其中对神经电信号的非侵入的准确监测对于疾病的诊断或治疗或观察在有或没有治疗的情况下疾病的进展将是有用的任何上下文将易受有用的应用的影响。例如,比如在涉及或牵涉神经或肌肉或其他组织的状况或运作的任何手术之后,对治疗结果的观察可能是有用的。监测还可用在诊断、量化或治疗神经肌肉状况;追踪癫痫活动;监测以预测神经或肌肉的未来状态、状况或变化;或监测和分析肌肉痉挛。监测在确定在组织电信号中反映的趋势、包括肌肉退化和疾病进展中可以是有用的。
在一些实例中,可以向患者提供实时提示和反馈,以帮助适当的肌肉募集(recruitment)和运动样式来改善康复结果。其他应用包括肢体丧失和脊髓损伤。
当发生监测时,不仅可以在用户接口设备处(诸如在腕设备的存储器中)而且还可以在用户接口设备附近的设备(诸如智能电话)中接收、存储或累积数据值,并且更一般地,可以在HMI平台的一个或多个组件中或在一个或多个应用中接收、存储或累积数据值。在一些实施方式中,可以在集中操作的一个或多个服务器920上(例如,在“云”中)接收、存储、累积、处理或使用来自一个或多个受试者、群组或人群的数据值,并且可以在任何地方通过网络浏览器924使得数据值或这些活动的结果从云到用户922可用。例如,实时或归档的数据值或表征可用由临床医生使用来做出关于诊断、预后和治疗的决定并研究诊断、预后和治疗。可以收集患者数据值并将其存储在本地或在云中。例如,可以监测肌肉或神经的功能变化,并将其用在确定所需的配置修改或辅助技术设置中以及用在控制辅助技术的远程配置中。
监测可用于在其中追踪肌肉收缩、手势或意图并将其映射到手或身体的另一部位的运动的基于物理的模型的应用。使用基于物理的模型可以通过使得能基于模型隐含的约束而校正表征来提高由处理器得到的表征的质量。例如,如果有人伸出他的手指,则模型约束将不允许该手势表征将手指移动超出与手指连接的关节和肌肉组织所能够的。
另一个宽泛的应用领域涉及基于通过该技术得到的数据值或特征(例如,手势或意图)对设备或过程的控制。
在简单但有用的应用中,控制可以涉及使用表征信息来使用手指运动控制屏幕上的化身(avatar)。
例如,控制可以是对移动设备的控制。在医疗领域中,控制可以使患者能够使用手势和意图来控制移动设备的操作或状态,包括控制汽车、轮椅、个人机器人、可控矫形器(orthose)。
控制可以包括对家庭环境或这种环境的组件或要素的控制,比如电梯、窗户、门、窗帘、百叶窗、恒温器、加热和空调设备、电插座、对讲机、门锁解锁、抽水泵、灯、报警器和其他安全设备、媒体设备、清洁和烹饪设备、洗浴和其他浴室设备、包括电视、媒体中心、视频游戏、游戏设备、DVD,电话和其他通信设备的娱乐设备、以及要在电话上回放的紧急呼叫记录,等等。
在一些实施方式中,控制可以是在安全、安保、安静、隐私、管制和智能的上下文中对设备的控制。例如,可以使用基于所检测到的电位作为一个或多个表征而得到的用户手势或意图以触发静音警报寻求帮助或警告另一方有危险;比如由雪崩受害者、在抢劫背景下的银行雇员、或由军方或警察人员触发紧急呼叫,以静默或远程地控制军事或警务设备。
控制应用包括用于控制游戏控制器、操纵杆或在行业设置中包括例如增强现实眼镜的其他虚拟现实控制设备的控制功能的控制应用。其他控制应用包括用户接口的导航菜单选择。在一些情况下,用户可以正在手中握着某物并且还在使用手势来控制由增强现实眼镜呈现的接口。在某些情况下,一人可以正沿着增强现实眼镜中的地图上指示的路线行走,并且可以使用手势来控制接口。在一些应用中,控制可以通过在太空服内的手势来赋活(assert)。
通常,该技术在用户执行完整手势的能力受到限制的情况下尤其有用,比如在太空服或SCUBA套装中,或者当用户的手或他身体的其他部位被以其他方式占用并因此不能用于执行正常手势时。
在一些实例中,用户可以控制虚拟现实或增强现实化身。
广大范围的应用涉及用户接口设备(比如腕设备)与诸如智能眼镜的应用的特征之间的交互。例如,HMI可以将表征信息传递到智能眼镜(或其他头戴式显示器),以实现免提、无语音控制。例如,可以为用于药物洁净室的增强现实系统提供用户手势或意图的表征以控制生产、质量控制、包装和药品制造中的其他功能。在这种上下文中,用户经常在执行复杂的任务并且没有空闲的手来控制增强现实显示。另外,这样的环境可能是嘈杂的或存在多个人,使得语音控制不可行。
在一些实施方式中,例如,如图18所示,用户接口设备(诸如腕设备)950可以检测由用户做出以表达手势(或意图)的例如手952、手腕954或手指956的运动。HMI 958可以包括转换组件961,其执行算法以将所检测到的运动转换为对应用964的显示的用户接口962的一个或多个显示的元素960的控制。
可以检测到的手、手腕或手指的运动(在航空方面)包括手或手腕或两者的偏航或俯仰或旋转,或者偏航、俯仰或转动的组合,或者手、手腕或手指的其他各种运动(合称为“手/手腕/手指运动”)。除了其他方面,用户可以围绕大致与用户前臂的长度对准的轴968扭转或旋转966他的手(通常与他的手腕的扭转或旋转相结合)。手/手腕/手指运动可以被解释为想要控制所显示的元素960的一个或多个动作、手势或意图。所显示的元素可以是光标、或插入点、或诸如球体的图形元素、或诸如卡通形象或化身的角色。
在一些情况下,手/手腕/手指运动可以包括手和手腕的扭转或旋转,所显示的元素可以包括球体或类似于球体的一些表示960,并且可以将扭转或旋转转换为球体相对于所显示的用户接口的相应的旋转或其他运动。通过操纵球体,用户实际上可以使用球体来与所显示的用户接口交互,例如以指向其他所显示的元素、移动元素、选择动作、执行动作和其他活动。更一般地,手/手腕/手指运动可用于通过应用的所显示的用户接口来控制应用的任何可控方面,诸如菜单、内容输入、游戏元素、与其他用的户交互或通过二维或三维的显示的空间的导航,等等。
HMI 958的转换组件961可以包括映射算法968,其将表示手/手腕/手指运动的信号970转换为所显示的元素的对应方向、朝向、运动速率或运动幅度(或它们的组合),使用户能够使用手势来控制所显示的元素。
在一些示例中,可以将用户的手的扭转或旋转的方向、朝向、速率和幅度转换为具有对应的方向、朝向、运动速率和幅度的球体或其他所显示的元素的按比例的运动。在一些情况下,所显示的元素的方向、朝向、运动速率和运动范围中的一个或多个可以不是从手/手腕/手指运动的直接按比例的映射。映射可以具有任何程度的简单性或复杂度性。
一种有用的映射算法可以将手和手腕的运动幅度转换为球体或其他所显示的元素的按比例更大的运动幅度。例如,手和手腕的5度旋转可以转换为球体的20度旋转,表示算法的放大因子。放大因子可以随着诸如幅度或加速度或这两者的手/手腕/手指运动的一个或多个特征而动态地改变。例如,手和手腕的小的快速旋转可以被转换为球体的大旋转。相反,可以使用相对低的放大因子来转换手和手腕的慢加速。
在一些示例中,包括旋转或摇动(panning)或这两者的手腕运动可用于控制旋转拨号盘以在相对于旋转拨号盘布置在各个角度位置处的图标集合中进行选择。手腕运动可以一对一地转换,使得45度旋转转换为旋转或线性阵列中的相应45度旋转。或者,通过放大可以将小运动转换为更大的运动,如上所述。
腕设备和智能眼镜之间的通信也可以用于应用切换(例如,面向对象的应用切换)。
关于反馈,我们所描述的技术在如下上下文中具有应用:其中提供关于所检测到的电位或者从它们得到的表征(例如,肌肉收缩、手势、意图)的反馈对于改善手势或意图或肌肉收缩的进行(conduct)、行为、准确性或精度可以是有用的。反馈可以包括向用户的视觉、听觉、触觉或其他模式的呈现。反馈可以实时或稍后发生。反馈可以实时地将实际的手势、意图或肌肉收缩直接呈现(比如视觉上或听觉上)回到用户,以使用户能够立即且直接改变所尝试的手势、意图或肌肉收缩以趋向于理想。在一些情况下,反馈可以呈现间接暗示用户所尝试的肌肉收缩、手势或意图的变化如何可以更准确、精确或有用地服务于目标或目的的信息。
可以将触觉反馈呈现给用户的触觉,例如,通过震动或以其他方式使智能电话或腕设备或其他设备相对于用户的皮肤而移动。触觉反馈可以改善用户的控制或触发动作。在一些情况下,触觉反馈可以帮助重新训练麻痹患者的肌肉(通过改善神经可塑性)。为了实现这一点,将向患者提供物理治疗活动或方案,其中设备将识别出通过动作或手势被正确执行的触觉提示而响应的动作或手势的完成。然后其将变为基于用户自己与设备的交互的具有非常清晰和即使的提示的训练运动。
在一些实例中,触觉反馈可以将提示提供为不可见的非听觉接口,以使用户能够例如使用触觉词汇表导航应用的菜单。更一般地,触觉反馈可以使用触觉词汇表(其中可以训练用户)来提供简单、谨慎、不可见、非听觉的技术,用于向用户通知可以通过产生可检测的组织电信号的用户的相应肌肉收缩、手势或意图来实现的过程、设备或应用中的状态或状况或变化。
在一些情况下,使用灯光、显示器或其他可视设备和提示,反馈可以是可视的。例如,反馈可用于提供关于实际电位、数据值、肌肉收缩或放松、手势或意图的可视化提示。视觉设备和提示可以呈现在智能手表或腕设备的用户接口上、或者智能电话上、或者诸如智能眼镜的应用上。
反馈可以是有助于驱动或控制虚拟现实或增强现实或者通过其呈现虚拟现实或增强现实的接口或设备的一个或多个特征的任何种类的。例如,用户可以使用上述的腕设备移动他的手指来控制无人机在虚拟现实世界或在现实世界移动。因此,反馈在其中正在呈现增强或虚拟现实的军事应用中、或在其中显示屏呈现正在其处进行手术(procedure)的隐藏地点的增强现实视图的医疗上下文中可以是有用的。
通常,反馈可以提供应用设备和过程的上下文的、直观的、应用特定的切换和控制。
技术的一些应用在广泛的通信领域中并且使用户能够基于肌肉收缩和放松、手势、意图或其他表征来通信。例如,这样的用户可以引起这样的表征,以使字符输入到字处理应用中、使文本输入到文本应用中、移动鼠标、进行替代或增强的通信、发送摩尔斯电码以及并行地在多个信道中通信,例如通过说话和移动手指两者,或者通过不同的通信信道同时使用眼镜移动和手移动。在隐蔽应用中,可以由用户通过他的手在其口袋中隐藏于视野之外的手势来完成控制或通信。隐藏的手势可用于电话控制、秘密通信、假肢和外骨骼、或键盘或鼠标替代。
一些应用可以涉及接收、收集和分析通过该技术生成的数据值。例如,在使用机器学习技术来从数据值得到表征的实现中,收集和分析单个用户的数据值作为例如训练分类器以基于各种手势或意图之中的特征集合对未来数据值进行分类的手段可以是有用的。收集和分析数千或数百万用户的群组或人群的数据值可以使能够生成有用的模板(特征集合),用于以后对任何用户的分类。在一些应用中,数据值与诸如腕设备的用户接口设备的相应朝向和位置的知识相结合使得能够确定其他用户接口设备的电极的有利的朝向和位置,例如,组织电信号特别鲁棒的或可以有效地被检测和处理的朝向和位置。
如上所述,一些应用涉及对智能眼镜的控制和与智能眼镜的通信。用于控制智能眼镜或与智能眼镜通信的手势词汇表可以包括:(1)通过同时移动两个手指进入“收听”模式;(2)随后旋转手腕以导航比如三个或更多项目的圆形选择菜单;(3)随后移动手指进行选择或释放所保持的“收听”运动以进行选择。例如,可以使用手势导航字母分组来完成向用户接口中的输入。
通常,在应用该技术时,可以建立表征的词汇表并将其与数据值的特定特征集合相关联。一旦建立了词汇表,词汇表就可以用于关于应用的各种目的,就像可以使用任何语言词汇表一样。开发者和用户两者可以在需要时更改、更新和增强词汇表。可以更新、增强和改进数据值与词汇表的元素之间的相关性。HMI平台或用户接口设备或这两者可以维护和实现这样的词汇表,并且实际上用作数据值和词汇表元素之间的转换器;然后,应用程序可以以各种各样的方式使用根据词汇表而表达的通信。这样的词汇表可以无声地实现,不需要语音或(在一些情况下)用户身体的任何部位的实际运动。以这种方式,可以使用用户的意图来基于词汇表表达通信。这样的词汇表可以特定于用户或群组或一般人群。
下面的文本(以及在一些情况下之前的文本)包括来自临时申请(2016年12月2日提交的美国专利申请62/429,334)中的某些文本或信息,本申请有权享有关于其的申请日的优先权。(临时申请全文通过引用结合于此。)
测量神经中的电信号的能力具有多种用途,例如,帮助患有肌萎缩性脊髓侧索硬化症(ALS)的人,ALS是控制随意肌的神经元退化和死亡的疾病。其原因尚不完全已知或了解,尽管将一些事件归因于遗传。因为神经元缺失和肌肉萎缩,患有ALS的人将经历肌肉僵硬、痉挛、抽搐和虚弱。交流变得困难。最终,此人可能失去言语、进食、甚至呼吸所需的肌肉控制。
表面肌电图(sEMG)是肌电图的一种形式,其使用放置在肌肉上方的皮肤表面上的传感器(电极)来测量肌肉中的电活动。可以使用两个或多个这样的电极来测量不同电极之间的电位(电压)差。使用这些电极,肌电图可以检测肌肉细胞在被神经(或电)信号激活时所产生的电位。与需要皮下传感器的其他形式的肌电图相比,sEMG的侵入性更小。
神经电图(ENG)基于直接从放置到神经元组织中的电极获得的电信号提供神经元的电活动的可视化。由电极提供的电信号捕获动作电位,其是快速上升和下降的电位。例如,当大脑通过神经向肌肉附近的神经元发送信号时,信号通常采取动作电位的形式。
存在一些基本解决方案来帮助患有肌萎缩性脊髓侧索硬化症(ALS)的人与其他人交流的,比如追踪眼睛注视,但这些解决方案可能是耗费精力的并且难以使用。例如,只有约10%的患有ALS的人甚至可以实际上使用眼睛注视方法。如本文所述,表面肌电图(sEMG)可用于控制电力设备,比如轮椅、遥控门、娱乐系统(例如,收音机和电视)和计算机系统。这种新的控制水平可以比现有技术更有效和更高效地促进交流,并将改善患有ALS的人的整体生活质量。
拥有健康肌肉的人具有约1到2毫伏(即0.001到0.002伏特)的表面肌电图(sEMG)可测信号。患有肌萎缩性脊髓侧索硬化症(ALS)的人可能有受损的神经和萎缩的肌肉,使得他们的可测信号的强度可能在5-10微伏范围内,比拥有健康肌肉的人小两百倍。使用sEMG的现有技术、例如假肢控制需要在毫伏范围内的健康的肌肉和神经信号。因此,这些技术不能很好地转变到患有ALS的人。然而,即使患有ALS的人不具备移动的能力,其前臂、腿和下颌中的剩余神经仍可能产生可以用sEMG检测的电信号。
如这里所述,sEMG传感器用于检测人的神经和肌肉信号,并用于与电子设备、例如计算机和计算机控制的设备相接口。配置是可定制的和模块化的,以适应用户能力的范围和偏好。肌电图激活是无痛的,需要零移动,并且可适于ALS进展。与由于身体和精神上的负担而有不到10%的患有ALS的人使用的眼睛注视相比,这些系统是为整个身体具有很少或没有运动能力的人设计。此外,因为一些实施方式不需要用户进行任何物理移动或手势,所以患有ALS的人即使完全不能活动也可以使用这些解决方案。
图1是在操作环境100中与sEMG传感器140通信并且与客户端设备120接口的示例传感器集线器130的图。在对操作环境100的宽泛概述中,用户122佩戴一个或多个传感器140。每个传感器140包括一个或多个电极贴片142和发送器146。传感器发送器146向传感器集线器130发送数据。传感器集线器130包括用于接收从传感器140发送的数据的接收器136。传感器集线器130包括客户端接口132、分析接口135、传感器控制器137和存储器138。传感器集线器130包括处理栈170,其通过对所接收的数据进行放大和滤波来处理从传感器140接收的数据。所示出的处理栈170包括前置放大器172、滤波器174和增益放大器176。传感器集线器130经由客户端接口132与客户端设备120交互。在一些实施方式中,传感器集线器130经由分析接口135向分析服务器150发送数据。分析接口135经由网络110与分析服务器150交换数据。在一些实施方式中,客户端接口132还经由网络110与客户端设备120交换数据。
更详细地参考图1,每个sEMG传感器140包括一个或多个电极贴片142和发送器146。传感器140还包括诸如可充电电池(未示出)的电源。sEMG传感器140检测人(例如,患有ALS的人)的神经激活,并向传感器集线器130提供数据(例如,代表神经激活水平的信号)。在一些实施方式中,将传感器集线器130并入到客户端设备120中,使得传感器140直接向客户端设备120提供该数据。在一些实施方式中,可以将多个sEMG传感器140放置在人身上,例如,沿着在诸如前臂顶部、前臂中部和前臂底部的神经通路。在一些实施方式中,沿着神经通路放置的sEMG传感器140在稍微不同的时刻检测相同的激活事件;在一些这样的实施方式中,数据被时移(time shift)以对准信号,使得它们重合。这有助于将激活信号提升到噪声水平以上。
每个sEMG传感器140包括电极的电极贴片142,这些电极直接放置在皮肤上或非常靠近皮肤而放置,例如仅由薄膜或织物层(例如,导电织物)隔开。在一些实施方式中,传感器140是可更换的垫,其被设计成粘附到用户122达几小时、几天、几周或几个月。在一些实施方式中,传感器140容易地配合在衣服下面。在一些实施方式中,传感器140是可穿戴物品,其中组件(例如,电极贴片142和发送器146)被包装成皮带、臂带、表带、汗带、头带、衬衫、短裤、袜子或其他可以穿戴在身上的物品。在一些实施方式中,可穿戴传感器140被设计用于全天(“24/7”)可穿戴性。可穿戴传感器140可以设计为在床、轮椅、户外、车辆等中使用。在一些实施方式中,设计用于在床中使用的可穿戴传感器140可以用作在睡眠期间的紧急警报。电极贴片142由sEMG传感器140外壳而定向以将电极放置成与用户122的皮肤直接接触,或者与皮肤接近直接接触,例如,仅由薄膜或织物层与皮肤隔开。每个sEMG传感器140包括一个或多个电极贴片142,并且每个电极贴片142包括一个或多个电极。为了测量电位(电压)差,需要至少两个电极。使用医用级电极。在一些实施方式中,电极可使用五天或更多天。在一些实施方式中,可在传感器140中更换电极贴片142而不废弃传感器140的发送器146或其它组件。
在一些实施方式中,每个sEMG传感器140包括附加的上下文和环境监测元素,诸如温度计、加速度计、陀螺仪、气压计和水分或湿度传感器。来自这些元素的信息以与参考来自电极贴片142的sEMG信息所描述的相同方式被发送到传感器集线器130。上下文和环境监测信息可用于区分神经激活信号的信号噪声。例如,通过调整在传感器集线器130处如何处理来自传感器140的信息,可以适应温度变动、湿度变动、偶然移动以及其他这样的上下文或环境变化。
每个sEMG传感器140包括发送器146以向传感器集线器130发送数据。在一些实施方式中,发送器146发送代表从电极贴片142中的电极测量的电位(电压)差的模拟信号。在一些实施方式中,该模拟信号被放大。在一些实施方式中,使用预先配置的射频的调频或调幅来广播模拟信号。在一些实施方式中,发送器例如使用模数(ATD)转换器将模拟信号编码为数字信号。在一些这样的实施方式中,数字信号以分组的形式的由发送器146发送,例如使用诸如ANT+、BLUETOOTH或ZIGBEE的个人局域网(PAN)协议。尽管在图1中示出为无线的,但是在一些实施方式中,sEMG传感器140不通过无线电与传感器集线器130通信,而是被配置为经由有线链路向传感器集线器130发送数据。
传感器集线器130包括接收器136。接收器136是用于接收从传感器140发送的数据的电路。在一些实施方式中,接收器136是无线电接收器。在一些实施方式中,接收器136实现诸如ANT+、BLUETOOTH或ZIGBEE的个人局域网(PAN)协议。在一些实施方式中,接收器136被配置为同时从多个传感器发送器146接收信号。在一些实施方式中,接收器136被配置为使用时分多路复用方法从多个传感器发送器146接收信号。在一些实施方式中,传感器集线器130包括多个接收器136。
传感器集线器130包括处理栈170,其处理由接收器136从传感器140接收的数据。处理栈170对所接收的数据放大和滤波。所示出的处理栈170包括前置放大器172(“前置放大”)、滤波器174和增益放大器176(“增益放大”)。在一些实施方式中,前置放大器172是可编程运算高增益电子电压放大器(“运放”)前置放大器。在一些实施方式中,前置放大器172的有限带宽被配置为加强特定于患有ALS的人的神经激活信号水平的带宽(在一些实施方式中,这是患有ALS的人的平均范围;在一些实施方式中,这被调谐到特定个人,例如ALS患者)。在一些实施方式中,前置放大器172可动态地选择在噪声基底(noise floor)以上的阈值。然后,来自前置放大器172的放大的信号通过一个或多个滤波器174。
滤波器174是用于改善来自传感器140的输入信号与一般电子噪声的分离的信号处理滤波器。在一些实施方式中,滤波器174是模拟滤波器(例如,RLC滤波器);在一些实施方式中,滤波器174是数字滤波器。在一些实施方式中,滤波器174是高通滤波器,衰减低于噪声基底的信号。在一些实施方式中,滤波器174是调谐到特定信号范围的带通滤波器。在一些实施方式中,滤波器174被配置为衰减低于和/或高于对患有ALS的人的神经激活信号水平特定的范围的信号(在一些实施方式中,这是患有ALS的人的平均范围;在一些实施方式中,其被调谐到特定个人,例如ALS患者)。例如,可以以这种方式调谐数字高通滤波器或数字带通滤波器。
增益放大器176增强从滤波器174接收的滤波后信号的强度。在一些实施方式中,省略增益放大器176。在一些实施方式中,处理栈170包括模数(ATD)转换器,其将来自增益放大器176(或直接来自滤波器174)的模拟信号转换为数字信号。
在一些替代实施方式中,处理栈170的一些或所有元件被封装在传感器146中,并且其输出被发送到接收器136。这样的替代实施方式未在图1中示出,但是被认为是在本公开的范围内。
处理栈170经由客户端接口132向客户端设备120提供对所接收到的传感器输入放大和滤波的结果。在一些实施方式中,客户端接口132与在客户端设备120处运行的控制应用交换控制消息。在这样的实施方式中,控制应用解释传感器数据并将传感器数据转换成客户端设备120处的控制指令。在一些实施方式中,客户端接口132解释传感器数据并将传感器数据转换成传感器集线器130处的控制指令。然后,指令由传感器集线器130例如经由物理或无线网络链路发送到客户端设备120。
传感器集线器130经由客户端接口132与客户端设备120交互。在一些实施方式中,传感器集线器130经由分析接口135向分析服务器150发送数据。分析接口135经由网络110与分析服务器150交换数据。在一些实施方式中,客户端接口132还经由网络110与客户端设备120交换数据。例如,在一些实施方式中,客户端接口132实现与客户端设备120的蓝牙通信信道。
在一些实施方式中,传感器集线器130收集分析信息,例如,可用于改善传感器设备和处理栈170的调谐的信息。将分析信息存储在存储器138中和/或通过网络110发送到分析服务器150。分析信息可以包括例如日常使用的度量的测量、各种神经和肌肉激活的信号强度、以及用户样式(可以将其匿名化以保护患者隐私)。所有信息按照健康保险流通与责任法案(HIPAA)进行管理,并且患者信息始终受到保护。在一些实施方式中,分析接口135通过网络110与分析服务器150交换消息,例如,使用在TCP上分层的定制协议。在一些实施方式中,分析服务器150存储与特定用户122相关联的校准和配置信息。这允许用户122在使用多个实施方式时,例如在诊断诊所、在家、在医院和其他治疗中心时使用相同的校准和配置信息。在一些实施方式中,分析接口135从分析服务器150接收更新。更新可以包括例如用于调谐处理栈170的元素的细化。这允许每个传感器集线器130受益于对来自放置在各种患有ALS的人上的sEMG传感器140的数据的聚合分析。
仍然参考图1,存储器138提供用于在传感器集线器130中保持数据的数据存储。存储器138可以用一个或多个数据存储设备来实现。数据存储设备可以是任何适合于存储计算机可读数据的存储设备。数据存储设备可以包括具有固定存储的设备或用于读取可移动存储介质的设备。示例包括所有形式的非易失性存储器、介质和存储器设备、半导体存储器设备(例如,EPROM、EEPROM、SDRAM和闪存设备)、磁盘、磁光盘和光盘(例如,CD ROM、DVD-ROM或蓝光盘)。合适的数据存储设备的示例实施方式包括存储区域网络(SAN)、网络附加存储(NAS)和冗余存储阵列。
网络110使能够在网络连接设备之间通信。在一些实施方式中,数据作为数据分组流、例如以按照开放系统互连(OSI)层的数据分组的形式从源节点经过网络110流到目的节点。分组流可以使用例如经由在诸如例如IPv4或IPv6的互联网协议(IP)的OSI层-3网络协议上分层网络110发送的OSI层-4传输协议,诸如用户数据报协议(UDP)、传输控制协议(TCP)或流控制传输协议(SCTP)。网络110由链接在一起的各种网络设备组成,以在参与设备之间形成一个或多个通信路径。每个组网设备包括至少一个用于接收和/或发送通常作为一个或多个数据分组的数据的网络接口。说明性网络110是互联网;但是,可以使用其他网络。网络110可以由多个连接的子网络组成。网络110可以是诸如公司内联网的局域网(LAN)、城域网(MAN)、广域网(WAN)、诸如互联网的交互网络、或对等网络,例如,ad hocWiFi对等网络。网络110中的设备之间的数据链路可以是有线链路(例如,光纤的、网状的、同轴的、诸如Cat-5或Cat-6的双绞线的,等等)和/或无线链路(例如,无线电、卫星、微波等)的任意组合。网络110可以包括用于移动通信设备的载波网络,例如,实现诸如全球移动通信系统(GSM)、码分多址(CDMA)、时分同步码分多址(TD-SCDMA)、长期演进(LTE)或包括但不限于所谓的“3G”、“4G”和“5G”代协议的任何其他此类协议的无线通信协议的网络。网络可以包括短距离无线链路,例如,经由Wi-Fi、ANT+、BLUETOOTH或ZIGBEE,有时被称为个人局域网(PAN)或网状网。网络110可以是公共的、私有的、或公共和私有网络的结合。网络110可以是任何类型和/或形式的数据网络和/或通信网络。
示例客户端设备120是计算系统或基于处理器的设备,其运行应用,向用户呈现输出,并从用户接收输入。客户端设备120能够例如经由直接有线链路、经由无线链路(例如,在PAN上)、经由红外链路、经由网络110或通过其他通信方式从传感器集线器130接收信息。在一些实施方式中,客户端设备120可以由传感器集线器130控制。客户端设备120可以是任何类型的计算设备,包括例如台式计算机、膝上型或笔记本计算机、诸如平板电脑或电子平板、个人数字助理、智能电话、视频电话的移动设备、或诸如收音机、电视机的娱乐设备、或任何其他此类设备。客户端设备120可以是机器人设备,诸如轮椅、遥控门等。在一些实施方式中,客户端设备120包括用于促进数据输入和数据呈现的一个或多个硬件元件,例如键盘、显示器、触摸屏、麦克风、扬声器和/或触觉反馈设备。在一些实施方式中,客户端设备120使用例如专用集成电路(ASIC)的专用逻辑电路来实现。在一些实施方式中,客户端设备120使用包括至少一个处理器(或微处理器)核的片上系统(SoC)半导体设备来实现。在一些实施方式中,客户端设备120使用通用计算处理器来实现。下面更详细地描述的图8示出了在一些配置中适合用作客户端设备120的计算设备。
图2是监测sEMG传感器的示例方法200的流程图。该描述涉及单个传感器,但是可应用于一个或多个传感器,包括传感器组或传感器集合。该描述将所有监测和控制任务分配给传感器控制器137;然而,在一些实施方式中,这些任务中的一些或全部可以由客户端接口132或由在传感器集线器130中、在传感器140上或甚至在客户端设备120处的一些其他元件执行。在宽泛的概述中,在阶段210,传感器控制器137校准传感器140。校准可以是自动化的,例如,通过测量传感器噪声来建立基线。在阶段220,传感器控制器137监测传感器140的信号,并且在阶段230,检测来自传感器140的信号。如果传感器是多传感器集合的一部分(分支240),则在阶段250,传感器控制器137将来自所检测到的信号的传感器测量与来自多传感器集合中的其他传感器的数据进行比较。真正的神经激活信号可以在该集合中的多个传感器处以各种强度并在稍微不同的时间(例如,经过传感器的波纹)生成信号,使得对聚合条件的分析可以在真正的神经激活信号和一般系统噪声之间区分。在阶段260,传感器控制器137确定所检测到的信号是否满足动作标准。例如,确定信号(或信号集合)是否超过噪声阈值或者持续最小时间长度。如果是,则在阶段270,传感器控制器137将该信号报告给客户端接口132。然后,客户端接口132可以向客户端设备120发出控制消息,或者将该信号报告给客户端设备120,然后客户端设备120可以确定适当的动作。
更详细地参考图2,在阶段210,传感器控制器137校准传感器140。校准可以是自动的,例如,通过测量传感器噪声来建立基线。在一些实施方式中,用户122可以穿戴传感器140并触发(或使辅助设备触发)校准过程同时保持被动。传感器140收集关于基线被动状态的信息,例如sEMG水平和上下文噪声信息。在一些实施方式中,校准是完全自动的。在一些实施方式中,校准包括手动调整或配置。例如,可以要求用户122激活各种神经,并且可以基于检测神经激活所需的灵敏度来进一步校准传感器140。在一些实施方式中,偶尔或周期性地重复校准。
在阶段220,传感器控制器137监测传感器140的信号。在一些实施方式中,传感器140持续地(或周期性地)报告传感器状态信息。传感器集线器130从传感器140接收该状态信息并监测它的可动作条件。
在阶段230,传感器控制器137检测来自传感器140的信号。当超过基线的信号从传感器140到达时,传感器控制器137尝试将该信号分类为间歇噪声或可动作信号。
如果传感器是多传感器集合的一部分(分支240),则在阶段250,传感器控制器137将来自所检测到的信号的传感器测量与来自多传感器集合中的其他传感器的数据进行比较。真正的神经激活信号可以在该集合中的多个传感器处以各种强度并在稍微不同的时间(例如,经过传感器的波纹)生成信号,使得对聚合条件的分析可以在真正的神经激活信号和一般系统噪声之间区分。
在阶段260,传感器控制器137确定所检测到的信号是否满足动作标准。例如,确定信号(或信号集合)是否超过噪声阈值或者持续最小时间长度。
如果传感器控制器137确定所检测到的信号满足动作标准,则传感器控制器137将该信号报告给客户端接口132。然后,客户端接口132可以向客户端设备120发出控制消息,或者将该信号报告给客户端设备120,然后客户端设备120可以确定适当的动作。
图3A、图3B和图3C是传感器监测器和接口的示例实施方式的屏幕图像。下面更详细地描述了图3A、图3B和图3C中示出的交互的流程图
在宽泛的概述中,图3A描绘了使用指针或基于鼠标的交互的图标选择。如将要描述的,垂直条310和水平条320由重复的输入信号操纵。垂直条310穿过显示器X轴上所选择的坐标,水平条320穿过显示器Y轴上所选择的坐标。操纵垂直条310和水平条320以在所选择的X和Y坐标处相交。例如,如下面参考图5所述,垂直条310可以在水平扫描中水平移动,水平条320可以在垂直扫描中垂直移动。然后可以选择在所得到的[X,Y]交点处的图标330,例如以打开相应的应用。
图3B描绘了使用虚拟键盘350向输入域340中的文本输入。在一些实施方式中,虚拟键盘350是数字或电话键布局的再现。在一些实施方式中,虚拟键盘350是方向箭头的集合。在一些实施方式中,虚拟键盘350是标准“QWERTY”键盘布局的再现。在一些实施方式中,虚拟键盘350使用按字母顺序的布局。在一些实施方式中,虚拟键盘350使用诸如Dvorak或Colemak的替代布局。在一些实施方式中,虚拟键盘350是完全可定制的,使得用户或操作者可以为特定用户或使用场景配置虚拟键盘350。在一些实施方式中,虚拟键盘350包括用于自定义宏或字符集的按钮。例如,可以在虚拟键盘350中呈现按钮用于表情符号(emoji)、常见表情符号或单词建议。在一些实施方式中,虚拟键盘包括填充有单词完成预测、下一单词预测和/或经常使用的单词或短语的预测按钮。
图3C描绘了在键选择过程期间突出显示的一行虚拟键360(来自虚拟键盘350)。图表370提供了使用中的传感器(或传感器集合)的信号强度的可视化以从虚拟键的行360中进行选择。在后面的流程图描述中参考了图3A、图3B和图3C中描绘的示例实施方式的屏幕图像。图3A、图3B和图3C中示出的示例仅仅是许多可能的实施方式中的一个,并不意味着限制。
图4是使用sEMG传感器选择矩阵域(matrix field)的示例方法400的流程图。该描述涉及单个传感器,但是适用于一个或多个传感器,包括传感器组或传感器集合。该描述将所有任务分配给客户端接口132;然而,在一些实施方式中,这些任务中的一些或全部可以由在传感器集线器130中、在传感器140上或甚至在客户端设备120处的一些其他元件执行。方法400可以用于从任何矩阵中进行选择。例如,可以使用方法400来选择虚拟键盘(例如,图3B中所示的虚拟键盘350)上的键。图4的描述在扫描矩阵的列之前扫描矩阵的行。在一些实施方式中,在矩阵的行之前扫描矩阵的列。在一些实施方式中,第一传感器集合用于扫描行,并且单独的传感器集合用于扫描列;触发无论哪个传感器集合确定是扫描矩阵的行还是扫描矩阵的列。参见例如图7和下面的相应描述。这些实施方式变型和其他变型在本公开的范围内。
在对图4的宽泛概述中,在阶段410,客户端接口132执行初始化功能以为输入选择做准备。例如,客户端接口132可以请求传感器重新校准,可以在呈现屏幕上(例如,在客户端设备120处)呈现选择矩阵(例如,虚拟键盘),并且开始监测选择传感器。在阶段420,客户端接口132从传感器140接收信号的通知,并确定该信号是否足以采取动作(参见例如图2中所示的方法200)。如果不是(例如,如果信号太短),则客户端接口132返回到初始化阶段410以等待另一信号。否则,如果信号是可动作的,则在阶段430,客户端接口132开始扫描选择矩阵的行。客户端接口132继续扫描选择矩阵的行,直到被用信号通知停止。在阶段430中扫描的最后一行被识别为所选择的行。在阶段440,客户端接口132从传感器140接收信号的通知,并确定该信号是否足以转变到下一动作。如果不是(例如,如果信号太短),则客户端接口132返回到初始化阶段410以重新开始方法400并等待另一信号。如果自从开始阶段430起经过了太多时间,则在阶段440,客户端接口132还可以确定返回到阶段410。如果在阶段440已经接收到可动作信号,则在阶段450,客户端接口132开始扫描选择矩阵的列。客户端接口132继续扫描选择矩阵的列,直到被用信号通知停止。在阶段450中扫描的最后一列被识别为所选择的列。在阶段460,客户端接口132从传感器140接收信号的通知,并确定该信号是否足以转变到下一动作。如果不是(例如,如果信号太短),则客户端接口132返回到阶段430的扫描行,并等待另一信号。如果自从开始阶段450起经过了太多时间,则在阶段460,客户端接口132还可以确定返回到阶段430。如果在阶段460已经接收到可动作信号,则在阶段470,客户端接口132选择在阶段430中识别的行和在阶段450中识别的列的交点处的矩阵元素。
更详细地参考图4,在阶段410,客户端接口132执行初始化功能以为输入选择做准备。例如,客户端接口132可以请求传感器重新校准,可以在呈现屏幕上(例如,在客户端设备120处)呈现选择矩阵(例如,虚拟键盘),并且开始监测选择传感器。
在阶段420,客户端接口132从传感器140接收信号的通知,并确定该信号是否足以采取动作(参见例如图2中所示的方法200)。如果不是(例如,如果信号太短),则客户端接口132返回到初始化阶段410以等待另一信号。对于每个动作开始和以及对于每个动作转变使用来自一个或多个传感器的离散信号允许用户122在选择之间休息。在一些实施方式中,超时被配置为允许特定用户122所需要的更多或更少的休息。然而,在一些实施方式中,可能期望用户122在动作期间维持信号,例如,在事件发生时维持选择信号。
如果在阶段420接收到可动作信号,则在阶段430,客户端接口132开始扫描选择矩阵的行。客户端接口132继续扫描选择矩阵的行,直到被用信号通知停止。在阶段430中扫描的最后一行被识别为所选择的行。例如,在图3C中,示出选择了虚拟键的突出显示的行360。
在阶段440,客户端接口132从传感器140接收信号的通知,并确定该信号是否足以转变到下一动作。如果不是(例如,如果信号太短),则客户端接口132返回到初始化阶段410以重新开始方法400并等待另一信号。如果自从开始阶段430起经过了太多时间,则在阶段440,客户端接口132还可以确定返回到阶段410。
如果在阶段440已经接收到可动作信号,则在阶段450,客户端接口132开始扫描选择矩阵的列。客户端接口132继续扫描选择矩阵的列,直到被用信号通知停止。在阶段450中扫描的最后一列被识别为所选择的列。阶段450中的扫描类似于阶段430。目标是识别行和列之间的交点,然后可以选择该交点。例如,识别虚拟键盘350中的键。
在阶段460,客户端接口132从传感器140接收信号的通知,并确定该信号是否足以转变到下一动作。如果不是(例如,如果信号太短),则客户端接口132返回到阶段430的扫描行,并等待另一信号。如果自从开始阶段450起经过了太多时间,则在阶段460,客户端接口132还可以确定则返回到阶段430。
如果在阶段460已经接收到可动作信号,则在阶段470,客户端接口132选择在阶段430中识别的行和在阶段450中识别的列的交点处的矩阵元素。例如,可以识别单个虚拟键(例如,参见图3B中所示的虚拟键盘350,其中突出显示了单个键)。然后对所选择的键进行动作,例如,在文本输入域340中输入相应的字母。
图5是使用sEMG传感器操作指针的示例方法500的流程图。方法500类似于参考图4描述的方法400。但是不同之处在于选择矩阵被显示器上的笛卡尔坐标或线代替。例如,如图3A所示,可以操纵扫描线310和320以在诸如图形用户接口(GUI)图标330的可选元素上相交。如同对图4的描述,对图5的此描述涉及单个传感器,但可应用于一个或多个传感器,包括传感器组或传感器集合。该描述将所有任务分配给客户端接口132;然而,在一些实施方式中,这些任务中的一些或全部可以由在传感器集线器130中、在传感器140上或甚至在客户端设备120处的一些其他元件执行。方法500在用水平扫描识别X轴坐标之前,用垂直扫描识别Y轴坐标。在一些实施方式中,在垂直扫描之前执行水平扫描。在一些实施方式中,第一传感器集合用于垂直扫描,并且单独的传感器集合用于水平扫描;触发无论哪个传感器集合确定是执行垂直扫描还是水平扫描。参见例如图7和下面的相应描述。这些实施方式变型和其他变型在本公开的范围内。
在对图5的宽泛概述中,在阶段510,客户端接口132执行初始化功能以为指针或鼠标输入选择做准备。在阶段520,客户端接口132从传感器140接收信号的通知,并确定该信号是否足以采取动作(参见例如图2中所示的方法200)。如果不是(例如,如果信号太短),则客户端接口132返回到初始化阶段510以等待另一信号。否则,如果信号是可动作的,则在阶段530,客户端接口132开始垂直扫描以识别Y轴坐标。客户端接口132继续垂直扫描,直到被用信号通知停止。在阶段540,客户端接口132从传感器140接收信号的通知,并确定该信号是否足以转变到下一动作。如果不是(例如,如果信号太短),则客户端接口132返回到初始化阶段510以重新开始方法500并等待另一信号。如果自从开始阶段530起经过了太多时间,则在阶段540,客户端接口132还可以确定返回到阶段510。如果在阶段540,已经接收到可动作信号,则在阶段550,客户端接口132开始水平扫描以识别X轴坐标。客户端接口132继续水平扫描,直到被用信号通知停止。在阶段560,客户端接口132从传感器140接收信号的通知,并确定该信号是否足以转变到下一动作。如果不是(例如,如果信号太短),则客户端接口132返回到阶段530中的垂直扫描并等待另一信号。如果自从开始阶段550起经过了太多时间,则在阶段560,客户端接口132还可以确定返回到阶段530。如果在阶段560,已经接收到可动作信号,则在阶段570,客户端接口132识别并选择在阶段530中识别的垂直线与在阶段550中识别的水平线的交点。
更详细地参考图5,在阶段510,客户端接口132执行初始化功能以为指针或鼠标输入选择做准备。例如,如同图4中的阶段410,客户端接口132可以请求传感器重新校准,可以在呈现屏幕上(例如,在客户端设备120处)的初始位置中呈现水平扫描线320(或垂直扫描线310),并且可以开始监测选择传感器。在一些实施方式中,客户端接口132在鼠标模式和矩阵模式(例如,虚拟键盘模式)之间切换。在这样的实施方式中,客户端接口132在阶段510进入鼠标模式。
在阶段520,客户端接口132从传感器140接收信号的通知,并确定该信号是否足以采取动作(参见例如图2中所示的方法200)。如果不是(例如,如果信号太短),则客户端接口132返回到初始化阶段510以等待另一信号。否则,如果信号是可动作的,则客户端接口132前进到阶段530。
在阶段530,客户端接口132执行垂直扫描以识别Y轴坐标。客户端接口132继续垂直扫描,直到被用信号通知停止。在一些实施方式中,在垂直扫描期间,客户端接口132使得水平扫描线320绘制在屏幕上,并且随着垂直扫描的进行,线在屏幕上垂直向上(或向下)移动。在一些实施方式中,在垂直扫描期间,在屏幕上显示对应于水平扫描线320的Y坐标的值。在一些实施方式中,可以配置水平扫描线320移动(或重新绘制)的速率。在一些实施方式中,用户122可以发信号通知进展以加速或减慢。
在阶段540,客户端接口132从传感器140接收信号的通知,并确定该信号是否足以转变到下一动作。如果不是(例如,如果信号太短),则客户端接口132返回到初始化阶段510以重新开始方法500并等待另一信号。如果自从开始阶段530起经过了太多时间,则在阶段540,客户端接口132还可以确定返回到阶段510。如果在阶段540已经接收到可动作信号,则客户端接口132前进到阶段550。
在阶段550,客户端接口132执行水平扫描以识别X轴坐标。客户端接口132继续水平扫描,直到被用信号通知停止。在一些实施方式中,在水平扫描期间,客户端接口132使得垂直扫描线310绘制在屏幕上,并且随着水平扫描的进行,线经过屏幕水平移动。在一些实施方式中,在水平扫描期间,在屏幕上显示对应于垂直扫描线310的X坐标的值。在一些实施方式中,可以配置垂直扫描线310移动(或重新绘制)的速率。在一些实施方式中,用户122可以发信号通知进展以加速或减慢。
在阶段560,客户端接口132从传感器140接收信号的通知,并确定该信号是否足以转变到下一动作。如果不是(例如,如果信号太短),则客户端接口132返回到阶段530中的垂直扫描并等待另一信号。如果自从开始阶段550起经过了太多时间,则在阶段560,客户端接口132还可以确定返回阶段530。如果在阶段560,已经接收到可动作信号,则客户端接口132前进到阶段570。
在阶段570,客户端接口132识别并选择在阶段530中识别的Y轴与在阶段550中识别的X轴的交点。例如,参考图3A,扫描线310和320在可动作图标330处相交。在阶段570,客户端接口132选择图标330,从而调用与图标330相关联的动作。例如,扫描线310和320可以相交于应用图标、菜单图标、虚拟按钮或一些其他可选择或可动作的元素之上。在一些实施方式中,用户122可以触发第一传感器集合中的一个或多个传感器,以在所识别的交点处引起第一动作,并且可以触发第二传感器集合中的一个或多个传感器,以在所识别的交点处引起第二动作。例如,用户左侧的传感器可用于指示“左击”,并且用户右侧的传感器可用于指示“右击”。
图6是使用sEMG传感器选择菜单选项的示例方法600的流程图。在对方法600的宽泛概述中,在阶段610,客户端接口132呈现可选择的菜单选项。例如,在一些实施方式中,下拉菜单中的行被示出为突出显示。在一些实施方式中,单选按钮或复选框被示出为被选择。在方法600进行时,不同的菜单选项可以被示出为突出显示或被选择。在阶段620,客户端接口132从传感器140接收信号的通知,并确定该信号是否足以转变到下一动作,例如,接受菜单选择或移动到另一菜单选项。如果在阶段620,客户端接口132确定来自传感器的信号满足用于选择菜单选项的标准,则在阶段630,客户端接口132调用所选择的菜单选项。
图7是区分多个sEMG传感器的示例方法700的流程图。在一些实施方式中,可以将传感器140分配给不同的选择组。当客户端接口132从与特定动作相关联的传感器集合中的一个(或多个)传感器接收信号时,客户端接口132向客户端设备120发送控制消息以调用该特定动作。例如,放置在用户122右臂上的传感器可以用于一个动作,放置在用户122左臂上的传感器可以用于另一个动作,放置在用户122腿上的传感器可以用于又一个动作,等等。沿着神经通路、例如沿着前臂放置多个传感器允许检测神经激活的多次机会。在一些实施方式中,随着信号沿着手臂传播下来,沿着神经通路的不同传感器可以在稍微不同的时刻检测到轻微的信号升高。对一起采用的传感器集合的分析允许与该传感器集合相关联的动作。对于对神经激活具有更多控制的人来说,这可以使消息吞吐量增加至两倍或三倍。例如,使用左臂信号用于垂直运动且右臂信号用于水平运动将允许方法400和500快速到达选择状态。在宽泛的概述中参考图7,在阶段710,客户端接口132从多个可能的传感器集合中的一个集合接收信号。在阶段720,客户端接口132确定是否从与特定动作相关联的集合中的传感器接收到该信号。如果是,则在阶段730,客户端接口132使执行特定动作。否则,在阶段740,执行默认动作(或不执行动作)。
人可以同时控制多个电子设备,并保持跨越环境的无缝通信。所公开的系统为用户提供多个输入用于有效的屏幕上键盘和鼠标控制。人可以在他或她的身体的任意处佩戴1个、2个、3个、4个、6个或更多个传感器。例如,一个传感器可以激活鼠标左击,而另一个传感器激活鼠标右击。以前的解决方案具有大约每分钟6个字的打字速度;所公开的键盘输入解决方案已促使输入快了大约三倍。同样简化和加速了Web浏览。在一些实施方式中,在传感器集线器130或客户端设备120上运行的软件可以自动映射传感器140的配置并对于诸如移动、出汗和压力的条件自动校准。
图8是示出适于在本文描述的一些实施方式中使用的计算系统101的一般架构的框图。示例计算系统101包括经由总线105与一个或多个网络接口111(与网络110通信)、I/O接口102(用于与用户或管理员交互)以及存储器106通信的一个或多个处理器107。处理器107合并或直接连接到附加高速缓冲存储器109。在一些用途中,附加组件经由外围接口103与计算系统101通信。在一些用途中,诸如在服务器上下文中,没有I/O接口102或不使用I/O接口102。在一些用途中,I/O接口102支持输入设备104和/或输出设备108。在一些用途中,输入设备104和输出设备108使用相同的硬件,例如,如在触摸屏中那样。在一些用途中,计算系统101是独立的并且不与网络110交互并且可能不具有网络接口111。
处理器107可以是处理指令、例如从存储器106或高速缓存109取出的指令的任何逻辑电路。在许多实施方式中,处理器107是微处理器单元。处理器107可以是能够如本文所述操作的任何处理器。处理器107可以是单核或多核处理器。处理器107可以是多个处理器。在一些实施方式中,用协处理器、例如数学协处理器或图形协处理器来增强处理器107。
I/O接口102可以支持各种各样的设备。输入设备104的示例包括键盘、鼠标、触摸或追踪板、轨迹球、麦克风、触摸屏或绘图板。输出设备108的示例包括视频显示器、触摸屏、可刷新的盲文显示器、扬声器、喷墨打印机、激光打印机或3D打印机。在一些实施方式中,输入设备104和/或输出设备108可以用作经由外围接口103连接的外围设备。
外围接口103支持附加外围设备与计算系统101的连接。外围设备可以物理地连接,如在通用串行总线(“USB”)设备中那样,或可以无线地连接,如在BLUETOOTH TM设备中那样。外围设备的示例包括键盘、指示设备、显示设备、音频设备、集线器、打印机、介质读取设备、存储设备、硬件加速器、声音处理器、图形处理器、天线、信号接收器、测量设备和数据转换设备。在一些用途中,外围设备包括网络接口,并经由网络110和网络接口111与计算系统101连接。例如,打印设备可以是网络可访问的打印机。
网络110是任何网络,例如,如上面参考图1所示和所述的。网络的示例包括局域网(“LAN”)、广域网(“WAN”)、交互网络(例如,互联网)和对等网络(例如,ad hoc对等网络)。网络110可以由多个连接的子网和/或自治系统组成。任何类型和/或形式的数据网络和/或通信网络可以用于网络110。
每个存储器106可以使用一个或多个数据存储设备来实现。数据存储设备可以是适合于存储计算机可读数据的任何存储器设备。数据存储设备可以包括具有固定存储的设备或用于读取可移动存储介质的设备。示例包括所有形式的非易失性存储器、介质和存储器设备、半导体存储器设备(例如,EPROM、EEPROM、SDRAM和闪存设备)、磁盘、磁光盘和光盘(例如,CD ROM、DVD-ROM或蓝光盘)。合适的数据存储设备的示例实施方式包括存储区域网络(“SAN”)、网络附加存储(“NAS”)和冗余存储阵列。
高速缓存109是放置在与处理器107相同的电路层上或与其紧邻的数据存储设备的形式。在一些实施方式中,高速缓存109是半导体存储器设备。高速缓存109可以包括高速缓存的多个层,例如L1、L2和L3,其中第一层最靠近处理器107(例如,在芯片上),并且每个随后层稍微更远地移开。通常,高速缓存109是高速低延迟存储器。
计算系统101可以是任何工作站、台式计算机、膝上型或笔记本计算机、服务器、手持式计算机、移动电话或其他便携式电信设备、媒体播放设备、游戏系统、移动计算设备或任何其他类型和/或形式的能够进行通信并且具有足够的处理器能力和存储器容量来执行本文所述的操作的计算、电信或媒体设备。在一些实施方式中,将一个或多个设备构造为类似于图8的计算系统101。在一些实施方式中,多个不同的设备交互以在总体上形成类似于图8的计算系统101的系统。
在一些实施方式中,服务器可以是虚拟服务器,例如,可经由网络110访问的基于云的服务器。基于云的服务器可以由第三方云服务主机托管。服务器可以由共享位置或分布在多个位置处的多个计算机系统101组成。形成服务器的多个计算机系统101可以使用网络110通信。在一些实施方式中,形成服务器的多个计算机系统101使用私有网络进行通信,例如,不同于公共可访问网络的私有主干网络,或公共可访问网络内的虚拟私有网络。
应当理解,上述系统和方法可以作为记录在一件或多件制品、例如计算机可读介质上或中的一个或多个计算机程序中的指令而提供。制品可以是软盘、硬盘、CD-ROM、闪存卡、PROM、RAM、ROM或磁带。通常,计算机程序可以用任何编程语言实现,比如C、C++、C#、LISP、Perl、PROLOG、Python、Ruby或者诸如JAVA的任何字节代码语言。软件程序可以作为目标代码存储在一件或多件制品上或中。制品以非暂时形式存储该数据。
虽然本说明书包含许多具体实施方式细节,但是这些描述具有特定于各种特定实施方式的特征,并且不应被解释为限制。在分开的实施方式的上下文中描述的某些特征也可以以统一的组合来实现。另外,在单独实施方式的上下文中描述的许多特征也可以分开地或以各种子组合实现。类似地,虽然在图中以特定顺序描绘了操作,但是这不应被理解为要求以所示的特定顺序或按顺序执行这些操作或者执行所有示出的操作以实现需要的结果。在某些情况下,多任务和并行处理可能是有利的。此外,上述实施例中的各种系统组件的分离不应被理解为在所有实施方式中都需要这种分离,并且应该理解,所描述的程序组件和系统通常可以集成在单个软件产品中或打包成多个软件产品。
对“或”的引用可以被解释为包含性的,使得任何用“或”描述的术语可以指示以下的任何一个:单个、多于一个和所有所描述的术语。同样地,对“和/或”的引用可以被解释为对包含性“或”的明确使用。标签“第一”、“第二”、“第三”等等不一定意为指示排序,并且通常仅用作标记来在相同或类似的项目或元素之间区分。
已经描述了方法和系统的某些实施方式和实施例,现在对于本领域技术人员来说将显而易见的是,可以使用结合本公开的概念的其他实施例。因此,本公开不应该限于某些实施方式或实施例,而应该仅受以下权利要求的精神和范围的限制。
因此,存在一些基本解决方案来帮助患有肌萎缩性脊髓侧索硬化症(ALS)的人与其他人交流,诸如追踪眼睛注视,但这些解决方案可能会耗费精力并且难以使用。例如,只有约10%的患有ALS的人甚至可以使用眼睛注视方法。如本文所述,表面肌电图(sEMG)可用于控制电力设备,比如轮椅、遥控门、娱乐系统(例如,收音机和电视)和计算机系统。这种新的控制水平可以比现有技术更有效和更高效地促进交流,并将改善患有ALS的人的整体生活质量。
其他实施方式也在以下权利要求的范围内。
例如,虽然我们在我们的大部分讨论中使用了手腕的示例,但我们在这里描述的技术可以应用于测量身体任何其他部位、包括例如足部、手臂、腿、躯干和大脑上的电位的设备中。
虽然我们已经讨论了出现在肌肉、骨骼和神经中的电信号,但是电信号也可能出现在例如肌腱中,因为它们可能在例如与肌肉电信号的频率范围类似的频率范围内传导或反射肌肉的电信号。因此我们关于肌肉、神经和骨骼中的电信号的描述也可以应用于肌腱。
Claims (15)
1.一种系统,包括:
无线腕戴式用户接口设备,被配置为使用户能够通过手指和手部运动来控制目标组件的功能,该无线腕戴式用户接口设备包括:
至少一个电极对,被配置为定位为邻近用户手腕的顶部上的皮肤上的特定检测位置,所述至少一个电极对中的每个电极被配置为检测原始电位,所述原始电位包括以下组织的电活动的特性:(a)所述至少一个电极对附近的神经组织、以及(b)所述至少一个电极对附近的肌肉组织;信号处理电子设备,包括:
至少一个滤波器,被配置为减小指示原始电位的以下频率分量的幅度:(a)所述原始电位中作为所述至少一个电极对附近的肌肉组织的电活动的特性的频率分量、以及(b)噪声的频率分量,以便改善每个原始电位的信噪比;
阈值处理器,被配置为处理每个滤波后的原始电位,并且被配置为仅当每个滤波后的原始电位的幅度超过阈值时提供输出信号,以及
分析组件,被配置为检测来自所述阈值处理器的输出信号之间的差分信号,并使用该差分信号来确定所述至少一个电极对附近的神经组织的电活动的传播方向,以在运动神经电信号和感觉神经电信号之间进行区分;
数据处理器,包括:
包含分类器数据的存储器,所述分类器数据表示以下两者之间的已知关系:(a)从用户手腕上的电极先前检测到的神经组织的电位产生的数据值的特征、以及(b)与所存储的数据值的特征对应的特定肌肉的动作、手势或意图,
生成器,被配置为基于表示神经组织的活动的差分信号来生成数据值,
特征提取器,被配置为从所述生成器生成的数据值中提取特征,以及
推断动作的组件,被配置为基于(a)所存储的表示所述已知关系的分类器数据、以及(b)从所述数据值中提取的特征,来推断所述用户的特定肌肉的动作、手势或意图;以及
控制器,被配置为基于所推断的特定肌肉的动作、手势或意图,来控制目标组件的功能。
2.如权利要求1所述的系统,包括支撑手腕上的所述至少一个电极对的支撑结构。
3.如权利要求2所述的系统,包括:
对准结构,被配置为使所述支撑结构相对于手腕的上表面和外边缘对准,以将所述至少一个电极对定位为与手腕的顶部上的皮肤相接触并且在手腕的特定内部组织附近。
4.如权利要求3所述的系统,其中,所述对准结构被配置为将所述至少一个电极对定位为与手腕的顶部相接触。
5.如权利要求1所述的系统,其中,所述至少一个电极对包括至少六个电极。
6.如权利要求1所述的系统,其中,所述至少一个电极对中的每个电极包括与导电固体凝胶、泡沫或薄膜相关联的干接触表面。
7.如权利要求1所述的系统,还包括用于所述至少一个电极对的弹性安装件。
8.如权利要求1所述的系统,其中,所述推断动作的组件包括分类器。
9.如权利要求1所述的系统,其中,所述推断动作的组件还基于来自惯性测量单元的信号来推断动作。
10.如权利要求1所述的系统,其中,所述推断动作的组件还基于来自所述无线腕戴式用户接口设备外部的电极的信号来推断动作。
11.如权利要求1所述的系统,其中,所述无线腕戴式用户接口设备还包括用户接口,所述用户接口具有一个或多个按钮控制的开关以及多色强度可控的LED。
12.如权利要求11所述的系统,其中,所述用户接口包括触觉功能。
13.如权利要求1所述的系统,其中,所述无线腕戴式用户接口设备还包括端口,用于在所述端口和被配置为粘附到用户的皮肤的另一区域的电极之间的电导体的连接。
14.如权利要求1所述的系统,还包括另一电极,所述另一电极被配置为在用户的皮肤的另一部分上检测肌肉组织的电活动的一个或多个电位特性,所述至少一个过滤器被配置为使用来自所述另一电极的、检测到的一个或多个电位特性,用于相对于检测到的原始电位进行噪声消除。
15.如权利要求1所述的系统,包括阻抗匹配组件,所述阻抗匹配组件被配置为将所述至少一个电极对的阻抗与手腕的顶部上的皮肤的阻抗匹配。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662429334P | 2016-12-02 | 2016-12-02 | |
US62/429,334 | 2016-12-02 | ||
US201762566674P | 2017-10-02 | 2017-10-02 | |
US62/566,674 | 2017-10-02 | ||
PCT/US2017/063738 WO2018102429A2 (en) | 2016-12-02 | 2017-11-29 | Detecting and using body tissue electrical signals |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109804331A CN109804331A (zh) | 2019-05-24 |
CN109804331B true CN109804331B (zh) | 2021-06-22 |
Family
ID=62240191
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780060545.3A Active CN109804331B (zh) | 2016-12-02 | 2017-11-29 | 检测和使用身体组织电信号 |
Country Status (5)
Country | Link |
---|---|
US (3) | US10070799B2 (zh) |
EP (1) | EP3548994B1 (zh) |
KR (2) | KR102302640B1 (zh) |
CN (1) | CN109804331B (zh) |
WO (1) | WO2018102429A2 (zh) |
Families Citing this family (100)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11243611B2 (en) * | 2013-08-07 | 2022-02-08 | Nike, Inc. | Gesture recognition |
US10188309B2 (en) | 2013-11-27 | 2019-01-29 | North Inc. | Systems, articles, and methods for electromyography sensors |
US11921471B2 (en) | 2013-08-16 | 2024-03-05 | Meta Platforms Technologies, Llc | Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source |
US20150124566A1 (en) | 2013-10-04 | 2015-05-07 | Thalmic Labs Inc. | Systems, articles and methods for wearable electronic devices employing contact sensors |
US10042422B2 (en) | 2013-11-12 | 2018-08-07 | Thalmic Labs Inc. | Systems, articles, and methods for capacitive electromyography sensors |
US9880632B2 (en) | 2014-06-19 | 2018-01-30 | Thalmic Labs Inc. | Systems, devices, and methods for gesture identification |
CN110300542A (zh) | 2016-07-25 | 2019-10-01 | 开创拉布斯公司 | 使用可穿戴的自动传感器预测肌肉骨骼位置信息的方法和装置 |
US10687759B2 (en) | 2018-05-29 | 2020-06-23 | Facebook Technologies, Llc | Shielding techniques for noise reduction in surface electromyography signal measurement and related systems and methods |
CN110312471B (zh) | 2016-07-25 | 2022-04-29 | 脸谱科技有限责任公司 | 从神经肌肉活动测量中导出控制信号的自适应系统 |
EP3487402B1 (en) | 2016-07-25 | 2021-05-05 | Facebook Technologies, LLC | Methods and apparatus for inferring user intent based on neuromuscular signals |
WO2020112986A1 (en) * | 2018-11-27 | 2020-06-04 | Facebook Technologies, Inc. | Methods and apparatus for autocalibration of a wearable electrode sensor system |
US11331045B1 (en) | 2018-01-25 | 2022-05-17 | Facebook Technologies, Llc | Systems and methods for mitigating neuromuscular signal artifacts |
US11635736B2 (en) | 2017-10-19 | 2023-04-25 | Meta Platforms Technologies, Llc | Systems and methods for identifying biological structures associated with neuromuscular source signals |
US11216069B2 (en) | 2018-05-08 | 2022-01-04 | Facebook Technologies, Llc | Systems and methods for improved speech recognition using neuromuscular information |
EP3487595A4 (en) | 2016-07-25 | 2019-12-25 | CTRL-Labs Corporation | SYSTEM AND METHOD FOR MEASURING MOVEMENTS OF ARTICULATED RIGID BODIES |
US10070799B2 (en) | 2016-12-02 | 2018-09-11 | Pison Technology, Inc. | Detecting and using body tissue electrical signals |
US10309865B2 (en) * | 2017-05-26 | 2019-06-04 | Jason Todd Roth | Integrated building monitoring system |
US10558278B2 (en) | 2017-07-11 | 2020-02-11 | Apple Inc. | Interacting with an electronic device through physical movement |
EP3664758A4 (en) * | 2017-08-07 | 2021-04-14 | The United States of America as Represented By The US Department of Veterans Affairs | WHEELCHAIR SYSTEM WITH MOTION SENSORS AND NERVE STIMULATION |
CA3092689A1 (en) | 2017-10-23 | 2019-05-02 | Patent Holding Company 001, Llc | Communication devices, methods, and systems |
US10937414B2 (en) | 2018-05-08 | 2021-03-02 | Facebook Technologies, Llc | Systems and methods for text input using neuromuscular information |
US20200097081A1 (en) * | 2018-09-20 | 2020-03-26 | Jasmine Stone | Neuromuscular control of an augmented reality system |
EP3742961A4 (en) | 2018-01-25 | 2021-03-31 | Facebook Technologies, Inc. | CALIBRATION TECHNIQUES FOR MODELING A HAND CONDITION USING NEUROMUSCULAR SIGNALS |
US11961494B1 (en) | 2019-03-29 | 2024-04-16 | Meta Platforms Technologies, Llc | Electromagnetic interference reduction in extended reality environments |
US11150730B1 (en) | 2019-04-30 | 2021-10-19 | Facebook Technologies, Llc | Devices, systems, and methods for controlling computing devices via neuromuscular signals of users |
WO2019147949A1 (en) | 2018-01-25 | 2019-08-01 | Ctrl-Labs Corporation | Real-time processing of handstate representation model estimates |
US10817795B2 (en) * | 2018-01-25 | 2020-10-27 | Facebook Technologies, Llc | Handstate reconstruction based on multiple inputs |
US11493993B2 (en) | 2019-09-04 | 2022-11-08 | Meta Platforms Technologies, Llc | Systems, methods, and interfaces for performing inputs based on neuromuscular control |
US10504286B2 (en) | 2018-01-25 | 2019-12-10 | Ctrl-Labs Corporation | Techniques for anonymizing neuromuscular signal data |
US11907423B2 (en) * | 2019-11-25 | 2024-02-20 | Meta Platforms Technologies, Llc | Systems and methods for contextualized interactions with an environment |
WO2019147958A1 (en) | 2018-01-25 | 2019-08-01 | Ctrl-Labs Corporation | User-controlled tuning of handstate representation model parameters |
EP3743892A4 (en) | 2018-01-25 | 2021-03-24 | Facebook Technologies, Inc. | VISUALIZATION OF INFORMATION ON THE STATE OF A RECONSTRUCTED HAND |
US10970936B2 (en) | 2018-10-05 | 2021-04-06 | Facebook Technologies, Llc | Use of neuromuscular signals to provide enhanced interactions with physical objects in an augmented reality environment |
US11481030B2 (en) | 2019-03-29 | 2022-10-25 | Meta Platforms Technologies, Llc | Methods and apparatus for gesture detection and classification |
CN112204501A (zh) * | 2018-02-28 | 2021-01-08 | 陈维达 | 可穿戴式姿势识别装置及相关的操作方法和系统 |
US11237639B2 (en) * | 2018-03-27 | 2022-02-01 | Iowa Adaptive Technologies, Inc. | Method and system for electronic communication by persons with disabilities |
US10420487B1 (en) * | 2018-04-19 | 2019-09-24 | Hwasung | System of monitoring sports activity and accident and method thereof |
EP3567867A1 (en) * | 2018-05-07 | 2019-11-13 | Koninklijke Philips N.V. | Communication device for wirelessly communicating with a sensor |
US10592001B2 (en) | 2018-05-08 | 2020-03-17 | Facebook Technologies, Llc | Systems and methods for improved speech recognition using neuromuscular information |
EP3801743A4 (en) | 2018-05-25 | 2021-08-04 | Facebook Technologies, LLC | PROCESSES AND APPARATUS FOR OBTAINING A SUB-MUSCULAR COMMAND |
EP3807795A4 (en) | 2018-06-14 | 2021-08-11 | Facebook Technologies, LLC. | USER IDENTIFICATION AND AUTHENTICATION BY MEANS OF NEUROMUSCULAR SIGNATURES |
WO2020018892A1 (en) | 2018-07-19 | 2020-01-23 | Ctrl-Labs Corporation | Methods and apparatus for improved signal robustness for a wearable neuromuscular recording device |
US10802598B2 (en) | 2018-08-05 | 2020-10-13 | Pison Technology, Inc. | User interface control of responsive devices |
WO2020033110A1 (en) * | 2018-08-05 | 2020-02-13 | Pison Technology, Inc. | User interface control of responsive devices |
US11099647B2 (en) | 2018-08-05 | 2021-08-24 | Pison Technology, Inc. | User interface control of responsive devices |
WO2020036958A1 (en) | 2018-08-13 | 2020-02-20 | Ctrl-Labs Corporation | Real-time spike detection and identification |
US11273357B2 (en) * | 2018-08-30 | 2022-03-15 | International Business Machines Corporation | Interactive exercise experience |
WO2020047429A1 (en) | 2018-08-31 | 2020-03-05 | Ctrl-Labs Corporation | Camera-guided interpretation of neuromuscular signals |
WO2020061451A1 (en) | 2018-09-20 | 2020-03-26 | Ctrl-Labs Corporation | Neuromuscular text entry, writing and drawing in augmented reality systems |
WO2020069181A1 (en) * | 2018-09-26 | 2020-04-02 | Ctrl-Labs Corporation | Neuromuscular control of physical objects in an environment |
CN111115400B (zh) | 2018-10-30 | 2022-04-26 | 奥的斯电梯公司 | 检测电梯井道中的电梯维护行为的系统和方法 |
EP3843625B1 (en) * | 2018-11-18 | 2022-07-13 | Asociatia Transylvanian Institute of Neuroscience | Method, human machine interface, machine computing unit and computer programs to control at least one actuator to carry out at least one task |
US20200159321A1 (en) | 2018-11-20 | 2020-05-21 | Pison Technology, Inc. | Communication using biopotential sensing and tactile actions |
US11740071B2 (en) | 2018-12-21 | 2023-08-29 | Apple Inc. | Optical interferometry proximity sensor with temperature variation compensation |
KR102403890B1 (ko) * | 2019-01-30 | 2022-05-31 | 유지상 | 어깨 탈골 방지 장치 및 시스템 |
US11642081B2 (en) | 2019-02-01 | 2023-05-09 | X Development Llc | Electrode headset |
WO2020172261A1 (en) * | 2019-02-19 | 2020-08-27 | Coapt Llc | Electromyographic control systems and methods for the coaching of exoprosthetic users |
US10905383B2 (en) * | 2019-02-28 | 2021-02-02 | Facebook Technologies, Llc | Methods and apparatus for unsupervised one-shot machine learning for classification of human gestures and estimation of applied forces |
US11583231B2 (en) | 2019-03-06 | 2023-02-21 | X Development Llc | Adjustable electrode headset |
US11156456B2 (en) * | 2019-05-21 | 2021-10-26 | Apple Inc. | Optical proximity sensor integrated into a camera module for an electronic device |
US11473898B2 (en) | 2019-05-24 | 2022-10-18 | Apple Inc. | Wearable voice-induced vibration or silent gesture sensor |
KR20200139296A (ko) * | 2019-06-03 | 2020-12-14 | 삼성디스플레이 주식회사 | 단말 및 단말 제어 방법 |
CN110292369A (zh) * | 2019-07-03 | 2019-10-01 | 浙江大学 | 基于脉搏波传导时间的胸口无创血压检测探头及其装置 |
JP2022538905A (ja) | 2019-07-03 | 2022-09-06 | ニューラレース メディカル,インコーポレイテッド | 非侵襲的な慢性疾患疼痛治療のための装置、システム、および方法 |
CN110710970B (zh) * | 2019-09-17 | 2021-01-29 | 北京海益同展信息科技有限公司 | 肢体动作的识别方法、装置、计算机设备及存储介质 |
WO2021062016A1 (en) * | 2019-09-26 | 2021-04-01 | The Regents Of The University Of California | Peripheral brain-machine interface system via volitional control of individual motor units |
AU2020366348A1 (en) | 2019-10-15 | 2022-05-12 | Imperative Care, Inc. | Systems and methods for multivariate stroke detection |
US11422623B2 (en) * | 2019-10-23 | 2022-08-23 | Interlake Research, Llc | Wrist worn computing device control systems and methods |
KR102325269B1 (ko) * | 2019-11-13 | 2021-11-12 | 주식회사 지엘 | 깊이 카메라 및 근전도 센서를 이용한 핸드트래킹 시스템 |
US11583218B2 (en) * | 2019-11-20 | 2023-02-21 | Advancer Technologies, Llc | EMG device |
CA3163046A1 (en) * | 2019-12-24 | 2021-07-01 | Jiayuan He | System and method for low latency motion intention detection using surface electromyogram signals |
KR102358184B1 (ko) * | 2019-12-30 | 2022-02-04 | 주식회사 이음기술 | 인체부착용 생체정보 검출기 및 이를 이용한 운동 장치와 방법 |
BR112021010298A2 (pt) * | 2020-01-13 | 2022-07-26 | Angelo Eustaquio Zandona Freitas | Processo e sistema de ativação e monitorização neuromuscular artificial baseado em inteligência artificial |
US20210232224A1 (en) * | 2020-01-28 | 2021-07-29 | Pison Technology, Inc. | Human-machine interface |
US11157086B2 (en) | 2020-01-28 | 2021-10-26 | Pison Technology, Inc. | Determining a geographical location based on human gestures |
US11199908B2 (en) * | 2020-01-28 | 2021-12-14 | Pison Technology, Inc. | Wrist-worn device-based inputs for an operating system |
CN111358476B (zh) * | 2020-05-27 | 2020-08-11 | 成都泰盟软件有限公司 | 一种指力传感器及包含该传感器的肌肉反应监测系统 |
JP2023533517A (ja) * | 2020-06-30 | 2023-08-03 | ユニバーシティ オブ マラヤ | 腰痛リハビリテーションの進行をリアルタイムに監視するシステムおよび方法 |
CN111839847B (zh) * | 2020-07-02 | 2023-09-01 | 京东科技信息技术有限公司 | 肌电假肢控制方法、装置、电子设备和计算机可读介质 |
US11853478B2 (en) | 2020-07-23 | 2023-12-26 | Control Bionics Limited | Multi-modal switching controller for communication and control |
KR102458459B1 (ko) * | 2020-09-11 | 2022-10-26 | 한국기계연구원 | 다채널 신경신호 실시간 디코딩 시스템 및 이를 이용한 다채널 신경신호 실시간 디코딩 방법 |
US11874110B2 (en) | 2020-09-25 | 2024-01-16 | Apple Inc. | Self-mixing interferometry device configured for non-reciprocal sensing |
KR102394769B1 (ko) * | 2020-10-27 | 2022-05-06 | 플레이스비 주식회사 | 햅틱 컨트롤러와 근전도 센서를 이용한 햅틱 피드백 제공 시스템 및 방법 |
US11934583B2 (en) | 2020-10-30 | 2024-03-19 | Datafeel Inc. | Wearable data communication apparatus, kits, methods, and systems |
CN112932468A (zh) * | 2021-01-26 | 2021-06-11 | 京东方科技集团股份有限公司 | 一种肌肉运动能力的监测系统以及监测方法 |
IT202100006551A1 (it) * | 2021-03-18 | 2021-06-18 | Datasound Srl | Sistema adattivo per la riabilitazione degli arti |
US11868531B1 (en) * | 2021-04-08 | 2024-01-09 | Meta Platforms Technologies, Llc | Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof |
CN113080944B (zh) * | 2021-04-14 | 2023-11-24 | 北京积水潭医院 | 一种生物电信号和脊柱活动度检测方法、装置和系统 |
US11775066B2 (en) * | 2021-04-22 | 2023-10-03 | Coapt Llc | Biometric enabled virtual reality systems and methods for detecting user intentions and manipulating virtual avatar control based on user intentions for providing kinematic awareness in holographic space, two-dimensional (2D), or three-dimensional (3D) virtual space |
WO2022232341A1 (en) * | 2021-04-30 | 2022-11-03 | Delsys Incorporated | Detecting and processing biopotentials |
US20220374085A1 (en) * | 2021-05-19 | 2022-11-24 | Apple Inc. | Navigating user interfaces using hand gestures |
WO2023027880A1 (en) * | 2021-08-25 | 2023-03-02 | Battelle Memorial Institute | Neuromuscular electrical stimulation controlled by computer vision |
US20230076068A1 (en) * | 2021-09-03 | 2023-03-09 | Meta Platforms Technologies, Llc | Systems for interpreting a digit-to-digit gesture by a user differently based on roll values of a wrist-wearable device worn by the user, and methods of use thereof |
SE2151399A1 (en) * | 2021-11-17 | 2023-05-18 | Idestam Almquist Peter | A communications system and a method for communicating information |
CN115034273B (zh) * | 2021-12-27 | 2023-09-01 | 驻马店市中心医院 | 一种基于模式识别的肌电生物反馈设备及系统 |
WO2023133139A1 (en) * | 2022-01-04 | 2023-07-13 | Meta Platforms Technologies, Llc | Adjusting an operational characteristic of one or more neuromuscular-signal sensors to maintain desired impedances, and systems, wearable devices, and methods of use thereof |
WO2023230354A1 (en) * | 2022-05-27 | 2023-11-30 | Meta Platforms Technologies, Llc | Systems for interpreting thumb movements of in-air hand gestures for controlling user interfaces based on spatial orientations of a user's hand, and method of use thereof |
US11809629B1 (en) * | 2022-06-10 | 2023-11-07 | Afference Inc. | Wearable electronic device for inducing transient sensory events as user feedback |
US20240061514A1 (en) * | 2022-08-18 | 2024-02-22 | Meta Platforms Technologies, Llc | Navigating a user interface using in-air gestures detected via neuromuscular-signal sensors of a wearable device, and systems and methods of use thereof |
WO2024073494A1 (en) * | 2022-09-28 | 2024-04-04 | Impulse Wellness Llc | Wearable biosignal device and system for individualized therapeutic feedback |
Family Cites Families (55)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5217014A (en) | 1991-11-04 | 1993-06-08 | Biofield Corp. | Depolarized pre-gelled electrodes |
US5660177A (en) | 1991-11-04 | 1997-08-26 | Biofield Corp. | D.C. biopotential sensing electrode assemblies for apparatus for disease, injury and bodily condition screening or sensing |
US5287859A (en) | 1992-09-25 | 1994-02-22 | New York University | Electroencephalograph instrument for mass screening |
US5823957A (en) | 1994-10-17 | 1998-10-20 | Biofield Corp | D.C. biopotential sensing electrode and electroconductive medium for use therein |
US6244873B1 (en) * | 1998-10-16 | 2001-06-12 | At&T Corp. | Wireless myoelectric control apparatus and methods |
WO2001013778A2 (en) * | 1999-08-20 | 2001-03-01 | Riso Ronald R | Emg control of prosthesis |
US6470893B1 (en) | 2000-05-15 | 2002-10-29 | Peter V. Boesen | Wireless biopotential sensing device and method with capability of short-range radio frequency transmission and reception |
US6720984B1 (en) | 2000-06-13 | 2004-04-13 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Characterization of bioelectric potentials |
EP1408443B1 (en) | 2002-10-07 | 2006-10-18 | Sony France S.A. | Method and apparatus for analysing gestures produced by a human, e.g. for commanding apparatus by gesture recognition |
US7206625B2 (en) | 2003-10-23 | 2007-04-17 | Vivosonic Inc. | Method and apparatus for the collection of physiological electrical potentials |
US20050215916A1 (en) | 2004-03-29 | 2005-09-29 | Fadem Kalford C | Active, multiplexed digital electrodes for EEG, ECG and EMG applications |
KR100680023B1 (ko) * | 2004-12-06 | 2007-02-07 | 한국전자통신연구원 | 생체신호를 이용한 착용형 휴대폰 입력 장치 및 그 제어방법 |
US8280503B2 (en) * | 2008-10-27 | 2012-10-02 | Michael Linderman | EMG measured during controlled hand movement for biometric analysis, medical diagnosis and related analysis |
US8444559B2 (en) | 2007-05-04 | 2013-05-21 | Reproductive Research Technologies, Lp | Skin impedance matching system and method for skin/electrode interface |
AU2008329623B2 (en) | 2007-11-28 | 2014-09-25 | The Regents Of The University Of California | Non-contact biopotential sensor |
US20100069780A1 (en) | 2008-03-19 | 2010-03-18 | Ocz Technology Group, Inc. | Method and apparatus for using biopotentials for simultaneous multiple control functions in computer systems |
US8170656B2 (en) | 2008-06-26 | 2012-05-01 | Microsoft Corporation | Wearable electromyography-based controllers for human-computer interface |
US9037530B2 (en) * | 2008-06-26 | 2015-05-19 | Microsoft Technology Licensing, Llc | Wearable electromyography-based human-computer interface |
US8447704B2 (en) | 2008-06-26 | 2013-05-21 | Microsoft Corporation | Recognizing gestures from forearm EMG signals |
JP5472680B2 (ja) * | 2009-04-09 | 2014-04-16 | 国立大学法人 筑波大学 | 装着式動作補助装置 |
US8386026B2 (en) * | 2010-04-12 | 2013-02-26 | Reproductive Research Technologies, L.P. | System and method for acquiring and displaying abdominal EMG signals |
WO2011140518A1 (en) | 2010-05-06 | 2011-11-10 | West Wireless Health Institute | Multipurpose, modular platform for mobile medical instrumentation |
US20110282231A1 (en) | 2010-05-12 | 2011-11-17 | Neurofocus, Inc. | Mechanisms for collecting electroencephalography data |
KR101890717B1 (ko) | 2010-07-20 | 2018-08-23 | 삼성전자주식회사 | 생체 정보를 활용한 가상 세계 조작 장치 및 방법 |
CN101963866B (zh) * | 2010-10-25 | 2012-12-19 | 鸿富锦精密工业(深圳)有限公司 | 具有触摸屏的电子装置及腕戴式电子装置 |
KR101294434B1 (ko) | 2011-07-28 | 2013-08-07 | 엘지이노텍 주식회사 | 임피던스 정합장치 및 임피던스 정합방법 |
JP6215215B2 (ja) | 2011-10-19 | 2017-10-18 | コグニオニクス インコーポレイテッドCognionics,Inc. | 乾式電極による生体電位検出のための装置、システムおよび方法 |
US9184722B2 (en) | 2012-02-10 | 2015-11-10 | Infineon Technologies Ag | Adjustable impedance matching network |
US9170674B2 (en) | 2012-04-09 | 2015-10-27 | Qualcomm Incorporated | Gesture-based device control using pressure-sensitive sensors |
US9278453B2 (en) | 2012-05-25 | 2016-03-08 | California Institute Of Technology | Biosleeve human-machine interface |
US9351653B1 (en) | 2012-11-29 | 2016-05-31 | Intan Technologies, LLC | Multi-channel reconfigurable systems and methods for sensing biopotential signals |
US9092664B2 (en) | 2013-01-14 | 2015-07-28 | Qualcomm Incorporated | Use of EMG for subtle gesture recognition on surfaces |
US10528135B2 (en) | 2013-01-14 | 2020-01-07 | Ctrl-Labs Corporation | Wearable muscle interface systems, devices and methods that interact with content displayed on an electronic display |
AU2014207265B2 (en) * | 2013-01-21 | 2017-04-20 | Cala Health, Inc. | Devices and methods for controlling tremor |
US9223459B2 (en) * | 2013-01-25 | 2015-12-29 | University Of Washington Through Its Center For Commercialization | Using neural signals to drive touch screen devices |
US9299248B2 (en) * | 2013-02-22 | 2016-03-29 | Thalmic Labs Inc. | Method and apparatus for analyzing capacitive EMG and IMU sensor signals for gesture control |
US20140249397A1 (en) | 2013-03-01 | 2014-09-04 | Thalmic Labs Inc. | Differential non-contact biopotential sensor |
KR102059346B1 (ko) | 2013-03-05 | 2020-02-11 | 삼성전자주식회사 | 근전도 센서 시스템 및 근전도 센서 시스템의 동작 방법 |
US9808170B2 (en) | 2013-03-15 | 2017-11-07 | Welch Allyn, Inc. | Electrode with charge-operated indicator |
US9071209B1 (en) | 2013-07-26 | 2015-06-30 | Intan Technologies, LLC | Systems and methods for a current sensing patch-clamp amplifier |
US9372535B2 (en) | 2013-09-06 | 2016-06-21 | Thalmic Labs Inc. | Systems, articles, and methods for electromyography-based human-electronics interfaces |
US9483123B2 (en) * | 2013-09-23 | 2016-11-01 | Thalmic Labs Inc. | Systems, articles, and methods for gesture identification in wearable electromyography devices |
US9545221B2 (en) | 2013-11-27 | 2017-01-17 | Samsung Electronics Co., Ltd. | Electronic system with dynamic localization mechanism and method of operation thereof |
US10585484B2 (en) | 2013-12-30 | 2020-03-10 | Samsung Electronics Co., Ltd. | Apparatus, system, and method for transferring data from a terminal to an electromyography (EMG) device |
KR20150077684A (ko) * | 2013-12-30 | 2015-07-08 | 삼성전자주식회사 | 생체 신호 기반 기능 운용 방법 및 이를 지원하는 전자 장치 |
CN106102504A (zh) * | 2014-02-14 | 2016-11-09 | 赛尔米克实验室公司 | 用于弹性电力缆线的系统、制品和方法以及采用弹性电力缆线的可佩戴电子装置 |
US9330666B2 (en) | 2014-03-21 | 2016-05-03 | Google Technology Holdings LLC | Gesture-based messaging method, system, and device |
KR101534282B1 (ko) | 2014-05-07 | 2015-07-03 | 삼성전자주식회사 | 포터블 디바이스의 사용자 입력 방법 및 상기 사용자 입력 방법이 수행되는 포터블 디바이스 |
KR102343657B1 (ko) | 2014-08-28 | 2021-12-24 | 삼성전자주식회사 | 손목 근육들의 움직임들에 상응하는 사용자 입력을 처리할 수 있는 애플리케이션 프로세서와 이를 포함하는 장치들 |
US9720515B2 (en) * | 2015-01-02 | 2017-08-01 | Wearable Devices Ltd. | Method and apparatus for a gesture controlled interface for wearable devices |
US9946395B2 (en) | 2015-02-16 | 2018-04-17 | Samsung Electronics Co., Ltd. | User interface method and apparatus |
US10516993B2 (en) | 2015-04-01 | 2019-12-24 | Samsung Electronics Co., Ltd | Method and apparatus for establishing wireless communications connection |
KR101674997B1 (ko) * | 2015-04-24 | 2016-11-10 | 전남대학교산학협력단 | 웨어러블 생체신호측정 기기, 서버, 시스템 및 방법 |
US10763953B2 (en) * | 2015-11-11 | 2020-09-01 | Schlumberger Technology Corporation | Aerial-based communication system |
US10070799B2 (en) | 2016-12-02 | 2018-09-11 | Pison Technology, Inc. | Detecting and using body tissue electrical signals |
-
2017
- 2017-11-29 US US15/826,131 patent/US10070799B2/en active Active
- 2017-11-29 EP EP17875196.2A patent/EP3548994B1/en active Active
- 2017-11-29 KR KR1020197031346A patent/KR102302640B1/ko active IP Right Grant
- 2017-11-29 WO PCT/US2017/063738 patent/WO2018102429A2/en unknown
- 2017-11-29 CN CN201780060545.3A patent/CN109804331B/zh active Active
- 2017-11-29 KR KR1020197004562A patent/KR102038120B1/ko active IP Right Grant
-
2018
- 2018-08-17 US US16/104,273 patent/US11484242B2/en active Active
-
2022
- 2022-10-31 US US18/051,423 patent/US20230088533A1/en active Pending
Non-Patent Citations (1)
Title |
---|
《管道泄漏信号和干扰信号的数字化判别方法》;林伟国等;《石油学报》;20141130;第35卷(第6期);第1197-1203页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109804331A (zh) | 2019-05-24 |
KR102038120B1 (ko) | 2019-10-30 |
EP3548994A2 (en) | 2019-10-09 |
US11484242B2 (en) | 2022-11-01 |
WO2018102429A2 (en) | 2018-06-07 |
WO2018102429A3 (en) | 2018-09-07 |
US20230088533A1 (en) | 2023-03-23 |
US20180153430A1 (en) | 2018-06-07 |
KR102302640B1 (ko) | 2021-09-15 |
KR20190041467A (ko) | 2019-04-22 |
EP3548994B1 (en) | 2021-08-11 |
KR20190122904A (ko) | 2019-10-30 |
US20190082996A1 (en) | 2019-03-21 |
US10070799B2 (en) | 2018-09-11 |
EP3548994A4 (en) | 2020-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109804331B (zh) | 检测和使用身体组织电信号 | |
US11406329B2 (en) | System and method to detect changes in health parameters and activate lifesaving measures | |
Jiang et al. | Emerging wearable interfaces and algorithms for hand gesture recognition: A survey | |
Saponas et al. | Demonstrating the feasibility of using forearm electromyography for muscle-computer interfaces | |
US20150359467A1 (en) | Fitness Monitoring | |
Esposito et al. | Biosignal-based human–machine interfaces for assistance and rehabilitation: A survey | |
US10264971B1 (en) | System and methods for integrating feedback from multiple wearable sensors | |
Fotiadis et al. | Wearable medical devices | |
Glaros et al. | Wearable devices in healthcare | |
US11699524B2 (en) | System for continuous detection and monitoring of symptoms of Parkinson's disease | |
Uniyal et al. | Pervasive healthcare-a comprehensive survey of tools and techniques | |
US20240082098A1 (en) | Stroke rehabilitation therapy predictive analysis | |
Janeera et al. | A brain computer interface based patient observation and indoor locating system with capsule network algorithm | |
Said et al. | Wearable technologies in biomedical and biometric applications | |
Izdrui et al. | Smart sensing systems for in-home health status and emotional well-being monitoring during COVID-19 | |
Vasilakos et al. | Guest editorial special section on affective and pervasive computing for healthcare | |
WO2022126024A1 (en) | Foldable sensor-based devices | |
Chowdary et al. | Implantable electronics: Integration of bio-interfaces, devices and sensors | |
Scherer et al. | Non-manual Control Devices: Direct Brain-Computer Interaction | |
Adeluyi et al. | Medical virtual instrumentation for ambient assisted living: part 1 concepts | |
Тятюшкина et al. | «Brain–Computer» interface (BCI). Pt I: Classical technology | |
Akumalla | Evaluating appropriateness of emg and flex sensors for classifying hand gestures | |
Lee et al. | Biosignal-integrated robotic systems with emerging trends in visual interfaces: A systematic review | |
Salvaro | A fully-wearable non-invasive SSVEP-based BCI system enabled by AR techniques for daily use in real environment. | |
Chowdary et al. | 3 Implantable Electronics |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40007325 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |