CN115516873A - 个人头部可穿戴设备的姿势检测系统 - Google Patents
个人头部可穿戴设备的姿势检测系统 Download PDFInfo
- Publication number
- CN115516873A CN115516873A CN202180032391.3A CN202180032391A CN115516873A CN 115516873 A CN115516873 A CN 115516873A CN 202180032391 A CN202180032391 A CN 202180032391A CN 115516873 A CN115516873 A CN 115516873A
- Authority
- CN
- China
- Prior art keywords
- electrode
- signal
- gesture
- earpiece
- signals
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1041—Mechanical or electronic switches, or control elements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/25—Bioelectric electrodes therefor
- A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
- A61B5/296—Bioelectric electrodes therefor specially adapted for particular uses for electromyography [EMG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6813—Specially adapted to be attached to a specific body part
- A61B5/6814—Head
- A61B5/6815—Ear
- A61B5/6817—Ear canal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/033—Headphones for stereophonic communication
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Otolaryngology (AREA)
- Neurosurgery (AREA)
- Acoustics & Sound (AREA)
- Neurology (AREA)
- Dermatology (AREA)
- Artificial Intelligence (AREA)
- Psychiatry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- User Interface Of Digital Computer (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本文公开了与姿势检测领域相关的方法和系统。一种用于个人头部可穿戴设备的系统,包括第一电极和第二电极。所述第一电极和所述第二电极测量生物电信号。所述系统还包括一个或多个存储指令的非暂时性计算机可读介质,当所述指令被所述系统执行时,会导致所述系统使用所述姿势信号的存储的特征模型来分析所述生物电信号,以识别所述生物电信号中的所述姿势信号,和在识别所述生物电信号中的所述姿势信号时生成界面信号。所述姿势信号是双下颚紧咬信号、三下颚紧握信号和长下颚紧抓信号中的一个。
Description
相关申请的交叉引用
该申请要求2020年5月19日提交的法国专利申请No.2005020的利益,该法国专利申请通过引用全部纳入本文。
背景技术
可穿戴设备是配置为佩戴在用户身上并执行各种功能的电子设备。可穿戴设备可以配置为使用电极检测用户大脑中的电活动。这些电极可以捕捉不同类型的电信号,例如脑电图(EEG或脑信号)、心电图(ECG)、肌电图(EMG或肌肉信号)和眼电图(EOG或眼动信号)。
虽然电极可以提供与EEG、ECG、EOG和EMG读数相关的生物电信号模式的可靠测量,但这些信号很难用作控制信号。例如,配置为捕捉肌肉运动的可穿戴设备神经接口可能会将用户在运动时的自发肌肉运动(控制信号)与无意或非自愿肌肉运动(错误信号或噪音)混淆。这限制了神经接口在用户静止的情况下的实际应用,这是有限的实际效用。
发明内容
本文公开了与姿势检测领域相关的方法和系统。该系统和方法可以用于个人可穿戴设备,例如个人头部可穿戴设备。例如,头部可穿戴设备包括智能眼镜、耳机(一般是对讲机耳机、头戴式耳机(headset)或耳塞(earbuds)、无线耳塞、VR/AR耳机、耳机(earphones)、耳塞(earplugs))等。可穿戴设备可配置为使用连接到可穿戴设备的电极检测用户大脑中的电活动,并配置为在可穿戴设备被穿戴时与用户头部的一部分接触。例如,放置在耳塞、听筒中或耳朵(尤其是耳道或耳甲)附近的电极(也称为耳内电极),可以提供非凡的接触。这些电极可以安装在音频耳塞设备或耳机中,以捕捉不同类型的电信号,如上述EEG、ECG、EMG和EOG信号。
本文所公开的系统可以涉及使用头戴式可穿戴设备的神经接口来执行各种免提控制功能。例如,可以对系统进行训练,并通过神经接口捕获清晰的控制信号。神经接口可配置为控制个人可穿戴设备的操作和/或通过那些控制信号控制与个人可穿戴设备相关联的另一个设备。
为了提供独立于用户运动的清晰控制信号,与面部肌肉运动相关的生物电信号,例如下颚运动,可以用作控制信号。然而,用户在说话、吃东西、喝东西或咀嚼时可能会不自觉地触发控制信号。本文公开的本发明的具体实施例旨在为可穿戴设备提供神经接口,该接口可以在所有可能的情况下提供清晰的信号,以控制可穿戴设备或其他设备。就这一点而言,神经接口可以配置为激活,以响应对涉及自愿肌肉收缩的下颚姿势的检测(例如,由下颚控制的姿势),包括佩戴者的双下颚紧咬(double jaw clenching)、三下颚紧咬(triple jaw clenching)或长下颚紧咬(long jaw clenching),因为这些下颚姿势与单颚紧咬和上面列出的其他典型下颚运动相比,具有非常独特的特征。
在本发明的具体实施例中,提供了一种用于个人头部可穿戴设备的姿势检测系统。所述系统包括第一电极和第二电极,其中,所述第一电极和所述第二电极测量生物电信号。所述系统还包括一个或多个存储指令的计算机可读介质,当所述指令被所述系统执行时,会导致所述系统分析所述生物电信号以使用所述姿势信号的存储的特征模型(signature model)识别所述生物电信号中的所述姿势信号,和在识别所述生物电信号中的所述姿势信号时生成界面信号。所述姿势信号是双下颚紧咬信号、三下颚紧握信号和长下颚紧抓信号中的一个。
在本发明的具体实施例中,提供了一种可穿戴姿势识别系统。所述系统包括第一听筒和第二听筒。所述系统还包括第一电极和第二电极,其中所述第一电极和所述第二电极位于所述第一听筒的外表面上,并且其中,所述第一电极和所述第二电极测量生物电信号。所述系统还包括第三电极和第四电极,其中所述第三电极和所述第四电极位于所述第二听筒的外表面上,并且其中,所述第三电极和所述第四电极测量所述生物电信号。所述系统还包括一个或多个存储指令的计算机可读介质,当所述指令被所述系统执行时,会导致所述系统分析所述生物电信号以识别所述生物电信号中的所述姿势信号,和识别所述生物电信号中的所述姿势信号后生成界面信号。对所述生物电信号中的所述姿势信号的所述识别使用由所述第一电极和所述第二电极测量的数据以及由所述第三电极和所述第四电极测量的数据的组合。
在本发明的具体实施例中,提供了一种姿势识别系统。所述系统包括第一电极和第二电极,其中,所述第一电极和所述第二电极测量生物电信号。所述系统还包括用户界面输出端(user interface output)和一个或多个存储指令的计算机可读介质,当所述指令被所述系统执行时,会导致系统生成提示以执行与所述姿势信号相关联的姿势,分析所述生物电信号以使用所述姿势信号的存储的特征在所述生物电信号中找到所述姿势信号,在识别所述生物电信号中的所述姿势信号时生成界面信号和使用所述姿势信号更新所述存储的特征,以生成修改后的存储的特征。所述界面信号输出在所述用户界面输出端上。所述存储的特征是与所述姿势关联的默认特征。
在本发明的具体实施例中,提供了一种用于个人头部可穿戴设备的姿势检测方法。所述方法包括使用第一电极和第二电极测量生物电信号,其中所述第一电极和所述第一电极位于所述个人头部可穿戴设备上。所述方法还包括分析所述生物电信号,以使用所述姿势信号的存储的特征模型识别所述生物电信号中的所述姿势信号。所述方法还包括在识别所述生物电信号中的所述姿势信号时生成界面信号。所述姿势信号是双下颚紧咬信号、三下颚紧握信号和长下颚紧抓信号中的一个。
附图说明
图1包括根据本文所公开的本发明具体实施例,姿势检测系统的示例和一组方法的流程图。
图2包括人体咬肌和耳廓的示意图。
图3包括根据本文所公开的本发明的具体实施例,在系统的训练过程中在显示器上提供的屏幕的示例。
图4包括根据本文公开的本发明的具体实施例,交叉耳配置和单耳配置的示例。
图5包括根据本文公开的本发明的具体实施例,由电极和滑动窗口测量的双下颚紧咬信号的示例。
图6包括根据本文公开的本发明的具体实施例,由电极在不同时间和持续时间测量的信号的示例。
图7包括根据本文公开的本发明的具体实施例,包含在不同位置的电极的听筒的示例。
图8包括根据本文公开的本发明的具体实施例,连接器配置的示例。
具体实施方式
本文详细披露了根据上述发明内容的与姿势检测领域相关的方法和系统。本部分中公开的方法和系统是本发明的非限制性实施例,仅用于解释目的,并且不应用于限制本发明的全部范围。
本发明的具体实施例涉及一种姿势检测系统和方法。该系统可以包括可穿戴设备(如头戴式可穿戴设备)的神经接口(也称为脑机接口或BCI),以执行各种免提控制功能。特别地,该技术涉及通过神经接口捕获清晰的控制信号。神经接口可以配置为控制可穿戴设备的操作和/或控制其他设备,例如控制带耳塞的智能手机。
根据本发明的具体实施例的系统可以包括一个或多个存储指令的计算机可读介质,当指令被系统执行时,会导致系统执行某些动作或执行方法步骤。计算机可读介质可以是非暂时性的。计算机可读介质可以是系统内部的,也可以是系统外部的。在本公开中,动作和/或方法步骤被描述为系统“配置为”执行的动作/步骤,从某种意义上说,系统的结构配置为执行这些动作/步骤(例如,系统的处理块可以执行指令,以使系统以某种方式运行,执行某些动作,和/或提供某些输出)。
图1包括根据本文公开的本发明的具体实施例,姿势检测系统100的示例和一组方法的流程图150。姿势检测系统可以用于可穿戴设备,例如个人可穿戴设备。本公开中使用的个人可穿戴设备是执行多媒体活动的电子设备。本文公开的本发明的具体实施例涉及耳机形式的可穿戴设备,例如耳塞。然而,本发明的系统可用于任何类型的设备,包括任何类型的可穿戴设备,如头带、腕带、智能手表、智能戒指、皮带等。
根据本发明的具体实施例的系统可以包括电极,例如电极102和103。电极可以放置在与用户皮肤接触的位置,例如当用户佩戴包含电极的个人头部可穿戴设备时。电极可以测量生物电信号,如流程图150的步骤151所示。如本文所用的生物电信号是由用户(例如,穿着带有本文所述电极的可穿戴设备的用户)的神经系统驱动或大脑内部操作产生的物理可检测信号。该术语也用于指由姿势检测系统进行电采样、测量和分析的相同信号。生物电信号可以沿着信号处理路径一路传输,从佩戴者大脑发出的模拟电信号到数字化并存储在计算机可读介质中,以及附加处理,例如应用数字滤波和其他数字化后处理。该术语可指连续现象或其离散采样,相关定义从周围环境中显而易见。
肌肉收缩可以由大脑触发,大脑将电信号沿着运动神经元传递给肌肉。当肌肉纤维接收到沿运动神经元传递的触发信号并收缩时,它们也会产生电活动。来自收缩的肌肉和运动神经元的电活动触发周围带电粒子(离子)的位移,这些带电粒子的位移也会产生周围离子的位移,从而产生级联效应(cascading effect)。这种机制允许肌肉收缩和运动神经元产生的电活动通过在充满对象身体的液体中传输,一直到皮肤。
由导电材料(例如金属)组成的电极可以与皮肤接触,并捕捉皮肤表面的电位变化。这些电极可以称为表面电极。这种技术称为EMG。这种记录技术可以使用至少两个不同的电极(至少一个“测量”电极和至少一个“参考”电极)。可以在皮肤上的不同位置设置多个测量电极。
图2包括人体咬肌201的示意图200。咬肌收缩(或“下颚紧咬”,如本文所用)是对象的自愿行为。就本发明而言,可以认为对象的嘴是闭合的,上下牙齿相互接触,然后对象会收缩咬肌。由于对象的下颚已经“闭合”,上下牙齿已经接触,因此除了收缩时咬肌的形状、大小和硬度的变化外,下颚本身没有明显的运动。
在本发明的具体实施例中,咬肌的肌肉活动可以通过个人头部可穿戴设备中的神经接口测量和使用,以执行某些功能。如本发明之前所述,可以使用EMG系统记录该肌肉活动。在本发明的具体实施例中,至少一个电极,例如电极102和103,可以放置在对象的耳朵内或附近,因此可以放置在目标电信号来源区域的附近,这可以最大限度地提高信号强度,因为信号强度可以随着与信号源的距离而减小。
图2还包括人体耳廓解剖250的示意图。为了测量生物电信号,电极可以放置在耳朵内或附近的任何位置,并与对象的皮肤接触。例如,耳道251、下鼻甲(inferior concha)252、上鼻甲(superior concha)253、耳垂254、耳屏255等,或耳朵周围260。电极可以位于可穿戴设备(如耳塞)的表面,以便对象佩戴该设备时,电极与皮肤接触。
参考回图1,系统100可以包括处理块,例如处理块104。处理块可以访问位于处理块104内部或外部的存储器105。存储器可以存储用于处理单元执行的指令,例如用于执行方法步骤的指令,如分析信号的步骤152和生成界面信号的步骤153,如本发明中将更详细地描述的。处理块可以包括任何类型的处理单元,例如微控制器、微处理器、ASIC、FPGA等。处理块可以实现为CPU、GPU、TPU、FPU等,并使用任何内存组件,如闪存、RAM、SRAM、ROM等。处理块可以由一个或多个并行操作的处理器实现。
电极可以使用电线或任何类型的电气连接系统连接到图中未表示的其他硬件单元,例如硬件模拟前端(AFE)。AFE可以嵌入电极工作的设备内,也可以嵌入设备外部(例如外部电路板)。AFE可以包含模拟差分放大器、模拟滤波器、模拟放大器,用于向系统和/或其他硬件模块添加增益,以进一步处理电极测量的信号。在只有一个测量电极和一个参考电极的情况下,AFE的输入是测量电极和参考电极之间的差分信号。在有多个测量电极的情况下,AFE可以有多个“通道”,每个通道由一个测量电极和参考电极之间的差分信号组成。
除了上述“测量”和“参考”电极外,该系统还可以包括其他电极。例如,系统可以包括一个“偏置”或“驱动右腿”电极,用于取消通过不同通道测量的共模。该系统还可以包括一个“接地”电极,用于在电子设备和主体之间建立公共接地。
该系统可以包括一个模数转换器(ADC)。AFE可以放大为每个通道记录的电信号,以最大化电信号的电压范围,例如在ADC输入端允许的最大电压的限制下。例如,如果ADC允许0V和2V之间的输入信号,并且在AFE输入端记录的信号介于-0.1mV和0.1mV之间,则理想的AFE将应用10 000的增益和1V直流分量。
ADC可以在给定采样频率下对信号进行离散化。例如,采样频率为250Hz时,信号的离散值每4ms测量一次。ADC还可以根据ADC的分辨率对信号进行数字化。例如,如果ADC的输入范围为2V,分辨率为10位,则可以将每个电压测量值四舍五入为1.953mV(2V/210=1.953mV)的最接近倍数。
然后,离散化和数字化信号可以传输到系统的处理块,例如图1的处理块104。处理块可以执行某些操作,例如信号处理操作、预测操作、数据传输操作等,如将在本公开中更详细地描述的。处理块可以执行本文描述的某些操作,例如通过执行存储在存储器中的指令。
处理块可以执行信号处理操作,例如,包括滤波(高通、低通、带通、陷波或它们的任何组合)、切片、填充、使用先进技术(例如ICA、黎曼几何)清除伪迹、通道重组、通道重新参照等。
处理块可以执行预测操作,例如包括分类标签以识别某些肌肉收缩、识别异常信号等。它可以基于基于规则的模型或预先训练的监督机器学习模型(如神经网络、支持矢量分类器、逻辑回归、决策树、任何集合方法或线性分类器等)、基于无监督方法的聚类(如混合模型、k均值和变量等)、回归(如线性回归、贝叶斯模型等),强化学习(如Q学习、蒙特卡罗方法)等。
处理块还可以执行数据传输操作,包括例如向电子设备传输记录的数据和/或输出任何信号处理和/或预测。电子设备可以是个人用户设备,例如图1中的个人用户设备120,例如智能手机或个人计算机。电子设备也可以是远程服务器,系统与其通信以执行某些操作,例如进一步处理。系统可以通过无线方式(例如蓝牙、WiFi等)或有线连接与电子设备通信。然后可以在与系统相关联的电子设备上执行附加处理和显示。
在本发明的具体实施例中,如步骤152所示,系统配置为分析由电极测量的生物电信号。可以分析生物电信号,以便识别生物电信号中的姿势信号。姿势信号可以是佩戴者执行的姿势的信号代表,包含在由电极测量的生物电信号中。姿势信号可以是与涉及咬肌收缩的姿势相关联的信号,例如上述涉及下颚紧咬的姿势。
在本发明的具体实施例中,系统可以从电极测量的生物电信号识别特定姿势的特定姿势信号。一种姿势可以是“双下颚紧咬”,即对象将下颚紧咬两次。每次紧咬之间可能存在延迟,可以是预定延迟,也可以是受阈值限制的延迟。例如,可以将延迟设置为小于1s,并且可以根据需要进行优化,例如设置为0.8s。另一个姿势可以是“三下颚紧咬”,即对象紧咬下颚三次。每次紧咬之间可能存在延迟,可以是预定延迟,也可以是受阈值限制的延迟。例如,可以将延迟设置为小于1s,并且可以根据需要进行优化,例如设置为0.8s。另一种姿势可以是“长下颚紧咬”,对象紧咬下颚,保持咬肌收缩一段时间,这段时间可以是预定的时间,例如至少1s。因此,在本发明的具体实施例中,生物电信号中要识别的姿势信号可以是双下颚紧咬信号、三下颚紧抓信号和长下颚紧握信号中的一个。
选择上述姿势而不是“单颚紧咬”(例如,对象紧咬下巴一次)的原因是,这些姿势可以产生一种姿势信号,其特征更容易从对象执行的常见姿势中识别出来(例如,咀嚼、吞咽、说话等)。
在本发明的具体实施例中,系统配置为在识别生物电信号中的姿势信号时生成界面信号,如流程图150的步骤153所示。界面信号可以是反馈信号,用于通知用户姿势已被识别,可以是可穿戴设备或相关设备的控制信号,也可以是训练信号,用于训练姿势识别系统的姿势识别模型。
界面信号可以是为用户识别姿势信号的反馈信号。反馈可以是听觉、视觉或触觉反馈,例如哔哔声或可听到的信息、显示器上的信息、振动等。用户界面输出端可以位于个人头部可穿戴设备本身。例如,用户界面输出端可以是设备100的扬声器106。替代地或组合地,用户界面输出端可以是可控震源,也可以是可穿戴设备上的显示器。替代地或组合地,用户界面输出端可以位于与个人头部可穿戴设备一起操作的设备上,例如个人用户设备120。例如,界面信号可以是显示器128上显示的姿势信号的代表,也可以是通过扬声器126的听觉消息。
界面信号不仅可以是姿势已被识别的明确反馈,还可以是系统和/或与系统相关的其他设备的控制信号。例如,根据从姿势信号中识别出的用户所执行的姿势,控制信号可用于执行某些动作或触发与系统相关的设备的某些事件。这样,界面信号可用于控制播放/暂停功能、开始/结束呼叫功能等。因此,根据本发明的具体实施例的系统可用于控制设备,包括免提控制。
然后,可以通过执行姿势和识别生物电信号中的姿势信号来控制电子设备,例如图1中的个人用户设备120。使用本文描述的系统可以执行多种控制功能,例如播放/暂停音乐,例如使用真正的无线(True Wireless)耳机、对讲机上的打开/关闭按键通话通信、使用VR耳机抓取物体、触发睡眠耳塞(sleep buds)上的噪声消除、触发助听器上的ASSR测试等。
生物电信号中的姿势信号可以使用姿势信号的存储的特征模型进行识别。在本发明的具体实施例中,存储的特征模型可以是与姿势相关联的默认特征模型。可以根据姿势特有的时域和/或频域中的独特生物电信号模式配置默认特征模型。有利的是,默认特征模型基于人与人之间相似的生物电信号模式。默认特征模型可以预先存储在系统内或处理系统数据的外部设备(如服务器)中。默认特征模型可以是神经网络,它使用来自多个姿势信号的数据进行训练,以便可以预测用户执行的姿势。默认特征模型可以是分类器,其中存储了姿势信号的特征,例如作为神经网络的权重或函数中的变量嵌入。
默认特征模型可以通过训练过程、自适应学习过程、域转移或其他参数化或非参数化方法进行校准。在训练过程中,用户可以与系统交互并提供数据,以便系统可以从特定用户那里“学习”并相应地改进默认模型。通过这种方式,可以根据各个用户调整默认特征模型,因为用户可以更新其存储的特征模型,下面将详细介绍。
在本发明的具体实施例中,系统配置为生成提示以执行与姿势信号相关联的姿势,并使用姿势信号更新存储的特征模型以生成修正的存储的特征模型。修正的存储的特征模型是已使用用户执行的训练过程中的数据进行了校准的存储的特征模型。
训练过程可以在首次使用系统时执行,以便系统能够正确“学习”姿势,例如首次使用可穿戴设备时。如果用户希望调整模型,则可以额外执行训练过程(例如,如果用户意识到以某种方式执行姿势不会触发期望的结果)。通过这种方式,可以对系统进行校准,以提高姿势检测算法的性能,并改善执行姿势时的用户体验。
训练模块可以为用户提供程序,以学习执行清晰的肌肉下颚运动,从而激活神经接口。可以配置训练模块,以便提示用户执行特定的下颚姿势。用户可以尝试执行下颚姿势,当神经接口检测到特定的下颌姿势时,可以生成反馈信号。反馈信号可以例如显示在显示测量信号的图形用户界面上,作为听觉反馈信号(例如,可穿戴设备上的扬声器播放的哔哔声)回放,和/或以触觉信号的形式提供(例如,耳塞振动)。因此,用户可以优化下颚姿势,以提高姿势识别系统的性能。
可以通过在个人用户设备(例如个人用户设备120)上运行的配套应用程序来辅助训练过程。应用程序可以与系统关联,以便即使应用程序在不属于系统的设备上运行,系统也可以通过应用程序输出和输入数据。这样,用户就可以戴着头部可穿戴设备进行信号识别,并在外部设备上查看过程。图3包括例如由个人用户设备120上运行的配套应用程序提供的屏幕示例。用户可以在个人用户设备中安装并打开配套应用程序。当检测到与可穿戴设备的连接时,个人用户设备可以提供打开应用程序的通知。作为训练过程的第一步,该系统(例如通过应用程序)可以提供有关系统背后的技术如何工作的信息。这一步骤可能包括显示咬肌收缩的视频和动画,解释电极用于记录面部活动的图片和消息以及人工智能等技术将信号转换为系统的动作。在随后的步骤中,系统可以检查可穿戴设备是否正确连接到用户的皮肤,以及SNR是否足够好。例如,该系统可以通过应用程序提供电极正确放置的通知,并在设备不工作时要求用户移动或清洁设备。
应用程序还可以提供有关要执行的姿势的解释。屏幕300包括个人用户设备120中的屏幕示例,其中说明了用户可能遵循的过程。消息,例如消息301,可以显示在个人用户设备的屏幕上,或者是通过个人用户设备扬声器或可穿戴设备本身提供的声音消息。应用程序还可以提供有关反馈的解释,以帮助用户了解正确的姿势是什么。屏幕310包括个人用户设备120中的屏幕示例,其中带有用户可能收到的反馈的解释。
两个选项可以独立地完成,也可以顺序地完成,并且可以根据用户的需要重复多次。第一,用户开始测试,可以被要求每隔3-10秒执行一个姿势,例如1-2分钟,并适当地接收反馈。第二,在一段时间内,用户可以被要求在任何他/她想要的时候执行姿势,例如1-2分钟的尝试,并适当地接收反馈。屏幕320包括个人用户设备120中的屏幕示例,该屏幕具有由电极测量的信号302和检测到姿势时由系统提供的反馈信号303的绘图。
在系统经过训练后,模型以其他方式更新和/或与姿势信号相关的特征被正确存储,系统可以使用此存储的特征模型,通过使用存储的特征模式,在电极测量的生物电信号中查找姿势信号。系统可以包括执行此类识别的特定硬件模块或软件例程。上述信号处理模块的使用允许系统处理电极测量的信号中的数据,并根据这些数据提供预测,下面将更详细地解释。识别可以借助于人工智能。
系统可以包括向用户提供反馈的各种装置。例如,系统包括一个或多个扬声器。如果系统嵌入耳塞中,则扬声器可以是耳塞的扬声器,例如扬声器106。如果系统与另一设备相关联,例如连接到此类耳塞的个人用户设备,例如设备120,则扬声器可以是移动设备的扬声器126。系统可以包括显示器,例如个人用户设备的显示器128,该显示器还可以用于向用户提供反馈和接收来自用户的数据。在可穿戴设备具有自己的显示器(例如,智能手表)的实施例中,可以在该显示器上提供反馈。系统可以包括能够提供反馈的其他硬件模块,例如灯、振动硬件等。
在训练过程中,可以提供不同类型的反馈,以在整个过程中帮助用户。例如,可以提供视觉反馈。视觉反馈可以通过使用个人用户设备的显示器或其他类型的视觉指示(例如灯)来提供。例如,颜色代码可用于指示进程的状态。在一个具体的例子中,默认情况下可以使用灰色,当检测到姿势时,它会变成绿色。这样,用户可以清楚地看到系统正在识别姿势。作为视觉反馈的另一个示例,该系统可以配置为显示,例如在个人用户设备的显示器上,由电极测量的生物电信号的绘图。图3的屏幕320显示了一个示例,用户执行姿势时,会显示信号302的绘图。由电极测量的生物电信号在屏幕上的特异图像可以帮助用户检测当姿势以不同的方式执行时会发生什么,例如以或多或少的力量。作为视觉反馈的另一个例子,系统可以显示模拟所测生物电信号强度的指示,例如用于此目的的仪表。反馈信号303的仪表示例也如图3的屏幕320所示。
系统可以提供的另一种反馈可以是音频反馈。音频反馈的一个示例是系统检测到姿势时发出的蜂鸣声、爆声或任何声音。在具体的实施例中,声音可以弱或强,这取决于姿势的强度,类似于声纳。
系统可以提供的另一种反馈可以是触觉反馈。触觉反馈的一个示例是系统检测到姿势时的简单振动。在具体的实施例中,根据姿势执行的强度,振动可以是较弱或较强的振动。
如前所述,电极可以位于可穿戴设备的外表面。可穿戴设备可以是耳塞。系统可以包括其他可穿戴设备,例如图1中的可穿戴设备110,例如第二耳塞。第二耳塞还可以配备电极,例如电极112和113,以上述关于第一耳塞的方式测量生物电信号。第二耳塞的电极也可以按照本文针对第一耳塞所述的方式位于第二耳环的外表面上。在这些情况下,识别生物电信号中的姿势信号可以使用由第一耳塞电极测量的数据和由第二耳塞的电极测得的数据的组合。第二耳塞110可以包括与系统100的第一耳塞相同或相似的部件。例如,第二耳塞可以包括处理块114、存储器115和扬声器116等部件。
在本发明的具体实施例中,一个或多个电极可以独立地测量生物电信号。测量可以相对于参考电极进行。在具体的实施例中,可以分析多次测量以确定系统的共模信号(例如,可以对多次测量进行求和和平均)。可以相对于单个参考电极或多个参考电极进行多次测量。在具体的实施例中,系统可设计成产生与共模信号相反的信号,并将该信号反馈到佩戴者的身体中,以抵消共模信号。可以连续测量和生成共模信号和相反信号,以提高系统性能。用于抵消共模信号的信号可以使用电极反馈,该电极可以称为驱动右腿电极。
在具体的实施例中,姿势识别系统的一个或多个不同元件(例如,两个单独的耳塞或听筒)可以包括不同数量和配置的电极。在两个电极的实施例中,一个电极可以是参考电极,一个电极可以是测量电极。在有两个以上电极的实施例中,第三电极可以是另一个测量电极、驱动右腿电极或接地电极。在本发明的具体的实施例中,系统可以包括两个元件,每个元件包括三个电极,总共六个。在这些实施例中,两个元件中每个元件上的一个电极可以作为该元件上其他电极的参考电极。在本发明的具体的实施例中,两个不同的元件可以连接在一起或通过无线通信链路连接。例如,两个耳塞可以分别包括两个电极,两个耳塞可以连接在一起。在这个实施例中,导线可用于允许两个设备作为单个测量系统,每个设备的测量共同进行,以产生更准确的读数。在由两个连接在一起的听筒和至少三个电极组成的系统中,可以有多种替代配置,包括:第一耳里有2个测量电极,第二耳里有1个参考电极;第一耳里有1个测量电极和1个参考电极,第二耳里有1个测量电极;第一耳里有1个测量电极和1个驱动右腿电极,第二耳里有1个参考电极;第一耳里有1个测量电极和1个参考电极,第二耳里有1个驱动右腿电极;第一耳里有1个参考电极和1个驱动右腿电极,第二耳里有1个测量电极;第一耳里有1个测量电极和1个接地电极,第二耳里有1个参考电极;第一耳里有1个测量电极和1个参考电极,第二耳里有1个接地电极;以及第一耳里有1个参考电极和1个接地电极,第二耳里有1个测量电极。
图4包括一个实施例400的示例,该实施例400包括两个耳塞401和402,通过导线403连接。在使用导线连接两个耳塞的实施例中,包含两个耳垫及其包含的所有电极的系统可被视为单个电气系统,整个系统只能使用一个参考电极。如前所述,每个通道可以接收一个测量电极和参考电极之间的差分信号。所有通道都可以由同一ADC同步处理,信号处理和预测步骤可以将所有通道的信号作为输入。通过同时考虑所有通道,可以改善信号处理质量(例如,噪声去除)和预测。
一般来说,测量电极和参考电极之间的距离越远,信号越好。因此,这种设置允许一个耳中有参考电极,另一个耳里有一个或多个测量电极,这与在同一个耳上有测量电极和参考电极相比,可以产生更好的信号质量。然而,例如,当电极安装在真正的无线耳机(TWS)上时,两个耳塞之间可能没有有线连接。在这些实施例中,每个耳塞可视为一个独立的电气系统。因此,在具体的实施例中,一个或多个测量电极及其参考电极位于同一个耳上,这可能导致信号质量下降。图4还示出了一个实施例450的示例,该实施例包括一个单独的耳塞系统,电极405和406位于同一个耳上。当第二耳塞也用于此配置时,每个耳塞的电极将提供生物电信号的单独测量。
在多个耳塞提供独立测量的实施例中,可以实施各种重组解决方案来组合来自不同耳塞的数据。在本发明的具体的实施例中,可以使用预测的重组。通过这种解决方案,上述信号处理和预测步骤可以在每个耳塞上独立运行,来自两个耳塞的预测可以以多种方式组合。例如,如果一个耳塞预测下颚紧咬检测的概率为0.60,而其他耳塞预测的概率为0.80,则可以平均这些概率,并且可以假设检测到下颚紧咬的概率为0.70。这种解决方案的优势在于,由于每个耳塞都是一个独立的系统,对象只戴一个耳塞就可以享受系统功能。
在本发明的具体的实施例中,可以使用特征的重组。该解决方案包括,当使用基于预计算特征的机器学习模型(例如,支持矢量分类器、逻辑回归等)时,在每个耳塞上独立计算这些特征,然后将它们组合起来。这些特征可以通过平均两个耳塞之间给定特征的值来组合。例如,特征A对于一个耳塞的值为3.0,对于另一个耳塞的值为5.0,那么可以将4.0的特征A传递给模型进行预测。作为替代,可以通过将完全一样的特征传递给模型来组合特征。例如,从单独的耳塞获得的特征A1和特征A2可以传递给模型,在这种情况下,模型可以训练为处理两倍的特征。
在本发明的具体的实施例中,可以使用信号的重组。这个解决方案包括在信号处理步骤之前,或者在信号处理之后和预测步骤之前,重新组合来自两个耳塞的信号。在本发明的具体实施例中,两个耳塞的ADC可能不同步(即,每个ADC测量的离散值可能不会在完全相同的时刻被记录,并且该延迟可能因设备的不同用途而不同)。在这种情况下,可以执行一些预处理步骤,例如信号的移位和重采样,以最大化从每个耳塞观察到的信号窗之间的相关性。
上述重组步骤可以通过耳塞的嵌入式软件或外部电子设备(例如,个人用户设备,如智能手机、笔记本电脑)执行。如果重组是在耳塞上进行的,并且两个耳塞都戴在一起,那么一个耳塞可以充当“主耳塞”,并从其他耳塞收集预测/特征/信号来执行重组。无论是在耳塞上还是在外部设备上进行重组,系统都能够确定是否使用了两个耳塞,并相应地进行调整。
在本发明的具体的实施例中,系统配置为确定生物电信号是否存在于来自第一组电极(例如来自第一耳塞)的数据中,以及是否存在于第二组电极(例如来自第二耳塞)的数据中。如果生物电信号同时存在于第一数据和第二数据中,则生物电信号中姿势信号的识别可以与存储的特征模型结合使用;如果生物电信号只存在于第一和第二数据中的一个,则可以仅使用第一和第二数据之一并采用存储的特征模型。这样,如果其中一个耳塞没有使用,或者与某些电极失去接触,系统仍然可以用剩下的数据执行预期功能。
在本发明的具体的实施例中,在无线链路的任一侧收集多个样本信号(例如,通过蓝牙连接的两个无线耳机),避免通过通信连接从一个耳向另一个耳发送原始数据是有益的。在本发明的具体的实施例中,可以在每侧执行本地处理,而不是发送原始数据,并进行组合以进行更好的信号检测预测。来自“处理信号”的预测可以组合,例如通过投票系统或平均值。双侧的数据可以通过提供每一侧的概率(而不是0或1)来组合起来进行单个预测。概率可以相加,然后可以应用阈值。组合预处理信号(即原始数据)也可以通过确定信号的平均值或训练模型以使用2个(或更多)电极作为输入进行预测来执行。
在本发明的具体的实施例中,系统可以配置为使用滑动窗口对生物电信号进行采样。系统可以利用滑动窗口中的数据对生物电信号中的姿势信号进行识别。滑动窗口可以有预定义的周期,例如一到三秒的周期。滑动窗口可以有预定义的采样间隔,例如从0.1秒到0.5秒。
电极信号可以在不同的时间进行采样。采样器可用于一系列样品。采样器可以应用于时域(卷积)或频域(快速傅里叶变换、系数乘法和反向快速傅立叶变换)。该系列样本可以跨越1到3秒的时间段(例如,2秒的时间窗口)。1到3秒的窗口范围是计算资源、精度和响应时间之间的权衡。事实上,更长的观察窗口(例如20秒)可以提供清晰的下颚紧咬信号,但太慢(延迟)且计算量太大。然而,2秒的时间窗口是很长的响应时间(延迟),在大多数情况下是不可接受的。为了减少检测的延迟,样本窗口可以小幅度“滑动”,例如0.2秒。换言之,每隔0.2秒,删除较旧的0.2秒采样,将采样移动0.2秒,然后添加下一个0.2秒的采样。可以使用经过训练的人工智能(AI)模型进行采样。
在本发明的具体的实施例中,系统可以连续记录EMG数据,例如,每隔1/Fs秒测量每个通道的一个新生物电信号值(Fs是采样频率)。例如,对于Fs=250Hz,每4ms测量一个值。为了执行信号处理和预测操作,系统可能需要固定长度的输入窗口。例如,当Fs=250Hz时,系统可以将每个通道的固定大小窗口N=500个数据点作为输入,这对应于信号的T=500/250=2s。由于系统持续记录对象的EMG数据,因此更新时间窗口是有意义的,以便它包括系统记录的最新数据,但仍包含N个数据点。为此,一种解决方案是使用滑动窗口。图5包括由电极测量的双下颚紧咬信号500的示例。图5包括一个长度为T的滑动窗口示例,该窗口可按固定时间间隔S更新,适用于信号500。
长窗口大小(T大)可以观察到一种现象(如图中所示的双下颚紧咬),以及在较长时间内之前和之后发生的情况。这可能会提高旨在检测此类现象的系统的准确性,因为这有助于避免与其他可能在较短时间窗口上具有非常相似足迹的现象混淆。另一方面,长窗口大小可能意味着信号处理和预测操作需要更多的处理时间和/或功率,因为处理单元执行的操作数量可能更高。
如果硬件(如计算能力和内存有限的嵌入式系统)对计算能力有限制,然后,处理时间可以增加,系统返回预测之前的延迟也可以增加。如果系统需要尽可能快的响应,这可能是一个问题(例如,如果系统用于播放/暂停音乐,则在执行咬颚姿势和音乐播放/暂停之间不要等待太久)。选择能够分配大量计算能力以使处理时间在大窗口的适当范围内的硬件是一项挑战,特别是在大小和电池消耗受限的情况下。
在参考图5描述的具体的实施例中,系统可以每S秒计算一次新的信号处理和预测操作。如果S较大,在系统检测到该现象之前可能会有一些额外的延迟。例如,如果S=3s,则在实际执行姿势后的最多3s内可能检测到该现象。因此,短时间间隔S可以减少系统的响应时间。另一方面,较短的时间间隔S也意味着系统可能需要更频繁地计算信号处理和预测操作,这可能会受到已经表示的潜在计算能力和电池消耗限制。就本公开而言,估计使用1到3秒之间的T窗口和0.1到0.5秒之间的S时间间隔是一个很好的范围。这不是本发明的限制,因为根据具体系统的具体能力、期望结果和限制,可以使用其他范围。
在本发明的具体的实施例中,系统可以配置为以特定模式操作。例如,系统可以配置为在低功率高灵敏度模式和/或高功率高精度模式下运行。根据事件或系统状态等特定因素,系统可以配置为在模式之间切换。例如,系统可以配置为在低功率高灵敏度模式下检测潜在姿势信号,并在检测到潜在姿势信号时触发高功率高精度模式。
具有良好性能(精度和召回率)的预测模型可能相当复杂,因此,与非常基本的预测模型相比(例如,将信号幅度与预定义的阈值进行比较),需要消耗更多的处理能力。持续运行这样一个复杂的模型(针对每个输入时间窗口)可能会损害电池寿命,并且通常没有用处,因为用户可能会长时间不执行感兴趣的姿势。为了缓解这一问题,本发明的具体的实施例涉及一种系统,该系统可以持续运行一个更简单的模型(在低功耗高灵敏度模式下),该模型的精确度较低,但召回率较高(即,该模型可以预测大量错误肯定,但验证少量错误否定)。然后,当这个简单的模型预测为肯定时,可以运行更复杂的模型(在高功率高精度模式下)来优化预测。通过这样做,对电池寿命的影响可以被显著限制。
更简单的模型(低功耗高灵敏度模式)可以以多种方式实现。模型可以包含非常简单的操作,如阈值化。例如,如果在信号窗口中观察到的最大电压振幅高于T,则可以触发更复杂的预测模型(高功率高精度模式)。模型可以作为更短的输入窗口,因此计算操作的数量可以大大减少。
对于更复杂的模型(高功率高精度模式),可以对其进行离线训练,例如在图5的滑动窗口等信号窗口上。此模型可以用于高精度和高召回率,以尽可能提供最佳预测。为了最大限度地提高这种模型的性能,可以如本发明之前所述组合来自两个耳的信号。此外,模型可以在连续滑动窗口和平均预测概率上运行。如果所有时间窗口都包含这种现象,平均预测概率可以减少预测的方差,这可能会改善结果。这种解决方案的一个潜在缺点是,它可以增加执行姿势的时间点和触发肯定预测的时间点之间的响应时间。例如,如果考虑每0.2秒对3个连续2s窗口的预测,平均这3个预测很可能会增加总体预测的置信度,但在触发控制之前,等待时间将是2x0.2s=0.4秒。
可以训练更复杂的模型来检测给定时间窗口中的现象。这样,如果相同的现象出现在连续的窗口中,没有什么可以阻止系统对所有这些窗口触发肯定预测。有几种方法可以缓解这个问题。例如,如果使用的算法提供了一种定位关键描述性特征(例如峰值检测)的方法,则可以检测在连续窗口中检测到的现象是否对应于相同的实现。作为另一个示例,可以定义一个缓冲期,对于该缓冲期,在肯定检测到现象后,不会触发肯定预测。
在本发明的具体的实施例中,系统还可以包括用于过滤由电极测量的生物电信号的滤波器,例如滤波器109和119。滤波器可以至少包括高通滤波器响应。在本发明的具体的实施例中,高通滤波器响应可以具有低于90Hz的截止频率。在本发明的具体的实施例中,高通滤波器响应的截止频率可以在50Hz和90Hz之间。截止频率可以从高通滤波器的阻带(低于截止频率)到高通滤波器的通带(高于截止频率)描绘。在具体的实施例中,截止频率可以是滤波器响应的-3dB频率,这意味着在截止频率下,滤波器已经将信号衰减到相对于通带中滤波器响应的-3dB。滤波器可以替代地或组合地进一步包括至少一个陷波滤波器对衰减信号的响应。衰减可以在高通滤波器响应的通频带内。例如,滤波器可以包括陷波滤波器,其使频率为100Hz和/或120Hz的信号衰减。在本发明的具体的实施例中,至少一个陷波滤波器响应可以具有包括100Hz和120Hz中的至少一个的陷波。滤波器可以是模拟、数字或混合信号滤波器。
EMG信号的频率大多在50-500Hz范围内,更多在50-150Hz范围。为了能够观察到这些现象,可以为ADC选择合适的采样频率。根据奈奎斯特·香农定理,采样频率Fs允许在0Hz至Fs/2Hz范围内观察现象,而不会产生混叠。因此,可以选择尽可能高的采样频率。另一方面,高采样频率可能意味着处理信号窗口所需的高内存和计算时间。一个很好的权衡是选择不低于125Hz的采样频率(否则很难观察到合适的EMG信号),而不是高于300Hz(因为大多数期望信号可能低于150Hz)。在本发明的具体的实施例中,电极信号可以在250Hz左右、至少125Hz和低于500Hz的情况下采样。这是一个在既不能过高以限制数据集(低于500Hz),也不能过低以检测基于奈奎斯特的EMG信号(至少125Hz)之间的权衡。
EMG系统可能会受到周围电磁扰动(electromagnetic perturbations)的影响。最常见的可能是国内电网引起的,它在欧洲产生50Hz及其谐波的扰动,在美国产生60Hz及其谐波的扰动。这种噪声可能与EMG频率范围重叠。本发明的具体的实施例使用滤波器来去除该噪声,从而不会污染EMG信号。
过滤器可以以多种方式实现。例如,滤波器可以使用对模拟信号进行滤波的模拟部件(R、L、C部件,带或不带有源增益运算放大器)来实现。作为另一个示例,滤波器可以使用数字函数来实现,这些数字函数将ADC输出的离散化和数字化信号作为输入。实现这种滤波器的库有很多,其中两大类是FIR(有限脉冲响应)和IIR(无限脉冲响应)滤波器,并且具有在信号窗口上执行先决条件操作的各种策略(例如填充、FFT等)。
本发明的具体的实施例仅考虑60Hz以上的频率,例如,使用截止频率在65Hz和80Hz之间的高通滤波器,这取决于滤波器在截止频率附近的衰减有多好。这可以允许消除由50Hz或60Hz噪声引起的扰动。为了减轻谐波(例如100Hz、120Hz)的影响,本发明的具体的实施例使用陷波滤波器,其基本上是带阻滤波器,具有以给定频率为中心的非常窄的抑制频带。这会使在其他频率的大部分信号不受影响。
这里使用的滤波器可以是具有各种形式的数字滤波器。例如,可以使用时域中信号的卷积应用系数窗口,或者可以使用频域中信号的逐点乘法应用系数窗口。在任何情况下,所需滤波越精确,系数窗口越长。例如,如果使用时域中的卷积,应用100Hz的陷波滤波器,20dB抑制频带为1Hz(即,信号在99.5Hz和100.5Hz之间衰减20dB或更多),则窗口可能比应用相同滤波器但抑制频带为3Hz时长得多。这些考虑可能会产生影响。例如,如果滤波器的系数窗口明显长于所分析的信号窗口的长度,则滤波操作的结果可能是次优的。此外,长滤波器系数窗口可能意味着高计算负载,这可能会导致高度受限的嵌入式系统出现问题。
在本发明的具体的实施例中,替代或结合陷波滤波器,可以在60Hz和80Hz之间应用高通滤波器。例如,60Hz的高通滤波器(去除50Hz),65Hz的高通过滤器(去除50Hz和60Hz),或80Hz的高通滤波器(如果滤波器的时间窗口较低,计算能力较低,则避免任何泄漏)。也可以组合高通滤波器(60Hz-80Hz)和一个或多个谐波陷波滤波器(100Hz、120Hz、150Hz、180Hz等)。
在本发明的具体的实施例中,系统可以配置为检测系统的事件或状态,例如连接和/或空闲状态。系统还可以配置为在检测时传输生物电信号的原始数据或其衍生物,以便上传原始数据或其衍生物,例如用于训练算法。然后,可以在服务器上处理原始数据或其衍生物,以清理数据或标记数据以进行训练。然后,这些数据可以用于对模型进行再训练,并被推送到使用旧版本模型的可穿戴设备网络中。本文描述的衍生物也可以在本地用于在可穿戴设备上训练模型,而不一定需要远程传输。
原始数据的衍生物可以包括从原始数据和设备使用中隐式获取的训练标签。例如,原始数据可用于执行自动基线调整(即,基于测量的正常或平均活动的演变对信号进行被动校准)。在这种情况下,衍生物会将数据识别为平均基线数据。作为另一个示例,收集的与具体事件无关的数据可以使用无监督的学习方法进行处理(例如,聚类以识别潜在的肯定和否定示例,手动审查,并将其添加到带有正确标签的训练集中)。作为另一个示例,在伴随的界面上使用“暂停音乐”或“播放音乐”之前的数据(例如,与模型设备配对的智能手机的触摸屏)可能包含一个错误的否定示例(命令不是通过下颚紧咬触发的)。在这种情况下,原始数据的衍生物可能是一个标签,将其标记为训练集中的“肯定”示例。作为另一个示例,在伴随接口上使用类似接口元素之前的数据覆盖姿势识别系统生成的最近界面信号,可能包含错误肯定示例。在这种情况下,原始数据的衍生物可以是一个标签,其将相关的原始数据标记为训练集中的“否定”示例。同样,在带有姿势识别组件的耳塞触觉控件上使用“备份”输入可以生成类似形式的原始数据的衍生物。在进一步的示例中,模型可以识别与高度不确定性推断相关的原始数据,并将其标记为使用主动学习方法的训练数据。
原始数据可以是电极记录的生物电信号中未经处理的数据。原始数据在传输之前可以匿名化,并且可以进行采样。原始数据可以上载到外部设备或服务器进行处理。通过这种方式,外部系统可以改进基于大量匿名用户数据的“通用”检测模型,如默认存储的特征模型。可以包括一些主动学习参数(例如,检测事件周围记录的信号)。例如,主动学习参数是其他UI信号,例如,如果用户使用另一个界面(触摸屏或触觉)以执行由姿势触发的动作,例如播放/暂停,这可能指示下颚紧咬的错误检测。
神经接口可配置为直接在耳塞中本地存储原始数据和衍生物,当有可用带宽和/或连接时,神经接口可与外部设备离线同步。空闲时间期间(即使是部分信号)用于离线共享的原始数据记录(不时地)可用于稍后训练算法(面向数百万用户)。
系统可以收集数据并与外部电子设备共享,例如个人用户设备(例如智能手机、远程服务器等)。系统包含可用于存储原始数据(例如在ADC的输出端采集的数据)的内存部件(例如闪存)。在这种情况下,可以选择内存部件来满足大小和消耗限制。这些数据可以在一些预定义的同步期间发送到外部设备(例如,当设备充电时,当占用的内存达到某个阈值时,等等)。同步可以通过无线方式(如蓝牙、BLE、WiFi)或有线连接(如USB-C、Micro-USB)进行。
在本发明的具体的实施例中,系统还可以以无线方式连续地将原始数据或其衍生物流式传输到外部电子设备。在这种情况下,根据这种流式传输引起的功耗和设备的消耗限制,可以一起或单独应用各种策略,例如,当电池高于某个阈值时,仅流数据,每Y分钟仅流X分钟的数据,等等。
在本发明的具体的实施例中,系统不仅可以收集原始数据,还可以收集关于这些数据的潜在“注释”。注释可以是上述衍生物的示例。例如,系统可以为用户提供一种方法来指定存在错误肯定或错误否定预测。例如,使用无线耳机,用户可以配置一些触觉控制组合,以明确指出音乐的播放或暂停命令被错误激活。
在本发明的具体的实施例中,原始数据可用于通过使用被动校准程序为特定用户在线调整模型。在本发明的具体的实施例中,系统可配置为在未识别姿势信号时确定生物电信号的平均功率,并使用确定的平均功率对生物电信号进行标准化。例如,每X分钟可以测量生物电信号的平均功率B。假设模型以平均功率水平A进行训练,生物电信号的功率可以乘以系数A/B,以实时标准化它。
在本发明的具体的实施例中,存储的特征模型是分类器。分类器可以实现为硬件模块,例如实现神经网络的处理块。通过这种方式,存储的特征可以嵌入分类器中,例如与网络权重相关联。分类器可以在软件中实现,例如以处理块调用的函数的形式。通过这种方式,存储的特征可以嵌入分类器中,例如与函数的变量相关联。
分类器可以是二进制分类器,并对查询(例如输入姿势信号是否对应于存储的特征)输出“是”或“否”。分类器还可以得出输入姿势信号和存储的特征之间是否存在潜在匹配的概率。分类器还可以得出哪个存储的特征最有可能与输入信号对应的概率。
分类器中还可以嵌入一组错误肯定姿势信号(false positive gesturesignal)。错误肯定姿势信号可以是从不是要被系统捕获的姿势中检测到的信号,例如咀嚼信号、说话信号、吞咽信号、头部侧向移动信号等。通过这种方式,分类器不仅可以提供与系统“发现”的姿势相关的信息,还可以提供与其他姿势有关的信息。通过这种方式,分类器不仅可以输出信号不是“双下颚紧咬信号”,还可以输出正在执行的特定动作,例如“说话”。通过这种方式,通过收集特定的数据集,可以抵抗错误肯定,这些数据集收集的是在其他方面会有接近下颚紧咬姿势的特征的自然头部运动。原始数据及其衍生物可能包括特定于特定用户的错误肯定姿势信号。错误肯定姿势信号可以从用户那里明确地挖掘出来(例如,通过向他们提供说话或吞咽的指令并标记记录的数据),也可以隐式地挖掘出来(例如,通过直观从检测用户语音的麦克风检测到的错误否定信号的情况,或者通过使用上文描述的其他手段识别错误否定信号,该错误否定信号类似于从一般人群中提取的其库中的类似错误否定信号)。
上述描述为复杂模型(高功率高精度模式)的预测模型可以以非常高的精度(即很少错误肯定)和非常高的召回率(即很少错误否定)检测下颚紧咬的姿势。为了做到这一点,一个巨大的挑战是避免混淆系统将要使用的正确下颚紧咬事件(无论是双下颚紧咬、三下颚紧咬还是长下颚紧咬)和对象执行的其他常见姿势。特别是,一些姿势非常常见,对象可以非常频繁地执行,而无意使用系统控制电子设备。其中一些姿势可能包括咬肌的活动(例如咀嚼、说话、吞咽),这使它们成为错误肯定检测的良好候选对象。
避免此类错误肯定的一个好策略是收集尽可能多的此类姿势数据,以便让模型了解这些姿势与期望的下颚紧咬姿势之间的差异(有时很微妙)。如果模型使用明确设计的特征(例如,阈值定义在信号幅度上的基于规则的模型、“经典”机器学习模型(如SVC、罗吉思回归)等),则这些特征需要设计使得它们包含足够的信息,以便模型区分不同的姿势(例如,峰值计数器,其中双下颚紧咬显示两个峰值,例如在2s时间窗口中,而咀嚼显示更多峰值(以规则的时间间隔分隔))。
如果模型将信号窗口作为输入,而无需事先进行任何特征工程(例如,神经网络),然后,模型可以在训练阶段学习这些姿势之间的细微差异。此外,用于训练模型的数据会对用户执行下颚紧咬姿势和在电子设备上触发动作之间的延迟产生重大影响。
作为一个示例,如果模型只能使用下颚紧咬信号居中的时间窗口进行训练(如图6的信号600所示),那么它很可能无法检测到窗口一侧出现的下颚紧咬(例如,如信号610所示)。然而,如本公开之前所述,当连续记录数据时,包含给定下颚紧咬事件的第一时间窗口可能看起来像信号610的示例,事件向右移动。在那种情况下,可能需要等待更多的窗口,直到下颚紧咬事件像信号600一样居中,这可能会导致延迟增加。
另一方面,事件一出现在窗口中就无法简单地检测到,因为这可能会增加将其与其他事件混淆的机会,并触发错误肯定。例如,信号610可能对应于刚开始咀嚼的对象,在这种情况下,等待更长时间将有助于避免混淆,因为输入窗口看起来像信号620中的窗口。
在本发明的具体的实施例中,系统配置为监测电极的接触状况。系统可以配置为在检测到任何电极的接触状况出现故障时生成警报信号。警报信号可以是接触条件差或丢失的直接指示,例如显示器上的指示,或者通过扬声器或其他方式提供本文所公开的反馈。警报信号也可以是控制命令,用于触发系统内的特定动作,例如停止播放音乐、结束通话等。
EMG信号质量取决于电极和皮肤之间的持续接触。如果没有接触,则无法将EMG信号从身体传输到电子设备。如果接触面积发生变化,电极的阻抗也会随之变化,这可以通过产生一些电极运动伪影直接影响测量的信号。
本发明的具体的实施例涉及监测电极接触质量,可通过多种方式进行。例如,可以通过一个电极注入非常低强度的电流,可以观察到其他电极的记录。这是测量电极-皮肤界面阻抗的标准程序。如果阻抗太高或变化太大,则可能存在差的接触质量。作为另一个示例,可以观察到电极测量的信号。如果电极-皮肤的接触变化很大(例如,由于电极的显著移动),则信号可能会在低频率下显示相关模式(例如,如果用户以每秒2步的速度行走,且嵌入电极的耳塞有点松动,则可能在2Hz左右有强信号分量)。观察这些模式可以作为电极与皮肤接触不坚固的指示。
当电极不再与皮肤接触时,模拟放大器的输出信号可能会发散到其极值之一(也可能是交替的)。这有时称为超前检测(lead-off detection)。此外,ADC输出端的数字信号可以达到其极值(可能还有其他值)。例如,这可以用于检测对象是否移除了耳塞,并相应地激活一些命令(例如,触发警报、暂停音乐等)。如果接触不良(由于与接触不良的电极相关的信号),可以禁用下颚紧咬检测。
图7包括根据本发明的具体实施例,耳塞形式的个人头部可穿戴设备的示例。耳塞700包括位于耳塞外表面的两个电极701和702。在本示例中,电极位于耳塞的耳尖703上,当耳塞被穿戴时,电极将被放置在耳道中。通过这种方式,电极在被穿戴时将位于耳道内。
如本公开之前所述,生物电信号是通过测量测量电极和参考电极之间的差分电压来测量的。为了获得尽可能好的信噪比(SNR),将测量电极放置在尽可能靠近期望信号源的位置是有利的,以及参考电极位于最小化来自源的信号收集的位置,同时仍然距离测量电极足够近,以便捕获与测量电极捕获的噪声分量尽可能相似的噪声分量。理论上的理想设置包括测量电极记录M=信号+噪声,参考电极记录R=噪声,以及差分信号D=M-R=信号。实际上,测量电极和参考电极捕获的噪声分量可以不同,参考电极也可以捕获一些信号。通过这种方式,可以将其视为测量电极记录M=信号1+噪声1,参考电极记录R=信号2+噪声2,差分信号D=M-R=(信号1-信号2)+(噪声1-噪声2)。
在本发明的具体的实施例中,电极位于耳内,如参考耳塞700所述,电极可以位于耳道内、下鼻甲、上鼻甲、耳垂、耳屏等,或耳朵周围的任何其他地方。如果系统设计为以“单耳”方式工作(每个耳塞都可以独立工作),则测量电极和参考电极都位于同一个耳塞上。这可能意味着测量电极和参考电极之间的距离受到很大限制,在普通EMG系统中,参考电极通常与耳朵大小相差得多。
因此,提高单耳设置的SNR的一个关键因素是最大化测量与参考电极之间的距离。本公开说明了放置电极的几种非限制性设置。图中显示了一种与耳塞700相关的设置,其中两个电极都放置在耳塞的耳尖703上。这种设置通常允许电极与皮肤良好接触,因为耳尖保持电极对耳道的压力,但电极非常靠近。
所示为耳塞710和720的另一种配置,其中一个或两个电极位于耳塞的外壳723上(耳塞710中的电极711和712,耳塞720中的电极721)。使用这种设置来确保电极和皮肤之间的良好和持续接触可能更为复杂,尤其是因为外壳的尺寸通常是固定的,可能无法根据用户的耳朵形状和尺寸进行定制。因此,耳塞外壳和耳朵之间的接触面积可能因对象而异。然而,另一方面,使用外壳放置电极可以充分利用耳塞的全部尺寸,并使电极之间的距离最大化(例如,将测量电极放置在位置712,将参考电极置于位置721)。
为了应对这些解决方案的缺陷,在本发明的具体的实施例中,耳塞的部分,例如耳尖733和耳翼734,代表耳塞730,可用于放置电极。在这些实施例中,一个电极可以位于耳塞的耳翼上,另一个电极位于耳尖上。软导电材料可用于制造导电的耳尖和耳翼(至少部分)。当这些部分由柔软和灵活的材料制成,并且它们被穿戴使得它们对耳道(耳尖)或上鼻甲(耳翼)的皮肤施加压力时,可以保持良好和一致的电-皮肤接触。耳塞的这些部分可以有不同的尺寸(如耳塞730所示为一个块,或单独地),这可以为特定对象的耳朵尺寸和形状提供一定程度的定制,从而提高接触质量。耳塞的这些部件可以更换,这意味着在穿戴时可以更换,因此不会影响整个系统的耐久性。此外,这使得这些部分的清洁更加容易。耳翼电极可以包括一个或多个金/导电电极,如小插头,其可以有各种尺寸,并对皮肤施加压力,从而确保电极与皮肤接触。
为了确保可拆卸软电极与包含在耳塞外壳内的电子设备之间的电气连接,当导电元件(可由金属或其他导电材料制成)可用作连接器时,可使用系统。如图8所示,该连接器可以有一个露出外壳表面的部分,以及一个到达外壳内AFE的部分。图800显示了耳翼和耳尖的连接器801。图810和820显示了耳翼和耳尖连接器的变体,其带有挂钩815,用于将耳翼或耳尖保持在预定位置。
电极(例如耳尖和耳翼电极)的材料可以从具有某些特性的各种候选材料中选择。例如,材料可以是良好的电子导体,也可以是离子电流转化为电子电流的良好换能体,使得得到的电极-皮肤界面可以具有可接受的阻抗(例如,对于所考虑的典型尺寸的电极,小于1M Ohm)。例如,可以通过在电极和皮肤之间使用导电凝胶来获得那些良好的导电特性,但使用这种凝胶可能不合适,因此所选材料可以通过使用它们来构建所谓的“干电极”来获得良好的导电特性。
在本发明的具体的实施例中,电极的材料也可以防水,以便汗液不会过快地使其变质,并且使得用这些材料制成的电极可以很容易地用水清洗,例如,去除正常使用时可能积聚的耳垢。此外,这种材料可以足够舒适,与现有的非导电耳塞和目前集成在耳塞中的耳翼相当,因此用户可以在几个小时内佩戴耳塞,而不会感到疼痛或不适。
候选材料可以包括复合聚合物,例如与电子导电颗粒(例如炭黑、CNT、石墨、Ag等)和/或离子导电颗粒(如Ag/AgCl等)混合的硅树脂(例如PDMS、共聚酯等)。候选材料还可以包括本征导电聚合物,其中包括因其原始成分(例如PEDOT:PSS)与添加剂混合而具有导电特性的聚合物,以赋予其耐水性、可拉伸性或粘合性能(例如水性聚氨酯-WPU、D-山梨醇)。候选材料还可以包括金属涂层织物(例如,使用银和氯化银涂层)和其他合适的材料。此处提供的示例并不限制候选材料的示例。
在本发明的具体的实施例中,电极可以包括复合聚合物的表面。复合聚合物可以是与导电粒子混合的橡胶聚合物。橡胶聚合物可以是柔软的硅树脂。导电粒子可以包括炭黑、碳纳米管、石墨、银和氯化银中的至少一种。在本发明的具体的实施例中,电极包括本征导电聚合物(intrinsically conductive polymer)。本征导电聚合物可以具有导电原始组合物和防水添加剂。
如本公开前面所述,根据本发明的具体的实施例的系统可以在不同的情况下提供不同种类的反馈。反馈可以是听觉、视觉和/或触觉反馈。如果用户想知道测量信号是否足够好,可以提供反馈,并且可以触发EMG技术。如果用户想得到验证,也可以提供反馈,即姿势已被正确识别并执行了与之相关的动作。本文还披露了许多其他非限制性情况,其中反馈可能是一个重要特征。
在本发明的具体的实施例中,系统可以提供与信号质量检测相关的反馈。例如,可以提供一个或多个反馈,指示信号质量好或信号质量不佳。可以根据各种情况触发此检测。例如,耳机被穿戴时可以持续地提供反馈。在这些情况下,无论何时检测到接触,都会持续测量EMG信号的质量,并适当地触发反馈。
耳机被穿戴时,在发生特定事件后,也可以提供反馈。当用户穿戴耳机时,信号质量很可能一直不够好。然而,随着时间的推移,向用户提供太多反馈可能会产生一些懊恼,可能需要限制激活信号质量检测的时刻。在耳机没被穿戴之前,也可以提供反馈,例如如果检测到用户即将或刚刚将耳机放在耳朵里,例如当用户从盒中取出耳机时,或者当检测到接触而之前没有检测到接触时,在这些情况下,可以在接下来的1-5分钟内激活信号质量检测。
当用户刚才已经收到反馈但没有采取行动,则在接下来的2-10分钟内不会向用户提供额外的反馈。当用户刚刚触发设备上的姿势、触觉或语音控制时,可能需要在接下来的1-5分钟内激活信号质量检测。如果用户在系统检测到姿势控制后触发触觉/语音控制,则尤其如此,因为这很可能意味着这是由于信号质量差而可能检测到的错误肯定。
可以提供不同类型的反馈。例如,当耳机在片刻前还未穿戴时被穿戴,可以提供音频反馈。例如,如果检测到良好的信号质量,反馈可以是标准的蜂鸣声、哔哔声或任何类型的声音,否则会静音。在这种情况下,另一种音频反馈可以是蜂鸣声、哔哔声或任何特定于信号质量的声音。当耳机被穿戴时,也可以提供音频反馈,例如,如果信号质量发生变化,则通过标准蜂鸣声、哔哔声或任何类型的声音提供音频反馈,和/或在信号质量发生改变时通过蜂鸣音,哔哔声或特定于信号质量的任何类型的声音提供音频反馈。
也可以提供触觉反馈,例如,当耳机在片刻前还未穿戴时被穿戴,如果检测到良好的信号质量则使用标准振动,其他情况除外,和/或特定于信号质量的振动(例如,长振动时信号质量好,短振动时信号质量差)。在耳机被穿戴时也可以提供反馈,例如,如果信号质量发生变化,则使用标准振动;如果信号质量改变,则使用特定于信号质量的振动(例如,长振动时信号质量良好,否则短振动)。
还可以提供反馈以确认姿势检测。当用户执行姿势时,可以向他们提供反馈。可以检测到该姿势,但该姿势触发的动作可能不会产生任何直接的视觉、触觉或音频后果。例如,如果用户通过姿势打开通信通道,那么用户可以在开始交谈之前确保通道已正确打开。不同类型的反馈可以是声音反馈(带有系统检测到姿势时发出的蜂鸣声/哔哔声或任何类型的声音)和/或触觉反馈(当系统检测到姿势时带有简单的振动)。
在本发明的具体的实施例中,可以实现该系统,使其遵循生物兼容性规范、抗渗规范或其他规范。例如,可通过IP码测量防尘和防水性。售出的耳机可以显示IPXY电阻,其中X表示“物理粒子电阻”(灰尘),Y表示“液体粒子电阻”(水)。并非所有耳机都有“灰尘”或“水”电阻指示。
虽然已经针对本发明的具体实施例详细描述了说明书,但应当理解的是,本领域技术人员在理解了上述内容后,可以很容易地设想对这些实施例的更改、变体和等效物。例如,尽管在本发明中使用了耳塞的示例,但任何可穿戴设备,尤其是靠近用户头部的设备,都可以使用,包括眼镜、隐形眼镜、耳环、项链、帽子和其他可穿戴设备。尽管给出了许多下颚紧咬识别的示例,但本文所揭示的概念同样适用于识别其他姿势,包括手、手臂和手指运动、眼睛和眼睑运动以及其他姿势。本领域技术人员可以在不脱离本发明范围的情况下实施本发明的这些和其他修改和变体,本发明的范围在所附权利要求中更为详细地阐述。
权利要求书(按照条约第19条的修改)
1.一种用于个人头部可穿戴设备的姿势检测系统,包括:
所述个人头部可穿戴设备的听筒(100);
第一电极(102),所述第一电极(102)位于所述听筒(100)的耳翼(734)上;
第二电极(103),所述第二电极(103)位于所述听筒(100)的耳尖(733)上,其中所述第一电极(102)和所述第二电极(103)测量生物电信号;和
一个或多个存储指令的非暂时性计算机可读介质,当所述指令被所述系统执行时,会导致所述系统:
使用姿势信号的存储的特征模型,分析所述生物电信号以识别所述生物电信号中的所述姿势信号;和
在识别所述生物电信号中的所述姿势信号时生成界面信号;
其中,所述姿势信号是以下之一:(i)双下颚紧咬信号;(ii)三下颚紧咬讯号;和(iii)长下颚紧咬信号。
2.根据权利要求1所述的姿势检测系统,还包括:
用户界面输出端(106);
其中,所述一个或多个非暂时性计算机可读介质进一步存储指令,当所述指令被所述系统执行时,会导致所述系统:
生成提示(301)以执行与所述姿势信号相关联的姿势;和
使用所述姿势信号更新所述存储的特征模型,以生成修改后的存储的特征模型;
其中,所述界面信号输出在所述用户界面输出端上;和
其中所述存储的特征模型是与所述姿势相关联的默认模型。
3.根据权利要求1所述的姿势检测系统,其中:
所述第一电极(102)和所述第二电极(103)位于所述听筒(100)的外表面上。
4.根据权利要求1所述的姿势检测系统,还包括:
所述个人头部可穿戴设备(110)的第二听筒;和
第三电极(112)和第四电极(113),其中所述第三电极(112)与所述第四电极(113)测量所述生物电信号;
其中所述第一电极(102)和所述第二电极(103)位于所述第一听筒(100)的外表面上;
其中所述第三电极(112)和所述第四电极(113)位于所述第二听筒(110)的外表面上;和
其中,对所述生物电信号中的所述姿势信号的所述识别使用下列组合:(i)由所述第一电极(102)和所述第二电极(103)测量的第一数据;以及(ii)由所述第三电极(112)和所述第四电极(113)测量的第二数据。
5.根据权利要求4所述的姿势检测系统,其中所述一个或多个非暂时性计算机可读介质存储指令,当所述指令被所述系统执行时,会导致所述系统:
确定所述第一数据和所述第二数据中是否存在所述生物电信号;
其中,如果所述生物电信号在所述第一数据和所述第二数据中都存在,则对所述生物电信号中的所述姿势信号的所述识别使用与所述存储的特征模型的组合;和
其中,如果所述生物电信号仅在所述第一数据和所述第二数据中的一个存在,则对所述生物电信号中的所述姿势信号的所述识别仅使用所述第一数据和所述第二数据中的一个,并采用所述存储的特征模型。
6.根据权利要求1所述的姿势检测系统,其中:
对所述生物电信号中的所述姿势信号的所述识别使用由所述第一电极测量的第一数据和由所述第二电极测量的第二数据的组合;和
所述系统配置为:
确定所述第一数据和所述第二数据的共模信号;和
物理地反馈与所述共模信号相反的信号以消除所述共模信号。
7.根据权利要求1所述的姿势检测系统,还包括:
所述个人头部可穿戴设备的第二听筒(110),所述第二听筒(110)连接到所述第一听筒(100);和
第三电极(112)和第四电极(113),所述第三电极(112)和所述第四电极(113)位于所述第二听筒(110)的外表面上;
其中,对所述生物电信号中的所述姿势信号的所述识别使用以下组合:(i)由所述第一电极(102)和所述第四电极(113)测量的数据;以及(ii)由所述第三电极(112)和所述第二电极(103)测量的数据。
8.根据权利要求1所述的姿势检测系统,还包括:
第三电极,所述第三电极位于所述第一听筒(100)的外表面上;
所述个人头部可穿戴设备的第二听筒(110);和
第四电极(112)、第五电极(113)和第六电极,所述第四电极(112)、所述第五电极(113)和所述第六电极位于所述第二听筒的外表面上;
其中,对所述生物电信号中的所述姿势信号的所述识别使用以下组合:(i)在使用所述第三电极作为第一参考电极下由所述第一电极(102)和所述第二电极(103)测量的数据;以及(ii)在使用所述第六电极作为第二参考电极下由所述第四电极(112)和所述第五电极(113)测量的数据。
9.根据权利要求1所述的姿势检测系统,其中,所述一个或多个非暂时性计算机可读介质存储指令,当所述指令被所述系统执行时,会导致所述系统:
使用滑动窗口对所述生物电信号进行采样;和
使用来自所述滑动窗口的数据,执行对所述生物电信号中的所述姿势信号的所述识别;
其中所述滑动窗口的周期为1至3秒;和
其中所述滑动窗口的采样间隔为0.1至0.5秒。
10.根据权利要求1所述的姿势检测系统,其中:
所述第一电极和所述第二电极生成所述生物电信号的原始数据;和
所述一个或多个非暂时性计算机可读介质存储指令,当所述指令被所述系统执行时,会导致所述系统:
检测以下中的一个:(i)到所述系统的连接;(ii)所述系统的闲置状态;和
在检测时发送以下中的至少一个:(i)所述生物电信号的所述原始数据;以及(ii)所述生物电信号的所述原始数据的衍生物。
11.根据权利要求1所述的姿势检测系统,其中,所述一个或多个非暂时性计算机可读介质存储指令,当所述指令被所述系统执行时,会导致所述系统:
当没有姿势信号被识别时,确定所述生物电信号的平均功率;和
使用所述确定的平均功率标准化所述生物电信号。
12.根据权利要求1所述的姿势检测系统,其中,所述一个或多个非暂时性计算机可读介质存储指令,当所述指令被所述系统执行时,会导致所述系统:
在低功率高灵敏度模式下运行;
在所述低功率高灵敏度模式下检测潜在姿势信号;和
在检测到所述潜在姿势信号时,触发高功率高精度模式。
13.根据权利要求1所述的姿势检测系统,还包括:
滤波器(109),所述滤波器(109)用于过滤由所述第一电极和所述第二电极测量的所述生物电信号;
其中,所述滤波器(109)至少包括高通滤波器响应;和
其中,所述高通滤波器响应具有在50Hz和90Hz之间的截止频率。
14.根据权利要求1所述的姿势检测系统,还包括:
滤波器(109),所述滤波器(109)用于过滤由所述第一电极和所述第二电极测量的所述生物电信号;
其中,所述滤波器(109)配置为抑制以下中的至少一个:100Hz;120Hz;100Hz和120Hz。
15.根据权利要求1所述的姿势检测系统,其中:
所述一个或多个非暂时性计算机可读介质存储指令,使用采样频率对由所述第一电极和所述第二电极测量的所述生物电信号进行采样;和
所述采样频率在125Hz到500Hz之间。
16.根据权利要求1所述的姿势检测系统,其中:
所述存储的特征模型是分类器;
所述分类器中还嵌入了一组错误的肯定姿势信号;和
所述一组错误的肯定姿势信号包括以下中的至少一个:(i)咀嚼信号;(ii)通话信号;(iii)吞咽信号;(iv)头部横向移动信号。
17.根据权利要求1所述的姿势检测系统,其中所述一个或多个非暂时性计算机可读介质进一步存储指令,当所述指令被所述系统执行时,会导致所述系统:
监测所述第一电极和所述第二电极的接触状况;和
在检测到所述第一电极或所述第二电极的接触状况出现故障时,生成报警信号。
18.根据权利要求1所述的姿势检测系统,其中:
所述第一电极(102)和所述第二电极(112)包括配置为用于皮肤接触的复合聚合物的表面;和
所述复合聚合物是与导电粒子混合的橡胶聚合物。
19.根据权利要求18所述的姿势检测系统,其中:
所述橡胶聚合物为软硅树脂;和
所述导电粒子包括以下中的至少一个:炭黑、碳纳米管、石墨、银和氯化银。
20.根据权利要求1所述的姿势检测系统,其中:
所述第一电极(102)和所述第二电极(112)包括本征导电聚合物;和
所述本征导电聚合物具有导电原始组合物和防水添加剂。
21.根据权利要求1所述的姿势检测系统,还包括:
扬声器(106);
其中,所述一个或多个非暂时性计算机可读介质进一步存储指令以生成听觉反馈信号,当所述界面信号生成时,所述听觉反馈信号由所述扬声器呈现。
22.一种可穿戴姿势识别系统,包括:
第一听筒(100);
第一电极(102)和第二电极(103),其中所述第一电极和所述第二电极位于所述第一听筒(100)的外表面上,并且其中所述第一电极和所示第二电极测量生物电信号;
第二听筒(110);
第三电极(112)和第四电极(113),其中所述第三电极与所述第四电极位于所述第二听筒的外表面上,并且其中所述第三电极和所述第四电极测量所述生物电信号;和
一个或多个存储指令的非暂时性计算机可读介质,当所述指令被所述系统执行时,会导致所述系统:
分析所述生物电信号以识别所述生物电信号中的姿势信号;和
在识别所述生物电信号中的所述姿势信号时生成界面信号;
其中,对所述生物电信号中的所述姿势信号的所述识别使用以下组合:(i)由所述第一电极和所述第二电极测量的数据;以及(ii)由所述第三电极和所述第四电极测量的数据。
23.根据权利要求22所述的姿势检测系统,还包括:
第五电极,所述第五电极位于所述第一听筒(100)的外表面上;
第六电极,所述第六电极位于所述第二听筒(110)的外表面上;
其中,对所述生物电信号中的所述姿势信号的所述识别使用以下组合:(i)在使用所述第五电极作为第一参考电极下由所述第一电极(102)和所述第二电极(103)测量的数据;以及(ii)在使用所述第六电极作为第二参考电极下由所述第三电极(112)和所述第四电极(113)测量的数据。
24.一种姿势识别系统,包括:
第一电极(102)和第二电极(103),其中所述第一电极和所述第二电极测量生物电信号;
用户界面输出端;和
一个或多个存储指令的非暂时性计算机可读介质,当所述指令被所述系统执行时,会导致所述系统:
生成提示以执行与姿势信号相关联的姿势;
分析所述生物电信号以使用所述姿势信号的存储的特征模型在所述生物电信号中找到所述姿势信号;
在识别所述生物电信号中的所述姿势信号时生成界面信号;和
使用所述姿势信号更新所述存储的特征模型,以生成修改后的存储的特征模型;
其中,所述界面信号输出在所述用户界面输出端上;和
其中,所述存储的特征模型是与所述姿势相关联的默认特征模型。
25.一种用于个人头部可穿戴设备的姿势检测方法,包括:
使用第一电极(102)和第二电极(103)测量(151)生物电信号,其中所述个人头部可穿戴设备包括听筒(100),并且其中所述第一电极(102)位于所述听筒(100)的耳翼(734)上;并且所述第二电极(112)位于所述听筒(100)的耳尖(733)上;
使用所述姿势信号的存储的特征模型,分析(152)所述生物电信号以识别所述生物电信号中的所述姿势信号;和
在识别所述生物电信号中的所述姿势信号时生成(153)界面信号;
其中,所述姿势信号是以下中的一个:(i)双下颚紧咬信号;(ii)三下颚紧咬讯号;和(iii)长下颚紧咬信号。
Claims (27)
1.一种用于个人头部可穿戴设备的姿势检测系统,包括:
第一电极和第二电极,其中所述第一电极和所述第二电极测量生物电信号;和
一个或多个存储指令的非暂时性计算机可读介质,当所述指令被所述系统执行时,会导致所述系统:
使用姿势信号的存储的特征模型,分析所述生物电信号以识别所述生物电信号中的所述姿势信号;和
在识别所述生物电信号中的所述姿势信号时生成界面信号;
其中,所述姿势信号是以下之一:(i)双下颚紧咬信号;(ii)三下颚紧咬讯号;和(iii)长下颚紧咬信号。
2.根据权利要求1所述的姿势检测系统,所述系统配置为使得当用户佩戴所述个人头部可穿戴设备时,所述第一电极或所述第二电极中的至少一个位于所述用户的一只耳朵内或附近。
3.根据权利要求1所述的姿势检测系统,还包括:
用户界面输出端;
其中,所述一个或多个非暂时性计算机可读介质进一步存储指令,当所述指令被所述系统执行时,会导致所述系统:
生成提示以执行与所述姿势信号相关联的姿势;和
使用所述姿势信号更新所述存储的特征模型,以生成修改后的存储的特征模型;
其中,所述界面信号输出在所述用户界面输出端上;和
其中所述存储的特征模型是与所述姿势相关联的默认模型。
4.根据权利要求1所述的姿势检测系统,其中:
所述个人头部可穿戴设备是听筒;和
所述第一电极和所述第二电极位于所述听筒的外表面上。
5.根据权利要求1所述的姿势检测系统,还包括:
第一听筒,其中所述第一电极和所述第二电极位于所述第一听筒的外表面上;
第二听筒;和
第三电极和第四电极,其中所述第三电极与所述第四电极测量所述生物电信号,并且其中所述第三电极和所述第四电极位于所述第二听筒的外表面上;
其中,对所述生物电信号中的所述姿势信号的所述识别使用下列组合:(i)由所述第一电极和所述第二电极测量的第一数据;以及(ii)由所述第三电极和所述第四电极测量的第二数据。
6.根据权利要求5所述的姿势检测系统,其中所述一个或多个非暂时性计算机可读介质存储指令,当所述指令被所述系统执行时,会导致所述系统:
确定所述第一数据和所述第二数据中是否存在所述生物电信号;
其中,如果所述生物电信号在所述第一数据和所述第二数据中都存在,则对所述生物电信号中的所述姿势信号的所述识别使用与所述存储的特征模型的组合;和
其中,如果所述生物电信号仅在所述第一数据和所述第二数据中的一个存在,则对所述生物电信号中的所述姿势信号的所述识别仅使用所述第一数据和所述第二数据中的一个,并采用所述存储的特征模型。
7.根据权利要求1所述的姿势检测系统,其中:
对所述生物电信号中的所述姿势信号的所述识别使用由所述第一电极测量的第一数据和由所述第二电极测量的第二数据的组合;和
所述一个或多个非暂时性计算机可读介质进一步存储指令,当所述指令被所述系统执行时,会导致所述系统:
确定所述第一数据和所述第二数据的共模信号;和
物理地反馈与所述共模信号相反的信号以消除所述共模信号。
8.根据权利要求1所述的姿势检测系统,还包括:
第一听筒,其中所述第一电极和所述第二电极位于所述第一听筒的外表面上;
第二听筒,所述第二听筒连接到所述第一听筒;和
第三电极和第四电极,所述第三电极和所述第四电极位于所述第二听筒的外表面上;
其中,对所述生物电信号中的所述姿势信号的所述识别使用以下组合:(i)由所述第一电极和所述第二电极测量的数据;以及(ii)由所述第三电极和所述第四电极测量的数据。
9.根据权利要求1所述的姿势检测系统,还包括:
第一听筒,其中所述第一电极位于所述第一听筒的外表面上;
第二听筒,所述第二听筒连接到所述第一听筒,其中所述第二电极位于所述第二听筒的外表面上。
10.根据权利要求1所述的姿势检测系统,还包括:
第一听筒,其中所述第一电极和所述第二电极位于所述第一听筒的外表面上;
第三电极,所述第三电极位于所述第一听筒的外表面上;
第二听筒;和
第四电极、第五电极和第六电极,所述第四电极、所述第五电极和所述第六电极位于所述第二听筒的外表面上;
其中,对所述生物电信号中的所述姿势信号的所述识别使用以下组合:(i)使用所述第三电极作为第一参考电极,由所述第一电极和所述第二电极测量的数据;以及(ii)使用所述第六电极作为第二参考电极,由所述第四电极和所述第五电极测量的数据。
11.根据权利要求1所述的姿势检测系统,其中,所述一个或多个非暂时性计算机可读介质存储指令,当所述指令被所述系统执行时,会导致所述系统:
使用滑动窗口对所述生物电信号进行采样;和
使用来自所述滑动窗口的数据,执行对所述生物电信号中的所述姿势信号的所述识别;
其中所述滑动窗口的周期为1至3秒;和
其中所述滑动窗口的采样间隔为0.1至0.5秒。
12.根据权利要求1所述的姿势检测系统,其中:
所述第一电极和所述第二电极生成所述生物电信号的原始数据;和
所述一个或多个非暂时性计算机可读介质存储指令,当所述指令被所述系统执行时,会导致所述系统:
检测以下中的一个:(i)连接;(ii)闲置状态;和
在检测时发送以下中的至少一个:(i)所述生物电信号的所述原始数据;以及(ii)所述生物电信号的所述原始数据的衍生物。
13.根据权利要求1所述的姿势检测系统,其中,所述一个或多个非暂时性计算机可读介质存储指令,当所述指令被所述系统执行时,会导致所述系统:
当没有姿势信号被识别时,确定所述生物电信号的平均功率;和
使用所述确定的平均功率标准化所述生物电信号。
14.根据权利要求1所述的姿势检测系统,其中,所述一个或多个非暂时性计算机可读介质存储指令,当所述指令被所述系统执行时,会导致所述系统:
在低功率高灵敏度模式下运行;
在所述低功率高灵敏度模式下检测潜在姿势信号;和
在检测到所述潜在姿势信号时,触发高功率高精度模式。
15.根据权利要求1所述的姿势检测系统,还包括:
滤波器,所述滤波器用于过滤由所述第一电极和所述第二电极测量的所述生物电信号;
其中,所述滤波器至少包括高通滤波器响应;和
其中,所述高通滤波器响应具有在50Hz和90Hz之间的截止频率。
16.根据权利要求1所述的姿势检测系统,还包括:
滤波器,所述滤波器用于过滤由所述第一电极和所述第二电极测量的所述生物电信号;
其中,所述滤波器配置为抑制以下中的至少一个:100Hz;120Hz;100Hz和120Hz。
17.根据权利要求1所述的姿势检测系统,其中:
所述一个或多个非暂时性计算机可读介质存储指令,使用采样频率对由所述第一电极和所述第二电极测量的所述生物电信号进行采样;和
所述采样频率在125Hz到500Hz之间。
18.根据权利要求1所述的姿势检测系统,其中:
所述存储的特征模型是分类器;
所述分类器中还嵌入了一组错误的肯定姿势信号;和
所述一组错误的肯定姿势信号包括以下中的至少一个:(i)咀嚼信号;(ii)通话信号;(iii)吞咽信号;(iv)头部横向移动信号。
19.根据权利要求1所述的姿势检测系统,其中所述一个或多个非暂时性计算机可读介质进一步存储指令,当所述指令被所述系统执行时,会导致所述系统:
监测所述第一电极和所述第二电极的接触状况;和
在检测到所述第一电极或所述第二电极的接触状况出现故障时,生成报警信号。
20.根据权利要求1所述的姿势检测系统,还包括:
听筒;
其中,所述第一电极位于所述听筒的耳翼上;和
其中,所述第二电极位于所述听筒的耳尖上。
21.根据权利要求1所述的姿势检测系统,其中:
所述第一电极和所述第二电极包括配置为用于皮肤接触的复合聚合物的表面;和
所述复合聚合物是与导电粒子混合的橡胶聚合物。
22.根据权利要求21所述的姿势检测系统,其中:
所述橡胶聚合物为软硅树脂;和
所述导电粒子包括以下中的至少一个:炭黑、碳纳米管、石墨、银和氯化银。
23.根据权利要求1所述的姿势检测系统,其中:
所述第一电极和所述第二电极包括本征导电聚合物;和
所述本征导电聚合物具有导电原始组合物和防水添加剂。
24.根据权利要求1所述的姿势检测系统,还包括:
扬声器;
其中,所述一个或多个非暂时性计算机可读介质进一步存储指令以生成听觉反馈信号,当所述界面信号生成时,所述听觉反馈信号由所述扬声器呈现。
25.一种可穿戴姿势识别系统,包括:
第一听筒;
第一电极和第二电极,其中所述第一电极和所述第二电极位于所述第一听筒的外表面上,并且其中所述第一电极和所示第二电极测量生物电信号;
第二听筒;
第三电极和第四电极,其中所述第三电极与所述第四电极位于所述第二听筒的外表面上,并且其中所述第三电极和所述第四电极测量所述生物电信号;和
一个或多个存储指令的非暂时性计算机可读介质,当所述指令被所述系统执行时,会导致所述系统:
分析所述生物电信号以识别所述生物电信号中的姿势信号;和
在识别所述生物电信号中的所述姿势信号时生成界面信号;
其中,对所述生物电信号中的所述姿势信号的所述识别使用以下组合:(i)由所述第一电极和所述第二电极测量的数据;以及(ii)由所述第三电极和所述第四电极测量的数据。
26.一种姿势识别系统,包括:
第一电极和第二电极,其中所述第一电极和所述第二电极测量生物电信号;
用户界面输出端;和
一个或多个存储指令的非暂时性计算机可读介质,当所述指令被所述系统执行时,会导致所述系统:
生成提示以执行与姿势信号相关联的姿势;
分析所述生物电信号以使用所述姿势信号的存储的特征模型在所述生物电信号中找到所述姿势信号;
在识别所述生物电信号中的所述姿势信号时生成界面信号;和
使用所述姿势信号更新所述存储的特征模型,以生成修改后的存储的特征模型;
其中,所述界面信号输出在所述用户界面输出端上;和
其中,所述存储的特征模型是与所述姿势相关联的默认特征模型。
27.一种用于个人头部可穿戴设备的姿势检测方法,包括:
使用第一电极和第二电极测量生物电信号,其中所述第一电极和所述第二电极位于所述个人头部可穿戴设备上;
使用所述姿势信号的存储的特征模型,分析所述生物电信号以识别所述生物电信号中的所述姿势信号;和
在识别所述生物电信号中的所述姿势信号时生成界面信号;
其中,所述姿势信号是以下中的一个:(i)双下颚紧咬信号;(ii)三下颚紧咬讯号;和(iii)长下颚紧咬信号。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR2005020 | 2020-05-19 | ||
FR2005020 | 2020-05-19 | ||
PCT/IB2021/054334 WO2021234603A1 (en) | 2020-05-19 | 2021-05-19 | Gesture detection system for personal head wearable device |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115516873A true CN115516873A (zh) | 2022-12-23 |
Family
ID=72801544
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180032391.3A Pending CN115516873A (zh) | 2020-05-19 | 2021-05-19 | 个人头部可穿戴设备的姿势检测系统 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11494001B2 (zh) |
EP (1) | EP4154552A1 (zh) |
CN (1) | CN115516873A (zh) |
WO (1) | WO2021234603A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11656854B2 (en) * | 2021-08-30 | 2023-05-23 | Huawei Technologies Co., Ltd. | Methods and devices for computing a memory size for software optimization |
US20240168567A1 (en) * | 2022-11-18 | 2024-05-23 | Meta Platforms Technologies, Llc | Power-efficient processing of neuromuscular signals to confirm occurrences of user gestures, and systems and methods of use thereof |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5692517A (en) * | 1993-01-06 | 1997-12-02 | Junker; Andrew | Brain-body actuated system |
WO2001037728A1 (en) * | 1999-11-24 | 2001-05-31 | Nuvasive, Inc. | Electromyography system |
EP2268056A1 (en) * | 2003-04-18 | 2010-12-29 | Koninklijke Philips Electronics N.V. | Personal audio system with earpiece remote controller |
KR100652010B1 (ko) * | 2005-12-02 | 2006-12-01 | 한국전자통신연구원 | 이물기를 이용한 문자 형성 장치 및 방법 |
WO2013017985A1 (en) * | 2011-08-03 | 2013-02-07 | Koninklijke Philips Electronics N.V. | Command detection device and method |
US8755873B2 (en) * | 2012-09-21 | 2014-06-17 | Welch Allyn, Inc. | Evaluation of the quality of electrode contact with a skin surface |
US9955895B2 (en) * | 2013-11-05 | 2018-05-01 | The Research Foundation For The State University Of New York | Wearable head-mounted, glass-style computing devices with EOG acquisition and analysis for human-computer interfaces |
US9526433B2 (en) * | 2014-09-12 | 2016-12-27 | Verily Life Sciences Llc | Wrist-mounted electrocardiography device |
US10852829B2 (en) * | 2016-09-13 | 2020-12-01 | Bragi GmbH | Measurement of facial muscle EMG potentials for predictive analysis using a smart wearable system and method |
US20200029882A1 (en) * | 2017-01-20 | 2020-01-30 | Figur8, Inc. | Wearable sensors with ergonomic assessment metric usage |
US20190192077A1 (en) * | 2017-12-07 | 2019-06-27 | 10115045 Canada Inc. | System and method for extracting and analyzing in-ear electrical signals |
-
2021
- 2021-05-19 CN CN202180032391.3A patent/CN115516873A/zh active Pending
- 2021-05-19 EP EP21726998.4A patent/EP4154552A1/en active Pending
- 2021-05-19 WO PCT/IB2021/054334 patent/WO2021234603A1/en unknown
-
2022
- 2022-05-20 US US17/750,071 patent/US11494001B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP4154552A1 (en) | 2023-03-29 |
US20220276723A1 (en) | 2022-09-01 |
WO2021234603A4 (en) | 2022-01-27 |
WO2021234603A1 (en) | 2021-11-25 |
US11494001B2 (en) | 2022-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20190192077A1 (en) | System and method for extracting and analyzing in-ear electrical signals | |
JP5577449B2 (ja) | 脳波検出に適する補聴器およびそのような補聴器を適応する方法 | |
CN110996782B (zh) | 耳内电势传感器 | |
US11494001B2 (en) | Gesture detection system for personal head wearable device | |
US10617297B2 (en) | Earpiece with in-ear electrodes | |
JP6580497B2 (ja) | 筋電信号を用いて顔表情を高い精度で識別する装置、デバイス、プログラム及び方法 | |
US10213157B2 (en) | Active unipolar dry electrode open ear wireless headset and brain computer interface | |
JP6452248B2 (ja) | 筋電信号を用いて顔表情を識別するデバイス、端末及びプログラム | |
US20220218941A1 (en) | A Wearable System for Behind-The-Ear Sensing and Stimulation | |
JP6685891B2 (ja) | フィルタ処理及び周波数判定処理を用いた生体信号処理装置、プログラム及び方法 | |
US20220394396A1 (en) | Control of parameters of hearing instrument based on ear canal deformation and concha emg signals | |
JP6695817B2 (ja) | 単位空間からの離隔度合いで判定を行う生体信号処理装置、プログラム及び方法 | |
JP6821549B2 (ja) | 加速度成分の代表値で生体信号発生を判定する生体信号処理装置、プログラム及び方法 | |
JP6810682B2 (ja) | 加速度成分の代表値で周期的生体信号発生を判定する生体信号処理装置、プログラム及び方法 | |
US20220054842A1 (en) | Assessing responses to sensory events and performing treatment actions based thereon | |
JP7082956B2 (ja) | 信号データに応じた基準値に基づき生体信号の計数を行う生体信号処理装置、プログラム及び方法 | |
JP7373459B2 (ja) | 頭部を後方から挟み込むフレームを備えた生体信号取得装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |