CN111867475B - 次声生物传感器系统和方法 - Google Patents
次声生物传感器系统和方法 Download PDFInfo
- Publication number
- CN111867475B CN111867475B CN201980017070.9A CN201980017070A CN111867475B CN 111867475 B CN111867475 B CN 111867475B CN 201980017070 A CN201980017070 A CN 201980017070A CN 111867475 B CN111867475 B CN 111867475B
- Authority
- CN
- China
- Prior art keywords
- user
- data
- received data
- acoustic
- infrasound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/02—Measuring pulse or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B7/00—Instruments for auscultation
- A61B7/02—Stethoscopes
- A61B7/04—Electric stethoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
- A61B5/0816—Measuring devices for examining respiratory frequency
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6813—Specially adapted to be attached to a specific body part
- A61B5/6814—Head
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B7/00—Instruments for auscultation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/06—Measuring blood flow
- A61B8/065—Measuring blood flow to determine blood output from the heart
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02438—Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6813—Specially adapted to be attached to a specific body part
- A61B5/6814—Head
- A61B5/6815—Ear
- A61B5/6817—Ear canal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B7/00—Instruments for auscultation
- A61B7/001—Detecting cranial noise, e.g. caused by aneurism
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B7/00—Instruments for auscultation
- A61B7/003—Detecting lung or respiration noise
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
- A61B8/4483—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer
- A61B8/4488—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer the transducer being a phased array
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/56—Details of data transmission or power supply
- A61B8/565—Details of data transmission or power supply involving data transmission via a network
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Cardiology (AREA)
- Pulmonology (AREA)
- Physiology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Acoustics & Sound (AREA)
- Otolaryngology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Hematology (AREA)
- Neurosurgery (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
一种包括头戴式套件和便携式装置的便携式次声人体活动监测系统。所述头戴式套件配备有一组传声器和辅助传感器,所述辅助传感器包括温度计、陀螺仪和加速度计。所述一组传声器检测所述可听频率带宽和所述次声带宽中的声学信号。所述头戴式套件可具有耳机或头戴式耳机的形式。所监测的次声是与大脑活动相关的血液流动和振荡的结果,并且导致测量一系列参数,包括心率、呼吸速率等。可通过在所述移动装置上运行的软件来监测所述大脑和身体活动。所述移动装置可以是可穿戴的。本发明可用于生物反馈。
Description
相关申请
本申请根据35 USC 119(e)要求2018年2月13日提交的美国临时申请号62/629,961的权益,该临时申请的全部内容以引用方式并入本文。
发明背景
身体健康对人的健康和幸福至关重要。身体活动监测对于我们对健康和身体功能及其对外部刺激的反应的理解至关重要。
监测个人健康和身体功能目前由大量独立的医疗装置和离散的监测装置执行。心率、体温、呼吸、心脏功能和血压由独立装置测量。当前监测装置的医疗版本为测量准确度设定了标准,但它们牺牲了可用性、成本和便利性。身体功能监测装置的消费者版本一般更为方便且价格更为低廉,但它们通常不完整,并且在许多情况下也不准确。
发明内容
声学生物传感器技术的发明将医疗装置在整个生物特征数据范围内的精度与所需的便利性、低成本和精度相结合,以使健康保健监测工作广泛可用且有效。
因此,需要一种可能便携的身体活动监测装置,该装置可以是精确的、可访问的、易于使用且具有成本效益的。例如,此类装置可允许在延长的时间段和广泛的情况下实时监测身体活动。
本发明可被实施为可访问且易于使用的身体活动监测系统或生物传感器系统,包括头戴式换能器系统和处理系统。头戴式换能器系统配备有一个或多个声学换能器,例如传声器或能够检测来自身体的声学信号的其他传感器。声学换能器检测次声带和/或可听频带中的声学信号。头戴式换能器系统还优选地包括辅助传感器,该辅助传感器包括温度计、加速度计、陀螺仪等。头戴式换能器系统可采取头戴式套件、耳塞、耳机和/或头戴式耳机的形式。在许多情况下,声学换能器安装在用户耳道的外部、入口处和/或内部。可穿戴换能器系统可与功能齐全的音频耳塞或耳机离散地集成,从而准许监测功能以在用户听音乐、拨打电话或进行正常的日常生活时收集生物数据。
一般来讲,所监测到的生物声学信号是血液流动和其他与身体活动相关的振动的结果。头戴式换能器系统将所检测到的声学信号的输出数据流和辅助传感器所生成的其他数据提供给处理系统(诸如移动计算装置),例如智能电话或智能手表或与换能器系统和/或移动计算装置连接的其他携带的或可穿戴的移动计算装置和/或服务器系统。
声学换能器通常包括至少一个传声器。可添加更多传声器。例如,传声器可被实施在耳机中,该耳机检测用户耳道中声波的气压变化并且将这些变化转换为电信号。另外地或在替代方案中,其他传感器可用于检测生物声学信号,诸如位移传感器、接触声学传感器、应变传感器,仅列举一些实例。
头戴式换能器系统可另外具有扬声器,该扬声器生成可听频率范围内的声音,但也可以生成次声范围内的声音。本创新允许监测例如生命体征,包括心率和呼吸速率、体温,以及血压和血液循环。可添加其他传声器来收集和记录背景噪声。背景传声器的目标中的一个目标可以是帮助区分源自用户大脑和用户身体的声学信号与外部噪声。此外,背景传声器可监测外部可听的和次声噪声,并且可帮助识别其来源。因此,用户可检查用户环境中次声噪声的存在。
身体活动可通过在处理系统和/或远程处理系统上运行的软件进行监测和表征。例如,本发明可用于监测冥想、锻炼、睡眠等期间的身体活动。它可用于建立大脑和身体状态的最佳水平,并且评估环境、锻炼、日常活动效果对表现的影响,并且可用于生物反馈,等等。
一般来讲,根据一个方面,本发明的特征在于一种生物传感器系统,该生物传感器系统包括用于检测来自用户的经由耳道的声学信号的声学传感器和用于分析由声学传感器检测到的声学信号的处理系统。
在实施方案中,系统声学信号包括次声和/或可听声音。此外,系统优选地还具有例如用于检测用户的移动的辅助传感器。另外,用于检测用户的体温的辅助传感器是有帮助的。
在许多情况下,声学传感器被结合到头戴式套件中。头戴式套件可包括一个或多个耳塞。另外,用于阻塞用户的耳道的一些装置可用于提高声学信号的检测效率。阻塞装置可包括耳塞盖。
优选地,在用户的两个耳道中都存在声学传感器,并且处理系统使用来自两个传感器的信号来提高身体过程(诸如心脏活动和/或呼吸)的表征的准确度。
通常,处理系统分析声学信号以分析用户的心动周期和/或呼吸周期。
一般来讲,根据另一方面,本发明的特征在于一种用于用生物传感器系统监测用户的方法。在此,该方法包括使用声学传感器来检测来自用户的经由耳道的声学信号,并且分析由声学传感器检测到的声学信号以监测用户。
一般来讲,根据另一方面,本发明的特征在于耳塞式头戴式换能器系统。该耳塞式头戴式换能器系统包括突出到用户耳道中的耳道延伸部和在耳道延伸部中的用于检测来自用户的声学信号的声学传感器。
一般来讲,根据另一方面,本发明的特征在于一种用户装置,该用户装置执行在该用户装置的触摸屏显示器上为生物传感器系统提供用户界面的应用程序。该生物传感器系统分析来自用户的次声学信号以评估用户的身体状态。优选地,用户界面呈现显示器,该显示器将用户的状态类比成天气并且/或者呈现次声学信号的曲线图和/或日历屏幕,以用于基于次声学信号来访问过去的生命状态概要。
一般来讲,根据另一方面,本发明的特征在于一种生物传感器系统和/或其操作方法,包括用于检测包括来自用户的次声学信号的声学信号的一个或多个声学传感器,以及用于分析声学信号以促进以下项中的一个或多个的处理系统:环境噪声监测;血压监测;血液循环评估;大脑活动监测;昼夜节律监测;表征和/或帮助治疗疾病,包括肥胖症、心理健康、时差反应和其他健康问题;冥想;睡眠监测;生育力监测;以及/或者月经周期监测。
一般来讲,根据又一方面,本发明的生物传感器系统和/或其操作方法,包括用于检测来自用户的声学信号的声学传感器,用于检测来自用户的环境的声学信号的背景声学传感器,以及用于分析来自用户和来自环境的声学信号的处理系统。
在实例中,生物传感器系统和方法可使用背景声学传感器来表征环境中的可听声音和/或次声。另外,生物传感器系统和方法将经常通过参考来自环境的所检测到的声学信号和/或来自辅助传感器的信息来减少来自用户的所检测到的声学信号中的噪声。
现在将参考附图更详细地描述本发明的以上和其他特征,包括各部分的构造和组合的各种新颖细节以及其他优点,并且在权利要求中指出。应当理解,体现本发明的特定方法和装置以举例的方式示出,而不是对本发明进行限制。在不脱离本发明范围的情况下,本发明的原理和特征可用于多种多样的实施方案中。
附图说明
在附图中,贯穿不同的视图,附图标记指代相同的部分。附图不一定按比例绘制;而是将重点放在说明本发明的原理上。在附图中:
图1是示出根据本发明的生物传感器系统的头戴式换能器系统的示意图,该头戴式换能器系统包括用户装置和云服务器系统;
图2是人类听力图范围的图,示出了用对应于在10Hz以下可检测到的心脏活动的感兴趣信号描绘不同人类来源声音的范围;
图3是随着以秒为单位的时间变化的任意单位的幅值曲线图,示出了用位于右耳道(虚线)和左耳道(实线)内部的传声器记录的原始数据;
图4A是对应于心动周期的单个波形的曲线图,其具有随着以秒为单位的时间变化的由位于耳道内部的传声器记录的任意单位的幅值,需注意:0.5秒左右的大幅值信号对应于心室收缩。图4B示出了具有随着以秒为单位的时间变化的任意单位的幅值的心动周期的多个波形,示出了用位于耳道内部的传声器记录的超过30秒的次声活动;
图5A和图5B是图4B中呈现的数据的功率谱。图5A示出了以分贝为单位的随频率变化的对数标度的大小。图5B示出了任意单位的线性标度的幅值。图4A中的虚线指示对应于用EEG可检测到的不同脑电波的范围。图5B中低于10Hz的突出峰主要对应于心动周期;
图6是示出本发明的耳塞式头戴式换能器系统的示意图;
图7是示出耳塞式头戴式换能器系统的印刷电路板的示意图;
图8是示出用于头戴式换能器系统的控制模块的示意图;
图9是控制模块的左右模拟信道中的每一者的电路图;
图10描绘了根据本发明的实施方案的示例性耳机/耳塞式换能器系统的分解视图;
图11是示出生物传感器系统50的操作的框图;
图12是根据本发明的实施方案的生物传感器数据的信号处理的流程图;
图13A、图13B、图13C和图13D是随时间变化的曲线图,示出了用于提取心脏波形并且获得生物物理指标(诸如心率、心率变异性、呼吸性窦性心律不齐、呼吸速率)的数据分析阶段;
图14示出了数据评估流程并且呈现了数据分析流程;
图15是示出网络1200的示意图,该网络支持针对各种用户往返于生物传感器系统50的通信;
图16A至图16D示出了在用户装置106上执行的应用程序的用户界面的四个示例性屏幕截图。
具体实施方式
下文将参考附图更全面地描述本发明,其中示出了本发明的例示性实施方案。然而,本发明可以许多不同的形式来实施,并且不应该被解释为限于本文所阐述的实施方案;相反,提供这些实施方案是为了使得本公开透彻且完整,并且将向本领域的技术人员充分传达本发明的范围。
如本文所用,术语“和/或”包括一个或多个相关联列出项目的任何和所有组合。此外,单数形式和冠词“一”、“一个”和“所述”也旨在包括复数形式,除非另有明确说明。还应当理解术语:包括、包含和/或含有在本说明书中使用时,指定存在陈述的特征、整数、步骤、操作、元件和/或部件,但是并不排除存在或添加一个多个其他特征、整数、步骤、操作、元件、部件和/或其群组。此外,应当理解,当将包括部件或子系统的元件称为以及/或者示出为连接或耦合到另一个元件时,该元件可直接连接或耦合到另一个元件,或者可存在中间元件。
除非另有限定,否则本文中所使用的所有术语(包括技术和科学术语)具有与本发明领域内的普通技术人员通常理解的意义相同的意义。还应当理解,诸如在常用词典中限定的那些术语的术语应被解释为具有与它们在相关领域的上下文中的意义一致的意义,并且将不被理想化或过于形式化地解释,除非本文明确限定。
本发明的系统利用由用户的血液流动、肌肉、机械运动和神经活动所生成的声学信号。该系统采用嵌入到头戴式换能器系统(例如,头戴式套件或耳机或头戴式耳机)以及可能嵌入到其他位置的声学换能器(例如,传声器和/或其他传感器)来表征用户的生理活动及其可听的和次声环境。声学换能器(诸如一个传声器或传声器阵列)通常从用户的耳道中检测次声和可听频率范围中的声音。其他辅助传感器可包括但不限于温度计、加速度计、陀螺仪等。
本发明的系统使得能够进行用户的生理活动记录、存储、分析和/或生物反馈。该系统可作为在本地处理系统上执行的应用程序的一部分进行操作,并且还可包括一个或多个远程处理系统,诸如基于web的计算机服务器系统,以进行更广泛的存储和分析。本发明的系统提供关于用户的生理活动的信息,包括但不限于心率及其特征,呼吸及其特征、体温、大脑的血液流动,包括但不限于循环和压力、神经元振荡、用户动作等。
本发明的某些实施方案包括一般放置在一个或两个耳机上的一个或多个背景或参考传声器,用于记录源自用户环境的声音,特别是次声,但通常还包括可听声音。这些信号旨在用于使系统能够将源自用户身体和用户环境的声音进行区分并且加以辨别,并且还可以表征环境。参考传声器还可用于监测环境中可听的和次声的级别和来源。
以下描述仅提供示例性实施方案,并且不旨在限制本公开的范围、适用性或配置。相反,一个或多个示例性实施方案的以下描述将使本领域的技术人员能够实施示例性实施方案。应当理解,在不脱离所附权利要求书所阐述的精神和范围的情况下,可以对元件的功能和布置进行各种改变。
本发明的各种实施方案可包括组件,所述组件无线地以及/或者经由有线接口连接到相关联的电子装置,该相关联的电子装置提供以下项中的至少一者:数据的预处理、处理和/或分析。带有嵌入式传感器的头戴式换能器系统可以无线连接以及/或者有线连接到处理系统,该处理系统在辅助装置(通常为商品,便携式的电子装置)中实施,以离散地提供数据记录、预处理、处理和分析,并且支持其他功能,包括但不限于互联网访问、数据存储、传感器与其他生物特征数据的集成、用户校准数据存储,以及用户个人数据存储。
如本文以及贯穿本公开内容所提及的生物传感器监测系统的处理系统可以多种方式实施。该处理系统一般应该具有无线和/或有线通信接口,并且应该具有某种类型的能量存储单元,诸如用于供电的电池以及/或者具有固定的有线接口以获得功率。无线功率传输是另一种选项。实例包括(但不限于)蜂窝电话、智能电话、个人数字助理、便携式计算机、寻呼机、便携式多媒体播放器、便携式游戏机、固定式多媒体播放器、膝上型计算机、计算机服务、平板计算机、电子阅读器、智能手表(例如,iWatch)、个人计算机、电子自助服务终端、固定式游戏机、数字机顶盒和基于互联网的应用程序、运行Android或IOS操作系统的支持GPS的智能电话、GPS单元、跟踪单元、为此特定目的制造的便携式电子装置、个人数字助理、MP3播放器、iPad、相机、手持装置、寻呼机。处理系统也可以是可穿戴的。
图1描绘了已根据本发明的原理构造的生物传感器系统50的实例。
更详细地,在所示出的实施方案的情况下,用户10佩戴左耳塞102和右耳塞103形式的头戴式换能器系统100。左耳塞102和右耳塞103安装在用户的两个耳道的入口处或内部。耳塞的壳体可由一种或多种柔性的、柔软的材料成形和形成。可提供各种颜色、形状和尺寸的耳机。嵌入到左耳塞102和右耳塞103或头戴式耳机中的传感器将有助于促进消费者/市场的接受度,即广泛的通用用途。
左耳塞102和右耳塞103经由系留件或耳塞连接件105进行连接。控制模块104被支承在该系留件105上。
应当注意,这仅仅是一个可能的实施方案,其中头戴式换能器系统100被实施为一对系留式耳塞。
次声
生物声学信号101在身体内部通过例如呼吸、心跳、咳嗽、肌肉运动、吞咽、咀嚼、身体动作、打喷嚏、血液流动等生成。可听的和次声声音还可以从外部来源(诸如空调系统、车辆内部、各种工业过程等)生成。
声学信号101表示叠加在正常环境压力上的波动的压力变化,并且可由其频谱频率分量限定。频率范围从20Hz至20kHz的声音表示人类通常听到的声音,并且被指定为落入可听范围内。频率低于可听范围的声音被称为次声。两者之间的界限是任意的,除了它们的频率和人们感知它们的方式的效率之外,次声和可听范围内的声音没有物理上的区别。此外,如果通过触觉感知声压级别足够高,则次声对于人类通常是可感知的。
声音的级别通常根据它所表示的压力变化的大小来限定,其可以被测量并且不取决于声音的频率。耳道内部的生物来源的声音大多在次声范围内。如本发明中所提出的利用例如耳塞阻塞耳道会放大耳道中的身体次声并且促进信号检测。
图2示出了对应于心脏活动、呼吸和讲话的频率范围。因此,用标准的传声器电路很难检测到低于10Hz的体内的声音,这些体内的声音具有源自多个源(包括但不限于电路本身和环境声音)的典型量的噪声。电路对噪声的最大影响是电压噪声。因此,本发明的一些实施方案使用传声器阵列并且通过对信号求和来降低噪声。这样,相关的真实信号相加,而具有白噪声特征的电路噪声被降低。
电路噪声的其他来源包括但不限于:
电阻:原则上,电阻具有为约1%的数量级的容差。因此,电阻器两端的电压降可达1%或更高。该电阻器特征也会随着电阻器寿命而变化。此类变化不会在短时间范围内带来误差。然而,此类变化会给电路的基线电压引入可能的偏移量。典型电阻器的电流噪声范围为0.2至0.8(mu V/V)。
电容:电容器具有为约5%的数量级的容差。因此,电容器两端的电压降可达5%或更高,典型值甚至达到20%。这可导致电路中的电压(进而导致信号)整体下降,但是很少会出现快速变化。在极冷和极热的温度下,电容器的电容也可能降低。
传声器:典型的传声器噪声级别为约1%-2%的数量级,并且主要受到电(1/f)噪声的影响。
运算放大器:对于低传声器阻抗,电噪声(也称为电压或1/f)占主导地位。一般来讲,较小尺寸的传声器具有较高的阻抗。在配备有高阻抗的此类系统中,电流噪声可开始占主导地位。此外,如果输入信号太大,运算放大器可饱和,这可导致一段时间的信号失真。在低阻抗系统中,传声器的噪声是主要的噪声源(不是运算放大器)。
电压击穿:原则上,如果施加过高的电压,所有部件都会开始劣化。具有低电压部件的系统是避免电压击穿的一种解决方案。
生物次声信号
返回到图1,用户10通常被提供有或使用处理系统106,例如,智能电话、平板计算机(例如,iPad品牌的计算机)、智能手表(例如,iWatch品牌的智能手表)、膝上型计算机或其他便携式计算装置,该便携式计算装置具有经由广域蜂窝数据网络或WiFi网络或其他无线连接(诸如蓝牙到其他电话、互联网或其他无线网络)的连接,用于将数据传输到可能的用作处理系统的一部分的基于web的云计算机服务器系统109。
头戴式换能器系统100通过声学传感器(诸如传声器)响应于来自声音的振动来捕获身体和环境声学信号。
在一些实例中,左耳塞102和右耳塞103连接到中间控制器模块104,该中间控制器模块保持到处理系统或用户装置106和/或服务器系统109的无线连接107。继而,用户装置106通常保持诸如经由蜂窝网络或其他宽带网络或Wi-Fi网络到云计算机服务器系统109的无线连接108。从任一个系统,可以从医疗机构105、医疗记录存储库112、可能的其他用户装置111中获得信息。
应当注意,在一些具体实施中,控制器模块104与耳塞或其他头戴式套件不是离散的。例如,该控制器模块可被集成到耳塞中的一者或两者中。
图3和图4A、图4B示出了用位于耳道内部的传声器记录的示例性身体生理活动。
例如,振动通过例如血液由于心动周期的突然机械事件的加速和减速和在大脑神经和循环系统中的表现产生。
图5A和图5B示出了在图4B的人耳道内部测量的声学信号的功率谱。图5A具有对数标度。虚线指示对应于EEG可检测到的不同脑电波的范围。图5B以线性标度示出了幅值。低于10Hz的突出峰主要对应于心动周期。
神经组织的高代谢需求要求神经元活动与脑实质内的血液流动之间紧密协调,这被称为机能充血(参见“The Cerebral Circulation”,Marilyn J.Cipolla,Morgan&Claypool Life Sciences;2009年,https://www.ncbi.nlm.nih.gov/books/NBK53081/)。然而,为了使流量增加到需要它的大脑区域,上游血管必须扩张,以避免下游微血管压力降低。因此,协调的血流反应在大脑中发生,这可能是由于从远侧到近侧动脉区段的传导的或流量介导的血管舒张,以及响应于压力降低而增加流量的肌源性机制。
活跃的大脑区域需要更多的氧气,因此,更多的血液流入大脑的更活跃部分。另外,神经组织可生成振荡活动—膜电位的振荡或动作电位的节律模式。耳道处和耳道中的声音是血液流动、肌肉和神经活动的结果。这样,放置在耳道中或附近的传声器可检测到这些声学信号。所检测到的声学信号可用于例如推断大脑活动级别、血液循环,表征心血管系统、心率,甚至确定大脑活动的空间来源。
用EEG检测到的人脑活动一般符合1/f“粉红噪声”衰减,并且被规范δ(0–4Hz)和α(8–13Hz)频带中的突出峰所打断(参见“Spectral Signatures of Reorganised BrainNetworks in Disorders of Consciousness”,Chennu等人,2014年10月16日,https://doi.org/10.1371/journal.pcbi.1003887)。
在通常情况下,用户10佩戴头戴式换能器系统100,诸如耳塞或其他耳机或另一种类型的头戴式套件。换能器系统及其传声器或其他声学传感器(即,传感器)测量传播通过用户身体的声学信号。所示出的实例中的声学传感器位于耳道的外部或入口处或者位于耳道的内部,以检测身体的次声和其他声学信号。
最适合此目的的传声器是驻极体电容器,因为它们在次声频率范围内具有相对平坦的响应(参见“Response identification in the extremely low frequency regionof an electret condenser microphone”,Jeng,Yih-Nen等人,Sensors(Basel,Switzerland),卷11,1(2011):623-37,https://www.ncbi.nlm.nih.gov/pubmed/22346594)并且在低频下具有较低的本底噪声(“APortable Infrasonic DetectionSystem”,Shams,Qamar A.等人,2008年8月19日,https://ntrs.nasa.gov/search.jsp?R=20080034649)。可采用各种尺寸的传声器—直径从2毫米(mm)至长达9mm。单个大型传声器一般将在低频时噪声较小,同时可以实施多个较小的传声器来捕获不相关的信号。
所检测到的声音通过例如蓝牙、WiFi或有线连接107被输出到处理系统106。可能集成到耳塞(102、103)中的一者或两者中的控制器模块104保持无线数据连接107。至少一些数据分析将经常使用处理系统用户装置106来执行,或者可将数据传输到作为处理系统的部件的基于web的计算机服务器系统109,或者可在用户装置106和基于web的计算机服务器系统109之间共享处理。所检测到的大脑声音的输出可在例如计算机、虚拟服务器、超级计算机、膝上型计算机等处进行处理,并且由计算机上运行的软件进行监测。因此,通过该分析,用户可实时深入了解生物特征活动和生命体征,或者以后可以查看数据。
图3的曲线图示出了使用放置在耳道中的传声器记录的示例性数据。该数据示出具有对应于在左耳和左耳中具有一致检测的心室收缩1303的突出峰的心脏波形。使用放置在耳道中的传声器检测到的心脏波形的分析可用于提取与心血管系统相关的精确信息,诸如心率,心率变异性、心律不齐、血压等。
图5A和图5B的曲线图示出了从使用放置在耳道中的传声器收集的图4B中所示的30秒的数据中获得的功率谱的实例。对用户大脑活动的处理可导致针对给定频率范围估计信号的功率。所检测到的次声可由软件处理,该软件确定进一步的动作。例如,可将实时数据与先前用户的数据进行比较。还可以通过机器学习算法,通过直接或远程地(例如通过互联网)连接到计算机来监测所检测到的大脑声音。响应可在用户的智能电话或智能手表上提供警报。
处理系统用户装置106优选地具有在装置的触摸屏显示器上呈现的用户界面,该用户界面不需要保留任何个人性质的信息。因此,即使在检测到身体活动和生命体征时,也可以保留用户的匿名性。在这种情况下,可由耳机监测脑电波,并且将所检测到的身体声音传输到计算机,而计算机不会拥有任何标识信息。
此外,用户可具有在处理系统用户装置106上运行的应用程序,该应用程序接收所检测到的、通常是数字化的次声,处理头戴式换能器系统100的输出,并且确定是否应为用户生成对所检测到的信号的响应。
本发明的实施方案还可以具有附加的传声器,其目的是检测次声和可听声音的外部源。传声器可以各种角度彼此背对地定向,以捕获源自用户头骨不同部分的声音。如果所标识的声学信号源自用户活动或者是外部噪声的结果,则可使用外部传声器来促进辨别。
外部次声源对人体健康的负面影响已得到广泛研究。次声由自然源以及人类活动产生。次声的示例性源为飞机、汽车、自然灾害、核爆炸、空调单元、雷暴、雪崩、陨石撞击、风、机械、水坝、桥梁,以及动物(例如,鲸鱼和大象)。外部传声器还可用于监测外部次声噪声的级别和频率,并且帮助确定其来源。
生物传感器系统50还可包括音频扬声器,该音频扬声器将允许生成在可听频率范围内的声音,如音乐。另外,头戴式套件可具有嵌入的附加的传感器,例如用于监测用户体温的温度计、陀螺仪,以及用于表征用户动作的加速度计。
虽然已经以具体细节阐述了优选实施方案,但是根据本发明的更广泛的方面,可以预期进一步的实施方案、修改和变化。
耳机
图6示出了左耳塞102和右耳塞103的一种可能的配置。
更详细地,耳塞102、103中的每一者包括耳塞壳体204。壳体204的耳道延伸部205突出进入用户10的耳道中。用于检测来自用户身体的声学信号的声学传感器206-E被容纳在该延伸部205中。
在所示出的实例中,在壳体204的远侧附近提供用于背景和环境声音的扬声器208和另一个背景声学传感器206-B。壳体内还有印刷电路板(PCB)207。
图7是示出用于左耳塞102和右耳塞103中的每一者的印刷电路板207的可能部件的框图。
优选地,PCB 207L,207R中的每一者包含陀螺仪214,用于检测角度旋转,诸如用户10的头部的旋转。在一种情况下,MEMS(微机电系统)陀螺仪被安装在PCB 207上。另外,MEMS加速度计218被包括在PCB 207上,用于检测加速度以及地球重力场内的定向。温度换能器225被包括在内用于感测温度,并且优选地被定位成检测用户10的体温。还可以包括磁力计222,用于检测耳塞在地球磁场中的定向。
另外,在一些实例中,还提供惯性测量单元(IMU)216,用于检测耳塞102、103的移动。
PCB 207还支持到相应的扬声器208的模拟有线扬声器接口210和用于相应的声学传感器206-E和206-B的模拟有线声学接口212。组合的模拟和数字有线模块接口224AD将PCB 207连接到控制器模块104。
图8是示出连接到左耳塞102和右耳塞103中的每一者的控制器模块104的框图。
更详细地,模拟有线接口224AR被提供给右耳塞103的PCB 207R。另外,模拟有线接口224AL被提供给左耳塞102的PCB 207L。右模拟信道226R和左模拟信道226L用作微控制器228与左耳塞102和右耳塞103中的每一者的声学传感器206-E和206-B之间的接口。
右数字有线接口224DR将微控制器228连接到右PCB 207R,并且左数字有线接口224DL将微控制器228连接到左PCB 207L。这些接口允许微控制器228供电并且询问辅助传感器,所述辅助传感器包括左耳塞102和右耳塞103中的每一者的陀螺仪214、加速度计218、IMU 216、温度换能器225,以及磁力计222。
一般来讲,微处理器228处理来自耳塞102、103中的每一者的声学传感器和辅助传感器两者的信息,并且经由由保持数据连接的蓝牙收发器330保持的无线连接107将信息传输到处理系统用户装置106。
在其他实施方案中,处理系统的功能内置在控制器模块104中。
控制器模块104中还设置有电池332,该电池经由有线接口224L、224R向控制器模块104和耳塞102、103中的每个耳塞提供电力。
另外,信息经由蓝牙收发器330接收自处理系统用户装置106,然后由微控制器228处理。例如,针对相应的耳塞102和103中的每一者将由相应的扬声器208再现的音频信息通常从处理系统用户装置106传输并且由蓝牙收发器330接收。然后,微控制器228将对应的音频数据提供给右模拟信道226R和左模拟信道226L。
图9是示出用于右模拟信道226R和左模拟信道226L中的每一者的示例性电路的电路图。
更详细地,右模拟信道226R和左模拟信道226L中的每一者一般包括用于来自相应的耳塞的声学传感器206-E和206-B的模拟信号的采样电路和用于相应的扬声器208的模拟驱动电路。
更详细地,来自声学传感器206-E和206-B的模拟信号由传声器偏置电路311通过电阻器314偏置。在音频编解码器209的输入端处包括用于声学传感器206-B和声学传感器206-E的隔直电容器313。然后,来自声学传感器的经过直流滤波的信号被提供给前置增益放大器302-E/302-B。
前置增益放大器302-E/302-B放大信号以提高处理期间的噪声容限。然后,将302-E/302-B的输出分别馈送到可编程增益放大器(PGA)303-E/303-B。该放大器(通常是运算放大器)通过施加可变增益或放大系数来增大信号幅值。该增益值可通过使用微控制器228的软件来改变。
来自PGA的放大模拟信号303-E/303-B然后由模数转换器(ADC)304-E/304-B数字化。为了根据需要修改该数字信号,应用两个滤波器,即数字滤波器305-E/305-B和双二阶滤波器306-E/306-B。如果需要,还提供侧音电平307-E/307-B,以允许将信号直接发送到连接的扬声器。然后,该数字信号由数字增益和电平控制308-E/308-B进行数字放大。然后,通过数字音频接口(DAI)309-E/309-B将308-E/308-B的输出转换为适当的串行数据格式并且将该串行数字数据310-E/310-B发送到微控制器228。
在另一方面,来自微控制器228的数字音频390由DAI 389接收。在微控制器228的控制下,输出的电平由数字放大器388控制。进一步提供了侧音387以及电平控制386。均衡器385在微控制器228的控制下改变数字音频信号的频谱内容。此外,动态范围控制器384控制动态范围。最终,在数字音频信号被提供给数模转换器382之前,提供数字滤波器383。驱动放大器381响应于来自DAC382的模拟信号向扬声器208供电。
电容器313应该具有足够高的电容,以允许次声频率到达第一放大器,同时消除传声器信号中的低频大时域振荡。这样,它就可以用作高通滤波器。低频处的截止由电容器313和电阻器312控制,使得频率为f<1/(2πR C)的信号将被衰减。因此,电容器313和电阻器312被选择为使得截止频率(f)小于5Hz,并且通常小于2Hz,并且优选地小于1Hz。因此,高于5Hz、2Hz和1Hz的频率分别传递到相应的放大器302-B、302-E。实际上,在本发明的实施方案中,电容器313和电阻器312的值为电容器C=22uF并且电阻器R=50k Ohm,提供的截止频率为~0.1Hz。因此,目前,截止频率小于1Hz,并且通常其应小于0.1Hz,f<<1Hz。其余两个电阻器314分别连接到MICBIAS 311以及接地,电阻值被选定为使单个电阻器居中处于电压供应最大值的1/2。
声学传感器206-E/206-B可以是一种或多种不同的形状,包括但不限于圆形、椭圆形、规则的N边多边形、不规则的N边多边形。可使用各种尺寸的传声器。耳道中可装配2mm-9mm的尺寸。这样的多种尺寸可同时适应大耳道和小耳道的用户。
参考图10,描绘了根据本发明的一些实施方案的头戴式换能器系统100的示例性耳塞102、103,如图1所描绘。
耳塞盖801放置在耳道延伸部205上方。盖801可具有不同的形状和颜色,并且可由不同的材料制成,诸如橡胶、塑料、木材、金属、碳纤维、玻璃纤维,等等。
耳塞102、103具有嵌入式温度换能器225,该嵌入式温度换能器可以是红外检测器。典型的数字温度计可在-40℃至100℃的温度范围内工作,精度为0.25℃。
在示例性系统中,SDA和SCL引脚使用I2C协议进行通信。此类配置允许多个传感器附接到微控制器228上的相同的总线。一旦数字信息用SDA引脚和SCL引脚传递到微控制器228,微控制器就使用已安装的参考库、使用来自温度计制造商的参考曲线将信号转换为物理温度。红外数字温度换能器225可被放置在耳孔附近或耳道自身内。红外数字温度换能器被放置成使得其对提供准确的温度读数的耳朵的区域(诸如内部耳道)具有广阔的视野。温度换能器225可具有盖,以阻止与用户的皮肤接触,从而提高测量的准确度。
传声器或声学传感器阵列206-E/206-B用于使头戴式换能器系统100能够检测体内声音和背景声音。用于检测来自身体的声音的一个或多个传声器206-E可位于耳道的内部或入口处,并且可具有不同的位置和定向。示例性耳机具有扬声器208,该扬声器可播放可听频率范围内的声音,并且可用于回放来自另一电子装置的声音。
耳机壳体204为具有基本蛤壳式设计的两个部分。该耳机壳体保持不同的零件并且可具有不同的颜色、形状,并且可由不同的材料制成,诸如塑料、木材、金属、碳纤维、玻璃纤维,等等。
在耳机壳体204内部可能存在电池806和PCB 207。电池806可以为例如锂离子。PCB207包括例如如图7所示的电路。另外,在一些实施方案中,控制模块226被进一步在PCB 207上实施。
优选地,添加背景外部传声器或传声器阵列206-B以检测低频范围内的环境声音。然后,所检测到的声音被数字化并且被提供给微控制器228。
传声器放置和耳塞盖801的组合可被设计成将耳道内的堵耳效应最大化(“Occlusion Effect”--What it is and What to Do About it”,Mark Ross,2004年1月/2月,https://web.archive.org/web/20070806184522/http:/www.hearingresearch.org/Dr.Ross/occlusion.htm),从而在耳道内提供高达40dB的低频声音放大。耳朵可以用耳塞盖801进行部分或完全密封,并且将801放置在耳道内可以在中间插入距离处将堵耳效应最大化(“Bone Conduction and the Middle Ear”,Stenfelt,Stefan,(2013).10.1007/978-1-4614-6591-1_6.,https://www.researchgate.net/publication/278703232_Bone_Conduction_and_the_Mi ddle_Ear)。
电路板207上的加速度计218允许更好地区分与用户的动作相关的内部声音的来源。带有三个轴线(x,y,z)的示例性加速度计附接到PCB 207或者它可被嵌入到微控制器228中。示例性加速度计218可以是模拟的,具有三个轴线(x,y,z),附接到微控制器228。加速度计218可被放置在耳塞102、103的长杆状节段809中。示例性加速度计通过加速度移动感测元件时的电容变化来工作。加速度计的每个轴线的输出端都链接到微控制器228中的模拟引脚。然后,微控制器可使用WiFi、蜂窝服务或蓝牙将该数据发送到用户的移动装置或云。微控制器228还可以使用加速度计数据来执行本地数据分析或改变图9中所示的右模拟信道226R和左模拟信道226L中的数字电位计中的增益。
采用PCB 207上的陀螺仪214作为辅助动作检测和表征系统。此类陀螺仪可以是低功率的,具有三个轴线(x,y,z),附接到将被嵌入到PCB 207中微控制器228。来自陀螺仪214的数据可使用例如用于数字陀螺仪信号的I2C协议发送到微控制器228。然后,微控制器228可使用WiFi、蜂窝服务或蓝牙将来自陀螺仪的每个轴线的数据发送到用户的移动装置处理系统106或云计算机服务器系统109。微控制器228还可以使用陀螺仪数据来执行本地数据分析或改变图9中所示的右模拟信道226R和左模拟信道226L中的增益。
数据采集系统
图11描绘了示出根据本发明的实施方案的生物传感器系统50的操作的框图。在此呈现的生物传感器系统50是用于处理来自嵌入到头戴式换能器系统100的头戴式套件或耳机系统中的多个传感器的生物反馈数据的示例性方式。
微控制器228从传感器阵列911收集信号,该传感器阵列包括但不限于声学换能器,例如传声器206-E/206-B、陀螺仪214、加速度计218、温度换能器225、磁力计222和/或惯性测量单元(IMU)216。
可将数据从传感器阵列911传输到滤波器和放大器912。滤波器912可例如用于滤除低频或高频以将信号调整到期望的频率范围。放大器912可具有例如可调节的增益,以避免由强烈的用户动作引起的信号饱和。增益水平可由用户装置106估计,并且通过无线接收器和发射器传输回微控制器228。放大器和滤波器912连接到微控制器228,该微控制器选择在任何给定时间要使用哪些传感器。微控制器228可以不同的时间间隔对来自传感器911的信息进行采样。例如,与声学传感器206-E和声学传感器206-B相比,可以按较低的速率对温度进行采样。微控制器228经由蓝牙收发器330将所收集的数据发送到处理系统用户装置106,并且经由蓝牙收发器330从处理系统用户装置106获取输入,以调整放大器912中的增益并且/或者根据从传感器阵列911获取的数据来修改采样速率。数据经由链路107在带有蓝牙收发器330的微控制器中被发送/接收。
数据由头戴式换能器系统100的微控制器228经由蓝牙收发器330发送到处理系统用户装置106。蓝牙收发器921支持用于用户装置106的数据无线链路107的另一端。
本地信号处理模块922在用户装置106的中央处理单元上执行,并且使用来自头戴式换能器系统110的数据,并且可将其与本地存储在本地数据库924中的数据进行组合,然后再将其发送到本地分析模块923,该本地分析模块通常还在用户装置106的中央处理单元上执行。
本地信号处理模块922通常决定将哪一部分数据发送到云计算机服务器系统109的远程存储装置933。例如,为了促进信号处理,仅可发送等于下一个二的幂的样本数量N。这样,从第1至第(N-1)个样本,将数据从本地信号处理单元922发送到本地存储装置924,到第N个样本时,将数据从本地存储装置924发送回本地信号处理单元922,以将第1至第(N-1)个数据样本与第N个数据样本组合在一起,并且将它们全部一起发送到本地分析模块923。数据存储/组合的方式可取决于本地用户设置925和分析耦合923。例如,用户可以关断温度计。可在本地用户特定设置925中指定关断给定传感器的选项。由于传感器中的一个传感器被断开,因此如果不妨碍本地数据分析单元923所需的计算,则可以减少数据的存储频率。
本地数据分析和决策处理单元923决定经由支持无线数据链路108的广域网无线发射器926将哪些数据传输到云计算机服务器系统109,以及将哪些数据显示给用户。基于925中本地用户设置中可用的信息,或通过无线发射器/接收器926从云计算机服务器系统109接收的信息,做出数据传输和显示的决定。例如,云计算机服务器系统109可在已经检测到地震的地理区域中增加数据采样。在这种情况下,云计算机服务器系统109将经由其收发器926将来自无线发射器931的信号发送到用户装置106,然后将与本地数据分析和决策处理模块923通信,以增加该区域中用户在指定时间段内的数据采样/存储。然后,该信息还可以被传播到头戴式换能器系统,以改变该区域处的采样/数据传输速率。原则上,可在用户装置106或云计算机服务器系统109级别组合来自用户装置106的其他数据如用户的地理位置、有关用户正在收听的音乐的信息、其他源。
本地存储装置924可用于在给定的时间量内存储一部分数据,然后对其进行处理或经由无线发射器/接收器926将其发送到服务器系统109。
根据本发明的一些实施方案,无线接收器和发射器921可包括但不限于可处理与换能器系统100的通信的蓝牙发射器/接收器。然而无线发射器/接收器926可基于使用WiFi的通信,WiFi将例如从用户装置106和/或云服务器系统109(例如基于云的存储)传输数据以及/或者向其传输数据。
无线发射器/接收器926将处理后的数据传输到云服务器系统109。可使用蓝牙或WiFi或广域网(蜂窝)连接来传输数据。无线发射器/接收器926还可以从云服务器系统109获取指令。将通过网络108进行传输。
云服务器系统109还使用例如服务器、超级计算机或在云中存储和分析用作附加处理系统的数据。无线收发器931从所示出的用户装置106以及数百个或数千个各种订阅用户的其他装置106获取数据,并且将其传输到在服务器上执行的远程信号处理单元932。
通常在一个或多个服务器上执行的远程信号处理单元932可处理单个用户的数据,并且组合来自该用户的个人数据和/或来自其他用户的数据或元数据,以执行更为计算密集的分析算法。云服务器系统109还可以组合存储在远程数据库934中的关于用户的数据。云服务器系统109可决定在远程存储单元933中存储所有或一些用户数据,或存储来自用户数据的元数据,或组合来自多个用户的数据/元数据。云服务器系统109还决定通过无线发射器/接收器931将信息发送回各种用户装置106。云服务器系统109还基于用户的偏好或数据管理算法从远程存储装置933删除数据。远程存储装置933可以是整个系统的长期存储装置。远程存储装置933可使用云技术、服务器或超级计算机。远程存储装置933上的数据存储可包括来自用户的通过各种用户从头戴式换能器系统100获得的原始数据,相应的用户装置106的预处理数据,以及根据用户的偏好指定的数据。用户数据可被加密并且可被备份。
系统的一种选项是,用户可具有将连接到相同的用户装置106的多个换能器系统100或将连接到数据存储设施930上的用户账户的多个用户装置106。用户可具有多组配备有生物传感器的头戴式耳机/耳塞,这些生物传感器将数据收集到一个账户中。例如,用户可根据其用途具有不同设计的生物耳机,例如用于睡眠、冥想、运动等的耳机。具有多个生物耳机的用户将被允许使用相同的应用程序和账户连接到多个生物耳机。此外,用户可使用多个装置连接到相同的生物耳机或相同的账户。
在一些实例中,换能器系统100具有其自身的存储能力,以解决其与用户装置106断开连接的情况。在换能器系统100和用户装置106之间缺乏连接的情况下,优选地在本地缓冲和存储数据,直到重新建立连接。如果本地存储空间不足,则将根据用户的偏好删除较旧或较新的数据。一旦重新建立连接,微控制器228就有可能将未传输的数据处理为更紧凑的形式并且发送到用户装置106。
数据分析
图12描绘了根据本发明实施方案的用于生物传感器数据的信号处理的示例性流程图。
从传感器911接收原始数据1001,这些传感器包括但不限于声学换能器,例如,传声器206-E/206-B、陀螺仪214、加速度计218、温度换能器225、磁力计222和/或惯性测量单元(IMU)216。对数据分在多个步骤中进行分析。
选择数据采样是一种重构心脏波形的方式,如图13B所示。在本发明的实施方案中,采样率范围在100Hz和1kHz之间。优选地,采样率为约100Hz,并且一般不应该小于100Hz。此外,为了收集高保真度数据以对心脏波形更好地建模并且提取详细的生物反馈信息,如例如血压,采样率应该大于100Hz。
在本发明的实施方案中,如图9所呈现的电路允许大于0.1Hz的次声频率通过,这使得能够检测到心脏活动的信号。此外,当用户10正在使用音频扬声器208时,音频编解码器209可被配置为从声学传感器206-E和声学传感器206-B滤除扬声器208所生成的可能的信号干扰。
在图11的放大和初始滤波912之后,数据被处理并且存储在其他单元中,所述其他单元包括但不限于微控制器228、本地信号处理模块922、本地数据分析和决策处理模块923,以及远程数据分析与决策处理模块932。通常每隔几秒钟就将数据发送到一系列的例如重叠的长达10秒的数据序列中。在其他实施方案中,每个序列内的重叠窗口的长度和样本数量可以变化。
当使用传声器阵列时,可在分析之前添加传声器的电压。将对来自传声器的内部和外部阵列的信号单独进行分析。信号求和立即改善信噪比。然后,对传声器数据进行校准,以实现物理单位(dB)表示的信号。对来自传声器的每个数据样本进行预处理,以准备进行快速傅立叶变换(FFT)。例如,从数据中减去平均值,应用窗函数,等等。此外,可使用小波滤波器。
外部污染识别系统1002使用来自位于耳道206-E内部或入口处和外部声学传感器206-B的传声器的数据。外部声学传感器206-B的目的是监测和识别包括源自用户的环境的次声的声学信号,并且将其与由人体产生的声学信号区分开。用户可访问和查看外部环境次声的频谱特征。用户可在本地用户特定设置925中进行选择,以获得有关环境中次声水平的提高的警告。本地数据分析系统923可用于提供所检测到的次声的可能来源的基本标识。来自外部传声器的数据还可以由远程数据分析系统932进行更深入的分析,其中数据可与从其他用户收集的信息进行组合。从共同地理区域中的多个用户分析的环境次声数据可用于检测并且警告用户可能的危险,诸如地震、雪崩、核武器测试等。
从来自内部声学传感器206-E的信号中滤除由外部/背景声学传感器206-B检测到的频率。然后,由动作识别系统1003处理减去外部次声的身体次声数据,其中动作检测由一组辅助传感器911支持,所述一组辅助传感器911包括但不限于加速度计218和陀螺仪214。动作识别系统1003提供了一种检测用户是否在移动的装置。如果未检测到动作,则将数据样本标记为“没有动作”。如果检测到动作,则系统将执行进一步分析以表征信号。分析数据以搜索对应于不同身体动作的模式,这些身体动作包括但不限于步行、跑步、跳跃、起身、坐下、摔倒、转身、头部移动,等等。
来自内部206-E和外部206-B声学传感器的数据可与来自加速度计218和陀螺仪214的数据组合。如果使用可调节的增益,则当前的增益水平是可使用的另一个数据源。来自传声器的数据也可以单独分析。可使用例如小波分析、Hilbert-Huang变换、经验模态分解、典范相关分析、独立分量分析、机器学习算法或方法的一些组合来检测和表征动作。从数据中滤除对应于动作的次声,或者从分析中排除对应于广泛动作的周期的数据。
肌肉声音识别系统1004进一步分析具有经过滤波的用户动作的数据样本或标记为“没有动作”的数据样本。系统1004的目标是标识和表征固定的肌肉声音,诸如吞咽、打喷嚏、咀嚼、打哈欠、谈话等。可经由与用于滤除用户动作的方法类似的方法来实现对伪迹(例如肌肉移动)的移除。可使用例如小波分析、经验模态分解、典范相关分析、独立分量分析、机器学习算法或方法的一些组合来移除伪迹。从分析中排除肌肉信号过高而无法滤除的数据样本。成功滤除肌肉信号或由于没有肌肉信号污染而标识为不包含肌肉的数据被标记为“不含肌肉”,并且用于进一步分析。
“不含肌肉”数据通过离散傅里叶变换的变型形式来运行,例如在本发明的一些实施方案中的快速傅里叶变换(FFT),以将信号的来源分解为组成心率1005、血压1006、血液循环1007、呼吸速率1008等。
返回参考,图3示出了用位于耳道内部的传声器记录的10秒钟的声学身体活动。该信号表明动作和肌肉移动可被检测到,并且被指示为响亮信号1302。具有大幅值的峰对应于心室收缩1303。可通过计算对应于心室收缩的峰之间的间隔来提取心率1005,心室收缩可通过直接峰查找方法来查找,以获得如1301所示的数据。还可以使用基于FFT的方法或模板方法通过对平均心脏波形302进行互相关来提取心率。
图4示出了用位于耳道内部的传声器录制的一秒的次声。0.5秒左右的最大峰对应于心动周期最大值。脑血流量由许多因素决定,诸如血液的粘度、血管的扩张程度以及进入大脑的血流的净压力(称为脑灌注压,由人体的血压确定)。脑血管能够通过在称为自动调节的过程中改变其直径来改变通过其中的血液流量,在自动调节过程中,当系统性血压升高时脑血管收缩,并且当系统性血压降低时脑血管扩张(https://en.wikipedia.org/wiki/Cerebral_circulation#cite_note-Kandel-6)。小动脉还可以响应于不同的化学浓度而收缩和扩张。例如,小动脉响应于血液中较高水平的二氧化碳而扩张,并且响应于血液中较低水平的二氧化碳而收缩。心跳的幅值、上升和下降取决于血压。因此,由处理系统106使用次声检测的心脏波形1301的形状可用于在步骤1006中提取血压。为了获得更好的准确度,可使用外部血压监测器来校准所估计的血压。
脑循环是在头部和脊髓的血管系统中产生的血液循环。在清醒或睡眠或者各身体/心理活动水平之间没有显著差异时,中枢神经系统所使用的氧气量占人的氧气摄入量的约15%至20%,仅占心脏输出的较小的百分比。实际上,所有这些氧气用途都是用于将葡萄糖转化为CO2。由于神经组织没有氧气存储机制,因此氧代谢储备仅为约8秒-10秒。大脑自动在约50mm Hg至140mm Hg的范围内调节血压。如果压力下降到50mm Hg以下,则血管系统的调节将无法补偿,脑灌注压也会下降,并且结果可能是缺氧和循环阻塞。压力升高到140mm Hg以上导致对脑部动脉树中的流量的阻力增加。过大的压力可远超流动阻力,从而导致毛细血管压力升高,组织薄弱的腔室液体流失,以及脑肿胀。血液循环产生不同的声音频率,这取决于流动效率及其与心率的同步性。步骤1007中的血液循环被测量作为同步因子。
心跳自然地随呼吸周期而变化,这种现象见于呼吸性窦性心律不齐(RSA)。心跳速率与呼吸周期之间的关系使得心跳幅值往往随着吸气而增大并且随着呼气而减小。因此,心率变异性模式的幅值和频率与呼吸的深度和频率密切相关(https://coherence.com/science_full_html_production.htm)。因此,在步骤1008中,RSA(参见13C)被用作测量呼吸速率的独立方法,如以下节段中进一步说明的(参见图13D)。
心率和呼吸速率:算法
以下讨论描述了由处理系统执行的处理,该处理系统通常包括例如用户装置106和/或服务器系统109,以基于来自头戴式换能器系统100的传感器911和可能位于用户身体其他位置的附加换能器的传感器数据来解析心脏波形和呼吸速率。
更详细地,每个心动周期包括心房收缩和心室收缩以及向大血管内的射血(参见图3、图4和图13)。其他声音和杂音可指示异常。心室收缩的两个声音之间的距离是一个心动周期的持续时间,用于由处理系统106/109确定心率。检测数据中的峰(局部最大值)或谷(局部最小值)的一种方法是处理系统106/109使用峰(或谷)必须大于(或小于)其邻近值的特性。通过在时间上搜索信号以寻找需要最小峰距离(MPD)、峰宽度和归一化阈值的峰,处理系统106/109可检测到图13A所示的心室收缩峰(将仅检测到幅值高于阈值的幅值)。MPD参数可根据用户的心率而变化。该算法还可包括对使用先前收集的用户数据或图13B中所示的叠加的心脏波形估计的心室收缩峰的宽度进行剪切。
处理系统106/109使用0.7秒的最小峰距离和0.8的归一化阈值来检测图13A的峰。处理系统106/109可使用内插法并且在每个先前检测到的峰附近进行高斯拟合来增强所检测到的峰的分辨率。然后,处理系统106/109使用心室收缩峰的增强位置来计算连续的峰之间的距离。然后,处理系统106/109使用此类计算出的峰之间的距离来估计图13C所示的心跳间隔,该心跳间隔用于获得心率。峰的位置还可以使用结合例如基于连续小波变换的模式匹配的方法来提取。在图13A中所示的实例中,处理系统106/109确定平均心率为63.73+/-7.57BPM,其中标准偏差反映呼吸性窦性心律不齐的效果。处理系统106/109使用图13C中所示的随时间变化的心跳间隔来检测并且表征心律,诸如呼吸性窦性心律不齐。处理系统106/109使用标准偏差来表征用户的身体和情绪状态,并且量化心率变异性。实线示出以秒为单位的平均心跳间隔。虚线和点划线分别示出1和1.5标准偏差下的心跳间隔。所估计的标准偏差可用于检测和移除数据中的噪声,如图13A中在95秒左右所示的噪声。
图13C中所示的心跳间隔示出非常清晰的呼吸性窦性心律不齐。心率变异性模式与呼吸的深度和频率密切相关。因此,为了测量呼吸速率,处理系统106/109使用算法来检测先前估计的心率中的峰。在图13A中呈现的实例中,处理系统106/109在两次心跳的最小距离内并且以高于阈值0.5的归一化幅值搜索心率幅值。心率的峰之间的距离对应于呼吸。该估计的呼吸持续时间用于估计图13D的呼吸速率。
在所呈现的实例中,平均呼吸速率为每分钟16.01+-2.14次呼吸。与心率估计的情况类似,标准偏差反映用户呼吸的变化,并且可由处理系统106/109使用该标准偏差来表征用户的身体和情绪状态。
图5A和图5B示出了在人耳道内部测量的示例性次声学信号的功率谱,其中低于10Hz的突出峰主要对应于心动周期。
呼吸引起振动,该振动由位于耳道内部或入口处的传声器206-E检测。处理系统106/109通过在几秒钟的时间样本上用移动窗口以比呼吸时间小得多的步长运行FFT来检测呼吸周期。该步骤允许处理系统106/109监测随呼吸变化的频率内容。在高于20Hz的频率范围内增加的功率对应于吸气,而降低的功率则指示呼气。处理系统106/109通过将呼吸模板与时间序列互相关来估计呼吸速率及其特征。进一步将呼吸信号从时间序列中移除。图13A中所示的提取的心跳峰用于对图13B中的心脏波形进行定相,并且从数据样本中移除心脏信号。
从传感器911提取的时间序列数据用于估计呼吸速率1008。肺部声音通常在低于100Hz的频率达到峰(“Auscultation of the respiratory system”,Sarkar、Malay等人,Annals of thoracic medicine,卷10,3(2015):158-68,https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4518345/#ref10),而声能在100Hz和200Hz之间急剧下降。呼吸引起振荡,该振荡可由位于耳道内部或入口处的传声器206-E检测。处理系统106/109通过在几秒钟的时间样本上用移动窗口以比呼吸时间小得多的步长运行FFT来检测呼吸周期。该步骤允许处理系统106/109监测随呼吸变化的频率内容。在高于20Hz的频率范围内增加的功率对应于吸气,而降低的功率则指示呼气。处理系统106/109还可以通过将呼吸模板与时间序列互相关来估计呼吸速率及其特征。进一步将呼吸信号从时间序列中移除。
然后,由处理系统106/109使用高通滤波器和低通滤波器对具有与大脑血液流量和神经振荡相关的其余大脑声音的此类经滤波的数据的FFT的结果进行频谱分析,其中高通滤波器和低通滤波器被应用于将数据限制在相对容易标识大脑活动的频率范围内。大脑活动测量1009基于在预定义频率范围内的积分信号。
数据评估系统
图14示出了流程图,该流程图示出了由处理系统106/109执行来识别并且区分数据中的心脏活动、用户动作、用户面部肌肉运动、环境噪声等的过程。生物传感器系统50由用户10激活,这开始了自传感器的数据流1400,这些传感器包括内部声学传感器206-E、外部/背景声学传感器206-B、陀螺仪214、加速度计218、磁力计222、温度换能器225。在第一步骤中,由处理系统106/109使用算法例如基于图13A的峰检测来执行数据评估1401,并且将数据标记为“无信号1300”、“心脏活动1301”、“响亮信号1302”。如果数据流被评估为“无信号1300”,则系统向用户发送通知,以调整右耳塞103或左耳塞102位置或两者以改善耳塞盖205的密封,这导致耳道中的声学信号放大。如果处理系统106/109将数据流评估为“心脏活动31”,则在步骤1402中,系统检查是否在右耳塞和左耳塞中检测到心跳峰。
在右耳道和左耳道中同时检测到心室收缩允许处理系统106/109降低噪声级别并且提高心率测量的准确度。在耳塞102、103两者中,心室收缩的波形暂时保持一致,而其他信号源可能不相关,请参见“响亮信号1302”。因此,为了获得高准确度的结果,系统在步骤1402中检查在两个耳塞中是否同时检测到心室收缩。处理系统106/109可从单个耳塞执行心脏活动分析,但是具有更好的伪峰抑制。如果在两个耳塞中都检测到心跳,则处理系统106/109在步骤1403中提取心率、心率变异性、心律识别、血压、呼吸速率、体温,等等。步骤1403中的提取值与先前的用户数据相结合,并且在步骤1404中由处理系统106/109用来提取用户的情绪、压力水平等。在步骤1403和步骤1404中提取参数之后,处理系统106/109在步骤1045中向用户通知结果。
如果数据评估1401分析识别出心脏活动1301,但是并非同时检测到所有心跳,则处理系统106/109检查外部/背景声学传感器206-B的外部噪声级别。如果外部/背景声学传感器206-B指示由处理系统106/109检测到环境声学噪声1406,则来自外部/背景声学传感器206-B的数据用于从从内部声学传感器206-E检测到的人体声学信号中提取环境噪声。使用外部/背景声学传感器206-B提取的此类环境噪声提高由处理系统106/109产生的数据的质量并且降低噪声级别。在提取环境噪声1407之后,处理系统106/109使用数据来计算生命体征1403等。
如果使用外部/背景传声器206-B监测的环境声学噪声1406指示环境噪声级别很高,则处理系统106/109检查噪声的级别和来源。接下来,处理系统106/109检查所检测到的环境声学噪声是否对用户1408有害。如果该级别有害,则处理系统106/109通知用户1405。
如果未检测到环境声学噪声并且/或者数据评估系统1406将数据识别为“响亮信号1302”,则处理系统106/109包括来自其他传感器1409(诸如陀螺仪214、加速度计218、磁力计222等)的数据以解译信号源。如果来自辅助传感器的数据指示没有用户动作,处理系统106/109则使用模板识别和机器学习来表征用户肌肉动作1410,这可包括眨眼、吞咽、咳嗽、打喷嚏、说话、喘息、咀嚼、打哈欠,等等。处理系统106/109使用有关用户肌肉动作1410的数据表征来检测用户身体状况1411,用户身体状况可包括过敏、疾病、药物副作用,等等。
如果处理系统106/109检测到身体状况1411,则通知1405用户。
如果来自辅助传感器的数据指示用户的身体动作,则系统可使用模板识别或机器学习来表征用户身体动作1412,用户身体动作包括行走、跑步、骑自行车、游泳、头部动作、跳跃、起身、坐下、摔倒、头部受伤等。关于用户身体动作1410的数据表征可用于计算用户1413消耗的卡路里和用户健身/身体活动水平1416。系统向用户通知1405身体活动1416水平和消耗的卡路里1413。
应用
头戴式套件和软件的便携性将允许处理系统106/109全天候读取数据。当检测到先前未标识的生物传感器状态时,处理系统106/109将向用户推送通知。对用户数据的这种更全面的分析将产生生物反馈动作建议,这些生物反馈动作建议将对用户的身心健康更具针对性,从而带来更大的健康改善。
生物反馈参数:根据本发明的实施方案的生物传感器数据使处理系统106/109能够提供参数,包括但不限于体温、动作特征(类型、持续时间、发生时间、位置、强度)、心率、心率变异性、呼吸速率、呼吸速率变异性、吸气的持续时间和斜率、呼气的持续时间和斜率、心脏峰特征(幅值、斜率、半高半宽(HWHM)、峰平均均值、方差、偏度、偏斜度)、基于例如心脏峰特征的相对血压、相对血液循环、不同频率范围内经滤波的大脑声音,等等。
生物信号特征:昼夜节律是任何生物过程,其显示出约24小时的内源性的、可夹带的(entrainable)振荡。实际上,已证明人体的每项功能都具有昼夜节律性。在动态条件中,环境因素和体力消耗可模糊或增强所表达的节律。监测和研究中最常见的三个生命体征是血压(收缩压和舒张压)、心率和体温。
生命体征表现出人类生命体征的日常节律(“Rhythmicity of human vitalsigns”,https://www.circadian.org/vital.html)。如果避免体力消耗,则即使在动态条件下,每天的心律的节律也是稳健的。事实上,由于在睡眠期间没有身体活动,而在清醒期间却存在活动,因此,动态条件增强了节律性。
原则上,睡眠期间的心率低于清醒期间的心率。在生命体征中,体温具有最稳健的节律。体力消耗可扰乱节律,但在久坐的用户中却重现性很好。例如,这表明发烧的概念取决于一天中的时间。在动态条件下,血压是最不规则的度量。血压在睡眠期间下降,在醒来时上升,并且在醒来后约6个小时的白天仍保持较高水平。因此,诸如高血压的概念压取决于一天中的时间,并且单次测量可具有误导性。长时间收集用户10数据的生物传感器系统50可用于监测用户的被称为昼夜节律的生物钟。
在睡眠期间,生理需求降低。因此,体温和血压下降。一般来讲,许多生理功能,诸如脑电波活动、呼吸和心率,在清醒时间段或REM睡眠期间会发生变化。然而,在非REM睡眠中,生理功能极为有规律。在清醒期间,许多生理变量被控制在对身体功能最佳的水平。在清醒期间,体温、血压以及血液中的氧气、二氧化碳和葡萄糖水平保持恒定。
我们的身体温度受到机制(诸如颤抖、出汗和改变到皮肤的血液流量)的控制,使得在清醒期间,体温在设定水平附近的波动最小。这种控制体温的过程称为温度调节。在入睡之前,身体开始向环境散发一些热量,据信这一过程有助于诱导睡眠。在睡眠期间,体温降低1℉至2℉。因此,较少的能量用于保持体温。
在非REM睡眠期间,体温仍保持不变,但处于降低水平。在REM睡眠期间,体温降低至最低点。动作(诸如在10至30分钟的REM睡眠期间在床上蜷缩)确保在没有温度调节的潜在危险时间内,不会在环境中损失过多的热量。
睡眠期间也会发生呼吸变化。在清醒状态下,呼吸可以是不规则的,因为呼吸可受到讲话、情绪、锻炼、姿势和其他因素的影响。在从清醒过渡到非REM睡眠的阶段中,呼吸速率降低并且变得非常规律。与非REM睡眠相比,REM睡眠期间的呼吸模式变化更大,并且呼吸速率增加。与清醒时相比,在非REM睡眠期间,心率和血压总体下降。然而,在REM睡眠期间,心血管活动发生了更为明显的变化,血压和心率总体增加。
用生物传感器系统50监测用户的生命体征和生物钟可用于帮助解决用户的睡眠障碍、肥胖症、心理健康障碍、时差反应和其他健康问题。这还可以提高用户监测他们的身体如何适应夜班工作计划的能力。
呼吸随着锻炼等级而变化。例如,在锻炼期间以及在锻炼之后马上,健康成年人的呼吸速率可在每分钟35-45次呼吸的范围内。极限运动期间的呼吸速率可高达每分钟60-70次呼吸。另外,某些疾病例如发烧,哮喘或过敏会增加呼吸。快速呼吸还可以指示焦虑和压力,特别是在焦虑症发作期间,这种发作被称为惊恐发作,在此期间受影响的人换气过度。人呼吸速率的改变的异常长期趋势可指示患有慢性焦虑症。呼吸速率还受到例如日常压力、兴奋、镇定、放松等的影响。
过高的呼吸速率无法提供足够的时间将氧气输送至血细胞。换气过度会导致头晕、肌肉痉挛、胸痛等。它还会改变正常的体温。换气过度也会导致难以集中注意力、思考或判断状况。
心理状态:生物传感器数据分析大致量化并且以度量形式向用户显示的心理状态可包括但不限于:压力、放松、专注、冥想、情绪和/或心情、效价(情绪的正性/负性)、唤醒(情绪的强度)、焦虑、嗜睡、陈述精神清晰度/急性认知功能(即“精神模糊度”与“精神清晰度”、创造力、推理、记忆)、睡眠、睡眠质量(例如,基于每个睡眠阶段所花费的时间)、睡眠阶段(REM、非REM)、在给定阶段的睡眠时间、癫痫发作、癫痫发作的“前驱阶段”(指示即将发作)、发生中风或即将发生中风、发生偏头痛或即将发生偏头痛、偏头痛的严重程度、心率、惊恐发作或即将发生惊恐发作。
还可以通过生物信号检测和分析,例如使用大脑次声,建立许多心理和神经性疾病的生物标志。另外,多种疾病可具有可检测到的大脑声音足迹,其中单个用户的大脑生物数据样本采集增加,并且用户统计数据/数据增加。此类疾病可包括但不限于抑郁症、双相情感障碍、广泛性焦虑障碍、阿尔茨海默病、精神分裂症、各型癫痫、睡眠障碍、惊恐障碍、ADHD、与大脑氧化相关的疾病、体温过低、体温过高、低氧(使用例如大脑中相对血液循环的变化的测量)、呼吸异常诸如换气过度。
附加功能性:生物传感器系统50优选地根据其用途具有多个专门优化的设计。头戴式换能器系统100可具有例如专业或紧凑的风格。专业风格可提供出色的整体性能,能够实现高品质语音通信(例如:电话呼叫、语音记录、语音命令)的高品质传声器,以及另外的功能性。专业风格的头戴式套件可具有较长的传声器柄部,该柄部可延伸到用户脸颊的中部,甚至延伸到他们的嘴部。紧凑风格可比专业设计要小,其中用于语音通信的耳机和传声器包括单个单元。紧凑型头戴式套件的形状可以是例如矩形,其中用于语音通信的传声器位于用户脸颊顶部附近。一些型号可使用头带固定就位,而其他型号可夹持在耳朵附近。耳机可进入耳朵内部,并且安置在耳道的入口处或耳垂的外部边缘处。某些型号的耳机可具有可互换的扬声器垫,这些扬声器垫具有不同的形状,从而允许用户选取最舒适的扬声器垫。
耳机可被提供有例如单声道、立体声或HD声音。单声道头戴式套件型号可提供单个耳机,并且向一只耳朵提供声音。这些型号可以为电话呼叫和其他基本功能提供足够的音质。然而,想要在听音乐或玩视频游戏时使用其生理活动监测头戴式套件的用户可选择具有立体声或HD音质的此类头戴式套件,此类头戴式套件可在16kHz下操作,而不是像其他立体声头戴式套件那样在8kHz下操作。
生理活动监测头戴式套件换能器系统100可具有通过检测环境噪声并且使用专用软件将其抑制(例如通过屏蔽背景噪声)来消除噪声的能力,背景噪声可分散用户的注意力或分散正在通过传声器中的一个传声器与他们交谈的人的注意力。当用户正在拥挤的地方或在公共交通工具上听音乐或有声读物时,降噪能力也将是有益的。为了确保有效的噪声消除,头戴式套件可具有一个以上的传声器。一个传声器将用于检测背景噪声,而另一个传声器则用于记录说话。
本发明的各种实施方案可包括多个配对服务,所述多个配对服务将为用户提供将他们的耳机换能器系统100配对或连接到一个以上的蓝牙兼容装置的能力。例如,具有多点配对的头戴式套件可轻松地同时连接到智能电话、平板电脑,以及膝上型计算机。生理活动监测头戴式套件可具有语音命令的功能性,该功能性可允许用户将其头戴式套件与装置配对、检查电池状态、接听电话、拒绝呼叫,或者甚至可允许用户访问智能电话、平板电脑或其他支持蓝牙的装置随附的语音命令,以方便在烹饪、驾驶、锻炼或工作时使用该头戴式套件。
本发明的各种实施方案还可包括近场通信(NFC),从而许用户将蓝牙头戴式套件与支持蓝牙的装置配对,而无需访问设置菜单或其他任务。用户只需将头戴式套件放在希望连接到的智能电话、平板计算机、膝上型计算机或立体声音响上或附近,就可将支持NFC的蓝牙头戴式套件与自己喜欢的装置配对,其中采用加密技术来确保公共网络中的通信安全。蓝牙头戴式套件还可以使用具有双声道音频流功能的A2DP技术。这可允许用户无需音频线缆即可收听全方位立体声音乐。支持A2DP的头戴式套件将允许用户使用某些移动电话功能,诸如重拨和呼叫等待,而无需直接使用他们的电话。嵌入到生理活动监测头戴式套件中的A2DP技术将为使用智能电话播放音乐或观看视频的用户提供易于接听呼入的电话呼叫的能力的有效解决方案。此外,生物传感器系统50的一些实施方案可使用AVRCP技术,该技术使用单个接口来控制回放音频和视频的电子装置:电视机、高性能声音系统等。AVRCP技术可使希望将他们的蓝牙头戴式套件与多个装置一起使用并且保持对其进行控制的能力的用户获益。AVRCP使用户能够从他们的头戴式套件播放、暂停、停止和调整流媒体的音量。本发明的各种实施方案还可以具有实时翻译外语的能力。
软件
参考图15,示出了网络1200,该网络支持针对各种用户的往返于生物传感器系统50的通信。来自这些用户的数据可以在线传输,例如传输到远程服务器、服务器场、数据中心、计算云等。使用在线计算资源(即,云计算和在线存储)可实现更复杂的数据分析。每个用户优选地选择使用例如社交媒体、一个或多个社交网络、电子邮件、短消息服务(SMS)、博客、帖子等共享数据或数据分析的结果。如网络支持通信图所示,用户组1201对接到电信网络1200,该电信网络可包括例如长途OC-48/OC-192骨干元素、OC-48广域网(WAN)、无源光网络和/或无线链路。网络1200可连接到本地、区域和国际交换机,并且其中可连接到无线接入点(AP)1203。Wi-Fi节点1204还连接到网络1200。用户组1201可经由有线接口连接到网络1200,这些有线接口包括但不限于DSL、拨号、DOCSIS、以太网、G.hn、ISDN、MoCA、PON,以及电力线通信(PLC)。用户组1201可通过一种或多种无线通信标准与网络1200通信,该一种或多种无线通信标准为诸如IEEE 802.11、IEEE 802.15、IEEE 802.16、IEEE 802.20、UMTS、GSM850、GSM 900、GSM 1800、GSM 1900、GPRS、ITU-R 5.28、ITU-R 5.150、ITU-R 5.280,以及IMT-2000。电子装置可同时支持多种无线协议,使得例如用户可采用GSM服务(诸如电话和SMS)、Wi-Fi/WiMAX数据传输、VoIP、互联网访问,等等。
一组用户1201可使用各种电子装置,包括例如膝上型计算机、便携式游戏机、平板计算机、智能电话/超级电话、蜂窝电话/手机、便携式多媒体播放器、游戏机,以及个人计算机。还连接到网络1200的接入点1203提供例如蜂窝GSM(全球移动通信系统)电话服务以及具有增强的数据传输支持的3G、4G或5G演进服务。
任何电子装置都可以提供和/或支持本地数据采集单元910的功能性。此外,服务器1205连接到网络1200。服务器1205可从用户组1201内的任何电子装置接收通信。服务器1205还可以从连接到网络1200的其他电子装置接收通信。服务器1205可支持本地数据采集单元910、本地数据处理模块920以及如所讨论的远程数据处理模块930的功能性。
连接到网络1200的外部服务器可包括多个服务器,例如属于研究机构1206的服务器,该研究机构可出于科学目的使用数据和分析。科学目的可包括但不限于开发算法来检测和表征正常和/或异常的大脑和身体状况,研究环境次声对健康的影响,表征例如来自天气、风力涡轮机、动物、核试验等的环境低频信号。还可包括医疗服务1207。医疗服务1207可使用例如数据来跟踪事件,如高血压发作、恐慌发作、换气过度,或者可在严重事件如心脏病发作和中风的情况下通知医生和紧急服务。第三方企业1208还可以连接到网络1200,例如以确定用户对不同产品或服务的兴趣和反应,这可用于基于他们的生理反应来优化特定用户更可能感兴趣的广告。第三方企业1208还可以使用生物传感器数据来更好地评估用户健康,例如通过应用程序(诸如Clue)来评估生育力和经前期综合症(PMS)、通过冥想应用程序(诸如Breathe)来评估呼吸和心率信息。
另外,网络1200可允许连接到社交网络1209,诸如Facebook、Twitter、LinkedIn、Instagram、Google+、YouTube、Pinterest、Flickr、Reddit、Snapchat、WhatsApp、Quora、Vine、Yelp以及Delicious。社交网络1209的注册用户可发布与他们的身体、情绪状态相关的信息,或者关于从生物传感器数据导出的关于环境的信息。此类信息可被直接发布,例如作为声音、表情符号、综合数据等。用户还可以自定义发布在社交媒体和社交网络范围之外的电子通信(诸如电子邮件和SMS)中的信息的风格和内容。可例如用TLS协议对通过网络发送的数据进行加密以通过Wi-Fi进行连接,或者例如使用SMP协议进行加密以通过蓝牙进行连接。还可以使用其他加密协议,包括专有的或专门为本发明开发的那些协议。
使用可穿戴装置收集的数据可提供覆盖面广泛且非常复杂的信息集。数据的复杂性通常会妨碍可穿戴装置的有效使用,因为可穿戴装置不会以简单易行的格式呈现信息。优选地,提供了一种多功能软件包,使得发明人提供了一种直观的方式来显示复杂的生物传感器数据作为适用于Android或IOS操作系统的应用程序,以及软件开发套件(SDK)以有利于开发人员访问生物传感器数据和算法。SDK表示被设计成简化基于生物传感器的应用程序的开发的库(包括文档和实例)的集合。SDK可针对包括但不限于iOS、Android、Windows、Blackberry等的平台进行优化。SDK具有包含基于生物数据的算法例如以提取生命体征、情绪状态检测等的模块。
移动应用程序旨在提高用户对其情绪和生理状态的认识。应用程序还允许监测环境中的次声级别。应用程序使用一组算法来提取用户的生理活动(包括但不限于生命体征),并且使用该信息来标识用户的当前状态。用户在佩戴带有生物传感器的头戴式套件时可以实时检查他们的生理状态,或者可以访问例如日历形式的先前的数据。当用户正在佩戴头戴式套件时显示与用户的身体和环境相关的实际生命体征和其他参数。此外,用户可以看到示出用户的当前状态是否偏离正常状态的趋势。用户的正常(基线)状态使用用户的长期数据结合来自其他用户的大量的数据集合和医疗领域的对基线生命体征的估计进行估计。可使用分类算法得出用户状态、趋势以及与用户动作的相关性,这些分类算法为诸如人工神经网络、贝叶斯线性分类器、级联分类器、概念聚类、决策树、分层分类器、K最近邻算法、K均值算法、核方法、支持向量机、支持向量网络、相关向量机、相关向量网络、多层感知器神经网络、神经网络、单层感知器模型、逻辑回归、逻辑分类器、朴素贝叶斯、线性判别分析、线性回归、信号空间投影、隐马尔可夫模型,以及随机森林。分类算法可与来自多个传感器的原始的、经滤波的或预处理的数据、元数据(例如,使用全球定位系统(GPS)获得的位置、日期/时间信息、活动等)、生命体征、生物标志等有关。
当前的用户状态可被显示或用声音发出。应用程序还可以使智能电话/用户装置106振动,以传达不同的状态或用户的进程。如果检测到某些状态,则应用程序可使用基于屏幕的推送通知或语音指导来显示或用声音发出建议。例如,如果用户的呼吸和心率将指示焦虑状态,则应用程序可建议进行呼吸练习。用户还可以设定其目标以降低他们的血压或稳定他们的呼吸。在这种情况下,应用程序可建议适当的动作。应用程序将通知用户他们的进程,并且将分析用户的动作,这些动作导致他们的目标得到改善或受到负面影响。用户还能够通过查看日历或图表来查看他们的随时间推移的平均生命体征,从而允许跟踪他们的进程。
应用程序可与web服务提供商对接,以向用户提供对他们的过去和现在的心理和身体状态的更准确的分析。在许多情况下,针对用户更准确的生物统计数据在计算上过于密集而无法在电子装置上进行计算,因此,本发明的实施方案与基于云的后端基础设施上的机器学习算法结合使用。来自主题和单个会话的数据处理得越多,个人的结果就越准确和规范。因此,处理工具和已建立的数据库可用于自动标识身体和生理状态的生物标志,并且因此帮助用户进行诊断。例如,如果所收集和分析的生物数据表明存在心理或身体疾病的可能性,则应用程序可建议用户就特定疾病联系医生。基于云的后端处理将允许汇总来自多个用户的不同类型的数据,以便学习如何更好地计算感兴趣的生物特征、筛查疾病、提供生活方式建议,以及提供锻炼建议。
本发明的实施方案可在远程单元内存储数据。包括在使用生物传感器数据的用户装置上执行的应用程序的应用程序可使用在线存储和用例如云计算机服务器系统109的在线云存储对生物数据的分析。云计算资源可用于更深入的远程分析,或在社交媒体上共享生物相关信息。每当电子装置在具有足够长的电池寿命或者在充电的情况下连接到网络时,可以在线上载临时存储在电子装置上的数据。在用户装置106上执行的应用程序允许将临时数据存储更长的时间段。当用户装置106上没有足够的可用空间或存在在线上载数据的连接时,应用程序可对数据进行删减。可基于不同的参数(诸如日期)来移除数据。应用程序还可以通过移除未使用的数据或应用空间优化算法来清理存储。应用程序还允许用户通过社交媒体与朋友、医生、治疗师或小组共享某些信息,以例如与包括其他用户的小组合作,以增强和改善他们使用生物传感器系统50的体验。
图16A至图16D示出了在用户装置106上执行的应用程序的用户界面的四个示例性屏幕截图。这些屏幕截图来自用户装置的触摸屏显示。
图16A描绘了用户状态屏幕,该用户状态屏幕显示基本生命体征,包括体温、心率、血压,以及呼吸速率。还显示了GPS位置。背景对应于用户的心理状态,可视化并且类比成天气,例如“近乎平静”表示为天空中有几片云;
图16B示出了用户界面的屏幕,描绘了换能器系统与其电子用户装置106的蓝牙连接。
图16C示出了用户界面,该用户界面呈现了更复杂的数据可视化,专为更具科学素养的用户设计。屏幕顶部示出了来自传声器206的时间序列。这些时间序列可用于通过例如查找心动周期的幅值来检查数据质量。屏幕中间示出了功率谱,该功率谱示出了来自传声器206的信号的频率内容。
图16D示出了在用户装置106上执行的应用程序的用户界面的日历屏幕。在此,用户可以检查在生物传感器使用期间他们的生命状态概要。
基于各种生物信号的检测和监测,可开发针对电子用户装置106使用增强接口的各种应用程序。例如,将生物传感器数据与音频、多媒体、位置和/或移动数据相结合集成到电子装置的功能丰富的应用程序开发环境中,可以为高级用户感知界面和创新应用程序提供新平台。这些应用程序可包括但不限于:
冥想:在用户装置106上执行的、提供增强的冥想体验以允许用户可以随时随地练习生物引导式冥想的智能电话应用程序。与生物头戴式套件100相结合的此类应用程序将成为一种方便的工具,用于通过基于所监测的基于例如心率、体温、呼吸特征或大脑的血液循环等所估计的用户表现来提供实时反馈和指导,从而改善人们的冥想。可将多种类型的冥想集成到系统中,包括但不限于正念冥想、超觉冥想、鼻孔交替呼吸、心律冥想(HRM)、昆达利尼、引导的可视化、气功、禅宗、正念,等等。结合有关时间和地点的信息监测冥想表现还将使用户更好地了解外部环境对他们的冥想体验的影响。冥想应用程序将深入了解用户的昼夜节律及其对他们的冥想的影响。基于来自生物传感器的数据的情绪识别系统将允许检测用户的状态,并且建议最佳的冥想风格并且将提供反馈。冥想应用程序还将提供基本数据用于研究目的。
脑-机接口:生物传感器系统50允许监测生命体征和心理状态,诸如注意力、情绪等,脑机接口可用作用户的大脑与电子装置之间直接通信的装置。换能器系统100允许立即监测和分析身体和思想对一些外部刺激的自动反应。换能器系统头戴式套件可用作非侵入性脑-机接口,从而允许例如控制各种机器人装置。系统可使用户进行数月的训练以修改他们的生物信号的幅值,或者可使用机器学习方法来训练嵌入在分析系统中的分类器,以便将训练时间最小化。
游戏:生物传感器系统50的监测生命体征和情绪状态的能力可通过游戏环境有效地实施,以设计更具沉浸感的游戏,并且为用户提供被设计成适合于用户的实时确定的情绪和身体状态的增强的游戏体验。例如,可基于用户的所测量的心理和身体状态来优化游戏的挑战性和级别。
睡眠:在用户装置106上执行的附加的应用程序可大量使用来自换能器系统100的数据来监测并且提供可行的分析法,以帮助用户改善睡眠质量。所监测的生命体征使得能够深入了解睡眠质量,并且允许区分睡眠的不同阶段。系统提供的有关环境中次声的信息将能够定位可干扰用户睡眠的噪声源。对用户环境中次声的检测及其与用户睡眠质量的相关性将提供一种移除原本无法检测到的噪声的独特方法,这继而将允许用户消除此类噪声源并且改善其睡眠质量。有关用户在白天的活动的附加信息(动作的特征和量、坐着的时间、步行、跑步、进餐量)将有助于表征用户的昼夜节律,其结合例如机器学习算法,将允许应用程序检测哪些动作对用户的睡眠质量和量产生正面或负面影响。对用户的生命体征和昼夜节律的分析将使该应用程序能够向用户建议入睡或醒来的最佳时间。睡眠监测耳机可具有专用设计,以确保用户睡眠时的舒适性和稳定性。设计用于睡眠的耳塞可以还具有嵌入式降噪解决方案。
生育力监测/月经周期监测:生物传感器系统50还允许全天候监测用户的体温。生育力/月经周期跟踪需要每天在同一时间精确地测量用户的体温。用换能器系统100收集的多时相或全天的体温数据将不仅允许跟踪用户的体温的一个测量,还可以通过机器学习以及单个用户数据与其他用户的集体数据的组合来跟踪用户的体温在一整天如何变化,从而更准确地测量她们的生育力。另外,庞大的多用户/多时间数据集,结合机器学习算法,将允许可能检测到用户生育力月经周期中的任何异常情况,从而可能检测到但不限于不孕症、PCOS、荷尔蒙失调等。应用程序可发送推送通知向用户告知她们处于生育力月经周期的哪一时间段,并且如果检测到任何异常,推送通知可包括与医生联系的建议。
锻炼:当用户正在锻炼时,生物传感器系统50允许监测生命体征以提供有关用户表现的关键信息。由传感器阵列结合机器学习算法提供的数据可以智能电话应用程序的形式进行编译,该智能电话应用程序将基于用户的历史和广泛的数据集合提供有关最佳锻炼时间的反馈。在用户装置106上执行的应用程序可建议最佳的锻炼时间和类型,以确保最佳的睡眠质量、大脑表现,包括例如血液循环或正念。
iDoctor:生物传感器系统50还允许实时检测用户的与身体相关的活动,包括但不限于打喷嚏、咳嗽、打哈欠、吞咽等。基于来自一大群用户的信息,这些信息已经由他们相应的生物传感器系统50收集并且由云计算机服务器系统109执行的机器学习算法进行了分析。云计算机服务器系统109能够检测并且随后向用户的用户装置106发送关于例如所检测到的或即将发生的感冒爆发、流行性感冒、咽喉痛、过敏(包括过敏源的空间相关性以及与用户历史的比较)等的推送通知。
在用户装置106上执行的应用程序可向用户建议增加他们的睡眠或运动量或鼓励他们去看医生。应用程序可在用户服用药物时实时监测其健康状况如何改善,并且该应用程序可估计所服用的药物是否具有预期的性能和时间特征。基于用户的生物传感器数据的应用程序还可以提供有关所服用药物的所检测到的副作用或所服用药物与其他服用的药物的相互作用的信息。具有嵌入式机器学习算法(诸如基于邻域的预测或基于模型的强化学习)的系统将能够提供精确的医疗护理,包括患者诊断和分诊、一般的患者与医学知识、患者视力的估计,以及基于全球和本地人群来源的信息的健康图。
在以上描述中给出了具体细节以提供对实施方案的透彻理解。然而,应当理解,可以在没有这些具体细节的情况下实践实施方案。例如,可在框图中示出电路,以免在不必要的细节上模糊实施方案。在其他情况下,可示出公知的电路、过程、算法、结构和技术而不示出不必要的细节,以免使实施方案晦涩难懂。
已出于说明和描述的目的呈现了本发明的示例性实施方案的前述公开内容。这并不旨在穷举或将本发明限制为所公开的精确形式。根据上述公开内容,本文所描述的实施方案的许多变化和修改对于本领域的普通技术人员将是显而易见的。本发明的范围仅由所附权利要求及其等同物限定。
此外,在描述本发明的代表性实施方案时,说明书可能已经将本发明的方法和/或过程呈现为特定的步骤顺序。然而,就该方法或过程不依赖于本文所阐述的步骤的特定顺序而言,该方法或过程不应限于所描述的步骤的特定顺序。如本领域的普通技术人员将理解的,步骤的其他顺序也是可能的。因此,说明书中阐述的步骤的特定顺序不应当被解释为是对权利要求的限制。另外,涉及本发明的方法和/或过程的权利要求不应当限于以所写的顺序执行其步骤,并且本领域的技术人员可以容易地理解,顺序可以变化,并且仍然在本发明的精神和范围内。
虽然已参考本发明的优选实施方案对本发明进行了特别示出和描述,但本领域的技术人员应当理解,在不脱离由所附权利要求所涵盖的本发明的范围的情况下,可在形式和细节上进行各种改变。
Claims (21)
1.一种生物传感器系统,其包括:
声学传感器(206-E),所述声学传感器用于检测包括来自用户(10)的两个耳道的次声信号的声学信号,其中两个耳塞(102、103)中的每一个容纳所述声学传感器中的至少一个;
辅助传感器(214、218、216),所述辅助传感器检测所述用户的移动;
处理系统(106、109),所述处理系统配置为分析由所述声学传感器检测到的所述声学信号,以评估心脏活动,并且基于来自所述辅助传感器的数据评估所述用户的移动;和
阻塞装置,所述阻塞装置构造成定位在所述耳道中每一者处,用于阻塞所述用户的所述耳道以提高所述声学信号的所述检测的效率,其中所述阻塞装置包括耳塞盖,并且其中所述耳塞盖放置在所述耳塞的耳道延伸部上方,使得所述耳塞盖放置和所述声学传感器放置的组合能够实现耳道内的堵耳效应;
其中,所述处理系统配置为接收数据,所述接收的数据包括所述声学信号和来自所述辅助传感器的数据,所述声学信号包括来自所述声学传感器的次声信号,并且配置为基于来自所述辅助传感器的信号确定所述用户是否在移动;并且
其中,当所述处理系统配置为确定所述用户没有移动时,所述处理系统配置为根据所述接收的数据中的所述次声信号计算所述用户的心率、心率变异性、心节律、血压、血液循环和呼吸速率中的一者或多者。
2.如权利要求1所述的系统,其中所述声学信号包括5 Hz及以下的次声。
3.如权利要求1所述的系统,其还包括用于检测所述用户的体温的辅助传感器。
4.如权利要求1所述的系统,其中所述系统包括至少一个背景声学传感器(206-B),所述背景声学传感器检测包括环境声音的声学信号,所述环境声音包括源自用户的环境的可听声音和/或次声,并且其中所述接收的数据另外包括所述环境声音,并且其中所述处理系统在基于来自所述辅助传感器的数据确定所述用户是否在移动之前,从所述接收的数据中滤除由所述背景声学传感器检测到的频率。
5.如权利要求1所述的系统,其中所述处理系统分析来自两个耳道的所述声学信号以分析所述用户的心动周期和/或呼吸周期。
6.如权利要求1所述的系统,其中在所述处理系统确定所述用户没有移动时,所述处理系统配置为在根据所述接收的数据中的所述次声信号计算所述用户的心率、心率变异性、心节律、血压、血液循环和呼吸速率中的一者或多者之前,分析所述接收的数据以识别和表征固定的肌肉声音,并且从所述接收的数据中滤除所述固定的肌肉声音。
7.如权利要求6所述的系统,其中所述固定的肌肉声音包括吞咽、打喷嚏、咀嚼、打哈欠和谈话。
8.如权利要求1所述的系统,其中在所述处理系统确定所述用户在移动时,所述处理系统将所述接收的数据中的所述用户的移动表征为对应于身体动作,并且从所述接收的数据中滤除所述身体动作,并且其中所述处理系统配置为根据所述接收的数据中的所述次声信号计算所述用户的心率、心率变异性、心节律、血压、血液循环和呼吸速率中的一者或多者。
9.如权利要求8所述的系统,其中在所述处理系统从所述接收的数据中滤除所述身体动作之后,所述处理系统在根据所述接收的数据中的所述次声信号计算所述用户的心率、心率变异性、心节律、血压、血液循环和呼吸速率中的一者或多者之前,分析所述接收的数据以识别和表征固定的肌肉声音,并且从所述接收的数据中滤除所述固定的肌肉声音。
10.如权利要求8所述的系统,其中所述身体动作包括步行、跑步、跳跃、起身、坐下、摔倒、转身和头部移动。
11.一种用于用生物传感器系统监测用户的方法,所述方法包括:
使用声学传感器检测包括来自用户的两个耳道的次声信号的声学信号,以及使用来自两个耳道的所述声学信号来评估心脏活动,其中头戴式套件的两个耳塞中的每一个容纳所述声学传感器中的至少一个;
通过位于所述耳道中每一者处的阻塞装置来阻塞所述用户的所述耳道以提高所述声学信号的所述检测的效率,其中所述阻塞装置包括耳塞盖,并且其中所述耳塞盖放置在所述耳塞的耳道延伸部上方,使得所述耳塞盖放置和所述声学传感器放置的组合能够实现耳道内的堵耳效应;
通过辅助传感器(214、218、216)检测所述用户的移动,并且使用来自所述辅助传感器的数据来评估所述用户的移动;
接收数据,所述接收的数据包括所述声学信号和来自所述辅助传感器的数据,所述声学信号包括次声信号;以及
基于来自所述辅助传感器的数据确定所述用户是否在移动,并且在确定所述用户没有移动时,根据所述接收的数据中的所述次声信号计算所述用户的心率、心率变异性、心节律、血压、血液循环和呼吸速率中的一者或多者。
12. 如权利要求11所述的方法,其中所述声学信号包括5 Hz及以下的次声。
13.如权利要求11所述的方法,其还包括检测所述用户的体温。
14. 如权利要求11所述的方法,其还包括:
使用至少一个背景声学传感器(206-B)检测包括环境声音的声学信号,所述环境声音包括源自用户的环境的可听声音和/或次声,所述接收的数据另外包括所述环境声音;以及
在基于来自所述辅助传感器的数据确定所述用户是否在移动之前,从所述接收的数据中滤除由所述背景声学传感器检测到的频率。
15.如权利要求11所述的方法,其还包括分析所述声学信号以跟踪所述用户的心动周期和/或呼吸周期。
16.如权利要求11所述的方法,其中在确定所述用户没有移动时,在根据所述接收的数据中的所述次声信号计算所述用户的心率、心率变异性、心节律、血压、血液循环和呼吸速率中的一者或多者之前,分析所述接收的数据以识别和表征固定的肌肉声音,并且从所述接收的数据中滤除所述固定的肌肉声音。
17.如权利要求16所述的方法,其中所述固定的肌肉声音包括吞咽、打喷嚏、咀嚼、打哈欠和谈话。
18.如权利要求11所述的方法,其中在确定所述用户在移动时,将所述接收的数据中的所述用户的移动表征为对应于身体动作,并且从所述接收的数据中滤除所述身体动作,并且根据所述接收的数据中的所述次声信号计算所述用户的心率、心率变异性、心节律、血压、血液循环和呼吸速率中的一者或多者。
19.如权利要求18所述的方法,其中在从所述接收的数据中滤除所述身体动作之后,在根据所述接收的数据中的所述次声信号计算所述用户的心率、心率变异性、心节律、血压、血液循环和呼吸速率中的一者或多者之前,分析所述接收的数据以识别和表征固定的肌肉声音,并且从所述接收的数据中滤除所述固定的肌肉声音。
20.如权利要求18所述的方法,其中所述身体动作包括步行、跑步、跳跃、起身、坐下、摔倒、转身和头部移动。
21.一种执行应用程序以执行根据权利要求11至20中任一项所述的方法的用户装置,所述应用程序在所述用户装置的触摸屏显示器上提供用于生物传感器系统的用户界面,所述生物传感器系统用于分析来自用户的次声信号以评估所述用户的身体状态,所述用户界面呈现将所述用户的所述状态类比成天气并且/或者呈现次声信号的曲线图的显示和/或用于基于所述次声信号来访问过去的生命状态概要的日历屏幕。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862629961P | 2018-02-13 | 2018-02-13 | |
US62/629,961 | 2018-02-13 | ||
PCT/US2019/017832 WO2019160939A2 (en) | 2018-02-13 | 2019-02-13 | Infrasound biosensor system and method |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111867475A CN111867475A (zh) | 2020-10-30 |
CN111867475B true CN111867475B (zh) | 2023-06-23 |
Family
ID=65818590
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980017070.9A Active CN111867475B (zh) | 2018-02-13 | 2019-02-13 | 次声生物传感器系统和方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20190247010A1 (zh) |
EP (1) | EP3752066A2 (zh) |
JP (1) | JP2021513437A (zh) |
KR (1) | KR20200120660A (zh) |
CN (1) | CN111867475B (zh) |
CA (1) | CA3090916A1 (zh) |
WO (1) | WO2019160939A2 (zh) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102395445B1 (ko) * | 2018-03-26 | 2022-05-11 | 한국전자통신연구원 | 음원의 위치를 추정하기 위한 전자 장치 |
EP3657810A1 (en) * | 2018-11-21 | 2020-05-27 | Telefonica Innovacion Alpha S.L | Electronic device, method and system for inferring the impact of the context on user's wellbeing |
EP3998950A4 (en) * | 2019-07-19 | 2023-07-19 | Barnacka, Anna | SYSTEM AND METHOD FOR DETECTING AND REPORTING THE HEART RHYTHM |
WO2021030499A1 (en) | 2019-08-12 | 2021-02-18 | Barnacka Anna | System and method for cardiovascular monitoring and reporting |
WO2021030811A1 (en) | 2019-08-15 | 2021-02-18 | Barnacka Anna | Earbud for detecting biosignals from and presenting audio signals at an inner ear canal and method therefor |
US20220339444A1 (en) * | 2019-09-13 | 2022-10-27 | The Regents Of The University Of Colorado, A Body Corporate | A Wearable System for Intra-Ear Sensing and Stimulating |
EP3795086B1 (en) * | 2019-09-20 | 2022-05-04 | Mybrain Technologies | Method and system for monitoring physiological signals |
US11559006B2 (en) * | 2019-12-10 | 2023-01-24 | John Richard Lachenmayer | Disrupting the behavior and development cycle of wood-boring insects with vibration |
KR20220160685A (ko) * | 2020-04-02 | 2022-12-06 | 던 엘라 피에르네 | 음향 및 시각 에너지 구성 시스템 및 방법 |
WO2021220515A1 (ja) * | 2020-05-01 | 2021-11-04 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理方法及びプログラム |
US20210401311A1 (en) * | 2020-06-25 | 2021-12-30 | Anna Barnacka | System and Method for Leak Correction and Normalization of In-Ear Pressure Measurement for Hemodynamic Monitoring |
US11343612B2 (en) | 2020-10-14 | 2022-05-24 | Google Llc | Activity detection on devices with multi-modal sensing |
CH718023A1 (de) * | 2020-10-30 | 2022-05-13 | Rocket Science Ag | Gerät zur Detektion von Herzton-Signalen eines Benutzers sowie Verfahren zum Überprüfen der Herztätigkeit des Benutzers. |
WO2022146863A1 (en) * | 2020-12-30 | 2022-07-07 | The Johns Hopkins University | System for monitoring blood flow |
US20220218273A1 (en) * | 2021-01-13 | 2022-07-14 | Anna Barnacka | System and Method for Noninvasive Sleep Monitoring and Reporting |
CN117813837A (zh) | 2021-06-18 | 2024-04-02 | A·巴纳卡 | 振动声学耳塞 |
US11665473B2 (en) * | 2021-09-24 | 2023-05-30 | Apple Inc. | Transmitting microphone audio from two or more audio output devices to a source device |
CN114191684B (zh) * | 2022-02-16 | 2022-05-17 | 浙江强脑科技有限公司 | 基于脑电的睡眠控制方法、装置、智能终端及存储介质 |
KR102491893B1 (ko) | 2022-03-03 | 2023-01-26 | 스마트사운드주식회사 | 반려동물 심음 및 호흡수 정확도가 향상된 건강측정장치, 시스템 및 그의 운용 방법 |
US20240036151A1 (en) * | 2022-07-27 | 2024-02-01 | Dell Products, Lp | Method and apparatus for locating misplaced cell phone with two high accuracy distance measurement (hadm) streams from earbuds and vice versa |
WO2024030141A1 (en) * | 2022-08-05 | 2024-02-08 | Google Llc | Score indicative of mindfulness of a user |
WO2024196843A1 (en) * | 2023-03-17 | 2024-09-26 | Texas Tech University System | Method and device for detecting subclinical hypoxemia using whole blood t2p |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2003225066A1 (en) * | 2002-04-19 | 2003-11-03 | Colin Medical Technology Corporation | Headset for measuring physiological parameters |
US7020508B2 (en) * | 2002-08-22 | 2006-03-28 | Bodymedia, Inc. | Apparatus for detecting human physiological and contextual information |
CA2464029A1 (en) * | 2004-04-08 | 2005-10-08 | Valery Telfort | Non-invasive ventilation monitor |
WO2006033104A1 (en) * | 2004-09-22 | 2006-03-30 | Shalon Ventures Research, Llc | Systems and methods for monitoring and modifying behavior |
US8622919B2 (en) * | 2008-11-17 | 2014-01-07 | Sony Corporation | Apparatus, method, and computer program for detecting a physiological measurement from a physiological sound signal |
US20110213263A1 (en) * | 2010-02-26 | 2011-09-01 | Sony Ericsson Mobile Communications Ab | Method for determining a heartbeat rate |
US8790264B2 (en) * | 2010-05-27 | 2014-07-29 | Biomedical Acoustics Research Company | Vibro-acoustic detection of cardiac conditions |
US8594353B2 (en) * | 2010-09-22 | 2013-11-26 | Gn Resound A/S | Hearing aid with occlusion suppression and subsonic energy control |
US9282412B2 (en) * | 2011-01-05 | 2016-03-08 | Koninklijke Philips N.V. | Seal-quality estimation for a seal for an ear canal |
CN104507384A (zh) * | 2012-07-30 | 2015-04-08 | 三菱化学控股株式会社 | 检体信息检测单元、检体信息处理装置、电动牙刷装置、电动剃须刀装置、检体信息检测装置、老龄化度评价方法及老龄化度评价装置 |
ITMI20132171A1 (it) * | 2013-12-20 | 2015-06-21 | Davide Macagnano | Rilevatore indossabile per il rilevamento di parametri legati ad una attività motoria |
DE102014211501A1 (de) * | 2014-03-19 | 2015-09-24 | Takata AG | Sicherheitsgurtanordnungen und Verfahren zum Bestimmen einer Information bezüglich der Herz- und/oder Atemaktivität eines Benutzers eines Sicherheitsgurtes |
JP2015211227A (ja) * | 2014-04-23 | 2015-11-24 | 京セラ株式会社 | 再生装置及び再生方法 |
DK3010249T3 (en) * | 2014-07-24 | 2017-10-02 | Goertek Inc | METHOD OF DETECTING HEART RATE IN HEADPHONE AND HEADPHONE THAT CAN DETECT HEART RATE |
AU2015333646B2 (en) * | 2014-10-14 | 2018-08-09 | Arsil Nayyar Hussain | Systems, devices, and methods for capturing and outputting data regarding a bodily characteristic |
GB2532745B (en) * | 2014-11-25 | 2017-11-22 | Inova Design Solution Ltd | Portable physiology monitor |
CN106999143B (zh) * | 2014-12-12 | 2020-08-04 | 皇家飞利浦有限公司 | 声学监测系统、监测方法和监测计算机程序 |
EP3264974A4 (en) * | 2015-03-03 | 2018-03-21 | Valencell, Inc. | Stabilized monitoring devices |
CA2992961A1 (en) * | 2015-07-22 | 2017-01-26 | Headsense Medical Ltd. | System and method for measuring icp |
EP3570732A4 (en) * | 2017-01-18 | 2020-10-14 | Mc10, Inc. | DIGITAL STETHOSCOPE WITH MECHANICAL-ACOUSTIC SENSOR SUITE |
-
2019
- 2019-02-13 US US16/274,873 patent/US20190247010A1/en active Pending
- 2019-02-13 WO PCT/US2019/017832 patent/WO2019160939A2/en unknown
- 2019-02-13 KR KR1020207025412A patent/KR20200120660A/ko not_active Application Discontinuation
- 2019-02-13 CN CN201980017070.9A patent/CN111867475B/zh active Active
- 2019-02-13 CA CA3090916A patent/CA3090916A1/en active Pending
- 2019-02-13 JP JP2020564817A patent/JP2021513437A/ja active Pending
- 2019-02-13 EP EP19712321.9A patent/EP3752066A2/en active Pending
Also Published As
Publication number | Publication date |
---|---|
CN111867475A (zh) | 2020-10-30 |
WO2019160939A2 (en) | 2019-08-22 |
EP3752066A2 (en) | 2020-12-23 |
KR20200120660A (ko) | 2020-10-21 |
CA3090916A1 (en) | 2019-08-22 |
WO2019160939A3 (en) | 2019-10-10 |
US20190247010A1 (en) | 2019-08-15 |
JP2021513437A (ja) | 2021-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111867475B (zh) | 次声生物传感器系统和方法 | |
US20240236547A1 (en) | Method and system for collecting and processing bioelectrical and audio signals | |
US11504020B2 (en) | Systems and methods for multivariate stroke detection | |
US20200086133A1 (en) | Validation, compliance, and/or intervention with ear device | |
US10231664B2 (en) | Method and apparatus to predict, report, and prevent episodes of emotional and physical responses to physiological and environmental conditions | |
US10685577B2 (en) | Systems and methods for delivering sensory input during a dream state | |
CN101467875B (zh) | 耳戴式生理反馈装置 | |
KR102361026B1 (ko) | 생체신호 측정 장치 | |
US20150282768A1 (en) | Physiological signal determination of bioimpedance signals | |
US20140288447A1 (en) | Ear-related devices implementing sensors to acquire physiological characteristics | |
US20140327515A1 (en) | Combination speaker and light source responsive to state(s) of an organism based on sensor data | |
WO2017069644A2 (en) | Wireless eeg headphones for cognitive tracking and neurofeedback | |
CN112005311A (zh) | 用于基于睡眠架构模型向用户递送感官刺激的系统和方法 | |
US11793453B2 (en) | Detecting and measuring snoring | |
US20220061767A1 (en) | Biometric, physiological or environmental monitoring using a closed chamber | |
Ne et al. | Hearables, in-ear sensing devices for bio-signal acquisition: a narrative review | |
US20150264459A1 (en) | Combination speaker and light source responsive to state(s) of an environment based on sensor data | |
US20230107691A1 (en) | Closed Loop System Using In-ear Infrasonic Hemodynography and Method Therefor | |
US20220338810A1 (en) | Ear-wearable device and operation thereof | |
Yang et al. | Lifetime tracing of cardiopulmonary sounds with low-power sound sensor stick connected to wireless mobile network | |
US20230240611A1 (en) | In-ear sensors and methods of use thereof for ar/vr applications and devices | |
CN118541080A (zh) | 用于ar/vr应用的入耳式温度传感器和设备 | |
CN118574565A (zh) | 用于ar/vr应用的入耳式传声器和设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |