CN110868921A - 用于确定心律和/或呼吸速率的系统和方法 - Google Patents

用于确定心律和/或呼吸速率的系统和方法 Download PDF

Info

Publication number
CN110868921A
CN110868921A CN201880045022.6A CN201880045022A CN110868921A CN 110868921 A CN110868921 A CN 110868921A CN 201880045022 A CN201880045022 A CN 201880045022A CN 110868921 A CN110868921 A CN 110868921A
Authority
CN
China
Prior art keywords
audio signal
rate
extracting
heart rate
internal audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880045022.6A
Other languages
English (en)
Inventor
亚历克西斯·马丁
热雷米·瓦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
College Of Technology
Original Assignee
College Of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by College Of Technology filed Critical College Of Technology
Publication of CN110868921A publication Critical patent/CN110868921A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00Instruments for auscultation
    • A61B7/003Detecting lung or respiration noise
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02444Details of sensor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/725Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00Instruments for auscultation
    • A61B7/02Stethoscopes
    • A61B7/04Electric stethoscopes
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Biophysics (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Cardiology (AREA)
  • Pulmonology (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

一种用于确定心率和/或呼吸速率的系统和方法。该系统包括:外壳,其被配置为封闭耳道,耳内麦克风,其位于外壳内以捕获耳道内的音频信号,以及处理器,其操作性地连接到耳内麦克风,该处理器被配置为分析音频信号,以便即使当系统的佩戴者被浸没在高水平的环境噪声中时,也确定心跳和/或呼吸速率测量或属性中的至少一个。该系统和方法还包括使用自适应数字滤波器来从由耳内麦克风捕获的音频信号中去除残余环境噪声。该系统和方法还包括使用预定的音频信号关联来识别耳道内捕获的音频信号的属性。

Description

用于确定心律和/或呼吸速率的系统和方法
相关申请的交叉引用
本专利申请要求2017年4月13日在美国专利商标局提交的题为"用于确定心律和呼吸速率的系统和方法"的美国临时专利申请No.62/504,258的优先权,其内容通过引用结合到本文中。
发明领域
本发明一般涉及健康监测,尤其涉及用于测量心律和/或呼吸率的系统和方法。
发明背景
连续的健康监测有助于检测人的生理信号中的任何突然变化。特别地,心率或呼吸率的突然变化可能是由意外或突然疾病或疾病发作引起的。这种持续的健康监测对于日益老龄化的人口或工业工人可能是需要的。
非侵入式健康监测方法广泛用于临床应用中以监测生理参数,例如心率或呼吸速率。诸如心电描记术,听诊术,体积描记术和呼吸描记术之类的系统可能是精确的,但是经常穿戴起来笨重。
因此,需要一种佩戴更轻和更容易使用的新的健康监测系统。
在Kaufmann,A.Malhotra,M.Ryschka,S.Kusche,G.Ardelt,N.Hunsche和K.Breisslein的"A System for In-ear Pulse Wave Measurements",BiomedicalEngineering-Biomedizische Technik,vol.59,pp.S887-S890,2014(下文称为"Kaufmann等人")中,创建了由位于耳朵外的带有穿过耳塞的管的麦克风构成的实验样机。开发了Kaufmann算法来检测心跳,以计算心脏和耳朵之间的波的瞬变时间。然而,这种Kaufmann算法只能在无噪声环境中使用。Kaufmann算法提供了对心跳的计算,并且没有描述呼吸率的提取。遗憾的是,使用非常小的数据集进行验证,并且协议并不明确。考虑到呼吸产生低频假象,受试者可以很轻地呼吸以使心跳检测更容易。
G.A.Pressler,J.P.Mansfield,H.Pasterkamp,和G.R.Wodicka,"Detection ofrespiratory sounds at the external ear,"IEEE Transactions on BiomedicalEngineering,vol.51,no.12,第2089-2096页,2004(下文称为“Pressler等人”)用位于耳塞内的麦克风测量20个受试者的呼吸声,并显示耳朵是检测呼吸的有希望的位置。然而,没有开发出特定的算法来提取呼吸速率。此外,所记录的信号的总持续时间短,并且用于采集的硬件现在已经过时。目前没有在耳道中测量的声音的数据库,其具有的信号持续足够长的时间并代表真实世界的条件。
发明内容
所发现的现有技术的缺点通常可以通过如本文所述的用于确定心律和呼吸速率的系统和方法来减轻。
这种系统和方法可用于非侵入式医疗监测。它可以集成在各种耳内装置中,例如耳塞,耳机或助听器。该系统和方法可以用于通过其助听器监测人的生命体征,例如但不限于老年人,或者用于通过其听力保护装置监测工业工人。
根据一个方面,提供了一种用于测量心率和呼吸速率的系统,该系统包括外壳,该外壳被构造成至少部分地将耳道从耳道的外部环境中进行封闭或阻塞。该系统还包括耳内麦克风(IEM),该耳内麦克风位于壳体内并且被配置为捕获耳道内的音频信号。该系统还包括操作性地连接到IEM的处理设备,该处理设备被配置为分析音频信号,以便确定心跳(在这里也被称为"心律"并且也被称为"心率")和/或呼吸速率(在这里也被称为"呼吸率")中的至少一个。
根据另一方面,提供了一种用于确定心率或呼吸速率的属性的方法。该方法包括利用耳内麦克风捕获用户的耳道内的至少一个内部音频信号。然后处理所述至少一个内部音频信号,并根据预定音频信号的关联来识别所述至少一个内部音频信号的至少一个属性,所述至少一个属性与心率或呼吸速率中的至少一个相关联。
根据又一方面,提供了一种用于确定心率或呼吸速率的方法。该方法包括利用耳内麦克风捕获用户的耳道内的至少一个内部音频信号。然后,从所述至少一个内部音频信号中提取心率和呼吸速率中的至少一个,并确定对所提取的心率和呼吸速率中的至少一个进行至少一次测量。
根据一些实施例,系统包括音频记录器,其操作性地连接到耳内麦克风并且被配置为记录由耳内麦克风捕获的音频信号。
该系统还包括被配置为捕获环境音频信号(例如,耳道外的声音)的外耳麦克风(OEM)。如本文所述,由外耳麦克风捕获的环境音频信号可用于对由内耳麦克风捕获的音频信号进行去噪。
该系统还包括位于外壳内的扬声器,该扬声器被配置成在耳道内再现由外耳麦克风捕获的音频信号。例如,由外耳麦克风捕获并随后由扬声器再现的音频信号可以被例如位于外壳内部的内部扬声器控制器衰减或修改。在另一个实施例中或者在组合中,扬声器也可以用于回放音乐,接收通信信号或者向系统的佩戴者播放警告信号。
该系统还包括被配置为存储所记录的音频信号的数据库。该数据库还可以用于IEM捕获的音频信号的自动识别。
该系统还包括被配置成接收所测量和确定的心率和呼吸速率的监测设备。该系统还包括被配置为显示心率和呼吸速率的显示器。监测设备或显示器可以远离系统。实际上,系统可以适于将这种心脏或呼吸信息发送到远程显示器或远程监测设备。在远程医疗应用中,医务人员或医护人员因此可以从远程位置监测患者。
用于确定心率或呼吸速率的方法还可以包括以下步骤:对所捕获和记录的音频信号进行降低采样,获得数秒的数据窗口,以及分析该数据窗口以提取心率和呼吸速率。
该方法还可以包括将心跳和呼吸速率发送到监测设备的步骤。
可以使用信号处理方法来执行从这里描述的测量的音频信号中提取心率和呼吸速率,并因此可以使用数字信号处理(DSP)设备来实现。或者,可以在计算机处理器上执行从所测量的音频信号提取心率和呼吸速率。
从所测量的音频信号提取心率和提取呼吸速率可以通过类似的方法步骤来执行,同时将频率范围和降低采样因数分别适配于呼吸速率提取或心脏提取。
从在封闭耳道内捕获的IEM信号中提取心率和提取呼吸速率可以包括以下步骤:应用第一带通滤波器,应用希尔伯特变换以提取时间音频信号的包络,确定通带滤波器(Fc)的中心频率,应用第二带通滤波器,并提取数据的峰值。对于心率和呼吸速率,可以同时执行这些步骤。提取心率和提取呼吸速率还可以包括:在应用第一带通滤波器之前的第一抽选,以及在确定第二带通滤波器的中心频率之前的第二抽选。
该方法还可以包括对耳道内测量的声学生物信号进行去噪的步骤。去噪可以允许使用用于在噪声条件下,即当系统在高水平的环境噪声中使用时,确定心率和心跳速率的方法。该去噪过程去除存在于封闭耳道中的耳机内的残留环境噪声。
例如,可以使用自适应滤波器来执行去噪。根据一些实施例,可以使用归一化最小均方误差(nLMS)方法并且将OEM信号作为干扰信号的参考来调谐自适应滤波器,例如在美国临时专利申请序列号62/332,861中描述的自适应滤波器,其内容通过引用结合于此。通过在存在生物信号的较低频率处对自适应滤波器的滤波器系数应用较高的相对权重,可以优化自适应滤波器以对生物信号进行去噪。
有益的,即使人(使用者,耳机的佩戴者)位于噪声环境中,这里描述的系统和方法也可以允许确定心律或呼吸速率。例如,当环境噪声大约达到110dB SPL(声压级)时,可以使用该方法。
在一些实施例中,这里描述的系统和方法不仅可以提供IEM麦克风的无源隔离,而且可以通过自适应滤波来去除残余噪声。
在一些实施例中,由于耳内麦克风(IEM)和外耳麦克风(OEM)两者均捕获数据,本文所描述的用于确定心率或呼吸速率的系统和方法或者用于确定心率或呼吸速率的属性的方法可以在噪声环境中使用。
本文所述的方法和系统可用于广泛的非侵入式生命体征监测应用,例如监测危险和噪声环境中的工作人员。例如,在此描述的方法和系统可以用于监测重工业,建筑,采矿或监测消防员的工作人员的心率和呼吸速率。
本发明的其它和进一步的方面和优点将在对即将描述的示例性实施例的理解之后变得显而易见,或者将在所附权利要求中指出,并且本发明在实践的使用中,将对本领域技术人员产生出这里未提及的各种优点。
附图的简要说明
本发明的上述和其它方面,特征和优点将从以下说明书同时参考附图而变得更加清楚,其中:
图1A示出了根据至少一个实施例的耳机的透视图;
图1B示出了根据至少一个实施例的耳机的切开视图,示出了耳机内的电声组件;
图1C示出了根据至少一个实施例的耳机的示意图,示出了耳机内的电声组件;
图2示出:(a)由IEM记录的时间信号,示出心音S1和S2;(b)由BioHarnessTM记录的心跳参考,其是心电图;(c)由BioHarnessTM记录的呼吸参考,其是显示吸气(上升阶段)和呼气(下降阶段)的呼吸电感体积描记术;
图3示出了用本文所描述的方法和系统的实施例测量的一个受试者的深口呼吸的示例性谱图;
图4示出了一个受试者的四种类型的鼻呼吸的测量光谱,示出了不同的光谱特征以区分呼吸类型;
图5示出了根据至少一个实施例的心脏和呼吸率提取算法的示意流程图;
图6示出了根据至少一个实施例的使用自适应滤波去噪的示意流程图;
图7示出了:(a)测量和记录的音频时间信号,示出了心跳的清晰峰值;(b)对所记录的音频信号的心率提取算法进行输出;(c)来自BioHarnessTM的参考信号;
图8示出了在18分钟内(在一只耳朵中)针对8种类型的呼吸在参考心率和开发出的算法的输出之间的比较;
图9示出了在参考设备上用于算法输出的心率的散点图;
图10示出了:(a)记录的快速呼吸的音频时间信号;(b)根据记录的音频信号对呼吸率提取算法输出;(c)来自BioHarnessTM的参考信号;
图11示出了在18分钟内(在一只耳朵中)针对8种类型的呼吸在参考呼吸速率和开发出的算法的输出之间的比较;
图12示出了使用在此描述的系统和方法的实施例测量和确定的在参考设备上的算法输出的呼吸速率的散点图;
图13示出了20个受试者的平均绝对误差随噪声水平的变化;
图14示出了20个受试者的平均相对误差随噪声水平的变化;
图15A示出了根据至少一个实施例的用于测量心率和呼吸速率的系统;
图15B示出了根据至少一个实施例的用于测量心率和呼吸速率的系统;
图15C示出了根据至少一个实施例的用于测量心率和呼吸速率的系统;
图16示出了用于测量心率和呼吸速率的方法的实施例的示意图;
图17A示出心率提取过程的实施例的示意图;
图17B示出了呼吸速率提取过程的实施例的示意图;
图18示出了确定带通滤波器(Fc)的中心频率的实施例的示意图;
图19示出了根据至少一个实施例的确定数据峰值的实施例的示意图;
图20示出了根据至少一个实施例的使用自适应滤波去噪的示意流程图;和
图21示出了根据至少一个实施例的用于利用去噪来测量心率和呼吸速率的方法的实施例的示意图;
图22A示出了根据至少一个实施例的用于通过确定属性来测量心率或呼吸速率的方法的实施例的示意图;和
图22B示出了根据至少一个实施例的根据预定关联来确定属性的示意图。
具体实施方式
下文将描述用于测量心率和呼吸速率的新颖系统和方法。尽管根据特定的说明性实施例描述了本发明,但是应当理解,这里描述的实施例仅仅是示例性的,并且本发明的范围不是要由此进行限制。
可以将耳内麦克风插入人的封闭耳道中,并且可以测量人的心律或呼吸速率(呼吸速率)。由人的心脏或呼吸产生的声音可以由放置在耳道中的麦克风捕获。可以分析所捕获的声音以确定心律或呼吸速率。
应当注意,这里使用的术语"心音"包括表示心跳的声音。例如,这种声音可以由通过用户身体传播的脉冲波产生。
应当注意,术语"音频信号"和"声音"在这里可互换地使用。术语"算法"可指如本文所述的方法和/或如本文所述的方法的任何部分。
现在参考图1A和1B,其中示出了(仪表式)耳机100的实施例,其包括外壳102,耳内麦克风110和外耳麦克风112,两者都位于外壳102内。耳机100还可以包括如图1B所示的扬声器114。图1A示出了示例性耳内耳机100的透视图,图1B示出了位于耳机100内部的示例性电声组件。
外体102被构造成从耳道外部的环境封闭(阻塞)使用者的耳道。壳体具有耳侧104和外侧106,耳侧104被构造成配合在使用者的耳道内。
现在参考图1B,入耳式麦克风(IEM)110位于外壳102内,并被配置为捕获(以及可选地记录)用户耳道内的声音。耳内麦克风管111从耳道通向IEM 110。耳内麦克风110位于耳塞分离器108的后面,并利用其被动声衰减的优点。例如,一个或多个耳塞分离器108可以将外壳102分成多个空腔。
外耳麦克风(OEM)112被配置为捕获环境声音(耳道外的声音)。如图1B所示,OEM112位于耳塞分离器108的外侧。
扬声器(在这里也称为"扬声器",以避免与人的交谈混淆)114可以位于外壳102内,并且可以被配置成在用户的耳道内再现由外耳麦克风112捕获的声音。如图1B所示,来自扬声器114的声音可以通过扬声器通道115被引导到用户的耳道。
例如,由OEM捕获的声音可以被衰减或以其他方式修改(例如,通过修改特定频率的声音)。
应当理解,可以在耳机100中安装多于一个扬声器114和多于两个麦克风以及其它电声部件。
现在参考图15A,示出了用于测量心率和呼吸速率的系统1000的实施例。系统1000包括耳机100,处理设备1135和监视设备1150。
根据一些实施例,如图15B所示,图15A的处理设备1135包括音频记录器1120和处理器1130。处理器1130可以被配置成根据从耳机100接收的数据来确定心跳(这里也称为"心率")和呼吸(呼吸)速率中的至少一个。
在一些实施例中,耳机100可操作地连接到音频记录器1120。在IEM110捕获声音之后,可以将该声音发送到音频记录器1120进行记录。音频数据可以用多声道数字音频记录器1120以给定的采样率记录。
例如,如图1A和15B所示,耳机100可以使用有线链路通过耳机输出120连接到音频记录器1120。在另一个实施例中,耳机100可以使用无线链路连接到音频记录器1120。例如,耳机100还可以包括用于此目的的天线。
耳机100可以具有一次性端部。端部可以例如由泡沫制成。
在可选实施例中,音频记录器1120可以位于耳机100内部,并且可以包括这里描述的各种设备。
监测设备1150可以是可能需要接收和/或进一步处理所测量的用户的心率和的呼吸速率的任何设备。例如,监测设备1150可以是可以收集关于用户健康的信息的服务器。此外,监测设备1150可以具有用于显示心率和呼吸速率的显示器。
参照图15A,应当理解,耳机100,处理设备1135和/或监测设备1150可以全部位于同一设备中,或者可以是无线连接的分离的设备,或者可以是使用导线连接的分开的设备。此外,各种设备可以是处理设备1135的一部分,如图15B所示,并且处理设备1135可以位于耳机100上或耳机100内。
例如,监测设备1150可以从处理设备1135接收信息,并将反馈发送回处理设备1135。处理设备1135也可以将反馈发送回耳机100。
在一些实施例中,处理器1130可以将心率(例如,"95"或"95BPM")和呼吸速率(例如,"10"或"10CPM")的值发送到监视设备1150。例如,当用于工人的外部监测时,监测设备1150可以位于远程,例如在监控站,并且心率和呼吸率可以被发送到监测设备1150。这样,远程地执行与每个工作者相关的心率和呼吸率的监测。
记录的声音可以被临时或永久地收集和存储在数据库1140中。在一些实施例中,数据库1140可以与监测设备1150集成在一起。
例如,系统1000还可以包括扬声器控制器1151,其可以被配置为控制扬声器108。例如,在处理音频数据并计算心率和呼吸速率之后,处理器1130还可以被配置为向扬声器108发送音频数据,然后可以为用户再现这种音频数据。
在一些实施例中,可以由处理器1130和/或监视设备1150基于所确定的心率和/或呼吸速率来确定要发送到扬声器108的反馈。
例如,音频记录器1120,数据库1140,处理器1130,扬声器控制器1151可以是处理设备1135的一部分。应当理解,音频记录器1120,数据库1140,处理器1130和/或扬声器控制器1151可以无线地或通过导线连接。所述组件还可以经由网络(例如,因特网和/或内联网)彼此通信。
例如,可以进一步分析对特定用户的所收集到的心率和呼吸速率,以便动态地(实时地)调整对该特定用户的心率和呼吸速率的测量和确定的方法。该方法还可以基于一定数量的不同用户的心率和呼吸速率的测量来动态地(实时地)调整。因此,监测设备1150可以向处理器1130发送反馈。
图16示出了用于测量心率和呼吸速率的方法的实施例的示意图。
典型地,所记录的音频数据具有48,000Hz的采样率。在步骤1605,可以通过例如10倍的数对数据进行降低采样,以通过应用低通滤波器并去除采样来降低采样率来减少处理时间。例如,在步骤1605,数据可以从48,000Hz降低采样到4,800Hz。例如,数据可以被降低采样到4,800Hz(采样因数Fs可以是例如4,800Hz)。
在步骤1607,数据(x)可以被成帧(分离,缩小)成较小的数据帧(这里也称为"数据窗口")。例如,每个数据帧可以具有经记录的10秒的音频数据。
例如,在步骤1607,输入数据x可以被成帧为10秒x(n)的窗口,其中n可以在0到M-1的范围内(例如,M可以在35000和50000之间)。
然后可以将两个过程同时应用于这样的数据窗口:心率提取过程1710和呼吸速率提取过程1750。应当理解,尽管这些过程可以连续地执行,但是同时确定心率和呼吸速率可以允许在用户(耳机的佩戴者)的状况的实时分析中使用该方法。
心率提取过程1710和呼吸速率提取过程1750在对数据应用相同的步骤方面可以是相似的,尽管降低采样速率和频率是不同的。
心率提取过程(方法)1710的实施例在图17A中示出。对于心率提取,数据x(n)可以首先被降低采样,例如,通过20到40的因数,以便获得在150和200Hz(例如,160Hz)之间的数据频率。这种降低采样可以减少计算时间并增加电池寿命。在一些实施例中,Fs可以分别比在步骤1716a或1716b适用的带通滤波器的最高频率高两倍。
然后,在步骤1716a,降低采样的数据可以通过带通滤波器。例如,带通滤波器可以是本领域已知的有限脉冲响应(FIR)滤波器。在一些实施例中,应用于数据的带通滤波器可以小于70Hz。例如,在步骤1716a应用的带通滤波器的频率范围可以在10Hz和70Hz之间,或者在15Hz和60Hz之间,或者在15Hz和45Hz之间。
在一些实施例中,在步骤1716a应用的带通滤波器的频率范围可以被调整给特定的佩戴者或特定的耳机。例如,方法1710和系统1000因此可以被个性化以捕获耳机频率衰减的特定特征和佩戴者的生物信号的特定频谱。这种表征可以在训练或初始化阶段中离线执行。
在步骤1716a,降低采样的数据可以通过带通滤波器以获得心率数据c(n),其中n是多个点的数据数量。在其它实施例中,频带对应于与耳道中的心跳相关的声音的频带。
在图17B中示出了呼吸速率提取算法1750的实施例。对于呼吸速率提取,可以在步骤1712b将数据x(n)降低采样到例如1600Hz,然后在步骤1716b通过带通滤波器,以获得呼吸速率数据r(n)。在步骤1716b应用的带通滤波器可以是FIR滤波器。例如,这种滤波器的频率范围可以例如在100Hz和600Hz之间。例如,在步骤1716b应用的带通滤波器的频率范围可以在150Hz到400Hz之间。
此外,在步骤1718a和1718b,可以分别对心率和呼吸速率数据c(n),r(n)应用具有移动平均值的希尔伯特变换。
然后,在步骤1720a和1720b,可以将每个包络降低采样到例如16Hz,以分别获得c'(n)和r'(n)。在一些实施例中,c'(n)是c(n)的包络信号,而r'(n)在这里是r(n)的包络信号。采样速率可以例如在5Hz和20Hz之间。
例如,16Hz可以是确定心率和呼吸速率的适当采样速率,其可以近似对应于具有最大频率7-8Hz(近似每分钟400次搏动或每分钟循环)的信号。这种实施例可用于覆盖宽范围的心率和呼吸率值。在一些实施例中,进一步的降低采样可以不提供处理时间的显著减少。
现在参考步骤1724a和1724b,可以通过执行脚本或过程来确定信号的基本(中心)频率(Fc)。在步骤1726a,1726b,可以应用带通滤波器,并且可以将所确定的中心频率用作带通滤波器的中心频率。因此,步骤1724a,1726可以提供经滤波的信号。
例如,在步骤1726a,1726b应用的带通滤波器的频率范围可以针对耳机100的特定用户进行调整。例如,处理器1130可以基于先前为特定用户确定和收集的心率和呼吸速率来调整(例如,在用户的监视期间动态地)这样的频率范围。
在一些实施例中,步骤1712a,1712b,1720a,1720b可根据可用的处理功率而省略或调整。
图18示出了确定带通滤波器(Fc)的中心频率的实施例的示意图。
在图19中示出了在步骤1730a,1730b中应用的峰值提取过程的实施例。峰值提取过程的步骤之一可以是应用具有从c'(n)和r'(n)的频谱计算出的截止频率的带通滤波器,以便获得C(n)和R(n)。然后可以将移动阈值应用于数据C(n)和R(n),以确定是否检测到心跳或呼吸阶段(吸气或呼气)。应当理解,可以将峰值提取的其它方法应用于心率数据和呼吸速率数据。
在一些实施例中,在步骤1730a,1730b应用的峰值提取对于特定用户是可调整的。
可以基于检测到的心跳次数(HB)和呼吸周期(BC)来计算心率和呼吸速率。可以使用先前的心率和呼吸速率值来计算两次检测之间的最小样本数,以避免错误的检测,假定这些生物信号在几秒钟内有些稳定。
现在参考图5,其中示出了心率和呼吸速率提取方法的示意流程图。应当注意,这些方法复杂度低,并且可以快速地应用于测量的数据,从而允许及时地更新和显示心率和呼吸速率的变化。该方法的低复杂度降低了计算时间和电池消耗。
即使当环境有噪声时,也可以应用提取心率和呼吸速率的方法。
例如,可以用适于生物信号的自适应滤波方法来执行去噪,例如在美国临时专利申请序列号62/332,861中所描述的,其内容通过引入合并于本文。为了调整用于生物信号的自适应滤波器,在归一化最小均方(nLMS)自适应滤波器内的滤波器系数的较大相对权重可以用于较低频率。较低的频率表示与生物信号的频率更接近匹配的频率范围。
图6示出了使用自适应滤波对所捕获的耳内声音数据(以去除噪声)进行去噪的示意流程图600。
例如,可以使用归一化最小均方(nLMS)自适应滤波器来执行去噪600。在这种自适应滤波器中,所考虑的信号可以是误差信号e(n)。例如,去噪600可以包括确定要从耳内信号中去除的噪声(估计的残余噪声)。
对捕获的耳内声音数据的去噪600可以包括以下步骤。首先,可以使用误差数据e(n)和外耳声音数据来确定自适应滤波器610的参数。然后可将自适应滤波器615应用于外耳声音数据以获得经过滤的外耳声音数据n(n)。然后,在步骤610,可以从耳内声音数据中减去滤波后的外耳声音数据,以获得没有噪声的耳内声音数据(b(n))。自适应滤波器的参数可以根据620的输出进行调整。
在图6中,
Figure BDA0002355203510000141
是耳机的估计传递函数(主传递函数),并且
Figure BDA0002355203510000142
是估计的残余噪声。
然后,如本文所述的心率和呼吸速率提取算法1710,1750可以被应用于经去噪的生物信号。
图21示出了用于利用去噪步骤600测量心率和呼吸速率的方法2100的实施例。
实验
通过位于仪表式耳机中的耳内麦克风(IEM)测量封闭耳道中的声音。使用25个个体的样本创建封闭耳道中的耳内音频记录的数据库。在实验期间,要求受试者以各种节律和强度通过口或鼻呼吸以实现真实的记录。记录这些真实的声音。记录耳道中总共16小时和40分钟的声音。
然后,使用这里描述的方法(信号处理算法)在该特定位置处记录且研究心脏和呼吸声音特征,以评估用户的心率和呼吸速率。
来自算法的结果随后与由在测量期间使用的商业参考设备获得的数值进行比较。最后,将噪声数字化地添加给IEM信号,以评估算法对环境噪声的耐久性,用于进一步的应用,例如监测工人的健康。将噪声添加到记录的信号中,并应用去噪滤波器来测试该方法在噪声环境中的耐久性。
在这里描述的例子中,心率和呼吸速率提取的绝对平均误差分别被获得为4.3次跳动/分钟和3.0次循环/分钟。在该示例中,对于高达110dB SPL的噪声,实现了具有小误差的心率的提取,而具有噪声的呼吸速率的提取不那么精确。在这个例子中,算法(尤其对于心率)已经显示对模拟的高噪声环境具有低灵敏度。
从封闭耳道中的声学测量中提取心率和呼吸速率可以在高环境噪声下进行。
数据采集
在该实验中,对25名受试者(19名男性和6名女性,年龄在21至53岁之间,平均28岁)同时记录左耳和右耳中的音频信号。
每个参与者配备有两个由EERS Technologies(蒙特利尔,加拿大)开发的具有一次性泡沫端部(Tx200,Comply,Oakdale,美国)的仪表式耳机。每个耳机具有两个麦克风和一个扬声器,如图1A和1B所示。IEM用于记录耳道中的声音。用多通道数字音频记录器(H4n,Zoom Corporation,东京,日本)以48kHz的采样速率记录音频数据。图1A和1B示出了由每个受试者佩戴在每个耳朵中的仪表式耳机的示例。
可佩戴的胸带(BioHarnessTM 3,Zephyr,Annapolis,美国)用作参考系统。通常,BioHarnessTM可以在休息时提供对心跳和呼吸的非常精确的测量。由MuSAE Lab开发的数据采集框架用于记录和显示来自BioHarnessTM的原始数据。
开发Python例程以使音频数据和BioHarnessTM数据同步。在音频数据和BioHarnessTM数据之间可能存在小的延迟(不大于125ms)。在这个例子中,这种延迟不影响心率和呼吸速率的提取过程。
实验方案
为了提供尽可能真实的记录,要求受试者以各种节奏和强度呼吸。他们在录音期间坐在听力计双壁隔音室中。表1提供了实验方案,其进行是用鼻呼吸一次,用口呼吸一次,导致十种不同的呼吸类型。
表1提供了显示真实生活记录的实验方案,用鼻呼吸进行一次和用嘴呼吸进行一次。
Figure BDA0002355203510000151
Figure BDA0002355203510000161
表1
为了评估受试者的耳机是否良好地定位在耳道内并提供有环境噪声的良好衰减,通过在隔音室中播放85dB SPL的白噪声来为每个受试者的耳朵计算OEM和IEM之间的传递函数:在录制会话开始时30秒,在录制会话结束时30秒。
没有施加目标节律或呼气容积。根据呼吸的类型,受试者可以自由地解释如何呼吸,因此,所获得的数据库包含宽范围的现实生活的信号。呼吸暂停记录仅用于光谱表征。
数据库分析
由于音频和BioHarnessTM信号之间的同步问题,从分析中除去5个受试者。表2显示了关于为20名受试者记录的心率和呼吸速率值的信息。
用允许无线记录数据的便携式系统BioHarnessTM记录心率和呼吸速率值。表2给出了20名受试者在所有条件下的平均值,标准偏差,最小值和最大值。可以注意到,记录了宽范围的心率和呼吸速率值。
Figure BDA0002355203510000171
表2
在图2(a)示出了在封闭耳道中正常呼吸的声音的示例性记录,BioHarnessTM参考信号示出于图2(b)和图2(c)。具体地,图2示出:(a)由IEM记录的时间信号,示出S1和S2。(b)由BioHarnessTM记录的心跳参考,其是心电图。(c)由BioHarnessTM记录的呼吸参考,其是显示吸入(上升阶段)和呼气(下降阶段)的呼吸电感体积描记术。
如果呼吸较浅,则IEM几乎无法测量。当呼吸较强时,麦克风可以测量呼吸声音。
两个主要的心音(S1和S2)是清楚可辨别的。S1对应于三尖瓣和二尖瓣的关闭,并且发生在ECG信号的RS段之后。S2对应于主动脉和肺动脉瓣的闭合,并且在ECG信号的T波期间发生。呼吸声音是由鼻腔和口腔以及呼吸道中的紊流引起的。呼吸声音的振幅在正常呼吸中可以非常小。如果呼吸强度较强,则呼吸的声音振幅会超过心脏的声音振幅。
图3示出了一个受试者的具有深口呼吸的音频信号的频谱图。具体地,图3示出了一个受试者的深口呼吸的示例性频谱图,示出了可以用IEM测量呼吸和心跳。在图3中,吸气之后是短的暂停,然后是呼气。心音由低于60Hz的黑点来识别。示出了吸气阶段的结束,随后是短的暂停,然后是呼气。在低于150Hz的频率下的生理噪声由于骨架活动(肌肉活动,血液流动等)而可观察到。).
图4示出了一个受试者的四种类型的呼吸(呼吸暂停,正常呼吸,快速呼吸和深度呼吸)的示例性频谱。心音的能量在10到50Hz之间的频带中最大化。呼吸声音在与心音相同的频带中看起来具有低频成分。在这个例子中,100到400Hz频带中的能量根据受试者和呼吸类型而变化很大。当频率增加时呼吸声能下降,而高于3000Hz的声音不可听见。此外,当呼吸微弱时,例如在正常呼吸中,声音几乎不能被IEM测量(图2(a))。
因为低频成分,耳道内的声压级可以在45dB至65dB之间的范围内,或者在使用A加权滤波器时在20dBA至40dBA之间的范围内。
查找字典
根据一些实施例,系统1000包括查找字典1160,如图15C所示。查找字典1160是包含了先前已经被记录、分析并且与至少一个属性相关联的各种心跳和呼吸速率采样的数据库。查找字典1160包含各种预定的样本-属性关联或各种(样本范围)-属性关联。在一些实施例中,样本与诸如源类型属性,生理状态属性,情绪状态属性等的一个或多个属性相关联。应当认识到,可以将单个样本与属性的组合相关联。例如,源类型可以指示血管系统源(例如心跳源)或呼吸系统源。生理状态属性可以表示各种健康标记,例如健康标记可以表示为三个健康水平中的一个,即良好的健康水平,平均的健康水平或不良的健康水平。注意,根据所需的精度,任何数量的健康指示级别都是可能的。情绪状态属性可以表示各种情绪,例如焦虑状态,平静状态,疲劳状态,快乐状态等。应当认识到,这些属性可以根据用户的个人数据来确定,例如年龄,性别,体重和身高。
根据一些实施例,处理设备1130适于或被配置为访问查找字典1160,将所捕获的耳内音频信号与查找字典1160的各种样本或样本范围进行比较,并确定至少一个相关联的属性。应当认识到,处理器可以被配置或适于根据用户的个人数据(例如,年龄,性别,体重和身高)将捕获的耳内音频信号与查找字典1160的样本或样本范围进行比较。
根据一些实施例,处理器1130被配置为向监视设备1150发送所确定的属性。
根据另一实施例,处理器1130进一步经配置以分析所确定的属性并提供一般状态指标记。一般状态标记可以是健康状态标记,情绪状态标记,活动类型状态标记等或其任何组合。注意,一般状态标记可以在分析根据给定时间段或根据先前一般状态标记确定的属性之后提供。例如,一般健康标记可以是与在给定时间段(例如24小时)期间收集的耳内信号相当的样本相关联的健康标记的平均值。在另一种情况下,可以根据在给定时间段(例如一小时)期间收集的耳内信号所识别的各种情绪状态或者根据在给定时间段期间收集的耳内信号和先前的一般状态标记所识别的各种情绪状态来提供一般状态标记。例如,被识别为"快乐"的当前一般状态标记仅在先前的一般状态标记是"兴奋"或"平静"时才是可能的。"悲伤"的先前一般状态标记不能由当前的"快乐"的一般状态标记跟随。
根据又一实施例,根据诸如健康标记和情绪标记这种属性类型的各种组合来确定一般状态标记。此外,一般标记可以与已经由另一个生物传感器或耳内传感器捕获的另一个检测信号相关。
应当认识到,查找字典1160可以由任何其它类型的数据源或数据存储单元代替。此外,查找字典1160可以由处理器1130执行的算法代替。该算法可以是根据具有预定样本-属性关联或(样本范围)-属性关联的数据源的内容训练的机器学习算法。在一些实施例中,算法可加载到系统1000的存储模块中,且存储模块可由处理器1130存取。
图22A示出了根据一个实施例的用于确定耳内音频信号的属性的方法2200。方法2200包括用耳内麦克风捕获用户耳道内的耳内音频信号2202。然后处理耳内音频信号2204,并根据预定的音频信号关联来识别耳内音频信号的属性2206。该属性与心率和呼吸速率两者之一相关联。
图22B示出了识别耳内音频信号的属性的方法2206。方法2206包括将耳内音频信号与预定关联的样本进行比较2208。如果找到匹配,则方法2206识别相应的属性2210。应当认识到,可以根据预定的允许误差量来执行比较2208。此外,所述比较还可以包括将所述耳内音频信号与采样范围进行比较。
还应当理解,耳内音频信号还可包括多个耳内音频信号,并且在处理2204期间提取期望的一个或一组耳内音频信号。此外,用于确定耳内音频信号的属性的方法2200可包括根据本文所述的方法提取耳内音频信号。
方法
这里描述的信号处理算法和方法被用于提取心率和呼吸速率。为了模拟现实生活情况,按该特定顺序依次添加音频记录:口呼吸(正常,快速,运动后正常,深慢),然后鼻呼吸(正常,快速,运动后正常,深慢)。对每个受试者总共36分钟进行8种呼吸类型作出分析(对于两个耳朵)。
用于提取心率和呼吸速率的算法和方法
在图5和16-19中示出了用于提取心率和呼吸速率的方法的实施例的示意框图。
在该示例中,首先,通过应用低通滤波器并去除采样以降低采样率,将记录的信号降低采样到4800Hz以减少处理时间。第一阶段将输入的数据x成帧成10秒x(n)的窗口,其中n的范围从0到M-1(M=47999)。
例如,这种降低采样可以减少计算时间并降低系统1000的设备的电池消耗。
然后,信号被发送到两个类似的过程:一个用于心率提取1710,一个用于呼吸速率提取1750。
对于心率提取,窗口数据x(n)被降低采样到160Hz,然后从15Hz到45Hz进行带通滤波,以获得c(n)。对于呼吸速率提取,窗口数据x(n)被降低采样到1600Hz,然后从150Hz到400Hz进行带通滤波以获得r(n)。
然后将具有移动平均值的希尔伯特变换应用于滤波后的数据c(n),以便提取包络。将每个包络降低采样到16Hz以获得c'(n)和r'(n),其中c'(n)是c(n)的包络信号,r'(n)是r(n)的包络信号。然后,峰值提取过程1730a,1730b包括几个步骤,其中之一是具有从c'(n)和r'(n)的频谱计算出的截止频率的带通滤波器,以获得C(n)和R(n)。然后,将移动阈值应用于C(n)和R(n),以确定是否检测到心跳或呼吸阶段(吸气或呼气)。
基于检测到的心跳次数(HB)和呼吸周期(BC)计算心率和呼吸速率。使用先前的心率和呼吸速率值计算两次检测之间的最小样本数,以避免错误的检测,假定这些生物信号在几秒钟内有些稳定。
为了评价该方法的性能,用下式计算一个受试者和一个18分钟的序列的绝对误差:
Figure BDA0002355203510000211
其中Refi是参考节律的值:每分钟搏动(BPM)或每分钟周期(CPM)。Ai是由算法(BPM或CPM)计算的节律的值,N是观察的次数。
在5秒内计算心率和呼吸速率,每个都使用HB和BC的当前检测以及心率和呼吸速率的两个先前值。此外,相对误差由参考值和算法输出值之间的百分比差来定义。
环境噪声中生物信号去噪
为了模拟诸如矿井或工厂的噪声工作环境,将噪声数字化地添加到IEM信号中,然后可以在存在这些干扰的情况下评估所开发的算法的性能。
利用NASA的蒸汽厂数据库中的白噪声和工业噪声。
图20示出了被应用于测量数据的激励和然后去噪的过程的示意流程图。
首先,激励部分由噪声信号(白噪声或工业噪声)nO(n)乘以增益G组成,增益G经计算以获得范围从50到110dB SPL的校准噪声电平(以多个级的5dB)。然后,归一化的噪声信号OEMs(n)通过H(z)以获得耳朵nr(n)内的残余噪声。在图20中,H(z)是由在实验方案期间进行的从测量计算出的受试者耳塞的真实传递函数。然后,将nr(n)添加到由IEM测量的包含心脏和呼吸声音的生物信号b(n),以获得噪声生物信号。
第二,去噪声部分包括源自环境噪声和干扰的噪声IEMs(n)信号中去除残留噪声。使用归一化最小均方(nLMS)自适应滤波器进行去噪。这种滤波器被描述并应用于在RachelBouserhal,Tiago Falk和Jeremie Voix的"In-ear microphone speech qualityenhancement via adaptive filtering and artificial bandwidth extension"(TheJournal of the Acoustical Society of America,vol.141,no.3,第1321-1331页,Mar,2017(本文也称为"Bouserhal等人"。)中由IEM捕获的语言信号的去噪声.与Bouserhal等人相反,如上所述,本实例中的自适应滤波器适用于上文所述的生物信号。
在这样的自适应滤波器中,所考虑的信号可以是误差信号e(n)。确定要从耳内信号中去除的噪声(估计的残余噪声)。
参照图20,
Figure BDA0002355203510000221
是耳机的估计传递函数(主传递函数),并且
Figure BDA0002355203510000222
是估计的残余噪声。然后将这里描述的心率和呼吸速率提取算法应用于去噪的生物信号。
结果
使用每个受试者36分钟长的信号获得结果,包含8种呼吸类型。算法在MatlabTM中实现。
上文定义的绝对和相对误差经计算用于心率和呼吸速率的提取算法。
图7示出了:(a)记录的音频时间信号,示出了心跳的清晰峰值;(b)输出用于所记录的音频信号的心率提取算法;(b)来自BioHarnessTM的参考信号。图7(b)中的点表示检测到的心跳(HB),显示出与参考信号良好的一致。
特别地,图7示出了由IEM测量的正常呼吸的音频信号x(n),算法的输出信号C(n),具有由算法检测的心跳(HB),以及来自可佩戴胸带(BioHarnessTM)的时间信号。
在图8中给出了一个受试者在18分钟的序列内心率随时间的变化。在图8中示出的是在18分钟内(在一只耳朵中)对参考心率和针对8种类型的呼吸而开发的算法的输出之间的比较。垂直线表示呼吸类型之间的区分:四个口呼吸,接着是四个鼻子呼吸。在该实施例中获得了两条曲线之间通常良好的一致性,平均绝对误差为4.0BPM。
绝对误差被计算为参考节奏和算法输出节奏之间的差。在整个18分钟的记录中,该受试者的平均绝对误差为4.0BPM。当呼吸类型改变时,根据由算法检测到的心跳而计算心率的例程在曲线上引起延迟。
对于心率提取,20名受试者的平均绝对误差(计算为上文定义的所有个体的绝对误差ε的平均值)为4.3BPM,具有标准偏差2.2BPM。这给出5.6%的平均相对误差,具有以标准偏差与平均值之间的百分比(%)计算的51.2%的相对标准偏差,。
图9示出了在参考设备上用于算法输出的心率的散点图。具体而言,图9是针对每个受试者在每个呼吸条件下获得的平均心率的散点图。计算每种呼吸类型的心率的两个耳朵的平均值(每个受试者一种颜色,嘴和鼻呼吸具有相同的符号)。
点越靠近线y=x,算法执行得越好。算法输出接近于大多数记录的参考。在这个例子中获得了在宽范围的BPM上的算法的良好的预测能力。
图10示出了(a)由IEM测量的对快速呼吸记录下的音频时间信号x(n)。图10还示出(b)基于所记录的音频信号的呼吸速率提取算法的输出,即算法的输出信号R(n),其具有由算法检测到的呼吸周期(BC)。还显示了来自BioHarnessTM(c)的参考信号。在该实例中,检测到的呼吸循环与参考信号非常一致。
在图11中示出了在18分钟的序列内一个受试者的呼吸速率随时间的变化。特别地,图11示出了在18分钟(在一只耳朵中)内对参考心率和针对8种类型的呼吸而开发的算法的输出之间的比较,示出了两条曲线之间的总体一致性。平均绝对误差为1.7CPM。图11中的垂直线表示呼吸类型之间的区分:四个口呼吸之后是四个鼻子呼吸。
该受试者的平均绝对误差为1.7CPM。当呼吸类型改变时,用于从由算法检测到的循环而计算呼吸速率的例程在曲线上引起延迟。
对于呼吸速率提取,20名受试者的平均绝对误差为3.0CPM,具有标准偏差1.5CPM。这给出25.1%的平均相对误差,具有50%的相对标准偏差为。
图12示出了在参考设备上用于算法输出的呼吸速率的散点图。具体而言,图12示针对每个受试者在每个呼吸条件下获得的平均呼吸速率的散点图。计算针对每种呼吸类型(每个受试者一种颜色,嘴和鼻呼吸具有相同的符号)的呼吸速率的两个耳朵的平均值。
算法输出接近对于25CPM以下的呼吸速率的低值的参考,这在本例中证明了对小于25CPM的呼吸速率该算法的良好预测能力。
环境噪声中生物信号去噪
如本文所述,当噪声被添加到信号时,该部分呈现所提出的用于心率和呼吸速率的提取算法的结果。
图13示出了20个受试者的平均绝对误差随噪声水平的演变,在该示例中示出了具有宽带白噪声和工业噪声的心率提取的良好性能。对于具有白噪声和工业噪声的呼吸速率提取,误差增加的更大。
图14示出了20个受试者的平均相对误差随噪声水平的演变,在该示例中示出了具有白噪声和工业噪声的心率提取的良好性能。呼吸速率提取上的误差的增大会大于心率方面的误差的增大。
图13和图14分别示出了当信号被级别范围从50到110dB SPL的噪声破坏时,平均绝对误差和平均相对误差的演变(对于20个受试者)。对于心率,对于宽带白噪声,绝对误差不超过4.7BPM(6.1%相对误差),对于工业噪声,绝对误差不超过7.6BPM(9.1%相对误差)。在白噪声的情况下,误差从50dB平稳上升到110dB。在工业噪声的情况下,误差上升到85dB,然后平稳上升到110dB。
对于呼吸速率,对于白噪声,绝对误差不超过7.4CPM(63.9%的相对误差),对于工业噪声,绝对误差不超过6.6CPM(57.9%的相对误差)。在白噪声的情况下,误差增加到75dB,然后平稳达到110dB。在工业噪声的情况下,误差增加到60dB,然后从65dB平稳升到110dB。
实验结果显示出对20名受试者的心率的准确提取。平均绝对误差为4.3BPM(5.6%的相对误差)。
呼吸速率的提取不太精确,绝对误差为3.0CPM(25.1%的相对误差)。对于一些受试者,提取如图11所示作得很好。
这种模拟是脱机进行的,而不是在受试者暴露于噪声源(白噪声或工业噪声)时实际运行算法,并且被执行以评估算法对噪声的耐久性。使用如本文所述的自适应滤波的去噪被用于去噪耳道内测量的声学生物信号。
对于心率提取,模拟结果显示绝对误差有非常小的增加。去噪滤波在低频中性能良好。白噪声的绝对误差不超过4.7BPM,工业噪声的绝对误差不超过7.6BPM,这表示低的相对误差(分别为6.1%和9.1%)。工业噪声在20到120Hz的频带中具有比白噪声更高的能量,并因此影响对心跳的低频检测。
对于呼吸速率提取,仿真结果表明绝对误差增大。该示例的结果表明,去噪滤波器可以在65dB SPL以下充分良好地执行。
绝对误差一直增加到对于白噪声为7.4CPM和对于工业噪声为6.6CPM,这表示高的相对误差(分别为63.9%和57.9%)。所执行的提取算法对于没有环境噪声的信号是低效的。通常,工业噪声在其频谱中具有音调成分,这将其与所考虑的频带(即,150到400Hz)中的呼吸频谱区分开。白噪声(在所有频率下能量相同)具有与所考虑的频带中的一些受试者的呼吸频谱相似的频谱。这就是在工业噪声的情况下去噪过程会比在白噪声的情况下更有效的原因。
在本文所述的实例中,20名受试者的平均绝对误差对于心率为4.3次/分钟(BPM),对于呼吸速率为3.0次/分钟(CPM)。针对环境噪声评估算法的耐久性。将宽带白噪声和工业噪声数字化地加到耳内信号中。nLMS自适应滤波器被用于去除不需要的噪声。
在该示例中,对于高达110dB SPL的噪声,心率的提取具有低于7.6BPM的绝对误差(9.1%相对误差),而具有噪声的呼吸速率的提取则精度降低:具有低于7.4CPM的绝对误差(63.9%相对误差)。在这个例子中,算法(尤其对于心率)已经显示对于模拟出的高噪声环境具有低灵敏度。
虽然以上已经详细描述了本发明的示例性和当前优选的实施例,但是应当理解,本发明的概念可以以其它方式不同地实施和使用,并且所附权利要求旨在被解释为包括除了现有技术所限制的范围之外的这些变化。

Claims (51)

1.一种心率或呼吸速率测量系统,所述系统包括:
外壳,其被构造成至少部分地将耳道从耳道外部的环境中进行封闭;
耳内麦克风(IEM),其位于所述外壳内并被配置为捕获至少一个内部音频信号,所述至少一个内部音频信号表示在所述耳道内捕获的声音;
一种操作性地连接到IEM的处理设备,所述处理设备被配置为分析所述至少一个内部音频信号,以确定对心率和呼吸速率中的至少一个进行测量。
2.根据权利要求1所述的系统,还包括外耳麦克风(OEM),所述OEM操作性地连接到所述处理设备并被配置成捕获外部音频信号,所述外部音频信号表示从所述耳道的外部环境捕获的声音。
3.根据权利要求2所述的系统,其中所述处理装置进一步被配置成根据所述外部音频信号来分析所述至少一个内部音频信号,并基于所述分析来对所述至少一个内部音频信号进行去噪。
4.根据权利要求3所述的系统,其中所述处理设备还被配置成根据自适应滤波器分析所述至少一个内部音频信号,并基于所述分析对所述至少一个内部音频信号进行去噪。
5.根据权利要求2所述的系统,还包括扬声器,所述扬声器被配置成在所述耳道内再现所述外部音频信号。
6.根据权利要求5所述的系统,其中所述扬声器连接到控制器,并被配置成在所述耳道内再现经修改的外部音频信号。
7.根据权利要求5所述的系统,其中所述扬声器被进一步配置成回放音乐,收发通信信号或产生警告信号。
8.根据权利要求5所述的系统,其中所述扬声器在所述外壳内。
9.根据权利要求1所述的系统,其中所述处理设备包括音频记录器,所述音频记录器被配置成记录所述至少一个内部音频信号。
10.根据权利要求9所述的系统,还包括数据库,所述数据库被配置成存储所述至少一个记录的内部音频信号。
11.根据权利要求10所述的系统,其中所述处理设备被进一步配置成基于存储在所述数据库中的所述至少一个记录的内部音频信号来识别所述至少一个内部音频信号的源。
12.根据权利要求11所述的系统,其中所述处理设备被进一步配置成根据预定音频信号的关联来识别所述至少一个内部音频信号的源。
13.根据权利要求11所述的系统,其中所述至少一个内部音频信号的源是心脏脉冲或呼吸中的一个。
14.根据权利要求11所述的系统,其中所述处理设备被进一步配置成根据预定音频信号的关联来识别所述至少一个内部音频信号的至少一个属性。
15.根据权利要求14所述的系统,其中所述至少一个属性表示与所述系统的用户相关联的状态。
16.根据权利要求1所述的系统,其中所述处理设备适于向监测设备收发所述测量的至少一部分或与所述测量的至少一部分相关联的信息。
17.一种用于确定心率或呼吸速率的属性的方法,所述方法包括:
利用耳内麦克风捕获用户耳道内的至少一个内部音频信号;
处理所述至少一个内部音频信号;和
根据预定音频信号的关联来识别所述至少一个内部音频信号的至少一个属性,所述至少一个属性与心率或呼吸速率中的至少一个相关联。
18.根据权利要求17所述的方法,其中所述至少一个属性表示所述至少一个内部音频信号的源。
19.根据权利要求17所述的方法,其中所述至少一个属性表示一种状态,该状态选自由健康状态、情绪状态、活动状态和一般状态组成的组。
20.根据权利要求17所述的方法,还包括将所述至少一个属性发送到监测设备。
21.根据权利要求17所述的方法,其中所述至少一个属性表示所述至少一个内部音频信号的测量。
22.根据权利要求17所述的方法,其中所述处理包括从所述至少一个内部音频信号提取心率和呼吸速率中的至少一个。
23.根据权利要求22所述的方法,其中所述提取由数字信号处理器(DSP)装置执行。
24.根据权利要求22所述的方法,其中所述提取是根据预定频率范围执行的。
25.根据权利要求22所述的方法,其中所述提取是根据预定采样率执行的。
26.根据权利要求22所述的方法,其中所述提取进一步包括应用第一带通滤波器,应用希尔伯特变换以提取所述时间音频信号的包络,确定所述带通滤波器(Fc)的中心频率,应用第二带通滤波器以产生经滤波的信号,以及提取所述经滤波的信号的峰值。
27.根据权利要求26所述的方法,其中所述提取进一步包括在应用所述第一带通滤波器之前的第一抽选和在确定所述第二带通滤波器的中心频率之前的第二抽选。
28.根据权利要求22所述的方法,其中所述提取是同时提取心率和呼吸速率。
29.根据权利要求17所述的方法,还包括捕获外部音频信号,所述外部音频信号表示从所述耳道外部的环境捕获的声音。
30.根据权利要求29所述的方法,还包括根据所述外部音频信号对所述至少一个内部音频信号进行去噪。
31.根据权利要求30所述的方法,其中所述去噪是用自适应滤波器执行的。
32.根据权利要求31所述的方法,其中所述自适应滤波器是根据归一化最小均方误差(nLMS)方法进行调谐。
33.根据权利要求31所述的方法,其中所述自适应滤波器通过在较低频率对所述自适应滤波器的滤波器系数应用较高的相对权重来对所述至少一个内部音频信号进行去噪。
34.根据权利要求29所述的方法,其中所述外部音频信号的捕获在噪声环境中执行。
35.一种用于确定心率或呼吸速率的方法,所述方法包括:
利用耳内麦克风捕获用户耳道内的至少一个内部音频信号;
从所述至少一个内部音频信号中提取心率和呼吸速率中的至少一个;和
确定对所提取的心率和呼吸速率中的至少一个进行至少一次测量。
36.根据权利要求35所述的方法,其中所述提取由数字信号处理器(DSP)装置执行。
37.根据权利要求35所述的方法,其中所述提取是根据预定频率范围执行的。
38.根据权利要求35所述的方法,其中所述提取是根据预定采样率执行的。
39.根据权利要求35所述的方法,其中所述提取进一步包括应用第一带通滤波器,应用希尔伯特变换以提取所述时间音频信号的包络,确定所述带通滤波器(Fc)的中心频率,应用第二带通滤波器以产生经滤波的信号,以及提取所述经滤波的信号的峰值。
40.根据权利要求39所述的方法,其特征在于,所述提取还包括在应用所述第一带通滤波器之前的第一抽选,以及在确定所述第二带通滤波器的中心频率之前的第二抽选。
41.根据权利要求35所述的方法,其中所述提取是同时提取心率和呼吸速率。
42.根据权利要求35所述的方法,还包括捕获外部音频信号,所述外部音频信号表示从所述耳道的外部环境捕获的声音。
43.根据权利要求42所述的方法,还包括根据所述外部音频信号对所述至少一个内部音频信号进行去噪。
44.根据权利要求43所述的方法,其中所述去噪是用自适应滤波器执行的。
45.根据权利要求44所述的方法,其中所述自适应滤波器是根据归一化最小均方误差(nLMS)方法进行调谐。
46.根据权利要求44所述的方法,其中所述自适应滤波器通过在较低频率对所述自适应滤波器的滤波器系数应用较高的相对权重来对所述至少一个内部音频进行去噪。
47.根据权利要求42所述的方法,其中所述外部音频信号的捕获在噪声环境中执行。
48.根据权利要求35所述的方法,进一步包括将所述至少一个属性发送到监测设备。
49.根据权利要求35所述的方法,进一步包括根据所述至少一次测量并根据预定音频信号的关联来识别至少一个属性。
50.根据权利要求49所述的方法,其中所述至少一个属性表示所述至少一个内部音频信号的源。
51.根据权利要求49所述的方法,其中所述至少一个属性表示一种状态,该状态选自由健康状态,情绪状态,活动状态和一般状态组成的组。
CN201880045022.6A 2017-05-10 2018-04-13 用于确定心律和/或呼吸速率的系统和方法 Pending CN110868921A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762504258P 2017-05-10 2017-05-10
US62/504,258 2017-05-10
PCT/CA2018/050453 WO2018205013A1 (en) 2017-05-10 2018-04-13 System and method for determining cardiac rhythm and/or respiratory rate

Publications (1)

Publication Number Publication Date
CN110868921A true CN110868921A (zh) 2020-03-06

Family

ID=64104054

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880045022.6A Pending CN110868921A (zh) 2017-05-10 2018-04-13 用于确定心律和/或呼吸速率的系统和方法

Country Status (5)

Country Link
US (1) US20200196977A1 (zh)
EP (1) EP3634218B1 (zh)
CN (1) CN110868921A (zh)
AU (1) AU2018266253B2 (zh)
WO (1) WO2018205013A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111419271A (zh) * 2020-04-20 2020-07-17 连云港市第二人民医院(连云港市临床肿瘤研究所) 一种智能无线听诊器
CN113892926A (zh) * 2021-09-08 2022-01-07 杭州回车电子科技有限公司 基于头部脉搏波的心率信号处理方法、装置和电子装置
WO2022059743A1 (ja) * 2020-09-18 2022-03-24 みずほリサーチ&テクノロジーズ株式会社 集音部材
CN114724334A (zh) * 2021-01-05 2022-07-08 德尔格安全股份两合公司 用于监控呼吸的通信设备和通信系统
WO2023240510A1 (zh) * 2022-06-15 2023-12-21 北京小米移动软件有限公司 呼吸监测方法、装置、耳机及存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2567648B (en) * 2017-10-18 2022-09-14 Imperial College Sci Tech & Medicine Electrocardiogram apparatus and method
CN109793519B (zh) * 2019-01-22 2021-12-24 南方科技大学 呼吸速率检测方法、装置、存储介质及终端
WO2021127228A1 (en) * 2019-12-17 2021-06-24 Starkey Laboratories, Inc. Hearing assistance systems and methods for monitoring emotional state
WO2021142290A2 (en) * 2020-01-10 2021-07-15 Starkey Laboratories, Inc. Systems and methods for locating mobile electronic devices with ear-worn devices
DE102022206012B3 (de) 2022-06-14 2023-08-31 Sivantos Pte. Ltd. Verfahren zur Pulsmessung einer Person mittels eines Hörsystems
WO2024092014A1 (en) * 2022-10-25 2024-05-02 New York University Systems and methods of obtaining vitals via phone call

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6741707B2 (en) * 2001-06-22 2004-05-25 Trustees Of Dartmouth College Method for tuning an adaptive leaky LMS filter
US20080146890A1 (en) * 2006-12-19 2008-06-19 Valencell, Inc. Telemetric apparatus for health and environmental monitoring
CN102006528A (zh) * 2009-08-31 2011-04-06 幻音科技(深圳)有限公司 耳机装置
CN102215740A (zh) * 2008-11-17 2011-10-12 索尼爱立信移动通讯有限公司 用于从生理声信号检测生理测量结果的设备、方法和计算机程序
US20120130263A1 (en) * 2009-08-03 2012-05-24 Diacoustic Medical Devices (Pty) Ltd Medical decision support system
EP3010249A1 (en) * 2014-07-24 2016-04-20 Goertek Inc. Heartrate detection method applicable in headphone and headphone capable of detecting heartrate
US20160192050A1 (en) * 2014-10-30 2016-06-30 Smartear, Inc. Smart Flexible Interactive Earplug
KR20160097862A (ko) * 2015-02-10 2016-08-18 삼성전자주식회사 휴대용 초음파 장치 및 그 제어방법
US20160296799A1 (en) * 2013-12-20 2016-10-13 Xmetrics Sports Ltd Wearable detector for the detection of parameters related to a physical activity

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003225066A1 (en) * 2002-04-19 2003-11-03 Colin Medical Technology Corporation Headset for measuring physiological parameters
US9386929B2 (en) * 2007-11-27 2016-07-12 Koninklijke Philips N.V. Aural heart monitoring apparatus and method
TWI547827B (zh) 2014-10-14 2016-09-01 拓連科技股份有限公司 群組事件管理方法及系統,及相關電腦程式產品
WO2017079828A1 (en) * 2015-11-09 2017-05-18 Magniware Ltd. Systems and methods for acquisition and analysis of health data

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6741707B2 (en) * 2001-06-22 2004-05-25 Trustees Of Dartmouth College Method for tuning an adaptive leaky LMS filter
US20080146890A1 (en) * 2006-12-19 2008-06-19 Valencell, Inc. Telemetric apparatus for health and environmental monitoring
CN102215740A (zh) * 2008-11-17 2011-10-12 索尼爱立信移动通讯有限公司 用于从生理声信号检测生理测量结果的设备、方法和计算机程序
US20120130263A1 (en) * 2009-08-03 2012-05-24 Diacoustic Medical Devices (Pty) Ltd Medical decision support system
CN102006528A (zh) * 2009-08-31 2011-04-06 幻音科技(深圳)有限公司 耳机装置
US20160296799A1 (en) * 2013-12-20 2016-10-13 Xmetrics Sports Ltd Wearable detector for the detection of parameters related to a physical activity
EP3010249A1 (en) * 2014-07-24 2016-04-20 Goertek Inc. Heartrate detection method applicable in headphone and headphone capable of detecting heartrate
US20160192050A1 (en) * 2014-10-30 2016-06-30 Smartear, Inc. Smart Flexible Interactive Earplug
KR20160097862A (ko) * 2015-02-10 2016-08-18 삼성전자주식회사 휴대용 초음파 장치 및 그 제어방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111419271A (zh) * 2020-04-20 2020-07-17 连云港市第二人民医院(连云港市临床肿瘤研究所) 一种智能无线听诊器
WO2022059743A1 (ja) * 2020-09-18 2022-03-24 みずほリサーチ&テクノロジーズ株式会社 集音部材
JP2022051319A (ja) * 2020-09-18 2022-03-31 みずほリサーチ&テクノロジーズ株式会社 集音装置
JP7175947B2 (ja) 2020-09-18 2022-11-21 みずほリサーチ&テクノロジーズ株式会社 集音装置
CN114724334A (zh) * 2021-01-05 2022-07-08 德尔格安全股份两合公司 用于监控呼吸的通信设备和通信系统
CN113892926A (zh) * 2021-09-08 2022-01-07 杭州回车电子科技有限公司 基于头部脉搏波的心率信号处理方法、装置和电子装置
WO2023240510A1 (zh) * 2022-06-15 2023-12-21 北京小米移动软件有限公司 呼吸监测方法、装置、耳机及存储介质

Also Published As

Publication number Publication date
EP3634218A1 (en) 2020-04-15
US20200196977A1 (en) 2020-06-25
EP3634218B1 (en) 2023-12-06
EP3634218A4 (en) 2021-01-27
AU2018266253B2 (en) 2023-11-16
WO2018205013A1 (en) 2018-11-15
AU2018266253A1 (en) 2019-12-19

Similar Documents

Publication Publication Date Title
AU2018266253B2 (en) System and method for determining cardiac rhythm and/or respiratory rate
Martin et al. In-ear audio wearable: Measurement of heart and breathing rates for health and safety monitoring
JP6721591B2 (ja) 音響的監視システム、監視方法及び監視するコンピュータプログラム
JP6272308B2 (ja) 音ベースの肺活量測定のデバイス、システムおよび方法
US11826138B2 (en) Ear-worn devices with deep breathing assistance
JP5525476B2 (ja) 呼吸事象検出システムおよび方法
Moussavi Fundamentals of respiratory sounds and analysis
US20120172676A1 (en) Integrated monitoring device arranged for recording and processing body sounds from multiple sensors
EP4154805B1 (en) Apparatus for monitoring heart rate and respiration
Patil et al. The physiological microphone (PMIC): A competitive alternative for speaker assessment in stress detection and speaker verification
US20110208009A1 (en) Physiological signal quality classification for ambulatory monitoring
WO2019241645A1 (en) Device for monitoring activities of daily living and physiological parameters to determine a condition and diagnosis of the human brain and body
US11813109B2 (en) Deriving insights into health through analysis of audio data generated by digital stethoscopes
EP3913929A1 (en) Hearing aid comprising a physiological sensor
US20110295139A1 (en) Method and system for reliable respiration parameter estimation from acoustic physiological signal
WO2016154139A1 (en) Sound-based spirometric devices, systems, and methods using audio data transmitted over a voice communication channel
Yang et al. Pulse transit time measurement using seismocardiogram and in-ear acoustic sensor
KR20220148832A (ko) 음성 녹음 및 청진을 이용한 건강 상태 진단
KR102242479B1 (ko) 피부영상을 이용한 디지털 호흡 청진 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination