CN109431470A - 睡眠呼吸监测方法及装置 - Google Patents
睡眠呼吸监测方法及装置 Download PDFInfo
- Publication number
- CN109431470A CN109431470A CN201811590462.8A CN201811590462A CN109431470A CN 109431470 A CN109431470 A CN 109431470A CN 201811590462 A CN201811590462 A CN 201811590462A CN 109431470 A CN109431470 A CN 109431470A
- Authority
- CN
- China
- Prior art keywords
- respiratory
- sleep
- model
- detection result
- sound signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007958 sleep Effects 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000012544 monitoring process Methods 0.000 title claims abstract description 40
- 230000029058 respiratory gaseous exchange Effects 0.000 claims abstract description 103
- 238000001514 detection method Methods 0.000 claims abstract description 34
- 238000010801 machine learning Methods 0.000 claims abstract description 10
- 230000005236 sound signal Effects 0.000 claims description 80
- 230000000241 respiratory effect Effects 0.000 claims description 71
- 238000012806 monitoring device Methods 0.000 claims description 20
- 238000004458 analytical method Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 12
- 238000001228 spectrum Methods 0.000 claims description 12
- 238000013145 classification model Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 8
- 238000003062 neural network model Methods 0.000 claims description 7
- 238000012952 Resampling Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000003860 sleep quality Effects 0.000 abstract description 14
- 238000001303 quality assessment method Methods 0.000 abstract description 4
- 208000008784 apnea Diseases 0.000 abstract description 3
- 206010041235 Snoring Diseases 0.000 description 20
- 238000013527 convolutional neural network Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 12
- 238000012549 training Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000001914 filtration Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000007477 logistic regression Methods 0.000 description 6
- 206010021079 Hypopnoea Diseases 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 201000002859 sleep apnea Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 208000035475 disorder Diseases 0.000 description 3
- 238000013508 migration Methods 0.000 description 3
- 230000005012 migration Effects 0.000 description 3
- 206010062519 Poor quality sleep Diseases 0.000 description 2
- 208000037656 Respiratory Sounds Diseases 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000422 nocturnal effect Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000002035 prolonged effect Effects 0.000 description 2
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000004622 sleep time Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 208000029257 vision disease Diseases 0.000 description 1
- 230000004393 visual impairment Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
- A61B5/4815—Sleep quality
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
- A61B5/4818—Sleep apnoea
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提供了一种睡眠呼吸监测方法及装置，该方法包括：通过录音设备采集所处环境中的声音信号；使用第一模型对声音信号进行分析，确定呼吸事件的数量，其中，呼吸事件为两个相邻呼吸之间的静音时长大于第一预设时长，第一模型为使用多组数据通过机器学习训练出的，多组数据中的每组数据均包括：声音信号和声音信号中识别出的呼吸事件；根据呼吸事件的数量，确定呼吸检测结果，其中，呼吸检测结果用于指示呼吸紊乱指数AHI。从而能够在患者睡眠过程中对患者的音频数据直接进行采集和分析判断并得到相应的呼吸检测结果，能够有效提高对患者睡眠质量的评估的效率，解决了现有技术中对患者进行睡眠质量评估时效率较低的问题。
Description
技术领域
本发明医疗设备领域，具体而言，涉及一种睡眠呼吸监测方法及装置。
背景技术
睡眠质量是影响人们健康的重要因素。目前睡眠质量较差的人群越来越多。睡眠质量较差的患者存在睡眠呼吸暂停或呼吸不足的状况，通过分析患者的睡眠呼吸暂停或呼吸不足状况可以对其睡眠质量进行评估。
目前，在对患者的睡眠质量进行评估时，首先在患者睡眠过程中采用相应的录音设备录制患者睡眠期间的音频数据，再将该音频数据输入专门的分析软件进行分析才能得到结果，不仅工作效率较低，同时费时费力。
发明内容
本发明的主要目的在于提供一种睡眠呼吸监测方法及装置，以解决现有技术中对患者进行睡眠质量评估时效率较低的问题。
为了实现上述目的，本发明提供了一种睡眠呼吸监测方法，包括：通过录音设备采集所处环境中的声音信号；使用第一模型对所述声音信号进行分析，确定呼吸事件的数量，其中，所述呼吸事件为两个相邻呼吸之间的静音时长大于第一预设时长，所述第一模型为使用多组数据通过机器学习训练出的，所述多组数据中的每组数据均包括：声音信号和声音信号中识别出的呼吸事件；根据所述呼吸事件的数量，确定呼吸检测结果，其中，所述呼吸检测结果用于指示呼吸紊乱指数AHI。
可选地，所述使用第一模型对所述声音信号进行分析，确定呼吸事件的数量包括：计算所述声音信号的梅尔谱图；使用神经网络模型将所述梅尔谱图变换为判别性特征，所述判别性特征用于指示输入的声音信号的内容信息，所述判别性特征的结构为1024×(F/64-1)×1，其中F是输入声音信号的帧数，其中，所述神经网络模型为基于Audioset数据集训练的；使用分类模型对所述判别性特征进行分类，得到所述呼吸事件的数量，其中，所述分类模型为基于ESC-50训练的。
可选地，所述计算所述声音信号的梅尔谱图包括：将所述声音信号以第一预设频率进行重新采样，提取梅尔频带特征，以得到所述梅尔谱图，其中，快速傅立叶变换窗口的长度为第一预设数值采样点，连续帧之间步长为第二预设数值采样点。
可选地，所述根据所述呼吸事件的数量，确定呼吸紊乱指数AHI之后，所述方法还包括：通过显示屏显示所述呼吸检测结果。
可选地，所述根据所述呼吸事件的数量，确定呼吸紊乱指数AHI之后，所述方法还包括：在所述AHI大于预设呼吸紊乱指数阈值的情况下，发出告警信息。
本发明还提供了一种睡眠呼吸监测装置，包括：录音设备，用于采集所处环境中的声音信号；信号处理单元，与所述录音设备连接，用于使用第一模型对所述声音信号进行分析，确定呼吸事件的数量，其中，所述呼吸事件是指两个相邻呼吸之间的静音时长大于第一预设时长，所述第一模型为使用多组数据通过机器学习训练出的，所述多组数据中的每组数据均包括：声音信号和声音信号中识别出的呼吸事件；分析判断单元，与所述信号处理单元连接，用于根据所述呼吸事件的数量，确定呼吸检测结果，其中，所述呼吸检测结果用于指示呼吸紊乱指数AHI。
可选地，睡眠呼吸监测装置还包括：显示屏，与所述分析判断单元连接，用于显示所述呼吸检测结果。
可选地，睡眠呼吸监测装置还包括：告警装置，与所述分析判断单元连接，用于在所述AHI大于预设呼吸紊乱指数阈值的情况下，发出告警信息。
可选地，睡眠呼吸监测装置还包括：蓝牙通信单元，与所述分析判断单元连接，用于将所述呼吸检测结果发送至对应的终端设备。
本发明还提供了一种睡眠呼吸监测装置，包括监测器和固定头圈；其中，所述监测器，用于执行上述的睡眠呼吸监测方法；所述监测器设置在固定头圈的前端，以通过所述固定头圈佩戴在患者的头部。
应用本发明技术方案的睡眠呼吸监测方法及装置，通过录音设备采集所处环境中的声音信号；使用第一模型对声音信号进行分析，确定呼吸事件的数量，其中，呼吸事件为两个相邻呼吸之间的静音时长大于第一预设时长，第一模型为使用多组数据通过机器学习训练出的，多组数据中的每组数据均包括：声音信号和声音信号中识别出的呼吸事件；根据呼吸事件的数量，确定呼吸检测结果，其中，呼吸检测结果用于指示呼吸紊乱指数AHI。从而能够在患者睡眠过程中对患者的音频数据直接进行采集和分析判断并得到相应的呼吸检测结果，能够有效提高对患者睡眠质量的评估的效率。解决了现有技术中对患者进行睡眠质量评估时效率较低的问题。
附图说明
构成本申请的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例一种可选的睡眠呼吸监测方法的流程示意图；
图2(a)是根据本发明实施例一种可选的深层CNN模型的结构示意图；
图2(b)是根据本发明实施例另一种可选的深层CNN模型的结构示意图；
图3是根据本发明实施例另一种可选的睡眠呼吸监测方法的流程示意图；
图4是根据本发明实施例一种可选的睡眠呼吸监测装置的结构示意图；
图5是根据本发明实施例另一种可选的睡眠呼吸监测装置的结构示意图；
图6是根据本发明实施例又一种可选的睡眠呼吸监测装置的结构示意图；
图7是根据本发明实施例又一种可选的睡眠呼吸监测装置的结构示意图；
图8是根据本发明实施例一种可选的睡眠呼吸监测装置的监测器的结构示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
实施例1
根据本发明实施例的睡眠呼吸监测方法，如图1所示，该方法包括以下步骤：
步骤S101，通过录音设备采集所处环境中的声音信号。
步骤S102，使用第一模型对所述声音信号进行分析，确定呼吸事件的数量。
其中，所述呼吸事件为两个相邻呼吸之间的静音时长大于第一预设时长(即在两个相邻呼吸之间的静音时长大于第一预设时长的情况下，确定产生所述呼吸事件)，所述第一模型为使用多组数据通过机器学习训练出的，所述多组数据中的每组数据均包括：声音信号和声音信号中识别出的呼吸事件。
可选地，所述使用第一模型对所述声音信号进行分析，确定呼吸事件的数量包括：计算所述声音信号的梅尔谱图；使用神经网络模型将所述梅尔谱图变换为判别性特征，所述判别性特征用于指示输入的声音信号的内容信息，所述判别性特征的结构为1024×(F/64-1)×1，其中F是输入声音信号的帧数，其中，所述神经网络模型为基于Audioset数据集训练的；使用分类模型对所述判别性特征进行分类，得到所述呼吸事件的数量，其中，所述分类模型为基于ESC-50训练的。
具体地，判别性特征为后述卷积神经网络模型F1层输出，结构为1024×(F/64-1)×1，能够描述输入声音信号的内容信息并用于声音分类，其中F是输入声音信号的帧数，由声音长度决定。
其中，所述计算所述声音信号的梅尔谱图包括：
将所述声音信号以第一预设频率进行重新采样，提取梅尔频带特征，以得到所述梅尔谱图，其中，快速傅立叶变换窗口的长度为第一预设数值采样点，连续帧之间步长为第二预设数值采样点。
步骤S103，根据所述呼吸事件的数量，确定呼吸检测结果，其中，所述呼吸检测结果用于指示呼吸紊乱指数AHI。
可选地，所述根据所述呼吸事件的数量，确定呼吸紊乱指数AHI之后，所述方法还包括：通过显示屏显示所述呼吸检测结果。
可选地，所述根据所述呼吸事件的数量，确定呼吸紊乱指数AHI之后，所述方法还包括：在所述AHI大于预设呼吸紊乱指数阈值的情况下，发出告警信息。
本实施例中，通过录音设备采集所处环境中的声音信号；使用第一模型对声音信号进行分析，确定呼吸事件的数量，其中，呼吸事件为两个相邻呼吸之间的静音时长大于第一预设时长，第一模型为使用多组数据通过机器学习训练出的，多组数据中的每组数据均包括：声音信号和声音信号中识别出的呼吸事件；根据呼吸事件的数量，确定呼吸检测结果，其中，呼吸检测结果用于指示呼吸紊乱指数AHI。从而能够在患者睡眠过程中对患者的音频数据直接进行采集和分析判断并得到相应的呼吸检测结果，能够有效提高对患者睡眠质量的评估的效率。解决了现有技术中对患者进行睡眠质量评估时效率较低的问题。
1、基于CNN(ConvolutionalNeuralNetworks，卷积神经网络)的特征提取
本实施例将基于知识迁移的深层CNN框架用于提取有效特征。首先，在Audioset数据集上训练用于分类音频事件的深层CNN模型(即上述的神经网络模型)，然后应用模型的特征表示部分在后续过程中用于提取特征。图2(a)和图2(b)给出了深层CNN模型的总体结构。
如图2(a)所示，首先计算音频信号(即上述的声音信号)的梅尔谱图(Melspectrograms)作为CNN模型的输入。具体地，音频信号以44100Hz(相当于上述的第一预设频率)进行重新采样，提取128维梅尔频带特征，快速傅立叶变换窗口的长度为1024个采样点(相当于上述的第一预设数值采样点)，连续帧之间步长为512个采样点(相当于上述的第二预设数值采样点)。因此，得到的梅尔谱图的形状是1×F×128，其中F是信号帧数，取决于音频信号长度。
然后将梅尔谱图输入CNN模型，每个块的详细信息如表1所示。B1到B6块中的卷积滤波器数量分别为16、32、64、128、256、512。B1到B6的最大池化层的窗口大小为2×2，步幅为2×2。F1和F2中的卷积滤波器数量设置为1024和C，其中C是音频中的类别数。对于Audioset数据集中的任务，多标签被分配给一个音频记录，因此在训练阶段使用多标签训练。针对每个类别计算如公式(1)中所示的交叉熵损失，并且将所有类别的平均交叉熵设置为总训练损失函数，如公式(2)中所示。
l(y,p)＝-y·log(p)-(1-y)·log(1-p) (1)
基于Audioset训练的，用于特征提取的模型结构如图2(a)所示。基于ESC-50训练的，用于训练分类器(即上述的分类模型)的模型结构如图2(b)所示。
表1为深层CNN模型整体结构中每个网络块的组成细节。Conv是卷积层，BN是批量归一化层(Batch Normalization)。ReLU和Sigmoid是激活函数。F是音频信号中的帧数，取决于信号长度，C是Audioset数据集中的类别数，分数向下取整。
表1
2、基于知识迁移的声音事件分类
在大规模音频数据集音频上训练的深层CNN模型提出了声音事件的有效特征表示，并且该特征表示适用于转移学习。通过这种方式，学到的知识可以很容易地转移到目标任务。
为了区分患者的呼吸和打鼾与复杂的环境噪声，基于ESC-50数据集训练分类模型。分类模型的网络结构如图2(b)所示。模型的特征表示部分被转移到目标任务ESC-50作为特征提取方法。首先，计算音频信号的梅尔谱图，然后利用深层CNN模型(B1到B6和F1块)将梅尔谱图变换成判别性特征。ESC-50数据集中的录音长度为5秒，因此，F1的输出为1024×1×1矩阵。进而从特征表示层获得1024维特征。最后，获得的特征被用以训练分类器。基于交叉验证测试多个分类器，最后选择具有多项式损失函数的逻辑回归(LogisticRegression)模型。
3、睡眠呼吸监测方法
如果患者处于睡眠呼吸暂停或呼吸不足状态，则无法检测到呼吸和打鼾。因此呼吸事件是通过搜索长时间(超过10秒，相当于上述的第一预设时长)的呼吸间隔来确定的。该检测算法应用于夜间睡眠声音信号，并确定夜间呼吸和打鼾的确切时间。然后通过搜索没有呼吸或打鼾的长时间静音来确定呼吸事件。最后，根据过夜睡眠期间的呼吸事件数量估算AHI(Apnea–Hypopnea Index，呼吸紊乱指数)，是指每小时睡眠内呼吸暂停加上低通气的次数：
其中，N是呼吸事件的数量，T是睡眠时间。
本实施例的睡眠呼吸监测方法适用于连续睡眠声音信号，如图3所示。对2秒声音信号段逐个进行处理，步长为0.5秒。从分段信号计算的Mul谱图(即梅尔谱图或梅尔频谱)被送入深层CNN模型(即上述的神经网络)以提取特征。然后基于在ESC-50数据集上训练的分类器进行分类。最后，得到了随时间的分类结果，表明了从相关信号段中检测到的事件。
从ESC-50的分类结果中得出结论，分类器可能混淆打鼾声和呼吸声，因为训练样本中的打鼾和呼吸经常同时发生。但是对于本实施例中的AHI估计任务，没有必要区分打鼾和呼吸，因为通过检测长时间的沉默(没有呼吸和打鼾)来估计AHI。将多项逻辑回归分类器中的Softmax函数的输出用作每个类的概率估计，因此将呼吸和打鼾的概率相加并与阈值进行比较。如果总计概率大于预设阈值，则将该段视为呼吸，否则将其视为呼吸之间的静音。以这种方式，检测和定位呼吸。
4、AHI估计方法
本实施例可以通过搜索长时间静音(不包括呼吸或打鼾)来检测呼吸事件。如果两个相邻呼吸之间的静音长于10秒(相当于上述的第一预设时长)，则将其视为呼吸事件。在检测到呼吸事件后，可以通过公式(3)计算AHI。
实施例2
根据本发明实施例的睡眠呼吸监测装置，如图4所示，包括：
录音设备40，用于采集所处环境中的声音信号；
信号处理单元41，与所述录音设备40连接，用于使用第一模型对所述声音信号进行分析，确定呼吸事件的数量，其中，所述呼吸事件是指两个相邻呼吸之间的静音时长大于第一预设时长，所述第一模型为使用多组数据通过机器学习训练出的，所述多组数据中的每组数据均包括：声音信号和声音信号中识别出的呼吸事件；
分析判断单元42，与所述信号处理单元41连接，用于根据所述呼吸事件的数量，确定呼吸检测结果，其中，所述呼吸检测结果用于指示呼吸紊乱指数AHI。
应用本发明技术方案的睡眠呼吸监测装置，包括录音设备，用于采集所处环境中的声音信号；信号处理单元，与所述录音设备连接，用于使用第一模型对所述声音信号进行分析，确定呼吸事件的数量，其中，所述呼吸事件是指两个相邻呼吸之间的静音时长大于第一预设时长，所述第一模型为使用多组数据通过机器学习训练出的，所述多组数据中的每组数据均包括：声音信号和声音信号中识别出的呼吸事件；分析判断单元，与所述信号处理单元连接，用于根据所述呼吸事件的数量，确定呼吸检测结果，其中，所述呼吸检测结果用于指示呼吸紊乱指数AHI。从而能够在患者睡眠过程中对患者的音频数据直接进行采集和分析判断并得到相应的呼吸检测结果，能够有效提高对患者睡眠质量的评估的效率。解决了现有技术中对患者进行睡眠质量评估时效率较低的问题。
具体实施时，为了能够过滤掉环境中的杂音，提高睡眠评估的精确度，如图5所示，睡眠呼吸监测装置还包括滤波单元50，滤波单元50分别与录音设备40和信号处理单元41连接，滤波单元50用于对声音信号进行过滤以滤除声音信号中的杂音并将经过过滤后的声音信号发送至信号处理单元41；其中，信号处理单元41用于对经过过滤后的声音信号进行处理。
本实施例的睡眠呼吸监测装置的信号处理单元41和分析判断单元42基于知识迁移的深层CNN框架被用于提取有效特征。首先，在Audioset数据集上训练用于分类音频事件的深层CNN模型，然后应用模型的特征表示部分在后续过程中用于提取特征。
具体地，首先计算采集的声音信号的梅尔谱图作为CNN模型的输入。具体地，音频信号以44100Hz进行重新采样，提取128维梅尔频带特征，快速傅立叶变换窗口的长度为1024个采样点，连续帧之间步长为512个采样点。因此，得到的梅尔谱图的形状是1×F×128，其中F是信号帧数，取决于声音信号的长度。
然后将声音信号的梅尔谱图输入CNN模型，CNN模型具有B1到B6以及F1和F2八个卷积滤波器块，B1到B6中的卷积滤波器数量分别为16、32、64、128、256、512。B1到B6的最大池化层的窗口大小为2×2，步幅为2×2。F1和F2中的卷积滤波器数量设置为1024和C，其中C是音频中的类别数。对于Audioset数据集中的任务，多标签被分配给一个音频记录，因此在训练阶段使用多标签训练。
为了区分患者的呼吸和打鼾与复杂的环境噪声，基于ESC-50数据集训练分类模型。模式的特征表示部分被转移到目标任务ESC-50作为特征提取方法。首先，计算音频信号的梅尔谱图，然后利用深层CNN模型(B1到B6以及F1块)将梅尔谱图变换成判别性特征。ESC-50数据集中的录音长度为5秒，因此F1的输出为1024×1×1矩阵。进而从特征表示层获得1024维特征。最后，获得的特征被用以训练分类器。基于交叉验证测试多个分类器，最后选择具有多项式损失函数的逻辑回归(Logistic Regression)模型。
如果患者处于睡眠呼吸暂停或呼吸不足状态，则无法检测到呼吸和打鼾。因此呼吸事件是通过搜索长时间(超过10秒)的呼吸间隔来确定的。该检测算法应用于夜间睡眠声音信号，并确定夜间呼吸和打鼾的确切时间。然后通过搜索没有呼吸或打鼾的长时间静音来确定呼吸事件。最后，通过公式(3)，根据过夜睡眠期间的呼吸事件数量估算AHI。
该检测方法适用于连续睡眠声音信号，对2秒声音信号段逐个进行处理，步长为0.5秒。从分段信号计算的Mul谱图被送入深层CNN模型以提取特征。然后基于在ESC-50数据集上训练的分类器进行分类。最后得到了随时间的分类结果，表明了从相关信号段中检测到的事件。
从ESC-50的分类结果中得出结论，分类器可能混淆打鼾声和呼吸声，因为训练样本中的打鼾和呼吸经常同时发生。但是本实施例中AHI估计任务，没有必要区分打鼾和呼吸，因为通过检测长时间的沉默(没有呼吸和打鼾)来估计AHI。将多项逻辑回归分类器中的Softmax函数的输出用作每个类的概率估计，因此将呼吸和打鼾的概率相加并与阈值进行比较。如果总计概率大于预设阈值，则将该段视为呼吸，否则将其视为呼吸之间的静音。以这种方式检测和定位呼吸。
可选地，如图6所示，睡眠呼吸监测装置还包括存储单元60、显示屏61和语音播报单元62，存储单元60、显示屏61和语音播报单元62均与分析判断单元42连接，存储单元60用于存储多次的监测结果。从而能够在持续的时间段内对患者的睡眠质量进行分析和评估。
通过设置相应的显示屏幕，患者和医护人员均可以通过屏幕直观地查每次的监测结果。通过设置语音播报单元62，语音播报单元62能够以语音形式播报监测结果。从而方便有视力障碍的患者或医护人员了解监测结果。
本实施例的睡眠呼吸监测装置患者可以家中使用，为了方便医院的医护人员随时了解患者的睡眠质量情况，可选地，仍如图6所示，睡眠呼吸监测装置还包括无线数据通信单元64，无线数据通信单元64与分析判断单元42连接，无线数据通信单元64能够利用无线网络将监测结果发送至医护人员使用的移动终端设备。具体地，医护人员可以在其移动终端设备上安装相应的应用程序，通过打开应用程序即可随时查看患者的睡眠质量数据。当然，患者也可以在其使用的移动终端设备上安装相应的应用程序以方便随时查看一段时间内的睡眠质量数据。
可选地，睡眠呼吸监测装置还包括蓝牙通信单元66，蓝牙通信单元66与分析判断单元42连接，通过蓝牙通信单元66能够方便将睡眠呼吸监测装置与近距离的移动终端设备相互连接，从而将监测结果发送至该移动终端设备。方便没有无线网络的用户使用。
本实施例的睡眠呼吸监测装置包括监测器和固定头圈；其中，所述监测器，用于执行上述睡眠呼吸监测方法；所述监测器设置在固定头圈的前端，以通过所述固定头圈佩戴在患者的头部。
本实施例的睡眠呼吸监测装置在实际应用时可以制作成方便患者随身佩戴的可移动设备，具体，如图7和图8所示，本实施例的睡眠呼吸监测装置包括监测器100和固定头圈110，监测器100设置在固定头圈110的前端从而能够佩戴在患者的头部，录音设备40、信号处理单元41和分析判断单元42、滤波单元50、存储单元60、语音播报单元62和无线数据通信单元64均设置在监测器100内(其中，信号处理单元41和分析判断单元42、滤波单元50、存储单元60、语音播报单元62和无线数据通信单元64在图7和图8中未示出)，录音设备40采用高保真麦克风，该麦克风设置在监测器100的下部从而能够靠近患者的鼻子部位，能够实时有效地采集患者的睡眠过程中的鼻子部位产生的声音信号。本实施例的睡眠呼吸监测装置能够方便患者在家中睡眠过程中使用，无需在医院专门录取睡眠过程中的声音信号再采用专用的应用软件进行分析，使用非常的方便灵活。
显示屏61为LED显示屏幕，显示屏61设置在监测器100的前端，患者需要查看相关数据时，通过设置在显示屏61旁的操作按键即可调取相关的监测结果。
本实施例的睡眠呼吸监测装置能够实现患者睡眠过程中鼾声的直接收集、过滤、分析和判断，并将相应的监测结果进行显示或者通过无线数据通信单元64和蓝牙通信单元66发送至相应的智能手机或平板电脑等移动终端设备供医护人员和患者本人查看。无需采用单独的录音设备录取患者睡眠过程中的声音信号后再采用专门的软件进行分析，不仅方便灵活，同时有效提高了对患者睡眠质量的评估的效率。解决了现有技术中对患者进行睡眠质量监测时效率较低的问题。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种睡眠呼吸监测方法，其特征在于，包括：
通过录音设备采集所处环境中的声音信号；
使用第一模型对所述声音信号进行分析，确定呼吸事件的数量，其中，所述呼吸事件为两个相邻呼吸之间的静音时长大于第一预设时长，所述第一模型为使用多组数据通过机器学习训练出的，所述多组数据中的每组数据均包括：声音信号和声音信号中识别出的呼吸事件；
根据所述呼吸事件的数量，确定呼吸检测结果，其中，所述呼吸检测结果用于指示呼吸紊乱指数AHI。
2.根据权利要求1所述的睡眠呼吸监测方法，其特征在于，所述使用第一模型对所述声音信号进行分析，确定呼吸事件的数量包括：
计算所述声音信号的梅尔谱图；
使用神经网络模型将所述梅尔谱图变换为判别性特征，所述判别性特征用于指示输入的声音信号的内容信息，所述判别性特征的结构为1024×(F/64-1)×1，其中F是输入声音信号的帧数，其中，所述神经网络模型为基于Audioset数据集训练的；
使用分类模型对所述判别性特征进行分类，得到所述呼吸事件的数量，其中，所述分类模型为基于ESC-50训练的。
3.根据权利要求2所述的睡眠呼吸监测方法，其特征在于，所述计算所述声音信号的梅尔谱图包括：
将所述声音信号以第一预设频率进行重新采样，提取梅尔频带特征，以得到所述梅尔谱图，其中，快速傅立叶变换窗口的长度为第一预设数值采样点，连续帧之间步长为第二预设数值采样点。
4.根据权利要求1至3中任一项所述的睡眠呼吸监测方法，其特征在于，所述根据所述呼吸事件的数量，确定呼吸紊乱指数AHI之后，所述方法还包括：
通过显示屏显示所述呼吸检测结果。
5.根据权利要求1至3中任一项所述的睡眠呼吸监测方法，其特征在于，所述根据所述呼吸事件的数量，确定呼吸紊乱指数AHI之后，所述方法还包括：
在所述AHI大于预设呼吸紊乱指数阈值的情况下，发出告警信息。
6.一种睡眠呼吸监测装置，其特征在于，包括：
录音设备，用于采集所处环境中的声音信号；
信号处理单元，与所述录音设备连接，用于使用第一模型对所述声音信号进行分析，确定呼吸事件的数量，其中，所述呼吸事件是指两个相邻呼吸之间的静音时长大于第一预设时长，所述第一模型为使用多组数据通过机器学习训练出的，所述多组数据中的每组数据均包括：声音信号和声音信号中识别出的呼吸事件；
分析判断单元，与所述信号处理单元连接，用于根据所述呼吸事件的数量，确定呼吸检测结果，其中，所述呼吸检测结果用于指示呼吸紊乱指数AHI。
7.根据权利要求6所述的睡眠呼吸监测装置，其特征在于，还包括：
显示屏，与所述分析判断单元连接，用于显示所述呼吸检测结果。
8.根据权利要求6所述的睡眠呼吸监测装置，其特征在于，还包括：
告警装置，与所述分析判断单元连接，用于在所述AHI大于预设呼吸紊乱指数阈值的情况下，发出告警信息。
9.根据权利要求6所述的睡眠呼吸监测装置，其特征在于，还包括：
蓝牙通信单元，与所述分析判断单元连接，用于将所述呼吸检测结果发送至对应的终端设备。
10.一种睡眠呼吸监测装置，其特征在于，包括监测器和固定头圈；其中，
所述监测器，用于执行权利要求1至5中任一项所述的睡眠呼吸监测方法；
所述监测器设置在固定头圈的前端，以通过所述固定头圈佩戴在患者的头部。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811590462.8A CN109431470B (zh) | 2018-12-20 | 2018-12-20 | 睡眠呼吸监测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811590462.8A CN109431470B (zh) | 2018-12-20 | 2018-12-20 | 睡眠呼吸监测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109431470A true CN109431470A (zh) | 2019-03-08 |
| CN109431470B CN109431470B (zh) | 2021-05-07 |
Family
ID=65535494
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811590462.8A Active CN109431470B (zh) | 2018-12-20 | 2018-12-20 | 睡眠呼吸监测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109431470B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110432888A (zh) * | 2019-08-15 | 2019-11-12 | 任鹏宇 | 一种前庭神经权重信息编码神经元的筛选方法 |
| CN110710954A (zh) * | 2019-09-20 | 2020-01-21 | 长沙友记互娱网络信息有限公司 | 一种通过声音采集检测睡眠质量的方法 |
| CN110888526A (zh) * | 2019-10-30 | 2020-03-17 | 西安理工大学 | 基于集成支持向量学习的脑机接口技术 |
| CN111028852A (zh) * | 2019-11-06 | 2020-04-17 | 杭州哲信信息技术有限公司 | 一种基于cnn的智能呼叫系统中的噪声去除方法 |
| CN111759277A (zh) * | 2020-06-16 | 2020-10-13 | 清华大学深圳国际研究生院 | 睡眠呼吸暂停低通气的检测装置、方法、设备及存储介质 |
| CN112426147A (zh) * | 2020-10-21 | 2021-03-02 | 华南师范大学 | 睡眠呼吸事件检测模型处理方法、系统和存储介质 |
| CN113273992A (zh) * | 2021-05-11 | 2021-08-20 | 清华大学深圳国际研究生院 | 信号处理方法及装置 |
| CN113314143A (zh) * | 2021-06-07 | 2021-08-27 | 南京优博一创智能科技有限公司 | 呼吸暂停的判断方法、装置和电子设备 |
| CN113448438A (zh) * | 2021-06-25 | 2021-09-28 | 内蒙古工业大学 | 一种基于睡眠感知的控制系统及方法 |
| CN113974576A (zh) * | 2021-12-23 | 2022-01-28 | 北京航空航天大学杭州创新研究院 | 一种基于心磁图的睡眠质量监测系统及监测方法 |
| WO2023284813A1 (zh) * | 2021-07-15 | 2023-01-19 | 麒盛科技股份有限公司 | 一种基于深度学习算法的鼾声监测方法与系统以及相应的电动床控制方法和系统 |
| WO2024063505A1 (ko) * | 2022-09-22 | 2024-03-28 | 서울대학교산학협력단 | 호흡음 분류 모델 생성 방법 및 장치, 이를 이용한 천명 판단 방법 및 시스템 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102579010A (zh) * | 2012-03-01 | 2012-07-18 | 上海大学 | 据鼾声确定阻塞性睡眠呼吸暂停与低通气综合症的方法 |
| CN103608063A (zh) * | 2011-06-06 | 2014-02-26 | 皇家飞利浦有限公司 | 呼吸治疗模式的配置 |
| CN103841888A (zh) * | 2011-05-17 | 2014-06-04 | 大学健康网络 | 使用呼吸模式识别的呼吸暂停和呼吸不足检测 |
| US20160015314A1 (en) * | 2014-07-21 | 2016-01-21 | Withings | System and Method to Monitor and Assist Individual's Sleep |
| CN105792732A (zh) * | 2013-11-22 | 2016-07-20 | 皇家飞利浦有限公司 | 呼吸暂停安全控制 |
| CA2931662A1 (en) * | 2015-11-03 | 2017-05-03 | University Health Network | Acoustic upper airway assessment system and method, and sleep apnea assessment system and method relying thereon |
| CN107358965A (zh) * | 2017-06-09 | 2017-11-17 | 华南理工大学 | 一种睡眠鼾声分类检测方法及系统 |
-
2018
- 2018-12-20 CN CN201811590462.8A patent/CN109431470B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103841888A (zh) * | 2011-05-17 | 2014-06-04 | 大学健康网络 | 使用呼吸模式识别的呼吸暂停和呼吸不足检测 |
| CN103608063A (zh) * | 2011-06-06 | 2014-02-26 | 皇家飞利浦有限公司 | 呼吸治疗模式的配置 |
| CN102579010A (zh) * | 2012-03-01 | 2012-07-18 | 上海大学 | 据鼾声确定阻塞性睡眠呼吸暂停与低通气综合症的方法 |
| CN105792732A (zh) * | 2013-11-22 | 2016-07-20 | 皇家飞利浦有限公司 | 呼吸暂停安全控制 |
| US20160015314A1 (en) * | 2014-07-21 | 2016-01-21 | Withings | System and Method to Monitor and Assist Individual's Sleep |
| CA2931662A1 (en) * | 2015-11-03 | 2017-05-03 | University Health Network | Acoustic upper airway assessment system and method, and sleep apnea assessment system and method relying thereon |
| CN107358965A (zh) * | 2017-06-09 | 2017-11-17 | 华南理工大学 | 一种睡眠鼾声分类检测方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| ANURAG KUMAR: "Knowledge Transfer from Weakly Labeled Audio Using Convolutional Neural Network for Sound Events and Scenes", 《2018 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP)》 * |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110432888A (zh) * | 2019-08-15 | 2019-11-12 | 任鹏宇 | 一种前庭神经权重信息编码神经元的筛选方法 |
| CN110432888B (zh) * | 2019-08-15 | 2021-11-23 | 任鹏宇 | 一种前庭神经权重信息编码神经元的筛选方法 |
| CN110710954A (zh) * | 2019-09-20 | 2020-01-21 | 长沙友记互娱网络信息有限公司 | 一种通过声音采集检测睡眠质量的方法 |
| CN110888526A (zh) * | 2019-10-30 | 2020-03-17 | 西安理工大学 | 基于集成支持向量学习的脑机接口技术 |
| CN111028852A (zh) * | 2019-11-06 | 2020-04-17 | 杭州哲信信息技术有限公司 | 一种基于cnn的智能呼叫系统中的噪声去除方法 |
| CN111759277A (zh) * | 2020-06-16 | 2020-10-13 | 清华大学深圳国际研究生院 | 睡眠呼吸暂停低通气的检测装置、方法、设备及存储介质 |
| CN112426147A (zh) * | 2020-10-21 | 2021-03-02 | 华南师范大学 | 睡眠呼吸事件检测模型处理方法、系统和存储介质 |
| CN112426147B (zh) * | 2020-10-21 | 2023-08-08 | 华南师范大学 | 睡眠呼吸事件检测模型处理方法、系统和存储介质 |
| CN113273992B (zh) * | 2021-05-11 | 2023-04-18 | 清华大学深圳国际研究生院 | 信号处理方法及装置 |
| CN113273992A (zh) * | 2021-05-11 | 2021-08-20 | 清华大学深圳国际研究生院 | 信号处理方法及装置 |
| CN113314143A (zh) * | 2021-06-07 | 2021-08-27 | 南京优博一创智能科技有限公司 | 呼吸暂停的判断方法、装置和电子设备 |
| CN113314143B (zh) * | 2021-06-07 | 2024-01-30 | 南京优博一创智能科技有限公司 | 呼吸暂停的判断方法、装置和电子设备 |
| CN113448438A (zh) * | 2021-06-25 | 2021-09-28 | 内蒙古工业大学 | 一种基于睡眠感知的控制系统及方法 |
| CN113448438B (zh) * | 2021-06-25 | 2023-02-03 | 内蒙古工业大学 | 一种基于睡眠感知的控制系统及方法 |
| WO2023284813A1 (zh) * | 2021-07-15 | 2023-01-19 | 麒盛科技股份有限公司 | 一种基于深度学习算法的鼾声监测方法与系统以及相应的电动床控制方法和系统 |
| CN113974576B (zh) * | 2021-12-23 | 2022-04-22 | 北京航空航天大学杭州创新研究院 | 一种基于心磁图的睡眠质量监测系统及监测方法 |
| CN113974576A (zh) * | 2021-12-23 | 2022-01-28 | 北京航空航天大学杭州创新研究院 | 一种基于心磁图的睡眠质量监测系统及监测方法 |
| WO2024063505A1 (ko) * | 2022-09-22 | 2024-03-28 | 서울대학교산학협력단 | 호흡음 분류 모델 생성 방법 및 장치, 이를 이용한 천명 판단 방법 및 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109431470B (zh) | 2021-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109431470B (zh) | 睡眠呼吸监测方法及装置 | |
| EP3776586B1 (en) | Managing respiratory conditions based on sounds of the respiratory system | |
| US10278639B2 (en) | Method and system for sleep detection | |
| Azarbarzin et al. | Automatic and unsupervised snore sound extraction from respiratory sound signals | |
| CN108670200A (zh) | 一种基于深度学习的睡眠鼾声分类检测方法及系统 | |
| WO2014107798A1 (en) | Mask and method for breathing disorder identification, characterization and/or diagnosis | |
| CA2847412C (en) | System and methods for estimating respiratory airflow | |
| WO2008116318A1 (en) | Breathing sound analysis for estimation of air flow rate | |
| CN104688229A (zh) | 一种基于鼾声信号的睡眠呼吸监测方法 | |
| EP3964134A1 (en) | Lung health sensing through voice analysis | |
| WO2020238954A1 (zh) | 呼吸暂停监测的方法及装置 | |
| CN102138796A (zh) | 基于鼾声分析的睡眠监测阻塞定位仪 | |
| CN111248859A (zh) | 基于卷积神经网络的睡眠呼吸暂停自动检测方法 | |
| US11382534B1 (en) | Sleep detection and analysis system | |
| CA2799094A1 (en) | System and methods of acoustical screening for obstructive sleep apnea during wakefulness | |
| CN113288065A (zh) | 一种基于鼾声的实时呼吸暂停及低通气预测方法 | |
| CN116211256B (zh) | 一种非接触式的睡眠呼吸信号获取方法和装置 | |
| Camcı et al. | Sleep apnea detection via smart phones | |
| JP2021517504A (ja) | 複数の信号を処理するためのシステムおよび方法 | |
| Doheny et al. | Estimation of respiratory rate and exhale duration using audio signals recorded by smartphone microphones | |
| CN114550932A (zh) | 一种睡眠呼吸暂停风险评估方法、装置、设备及存储介质 | |
| CN111312293A (zh) | 一种基于深度学习对呼吸暂停症患者的识别方法及系统 | |
| Zhang et al. | An effective deep learning approach for unobtrusive sleep stage detection using microphone sensor | |
| CN114488841A (zh) | 一种智能穿戴设备的数据搜集处理方法 | |
| CA2585824A1 (en) | Breathing sound analysis for detection of sleep apnea/hypopnea events |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |