CN112687290B - 一种经过压缩的咳嗽自动检测方法及嵌入式设备 - Google Patents
一种经过压缩的咳嗽自动检测方法及嵌入式设备 Download PDFInfo
- Publication number
- CN112687290B CN112687290B CN202011617737.XA CN202011617737A CN112687290B CN 112687290 B CN112687290 B CN 112687290B CN 202011617737 A CN202011617737 A CN 202011617737A CN 112687290 B CN112687290 B CN 112687290B
- Authority
- CN
- China
- Prior art keywords
- cough
- audio
- model
- detection
- rank
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 206010011224 Cough Diseases 0.000 title claims abstract description 82
- 238000001514 detection method Methods 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 claims abstract description 44
- 238000000354 decomposition reaction Methods 0.000 claims description 24
- 238000001228 spectrum Methods 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 17
- 230000009467 reduction Effects 0.000 claims description 15
- 230000006835 compression Effects 0.000 claims description 12
- 238000007906 compression Methods 0.000 claims description 12
- 238000013140 knowledge distillation Methods 0.000 claims description 11
- 230000005236 sound signal Effects 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 238000009432 framing Methods 0.000 claims description 6
- 230000002457 bidirectional effect Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 238000007670 refining Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- NGVDGCNFYWLIFO-UHFFFAOYSA-N pyridoxal 5'-phosphate Chemical compound CC1=NC=C(COP(O)(O)=O)C(C=O)=C1O NGVDGCNFYWLIFO-UHFFFAOYSA-N 0.000 claims 3
- 238000004891 communication Methods 0.000 abstract description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 240000007651 Rubus glaucus Species 0.000 description 1
- 235000011034 Rubus glaucus Nutrition 0.000 description 1
- 235000009122 Rubus idaeus Nutrition 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 208000023504 respiratory system disease Diseases 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
Abstract
本发明涉及一种经过压缩的咳嗽自动检测方法及嵌入式设备，咳嗽自动检测方法包括：获取待检测音频；提取待检测音频的音频帧级特征；根据提取的音频特征搭建同构咳嗽检测子模型；对同构咳嗽检测子模型进行压缩并集成后蒸馏为精炼模型；使用咳嗽检测精炼模型在嵌入式设备上实时进行咳嗽自动检测。嵌入式设备包括至少一个处理器以及至少一个与处理器进行通信连接的存储器，存储器存储有可被处理器执行的指令，指令可被至少一个处理器执行，可被执行的指令包括上述咳嗽自动检测方法。与现有技术相比，本发明具有能够被部署到嵌入式设备、准确性高等优点。
Description
技术领域
本发明涉及咳嗽自动检测技术领域，尤其是涉及一种经过压缩的咳嗽自动检测方法及嵌入式设备。
背景技术
咳嗽是人体的重要保护机制，也是多种呼吸系统疾病的常见主诉症状之一，咳嗽的严重程度可以做为显示病人病情的指标，有助于指导医生对病人病因与病程的判断。目前主流的咳嗽检测办法是基于由医学研究者以及护理学学者提出的自我管理计划的医患联动监测控制病情的诊治方法，该方法因受患者的主观意识影响极大，为诊断过程造成了极大的困难。
基于上述问题，咳嗽声的监测和正确记录对咳嗽病症的诊治是至关重要的。为了正确、有效地记录可能发生的咳嗽声、且尽量不给受测者的生活活动造成干扰，利用便携式设备进行咳嗽检测无疑是最具可行性的方案。
目前，针对咳嗽检测方法的研究不断进行，如中国专利CN109431507A中公开了一种基于深度学习的咳嗽疾病识别方法，包括：对咳嗽音频进行预处理得到若干咳嗽音频帧序列；从若干咳嗽音频帧序列中提取得到所述咳嗽音频的声音特征；通过咳嗽疾病识别模型对所述咳嗽音频的声音特征进行分类预测，得到所述咳嗽音频对应的咳嗽疾病标签；根据所述咳嗽疾病标签输出所述咳嗽音频对应的咳嗽疾病识别结果。该专利虽然实现了对咳嗽的识别，但是并未考虑到上述算在运行在嵌入式设备上时的难易程度。若想要在嵌入式设备中实现较为精准、具有实际应用价值的咳嗽声检测与识别功能，需要以相对复杂的算法和深度神经网络模型作为支撑，受到伦理隐私的限制，咳嗽检测器大多数情况下只能运行在离线模式而不能依靠于大型的云端服务器，这无疑提高了对硬件计算能力的要求，从而相应地增加了开发成本。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种实现在可控成本的嵌入式设备中使用深度模型进行精确的咳嗽声检测的经过压缩的咳嗽自动检测方法及嵌入式设备。
本发明的目的可以通过以下技术方案来实现：
一种经过压缩的咳嗽自动检测方法，所述的咳嗽自动检测方法包括：
步骤1：获取待检测音频；
步骤2：提取待检测音频的音频帧级特征；
步骤3：根据步骤2提取的音频特征搭建同构咳嗽检测子模型；
步骤4：对同构咳嗽检测子模型进行压缩并集成后蒸馏为精炼模型；
步骤5：使用咳嗽检测精炼模型在嵌入式设备上实时进行咳嗽自动检测。
优选地，所述的音频帧级特征包括MFCC音频特征、PLP音频特征和Mel bank音频特征。
更加优选地，所述的音频帧级特征的提取方法为：
统一音频采样率后分别提取三中音频帧级特征，分别为：
MFCC音频特征的提取方法：首先对声音信号预加重、分帧和加汉明窗处理；对每一帧进行512个点的快速傅里叶变换，得到能量谱；将能量谱通过一组Mel尺度的三角形滤波器组，得到每个滤波器组的对数能量输出；将对数能量进行离散余弦变换，求得13阶的MFCC；在MFCC基础上加入一阶差分系数和二阶差分系数组合为组合特征，并将其确定为最终的MFCC音频特征；
PLP音频特征的提取方法：首先对声音信号加窗和快速傅里叶变换，得到短时功率谱；然后将功率谱映射到Bark尺度，获得PLP音频特征；
Mel bank音频特征的提取方法：首先对声音信号预加重、分帧和加汉明窗处理；对每一帧进行512个点的快速傅里叶变换，得到能量谱；将能量谱通过一组Mel尺度的三角形滤波器组，得到每个滤波器组的输出。
更加优选地，所述的步骤3具体为：
将三种音频帧级特征分别作为三个子网络模型的输入；每个子网络模型均采用5层BLSTM双向长短时记忆网络结构，每层设置隐节点数100个，最后通过全连接层获得(0,1)范围的咳嗽帧概率值。
更加优选地，所述的步骤4具体为：
步骤4-1：通过低秩分解的方法初步压缩三个子网络模型的参数；
步骤4-2：使用压缩前的模型训练集分别训练三个子网络模型；
步骤4-3：以三个子网络模型的预测结果平均值做为集成模型输出；
步骤4-4：对集成模型进行知识蒸馏，获得压缩后的精炼模型。
更加优选地，所述的步骤4-1具体为：
对于第l层网络的原始权重矩阵Wl，利用奇异值分解法寻找与其矩阵范数尽量相近的低秩矩阵
其中
对于BLSTM中的权重矩阵Wxc、Wxi、Wxf、Wxo，即记忆单元、输入门、遗忘门和输出门中的权重矩阵，同样可以利用低秩分解法进行分解[Wxc,Wxi,Wxf,Wxo]＝USVT＝[Uxc,Uxi,Uxf,Uxo]SVT；
方法为向每个子网络模型中的LSTM相邻两层中添加线性无偏置的低秩降维层，低秩降维层的添加位置为上层BLSTM单元的输出之后，即下层BLSTM单元的输入之前；设M、N、R分别为上层输出结点数、下层输入结点数和低秩降维层的结点数，则分解前的模型参数为4M×N个，分解后的参数为4M×R+R×N＝R×(4M+N)个；
低秩分解层秩，即节点数满足：
更加优选地，所述的步骤4-4具体为：
以训练好的三个子网络模型做为教师模型，设置一个两层低秩BLSTM网络做为学生模型，以MFCC音频特征做为学生模型的输入，通过知识蒸馏的方法，利用教师模型指导学生模型训练，使学生模型得到与教师模型性能相当的结果；
所述的教师模型指导学生模型训练的方法为：
通过集成模型计算每个输入样本的预测结果，即是否为咳嗽的概率做为软目标，与该样本的真实结果共同构成联合损失函数：
其中，ytrue为样本的真实标签，ps和pt分别为学生和教师模型的预测输出，T为温度变量，λ是常数。
优选地，所述的步骤5具体为：
步骤5-1：在嵌入式设备上加载精炼模型的参数；
步骤5-2：输入待检测音频，获得每一个分帧的预测结构；
步骤5-3：针对连续帧的检测结果，生成咳嗽检测事件。
更加优选地，所述的咳嗽检测事件的生成方法为：
筛选连续检测结果中与左右两帧分类结果均不同的孤立结果，将其结果反转；
将连续结果连接为以事件为单位的检测结果，记录其对应起始时间、终止时间。
一种嵌入式设备，包括至少一个处理器以及至少一个与处理器进行通信连接的存储器；
所述的存储器存储有可被处理器执行的指令；所述的指令可被至少一个处理器执行；所述的可被执行的指令包括上述咳嗽自动检测方法。
与现有技术相比，本发明具有以下有益效果：
一、能够被部署到嵌入式设备中：本发明中的咳嗽自动检测方法通过混合低秩分解与知识蒸馏的方法对集成深度网络模型实现压缩，在保证检测精度的前提下，使得高精度模型的体积大大减小，并能够被部署到嵌入式设备中，实现在可控成本的嵌入式设备中使用深度模型进行精确的咳嗽声检测。
二、准确性高：本发明中的咳嗽自动检测方法采用集成深度网络模型实现高精度的咳嗽检测，综合3种不同的声学特征，即MFCC、PLP和Mel bank三种特征，可实现优于基于单一特征模型的检测效果，保证了压缩后的精炼模型的检测准确性。
附图说明
图1为本发明中的咳嗽自动检测方法的流程示意图；
图2为本发明实施例中深度网络模型的结构示意图；
图3为本发明中通过低秩分解法进行模型压缩时的示意图；
图4为本发明中通过知识蒸馏法进行模型压缩时的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
针对现有技术中存在的问题，本发明中提出了一种用于嵌入式设备的咳嗽检测集成模型的压缩方法，通过这个方法，可以实现利用高精度的深度集成模型对声音信号中的咳嗽声进行预测定位，同时其经过压缩后的体积可以完美嵌入到便携式设备中。此方法通过开发出基于声音信号的集成高精度咳嗽检测算法深度模型，采用低秩分解和知识蒸馏的方法对深度模型进行压缩，实现了在低成本便携式设备中嵌入高精度咳嗽检测模型的方法，利用该设备完成端到端的自动咳嗽检测日志生成，从而降低了自动咳嗽检测设备的开发成本。
实施例1
本实施例中以树莓派3B+为例，该设备安装Ubuntu Mate 16.04系统的ARM版本，搭载1.4GHz 64位4核ARM Cortex-A53 CPU。
一种经过压缩的咳嗽自动检测方法，其流程如图1所示，包括：
步骤1：获取待检测音频，并对其进行预处理；
预处理咳嗽数据库中的音频数据；将音频序列切分为10s的长度，并划分为训练集和验证集；
步骤2：提取待检测音频的音频帧级特征；
音频帧级特征包括MFCC音频特征、PLP音频特征和Mel bank音频特征；
使用内置语音处理工具库Kaldi对保存的音频文件分为25ms的片段，且为了保证相邻两帧的连续性，每两帧时间设置了10ms的重叠部分，对于每一帧，分别提取MFCC特征、PLP特征、Mel bank特征，并进行保存；
音频帧级特征的提取方法为：
统一音频采样率后分别提取三中音频帧级特征，分别为：
MFCC音频特征的提取方法：首先对声音信号预加重、分帧和加汉明窗处理；对每一帧进行512个点的快速傅里叶变换，得到能量谱；将能量谱通过一组Mel尺度的三角形滤波器组，得到每个滤波器组的对数能量输出；将对数能量进行离散余弦变换，求得13阶的MFCC；在MFCC基础上加入一阶差分系数和二阶差分系数组合为组合特征，并将其确定为最终的MFCC音频特征；
PLP音频特征的提取方法：首先对声音信号加窗和快速傅里叶变换，得到短时功率谱；然后将功率谱映射到Bark尺度，获得PLP音频特征；
Mel bank音频特征的提取方法：首先对声音信号预加重、分帧和加汉明窗处理；对每一帧进行512个点的快速傅里叶变换，得到能量谱；将能量谱通过一组Mel尺度的三角形滤波器组，得到每个滤波器组的输出。
步骤3：根据步骤2提取的音频特征搭建同构咳嗽检测子模型，具体为：
将三种音频帧级特征分别作为三个子网络模型的输入；每个子网络模型均采用5层BLSTM双向长短时记忆网络结构，每层设置隐节点数100个，获得3个复杂检测模型，最后通过全连接层获得(0,1)范围的咳嗽帧概率值；
上述3个检测模型的结果通过平均可得集成检测模型；
步骤4：对同构咳嗽检测子模型进行压缩并集成后蒸馏为精炼模型；
步骤4-1：通过低秩分解的方法初步压缩三个子网络模型的参数；
对于第l层网络的原始权重矩阵Wl，利用奇异值分解法寻找与其矩阵范数尽量相近的低秩矩阵
其中
对于BLSTM中的权重矩阵Wxc、Wxi、Wxf、Wxo，即记忆单元、输入门、遗忘门和输出门中的权重矩阵，同样可以利用低秩分解法进行分解[Wxc,Wxi,Wxf,Wxo]＝USVT＝[Uxc,Uxi,Uxf,Uxo]SVT；
方法为向每个子网络模型中的LSTM相邻两层中添加线性无偏置的低秩降维层，低秩降维层的添加位置为上层BLSTM单元的输出之后，即下层BLSTM单元的输入之前；设M、N、R分别为上层输出结点数、下层输入结点数和低秩降维层的结点数，则分解前的模型参数为4M×N个，分解后的参数为4M×R+R×N＝R×(4M+N)个；
低秩分解层秩，即节点数满足：
设置R＝10，在相邻BLSTM的两层之间设置好低秩降维层后，可以有效减少每个BLSTM单元中的4组共4*100*100个参数到4*100*10+10*100。
步骤4-2：使用压缩前的模型训练集分别训练三个子网络模型；
步骤4-3：以三个子网络模型的预测结果平均值做为集成模型输出；
步骤4-4：对集成模型进行知识蒸馏，获得压缩后的精炼模型；
以训练好的三个子网络模型做为教师模型，设置一个两层低秩BLSTM网络做为学生模型，以MFCC音频特征做为学生模型的输入，通过知识蒸馏的方法，利用教师模型指导学生模型训练，使学生模型得到与教师模型性能相当的结果；
所述的教师模型指导学生模型训练的方法为：
通过集成模型计算每个输入样本的预测结果，即是否为咳嗽的概率做为软目标，与该样本的真实结果共同构成联合损失函数：
其中，ytrue为样本的真实标签，ps和pt分别为学生和教师模型的预测输出，T为温度变量，设置为4，λ是常数，设置为0.5；
本实施例通过低秩分解初步压缩模型参数量；向复杂检测模型中的每一层添加低秩降维层，设置每一层的秩为10，加载训练集对3个模型分别训练，以输出和真实标签间的交叉熵做为损失函数，同时通过验证集测试网络经过每一个epoch迭代后的损失，直到10个epoch的损失均不再下降时，保存当前模型为目标模型，通过此方法压缩3个模型参数分别至原模型参数量的50％，通过将3个模型额结果平均做为集成模型的输出结果；
步骤5：使用咳嗽检测精炼模型在嵌入式设备上实时进行咳嗽自动检测；
步骤5-1：在嵌入式设备上加载精炼模型的参数；
步骤5-2：输入待检测音频，获得每一个分帧的预测结构；
步骤5-3：针对连续帧的检测结果，生成咳嗽检测事件。
咳嗽检测事件的生成方法为：
筛选连续检测结果中与左右两帧分类结果均不同的孤立结果，将其结果反转；
将连续结果连接为以事件为单位的检测结果，记录其对应起始时间、终止时间。
本步骤对步骤4得到的集成模型知识蒸馏；以集成模型做为教师模型，搭建2层低秩BLSTM网络做为知识蒸馏的学生模型，再训练集上，以单一MFCC特征作为输入，教师模型的输出结果为软标签，指导学生模型的学习，训练方法同步骤4，最终压缩模型参数量为集成检测模型的6％。
图2为本发明中可采用的一种深度模型网络结构图，对上述方法中选取的3种声学特征，即MFCC、PLP和Mel bank依次计算，分别将3种特征归一化特征后，输入到网络层中。网络层由深度双向循环长短时记忆网络(BLSTM)组成，每层设置隐藏层结点数100个，每次的输出通过tanh激活函数输入到下一层中。由于双向的特性，每一层的输出为200维，最后通过一层全连接加sigmoid激活函数拟合到一维的标签空间中，范围(0,1)。设置评估标准为敏感度、特异度以及二者的调和平均值F1，计算方法以事件为单位，敏感度SENS＝TP/(TP+FN)，特异度SPEC＝TN/(TN+FP)，对比基于相同的训练数据，1-7层的BLSTM网络的检测效果。当层数设置为5时，可达到最佳F1，单个网络参数量304479。
图3为本实施例中通过低秩分解法模型压缩的方法图，针对图2中的5层BLSTM网络，向其中所有层之间添加低秩降维层的方法实现低秩压缩。在输入xt和网络单元的结点之间加入降维层，降维层的结点数设置为10，通过降维层，底层的隐结点输出通过线性映射被压缩到更少的结点中。设Wxc、Wxi、Wxf、Wxo中各有M×N个参数，网络中的原始模型参数个数为304479，经过低秩分解后，模型参数被压缩至130797，压缩比为0.423。
图4为本实施例中通过知识蒸馏法模型压缩的方法图，经过低秩分解后的集成模型做为教师模型，蒸馏后的模型做为学生模型，具体流程为：
(1)对于同一个训练集、每一批训练样本同时计算教师模型和学生模型的网络输出ps和pt；
(2)ps作为软标签，分别计算pt与软标签ps、真实标签ytrue之间的交叉熵损失，分别记作BCE(ytrue,ps)和BCE(ps,pt)；
(3)设置温度T＝4，λ＝0.5计算联合损失：
然后根据损失值更新网络权重。
实施例2
一种嵌入式设备，包括至少一个处理器以及至少一个与处理器进行通信连接的存储器，在存储器内存储有可被处理器执行的指令，这些可被至少一个处理器执行，可被执行的指令包括实施例1中的任一项方法。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (5)
1.一种经过压缩的咳嗽自动检测方法，其特征在于，所述的咳嗽自动检测方法包括：
步骤1：获取待检测音频；
步骤2：提取待检测音频的音频帧级特征；
所述的音频帧级特征包括MFCC音频特征、PLP音频特征和Mel bank音频特征；
步骤3：根据步骤2提取的音频特征搭建同构咳嗽检测子模型；
所述的步骤3具体为：
将三种音频帧级特征分别作为三个子网络模型的输入；每个子网络模型均采用5层BLSTM双向长短时记忆网络结构，每层设置隐节点数100个，最后通过全连接层获得(0,1)范围的咳嗽帧概率值；
步骤4：对同构咳嗽检测子模型进行压缩并集成后蒸馏为精炼模型；
步骤5：使用咳嗽检测精炼模型在嵌入式设备上实时进行咳嗽自动检测；
所述的步骤4具体为：
步骤4-1：通过低秩分解的方法初步压缩三个子网络模型的参数；
步骤4-2：使用压缩前的模型训练集分别训练三个子网络模型；
步骤4-3：以三个子网络模型的预测结果平均值做为集成模型输出；
步骤4-4：对集成模型进行知识蒸馏，获得压缩后的精炼模型；
所述的步骤4-1具体为：
对于第l层网络的原始权重矩阵Wl，利用奇异值分解法寻找与其矩阵范数最为接近的低秩矩阵
其中
对于BLSTM中的权重矩阵Wxc、Wxi、Wxf、Wxo，即记忆单元、输入门、遗忘门和输出门中的权重矩阵，同样利用低秩分解法进行分解[Wxc,Wxi,Wxf,Wxo]＝USVT＝[Uxc,Uxi,Uxf,Uxo]SVT；
方法为向每个子网络模型中的LSTM相邻两层中添加线性无偏置的低秩降维层，低秩降维层的添加位置为上层BLSTM单元的输出之后，即下层BLSTM单元的输入之前；设M、N、R分别为上层输出结点数、下层输入结点数和低秩降维层的结点数，则分解前的模型参数为4M×N个，分解后的参数为4M×R+R×N＝R×(4M+N)个；
低秩分解层秩，即节点数满足：
所述的步骤4-4具体为：
以训练好的三个子网络模型做为教师模型，设置一个两层低秩BLSTM网络做为学生模型，以MFCC音频特征做为学生模型的输入，通过知识蒸馏的方法，利用教师模型指导学生模型训练，使学生模型得到与教师模型性能相当的结果；
所述的教师模型指导学生模型训练的方法为：
通过集成模型计算每个输入样本的预测结果，即是否为咳嗽的概率做为软目标，与该样本的真实结果共同构成联合损失函数；
其中，BCE为二分类交叉熵损失函数；ytrue为样本的真实标签，ps和pt分别为学生和教师模型的预测输出，T为温度变量，λ是常数。
2.根据权利要求1所述的一种经过压缩的咳嗽自动检测方法，其特征在于，所述的音频帧级特征的提取方法为：
统一音频采样率后分别提取三中音频帧级特征，分别为：
MFCC音频特征的提取方法：首先对声音信号预加重、分帧和加汉明窗处理；对每一帧进行512个点的快速傅里叶变换，得到能量谱；将能量谱通过一组Mel尺度的三角形滤波器组，得到每个滤波器组的对数能量输出；将对数能量进行离散余弦变换，求得13阶的MFCC；在MFCC基础上加入一阶差分系数和二阶差分系数组合为组合特征，并将其确定为最终的MFCC音频特征；
PLP音频特征的提取方法：首先对声音信号加窗和快速傅里叶变换，得到短时功率谱；然后将功率谱映射到Bark尺度，获得PLP音频特征；
Mel bank音频特征的提取方法：首先对声音信号预加重、分帧和加汉明窗处理；对每一帧进行512个点的快速傅里叶变换，得到能量谱；将能量谱通过一组Mel尺度的三角形滤波器组，得到每个滤波器组的输出。
3.根据权利要求1所述的一种经过压缩的咳嗽自动检测方法，其特征在于，所述的步骤5具体为：
步骤5-1：在嵌入式设备上加载精炼模型的参数；
步骤5-2：输入待检测音频，获得每一个分帧的预测结构；
步骤5-3：针对连续帧的检测结果，生成咳嗽检测事件。
4.根据权利要求3所述的一种经过压缩的咳嗽自动检测方法，其特征在于，所述的咳嗽检测事件的生成方法为：
筛选连续检测结果中与左右两帧分类结果均不同的孤立结果，将其结果反转；
将连续结果连接为以事件为单位的检测结果，记录其对应起始时间、终止时间。
5.一种嵌入式设备，其特征在于，包括至少一个处理器以及至少一个与处理器进行通信连接的存储器；
所述的存储器存储有可被处理器执行的指令；所述的指令可被至少一个处理器执行；所述的可被执行的指令包括权利要求1～4任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011617737.XA CN112687290B (zh) | 2020-12-30 | 2020-12-30 | 一种经过压缩的咳嗽自动检测方法及嵌入式设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011617737.XA CN112687290B (zh) | 2020-12-30 | 2020-12-30 | 一种经过压缩的咳嗽自动检测方法及嵌入式设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112687290A CN112687290A (zh) | 2021-04-20 |
| CN112687290B true CN112687290B (zh) | 2022-09-20 |
Family
ID=75453713
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011617737.XA Active CN112687290B (zh) | 2020-12-30 | 2020-12-30 | 一种经过压缩的咳嗽自动检测方法及嵌入式设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112687290B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114169440A (zh) * | 2021-12-08 | 2022-03-11 | 北京百度网讯科技有限公司 | 模型训练方法、数据处理方法、装置、电子设备及介质 |
| CN115070753A (zh) * | 2022-04-28 | 2022-09-20 | 同济大学 | 一种基于无监督图像编辑的多目标强化学习方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013040485A2 (en) * | 2011-09-15 | 2013-03-21 | University Of Washington Through Its Center For Commercialization | Cough detecting methods and devices for detecting coughs |
| CN107945817A (zh) * | 2017-11-15 | 2018-04-20 | 广东顺德西安交通大学研究院 | 心肺音信号分类方法、检测方法、装置、介质和计算机设备 |
| CN108777146A (zh) * | 2018-05-31 | 2018-11-09 | 平安科技（深圳）有限公司 | 语音模型训练方法、说话人识别方法、装置、设备及介质 |
| CN109360584A (zh) * | 2018-10-26 | 2019-02-19 | 平安科技（深圳）有限公司 | 基于深度学习的咳嗽监测方法及装置 |
| CN111629663A (zh) * | 2017-12-21 | 2020-09-04 | 昆士兰大学 | 用疾病特征分析咳嗽声音以诊断呼吸系统疾病的方法 |
| CN111933185A (zh) * | 2020-10-09 | 2020-11-13 | 深圳大学 | 基于知识蒸馏的肺音分类方法、系统、终端及存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10515307B2 (en) * | 2015-06-05 | 2019-12-24 | Google Llc | Compressed recurrent neural network models |
| CN109637546B (zh) * | 2018-12-29 | 2021-02-12 | 苏州思必驰信息科技有限公司 | 知识蒸馏方法和装置 |
| CN111627428B (zh) * | 2020-05-15 | 2023-11-14 | 北京青牛技术股份有限公司 | 构建压缩的语音识别模型的方法 |
-
2020
- 2020-12-30 CN CN202011617737.XA patent/CN112687290B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013040485A2 (en) * | 2011-09-15 | 2013-03-21 | University Of Washington Through Its Center For Commercialization | Cough detecting methods and devices for detecting coughs |
| CN107945817A (zh) * | 2017-11-15 | 2018-04-20 | 广东顺德西安交通大学研究院 | 心肺音信号分类方法、检测方法、装置、介质和计算机设备 |
| CN111629663A (zh) * | 2017-12-21 | 2020-09-04 | 昆士兰大学 | 用疾病特征分析咳嗽声音以诊断呼吸系统疾病的方法 |
| CN108777146A (zh) * | 2018-05-31 | 2018-11-09 | 平安科技（深圳）有限公司 | 语音模型训练方法、说话人识别方法、装置、设备及介质 |
| CN109360584A (zh) * | 2018-10-26 | 2019-02-19 | 平安科技（深圳）有限公司 | 基于深度学习的咳嗽监测方法及装置 |
| CN111933185A (zh) * | 2020-10-09 | 2020-11-13 | 深圳大学 | 基于知识蒸馏的肺音分类方法、系统、终端及存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| 《Training RNN simulated vehicle controllers using the SVD and evolutionary algorithms》;Daniel K. McNeill;《2018 IEEE Intelligent Vehicles Symposium (IV)》;20181022;全文 * |
| 《基于SVD裁剪的深度神经网络压缩技术研究与实现》;王俊;《中国优秀博硕士学位论文全文数据库（硕士） 信息科技辑》;20190815(第08期);第60-66页 * |
| 《基于深度学习的低资源语音识别技术研究》;秦楚雄;《中国优秀博硕士学位论文全文数据库（硕士） 信息科技辑》;20190515(第05期);第44-48页 * |
| 基于高频子带特征的咳嗽检测方法;陈冲等;《南京大学学报(自然科学)》;20150130(第01期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112687290A (zh) | 2021-04-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110507335B (zh) | 基于多模态信息的服刑人员心理健康状态评估方法及系统 | |
| Vásquez-Correa et al. | Multimodal assessment of Parkinson's disease: a deep learning approach | |
| CN112687290B (zh) | 一种经过压缩的咳嗽自动检测方法及嵌入式设备 | |
| CN111048114A (zh) | 一种设备异常声音检测的设备及方法 | |
| Wu et al. | Learning acoustic features to detect Parkinson’s disease | |
| CN112820279B (zh) | 基于语音上下文动态特征的帕金森检测模型构建方法 | |
| CN108520753A (zh) | 基于卷积双向长短时记忆网络的语音测谎方法 | |
| CN110772235A (zh) | 基于云计算和移动平台的中医智能健康分析系统 | |
| Omeroglu et al. | Multi-modal voice pathology detection architecture based on deep and handcrafted feature fusion | |
| CN109841231B (zh) | 一种针对汉语普通话的早期ad言语辅助筛查系统 | |
| Singh et al. | Short unsegmented PCG classification based on ensemble classifier | |
| CN112329819A (zh) | 基于多网络融合的水下目标识别方法 | |
| Chen et al. | Supervised and self-supervised pretraining based COVID-19 detection using acoustic breathing/cough/speech signals | |
| CN113674767A (zh) | 一种基于多模态融合的抑郁状态识别方法 | |
| CN116741148A (zh) | 一种基于数字孪生的语音识别系统 | |
| Huang et al. | Recognition of parkinson's disease based on residual neural network and voice diagnosis | |
| Liu et al. | AI recognition method of pronunciation errors in oral English speech with the help of big data for personalized learning | |
| Nouhaila et al. | An intelligent approach based on the combination of the discrete wavelet transform, delta delta MFCC for Parkinson's disease diagnosis | |
| CN114299995A (zh) | 一种用于情绪评估的语言情感识别方法 | |
| CN116978408B (zh) | 基于语音预训练模型的抑郁症检测方法及系统 | |
| Sharan et al. | Detecting cough recordings in crowdsourced data using cnn-rnn | |
| CN117746910A (zh) | 一种双通道cnn-lstm的肺音分类模型训练方法及系统 | |
| CN116965819A (zh) | 基于语音表征的抑郁症识别方法和系统 | |
| Kumar et al. | Parkinson’s Speech Detection Using YAMNet | |
| Yerigeri et al. | Meta-heuristic approach in neural network for stress detection in Marathi speech |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |