CN111554319A - 一种基于低秩张量学习的多通道心肺音异常识别系统与装置 - Google Patents
一种基于低秩张量学习的多通道心肺音异常识别系统与装置 Download PDFInfo
- Publication number
- CN111554319A CN111554319A CN202010591990.6A CN202010591990A CN111554319A CN 111554319 A CN111554319 A CN 111554319A CN 202010591990 A CN202010591990 A CN 202010591990A CN 111554319 A CN111554319 A CN 111554319A
- Authority
- CN
- China
- Prior art keywords
- sound
- heart
- lung
- cardiopulmonary
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002612 cardiopulmonary effect Effects 0.000 title claims abstract description 41
- 208000037656 Respiratory Sounds Diseases 0.000 claims abstract description 43
- 230000005236 sound signal Effects 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 26
- 230000002159 abnormal effect Effects 0.000 claims abstract description 18
- 230000006870 function Effects 0.000 claims abstract description 17
- 238000001228 spectrum Methods 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 12
- 238000013145 classification model Methods 0.000 claims abstract description 8
- 238000002555 auscultation Methods 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims abstract description 5
- 230000005856 abnormality Effects 0.000 claims description 12
- 230000009977 dual effect Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 4
- 230000008602 contraction Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000012443 analytical study Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001050 lubricating effect Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B7/00—Instruments for auscultation
- A61B7/003—Detecting lung or respiration noise
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B7/00—Instruments for auscultation
- A61B7/02—Stethoscopes
- A61B7/04—Electric stethoscopes
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/45—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of analysis window
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/66—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Pulmonology (AREA)
- Epidemiology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Instructional Devices (AREA)
Abstract
本发明公开了一种基于低秩张量学习的多通道心肺音异常识别系统与装置,包括:通过3个拾音器组成的拾音器整列采集人体心肺音信号,利用增益调节器对心肺音信号进行放大后,通过滤波器,得到高信噪比的心肺音信号,通过ADC模块转换成数字信号传输至单片机;单片机对于3个通道采集的混合心肺音信号分别进行短时傅里叶变换处理,其中短时傅里叶变换采用的窗函数为汉明窗,对3通道信号进行短时傅里叶变换后,获得3个时频谱;根据采集的心肺音张量数据以及给定的标签,训练低秩张量分类模型,获得预训练的学习参数;当给定的新采集的听诊数据时,使用分类模型预测出患者的心肺音数据是否为异常。本发明能减少学习参数,能实现小样本心肺音异常识别任务。
Description
技术领域
本发明涉及智能电子听诊领域,具体是一种基于低秩张量学习的多通道心肺音异常识别系统与装置。
背景技术
近年来,心肺音智能分析已经在时域、频域以及功率谱分析发展到现在的时频分析。心肺音的时频谱分析已经成为了当前有效且流行的方法。为了能够有效地基于心肺音的时频谱识别出存在异常的心肺音信号,研究科学家已经提出了许多方法,包括基于支持向量机(C.Sowmiya and P.Sumitra,"Analytical study of heart disease diagnosisusing classification techniques,"2017 IEEE International Conference onIntelligent Techniques in Control,Optimization and Signal Processing(INCOS),Srivilliputhur,2017,pp.1-5)、线性判别分析(P.Mayorga,J.Valdez,C.Druzgalski andV.Zeljkovic,"Heart and lung sounds based events classification,"2016 GlobalMedical Engineering Physics Exchanges/Pan American Health Care Exchanges(GMEPE/PAHCE),Madrid,2016,pp.1-6,doi:10.1109/GMEPE-PAHCE.2016.7504614)、深度神经网络(Son,Gui-Young,and Soonil Kwon."Classification of heart sound signalusing multiple features."Applied Sciences 8.12(2018):2344.)等方法,但是这些方法存在两个较为严重的问题。一方面,简单地将时频谱向量化后,再进一步地对使用上述提到的方法对其进行异常检测,这种简单地向量化时频谱的方式会破坏数据的时间与空间结构,以致于其无法达到更优的学习效果;另一方面,上述分类器的大规模学习参数,需要提供大量的训练样本,不符合现实需求。
发明内容
本发明的目的在于克服现有技术的不足,提供一种基于低秩张量学习的多通道心肺音异常识别系统,包括:
通过3个拾音器组成的拾音器整列采集人体心肺音信号,利用增益调节器对心肺音信号进行放大后,通过滤波器,得到高信噪比的心肺音信号,通过ADC模块转换成数字信号传输至单片机;
单片机对于3个通道采集的混合心肺音信号分别进行短时傅里叶变换处理,其中短时傅里叶变换采用的窗函数为汉明窗,对3通道信号逐一进行短时傅里叶变换后,获得3个时频谱,将3个时频谱表示成1个三维的3*T*F大小的张量,其中T代表采集时长,F代表频率;
根据采集的心肺音张量数据以及给定的标签,训练低秩张量分类模型,获得预训练的学习参数;当给定的新采集的听诊数据时,使用分类模型预测出患者的心肺音数据是否为异常;
单片机将预测结果输出至显示模块,对用户进行提醒。
进一步的,所述的汉明窗的长度设置为100-128,窗移动的补偿设置为50-64;
进一步的,所述的三维的张量数据如下式所示:
3维张量的低秩约束可以表示为3个模态展开的核范数加权求和:
进一步的,所述的模型构建包括如下过程:
将心肺音信号分成4大类,分别是1)心音肺音皆正常,2)心音正常、肺音异常,3)心音异常、肺音正常,4)心音肺音皆异常。通过划分的数据集,分别使用提出的基于张量低秩学习的多通道心肺音异常识别方法学习4个类别的参数目标函数如下:
3)求解目标函数
在给定采用交替乘子更新方法,交替地更新目标函数的各个变量
d)检查是否达到下述收敛条件,若达到,则停止迭代学习:
进一步的,所述的分类包括如下过程:将测试样本输入4个学习到的多通道心肺音异常识别系统中,然后分别计算其在4个学习器的输出。通过比较4个不同识别系统的输出,选取输出最大值对应的系统,以确定该次输入的心肺音信号属于哪种类别的异常,采用如下所示的公式:
一种多通道心肺音异常识别装置,包括数据处理器、拾音器、增益调节器、滤波器、模数转换器、显示模块;所述的拾音器、增益调节器、滤波器、模数转换器依次连接,所述的模数转换器、显示模块分别与所述的数据处理器连接。
优选的,所述的拾音器采用驻极体话筒、咪头、麦克风或其他将声音信号转换为电信号的传感器中的一种;
优选的,还包括多通道采集音腔,所述的多通道采集音腔设置在拾音器上,每一个通道内设置一个拾音器。
优选的,所述的增益调节器为运算放大器,所述的运算放大器采用的型号为TLC2274。
优选的,所述的模数转换器采用的型号为ADS1115。
本发明的有益效果是:本发明不需要手动地提取心肺音的操作,减少人工干预,并可提升识别准确率;本发明能减少学习参数,能实现小样本心肺音异常识别任务;本发明能够有效地保留多个通道的时频谱中的空间信息,有效地提高识别准确率。
附图说明
图1为一种基于低秩张量学习的多通道心肺音异常识别系统原理图;
图2为一种多通道心肺音异常识别装置原理图;
图3为单个心肺音信号采集通道原理图。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案,但本发明的保护范围不局限于以下所述。
如图1所示,步骤1,通过3个拾音器组成的拾音器整列采集人体心肺音信号,利用增益调节器对心肺音信号进行放大后,通过滤波器,得到高信噪比的心肺音信号,通过ADC模块转换成数字信号传输至单片机;
步骤2,单片机对于3个通道采集的混合心肺音信号分别进行短时傅里叶变换处理,其中短时傅里叶变换采用的窗函数为汉明窗,汉明窗的长度设置为100-128,窗移动的补偿设置为50-64。对3通道信号逐一进行短时傅里叶变换后,能够获得3个时频谱,因此得到的3个时频谱可以自然地表示成1个三维度的3*T*F大小的张量,其中T代表采集时长,F代表频率,由于心音频率范围为20Hz-600Hz,肺音频率范围为60Hz-1000Hz,因此我们选取20Hz-1000Hz的频率范围;根据上述采集的心肺音张量数据以及给定的标签,训练低秩张量分类模型,获得预训练的学习参数;当给定的新采集的听诊数据时,使用分类模型预测出患者的心肺音数据是否为异常;
步骤3,单片机将步骤2的预测结果输出至显示模块,对用户进行提醒;
具体为:拾音器可以包含驻极体话筒、咪头、麦克风或其他将声音信号转换为电信号的传感器,通过拾音器将声音震动信号转化为电信号,此处采用拾音器阵列配合多通道采集音腔,如图X所示,一个听诊器头中包含3个音腔;如图X所示,其中U1为运算放大器,型号为TLC2274,运算放大器配合阻容网络构成两级反向放大器和带通滤波器对采集到的的心肺音进行放大和滤波,其中反向放大器增益为40dB,带通滤波器的上下限截止频率分别为100Hz和3kHz;在具体实施过程中,拾音器、增益调节器和滤波器会设置3个通道,得到3个通道的心肺音信号后,信号传输至ADC模块;在具体实施过程中,ADC选择为ADS1115,其拥有4个ADC采集通道,可以将模拟的心肺音信号转化为数字信号,通过IIC接口传输至单片机;在具体实施过程中,单机片为STM32H743ZI,算法程序运行在此单片机中,得到预测结构后将结果输出至显示模块;在具体实施过程中,显示模块为0.91寸OLED12832显示屏,通过IIC接口与单片机连接。
3维张量的低秩约束可以表示为3个模态展开的核范数加权求和:
2)构建目标函数
为了识别异常的心肺音信号,我们将心肺音信号分成4大类,分别是1)心音肺音皆正常,2)心音正常、肺音异常,3)心音异常、肺音正常,4)心音肺音皆异常。通过划分的数据集,分别使用提出的基于张量低秩学习的多通道心肺音异常识别方法学习4个类别的参数目标函数如下:
3)求解目标函数
在给定采用交替乘子更新方法,交替地更新目标函数的各个变量
h)检查是否达到下述收敛条件,若达到,则停止迭代学习:
基于上述学习的参数,将测试样本输入4个学习到的多通道心肺音异常识别系统中,然后分别计算其在4个学习器的输出。通过比较4个不同识别系统的输出,选取输出最大值对应的系统,以确定该次输入的心肺音信号属于哪种类别的异常。即,表达为如下形式:
以上所述仅是本发明的优选实施方式,应当理解本发明并非局限于本文所披露的形式,不应看作是对其他实施例的排除,而可用于各种其他组合、修改和环境,并能够在本文所述构想范围内,通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围,则都应在本发明所附权利要求的保护范围内。
Claims (10)
1.一种基于低秩张量学习的多通道心肺音异常识别系统,其特征在于,包括:
通过3个拾音器组成的拾音器整列采集人体心肺音信号,利用增益调节器对心肺音信号进行放大后,通过滤波器,得到高信噪比的心肺音信号,通过ADC模块转换成数字信号传输至单片机;
单片机对于3个通道采集的混合心肺音信号分别进行短时傅里叶变换处理,其中短时傅里叶变换采用的窗函数为汉明窗,对3通道信号逐一进行短时傅里叶变换后,获得3个时频谱,将3个时频谱表示成1个三维的3*T*F大小的张量,其中T代表采集时长,F代表频率;
根据采集的心肺音张量数据以及给定的标签,训练低秩张量分类模型,获得预训练的学习参数;当给定的新采集的听诊数据时,使用分类模型预测出患者的心肺音数据是否为异常;
单片机将预测结果输出至显示模块,对用户进行提醒。
2.根据权利要求1所述的一种基于低秩张量学习的多通道心肺音异常识别系统,其特征在于,所述的汉明窗的长度设置为100-128,窗移动的补偿设置为50-64;
4.根据权利要求1所述的一种基于低秩张量学习的多通道心肺音异常识别系统,特征在于,所述的模型构建包括如下过程:
将心肺音信号分成4大类,分别是1)心音肺音皆正常,2)心音正常、肺音异常,3)心音异常、肺音正常,4)心音肺音皆异常。通过划分的数据集,分别使用提出的基于张量低秩学习的多通道心肺音异常识别方法学习4个类别的参数目标函数如下:
3)求解目标函数
在给定采用交替乘子更新方法,交替地更新目标函数的各个变量
d)检查是否达到下述收敛条件,若达到,则停止迭代学习:
6.一种多通道心肺音异常识别装置,其特征在于,包括数据处理器、拾音器、增益调节器、滤波器、模数转换器、显示模块;所述的拾音器、增益调节器、滤波器、模数转换器依次连接,所述的模数转换器、显示模块分别与所述的数据处理器连接。
7.根据权利要求6所述的一种多通道心肺音异常识别装置,其特征在于,所述的拾音器采用驻极体话筒、咪头、麦克风或其他将声音信号转换为电信号的传感器中的一种;
8.根据权利要求6所述的一种多通道心肺音异常识别装置,其特征在于,还包括多通道采集音腔,所述的多通道采集音腔设置在拾音器上,每一个通道内设置一个拾音器。
9.根据权利要求6所述的一种多通道心肺音异常识别装置,其特征在于,所述的增益调节器为运算放大器,所述的运算放大器采用的型号为TLC2274。
10.根据权利要求6所述的一种多通道心肺音异常识别装置,其特征在于,所述的模数转换器采用的型号为ADS1115。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010591990.6A CN111554319A (zh) | 2020-06-24 | 2020-06-24 | 一种基于低秩张量学习的多通道心肺音异常识别系统与装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010591990.6A CN111554319A (zh) | 2020-06-24 | 2020-06-24 | 一种基于低秩张量学习的多通道心肺音异常识别系统与装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111554319A true CN111554319A (zh) | 2020-08-18 |
Family
ID=72005381
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010591990.6A Pending CN111554319A (zh) | 2020-06-24 | 2020-06-24 | 一种基于低秩张量学习的多通道心肺音异常识别系统与装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111554319A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113436726A (zh) * | 2021-06-29 | 2021-09-24 | 南开大学 | 一种基于多任务分类的肺部病理音自动化分析方法 |
-
2020
- 2020-06-24 CN CN202010591990.6A patent/CN111554319A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113436726A (zh) * | 2021-06-29 | 2021-09-24 | 南开大学 | 一种基于多任务分类的肺部病理音自动化分析方法 |
CN113436726B (zh) * | 2021-06-29 | 2022-03-04 | 南开大学 | 一种基于多任务分类的肺部病理音自动化分析方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104970789B (zh) | 心电图分类方法及系统 | |
CN110353725A (zh) | 一种基于云架构的心音采集与分析系统及方法 | |
CN109961017A (zh) | 一种基于卷积循环神经网络的心音信号分类方法 | |
CN107221319A (zh) | 一种语音识别测试系统和方法 | |
CN105841961A (zh) | 一种基于Morlet小波变换和卷积神经网络的轴承故障诊断方法 | |
CN101023469A (zh) | 数字滤波方法和装置 | |
CN102697520A (zh) | 基于智能识别功能的电子听诊器 | |
JPWO2016125256A1 (ja) | 異常音診断装置、異常音診断システム、異常音診断方法および異常音診断プログラム | |
CN102342858A (zh) | 中医声诊采集与分析系统 | |
CN112587153A (zh) | 一种基于vPPG信号的端到端的非接触房颤自动检测系统和方法 | |
CN113436726B (zh) | 一种基于多任务分类的肺部病理音自动化分析方法 | |
Singh et al. | Short unsegmented PCG classification based on ensemble classifier | |
Zakaria et al. | Three resnet deep learning architectures applied in pulmonary pathologies classification | |
You et al. | Novel feature extraction method for cough detection using NMF | |
CN116189681B (zh) | 一种智能语音交互系统及方法 | |
CN114190944A (zh) | 基于脑电信号的鲁棒情绪识别方法 | |
CN113140229A (zh) | 基于神经网络的声音检测方法、工业声学检测系统及方法 | |
Hadi et al. | Classification of heart sound based on s-transform and neural network | |
Salhi et al. | Voice disorders identification using hybrid approach: Wavelet analysis and multilayer neural networks | |
CN111554319A (zh) | 一种基于低秩张量学习的多通道心肺音异常识别系统与装置 | |
Sanjeev et al. | Deep learning-based mixed data approach for COVID-19 detection | |
CN112336369B (zh) | 一种多通道心音信号的冠心病风险指数评估系统 | |
CN113349801A (zh) | 基于卷积神经网络的想象言语脑电信号解码方法 | |
Huang et al. | Classification of cough sounds using spectrogram methods and a parallel-stream one-dimensional deep convolutional neural network | |
CN112472107B (zh) | 一种脑电图伪影去除方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |