CN112749295A - 一种基于交叉对比神经网络的心音录音分类技术 - Google Patents
一种基于交叉对比神经网络的心音录音分类技术 Download PDFInfo
- Publication number
- CN112749295A CN112749295A CN201911057340.7A CN201911057340A CN112749295A CN 112749295 A CN112749295 A CN 112749295A CN 201911057340 A CN201911057340 A CN 201911057340A CN 112749295 A CN112749295 A CN 112749295A
- Authority
- CN
- China
- Prior art keywords
- heart sound
- neural network
- cross
- ibs
- recording
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 11
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 8
- 230000000694 effects Effects 0.000 claims abstract description 8
- 201000010099 disease Diseases 0.000 claims abstract description 7
- 230000005236 sound signal Effects 0.000 claims description 12
- 230000004044 response Effects 0.000 claims description 4
- 230000000747 cardiac effect Effects 0.000 claims 1
- 238000012216 screening Methods 0.000 abstract description 2
- 238000003062 neural network model Methods 0.000 abstract 1
- 238000013527 convolutional neural network Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 6
- 238000011160 research Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000001629 suppression Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 208000019622 heart disease Diseases 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 229910006119 NiIn Inorganic materials 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/65—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公布了一种基于交叉对比神经网络的心音录音分类技术。本发明根据手机录音的性质，在原始数据集的基础上，通过模拟录音效果以及一维信号到二维图像的转化，建立了一个全新的心音时频图数据集，并应用交叉对比神经网络的模型进行分类。该神经网络的卷积层经过训练，能够提取出心音时频图中的特征，随后在这些特征上引入IBS模型与两两交叉对比的方法，根据其统计信息计算两张图片的相似性，进而判断所属类别，实现疾病的筛查，在手机录音的心音上取得了较高的分类准确率。
Description
技术领域
本发明涉及信号处理、深度学习、卷积神经网络和IBS统计分析理论在心音信号分类方向的应用。
背景技术
心血管疾病已是我国居民致死疾病中占比最高的疾病，因此对心音的研究一直受到医学领域与信号分析领域的重视，尤其是借助计算机技术进行心音的智能分析与诊断，是现今的一个研究热点，该方法能够实现疾病的早期筛查，减轻医护人员的工作量。另一方面，与心电、脑电等生理信号不同，心音信号可以通过手机录音直接获取，是一种实时的、低成本的疾病监测方式，因此基于手机录音实现心脏疾病的智能诊断，具有很高的研究价值。
本发明中使用的卷积神经网络，在计算机视觉领域显示出了优越的性能，在各项比赛与研究中取得了显著的效果，而采用将心音信号转化为二维频谱图像的方式，便能够在心音分类上应用这种技术。同时，为了进一步提升网络对于图片的分类识别能力，引入了统计学上的IBS模型，通过对卷积层提取出的纹理特征进行交叉对比，判断两幅图像是否属于同一类，以实现图片的类别判断。
发明内容
本发明的目的在于通过手机录音功能采集到的心音信号，判断使用者是否存在心脏疾病，为此提出了一种训练神经网络的方法，以及通过该神经网络进行心音分类的方法，能够在手机采集的心音数据上达到优秀的分类效果。
本发明解决问题所采用的方案分为四个部分：第一，建立训练神经网络所需的心音数据集。此部分在一个公开的心音数据集基础上，设计了一个能够模拟手机麦克风频率响应的滤波器，将原始心音数据通过该滤波器后再随机叠加一段录音噪声，以生成与手机录音效果相似的数据集。第二，将一维的心音信号通过短时傅里叶变换转化为二维的频域图像，这样便可以在这些图像上应用卷积神经网络。第三，卷积神经网络，该部分用于提取输入图像的特征。第四，引入IBS模型并分类，该部分对各个卷积滤波器提取到的特征图进行进一步的统计，将特征图中大于一定阈值的区域个数占比作为该卷积滤波器所提取到的特征概率，通过将特征概率的排序结果带入IBS公式，计算两幅图片的相似性，判断是否属于同一类别。在此四部分基础上，进行神经网络的训练与预测。
附图说明
图1是模拟手机麦克风设计的滤波器的频率响应曲线
图2是由心音信号转化的二维频域图像
图3是卷积神经网络层的结构图
图4是该网络的训练流程图
图5是该网络的预测流程图
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实例对本发明进行详细的描述。
先描述本发明的各个模块及具体实现，再结合实例具体描述训练和预测步骤分别如何使用这些模块。
第一，建立训练所需的心音数据集。本发明中使用的数据集基于Physionet网站提供的公开心音数据集，但考虑到实际上使用该网络时，需要判断的是手机录音得到的心音，其与数据集的信号存在一定的差别，为了使网络对于手机心音录音有更好的适应性，需要对原始数据集进行处理。与自然心音信号相比，由于手机麦克风传感器存在着对低频段信号的抑制，因此首先需要模拟这种抑制的效果。图1是模拟手机麦克风的低频抑制效果设计的滤波器的频率响应曲线，由图可知，将原始信号通过该滤波器后会使信号中50Hz以下的分量被削弱。另一方面，手机录音中或多或少存在着环境噪声，为增强神经网络对于噪声的抗干扰能力，在原始信号通过上述滤波器后，需要再叠加一段噪声以进一步模拟录音效果，此处的噪声为一组事先录好的手机录音底噪，合成时从中随机抽取一条，并乘以一个在0.7至1.3间随机变动的系数以保证其随机性，然后将噪声与信号叠加。最后将这些信号统一处理为30秒的长度，即不足30秒的信号做拼接，多余30秒的信号则做剪裁，得到新的数据集。
第二，将一维的心音信号转化为二维的频域图像，便于后续卷积神经网络做提取特征。二维图像的转换通过短时傅里叶变换实现，该方法是信号分析中的一种常用方法，意在显示信号频域随时间变化的情况。本发明使用的数据集中心音信号的采样频率为2000Hz，即每秒的信号存在2000个点，据此选取512点的短时傅里叶变换窗口，每两个窗口间有256个点的混叠。对每个窗口中的信号做傅里叶变换，得到其频域分量，并将这些傅里叶变换序列按时间顺序拼接，得到心音信号的频域二维图像，如图2所示。
第三，卷积神经网络。对图像的分类实则是对图像特征的分类，而卷积神经网络能够提取图像的纹理特征，因此被使用在本发明中用作特征提取。该卷积神经网络的结构包含9个卷积层和3个池化层，如图3所示。其中，卷积层的卷积滤波器大小为3x3，其作用为通过卷积运算提取与自身参数相关性较高的特征以生成特征图；池化层的大小为2x2，作用是取该2x2区域中特征的最大值，即将最明显的特征保留下来。卷积神经网络模块随着层数的加深，滤波器个数随之增加，其9个卷积层中滤波器个数的递进关系为，前两层64个，接下来的两层128个，再接下来的四层256个，最后一层512个。通过不断增加滤波器的个数可以提取出更多的高维特征，最后一层的512个滤波器会输出512张特征图，这是接下来IBS模型的分类依据。
第四，IBS模块。得到上一步骤的特征图输出后，借助IBS模型进行进一步的处理与分类。IBS模型根据两张图片中各个特征的出现概率来衡量两者的相似程度，这里的概率指的是对于某个卷积滤波器，其输出特征图中大于某特定阈值的区域数在总区域数中的占比。
IBS的计算公式如下：
Fi＝[-p1ilog(p1i)-p2ilog(p2i)]/Z
其中，N为滤波器的个数，此处为512；pli，p2i分别为两幅图像的第i个卷积滤波器的概率值；R1i，R2i分别为两幅图像第i个滤波器的概率值在全部概率值中的降序排序值。由该公式可知，当两幅图像的某一特征概率值在所有概率值中的排序位置相近时，IBS将趋于0，即代表两幅图像相似。而两幅图像不相似时，IBS无法给出其上限，因此出于对网络稳定性的考虑，将IBS公式修改为ModifiedIBS，公式如下：
RevIBS＝IBS(random(p1i)，random(p2i))
该优化公式引入了IBS的参考上限RevIBS，优化后的IBS取值在0至1之间。具体做法为将两幅图像的特征概率序列分别随机打乱，认为此时的两个特征概率序列是一种及其不相似的状态，接着对其计算IBS值，根据这个RevIBS值和原始IBS值，按照上述公式计算出ModifiedIBS。
以上为该发明的各个功能模块，在使用时通常分为训练与预测两个步骤。
训练步骤，通过设置优化目标，用数据训练卷积神经网络层，不断更新迭代卷积滤波器的参数，具体如图4所示。首先，对网络参数进行初始化，随后，每次输入两幅图像，提取各自的特征并计算ModifiedIBS。随着两幅图像送入网络的还有它们的标签(label)，当两幅图像属于同一类时，label为0，反之则为1，代入计算损失函数如下，使损失函数最小化便是要优化的目标：
loss＝-label*log(MIBS)-(1-label)*log(1-MIBS)
使损失函数最小化的做法是，求出该损失函数对各滤波器参数的梯度，然后向着负梯度方向进行参数的更新。整个训练步骤通过不断输入训练集中的成对的图像重复上述过程，直到损失函数收敛，训练完毕，此时的网络参数便是预测时需要的参数。
预测步骤，在训练步骤得到的网络的基础上，预测时只需将待预测图片输入网络，用它提取出的特征与已知某一类别的多张图像进行比较，判断其是否属于同一类。设某类图像的总个数为Ni，其中有ni张与待预测图像被分为了同一类，则待预测图片为这类的概率由以下公式计算：
其中，m为总的类别数，此处为2，i为其中某一类。最后，概率值较大的那个类别即为该图片最终的预测类别。
应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。
Claims (4)
1.本发明公开了一种基于交叉对比神经网络进行心音录音分类的技术，其特征在于模拟手机麦克风效果生成心音录音，并通过交叉对比神经网络进行训练，利用得到的网络模型进行心音录音的分类。
2.根据权利要求1所述的一种基于交叉对比神经网络进行心音录音分类的技术，其特征在于模拟手机麦克风的频率响应对纯净的心音数据库进行滤波转换，并叠加随机的噪声以产生与手机录音质量相仿的心音信号。
3.根据权利要求1所述的一种基于交叉对比神经网络进行心音录音分类的技术，其特征在于利用短时傅里叶变换将心音信号转化为频域二维图像，通过交叉对比神经网络判断是否存在疾病。
4.根据权利要求1所述的一种基于交叉对比神经网络进行心音录音分类的技术，其特征在于能够通过手机录音得到的心音文件来判断是否存在疾病。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911057340.7A CN112749295A (zh) | 2019-10-31 | 2019-10-31 | 一种基于交叉对比神经网络的心音录音分类技术 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911057340.7A CN112749295A (zh) | 2019-10-31 | 2019-10-31 | 一种基于交叉对比神经网络的心音录音分类技术 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112749295A true CN112749295A (zh) | 2021-05-04 |
Family
ID=75645437
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911057340.7A Pending CN112749295A (zh) | 2019-10-31 | 2019-10-31 | 一种基于交叉对比神经网络的心音录音分类技术 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112749295A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107945817A (zh) * | 2017-11-15 | 2018-04-20 | 广东顺德西安交通大学研究院 | 心肺音信号分类方法、检测方法、装置、介质和计算机设备 |
| CN109044396A (zh) * | 2018-06-25 | 2018-12-21 | 广东工业大学 | 一种基于双向长短时记忆神经网络的智能心音识别方法 |
| CN109840537A (zh) * | 2017-11-29 | 2019-06-04 | 南京大学 | 一种基于交叉对比神经网络的图像多任务分类方法 |
| CN109840538A (zh) * | 2017-11-29 | 2019-06-04 | 南京大学 | 一种基于集成交叉对比神经网络的图像分类技术 |
| CN109961017A (zh) * | 2019-02-26 | 2019-07-02 | 杭州电子科技大学 | 一种基于卷积循环神经网络的心音信号分类方法 |
| US20190200888A1 (en) * | 2017-12-31 | 2019-07-04 | Neuroenhancement Lab, LLC | Method and apparatus for neuroenhancement to enhance emotional response |
-
2019
- 2019-10-31 CN CN201911057340.7A patent/CN112749295A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107945817A (zh) * | 2017-11-15 | 2018-04-20 | 广东顺德西安交通大学研究院 | 心肺音信号分类方法、检测方法、装置、介质和计算机设备 |
| CN109840537A (zh) * | 2017-11-29 | 2019-06-04 | 南京大学 | 一种基于交叉对比神经网络的图像多任务分类方法 |
| CN109840538A (zh) * | 2017-11-29 | 2019-06-04 | 南京大学 | 一种基于集成交叉对比神经网络的图像分类技术 |
| US20190200888A1 (en) * | 2017-12-31 | 2019-07-04 | Neuroenhancement Lab, LLC | Method and apparatus for neuroenhancement to enhance emotional response |
| CN109044396A (zh) * | 2018-06-25 | 2018-12-21 | 广东工业大学 | 一种基于双向长短时记忆神经网络的智能心音识别方法 |
| CN109961017A (zh) * | 2019-02-26 | 2019-07-02 | 杭州电子科技大学 | 一种基于卷积循环神经网络的心音信号分类方法 |
Non-Patent Citations (1)
| Title |
|---|
| 谭朝文;王威廉;宗容;潘家华;朱莉莉;: "卷积神经网络应用于先心病心音信号分类研究", 计算机工程与应用, no. 12, pages 179 - 185 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109065030B (zh) | 基于卷积神经网络的环境声音识别方法及系统 | |
| CN110491416B (zh) | 一种基于lstm和sae的电话语音情感分析与识别方法 | |
| CN108899051B (zh) | 一种基于联合特征表示的语音情感识别模型及识别方法 | |
| Ahmed | The impact of filter size and number of filters on classification accuracy in CNN | |
| CN107811649B (zh) | 一种基于深度卷积神经网络的心音多分类方法 | |
| CN105841961A (zh) | 一种基于Morlet小波变换和卷积神经网络的轴承故障诊断方法 | |
| CN108922513A (zh) | 语音区分方法、装置、计算机设备及存储介质 | |
| CN111508480B (zh) | 音频识别模型的训练方法、音频识别方法、装置及设备 | |
| CN111341319B (zh) | 一种基于局部纹理特征的音频场景识别方法及系统 | |
| CN111341294B (zh) | 将文本转换为指定风格语音的方法 | |
| CN111986699B (zh) | 基于全卷积网络的声音事件检测方法 | |
| CN113488060B (zh) | 一种基于变分信息瓶颈的声纹识别方法及系统 | |
| JP2020071482A (ja) | 語音分離方法、語音分離モデル訓練方法及びコンピュータ可読媒体 | |
| Yang et al. | Design of bird sound recognition model based on lightweight | |
| CN113990303B (zh) | 基于多分辨率空洞深度可分卷积网络的环境声音辨识方法 | |
| CN111008570A (zh) | 一种基于压缩-激励伪三维网络的视频理解方法 | |
| Xiao et al. | AMResNet: An automatic recognition model of bird sounds in real environment | |
| CN112735466A (zh) | 一种音频检测方法及装置 | |
| Zhang et al. | A novel insect sound recognition algorithm based on MFCC and CNN | |
| CN112052880A (zh) | 一种基于更新权值支持向量机的水声目标识别方法 | |
| CN115170942B (zh) | 一种声音与视觉多级融合的鱼类行为识别方法 | |
| CN116758451A (zh) | 基于多尺度和全局交叉注意力的视听情感识别方法及系统 | |
| CN112749295A (zh) | 一种基于交叉对比神经网络的心音录音分类技术 | |
| CN113488069B (zh) | 基于生成式对抗网络的语音高维特征快速提取方法和装置 | |
| CN113870896A (zh) | 基于时频图和卷积神经网络的运动声音判假方法、装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210504 |