CN112741596A - 一种基于深度可分离卷积神经网络的移动端心音分类方法 - Google Patents
一种基于深度可分离卷积神经网络的移动端心音分类方法 Download PDFInfo
- Publication number
- CN112741596A CN112741596A CN201911057381.6A CN201911057381A CN112741596A CN 112741596 A CN112741596 A CN 112741596A CN 201911057381 A CN201911057381 A CN 201911057381A CN 112741596 A CN112741596 A CN 112741596A
- Authority
- CN
- China
- Prior art keywords
- convolution
- mobile terminal
- neural network
- heart sound
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000013527 convolutional neural network Methods 0.000 title claims description 15
- 230000004913 activation Effects 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 claims 1
- 238000013135 deep learning Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000001914 filtration Methods 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 208000019622 heart disease Diseases 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 208000024172 Cardiovascular disease Diseases 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000002555 auscultation Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 206010008132 Cerebral thrombosis Diseases 0.000 description 1
- 201000001429 Intracranial Thrombosis Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000007711 solidification Methods 0.000 description 1
- 230000008023 solidification Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B7/00—Instruments for auscultation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Artificial Intelligence (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Power Engineering (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于深度可分离卷积的移动端心音预测方法。本发明从医学信号本身的特点和移动端部署难点出发，使用短时傅里叶变换将一维心音转换成二维图像，利用大卷积核提升精确度，用深度可分离卷积减少计算量，在计算量和参数量得到严格控制的情况下，与从传统深度网络模型相比，提升了精确度。同时，提供了模型在移动端部署的方法，利用手机麦克风获取心音数据，在手机上做预测，实现离线状态下移动端的心音分类。
Description
技术领域
本发明涉及深度学习、卷积神经网络、信号处理在心音信号分类方向的应用，以及移动端深度学习方法的应用。
背景技术
生物医学信号一直是信号研究领域广泛且深入的热点，诸如心电、脑电、心音信号等。根据国家心血管中心组织编撰的《中国心血管病报告2018》概要，心血管病死亡率仍居首位并且持续上升。心血管疾病主要包括心脏病、脑血栓等，而心脏病的种类有很多，临床上对于心脏疾病的诊断主要有心电图、听诊、超声等。听诊是诊断心脏疾病最简单、直接的一种方式，但是需要专门的器材和专业的医生进行诊断。近年来，在AI医疗的大背景下，很多研究人员尝试着用深度学习的方法去解决生物医学信号诊断的问题。
目前，深度学习依靠的是GPU、TPU等芯片强大的算力，训练过程需要大量，计算消耗大量的计算资源。而在预测过程中，需要分配大量的内存去保存训练得到的权重数据，这样，在往移动端部署的过程成为了难题。因此，轻量化网络也是一个研究热点。而本技术基于深度可分离卷积，将传统的卷积进行了通道拆分，在分类效果不变甚至更好的情况下，极大地减少了计算量和参数量，然后，将网络模型部署至移动端，在离线状态下，利用手机获取心声，进行疾病诊断。
发明内容
本发明的目的在于克服医学信号特征不明显，以及传统卷积神经网络参数量和计算量过大的缺点，提出了一种基于深度可分离卷积神经网络，易于训练和移动端的部署。本发明主要针对的是心音信号，在Physionet的心音数据集上有着不俗表现。
本发明解决问题所采用的方案分为三个部分：首先，对数据做预处理，此部分使用20到400Hz带通滤波器处理原始信号，再使用短时傅里叶变换将心音信号进行二维扩展，窗口大小为512，窗口混叠长度为256，生成时频图，再以4∶1的比例构建训练集和验证集。然后使用数据集对CNN网络模型进行训练，该模型由8个卷积层和3个全连接层构成，多层卷积用于提取图像高维特征，全连接层用于对未知类别的数据进行分类。最后，将网络模型固化，迁移到移动端，用手机获取心音，使用和预处理相同的处理方式，即先经过20到400Hz的带通滤波器，再经过短时傅里叶变换扩展成声谱图，进入网络，得出分类结果，将获取的心音信号和对应的分类结果在前端显示。
此发明解决问题需要经过两个主要步骤，第一个为训练步骤。在此步骤中，需要先做数据预处理，由于人类心音的带宽在20到400Hz，所以采用对应的带通滤波器过滤低频和高频噪声，使用短时傅里叶变换的处理方式将信号处理成单通道声谱图；然后将处理好的图像，经过所设计的基于深度可分离卷积的FCN网络，采用梯度下降方法不断更新权重以最小化交叉熵损失函数。使用的基于深度可分离卷积的网络模型解决了传统的CNN卷卷积层参数量大，计算量大的问题，并解决人工分类效率低、准确度低、专业知识门槛高的问题。
第二个步骤为网络固化迁移步骤。通过对应的深度学习框架给出的计算图和各层对应权重的固化方法，将模型固化成单输入、单输出的图结构。然后将对应的固化之后的Pb模型和对应的需要分类的label导入到设计好的app中，就可以部署到移动端。
本发明的有益效果是：使用深度可分离卷积构建轻量型网络，并可以随意调整输入大小，解决传统CNN模型参数量大，计算量大，输入固定的问题。部署至移动端，离线模式下使用手机麦克风获取心音数据，在手机端进行推理，解决深度学习过度依赖算力的问题，并且不需要使用网络，更好的保护个人隐私。
附图说明
图1是卷积神经网络模型图
图2是数据预处理流程图
图3a是5*5标准卷积块结构图
图3b是5*5深度可分离卷积块结构图
图4是移动端应用工作流程图
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实例对本发明进行详细的描述。
先描述本发明的各个模块功能及具体实现，再结合实例具体描述训练和验证步骤分别如何使用这些模块。
第一，数据预处理模块。在深度学习的分类任务中，好的预处理往往使得工作事半功倍。本发明根据前人的研究结果，将带通滤波范围固定在20到400Hz，剔除掉高低频噪声和冗余信息，再使用短时傅里叶变换将心音信号进行二维扩展，窗口大小为512，窗口混叠长度为256，生成时频图，如图1所示。
第二，卷积神经网络模块。在图像分类任务中，首先需要提取图像的纹理特征，考虑不同图像具有不同的纹理特征，来对图像作进一步的分类。如图2所示为采用的卷积神经网络结构，由8个卷积层和3个全连接层构成。卷积层分为4个卷积块，每个块有两个卷积层，其中第一层使用的是传统的5×5的卷积核的卷积层和一层带有下采样的分离卷积层。剩下的三个卷积块均由两层分离卷积层构成，其中第二层使用的是下采样，步长为3。接下来对最后一层卷积层的输出做扁平化，再接三层全连接层，以此适应各种不同大小的输入。
深度可分离卷积(如图3b)在计算量和参数量上具有明显优势，它是一种将标准卷积(如3a图)分解成深度卷积以及一个1x1的卷积即逐点卷积。深度卷积针对每个单个输入通道应用单个滤波器进行滤波，然后逐点卷积应用1x1的卷积操作来结合所有深度卷积得到的输出。而标准卷积一步即对所有的输入进行结合得到新的一系列输出。深度可分离卷积将其分成了两步，针对每个单独层进行滤波然后下一步即结合。这种分解能够有效的大量减少计算量以及模型的大小。如图1所示，一个标准的卷积被分解成深度卷积以及1x1的逐点卷积。
一个标准卷积层输入DF*DF*M的特征图F，并得到一个DG*DG*N的输出特征图G，其中DF表示输入特征图的宽和高，M是输入的通道数，DG为输出特征图的宽和高，N是输出的通道数。
标准卷积层通过由大小为DK*DK*M*N个卷积核K个参数，其中DK是卷积核的空间维数，M是输入通道数，N是输出通道数。
标准卷积的输出的卷积图，假设步长为1，则padding由下式计算：Gk，l，m＝∑i，j， mKi，j，m，n*Fk+i-1，l+j-1，m。其计算量为DK*DK*M*N*DF*DF，其由输入通道数M、输出通道数N、卷积核大小DK、输出特征图大小DF决定。本发明网络模型针对其进行改进。首先，使用深度可分离卷积来打破输出通道数与卷积核大小之间的相互连接作用。
标准的卷积操作基于卷积核和组合特征来对滤波特征产生效果来产生一种新的表示。滤波和组合能够通过分解卷积操作来分成两个独立的部分，这就叫做深度可分离卷积，可以大幅度降度计算成本。
深度可分离卷积由两层构成：深度卷积和逐点卷积。我们使用深度卷积来针对每一个输入通道用单个卷积核进行卷积，得到输入通道数的深度，然后运用逐点卷积，即应用一个简单的1x1卷积，来对深度卷积中的输出进行线性结合。本发明对每层使用ReLu非线性激活。
深度卷积对每个通道使用一种卷积核，可以写成：
其中K^是深度卷积核的尺寸DK*DK*M，K^中第m个卷积核应用于F中的第m个通道来产生第m个通道的卷积输出特征图G^。
深度卷积的计算量为：DK*DK*M*DF*DF。
深度卷积相对于标准卷积十分有效，然而其只对输入通道进行卷积，没有对其进行组合来产生新的特征。因此下一层利用另外的层利用1x1卷积来对深度卷积的输出计算一个线性组合从而产生新的特征。
深度可分离卷积的计算量为：DK*DK*M*DF*DF+M*N*DF*DF，即深度卷积和1x1的逐点卷积的和。
通过将卷积分为滤波和组合的过程得到对计算量的缩减：(DK*DK*M*DF*DF+M*N*DF*DF)/(DK*DK*M*N*DF*DF)＝1/N+1/DK^2
网络模型使用5×5的深度可分离卷积相较于标准卷积少了24到25倍的计算量，然而在特异性和敏感性上分别为96.3％和77.6％，相比其他的如InceptionV1，效果更好。
第三，移动端APP模块。如图4所示。通过将训练好的模型重构为单输入的预测模型图，由手机麦克风获取到心音数据，通过预先设计好的带通滤波器，滤除高低频噪声部分，再通过短时傅里叶变换变换得到声谱图。获取我们需要的声谱图之后，将声谱图输入计算图之后，推理出分类结果，将对应的心音波形和处理之后的声谱图，以及最终的分类结果交由Activity显示在手机屏幕。
Claims (4)
1.本发明公开了一种基于深度可分离卷积神经网络进行心音分类的方法，其特征在于基于深度可分离卷积神经网络进行集成，训练和测试，并可部署至移动端。
2.根据权利要求1所述的一种基于深度可分离卷积神经网络进行心音分类的方法，其特征在于使用深度可分离卷积构建网络，使用步长控制输出大小，对最后一个卷积层的输出做扁平化处理，适应任意大小的输入图像，完成图像分类。
3.根据权利要求1所述的一种基于深度可分离卷积神经网络进行心音分类的方法，其特征在于利用图像训练的深度可分离卷积神经网络模型，包括8个卷积层和3个全连接层，采用ReLu作为激活函数。
4.根据权利要求1所述的一种基于基于深度可分离卷积神经网络进行心音分类的方法，其特征在于使用训练好的模型，移植至移动端，使用手机自带麦克风获取心音，完成分类并在页面显示心音波形和分类结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911057381.6A CN112741596A (zh) | 2019-10-31 | 2019-10-31 | 一种基于深度可分离卷积神经网络的移动端心音分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911057381.6A CN112741596A (zh) | 2019-10-31 | 2019-10-31 | 一种基于深度可分离卷积神经网络的移动端心音分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112741596A true CN112741596A (zh) | 2021-05-04 |
Family
ID=75645755
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911057381.6A Pending CN112741596A (zh) | 2019-10-31 | 2019-10-31 | 一种基于深度可分离卷积神经网络的移动端心音分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112741596A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113288157A (zh) * | 2021-05-19 | 2021-08-24 | 浙江理工大学 | 基于深度可分离卷积和改进损失函数的心律失常分类方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102551790A (zh) * | 2012-02-17 | 2012-07-11 | 南京邮电大学 | 基于智能手机平台的心音分类方法及心音的图形化显示方法 |
| CN108629306A (zh) * | 2018-04-28 | 2018-10-09 | 北京京东金融科技控股有限公司 | 人体姿态识别方法及装置、电子设备、存储介质 |
| CN109044396A (zh) * | 2018-06-25 | 2018-12-21 | 广东工业大学 | 一种基于双向长短时记忆神经网络的智能心音识别方法 |
| CN109558912A (zh) * | 2019-01-21 | 2019-04-02 | 广西师范大学 | 一种基于深度可分离卷积的阿尔兹海默病分类方法 |
| CN109934831A (zh) * | 2019-03-18 | 2019-06-25 | 安徽紫薇帝星数字科技有限公司 | 一种基于吲哚氰绿荧光显像的外科肿瘤手术实时导航方法 |
| WO2019171021A1 (en) * | 2018-03-09 | 2019-09-12 | Cambridge Enterprise Limited | Smart stethoscopes |
-
2019
- 2019-10-31 CN CN201911057381.6A patent/CN112741596A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102551790A (zh) * | 2012-02-17 | 2012-07-11 | 南京邮电大学 | 基于智能手机平台的心音分类方法及心音的图形化显示方法 |
| WO2019171021A1 (en) * | 2018-03-09 | 2019-09-12 | Cambridge Enterprise Limited | Smart stethoscopes |
| CN108629306A (zh) * | 2018-04-28 | 2018-10-09 | 北京京东金融科技控股有限公司 | 人体姿态识别方法及装置、电子设备、存储介质 |
| CN109044396A (zh) * | 2018-06-25 | 2018-12-21 | 广东工业大学 | 一种基于双向长短时记忆神经网络的智能心音识别方法 |
| CN109558912A (zh) * | 2019-01-21 | 2019-04-02 | 广西师范大学 | 一种基于深度可分离卷积的阿尔兹海默病分类方法 |
| CN109934831A (zh) * | 2019-03-18 | 2019-06-25 | 安徽紫薇帝星数字科技有限公司 | 一种基于吲哚氰绿荧光显像的外科肿瘤手术实时导航方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113288157A (zh) * | 2021-05-19 | 2021-08-24 | 浙江理工大学 | 基于深度可分离卷积和改进损失函数的心律失常分类方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106821337B (zh) | 一种有监督的鼾声来源识别方法 | |
| Deperlioglu | Classification of phonocardiograms with convolutional neural networks | |
| CN114266276B (zh) | 一种基于通道注意力和多尺度时域卷积的运动想象脑电信号分类方法 | |
| CN110367967B (zh) | 一种基于数据融合的便携型轻量化人脑状态检测方法 | |
| CN110755108A (zh) | 一种基于智能听诊器的心脏声音分类方法、系统、装置及可读存储介质 | |
| CN109431497B (zh) | 一种脑电信号处理方法及癫痫检测系统 | |
| CN110600053A (zh) | 一种基于ResNet与LSTM网络的脑卒中构音障碍风险预测方法 | |
| Gupta et al. | Gammatonegram based triple classification of lung sounds using deep convolutional neural network with transfer learning | |
| Zakaria et al. | VGG16, ResNet-50, and GoogLeNet deep learning architecture for breathing sound classification: a comparative study | |
| Gajendran et al. | Ecg classification using deep transfer learning | |
| CN110731778A (zh) | 一种基于可视化的呼吸音信号识别方法及系统 | |
| CN110811648A (zh) | 一种基于残差卷积神经网络的抑郁倾向评估系统 | |
| CN114305484A (zh) | 基于深度学习的心脏病心音智能分类方法、装置和介质 | |
| Akkasaligar et al. | Diagnosis of renal calculus disease in medical ultrasound images | |
| Zeng et al. | Automatic detection of heart valve disorders using Teager–Kaiser energy operator, rational-dilation wavelet transform and convolutional neural networks with PCG signals | |
| Majda-Zdancewicz et al. | Deep learning vs feature engineering in the assessment of voice signals for diagnosis in Parkinson’s disease | |
| CN110415824B (zh) | 脑卒中风的患病风险评估装置和设备 | |
| CN115251845A (zh) | 基于TB-TF-BiGRU模型处理脑电波信号的睡眠监测方法 | |
| CN112741596A (zh) | 一种基于深度可分离卷积神经网络的移动端心音分类方法 | |
| CN111370120A (zh) | 一种基于心音信号的心脏舒张功能障碍的检测方法 | |
| CN113128353B (zh) | 面向自然人机交互的情绪感知方法及其系统 | |
| Jiménez-González et al. | Extracting sources from noisy abdominal phonograms: a single-channel blind source separation method | |
| Perera et al. | EEG signal analysis of real-word reading and nonsense-word reading between adults with dyslexia and without dyslexia | |
| CN116942172A (zh) | 一种基于编解码结构的小波双通道单导联心电去噪方法 | |
| JP2015031889A (ja) | 音響信号分離装置、音響信号分離方法及び音響信号分離プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210504 |