CN109657649B - 一种轻型心音神经网络的设计方法 - Google Patents

一种轻型心音神经网络的设计方法 Download PDF

Info

Publication number
CN109657649B
CN109657649B CN201910031494.2A CN201910031494A CN109657649B CN 109657649 B CN109657649 B CN 109657649B CN 201910031494 A CN201910031494 A CN 201910031494A CN 109657649 B CN109657649 B CN 109657649B
Authority
CN
China
Prior art keywords
heart sound
neural network
layer
light
spectrogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910031494.2A
Other languages
English (en)
Other versions
CN109657649A (zh
Inventor
成谢锋
黄健钟
戴世诚
刘佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN201910031494.2A priority Critical patent/CN109657649B/zh
Publication of CN109657649A publication Critical patent/CN109657649A/zh
Application granted granted Critical
Publication of CN109657649B publication Critical patent/CN109657649B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Neurology (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

本发明公开了一种轻型心音神经网络的设计方法。首先,对预先获取的真实心音信号进行预处理,将心音信号分割成特定时间长度;其次,根据心音信号声学和生理学特点选择声谱图作为特征表征方式,并设计声谱图的大小;然后,选用双层卷积层作为轻型心音神经网络模型的基本架构,保证每个心音信号的卷积层包含足够的特征量,最顶层的感受野不大于整个心音周期区域;最后,根据移动终端对神经网络的要求,对获得轻型心音神经网络模型进行对比,得到最终的网络架构。本发明简化了网络模型,使之能够在移动终端运行,基于本发明设计的模型体积小,识别率高,可扩展,并且本方法所运用的声谱图库,也具有对心音分类进一步研究的发展潜力。

Description

一种轻型心音神经网络的设计方法
技术领域
本发明属于心音信号处理与神经网络领域,具体涉及一种轻型心音神经网络的设计方法。
背景技术
心音分类不是一个新话题,许多研究者都致力于设计实用的心音分类器系统,以提高心音的诊断准确性。他们中的大多数人使用神经网络执行分类任务。诸如一些研究者使用结构复杂的卷积神经网络或者循环神经网络来实现心音分类,但是这些网络结构仅仅满足于理论阶段研究,对于实际的应用上没有进行深入研究。另外这些结构复杂的神经网络的网络参数是千万级乃至亿级,这对于基础硬件的要求很高,并不适用于一般的应用终端,使得这样的心音分类技术在实际实用上和经济效益上并不理性。
发明内容
发明目的:本发明提供一种能够在移动终端运行的轻型心音神经网络的设计方法,基于本方法设计的模型有体积小,识别率高,可扩展的特点。
技术方案:本发明所述的一种轻型心音神经网络的设计方法,
(1)对预先获取的真实心音信号进行预处理,将心音信号分割成特定时间长度;
(2)根据心音信号声学和生理学特点选择声谱图作为特征表征方式,并设计声谱图的大小;
(3)选用双层卷积层作为轻型心音神经网络模型的基本架构,保证每个心音信号的卷积层包含足够的特征量,最顶层的感受野不大于整个心音周期区域;
(4)根据移动终端对神经网络的要求,对步骤(3)获得轻型心音神经网络模型进行对比,得到最终的网络架构。
步骤(1)所述的真实心音信号包括正常心音信号和异常心音信号。
步骤(2)所述声谱图的大小为:
Figure BDA0001944388880000011
其中,φ为时长为s的信息量,k为位深度,m2为单位像素个数。
步骤(3)所述轻型心音神经网络模型通过以下公式实现:
Figure BDA0001944388880000021
其中,n是卷积层数,{ai}各层中的卷积核个数,k卷积核尺寸,
Figure BDA0001944388880000022
z是心音在一个周期内所包含的特征量,且z=2m-1k/t。
步骤(4)所述的网络架构有七层,包括两层卷积层,且卷积核长度为奇数。
有益效果:与现有技术相比,本发明的有益效果:1、轻型神经网络适合移动终端,可以对真实心音进行分类,基于本发明设计的模型体积小,计算速度快,准确度高;2、声谱图库样本量大,可以清楚地表征心音信号的特征,在心音分类研究中具有很高的参考价值。
附图说明
图1为本发明流程图;
图2为正常心音及其声谱图;
图3为异常心音及其声谱图;
图4为轻型神经网络结构图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
图1为本发明流程图,具体包括以下步骤:
1、选择声谱图和神经网络
正常心音信号S是一种准周期信号,其频带范围在0-500Hz左右,在频域上为连续频率,所以表现为准周期性。同时S是一种稀疏信号,在测量时不直接测量S,而是将其映射到测量向量
Figure BDA0001944388880000023
从而得到测量值ym为:
Figure BDA0001944388880000024
心音信号的主要有第一心音(S1)、第二心音(S2)两个峰值,正常心音信号能量主要分布在S1和S2上,频率范围为10-100Hz,表现为能量集性。
根据心音信号的三个特点:准周期性、稀疏性和能量集中性,适应于声谱图横纵坐标代表的时域频域关系及颜色代表的能量分布,同样根据心音信号的特点,设计具有特征共享、稀疏连接特点以及结构简洁的轻型神经网络。
2、设计声谱图和神经网络
并且从信息量的角度将心音录音的信息转化为声谱图的信息,建立一个数学模型,利用模型的数学特点可以设计声谱图大小。同样基于心音信号的特点设计神经网络,从卷积层、池化层、全连接层、输出层逐步设计,并且设计出一套轻型神经网络的方法。
声谱图信息量有三个界定标准:像素的数量;黑白之间可界定的灰度数量;构成图像基本色的数量。而对于心音录音的有效信息量等于数据量减去冗余量。设比特率为ω,压缩率为η,时长为s,则时长为s的信息量φ为:
φ=ω×η×s
作为声谱图M,用像素表示信息量,设其位深度为k,单位像素个数为m2,则根据(3)式中的信息量,计算M边长D的大小为:
Figure BDA0001944388880000031
3、设计轻型心音神经网络的推导
图2、图3为正常、异常心音与其声谱图,截取0-5s时长的心音录音作为声谱图的横坐标,记录心音的时频谱及能量特征。
根据移动终端对神经网络的要求,选用双层卷积层作为模型的基本架构。为了从理论上证明该模型的准确性,引出设计心音轻型神经网络时应该满足的两个基本条件:对于每个心音信号的卷积层,应该保证感受野包含足够的特征量;最顶层的感受野应不大于整个心音周期区域。
首先定义输入参数符号,分别是输入声谱图尺寸z,卷积核尺寸k和最小c-valuet。其中为了测量每一层卷积层的特征量,定义c-value:
Figure BDA0001944388880000032
心音深度模型的结构可以由卷积层的总数n和各层中的卷积核个数{ai}来确定。考虑在满足这两个条件基础上,先从第一个条件证明:
第一个条件要求所有层的c-value不小于最小c-value值t。随着卷积层的感受野不断增长,并且一个卷积层中卷积核尺寸保持不变,可知最后一个卷积层的c-value最小。因此,第一个条件相当于确保每个卷积层中最后一层的c-value不小于t,这可以转换成一组不等式:
Figure BDA0001944388880000041
其中2lk是第l层的卷积层
Figure BDA0001944388880000042
是最后一层的感受野,t是最小c-value。
第二个条件是卷积层最顶部的感受野不大于一个心音周期的区域。即公式表示如下:
∑2i-1(k-1)ai≤z
其中左式是最顶层卷积层的感受野,2i-1(k-1)是感受野在第i卷积层的增量,2i-1(k-1)ai是总感受野在第i卷积层的增量。
目标函数可以通过最大池化层的总数形式来表示。通过略微改变所要求的两个条件,可以实现如下最终公式:
Figure BDA0001944388880000043
其中n和{ai}都是整数。假设心音在一个周期内所包含的特征量为z=2m-1k/t,核个数{ai}从整数放宽到正实数,可以证明目标函数的最优解是:
Figure BDA0001944388880000044
设计神经网络七层,两层卷积层,并且卷积核长度应为奇数,得到可选择的卷积核大小为:3×3×3、5×5×3、7×7×3。
通过对应用对象针对性和应用平台广泛性的论述和证明,可以得到所设计LNN模型的基本框架,其结构如图4所示。第一层为输入层,将声谱图作为输入,图片大小为208*208,24位深度;第二层为卷积层,卷积核大小3*3,卷积核个数16个;第三层为最大池化层,核大小2*2,将第二层卷积结果池化为原来的四分之一,即池化结果为104*104*16;第四层为卷积层,卷积核大小3*3,卷积核个数16个;第五层为最大池化层,核大小2*2,将第四层卷积结果池化为原来的四分之一,即池化结果为52*52*16;第六层为全连接层,共128个神经元,将第二个池化层的结果归纳为128个特征;第七层为全连接层,共128个神经元,将第一个全连接层的结果重新归纳为128个特征;第八层为输出层,输出正常或者异常的分类结果。
采用本发明所述基本轻型神经模型结构的基础上,通过改变卷积层的数量来优化模型的复杂性,并且在实验上对模型进行验证,心音分类模型的参数量、训练时间和训练的准确率如表1所示。可以得出当只有一个卷积层时,模型参数量巨大,无法准确获得重要特征,而且训练时间长;当模型中有三个卷积层时,其训练时间短,但识别率降低了;而在两个卷积层的时候,训练时间可以接受,且识别率最高。
表1不同数量卷积层的模型对心音的分类结果
Figure BDA0001944388880000051

Claims (3)

1.一种轻型心音神经网络的设计方法,其特征在于,包括以下步骤:
(1)对预先获取的真实心音信号进行预处理,将心音信号分割成预先设置的时间长度;
(2)根据心音信号声学和生理学特点选择声谱图作为特征表征方式,并设计声谱图的大小;
(3)选用双层卷积层作为轻型心音神经网络模型的架构,保证每个心音信号的卷积层包含一定的特征量,最顶层的感受野不大于整个心音周期区域;
(4)根据移动终端对神经网络的要求,对步骤(3)获得轻型心音神经网络模型进行对比,得到最终的网络架构;
步骤(2)所述声谱图的大小为:
Figure FDA0003719630910000011
其中,φ为时长为s的信息量k,为位深度,m2为单位像素个数;
步骤(3)所述轻型心音神经网络模型通过以下公式实现:
Figure FDA0003719630910000012
其中,n是卷积层数,{ai}各层中的卷积核个数,k卷积核尺寸,
Figure FDA0003719630910000013
z是心音在一个周期内所包含的特征量,且z=2m-1k/t。
2.根据权利要求1所述的一种轻型心音神经网络的设计方法,其特征在于,步骤(1)所述的真实心音信号包括正常心音信号和异常心音信号。
3.根据权利要求1所述的一种轻型心音神经网络的设计方法,其特征在于,步骤(4)所述的网络架构有七层,包括两层卷积层,且卷积核长度为奇数。
CN201910031494.2A 2019-01-14 2019-01-14 一种轻型心音神经网络的设计方法 Active CN109657649B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910031494.2A CN109657649B (zh) 2019-01-14 2019-01-14 一种轻型心音神经网络的设计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910031494.2A CN109657649B (zh) 2019-01-14 2019-01-14 一种轻型心音神经网络的设计方法

Publications (2)

Publication Number Publication Date
CN109657649A CN109657649A (zh) 2019-04-19
CN109657649B true CN109657649B (zh) 2022-08-26

Family

ID=66119519

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910031494.2A Active CN109657649B (zh) 2019-01-14 2019-01-14 一种轻型心音神经网络的设计方法

Country Status (1)

Country Link
CN (1) CN109657649B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461293B (zh) * 2020-03-17 2023-06-06 湖南大学 基于gpu的深度神经网络模型训练方法、装置和计算机设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6125194A (en) * 1996-02-06 2000-09-26 Caelum Research Corporation Method and system for re-screening nodules in radiological images using multi-resolution processing, neural network, and image processing
CN108875912A (zh) * 2018-05-29 2018-11-23 天津科技大学 一种用于图像识别的神经网络模型
CN108899049A (zh) * 2018-05-31 2018-11-27 中国地质大学(武汉) 一种基于卷积神经网络的语音情感识别方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6125194A (en) * 1996-02-06 2000-09-26 Caelum Research Corporation Method and system for re-screening nodules in radiological images using multi-resolution processing, neural network, and image processing
CN108875912A (zh) * 2018-05-29 2018-11-23 天津科技大学 一种用于图像识别的神经网络模型
CN108899049A (zh) * 2018-05-31 2018-11-27 中国地质大学(武汉) 一种基于卷积神经网络的语音情感识别方法及系统

Also Published As

Publication number Publication date
CN109657649A (zh) 2019-04-19

Similar Documents

Publication Publication Date Title
CN111508508A (zh) 一种超分辨率音频生成方法及设备
CN110718211B (zh) 一种基于混合压缩卷积神经网络的关键词识别系统
US11954115B2 (en) Methods and systems for wavelet based representation
CN107480100B (zh) 基于深层神经网络中间层特征的头相关传输函数建模系统
JPWO2017122798A1 (ja) 目標値推定システム、目標値推定方法及び目標値推定用プログラム
CN109785847B (zh) 基于动态残差网络的音频压缩算法
CN111341294B (zh) 将文本转换为指定风格语音的方法
CN109657649B (zh) 一种轻型心音神经网络的设计方法
CN112259119A (zh) 基于堆叠沙漏网络的音乐源分离方法
Zhang et al. Constrained learned feature extraction for acoustic scene classification
WO2023226572A1 (zh) 特征表示的提取方法、装置、设备、介质及程序产品
CN115328661B (zh) 一种基于语音和图像特征的算力均衡执行方法及芯片
CN113096675A (zh) 一种基于生成式对抗网络的音频风格统一的方法
EP2529371A2 (en) Method and apparatus for canonical nonlinear analysis of audio signals
Zeng et al. Application of local histogram clipping equalization image enhancement in bearing fault diagnosis
CN116912376B (zh) 口型动画生成方法、装置、计算机设备和存储介质
CN117290709B (zh) 用于连续动态意图解码的方法、系统、设备及存储介质
Suud Music Genre Classification by Convolutional Neural Networks
CN116959422B (zh) 多对多的实时语音变音方法、设备及存储介质
US20240177697A1 (en) Audio data processing method and apparatus, computer device, and storage medium
Li et al. Hybrid Acceleration of CNN-based Speech Enhancement on Embedded Platforms
CN114495908A (zh) 一种基于时序卷积的语音驱动口型的方法和系统
CN116822407A (zh) 流场模拟方法、装置、计算机设备、存储介质
CN114722964A (zh) 基于电网频率空间和时序特征融合的数字音频篡改被动检测方法及装置
CN115096432A (zh) 一种基于声压图学习的球谐系数升阶方法及声场描述方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant