CN111759345A - 基于卷积神经网络的心脏瓣膜异常分析方法、系统和装置 - Google Patents

基于卷积神经网络的心脏瓣膜异常分析方法、系统和装置 Download PDF

Info

Publication number
CN111759345A
CN111759345A CN202010797058.9A CN202010797058A CN111759345A CN 111759345 A CN111759345 A CN 111759345A CN 202010797058 A CN202010797058 A CN 202010797058A CN 111759345 A CN111759345 A CN 111759345A
Authority
CN
China
Prior art keywords
heart
heart sounds
neural network
heart sound
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010797058.9A
Other languages
English (en)
Other versions
CN111759345B (zh
Inventor
颜永红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Acoustics CAS
Beijing Kexin Technology Co Ltd
Original Assignee
Beijing Kexin Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kexin Technology Co Ltd filed Critical Beijing Kexin Technology Co Ltd
Priority to CN202010797058.9A priority Critical patent/CN111759345B/zh
Publication of CN111759345A publication Critical patent/CN111759345A/zh
Application granted granted Critical
Publication of CN111759345B publication Critical patent/CN111759345B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00Instruments for auscultation
    • A61B7/02Stethoscopes
    • A61B7/04Electric stethoscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/29Graphical models, e.g. Bayesian networks
    • G06F18/295Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/66Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

本申请实施例提出一种基于卷积神经网络的心脏瓣膜异常分析方法,包括:将采集到的心音分段,计算每一段心音的时频谱;将所述每一段心音的时频谱输入卷积神经网络中,输出所述心音正常或异常的第一结果;提取所述第一结果为异常的心音的包络谱特征和功率谱特征输入逻辑回归隐半马尔可夫模型进行分割,输出为所述心音的心动周期中各帧所属的状态,共有K个状态,K为自然数;提取所述心音的每个状态的能量特征;将所述能量特征输入支持向量机中,得到主动脉瓣狭窄和/或主动脉瓣返流,二尖瓣狭窄和/或二尖瓣返流的分析结果。所述方法对心脏瓣膜异常采用二阶段分析能够提高心脏瓣膜异常判断的准确率,降低误诊风险。

Description

基于卷积神经网络的心脏瓣膜异常分析方法、系统和装置
技术领域
本申请涉及深度学习技术领域,特别涉及一种基于卷积神经网络的心脏瓣膜异常分析方法、系统和装置。
背景技术
心脏瓣膜异常是一类常见的心血管异常,主要包括主动脉瓣狭窄、主动脉瓣返流、二尖瓣狭窄、二尖瓣返流和三尖瓣返流五种病变。心音是一种较为容易采集的人体生理信号,能够反映心脏瓣膜的健康状况。利用心音进行心脏瓣膜异常分析具有成本低廉,便于推广等优点。
基于传统机械听诊器的心脏瓣膜异常分析主要依赖于医生的经验,普通居民难以自查。随着电子听诊器的发明和推广,研究人员开始使用计算机对心音进行自动分析并给出分析结果。这一技术为居民自查提供了极大的便利。然而现有的研究均只进行一次分类,即通过聚类或神经网络分类等模式分析方法将心音分析为正常或某种异常。由于心音仅用于初步分析,只要分析为患病,无论为何种异常都建议用户赴医院进行进一步检查。因此,准确判断是否出现异常比准确判断具体为何种异常更加重要,前者误判引起的风险也大于后者。但现有心脏瓣膜异常分析的一次分类方法没有考虑这一问题。
发明内容
本申请的目的在于克服现有的利用心音采用一次分类进行心脏瓣膜异常分析中准确率低,误诊风险未分散的问题。为实现上述目的,本申请提供了一种基于卷积神经网络的心脏瓣膜异常分析方法、系统和装置。
一方面,提出一种基于卷积神经网络的心脏瓣膜异常分析方法,包括:将采集到的心音分段,计算每一段心音的时频谱;将所述每一段心音的时频谱输入卷积神经网络中,输出所述心音正常或异常的第一结果;提取所述第一结果为异常的心音的包络谱特征和功率谱特征输入逻辑回归隐半马尔可夫模型进行分割,输出为所述心音的心动周期中各帧所属的状态,共有K个状态,K为自然数;提取所述心音的每个状态的能量特征;将所述能量特征输入支持向量机中,得到主动脉瓣狭窄和/或主动脉瓣返流,二尖瓣狭窄和/或二尖瓣返流的分析结果。
根据一种可能的实施方式,所述将采集到的心音分段,计算每一段心音的时频谱,包括:采集主动脉瓣听诊区心音、二尖瓣听诊区心音和三尖瓣听诊区心音;将采集到的所有心音根据设置的时长分段;对每段心音进行短时傅里叶变换,获得所述每段心音的时频谱。
根据一种可能的实施方式,所述方法还包括:训练所述卷积神经网络的步骤,包括:将训练集中不同听诊区的心音分段,计算每一段心音的时频谱;依据超声心动图检查报告,将所述不同听诊区的心音标注为正常或异常;以所述每段心音时频谱为输入;其中所述卷积神经网络根据心音的不同听诊区划分对应的不同输出层;每个所述输出层包括n层全连接层和1层softmax层,各输出层共享隐含层,所述隐含层包括m层卷积层,每层所述卷积层下为池化层;n和m为小于10的自然数;以每段心音对应的超声心动图标注的正常或异常诊断结果为输出,训练所述卷积神经网络,获得训练好的卷积神经网络。
根据一种可能的实施方式,所述方法还包括训练逻辑回归隐半马尔可夫模型的步骤,包括:根据心电信号将主动脉瓣听诊区和二尖瓣听诊区采集的心音分别分割为K个状态,统计训练集中心音的K个状态中每个状态的时长;使用单高斯模型和/或高斯混合模型拟合每个状态时长的概率分布;以训练集心音的包络谱特征和功率谱密度谱特征为输入,以所述心音所标注的K个状态为输出,以所述每个状态时长的概率分布为参数,训练逻辑回归隐半马尔可夫模型,得到训练好的逻辑回归隐半马尔可夫模型。
根据一种可能的实施方式,所述方法还包括训练支持向量机,包括:在训练集中,提取主动脉瓣听诊区和二尖瓣听诊区采集的心音的每个状态的能量特征;将所述能量特征输入支持向量机,对于主动脉瓣听诊区,以主动脉瓣狭窄和主动脉瓣返流为输出,对于二尖瓣听诊区,以二尖瓣狭窄和二尖瓣返流为输出,训练支持向量机;得到训练好的支持向量机。
根据一种可能的实施方式,所述包络谱特征包括同态包络、希尔伯特包络和小波包络;所述功率谱特征包括功率谱密度谱。
根据一种可能的实施方式,所述提取心音的每个状态的能量特征,包括:在每段心音中选取整数个心动周期;计算所述整数个心动周期中所有状态的心音总能量;将不同心动周期中同一个状态的能量叠加,得到心音中每个状态的能量;计算所述每个状态的能量占所述心音总能量的比例值;计算所述心音的低频与高频的能量比值;提取所述心音中每个状态的能量占总能量的比例值和所述低频与高频的能量比值作为能量特征。
第二方面,提出一种基于卷积神经网络的心脏瓣膜异常分析系统,包括:心音采集模块,用于将采集到的心音分段,计算每一段心音的时频谱;第一分析模块,用于将所述每一段心音的时频谱输入卷积神经网络中,输出所述心音正常或异常的第一结果;心音分割模块,用于提取所述第一结果为异常的主动脉瓣和二尖瓣听诊区采集的心音的包络谱和功率谱特征输入逻辑回归隐半马尔可夫模型进行分割,输出为所述心音的心动周期中各帧所属的状态,共有K个状态,K为自然数;特征提取模块,用于提取所述心音的每个状态的能量特征;和第二分析模块,用于将所述能量特征输入支持向量机中,得到主动脉瓣狭窄和/或主动脉瓣返流、二尖瓣狭窄和/或二尖瓣返流的分析结果。
第三方面,提出一种电子装置,包括存储器和处理器;所述处理器用于执行所述存储器所存储的计算机执行指令,所述处理器运行所述计算机执行指令执行上述任意一项所述的基于卷积神经网络的心脏瓣膜异常分析方法。
第四方面,一种存储介质,包括可读存储介质和存储在所述可读存储介质中的计算机程序,所述计算机程序用于实现上述任意一项所述的基于卷积神经网络的心脏瓣膜异常分析方法。
本申请的基于卷积神经网络的心脏瓣膜异常分析方法的优点在于采用二阶段分析心脏瓣膜异常能够提高准确率,降低误诊风险,即使第二阶段对具体异常判断错误,只要第一阶段分析时能正确识别异常心音,即可提示用户赴医院进行进一步检查,如此可将风险分散化。
附图说明
为了更清楚地说明本申请披露的多个实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请披露的多个实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本申请实施例的基于卷积神经网络的心脏瓣膜异常分析方法的流程图;
图2为本申请实施例的基于卷积神经网络的心脏瓣膜异常分析方法的模型训练流程图;
图3为本申请实施例的基于卷积神经网络的心脏瓣膜异常分析方法的模型应用流程图。
具体实施方式
下面通过附图和实施例,对本申请的技术方案做进一步的详细描述。
在对本申请的技术方案做进一步的详细描述之前介绍本申请的构思。
本申请的目的在于减小现有的利用心音进行心脏瓣膜异常分析中误诊引起的风险。根据该目的,考虑对不同听诊区采集的心音进行两阶段分析。在第一阶段,使用多任务学习的卷积神经网络对主动脉瓣听诊区、二尖瓣听诊区和三尖瓣听诊区采集的心音进行分类,输出结果为心脏瓣膜正常或异常。对于三尖瓣听诊区的心音,由于对应的三尖瓣瓣膜异常的情况只有返流,因此不需要第二阶段的分析。对于主动脉瓣听诊区和二尖瓣听诊区采集的心音,若被卷积神经网络分析为异常,需要第二阶段的分析。因此,在第二阶段,可以使用逻辑回归隐半马尔可夫模型对第一阶段识别为异常的主动脉瓣听诊区和二尖瓣听诊区采集的心音分割,并以分割后心音的各个阶段的能量参数作为特征,使用支持向量机进行分析。通过支持向量机的分析,主动脉瓣听诊区采集的异常心音可以被分析为主动脉瓣狭窄或主动脉瓣返流,二尖瓣听诊区采集的异常心音可以被分析为二尖瓣狭窄或二尖瓣返流。该构思的优点在采用二阶段分析心脏瓣膜异常能够提高准确率,降低误诊风险,即使第二阶段对具体心脏瓣膜异常判断错误,只要第一阶段分析时能正确识别异常心音,即可提示用户赴医院进行进一步检查,如此可将风险分散化。
基于此,本申请实施例提供的一种基于卷积神经网络的心脏瓣膜异常分析方法用于实现上述构思。
第一方面,本申请实施例提供一种基于卷积神经网络的心脏瓣膜异常分析方法,下面从心脏瓣膜异常分析模型的构建过程、训练过程和应用过程三个方面进行详细论述。
本申请实施例提供的基于卷积神经网络的心脏瓣膜异常分析方法在对于心脏瓣膜异常分析模型的构建过程中,首先建立一个卷积神经网络,该卷积神经网络可以分别分析三个听诊区的心音为正常或异常,该分析结果作为第一阶段分析结果;然后建立逻辑回归隐半马尔可夫模型,该逻辑回归隐半马尔可夫模型可以对第一阶段分析结果为异常的心音分割,并提取该心音分割后各个阶段的能量特征;最后建立支持向量机,将心音分割后的能量特征输入支持向量机进行第二阶段分析。通过支持向量机的第二阶段分析,主动脉瓣听诊区采集的异常心音可以被分析为主动脉瓣狭窄或主动脉瓣返流,二尖瓣听诊区采集的异常心音可以被分析为二尖瓣狭窄或二尖瓣返流。常见的三尖瓣异常只有三尖瓣返流一种,因此不需要第二阶段的分析。
具体地,卷积神经网络根据心音的不同听诊区划分对应的不同输出层;每个所述输出层包括n层全连接层和1层softmax层,所述卷积神经网络的各输出层共享隐含层,所述隐含层包括m层卷积层,每层所述卷积层下为池化层;n和m为小于10的自然数。
图1为本申请实施例提供的卷积神经网络构架图,如图1所示,卷积神经网络包括m层卷积层,m的值可以为4,3层全连接层和1层softmax层。其中卷积层为主动脉瓣听诊区、二尖瓣听诊区和三尖瓣听诊区异常分析的共享隐含层;全连接层和softmax层不共享。卷积神经网络输入的时频谱尺寸为128×100,卷积层的卷积核尺寸依次为32×(3×3),64×(3×3),128×(3×3)和256×(3×3);在每一层卷积之后都跟随2×2的最大值池化。随机失活的系数为0.4,3层全连接层神经元数依次为1024,512,128。最后一层softmax层针对三个听诊区的分类任务,使用softmax函数计算输入心音时频谱属于正常或异常的概率:
Figure BDA0002626030240000061
其中xk为卷积神经网络最后一层第k个节点输出的数值,N为分类的类别数,本申请实施例中=2。网络的损失函数选用交叉熵损失函数:
Figure BDA0002626030240000062
其中概率分布pn表示样本属于第n类的真实概率,qn表示模型所预测的样本属于第n类的概率。卷积神经网络根据此损失函数更新参数。
本申请实施例提供的基于卷积神经网络的心脏瓣膜异常分析方法在对于心脏瓣膜异常分析模型的训练过程中,如图2所示,包括:S201,采集主动脉瓣听诊区、二尖瓣听诊区和三尖瓣听诊区的心音,并同步采集心电信号;进行超声心动图检查,由专业医师根据超声心动图生成报告,报告中有诊断结果,包括正常、主动脉瓣狭窄、主动脉瓣返流、二尖瓣狭窄、二尖瓣返流和三尖瓣返流,从而构建训练样本集;S202,将训练集中不同听诊区的心音分段,计算每一段心音的时频谱;根据超声心动图报告,对与所述不同听诊区的心音进行标注;S203,以每段心音时频谱作为输入,以每段心音对应超声心动图诊断报告标注的正常或异常结果为输出,训练卷积神经网络;S204,以训练集中心音的包络谱特征和功率谱特征为输入,根据心动周期标注的K个状态为输出,标注由专业医师基于心电信号完成,训练逻辑回归隐半马尔可夫模型,其中,包络谱特征包括同态包络、希尔伯特包络,小波包络,功率谱特征包括功率谱密度谱;S205,提取心动周期中各个状态的能量特征,将所述能量特征输入支持向量机,对主动脉瓣听诊区和二尖瓣听诊区分别训练支持向量机。
在执行步骤S201时,可以使用电子听诊器采集主动脉瓣听诊区、二尖瓣听诊区和三尖瓣听诊区的心音。进一步地,可以使用自行研发的电子听诊器采集主动脉瓣听诊区、二尖瓣听诊区和三尖瓣听诊区的心音,采样率为1kHz。根据住院人员的超声心动图报告,选择正常及不同瓣膜疾病的人员采集心音。在采集各个听诊区的心音时,使用心电图机同步采集心电信号,从而构建训练样本集。
在执行步骤S202时,可以将训练样本集的不同听诊区的心音按照设置的时长切分,并将切分后的每段心音进行短时傅里叶变换得到每段心音的时频谱;利用超声心动图的诊断结果,对不同听诊区的心音进行标注。
具体地,可以将所有采集到的心音按设置的每段时长为3.424s切分。对切分后的每段心音进行短时傅里叶变换,变换时采用hamming窗,帧长为256,帧移为32。其中,每段时长选为3.424s的原因如下:每一次输入卷积神经网络的时频谱频率轴长度为128,帧数为100,即尺寸为128×100;结合帧长和帧移,可得输入卷积神经网络的时频谱需要时域数据点数为256+32×99=3424。由于心音采样率为1kHz,3424个点时长为3.424s。
具体地,利用心电信号对心音中各个心动周期进行标注,一个心动周期可以为k个状态,k为自然数。通常一个心动周期中包括S1、收缩间期、S2和舒张间期四个状态。同时,依据超声心动图报告对整数个心动周期的心音信号标注出正常或异常,包括主动脉瓣狭窄、主动脉瓣返流、二尖瓣狭窄、二尖瓣返流、三尖瓣返流结果。
在执行步骤S203时,可以使用多任务学习的方法训练卷积神经网络,该卷积神经网络在主动脉瓣听诊区、二尖瓣听诊区和三尖瓣听诊区三个听诊区的异常分析过程中共享隐含层,使用不同的输出层。
具体地,将每段心音时频谱作为声学特征输入到卷积神经网络中,以每段心音对应受试者的超声心动图诊断的正常或异常结果为输出,训练该卷积神经网络,该卷积神经网络根据输入的声学特征将每段心音的第一阶段的分析结果在对应听诊区的输出层输出;得到训练好的卷积神经网络。作为输入的声学特征中需加入每段心音的听诊区的标识,使卷积神经网络能够知晓每段心音对应听诊区,从而在对应听诊区的输出层输出分析结果。
在执行步骤S204时,需要统计训练集中主动脉瓣听诊区和二尖瓣听诊区采集的心音中每个心动周期已标注的各个状态的时长和各个状态时长的概率分布。在本申请实施例中,统计心音中每个心动周期的S1、收缩间期、S2和舒张间期的时长,使用单高斯模型拟合S1时长、收缩间期时长和S2时长的概率分布,使用高斯混合模型拟合舒张间期时长的概率分布。然后,提取训练集中主动脉瓣听诊区和二尖瓣听诊区采集的心音的希尔伯特包络、同态包络、小波包络和功率谱密度谱为输入,以基于心电对心音信号上标注的各个状态为输出,以单高斯模型和高斯混合模型拟合的时长的概率分布为参数,分别训练主动脉瓣听诊区和二尖瓣听诊区的逻辑回归隐半马尔可夫模型,得到训练好的逻辑回归隐半马尔可夫模型。
具体地提取希尔伯特包络、同态包络、小波包络和功率谱密度谱详细步骤如下:
(1)提取希尔伯特包络:先对心音进行Hilbert变换:
Figure BDA0002626030240000091
其中x(τ)为待变换心音信号在τ时刻的值。然后根据Hilbert变换结果求心音信号Hilbert包络a(t):
Figure BDA0002626030240000092
(2)提取同态包络:对Hilbert包络取对数,将取对数后的数据进行低通滤波,再取指数,即可得到同态包络。本申请实施例采用一阶巴特沃斯滤波器,滤波器截止频率为6Hz。
(3)提取小波包络:本申请实施例使用sym4小波对心音进行三层分解,并将分解后的近似分量和细节分量作为心音小波包络特征。
(4)提取功率谱密度包络:S1状态和S2状态的主要能量分布在150Hz以下,能量峰值在50Hz左右。因此本申请实施例对心音进行短时傅里叶变换,计算35Hz到65Hz频率范围内的平均功率谱密度作为功率谱密度包络。计算时采用hamming窗,窗长度为0.05s,帧移为50%。对每一段心音的特征都独立地进行归一化,即将特征减去平均值后除以标准差。在归一化完成后,将特征向量的采样频率减采样至50Hz以加快运算速度。
以δt(j)表示逻辑回归隐半马尔可夫模型在t时刻处于j状态的最大概率:
Figure BDA0002626030240000093
其中1≤i,j≤N,1≤t≤T,1≤d≤dmax。d表示模型在某一状态的时长,dmax为设定的在某一状态停留的最大时长,startt和endt分别为模型求解的开始和结束时间,aij为由状态i跳转至状态j的概率,pj(d)为模型在j状态停留时长为d的概率,bj(Os)为j状态下输出特征为Os的概率,可以表示为:
Figure BDA0002626030240000101
其中P[qt=ξj|Os]表示输出特征向量为Os时状态为j的概率:
Figure BDA0002626030240000102
其中w′为输出特征向量中每个值所占权重的转置。训练逻辑回归隐半马尔科夫模型时,使得δt(j)最大的t时刻的j存储在Ψt(j),d存储在Dt(j)中:
Figure BDA0002626030240000103
Figure BDA0002626030240000104
在执行步骤S205时,可以根据心动周期的标注的各个状态,计算心动周期的标注的各个状态的能量特征,对主动脉瓣听诊区和二尖瓣听诊区分别训练支持向量机。在本申请的实施例中,可以计算S1、收缩间期、S2和舒张间期的心音能量比例,以及心音收缩间期和舒张间期的低频/高频能量比例,将上述各状态能量比例和心音收缩间期和舒张间期的低频/高频能量比例作为能量特征输入,训练支持向量机。对于主动脉瓣听诊区,支持向量机的目标输出为主动脉瓣狭窄和主动脉瓣返流两类。对于二尖瓣听诊区,支持向量机的目标输出为二尖瓣狭窄和二尖瓣返流两类。得到训练好的支持向量机。
进一步地,在本申请的一个实施方式中,在每个心音段中选取整数个心动周期,利用S204得到的分割结果,计算整数个心动周期中S1、收缩间期、S2和舒张间期四个状态的心音能量,将不同心动周期中同一个状态的能量叠加,得到该心音段中每个状态能量之和,共4个数,然后分别计算四个状态的能量占总能量的比例,得到4个能量特征。对心音进行低通和高通滤波,滤波器为8阶巴特沃斯滤波器,截止频率为80Hz。计算收缩间期和舒张间期的心音低频和高频的能量比,得到2个能量特征。以此6个能量特征为输入支持向量机,训练时以超声心动图诊断的异常结果为输出,异常结果包括主动脉瓣异常和二尖瓣异常。输出结果中主动脉瓣听诊区采集的异常的心音被分为两类:主动脉瓣狭窄和/或主动脉瓣返流,二尖瓣听诊区采集的异常心音也被分为两类:二尖瓣狭窄和/或二尖瓣返流。
本申请实施例提供的基于卷积神经网络的心脏瓣膜异常分析方法在对于心脏瓣膜异常分析模型的实际应用过程中,S301,将采集到的心音分段,计算每一段心音的时频谱;S302,将每一段心音的时频谱输入卷积神经网络中,输出所述心音正常或异常的第一结果;S303,将第一结果为异常的心音的包络谱特征和功率谱特征输入训练好的逻辑回归隐半马尔可夫模型进行分割,输出为心音的每个心动周期中各帧所属的状态,共有K个状态,K为自然数;S304,提取所述心音的每个状态的能量特征;S305,将所述能量特征输入训练好的支持向量机中,得到主动脉瓣狭窄和/或主动脉瓣返流、二尖瓣狭窄和/或二尖瓣返流的分析结果。
在执行步骤S301时,可以使用电子听诊器采集主动脉瓣听诊区、二尖瓣听诊区和三尖瓣听诊区的心音。进一步地,可以使用自行研发的电子听诊器采集主动脉瓣听诊区、二尖瓣听诊区和三尖瓣听诊区的心音,采样率为1kHz。
不同听诊区的心音按照设置的时长分段,并将切分后的每段心音进行短时傅里叶变换得到每段心音的时频谱;
具体地,可以将所有采集到的心音按设置的每段时长为3.424s切分。对切分后的每段心音进行短时傅里叶变换,变换时采用hamming窗,帧长为256,帧移为32。其中,每段时长选为3.424s的原因如下:每一次输入卷积神经网络的时频谱频率轴长度为128,帧数为100,即尺寸为128×100;结合帧长和帧移,可得输入卷积神经网络的时频谱需要数据点数为256+32×99=3424。由于心音采样率为1kHz,3424个点时长为3.424s。
在执行步骤S302时,将每段心音时频谱作为声学特征,加入每段心音的听诊区的标识,共同输入到卷积神经网络中,使卷积神经网络能够获得每段心音对应听诊区信息,从而在对应听诊区的输出层输出所述心音为正常或异常的第一结果。
在执行步骤S303时,对第一结果为异常的主动脉瓣听诊区和二尖瓣听诊区采集的心音提取希尔伯特包络、同态包络、小波包络和功率谱密度谱,具体地提取希尔伯特包络、同态包络、小波包络和功率谱密度谱详细步骤如前述。将希尔伯特包络、同态包络、小波包络和功率谱密度谱输入训练好的逻辑回归隐半马尔可夫模型进行分割,输出为心音的每个心动周期中各帧所属状态的标记,共有K个状态,K为自然数。在本申请实施例中,输出为心音中每个心动周期各帧所属的状态,包括S1、收缩间期、S2和舒张间期4个状态之一。
在执行步骤S304时,在每个心音段中选取整数个心动周期,利用S303得到的分割结果,计算整数个心动周期中S1、收缩间期、S2和舒张间期四个状态的心音能量,将不同心动周期中同一个状态的能量叠加,得到该心音段中每个状态能量之和,共4个能量,然后分别计算4个状态的能量占总能量的比例,得到4个能量特征。对心音进行低通和高通滤波,滤波器为8阶巴特沃斯滤波器,滤波器截止频率为80Hz,得到心音的低频信号和高频信号。计算收缩间期和舒张间期的心音低频和高频的能量比,得到2个能量特征。将上述6个能量特征作为支持向量机的输入变量。
在执行步骤S305时,将上述6个能量特征输入训练好的支持向量机,输出异常分析结果,结果中主动脉瓣听诊区采集的异常的心音为主动脉瓣狭窄和/或主动脉瓣返流,二尖瓣听诊区采集的异常心音为二尖瓣狭窄和/或二尖瓣返流。
第二方面,本申请实施例提供一种基于卷积神经网络的心脏瓣膜异常分析系统,包括:心音采集模块、第一分析模块、心音分割模块、特征提取模块和第二分析模块。
心音采集模块将采集到的心音分段,计算每一段心音的时频谱;第一分析模块将所述每一段心音的时频谱输入卷积神经网络中,输出所述心音正常或异常的第一结果;心音分割模块提取所述第一结果为异常的主动脉瓣听诊区和二尖瓣听诊区采集的心音的包络谱和功率谱特征输入逻辑回归隐半马尔可夫模型进行分割,输出为所述心音的心动周期中各帧所属状态的标记。共有K个状态,K为自然数;特征提取模块提取所述心音的每个状态的能量特征;第二分析模块将所述能量特征输入支持向量机中,得到主动脉瓣狭窄和/或主动脉瓣返流、二尖瓣狭窄和/或二尖瓣返流的分析结果。
在第三方面,本申请实施例还提供一种电子装置,包括存储器和处理器;所述处理器用于执行所述存储器所存储的计算机执行指令,所述处理器运行所述计算机执行指令时执行上述任意实施例提出的基于卷积神经网络的心脏瓣膜异常分析方法。
在第四方面,本申请实施例还提供一种存储介质,包括可读存储介质和存储在所述可读存储介质中的计算机程序,所述计算机程序用于实现上述任意实施例提出的基于卷积神经网络的心脏瓣膜异常分析方法。
本申请实施例对不同听诊区采集到的心音进行两阶段分析,得到分析结果。对三个听诊区采集的心音,第一阶段分析仅进行二分类,分类结果为正常或异常。然后对被分类为异常的主动脉瓣听诊区和二尖瓣听诊区采集的心音分别分割,再进行第二阶段分析,得到主动脉瓣狭窄和/或主动脉瓣返流、二尖瓣狭窄和/或二尖瓣返流的分析结果。这一方法的优点在于能够提高准确率,降低误诊风险。即使第二阶段对具体异常的分析出现错误,只要第一阶段分析能够分析出异常,即可提醒用户赴医院进行进一步检查。因此在模型训练时,需要尽可能地提高第一阶段的分类准确率。
本领域普通技术人员应该还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执轨道的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式,对本申请的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本申请的具体实施方式而已,并不用于限定本申请的保护范围,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于卷积神经网络的心脏瓣膜异常分析方法,其特征在于,包括:
将采集到的心音分段,计算每一段心音的时频谱;
将所述每一段心音的时频谱输入卷积神经网络中,输出所述心音正常或异常的第一结果;
提取所述第一结果为异常的心音的包络谱特征和功率谱特征输入逻辑回归隐半马尔可夫模型进行分割,输出为所述心音的每个心动周期中各帧所属的状态,共有K个状态,K为自然数;
提取所述心音的每个状态的能量特征;
将所述能量特征输入支持向量机中,得到主动脉瓣狭窄和/或主动脉瓣返流,二尖瓣狭窄和/或二尖瓣返流的分析结果。
2.根据权利要求1所述的方法,其特征在于,所述将采集到的心音分段,计算每一段心音的时频谱,包括:
采集主动脉瓣听诊区心音、二尖瓣听诊区心音和三尖瓣听诊区心音;
将采集到的所有心音根据设置的时长分段;
对每段心音进行短时傅里叶变换,获得所述每段心音的时频谱。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:训练所述卷积神经网络的步骤,包括:
将训练集中不同听诊区的心音分段,计算每一段心音的时频谱;
依据超声心动图检查报告,将所述不同听诊区的心音标注为正常或异常;
以所述每段心音时频谱为输入;
其中所述卷积神经网络根据心音的不同听诊区划分对应的不同输出层;每个所述输出层包括n层全连接层和1层softmax层,各输出层共享隐含层,所述隐含层包括m层卷积层,每层所述卷积层下为池化层;n,m为小于10的自然数;
以每段心音对应的超声心动图标注的正常或异常结果为输出,训练所述卷积神经网络,获得训练好的卷积神经网络。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括训练逻辑回归隐半马尔可夫模型的步骤,包括:
根据心电信号将主动脉瓣听诊区和二尖瓣听诊区采集的心音分别分割为K个状态,统计训练集中心音的K个状态中每个状态的时长;
使用单高斯模型和/或高斯混合模型拟合每个状态时长的概率分布;
以训练集心音的包络谱特征和功率谱特征为输入,以所述心音所标注的K个状态为输出,以所述每个状态时长的概率分布为参数,训练逻辑回归隐半马尔可夫模型,得到训练好的逻辑回归隐半马尔可夫模型。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括训练支持向量机,包括:
在训练集中,提取主动脉瓣听诊区和二尖瓣听诊区采集的心音每个状态的能量特征;
将所述能量特征输入支持向量机,对于主动脉瓣听诊区,以主动脉瓣狭窄和主动脉瓣返流为输出,对于二尖瓣听诊区,以二尖瓣狭窄和二尖瓣返流为输出,训练支持向量机;得到训练好的支持向量机。
6.根据权利要求1或4所述的方法,其特征在于,所述包络谱特征包括同态包络、希尔伯特包络和小波包络;所述功率谱特征包括功率谱密度谱。
7.根据权利要求1或5所述的方法,其特征在于,所述提取心音的每个状态的能量特征,包括:
在每段心音中选取整数个心动周期;
计算所述整数个心动周期中所有状态的心音总能量;
将不同心动周期中同一个状态的能量叠加,得到心音中每个状态的能量;
计算所述每个状态的能量占所述心音总能量的比例值;
计算所述心音的低频与高频的能量比值;
提取所述心音中每个状态的能量占总能量的比例值和所述低频与高频的能量比值作为能量特征。
8.一种基于卷积神经网络的心脏瓣膜异常分析系统,其特征在于,包括:
心音采集模块,用于将采集到的心音分段,计算每一段心音的时频谱;
第一分析模块,用于将所述每一段心音的时频谱输入卷积神经网络中,输出所述心音正常或异常的第一结果;
心音分割模块,用于提取所述第一结果为异常的主动脉瓣听诊区和二尖瓣听诊区采集的心音的包络谱和功率谱特征输入逻辑回归隐半马尔可夫模型进行分割,输出为所述心音的心动周期中各帧所属的状态,共有K个状态,K为自然数;
特征提取模块,用于提取所述心音的每个状态的能量特征;和
第二分析模块,用于将所述能量特征输入支持向量机中,得到主动脉瓣狭窄和/或主动脉瓣返流、二尖瓣狭窄和/或二尖瓣返流的分析结果。
9.一种电子装置,其特征在于,包括存储器和处理器;所述处理器用于执行所述存储器所存储的计算机执行指令,所述处理器运行所述计算机执行指令执行权利要求1-7任意一项所述的基于卷积神经网络的心脏瓣膜异常分析方法。
10.一种存储介质,其特征在于,包括可读存储介质和存储在所述可读存储介质中的计算机程序,所述计算机程序用于实现权利要求1-7任意一项所述的基于卷积神经网络的心脏瓣膜异常分析方法。
CN202010797058.9A 2020-08-10 2020-08-10 基于卷积神经网络的心脏瓣膜异常分析方法、系统和装置 Active CN111759345B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010797058.9A CN111759345B (zh) 2020-08-10 2020-08-10 基于卷积神经网络的心脏瓣膜异常分析方法、系统和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010797058.9A CN111759345B (zh) 2020-08-10 2020-08-10 基于卷积神经网络的心脏瓣膜异常分析方法、系统和装置

Publications (2)

Publication Number Publication Date
CN111759345A true CN111759345A (zh) 2020-10-13
CN111759345B CN111759345B (zh) 2023-01-20

Family

ID=72729600

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010797058.9A Active CN111759345B (zh) 2020-08-10 2020-08-10 基于卷积神经网络的心脏瓣膜异常分析方法、系统和装置

Country Status (1)

Country Link
CN (1) CN111759345B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110085108A (zh) * 2019-03-08 2019-08-02 台州学院 一种心电信号仿真系统
CN112971839A (zh) * 2021-02-05 2021-06-18 云南大学 一种基于前馈卷积神经网络的心音分类方法
CN113345471A (zh) * 2021-08-02 2021-09-03 深圳市医友天下科技有限公司 基于人工智能心音识别方法、终端和可读存储介质
CN113768532A (zh) * 2021-08-20 2021-12-10 中北大学 基于五路心音信号分类算法的健康检测方法及系统
CN116108345A (zh) * 2023-01-29 2023-05-12 湖南理工学院 一种基于参数估计的第二心音宽分裂检测方法
WO2024068631A1 (en) * 2022-09-28 2024-04-04 Boehringer Ingelheim Vetmedica Gmbh Apparatus and method for classifying an audio signal

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102283670A (zh) * 2011-07-08 2011-12-21 西华大学 一种心音信号量化分析方法及装置
CN103479383A (zh) * 2013-09-25 2014-01-01 清华大学 心音信号分析的方法及装置和具有其的智能心脏听诊器
CN107529645A (zh) * 2017-06-29 2018-01-02 重庆邮电大学 一种基于深度学习的心音智能诊断系统及方法
CN107798350A (zh) * 2017-11-08 2018-03-13 华南师范大学 一种心肺音信号识别方法和系统
CN110353725A (zh) * 2019-07-10 2019-10-22 东南大学 一种基于云架构的心音采集与分析系统及方法
CN110558944A (zh) * 2019-09-09 2019-12-13 成都智能迭迦科技合伙企业(有限合伙) 心音处理方法、装置、电子设备及计算机可读存储介质
CN110755108A (zh) * 2019-11-04 2020-02-07 合肥望闻健康科技有限公司 一种基于智能听诊器的心脏声音分类方法、系统、装置及可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102283670A (zh) * 2011-07-08 2011-12-21 西华大学 一种心音信号量化分析方法及装置
CN103479383A (zh) * 2013-09-25 2014-01-01 清华大学 心音信号分析的方法及装置和具有其的智能心脏听诊器
CN107529645A (zh) * 2017-06-29 2018-01-02 重庆邮电大学 一种基于深度学习的心音智能诊断系统及方法
CN107798350A (zh) * 2017-11-08 2018-03-13 华南师范大学 一种心肺音信号识别方法和系统
CN110353725A (zh) * 2019-07-10 2019-10-22 东南大学 一种基于云架构的心音采集与分析系统及方法
CN110558944A (zh) * 2019-09-09 2019-12-13 成都智能迭迦科技合伙企业(有限合伙) 心音处理方法、装置、电子设备及计算机可读存储介质
CN110755108A (zh) * 2019-11-04 2020-02-07 合肥望闻健康科技有限公司 一种基于智能听诊器的心脏声音分类方法、系统、装置及可读存储介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110085108A (zh) * 2019-03-08 2019-08-02 台州学院 一种心电信号仿真系统
CN110085108B (zh) * 2019-03-08 2021-10-29 台州学院 一种心电信号仿真系统
CN112971839A (zh) * 2021-02-05 2021-06-18 云南大学 一种基于前馈卷积神经网络的心音分类方法
CN113345471A (zh) * 2021-08-02 2021-09-03 深圳市医友天下科技有限公司 基于人工智能心音识别方法、终端和可读存储介质
CN113768532A (zh) * 2021-08-20 2021-12-10 中北大学 基于五路心音信号分类算法的健康检测方法及系统
WO2024068631A1 (en) * 2022-09-28 2024-04-04 Boehringer Ingelheim Vetmedica Gmbh Apparatus and method for classifying an audio signal
CN116108345A (zh) * 2023-01-29 2023-05-12 湖南理工学院 一种基于参数估计的第二心音宽分裂检测方法
CN116108345B (zh) * 2023-01-29 2023-08-22 湖南理工学院 一种基于参数估计的第二心音宽分裂检测方法

Also Published As

Publication number Publication date
CN111759345B (zh) 2023-01-20

Similar Documents

Publication Publication Date Title
CN111759345B (zh) 基于卷积神经网络的心脏瓣膜异常分析方法、系统和装置
CN109961017A (zh) 一种基于卷积循环神经网络的心音信号分类方法
CN111990989A (zh) 一种基于生成对抗及卷积循环网络的心电信号识别方法
CN111134662B (zh) 一种基于迁移学习和置信度选择的心电异常信号识别方法及装置
CN111772619B (zh) 一种基于深度学习的心搏识别方法、终端设备及存储介质
Wu et al. A novel method for classification of ECG arrhythmias using deep belief networks
CN106251880A (zh) 识别生理声音的方法以及系统
CN110619322A (zh) 一种基于多流态卷积循环神经网络的多导联心电异常信号识别方法及系统
CN109864714A (zh) 一种基于深度学习的心电信号分析方法
CN111626114A (zh) 基于卷积神经网络的心电信号心律失常分类系统
Singh et al. Short unsegmented PCG classification based on ensemble classifier
CN109805924A (zh) 基于cnn的心电信号处理方法及心律不齐检测系统
CN113349793A (zh) 一种基于分层注意力模型的心律失常分类方法
CN113116300A (zh) 一种基于模型融合的生理信号分类方法
CN113076878A (zh) 基于注意力机制卷积网络结构的体质辨识方法
Chen et al. Edge2Analysis: a novel AIoT platform for atrial fibrillation recognition and detection
JP2023104885A (ja) グラフ畳み込みに基づく心電図心拍数マルチタイプの予測方法
Arvanaghi et al. Classification cardiac beats using arterial blood pressure signal based on discrete wavelet transform and deep convolutional neural network
CN115878966A (zh) 基于对抗生成网络的心音数据增强方法及系统
CN115089139A (zh) 结合生物特征识别的个性化生理参数测量方法
Chourasia et al. ECG heartbeat classification using CNN
Fan et al. Le-lwtnet: A learnable lifting wavelet convolutional neural network for heart sound abnormality detection
CN110897634A (zh) 一种基于生成对抗网络的心电信号生成方法
CN111938691B (zh) 一种基础心音识别方法及设备
CN116864140A (zh) 一种心内科术后护理监测数据处理方法及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240502

Address after: Floor 1, DSP Building, No. 21, North Fourth Ring West Road, Haidian District, Beijing, 100190

Patentee after: BEIJING KEXIN TECHNOLOGY Co.,Ltd.

Country or region after: China

Patentee after: INSTITUTE OF ACOUSTICS, CHINESE ACADEMY OF SCIENCES

Address before: Floor 1, DSP Building, No. 21, North Fourth Ring West Road, Haidian District, Beijing, 100190

Patentee before: BEIJING KEXIN TECHNOLOGY Co.,Ltd.

Country or region before: China