CN113345471B - 基于人工智能心音识别方法、终端和可读存储介质 - Google Patents

基于人工智能心音识别方法、终端和可读存储介质 Download PDF

Info

Publication number
CN113345471B
CN113345471B CN202110878593.1A CN202110878593A CN113345471B CN 113345471 B CN113345471 B CN 113345471B CN 202110878593 A CN202110878593 A CN 202110878593A CN 113345471 B CN113345471 B CN 113345471B
Authority
CN
China
Prior art keywords
time
signal
heart sound
frequency spectrum
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110878593.1A
Other languages
English (en)
Other versions
CN113345471A (zh
Inventor
蒲文强
余琪
李哲
张纵辉
万翔
史清江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yiyoutianxia Technology Co ltd
Original Assignee
Shenzhen Yiyoutianxia Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yiyoutianxia Technology Co ltd filed Critical Shenzhen Yiyoutianxia Technology Co ltd
Priority to CN202110878593.1A priority Critical patent/CN113345471B/zh
Publication of CN113345471A publication Critical patent/CN113345471A/zh
Application granted granted Critical
Publication of CN113345471B publication Critical patent/CN113345471B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/66—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00—Instruments for auscultation
    • A61B7/02—Stethoscopes
    • A61B7/04—Electric stethoscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks

Abstract

本发明公开一种基于人工智能心音识别方法、终端和可读存储介质，方法包括：基于预处理后的心音信号提取所述心音信号的时域信号包络；根据所述心音信号获取对应的第一时频谱联合信号，以及根据所述时域信号包络获取对应的第二时频谱联合信号；将所述第一时频谱联合信号和所述第二时频谱联合信号输入分类模型中，并获取所述分类模型的输出结果，其中，所述输出结果包括正常或异常，所述分类模型为长短期记忆模型。本发明心音识别方法的准确率更高，且识别速度快。

Description

基于人工智能心音识别方法、终端和可读存储介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于人工智能心音识别方法、终端、可读存储介质以及实现云服务的计算机程序产品。
背景技术
传统心音听诊需要经验丰富的医生进行反复地听诊检查，从心脏杂音的时间、强度和频率来确定心肌收缩、舒张等及基本病变情况。基于人耳的心音信号听诊无法完成心音信号的定量分析，难以确定心音信号的各频率成分，无法完整地提取心音信号中的生理及病理信息。另一方面，随着医用电子听诊器的大量推广使用以及信号采集设备的精密化，临床心音数据的采集、存储、预处理变得更加便捷。
目前，对心音信号的研究主要集中在心音采集、传输和预处理等功能上，通过人工观察预处理后的心音信号来识别心音信号是否正常。这种识别方式存在主观判断，准确率低。
需要说明的是，上述内容仅用于辅助理解本发明所解决的技术问题，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种基于人工智能心音识别方法、终端、可读存储介质以及实现云服务的计算机程序产品，旨在使得心音的分析和识别准确率更高，识别效率快。
为实现上述目的，本发明提供一种基于人工智能心音识别方法，所述基于人工智能心音识别方法包括：
基于预处理后的心音信号提取所述心音信号的时域信号包络；
根据所述心音信号获取对应的第一时频谱联合信号，以及根据所述时域信号包络获取对应的第二时频谱联合信号；
将所述第一时频谱联合信号和所述第二时频谱联合信号输入分类模型，并获取所述分类模型的输出结果，其中，所述输出结果包括正常或异常，所述分类模型为长短期记忆模型。
在一实施例中，所述根据心音信号获取对应的第一时频谱联合信号的步骤包括：
采用短时傅里叶变换将每帧心音信号转换成对应的频域信号；
根据每帧所述频域信号的时域信息和所述频域信号形成所述第一时频谱联合信号。
在一实施例中，根据所述时域信号包络获取对应的第二时频谱联合信号：
采用短时傅里叶变换将每帧时域信号包络转换成对应的频域信号；
根据每帧所述频域信号的时域信息和所述频域信号形成所述第二时频谱联合信号。
在一实施例中，所述短时傅里叶变换设置为：
Figure 414674DEST_PATH_IMAGE001
；
其中，所述h（t）为窗函数，m为帧数，T为滑窗长度。
在一实施例中，所述基于预处理后的心音信号提取所述心音信号的时域信号包络的步骤包括：
基于
Figure 546578DEST_PATH_IMAGE002
提取预处理后的所述心音信号中的时频信号包络；
其中，
Figure DEST_PATH_IMAGE003
为所述心音信号；
Figure 275500DEST_PATH_IMAGE004
为所述心音信号的希尔伯特变换；
Figure DEST_PATH_IMAGE005
为所述时域信号包络。
在一实施例中，所述基于预处理后的心音信号提取所述心音信号的时域信号包络的步骤之前，还包括：
采集初始心音信号，并分割所述初始心音信号，以获得至少两段心音信号；
采用傅里叶变换将每段所述心音信号转换成对应的频域信号；
通过巴特沃斯滤波器过滤第一频率范围之外的频域信号以及采用逆傅里叶变换将过滤后的频域信号转换为时域信号，以获得预处理后的心音信号。
在一实施例中，所述将所述第一时频谱联合信号和所述第二时频谱联合信号输入分类模型，并获取所述分类模型的输出结果的步骤包括：
在所述第一时频谱联合信号和第二时频谱联合信号中获取第二频率范围内的目标第一时频谱联合信号和目标第二时频谱联合信号；
将所述目标第一时频谱联合信号和所述目标第二时频谱联合信号输入所述分类模型，以获取所述分类模型的输出结果。
在一实施例中，所述分类模型包括：
输入层，所述输入层用于输入所述第一时频谱联合信号和所述第二时频谱联合信号；
长短期记忆网络层，所述长短期记忆网络层与所述输入层连接，用于记忆所述第一时频谱联合信号和所述第二时频谱联合信号的长短时特征；
全连接网络层，所述全连接网络层与所述长短期记忆网络层连接，用于对所述长短期记忆网络层所记忆的长短时特征进行分类提取；以及
分类网络层，所述分类网络层与所述全连接网络层连接，用于根据所述全连接网络层提取的特征进行分类，并输出分类结果。
本发明是提供一种终端，所述终端包括存储器、处理器以及存储在所述存储器并可在所述处理器上运行的识别程序，所述识别程序被所述处理器执行时实现如上所述的基于人工智能心音识别方法的各个步骤。
本发明还提供一种存储介质，所述存储介质存储有识别程序，所述识别程序被处理器执行时实现如上所述的基于人工智能心音识别方法的各个步骤。
本发明还提供一种实现云服务的计算机程序产品，所述计算机程序产品被云端服务器执行时实现如上所述的基于人工智能心音识别方法的步骤。
本发明提供的基于人工智能心音识别方法、终端和可读存储介质，本实施例通过所述心音信号获取对应的第一时频谱联合信号，通过所述时域信号包络获取对应的第二时频谱联合信号；然后将获得的第一时频谱联合信号和第二时频谱联合信号作为预设的训练好的长短期记忆神经网络模型的输出参数，所述长短期记忆神经网络模型基于所述第一时频谱联合信号和第二时频谱联合信息进行分析和识别后，输出识别分类结果，基于分类结果可以确定该心音信号是否正常。由于时频谱联合信号能够等价表示心音信号的原始音频，因此得到的时频谱联合信息相对于采集到的初始心音信号，没有信息损失。结合从快时间和慢时间至少两个维度（第一时频谱联合信号和第二时频谱联合信号）来识别心音信号，使得心音信号识别的准确度更高，识别效率更快。
附图说明
图1为本发明实施例涉及的终端的硬件构架示意图；
图2为本发明实施例涉及的云端服务器的交互示意图；
图3为本发明基于人工智能心音识别方法第一实施例的流程示意图；
图4为本发明基于人工智能心音识别方法的时域信号提取的时域信号包络的示意图；
图5为本发明基于人工智能心音识别方法提取的正常心音信号的示意图；
图6为本发明基于人工智能心音识别方法提取的异常心音信号的示意图；
图7为时频谱联合信号的示意图；
图8为本发明基于人工智能心音识别方法对长短期记忆神经网络模型进行训练的结果示意图；
图9为本发明基于人工智能心音识别方法第二实施例的流程示意图；
图10为巴特沃斯滤波器响应函数的示意图；
图11为本发明基于人工智能心音识别方法所采用的分类模型的架构示意图；
图12为本发明基于人工智能心音识别方法的示意图；
图13为本发明基于人工智能心音识别方法涉及的内部架构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
现代社会生活中激烈的工作竞争和日益加速的生活节奏，导致心血管类疾病的发病率和死亡率逐年增高。据不完全统计，我国约2.9亿人口患有不同程度的心血管疾病，其已逐渐成为重大疾病隐患之一。
心音信号是心脏和心血管系统生理过程的综合体现，是人体最重要的生理信号之一。其包含关于心脏各个部位的收缩强度、周期等生理特性，包含了心脏各个部分本身及相互之间作用的生理和病理信息。
听诊器等设备可以无创伤地采集心音信号，其刻画了由心肌收缩和舒张、心脏各个膜瓣的关闭与启动、血管内血流流经各处的压力等产生的力学振动。
相较于心电图、颈动脉搏动图等，通过心音信号的听诊具有采集方便、重复性好、低花费、便携式等方面优势。作为一种无创伤诊断手段，心音信号已经成为心脏相关疾病临床诊断的一个重要评判标准。
精细化的心音诊断方法对心血管类疾病的筛查、诊断具有重要意义和研究价值。基于心音信号的智能分析和识别诊断难以达到较高的准确率，现对心音信号的研究主要集中在心音采集、传输和预处理等功能上，对心音信号预处理后，一般通过医生观察预处理后的心音信号来识别心音信号是否正常。
基于此，本发明实施例提出一种基于人工智能心音识别方法，基于预处理后的心音信号提取所述心音信号的时域信号包络；根据所述心音信号获取对应的第一时频谱联合信号，以及根据所述时域信号包络获取对应的第二时频谱联合信号；将所述第一时频谱联合信号和所述第二时频谱联合信号输入分类模型，并获取所述分类模型的输出结果，其中，所述输出结果包括正常或异常，所述分类模型为长短期记忆模型。通过时频谱联合信号的特征来识别所述心音信号是否异常，基于时频谱联合信号包括多维度特征，且时频谱联合信号在转换过程中不存在信息损失，使得处理后的信息准确度高，如此，在识别心音信号时，识别的准确度提高，基于此，相对于人工观察识别的方式，还能够提高识别速度。
为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
作为一种实现方式，所述基于人工智能心音识别方法涉及的硬件环境架构可以如图1所示。
具体地，基于人工智能心音识别方法涉及的硬件架构的终端，可以是心音检测设备，如听诊器；也可以是与心音检测设备通信的心音识别终端系统。或者，所述终端还可以是与心音检测设备通信的服务器，如云端服务器，所述云端服务器接收心音检测设备传输的心音信号后，对心音信号进行处理，进而向所述心音检测设备反馈分类结果。或者，所述终端包括云端服务器以及所述云端服务器的硬件终端设备，所述云端服务器接收心音检测设备传输的心音信号，基于所述硬件终端设备对所述心音信号进行处理，然后基于所述云端服务器向听诊器或心音检测设备反馈分类结果。
作为一种实现方式，所述终端为心音检测设备，或者心音识别终端系统时，所述终端包括：处理器101，例如CPU，存储器102，通信总线103。其中，通信总线103用于实现这些组件之间的连接通信。所述处理器102用于调用应用程序来执行识别过程。
存储器102可以是高速RAM存储器，也可以是稳定的存储器（non-volatilememory），例如磁盘存储器。
作为另一种实现方法，请参照图2，所述终端为云端服务器104时，所述终端具有存储、计算、维护和保护数据功能。云端服务器104与心音采集设备105连接，云端服务器104接收到心音信号后，执行识别程序来执行心音信号的识别过程。
可选地，所述云端服务器104可与一个或多个所述心音采集设备105连接，所述云端服务器104还可以基于多个心音采集设备105采集的数据来优化或修正分类模型。
可以理解的是，在一实施例中，实现心音识别过程的识别程序存储在所述终端的存储器102中或者云端服务器中，处理器101从所述存储器102中调用识别程序时，或者云端服务器运行所述识别程序时，执行以下操作：
基于预处理后的心音信号提取所述心音信号的时域信号包络；
根据所述心音信号获取对应的第一时频谱联合信号，以及根据所述时域信号包络获取对应的第二时频谱联合信号；
将所述第一时频谱联合信号和所述第二时频谱联合信号输入分类模型，并获取所述分类模型的输出结果，其中，所述输出结果包括正常或异常，所述分类模型为长短期记忆模型。
可选地，在另一实施例中，实现所述心音识别过程的识别程序存储在计算机可读的存储介质中，将所述存储介质应用到计算机上时，所述计算机的处理器101可以从所述存储介质中调用所述识别程序，执行以下操作：
基于预处理后的心音信号提取所述心音信号的时域信号包络；
根据所述心音信号获取对应的第一时频谱联合信号，以及根据所述时域信号包络获取对应的第二时频谱联合信号；
将所述第一时频谱联合信号和所述第二时频谱联合信号输入分类模型，并获取所述分类模型的输出结果，其中，所述输出结果包括正常或异常，所述分类模型为长短期记忆模型。
基于上述终端的硬件构架，提出本发明基于人工智能心音识别方法的各个实施例。
第一实施例中，请参照图3，本实施例提出的基于人工智能心音识别方法包括以下步骤：
步骤S10，基于预处理后的心音信号提取所述心音信号的时域信号包络。
步骤S20，根据所述心音信号获取对应的第一时频谱联合信号，以及根据所述时域信号包络获取对应的第二时频谱联合信号；
步骤S30，将所述第一时频谱联合信号和所述第二时频谱联合信号输入分类模型，并获取所述分类模型的输出结果，其中，所述输出结果包括正常或异常，所述分类模型为长短期记忆模型。
本实施例中，基于预处理后的心音信号是在时域上的信号，也即所述心音信号为时域信号。心音采集设备采集到心音信号后，发送至本实施例识别方法涉及的终端，终端对所述心音信号进行预处理后，获得所述预处理后的心音信号。
可选地，所述心音信号的预处理包括心音信号分割、心音信号过滤以及心音信号重采样中的至少一种。对所采集的心音信号进行预处理后，可以减少杂音对心音信号识别的影响。
可选地，心音采集设备采集到心音信号可以为时频信号，也可以为音频信号，若所述心音信号为音频信号，则将所述音频信号转换为时频信号，以对基于时频信号来提取时频信号包络。
所述心音信号预处理后，基于预处理后的心音信号提取时域信号包络，以便于基于时域信号包络转换成第二时频域联合信号。可选地，本实施例中，时域信号包络的提取方式包括但不限于以下方式：
如基于
Figure 416631DEST_PATH_IMAGE006
提取预处理后的所述心音信号中的时频信号包络；
其中，
Figure 914608DEST_PATH_IMAGE007
为所述心音信号；
Figure 686255DEST_PATH_IMAGE008
为所述心音信号的希尔伯特变换；
Figure 221183DEST_PATH_IMAGE005
为所述时域信号包络，如图4所示。
可选地，本实施例采用希尔伯特变换提取所述心音信号的时域信号包络。
提取所述心音信号的时域信号包络后，根据所述心音信号包络提取所述心音信号包括对应的第二时频谱联合信号。
可选地，结合参照图5、图6和图7，图5示出正常心音信号对应的时频谱联合信号和时域信号包络对应的时频谱联合信号；图6示出异常心音信号对应的时频谱联合信号和时域信号包络对应的时频谱联合信号；图7示出时频谱信号。
所述根据所述时域信号包络获取对应的第二时频谱联合信号的步骤包括：
采用短时傅里叶变换将每帧时域信号包络转换成对应的频域信号；
根据每帧所述频域信号的时域信息和所述频域信号形成所述第二时频谱联合信号。
本实施例中，在第二时频谱联合信号提取过程中，先将每段所述时域信号包络分割成多帧信号包络。其中，所述信号包络分割时，相邻两帧信号包络之间包括重复部分。如设定每帧包括样本数M，相邻两帧之间N%重合。如一个具体实时方式，设定每帧样本数为256，每帧之间50%重合，如当前帧信号的前128样本数与前一帧信号的后128样本数重合，当前帧信号的后128样本数与下一帧信号的前182样本数重合。可选地，采用率为2000HZ，每帧信号包络按照每心跳一次的时长进行划分。
将所述时域信号包络分割后，采用短时傅里叶变换将每帧时域信号包络转换成对应的频域信号，获得多段频域信号。基于每帧时域信号包络至少有部分是与相邻的时域信号包络是重合的，基于重合部分确定每帧频域信号的前后关联信息，也即确定每帧所述频域信号的时域信息，然后基于所述时域信号和所述频域信号将各个所述频域信号按照所述时域信息进行拼接，以形成所述第二时频谱联合信号。
可选地，本实施例还基于心音信号（心音的时频信号）提取对应的第一时频谱联合信号，继续结合参照图5、图6和图7。
可选地，所述所述第一时频谱联合信号的形成方式也是基于短时傅里叶变换得到，如：采用短时傅里叶变换将每帧心音信号转换成对应的频域信号；根据每帧所述频域信号的时域信息和所述频域信号形成所述第一时频谱联合信号。
本实施例提取所述时域信号的第一时频谱联合信号的过程中，先将每段所述时域信号分割成多帧信号。其中，所述时域信号分割时，相邻两帧信号之间包括重复部分。如设定每帧包括样本数M，相邻两帧之间N%重合。如一个具体实时方式，设定每帧样本数为256，每帧之间50%重合，如当前帧信号的前128样本数与前一帧信号的后128样本数重合，当前帧信号的后128样本数与下一帧信号的前182样本数重合。可选地，采用率为2000HZ，每帧信号包络按照每心跳一次的时长进行划分。
将所述时域信号分割后，采用短时傅里叶变换将每帧时域信号转换成对应的频域信号，获得多段频域信号。基于每帧时域信号至少有部分是与相邻的时域信号是重合的，基于重合部分确定每帧频域信号的前后关联信息，也即确定每帧频域信号的时域信息，然后基于所述时域信号和所述频域信号将各个所述频域信号按照所述时域信息进行拼接，以形成所述第二时频谱联合信号，如图7示意。
可选地，上述的时频谱联合信号是指在时域和频域上结合的信号。基于所述时域和频域结合的信号来识别所述心音信号，由于多维特征的结合，识别结果更精准。
可选地，上述所述的短时傅里叶变换设置为：
Figure 103689DEST_PATH_IMAGE001
；
其中，所述h（t）为窗函数，m为帧数，T为滑窗长度。
本实施例通过上述短时傅里叶变换提取所述心音信号的时频谱联合信号或者所述时域信号包络的时频谱联合信号。
可选地，所提取的第一时频谱联合信号表示快时间维度的信号变化情况。而所提取的第二时频谱联合信号表示慢时间维度的信号幅度变化情况。
本实施例中，将通过上述方式获得的第一时频谱联合信号和第二时频谱联合信号作为预设的训练好的长短期记忆神经网络模型的输出参数，所述长短期记忆神经网络模型基于所述第一时频谱联合信号和第二时频谱联合信息进行分析和识别后，输出识别分类结果。若长短期记忆神经网络模型识别到所述心音信号为异常时，则对应输出异常标识，如0。若长短期记忆神经网络模型识别到所述心音信号为正常时，则对应输出正常标识，如1。由于时频谱联合信号能够等价表示心音信号的原始音频，且这种信号与原始音频是可以逆转换的，因此得到的时频谱联合信息相对于采集到的初始心音信号，没有信息损失。如此，结合从快时间和慢时间至少两个维度来识别心音信号，使得心音信号识别的准确度更高。
可选地，本实施例中，所述分类模型为长短期记忆模型，在一可选实施例中，所述分类模型为长短期记忆神经网络模型。所述长短期记忆神经网络模型可在使用之前预先训练好，也可以在使用过程中继续学习优化。
如在使用之前，通过心音采集设备采集心音信号，并由经验丰富的医生对采集的数据进行正常和异常类别的标注。然后采用这些数据训练所述长短期记忆神经网络模型。可选地，在模型训练过程中，所述心音信号也通过本实施例步骤S10和步骤S20的处理和提取后再输入所述长短期记忆神经网络模型，以使所述长短期记忆神经网络模型稳定，进而更进一步的提高识别准确度。
可选地，请参照图8，图8示出基于本实施例识别方式对长短期记忆神经网络模型进行训练的结果示意图。从PASCAL数据集中采集的若干个人的异常心杂音信号和若干个人的正常心音信号，采用本实施例的上述方法对所有所述异常心杂音信号和正常心音信号进行处理，所述长短期记忆神经网络模型在不断学习优化过程中，所述长短期记忆神经网络模型识别准确率逐渐优化。在验证实验中，将数据按9：1划分为训练和测试样本，采用交叉验证测试模型准确率。在验证样本中的准确率为93%，验证了本实施例识别准确率高。
可选地，在采用所述长短期记忆神经网络模型识别所述心音信号时，根据使用者对输出结果的反馈信息，深入学习实际识别过程中的心音信号，不断优化学习训练所述长短期记忆神经网络模型，以不断提高本实施例的心音信号识别的准确度。
第二实施例
结合参照图9，本实施例基于上述第一实施例，本实施例提出所述基于预处理后的心音信号提取所述心音信号的时域信号包络的步骤之前，还包括：
步骤S40，采集初始心音信号，并分割所述初始心音信号，以获得至少两段心音信号；
步骤S50，采用傅里叶变换将每段所述心音信号转换成对应的频域信号；
步骤S60，通过巴特沃斯滤波器过滤第一频率范围之外的频域信号，以及采用逆傅里叶变换将过滤后的频域信号转换为时域信号，以获得预处理后的心音信号。
采集的心音数据往往包含其他噪声，为了进一步提高心音识别的准确度，本实施例在采集到初始心音信号后，对心音信号进行降噪等滤波处理，在过滤噪音的同时，使得所述心音信号的完整性得到保持。
可选地，本实施例先将采集到的初始心音信号分割成多段心音信号。可选地，根据心音信号能力随时间变化，利用平滑滤波检测心音起始时间，以所述起始时间为时间起点，将不同长度的心音信号分割为至少两个长度为8秒的音频数据段。
可选地，本实施例在分割所述心音信号之前，先对所述心音信号进行平滑处理：
如设定y（t）为一段采集的心音信号，其中t为离散时刻采样点，采样频率为fs。令h（t）为Savitzky-Golay滤波器系数，所述心音信号根据以下公式进行平滑处理：
Figure 456173DEST_PATH_IMAGE009
；
其中，*表示卷积运算，
Figure 398721DEST_PATH_IMAGE010
为平滑处理后的心音信号。
所述心音信号基于所述Savitzky-Golay滤波器完成平滑处理。
可选地，设定心音起始时刻检测门限η，当
Figure 898972DEST_PATH_IMAGE011
大于所述η时，判定心音信号起始。基于此心音信号起始时刻检测，将采集的数据分割为多个长度为8秒的音频数据段，得到
Figure 319589DEST_PATH_IMAGE012
，以实现对所述初始心音信号的分割。
对所述心音信号进行分割处理后，对所述心音信号进行降噪处理。
可选地，本实施例采用巴特沃斯滤波器滤除所述心音信号中的高频噪音。
如设定巴特沃斯滤波器的阶数，选定通带频率范围。巴特沃斯滤波器的特点是通频带内的频率响应曲线最大限度平坦，没有纹波，而在阻频带则逐渐下降为零。
由于心音信号表征了心脏各个部位的收周期特性，其频率范围集中在20-400Hz，巴特沃斯滤波器适用于心音信号的降噪处理，使得心音信号的降噪效果更佳。
可选地，在一实施例中，设计的6阶巴特沃斯滤波器幅频响应函数（采样率2000Hz）来对所述心音信号进行降噪处理，具体降噪过程如下所述：
先对分割长度为8秒的音频数据段（心音信号）
Figure 792159DEST_PATH_IMAGE013
所述心音信号进行频域转换，以获得频域信号。如通过以下公式转换到频域信号；
Figure 967925DEST_PATH_IMAGE014
；
其中，
Figure 893156DEST_PATH_IMAGE015
表示傅里叶变换变换，i为数据段标号。
然后基于预先设定的巴特沃斯滤波器响应函数
Figure 117464DEST_PATH_IMAGE016
，对所述频域信号进行过滤降噪处理，并将降噪后的频域信号转换成是心音信号（时域信号）。可选地，通过以下公式对所述频域信号进行降噪和转换：
Figure 241278DEST_PATH_IMAGE017
；
其中，
Figure 525629DEST_PATH_IMAGE016
为巴特沃斯滤波器响应函数；
Figure 938155DEST_PATH_IMAGE018
表示逆变换。
可以理解的是，所述第一频率范围基于所述巴特沃斯滤波器响应函数确定。请参照图10，图10示出巴特沃斯滤波器响应函数示意图，基于该巴特沃斯滤波器响应函数，本实施例能有效滤除第一频率范围外的噪声分量，使得所述心音信号有效滤除噪声的同时，保持心音信号的完整性。
可选地，在另一可选实施例中，所述采用逆傅里叶变换将过滤后的频域信号转换为时域信号，以获得预处理后的心音信号的步骤还包括：
采用逆傅里叶变换将所述目标心音信号的频域信号转换为对应的时域信号后，按照预设频率重新从所述时频信号提取心音信号，以获得预处理后的心音信号。
心音信号采集设备一般是通过麦克风阵列采集的，麦克风采样率为4000Hz及以上（甚至高达44100Hz）。心音信号的频谱能量集中在400Hz（最多达500Hz)以下，适当降低采样率能保留心音信号的信息同时降低计算负担。因此，本实施例在对所采集的设定采样率2000Hz对心音信号进行重采样，以重新采样后的的心音信号来提取时域信号包络以及时频谱联合信号。
第三实施例
本实施例基于上述第一实施例和/或第二实施例，可选地，所述所述将所述第一时频谱联合信号和所述第二时频谱联合信号输入分类模型，并获取所述分类模型的输出结果的步骤包括：
在所述第一时频谱联合信号和第二时频谱联合信号中获取第二频率范围内的目标第一时频谱联合信号和目标第二时频谱联合信号；
将所述目标第一时频谱联合信号和所述目标第二时频谱联合信号输入所述分类模型，以获取所述分类模型的输出结果。
可选地，所述第二频率范围可以为800HZ以内。
基于频率为800HZ以上的心音信号一般是未过滤掉的无用信号，本实施例提取第二预设范围内的第一时频谱联合信号和所述第二时频谱联合信号作为所述长短期记忆神经网络模型，可以减少无用数据的运算，进而加快心音信号的识别速度，提高心音信号的识别效率。
可选地，上述所述的分类模型为LSTM模型（长短时期记忆神经网络模型），请参照图11，所述分类模型包括：
输入层106，所述输入层106用于输入所述第一时频谱联合信号和所述第二时频谱联合信号。
长短期记忆网络层107（也即LSTM网络层107），所述LSTM网络层107与所述输入层106连接，用于记忆所述第一时频谱联合信号和所述第二时频谱联合信号的长短时特征。
全连接网络层108，所述全连接网络层108与所述LSTM网络层107连接，用于对所述LSTM网络层107所记忆的长短时特征进行分类提取；以及
分类网络层109，所述分类网络层109与所述全连接网络层108连接，用于根据所述全连接网络层108提取的特征进行分类，并输出分类结果。
心音信号虽然为非平稳信号，但第一心音和第二心音之间具有强关联性。正常、异常心音的区分在于跳动周期的长短、强弱、以及额外收缩等生理特性。神经网络模型的选择需要考虑时间先后信息的相互影响。Long Short Term （LSTM）神经网络通过引入门控结构，对数据信息具有长短记忆的功能，能有效学习时间序列之间的长期依赖信息。
本实施例采用LSTM神经网络模型，基于其时间记忆功能，能够提取心音信号的时序特征，如此，在LSTM神经网络模型分析和识别所述心音信号的第一时频谱联合信号和所述第二时频谱联合信号时，结合所述信号的时序特征分析，通过识别一定时间内的心音信号来确定检测者的心音信号是否正常。这可以避检测者因特殊场景导致心音不正常时，将检测者的心音归类为异常的情况出现，在一定程度上，可以减少误判。
可选地，本实施例基于上述所有实施例提供一具体实时方式：
如图12和图13所述，所述基于人工智能心音识别方法的处理过程包括：
第一步，数据采集。可选地，采集的是心音信号。可基于心音采集设备进行采集，也可以基于前端设备采集后传输至终端时获取。
第二步，数据预处理。可选地，对心音信号进行预处理。如心音信号分割、心音信号降噪和心音信号重采样，以得到更准确，更符合检测要求的心音信号。
第三步，心音特征提取。可选地，该步骤中，心音特征包括时域信号包络和时频谱联合信号，可选地，所述时频谱联合信号包括时域信号转换得到的第一时频谱联合信号Em（w）和所述时域信号包络转换得到的第二时频谱联合信号Ym（w）。基于时域信号提取时域信号包络后，对所述时域信号包络进行第二时频谱联合信号Ym（w）提取。同时，基于预处理后的时域信号进行第一时频谱联合信号Em（w）提取。
第三步，将心音特征输入分类模型。可选地，将所述第一时频谱联合信号和所述第二时频谱联合信号输入所述分类模型，基于所述分类模型预先设定的分析识别方法，所述分类模型能够快速准确的分析所述第一时频谱联合信号和所述第二时频谱联合信号的类型，进而输出所述心音信号是否异常的结果。
可选地，本发明还提供一种实现云服务的计算机程序产品，所述计算机程序产品被云端服务器执行时实现上述各个实施例所述的基于人工智能心音识别方法。
可选地，云端服务器配置有应用程序接口，基于所述应用程序接口将所述计算机程序产品设置于云端，在接收到心音信号时，云端服务器可执行所述计算机程序产品，以对所述心音信号进行识别和分类，进而输出分类结果。
需要说明的是，以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (11)

1.一种基于人工智能心音识别方法，其特征在于，所述基于人工智能心音识别方法包括：
基于预处理后的心音信号提取所述心音信号的时域信号包络；
根据所述心音信号获取对应的第一时频谱联合信号，以及根据所述时域信号包络获取对应的第二时频谱联合信号；
将所述第一时频谱联合信号和所述第二时频谱联合信号输入分类模型，并获取所述分类模型的输出结果，其中，所述输出结果包括正常或异常，所述分类模型为长短期记忆模型。
2.如权利要求1所述的基于人工智能心音识别方法，其特征在于，所述根据所述心音信号获取对应的第一时频谱联合信号的步骤包括：
采用短时傅里叶变换将每帧心音信号转换成对应的频域信号；
根据每帧所述频域信号的时域信息和所述频域信号形成所述第一时频谱联合信号。
3.如权利要求1所述的基于人工智能心音识别方法，其特征在于，根据所述时域信号包络获取对应的第二时频谱联合信号：
采用短时傅里叶变换将每帧时域信号包络转换成对应的频域信号；
根据每帧所述频域信号的时域信息和所述频域信号形成所述第二时频谱联合信号。
4.如权利要求2或3所述的基于人工智能心音识别方法，其特征在于，所述短时傅里叶变换设置为：
Figure 746450DEST_PATH_IMAGE001
;
其中，h（t）为窗函数，m为帧数，T为滑窗长度，t为离散时刻采样点。
5.如权利要求1所述的基于人工智能心音识别方法，其特征在于，所述基于预处理后的心音信号提取所述心音信号的时域信号包络的步骤包括：
基于
Figure 203976DEST_PATH_IMAGE002
提取预处理后的所述心音信号中的时频信号包络；
其中，
Figure 18348DEST_PATH_IMAGE003
为所述心音信号；
Figure 192144DEST_PATH_IMAGE004
为所述心音信号的希尔伯特变换；
Figure 459178DEST_PATH_IMAGE005
为所述时域信号包络，t为离散时刻采样点。
6.如权利要求1所述的基于人工智能心音识别方法，其特征在于，所述基于预处理后的心音信号提取所述心音信号的时域信号包络的步骤之前，还包括：
采集初始心音信号，并分割所述初始心音信号，以获得至少两段心音信号；
采用傅里叶变换将每段所述心音信号转换成对应的频域信号；
通过巴特沃斯滤波器过滤第一频率范围之外的频域信号以及采用逆傅里叶变换将过滤后的频域信号转换为时域信号，以获得预处理后的心音信号。
7.如权利要求1所述的基于人工智能心音识别方法，其特征在于，所述将所述第一时频谱联合信号和所述第二时频谱联合信号输入分类模型，并获取所述分类模型的输出结果的步骤包括：
在所述第一时频谱联合信号和第二时频谱联合信号中获取第二频率范围内的目标第一时频谱联合信号和目标第二时频谱联合信号；
将所述目标第一时频谱联合信号和所述目标第二时频谱联合信号输入所述分类模型，以获取所述分类模型的输出结果。
8.如权利要求1所述的基于人工智能心音识别方法，其特征在于，所述分类模型包括：
输入层，所述输入层用于输入所述第一时频谱联合信号和所述第二时频谱联合信号；
长短期记忆网络层，所述长短期记忆网络层与所述输入层连接，用于记忆所述第一时频谱联合信号和所述第二时频谱联合信号的长短时特征；
全连接网络层，所述全连接网络层与所述长短期记忆网络层连接，用于对所述长短期记忆网络层所记忆的长短时特征进行分类提取；以及
分类网络层，所述分类网络层与所述全连接网络层连接，用于根据所述全连接网络层提取的特征进行分类，并输出分类结果。
9.一种终端，其特征在于，所述终端包括存储器、处理器以及存储在所述存储器并可在所述处理器上运行的识别程序，所述识别程序被所述处理器执行时实现如权利要求1至8任一项所述的基于人工智能心音识别方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质存储有识别程序，所述识别程序被处理器执行时实现如权利要求1至8任一项所述的基于人工智能心音识别方法的步骤。
11.一种云端服务器，其特征在于，所述云端服务器包括计算机程序产品，所述计算机程序产品被云端服务器执行时实现如权利要求1至8任一项所述的基于人工智能心音识别方法的步骤。
CN202110878593.1A 2021-08-02 2021-08-02 基于人工智能心音识别方法、终端和可读存储介质 Active CN113345471B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110878593.1A CN113345471B (zh) 2021-08-02 2021-08-02 基于人工智能心音识别方法、终端和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110878593.1A CN113345471B (zh) 2021-08-02 2021-08-02 基于人工智能心音识别方法、终端和可读存储介质

Publications (2)

Publication Number Publication Date
CN113345471A CN113345471A (zh) 2021-09-03
CN113345471B true CN113345471B (zh) 2021-11-02

Family

ID=77480511

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110878593.1A Active CN113345471B (zh) 2021-08-02 2021-08-02 基于人工智能心音识别方法、终端和可读存储介质

Country Status (1)

Country Link
CN (1) CN113345471B (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003222001A1 (en) * 2002-03-18 2003-10-08 Sonomedica, Llc Method and system for generating a likelihood of cardiovascular disease from analyzing cardiovascular sound signals.
CN105078505B (zh) * 2014-04-24 2018-01-23 重庆融海超声医学工程研究中心有限公司 生理信号处理方法及处理装置
CN105662457A (zh) * 2016-03-22 2016-06-15 宁波元鼎电子科技有限公司 一种智能听诊器
EP3608918A1 (en) * 2018-08-08 2020-02-12 Tata Consultancy Services Limited Parallel implementation of deep neural networks for classifying heart sound signals
CN111368627B (zh) * 2019-11-20 2023-08-22 山东大学 Cnn结合改进频率小波切片变换的心音分类方法及系统
CN111759345B (zh) * 2020-08-10 2023-01-20 北京中科信利技术有限公司 基于卷积神经网络的心脏瓣膜异常分析方法、系统和装置

Also Published As

Publication number Publication date
CN113345471A (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
CN108647565B (zh) 一种基于深度学习模型对心电信号分类的数据预处理方法
Varghees et al. A novel heart sound activity detection framework for automated heart sound analysis
US9198634B2 (en) Medical decision support system
Chauhan et al. A computer-aided MFCC-based HMM system for automatic auscultation
CN107945817B (zh) 心肺音信号分类方法、检测方法、装置、介质和计算机设备
Wang et al. Phonocardiographic signal analysis method using a modified hidden Markov model
CN110353725A (zh) 一种基于云架构的心音采集与分析系统及方法
CN110123367B (zh) 计算机设备、心音识别装置、方法、模型训练装置及存储介质
JPWO2007046504A1 (ja) 聴診心音信号の処理方法及び聴診装置
CN113057648A (zh) 一种基于复合lstm结构的ecg信号分类方法
Schmidt et al. Coronary artery disease and low frequency heart sound signatures
CN104473660A (zh) 一种基于子带能量包络自相关特征的异常心音识别方法
Martinek et al. Passive fetal monitoring by advanced signal processing methods in fetal phonocardiography
Mondal et al. Boundary estimation of cardiac events S1 and S2 based on Hilbert transform and adaptive thresholding approach
CN110772279A (zh) 一种肺音信号采集装置与分析方法
CN113345471B (zh) 基于人工智能心音识别方法、终端和可读存储介质
CN110491504B (zh) 一种心音信号医学指标数据的获取方法
Thiyagaraja et al. Smart phone monitoring of second heart sound split
Schmidt et al. Detection of coronary artery disease with an electronic stethoscope
JP6103591B2 (ja) 聴診心音信号の処理方法、聴診心音信号の処理装置及び聴診心音信号を処理するためのプログラム
Kamarulafizam et al. Classification of heart sound based on multipoint auscultation system
CN114912521A (zh) 心脏数据处理方法、装置、计算机设备及存储介质
Ari et al. On a robust algorithm for heart sound segmentation
Varghees et al. Two-channel heart sound segmentation framework using phonocardiogram and pulsatile signals
Moukadem et al. High order statistics and time-frequency domain to classify heart sounds for subjects under cardiac stress test

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant