CN112450944B - 标签相关性引导特征融合的心电图多分类预测系统与方法 - Google Patents
标签相关性引导特征融合的心电图多分类预测系统与方法 Download PDFInfo
- Publication number
- CN112450944B CN112450944B CN202011459650.4A CN202011459650A CN112450944B CN 112450944 B CN112450944 B CN 112450944B CN 202011459650 A CN202011459650 A CN 202011459650A CN 112450944 B CN112450944 B CN 112450944B
- Authority
- CN
- China
- Prior art keywords
- electrocardiogram
- label
- fusion
- priority
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/259—Fusion by voting
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Signal Processing (AREA)
- Probability & Statistics with Applications (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Medical Informatics (AREA)
- Fuzzy Systems (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Operations Research (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Databases & Information Systems (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
Abstract
本发明公开了一种标签相关性引导特征融合的心电图多分类预测系统与方法。系统包括:标签粗糙分类模块,用于根据历史数据中心电图异常标签出现频率,确定心电图标签第一优先级组以及剩余心电图标签集合;标签相关性分析模块与标签精细分类模块,用于进行标签相关性分析,将剩余心电图标签集合划分为多个心电图标签优先级组;原始特征提取模块,用于利用神经网络主体结构对输入的心电图进行特征提取得到原始特征张量;心电图多分类预测模块,用于进行心电图分类。利用本发明,大大提高了心电图分类准确率。
Description
技术领域
本发明涉及心电图技术领域,具体涉及一种标签相关性引导特征融合的心电图多分类预测系统与方法。
背景技术
心电图(ECG)是临床医学中记录心脏电活动的便捷工具,多年来已被广泛使用,至今仍被认为是诊断和指导心血管疾病的重要方法。使用心电图,医生可以了解患者发生各种异常的风险,从心律不齐到急性冠状动脉综合征。因此,ECG自动分析在临床中已变得越来越重要,并且在临床环境中也可以作为医师解释的重要辅助手段。但是,现有的许多ECG自动分类算法仍显示出很大的误差。
在过去的几十年中,有许多研究人员专注于从不同任务中检测ECG异常,以促进ECG在临床实践中的应用。以前有关ECG异常检测的许多工作都集中在单方面任务上:(1)ECG数据预处理,例如降噪和心跳分割;(2)特征提取,例如小波变换和形态描述符;(3)ECG分类,例如基于规则的分类和基于CNN的分类。以上这些任务都是具有挑战性的。尽管提出了许多算法在降低ECG噪声和分割ECG方面取得了较为理想的结果,但在ECG分类方面仍有很大的改进空间。
由于缺乏适当的数据并且计算能力有限,传统的基于规则的方法显示出较差的性能。深度学习能够识别原始数据并从模式中学习有用的功能而无需进行大量数据预处理的能力,使其特别适合于解释ECG数据。Fan等《Multiscaled Fusion of Deep ConvolutionalNeural Networks for Screening Atrial Fibrillation From Single Lead Short ECGRecordings》提出了一种通过CNNs多尺度融合的房颤疾病辅助判断算法。Acharya等在《Application of Deep Convolutional Neural Network for Automated Detection ofMyocardial Infarction Using ECG Signals》提出了使用11层卷积神经网络(CNN)检测到心肌梗塞并获得了最新技术。在这些工作中,心电图检测算法专注于单一疾病的辅助判断。在其他研究工作中,将ECG信号视为时间序列,将ECG数据分类视为多标签任务。Rajpurkar等在《Cardiologist-Level Arrhythmia Detection with Convolutional NeuralNetworks》提出了一种用于检测心律失常的34层CNN,并报告了心脏病专家对14种心律失常进行分类的准确性。Yao等在《Multi-class Arrhythmia detection from 12-leadvaried-length ECG using Attention-based Time-Incremental Convolutional NeuralNetwork》设计了一种基于注意力的时间增量CNN,该CNN实现了ECG信号中信息的时空融合并检测了9种心律不齐。但是,在不考虑标签相关性的情况下,这些工作中使用的模型仅限于数据集平衡的多类任务。因此,这些模型的小样本数据准确性以及处理更复杂数据的能力受到限制。
发明内容
本发明的目的在于针对上述现有技术存在的缺陷,提出一种标签相关性引导特征融合的心电图多分类预测系统与方法。
一种标签相关性引导特征融合的心电图多分类预测系统,该系统包括:
标签粗糙分类模块,用于根据历史数据中心电图异常标签出现频率,确定心电图标签第一优先级组以及剩余心电图标签集合;
标签相关性分析模块,用于针对所述剩余心电图标签集合中的每一个心电图标签rlj,计算所述心电图标签第一优先级组中标签出现时所述心电图标签rlj出现的概率;
标签精细分类模块,用于根据所述标签相关性分析模块的概率计算结果,将所述剩余心电图标签集合划分为多个心电图标签优先级组,优先级高的心电图标签优先级组中心电图标签对应的概率计算结果均大于优先级低的心电图标签优先级组的概率计算结果;
原始特征提取模块,用于利用神经网络主体结构对输入的心电图进行特征提取得到原始特征张量;
心电图多分类预测模块,用于进行心电图多分类预测,包括多级级联分支、心电图正常预测分支;所述多级级联分支中的每一级级联分支分别用于预测一个心电图标签优先级组的标签概率,具有与心电图标签优先级组相同的优先级,包括特征融合子模块、心电图分类子模块;所述特征融合子模块用于对所述原始特征张量以及优先级高于当前优先级的级联分支特征融合子模块输出的对应级融合特征张量联结后得到的特征张量进行融合分析,得到当前级融合特征张量;所述心电图分类子模块用于对所述当前级融合特征张量进行分类分析,输出对应优先级的心电图标签优先级组的标签概率;所述心电图正常预测分支,用于对所述原始特征张量进行分类分析,输出心电图正常概率。
进一步地,所述确定心电图标签第一优先级组以及剩余心电图标签集合包括:
将历史数据中心电图异常标签出现频率最高的若干个异常标签组成心电图标签第一优先级组;剩余的心电图异常标签组成剩余心电图标签集合。
进一步地,所述特征融合子模块基于注意力机制实现。
进一步地,所述神经网络主体结构包括7个残差块,每个残差块包括两个卷积层。
进一步地,所述系统还包括表决分类器,用于对多模型的输出结果进行投票表决,得到最终的心电图分类结果。
进一步地,所述将所述剩余心电图标签集合划分为多个心电图标签优先级组具体为:
将所述剩余心电图标签集合划分为两个心电图标签优先级组:心电图标签第二优先级组、心电图标签第三优先级组。
进一步地,所述多级级联分支包括三级级联分支;第一级联分支包括第一特征融合子模块、第一心电图分类子模块,具有第一优先级,所述第一特征融合子模块用于对所述原始特征张量进行融合分析,得到第一级融合特征张量,所述第一心电图分类子模块用于对所述第一级融合特征张量进行分类分析,输出所述心电图标签第一优先级组的标签概率;第二级联分支包括第二特征融合子模块、第二心电图分类子模块,具有第二优先级,所述第二特征融合子模块用于对所述原始特征张量、所述第一级融合特征张量联结后得到的特征张量进行融合分析,得到第二级融合特征张量,所述第二心电图分类子模块用于对所述第二级融合特征张量进行分类分析,输出心电图标签第二优先级组的标签概率;第三级联分支包括第三特征融合子模块、第三心电图分类子模块,具有第三优先级,所述第三特征融合子模块用于对所述原始特征张量、所述第一级融合特征张量、所述第二级融合特征张量联结后得到的特征张量进行融合分析,得到第三级融合特征张量,所述第三心电图分类子模块用于对所述第三级融合特征张量进行分类分析,输出心电图标签第三优先级组的标签概率。
一种标签相关性引导特征融合的心电图多分类预测方法,该方法包括:
步骤1,根据历史数据中心电图异常标签出现频率,确定心电图标签第一优先级组以及剩余心电图标签集合;
步骤2,针对所述剩余心电图标签集合中的每一个心电图标签rlj,计算所述心电图标签第一优先级组中标签出现时所述心电图标签rlj出现的概率;
步骤3,根据所述标签相关性分析模块的概率计算结果,将所述剩余心电图标签集合划分为多个心电图标签优先级组,优先级高的心电图标签优先级组中心电图标签对应的概率计算结果均大于优先级低的心电图标签优先级组的概率计算结果;
步骤4,利用神经网络主体结构对输入的心电图进行特征提取得到原始特征张量;
步骤5,基于多级级联分支、心电图正常预测分支进行心电图多分类预测,所述多级级联分支的每一级级联分支分别用于预测一个心电图标签优先级组的标签概率,具有与心电图标签优先级组相同的优先级,包括特征融合子模块、心电图分类子模块;所述特征融合子模块用于对所述原始特征张量以及优先级高于当前优先级的级联分支特征融合子模块输出的对应级融合特征张量联结后得到的特征张量进行融合分析,得到当前级融合特征张量;所述心电图分类子模块用于对所述当前级融合特征张量进行分类分析,输出对应优先级的心电图标签优先级组的标签概率;所述心电图正常预测分支,用于对原始特征张量进行分类分析,输出心电图正常概率。
进一步地,所述步骤3中将所述剩余心电图标签集合划分为多个心电图标签优先级组具体为:
将所述剩余心电图标签集合划分为两个心电图标签优先级组:心电图标签第二优先级组、心电图标签第三优先级组。
进一步地,所述多级级联分支包括三级级联分支;第一级联分支包括第一特征融合子模块、第一心电图分类子模块,具有第一优先级,所述第一特征融合子模块用于对所述原始特征张量进行融合分析,得到第一级融合特征张量,所述第一心电图分类子模块用于对所述第一级融合特征张量进行分类分析,输出所述心电图标签第一优先级组的标签概率;第二级联分支包括第二特征融合子模块、第二心电图分类子模块,具有第二优先级,所述第二特征融合子模块用于对所述原始特征张量、所述第一级融合特征张量联结后得到的特征张量进行融合分析,得到第二级融合特征张量,所述第二心电图分类子模块用于对所述第二级融合特征张量进行分类分析,输出心电图标签第二优先级组的标签概率;第三级联分支包括第三特征融合子模块、第三心电图分类子模块,具有第三优先级,所述第三特征融合子模块,用于对所述原始特征张量、所述第一级融合特征张量、所述第二级融合特征张量联结后得到的特征张量进行融合分析,得到第三级融合特征张量,所述第三心电图分类子模块用于对所述第三级融合特征张量进行分类分析,输出心电图标签第三优先级组的标签概率。
本发明与现有技术相比,具有以下有益效果:
分析了ECG数据集的标签分布,并首次将多类标签相关性用于ECG的计算机多分类预测。根据标签分析,将标签分为多个优先级组,以进行端到端网络学习。设计了标签关联网络,可以实现不同优先级标签的特征共享,从而实现对数据中小样本数据集的准确识别。通过本发明的系统对数据集中的小样本进行检测已达到了较高的性能水平。
附图说明
图1为本发明的系统框架图;
图2为本发明实施例1的网络结构图;
图3为多尺度空洞卷积模块的结构图;
图4为训练集、测试集的损失函数曲线与F1分数曲线图;
图5为投票机制结构图;
图6为本发明分类结果混淆矩阵图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图以及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
本发明提供一种标签相关性引导特征融合的心电图多分类预测系统与方法。目标包括为家庭护理中的心脏病患者自动生成标准的ECG分类结果。首先根据标签相关性将标签划分为多个优先级。然后,MLC-CNN(Multi-Label Correlation-CNN)根据标签优先级预测不同的类别。在最后的测试阶段添加了集成学习的想法,设计了一种投票机制,可以对多个模型的输出结果进行投票并确定最终结果,从而获得准确的结果。图1为本发明的系统框架图。下面通过具体实施例来进行说明。
实施例1:
标签相关性引导特征融合的心电图多分类预测系统,包括标签粗糙分类模块、标签相关性分析模块、标签精细分类模块、原始特征提取模块、心电图多分类预测模块。
心电图心律失常检测任务可以概括为多标签分类,其中一种模型可以根据一项心电图数据预测不同的异常类型。假设输入心电图样本空间为Ω(X)={x0,x1,...,xn},心电图标签相关性可以表示为Ω(L)={Ω(L0),Ω(L1),...,Ω(Li),...,Ω(Ln)},其中,Ω(li)={li0,li1,li2,...}为基于标签相关性的标签优先级组。多标签任务的训练集可以表示为:
D={(xi,li)|1≤i≤n,xi∈X,li∈L} (1)
多标签学习算法的主要任务是从训练集中获得一个多标签分类模型:
f(xi)→r{r|ri,rq,...,0≤ri,rq≤L} (2)
模型的目标是最大程度地减少参考标签和输出之间的交叉熵,其公式如下:
Loss=-wc[li·logσ(ri)+(1-li)·(1-logσ(ri))] (3)
其中,ri是预测标签,σ(ri)为属于预测标签的概率,li是真实值(即groundtruth),wc是类别权重。
标签相关性计算的目的是将数据分为不同的标签子集,称为标签优先级组。将不同的标签优先级放入不同的级联网络中,以实现融合和共享功能。在现实生活中,通过一项ECG数据可以分析出多种可能的心血管异常类型,帮助医生做辅助判断。在相同的网络设置下,基于大量类别的数据可以获得更好的分类结果,因为可以轻松提取更复杂和抽象的特征表达式。当某些标签没有足够的训练示例时,标签相关性也可以提供有用的额外信息。
假设训练数据可以分为3-4个组,每个组有2-3个标签。在同一组中,标签对象相互独立。标签的相关性旨在找到标签之间的联系。本发明标签相关性主要根据贝叶斯公式进行计算。根据条件概率公式,如果心电图分类标签为li,并且已知或假定了事件lq,则给定的条件概率为p(li|lq)。因此,第一步,必须确定数据集中所有标签的第一优先级组Ω(L1)。
标签粗糙分类模块,用于根据历史数据中心电图异常标签出现频率,确定心电图标签第一优先级组以及剩余心电图标签集合。正常标签与异常标签关联较小,因此,本发明利用单独的分支预测正常标签,利用标签粗糙分类模块从心电图异常标签中确定出心电图标签第一优先级组、剩余心电图标签集合。将历史数据中心电图异常标签出现频率最高的若干个异常标签组成心电图标签第一优先级组。在本实施例中,我们将所有异常标签中频率最高的三个标签设为第一优先级组Ω(L1)。
为了获得标签之间的相关性,本发明利用标签相关性分析模块来实现。标签相关性分析模块,用于针对剩余心电图标签集合中的每一个心电图标签rlj,计算心电图标签第一优先级组中标签出现时心电图标签rlj出现的概率。
首先,计算第一优先级组概率P(Ω(L1)):
其中,P(li)是标签li的概率。受贝叶斯公式的启发,有:
标签精细分类模块,用于根据标签相关性分析模块的概率计算结果,将剩余心电图标签集合划分为多个心电图标签优先级组,优先级高的心电图标签优先级组中心电图标签对应的概率计算结果均大于优先级低的心电图标签优先级组的概率计算结果。当出现更高的P(rlj|Ω(L1))时,心电图分类标签rlj和P(rlj|Ω(L1))之间的相关性更高。在剩下的标签中,它们按照P(rlj|Ω(L1))的大小顺序,分别分入Ω(L2)、Ω(L3)等优先组中。具体地,在本实施例中,概率较大的分入心电图标签第二优先级组,概率较小的分入心电图标签第三优先级组。标签相关计算的步骤为下述算法1,如表1所示。
表1标签相关计算算法
基于上述优先级分析,本发明提出了一种标签关联残差网络——MLC-CNN,可以对多种心电图类型进行准确分类。本发明所提出的MLC-CNN的架构,能够有效地提高数据集中具有相关特征的小样本的预测准确性。MLC-CNN包括原始特征提取模块、心电图多分类预测模块。
原始特征提取模块,用于利用神经网络主体结构对输入的心电图进行特征提取得到原始特征张量。心电图多分类预测模块,用于进行心电图多分类预测,包括多级级联分支、心电图正常预测分支;多级级联分支中的每一级级联分支分别用于预测一个心电图标签优先级组的标签概率,具有与心电图标签优先级组相同的优先级,包括特征融合子模块、心电图分类子模块;特征融合子模块用于对原始特征张量以及优先级高于当前优先级的级联分支特征融合子模块输出的对应级融合特征张量联结后得到的特征张量进行融合分析,得到当前级融合特征张量;心电图分类子模块用于对当前级融合特征张量进行分类分析,输出对应优先级的心电图标签优先级组的标签概率;心电图正常预测模块,用于对原始特征张量进行分类分析,输出心电图正常概率。
本实施例中,多级级联分支包括三级级联分支;第一级联分支包括第一特征融合子模块、第一心电图分类子模块,具有第一优先级,第一特征融合子模块,用于对原始特征张量进行融合分析,得到第一级融合特征张量,第一心电图分类子模块用于对第一级融合特征张量进行分类分析,输出心电图标签第一优先级组的标签概率;第二级联分支包括第二特征融合子模块、第二心电图分类子模块,具有第二优先级,第二特征融合子模块,用于对原始特征张量、第一级融合特征张量联结后得到的特征张量进行融合分析,得到第二级融合特征张量,第二心电图分类子模块用于对第二级融合特征张量进行分类分析,输出心电图标签第二优先级组的标签概率;第三级联分支包括第三特征融合子模块、第三心电图分类子模块,具有第三优先级,第三特征融合子模块,用于对原始特征张量、第一级融合特征张量、第二级融合特征张量联结后得到的特征张量进行融合分析,得到第三级融合特征张量,第三心电图分类子模块用于对第三级融合特征张量进行分类分析,输出心电图标签第三优先级组的标签概率。
本实施例中MLC-CNN体系结构具体包括一个Resnet主体(原始特征提取模块)和三个级联分支(心电图多分类预测模块),其中Resnet代表何开明提出的出色的图像识别网络模型。本发明实施例1的网络结构具体如图2所示,图2示出了主要的网络模块关联。我们使用Resnet 34层保留先前的残差结构,以生成特征。三个级联分支分别提取不同优先级的类别特征。主体是Resnet34结构,没有完全连接的层,用卷积层替换了Resnet 34层的完全连接层。在卷积层之后,连接了三个级联层,并且分别在级联层中添加了残差块。
如前,不同级联分支提取了不同的优先级组特征,这允许级联分支利用ECG数据之间的协同特征信息和独特属性。因此,充分利用不同优先级组协同功能的相互作用,以促进鲁棒分类。关于级联分支,除了每个优先级组的特征外,我们还将高优先级组的特征融合到低优先级组,利用注意力机制确定融合权重,并利用空洞卷积扩大感受野。
注意力机制为不同的特征分配不同的权重,这有助于模型将重点放在信号的融合特征上。本实施例中,下一级联分支从在前所有级联分支中获取对应级融合特征张量,进行concatenate(拼接、联结)之后,首先基于通道注意力机制获得各通道,获得然后基于先验权重对不同通道的权重进行校正。具体地,设当前级联分支为第n级联分支,首先,将{S,∑GΩ(i,1≤i≤n-1)}拼接,得到拼接张量,其中,S为原始特征张量,GΩ(i,1≤i≤n-1)为高优先级的融合特征张量。然后,基于通道注意力机制对拼接张量进行分析,获得拼接张量的各通道权重。
本发明具有清晰的优先级关系,且心电图标签第一优先级组与其他心电图标签优先级组的关系更紧密,因此,第一级融合特征张量对在后级联分支的预测结果影响更大,其他级融合特征张量对在后级联分支的预测结果影响较小。基于上述先验知识,对通道注意力机制得到的通道权重进行修正。首先,根据公式(5)计算条件概率∑jP(lj|Ω(Lq)),其中,lj表示心电图标签第n优先级组中的标签,1<q<n,Ω(Lq)表示优先级高于第n级的心电图标签第q优先级组。然后根据条件概率∑jP(lj|Ω(Lq))对各通道权重进行校正:第一级融合特征张量对应的通道权重无需校正;针对第二级融合特征张量对应的通道权重,将条件概率∑jP(lj|Ω(L2))乘以通道权重,作为校正后的通道权重;以此类推,针对第q级融合特征张量对应的通道权重,将条件概率∑jP(lj|Ω(Lq))乘以通道权重,作为校正后的通道权重;如此,得到校正后的通道权重,将拼接张量各通道乘以校正后的通道权重,即得到初步的融合特征张量。
进一步地,心电图正常预测分支输出的标签概率与级联分支输出的标签概率紧密相关,两者呈反相关。因此,本实施例根据心电图正常预测分支输出的标签概率生成嵌入特征,将该嵌入特征融入级联分支。具体地,设级联分支中经注意力机制融合得到的初步的融合特征张量尺寸为h*w;心电图正常预测分支为二分类,设其输出的较大的标签概率为P’。根据P’生成尺寸为h*w的矩阵,矩阵中每一个元素值均为P’,该矩阵即为嵌入特征。因此,本发明的特征融合子模块还用于将嵌入特征与初步的融合特征张量联结,输入后续的多尺度空洞卷积模块,得到第n级融合特征张量。利用多尺度空洞卷积,可以扩大初步融合特征张量的感受野。具体地,本实施例采用三级空洞卷积进行多尺度空洞卷积特征融合,其结构如图3所示,原始特征张量为S,经该模块处理之后得到融合特征张量G,其中,第一级卷积核尺寸为11,扩张率依次为1、2;第二级卷积核尺寸为11,扩张率依次为1、2、3;第三级卷积核尺寸为11,扩张率依次为1、2、3、4。将三级空洞卷积获得特征融合,即得到第n级融合特征张量。
本发明在重新审视当前网络在心血管异常分类中的应用之后,进行了实证比较,以分析交叉级联特征共享对相关标签的影响。接下来通过数据集来验证本发明提出的系统的有效性和高准确率。
首先给出实验中使用的评估指标,然后显示结果的详细信息。最后,介绍实验结果和分析。在本发明中,每个类别使用了典型的分类指标,包括Precision、Recall、F1-score:
其中,TP表示此类型的样本已正确分类为该类型的样本数,FN表示某类型的样本数目已被错误分类为其他样本,而FP表示其他类型样本的数量错误地表示为此类样本。最后,通过计算所有类别中这三个指标的平均值来表示总体模型结果。
中国生理信号挑战赛(CPSC 2018)是第一届中国生理信号挑战赛。挑战心电图记录来自11家医院。该数据集包含6到60s的6877条12导联心电图记录。ECG记录采样为500Hz。这些记录共分为8种心律失常和正常窦性心律。表2给出了有关此数据集和标签相关性分析的详细信息。根据数据集,进行标签相关性计算后,得到正常标签Normal(正常),心电图标签第一优先级组包括AF(心房颤动)、RBBB(右束支阻滞)、STD(ST段下降),心电图标签第二优先级组包括PAC(房室早搏)、PVC(室性早搏)、LBBB(左束支阻滞),心电图标签第三优先级组包括I-AVB(1度房室阻滞)、STE(ST段抬高)。
表2数据集概要
本发明提出的MLC-CNN以端到端的方式进行训练。该网络由7个残差块组成,每个块有两个卷积层。MLC-CNN中前四个卷积层的权重的滤波器宽度为11。级联层上残留块的后三个卷积的滤波器宽度为7。在每个卷积层之后,分别具有批处理归一化层和整流线性单元遵循(ReLU)功能。批量归一化层是多个样本具有相同维数的输出值,目的是使数据分布归一化并减少卷积层的交替影响。它可以帮助在训练过程中获得更稳定的参数更新。ReLU是一种非线性函数型激励函数,功能是防止梯度在深度神经网络中消失并防止过度拟合,减少错误,加快收敛速度。该模型是使用Adam优化器进行训练的,模型的初始学习率为0.0005。Adam优化器的主要作用是平衡不同类别之间的梯度更新,从而减少由数据不平衡引起的不利影响。本实施例设置了100个训练周期,每12个周期后,学习率乘以0.7的系数。
Dropout作为一种广泛使用的正则化方法,具有与训练一组较小的模型并在测试中取平均值相类似的效果,有利于模型的推广。该方法隐式地对使用不同标签集训练的模型进行平均,从而有效地防止过拟合。本实施例中,在卷积层之间和非线性之后应用Dropout,概率为0.3。
数据集包含6s至60s的ECG记录,因此将数据标准化。根据数据集中ECG记录的最小,中值和最大长度,我们将数据转换为20s的特定大小。如果ECG记录太短,则会将其复制到指定的长度,如果太长则会被裁剪。
为了将我们的方法与现有方法进行比较,使用了k倍交叉验证(k=8),其中训练集和测试集来自同一数据库。心电图片段每折的80%用于训练MLC-CNN,其余20%用于测试我们提出的系统的性能。通过将数据分为8个相等的部分,对ECG段进行分层随机抽样。训练过程重复8次,每次将使用一组新的训练和测试数据训练一个新初始化的模型。为了动态显示训练过程并防止模型拟合过度,在每个训练时期结束时,使用10%的训练数据来验证性能。
图4为训练集、测试集的损失函数曲线与F1分数曲线。从图4位于上方的子图来看,训练集损失与测试集之间存在细微差距,但通常是平稳的。训练集和测试集的F1分数曲线为图4中位于下方的子图。可以看出,在训练精度继续提高的同时,测试精度开始趋于平稳。值得注意的是,训练集的准确性与测试集的准确性是一致的,这意味着所开发的模型是健壮的。
在获得多个不同的分类模型后,将这些模型的集合用于最终提交。系统还包括表决分类器,用于对多模型的输出结果进行投票表决,得到最终的心电图分类结果。为了保留所有可能的模型集成预测,结合概念上不同的模型分类器,并使用多数投票来预测类标签。基于8个模型分别预测测试数据,当每个测试数据至少有5个模型预测异常事件时,将该数据标记为ECG异常事件。这样的分类器可用于一组性能良好的模型,以平衡其各自的弱点。图5显示了本发明采用的投票机制。
为了评估投票机制的有效性,通过实验与没有投票机制的模型来进行比较。在本实验中,我们在测试步骤中详细说明投票机制,并在其他阶段保持其他网络配置不变。实验结果显示在表3中。可以看到,通过投票机制,平均准确率提高了2.3%,F1分数增加了约1.7%。这表明模型的投票机制对于一组性能同样良好的模型很有用,以平衡其各自的弱点并改善模型的分类性能。
表3投票机制有效性对比表
表3显示了本发明MLC-CNN在识别心律不齐中的分类性能,F1分数,平均精度和召回率。使用相同的实验配置环境来完成MLC-CNN上的模型训练。结果表明,在所有类别的F1分数中,具有投票机制的MLC-CNN优于参考Resnet和没有投票机制的MLC-CNN。在2018年中国生理信号挑战赛中,通过模型获得了总体召回率、平均精度、F1分数分别为81.6%,84.5%,82.7%。
此外,还将我们提出的系统与其他基于CNN的最新方法进行了比较。本实施例中,将数据类标签分为三个优先级组。我们还计算了表中标记的每个优先级组的平均F1分数。由于我们提出的MLC-CNN架构包含Resnet和三个层叠层。我们的模型在前两个优先级组中的性能几乎与其他方法相当,但是在最后一个标签优先级组中,其性能是最先进的。图6为分类结果混淆矩阵图。行标签代表每一行所属的真实类记录,列标签代表本发明方法预测的标签。网格中的每个数字代表了每一条记录行标签代表的真实类被分类为列标签的比例。
如表4所示,本发明MLC-CNN在所有评估指标(精度,召回率和F1分数)中均优于其他方法。尤其是,我们的方法在第二优先级和第三优先级数据上效果更好,而无需增加总体样本数据,F1分数分别达到82.9%和78.0%。我们还将本发明与该数据集上三个最新报道的算法进行比较。与TI-CNN(Yao等人)相比,本发明平均F1分数提高了约5.6%(82.7%-77.1%)。与ATI-CNN(Yao等人)相比,我们的结果略胜于他们,平均F1分数提高了约1.6%。我们的方法在F1分数上比Acharya等人的方法高出4.9%(82.7%-76.4%)。
表4与现有技术的评估指标对比
此外,对于标签优先级为2的PAC、PVC、LBBB以及标签优先级为3的I-AVB、STE类,F1分数的收益几乎是最高的。
本发明提出的一种基于标签相关性的预测心电图异常事件的级联网络,以监测患者的心血管状况。通过设计的网络体系结构,MLC-CNN具有出色的分类性能,尤其是在检测小型数据集方面。在多个ECG异常事件得分预测中,其平均F1分数达到82.5%。与某些最新方法相比,我们在公共数据集上展示了出色的ECG分类性能。实验结果证明了该方法的有效性。同时,我们发现心血管异常的最健康护理发生在医院和诊所之外。将来,我们提出的方法也可以用于远程医疗辅助诊断。这不仅节省了医院的医疗资源,而且还使患者能够了解自己的心脏状况。
实施例2:
本发明还提供相应的方法实施例。一种标签相关性引导特征融合的心电图多分类预测方法,该方法包括:
步骤1,根据历史数据中心电图异常标签出现频率,确定心电图标签第一优先级组以及剩余心电图标签集合;
步骤2,针对所述剩余心电图标签集合中的每一个心电图标签rlj,计算所述心电图标签第一优先级组中标签出现时所述心电图标签rlj出现的概率;
步骤3,根据所述标签相关性分析模块的概率计算结果,将所述剩余心电图标签集合划分为多个心电图标签优先级组,优先级高的心电图标签优先级组中心电图标签对应的概率计算结果均大于优先级低的心电图标签优先级组的概率计算结果;
步骤4,利用神经网络主体结构对输入的心电图进行特征提取得到原始特征张量;
步骤5,基于多级级联分支、心电图正常预测分支进行心电图多分类预测,所述多级级联分支的每一级级联分支分别用于预测一个心电图标签优先级组的标签概率,具有与心电图标签优先级组相同的优先级,包括特征融合子模块、心电图分类子模块;所述特征融合子模块用于对所述原始特征张量以及优先级高于当前优先级的级联分支特征融合子模块输出的对应级融合特征张量联结后得到的特征张量进行融合分析,得到当前级融合特征张量;所述心电图分类子模块用于对所述当前级融合特征张量进行分类分析,输出对应优先级的心电图标签优先级组的标签概率;所述心电图正常预测分支,用于对原始特征张量进行分类分析,输出心电图正常概率。
以上实施例仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种标签相关性引导特征融合的心电图多分类预测系统,其特征在于,该系统包括:
标签粗糙分类模块,用于根据历史数据中心电图异常标签出现频率,确定心电图标签第一优先级组以及剩余心电图标签集合;
标签相关性分析模块,用于针对所述剩余心电图标签集合中的每一个心电图标签rlj,计算所述心电图标签第一优先级组中标签出现时所述心电图标签rlj出现的概率;
标签精细分类模块,用于根据所述标签相关性分析模块的概率计算结果,将所述剩余心电图标签集合划分为多个心电图标签优先级组,优先级高的心电图标签优先级组中心电图标签对应的概率计算结果均大于优先级低的心电图标签优先级组的概率计算结果;
原始特征提取模块,用于利用神经网络主体结构对输入的心电图进行特征提取得到原始特征张量;
心电图多分类预测模块,用于进行心电图多分类预测,包括多级级联分支、心电图正常预测分支;所述多级级联分支中的每一级级联分支分别用于预测一个心电图标签优先级组的标签概率,具有与心电图标签优先级组相同的优先级,包括特征融合子模块、心电图分类子模块;所述特征融合子模块用于对所述原始特征张量以及优先级高于当前优先级的级联分支特征融合子模块输出的对应级融合特征张量联结后得到的特征张量进行融合分析,得到当前级融合特征张量;所述心电图分类子模块用于对所述当前级融合特征张量进行分类分析,输出对应优先级的心电图标签优先级组的标签概率;所述心电图正常预测分支,用于对所述原始特征张量进行分类分析,输出心电图正常概率。
2.如权利要求1所述的系统,其特征在于,所述确定心电图标签第一优先级组以及剩余心电图标签集合包括:
将历史数据中心电图异常标签出现频率最高的若干个异常标签组成心电图标签第一优先级组;剩余的心电图异常标签组成剩余心电图标签集合。
3.如权利要求1所述的系统,其特征在于,所述特征融合模块基于注意力机制实现。
4.如权利要求1所述的系统,其特征在于,所述神经网络主体包括7个残差块,每个残差块包括两个卷积层。
5.如权利要求1所述的系统,其特征在于,所述系统还包括表决分类器,用于对多模型的输出结果进行投票表决,得到最终的心电图分类结果。
6.如权利要求1所述的系统,其特征在于,所述将所述剩余心电图标签集合划分为多个心电图标签优先级组具体为:
将所述剩余心电图标签集合划分为两个心电图标签优先级组:心电图标签第二优先级组、心电图标签第三优先级组。
7.如权利要求1所述的系统,其特征在于,所述多级级联分支包括三级级联分支;第一级联分支包括第一特征融合子模块、第一心电图分类子模块,具有第一优先级,所述第一特征融合子模块用于对所述原始特征张量进行融合分析,得到第一级融合特征张量,所述第一心电图分类子模块用于对所述第一级融合特征张量进行分类分析,输出所述心电图标签第一优先级组的标签概率;第二级联分支包括第二特征融合子模块、第二心电图分类子模块,具有第二优先级,所述第二特征融合子模块用于对所述原始特征张量、所述第一级融合特征张量联结后得到的特征张量进行融合分析,得到第二级融合特征张量,所述第二心电图分类子模块用于对所述第二级融合特征张量进行分类分析,输出心电图标签第二优先级组的标签概率;第三级联分支包括第三特征融合子模块、第三心电图分类子模块,具有第三优先级,所述第三特征融合子模块用于对所述原始特征张量、所述第一级融合特征张量、所述第二级融合特征张量联结后得到的特征张量进行融合分析,得到第三级融合特征张量,所述第三心电图分类子模块用于对所述第三级融合特征张量进行分类分析,输出心电图标签第三优先级组的标签概率。
8.一种标签相关性引导特征融合的心电图多分类预测方法,其特征在于,该方法包括:
步骤1,根据历史数据中心电图异常标签出现频率,确定心电图标签第一优先级组以及剩余心电图标签集合;
步骤2,针对所述剩余心电图标签集合中的每一个心电图标签rlj,计算所述心电图标签第一优先级组中标签出现时所述心电图标签rlj出现的概率;
步骤3,根据所述标签相关性分析模块的概率计算结果,将所述剩余心电图标签集合划分为多个心电图标签优先级组,优先级高的心电图标签优先级组中心电图标签对应的概率计算结果均大于优先级低的心电图标签优先级组的概率计算结果;
步骤4,利用神经网络主体结构对输入的心电图进行特征提取得到原始特征张量;
步骤5,基于多级级联分支、心电图正常预测分支进行心电图多分类预测,所述多级级联分支的每一级级联分支分别用于预测一个心电图标签优先级组的标签概率,具有与心电图标签优先级组相同的优先级,包括特征融合子模块、心电图分类子模块;所述特征融合子模块用于对所述原始特征张量以及优先级高于当前优先级的级联分支特征融合子模块输出的对应级融合特征张量联结后得到的特征张量进行融合分析,得到当前级融合特征张量;所述心电图分类子模块用于对所述当前级融合特征张量进行分类分析,输出对应优先级的心电图标签优先级组的标签概率;所述心电图正常预测分支,用于对原始特征张量进行分类分析,输出心电图正常概率。
9.如权利要求8所述的方法,其特征在于,所述步骤3中将所述剩余心电图标签集合划分为多个心电图标签优先级组具体为:
将所述剩余心电图标签集合划分为两个心电图标签优先级组:心电图标签第二优先级组、心电图标签第三优先级组。
10.如权利要求8所述的方法,其特征在于,所述多级级联分支包括三级级联分支;第一级联分支包括第一特征融合子模块、第一心电图分类子模块,具有第一优先级,所述第一特征融合子模块用于对所述原始特征张量进行融合分析,得到第一级融合特征张量,所述第一心电图分类子模块用于对所述第一级融合特征张量进行分类分析,输出所述心电图标签第一优先级组的标签概率;第二级联分支包括第二特征融合子模块、第二心电图分类子模块,具有第二优先级,所述第二特征融合子模块用于对所述原始特征张量、所述第一级融合特征张量联结后得到的特征张量进行融合分析,得到第二级融合特征张量,所述第二心电图分类子模块用于对所述第二级融合特征张量进行分类分析,输出心电图标签第二优先级组的标签概率;第三级联分支包括第三特征融合子模块、第三心电图分类子模块,具有第三优先级,所述第三特征融合子模块,用于对所述原始特征张量、所述第一级融合特征张量、所述第二级融合特征张量联结后得到的特征张量进行融合分析,得到第三级融合特征张量,所述第三心电图分类子模块用于对所述第三级融合特征张量进行分类分析,输出心电图标签第三优先级组的标签概率。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011459650.4A CN112450944B (zh) | 2020-12-11 | 2020-12-11 | 标签相关性引导特征融合的心电图多分类预测系统与方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011459650.4A CN112450944B (zh) | 2020-12-11 | 2020-12-11 | 标签相关性引导特征融合的心电图多分类预测系统与方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112450944A CN112450944A (zh) | 2021-03-09 |
CN112450944B true CN112450944B (zh) | 2022-10-21 |
Family
ID=74803513
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011459650.4A Active CN112450944B (zh) | 2020-12-11 | 2020-12-11 | 标签相关性引导特征融合的心电图多分类预测系统与方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112450944B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113076846B (zh) * | 2021-03-26 | 2022-09-02 | 山东大学 | 心音分类识别方法及系统 |
CN113229825A (zh) * | 2021-06-22 | 2021-08-10 | 郑州大学 | 一种基于深度神经网络的多标签多导联心电图分类方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107133293A (zh) * | 2017-04-25 | 2017-09-05 | 中国科学院计算技术研究所 | 一种适用于多标签分类的ML‑kNN改进方法和系统 |
CN110974214A (zh) * | 2019-12-20 | 2020-04-10 | 华中科技大学 | 一种基于深度学习的自动心电图分类方法、系统及设备 |
CN111743531A (zh) * | 2020-03-31 | 2020-10-09 | 江苏广宇淘璞网络科技有限公司 | 心电节律和形态异常识别及装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10426364B2 (en) * | 2015-10-27 | 2019-10-01 | Cardiologs Technologies Sas | Automatic method to delineate or categorize an electrocardiogram |
US10779744B2 (en) * | 2015-10-27 | 2020-09-22 | Cardiologs Technologies Sas | Automatic method to delineate or categorize an electrocardiogram |
-
2020
- 2020-12-11 CN CN202011459650.4A patent/CN112450944B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107133293A (zh) * | 2017-04-25 | 2017-09-05 | 中国科学院计算技术研究所 | 一种适用于多标签分类的ML‑kNN改进方法和系统 |
CN110974214A (zh) * | 2019-12-20 | 2020-04-10 | 华中科技大学 | 一种基于深度学习的自动心电图分类方法、系统及设备 |
CN111743531A (zh) * | 2020-03-31 | 2020-10-09 | 江苏广宇淘璞网络科技有限公司 | 心电节律和形态异常识别及装置 |
Non-Patent Citations (6)
Title |
---|
"Application of Deep Convolutional Neural Network for Automated Detection of Myocardial Infarction Using ECG Signals";Acharya U R et al.;《Informations Sciences》;20171130;全文 * |
"Cardiologist-Level Arrhythmia Detection with Convolutional Neural Networks";Pranav Rajpurkar et al.;《Computer Science》;20170706;全文 * |
"Deep Residual Learning for Image Recognition";Kaiming He et al.;《Conference on Computer Vision and Pattern Recognition》;20161212;全文 * |
"Multi-class Arrhythmia detection from 12-lead varied-length ECG using Attention-based Time-Incremental Convolutional Neural Network";Qihang Yao et al.;《Information Fusion》;20200131;第53卷;全文 * |
"Multi-Label Learning by Exploiting Label Dependency";Min-Ling Zhang et al.;《Proceedings of the 16th ACM SIGKDD international conference on Knowledge discovery and data mining》;20100725;全文 * |
"Multiscaled Fusion of Deep Convolutional Neural Networks for Screening Atrial Fibrillation From Single Lead Short ECG Recordings";Xiaomao Fan et al.;《JOURNAL OF BIOMEDICAL AND HEALTH INFORMATICS》;20181130;第22卷;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112450944A (zh) | 2021-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wang et al. | A high-precision arrhythmia classification method based on dual fully connected neural network | |
Shi et al. | Automated heartbeat classification based on deep neural network with multiple input layers | |
Mousavi et al. | ECGNET: Learning where to attend for detection of atrial fibrillation with deep visual attention | |
Chauhan et al. | ECG anomaly class identification using LSTM and error profile modeling | |
Kiranyaz et al. | Personalized long-term ECG classification: A systematic approach | |
CN110974214A (zh) | 一种基于深度学习的自动心电图分类方法、系统及设备 | |
Ge et al. | Multi-label correlation guided feature fusion network for abnormal ECG diagnosis | |
CN112450944B (zh) | 标签相关性引导特征融合的心电图多分类预测系统与方法 | |
Kumar et al. | Hybrid Bijective soft set-Neural network for ECG arrhythmia classification | |
Siouda et al. | ECG beat classification using neural classifier based on deep autoencoder and decomposition techniques | |
Golrizkhatami et al. | Multi-scale features for heartbeat classification using directed acyclic graph CNN | |
Vázquez et al. | Label noise and self-learning label correction in cardiac abnormalities classification | |
Wu et al. | A deep neural network ensemble classifier with focal loss for automatic arrhythmia classification | |
Muhammed et al. | Prediction of heart diseases by using supervised machine learning algorithms | |
Jayasanthi et al. | Independent component analysis with learning algorithm for electrocardiogram feature extraction and classification | |
Kutluana et al. | Classification of cardiac disorders using weighted visibility graph features from ECG signals | |
Zhang et al. | A deep Bayesian neural network for cardiac arrhythmia classification with rejection from ECG recordings | |
Pal et al. | Two-Stage Classifier for Resource Constrained On-Board Cardiac Arrhythmia Detection | |
Thalluri et al. | Ecg signal classification using deep neural networks with ensemble techniques | |
Karthikeyan et al. | An Efficient Method for Heart Disease Prediction Using Hybrid Classifier Model in Machine Learning | |
Kumar et al. | Special disease prediction system using machine learning | |
CN114366116A (zh) | 一种基于Mask R-CNN网络及心电图的参数获取方法 | |
Rajmohan et al. | G-Sep: A Deep Learning Algorithm for Detection of Long-Term Sepsis Using Bidirectional Gated Recurrent Unit | |
Mohamed et al. | Multi-label classification and evidential approach in diseases diagnoses using physiological signals | |
Mogili et al. | Detection of Cardiac Arrhythmia from ECG Using CNN and XGBoost. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |