CN118197592A - 一种基于数据扩充的多模态心律失常分类辅助诊断系统 - Google Patents
一种基于数据扩充的多模态心律失常分类辅助诊断系统 Download PDFInfo
- Publication number
- CN118197592A CN118197592A CN202311502587.1A CN202311502587A CN118197592A CN 118197592 A CN118197592 A CN 118197592A CN 202311502587 A CN202311502587 A CN 202311502587A CN 118197592 A CN118197592 A CN 118197592A
- Authority
- CN
- China
- Prior art keywords
- module
- data
- classification
- signal
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 24
- 206010003119 arrhythmia Diseases 0.000 title claims abstract description 23
- 230000006793 arrhythmia Effects 0.000 title claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 11
- 238000009826 distribution Methods 0.000 claims description 10
- 238000000034 method Methods 0.000 abstract description 29
- 238000004458 analytical method Methods 0.000 abstract description 3
- 239000010410 layer Substances 0.000 description 54
- 206010047281 Ventricular arrhythmia Diseases 0.000 description 38
- 230000004927 fusion Effects 0.000 description 34
- 238000005070 sampling Methods 0.000 description 25
- 230000006870 function Effects 0.000 description 16
- 230000007246 mechanism Effects 0.000 description 16
- 230000008569 process Effects 0.000 description 15
- 238000012549 training Methods 0.000 description 13
- 238000002474 experimental method Methods 0.000 description 9
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 5
- 238000002679 ablation Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000011176 pooling Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000000877 morphologic effect Effects 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000013145 classification model Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000002565 electrocardiography Methods 0.000 description 3
- 239000002356 single layer Substances 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000009827 uniform distribution Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 208000031662 Noncommunicable disease Diseases 0.000 description 1
- 101100194362 Schizosaccharomyces pombe (strain 972 / ATCC 24843) res1 gene Proteins 0.000 description 1
- 208000001871 Tachycardia Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 231100000517 death Toxicity 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002779 inactivation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012421 spiking Methods 0.000 description 1
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Image Analysis (AREA)
Abstract
本发明属于心电信号分析技术领域，具体公开了一种基于数据扩充的多模态心律失常分类辅助诊断系统，包括数据处理模块、多模态匹配数据扩充模块、多模态特征提取模块、心律失常分类模块和外部接口模块。数据处理模块用于对长信号进行截取和模态转换；多模态匹配数据扩充模块以样本量最多的类别的数量为标准，对其他类别进行数据扩充；多模态特征提取模块采用卷积神经网络分别提取信号和图像两种模态下的特征，并进行拼接；心律失常分类模块用于对拼接特征进行降维并分类；外部接口模块用于接收心电记录并呈现分类结果。采用本发明的辅助诊断系统，通过基于多模态匹配的数据扩充方法平衡数据集，提取多模态数据特征，提高心律失常分类准确率。
Description
技术领域
本发明属于心电信号分析技术领域，更具体的涉及一种多模态注意机制室性心律失常分类辅助诊断系统。
背景技术
室性心律失常发生在心脏收缩和舒张过程中，是由心脏电活动的频率或节奏异常引起的，临床上根据发病时的心率将室性心律失常归类为快速性心律失常。心电图(ECG)是一种诊断工具，它是由心电图机产生的，可以从身体表面捕获心脏的周期性电活动，对临床医生进行心律失常诊断起着重要作用。根据世界卫生组织(WHO)在2022年所做的报告，心血管疾病是非传染性疾病中的一种主要致死原因。其中，因为缺乏医学专家及时解释和分析心电图信号，导致室性心律失常不能在短时间内得到有效治疗，超过一半的死亡发生在低收入或中低收入国家。因此，通过心电图(ECG)准确识别和分类室性心律失常具有重要意义。
室性心律失常的分类是一个重要的话题，因为室性心律失常是最致命的疾病之一。室性心律失常的分类近年来引起了广泛的关注。许多研究者深入到这一领域，探索基于深度学习(DL)的室性心律失常分类技术。现有的方法大多是基于单模态数据设计的，由于提取的特征相对单调，性能会受到限制。根据心电图(ECG)数据的模态，可以将现有的分类技术分为基于一维信号的方法和基于二维图像的方法。
基于一维信号的方法采用心电信号作为输入，可以获得完整的特征信息。如，基于Transformer，结合信号的形态学特征和时间信息RR间隔；基于卷积神经网络(CNN)，考虑形态学特征、RR间隔和拍与拍之间的相关特征；基于改进的7层CNN，在每个卷积层上使用不同大小的卷积核，提取不同尺度上的特征，提高模型的性能。然而，由于在一维信号数据中只能捕获时间特征，且缺乏形态学特征，因此这类方法难以克服数据的个体差异性，导致分类性能较差。
此外，基于二维图像的方法采用心电图像作为输入，增强了数据的形态学特征，可以扩充特征的丰富性。如，基于深度二维CNN，对图像进行九种方式的裁剪，实现数据增强；基于二维CNN，设置心跳自动选择模块，以三个相邻心跳的二维耦合矩阵作为输入数据；基于深度二维CNN，通过短时傅里叶变换(STFT)从心电信号中获得时频(TF)谱图作为输入；基于7层CNN，以二维灰度心电图图像作为模型输入。基于二维图像方法的输入是通过对信号截取和转换得到的，这一过程会导致原始特征丢失，造成特征信息的完整性较差，这也会影响模型的分类性能。
发明内容
本发明针对上述现有技术存在的不足，提供一种多模态注意机制室性心律失常分类辅助诊断系统，目的在于通过构建“信号-图像对”更深入地挖掘心电图的多模态特征，通过提取多模态数据特征并进行有效融合，实现准确率更高的室性心律失常分类。
具体技术方案如下：
一种多模态注意机制室性心律失常分类辅助诊断系统，其与现有技术的区别在于，包括数据处理模块、多模态特征提取编码模块、多注意力特征融合模块、室性心律失常心拍判别模块以及外部接口模块。
A)数据处理模块，用于将心电信号长信号截取为单心拍，并转换为图像，获得两种模态的数据。
进一步，所述心拍截取次数为两次。
更进一步，所述第一次心拍截取，以R波为中心，向前截取180采样点，向后截取179采样点，共计360个采样点作为一个心拍(S＝(s0，s1，...，s359))；对心拍S进行归一化处理；将心拍转换为图像，并将其保存为二维二值矩阵I(0为背景，1为采样点)。
具体地，所述归一化处理首先将心拍S的值归一化到[0,1]之间，并根据AAMI标准将心拍类别重新标注为V类(室性心律失常)和NV类(除了室性心律失常之外的其他类别)；其次，在随后的数据模态转换中，考虑到大多数方法截取251个采样点作为一个心拍，将心拍S的幅值重新标准化到[0,250]之间。
更进一步，所述第二次心拍截取，为了丰富样本的多样性，通过滑动窗口对S(S∈R1×360)和I(I∈R1×251×360)进行截取，此时不再把R波作为心拍的中心点。
具体地，在训练过程中，从服从均匀分布的[60,100]范围中，随机初始化一个起点，并向后截取251个采样点作为一个心拍；
在测试过程中，在范围[60,100]中等距离选择5个初始点，对每个心拍采样5次(即将心拍起点分别设置在60、70、80、90、100的位置)，以采用投票机制。
进一步，所述数据处理模块得到的两种模态数据分别是一维心电信号S和二维心电图图像I。
其中，一维心电信号S的大小为1×251(S∈R1×251)，二维心电图图像I的大小为1×251×251(I∈R1×251×251)。
B)多模态特征提取编码模块用于从两种模态的数据中提取特征信息。所述特征编码器包括一维信号编码器和二维图像编码器。
进一步，为了防止梯度消失或者梯度爆炸现象的出现，所述特征编码器优选为残差结构和LSTM网络搭建。
进一步，所述一维信号编码器包括卷积层、残差块、平均池化层和LSTM层。
更进一步，卷积层的卷积核大小优选为3×3。
为避免过拟合，所述一维信号编码器的残差块(Res1)优选为1个。
更进一步，所述残差块由两个残差连接组成，每个残差连接内部包含两个卷积层。
其中，每个卷积层内部由一个3×3大小的卷积层，一个BatchNorm层以及一个ReLu激活函数层组成。
由于LSTM层可以捕获时间特征，所述一维信号编码器最后一层为LSTM层。
进一步，为了保证一维信号编码器和二维图像网络的层数平衡性，二维图像编码器在平均池化层和LSTM层之间，添加一个二维卷积层，用于匹配一维信号特征Fs和二维图像特征Fi的通道数目，得到多注意力特征融合模块所需的一维信号特征Fs和二维图像特征Fi。
其中，所述二维卷积层卷积核大小优选为1×1。
C)多注意力特征融合模块用于融合两个单模态特征，得到具有多模态相关性的融合特征。
进一步，所述多注意力特征融合模块包括交叉注意力网络子模块和自我注意力网络子模块。
具体地，为了有效融合一维信号特征Fs和二维图像特征Fi，首先将这两个特征输入到交叉注意力网络子模块中，获得信号注意力特征Fs→i和图像注意力特征Fi→s；其次，在交叉注意力网络后添加一维卷积层，用来对齐Fs→i和Fi→s；最后，将Fs→i和Fi→s直接拼接得到融合特征Fsi；在交叉注意力网络建立后，添加自我注意力网络，所述自我注意力网络结构与单边的交叉注意力网络相同。
其中，一维卷积层卷积核的大小优选为1×1。
更进一步，所述交叉注意力网络的核心部分是多头注意力网络，所述多头注意力网络中Head设置优选为8。
具体地，所述多头注意力网络后面连接一个前馈层(FFL)，为了减少更新参数的数量，在前馈层(FFL)中添加Dropout层。
其中，失活率优选设置为0.1。
D)室性心律失常心拍判别模块用于对融合特征进行判别，输出单心拍被判别为室性心律失常的概率分布，所述室性心律失常心拍判别模块包括训练阶段和使用阶段。
具体地，所述室性心律失常心拍判别模块使用全连接层对充分融合一维信号特征和二维图像特征的多模态特征向量进行分类；通过softmax层生成概率分布。
进一步，所述训练阶段，将心电信号通过数据处理模块进行处理，生成相应的图像，将“信号-图像对”作为训练集数据。通过设置epoch、batchsize、损失函数、优化器、学习率、延迟率等参数，对训练集数据不断进行迭代计算，训练结束后，选择训练过程中性能最优的模型，并保存模型文件。
其中，epoch优选为30；
batchsize优选为32；
损失函数优选为交叉熵损失函数(Cross-Entropy Loss Function)；
优化器优选为自适应矩估计(Adam)；
学习率优选设置为1e-3，每两个epoch延迟率优选设置为0.1；
模型文件优选保存为.pkl文件。
进一步，所述使用阶段，调用保存的模型文件，将获取到的心电信号依次经过数据处理模块、多模态特征提取编码模块、多注意力特征融合模块，生成相应的图像，以“信号-图像对”作为输入数据；将每个“信号-图像对”进行多次采样，并标记采样结果；采用投票机制决定心拍的最终判别结果。
具体地，将每个“信号-图像对”采样5次，判别结果分别标记为P1、P2、P3、P4和P5。可以分为以下两种情况：
(1)理想情况下，如果所有的判别结果都是相同的类别，则将这种类型作为最终判别结果(如：P1＝V、P2＝V、P3＝V、P4＝V、P5＝V，则最终判别结果为V类)；
(2)将出现次数最多的判别类型作为最终判别结果(如：P1＝V、P2＝V、P3＝V、P4＝NV、P5＝NV，则最终判别结果为V类)。
E)外部接口模块用于临床数据输入和分类结果输出呈现，所述外部结构模块包括信号输入模块和结果输出模块。
进一步，所述信号输入模块可以将心电采集设备获取到的数据输入到系统中来。
进一步，所述结果输出模块可以呈现本系统的判别结果，用以辅助专家诊断。
上述模块通过以下方式进行连接配合：
在模型训练的过程中，首先通过外部接口模块将心电信号及其注释标签读取进来，将其输入到数据处理模块，对长信号进行单心拍第一次截取，以R波为中心，向前截取180采样点，向后截取179采样点，共计360个采样点作为一个心拍(S＝(s0，s1，...，s359))，随后进行归一化并转换为图像，以二维二值矩阵的形式保存(0为背景，1为采样点)。再对信号和图像进行第二次截取，此时不再把R波作为心拍的中心点。在服从均匀分布的[60,100]范围中，随机初始化一个起点，并向后截取251个采样点作为一个心拍。根据AAMI标准将心拍类别重新标注为V型和NV型。接下来将两种模态的数据输入到多模态特征提取编码模块，分别从两种模态的数据中提取特征信息，得到多注意力特征融合模块所需的一维信号特征Fs和二维图像特征Fi。将两类特征输入到多注意力特征融合模块，通过Cross-attention和Self-attention网络融合两个单模态特征，得到具有多模态相关性的融合特征。把融合特征输入到室性心律失常心拍判别模块，对其进行类型判别，输出单心拍被判别为室性心律失常的概率分布。过程中，选择交叉熵损失函数(Cross-Entropy Loss Function)作为损失函数，自适应矩估计(Adam)设置为优化器进行迭代计算，每一个epoch计算一次模型的性能，并保存性能最好的模型保存为.pkl文件。
在模型使用的过程中，首先将保存下来的.pkl模型文件读入，然后再通过外部接口模块读取心电信号数据，将其输入到数据处理模块，对长信号进行单心拍第一次截取，以R波为中心，向前截取180采样点，向后截取179采样点，共计360个采样点作为一个心拍(S＝(s0，s1，...，s359))，随后进行归一化并转换为图像，保存为二维二值矩阵I(0为背景，1为采样点)。再对信号和图像进行第二次截取，此时不再把R波作为心拍的中心点。在范围[60,100]中对每个心拍采样5次(即将心拍起点分别设置在60、70、80、90、100的位置)，并向后截取251个采样点作为一个心拍。这一过程中，依次将同一个心拍的五次截取样本输入到多模态特征提取编码模块，分别从两种模态的数据中提取特征信息，得到多注意力特征融合模块所需的一维信号特征Fs和二维图像特征Fi。将两类特征输入到多注意力特征融合模块，通过Cross-attention和Self-attention网络融合两个单模态特征，得到具有多模态相关性的融合特征。把融合特征输入到室性心律失常心拍判别模块，对其进行类别判别，判别结果分别标记为P1、P2、P3、P4和P5。然后采用投票机制决定心拍的最终判别结果，判别方法如下：(1)理想情况下，如果所有的判别结果都是相同的类别，则将这种类型作为最终判别结果(如：P1＝V、P2＝V、P3＝V、P4＝V、P5＝V，则最终判别结果为V类)；(2)将出现次数最多的判别类型作为最终判别结果(如：P1＝V、P2＝V、P3＝V、P4＝NV、P5＝NV，则最终判别结果为V类)。最后输出单心拍被判别为室性心律失常的概率分布到外部接口模块，呈现给专家以辅助诊断。
本发明的有益效果如下：
(1)与现有技术相比，本发明的多模态注意机制室性心律失常分类辅助诊断系统，通过由残差网络和LSTM搭建的特征编码器，分别提取一维信号和二维图像的多模态特征并进行有效融合，充分利用特征的多样性，建立了一种高性能的室性心律失常分类辅助诊断系统。
(2)与现有技术相比，本发明的多模态注意机制室性心律失常分类辅助诊断系统，通过对信号的第一次截取可以保留完整的心拍特征，在训练中进行第二次截取可以丰富数据的多样性，在使用过程中进行第二次截取，从而应用投票机制判别，可以提高分类准确度。
(3)与现有技术相比，本发明的多模态注意机制室性心律失常分类辅助诊断系统，采用了一种巧妙的注意力机制来进行特征融合，Cross-attention网络可以有效地捕捉多模态数据间的相关性，注意力特征经过Self-attention网络做进一步处理，从而缓解了特征单一的局限性。
(4)与现有技术相比，本发明的多模态注意机制室性心律失常分类辅助诊断系统，使用了神经网络进行搭建，用深度学习的方法对网络进行训练，进行心拍类别的判别，获得了极高的分类准确率。本系统表现出了在室性心律失常分类上的优异性能，可以应用于临床，为医生的诊断治疗起到辅助作用。
附图说明
图1为本发明的多模态注意机制室性心律失常分类辅助诊断系统结构示意图；
图2为本发明的多模态注意机制室性心律失常分类辅助诊断系统中多模态特征提取编码模块示意图；
图3为本发明的多模态注意机制室性心律失常分类辅助诊断系统中多注意力特征融合模块示意图；
图4为本发明的多模态注意机制室性心律失常分类辅助诊断系统中多注意力特征融合模块Cross-attention网络和Self-attention网络的单层结构示意图(其中，(a)代表Cross-attention网络，(b)代表Self-attention网络)。
具体实施方式
以下结合实例对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
一种多模态注意机制室性心律失常分类辅助诊断系统，包括数据处理模块、多模态特征提取编码模块、多注意力融合模块、室性心律失常心拍判别模块以及外部接口模块，如图1所示。
A)数据处理模块，用于对从外部接口模块输入的心电信号进行处理，包括截取单心拍，归一化和图像转换。具体操作如下：将外部接口模块输入的心电图信号选取单个通道进行心拍截取，该过程无需进行滤波和去噪处理。在第一次心拍截取时，以R波为中心，向前截取180采样点，向后截取179采样点，共计360个采样点作为一个心拍(S＝(s0，s1，...，s359))。同时，对心拍S进行归一化，将它的值归一化到[0,1]之间。在随后的数据模态转换时，考虑到大多数方法截取251个采样点作为一个心拍，本发明将S的幅值重新标准化到[0,250]之间，再转换为图像，将其保存为二维二值矩阵I(0为背景，1为采样点)，并根据AAMI标准将心拍类别重新标注为V型和NV型。为了丰富样本的多样性，我们通过滑动窗口对S(S∈R1×360)和I(I∈R1×251×360)进行了第二次截取，此时不再把R波作为心拍的中心点。在训练过程中，从服从均匀分布的[60,100]范围中，随机初始化一个起点，并向后截取251个连续的采样点。在测试过程中，在范围[60,100]中对每个心拍采样5次(即将心拍起点分别设置在60、70、80、90、100的位置)，以采用投票机制。此时，获得一维心电信号S的大小为1×251(S∈R1×251)，二维心电图图像I的大小为1×251×251(I∈R1×251×251)。
B)多模态特征提取编码模块，用于分别从两种模态的数据中提取特征信息。通过数据处理，得到了两种模态的输入数据。然后将一维信号和二维图像分别输入到相应的特征编码器。为了防止梯度消失或者梯度爆炸现象的出现，选择残差结构和LSTM网络作为特征编码器。信号和图像编码器的第一个卷积层均使用3×3大小的卷积核。在信号编码器中，为了避免过拟合，我们只使用一个残差块(Res1)，它由两个残差连接组成，每个残差结构内部包含两个卷积层，每个卷积层内部由一个3×3大小的卷积层，一个BatchNorm层以及一个ReLu激活函数层组成。随后连接一个平均池化层。由于LSTM层可以捕获时间特征，所以使用LSTM作为编码器的最后一层。同样地，为了保证两个编码器网络的层数平衡性，在图像编码器中也只使用了一个残差块。值得注意的是，在图像编码器的平均池化层和LSTM层之间，添加了一个具有1×1大小卷积核的二维卷积层，用于匹配信号特征Fs和图像特征Fi的通道数目。经过上述过程，我们得到了多注意力特征融合模块所需的一维信号特征Fs和二维图像特征Fi。该模块结构示意图如图2所示。
C)多注意力特征融合模块，用于融合两个单模态特征，得到具有多模态相关性的融合特征。该模块由交叉注意力网络和自我注意力网络两个子模块组成，模块结构示意图如图3所示。为了有效地融合信号特征Fs和图像特征Fi，首先将两个特征输入到交叉注意力网络中，获得信号注意力特征Fs→i和图像注意力特征Fi→s。交叉注意力网络的核心部分是多头注意力网络，所述模块的单层结构示意图如图4(a)所示。其后连接一个前馈层(FFL)。为了减少更新参数的数量，在FFL中添加了Dropout层，并设置失活率为0.1。在FFL后添加了一个平均池化层以及一个具有1×1大小卷积核的一维卷积层，用来对齐Fs→i和Fi→s。然后，将Fs→i和Fi→s直接拼接得到融合特征Fsi。在交叉注意力网络建立后，添加自我注意力网络做进一步的处理得到最终的融合特征。其结构与单边的交叉注意力网络相同，所述的Self-attention单层结构示意图如图4(b)所示。
D)室性心律失常心拍判别模块，用于对融合特征进行判别，输出单心拍被判别为室性心律失常的概率分布。通过上述过程，得到一个充分融合一维信号特征Fs和二维图像特征Fi的多模态特征向量，将其输入一个全连接层进行分类，然后通过Softmax层生成一个1×4的概率分布。
E)外部接口模块，用于临床数据的输入和分类结果的输出呈现，包括信号输入模块和结果输出模块。所述信号输入模块可以将心电采集设备获取到的数据输入到本系统中来；所述结果输出模块可以呈现系统的判别结果，以辅助专家诊断。
对医生的诊断进行辅助：
具体地，一种多模态注意机制室性心律失常分类辅助诊断系统使用如下方式进行训练：
本发明使用由美国麻省理工学院和波士顿的贝斯以色列医院提供的MIT-BIH心律失常数据库。它由48个半小时双通道动态心电图记录组成，采样频率为每秒360个采样点，这些记录由麻省理工学院心律失常实验室在1975年至1979年间的47名受试者提供。这48条记录的R波是由两名或两名以上的心脏病专家进行独立注释获得的。值得注意的是，数据库中有4条记录(102、104、107、217)是由佩戴有心脏起搏器的患者提供，所以在实验中去除了它们。最后选择剩余记录的第一个通道进行实验。
基于病人间的范式，将44条记录(除102、104、107和217条记录外)按照1:1的比例划分为两个子数据集，即DS1：101,106,108,109,112,114,115,116,118,119,122,124,201,203,205,207,208,209,215,220,223,230；DS2：100,103,105,111,113,117,121,123,200,202,210,212,213,214,219,221,222,228,231,232,233,234。其中DS1用来训练模型，DS2用来测试模型，检测模型的各性能指标。
将训练数据集DS1读取进来，进行心拍截取、归一化和图像转换，并将其存储下来。读取心拍输入到多模态特征提取编码模块，提取到的单模态特征由多注意力特征融合模块进行处理得到融合特征，最后进行分类。在一个训练过程中，依次从DS1中每次抽取一个batchsize的心拍，直到所有的心拍都经过一次训练。再将DS2中的数据依次读入，当DS2中的心拍全部测试完毕，计算一次模型的准确率。在完成设定的epoch＝30次训练之后，将过程中准确率最高的模型存储下来，保存为.pkl文件。在使用时，调用保存的.pkl模型文件，对获取到的心电信号进行诊断分类。
本发明基于Pytorch框架在NVIDIA GeForce GTX 1080Ti GPU上实现，模态转换在Intel Core-i5-10400F CPU进行。所有的代码都是基于Python语言编写。
为了评估本发明中所述的模型的性能，使用AAMI标准提出的5个评价指标：准确性(ACC)、特异性(Sp)、敏感性(Se)、阳性预测值(PPV)和F1_score。计算方式如下：
其中，参数TP、TN、FP和FN分别代表真阳性、真阴性、假阳性和假阴性样本的数量。
我们进行了多组实验来证明模型设计的有效性。具体地，为了验证多模态数据是否提高了分类性能，通过只使用信号、只使用图像和使用“信号-图像对”数据分别进行了三组实验。并相应的搭建带有分类层的信号编码器模型(SE)、带有分类层的图像编码器模型(IE)和直接拼接分类模型(SI-Concat)，用于消融实验，其中各层的参数设置不变。
实验结果如表1所示。在SE中，取本发明所述的多模态特征提取编码模块中的信号编码器，然后连接全连接层，得到准确率为96.83％。而在IE中，选择图像编码器，然后是全连接层，准确率为96.36％。随后，对“信号-图像对”数据进行测试，此时将整个多模态特征提取编码模块保留。将信号特征Fs和图像特征Fi进行拼接做特征融合，将融合特征直接输入最终分类层，准确率为97.29％。在表1中，我们发现拼接融合特征获得的分类准确率比仅使用信号提高了0.46％，比仅使用图像提高了0.93％。这说明多模态对提高分类精度具有重要意义。
表1多模态数据消融实验结果
在最开始搭建多模态特征提取编码模块所述的信号编码器和图像编码器时，都使用了两个残差块(Res2)。但Res2+Res2+Attention结构的分类结果并不理想，总体分类准确率仅为96.31％，如表2的第一行所示。考虑到信号的维度较小，故减少了信号编码器的层数，将信号编码器切换为Res1。将Res1+Res2作为信号编码器和图像编码器的架构，并将Fs和Fi输入多注意力特征融合模块，相应的分类精度如表2第二行所示。最后，为了实现子编码器层数的平衡，我们将图像编码器也修改为Res1，得到准确率为97.72％，如表2的最后一行所示。
表2特征编码器层数选择消融实验结果
在表2中，与Res2+Res2+Attention结构相比，本发明的分类准确率提高了1.41％，与Res1+Res2+Attention结构相比提高了0.64％。这表明，根据数据大小修改网络的深度有助于提高性能。
为了确定最终要使用的优化器和损失函数，我们也进行了多个消融实验。正如我们所知，损失函数可以用来评估模型的预测与目标之间的偏差程度。损失函数越小，偏差程度越小。优化器计算和更新网络参数，最终实现最小化损失函数的目的。考虑到MIT-BIH心律失常数据库中两种类型的心拍数量分布不平衡，因此选择了交叉熵损失和焦点损失(FocalLoss)两个损失函数以缓解数据不平衡问题。在优化器的选择上，我们选择了带有动量参数的SGD，RMSProp和Adam三种优化器。将损失函数与优化器进行组合，得到6组实验设置，其实验结果如表3所示。通过分析表3中的实验结果，我们发现Adam+交叉熵损失的性能最好。据我们分析，这是因为Adam同时结合了SGD的一阶动量和RMSProp的二阶动量。在校正偏差后，可以将每次迭代的学习率限制在一定的范围内，并稳定优化过程，而交叉熵损失则可以使模型快速收敛。
表3优化器和损失函数选择消融实验结果
最后，将Res1作为所述的信号编码器和图像编码器，然后结合交叉注意力网络和自注意力网络来评估模型性能。通过观察表1和表2最后一行的结果，我们发现与直接拼接合并特征分类模型(SI-Concat)相比，使用注意力机制进行数据融合的分类模型准确率提高了0.43％。这验证了注意机制的有效性。
本发明在病人间范式下的详细的分类性能如表4所示。在表4中，两类心律失常类型(V-type和NV-type)的最终平均准确率为97.72％。其中，在V类心律失常性能优异。V类的Sp为98.72％，Se为83.29％，PPV为81.87％，F1_score为82.57％。
表4本发明的各类别分类实验结果
我们将本发明所述的模型与其他模型在MIT-BIH心律失常数据库上进行了比较，以验证其性能。结果见表5。
表5本发明所述的模型与其他模型的性能比较
表5中参考文献如下：
[1]Shanshan Chen,Wei Hua,Zhi Li,Jian Li,and Xingjiao Gao.Heartbeatclassification using projected and dynamic features of ecg signal.BiomedicalSignal Processing and Control,31:165–173,2017.
[2]Ali Sellami and Heasoo Hwang.A robust deep convolutional neuralnetwork with batch-weighted loss for heartbeat classification.Expert SystemswithApplications,122:75–84,2019.
[3]Xinjing Song,GongpingYang,Kuikui Wang,Yuwen Huang,Feng Yuan,andYilong Yin.Short term ecg classification with residualconcatenate network andmetric learning.Multimedia Tools and Applications,79(31):22325–22336,2020.
[4]Zhanglu Yan,Jun Zhou,and Weng-Fai Wong.Energy efficient ecgclassification with spiking neural network.Biomedical Signal Processing andControl,63:102170,2021.
在表5中，我们观察到本发明的总体准确率和V类的F1_score都优于其他模型。F1_score是Se和PPV的综合性能的体现，它对模型性能的评价更为全面。虽然我们的模型在Se_V上低于Ali等人提出的模型，但它在F1_score_V上高于后者。我们分析Se_V之所以较低，这是因为在Ali等人提出的模型中，使用了2个节拍(目标节拍及其前一个节拍)作为输入，并考虑了相邻节拍之间的节拍节奏特征来提高性能。此外，我们还观察到本发明的PPV_V低于Chen等人提出的模型和Xinjing等人提出的模型，但在F1_score_V上也高于两者。我们认为PPV_V低是因为Chen等人提出的模型使用了投影矩阵和三个加权的RR间隔(即前RR间期，后RR间期和局部RR间隔)作为动态特性，Xinjing等人提出的模型使用心拍片段作为输入，并使用信息理论度量学习(ITML)改变数据的分布，从而提高分类效果。然而，使用2个节拍相关性和RR间隔作为特征，这对非医学研究人员来说是困难的，因为这需要先验知识的积累。Chen等人的模型降低了各种噪声(如基线漂移和高频噪声)，但这与临床数据质量不匹配；而ITML具有计算密集性，在处理大数据时需要更高性能的设备。从总体结果来看，本发明得到的平均Se和PPV分别为91.01％和90.36％，性能均高于其他模型。
综上，本发明提供的一种多模态注意机制室性心律失常分类辅助诊断系统，在病人间测试集的测试准确率为97.72％，尤其在室性心律失常(V)分类上性能优异，特异性为98.72％，敏感性为83.29％，精确度为81.87％，F1_score为82.57％。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于数据扩充的多模态心律失常分类辅助诊断系统，其特征在于，包括数据处理模块、多模态匹配数据扩充模块、多模态特征提取模块、心律失常分类模块和外部接口模块；
所述数据处理模块，用于对长信号进行截取和模态转换；
所述多模态匹配数据扩充模块，以样本量最多的类别的数量为标准，对其他类别进行数据扩充；
所述多模态特征提取模块，采用卷积神经网络分别提取一维信号和二维图像两种模态下的特征，并进行拼接；
所述心律失常分类模块，用于对拼接特征进行降维并分类；
所述外部接口模块，用于接收心电记录并呈现分类结果。
2.根据权利要求1所述的多模态心律失常分类辅助诊断系统，其特征在于，所述多模态匹配数据扩充模块从信号数据和图像数据两种模态出发，分别以信号和图像作为基准，随机选择同类别的另一种模态数据进行匹配，以此作为新的样本数据。
3.根据权利要求1所述的多模态心律失常分类辅助诊断系统，其特征在于，所述多模态匹配数据扩充模块以样本量最多的类别的数量为标准，将样本量不足的类别扩充至跟样本量最多的类别数量一致。
4.根据权利要求1所述的多模态心律失常分类辅助诊断系统，其特征在于，所述数据处理模块通过对长信号进行单心拍截取，将单心拍信号绘制成二维图像，构建“信号：图像路径：标签”格式的记录文件。
5.根据权利要求4所述的多模态心律失常分类辅助诊断系统，其特征在于，所述长信号截取方式为以R波位置作为参照点，向前取100个采样点，向后取150个采样点，共计截取251采样点作为一个完整的心拍。
6.根据权利要求1所述的多模态心律失常分类辅助诊断系统，其特征在于，所述多模态特征提取模块包括信号编码器和图像编码器；所述信号编码器和图像编码器使用卷积神经网络和LSTM进行搭建。
7.根据权利要求1所述的多模态心律失常分类辅助诊断系统，其特征在于，所述心律失常分类模块通过两个一维卷积结构进行降维处理，并通过一个全连接层进行分类，经过Softmax函数输出四分类概率分布，获得分类结果。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2022115978825 | 2022-12-12 | ||
| CN202211597882.5A CN116013501A (zh) | 2022-12-12 | 2022-12-12 | 一种基于数据扩充的多模态心律失常分类辅助诊断系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118197592A true CN118197592A (zh) | 2024-06-14 |
Family
ID=86036398
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211597882.5A Withdrawn CN116013501A (zh) | 2022-12-12 | 2022-12-12 | 一种基于数据扩充的多模态心律失常分类辅助诊断系统 |
| CN202311502587.1A Pending CN118197592A (zh) | 2022-12-12 | 2023-11-13 | 一种基于数据扩充的多模态心律失常分类辅助诊断系统 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211597882.5A Withdrawn CN116013501A (zh) | 2022-12-12 | 2022-12-12 | 一种基于数据扩充的多模态心律失常分类辅助诊断系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN116013501A (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117976148B (zh) * | 2024-04-01 | 2024-06-21 | 成都市双流区妇幼保健院 | 一种基于机器学习的儿童心理健康问题预测方法及系统 |
-
2022
- 2022-12-12 CN CN202211597882.5A patent/CN116013501A/zh not_active Withdrawn
-
2023
- 2023-11-13 CN CN202311502587.1A patent/CN118197592A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CN116013501A (zh) | 2023-04-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111990989A (zh) | 一种基于生成对抗及卷积循环网络的心电信号识别方法 | |
| WO2020006939A1 (zh) | 基于生成式对抗网络的心电图生成及分类方法 | |
| US20080103403A1 (en) | Method and System for Diagnosis of Cardiac Diseases Utilizing Neural Networks | |
| Feng et al. | Unsupervised semantic-aware adaptive feature fusion network for arrhythmia detection | |
| CN118197592A (zh) | 一种基于数据扩充的多模态心律失常分类辅助诊断系统 | |
| CN113080996B (zh) | 一种基于目标检测的心电图分析方法及装置 | |
| CN112932498B (zh) | 一种基于深度学习的强泛化能力的t波形态分类系统 | |
| CN110638430A (zh) | 多任务级联神经网络ecg信号心律失常疾病分类模型和方法 | |
| Wu et al. | ECG classification using ICA features and support vector machines | |
| CN111631704A (zh) | 基于心电与脑电信息结合的糖尿病前期检测系统和方法 | |
| Yadav et al. | Arrhythmia Detection on ECG Signal Using Neural Network Approach | |
| CN115281688A (zh) | 一种基于多模态深度学习的心脏肥大多标签检测系统 | |
| Yang et al. | A novel method for automated congestive heart failure and coronary artery disease recognition using THC-Net | |
| Dang et al. | A novel deep convolutional neural network for arrhythmia classification | |
| CN114190950B (zh) | 一种针对含有噪声标签的心电图智能分析方法及心电仪 | |
| CN113180688B (zh) | 基于残差神经网络的冠心病心电图筛查系统及方法 | |
| Yu et al. | Zero-shot ECG diagnosis with large language models and retrieval-augmented generation | |
| Jiang et al. | Heartbeat classification system based on modified stacked denoising autoencoders and neural networks | |
| CN118197593A (zh) | 一种多模态注意机制室性心律失常分类辅助诊断系统 | |
| CN113647954A (zh) | 双通道混合网络模型的心血管疾病识别方法、装置及介质 | |
| Imtiaz et al. | Cross-Database and Cross-Channel ECG Arrhythmia Heartbeat Classification Based on Unsupervised Domain Adaptation | |
| Bharath et al. | A ResNet-Attention Approach for Detection of Congestive Heart Failure from ECG Signals | |
| Jayasinghe | A Real-Time Framework for Arrhythmia Classification | |
| Zhang et al. | Multi-scale and attention based ResNet for heartbeat classification | |
| Ran et al. | Multi-label classification of abnormalities in 12-lead ECG using deep learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination |