CN115568860A - 基于双注意力机制的十二导联心电信号的自动分类方法 - Google Patents
基于双注意力机制的十二导联心电信号的自动分类方法 Download PDFInfo
- Publication number
- CN115568860A CN115568860A CN202211211126.4A CN202211211126A CN115568860A CN 115568860 A CN115568860 A CN 115568860A CN 202211211126 A CN202211211126 A CN 202211211126A CN 115568860 A CN115568860 A CN 115568860A
- Authority
- CN
- China
- Prior art keywords
- channel
- characteristic diagram
- attention
- feature
- characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000007246 mechanism Effects 0.000 claims abstract description 25
- 238000013145 classification model Methods 0.000 claims abstract description 18
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000010586 diagram Methods 0.000 claims description 75
- 238000004364 calculation method Methods 0.000 claims description 27
- 238000010606 normalization Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 17
- 238000011176 pooling Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 16
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 7
- 230000000747 cardiac effect Effects 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 230000009977 dual effect Effects 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 230000008707 rearrangement Effects 0.000 claims description 2
- 230000004927 fusion Effects 0.000 abstract description 5
- 238000003745 diagnosis Methods 0.000 abstract description 4
- 239000000284 extract Substances 0.000 abstract description 2
- 206010003119 arrhythmia Diseases 0.000 description 7
- 230000006793 arrhythmia Effects 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 238000012800 visualization Methods 0.000 description 4
- 208000024172 Cardiovascular disease Diseases 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 206010006578 Bundle-Branch Block Diseases 0.000 description 2
- 238000002679 ablation Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 206010003658 Atrial Fibrillation Diseases 0.000 description 1
- 206010003671 Atrioventricular Block Diseases 0.000 description 1
- 206010006580 Bundle branch block left Diseases 0.000 description 1
- 206010006582 Bundle branch block right Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 208000000418 Premature Cardiac Complexes Diseases 0.000 description 1
- 208000009729 Ventricular Premature Complexes Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001746 atrial effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 201000001715 left bundle branch hemiblock Diseases 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 201000007916 right bundle branch block Diseases 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
- A61B5/346—Analysis of electrocardiograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
Abstract
本发明基于双注意力机制的十二导联心电信号的自动分类方法,获取十二导联心电图原始数据;对原始数据进行预处理;构建十二导联心电图的分类模型;使用训练完的分类模型即可进行12导联心电信号的自动分类。本发明采用并行计算的方式实现十二导联心电图的空间‑时间注意力机制的融合,对不同导联的心电信号、序列与序列之间的全局特征信息进行提取,通过CNN‑Transformer混合编码器实现双注意力机制并融合多尺度信息,可实现高精度的十二导联心电信号的分类,为临床决策提供辅助诊断依据,减轻医生工作负担。
Description
技术领域
本发明属于心电图分类技术领域,尤其涉及一种基于双注意力机制的十二导联心电信号的自动分类方法。
背景技术
心血管疾病相关的死亡率逐年攀升。根据世界卫生组织的统计,31%的世界人口死于心血管疾病,是仅次于癌症的第二大致命疾病。同时,心律失常构成了心血管疾病的一个重要组成部分。常见的心律失常通常被分为8个类,包括心房颤动、多级房室传导阻滞、ST段抬高、ST段压低、左束支传导阻滞、右束支传导阻滞、心室提前收缩和房性早搏,它们可以单独或同时发生。对心律失常种类的分类是心律失常临床诊断的初始阶段,这往往涉及到一系列的检测。
目前,心律失常通常用心电图来检测。12导联心电图被医院常规使用,通过12导联的心电图可以对心脏的多个维度进行采样,以提供一个更完整的心律失常视图,可以减少医生误诊的发生。图1所示的样本显示,V1-V6导联可诊断为明确的ST段抬高,但其余导联显示为正常的心律,表明12导联心电图与单导联心电图相比信息量更大,因此诊断准确性更高。然而,由于12导联心电图的信息量更大,也大大增加了临床医生的诊断难度和负担。因此,研究一个高精度的12导联心电图自动分类方法至关重要。
已有在先申请CN201910489829.5基于注意力机制的深度残差神经网络的心电图分类方法,其利用压缩-激励模块,并引入噪声进行模型数据的扩充。但是其注意力机制仅仅对于不同通道的特征图生效,即只使用到了通道注意力模块。
另一在先申请CN202010361140.7一种心电图图像处理方法、设备、介质和心电图仪,其模型输入采用心电信号制成的图,输入为二维图片,步骤S5中使用双线性注意力池处理从特征图和注意力图中提取特征矩阵,通过一系列卷积操作应用注意力图来从学习的特征图中识别关键部分,即从部位中提取细粒度的特征矩阵,称之为双线性注意力池操作(BilinearAttention Pooling,简称BAP),步骤S6中使用多头自注意力处理对特征矩阵进行自适应的权重学习并加权融合得到表达矩阵,在得到特征矩阵之后,自适应的进行加权融合以得到更多的区别特征,多头自注意力机制(multi-head self-attention)类似于一种空间注意力模块,且仅使用了一个空间注意力模块,由于空间注意力的矩阵是通过CNN实现的,受制于CNN的局部感受野,其对于全局信息的提取能力有限。
另一在先申请CN202011108233.5基于转换技术的深度学习心电图数据分类方法及装置,自动提取并聚焦于心电图数据中的关键点,进行心电数据分类。通过对12导联的心电图数据进行处理,并融合处理附加信息,通过深度学习方法计算之间的相关性,对心电数据进行分类。同时,其框架基于深度学习算法,将心电数据划分为多个心动周期,计算每个心动周期和附加信息之间的相关性,利用注意力机制分析心电数据中的重要数据进行心电分类。其单纯借鉴了Transformer原型的编码-解码结构,每个编码层包括一个注意力模块和一个全连接模块,而解码层包括两个注意力头和一个普通的计算模块,存在Transformer仅关注全局特征而放弃细粒度特征的缺陷。
发明内容
本发明的目的在于提供一种基于双注意力机制的十二导联心电信号的自动分类方法,采用并行计算的方式实现十二导联心电图的空间-时间注意力机制的融合,对不同导联的心电信号、序列与序列之间的全局特征信息进行提取,通过CNN-Transformer混合编码器实现双注意力机制并融合多尺度信息,可实现高精度的十二导联心电信号的分类,为临床决策提供辅助诊断依据,减轻医生工作负担。
本发明基于双注意力机制的十二导联心电信号的自动分类方法,包括如下步骤:
步骤1、获取十二导联心电图原始数据;
步骤2、对原始数据进行预处理,将抽样得到的原始数据用one-hot编码得到标签:
步骤3、构建十二导联心电图的分类模型
步骤3.1、对预处理后数据通过一维卷积层得到特征图a1,该特征图a1的通道数为c1,每个通道特征宽度为w1;
步骤3.2、将采样后的特征图a1输入到残差注意力模块RAB中进行通道注意力提取,其中RAB是CNN-Transformer混合编码结构,采用卷积神经网络CNN对数据的特征进行编码和下采样,将输入空间注意力模块SAM中的数据的长度进行压缩;
步骤3.3、采用堆叠2,3,3,2个残差注意力模块RAB的方式进行特征提取,将每一组的输出分别记为b1,b2,b3,b4,其中b1的通道数为每个通道特征宽度为b2的通道数为每个通道特征宽度为b3的通道数为每个通道特征宽度为b4的通道数为每个通道特征宽度为b1,b2,b3,b4分别代表着不同尺度的信息;
为了融合多尺度的信息,将输出b1,b2,b3进行平均池化和最大池化,b1池化后的特征图b1,1=[MAX(b1),AVERAGE(b1)],其中,MAX(b1)表示把个元素拼接在一起,表示b1中第k个元素在所有通道中的最大值;AVERAGE(b1)表示把个元素拼接在一起,表示b1中第k个元素在所有通道中的平均值;同理得到b2,1=[MAX(b2),AVERAGE(b2)],b3,1=[MAX(b3),AVERAGE(b3)];将池化后的特征图拼接到b4上得到最后的特征图F1=[b4,b1,1,b2,1,b3,1],F1的通道数为每个通道特征宽度为
步骤3.4、对特征图F1采用与通道注意力特征提取过程中相同的Transformer模块进行空间注意力的实现,依次采用堆叠的4个Transformer模块来提取空间注意力特征,得到最终编码后的特征图F5,F5的通道数为每个通道特征宽度为
Fl=Transformer(Fl-1),l>1 (17)
对其运算过程中的注意力进行可视化;
步骤3.5、将特征图F5分别进行全局平均池化和全局最大池化,得到两个特征图F5.1、F5.2,其通道数为每个通道特征宽度为1,拼接得到最终的特征图F6=concat(F5.1,F5.2),其通道数为每个通道特征宽度为2;
步骤3.7、将该分类结果与步骤2的标签进行交叉熵运算得到损失值,通过反向传播算法训练得到分类模型,损失函数采用BCEloss函数:
其中i为样本序号,N为样本总数,ylabel表示真实标签,ypred表示分类模型的预测标签,采用Adam优化器优化损失函数得到训练完的分类模型;
步骤4、使用训练完的分类模型执行步骤3.1到3.7即可进行12导联心电信号的自动分类。
所述预处理得到的标签,指的是若一段心电信号序列需要划分为N个分类,就用一个长度为N的向量来记录,用one-hot编码表示,其中0表示正常,1表示异常。
所述残差注意力模块RAB的运算过程如下所示:
计算特征图a1归一化数据方差σ1:
通过公式(1)和(2)计算得到的结果,进一步计算特征图a1标准化后的值a1.1:
ε为防止除0错误的抖动项,0<ε<0.00001,γ表示线性规范化的斜率,β表示线性规范化的截距,得到特征图a1批规范化的结果a1.2:
a1.2=γa1.1+β=BNγ,β(a1) (4)
将经过批规范化的结果a1.2通过激活函数计算得到线性修正结果a1.3:
通过一维卷积层得到卷积之后的特征图a1.4,其通道数为c1.4,每个通道特征宽度为w1.4:
a1.4=Conv(a1.3) (6)
对卷积后的特征图a1.4进行批归一化,过程与上述批归一化计算方式完全一致,得到批归一化的特征图a1.5=BNγ,β(a1.4);
为防止过拟合,对批归一化后的特征图a1.5使用dropout函数使得部分神经元失效,得到随机丢弃处理后的特征图a1.6=dropout(a1.5);
对得到的特征图a1.6继续一维卷积,得到特征图a1.7=Conv(a1.6),其通道数为c1.7,每个通道特征宽度为w1.7;
对输出的特征图a1.7进行全局平均池化操作得到特征图a1.8,其通道数为
对池化后的特征图a1.8进行由Transformer模块完成的通道注意力计算:
对输入到Transformer模块中的特征图进行位置编码,得到位置编码后的特征图a1.9=a1.8+pos1.8,采用可训练的位置编码pos1.8,位置编码的矩阵大小与a1.8的大小保持一致,是可训练的参数;
将经过位置编码后的特征图a1.9进行多头注意力机制的运算:
编码得到三元组(Q,K,V)=(a1.9Wq,a1.9Wk,a1.9Wv),其中Wq,Wk,Wv均为可训练的参数矩阵,大小为d x d;将编码得到的三元组(Q,K,V)进行多头注意力机制计算,通过各自乘以一个矩阵并采用公式(8)计算注意力实现,得到其中均为可训练的参数;
将所有的经过多头注意力机制运算过后的矩阵进行融合得到特征图a1.9.1:
其中Wo是一个可训练的矩阵参数,h是自定义的多头注意力机制头的数目;
对经过注意力机制计算得到的特征图a1.9.1进行输出并与位置编码后的特征图a1.9相加得到a1.9.2,并对相加之后的特征图a1.9.2进行层标准化,得到标准化后的特征图a1.9.3=LNγ,β(a1.9.2),LN的计算过程如下所示:
计算特征图a1.9.2归一化数据方差σ1.9.2:
通过公式(12)和(13)计算得到的结果,进一步计算a1.9.2标准化的后的值a1.9.2.1:
为了防止除0错误,引入抖动项ε,0<ε<0.00001,γ表示线性规范化的斜率,β表示线性规范化的截距,得到a1.9.2层规范化的结果a1.9.3:
a1.9.3=γa1.9.2.1+β=LNγ,β(a1.9.2) (15)
将层规范后的特征图a1.9.3送入一个多层感知机网络进行特征的重排列,并与输入的特征图相加,得到重排列后的特征图a1.9.4=(W+1)*a1.9.3+b,其中W表示特征图的权重,b为多层感知机网络的偏置;
再将多层感知机输出的结果进行标准化,得到标准化后的特征图a1.9.5=LNγ,β(a1.9.4);a1.9.5就是所需要的权重特征图,其通道数为c1.7,与特征图a1.7保持一致,通道特征宽度为1,且值介于[0,1]区间内,代表着每一个通道的权重;将a1.9.5与特征图a1.7逐通道进行相乘,得到特征图a1.9.6,其中k表示第k个通道;
将带权重的特征图a1.9.6与最初的特征图a1相加并且输出,得到特征图a1.9.7:
a1.9.7=a1+a1.9.6 (16)。
一种心电图图像处理设备,包括:
存储器,用于存储由系统的一个或多个处理器执行的指令,以及
处理器,是系统的处理器之一,用于执行所述指令以实施上述任一项所述的基于双注意力机制的十二导联心电信号的自动分类方法。
一种使用计算机程序编码的计算机可读存储介质,所述计算机可读介质上存储有指令,所述指令在计算机上执行时使计算机执行上述任一项所述的基于双注意力机制的十二导联心电信号的自动分类方法。
一种心电图仪,包括:
采集装置,获取十二导联心电图原始数据;
处理装置,与所述采集装置通信连接,以接收所述十二导联心电图原始数据,并且,所述处理装置包括存储器与处理器,
所述存储器,用于存储由系统的一个或多个处理器执行的指令,
所述处理器,执行所述指令以实施上述任一项所述的基于双注意力机制的十二导联心电信号的自动分类方法。
采用上述技术方案后,本发明具有以下几点有益效果:
1.引入基于Transformer实现的空间注意力模块和一个使用CNN-Transformer混合编码器的通道注意力模块,自适应关注空间和通道之间全局和局部的显著特征,实现十二导联心电图的精确分类。
2.本发明使用跳跃连接的方法,将CNN-Transformer混合编码器中的不同尺度的特征图输出并池化后拼接到最后的特征图当中,这样使得模型可以融合多尺度的信息。
3.本发明使用CNN-Transformer混合编码结构,在输入到SAM中进行空间注意力信息的提取之前,本发明采用CNN对数据的特征进行编码和下采样,将输入SAM中的数据的长度进行压缩,这样做的效果就是可以很好的控制模型的参数量,并且可以克服Transformer仅关注全局特征而放弃细粒度特征的缺陷。
4.本发明提出的双注意力机制是基于空间与通道两个方面,所使用的CAM模块相较于单纯使用压缩-激励模块多一个MHSA过程,实验效果相较于压缩-激励模块表现更好。下表对比消融实验,仅比较单注意力,本发明的F1-Score要高出0.003,本发明叠加双注意力机制要好出0.006。使用到的指标定义如下:
SE Block:压缩-激励模块CAM:通道注意力模块SAM:空间注意力模块MS:多尺度信息融合
本发明基于公开数据集即2018年中国生理电信号挑战赛中的十二导联心电数据进行了广泛的实验,包括消融实验和模型分类效果对比,证明本发明所提出的各个模块是具有意义的,同时模型的分类效果对比目前表现最好的模型也能取得具有竞争力的效果。
采用本发明的自动分类方法,在CPSC2018数据集上开展了广泛的实验,上述分类模型取得了最优的表现,对比结果如图6所示。
附图说明
图1是十二导联心电图样例;
图2是本发明的整体框架示意图;
图3是本发明通道注意力机制的可视化结果;
图4是本发明空间注意力机制的权重矩阵;
图5是五种不同尺度卷积核的感受野;
图6是网络模型在CPSC 2018数据集上的表现。
以下结合附图和具体实施例的对本发明做进一步详述。
具体实施方式
本发明的第一实施方式,涉及一种基于双注意力机制的十二导联心电信号的自动分类方法,包括如下步骤:
步骤1、获取十二导联心电图原始数据;
步骤2、对原始数据进行预处理,将抽样得到的原始数据用one-hot编码得到标签:
由于抽样得到的原始数据的序列长度有可能是不一致的,而不一样长的数据在训练时不能作为minibatch放到模型中,考虑到心电信号的周期性,对所有较短长度的序列,通过复制序列的方式将其与最长序列的长度一致,然后,对于不同数量的标签,单次编码形式被映射成矢量;
一段心电信号序列可能对应着多种心律失常,如果需要划分为9分类,就用一个长度为9的向量来记录,用one-hot编码表示,其中用0表示正常,1表示异常,若表现为第二类、第三类和第四类异常,则对应的标签就是[0,1,1,1,0,0,0,0,0],若表现为正常,标签就设置为[1,0,0,0,0,0,0,0,0];
步骤3、构建十二导联心电图的分类模型
步骤3.1、对预处理后数据通过一维卷积层得到特征图a1,该特征图a1的通道数为c1,每个通道特征宽度为w1;
步骤3.2、将采样后的特征图a1输入到残差注意力模块RAB中进行通道注意力提取,其中RAB是CNN-Transformer混合编码结构,在输入到空间注意力模块SAM中进行空间注意力信息的提取之前,本发明采用卷积神经网络CNN对数据的特征进行编码和下采样,将输入空间注意力模块SAM中的数据的长度进行压缩。如图2所示(b)残差注意力模块RAB的运算过程如下所示:
计算特征图a1归一化数据方差σ1:
通过公式(1)和(2)计算得到的结果,进一步计算特征图a1标准化后的值a1.1:
为了防止除0错误,引入抖动项ε,0<ε<0.00001,同时为了让网络学习恢复出原始网络所要学习的特征分布,引入γ和β两个参数,γ表示线性规范化的斜率,β表示线性规范化的截距,得到特征图a1批规范化的结果a1.2:
a1.2=γa1.1+β=BNγ,β(a1) (4)
将经过批规范化的结果a1.2通过激活函数计算得到线性修正结果a1.3:
通过一维卷积层得到卷积之后的特征图a1.4,其通道数为c1.4,每个通道特征宽度为w1.4:
a1.4=Conv(a1.3) (6)
对卷积后的特征图a1.4进行批归一化,过程与上述批归一化计算方式完全一致,得到批归一化的特征图a1.5=BNγ,β(a1.4);
为防止过拟合,对批归一化后的特征图a1.5使用dropout函数使得部分神经元失效,得到随机丢弃处理后的特征图a1.6=dropout(a1.5);
对得到的特征图a1.6继续一维卷积,得到特征图a1.7=Conv(a1.6),其通道数为c1.7,每个通道特征宽度为w1.7;
对池化后的特征图a1.8进行由Transformer模块完成的通道注意力计算:
对输入到Transformer模块中的特征图进行位置编码,得到位置编码后的特征图a1.9=a1.8+pos1.8,采用可训练的位置编码pos1.8,位置编码的矩阵大小与a1.8的大小保持一致,是可训练的参数;
将经过位置编码后的特征图a1.9进行多头注意力机制的运算:
编码得到三元组(Q,K,V)=(a1.9Wq,a1.9Wk,a1.9Wv),其中Wq,Wk,Wv均为可训练的参数矩阵,大小为d x d;
将所有的经过多头注意力机制运算过后的矩阵进行融合得到特征图a1.9.1:
其中Wo是一个可训练的矩阵参数,h是多头注意力机制头的数目,人为定义,本发明实施例中取h=12;
对经过注意力机制计算得到的特征图a1.9.1进行输出并与位置编码后的特征图a1.9相加,由公式a1.9.2=a1.9+a1.9.1计算得到,并对相加之后的特征图a1.9.2进行层标准化,得到标准化后的特征图a1.9.3=LNγ,β(a1.9.2);LN的计算过程如下所示,计算特征图a1.9.2归一化数据均值
计算特征图a1.9.2归一化数据方差σ1.9.2:
通过公式(12)和(13)计算得到的结果,进一步计算a1.9.2标准化的后的值a1.9.2.1:
为了防止除0错误,引入抖动项ε,0<ε<0.00001,同时为了让本发明的网络可以学习恢复出原始网络所要学习的特征分布,引入γ和β两个参数,γ表示线性规范化的斜率,β表示线性规范化的截距,得到a1.9.2层规范化的结果a1.9.3:
a1.9.3=γa1.9.2.1+β=LNγ,β(a1.9.2) (15)
将层规范后的特征图a1.9.3送入一个多层感知机网络进行特征的重排列,并与输入的特征图相加,得到重排列后的特征图a1.9.4=(W+1)*a1.9.3+b,其中W表示特征图的权重,b为多层感知机网络的偏置;
再将多层感知机输出的结果进行标准化,得到标准化后的特征图a1.9.5=LNγ,β(a1.9.4);a1.9.5就是本发明所需要的权重特征图,其通道数为c1.7,与特征图a1.7保持一致,通道特征宽度为1,且值介于[0,1]区间内,代表着每一个通道的权重;将a1.9.5与特征图a1.7逐通道进行相乘,得到特征图a1.9.6,计算过程如该公式所示其中k表示第k个通道;
通道注意力模块的可视化结果如图3所示,对于通过训练得到的通道权重可以增强对分类性能有贡献的通道而抑制其余的噪声通道。
将带权重的特征图a1.9.6与最初的特征图a1相加并且输出,得到特征图a1.9.7,由此完成了一个残差注意力模块RAB的运算过程:
a1.9.7=a1+a1.9.6 (16)
步骤3.3、如图2中的流程架构,本发明采用堆叠2,3,3,2个残差注意力模块RAB的方式进行特征提取,将每一组的输出分别记为b1,b2,b3,b4,其中b1的通道数为宽度为b2的通道数为宽度为b3的通道数为宽度为b4的通道数为宽度为b1,b2,b3,b4分别代表着不同尺度的信息,而不同尺度对应的卷积核感受野范围可视化结果如图5所示。
为了融合多尺度的信息,将输出b1,b2,b3进行平均池化和最大池化,b1池化后的特征图b1,1=[MAX(b1),AVERAGE(b1)],其中,MAX(b1)表示把个元素拼接在一起,表示b1中第k个元素在所有通道中的最大值;AVERAGE(b1)表示把个元素拼接在一起,表示b1中第k个元素在所有通道中的平均值;平均池化计算过程与残差注意力模块RAB中的平均池化计算过程一致,即公式(7);同理得到b2,1=[MAX(b2),AVERAGE(b2)],b3,1=[MAX(b3),AVERAGE(b3)];将池化后的特征图拼接到b4上得到最后的特征图F1=[b4,b1,1,b2 ,1,b3,1],F1的通道数为宽度为
步骤3.4、对特征图F1采用与通道注意力计算过程中相同的Transformer模块进行空间注意力的实现,得到F2=Transformer(F1),依次采用堆叠的4个Transformer模块来提取空间注意力特征,得到最终编码后的特征图F5,F5的通道数为每个通道特征宽度为
Fl=Transformer(Fl-1),l>1 (17)
步骤3.5、将特征图F5分别进行全局平均池化和全局最大池化,得到两个特征图F5.1、F5.2,其通道数为每个通道特征宽度为1,拼接得到最终的特征图=concat(F5.1,F5.2),其通道数为每个通道特征宽度为2;
步骤3.7、将该分类结果与步骤2的标签进行交叉熵运算得到损失值,通过反向传播算法训练得到分类模型,损失函数采用BCEloss函数:
其中i为样本序号,N为样本总数,ylabel表示真实标签,ypred表示分类模型的预测标签,采用Adam优化器优化损失函数得到训练完的分类模型;
步骤4、使用训练完的分类模型执行步骤3.1到3.7即可进行12导联心电信号的自动分类。
本发明的第二实施方式涉及一种心电图图像处理设备,包括:
存储器,用于存储由系统的一个或多个处理器执行的指令,以及
处理器,是系统的处理器之一,用于执行所述指令以实施上述第一实施方式的任意一种可能的方法。
第一实施方式是与本实施方式相对应的方法实施方式,本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第一实施方式中。
本发明的第三实施方式涉及一种使用计算机程序编码的计算机存储介质,计算机可读介质上存储有指令,该指令在计算机上执行时可以使计算机执行上述第一实施方式的任意一种可能的方法。
第一实施方式是与本实施方式相对应的方法实施方式,本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第一实施方式中。
本申发明的第四实施方式涉及一种心电图仪,上述心电图仪包括:
采集装置,获取十二导联心电图原始数据;
处理装置,与所述采集装置通信连接,以接收所述十二导联心电图原始数据,并且,所述处理装置包括存储器与处理器,
所述存储器,用于存储由系统的一个或多个处理器执行的指令,所述处理器,执行所述指令以实施上述第一实施方式的任意一种可能的方法。
第一实施方式是与本实施方式相对应的方法实施方式,本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第一实施方式中。
需要说明的是,本发明的各实施方式均可以软件、硬件、固件等方式实现不管本发明是以软件、硬件、还是固件方式实现,指令代码都可以存储在任何类型的计算机可访问的存储器中(例如永久的或者可修改的,易失性的或者非易失性的,固态的或者非固态的,固定的或者可更换的介质等等)。同样,存储器可以是可编程阵列逻辑PAL、随机存取存储器RAM、可编程只读存储器PROM、只读存储器ROM、电可擦除可编程只读存储器EPROM、磁盘、光盘、数字通用光盘DVD等等。
需要说明的是,本发明各实施方式中提到的各单元/模块都是逻辑单元/模块,在物理上,一个逻辑单元可以是一个物理单元,也可以是一个物理单元的一部位,还可以以多个物理单元的组合实现,这些逻辑单元本身的物理实现方式并不是最重要的,这些逻辑单元所实现的功能的组合才是解决本发明所提出的技术问题的关键。此外,为了突出本发明的创新部位,本发明上述各实施方式并没有将与解决本发明所提出的技术问题关系不太密切的单元引入,这并不表明上述各实施方式并不存在其它的单元。
需要说明的是,在本发明的权利要求和说明书中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
虽然通过参照本发明的某些优选实施方式,已经对本发明进行了图示和描述,但本领域的普通技术人员应该明白,可以在形式上和细节上对其作各种改变,而不偏离本发明的精神和保护范围。
Claims (6)
1.基于双注意力机制的十二导联心电信号的自动分类方法,其特征在于包括如下步骤:
步骤1、获取十二导联心电图原始数据;
步骤2、对原始数据进行预处理,将抽样得到的原始数据用one-hot编码得到标签:
步骤3、构建十二导联心电图的分类模型
步骤3.1、对预处理后数据通过一维卷积层得到特征图a1,该特征图a1的通道数为c1,每个通道特征宽度为w1;
步骤3.2、将采样后的特征图a1输入到残差注意力模块RAB中进行通道注意力提取,其中RAB是CNN-Transformer混合编码结构,采用卷积神经网络CNN对数据的特征进行编码和下采样,将输入空间注意力模块SAM中的数据的长度进行压缩;
步骤3.3、采用堆叠2,3,3,2个残差注意力模块RAB的方式进行特征提取,将每一组的输出分别记为b1,b2,b3,b4,其中b1的通道数为每个通道特征宽度为b2的通道数为每个通道特征宽度为b3的通道数为每个通道特征宽度为b4的通道数为每个通道特征宽度为b1,b2,b3,b4分别代表着不同尺度的信息;
为了融合多尺度的信息,将输出b1,b2,b3进行平均池化和最大池化,b1池化后的特征图b1,1=[MAX(b1),AVERAGE(b1)],其中,MAX(b1)表示把个元素拼接在一起,表示b1中第k个元素在所有通道中的最大值;AVERAGE(b1)表示把个元素拼接在一起,表示b1中第k个元素在所有通道中的平均值;同理得到b2,1=[MAX(b2),AVERAGE(b2)],b3,1=[MAX(b3),AVERAGE(b3)];将池化后的特征图拼接到b4上得到最后的特征图F1=[b4,b1,1,b2,1,b3,1],F1的通道数为每个通道特征宽度为
步骤3.4、对特征图F1采用与通道注意力特征提取过程中相同的Transformer模块进行空间注意力的实现,依次采用堆叠的4个Transformer模块来提取空间注意力特征,得到最终编码后的特征图F5,F5的通道数为每个通道特征宽度为
Fl=Transformer(Fl-1),l>1 (17)
对其运算过程中的注意力进行可视化;
步骤3.5、将特征图F5分别进行全局平均池化和全局最大池化,得到两个特征图F5.1、F5.2,其通道数为每个通道特征宽度为1,拼接得到最终的特征图F6=concat(F5.1,F5.2),其通道数为每个通道特征宽度为2;
步骤3.7、将该分类结果与步骤2的标签进行交叉熵运算得到损失值,通过反向传播算法训练得到分类模型,损失函数采用BCEloss函数:
其中i为样本序号,N为样本总数,ylabel表示真实标签,ypred表示分类模型的预测标签,采用Adam优化器优化损失函数得到训练完的分类模型;
步骤4、使用训练完的分类模型执行步骤3.1到3.7即可进行12导联心电信号的自动分类。
2.根据权利要求1所述的基于双注意力机制的十二导联心电信号的自动分类方法,其特征在于:所述预处理得到的标签,指的是若一段心电信号序列需要划分为N个分类,就用一个长度为N的向量来记录,用one-hot编码表示,其中0表示正常,1表示异常。
3.根据权利要求1所述的基于双注意力机制的十二导联心电信号的自动分类方法,其特征在于残差注意力模块RAB的运算过程如下所示:
通过公式(1)和(2)计算得到的结果,进一步计算特征图a1标准化后的值a1.1:
ε为防止除0错误的抖动项,0<ε<0.00001,γ表示线性规范化的斜率,β表示线性规范化的截距,得到特征图a1批规范化的结果a1.2:
a1.2=γa1.1+β=BNγ,β(a1) (4)
将经过批规范化的结果a1.2通过激活函数计算得到线性修正结果a1.3:
通过一维卷积层得到卷积之后的特征图a1.4,其通道数为c1.4,每个通道特征宽度为w1.4:a1.4=Conv(a1.3) (6)
对卷积后的特征图a1.4进行批归一化,过程与上述批归一化计算方式完全一致,得到批归一化的特征图a1.5=BNγ,β(a1.4);
为防止过拟合,对批归一化后的特征图a1.5使用dropout函数使得部分神经元失效,得到随机丢弃处理后的特征图a1.6=dropout(a1.5);
对得到的特征图a1.6继续一维卷积,得到特征图a1.7=Conv(a1.6),其通道数为c1.7,每个通道特征宽度为w1.7;
对池化后的特征图a1.8进行由Transformer模块完成的通道注意力计算:
对输入到Transformer模块中的特征图进行位置编码,得到位置编码后的特征图a1.9=a1.8+pos1.8,采用可训练的位置编码pos1.8,位置编码的矩阵大小与a1.8的大小保持一致,是可训练的参数;
将经过位置编码后的特征图a1.9进行多头注意力机制的运算:
编码得到三元组(Q,K,V)=(a1.9Wq,a1.9Wk,a1.9Wv),其中Wq,Wk,Wv均为可训练的参数矩阵,大小为d x d;将编码得到的三元组(Q,K,V)进行多头注意力机制计算,通过各自乘以一个矩阵并采用公式(8)计算注意力实现,得到其中均为可训练的参数;
将所有的经过多头注意力机制运算过后的矩阵进行融合得到特征图a1.9.1:
其中Wo是一个可训练的矩阵参数,h是自定义的多头注意力机制头的数目;
对经过注意力机制计算得到的特征图a1.9.1进行输出并与位置编码后的特征图a1.9相加得到a1.9.2,并对相加之后的特征图a1.9.2进行层标准化,得到标准化后的特征图a1.9.3=LNγ,β(a1.9.2),LN的计算过程如下所示:
计算特征图a1.9.2归一化数据方差σ1.9.2:
通过公式(12)和(13)计算得到的结果,进一步计算a1.9.2标准化的后的值a1.9.2.1:
为了防止除0错误,引入抖动项ε,0<ε<0.00001,γ表示线性规范化的斜率,β表示线性规范化的截距,得到a1.9.2层规范化的结果a1.9.3:
a1.9.3=γa1.9.2.1+β=LNγ,β(a1.9.2) (15)
将层规范后的特征图a1.9.3送入一个多层感知机网络进行特征的重排列,并与输入的特征图相加,得到重排列后的特征图a1.94=(W+1)*a1.9.3+b,其中W表示特征图的权重,b为多层感知机网络的偏置;
再将多层感知机输出的结果进行标准化,得到标准化后的特征图a1.9.5=LNγ,β(a1.9.4);a1.9.5就是所需要的权重特征图,其通道数为c1.7,与特征图a1.7保持一致,通道特征宽度为1,且值介于[0,1]区间内,代表着每一个通道的权重;将a1.9.5与特征图a1.7逐通道进行相乘,得到特征图a1.9.6,其中k表示第k个通道;
将带权重的特征图a1.9.6与最初的特征图a1相加并且输出,得到特征图a1.9.7:
a1.9.7=a1+a1.9.6 (16)。
4.一种心电图图像处理设备,其特征在于,包括:
存储器,用于存储由系统的一个或多个处理器执行的指令,以及
处理器,是系统的处理器之一,用于执行所述指令以实施权利要求1-3中任一项所述的基于双注意力机制的十二导联心电信号的自动分类方法。
5.一种使用计算机程序编码的计算机可读存储介质,其特征在于,所述计算机可读介质上存储有指令,所述指令在计算机上执行时使计算机执行权利要求1-3中任一项所述的基于双注意力机制的十二导联心电信号的自动分类方法。
6.一种心电图仪,其特征在于,包括:
采集装置,获取十二导联心电图原始数据;
处理装置,与所述采集装置通信连接,以接收所述十二导联心电图原始数据,并且,所述处理装置包括存储器与处理器,
所述存储器,用于存储由系统的一个或多个处理器执行的指令,
所述处理器,执行所述指令以实施权利要求1-3中任一项所述的基于双注意力机制的十二导联心电信号的自动分类方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211211126.4A CN115568860A (zh) | 2022-09-30 | 2022-09-30 | 基于双注意力机制的十二导联心电信号的自动分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211211126.4A CN115568860A (zh) | 2022-09-30 | 2022-09-30 | 基于双注意力机制的十二导联心电信号的自动分类方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115568860A true CN115568860A (zh) | 2023-01-06 |
Family
ID=84583287
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211211126.4A Pending CN115568860A (zh) | 2022-09-30 | 2022-09-30 | 基于双注意力机制的十二导联心电信号的自动分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115568860A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116226763A (zh) * | 2023-03-03 | 2023-06-06 | 山东省人工智能研究院 | 基于改进型注意力机制的多标签心电信号分类方法 |
CN116246774A (zh) * | 2023-03-15 | 2023-06-09 | 北京医准智能科技有限公司 | 一种基于信息融合的分类方法、装置及设备 |
CN116778968A (zh) * | 2023-06-20 | 2023-09-19 | 山东省人工智能研究院 | 一种基于深度可分离卷积与注意力机制的心音分类方法 |
CN117257322A (zh) * | 2023-09-21 | 2023-12-22 | 齐鲁工业大学(山东省科学院) | 一种基于双分支网络的多标签心电信号分类方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110251120A (zh) * | 2019-06-06 | 2019-09-20 | 山东省计算中心(国家超级计算济南中心) | 基于注意力机制的深度残差神经网络的心电图分类方法 |
WO2021115159A1 (zh) * | 2019-12-09 | 2021-06-17 | 中兴通讯股份有限公司 | 文字识别网络模型训练方法、文字识别方法、装置、终端及其计算机存储介质 |
CN113011499A (zh) * | 2021-03-22 | 2021-06-22 | 安徽大学 | 一种基于双注意力机制的高光谱遥感图像分类方法 |
CN113288163A (zh) * | 2021-06-04 | 2021-08-24 | 浙江理工大学 | 基于注意力机制的多特征融合心电信号分类模型建模方法 |
-
2022
- 2022-09-30 CN CN202211211126.4A patent/CN115568860A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110251120A (zh) * | 2019-06-06 | 2019-09-20 | 山东省计算中心(国家超级计算济南中心) | 基于注意力机制的深度残差神经网络的心电图分类方法 |
WO2021115159A1 (zh) * | 2019-12-09 | 2021-06-17 | 中兴通讯股份有限公司 | 文字识别网络模型训练方法、文字识别方法、装置、终端及其计算机存储介质 |
CN113011499A (zh) * | 2021-03-22 | 2021-06-22 | 安徽大学 | 一种基于双注意力机制的高光谱遥感图像分类方法 |
CN113288163A (zh) * | 2021-06-04 | 2021-08-24 | 浙江理工大学 | 基于注意力机制的多特征融合心电信号分类模型建模方法 |
Non-Patent Citations (3)
Title |
---|
MD AMINUR RAB RATUL 等: "CCX-rayNet: A Class Conditioned Convolutional Neural Network For Biplanar X-Rays to CT Volume", 《2021 IEEE 18TH INTERNATIONAL SYMPOSIUM ON BIOMEDICAL IMAGING (ISBI)》, 25 May 2021 (2021-05-25) * |
侯向丹;赵一浩;刘洪普;郭鸿湧;于习欣;丁梦园;: "融合残差注意力机制的UNet视盘分割", 中国图象图形学报, no. 09, 16 September 2020 (2020-09-16) * |
孔乾坤: "基于注意力机制的目标检测技术研究", 《中国优秀硕士论文全文数据库》, 15 January 2022 (2022-01-15) * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116226763A (zh) * | 2023-03-03 | 2023-06-06 | 山东省人工智能研究院 | 基于改进型注意力机制的多标签心电信号分类方法 |
CN116226763B (zh) * | 2023-03-03 | 2023-10-03 | 山东省人工智能研究院 | 基于改进型注意力机制的多标签心电信号分类方法 |
CN116246774A (zh) * | 2023-03-15 | 2023-06-09 | 北京医准智能科技有限公司 | 一种基于信息融合的分类方法、装置及设备 |
CN116246774B (zh) * | 2023-03-15 | 2023-11-24 | 浙江医准智能科技有限公司 | 一种基于信息融合的分类方法、装置及设备 |
CN116778968A (zh) * | 2023-06-20 | 2023-09-19 | 山东省人工智能研究院 | 一种基于深度可分离卷积与注意力机制的心音分类方法 |
CN116778968B (zh) * | 2023-06-20 | 2024-03-12 | 山东省人工智能研究院 | 一种基于深度可分离卷积与注意力机制的心音分类方法 |
CN117257322A (zh) * | 2023-09-21 | 2023-12-22 | 齐鲁工业大学(山东省科学院) | 一种基于双分支网络的多标签心电信号分类方法 |
CN117257322B (zh) * | 2023-09-21 | 2024-04-19 | 齐鲁工业大学(山东省科学院) | 一种基于双分支网络的多标签心电信号分类方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115568860A (zh) | 基于双注意力机制的十二导联心电信号的自动分类方法 | |
Natarajan et al. | A wide and deep transformer neural network for 12-lead ECG classification | |
CN111772619B (zh) | 一种基于深度学习的心搏识别方法、终端设备及存储介质 | |
Pinaya et al. | Unsupervised brain anomaly detection and segmentation with transformers | |
CN110522444B (zh) | 一种基于Kernel-CNN的心电信号识别分类方法 | |
CN111528832B (zh) | 一种心律失常分类方法及其有效性验证方法 | |
CN115470828A (zh) | 基于卷积与自注意力机制的多导联心电图分类识别方法 | |
EP4272645A1 (en) | Method and apparatus for converting electrical biosignal data into numerical vectors, and method and apparatus for analyzing disease by using same | |
CN114748053A (zh) | 一种基于fMRI高维时间序列的信号分类方法及装置 | |
CN115281688A (zh) | 一种基于多模态深度学习的心脏肥大多标签检测系统 | |
Castillo et al. | Patient-specific detection of atrial fibrillation in segments of ecg signals using deep neural networks | |
CN112450944B (zh) | 标签相关性引导特征融合的心电图多分类预测系统与方法 | |
CN116434950B (zh) | 基于数据分簇和集成学习的孤独症谱系障碍的诊断系统 | |
CN116649899A (zh) | 一种基于注意力机制特征融合的心电信号分类方法 | |
CN113855042B (zh) | 融合深度和医学特征的基于序列标注的多导联心电信号分类方法 | |
CN114366116A (zh) | 一种基于Mask R-CNN网络及心电图的参数获取方法 | |
CN110786847B (zh) | 心电信号的建库方法和分析方法 | |
JAYANTHI et al. | ENSEMBLE OF DEEP LEARNING MODELS FOR CLASSIFICATION OF HEART BEATS ARRHYTHMIAS DETECTION | |
Zhong et al. | Automatic arrhythmia detection with multi-lead ECG signals based on heterogeneous graph attention networks | |
CN116211316B (zh) | 多导联心电信号的类型识别方法、系统及辅助系统 | |
CN117133449B (zh) | 心电图分析系统、心电图分析模型构造、训练方法和介质 | |
Mathur | Detecting Myocardial Infarctions Using Machine Learning Methods | |
Shaik et al. | Enhancing Prediction of Cardiovascular Disease using Bagging Technique | |
Sakib et al. | Anomaly Detection of ECG Time Series Signal Using Auto Encoders Neural Network | |
Carvalho | A deep-learning classifier for cardiac arrhythmias |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |