CN115470828A - 基于卷积与自注意力机制的多导联心电图分类识别方法 - Google Patents
基于卷积与自注意力机制的多导联心电图分类识别方法 Download PDFInfo
- Publication number
- CN115470828A CN115470828A CN202211163276.2A CN202211163276A CN115470828A CN 115470828 A CN115470828 A CN 115470828A CN 202211163276 A CN202211163276 A CN 202211163276A CN 115470828 A CN115470828 A CN 115470828A
- Authority
- CN
- China
- Prior art keywords
- attention
- window
- output
- time
- lead
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
- A61B5/346—Analysis of electrocardiograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Theoretical Computer Science (AREA)
- Molecular Biology (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Data Mining & Analysis (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Analysis (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Cardiology (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Mathematics (AREA)
- Psychiatry (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Physiology (AREA)
- Computational Linguistics (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Databases & Information Systems (AREA)
- Fuzzy Systems (AREA)
- Algebra (AREA)
Abstract
本发明公开了一种基于卷积与自注意力机制的多导联心电图分类识别方法,其主要包括层次化自注意力网络与卷积注意力网络。层次化自注意力网络利用自注意力机制可以捕捉跨越多个心拍的长程依赖特征,其中导联敏感机制利用基于窗口的自注意力机制,可以从时间维度和导联维度两个视图计算自注意力得分,从而关注不同导联心电信号的特异性差别;卷积注意力网络利用局部心电信号波形随时间平移不变的归纳偏置,使用卷积提取局部波形特征,关注局部关键波形信息。本发明提出的多导联心电图分类识别方法可用于心电图多标签分类任务中,具有较高的分类准确率。
Description
技术领域
本发明涉及计算机科学技术领域,尤其是一种基于深度学习技术解决多导联心电图数据多标签分类识别任务的方法。
背景技术
心脏病是威胁人类健康的一个重要因素,并持续受到全世界的广泛关注。心电图(ECG)是一种利用心电图机从体表记录心脏每个心动周期产生的电活动变化的技术,是筛查和诊断心律失常和心血管疾病最常用的非侵入性、简单、经济的方法之一。由于心电图的复杂性和多样性,同一类型的心律失常的表现可能因人而异,这使得即使是有经验的医生也需要时间对心电图进行准确诊断。使用计算机技术对心电图进行自动诊断可以在临床中协助心内科医生,并可以帮助医疗资源不足地区的患者。如上所述,通过心电图对心律失常自动诊断是一个挑战,因此提高心电图自动分类的准确性至关重要。
传统上,心电图分类算法首先将心电信号分割成若干个心拍,并使用专家系统或基于统计的机器学习方法(如支持向量机)提取手工设计的医学特征进行心拍级分类。然而,由于专家特征选择涉及到大量的医学领域知识,且提取特征所需的复杂预处理过程,其有效性受限于所提取的专家特征的有效性。因此,其准确率明显低于心脏病专家的准确率。
近年来,深度学习技术在计算机视觉、自然语言处理、语音识别等领域大放异彩,取得了显著的有效成果。它在医学领域也得到了广泛的应用,如医学图像分割、药物开发、遗传分析等。深度神经网络可以自动进行大规模数据的特征提取,并利用原始数据进行端到端的训练和推理,消除了人工进行的繁琐的特征提取工作。在心电图分类任务中,各种类型的卷积神经网络和循环神经网络模型及其混合模型显著提高了分类诊断的准确性。
临床最常用的标准静态心电图是长度为10秒钟、包含12个导联心电信号的心电图。对长度为10秒的多导联静态心电图的多标签分类任务是一个常见且具有应用价值的任务,即输入为10秒钟多导联心电信号序列,输出为与之对应的一个或多个心律类型。该任务的主要面临以下挑战:一方面,长度为十秒钟的心电图是一个包含多个心跳的长时间序列,这使得长短时记忆网络等常用于时间序列的方法很难捕捉到多个心跳的长程依赖关系。因此,许多现有的工作将整个心电图信号分割成心拍或固定长度的短片段。近来,一些工作使用残差卷积网络或融合长短时记忆网络的卷积神经网络或融合Transformer的卷积神经网络来直接对整个心电信号进行分类。然而,它们大多侧重于多分类任务,而不是多标签分类任务,而后者更适合临床需要,因为同一心电图上可能存在多种心律类型;另一方面,不同导联从不同的空间角度反映心脏活动的电势信息,因而多导联心电图可以全面反映心脏的状况。所以,标准的12导联心电图比单导联心电图能观察到更多的异常情况。例如,诊断右心室肥大需要观察V1、V2和V6导联的异常波形,而仅包含I导联或II导联的单导联心电图不可能诊断出这种异常心律。现有的心电图分类方法通常将多导联心电图信号串联成一个矩阵,并将其送入神经网络以提取整体特征,而没有提取特定导联的特征提高分类结果。
发明内容
本发明目的在于克服现有技术的不足,提出了一种基于卷积与自注意力机制的端到端多导联心电图多标签分类识别方法。其中卷积注意力网络能够关注心电信号的局部波形特征,层次化的自注意力网络可以提取到跨越多个心拍的依赖关系。本发明还提出了一种基于窗口的导联感知机制,能够充分利用多导联心电图中各个导联的物理意义抽取特定于导联的信息,提高心电图模型分类准确率。
实现本发明目的的具体技术方案如下:
一种基于卷积与自注意力机制的多导联心电图分类识别方法,所述心电图分类识别方法包括:
步骤1.1:使用高通滤波滤除频率在0Hz至0.5Hz范围内的信号;
步骤2:采用由多个阶段构成的层次化自注意力网络,从步骤1处理后输出的心电信号数据,提取蕴含跨心拍长程依赖和特定导联特征的特征向量;具体包括以下步骤:
步骤2.1:步骤1处理后输出的心电信号首先送入心电片段嵌入层,将心电信号不重叠地划分为个片段,每个片段包含1×4个采样点;随后用线性层将每个片段嵌入为特征向量;每个片段嵌入后的特征向量长度为超参数C,设置为任意正整数;本步骤的输出为
步骤2.3:构建两种基于窗口的Transformer模块;将标准Transformer模块中多头自注意力机制替换为基于窗口的多头注意力机制,多头自注意力机制仅在窗口内计算;具体构建步骤如下:
设一个窗口中有l个片段,基于窗口的多头自注意力机制在每个窗口内的计算过程如下式:
其中是一个窗口的输入,片段数量为l且每个片段特征维度为d,表示一个窗口经过计算后的输出,Qi、Ki和表示查询、键和值,h表示自注意力头数量,Hi表示第i个注意力头,和是可学习的权重参数,Concat表示向量拼接运算,Attention表示自注意力运算;依据窗口划分方式不同,以所述机制为基础构建三种基于窗口的多头自注意力机制,分别为:
其一,设机制输入为L×f个片段,L和T分别表示在导联维度和时间维度的片段数量,在时间维度划分窗口,设每个窗口的大小为1×T′,T′是一个满足T′≤T的超参数,表示在时间维度上窗口的长度,输入片段会被划分为个不重叠的一维窗口,随后在窗口内计算多头自注意力机制;称为时间敏感的基于窗口的多头自注意力机制;其二,设机制输入为L×T个片段,在导联维度划分窗口,窗口的大小为L×1,输入片段会被划分为1×T个不重叠的一维窗口,随后在窗口内计算多头自注意力机制;称为导联敏感的基于窗口的多头自注意力机制;其三,经过其一所述时间敏感的基于窗口的多头自注意力机制划分窗口后,将窗口沿时间维度向左循环移动个片段,随后在移动后的窗口内计算多头自注意力机制;称为时间敏感的基于移动窗口的多头自注意力机制;
对于所述时间敏感的基于窗口的多头自注意力机制与时间敏感的基于移动窗口的多头自注意力机制,添加时间维度上的相对位置编码,即将多头自注意力的计算过程由公式(3)替换为公式(5):
依据所述三种基于窗口的多头自注意力机制,分别构建以下两种基于窗口的Transformer模块,具体为:
其一,分为3个子模块,连续3个子模块的计算过程如公式(6)-(11)所示,其中和分别表示对于子模块b基于窗口的注意力层和多层感知机MLP的输出,LN表示批标准化,TW-MSA表示时间敏感的基于窗口的多头自注意力机制,LW-MSA表示导联敏感的基于窗口的多头自注意力机制,TSW-MSA表示时间敏感的基于移动窗口的多头自注意力机制,称为时间-导联Transformer模块;
其二,分为2个子模块,连续2个子模块的计算过程如公式(12)-(15)所示,公式中符号含义与前述时间-导联Transformer模块中相同;称为时间Transformer模块;
步骤2.4:构建两种片段合并层;
其一,对于包含L×T个片段的输入,设每个片段特征维度为C′,将同一导联上每两个相邻的片段特征进行拼接,随后对拼接后产生的新特征进行层标准化;经过该层运算后,时间维度上片段数量由T变为每个片段特征维度由C′变为2C′;称为时间片段合并层;
其二,对于包含L×T个片段的输入,设每个片段特征维度为C′,将每个时间点的所有导联的片段相拼接,拼接后导联维度上片段数量从L降为1,每个片段特征维度由C′变为L×C′;随后采用全连接层将特征维度由L×C′降回C′,并最终对新特征进行层标准化运算;称为导联片段合并层;
步骤3.1:对于步骤1输出的心电信号输入首先用卷积核长度为15、步长为2的卷积层将输入规模下采样为然后对其使用批标准化和ReLU激活函数;随后使用一个池化核长度为3步长为2的最大池化将特征进一步降维至并输出
步骤3.2:构建卷积注意力模块,其结构由1个卷积核长度为7的一维卷积层、1个批标准化层、1个ReLU激活函数、1个卷积核长度为7的一维卷积层、1个批标准化层,以及一维化的空间与通道注意力模块依次构成;该模块应用时依次执行所述结构的计算过程,并应用残差连接;
步骤4:融合步骤2和步骤3提取的特征,并输出模型分类预测结果,具体包括以下步骤:
步骤4.2:将步骤4.1的输出结果,最终经过全连接层与Sigmoid函数输出分类结果。
本发明提出了一种基于卷积与自注意力机制的多导联心电图分类识别方法,其主要包括层次化自注意力网络与卷积注意力网络。层次化自注意力网络利用自注意力机制可以捕捉跨越多个心拍的长程依赖特征,其中导联敏感机制利用基于窗口的自注意力机制,可以从时间维度和导联维度两个视图计算自注意力得分,从而关注不同导联心电信号的特异性差别;卷积注意力网络利用局部心电信号波形随时间平移不变的归纳偏置,使用卷积提取局部波形特征,关注局部关键波形信息。本发明可以在多导联心电图多标签分类任务中表现出目前最高的精度。
附图说明
图1为本发明提出的方法中模型结构的示例图;
图2为本发明构建出的模型中基于窗口的Transformer模块结构示例图;
图3为本发明中提出的基于窗口的多头自注意力机制示例图;
图4为本发明中构建的卷积注意力模块示例图;
图5为实施例示例图。
具体实施方式
下面结合附图,对本发明技术方案进行进一步描述。
图1是本发明提出的方法中模型结构示例图,其主要包括层次化自注意力网络与卷积注意力网络。
传统的基于卷积网络的方法难以捕捉全局视野,因此本发明基于Transformer模型,设计了一种层次化自注意力网络。Transformer是一种基于自注意力机制的模型,引导模型更加关注对于提高预测效果更关键和相关的特征。Transformer对所有特征向量两两之间计算相关性权重,因此能够抽取比卷积神经网络(CNN)和长短时记忆网络(LSTM)跨度更远的长程依赖关系。
本发明提出的层次化自注意力网络不仅引入了多层次的结构设计,更为适应多导联心电信号设计了一种导联敏感机制,因此它既可以在全局视野中捕捉时间维度的多尺度特征,又能够关注各个导联上的关键信息,从时间和导联不同维度充分挖掘多导联心电信号的特性。
由于心电信号是一个长时间序列,将原始心电信号序列直接送入Transformer会因序列过长导致不可行。因此本发明设计了心电嵌入层将心电信号分割为若干不重叠的片段。然而,与用于图像处理领域的ViT以及其变种将图像片段中RGB通道的值拼接后再分割的做法不同,本发明提出的方法将不同导联通道分割到不同的心电片段中。这种分割方法保留各导联心电信号的独立性,为基于窗口的导联敏感自注意力机制能够关注特定导联的关键信息创造了条件。具体来说,对于给定的输入将每个导联的信号分割成不重叠的片段,每个片段包含4个采样点,因此分割后会产生个片段。图3(a)展示了当导联数量m=4且寸,心电图片段分割的一个例子。随后使用一个线性层将每个片段嵌入为长度为C的特征向量以上分割和嵌入操作可以用一个卷积核大小与步长均为1×C的二维卷积层替代。最后,层标准化被用来标准化嵌入后的特征。
本发明提出的基于窗口的Transformer模块将连续的标准Transformer多头注意力机制替换为了时间敏感的基于窗口的多头自注意力机制,导联敏感的基于窗口的多头自注意力机制和时间敏感的基于移动窗口的多头自注意力机制。由此构建两种基于窗口的Transformer模块:时间-导联Transformer模块和时间Transformer模块,分别包含2个和3个连续的子模块。如图2所示,图中,(a)为时间-导联Transformer模块,(b)为时间Transformer模块;每个子模块包含一种基于窗口的多头自注意力机制,随后跟随一个采用GELU作为激活函数的2层的多层感知机。每个模块中,在多头自注意力机制和多层感知机之前都会使用层标准化,且每层均会使用残差连接。
由于计算量和内存消耗过大,标准全局多头自注意力对于心电片段并不适用。因此本发明在不重叠窗口中计算多头自注意力机制。此外,引入了一种心电图领域特有的归纳偏置,即心脏病医师通常关注同一导联上的波形随时间的变化情况或者在同一时间不同导联之间心电图波形形态的关系。比如医生会观察同一导联上相邻两个R波波峰的间距判断是否出现心动过速或过缓,也会关注在同一时间P波是否在II导联直立、在AVR导联倒置来判断房室传导阻滞是否发生。为引入上述归纳偏置,在时间和导联两个维度分别使用一维窗口,在窗口内计算多头自注意力机制。设在当前模块的输入为L×T个片段,在时间敏感的基于窗口的多头自注意力机制中窗口的大小为1×T′,而在导联敏感的多头自注意力机制中窗口的大小为L×1。那么在时间敏感的基于窗口的多头自注意力机制中,输入片段会被划分为个不重叠的一维窗口;在导联敏感的多头自注意力机制中输入片段会被划分为1×T个不重叠的一维窗口。如图3(a)(b)(c)所示,(a)心电图片段示例,(b)时间敏感的基于窗口的多头自注意力机制,(c)导联敏感的基于窗口的多头自注意力机制;对于4×16个片段的输入,在时间敏感的基于窗口的多头自注意力机制中中被划分为4×4=16个大小为1×4的窗口,在导联敏感的多头自注意力机制中被划分为1×16个大小为4×1的窗口。
因为基于窗口的自注意力仅在每个不重叠的窗口内计算,因此时间敏感的基于窗口的多头自注意力机制缺乏不同时间窗口间信息的交换,这限制了模型对长程依赖建模的能力。本发明设计了一维时间移动窗口机制,以实现跨越时间窗口之间的特征抽取。将这种机制称作时间敏感的基于移动窗口的多头自注意力机制。给定尺寸为L×T个片段的输入及大小为1×T′的窗口,在时间敏感的基于窗口的多头自注意力机制中提及的窗口划分策略会输入划分为个不重叠的一维窗口。接下来,将划分窗口在时间维度上平移个片段。在图3(d)中展示了一个例子为时间敏感的基于移动窗口的多头自注意力机制;对于尺寸为4×16个片段的输入,在时间敏感的基于窗口的多头自注意力机制中会划分为大小为1×4个片段的4×4个窗口。在沿着时间维度平移个片段后,窗口数量变为了4×5=20,窗口的大小也变为了1×4或者1×5。然而因为窗口的大小并不一致,所以在新窗口中计算多头自注意力机制无法通过批量计算加速,循环计算效率低下。因此采取了向左循环移动的方式实现批量计算,如图3(d)所示。在时间维度上循环移动后,最右边的窗口包含了两个之前不相邻的子窗口。采用了一种掩码机制来避免在不同的子窗口之间计算自注意力。经过循环移动后,窗口的数量与时间敏感的基于窗口的多头自注意力机制相同,窗口大小一致,因此可以进行高效的批量计算。在自注意力计算之后,将循环移动后的片段移动回原始的位置。
为了构建层次化表征,如图1所示,本发明在第1、3、4个阶段的最后使用时间片段合并层合并时间维度上相邻的片段,在第2个阶段的最后使用导联片段合并层用于合并在所有导联提取的信息。在时间片段合并层中,将在同一导联上时间相邻的片段特征进行拼接,拼接后经过一个层标准化。因此在时间维度上片段的数量会减半,而每个片段的特征维度会翻倍;在导联片段合并层中,将同一时间点的所有导联的片段特征相拼接,之后经过一个全连接层将特征维度降回与拼接前每个片段的特征维度保持不变,并最终经过一个层标准化层。因此在导联维度上片段的数量会降为1,而时间维度的片段数量保持不变。
因为自注意力机制本身不考虑位置信息,选择计算自注意力机制时添加混合位置编码解决缺乏位置信息的问题。在导联维度上使用如ViT、BERT中采用的可学习的绝对位置编码,在时间维度上使用如SwinTransformer中采用的相对位置编码。
基于卷积的模型在心电分类任务中被广泛应用,出现了许多最先进的工作并展现出良好的性能。卷积操作有着良好的局部性特征,可以提取到局部波形形态。同图像在空间上有平移不变性相似,波形在时间上同样具有平移不变的归纳偏置,因此卷积也可以捕捉到心电信号序列的特殊波形形态模式。本发明采用卷积注意力网络用于提取局部波形特征,其遵循卷积残差网络相似的结构,并采用了空间与通道注意力模块。卷积残差网络模型引入了残差连接,让较深的神经网络可以更容易的训练;空间与通道注意力模块可以使模型更加关注空间和通道两个维度中的重要特征。由于心电信号是一种时间序列数据,因此将所有二维卷积层用一维卷积层替代,将空间与通道注意力模块中二维空间注意力特征图替换为一维时间注意力特征图。
卷积注意力网络结构如图1所示。对于给定的心电信号输入首先用卷积核长度为15、步长为2的卷积层对输入下采样为然后使用批标准化层和ReLU激活函数。随后一个池化核长度为3步长为2的最大池化层将特征进一步降维至维度为接下来将其送入3个分别包含3、4、6、3组一维卷积残差网络和空间与通道注意力模块。如图4所示,每组一维卷积残差网络和空间与通道注意力模块由卷积核长度为7的两个一维卷积层、一个ReLU激活函数、两层批标准化层、一个空间与通道注意力模块以及残差连接构成。最后,再对输出特征向量进行L2正则化。本模块的输出为256通道的特征图。
其中gi表示池化后输出的第i个值,p是一个可学习的池化指数参数。当p=1时,广义平均池化等效于平均池化;当p无限趋近于0时,其行为近似于最大池化。
实施例
图5(a)(b)是应用本发明提出的方法时输入的一张心电图,该心电图为八导联心电图,八个导联分别为I、II、V1、V2、V3、V4、V5和V6导联。图5(c)是图5(a)中V3导联的放大图。其采样率为500Hz,时长为10秒,共5000个采样点。其心律类型标签为“窦性心律、T波改变”。将其重采样为2048个采样点后输入本发明构建的模型,输出预测结果为“窦性心律、T波改变”,预测正确。观察图5,发现“T波改变”仅发生在V3导联。在圆圈标记的区域内,正常的T波改变为了“驼峰T波”。然而,T波在其它导联都是正常的。也就是说,模型需要准确的捕捉到心电信号在不同导联上的变化信息。本发明提出的导联敏感机制正是能够通过导联敏感的基于窗口的多头自注意力机制聚焦不同导联上的重要信息。所以本发明提出的模型能够敏锐的捕捉样例中V3导联T波的变化。
对比例
使用公开心电图数据集对本发明提出的多导联心电图分类识别方法进行研究,与已有文献与工作进行比较,展示本发明的效果。
实验数据集
心电图多标签分类任务所使用的数据集有两个,均为互联网上公开的多导联多标签心电图数据集。其有效数据的标签类别数、数据量、数据划分、长度、导联数及采样率如表1所示。
表1
其中数据集A来自某比赛数据集,数据集B来自某大学采集的数据集。对其按类别分层抽样划分为了训练集、验证集、测试集,其数量如表1所示。
在本对比例的实现中,将每条数据重采样为2048个采样点。对于数据集A,导联数量m为8;对于数据集B,导联数量m为12。心电片段嵌入层中的片段嵌入特征维度设置为C=96,将每个注意力头中的特征维度取为固定值8,则在5个阶段中注意力头数量分别为[12,24,24,48,96]。时间敏感的基于窗口的多头注意力机制中的窗口大小设为1×T=1×32。为缓解过拟合问题,在一维卷积残差网络和空间与通道注意力模块的ReLU激活函数后采用Dropout,并且在Transformer和卷积模块中的每个块应用随机深度。训练损失函数采用加权二元交叉熵函数,通过为样本数据量较少的类别增加损失权重,该损失函数可以一定程度上缓解训练样本数据不平衡问题。具体来说,给定对于输入信号X的预测输出和标签加权二元交叉熵损失函数计算如下:
其中wi表示第i个心律类型的权重,LossWBCE表示损失函数值,u表示标签类别的数量,count(i)表示在训练集中属于第i个标签类别的样本数量。模型训练优化器选用Adam,在固定训练轮数进行学习率衰减,并且加载目前为止验证集上微平均F1值最高的模型继续训练。选择验证集上微平均F1值最高的模型作为最终模型,训练128个轮次后结束训练。最后,预测分类结果阈值为0.5。
本发明提出的分类识别方法与以下5种端到端心电分类识别方法进行比较,验证方法的有效性。
(1)16-layer CNN:在2018年发表的论文“Arrythmia detection usingdeepconvolutional neural network with long duration ECG signals”于中提出的对10秒心电图的分类方法,一种基于一维卷积的16层卷积神经网络;
(2)ECGNet:在2018年发表的论文“Deep Network for ArrhythmiaClassification”中提出的一种用于心律失常分类的基于多尺度一维卷积与长短时记忆网络(LSTM)融合网络;
(3)DDNN:在2020年发表的论文“Accurate detection of atrial fibrillationfrom 12-lead ECG using deep neural network”中提出的一种基于DenseNet和通道注意力模块的十二导联房颤分类模型
(4)ResNet-1D:在2020年发表的论文“Automatic diagnosis of the12-lead ECGusing a deep neural network”中提出的基于ResNet的一维卷积网络,用于十二导联心电图的自动诊断;
(5)STCT:在2022年发表的论文“STCT:Spatial-Temporal Conv-TransformerNetworkfor Cardiac Arrhythmias Recognition”中提出的卷积与Transformer结合的模型,该方法能够使用一维卷积网络提取空间信息,用CvT提取时间信息,从而提取心电信号中的时空特征用于心律检测任务。
在本对比例中采用微平均F1值评价模型效果,其定义为公式(19)-(21)。其中TPi、FPi、FNi分别表示第i个类别真阳性、假阳性、假阴性数量,u表示标签类型数量。
表2
本发明提出的方法与五种基线方法在两个公开数据集上的实验结果如表2所示,LHTC-Net表示本发明提出的方法,表中展示的指标为微平均F1值。可以观察到,本发明提出的方法在两个数据集上的性能超过了全部五种基线方法,验证了其有效性。
Claims (1)
1.一种基于卷积与自注意力机制的多导联心电图分类识别方法,其特征在于,所述心电图分类识别方法包括:
步骤1.1:使用高通滤波滤除频率在0Hz至0.5Hz范围内的信号;
步骤2:采用由多个阶段构成的层次化自注意力网络,从步骤1处理后输出的心电信号数据,提取蕴含跨心拍长程依赖和特定导联特征的特征向量;具体包括以下步骤:
步骤2.1:步骤1处理后输出的心电信号首先送入心电片段嵌入层,将心电信号不重叠地划分为个片段,每个片段包含1×4个采样点;随后用线性层将每个片段嵌入为特征向量;每个片段嵌入后的特征向量长度为超参数C,设置为任意正整数;本步骤的输出为
步骤2.3:构建两种基于窗口的Transformer模块;将标准Transformer模块中多头自注意力机制替换为基于窗口的多头注意力机制,多头自注意力机制仅在窗口内计算;具体构建步骤如下:
设一个窗口中有l个片段,基于窗口的多头自注意力机制在每个窗口内的计算过程如下式:
Qi=YWi Q,Ki=YWi K,Vi=YWi V,1≤i≤h (2)
其中是一个窗口的输入,片段数量为l且每个片段特征维度为d,表示一个窗口经过计算后的输出,Qi、Ki和表示查询、键和值,h表示自注意力头数量,Hi表示第i个注意力头,Wi Q、Wi K、和是可学习的权重参数,Concat表示向量拼接运算,Attention表示自注意力运算;依据窗口划分方式不同,以所述机制为基础构建三种基于窗口的多头自注意力机制,分别为:
其一,设机制输入为L×T个片段,L和T分别表示在导联维度和时间维度的片段数量,在时间维度划分窗口,设每个窗口的大小为1×T′,T′是一个满足T′≤T的超参数,表示在时间维度上窗口的长度,输入片段会被划分为个不重叠的一维窗口,随后在窗口内计算多头自注意力机制;称为时间敏感的基于窗口的多头自注意力机制;其二,设机制输入为L×T个片段,在导联维度划分窗口,窗口的大小为L×1,输入片段会被划分为1×T个不重叠的一维窗口,随后在窗口内计算多头自注意力机制;称为导联敏感的基于窗口的多头自注意力机制;其三,经过其一所述时间敏感的基于窗口的多头自注意力机制划分窗口后,将窗口沿时间维度向左循环移动个片段,随后在移动后的窗口内计算多头自注意力机制;称为时间敏感的基于移动窗口的多头自注意力机制;
对于所述时间敏感的基于窗口的多头自注意力机制与时间敏感的基于移动窗口的多头自注意力机制,添加时间维度上的相对位置编码,即将多头自注意力的计算过程由公式(3)替换为公式(5):
依据所述三种基于窗口的多头自注意力机制,分别构建以下两种基于窗口的Transformer模块,具体为:
其一,分为3个子模块,连续3个子模块的计算过程如公式(6)-(11)所示,其中和Yb分别表示对于子模块b基于窗口的注意力层和多层感知机MLP的输出,LN表示批标准化,TW-MSA表示时间敏感的基于窗口的多头自注意力机制,LW-MSA表示导联敏感的基于窗口的多头自注意力机制,TSW-MSA表示时间敏感的基于移动窗口的多头自注意力机制,称为时间-导联Transformer模块;
其二,分为2个子模块,连续2个子模块的计算过程如公式(12)-(15)所示,公式中符号含义与前述时间-导联Transformer模块中相同;称为时间Transformer模块;
步骤2.4:构建两种片段合并层;
其一,对于包含L×T个片段的输入,设每个片段特征维度为C′,将同一导联上每两个相邻的片段特征进行拼接,随后对拼接后产生的新特征进行层标准化;经过该层运算后,时间维度上片段数量由T变为每个片段特征维度由C′变为2C′;称为时间片段合并层;
其二,对于包含L×T个片段的输入,设每个片段特征维度为C′,将每个时间点的所有导联的片段相拼接,拼接后导联维度上片段数量从L降为1,每个片段特征维度由C′变为L×C′;随后采用全连接层将特征维度由L×C′降回C′,并最终对新特征进行层标准化运算;称为导联片段合并层;
步骤3.1:对于步骤1输出的心电信号输入首先用卷积核长度为15、步长为2的卷积层将输入规模下采样为然后对其使用批标准化和ReLU激活函数;随后使用一个池化核长度为3步长为2的最大池化将特征进一步降维至并输出
步骤3.2:构建卷积注意力模块,其结构由1个卷积核长度为7的一维卷积层、1个批标准化层、1个ReLU激活函数、1个卷积核长度为7的一维卷积层、1个批标准化层,以及一维化的空间与通道注意力模块依次构成;该模块应用时依次执行所述结构的计算过程,并应用残差连接;
步骤4:融合步骤2和步骤3提取的特征,并输出模型分类预测结果,具体包括以下步骤:
步骤4.2:将步骤4.1的输出结果,最终经过全连接层与Sigmoid函数输出分类结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211163276.2A CN115470828A (zh) | 2022-09-23 | 2022-09-23 | 基于卷积与自注意力机制的多导联心电图分类识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211163276.2A CN115470828A (zh) | 2022-09-23 | 2022-09-23 | 基于卷积与自注意力机制的多导联心电图分类识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115470828A true CN115470828A (zh) | 2022-12-13 |
Family
ID=84335660
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211163276.2A Pending CN115470828A (zh) | 2022-09-23 | 2022-09-23 | 基于卷积与自注意力机制的多导联心电图分类识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115470828A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115880647A (zh) * | 2023-02-22 | 2023-03-31 | 山东山大鸥玛软件股份有限公司 | 一种考生考场异常行为分析方法、系统、设备及存储介质 |
CN116584951A (zh) * | 2023-04-23 | 2023-08-15 | 山东省人工智能研究院 | 一种基于弱监督学习的心电信号检测和定位方法 |
CN116778968A (zh) * | 2023-06-20 | 2023-09-19 | 山东省人工智能研究院 | 一种基于深度可分离卷积与注意力机制的心音分类方法 |
CN117257322A (zh) * | 2023-09-21 | 2023-12-22 | 齐鲁工业大学(山东省科学院) | 一种基于双分支网络的多标签心电信号分类方法 |
CN117281531A (zh) * | 2023-11-27 | 2023-12-26 | 北京科技大学 | 基于卷积长短时记忆网络的心理疲劳态识别方法及系统 |
CN117743946A (zh) * | 2024-02-19 | 2024-03-22 | 山东大学 | 基于融合特征和组卷积ViT网络的信号类型识别方法及系统 |
CN117765482A (zh) * | 2024-02-22 | 2024-03-26 | 交通运输部天津水运工程科学研究所 | 基于深度学习的海岸带垃圾富集区的垃圾识别方法及系统 |
-
2022
- 2022-09-23 CN CN202211163276.2A patent/CN115470828A/zh active Pending
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115880647A (zh) * | 2023-02-22 | 2023-03-31 | 山东山大鸥玛软件股份有限公司 | 一种考生考场异常行为分析方法、系统、设备及存储介质 |
CN116584951A (zh) * | 2023-04-23 | 2023-08-15 | 山东省人工智能研究院 | 一种基于弱监督学习的心电信号检测和定位方法 |
CN116584951B (zh) * | 2023-04-23 | 2023-12-12 | 山东省人工智能研究院 | 一种基于弱监督学习的心电信号检测和定位方法 |
CN116778968B (zh) * | 2023-06-20 | 2024-03-12 | 山东省人工智能研究院 | 一种基于深度可分离卷积与注意力机制的心音分类方法 |
CN116778968A (zh) * | 2023-06-20 | 2023-09-19 | 山东省人工智能研究院 | 一种基于深度可分离卷积与注意力机制的心音分类方法 |
CN117257322A (zh) * | 2023-09-21 | 2023-12-22 | 齐鲁工业大学(山东省科学院) | 一种基于双分支网络的多标签心电信号分类方法 |
CN117257322B (zh) * | 2023-09-21 | 2024-04-19 | 齐鲁工业大学(山东省科学院) | 一种基于双分支网络的多标签心电信号分类方法 |
CN117281531B (zh) * | 2023-11-27 | 2024-01-30 | 北京科技大学 | 基于卷积长短时记忆网络的心理疲劳态识别方法及系统 |
CN117281531A (zh) * | 2023-11-27 | 2023-12-26 | 北京科技大学 | 基于卷积长短时记忆网络的心理疲劳态识别方法及系统 |
CN117743946A (zh) * | 2024-02-19 | 2024-03-22 | 山东大学 | 基于融合特征和组卷积ViT网络的信号类型识别方法及系统 |
CN117743946B (zh) * | 2024-02-19 | 2024-04-30 | 山东大学 | 基于融合特征和组卷积ViT网络的信号类型识别方法及系统 |
CN117765482A (zh) * | 2024-02-22 | 2024-03-26 | 交通运输部天津水运工程科学研究所 | 基于深度学习的海岸带垃圾富集区的垃圾识别方法及系统 |
CN117765482B (zh) * | 2024-02-22 | 2024-05-14 | 交通运输部天津水运工程科学研究所 | 基于深度学习的海岸带垃圾富集区的垃圾识别方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110890155B (zh) | 一种基于导联注意力机制的多类心律失常检测方法 | |
CN115470828A (zh) | 基于卷积与自注意力机制的多导联心电图分类识别方法 | |
Murugesan et al. | Ecgnet: Deep network for arrhythmia classification | |
CN107822622B (zh) | 基于深度卷积神经网络的心电图诊断方法和系统 | |
Mousavi et al. | ECGNET: Learning where to attend for detection of atrial fibrillation with deep visual attention | |
CN111990989A (zh) | 一种基于生成对抗及卷积循环网络的心电信号识别方法 | |
CN110974214A (zh) | 一种基于深度学习的自动心电图分类方法、系统及设备 | |
CN110638430B (zh) | 级联神经网络ecg信号心律失常分类模型的搭建方法 | |
CN112603330B (zh) | 心电信号识别分类方法 | |
CN116602642B (zh) | 心率监测方法、装置、设备 | |
Wu et al. | Personalizing a generic ECG heartbeat classification for arrhythmia detection: a deep learning approach | |
CN115281688A (zh) | 一种基于多模态深度学习的心脏肥大多标签检测系统 | |
Wang et al. | Atrial fibrillation detection and ECG classification based on CNN-BiLSTM | |
Philip et al. | Identifying arrhythmias based on ecg classification using enhanced-PCA and enhanced-SVM methods | |
CN115530788A (zh) | 基于自注意力机制的心律失常分类方法 | |
Wang et al. | Multiscale residual network based on channel spatial attention mechanism for multilabel ECG classification | |
Berger et al. | Generative adversarial networks in electrocardiogram synthesis: Recent developments and challenges | |
Tung et al. | Multi-lead ECG classification via an information-based attention convolutional neural network | |
Gordon et al. | PVC detection using a convolutional autoencoder and random forest classifier | |
Lu et al. | Identification of arrhythmia by using a decision tree and gated network fusion model | |
Cheng et al. | MSW-Transformer: Multi-Scale Shifted Windows Transformer Networks for 12-Lead ECG Classification | |
Shafaatfar et al. | Improving the Efficiency of Automatic Cardiac Arrhythmias Classification by a Novel Patient-Specific Feature Space Mapping | |
CN117547283B (zh) | 心电信号数据分类方法、装置、计算机设备及介质 | |
EPMoghaddam et al. | A Novel Cardiac Arrhythmia Classification Method Using Visibility Graphs and Graph Convolutional Network | |
Zhao et al. | ECG-Based Arrhythmia Detection Using Attention-Based Convolutional Neural Network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |