CN116369933A - 一种基于轻量卷积神经网络和Transformer融合的心律失常检测方法 - Google Patents
一种基于轻量卷积神经网络和Transformer融合的心律失常检测方法 Download PDFInfo
- Publication number
- CN116369933A CN116369933A CN202310527038.3A CN202310527038A CN116369933A CN 116369933 A CN116369933 A CN 116369933A CN 202310527038 A CN202310527038 A CN 202310527038A CN 116369933 A CN116369933 A CN 116369933A
- Authority
- CN
- China
- Prior art keywords
- electrocardiosignal
- arrhythmia
- neural network
- transducer
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010003119 arrhythmia Diseases 0.000 title claims abstract description 77
- 230000006793 arrhythmia Effects 0.000 title claims abstract description 76
- 238000001514 detection method Methods 0.000 title claims abstract description 52
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 43
- 230000004927 fusion Effects 0.000 title claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 25
- 238000010606 normalization Methods 0.000 claims abstract description 16
- 238000000605 extraction Methods 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 238000013528 artificial neural network Methods 0.000 claims abstract description 10
- 238000012360 testing method Methods 0.000 claims abstract description 10
- 238000012952 Resampling Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 39
- 238000000034 method Methods 0.000 claims description 31
- 239000004698 Polyethylene Substances 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 5
- 229940060587 alpha e Drugs 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000002790 cross-validation Methods 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- -1 polyethylene Polymers 0.000 claims description 3
- 229920000573 polyethylene Polymers 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000010791 quenching Methods 0.000 claims description 3
- 230000000171 quenching effect Effects 0.000 claims description 3
- 238000005496 tempering Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000000844 transformation Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 239000012634 fragment Substances 0.000 claims description 2
- 241000052209 Triplasis Species 0.000 claims 1
- 230000011218 segmentation Effects 0.000 abstract 1
- 238000013135 deep learning Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 208000024172 Cardiovascular disease Diseases 0.000 description 2
- 206010047289 Ventricular extrasystoles Diseases 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 208000019622 heart disease Diseases 0.000 description 2
- 206010049418 Sudden Cardiac Death Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 208000003663 ventricular fibrillation Diseases 0.000 description 1
- 206010047302 ventricular tachycardia Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
- A61B5/346—Analysis of electrocardiograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
- A61B5/346—Analysis of electrocardiograms
- A61B5/349—Detecting specific parameters of the electrocardiograph cycle
- A61B5/363—Detecting tachycardia or bradycardia
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Cardiology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Artificial Intelligence (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Physiology (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Evolutionary Computation (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Fuzzy Systems (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明提供一种基于轻量卷积神经网络和Transformer融合的心律失常检测方法，涉及ECG分类技术领域。该方法首先进行心电信号的收集并对该心电信号数据进行包含重采样、分割、归一化在内的预处理；生成心电信号训练数据集，并将心电信号训练数据集划分为训练集和测试集；利用沙漏块sandglass block构建主干CNN，并引入超参数搭建心律失常特征提取网络；利用Transformer模型和前馈神经网络FFN构建心律失常分类网络；评估模型性能，将心电信号训练集输入到心律失常检测网络中，训练心律失常检测模型。本发明通过利用残差网络和自注意力思想提出了基于轻量级卷积神经网络和Transformer相结合的心律失常检测方法，提高心律失常分类检测的准确率。
Description
技术领域
本发明涉及ECG分类技术领域，尤其涉及一种基于轻量卷积神经网络和Transformer融合的心律失常检测方法。
背景技术
近年来，我国的心血管病发病率和致死率仍在上升，严重威胁着人们的健康，而心血管疾病往往都伴随着心律失常的发生，特别是室性心动过速和心室颤动等恶性心律失常，这些症状不仅会加重原有心脏疾病，还可能引发心源性猝死，对患者的生命安全构成严重威胁。因此，快速准确地检测病人的心律失常对于预防和诊断心脏病具有极其重要的意义。心电图(electrocardiogram,ECG)是一种低成本、高效且无创的诊断心律失常的方法，也是目前应用最广泛的心率失常诊断工具之一。
当前的心律失常检测方法主要包括机器学习和深度学习两种，机器学习方法通常需要对信号进行预处理，并需要手动提取特征。虽然机器学习方法的检测过程运用了大量的数学公式，可解释性很强，但由于对不同心电信号的适应性较弱，会对检测结果造成影响。相比之下，利用深度学习的方法进行ECG心律失常检测具有以下优点：一是对信号进行较少预处理；二是可以自动提取特征。目前的深度学习方法主要分为卷积神经网络和Transformer两种方法，卷积神经网络(convolutional neural network,CNN)可以提取抽象的高维特征，但是它并不能捕获上下文信息，更好地实现分类。而Transformer模型能够捕获上下文信息，但对于提取信号本身的特征能力较弱，仍需进一步优化。因此如何在保证高精度的前提下，更加全面地提取心电信号的特征信息，更准确地实现心律失常的检测成为一种挑战。
传统的机器学习需要对信号进行预处理，并需要手动提取特征。深度学习方法中，卷积神经网络可以提取抽象的高维特征，但是它并不能捕获上下文信息，更好地实现分类。而Transformer模型能够捕获上下文信息，但对于提取信号本身的特征能力较弱，仍需进一步优化。
发明内容
本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于轻量卷积神经网络和Transformer融合的心律失常检测方法。
为解决上述技术问题，本发明所采取的技术方案是：
步骤1：收集心电信号并对数据进行预处理，对心电信号数据进行重采样，分割归一化；
步骤2：根据预处理后获取到的心电信号生成心电信号训练数据集，将心电信号训练数据集按照等比例进行9：1随机划分为训练集和测试集；
步骤3：构建心律失常特征提取网络；
步骤4：构建心律失常分类网络，使用Transformer模型进行特征分类，利用其自注意力模块捕获心跳间的相关性进行分类；
步骤5：训练由心律失常特征提取网络和心律失常分类网络组成的心律失常检测模型，将心电信号测试集输入到训练好的检测模型中，得到心电分类的结果，并通过与正确标签进行对比，计算检测模型对心律失常分类的精确度。
进一步的，所述步骤1包括：
步骤1.1：心电信号采集：使用MIT-BIH数据库的数据作为原始心电信号数据；
步骤1.2：心电信号预处理：采用一个10s的滑动窗口来覆盖所有片段的方式对原始心电信号数据进行分割，将原始心电信号数据重采样成长度为10s的心电信号段，并采用mapminmax函数进行归一化处理，将原始心电信号数据映射到[0,1]的范围，该函数表达式为：
其中，x表示输入的原始心电信号数据，ymin与ymax表示调用该归一化函数时设置的参数，默认的归一化区间为[-1,1]，xmin与xmax表示原始心电信号数据中的最小值与最大值，xnew表示归一化后的心电数据。
进一步的，所述步骤3包括：
心律失常特征提取网络包括输入层、一个一维卷积层、若干个沙漏块sandglassblock、一个一维卷积层以及输出层；其中，由若干个卷积神经网络架构MobileNeXt中提出的沙漏块sandglass block堆叠构成主干CNN，在每个沙漏块的末端引入一个SE模块；所述sandglass block的模块中采用依次串联第一深度卷积层、第一逐点卷积层、第二逐点卷积层、第二深度卷积层的结构，其中深度卷积层为3×3的卷积，逐点卷积层为1×1的卷积，在高维特征之间构建shortcut，引入了一个超参数α∈[0,1]来控制shortcut传递的特征维度，该过程的表达式为：
其中，W表示SE模块学习到的权重；F表示输入；G表示输出；
表示残差分支的变换函数。
在心律失常特征提取网络中，从主干CNN提取心电信号片段中的深度特征，正常心跳和异常心跳的判别性特征，其中正常心跳和异常心跳的判别性特征为根据AAMI标准建议分成的五种类型，包括N类即正常类心跳、S类即室上性异位心跳、V类即室性异位心跳、F类即融合心跳和Q类即未能分类心跳。
进一步的，所述步骤4包括：
心律失常分类网络由输入的位置编码和从主干CNN提取到的特征、Transformer模型、共享预测头即前馈神经网络FFN、预测输出即输出类别和位置四部分组成。
步骤4.1：Transformer的结构由N个编码器和N个解码器构成，编码器是由多头自注意力模块和前馈神经网络FFN组成，并加入了残差和Layer Normalization操作ADD&Nom，解码器由带掩码的多头自注意力模块和前馈神经网络组成，也加入了残差和LayerNormalization操作；位置编码PE1和位置编码PE2将含有相对或绝对位置的信息加入到从ECG序列中提取出的特征中，PE1和PE2在编码器和解码器的自注意力层中使用相同的位置嵌入；位置编码计算公式为：
其中，PE(pos,i)表示位置pos的编码向量中的第i个元素；pos表示序列中的位置；i表示编码向量中的索引；dmodel表示模型所设置的数据输入维度；对于偶数i，位置编码使用正弦函数；对于奇数i，位置编码使用余弦函数；
步骤4.2：将从主干CNN提取到的特征与位置编码相加进入到Transformer模型中的编码器中，通过多头自注意力模块对特征线性投影h次，分别获得dp、dk和dv维度的h组Q、K、V，所有的Q、K、V通过相应的关注头得到不同维度的注意力权重，所有的输出被连接起来并馈送到线性层以产生最终输出；多头注意力模块的表达式为：
MultiHead(F)＝Concat(head1,…,headh)WO
headI＝Attention(Qi,Ki,Vi)
其中，headi表示第i个头的注意力；Q表示输入信号的查询矩阵；K表示输入信号的键矩阵；V表示输入信号的值矩阵；
表示线性映射的参数矩阵，/>
表示线性变换的权重，Concat表示向量拼接操作；MultiHead(Q,K,V)表示最后结果；
步骤4.3：从编码器中得到的输出与位置编码相加进入到解码器，提取心电信号全局的上下文信息，建立信号之间远距离的语义关联，解码器的输出包含大小为dmodel的Nq个对象嵌入，Nq表示查询的数量，每个对象嵌入将分别通过两个共享的预测头，生成每个检测到的心跳的类别和位置。
进一步的，所述步骤5包括：
步骤5.1：通过采用10倍交叉验证的方式来评估心律失常模型性能，将心电信号训练集输入到心律失常检测模型中，设置学习率为0.001，并利用焦点损失函数解决数据不平衡问题，焦点损失函数的表达式为：
FL(pt)＝―αt(1―pt)γlog(pt)
其中，αt∈[0,1]表示加权因子，(1―pt)γ表示调质因子，γ表示可调聚焦参数；
步骤5.2：使用随机梯度下降法训练模型，其每轮计算的目标函数是单个样本误差，即每次只代入计算一个样本目标函数的梯度来更新权重，再取下一个样本重复此过程，直到损失函数值停止下降，该方法的表达式为：
其中，Wnew表示需要更新的权重参数，Wold表示之前的权重参数，μ表示学习率，
表示损失函数关于W的梯度；
更新训练集和验证集的权重值和学习率，直至损失函数收敛，从而获得训练好的心律失常检测模型；将心电信号测试集输入到训练好的检测模型中，得到心电分类的结果，并通过与正确标签进行对比，计算检测模型对心律失常分类的精确度。
采用上述技术方案所产生的有益效果在于：本发明提出的方法首先适应了心律失常检测要求，并且提高了检测的准确率；其次，通过捕获心跳间的相关性，更好地实现了分类。考虑到目前心律失常检测算法的缺点，本发明通过利用残差网络和自注意力思想提出了基于轻量级卷积神经网络和Transformer相结合的心律失常检测方法，提高心律失常分类检测的准确率。
其次，考虑到可穿戴设备是心律失常检测应用的重要平台，低计算复杂度是关键设计因素，因此本发明使用MobileNeXt中提出的沙漏块sandglass block构建主干CNN，并且使用超参数α∈[0,1]来控制shortcut传递的特征维度，通过降低该超参数，每个模块中的element-wise addition数量可以进一步降低，同时可以缩短内存访问时间，进一步加快推理速度，本发明所提出的方法所用参数量少，计算量和所占内存小；CNN具有出色的表征学习能力，但是对长时间序列中远距离特征相互关系的理解能力不足，因此本发明使用Transformer模型来捕获心跳间的相互关系，进一步提高分类的准确率
附图说明
图1为本发明基于CNN和Transformer相结合的心律失常检测方法流程图；
图2为本发明方法心律失常特征提取网络结构示意图；
图3为本发明方法中心律失常特征分类流程图；
图4为本发明方法中心律失常特征分类网络结构示意图；
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
如图1所示，本实施例提供了一种基于轻量卷积神经网络和Transformer融合的心律失常检测方法，具体步骤如下所述：
步骤1：收集心电信号并对数据进行预处理，对心电信号数据进行重采样，分割归一化；
步骤1.1：心电信号采集：使用美国麻省理工学院提供的MIT-BIH数据库的数据作为原始心电信号数据；
步骤1.2：心电信号预处理：对原始心电信号数据进行重采样成长度为10s的心电信号段，并采用mapminmax函数进行归一化处理，将原始心电信号数据映射到[0,1]的范围，该函数表达式为：
其中，x表示输入的原始心电信号数据，ymin与ymax表示调用该归一化函数时设置的参数，默认的归一化区间为[-1,1]，xmin与xmax表示原始心电信号数据中的最小值与最大值，xnew表示归一化后的心电数据。
步骤2：生成心电信号训练数据集：将心电信号训练数据集按照等比例进行9：1随机划分为训练集和测试集；
步骤3：构建心律失常特征提取网络；
如图2所示，具体还包括：
在本实施例中，心律失常特征提取网络包括输入层、一个一维卷积层、六个沙漏块sandglass block、一个一维卷积层以及输出层；其中，六个卷积神经网络架构MobileNeXt中提出的沙漏块sandglass block堆叠来构建主干CNN，依次包括sandglass block1、sandglass block2、sandglass block3、sandglass block4、sandglass block5、sandglassblock6；在每个沙漏块的末端引入一个SE模块；所述sandglass block的主分支中采用依次串联第一深度卷积层、第一逐点卷积层、第二逐点卷积层、第二深度卷积层的结构，其中深度卷积层为3×3的卷积，逐点卷积层为1×1的卷积；深度卷积是一种轻量型单元，可以执行两次深度卷积以编码更多的空间信息；为了模拟瓶颈结构Bottleneck，采用两个连续的逐点卷积先减少后增加通道数。在更高维特征之间构建shortcut，有助于更多的信息从输入F传递给输出G，并且引入了一个超参数α∈[0,1]来控制shortcut传递的特征维度，通过降低该超参数可以进一步降低每个模块中的element-wise addition数量，同时可以缩短内存访问时间，进一步加快推理速度；该模块的表达式为：
其中，W表示SE模块学习到的权重；F表示输入；G表示输出；
表示残差分支的变换函数。
在心律失常特征提取网络中，从主干CNN提取心电信号片段中的深度特征，正常心跳和异常心跳的判别性特征，其中正常心跳和异常心跳的判别性特征为根据AAMI标准建议分成的五种类型，包括N类即正常类心跳、S类即室上性异位心跳、V类即室性异位心跳、F类即融合心跳和Q类即未能分类心跳。
具体的，sandglass block1的扩展因子为2，输出特征矩阵深度为96，重复次数为1，步距为2；sandglass block2的扩展因子为6，输出特征矩阵深度为144，重复次数为1，步距为2；sandglass block3的扩展因子为6，输出特征矩阵深度为192，重复次数为2，步距为1；sandglass block4的扩展因子为6，输出特征矩阵深度为288，重复次数为3，步距为1；sandglass block5的扩展因子为6，输出特征矩阵深度为384，重复次数为4，步距为1；sandglass block6的扩展因子为6，输出特征矩阵深度为576，重复次数为3，步距为1。
步骤4：构建心律失常分类网络，使用Transformer模型进行特征分类，利用其自注意力模块捕获心跳间的相关性进行分类；如图3所示，心律失常分类网络由输入的位置编码和从主干CNN提取到的特征、Transformer模型、共享预测头即前馈神经网络FFN、预测输出即输出类别和位置四部分组成；
步骤4.1：如图4所示，在本实施例中，Transformer的结构由6个编码器和6个解码器构成。编码器是由多头自注意力模块和前馈神经网络FFN组成，并加入了残差和LayerNormalization操作ADD&Nom。解码器由带掩码的多头自注意力模块和前馈神经网络组成，也加入了残差和Layer Normalization操作；位置编码PE1和位置编码PE2将含有相对或绝对位置的信息加入到从ECG序列中提取出的特征中，PE1和PE2在编码器和解码器的自注意力层中使用相同的位置嵌入；位置编码计算公式为：
其中，PE(pos,i)表示位置pos的编码向量中的第i个元素；pos表示序列中的位置；i表示编码向量中的索引；dmodel表示模型所设置的数据输入维度；对于偶数i，位置编码使用正弦函数；对于奇数i，位置编码使用余弦函数；
步骤4.2：如图3所示，从主干CNN提取到的特征与位置编码相加进入到Transformer模型中的编码器中，通过多头自注意力模块对特征线性投影h次，分别获得dp、dk和dv维度的h组Q、K、V，所有的Q、K、V通过相应的关注头得到不同维度的注意力权重，所有的输出被连接起来并馈送到线性层以产生最终输出；多头注意力模块的表达式为：
MultiHead(F)＝Concat(head1,…,headh)WO
headI＝Attention(Qi,Ki,Vi)
其中，headi表示第i个头的注意力；Q表示输入信号的查询矩阵；K表示输入信号的键矩阵；V表示输入信号的值矩阵；
表示线性映射的参数矩阵，/>
表示线性变换的权重，Concat表示向量拼接操作；MultiHead(Q,K,V)表示最后结果；在本实施例中h的取值为9；dmodel的取值为450；
步骤4.3：从编码器中得到的输出与位置编码相加进入到解码器，提取心电信号全局的上下文信息，建立信号之间远距离的语义关联，解码器的输出包含大小为dmodel的Nq个对象嵌入，Nq表示查询的数量，每个对象嵌入将分别通过两个共享的预测头，以生成每个检测到的心跳的类别和位置。
步骤5：训练由心律失常特征提取网络和心律失常分类网络组成的心律失常检测模型，将心电信号测试集输入到训练好的检测模型中，得到心电分类的结果，并通过与正确标签进行对比，计算检测模型对心律失常分类的精确度。
步骤5.1：通过采用10倍交叉验证的方式来评估心律失常模型性能，将心电信号训练集输入到心律失常检测模型中，设置学习率为0.001，并利用焦点损失函数解决数据不平衡问题，焦点损失函数的表达式为：
FL(pt)＝―αt(1―pt)γlog(pt)
其中，αt∈[0,1]表示加权因子，(1―pt)γ表示调质因子，γ表示可调聚焦参数；
步骤5.2：使用随机梯度下降法训练模型，其每轮计算的目标函数是单个样本误差，即每次只代入计算一个样本目标函数的梯度来更新权重，再取下一个样本重复此过程，直到损失函数值停止下降，
其中，Wnew表示需要更新的权重参数，Wold表示之前的权重参数，μ表示学习率，
表示损失函数关于W的梯度；
更新训练集和验证集的权重值和学习率，直至损失函数收敛，从而获得训练好的心律失常检测模型；将心电信号测试集输入到训练好的检测模型中，得到心电分类的结果，并通过与正确标签进行对比，计算检测模型对心律失常分类的精确度。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。
Claims (8)
1.一种基于轻量卷积神经网络和Transformer融合的心律失常检测方法，其特征在于：包括以下步骤：
步骤1：收集心电信号并对数据进行预处理，对心电信号数据进行重采样，分割归一化；
步骤2：根据预处理后获取到的心电信号生成心电信号训练数据集，将心电信号训练数据集按照等比例进行9：1随机划分为训练集和测试集；
步骤3：堆叠引入SE模块的沙漏块sandglass block搭建主干卷积神经网络CNN，构建心律失常特征提取网络；
步骤4：使用Transformer模型进行特征分类，构建心律失常分类网络；
步骤5：训练由心律失常特征提取网络和心律失常分类网络组成的心律失常检测模型，将心电信号测试集输入到训练好的检测模型中，得到心电分类的结果，并通过与正确标签进行对比，计算检测模型对心律失常分类的精确度。
2.根据权利要求1所述的一种基于轻量卷积神经网络和Transformer融合的心律失常检测方法，其特征在于：所述步骤1中具体还包括：
步骤1.1：心电信号采集：使用MIT-BIH数据库的数据作为原始心电信号数据；
步骤1.2：心电信号预处理：采用一个10s的滑动窗口来覆盖所有片段的方式对所述原始心电信号数据进行分割，将所述原始心电信号数据重采样成长度为10s的心电信号段，并采用mapminmax函数进行归一化处理，将所述原始心电信号数据映射到[0,1]的范围，该函数表达式为：
其中，x表示输入的原始心电信号数据，ymin与ymax表示调用该归一化函数时设置的参数，默认的归一化区间为[-1,1]，xmin与xmax表示原始心电信号数据中的最小值与最大值，xnew表示归一化后的心电数据。
3.根据权利要求1所述的一种基于轻量卷积神经网络和Transformer融合的心律失常检测方法，其特征在于：所述步骤3中具体还包括：
所述心律失常特征提取网络包括输入层、一个一维卷积层、若干个沙漏块sandglassblock、一个一维卷积层以及输出层；其中，由所述若干个卷积神经网络架构MobileNeXt中提出的沙漏块sandglass block堆叠构成主干CNN，在每个沙漏块的末端引入一个SE模块，在高维特征之间构建shortcut，并且引入了一个超参数α∈[0,1]来控制shortcut传递的特征维度，该过程的表达式为：
其中，W表示SE模块学习到的权重；F表示输入；G表示输出；
表示残差分支的变换函数；
从所述主干CNN提取心电信号片段中的深度特征，正常心跳和异常心跳的判别性特征。
4.根据权利要求3所述的一种基于轻量卷积神经网络和Transformer融合的心律失常检测方法，其特征在于：所述sandglass block模块的结构依次串联第一深度卷积层、第一逐点卷积层、第二逐点卷积层、第二深度卷积层；其中所述深度卷积层均为3×3的卷积，所述逐点卷积层为1×1的卷积。
5.根据权利要求1所述的一种基于轻量卷积神经网络和Transformer融合的心律失常检测方法，其特征在于：所述心律失常分类网络由输入的位置编码和从主干CNN提取到的特征、Transformer模型、共享预测头即前馈神经网络FFN、预测输出即输出类别和位置组成。
6.根据权利要求1所述的一种基于轻量卷积神经网络和Transformer融合的心律失常检测方法，其特征在于：所述步骤4中具体还包括：
步骤4.1：Transformer的结构由N个编码器和N个解码器构成，将位置编码PE1和位置编码PE2将含有相对或绝对位置的信息加入到从ECG序列中提取出的特征中，PE1和PE2在编码器和解码器的自注意力层中使用相同的位置嵌入；位置编码计算公式为：
其中，PE(pos,i)表示位置pos的编码向量中的第i个元素；pos表示序列中的位置；i表示编码向量中的索引；dmodel表示模型所设置的数据输入维度；对于偶数i，位置编码使用正弦函数；对于奇数i，位置编码使用余弦函数；
步骤4.2：将从主干CNN提取到的特征与位置编码相加进入到Transformer模型中的编码器中，通过多头自注意力模块对特征线性投影h次，分别获得dp、dk和dv维度的h组Q、K、V，所有的Q、K、V通过相应的关注头得到不同维度的注意力权重，所有的输出被连接起来并馈送到线性层以产生最终输出；多头注意力模块的表达式为：
MultiHead(F)＝Concat(head1,…,headh)WO
headi＝Attention(Qi,Ki,Vi)
其中，headi表示第i个头的注意力；Q表示输入信号的查询矩阵；K表示输入信号的键矩阵；V表示输入信号的值矩阵；
表示线性映射的参数矩阵，/>
表示线性变换的权重，Concat表示向量拼接操作；MultiHead(Q,K,V)表示最后结果；
步骤4.3：从编码器中得到的输出与位置编码相加进入到解码器，提取心电信号全局的上下文信息，建立信号之间远距离的语义关联，解码器的输出包含大小为dmodel的Nq个对象嵌入，Nq表示查询的数量，每个对象嵌入将分别通过两个共享的预测头，以生成每个检测到的心跳的类别和位置。
7.根据权利要求6所述的一种基于轻量卷积神经网络和Transformer融合的心律失常检测方法，其特征在于：所述步骤4.1.中，所述编码器由多头自注意力模块和前馈神经网络FFN组成，并加入了残差和Layer Normalization操作ADD&Nom；所述解码器由带掩码的多头自注意力模块和前馈神经网络组成，并加入了残差和Layer Normalization操作。
8.根据权利要求1所述的一种基于轻量卷积神经网络和Transformer融合的心律失常检测方法，其特征在于：
所述步骤5中具体还包括：
步骤5.1：通过采用10倍交叉验证的方式来评估所述心律失常检测模型性能，将心电信号训练集输入到心律失常检测模型中，设置学习率为0.001，并利用焦点损失函数解决数据不平衡问题，焦点损失函数的表达式为：
FL(pt)＝―αt(1―pt)γlog(pt)
其中，αt∈[0,1]表示加权因子，(1―pt)γ表示调质因子，γ表示可调聚焦参数；
步骤5.2：使用随机梯度下降法训练模型，其每轮计算的目标函数是单个样本误差，即每次只代入计算一个样本目标函数的梯度来更新权重，再取下一个样本重复此过程，直到损失函数值停止下降，该方法的表达式为：
其中，Wnew表示需要更新的权重参数，Wold表示之前的权重参数，μ表示学习率，
表示损失函数关于W的梯度；
更新训练集和验证集的权重值和学习率，直至损失函数收敛，获得训练好的心律失常检测模型；将心电信号测试集输入到训练好的检测模型中，得到心电分类的结果，并通过与正确标签进行对比，计算检测模型对心律失常分类的精确度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310527038.3A CN116369933A (zh) | 2023-05-10 | 2023-05-10 | 一种基于轻量卷积神经网络和Transformer融合的心律失常检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310527038.3A CN116369933A (zh) | 2023-05-10 | 2023-05-10 | 一种基于轻量卷积神经网络和Transformer融合的心律失常检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116369933A true CN116369933A (zh) | 2023-07-04 |
Family
ID=86975302
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310527038.3A Pending CN116369933A (zh) | 2023-05-10 | 2023-05-10 | 一种基于轻量卷积神经网络和Transformer融合的心律失常检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116369933A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116665063A (zh) * | 2023-07-27 | 2023-08-29 | 南京信息工程大学 | 基于自注意力和深度卷积并行的高光谱重建方法 |
| CN116687418A (zh) * | 2023-08-08 | 2023-09-05 | 深圳市爱保护科技有限公司 | 心电检测的方法、装置、设备及存储介质 |
| CN117796817A (zh) * | 2024-02-29 | 2024-04-02 | 山东大学齐鲁医院 | 一种急性心肌梗死快速检测和预警的方法及系统 |
-
2023
- 2023-05-10 CN CN202310527038.3A patent/CN116369933A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116665063A (zh) * | 2023-07-27 | 2023-08-29 | 南京信息工程大学 | 基于自注意力和深度卷积并行的高光谱重建方法 |
| CN116665063B (zh) * | 2023-07-27 | 2023-11-03 | 南京信息工程大学 | 基于自注意力和深度卷积并行的高光谱重建方法 |
| CN116687418A (zh) * | 2023-08-08 | 2023-09-05 | 深圳市爱保护科技有限公司 | 心电检测的方法、装置、设备及存储介质 |
| CN116687418B (zh) * | 2023-08-08 | 2023-10-20 | 深圳市爱保护科技有限公司 | 心电检测的方法、装置、设备及存储介质 |
| CN117796817A (zh) * | 2024-02-29 | 2024-04-02 | 山东大学齐鲁医院 | 一种急性心肌梗死快速检测和预警的方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Çınar et al. | Classification of normal sinus rhythm, abnormal arrhythmia and congestive heart failure ECG signals using LSTM and hybrid CNN-SVM deep neural networks | |
| CN116369933A (zh) | 一种基于轻量卷积神经网络和Transformer融合的心律失常检测方法 | |
| Ahmad et al. | ECG heartbeat classification using multimodal fusion | |
| Wang et al. | Arrhythmia classification algorithm based on multi-head self-attention mechanism | |
| CN111657926A (zh) | 一种基于多导联信息融合的心律失常分类方法 | |
| Jin et al. | A novel interpretable method based on dual-level attentional deep neural network for actual multilabel arrhythmia detection | |
| CN115530788A (zh) | 基于自注意力机制的心律失常分类方法 | |
| CN112733774A (zh) | 一种基于BiLSTM与串并多尺度CNN结合的轻量化ECG分类方法 | |
| CN112472101A (zh) | 基于转换技术的深度学习心电图数据分类方法及装置 | |
| CN115281688A (zh) | 一种基于多模态深度学习的心脏肥大多标签检测系统 | |
| CN113180679A (zh) | 一种单导联心电异常信号识别方法 | |
| Owida et al. | Classification of Chest X-Ray Images using Wavelet and MFCC Features and Support Vector Machine Classifier | |
| CN113901893A (zh) | 基于多重级联深度神经网络的心电信号的识别与分类方法 | |
| CN113855037B (zh) | 基于Transformer的房颤识别方法及装置 | |
| Ma et al. | Atrial fibrillation detection algorithm based on graph convolution network | |
| CN114767123B (zh) | 一种基于多模态神经网络的心电散点图异常识别分类方法 | |
| CN116649899A (zh) | 一种基于注意力机制特征融合的心电信号分类方法 | |
| CN114224351B (zh) | 一种基于融合多个深度学习模型的房颤识别方法 | |
| CN116172514A (zh) | 基于ts-bert神经网络模型架构的ecg信号分类方法 | |
| Ding et al. | A novel transformer‐based ECG dimensionality reduction stacked auto‐encoders for arrhythmia beat detection | |
| Zhang et al. | Multi-feature decision fusion network for heart sound abnormality detection and classification | |
| CN112560784B (zh) | 一种基于动态多尺度卷积神经网络的心电图分类方法 | |
| CN114947801A (zh) | 一种基于Transformer网络的生命体征状态识别方法及系统 | |
| Kovalchuk et al. | A novel feature vector for ECG classification using deep learning | |
| Kulshreshth et al. | Detecting cardiac ailments using machine learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |