CN113855037A - 基于Transformer的房颤识别方法及装置 - Google Patents

基于Transformer的房颤识别方法及装置 Download PDF

Info

Publication number
CN113855037A
CN113855037A CN202111205554.1A CN202111205554A CN113855037A CN 113855037 A CN113855037 A CN 113855037A CN 202111205554 A CN202111205554 A CN 202111205554A CN 113855037 A CN113855037 A CN 113855037A
Authority
CN
China
Prior art keywords
atrial fibrillation
data
data set
transformer
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111205554.1A
Other languages
English (en)
Other versions
CN113855037B (zh
Inventor
谭慧欣
赖杰伟
阳维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southern Medical University
Original Assignee
Southern Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southern Medical University filed Critical Southern Medical University
Priority to CN202111205554.1A priority Critical patent/CN113855037B/zh
Publication of CN113855037A publication Critical patent/CN113855037A/zh
Application granted granted Critical
Publication of CN113855037B publication Critical patent/CN113855037B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • A61B5/349—Detecting specific parameters of the electrocardiograph cycle
    • A61B5/361—Detecting fibrillation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Cardiology (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了基于Transformer的房颤识别方法及装置，方法包括：获取原始心电数据；对所述原始心电数据进行分类标记，得到房颤心电数据和非房颤心电数据；对所述房颤心电数据和非房颤心电数据进行数据分段，构建用于神经网络训练的训练数据集和测试数据集；将所述训练数据集输入到Transformer中进行网络训练，得到目标模型；将所述测试数据集输入所述目标模型进行二分类，得到所述测试数据集中房颤心电数据和非房颤心电数据的分类结果。本发明的准确度高且精度高，可广泛应用于数据处理技术领域。

Description

基于Transformer的房颤识别方法及装置
技术领域
本发明涉及数据处理技术领域，尤其是基于Transformer的房颤识别方法及装置。
背景技术
心房颤动一直是健康关注的焦点，因为它是最常见的心律失常，由于人口老龄化的激增，预计到2050年，其患病率将翻一番。房颤很大程度上会导致心血管疾病风险的增加，包括卒中风险增加5倍。心房颤动的错误诊断可能导致过度医疗、医疗资源的不当使用、以及无法及时预警心血管风险。然而，无症状和阵发性心房颤动占心房颤动事件比例不小，这使得在医院常规心电图检查期间很难及时地发现心房颤动。
随着可穿戴式心电图仪的出现，长时间连续心电监护可以显着提高无症状和阵发性房颤的检出率，但缺乏心血管专家对所有长期记录进行诊断仍然是一个严峻的挑战。因此，对可穿戴式心电图自动诊断房颤的呼声迫在眉睫。
基于特征提取的房颤检测方法对噪声和个体差异不鲁棒，故现在的主流方法均是基于卷积神经网络或循环神经网络的，但对于时间序列而言，卷积网络无法很好地对长距离依赖建模，循环网络则并行性太差。
发明内容
有鉴于此，本发明实施例提供一种准确度高且精度高的基于Transformer的房颤识别方法及装置。
本发明的一方面提供了一种基于Transformer的房颤识别方法，包括：
获取原始心电数据；
对所述原始心电数据进行分类标记，得到房颤心电数据和非房颤心电数据；
对所述房颤心电数据和非房颤心电数据进行数据分段，构建用于神经网络训练的训练数据集和测试数据集；
将所述训练数据集输入到Transformer中进行网络训练，得到目标模型；
将所述测试数据集输入所述目标模型进行二分类，得到所述测试数据集中房颤心电数据和非房颤心电数据的分类结果。
可选地，所述获取原始心电数据，包括：
通过可穿戴设备获取原始心电数据。
可选地，所述对所述房颤心电数据和非房颤心电数据进行数据分段，构建用于神经网络训练的训练数据集和测试数据集，包括：
将监测数据的时间片段设置为15秒，将采样率设置为500Hz；
对采集到的所述房颤心电数据和非房颤心电数据进行数据分段；
计算数据分段后所有心电数据的均值和标准差；
根据所述均值和标准差对所有心电数据进行归一化处理；
通过带通滤波对所述心电信号中噪声进行滤除，得到训练数据集和测试数据集；
其中，所述训练数据集和测试数据集的数据集格式为HDF5格式。
可选地，所述将所述训练数据集输入到Transformer中进行网络训练，得到目标模型，包括投影步骤、位置嵌入步骤以及Transformer编码步骤；
其中，所述投影步骤包括：
将所述训练数据集等间隔划分为多个片段，每个小段为待投影数据；
将所述待投影数据经过线性变换，生成投影数据；
为所述投影数据添加一个跟投影段长度相等的分类头，所述分类头用于进行数据分类；
所述位置嵌入步骤包括：
根据投影的总段数，为每个小段添加可学习的位置信息；
所述Transformer编码步骤包括：
对网络每层的输出进行归一化处理；
通过多头自注意力机制让所述目标模型在不同的特征子空间里进行信息学习；
通过多层感知器进行分类处理后，通过sigmoid激活函数后得到分类为房颤的概率。
可选地，所述归一化处理的表达式为：
Figure BDA0003306697100000021
其中，LN(x)代表归一化处理函数；x为输入样本；μ和δ分别为输入样本的均值和标准差；γ为学习率；β为偏置项；
所述多头自注意力的表达式为：
Figure BDA0003306697100000022
其中，Attention(Q,K,V)代表多头自注意力表达式；Q,K,V分别为查询、键和值；soft max(·)为神经网络的一种激活函数；Dk为键K的维度大小；
所述多层感知器的表达式为：
MLP(X)＝GELU(XW1+b1)W2+b2
其中，MLP(X)代表多层感知器的表达式；X为输入，GELU(·)为神经网络的一种激活函数，W1和W2分别为MLP中两个全连接层的权重，b1和b2为偏置项。
可选地，所述投影步骤中，还包括：按心拍将所述训练数据集划分心电信号，具体包括：
根据心电信号获取R波波峰的位置；
若R波波峰数量大于或等于20，则根据所述R波波峰位置向左取0.15秒，向右取0.35秒，共取0.5秒为一个心拍；
若R波波峰数量大于或等于3且小于20，则根据R波波峰位置向左取0.4秒，向右取0.6秒，共取1秒为一个心拍；
将所有切割出的心拍拼接成一段信号，若拼接后的信号小于20秒，则补零至20秒；若大于20秒，则裁剪为20秒，得到心电信号的划分结果。
可选地，方法还包括：
逐步增加心电信号导联屏蔽的数量，将部分导联被屏蔽后的心电信号输入到所述目标模型中得到心电信号为房颤或非房颤的结果。
本发明实施例另一方面还提供了一种基于Transformer的房颤识别装置，包括：
第一模块，用于获取原始心电数据；
第二模块，用于对所述原始心电数据进行分类标记，得到房颤心电数据和非房颤心电数据；
第三模块，用于对所述房颤心电数据和非房颤心电数据进行数据分段，构建用于神经网络训练的训练数据集和测试数据集；
第四模块，用于将所述训练数据集输入到Transformer中进行网络训练，得到目标模型；
第五模块，用于将所述测试数据集输入所述目标模型进行二分类，得到所述测试数据集中房颤心电数据和非房颤心电数据的分类结果。
本发明实施例另一方面还提供了一种电子设备，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如前面所述的方法。
本发明实施例另一方面还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
本发明的实施例获取原始心电数据；对所述原始心电数据进行分类标记，得到房颤心电数据和非房颤心电数据；对所述房颤心电数据和非房颤心电数据进行数据分段，构建用于神经网络训练的训练数据集和测试数据集；将所述训练数据集输入到Transformer中进行网络训练，得到目标模型；将所述测试数据集输入所述目标模型进行二分类，得到所述测试数据集中房颤心电数据和非房颤心电数据的分类结果。本发明的准确度高且精度高。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是非房颤心电信号和房颤心电信号对比示例图；
图2是一种心电信号示例图；
图3是本发明的方法流程示例图；
图4是本发明的Transformer编码器层的示例图；
图5是本发明的方法与其他方法在导联脱落情况下的房颤识别性能对比示例图；
图6是本发明的改进心电划分方法示例图；
图7为本发明的整体步骤流程图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
首先对本发明实施例中出现的相关技术名词进行解释：
1.Transformer：是一种基于自注意力机制的神经网络；
2.HierarchicalDataFormat：是一种设计用于存储和组织大量数据的文件格式；
3.LN：层归一化，是一种对神经网络隐层的输出进行归一化的方式；
4.MSA：多头自注意力，是一种特征空间中的注意力机制；
5.MLP：多层感知机，是一种前馈人工神经网络；
6.Sigmoid：神经网络的一种激活函数；
7.Softmax：神经网络的一种激活函数；
8.GELU：神经网络的一种激活函数。
针对现有技术存在的问题，本发明实施例提供了一种基于Transformer的房颤识别方法，如图7所示，包括：
获取原始心电数据；
对所述原始心电数据进行分类标记，得到房颤心电数据和非房颤心电数据；
对所述房颤心电数据和非房颤心电数据进行数据分段，构建用于神经网络训练的训练数据集和测试数据集；
将所述训练数据集输入到Transformer中进行网络训练，得到目标模型；
将所述测试数据集输入所述目标模型进行二分类，得到所述测试数据集中房颤心电数据和非房颤心电数据的分类结果。
可选地，所述获取原始心电数据，包括：
通过可穿戴设备获取原始心电数据。
可选地，所述对所述房颤心电数据和非房颤心电数据进行数据分段，构建用于神经网络训练的训练数据集和测试数据集，包括：
将监测数据的时间片段设置为15秒，将采样率设置为500Hz；
对采集到的所述房颤心电数据和非房颤心电数据进行数据分段；
计算数据分段后所有心电数据的均值和标准差；
根据所述均值和标准差对所有心电数据进行归一化处理；
通过带通滤波对所述心电信号中噪声进行滤除，得到训练数据集和测试数据集；
其中，所述训练数据集和测试数据集的数据集格式为HDF5格式。
可选地，所述将所述训练数据集输入到Transformer中进行网络训练，得到目标模型，包括投影步骤、位置嵌入步骤以及Transformer编码步骤；
其中，所述投影步骤包括：
将所述训练数据集等间隔划分为多个片段，每个小段为待投影数据；
将所述待投影数据经过线性变换，生成投影数据；
为所述投影数据添加一个跟投影段长度相等的分类头，所述分类头用于进行数据分类；
所述位置嵌入步骤包括：
根据投影的总段数，为每个小段添加可学习的位置信息；
所述Transformer编码步骤包括：
对网络每层的输出进行归一化处理；
通过多头自注意力机制让所述目标模型在不同的特征子空间里进行信息学习；
通过多层感知器进行分类处理后，通过sigmoid激活函数后得到分类为房颤的概率。
可选地，所述归一化处理的表达式为：
Figure BDA0003306697100000061
其中，LN(x)代表归一化处理函数；x为输入样本；μ和δ分别为输入样本的均值和标准差；γ为学习率；β为偏置项；
所述多头自注意力的表达式为：
Figure BDA0003306697100000062
其中，Attention(Q,K,V)代表多头自注意力表达式；Q,K,V分别为查询、键和值；softmax(·)为神经网络的一种激活函数；Dk为键K的维度大小；
所述多层感知器的表达式为：
MLP(X)＝GELU(XW1+b1)W2+b2
其中，MLP(X)代表多层感知器的表达式；X为输入，GELU(·)为神经网络的一种激活函数，W1和W2分别为MLP中两个全连接层的权重，b1和b2为偏置项。
可选地，所述投影步骤中，还包括：按心拍将所述训练数据集划分心电信号，具体包括：
根据心电信号获取R波波峰的位置；
若R波波峰数量大于或等于20，则根据所述R波波峰位置向左取0.15秒，向右取0.35秒，共取0.5秒为一个心拍；
若R波波峰数量大于或等于3且小于20，则根据R波波峰位置向左取0.4秒，向右取0.6秒，共取1秒为一个心拍；
将所有切割出的心拍拼接成一段信号，若拼接后的信号小于20秒，则补零至20秒；若大于20秒，则裁剪为20秒，得到心电信号的划分结果。
可选地，方法还包括：
逐步增加心电信号导联屏蔽的数量，将部分导联被屏蔽后的心电信号输入到所述目标模型中得到心电信号为房颤或非房颤的结果。
本发明实施例另一方面还提供了一种基于Transformer的房颤识别装置，包括：
第一模块，用于获取原始心电数据；
第二模块，用于对所述原始心电数据进行分类标记，得到房颤心电数据和非房颤心电数据；
第三模块，用于对所述房颤心电数据和非房颤心电数据进行数据分段，构建用于神经网络训练的训练数据集和测试数据集；
第四模块，用于将所述训练数据集输入到Transformer中进行网络训练，得到目标模型；
第五模块，用于将所述测试数据集输入所述目标模型进行二分类，得到所述测试数据集中房颤心电数据和非房颤心电数据的分类结果。
本发明实施例另一方面还提供了一种电子设备，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如前面所述的方法。
本发明实施例另一方面还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
下面结合说明书附图，对本发明的具体实现原理进行详细说明：
本发明基于Transformer的房颤识别方法，包括以下步骤：
S1.获取可穿戴设备的原始动态心电数据；
S2.专家对心电信号进行房颤标记，分类为房颤与非房颤；
S3.对心电数据进行分段、数据预处理，并制作成神经网络通用的数据集；
S4.将训练数据集输入到Transformer中进行网络训练，得到一个各项指标表现优秀的模型；
S5.将测试数据集输入S4得到的模型中进行二分类，得到心电信号为房颤或非房颤的结果。
优选地，所述步骤S1中的心电数据中，房颤信号包括了多种噪声，如工频干扰、肌电干扰、基线漂移等。
优选地，所述步骤S3中心电数据的分段长度为15秒，所述信号的采样频率为500赫兹。
具体地，S1.获取可穿戴设备的原始动态心电数据；原始的心电信号通过可穿戴设备获取，并且时程长，可以囊括日常多种行为情况下的心电数据，数据中的噪声类型也更丰富多样，增加了数据的多样性，不仅有利于网络的训练，还更符合远程心电事件监测的实际情况。其中房颤信号和非房颤信号如附图1所示例，可见房颤信号具有RR间期不等、心率不规整、以及P波消失等显著特征。导联脱落情况下的房颤信号、强噪声下的房颤信号以及和房扑信号如附图2所示例，导联脱落和强噪声容易导致神经网络的误判，房扑信号则与房颤信号较难区分。
S2.对心电信号进行标记，分类为房颤或非房颤；例如：每份心电样本的标签均可经过专家审核，例如以下标准化流程：评估(1人)，审核(1人)，初审(2人)，终审(1人)，共由5名专家进行评估审核。
S3.对心电数据进行分段、数据预处理，并制作成神经网络通用的数据集；在实际的长时程动态心电监测中，为了实时获得监测结果，应每隔一个短时间段输出监测信息，因此该实例将时间片段长度设置为常用值15秒，短时间段的心电信号还可减少基线漂移的影响和滤除运动伪影。心电信号的采样率设置为常用值500赫兹。15秒的心电数据同样具有两种类型的标签：房颤，和非房颤。其中图1为房颤心电信号示例图，图2为非房颤心电信号示例图。信号分段后，计算所有信号的均值和标准差，对信号进行归一化，并通过带通滤波滤除信号可能包含的工频干扰、基线漂移和肌电噪声，将其制作成神经网络通用的数据集，该实例设置数据集的格式为HierarchicalDataFormat，即HDF5格式。
S4.将训练数据集等间隔划分为多个小段后，输入到一个8层的Transformer编码器中进行网络训练，得到一个各项指标表现优秀的模型；
Transformer是深度学习在计算机视觉领域的一个新兴方向，包括投影、位置嵌入、和Transformer编码器层，整体结构如附图3所示，本实例的优化策略设置为梯度下降方法。
投影步骤为：
A1.将心电信号等间隔划分为多个片段，每个小段为待投影数据：
Figure BDA0003306697100000081
其中，ECG表示心电信号，下标S代表片段，上标N代表片段总数。
A2.将待投影数据经过线性变换，生成投影数据：
Figure BDA0003306697100000082
其中，ECGproj表示投影数据，E为线性变换矩阵。
A3.为投影数据添加一个跟投影段长度相等的分类头，用于最后的分类：
Figure BDA0003306697100000083
其中，zproj表示增加了分类头的投影数据，ECGclass为添加的分类头。
位置嵌入的过程为：
A1.根据投影的总段数，为每个小段添加可学习的位置信息：
Figure BDA0003306697100000091
其中，z0为添加了可学习位置信息的投影数据，Epos为可学习的位置信息。Transformer是通过位置嵌入来为输入的每个投影引入位置信息，从而使网络能够学习时间序列的时间流的信息。
Transformer编码器层如附图4所示，包括层归一化、多头自注意力、和多层感知器：
A1.层归一化(LN)：
Figure BDA0003306697100000092
其中，x为输入样本，μ和δ分别为输入样本的均值和标准差，γ为学习率，β为偏置项。层归一化用于对网络每层的输出进行归一化，是独立于批大小的，无论批样本数的多少都不会影响参与层归一化计算的数据量，当批样本量很小的时候效果也不会改变。
A2.多头自注意力(MSA)：
Figure BDA0003306697100000093
其中，Q,K,V分别为查询、键和值，soft max(·)为神经网络的一种激活函数，Dk为键K的维度大小。自注意力机制可以为长时间序列各时间段间的依赖信息建模，而多头自注意力则可以允许模型在不同的特征子空间里学习到相关的信息。
A3.多层感知器(MLP)：
MLP(X)＝GELU(XW1+b1)W2+b2 (7)
其中，X为输入，GELU(·)为神经网络的一种激活函数，W1和W2分别为MLP中两个全连接层的权重，b1和b2为偏置项。
因此，Transformer编码器的输入为添加了可学习位置信息的心电数据片段线性投影和分类头，输入在编码器中经过每一层的层归一化、多头自注意力、残差连接、层归一化、多层感知器、残差连接后，再进行层归一化输入到多层感知器中进行分类，分类输出经过s igmoid激活函数后可得到分类为房颤的概率：
Figure BDA0003306697100000101
Figure BDA0003306697100000102
Figure BDA0003306697100000103
Figure BDA0003306697100000104
ProbAF＝σ(MLP(y′)) (12)
其中，zl-1和zl分别为第l-1和第l层的输出(网络一共有L层)，z′l为层归一化、多头自注意力、残差连接后的输出，
Figure BDA0003306697100000105
是Transformer编码器最后一层的输出，y′是Transformer编码器的输出，σ为Sigmoid函数，ProbAF为最后获得的分类为房颤的概率。
网络的损失函数可以表示为：
L＝-∑ω(y log ProbAF)+(1-y)log(1-ProbAF) (13)
其中
Figure BDA0003306697100000106
是交叉熵系数(Nn和Np分别为负样本的个数和正样本的个数)，能够防止数据不平衡带来的训练不稳定性，y为标签值，L为分类损失。
梯度下降更新网络的权值参数可表示为：
Figure BDA0003306697100000107
其中wi为本次更新后的网络参数，wi-1为上次更新后的网络参数，γ为学习率。
由于房颤和非房颤的数据量极不平衡，为了训练过程更稳定，使用导联屏蔽、信号段置零和裁剪缩放等数据扩增手段来进行训练时的数据扩增。
S5.将测试数据集输入S4得到的模型中进行二分类，得到心电信号为房颤或非房颤的结果。为了证明方法的优越性，还进行了导联脱落鲁棒性验证。实施方法为逐步增加心电信号导联屏蔽的数量，将部分导联被屏蔽后的心电信号输入到网络中得到心电信号为房颤或非房颤的结果。对比结果如附图5所示，本发明的房颤识别方法的平均识别精度优于其他方法(附图5中的DNN1和DNN2为目前主流的两个用于心电信号心律失常分析的深层卷积神经网络)。
可选地，本发明实施例中，步骤S4还可以改进投影步骤中心电信号的划分方法。将原等间隔划分心电信号的方法改进为按心拍划分心电信号，过程如附图6所示：
A1.根据心电信号获取R波波峰的位置；
A2.若R波波峰数量大于或等于20，则根据R波波峰位置向左取0.15秒，向右取0.35秒，共取0.5秒为一个心拍；若R波波峰数量大于或等于3且小于或等于20，则根据R波波峰位置向左取0.4秒，向右取0.6秒，共取1秒为一个心拍。
A3.将所有切割出的心拍拼接成一段信号，若拼接后的信号小于20秒，则补零至20秒；若大于20秒，则裁剪为20秒。
综上所述，相较于现有技术，本发明、使用Transformer为房颤识别的模型；为Transformer识别房颤提出了一种新的输入方法，即按心拍划分心电信号，将每个心拍当作一个投影片段，输入到编码器中，具有以下优点：
1.将一维心电信号输入到Transformer编码器中进行房颤识别，与卷积神经网络和循环神经网络相比，既能很好地对时间序列的长距离依赖进行建模，同时又具有高并行性。
2.本实验数据集得到的结果优异，使用如下评价指标：准确率、AUC、F1分数和AP。
3.相较于当前性能最好的用于心电信号心率失常检测的卷积神经网络，本发明中的模型对于部分导联脱落下的房颤识别更鲁棒，也能准确地区分房颤和房扑，更能可靠有效地识别出房颤事件。
4.为长时程心电信号提供了房颤自动识别的高效方法，为远程心电事件监护的发展提供了技术支持。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.基于Transformer的房颤识别方法，其特征在于，包括：
获取原始心电数据；
对所述原始心电数据进行分类标记，得到房颤心电数据和非房颤心电数据；
对所述房颤心电数据和非房颤心电数据进行数据分段，构建用于神经网络训练的训练数据集和测试数据集；
将所述训练数据集输入到Transformer中进行网络训练，得到目标模型；
将所述测试数据集输入所述目标模型进行二分类，得到所述测试数据集中房颤心电数据和非房颤心电数据的分类结果。
2.根据权利要求1所述的基于Transformer的房颤识别方法，其特征在于，所述获取原始心电数据，包括：
通过可穿戴设备获取原始心电数据。
3.根据权利要求1所述的基于Transformer的房颤识别方法，其特征在于，所述对所述房颤心电数据和非房颤心电数据进行数据分段，构建用于神经网络训练的训练数据集和测试数据集，包括：
将监测数据的时间片段设置为15秒，将采样率设置为500Hz；
对采集到的所述房颤心电数据和非房颤心电数据进行数据分段；
计算数据分段后所有心电数据的均值和标准差；
根据所述均值和标准差对所有心电数据进行归一化处理；
通过带通滤波对所述心电信号中噪声进行滤除，得到训练数据集和测试数据集；
其中，所述训练数据集和测试数据集的数据集格式为HDF5格式。
4.根据权利要求1所述的基于Transformer的房颤识别方法，其特征在于，所述将所述训练数据集输入到Transformer中进行网络训练，得到目标模型，包括投影步骤、位置嵌入步骤以及Transformer编码步骤；
其中，所述投影步骤包括：
将所述训练数据集等间隔划分为多个片段，每个小段为待投影数据；
将所述待投影数据经过线性变换，生成投影数据；
为所述投影数据添加一个跟投影段长度相等的分类头，所述分类头用于进行数据分类；
所述位置嵌入步骤包括：
根据投影的总段数，为每个小段添加可学习的位置信息；
所述Transformer编码步骤包括：
对网络每层的输出进行归一化处理；
通过多头自注意力机制让所述目标模型在不同的特征子空间里进行信息学习；
通过多层感知器进行分类处理后，通过sigmoid激活函数后得到分类为房颤的概率。
5.根据权利要求4所述的基于Transformer的房颤识别方法，其特征在于，
所述归一化处理的表达式为：
Figure FDA0003306697090000021
其中，LN(x)代表归一化处理函数；x为输入样本；μ和δ分别为输入样本的均值和标准差；γ为学习率；β为偏置项；
所述多头自注意力的表达式为：
Figure FDA0003306697090000022
其中，Attention(Q,K,V)代表多头自注意力表达式；Q,K,V分别为查询、键和值；softmax(·)为神经网络的一种激活函数；Dk为键K的维度大小；
所述多层感知器的表达式为：
MLP(X)＝GELU(XW1+b1)W2+b2
其中，MLP(X)代表多层感知器的表达式；X为输入，GELU(·)为神经网络的一种激活函数，W1和W2分别为MLP中两个全连接层的权重，b1和b2为偏置项。
6.根据权利要求4所述的基于Transformer的房颤识别方法，其特征在于，所述投影步骤中，还包括：按心拍将所述训练数据集划分心电信号，具体包括：
根据心电信号获取R波波峰的位置；
若R波波峰数量大于或等于20，则根据所述R波波峰位置向左取0.15秒，向右取0.35秒，共取0.5秒为一个心拍；
若R波波峰数量大于或等于3且小于20，则根据R波波峰位置向左取0.4秒，向右取0.6秒，共取1秒为一个心拍；
将所有切割出的心拍拼接成一段信号，若拼接后的信号小于20秒，则补零至20秒；若大于20秒，则裁剪为20秒，得到心电信号的划分结果。
7.根据权利要求1所述的基于Transformer的房颤识别方法，其特征在于，所述方法还包括：
逐步增加心电信号导联屏蔽的数量，将部分导联被屏蔽后的心电信号输入到所述目标模型中得到心电信号为房颤或非房颤的结果。
8.基于Transformer的房颤识别装置，其特征在于，包括：
第一模块，用于获取原始心电数据；
第二模块，用于对所述原始心电数据进行分类标记，得到房颤心电数据和非房颤心电数据；
第三模块，用于对所述房颤心电数据和非房颤心电数据进行数据分段，构建用于神经网络训练的训练数据集和测试数据集；
第四模块，用于将所述训练数据集输入到Transformer中进行网络训练，得到目标模型；
第五模块，用于将所述测试数据集输入所述目标模型进行二分类，得到所述测试数据集中房颤心电数据和非房颤心电数据的分类结果。
9.一种电子设备，其特征在于，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现如权利要求1-7中任一项所述的方法。
CN202111205554.1A 2021-10-15 2021-10-15 基于Transformer的房颤识别方法及装置 Active CN113855037B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111205554.1A CN113855037B (zh) 2021-10-15 2021-10-15 基于Transformer的房颤识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111205554.1A CN113855037B (zh) 2021-10-15 2021-10-15 基于Transformer的房颤识别方法及装置

Publications (2)

Publication Number Publication Date
CN113855037A true CN113855037A (zh) 2021-12-31
CN113855037B CN113855037B (zh) 2023-03-28

Family

ID=78999905

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111205554.1A Active CN113855037B (zh) 2021-10-15 2021-10-15 基于Transformer的房颤识别方法及装置

Country Status (1)

Country Link
CN (1) CN113855037B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114469124A (zh) * 2022-01-30 2022-05-13 北京理工大学 一种运动过程中异常心电信号的识别方法
CN114504324A (zh) * 2022-01-20 2022-05-17 武汉中旗生物医疗电子有限公司 一种动态心电房颤起止点的检测方法、装置及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130178755A1 (en) * 2011-07-06 2013-07-11 James Waters Analyzing electrocardiograms
CN110547792A (zh) * 2019-07-31 2019-12-10 平安科技（深圳）有限公司 房颤的检测方法、装置、计算机设备及存储介质
CN111358460A (zh) * 2020-03-03 2020-07-03 京东方科技集团股份有限公司 心律失常的识别方法、装置及电子设备
CN112932499A (zh) * 2021-01-28 2021-06-11 晨思(广州)医疗科技有限公司 网络训练和单导联心电数据处理方法、计算机装置和介质
CN113143204A (zh) * 2021-01-28 2021-07-23 晨思(广州)医疗科技有限公司 心电信号质量评估方法、计算机装置和存储介质
CN113408508A (zh) * 2021-08-20 2021-09-17 中国科学院自动化研究所 基于Transformer的非接触式心率测量方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130178755A1 (en) * 2011-07-06 2013-07-11 James Waters Analyzing electrocardiograms
CN110547792A (zh) * 2019-07-31 2019-12-10 平安科技（深圳）有限公司 房颤的检测方法、装置、计算机设备及存储介质
CN111358460A (zh) * 2020-03-03 2020-07-03 京东方科技集团股份有限公司 心律失常的识别方法、装置及电子设备
CN112932499A (zh) * 2021-01-28 2021-06-11 晨思(广州)医疗科技有限公司 网络训练和单导联心电数据处理方法、计算机装置和介质
CN113143204A (zh) * 2021-01-28 2021-07-23 晨思(广州)医疗科技有限公司 心电信号质量评估方法、计算机装置和存储介质
CN113408508A (zh) * 2021-08-20 2021-09-17 中国科学院自动化研究所 基于Transformer的非接触式心率测量方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114504324A (zh) * 2022-01-20 2022-05-17 武汉中旗生物医疗电子有限公司 一种动态心电房颤起止点的检测方法、装置及电子设备
CN114504324B (zh) * 2022-01-20 2024-07-05 武汉中旗生物医疗电子有限公司 一种动态心电房颤起止点的检测方法、装置及电子设备
CN114469124A (zh) * 2022-01-30 2022-05-13 北京理工大学 一种运动过程中异常心电信号的识别方法
CN114469124B (zh) * 2022-01-30 2024-04-09 北京理工大学 一种运动过程中异常心电信号的识别方法

Also Published As

Publication number Publication date
CN113855037B (zh) 2023-03-28

Similar Documents

Publication Publication Date Title
Çınar et al. Classification of normal sinus rhythm, abnormal arrhythmia and congestive heart failure ECG signals using LSTM and hybrid CNN-SVM deep neural networks
He et al. Automatic detection of atrial fibrillation based on continuous wavelet transform and 2D convolutional neural networks
US10869610B2 (en) System and method for identifying cardiac arrhythmias with deep neural networks
CN111449645B (zh) 心电图心拍智能分类识别方法
He et al. A framework for cardiac arrhythmia detection from IoT-based ECGs
CN106805965A (zh) 一种心电信号分类方法及装置
CN107837082A (zh) 基于人工智能自学习的心电图自动分析方法和装置
Wu et al. A novel method for classification of ECG arrhythmias using deep belief networks
CN113855037B (zh) 基于Transformer的房颤识别方法及装置
Deperlioglu Heart sound classification with signal instant energy and stacked autoencoder network
Hosseini et al. A multi-stage neural network classifier for ECG events
CN116602642B (zh) 心率监测方法、装置、设备
KR102483693B1 (ko) 설명 가능한 다중 심전도 부정맥 진단 장치 및 방법
Roy et al. Photoplethysmogram signal quality evaluation by unsupervised learning approach
Rohmantri et al. Arrhythmia classification using 2D convolutional neural network
Banerjee et al. A hybrid CNN-LSTM architecture for detection of coronary artery disease from ECG
Borghi et al. Atrial fibrillation classification based on MLP networks by extracting Jitter and Shimmer parameters
CN112704503A (zh) 心电信号噪声处理方法
Jia et al. Automatic detection and classification of 12-lead ECGs using a deep neural network
Wang et al. A pooling convolution model for multi-classification of ECG and PCG signals
CN115935183A (zh) 失眠辨证分类模型的训练、分类方法、系统、设备及介质
CN112842342B (zh) 一种结合希尔伯特曲线和集成学习的心电磁信号分类方法
Balcı A hybrid attention-based LSTM-XGBoost model for detection of ECG-based atrial fibrillation
Benarabi et al. Energy and sparse coding coefficients as sufficient measures for VEBs classification
Wen et al. ECG beat classification using GreyART network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant