CN113855037B - 基于Transformer的房颤识别方法及装置 - Google Patents

基于Transformer的房颤识别方法及装置 Download PDF

Info

Publication number
CN113855037B
CN113855037B CN202111205554.1A CN202111205554A CN113855037B CN 113855037 B CN113855037 B CN 113855037B CN 202111205554 A CN202111205554 A CN 202111205554A CN 113855037 B CN113855037 B CN 113855037B
Authority
CN
China
Prior art keywords
data
atrial fibrillation
data set
transformer
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111205554.1A
Other languages
English (en)
Other versions
CN113855037A (zh
Inventor
谭慧欣
赖杰伟
阳维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southern Medical University
Original Assignee
Southern Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southern Medical University filed Critical Southern Medical University
Priority to CN202111205554.1A priority Critical patent/CN113855037B/zh
Publication of CN113855037A publication Critical patent/CN113855037A/zh
Application granted granted Critical
Publication of CN113855037B publication Critical patent/CN113855037B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • A61B5/349—Detecting specific parameters of the electrocardiograph cycle
    • A61B5/361—Detecting fibrillation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Cardiology (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了基于Transformer的房颤识别方法及装置，方法包括：获取原始心电数据；对所述原始心电数据进行分类标记，得到房颤心电数据和非房颤心电数据；对所述房颤心电数据和非房颤心电数据进行数据分段，构建用于神经网络训练的训练数据集和测试数据集；将所述训练数据集输入到Transformer中进行网络训练，得到目标模型；将所述测试数据集输入所述目标模型进行二分类，得到所述测试数据集中房颤心电数据和非房颤心电数据的分类结果。本发明的准确度高且精度高，可广泛应用于数据处理技术领域。

Description

基于Transformer的房颤识别方法及装置
技术领域
本发明涉及数据处理技术领域，尤其是基于Transformer的房颤识别方法及装置。
背景技术
心房颤动一直是健康关注的焦点，因为它是最常见的心律失常，由于人口老龄化的激增，预计到2050年，其患病率将翻一番。 房颤很大程度上会导致心血管疾病风险的增加，包括卒中风险增加5倍。 心房颤动的错误诊断可能导致过度医疗、医疗资源的不当使用、以及无法及时预警心血管风险。 然而，无症状和阵发性心房颤动占心房颤动事件比例不小，这使得在医院常规心电图检查期间很难及时地发现心房颤动。
随着可穿戴式心电图仪的出现，长时间连续心电监护可以显着提高无症状和阵发性房颤的检出率，但缺乏心血管专家对所有长期记录进行诊断仍然是一个严峻的挑战。因此，对可穿戴式心电图自动诊断房颤的呼声迫在眉睫。
基于特征提取的房颤检测方法对噪声和个体差异不鲁棒，故现在的主流方法均是基于卷积神经网络或循环神经网络的，但对于时间序列而言，卷积网络无法很好地对长距离依赖建模，循环网络则并行性太差。
发明内容
有鉴于此，本发明实施例提供一种准确度高且精度高的基于Transformer的房颤识别方法及装置。
本发明的一方面提供了一种基于Transformer的房颤识别方法，包括：
获取原始心电数据；
对所述原始心电数据进行分类标记，得到房颤心电数据和非房颤心电数据；
对所述房颤心电数据和非房颤心电数据进行数据分段，构建用于神经网络训练的训练数据集和测试数据集；
将所述训练数据集输入到Transformer中进行网络训练，得到目标模型；
将所述测试数据集输入所述目标模型进行二分类，得到所述测试数据集中房颤心电数据和非房颤心电数据的分类结果。
可选地，所述获取原始心电数据，包括：
通过可穿戴设备获取原始心电数据。
可选地，所述对所述房颤心电数据和非房颤心电数据进行数据分段，构建用于神经网络训练的训练数据集和测试数据集，包括：
将监测数据的时间片段设置为15秒，将采样率设置为500Hz；
对采集到的所述房颤心电数据和非房颤心电数据进行数据分段；
计算数据分段后所有心电数据的均值和标准差；
根据所述均值和标准差对所有心电数据进行归一化处理；
通过带通滤波对所述心电数据中噪声进行滤除，得到训练数据集和测试数据集；
其中，所述训练数据集和测试数据集的数据集格式为HDF5格式。
可选地，所述将所述训练数据集输入到Transformer中进行网络训练，得到目标模型，包括投影步骤、位置嵌入步骤以及Transformer编码步骤；
其中，所述投影步骤包括：
将所述训练数据集等间隔划分为多个片段，每个小段为待投影数据；
将所述待投影数据经过线性变换，生成投影数据；
为所述投影数据添加一个跟投影段长度相等的分类头，所述分类头用于进行数据分类；
所述位置嵌入步骤包括：
根据投影的总段数，为每个小段添加可学习的位置信息；
所述Transformer编码步骤包括：
对网络每层的输出进行归一化处理；
通过多头自注意力机制让所述目标模型在不同的特征子空间里进行信息学习；
通过多层感知器进行分类处理后，通过sigmoid激活函数后得到分类为房颤的概率。
可选地，所述归一化处理的表达式为：
Figure 229763DEST_PATH_IMAGE001
其中，
Figure 651254DEST_PATH_IMAGE002
代表归一化处理函数；/>
Figure 492171DEST_PATH_IMAGE003
为输入样本；/>
Figure 969420DEST_PATH_IMAGE004
和/>
Figure 553985DEST_PATH_IMAGE005
分别为输入样本的均值和标准差；/>
Figure 800290DEST_PATH_IMAGE006
为学习率；/>
Figure DEST_PATH_IMAGE007
为偏置项；
所述多头自注意力的表达式为：
Figure 218633DEST_PATH_IMAGE008
其中，
Figure 42233DEST_PATH_IMAGE009
代表多头自注意力表达式；/>
Figure 335548DEST_PATH_IMAGE010
分别为查询、键和值；
Figure 701939DEST_PATH_IMAGE011
为神经网络的一种激活函数；/>
Figure 884658DEST_PATH_IMAGE012
为键/>
Figure 602079DEST_PATH_IMAGE013
的维度大小；
所述多层感知器的表达式为：
Figure 669392DEST_PATH_IMAGE014
其中，
Figure 749343DEST_PATH_IMAGE015
代表多层感知器的表达式；/>
Figure 748304DEST_PATH_IMAGE016
为输入，/>
Figure 687441DEST_PATH_IMAGE017
为神经网络的一种激活函数，/>
Figure 151921DEST_PATH_IMAGE018
和/>
Figure 86379DEST_PATH_IMAGE019
分别为MLP中两个全连接层的权重，/>
Figure 17426DEST_PATH_IMAGE020
和/>
Figure 178280DEST_PATH_IMAGE021
为偏置项。
可选地，所述投影步骤中，还包括：按心拍将所述训练数据集划分心电数据，具体包括：
根据心电数据获取R波波峰的位置；
若R波波峰数量大于或等于20，则根据所述R波波峰位置向左取0.15秒，向右取0.35秒，共取0.5秒为一个心拍；
若R波波峰数量大于或等于3且小于20，则根据R波波峰位置向左取0.4秒，向右取0.6秒，共取1秒为一个心拍；
将所有切割出的心拍拼接成一段信号，若拼接后的信号小于20秒，则补零至20秒；若大于20秒，则裁剪为20秒，得到心电数据的划分结果。
可选地，方法还包括：
逐步增加心电数据导联屏蔽的数量，将部分导联被屏蔽后的心电数据输入到所述目标模型中得到心电数据为房颤或非房颤的结果。
本发明实施例另一方面还提供了一种基于Transformer的房颤识别装置，包括：
第一模块，用于获取原始心电数据；
第二模块，用于对所述原始心电数据进行分类标记，得到房颤心电数据和非房颤心电数据；
第三模块，用于对所述房颤心电数据和非房颤心电数据进行数据分段，构建用于神经网络训练的训练数据集和测试数据集；
第四模块，用于将所述训练数据集输入到Transformer中进行网络训练，得到目标模型；
第五模块，用于将所述测试数据集输入所述目标模型进行二分类，得到所述测试数据集中房颤心电数据和非房颤心电数据的分类结果。
本发明实施例另一方面还提供了一种电子设备，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如前面所述的方法。
本发明实施例另一方面还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
本发明的实施例获取原始心电数据；对所述原始心电数据进行分类标记，得到房颤心电数据和非房颤心电数据；对所述房颤心电数据和非房颤心电数据进行数据分段，构建用于神经网络训练的训练数据集和测试数据集；将所述训练数据集输入到Transformer中进行网络训练，得到目标模型；将所述测试数据集输入所述目标模型进行二分类，得到所述测试数据集中房颤心电数据和非房颤心电数据的分类结果。本发明的准确度高且精度高。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是非房颤心电数据和房颤心电数据对比示例图；
图2是一种心电数据示例图；
图3是本发明的方法流程示例图；
图4是本发明的Transformer编码器层的示例图；
图5是本发明的方法与其他方法在导联脱落情况下的房颤识别性能对比示例图；
图6是本发明的改进心电划分方法示例图；
图7为本发明的整体步骤流程图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
首先对本发明实施例中出现的相关技术名词进行解释：
1. Transformer：是一种基于自注意力机制的神经网络；
2. HierarchicalDataFormat：是一种设计用于存储和组织大量数据的文件格式；
3. LN：层归一化，是一种对神经网络隐层的输出进行归一化的方式；
4. MSA：多头自注意力，是一种特征空间中的注意力机制；
5. MLP：多层感知机，是一种前馈人工神经网络；
6. Sigmoid：神经网络的一种激活函数；
7. Softmax：神经网络的一种激活函数；
8. GELU：神经网络的一种激活函数。
针对现有技术存在的问题，本发明实施例提供了一种基于Transformer的房颤识别方法，如图7所示，包括：
获取原始心电数据；
对所述原始心电数据进行分类标记，得到房颤心电数据和非房颤心电数据；
对所述房颤心电数据和非房颤心电数据进行数据分段，构建用于神经网络训练的训练数据集和测试数据集；
将所述训练数据集输入到Transformer中进行网络训练，得到目标模型；
将所述测试数据集输入所述目标模型进行二分类，得到所述测试数据集中房颤心电数据和非房颤心电数据的分类结果。
可选地，所述获取原始心电数据，包括：
通过可穿戴设备获取原始心电数据。
可选地，所述对所述房颤心电数据和非房颤心电数据进行数据分段，构建用于神经网络训练的训练数据集和测试数据集，包括：
将监测数据的时间片段设置为15秒，将采样率设置为500Hz；
对采集到的所述房颤心电数据和非房颤心电数据进行数据分段；
计算数据分段后所有心电数据的均值和标准差；
根据所述均值和标准差对所有心电数据进行归一化处理；
通过带通滤波对所述心电数据中噪声进行滤除，得到训练数据集和测试数据集；
其中，所述训练数据集和测试数据集的数据集格式为HDF5格式。
可选地，所述将所述训练数据集输入到Transformer中进行网络训练，得到目标模型，包括投影步骤、位置嵌入步骤以及Transformer编码步骤；
其中，所述投影步骤包括：
将所述训练数据集等间隔划分为多个片段，每个小段为待投影数据；
将所述待投影数据经过线性变换，生成投影数据；
为所述投影数据添加一个跟投影段长度相等的分类头，所述分类头用于进行数据分类；
所述位置嵌入步骤包括：
根据投影的总段数，为每个小段添加可学习的位置信息；
所述Transformer编码步骤包括：
对网络每层的输出进行归一化处理；
通过多头自注意力机制让所述目标模型在不同的特征子空间里进行信息学习；
通过多层感知器进行分类处理后，通过sigmoid激活函数后得到分类为房颤的概率。
可选地，所述归一化处理的表达式为：
Figure 712029DEST_PATH_IMAGE001
其中，
Figure 406053DEST_PATH_IMAGE002
代表归一化处理函数；/>
Figure 976843DEST_PATH_IMAGE003
为输入样本；/>
Figure 15206DEST_PATH_IMAGE004
和/>
Figure 962434DEST_PATH_IMAGE005
分别为输入样本的均值和标准差；/>
Figure 12429DEST_PATH_IMAGE006
为学习率；/>
Figure 144333DEST_PATH_IMAGE022
为偏置项；
所述多头自注意力的表达式为：
Figure 512736DEST_PATH_IMAGE008
其中，
Figure 653867DEST_PATH_IMAGE009
代表多头自注意力表达式；/>
Figure 558369DEST_PATH_IMAGE010
分别为查询、键和值；
Figure 595595DEST_PATH_IMAGE011
为神经网络的一种激活函数；/>
Figure 218338DEST_PATH_IMAGE012
为键/>
Figure 772947DEST_PATH_IMAGE013
的维度大小；
所述多层感知器的表达式为：
Figure 656589DEST_PATH_IMAGE014
其中，
Figure 238618DEST_PATH_IMAGE015
代表多层感知器的表达式；/>
Figure 207711DEST_PATH_IMAGE016
为输入，/>
Figure 159487DEST_PATH_IMAGE017
为神经网络的一种激活函数，/>
Figure 38581DEST_PATH_IMAGE018
和/>
Figure 558555DEST_PATH_IMAGE019
分别为MLP中两个全连接层的权重，/>
Figure 14944DEST_PATH_IMAGE020
和/>
Figure 645777DEST_PATH_IMAGE021
为偏置项。
可选地，所述投影步骤中，还包括：按心拍将所述训练数据集划分心电数据，具体包括：
根据心电数据获取R波波峰的位置；
若R波波峰数量大于或等于20，则根据所述R波波峰位置向左取0.15秒，向右取0.35秒，共取0.5秒为一个心拍；
若R波波峰数量大于或等于3且小于20，则根据R波波峰位置向左取0.4秒，向右取0.6秒，共取1秒为一个心拍；
将所有切割出的心拍拼接成一段信号，若拼接后的信号小于20秒，则补零至20秒；若大于20秒，则裁剪为20秒，得到心电数据的划分结果。
可选地，方法还包括：
逐步增加心电数据导联屏蔽的数量，将部分导联被屏蔽后的心电数据输入到所述目标模型中得到心电数据为房颤或非房颤的结果。
本发明实施例另一方面还提供了一种基于Transformer的房颤识别装置，包括：
第一模块，用于获取原始心电数据；
第二模块，用于对所述原始心电数据进行分类标记，得到房颤心电数据和非房颤心电数据；
第三模块，用于对所述房颤心电数据和非房颤心电数据进行数据分段，构建用于神经网络训练的训练数据集和测试数据集；
第四模块，用于将所述训练数据集输入到Transformer中进行网络训练，得到目标模型；
第五模块，用于将所述测试数据集输入所述目标模型进行二分类，得到所述测试数据集中房颤心电数据和非房颤心电数据的分类结果。
本发明实施例另一方面还提供了一种电子设备，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如前面所述的方法。
本发明实施例另一方面还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
下面结合说明书附图，对本发明的具体实现原理进行详细说明：
本发明基于Transformer的房颤识别方法，包括以下步骤：
S1.获取可穿戴设备的原始动态心电数据；
S2.专家对心电数据进行房颤标记，分类为房颤与非房颤；
S3.对心电数据进行分段、数据预处理，并制作成神经网络通用的数据集；
S4.将训练数据集输入到Transformer中进行网络训练，得到一个各项指标表现优秀的模型；
S5.将测试数据集输入S4得到的模型中进行二分类，得到心电数据为房颤或非房颤的结果。
优选地，所述步骤S1中的心电数据中，房颤信号包括了多种噪声，如工频干扰、肌电干扰、基线漂移等。
优选地，所述步骤S3中心电数据的分段长度为15秒，所述信号的采样频率为500赫兹。
具体地，S1.获取可穿戴设备的原始动态心电数据；原始的心电数据通过可穿戴设备获取，并且时程长，可以囊括日常多种行为情况下的心电数据，数据中的噪声类型也更丰富多样，增加了数据的多样性，不仅有利于网络的训练，还更符合远程心电事件监测的实际情况。其中房颤信号和非房颤信号如附图1所示例，可见房颤信号具有RR间期不等、心率不规整、以及P波消失等显著特征。导联脱落情况下的房颤信号、强噪声下的房颤信号以及和房扑信号如附图2所示例，导联脱落和强噪声容易导致神经网络的误判，房扑信号则与房颤信号较难区分。
S2.对心电数据进行标记，分类为房颤或非房颤；例如：每份心电样本的标签均可经过专家审核，例如以下标准化流程：评估（1人），审核（1人），初审（2人），终审（1人），共由5名专家进行评估审核。
S3.对心电数据进行分段、数据预处理，并制作成神经网络通用的数据集；在实际的长时程动态心电监测中，为了实时获得监测结果，应每隔一个短时间段输出监测信息，因此该实例将时间片段长度设置为常用值15秒，短时间段的心电数据还可减少基线漂移的影响和滤除运动伪影。心电数据的采样率设置为常用值500赫兹。15秒的心电数据同样具有两种类型的标签：房颤，和非房颤。其中图1为房颤心电数据示例图，图2为非房颤心电数据示例图。信号分段后，计算所有信号的均值和标准差，对信号进行归一化，并通过带通滤波滤除信号可能包含的工频干扰、基线漂移和肌电噪声，将其制作成神经网络通用的数据集，该实例设置数据集的格式为HierarchicalDataFormat，即HDF5格式。
S4.将训练数据集等间隔划分为多个小段后，输入到一个8层的Transformer编码器中进行网络训练，得到一个各项指标表现优秀的模型；
Transformer是深度学习在计算机视觉领域的一个新兴方向，包括投影、位置嵌入、和Transformer编码器层，整体结构如附图3所示，本实例的优化策略设置为梯度下降方法。
投影步骤为：
A1.将心电数据等间隔划分为多个片段，每个小段为待投影数据：
Figure 769591DEST_PATH_IMAGE023
（1）
其中，
Figure 976579DEST_PATH_IMAGE024
表示心电数据，下标/>
Figure 654685DEST_PATH_IMAGE025
代表片段，上标/>
Figure 89209DEST_PATH_IMAGE026
代表片段总数。
A2.将待投影数据经过线性变换，生成投影数据：
Figure 801950DEST_PATH_IMAGE027
（2）
其中，
Figure 663727DEST_PATH_IMAGE028
表示投影数据，/>
Figure 829129DEST_PATH_IMAGE029
为线性变换矩阵。
A3.为投影数据添加一个跟投影段长度相等的分类头，用于最后的分类：
Figure 67343DEST_PATH_IMAGE030
（3）
其中，
Figure 274071DEST_PATH_IMAGE031
表示增加了分类头的投影数据，/>
Figure 696962DEST_PATH_IMAGE032
为添加的分类头。
位置嵌入的过程为：
一个圆是什么运算符号A1.根据投影的总段数，为每个小段添加可学习的位置信息：
Figure 225027DEST_PATH_IMAGE033
（4）
其中，
Figure 266932DEST_PATH_IMAGE034
为添加了可学习位置信息的投影数据，/>
Figure 360790DEST_PATH_IMAGE035
为可学习的位置信息。Transformer是通过位置嵌入来为输入的每个投影引入位置信息，从而使网络能够学习时间序列的时间流的信息。
Transformer编码器层如附图4所示，包括层归一化、多头自注意力、和多层感知器：
A1.层归一化（LN）：
Figure 689003DEST_PATH_IMAGE036
（5）
其中，
Figure 468478DEST_PATH_IMAGE003
为输入样本，/>
Figure 907550DEST_PATH_IMAGE004
和/>
Figure 590335DEST_PATH_IMAGE005
分别为输入样本的均值和标准差，/>
Figure 823870DEST_PATH_IMAGE006
为学习率，/>
Figure 326527DEST_PATH_IMAGE022
为偏置项。层归一化用于对网络每层的输出进行归一化，是独立于批大小的，无论批样本数的多少都不会影响参与层归一化计算的数据量，当批样本量很小的时候效果也不会改变。
A2.多头自注意力（MSA）：
Figure 569289DEST_PATH_IMAGE037
（6）
其中，
Figure 106581DEST_PATH_IMAGE010
分别为查询、键和值，/>
Figure 776597DEST_PATH_IMAGE011
为神经网络的一种激活函数，/>
Figure 999506DEST_PATH_IMAGE012
为键/>
Figure 186904DEST_PATH_IMAGE013
的维度大小。 自注意力机制可以为长时间序列各时间段间的依赖信息建模，而多头自注意力则可以允许模型在不同的特征子空间里学习到相关的信息。
A3.多层感知器（MLP）：
Figure 968916DEST_PATH_IMAGE014
（7）
其中，
Figure 622882DEST_PATH_IMAGE016
为输入，/>
Figure 604525DEST_PATH_IMAGE017
为神经网络的一种激活函数，/>
Figure 189090DEST_PATH_IMAGE018
和/>
Figure 700974DEST_PATH_IMAGE019
分别为MLP中两个全连接层的权重，/>
Figure 712793DEST_PATH_IMAGE020
和/>
Figure 677338DEST_PATH_IMAGE021
为偏置项。
因此，Transformer编码器的输入为添加了可学习位置信息的心电数据片段线性投影和分类头，输入在编码器中经过每一层的层归一化、多头自注意力、残差连接、层归一化、多层感知器、残差连接后，再进行层归一化输入到多层感知器中进行分类，分类输出经过sigmoid激活函数后可得到分类为房颤的概率：
Figure 940960DEST_PATH_IMAGE033
（8）
Figure 431984DEST_PATH_IMAGE038
（9）
Figure 988605DEST_PATH_IMAGE039
（10）
Figure 33922DEST_PATH_IMAGE040
（11）
Figure 101235DEST_PATH_IMAGE041
（12）
其中，
Figure 712345DEST_PATH_IMAGE042
和/>
Figure 941332DEST_PATH_IMAGE043
分别为第/>
Figure 880469DEST_PATH_IMAGE044
和第/>
Figure 610528DEST_PATH_IMAGE045
层的输出（网络一共有/>
Figure 544985DEST_PATH_IMAGE046
层），/>
Figure 443409DEST_PATH_IMAGE047
为层归一化、多头自注意力、残差连接后的输出，/>
Figure 869842DEST_PATH_IMAGE048
是Transformer编码器最后一层的输出，/>
Figure 669171DEST_PATH_IMAGE049
是Transformer编码器的输出，/>
Figure 599081DEST_PATH_IMAGE050
为Sigmoid函数，/>
Figure 435450DEST_PATH_IMAGE051
为最后获得的分类为房颤的概率。
网络的损失函数可以表示为：
Figure 942655DEST_PATH_IMAGE052
（13）
其中
Figure 653996DEST_PATH_IMAGE053
是交叉熵系数（/>
Figure 828626DEST_PATH_IMAGE054
和/>
Figure 101475DEST_PATH_IMAGE055
分别为负样本的个数和正样本的个数），能够防止数据不平衡带来的训练不稳定性，/>
Figure 236922DEST_PATH_IMAGE056
为标签值，/>
Figure 112474DEST_PATH_IMAGE046
为分类损失。/>
梯度下降更新网络的权值参数可表示为：
Figure 485817DEST_PATH_IMAGE057
（14）
其中
Figure 54202DEST_PATH_IMAGE058
为本次更新后的网络参数，/>
Figure 904041DEST_PATH_IMAGE059
为上次更新后的网络参数，/>
Figure 317705DEST_PATH_IMAGE006
为学习率。
由于房颤和非房颤的数据量极不平衡，为了训练过程更稳定，使用导联屏蔽、信号段置零和裁剪缩放等数据扩增手段来进行训练时的数据扩增。
S5.将测试数据集输入S4得到的模型中进行二分类，得到心电数据为房颤或非房颤的结果。为了证明方法的优越性，还进行了导联脱落鲁棒性验证。实施方法为逐步增加心电数据导联屏蔽的数量，将部分导联被屏蔽后的心电数据输入到网络中得到心电数据为房颤或非房颤的结果。对比结果如附图5所示，本发明的房颤识别方法的平均识别精度优于其他方法（附图5中的DNN1和DNN2为目前主流的两个用于心电数据心律失常分析的深层卷积神经网络）。
可选地，本发明实施例中，步骤S4还可以改进投影步骤中心电数据的划分方法。将原等间隔划分心电数据的方法改进为按心拍划分心电数据，过程如附图6所示：
A1.根据心电数据获取R波波峰的位置；
A2.若R波波峰数量大于或等于20，则根据R波波峰位置向左取0.15秒，向右取0.35秒，共取0.5秒为一个心拍；若R波波峰数量大于或等于3且小于或等于20，则根据R波波峰位置向左取0.4秒，向右取0.6秒，共取1秒为一个心拍。
A3.将所有切割出的心拍拼接成一段信号，若拼接后的信号小于20秒，则补零至20秒；若大于20秒，则裁剪为20秒。
综上所述，相较于现有技术，本发明、使用Transformer为房颤识别的模型；为Transformer识别房颤提出了一种新的输入方法，即按心拍划分心电数据，将每个心拍当作一个投影片段，输入到编码器中，具有以下优点：
1.将一维心电数据输入到Transformer编码器中进行房颤识别，与卷积神经网络和循环神经网络相比，既能很好地对时间序列的长距离依赖进行建模，同时又具有高并行性。
2.本实验数据集得到的结果优异，使用如下评价指标：准确率、AUC、F1分数和AP。
3.相较于当前性能最好的用于心电数据心率失常检测的卷积神经网络，本发明中的模型对于部分导联脱落下的房颤识别更鲁棒，也能准确地区分房颤和房扑，更能可靠有效地识别出房颤事件。
4.为长时程心电数据提供了房颤自动识别的高效方法，为远程心电事件监护的发展提供了技术支持。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (9)

1.基于Transformer的房颤识别方法，其特征在于，包括：
获取原始心电数据；
对所述原始心电数据进行分类标记，得到房颤心电数据和非房颤心电数据；
对所述房颤心电数据和非房颤心电数据进行数据分段，构建用于神经网络训练的训练数据集和测试数据集；
将所述训练数据集输入到Transformer中进行网络训练，得到目标模型；
将所述测试数据集输入所述目标模型进行二分类，得到所述测试数据集中房颤心电数据和非房颤心电数据的分类结果；
其中，所述将所述训练数据集输入到Transformer中进行网络训练，得到目标模型，包括投影步骤、位置嵌入步骤以及Transformer编码步骤；
其中，所述投影步骤包括：
将所述训练数据集等间隔划分为多个片段，每个小段为待投影数据；
将所述待投影数据经过线性变换，生成投影数据；
为所述投影数据添加一个跟投影段长度相等的分类头，所述分类头用于进行数据分类；
所述位置嵌入步骤包括：
根据投影的总段数，为每个小段添加可学习的位置信息；
所述Transformer编码步骤包括：
对网络每层的输出进行归一化处理；
通过多头自注意力机制让所述目标模型在不同的特征子空间里进行信息学习；
通过多层感知器进行分类处理后，通过sigmoid激活函数后得到分类为房颤的概率。
2.根据权利要求1所述的基于Transformer的房颤识别方法，其特征在于，所述获取原始心电数据，包括：
通过可穿戴设备获取原始心电数据。
3.根据权利要求1所述的基于Transformer的房颤识别方法，其特征在于，所述对所述房颤心电数据和非房颤心电数据进行数据分段，构建用于神经网络训练的训练数据集和测试数据集，包括：
将监测数据的时间片段设置为15秒，将采样率设置为500Hz；
对采集到的所述房颤心电数据和非房颤心电数据进行数据分段；
计算数据分段后所有心电数据的均值和标准差；
根据所述均值和标准差对所有心电数据进行归一化处理；
通过带通滤波对所述心电数据中噪声进行滤除，得到训练数据集和测试数据集；
其中，所述训练数据集和测试数据集的数据集格式为HDF5格式。
4.根据权利要求3所述的基于Transformer的房颤识别方法，其特征在于，
所述归一化处理的表达式为：
Figure 168674DEST_PATH_IMAGE001
其中，
Figure 373171DEST_PATH_IMAGE002
代表归一化处理函数；/>
Figure 226858DEST_PATH_IMAGE003
为输入样本；/>
Figure 213268DEST_PATH_IMAGE004
和/>
Figure 519616DEST_PATH_IMAGE005
分别为输入样本的均值和标准差；/>
Figure 351305DEST_PATH_IMAGE006
为学习率；/>
Figure 793919DEST_PATH_IMAGE007
为偏置项；
所述多头自注意力的表达式为：
Figure 951231DEST_PATH_IMAGE008
其中，
Figure 603929DEST_PATH_IMAGE009
代表多头自注意力表达式；/>
Figure 878791DEST_PATH_IMAGE010
分别为查询、键和值；
Figure 441490DEST_PATH_IMAGE011
为神经网络的一种激活函数；/>
Figure 769703DEST_PATH_IMAGE012
为键/>
Figure 50643DEST_PATH_IMAGE013
的维度大小；
所述多层感知器的表达式为：
Figure 755294DEST_PATH_IMAGE014
其中，
Figure 438079DEST_PATH_IMAGE015
代表多层感知器的表达式；/>
Figure 576674DEST_PATH_IMAGE016
为输入，/>
Figure 876068DEST_PATH_IMAGE017
为神经网络的一种激活函数，/>
Figure 728618DEST_PATH_IMAGE018
和/>
Figure 390543DEST_PATH_IMAGE019
分别为MLP中两个全连接层的权重，/>
Figure 201505DEST_PATH_IMAGE020
和/>
Figure 316091DEST_PATH_IMAGE021
为偏置项。
5.根据权利要求3所述的基于Transformer的房颤识别方法，其特征在于，所述投影步骤中，还包括：按心拍对所述训练数据集划分心电数据，具体包括：
根据心电数据获取R波波峰的位置；
若R波波峰数量大于或等于20，则根据所述R波波峰位置向左取0.15秒，向右取0.35秒，共取0.5秒为一个心拍；
若R波波峰数量大于或等于3且小于20，则根据R波波峰位置向左取0.4秒，向右取0.6秒，共取1秒为一个心拍；
将所有切割出的心拍拼接成一段信号，若拼接后的信号小于20秒，则补零至20秒；若大于20秒，则裁剪为20秒，得到心电数据的划分结果。
6.根据权利要求1所述的基于Transformer的房颤识别方法，其特征在于，所述方法还包括：
逐步增加心电数据导联屏蔽的数量，将部分导联被屏蔽后的心电数据输入到所述目标模型中得到心电数据为房颤或非房颤的结果。
7.基于Transformer的房颤识别装置，其特征在于，包括：
第一模块，用于获取原始心电数据；
第二模块，用于对所述原始心电数据进行分类标记，得到房颤心电数据和非房颤心电数据；
第三模块，用于对所述房颤心电数据和非房颤心电数据进行数据分段，构建用于神经网络训练的训练数据集和测试数据集；
第四模块，用于将所述训练数据集输入到Transformer中进行网络训练，得到目标模型；
第五模块，用于将所述测试数据集输入所述目标模型进行二分类，得到所述测试数据集中房颤心电数据和非房颤心电数据的分类结果；
其中，所述将所述训练数据集输入到Transformer中进行网络训练，得到目标模型，包括投影步骤、位置嵌入步骤以及Transformer编码步骤；
其中，所述投影步骤包括：
将所述训练数据集等间隔划分为多个片段，每个小段为待投影数据；
将所述待投影数据经过线性变换，生成投影数据；
为所述投影数据添加一个跟投影段长度相等的分类头，所述分类头用于进行数据分类；
所述位置嵌入步骤包括：
根据投影的总段数，为每个小段添加可学习的位置信息；
所述Transformer编码步骤包括：
对网络每层的输出进行归一化处理；
通过多头自注意力机制让所述目标模型在不同的特征子空间里进行信息学习；
通过多层感知器进行分类处理后，通过sigmoid激活函数后得到分类为房颤的概率。
8.一种电子设备，其特征在于，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如权利要求1-6中任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现如权利要求1-6中任一项所述的方法。
CN202111205554.1A 2021-10-15 2021-10-15 基于Transformer的房颤识别方法及装置 Active CN113855037B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111205554.1A CN113855037B (zh) 2021-10-15 2021-10-15 基于Transformer的房颤识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111205554.1A CN113855037B (zh) 2021-10-15 2021-10-15 基于Transformer的房颤识别方法及装置

Publications (2)

Publication Number Publication Date
CN113855037A CN113855037A (zh) 2021-12-31
CN113855037B true CN113855037B (zh) 2023-03-28

Family

ID=78999905

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111205554.1A Active CN113855037B (zh) 2021-10-15 2021-10-15 基于Transformer的房颤识别方法及装置

Country Status (1)

Country Link
CN (1) CN113855037B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114504324A (zh) * 2022-01-20 2022-05-17 武汉中旗生物医疗电子有限公司 一种动态心电房颤起止点的检测方法、装置及电子设备
CN114469124B (zh) * 2022-01-30 2024-04-09 北京理工大学 一种运动过程中异常心电信号的识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110547792A (zh) * 2019-07-31 2019-12-10 平安科技（深圳）有限公司 房颤的检测方法、装置、计算机设备及存储介质
CN112932499A (zh) * 2021-01-28 2021-06-11 晨思(广州)医疗科技有限公司 网络训练和单导联心电数据处理方法、计算机装置和介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8849386B2 (en) * 2011-07-06 2014-09-30 James Waters Analyzing electrocardiograms
CN111358460A (zh) * 2020-03-03 2020-07-03 京东方科技集团股份有限公司 心律失常的识别方法、装置及电子设备
CN113143204A (zh) * 2021-01-28 2021-07-23 晨思(广州)医疗科技有限公司 心电信号质量评估方法、计算机装置和存储介质
CN113408508B (zh) * 2021-08-20 2021-11-30 中国科学院自动化研究所 基于Transformer的非接触式心率测量方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110547792A (zh) * 2019-07-31 2019-12-10 平安科技（深圳）有限公司 房颤的检测方法、装置、计算机设备及存储介质
CN112932499A (zh) * 2021-01-28 2021-06-11 晨思(广州)医疗科技有限公司 网络训练和单导联心电数据处理方法、计算机装置和介质

Also Published As

Publication number Publication date
CN113855037A (zh) 2021-12-31

Similar Documents

Publication Publication Date Title
Çınar et al. Classification of normal sinus rhythm, abnormal arrhythmia and congestive heart failure ECG signals using LSTM and hybrid CNN-SVM deep neural networks
He et al. Automatic detection of atrial fibrillation based on continuous wavelet transform and 2D convolutional neural networks
He et al. A framework for cardiac arrhythmia detection from IoT-based ECGs
Marinho et al. A novel electrocardiogram feature extraction approach for cardiac arrhythmia classification
CN111449645B (zh) 心电图心拍智能分类识别方法
US10869610B2 (en) System and method for identifying cardiac arrhythmias with deep neural networks
CN113855037B (zh) 基于Transformer的房颤识别方法及装置
CN107837082A (zh) 基于人工智能自学习的心电图自动分析方法和装置
Parvaneh et al. Analyzing single-lead short ECG recordings using dense convolutional neural networks and feature-based post-processing to detect atrial fibrillation
CN106805965A (zh) 一种心电信号分类方法及装置
KR102483693B1 (ko) 설명 가능한 다중 심전도 부정맥 진단 장치 및 방법
CN116602642B (zh) 心率监测方法、装置、设备
CN113995419B (zh) 一种基于心跳节律信号的房颤发生风险预测系统及其应用
CA3069833A1 (en) Discovering genomes to use in machine learning techniques
Hever et al. Machine learning applied to multi-sensor information to reduce false alarm rate in the ICU
CN112704503B (zh) 心电信号噪声处理方法
Ojha et al. Automatic detection of arrhythmias from an ECG signal using an auto-encoder and SVM classifier
CN115281688A (zh) 一种基于多模态深度学习的心脏肥大多标签检测系统
Dubatovka et al. Automatic detection of atrial fibrillation from single-lead ECG using deep learning of the cardiac cycle
Balcı A hybrid attention-based LSTM-XGBoost model for detection of ECG-based atrial fibrillation
KR102467211B1 (ko) 머신 러닝을 이용하여 심전도 파형 분류 방법 및 장치
KR102483854B1 (ko) 심전도 파형 클러스터링 방법 및 장치
Jiahao et al. An end-end arrhythmia diagnosis model based on deep learning neural network with multi-scale feature extraction
DÜDÜKÇÜ et al. ECG DATA ANOMALIES DETECTION WITH STACKED AUTOENCODER ON LOW-POWER AND LOW-MEMORY MICROCONTROLLERS
Siekierski et al. Heart beats classification method using a multi-signal ECG spectrogram and convolutional neural network with residual blocks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant