CN113974649A - 心搏信号的分类的和用于心搏信号的分类的深度学习模型的训练的方法、设备和介质 - Google Patents
心搏信号的分类的和用于心搏信号的分类的深度学习模型的训练的方法、设备和介质 Download PDFInfo
- Publication number
- CN113974649A CN113974649A CN202111468540.9A CN202111468540A CN113974649A CN 113974649 A CN113974649 A CN 113974649A CN 202111468540 A CN202111468540 A CN 202111468540A CN 113974649 A CN113974649 A CN 113974649A
- Authority
- CN
- China
- Prior art keywords
- heart beat
- heart
- signals
- classification
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000013136 deep learning model Methods 0.000 title claims abstract description 27
- 238000013528 artificial neural network Methods 0.000 claims abstract description 27
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 17
- 230000015654 memory Effects 0.000 claims description 37
- 238000012795 verification Methods 0.000 claims description 29
- 238000013135 deep learning Methods 0.000 claims description 15
- 238000010586 diagram Methods 0.000 claims description 13
- 238000010200 validation analysis Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 3
- 230000005484 gravity Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 2
- 230000000747 cardiac effect Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 230000000877 morphologic effect Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000003058 natural language processing Methods 0.000 description 5
- 206010003658 Atrial Fibrillation Diseases 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000005096 rolling process Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 206010003119 arrhythmia Diseases 0.000 description 2
- 230000006793 arrhythmia Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 206010003662 Atrial flutter Diseases 0.000 description 1
- 208000000418 Premature Cardiac Complexes Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000002861 ventricular Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
- A61B5/346—Analysis of electrocardiograms
- A61B5/349—Detecting specific parameters of the electrocardiograph cycle
- A61B5/352—Detecting R peaks, e.g. for synchronising diagnostic apparatus; Estimating R-R interval
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
- A61B5/346—Analysis of electrocardiograms
- A61B5/349—Detecting specific parameters of the electrocardiograph cycle
- A61B5/363—Detecting tachycardia or bradycardia
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Cardiology (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Physiology (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明涉及心电检测技术领域，特别涉及心搏信号的分类的和用于心搏信号的分类的深度学习模型的训练的方法、设备和介质。通过卷积神经网络，确定多个连续心搏中的每一个心搏的信号的特征；通过第一Transformer模型的Encoder模块，根据每一个心搏的信号的特征，确定多个连续心搏中的心搏的信号之间的关系；通过全连接神经网络，确定多个连续心搏中的每一个心搏的RR间期特征的特征；通过第二Transformer模型的Encoder模块，根据每一个心搏的RR间期特征的特征，确定多个连续心搏中的心搏的RR间期特征之间的关系；通过神经网络的全连接层，根据每一个心搏的信号的特征、心搏的信号之间的关系、每一个心搏的RR间期特征的特征和心搏的RR间期特征之间的关系，确定每一个心搏的类别。
Description
技术领域
本发明涉及心电检测技术领域，特别涉及心搏信号的分类的和用于心搏信号的分类的深度学习模型的训练的方法、设备和介质。
背景技术
目前针对Holter(动态心电图)长时长的信号的分类，相关研究主要以MIT_BIH_Arrhythmia数据集为主，使用的方法从CNN(Convolutional Neural Networks，卷积神经网络),BiLSTM(Bi-directional Long Short-Term Memory，双向长短期记忆),seq2seq(序列到序列),wavelet transform(小波变换)都有。虽然方法众多，而且结果都很高，准确率(acc)指标>99％。但是在数据处理上都基本一致，都是根据R波，找出单个心搏，然后对单个心搏或者连续多个心搏进行分类。然而目前的方法中，在训练和验证都是根据心搏信号来进行区分，而不是根据样例(人)来区分。导致同一个人的心搏可能同时出现在训练集和验证集。在将上述MIT_BIH_Arrhythmia数据按照人来划分训练集和验证集的情况下，上述使用CNN和seq2seq的方法的验证指标出现大幅度降低。所以，因为数据集处理的问题，目前的方法缺乏实用性。
发明内容
本发明的目的在于提供心搏信号的分类的和用于心搏信号的分类的深度学习模型的训练的方法、设备和介质。可以考虑到心搏本身的特征以及时序上之前和之后心搏特征对这个心搏的影响，同时考虑了局部和全局的特征。提高了分类的准确率。
本发明的实施方式公开了一种基于深度学习的心搏信号的分类方法，用于电子设备，所述方法包括：
通过卷积神经网络，确定多个连续心搏中的每一个心搏的信号的特征；
通过第一Transformer模型的Encoder模块，根据所述每一个心搏的信号的特征，确定所述多个连续心搏中的心搏的信号之间的关系；
通过全连接神经网络，确定所述多个连续心搏中的每一个心搏的RR间期特征的特征；
通过第二Transformer模型的Encoder模块，根据所述每一个心搏的RR间期特征的特征，确定所述多个连续心搏中的心搏的RR间期特征之间的关系；
通过神经网络的全连接层，根据所述每一个心搏的信号的特征、所述心搏的信号之间的关系、所述每一个心搏的RR间期特征的特征和所述心搏的RR间期特征之间的关系，确定所述多个连续心搏中的每一个心搏的类别。
可选地，所述卷积神经网络包括四组，每组两层，并且包括具有残差结构的一维卷积层；
所述全连接神经网络为三层全连接神经网络；
所述神经网络的全连接层为两层全连接层。
可选地，所述方法还包括：
通过小波变换对所述多个连续心搏的整体信号进行去噪；
对整体信号进行归一化；
降低所述整体信号的采样率；
对所述多个连续心搏的整体信号进行分割，得到所述每一个心搏的信号。
可选地，所述方法还包括：
所述RR间期特征包括RR散点图特征、RR间期值、心率值以及信号的时域特征和频域特征。
可选地，所述方法还包括：
确定心搏的RR散点图，然后确定所述RR散点图的置信椭圆面积、置信距离散度和置信角散度作为所述心搏的所述RR散点图特征；
所述RR间期值包括所述心搏前后第一预定数量的RR间期值；
根据所述心搏周围相邻的第二预定数量的RR间期确定所述心搏的所述心率值；
所述频域特征包括：所述心搏前后预定时间内信号的重心频率、平均频率、均方根频率以及频率标准差；
所述时域特征包括：所述心搏前后预定时间内信号的最大值、最小值、峰值、平均值、方根幅值、方差、标准差、均方根、峭度、偏度、波形因子、峰值因子、脉冲因子、裕度因子、余隙因子。
本发明的实施方式公开了一种用于心搏信号的分类的深度学习模型的训练方法，用于电子设备，所述方法包括：
将不同样例的心搏的信号分别划分为训练集和验证集,并使得相同类别的心搏信号在所述训练集和所述验证集之间均匀分布；
降低所述训练集和所述验证集中正常心搏的信号的占比；
使用所述训练集和所述验证集训练所述深度学习模型。
本发明的实施方式公开了一种基于深度学习的心搏信号的分类设备，所述设备包括存储有计算机可执行指令的存储器和处理器，当所述指令被所述处理器执行时，使得所述设备实施上述任一项的基于深度学习的心搏信号的分类方法。
本发明的实施方式公开了一种计算机存储介质，在所述计算机存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行上述任一项的基于深度学习的心搏信号的分类方法。
本发明的实施方式公开了一种用于心搏信号的分类的深度学习模型的训练设备，所述设备包括存储有计算机可执行指令的存储器和处理器，当所述指令被所述处理器执行时，使得所述设备实施上述任一项的用于心搏信号的分类的深度学习模型的训练。
本发明的实施方式公开了一种计算机存储介质，在所述计算机存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行上述任一项的用于心搏信号的分类的深度学习模型的训练。
本发明实施方式与现有技术相比，主要区别及其效果在于：
在本发明中，基于深度学习的心搏信号的分类方法虽然对单个心搏进行分类，但是输入的信息却是多个连续心搏，分类时融合多个心搏的信息，分别对单个心搏进行分类。学习每个心搏的局部特征和心搏之间的全局时序特征。首先针对每个心搏，使用CNN卷机神经网络来捕获心搏局部形态特征，同时使用全连接神经网络来学习每个心搏的RR间期特征，然后将多个连续心搏学习到的局部形态特征和RR间期的特征按时序进行组合，使用NLP领域中的Transformer自注意力模型，学习心搏特征之间的全局关系，这样对每个心搏预测的时候，可以考虑到心搏本身的特征以及时序上之前和之后心搏特征对这个心搏的影响，同时考虑了局部和全局的特征。提高了分类的准确率。
在本发明中，用于心搏信号的分类的深度学习模型的训练方法将不同样例的心搏的信号分别划分为训练集和验证集，而不是对样例中的心搏进行划分，使得同一个样例的心搏数据只存在于训练集和验证集中的一个中，而不会同时存在训练和验证集中，避免了验证集泄漏，优化模型训练效果。在针对样例的划分中，使得相同类别的心搏信号在所述训练集和所述验证集之间均匀分布，避免直接进行常规的随机划分导致的训练集和验证集中的某些类别的心搏信号分布极其不均匀的情况。降低所述训练集和所述验证集中正常心搏的信号的占比，让模型更有效地学习各异常类别的特征。
附图说明
图1示出根据本申请的实施例的解析后的心电信号。
图2示出根据本申请的实施例的用于心搏信号的分类的深度学习模型的训练方法的流程图。
图3示出根据本申请的实施例的用于心搏信号的分类的深度学习模型的示意图。
图4示出根据本申请的实施例的基于深度学习的心搏信号的分类方法的流程图。
图5示出根据本申请的实施例的一组20个心搏的分割效果图。
图6示出根据本申请的实施例的基于深度学习的心搏信号的分类设备的示意图。
图7示出根据本申请的实施例的用于心搏信号的分类的深度学习模型的训练设备的示意图。
具体实施方式
下面结合具体实施例和附图对本申请做进一步说明。可以理解的是，此处描述的具体实施例仅仅是为了解释本申请，而非对本申请的限定。此外，为了便于描述，附图中仅示出了与本申请相关的部分而非全部的结构或过程。应注意的是，在本说明书中，相似的标号和字母在下面的附图中表示类似项。
应当理解的是，虽然在本文中可能使用了术语“第一”、“第二”等等来描述各个特征，但是这些特征不应当受这些术语限制。使用这些术语仅仅是为了进行区分，而不能理解为指示或暗示相对重要性。举例来说，在不背离示例性实施例的范围的情况下，第一特征可以被称为第二特征，并且类似地第二特征可以被称为第一特征。
在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本实施例中的具体含义。
本申请的说明性实施例包括但不限于…方法、系统、设备和介质。
将使用本领域技术人员通常采用的术语来描述说明性实施例的各个方面，以将他们工作的实质传达给本领域其他技术人员。然而，对于本领域技术人员来说，使用部分所描述的特征来施行一些替代性实施例是显而易见的。出于解释的目的，阐述了具体的数字和配置，以便对说明性实施例进行更加透彻的理解。然而，对于本领域技术人员来说显而易见的是，可以在没有具体细节的情况下实施替代实施例。在一些其他情况下，本文省略或简化了一些众所周知的特征，以避免使本申请的说明性实施例模糊不清。
此外，各种操作将以最有助于理解说明性实施例的方式被描述为多个彼此分离的操作；然而，描述的顺序不应被解释为暗示这些操作必须依赖描述的顺序，其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序也可以被重新安排。当所描述的操作完成时，所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
说明书中对“一个实施例”、“实施例”、“说明性实施例”等的引用表示所描述的实施例可以包括特定特征、结构或性质，但是每个实施例也可能或不是必需包括特定的特征、结构或性质。而且，这些短语不一定是针对同一实施例。此外，当结合具体实施例描述特定特征，本领域技术人员的知识能够影响到这些特征与其他实施例的结合，无论这些实施例是否被明确描述。
除非上下文另有规定，否则术语“包含”、“具有”和“包括”是同义词。短语“A和/或B”表示“(A)、(B)或(A和B)”。
如本文所使用的，术语“模块”可以指代，作为其中的一部分，或者包括：用于运行一个或多个软件或固件程序的存储器(共享、专用或组)、专用集成电路(ASIC)、电子电路和/或处理器(共享、专用或组)、组合逻辑电路、和/或提供所述功能的其他合适组件。
在附图中，可能以特定布置和/或顺序示出了一些结构或方法特征。然而，应当理解的是，这样的特定布置和/或排序不是必需的。而是，在一些实施例中，这些特征可以以不同于说明性附图中所示的方式和/或顺序来进行说明。另外，特定附图中所包含得结构或方法特征并不意味着所有实施例都需要包含这样的特征，在一些实施例中，可以不包含这些特征或者可以与将这些特征与其他特征进行组合。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请的实施方式作进一步地详细描述。
现有对动态心电图中的心搏分类的方法中，在数据和建模上分别存在如下挑战：
在数据上：1)数据量大，24h小时的数据量，导致在传输，处理和运算上都有较高的压力。2)本身采集信号质量不高，还受到噪音等干扰严重。3)类别不均衡异常严重，根据今科数据集分布，虽然数据量大，但是在类别上95％仍然是窦性，剩下房颤，早搏等有占据了大部分异常分布，逸博，房扑等数据量很少。也难以针对性的寻找数据。
建模上：针对心律异常等类别，需要定位到单个心搏，但是只使用单个心搏的信息进行分类并不够，因为单个心搏的分类还需要周围的心搏信息进行判断。所以我们的任务是，需要对单个心搏进行分类，但是输入的信息却是多个心搏。建模的时候需要考虑如何让模型融合多个心搏的信息，分别对单个心搏进行分类。
针对上述数据的问题，本申请使用对信号降采样来减少数据量，去噪来提高数据质量，仅选取少数比例的正常心搏加入训练来保持数据的分布。针对上述建模的问题，本申请将模型的任务定义为需要对每个心搏进行分类，模型需要学习每个心搏的局部特征和心搏之间的全局时序特征。因此我们设计了局部+全局的组合模型，首先针对每个心搏，使用卷机神经网络来捕获心搏局部形态特征，同时使用全连接神经网络来学习每个心搏的RR间期(RR间期是指心电图上两个R波之间的时限)特征，然后将多个连续心搏学习到的局部心态特征和RR间期的特征按时序进行组合，使用NLP(Natural Language Processing，自然语言处理)领域中的Transformer自注意力模型，学习心搏特征之间的全局关系，这样对每个心搏预测的时候，模型可以考虑到心搏本身的特征以及时序上之前和之后心搏特征对这个心搏的影响，同时考虑了局部和全局的特征。下面结合附图进行详细描述。
首先对用于本申请的实施例的心搏数据进行介绍：用于训练模型的数据可以是多个样例(人)的连续一段时间的心电信号数据，例如，示例性数据总计430例(人)，每一例包含一个人约24小时的心电信号数据文件和对应的数据标注文件，其中，
·每一例信号文件是eca格式，500采样率，12导联。图1示出根据本申请的实施例的解析后的心电信号,分别选取了某例数据的V3，V4，II导联的片段；
·每一例的标注文件是rpt格式，里面主要记录了每个心搏的位置和类别。表1展示了某样例解析后的的部分标注，pos是心搏位置，sinus是对应的类别。
表1
全部样例的心搏总数为42656879,每类具体分布如表2所示,其中窦性占主要占比，房颤，室上早分类其次。
表2
将心电信号数据用于心搏信号的分类的深度学习模型的训练，需要先对数据进行训练集和验证集的划分，然后用于训练。
图2示出根据本申请的实施例的用于心搏信号的分类的深度学习模型的训练方法的流程图。如图2所示，方法200包括：
步骤202，将不同样例的心搏的信号分别划分为训练集和验证集，并使得相同类别的心搏信号在训练集和验证集之间均匀分布。
由于一个样例大约有8-10万左右数量的心搏，在训练模型时，如果按照心搏进行训练集和验证集的划分，很容易导致同一样例的心搏同时存在训练和验证集中，从而存在某种程度的验证集泄漏。所以可以直接按照样例进行划分，而不是对样例中的心搏进行划分，使得同一个样例的心搏数据只存在于训练集和验证集中的一个中，而不会同时存在训练和验证集中，避免了验证集泄漏，优化模型训练效果。
在针对样例的划分中，如果直接进行常规的随机划分，会导致训练集和验证集中的某些类别的心搏信号分布极其不均匀的情况。这是由于某些类别的心搏只存在于少数几个样例中，如果随机划分，很容易导致这个类别的心搏全部集中在训练或者验证集中的一个中。例如，如表3所示，前述示例性数据中只有25个样例包含房颤，而且每个样例包含房颤的比例也差距极大，占比包括从最低的2.22％到最高的100％。所以在划分训练集和验证集时使得各类别的心搏信号在训练集和验证集之间均匀地分布。结果例如，总共430样例中，训练集包含259样例，验证集包含171样例。
表3
步骤204，降低该训练集和该验证集中正常心搏的信号的占比。
由于正常心搏占比很高，例如在前述示例性数据中正常心搏占92％，为了让模型更有效的学习各异常类别的特征，训练时模型时可以只保留了少量的正常类别的心搏信号。例如，可以把20个心搏分为一组，表4示出每个类别的心搏信号在训练集和验证集中的分布，其中，正常类别的心搏信号分布仍然显著高于其他类别的心搏信号。
表4
步骤206，使用该训练集和该验证集训练该深度学习模型。
在建模方面，只使用单个心搏的信息进行分类并不够，因为单个心搏的分类还需要周围的心搏信息进行判断。因此，虽然对单个心搏进行分类，但是输入的信息却可以是多个心搏。建模的时候需要考虑如何让模型融合多个心搏的信息，分别对单个心搏进行分类。
图3示出根据本申请的实施例的用于心搏信号的分类的深度学习模型的示意图。如图3所示，深度学习模型300包括：
卷积神经网络301，用于确定多个连续心搏中的每一个心搏的信号的特征；
第一Transformer模型302，该第一Transformer模型302的Encoder模块用于根据该每一个心搏的信号的特征，确定该多个连续心搏中的心搏的信号之间的关系；
全连接神经网络303，用于确定该多个连续心搏中的每一个心搏的RR间期特征的特征；
第二Transformer模型304的Encoder模块，该第二Transformer模型304的Encoder模块用于根据该每一个心搏的RR间期特征的特征，确定该多个连续心搏中的心搏的RR间期特征之间的关系；
神经网络的全连接层305，用于根据该每一个心搏的信号的特征、该心搏的信号之间的关系、该每一个心搏的RR间期特征的特征和该心搏的RR间期特征之间的关系，确定该多个连续心搏中的每一个心搏的类别。
在本发明中，模型为局部+全局的组合模型，学习每个心搏的局部特征和心搏之间的全局时序特征。首先针对每个心搏，使用CNN卷机神经网络来捕获心搏局部形态特征，同时使用全连接神经网络来学习每个心搏的RR间期特征，然后将多个连续心搏学习到的局部形态特征和RR间期的特征按时序进行组合，使用NLP领域中的Transformer自注意力模型，学习心搏特征之间的全局关系，这样对每个心搏预测的时候，模型可以考虑到心搏本身的特征以及时序上之前和之后心搏特征对这个心搏的影响，同时考虑了局部和全局的特征。提高了分类的准确率。
图4示出根据本申请的实施例的基于深度学习的心搏信号的分类方法的流程图。下面结合图3进行说明：方法400用于电子设备，并且包括：
步骤402，通过卷积神经网络301，确定多个连续心搏中的每一个心搏的信号的特征。
步骤404，通过第一Transformer模型302的Encoder模块，根据该每一个心搏的信号的特征，确定该多个连续心搏中的心搏的信号之间的关系；
步骤406，通过全连接神经网络303，确定该多个连续心搏中的每一个心搏的RR间期特征的特征；
步骤408，通过第二Transformer模型304的Encoder模块，根据该每一个心搏的RR间期特征的特征，确定该多个连续心搏中的心搏的RR间期特征之间的关系；
步骤410，通过神经网络的全连接层305，根据该每一个心搏的信号的特征、该心搏的信号之间的关系、该每一个心搏的RR间期特征的特征和该心搏的RR间期特征之间的关系，确定该多个连续心搏中的每一个心搏的类别。
在本发明中，虽然对单个心搏进行分类，但是输入的信息却是多个连续心搏，分类时融合多个心搏的信息，分别对单个心搏进行分类。学习每个心搏的局部特征和心搏之间的全局时序特征。首先针对每个心搏，使用CNN卷机神经网络来捕获心搏局部形态特征，同时使用全连接神经网络来学习每个心搏的RR间期特征，然后将多个连续心搏学习到的局部形态特征和RR间期的特征按时序进行组合，使用NLP领域中的Transformer自注意力模型，学习心搏特征之间的全局关系，这样对每个心搏预测的时候，可以考虑到心搏本身的特征以及时序上之前和之后心搏特征对这个心搏的影响，同时考虑了局部和全局的特征。提高了分类的准确率。
根据本申请的一些实施例，方法还包括：
卷积神经网络301包括四组，每组两层，并且包括具有残差结构的一维卷积层；
全连接神经网络303为三层全连接神经网络；
神经网络的全连接层305为两层全连接层。
根据本申请的一些实施例，方法还包括：
通过小波变换对该多个连续心搏的整体信号进行去噪；例如，首先对导联信号进行去噪处理,去噪的方法可以是通过使用小波变换对信号进行分解、阈值过滤、重构，得到去噪后的信号。
对该整体信号进行归一化；例如，把信号值全部归一化到0-1之间。
降低该整体信号的采样率；例如，把信号的采样率从500降到125。
对该整体信号进行分割，得到该每一个心搏的信号。例如，根据标注文件提供的心搏位置对每个心搏进行分割，例如，可以对每个心搏位置的前45个信号和后60个信号进行分割。图5示出根据本申请的实施例的一组20个心搏的分割效果图，下方的信号是一段原始连续的20个心搏信号以及对应的心搏位置，上方的信号是分割出的单个心搏以及对应的类别。
根据本申请的一些实施例，方法还包括：
RR间期特征包括RR散点图特征、RR间期值、心率值以及信号的时域特征和频域特征。
根据本申请的一些实施例，方法还包括：
确定心搏的RR散点图，然后确定RR散点图的置信椭圆面积、置信距离散度和置信角散度作为心搏的RR散点图特征；例如，通过计算心搏前5秒和后5秒的RR间期得出该心搏的RR散点图，然后计算该RR散点图的置信椭圆面积、置信距离散度、置信角散度。
RR间期值包括心搏前后第一预定数量的RR间期值；例如，选择新博的前4个和后5个RR间期为RR间期值。
根据心搏周围相邻的第二预定数量的RR间期确定心搏的心率值；例如，通过周围相邻的5个RR间期计算当前的心率。
频域特征包括：心搏前后预定时间内信号的重心频率、平均频率、均方根频率以及频率标准差；
时域特征包括：心搏前后预定时间内信号的最大值、最小值、峰值、平均值、方根幅值、方差、标准差、均方根、峭度、偏度、波形因子、峰值因子、脉冲因子、裕度因子、余隙因子。
图6示出根据本申请的实施例的基于深度学习的心搏信号的分类设备的示意图。
如图6所示，设备600包括
存储器602，用于存储计算机可执行指令，以及
处理器604，用于执行该指令以实施上述第一实施例的任意一种可能的方法。
第一实施例是与本实施例相对应的方法实施例，本实施例可与第一实施例互相配合实施。第一实施例中提到的相关技术细节在本实施例中依然有效，为了减少重复，这里不再赘述。相应地，本实施例中提到的相关技术细节也可应用在第一实施例中。
具体的，如图3所示，设备600可以包括一个或多个(图中仅示出一个)存储器602和处理器604(处理器604可以包括但不限于中央处理器CPU、图像处理器GPU、数字信号处理器DSP、微处理器MCU或可编程逻辑器件FPGA等的处理装置)。本申请实施例中不限定上述存储器602和处理器604之间的具体连接介质。本申请实施例在图3中以存储器602和处理器604之间通过总线606连接，总线606在图6中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。所述总线606可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。本领域技术人员可以理解，图6所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，设备600还可包括比图6中所示更多或者更少的组件，或者具有与图6所示不同的配置。
处理器604通过运行存储在存储器602内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的基于深度学习的心搏信号的分类方法。
存储器602可用于存储处理器604执行的如本申请的一些实施例中的基于深度学习的心搏信号的分类方法对应的程序指令/模块。存储器602可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器602可进一步包括相对于处理器604远程设置的存储器，这些远程存储器可以通过网络连接至该设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
图7示出根据本申请的实施例的用于心搏信号的分类的深度学习模型的训练设备的示意图。
如图7所示，设备700包括
存储器702，用于存储计算机可执行指令，以及
处理器704，用于执行该指令以实施上述第一实施例的任意一种可能的方法。
第一实施例是与本实施例相对应的方法实施例，本实施例可与第一实施例互相配合实施。第一实施例中提到的相关技术细节在本实施例中依然有效，为了减少重复，这里不再赘述。相应地，本实施例中提到的相关技术细节也可应用在第一实施例中。
具体的，如图3所示，设备700可以包括一个或多个(图中仅示出一个)存储器702和处理器704(处理器704可以包括但不限于中央处理器CPU、图像处理器GPU、数字信号处理器DSP、微处理器MCU或可编程逻辑器件FPGA等的处理装置)。本申请实施例中不限定上述存储器702和处理器704之间的具体连接介质。本申请实施例在图3中以存储器702和处理器704之间通过总线706连接，总线706在图7中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。所述总线706可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。本领域技术人员可以理解，图7所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，设备700还可包括比图7中所示更多或者更少的组件，或者具有与图7所示不同的配置。
处理器704通过运行存储在存储器702内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的用于心搏信号的分类的深度学习模型的训练方法。
存储器702可用于存储处理器704执行的如本申请的一些实施例中的用于心搏信号的分类的深度学习模型的训练方法对应的程序指令/模块。存储器702可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器702可进一步包括相对于处理器704远程设置的存储器，这些远程存储器可以通过网络连接至该设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
根据本申请的一些实施例，公开了一种计算机存储介质，在该计算机存储介质上存储有指令，当该指令在计算机上运行时，使得该计算机执行上述第一实施例的任意一种可能的方法。
第一实施例是与本实施例相对应的方法实施例，本实施例可与第一实施例互相配合实施。第一实施例中提到的相关技术细节在本实施例中依然有效，为了减少重复，这里不再赘述。相应地，本实施例中提到的相关技术细节也可应用在第一实施例中。
在一些情况下，所公开的实施例可以以硬件、固件、软件或其任何组合形式来实现。所公开的实施例还可以以承载或储存在一个或多个瞬态或非瞬态的机器可读(例如，计算机可读)存储介质上的指令或程序形式实现，其可以由一个或多个处理器等读取和执行。当指令或程序被机器运行时，机器可以执行前述的各种方法。例如，指令可以通过网络或其他计算机可读介质分发。因此，机器可读介质可以包括但不限于，用于以机器(例如，计算机)可读的形式存储或传输信息的任何机制，例如，软盘，光盘，光盘只读存储器(CD-ROMs)，磁光盘，只读存储器(ROM)，随机存取存储器(RAM)，可擦除可编程只读存储器(EPROM)，电子式可清除程序化只读存储器(EEPROM)，磁卡或光卡，或者用于通过电、光、声或其他形式信号(例如，载波、红外信号、数字信号等)传输网络信息的闪存或有形的机器可读存储器。因此，机器可读介质包括任何形式的适合于存储或传输电子指令或机器(例如，计算机)可读信息的机器可读介质。
上面结合附图对本申请的实施例做了详细说明，但本申请技术方案的使用不仅仅局限于本专利实施例中提及的各种应用，各种结构和变型都可以参考本申请技术方案轻易地实施，以达到本文中提及的各种有益效果。在本领域普通技术人员所具备的知识范围内，在不脱离本申请宗旨的前提下做出的各种变化，均应归属于本申请专利涵盖范围。
Claims (10)
1.一种基于深度学习的心搏信号的分类方法，用于电子设备，其特征在于，所述方法包括：
通过卷积神经网络，确定多个连续心搏中的每一个心搏的信号的特征；
通过第一Transformer模型的Encoder模块，根据所述每一个心搏的信号的特征，确定所述多个连续心搏中的心搏的信号之间的关系；
通过全连接神经网络，确定所述多个连续心搏中的每一个心搏的RR间期特征的特征；
通过第二Transformer模型的Encoder模块，根据所述每一个心搏的RR间期特征的特征，确定所述多个连续心搏中的心搏的RR间期特征之间的关系；
通过神经网络的全连接层，根据所述每一个心搏的信号的特征、所述心搏的信号之间的关系、所述每一个心搏的RR间期特征的特征和所述心搏的RR间期特征之间的关系，确定所述多个连续心搏中的每一个心搏的类别。
2.根据权利要求1所述的方法，其特征在于，
所述卷积神经网络包括四组，每组两层，并且包括具有残差结构的一维卷积层；
所述全连接神经网络为三层全连接神经网络；
所述神经网络的全连接层为两层全连接层。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
通过小波变换对所述多个连续心搏的整体信号进行去噪；
对整体信号进行归一化；
降低所述整体信号的采样率；
对所述多个连续心搏的整体信号进行分割，得到所述每一个心搏的信号。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
所述RR间期特征包括RR散点图特征、RR间期值、心率值以及信号的时域特征和频域特征。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
确定心搏的RR散点图，然后确定所述RR散点图的置信椭圆面积、置信距离散度和置信角散度作为所述心搏的所述RR散点图特征；
所述RR间期值包括所述心搏前后第一预定数量的RR间期值；
根据所述心搏周围相邻的第二预定数量的RR间期确定所述心搏的所述心率值；
所述频域特征包括：所述心搏前后预定时间内信号的重心频率、平均频率、均方根频率以及频率标准差；
所述时域特征包括：所述心搏前后预定时间内信号的最大值、最小值、峰值、平均值、方根幅值、方差、标准差、均方根、峭度、偏度、波形因子、峰值因子、脉冲因子、裕度因子、余隙因子。
6.一种用于心搏信号的分类的深度学习模型的训练方法，用于电子设备，其特征在于，所述方法包括：
将不同样例的心搏的信号分别划分为训练集和验证集,并使得相同类别的心搏信号在所述训练集和所述验证集之间均匀分布；
降低所述训练集和所述验证集中正常心搏的信号的占比；
使用所述训练集和所述验证集训练所述深度学习模型。
7.一种基于深度学习的心搏信号的分类设备，其特征在于，所述设备包括存储有计算机可执行指令的存储器和处理器，当所述指令被所述处理器执行时，使得所述设备实施根据权利要求1-5中任一项所述的基于深度学习的心搏信号的分类方法。
8.一种计算机存储介质，其特征在于，在所述计算机存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行根据权利要求1-5中任一项所述的基于深度学习的心搏信号的分类方法。
9.一种用于心搏信号的分类的深度学习模型的训练设备，其特征在于，所述设备包括存储有计算机可执行指令的存储器和处理器，当所述指令被所述处理器执行时，使得所述设备实施根据权利要求6所述的用于心搏信号的分类的深度学习模型的训练。
10.一种计算机存储介质，其特征在于，在所述计算机存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行根据权利要求6所述的用于心搏信号的分类的深度学习模型的训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111468540.9A CN113974649A (zh) | 2021-12-03 | 2021-12-03 | 心搏信号的分类的和用于心搏信号的分类的深度学习模型的训练的方法、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111468540.9A CN113974649A (zh) | 2021-12-03 | 2021-12-03 | 心搏信号的分类的和用于心搏信号的分类的深度学习模型的训练的方法、设备和介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113974649A true CN113974649A (zh) | 2022-01-28 |
Family
ID=79733168
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111468540.9A Pending CN113974649A (zh) | 2021-12-03 | 2021-12-03 | 心搏信号的分类的和用于心搏信号的分类的深度学习模型的训练的方法、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113974649A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114668401A (zh) * | 2022-03-11 | 2022-06-28 | 肇庆星网医疗科技有限公司 | 一种ai心电训练数据标注方法、装置、电子设备及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108784680A (zh) * | 2018-03-19 | 2018-11-13 | 武汉海星通技术股份有限公司 | 基于散点图的心电图智能分析方法及系统 |
| CN109171712A (zh) * | 2018-09-28 | 2019-01-11 | 东软集团股份有限公司 | 心房颤动识别方法、装置、设备及计算机可读存储介质 |
| CN110693488A (zh) * | 2019-10-22 | 2020-01-17 | 清华大学 | 心电信号处理系统、方法、电子设备及可读存储介质 |
| CN112842351A (zh) * | 2021-03-04 | 2021-05-28 | 无锡市中健科仪有限公司 | 一种动态心电图分析方法及系统 |
| CN113349793A (zh) * | 2021-03-30 | 2021-09-07 | 北京芯动卫士科技有限公司 | 一种基于分层注意力模型的心律失常分类方法 |
-
2021
- 2021-12-03 CN CN202111468540.9A patent/CN113974649A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108784680A (zh) * | 2018-03-19 | 2018-11-13 | 武汉海星通技术股份有限公司 | 基于散点图的心电图智能分析方法及系统 |
| CN109171712A (zh) * | 2018-09-28 | 2019-01-11 | 东软集团股份有限公司 | 心房颤动识别方法、装置、设备及计算机可读存储介质 |
| CN110693488A (zh) * | 2019-10-22 | 2020-01-17 | 清华大学 | 心电信号处理系统、方法、电子设备及可读存储介质 |
| CN112842351A (zh) * | 2021-03-04 | 2021-05-28 | 无锡市中健科仪有限公司 | 一种动态心电图分析方法及系统 |
| CN113349793A (zh) * | 2021-03-30 | 2021-09-07 | 北京芯动卫士科技有限公司 | 一种基于分层注意力模型的心律失常分类方法 |
Non-Patent Citations (1)
| Title |
|---|
| NAN DU ET AL.: "FM-ECG: A fine-grained multi-label framework for ECG image classification", 《INFORMATION SCIENCES》, vol. 549, 21 October 2020 (2020-10-21), pages 164 - 177, XP086436805, DOI: 10.1016/j.ins.2020.10.014 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114668401A (zh) * | 2022-03-11 | 2022-06-28 | 肇庆星网医疗科技有限公司 | 一种ai心电训练数据标注方法、装置、电子设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10869610B2 (en) | System and method for identifying cardiac arrhythmias with deep neural networks | |
| KR102451795B1 (ko) | 심전도 신호의 검출 방법 | |
| CN109522916B (zh) | 识别单导心电图（ecg）信号中的节律的级联二元分类器 | |
| US11564612B2 (en) | Automatic recognition and classification method for electrocardiogram heartbeat based on artificial intelligence | |
| CN109948647B (zh) | 一种基于深度残差网络的心电图分类方法及系统 | |
| US11723576B2 (en) | Detecting atrial fibrillation using short single-lead ECG recordings | |
| CN109303559B (zh) | 一种基于梯度提升决策树的动态心电图心拍分类方法 | |
| US11534099B2 (en) | Systems and methods for determining an arrhythmia type | |
| CN106108880B (zh) | 一种心拍自动识别方法及系统 | |
| CN108968941B (zh) | 一种心律失常检测方法、装置及终端 | |
| CN110547792A (zh) | 房颤的检测方法、装置、计算机设备及存储介质 | |
| Andersen et al. | A novel approach for automatic detection of Atrial Fibrillation based on Inter Beat Intervals and Support Vector Machine | |
| CN109044347B (zh) | 识别心电波图像交界性逸搏方法、装置、系统和电子设备 | |
| CN111657925A (zh) | 基于机器学习的心电信号分类方法、系统、终端以及存储介质 | |
| KR20200125256A (ko) | 심전도 분석 장치 및 방법 | |
| CN110693488A (zh) | 心电信号处理系统、方法、电子设备及可读存储介质 | |
| CN115120248B (zh) | 基于直方图的自适应阈值r峰检测、心律分类方法及装置 | |
| Huerta et al. | Quality assessment of very long-term ECG recordings using a convolutional neural network | |
| CN113974649A (zh) | 心搏信号的分类的和用于心搏信号的分类的深度学习模型的训练的方法、设备和介质 | |
| Park et al. | Cascade classification with adaptive feature extraction for arrhythmia detection | |
| CN111449647B (zh) | 一种心电图识别方法、装置、存储介质及电子设备 | |
| CN111449646B (zh) | 一种心电图识别方法、装置、存储介质及电子设备 | |
| CN112001481B (zh) | 一种基于对抗学习的p波识别方法、终端设备及存储介质 | |
| CN115105084A (zh) | 基于深度学习的心搏定位分类方法、系统、介质及设备 | |
| CN110353657B (zh) | 一种基于双选机制的多种波形类型筛选方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |