CN110619322A - 一种基于多流态卷积循环神经网络的多导联心电异常信号识别方法及系统 - Google Patents

一种基于多流态卷积循环神经网络的多导联心电异常信号识别方法及系统 Download PDF

Info

Publication number
CN110619322A
CN110619322A CN201910994903.9A CN201910994903A CN110619322A CN 110619322 A CN110619322 A CN 110619322A CN 201910994903 A CN201910994903 A CN 201910994903A CN 110619322 A CN110619322 A CN 110619322A
Authority
CN
China
Prior art keywords
neural network
flow
model
cyclic neural
convolution cyclic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910994903.9A
Other languages
English (en)
Inventor
刘娟
李宇翔
冯晶
刘思璇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SUZHOU INSTITUTE OF WUHAN UNIVERSITY
Wuhan University WHU
Original Assignee
SUZHOU INSTITUTE OF WUHAN UNIVERSITY
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SUZHOU INSTITUTE OF WUHAN UNIVERSITY, Wuhan University WHU filed Critical SUZHOU INSTITUTE OF WUHAN UNIVERSITY
Priority to CN201910994903.9A priority Critical patent/CN110619322A/zh
Publication of CN110619322A publication Critical patent/CN110619322A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • A61B5/349—Detecting specific parameters of the electrocardiograph cycle
    • A61B5/364—Detecting abnormal ECG interval, e.g. extrasystoles, ectopic heartbeats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Abstract

本发明公开了一种基于多流态卷积循环神经网络的多导联心电异常信号识别方法及系统，其中的方法包括：首先对获取的多导联心电数据进行去噪处理；然后搭建用于提取心电数据不同尺度的波形特征的多流态CNN模型，接着对提取的不同尺度的波形特征进行融合；接下来搭建用于提取融合后的波形特征中的时序特征的双向RNN模型；再将多流态CNN模型与双向RNN模型拼接成多流态卷积循环神经网络模型，并进行训练与微调；最后，将待处理的多导联心电数据进行去噪处理后，输入优化后的多流态卷积循环神经网络模型，获得异常信号识别结果。本发明增加了特征提取的特征量，减少了特征提取的难度，提高了分类识别的准确性以及模型的泛化能力。

Description

一种基于多流态卷积循环神经网络的多导联心电异常信号识 别方法及系统
技术领域
本发明涉及心电信号识别分类技术领域，具体涉及一种基于多流态卷积循环神经网络的多导联心电异常信号识别方法及系统。
背景技术
心血管疾病(cardiovascular disease，简称CVD)指的是与心脏或血管的相关的一系列的疾病，又称为循环系统疾病。以下是几个世界卫生组织统计的几个重要事实：心血管疾病仍然是全球的头号死因，在所有死亡状况中，每年死于心血管疾病的人数超过任何其它死亡原因。在2016年一年内，估计有1790万人死于心血管疾病，占全球死亡总数的31％左右，其中，又有85％左右死于心脏病和中风。于心电疾病的诊断，心电图(Electrocardiogram、ECG或者EKG)是一种经胸腔的以时间为单位记录心脏的电生理活动、通过安置在皮肤上的电极捕捉其电信号并绘制成线记录下来的诊疗技术。作为一种无创性的记录方式，心电图的应用最为广泛与权威。
近年来，随着模糊识别、人工智能、神经网络等技术水平的提高。随着大数据与人工智能的发展，近年来基于心电图信号数据设计的心电自动诊断算法和系统的研究已经很多，但是大部分成果仍然停留在实验阶段，距离真正投入商用仍然有较大一段路需要走。即使是投入商用的部分，由于精度不足，疾病判别不够具体等缺点，对医生们的帮助十分有限。
现有技术中，12导联心电图的P2F目前是医院或医生最容易获得的数据。然而，这种数据实时性更强，但是长度短且包含较少信息的数据难以有效预测。因此，目前大多数方法都是基于长期数据来得到更准确的预测结果。只有少数可行且易于使用的方法用于处理和预测此类ECG数据。
本申请发明人在实施本发明的过程中，发现现有技术的方法，至少存在如下技术问题：
现有技术中的方法没有考虑患者心电图的特异性，也没有考虑不同尺度和形状的不同数据，导致泛化性能较差。
由此可知，现有技术中的方法存在识别结果不够准确性的技术问题。
发明内容
有鉴于此，本发明提供了一种基于多流态卷积循环神经网络的多导联心电异常信号识别方法及系统，用以解决或者至少部分解决现有技术中的方法存在的识别结果不够准确性的技术问题。
为了解决上述技术问题，本发明提供了一种基于多流态卷积循环神经网络的多导联心电异常信号识别方法，包括：
步骤S1：对获取的多导联心电数据进行去噪处理；
步骤S2：搭建用于提取心电数据不同尺度的波形特征的多流态CNN模型，其中，搭建多流态CNN模型包括至少两个具有不同尺度和大小的CNN；
步骤S3：对提取的不同尺度的波形特征进行融合；
步骤S4：搭建用于提取融合后的波形特征中的时序特征的双向RNN模型；
步骤S5：将多流态CNN模型与双向RNN模型拼接成多流态卷积循环神经网络模型，设置损失函数，并基于去噪后多导联心电数据进行训练，采用随机梯度下降算法和反向传播算法对流态卷积循环神经网络模型进行微调，得到优化后的多流态卷积循环神经网络模型；
步骤S6：将待处理的多导联心电数据进行去噪处理后，输入优化后的多流态卷积循环神经网络模型，获得异常信号识别结果。
在一种实施方式中，步骤S1具体包括：采用集成经验模态分解算法和小波软阈值相结合的去噪方法进行去噪处理。
在一种实施方式中，步骤S2中的多流态CNN模型中的卷积层的输出值的计算公式为：
其中，xi，j表示图像的第i行第j列元素；Wm，n表示第m行第n列权重；Wb表示filter的偏置项；ai，j表示Feature Map的第i行第j列元素；f表示激活函数。
在一种实施方式中，在步骤S4之后，所述方法还包括：
对搭建的多流态CNN模型和RNN模型进行优化，其中，对每层卷积层进行批量归一化，并采用LeakyRelu激活函数。
在一种实施方式中，步骤S5中多流态卷积循环神经网络模型包括11层卷积神经网络，6个卷积层，3个池化层，1个双向循环神经网络层和1个处理多分类任务的softmax层。
在一种实施方式中，多流态卷积循环神经网络模型的损失函数为：
其中，labeli表示单个心电数据的标签，predictioni表示单个心电数据的预测结果，ross_entropy(predictioni，labeli)为参与训练的心电数据交叉熵损失函数的值。
在一种实施方式中，步骤S5中采用随机梯度下降算法和反向传播算法对流态卷积循环神经网络模型进行微调，具体包括：
步骤S5.1：前向计算每个神经元的输出值aj；
步骤S4.2：反向计算每个神经元的误差项δj，其中，Ed表示，误差项网络的损失函数，netj为神经元加权输入；
步骤S4.3：计算每个神经元连接权重Wji的梯度，其中，j表示第j个网络；
步骤S4.4：根据神经元连接权重的梯度对流态卷积循环神经网络模型进行微调，得到优化后的多流态卷积循环神经网络模型。
基于同样的发明构思，本发明第二方面提供了一种基于多流态卷积循环神经网络的多导联心电异常信号识别系统，包括：
去噪模块，用于对获取的多导联心电数据进行去噪处理；
多流态CNN模型搭建模型，用于搭建用于提取心电数据不同尺度的波形特征的多流态CNN模型，其中，搭建多流态CNN模型包括至少两个具有不同尺度和大小的CNN；
特征融合模块，用于对提取的不同尺度的波形特征进行融合；
双向RNN模型搭建模块，用于搭建用于提取融合后的波形特征中的时序特征的双向RNN模型；
拼接模块，用于将多流态CNN模型与双向RNN模型拼接成多流态卷积循环神经网络模型，设置损失函数，并基于去噪后多导联心电数据进行训练，采用随机梯度下降算法和反向传播算法对流态卷积循环神经网络模型进行微调，得到优化后的多流态卷积循环神经网络模型；
异常信号识别模块，将待处理的多导联心电数据进行去噪处理后，输入优化后的多流态卷积循环神经网络模型，获得异常信号识别结果。
基于同样的发明构思，本发明第三方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被执行时实现第一方面所述的方法。
基于同样的发明构思，本发明第四方面提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法。
本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：
由于本发明提供的一种基于多流态卷积循环神经网络的多导联心电异常信号识别方法及系统，通过将多流态CNN模型与双向RNN模型拼接成多流态卷积循环神经网络模型对多导联心电数据进行异常信号的识别，其中，多流态CNN模型包括至少两个具有不同尺度和大小的CNN，可以对不同尺度和形状的特征进行提取，然后对提取的不同尺度的波形特征进行融合，融合后通过搭建双向RNN模型提取融合后的波形特征中的时序特征，最后进行异常信号的识别，从而可以提高识别的准确性，为医疗人员提供了可靠地辅助与参考。
并且，通过对大量数据的反复训练，对多流态卷积循环神经网络模型的不断微调与优化，使得心电异常识别分类准确率得到的一定的提高，为医疗人员提供了可靠地辅助与参考，减少误诊、漏诊率
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种基于多流态卷积循环神经网络的多导联心电异常信号识别方的流程示意图；
图2为本发明实施例中心电信号原始数据与去噪数据对比示意图；
图3为本发明实施例中多流态卷积循环神经单网络示意图；
图4为本发明实施例中多流态卷积神经网络层结构示意图；
图5为本发明实施例中多流态卷积循环神经网络整体架构示意图；
图6为本发明实施例中多流态卷积循环神经网络在测试集上的热力图。
图7为本发明一种基于多流态卷积循环神经网络的多导联心电异常信号识别系统的模块示意图；
图8为本发明提供的计算机可读存储介质的示意图。
图9为本发明提供的计算机设备的模块示意图。
具体实施方式
本发明的目的在于提供一种基于多流态卷积循环神经网络的多导联心电异常信号识别方法，其主要解决的问题是利用心电数据不同尺度上的信息进行心电异常的识别分类，辅助给医生提供参考，降低误诊、漏诊率，减轻医生的工作量；应用多流态卷积神经网络自动学习心电数据不同尺度的特征，增加了特征提取的特征量，减少了特征提取的难度。
为达到上述目的，本发明的主要构思如下：
首先对数据工频干扰噪声、基线运动噪声与高频噪声干扰进行去噪处理；然后搭建多流态CNN模型，即搭建具有不同尺度和大小的多个CNN，用来捕获心电数据不同尺度特征；接着融合多个CNN提取到的不同尺度上的波形特征；接下来搭建双向RNN模型，使用双向循环神经网络来处理融合后的特征序列中的时序关系；作为优选，还优化CNN和RNN模型，进行Batch Normalization(批量归一化)，使用LeakyRelu激活函数，减轻模型中的梯度消失问题；再将多流态CNN模型与双向RNN模型拼接成多流态卷积循环神经网络模型，并进行训练与优化，最后通过优化后的多流态卷积循环神经网络模型对多导联心电数据进行分类。
本发明使用基于多流态卷积循环神经网络的心电异常识别分类方法，通过对卷积神经网络的结构配置及优化提取了心电不同尺度上的特征并且提高了心电异常识别分类的准确率。本发明主要解决的技术问题是利用心电数据不同尺度上的信息进行心电异常的识别分类，辅助给医生提供参考，降低误诊、漏诊率，减轻医生的工作量；应用多流态卷积神经网络自动学习心电数据不同尺度的特征，增加了特征提取的特征量，减少了特征提取的难度，使得模型在短时间的心电数据上能够取得很好的诊断效果，同时保证了较好的泛化性能。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本实施例提供了一种基于多流态卷积循环神经网络的多导联心电异常信号识别方法，请参见图1，该方法包括：
步骤S1：对获取的多导联心电数据进行去噪处理。
具体来说，多导联心电数据即12导联心电图，12导联心电图的P2F目前是医院或医生最容易获得的数据。然而，这种数据实时性更强，但是长度短且包含较少信息的数据难以有效预测。本申请发明人通过大量的研究与实践发现，目前大多数方法都是基于长期数据来得到更准确的预测结果，只有少数可行且易于使用的方法用于处理和预测此类ECG数据，并且这些方法没有考虑患者心电图的特异性，也没有考虑不同尺度和形状的不同数据，导致泛化性能较差。因此，本发明旨在找出适合心脏病初步检查的模型，该模型可以提取不同尺度的心电信号。
在一种实施方式中，步骤S1具体包括：采用集成经验模态分解算法和小波软阈值相结合的去噪方法进行去噪处理。
具体来说，心电信号是采自于人体体表的一种生物电信号，具有生物电信号的共性：幅值微弱、低频、阻抗大、随机性等，心电信号大部分能量集中在0.05～100Hz，QRS波群能量集中在5～45Hz，P、T波频率一般在10Hz以下。心电数据主要存在三种干扰，50Hz工频干扰；基线漂移，频率范围通常为0.15～0.3Hz之间，有时会达到1Hz；肌电干扰，频率范围很广。
为了提取到更有效的信息，本实施方式中采用集成经验模态分解算法和小波软阈值相结合的去噪方法，一方面，集成经验模态分解算法是避免了经验模态分解模态混叠现象的发生，另一方面，小波软阈值减少了系数阈值处理过程中造成的有用信息的损失。如图2所示，为心电信号原始数据与去噪数据对比示意图。
步骤S2：搭建用于提取心电数据不同尺度的波形特征的多流态CNN模型，其中，搭建多流态CNN模型包括至少两个具有不同尺度和大小的CNN。
具体来说，多流态CNN模型可以包括多个CNN((Convolutional Neural Networks卷积神经网络)，用于提取心电数据中不同尺度的波形特征。
在具体的实施过程中，每个多层卷积神经网络包含卷积层、池化层和全连接层，针对本发明使用的短时心电数据，调整卷积核、池化层的大小以适应心电数据的长度，通过层数的搭建和每层参数的配置完成CNN模型的搭建，提取不同尺度上的波形特征，单个卷积神经网络如图3所示，多流网络利用具有不同扩张因子的卷积层来组合来自不同尺度的特征，许多研究证明了多流网络与早期提出的结构相比的有效性，Pooling laye表示池化层，1DConv Layer表示一维卷积层。
其中，步骤S2中的多流态CNN模型中的卷积层的输出值的计算公式为：
其中，xi，j表示图像的第i行第j列元素；Wm，n表示第m行第n列权重；Wb表示filter的偏置项；ai，j表示Feature Map的第i行第j列元素；f表示激活函数。
步骤S3：对提取的不同尺度的波形特征进行融合。
具体来说，请参见图4，为多流态卷积神经网络层结构示意图，本实施方式中，采用的是两个CNN(CNN_1和CNN_2)来得到多尺度特征融合的输出。
由于前述步骤中通过不同的CNN来提取不同尺度上的波形特征，本步骤则对这些特征进行融合，从而可以保证在短时的数据上也可以提取出大量的特征，确保模型的正确率。
步骤S4：搭建用于提取融合后的波形特征中的时序特征的双向RNN模型。
具体来说，使用双向循环神经网络(即双向RNN模型)来处理S3输出的特征序列中的时序关系。
进而，循环神经网络初始输入为：
ft＝σ(Wf·[ht-1xt]+bf)
it＝σ(Wi·[ht-1xt]+bi)
ot＝σ(Wo·[ht-1xt]+bo)
ht＝ot*tanh(Ct)
t为循环次数，Wf、Wi、WC、Wo均为门限循环神经网络的训练参数，bf、bi、bC、bo为循环神经网络的偏置参数，σ(x)为第一激活函数，tanh(x)为第二激活函数。
为了进一步提高模型的有效性，在步骤S4之后，所述方法还包括：
对搭建的多流态CNN模型和RNN模型进行优化，其中，对每层卷积层进行批量归一化，并采用LeakyRelu激活函数。
具体来说，对所搭建的CNN和RNN模型进行优化，对每层卷积层进行BatchNormalization来加速神经网络训练，降低对网络初始化的敏感性，使用LeakyRelu激活函数减轻梯度消失问题。
步骤S5：将多流态CNN模型与双向RNN模型拼接成多流态卷积循环神经网络模型，设置损失函数，并基于去噪后多导联心电数据进行训练，采用随机梯度下降算法和反向传播算法对流态卷积循环神经网络模型进行微调，得到优化后的多流态卷积循环神经网络模型。
具体来说，定义损失函数后对多流态卷积循环神经网络模型进行训练，模型的训练算法为反向传播算法，采用交叉验证循环重复训练多次，基于随机梯度下降算法训练分类模型(即多流态卷积循环神经网络模型)，进行分类。
优选地，步骤S5中采用十倍交叉循环重复训练十次。
具体来说，采用交叉验证进行循环训练，将ECG数据(心电数据)随机分成10个相等的部分，选取其中的九部分用来训练，剩下的一部分作为测试，循环重复十次，基于随机梯度下降算法训练分类模型。其中，对所有心电数据分类，分类的类别数为2，对别对应的类别名称为：正常心电数据Normal、异常数据Abnormal。
在一种实施方式中，步骤S5中多流态卷积循环神经网络模型包括11层卷积神经网络，6个卷积层，3个池化层，1个双向循环神经网络层和1个处理多分类任务的softmax层。
请参见图5，为本发明中多流态卷积循环神经网络模型整体架构示意图，1个双向循环神经网络层即为双向RNN模型。最后一层为处理多分类任务的softmax层。
在一种实施方式中，多流态卷积循环神经网络模型的损失函数为：
其中，labeli表示单个心电数据的标签，predictioni表示单个心电数据的预测结果，ross_entropy(predictioni，labeli)为参与训练的心电数据交叉熵损失函数的值。
具体来说，所有心电数据的标签均采用one-hot形式，模型总的损失函数定义为所有参与训练的心电数据交叉熵损失函数的和。
在一种实施方式中，步骤S5中采用随机梯度下降算法和反向传播算法对流态卷积循环神经网络模型进行微调，具体包括：
步骤S5.1：前向计算每个神经元的输出值aj；
步骤S4.2：反向计算每个神经元的误差项δj，其中，Ed表示，误差项网络的损失函数，netj为神经元加权输入；
步骤S4.3：计算每个神经元连接权重Wji的梯度，其中，j表示第j个网络；
步骤S4.4：根据神经元连接权重的梯度对流态卷积循环神经网络模型进行微调，得到优化后的多流态卷积循环神经网络模型。
具体来说，Wji表示从神经元i连接到神经元j的权重，ai表示神经元i的输出。基于随机梯度下降算法训练分类模型，采用SGD优化器，学习率指数衰减，优选地，初始学习率取值为0.001，EPOCH取值为100，batch_size取值为64，学习率衰减步长为8000，学习率单次衰减率为0.96。
优选地，所述LeakyRelu激活函数为
步骤S6：将待处理的多导联心电数据进行去噪处理后，输入优化后的多流态卷积循环神经网络模型，获得异常信号识别结果。
具体来说，将十二导联数连接后，进行去噪处理，然后通过优化后的多流态卷积循环神经网络模型进行分类，进行异常信号的识别。
本发明与现有技术相比，具有以下优点：
1、由于12导联实时的心电数据长度较短且通常心电数据使用的卷积核很大导致整个模型很容易丢失ECG信号开始部分和结束部分的信息，本发明选择将十二导联数连接以减少卷积期间的边缘信息丢失。通过将12导联心电图连接成一维数据作为网络的输入，以获得更多信息和特征。
2、现有方法没有考虑到提取不同尺度和形状的特征。本发明使用具有相同输出大小的卷积神经网络两种不同结构(两个CNN)来提取数据的特征。
3、为了使模型预测速度更快，CNN更容易训练，只有几十个反向传播(BP)周期。
4、ECG信号是一种时序数据，因此提取的特征也具有时间序列特性。本发明参考语义识别的方法，将两组CNN输出的特征连接起来并输入双向循环神经网络中，进行时序特征的提取。
5、本发明提高了准确率，为医疗人员提供了可靠地辅助与参考。通过对大量数据的反复训练，对算法的不断优化，使得心电异常识别分类准确率得到的一定的提高，为医疗人员提供了可靠地辅助与参考，减少误诊、漏诊率。
下面通过一个具体示例，对本发明提供的基于多流态卷积循环神经网络的多导联心电异常信号识别方法进行验证。
为验证本发明方法的有效性及可行性，本发明在2018中国生理信号挑战赛公开的12导联心电数据上进行了实验验证，采样频率为500Hz。抽取正常心电数据以及部分异常心电数据，经过本发明的去噪操作后切分为6秒的短时数据，得到共24510条数据，其中正常类别的有9180个样本，异常类别共有15330个样本，保证两个类别的样本分布比较均匀。取出4902份样本作为测试集，包括1824份正常样本，3078份异常样本，剩余的样本作为训练集。训练集与测试集的样本分布相同，其正负样本比都为5:3。最后，使用训练后的模型进行性能测试获得模型的性能指标。然后评估测试集上本方法性能。
测试集的混淆矩阵如下表所示，热力图如图6所示。
由上表可知，本发明的方法在测试集上的准确率达到92.62％，Recall值达到98.47％，Precision值达到90.59％。可以看出使用的12导联连接操作，以及使用创新的多流态卷积神经网络提取特征，保证了提取不同尺度的特征的数量，使用双向循环神经网络提取特征之间的时序关系，使得模型在实时12导联的短时数据上有明显的改进效果，提高了模型的稳定性，另外使用1-D卷积神经网络提升网络的整体效率，保证模型的鲁棒性。实验结果表明本发明所提出的方法是行之有效的，能够极大的提高短时心电数据中异常数据的检出率、识别精度以及识别的效率，因此具有较大的社会实用价值。
实施例二
基于同样的发明构思，本实施例提供了一种基于多流态卷积循环神经网络的多导联心电异常信号识别系统，请参见图7，该系统包括：
去噪模块201，用于对获取的多导联心电数据进行去噪处理；
多流态CNN模型搭建模型202，用于搭建用于提取心电数据不同尺度的波形特征的多流态CNN模型，其中，搭建多流态CNN模型包括至少两个具有不同尺度和大小的CNN；
特征融合模块203，用于对提取的不同尺度的波形特征进行融合；
双向RNN模型搭建模块204，用于搭建用于提取融合后的波形特征中的时序特征的双向RNN模型；
拼接模块205，用于将多流态CNN模型与双向RNN模型拼接成多流态卷积循环神经网络模型，设置损失函数，并基于去噪后多导联心电数据进行训练，采用随机梯度下降算法和反向传播算法对流态卷积循环神经网络模型进行微调，得到优化后的多流态卷积循环神经网络模型；
异常信号识别模块206，将待处理的多导联心电数据进行去噪处理后，输入优化后的多流态卷积循环神经网络模型，获得异常信号识别结果。
在一种实施方式中，去噪模块201具体用于：采用集成经验模态分解算法和小波软阈值相结合的去噪方法进行去噪处理。
在一种实施方式中，多流态CNN模型中的卷积层的输出值的计算公式为：
其中，xi，j表示图像的第i行第j列元素；Wm，n表示第m行第n列权重；Wb表示filter的偏置项；ai，j表示Feature Map的第i行第j列元素；f表示激活函数。
在一种实施方式中，还包括优化模块，用于对搭建的多流态CNN模型和RNN模型进行优化，其中，对每层卷积层进行批量归一化，并采用LeakyRelu激活函数。
在一种实施方式中，多流态卷积循环神经网络模型包括11层卷积神经网络，6个卷积层，3个池化层，1个双向循环神经网络层和1个处理多分类任务的softmax层。
在一种实施方式中，多流态卷积循环神经网络模型的损失函数为：
其中，labeli表示单个心电数据的标签，predictioni表示单个心电数据的预测结果，ross_entropy(predictioni，labeli)为参与训练的心电数据交叉熵损失函数的值。
在一种实施方式中，拼接模块205还用于执行下述步骤：
步骤S5.1：前向计算每个神经元的输出值aj；
步骤S4.2：反向计算每个神经元的误差项δj，其中，Ed表示，误差项网络的损失函数，netx为神经元加权输入；
步骤S4.3：计算每个神经元连接权重Wji的梯度，其中，j表示第j个网络；
步骤S4.4：根据神经元连接权重的梯度对流态卷积循环神经网络模型进行微调，得到优化后的多流态卷积循环神经网络模型。
由于本发明实施例二所介绍的系统，为实施本发明实施例一中一种基于多流态卷积循环神经网络的多导联心电异常信号识别方法所采用的系统，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该系统的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方法所采用的系统都属于本发明所欲保护的范围。
实施例三
请参见图8，基于同一发明构思，本申请还提供了一种计算机可读存储介质300，其上存储有计算机程序311，该程序被执行时实现如实施例一中所述的方法。
由于本发明实施例三所介绍的计算机可读存储介质为实施本发明实施例一中多导联心电异常信号识别方法所采用的计算机设备，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该计算机可读存储介质的具体结构及变形，故而在此不再赘述。凡是本发明实施例一中方法所采用的计算机可读存储介质都属于本发明所欲保护的范围。
实施例四
基于同一发明构思，本申请还提供了一种计算机设备，请参见图9，包括存储401、处理器402及存储在存储器上并可在处理器上运行的计算机程序403，处理器402执行上述程序时实现实施例一中的方法。
由于本发明实施例四所介绍的计算机设备为实施本发明实施例一中多导联心电异常信号识别所采用的计算机设备，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该计算机设备的具体结构及变形，故而在此不再赘述。凡是本发明实施例一中方法所采用的计算机设备都属于本发明所欲保护的范围。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于多流态卷积循环神经网络的多导联心电异常信号识别方法，其特征在于，包括：
步骤S1：对获取的多导联心电数据进行去噪处理；
步骤S2：搭建用于提取心电数据不同尺度的波形特征的多流态CNN模型，其中，搭建多流态CNN模型包括至少两个具有不同尺度和大小的CNN；
步骤S3：对提取的不同尺度的波形特征进行融合；
步骤S4：搭建用于提取融合后的波形特征中的时序特征的双向RNN模型；
步骤S5：将多流态CNN模型与双向RNN模型拼接成多流态卷积循环神经网络模型，设置损失函数，并基于去噪后多导联心电数据进行训练，采用随机梯度下降算法和反向传播算法对流态卷积循环神经网络模型进行微调，得到优化后的多流态卷积循环神经网络模型；
步骤S6：将待处理的多导联心电数据进行去噪处理后，输入优化后的多流态卷积循环神经网络模型，获得异常信号识别结果。
2.如权利要求1所述的方法，其特征在于，步骤S1具体包括：采用集成经验模态分解算法和小波软阈值相结合的去噪方法进行去噪处理。
3.如权利要求1所述的方法，其特征在于，步骤S2中的多流态CNN模型中的卷积层的输出值的计算公式为：
其中，xi，j表示图像的第i行第j列元素；Wm，n表示第m行第n列权重；Wb表示filter的偏置项；ai，j表示Feature Map的第i行第j列元素；f表示激活函数。
4.如权利要求3所述的方法，其特征在于，在步骤S4之后，所述方法还包括：
对搭建的多流态CNN模型和RNN模型进行优化，其中，对每层卷积层进行批量归一化，并采用LeakyRelu激活函数。
5.如权利要求1所述的方法，其特征在于，步骤S5中多流态卷积循环神经网络模型包括11层卷积神经网络，6个卷积层，3个池化层，1个双向循环神经网络层和1个处理多分类任务的softmax层。
6.如权利要求1所述的方法，其特征在于，多流态卷积循环神经网络模型的损失函数为：
其中，labeli表示单个心电数据的标签，predictioni表示单个心电数据的预测结果，ross_entropy(predictioni，labeli)为参与训练的心电数据交叉熵损失函数的值。
7.如权利要求1所述的方法，其特征在于，步骤S5中采用随机梯度下降算法和反向传播算法对流态卷积循环神经网络模型进行微调，具体包括：
步骤S5.1：前向计算每个神经元的输出值aj；
步骤S4.2：反向计算每个神经元的误差项δj，其中，Ed表示，误差项网络的损失函数，netj为神经元加权输入；
步骤S4.3：计算每个神经元连接权重Wji的梯度，其中，j表示第j个网络；
步骤S4.4：根据神经元连接权重的梯度对流态卷积循环神经网络模型进行微调，得到优化后的多流态卷积循环神经网络模型。
8.一种基于多流态卷积循环神经网络的多导联心电异常信号识别系统，其特征在于，包括：
去噪模块，用于对获取的多导联心电数据进行去噪处理；
多流态CNN模型搭建模型，用于搭建用于提取心电数据不同尺度的波形特征的多流态CNN模型，其中，搭建多流态CNN模型包括至少两个具有不同尺度和大小的CNN；
特征融合模块，用于对提取的不同尺度的波形特征进行融合；
双向RNN模型搭建模块，用于搭建用于提取融合后的波形特征中的时序特征的双向RNN模型；
拼接模块，用于将多流态CNN模型与双向RNN模型拼接成多流态卷积循环神经网络模型，设置损失函数，并基于去噪后多导联心电数据进行训练，采用随机梯度下降算法和反向传播算法对流态卷积循环神经网络模型进行微调，得到优化后的多流态卷积循环神经网络模型；
异常信号识别模块，将待处理的多导联心电数据进行去噪处理后，输入优化后的多流态卷积循环神经网络模型，获得异常信号识别结果。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被执行时实现如权利要求1至7中任一项权利要求所述的方法。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7中任一项权利要求所述的方法。
CN201910994903.9A 2019-10-18 2019-10-18 一种基于多流态卷积循环神经网络的多导联心电异常信号识别方法及系统 Pending CN110619322A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910994903.9A CN110619322A (zh) 2019-10-18 2019-10-18 一种基于多流态卷积循环神经网络的多导联心电异常信号识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910994903.9A CN110619322A (zh) 2019-10-18 2019-10-18 一种基于多流态卷积循环神经网络的多导联心电异常信号识别方法及系统

Publications (1)

Publication Number Publication Date
CN110619322A true CN110619322A (zh) 2019-12-27

Family

ID=68926153

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910994903.9A Pending CN110619322A (zh) 2019-10-18 2019-10-18 一种基于多流态卷积循环神经网络的多导联心电异常信号识别方法及系统

Country Status (1)

Country Link
CN (1) CN110619322A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111012332A (zh) * 2020-01-20 2020-04-17 太原理工大学 基于神经网络的12导联心电信号多标签分类方法
CN111134662A (zh) * 2020-02-17 2020-05-12 武汉大学 一种基于迁移学习和置信度选择的心电异常信号识别方法及装置
CN111329469A (zh) * 2020-03-05 2020-06-26 广州天嵌计算机科技有限公司 一种心律异常预测方法
CN111759302A (zh) * 2020-07-10 2020-10-13 齐鲁工业大学 一种可穿戴式个体心电检测方法
CN111759298A (zh) * 2020-07-10 2020-10-13 齐鲁工业大学 一种降低多参数监护仪心律失常误报警率的方法
CN111904411A (zh) * 2020-08-25 2020-11-10 浙江工业大学 基于多尺度特征提取的多导联心跳信号分类方法及装置
CN111990989A (zh) * 2020-08-31 2020-11-27 武汉大学 一种基于生成对抗及卷积循环网络的心电信号识别方法
CN112134876A (zh) * 2020-09-18 2020-12-25 中移（杭州）信息技术有限公司 流量识别系统及方法、服务器
CN112301322A (zh) * 2020-12-21 2021-02-02 上海陛通半导体能源科技股份有限公司 具有工艺参数智能调节功能的气相沉积设备及方法
CN112336357A (zh) * 2020-11-06 2021-02-09 山西三友和智慧信息技术股份有限公司 一种基于rnn-cnn的emg信号分类系统及方法
CN113486868A (zh) * 2021-09-07 2021-10-08 中南大学 一种电机故障诊断方法及系统
CN113743414A (zh) * 2021-08-02 2021-12-03 清华大学 基于语义编码的病灶识别方法、装置及系统
CN114343637A (zh) * 2021-12-29 2022-04-15 河北体育学院 基于卷积和循环神经网络运动员心理压力评估方法及系统
CN116869546A (zh) * 2023-08-11 2023-10-13 河北医科大学第一医院 一种通过人工智能判读心电信号的方法、心电图机

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108113666A (zh) * 2017-12-19 2018-06-05 中国科学院深圳先进技术研究院 房颤信号的识别方法、装置和设备
CN108338784A (zh) * 2017-01-25 2018-07-31 中国科学院半导体研究所 基于eemd的小波熵阈值的心电信号去噪方法
CN108647614A (zh) * 2018-04-28 2018-10-12 吉林大学 心电图心拍分类识别方法及系统
CN109171707A (zh) * 2018-10-24 2019-01-11 杭州电子科技大学 一种智能心电图分类方法
CN109394205A (zh) * 2018-09-30 2019-03-01 安徽心之声医疗科技有限公司 一种基于深度神经网络的心电信号多病症分析方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108338784A (zh) * 2017-01-25 2018-07-31 中国科学院半导体研究所 基于eemd的小波熵阈值的心电信号去噪方法
CN108113666A (zh) * 2017-12-19 2018-06-05 中国科学院深圳先进技术研究院 房颤信号的识别方法、装置和设备
CN108647614A (zh) * 2018-04-28 2018-10-12 吉林大学 心电图心拍分类识别方法及系统
CN109394205A (zh) * 2018-09-30 2019-03-01 安徽心之声医疗科技有限公司 一种基于深度神经网络的心电信号多病症分析方法
CN109171707A (zh) * 2018-10-24 2019-01-11 杭州电子科技大学 一种智能心电图分类方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111012332A (zh) * 2020-01-20 2020-04-17 太原理工大学 基于神经网络的12导联心电信号多标签分类方法
CN111134662A (zh) * 2020-02-17 2020-05-12 武汉大学 一种基于迁移学习和置信度选择的心电异常信号识别方法及装置
CN111329469A (zh) * 2020-03-05 2020-06-26 广州天嵌计算机科技有限公司 一种心律异常预测方法
CN111759302A (zh) * 2020-07-10 2020-10-13 齐鲁工业大学 一种可穿戴式个体心电检测方法
CN111759298A (zh) * 2020-07-10 2020-10-13 齐鲁工业大学 一种降低多参数监护仪心律失常误报警率的方法
CN111904411A (zh) * 2020-08-25 2020-11-10 浙江工业大学 基于多尺度特征提取的多导联心跳信号分类方法及装置
CN111990989A (zh) * 2020-08-31 2020-11-27 武汉大学 一种基于生成对抗及卷积循环网络的心电信号识别方法
CN112134876A (zh) * 2020-09-18 2020-12-25 中移（杭州）信息技术有限公司 流量识别系统及方法、服务器
CN112336357A (zh) * 2020-11-06 2021-02-09 山西三友和智慧信息技术股份有限公司 一种基于rnn-cnn的emg信号分类系统及方法
CN112301322A (zh) * 2020-12-21 2021-02-02 上海陛通半导体能源科技股份有限公司 具有工艺参数智能调节功能的气相沉积设备及方法
CN112301322B (zh) * 2020-12-21 2021-04-13 上海陛通半导体能源科技股份有限公司 具有工艺参数智能调节功能的气相沉积设备及方法
CN113743414A (zh) * 2021-08-02 2021-12-03 清华大学 基于语义编码的病灶识别方法、装置及系统
CN113743414B (zh) * 2021-08-02 2022-08-05 清华大学 基于语义编码的病灶识别方法、装置及系统
CN113486868A (zh) * 2021-09-07 2021-10-08 中南大学 一种电机故障诊断方法及系统
CN113486868B (zh) * 2021-09-07 2022-02-11 中南大学 一种电机故障诊断方法及系统
CN114343637A (zh) * 2021-12-29 2022-04-15 河北体育学院 基于卷积和循环神经网络运动员心理压力评估方法及系统
CN114343637B (zh) * 2021-12-29 2023-10-13 河北体育学院 基于卷积和循环神经网络运动员心理压力评估方法及系统
CN116869546A (zh) * 2023-08-11 2023-10-13 河北医科大学第一医院 一种通过人工智能判读心电信号的方法、心电图机

Similar Documents

Publication Publication Date Title
CN110619322A (zh) 一种基于多流态卷积循环神经网络的多导联心电异常信号识别方法及系统
Liu et al. Arrhythmia classification of LSTM autoencoder based on time series anomaly detection
Yildirim A novel wavelet sequence based on deep bidirectional LSTM network model for ECG signal classification
Çınar et al. Classification of normal sinus rhythm, abnormal arrhythmia and congestive heart failure ECG signals using LSTM and hybrid CNN-SVM deep neural networks
CN111990989A (zh) 一种基于生成对抗及卷积循环网络的心电信号识别方法
Li et al. Classification of ECG signals based on 1D convolution neural network
CN111134662B (zh) 一种基于迁移学习和置信度选择的心电异常信号识别方法及装置
CN111657926B (zh) 一种基于多导联信息融合的心律失常分类方法
CN113397555A (zh) 生理参数监测用c-lstm的心率失常分类算法
KR20210085867A (ko) 사용자의 혈압을 추정하기 위한 장치 및 방법
CN111887858B (zh) 基于跨模态映射的心冲击图信号心率估计方法
WO2021164346A1 (zh) 一种预测血压的方法和装置
CN109431492A (zh) 基于神经网络算法的心电图导联数据模拟重建方法
Rahman et al. ECG classification for detecting ECG arrhythmia empowered with deep learning approaches
Qiao et al. A fast and accurate recognition of ECG signals based on ELM-LRF and BLSTM algorithm
CN112906748A (zh) 基于残差网络的12导联ecg心律失常检测分类模型构建方法
Liang et al. Obstructive sleep apnea detection using combination of CNN and LSTM techniques
Prakash et al. A system for automatic cardiac arrhythmia recognition using electrocardiogram signal
CN113180679A (zh) 一种单导联心电异常信号识别方法
Singh et al. Short and noisy electrocardiogram classification based on deep learning
Harouni et al. Health monitoring methods in heart diseases based on data mining approach: A directional review
Xu et al. Arrhythmia detection using gated recurrent unit network with ECG signals
Rai et al. ECG arrhythmia classification using daubechies wavelet and radial basis function neural network
Haroon ECG arrhythmia classification Using deep convolution neural networks in transfer learning
Wang et al. Pay attention and watch temporal correlation: a novel 1-D convolutional neural network for ECG record classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination