CN112043260B - 基于局部模式变换的心电图分类方法 - Google Patents

Abstract

本发明公开了一种基于局部模式变换的心电图分类方法，包括：(1)取得原始心电数据和心电图附加信息，并对原始心电数据进行预处理；(2)对预处理后的心电数据进行增广变换处理获得心电增广数据；(3)利用心电增广数据和心电图附加信息对深度学习模型进行训练；(4)对待分类的心电图数据中的原始心电数据进行子段随机截取，将子段随机截取后的心电数据和心电图附加信息输入训练好的深度学习模型中，获得每个子段的局部概率值，再对所有局部概率值进行汇总，获得最终分类结果。本发明使用卷积神经网络及其变体能直接处理可变长度的心电图数据。

Description

基于局部模式变换的心电图分类方法

技术领域

本发明涉及心电图分类技术领域，尤其涉及一种基于局部模式变换的心电图分类方法。

背景技术

心电图是记录人体心脏电活动的可视时间序列，已广泛应用于心脏相关疾病的检查，并形成了比较完善的判读标准。随着可穿戴技术的兴起，心电图分析正在向院外、亚健康人群和长时间监护发展，这使得医生工作量大增，也使得对自动化诊断的需求越来越迫切。

用于临床诊断的心电图一般是12导联，每个导联通常采集10-60秒的心电数据。受限于不准确的传统特征提取方法，经典基于特征工程的心电图分类算法的实际性能不佳。

近年来，以卷积神经网络(Convolutional Neural Network,CNN)为代表的深度学习在心电图分析领域取得重要进展。例如，公开号为CN110432892A的中国专利文献公开了一种机器学习心电图自动诊断云。该自动诊断云包括：心电图采集，互联网/移动互联网，云平台及机器学习心电图自动诊断系统。机器学习心电图自动诊断系统直接处理心电图图像数据，通过一个训练好的深度卷积神经网络分类系统，完成对心电图信号自动诊断。但该方法只能处理固定尺寸的输入数据，所以需要对原始数据进行截断、填充或拉伸等，不利于后续的分类识别。

目前的最佳做法是首先利用CNN及其变体对原始心电数据进行降维，接着交由以长短时记忆网络(Long Short-Term Memory,LSTM)为代表的递归结构层对可变长度数据进行处理，并融入注意力机制(Attention Mechanism,AM)，最后交由分类模块执行分类，即“CNN+LSTM+AM”模型。公开号为CN111012332A的中国专利文献公开了基于神经网络的12导联心电信号多标签分类方法，具体步骤为：确定数据输入格式、改进卷积神经网络、数据输入通过全连接层将3条支流的特征信息融合，最后进行标签分类。该方法利用12导联信号做数据来源充分挖掘患者临床信息，利用改进的三支流CNN提取到不同尺度的医学特征从双层LSTM结构的RNN时间序列性中找到规律，提高多分类准确率。尽管该方法能取得不错的分类效果，但计算复杂度高；同时由于参数优化困难，往往需要额外的优化技术如Dropout、Adam等，进一步增加模型复杂度。

发明内容

本发明提供了一种基于局部模式变换的心电图分类方法，使用卷积神经网络及其变体能直接处理可变长度的心电图数据，同时从一定程度上解决参数优化困难、计算复杂度高等问题。

本发明的具体技术方案如下：

一种基于局部模式变换的心电图分类方法，包括：

(1)取得原始心电数据和心电图附加信息，并对原始心电数据进行预处理；

(2)对预处理后的心电数据进行增广变换处理获得心电增广数据；所述的增广变换处理包括：子段随机截取、叠加随机噪声、沿着时间轴拉伸或收缩、小区域数据随机污染和/或按一定比例添加错误标签；

(3)利用心电增广数据和心电图附加信息对深度学习模型进行训练；

(4)对待分类的心电图数据中的原始心电数据进行子段随机截取，将子段随机截取后的心电数据和心电图附加信息输入训练好的深度学习模型中，获得每个子段的局部概率值，再对所有局部概率值进行汇总，获得最终分类结果。

所述的心电图数据包括原始心电数据和心电图附加信息。

步骤(1)中，所述的原始心电数据为短时的单/多导联数据，对于长时心电图信号，需要事先进行分段。

步骤(1)中：所述的预处理包括信号滤波、重采样、基本导联截取和幅值归一化。

优选的，基于局部模式变换的心电图分类方法还包括：对预处理后的心电数据进行复制填充操作，之后再进行增广变换处理。

根据疾病类型确定是否对预处理后的心电数据进行复制填充操作：对于一条短时心电图记录，只要其中一两个心拍为某种疾病类型，整条记录就判读为该疾病类型(例如早搏)，则需要执行复制填充操作。

复制填充操作包括：

设原始心电数据为d_ij(1≤i≤leadC,1≤j≤frameC)，填充长度为padC，且有padC≤frameC，则复制填充后的心电数据d_ij'为：

其中1≤i≤leadC；

leadC和frameC分别是原始心电图的导联数和帧数。

步骤(2)中，所述的增广变换处理包括：

(2-1)设某一样本的心电数据和起始点范围分别为d_ij(1≤i≤leadC,1≤j≤frameC)和[1,offset]；

(2-2)确定一个起始点b(1≤b≤offset)，接着以此为基准点截取后续全部数据，即获得d_ik(1≤i≤leadC,b≤k≤frameC)；

(2-3)有选择地对d_ik叠加噪声、沿着时间轴拉伸或收缩、小区域数据随机污染、按一定比例添加错误标签。

子段随机截取为对心电数据直接进行截取或对深度学习模型提取的心电数据的变换特征进行截取。

对深度学习模型提取的心电数据的变换特征进行截取包括：先用深度学习模型提取心电数据的变换特征，再对变换特征进行截取。

两种截取方式的截取策略相同；所述的截取策略包括其中的子段截取策略包括不重叠子段、重叠子段、固定数量子段、变长度子段或应用场景自适应子段。

不重叠子段是指每个子段之间的数据不重叠；重叠子段是指每个子段之间的数据可重叠；固定数量子段是指每个输入的心电数据截取为固定数目的子段；变长度子段是指每个子段的长度可不同；应用场景自适应子段是指根据应用场景确定截取方案，例如以心拍为单位截取子段，心拍长度可不同。

若子段长度不同，则需在深度学习模型中引入全局最大池化(Global MaxPooling,GMP)、全局平均池化(Global Average Pooling,GAP)或空间金字塔池化(SpatialPyramid Pooling,SPP)等自适应池化结构，且子段长度要限定在相同数量级内(例如长度范围为100～999)，不宜相差悬殊。

所述的深度学习模型的分类器为卷积神经网络；所述的卷积神经网络为LCNN(Lead Convolutional Neural Network,导联卷积神经网络)、VGGNet、ResNet或DenseNet。

步骤(3)中，基于损失函数并利用误差反向传播算法对深度学习模型进行训练；所述的损失函数为：

其中1{.}为指示函数(当条件为真时返回1，否则返回0)，c为类别数，

是训练数据集DS中的一个样本，y_true是该样本的真实类别(取值范围为0,1,2,…,c-1)，y^j是该样本属于类别j的预测概率。

步骤(4)中，对所有局部概率值进行汇总的策略包括：选择性平均法、概率阈值法、多数投票法、注意力机制法、跳跃连加法、Noisy-or法、Int-seg-rec法、Generalized-mean法、Log-sum-exp法、Noisy-and法、Linear Softmax法或Exp.Softmax法，并通过优先类和竞争类扩展原始的计算方法。

只要保证所述的损失函数可微，其它线性或非线性的汇总计算方法均可使用。

与现有技术相比，本发明的有益效果为：

(1)相比固定输入结构的深度模型，本发明所提方法除了具备任意变尺寸输入数据处理能力外，还能很有效地提高分类性能；

(2)在语义关联不大的应用场景，尽管使用经典包含递归结构的深度学习模型(如CNN+LSTM+AM)也能取得不错的效果，但计算复杂度高；同时由于参数优化困难，往往需要额外的优化技术如Dropout、Adam等，无形中又增加计算负担。而本发明所提供的方法可有效避免这些问题，往往还能获得更好的分类效果。

附图说明

图1为基于局部模式变换的心电图分类方法的流程示意图；

图2为对心电数据直接进行截取时心电图分类方法的流程示意图；

图3为对深度学习模型提取的心电数据的变换特征进行截取时心电图分类方法的流程示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。

1.发明目的

鉴于现有算法的不足，本发明提出一种基于局部模式变换的心电图分类方法，使卷积神经网络及其变体能直接处理可变长度的心电数据，同时从一定程度上解决参数优化困难、计算复杂度高等问题，这是本发明的设计目的。

2、技术方案

2.1、总体方案

如图1所示，一种基于局部模式变换的心电图分类方法，总体方案如下：

Step1.原始心电数据首先进行必要的预处理，包含信号滤波、重采样、基本导联截取、幅值归一化等操作，接着交由模块(1)有选择地执行复制填充(根据疾病类型确定)。下面给出具体的填充过程：不妨设原始心电数据为d_ij(1≤i≤leadC,1≤j≤frameC)，填充长度为padC，且有padC≤frameC，则复制填充后的心电数据d_ij'为：

其中，leadC和frameC分别是原始心电图的导联数和帧数(均为常数)，i表示第几导联，j表示第几帧数。

Step2.原始或复制填充后的心电数据送往模块(2)执行增广变换处理，具体流程为：不妨设某个样本的原始数据和起始点范围分别为d_ij(1≤i≤leadC,1≤j≤frameC)和[1,offset]，首先确定一个起始点b(1≤b≤offset)，接着以此为基准点截取后续全部数据，即有d_ik(1≤i≤leadC,b≤k≤frameC)，最后有选择地对d_ik叠加噪声、沿着时间轴拉伸或收缩、小区域数据随机污染、按一定比例添加错误标签等(测试阶段仅执行数据截取操作)；

Step3.经过处理的心电数据送往模块(3)计算类概率值，据此确定分类结果。在训练阶段，随机选取起始点b，并基于损失函数对整个分类模型进行端到端学习；而在测试阶段，固定选取一个或多个起始点b，并对分类结果进行集成。此外，我们还可差异化训练多个上述模型并进行集成，以获得更好的分类性能。

2.2、基于局部模式变换的深度学习模型

基于局部模式变换的深度学习模型，其核心思想是首先隐性获取每个局部模式的类概率值(即局部概率值)，然后根据与应用场景相关的汇总计算公式求得全局概率值(对应一个分类面)，最后汇总多个分类面的结果输出最终概率值。整个分类模型以“端到端学习”方式构建，避免中间过程引入导致的误差积累。根据局部模式截取时机可分为两种类型：一是对原始心电数据进行截取，其整体框架如图2所示，优点是可直接使用现有的深度学习模型，缺点是计算负担大；二是对交由分类模块的变换特征进行截取，其整体框架如图3所示，优点是计算效率高，缺点是需要改造现有深度学习模型的网络结构。

A.原始数据截取模式

设输入数据为d_ij(1≤i≤leadC,1≤j≤w₂)，我们以窗宽w₁依次截取不重叠的子段(若最后一个子段的长度不够，即可直接舍弃也可重叠选取数据，这里以后者为例)，分别对应原始数据(d_i,1,d_i,2,…,d_i,w1),(d_i,w1+1,d_i,w1+2,…,d_i,w1+w1),…,(d_i,w2-w1+1,d_i,w2-w1+2,…,d_i,w2)，其中1≤i≤leadC。除此以外，还可采取如下三种截取策略：

(1)子段之间的数据可重叠，每个子段的长度可不同；

(2)不论长度如何，每个输入数据截取为固定数目的子段；

(3)根据应用场景确定截取方案，例如以心拍为单位截取子段，心拍长度可不同。

若子段长度不同，则需在深度学习模型中引入全局最大池化(Global MaxPooling,GMP)、全局平均池化(Global Average Pooling,GAP)或空间金字塔池化(SpatialPyramid Pooling,SPP)等自适应池化结构，且子段长度要限定在相同数量级内(例如长度范围为100～999)，不宜相差悬殊。图2给出了原始数据截取模式下基于局部模式变换的深度学习模型，分类器组件采用导联卷积神经网络(Lead Convolutional Neural Network,LCNN)，其他CNN模型如VGGNet、ResNet等均可使用，但不宜包含LSTM等递归结构层。由局部概率值汇总计算求得全局概率值和最终概率值是本发明的关键，我们将在2.3小节给出详细说明。

B.变换特征截取模式

变换特征截取模式本质上和原始数据截取模式相同，唯一区别是将局部模式截取操作嵌入到网络模型中。图3以LCNN为例给出了变换特征截取模式下基于局部模式变换的深度学习模型示意图，其中卷积单元包括卷积层和池化层，Flatten为张量展平层，FC为全连接层，LR/SR为Logistic Regression/Softmax Regression层(也包括其他分类回归类型，如用于多标签分类的Fully Sigmoid-activated Regression等)。每导联的卷积单元数和多层感知器的隐层数可根据需要进行调整；而变换特征的窗宽大小可根据卷积/池化核尺寸进行反向推导，例如图3中“1×5@5×8子段”(表示截取的每个子段尺寸为5，特征面数为40)对应“1700×8心电数据”。至于局部汇总和全局汇总的计算方法，则同原始数据截取模式完全相同，我们将在2.3小节给出详细说明。

2.3汇总计算方法

为方便说明，我们以单个分类面的原始数据截取模式给出几种常见的汇总计算方法，变换特征截取模式可类似推导。对于更一般的情形，每个分类面可采用不同的子段截取策略(例如不同的截取窗宽、子段数等，参见2.2小节)，而局部汇总和全局汇总可采用如下介绍的一种或多种计算方法，具体根据应用场景确定。

给定训练数据集DS，不妨设其中某个样本

的n个子段

类概率值分别为y₁,y₂,…,y_n或

(即局部概率值)，汇总计算函数为G(.)，最终类概率值为y或

(即全局概率值，也即最终概率值)，真实类别为y_true或

为描述输入层到倒数第二层处理过程的函数(不包括分类回归层，Θ为待优化参数)。下面针对心电图分类领域常使用的3种分类回归层进行说明。

A.Logistic Regression/Softmax Regression

Logistic Regression仅限于单标签二分类问题，此时y₁,y₂,…,y_n和y_true均为标量，其中y_true取值为0或1。不妨设输出值为样本属于1类的概率，则有：

Softmax Regression可用于单标签多分类问题，此时

为向量，而y_true为标量，取值为0,1,…,c-1。不妨设有c个类别，有：

其中θ为待优化参数。对于Logistic Regression，当我们用[1-y_i,y_i]表示第i个子段的类概率值时，其形式同二分类的Softmax Regression完全相同。因此，下面仅基于后者给出汇总计算方法。

若一个应用场景中某类的优先级高于其他类，即其中一个子段属于某类(不妨设为第jm类)时，则整个输入样本就属于该类。对此，我们首先基于

大小对

进行排序，得到

并满足

接着用如下公式计算最终类概率值

即有：

其中m₁和m₂可根据应用场景调整；w_i既可以是常数，又可以是待优化参数。若w_i均设为常量1，则对应简单平均法；若再设置m₁＝m₂＝1，则对应最大法；若w_i同模型参数一起参与误差反向传播过程，且满足

0≤w_i≤m₂-m₁+1，则对应加权平均法；而子段数自适应的汇总计算公式为：

其中1{.}为指示函数，当条件为真时返回1，否则返回0，而p₁和p₂为事先设定的概率阈值。我们还可引入“投票”思想，其计算公式为：

若一个应用场景中多个类别(不妨设类别集合为IL，2≤|IL|≤c)的优先级相同，则使它们处于竞争状态，输出概率值最大的一类胜出。下面给出与式(4)～式(6)相对应的计算公式：首先分别基于

大小对

进行排序，得到

并满足

则与式(4)对应的计算公式为：

与式(5)对应的计算公式为：

与式(6)对应的计算公式为：

除了上述方法外，只要保证分类模型的损失函数即式(10)可微，其他线性和非线性的汇总计算方法均可使用。

例如引入典型的单隐层注意力机制模块，其计算公式为：

其中a_i为标量，W₂、W₁、b和Θ为待优化参数；每个子段的每个类概率也可赋予不同的注意力权值，即调整式(11)使其输出长度与

相同的向量

我们还可将式(4)～式(9)中“依次连加”改为“跳跃连加”、“线性累加”改为“非线性累加”。下面以与简单平均法对应的式(4)为例给出几种常见的非线性汇总方法，包括Noisy-or、ISR、Generalized Mean、LSE、Noisy-and、Linear Softmax、Exp.Softmax等(局部概率值同样按大到小排序，为简单起见数学标记有所不同)：

其中式(14)和式(15)中的r可事先设定，也可为待优化参数；式(16)中的σ为sigmoid函数，a事先设定，而b_i为待优化参数，取值范围为[0,1]。需要说明的是若

为标量，则直接依据式(12)～式(18)进行计算即可；但若

为向量，则上述式子仅为数学标记，其计算方法并非如此。下面以式(12)为例给出该数学标记所对应的计算过程：不妨设优先类和非优先类集合分别为IL和NIL，其中1≤|IL|≤c，|IL|+|NIL|＝c，则我们有：

其他式子类似推导。由No Free Lunch定理可知，不存在一个通用模型适用于所有问题，因而要根据应用场景选择或设计最合适的汇总计算方法。

B.Fully Sigmoid-activated Regression

Fully Sigmoid-activated Regression可用于多标签分类问题，此时

和

均为向量，其中

的取值为0或1。不妨设有c个类别，则我们有：

其中θ为待优化参数。该分类回归类型的汇总思路总体上同Softmax Regression，唯一区别是每个类均平等，即不存在优先类，也不存在竞争类。具体做法是针对每个类，独立地对n个子段的局部概率值进行汇总计算：分别基于

大小对

进行排序，得到

则与式(4)对应的计算公式为：

与式(5)对应的计算公式为：

与式(6)对应的计算公式为：

同样地，只要保证分类模型的损失函数即式(24)可微，其他线性和非线性的汇总计算方法均可使用。

其中y^j由式(21)～式(23)等汇总计算公式求得。此外，我们还可将特定的先验知识如类关联等添加到损失函数中，以获得更好的分类效果。

3、实施例

以9.5～60秒标准12导联心电图记录的室性早搏分类为例：

Step1.基于局部模式变换的深度学习模型采用单个分类面的原始数据截取模式，基分类器采用LCNN，其中输入数据维数为8×1700，每个导联的三个卷积核依次设为(1,21)、(1,13)和(1,9)，三个取样核依次设为(1,7)、(1,6)和(1,6)，三个特征面数设为6、7和5，全连接层神经元数设为50个，分类回归层采用2个神经元的Softmax Regression；局部汇总采用式(4)计算，并令m₁＝m₂＝1,w₁＝1；0类和1类分别为非室性早搏和室性早搏，且1类为优先类；

Step2.首先对长度不一的原始心电图记录进行必要的预处理，包括200Hz信号重采样、0.5-40Hz带通滤波、截取II、III、V1～V6导联心电数据，然后交由图1中的模块(1)执行复制填充操作，处理后的数据维数为8×vfc，其中vfc≥1700；

Step3.预处理后的心电数据交由图1中的模块(2)执行增广变换处理：在训练阶段，首先从区间[1,200]随机选取一个起始点，接着以此为基准点截取后续全部数据，并有选择地叠加一种噪声数据，包括不超过0.1mV的0～0.2Hz及相位随机的低频噪声、不超过0.15mV的45～90Hz及相位随机的高频噪声或不超过0.1mV的白噪声；在测试阶段，直接使用整条心电图记录，且不叠加任何噪声数据；

Step4.增广变换处理后的心电数据交由图1中的模块(3)进行处理：首先以1为起始点、以400为间隔有重叠地截取数据维数为8×1700的子段(须保证每个导联的起始点相同)；对于最后一个长度不够的子段，训练阶段直接舍弃，测试阶段则重叠选取；最后，不论哪个阶段，每个子段的每个导联均减去该导联的平均值；

Step5.在训练阶段，基于损失函数值即式(10)并利用误差反向传播算法对整个模型进行端到端学习；在测试阶段，基于最终的输出概率值确定分类结果。

4.发明效果

(1)任意变尺寸输入数据处理和分类性能提高

以9.5～60秒标准12导联心电图记录的室性早搏分类为例，算法通过测试158967条心电图记录(数据来源于真实的临床环境，仅去除长度过短和诊断结论无效的样例，其他不做任何筛选)，取得了特异性、灵敏度和准确率分别为98.20％、97.08％和98.18％的成绩，而训练样本仅仅为17920个。相比固定输入结构的深度模型，本发明所提方法除了具备任意变尺寸输入数据处理能力外，还能很有效地提高分类性能。

(2)减少计算复杂度和参数优化难度

在语义关联不大的应用场景，尽管使用经典包含递归结构的深度学习模型(如CNN+LSTM+AM)也能取得不错的效果，但计算复杂度高；同时由于参数优化困难，往往需要额外的优化技术如Dropout、Adam等，无形中又增加计算负担。而本发明所提方法可有效避免这些问题，往往还能获得更好的分类效果。

以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于局部模式变换的心电图分类方法，其特征在于，包括：

(1)取得原始心电数据和心电图附加信息，并对原始心电数据进行预处理；

(2)对预处理后的心电数据进行增广变换处理获得心电增广数据；所述的增广变换处理包括：子段随机截取、叠加随机噪声、沿着时间轴拉伸或收缩、小区域数据随机污染和/或按一定比例添加错误标签；

(3)利用心电增广数据和心电图附加信息对深度学习模型进行训练；

基于损失函数并利用误差反向传播算法对深度学习模型进行训练；所述的损失函数为：

其中，1{.}为指示函数，当条件为真时返回1，否则返回0；c为类别数；

是一个训练样本，y_true是该样本的真实类别，y_true取值范围为(0,1,2,…,c-1)，y^j是该样本属于类别j的预测概率；

在深度学习模型中包含自适应池化结构；所述的深度学习模型隐性获取每个子段的局部概率值，然后根据与应用场景相关的汇总策略汇总局部概率值获得全局概率值，再汇总全局概率值获得最终概率值，即得最终分类结果；所述的深度学习模型的分类器为卷积神经网络；所述的卷积神经网络为LCNN、VGGNet、ResNet或DenseNet；

(4)对待分类的心电图数据中的原始心电数据进行子段随机截取，将子段随机截取后的心电数据和心电图附加信息输入训练好的深度学习模型中，获得每个子段的局部概率值，再对局部概率值进行汇总获得全局概率值，再汇总全局概率值获得最终概率值，即得最终分类结果；

子段随机截取为对心电数据直接进行截取或对深度学习模型提取的心电数据的变换特征进行截取；子段随机截取策略包括不重叠子段、重叠子段、固定数量子段、变长度子段或应用场景自适应子段；

对所有局部概率值进行汇总的策略包括：选择性平均法、概率阈值法、多数投票法、注意力机制法、跳跃连加法、Noisy-or法、Int-seg-rec法、Generalized-mean法、Log-sum-exp法、Noisy-and法、Linear Softmax法或Exp.Softmax法，并通过优先类和竞争类扩展原始的计算方法。

2.根据权利要求1所述的基于局部模式变换的心电图分类方法，其特征在于，所述的预处理包括信号滤波、重采样、基本导联截取和幅值归一化。

3.根据权利要求1所述的基于局部模式变换的心电图分类方法，其特征在于，基于局部模式变换的心电图分类方法还包括：对预处理后的心电数据进行复制填充操作，之后再进行增广变换处理。

4.根据权利要求1所述的基于局部模式变换的心电图分类方法，其特征在于，所述的增广变换处理包括：

(2-1)设某一样本的心电数据和起始点范围分别为d_ij和[1,offset]；其中，1≤i≤leadC,1≤j≤frameC，leadC和frameC分别是原始心电图的导联数和帧数；

(2-2)确定一个起始点b，接着以此为基准点截取后续全部数据，即获得d_ik；其中，1≤b≤offset，1≤i≤leadC,b≤k≤frameC；

(2-3)有选择地对d_ik叠加噪声、沿着时间轴拉伸或收缩、小区域数据随机污染、按一定比例添加错误标签。

Images