CN110731773B - 一种基于心电波形图全局与局部深度特征融合的异常心电图筛查方法 - Google Patents

Abstract

一种基于心电波形图全局与局部深度特征融合的异常心电图筛查方法，包括以下步骤：步骤一，构建检测网络模型，检测出心电图像中完整心博；步骤二，构建局部特征提取网络，提取步骤一中检测出完整心博区域的局部特征；步骤三，构建全局特征提取网络，提取心电图像的全局特征；步骤四，构建深度特征融合网络；步骤五，整体训练步骤四中的深度特征融合网络；利用训练得到的深度特征融合网络对心电图像进行正常异常二分类。本发明可以利用心电图的全局特征和局部特征准确的筛查出异常心电图。

Description

一种基于心电波形图全局与局部深度特征融合的异常心电图 筛查方法

技术领域

本发明涉及医学图像分析领域及深度学习领域，特别涉及一种基于心电波形图深度特征融合的筛查异常心电图的方法，属于基于深度学习的医学影像分析筛查领域。

背景技术

近年来心脏疾病的发病率、致死率逐渐升高，有效检查是及早发现问题的关键。心电图是一项快速、简单、无痛的检查，它能将心脏产生的电信号放大并将其记录在条形记录纸上。通过对心电图的分析，医生可以了解心脏起搏点、心电传导通路、心率及心律等情况。

心电图早已在各个医院以及体检机构普及，每天进行心电图检查的人群众多。而我国作为一个人口大国，医疗资源十分紧张，具有专业资质的医生数量十分有限，医生每天都需观察大量患者的心电图并给予准确的判断，这无疑是对医生精力的巨大考验。然而在实际情况中，大部分患者的心电图并无异常，但这却耗费了医生大量的时间和精力，因此一种有效的快速的筛查出异常心电图是十分有必要的。

传统分析心电图的分析是利用电信号数据，但由于各个医院的心电采集设备并不统一，电信号格式也可能不同，导致其有着获取困难，容易受到噪声干扰，不易于推广使用等缺点。然而根据电信号绘制出的心电波形图的获取和收集非常方便，例如可以拍照或扫描打印出的心电波形图。近年来深度学习技术在医学图像自动分析及辅助诊断方面展现出巨大的应用潜力。

发明内容

为了克服传统利用电信号分析心电的缺点，本发明提出了一种基于心电波形图的异常心电图筛查方法，结合心电波形图的全局特征和局部特征，实现了对心电图图像的智能分析，快速筛查出异常心电图，大量减少医生的工作量。

本发明解决其技术问题所采用的技术方案是：

一种基于心电波形图全局与局部深度特征融合的异常心电图筛查方法，包括以下步骤：

步骤一，构建检测网络模型，检测出心电波形图中完整心博波段；

步骤二，构建局部特征提取网络，提取步骤一中所检测出的完整心博波段区域的局部特征；

步骤三，构建全局特征提取网络，提取心电图图像的全局特征；

步骤四，构建深度特征融合网络，该网络由步骤二的局部特征提取网络和步骤三中的全局特征提取网络组合而成；

步骤五，整体训练步骤四中的深度特征融合网络，使其适应心电图像的特征分布，得到能够筛查出异常心电图的二分类神经网络模型。

进一步，所述步骤一中，构建检测网络模型的过程为：

步骤1.1：构建卷积模块，该模块由13个卷积层，13个激活层(Relu)和4个池化层堆叠而成；

步骤1.2：构建检测框生成模块，该模块使用区域生成网络(Region ProposalNetwork)生成边界框；

步骤1.3：对步骤1.2中生成的边界框进行回归，获得精确的边界框坐标；

步骤1.4：根据步骤1.3中生成的若干边界框坐标，在原图上进行切割，获得心电图像中的完整心博波段。

再进一步，所述步骤二中，构建局部特征提取网络的过程为：

步骤2.1：基于ResNet18构建完整心博图像分类网络；

步骤2.2：初始化分类网络；

步骤2.3：用完整心博图像的数据集训练分类网络，使其能判别完整心博图像属于正常还是异常；

步骤2.4：去除步骤2.3得到的分类网络中的全连接层，形成局部特征提取网络，提取完整心博区域的特征，得到对应的特征图，计为F_{1，2，3，..，n}，其中n为从一张心电波形图中所检测出的完整心博区域的数量。

再进一步，所述步骤三中，构建全局特征提取网络的过程为：

步骤3.1：基于DenseNet121构建完整心电图像分类网络；

步骤3.2：初始化该分类网络；

步骤3.3：用完整心电图像的数据集训练该分类网络，使其能判别完整心电图像属于正常还是异常；

步骤3.4：去除步骤3.3得到的分类网络中的全连接层，形成全局特征提取网络，提取整张心电图像的特征，得到对应的特征图，计为F₀。

再进一步，所述步骤四中，构建深度特征融合网络的过程为：

步骤4.1：融合n个完整心博波段区域特征，公式为：

步骤4.2：将整张心电图的特征F₀与步骤4.1中所得到的特征进行纵向拼接；

步骤4.3：添加全连接层，对经过步骤4.2后的特征进行二分类。

再进一步，所述步骤五中，整体训练深度特征融合网络的过程为：

步骤5.1：输入整张心电图和其对应的完整心博波段区域；

步骤5.2：深度特征融合网络依据步骤4所述，分别提取整张心电图和完整心博区域的特征，融合拼接后进行二分类预测；

步骤5.3：训练若干轮，待其收敛，得到最终的深度特征融合网络模型。

本发明基于心电波形图对异常心电图进行筛查，通过提取心电图像的全局特征和局部特征来实现对心电图的分析。与现有方法相比，其有益效果在于：

1.通过卷积神经网络对心电图像自动提取特征并分析，筛查出异常心电图，相比传统方法更便捷。

2.使用了心电图像的全局特征和局部特征，两种不同尺度的特征结合，提高了模型筛查出异常心电图的准确率。

3.使用了迁移学习技术对深度特征融合网络进行训练，降低了网络模型过拟合的风险，使网络模型在相对较少的数据集上也能获得较优的效果。

附图说明

图1基于特征融合的异常心电图筛查流程图。

图2深度特征融合网络结构示意图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1和图2，一种基于心电波形图全局与局部深度特征融合的异常心电图筛查方法，包括以下步骤：

步骤一，构建检测网络模型，检测出心电波形图像中完整心博波段；

步骤二，构建局部特征提取网络，提取步骤一所得到的完整心博波段区域的局部特征；

步骤三，构建全局特征提取网络，提取整张心电图像的全局特征；

步骤四，构建深度特征融合网络，该网络由步骤二的局部特征提取网络和步骤三中的全局特征提取网络组合而成；

步骤五，整体训练步骤四中的深度特征融合网络，使其适应心电图像的特征分布，得到能够筛查出异常心电图的二分类神经网络模型。

所述步骤一中，检测网络架构主要由三部分组成：1)该检测模型使用一组基础的卷积、激活、池化层提取图像特征，获得相应的特征图，该特征图被共享用于后续的区域生成网络模块和全连接层；2)区域生成网络模块，如图2所示，该网络用于生成窗口区域，该层通过softmax函数判断该窗口区域是否属于完整心博波段，再利用边界框回归修正窗口的坐标；3)兴趣区域池化层，该层收集输入的特征图和窗口区域，综合这些信息后提取窗口区域的特征图，传入后续全连接层判断该目标类别。

所述步骤二中，局部特征提取网络由ResNet18结构中的卷积层组成，具体有1个卷积层、1个最大池化层和4个残差卷积模块；每个卷积层后都对特征进行标准化操作，提高训练速度，并经过ReLU激活函数，提高网络的非线性表达；每个残差卷积模块内包含两个卷积层，一个快捷连接；快捷连接起点为输入，终点为第二个卷积层后的加操作，使得输入特征可以直接和第二个卷积层提取的特征进行数值相加。这样网络只需要计算相比原输入的残差，降低了训练难度。

所述步骤三中，全局特征提取网络由DenseNet121结构中的卷积层组成，依次由卷积层，最大池化层，稠密快和过渡层构成。

所述步骤四中，深度特征融合网络由步骤二中的局部特征提取网络和步骤三中的全局特征提取网络组成，如图2所示，输入数据为完整心电图和其对应的完整心博波段区域，局部特征提取网络依次提取n个完整心博图像的特征，然后进行融合，输出特征维度为1×1×1024，全局特征提取网络提取完整心电图像的特征，输出维度为1×1×1024，纵向拼接局部特征和全局特征，得到最终的深度特征，其维度为1×1×2048，再经过2层全连接层，批归一化，并经过ReLU激活函数，随机失活层设置为0.5，防止模型过拟合。最后一个全连接层的输出为0或1，对应心电图的分类结果，即0表示正常心电图，1表示异常心电图。

实例：本案例中使用的心电图像含2个数据集。数据集1为带有完整心博标注框的心电图像，共100例；数据集2为仅标记正常或异常的心电图像，共630例，其中正常心电图148例，异常心电图482例。下面具体介绍深度特征融合模型的训练和测试过程。

步骤一，心电图像预处理和数据集的制作，过程如下：

步骤1.1：用数据集1训练检测网络模型，得到能够检测心电图中完整心博的模型；

步骤1.2：将数据集2中的RGB三通道心电图像转换成单通道灰度图；

步骤1.3：将数据集2平均划分为5份，每份正负样本比例相同，以供后续采用5折交叉验证方式训练模型；

步骤1.4：数据增广，将数据集2中数量较少的正样本复制若干并随机裁剪，最终使正负样本数量接近1：1；

步骤二，神经网络的构建和训练，具体结构如图2所示，过程如下：

步骤2.1网络架构主要由四部分组成：1)完整心博波段检测，2)完整心博区域特征提取，3)完整心电图像特征提取，4)局部特征和全局特征的融合；

步骤2.2采用预训练的权重参数初始化卷积层中所有参数，权重正则化方式为L2正则化，偏置值初始化为0，全连接层中，权重初始化为随机正态分布，权重正则化方式为L2正则化，偏置值初始化为0；

步骤2.3利用Pytorch框架搭建网络，模型采用批训练的方式，训练集生成器每批的样本数为64，验证集生成器每批的样本数为1，模型优化器为随机梯度下降，学习率为0.001，每经过10个轮次，学习率缩小10倍，模型最大训练轮次为100，验证与训练损失收敛后停止训练，并保存模型；

步骤三，神经网络模型测试

步骤3.1：载入模型，将心电图像测试集样本输入模型分析，将筛查结果与其真实标签对比得到模型的筛查准确率；

步骤3.2：统计5折交叉验证下5次实验筛查准确率，计算平均值，作为最终的筛查准确率；

经过上述步骤的操作，即可实现用于筛查异常心电图的深度特征融合网络的构建、训练与测试。

以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例，用于解释本发明，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于心电波形图全局与局部深度特征融合的异常心电图筛查模型构建方法，其特征在于，所述方法包括以下步骤：

步骤一，构建检测网络模型，检测出心电波形图中完整心博波段；

步骤二，构建局部特征提取网络，提取步骤一中所检测出的完整心博波段区域的局部特征；

步骤三，构建全局特征提取网络，提取心电图图像的全局特征；

步骤四，构建深度特征融合网络，该网络由步骤二的局部特征提取网络和步骤三中的全局特征提取网络组合而成；

步骤五，整体训练步骤四中的深度特征融合网络，使其适应心电图像的特征分布，得到能够筛查出异常心电图的二分类神经网络模型；

所述步骤一中，构建检测网络模型的过程为：

步骤1.1：构建卷积模块，该模块由13个卷积层、13个激活层Relu和4个池化层堆叠而成；

步骤1.2：构建检测框生成模块，该模块使用区域生成网络生成边界框；

步骤1.3：对步骤1.2中生成的边界框进行回归，获得精确的边界框坐标；

步骤1.4：根据步骤1.3中生成的若干边界框坐标，在原图上进行切割，获得心电图像中的完整心博波段；

所述步骤二中，构建局部特征提取网络的过程为：

步骤2.1：基于ResNet18构建完整心博图像分类网络；

步骤2.2：初始化分类网络；

步骤2.3：用完整心博图像的数据集训练分类网络，使其能判别完整心博图像属于正常还是异常；

步骤2.4：去除步骤2.3得到的分类网络中的全连接层，形成局部特征提取网络，提取完整心博区域的特征，得到对应的特征图，计为F_{1，2，3，...，n}，其中n为从一张心电波形图中所检测出的完整心博区域的数量；

所述步骤三中，构建全局特征提取网络的过程为：

步骤3.1：基于DenseNet121构建完整心电图像分类网络；

步骤3.2：初始化该分类网络；

步骤3.3：用完整心电图像的数据集训练该分类网络，使其能判别完整心电图像属于正常还是异常；

步骤3.4：去除步骤3.3得到的分类网络中的全连接层，形成全局特征提取网络，提取整张心电图像的特征，得到对应的特征图，计为F₀；

所述步骤四中，构建深度特征融合网络的过程为：

步骤4.1：融合n个完整心博波段区域特征，公式为：

步骤4.2：将整张心电图的特征F₀与步骤4.1中所得到的特征进行纵向拼接；

步骤4.3：添加全连接层，对经过步骤4.2后的特征进行二分类；

所述步骤五中，整体训练深度特征融合网络的过程为：

步骤5.1：输入整张心电图和其对应的完整心博波段区域；

步骤5.2：深度特征融合网络依据步骤四 所述，分别提取整张心电图和完整心博区域的特征，融合拼接后进行二分类预测；

步骤5.3：训练若干轮，待其收敛，得到最终的深度特征融合网络模型。

Images