CN113080996B - 一种基于目标检测的心电图分析方法及装置 - Google Patents

Abstract

本发明提供了一种基于目标检测的心电图分析方法，心电图分析方法包括用获取的样本心拍数据构建目标检测模型，将待分析心电信号输入目标检测模型，获取分析结果，构建的目标检测模型包括以下步骤：将获取的样本心拍数据转换为二维图像，对二维图像进行初步特征提取，输出原始图像的特征图；对原始图像的特征图进行融合和提取，输出最终特征图；对最终特征图进行运算完成回归和分类，输出若干组QRS复合波位置、心拍类别和置信度；对输出的QRS复合波位置、心拍类别和置信度进行筛选，输出分析结果；本发明提供的方法，缓解人工提取特征以及特征受R峰检测精度影响的问题，无需人工检测QRS复合波以及提取特征也可作为模型输入并得到分析结果。

Description

一种基于目标检测的心电图分析方法及装置

技术领域

本发明属于心电信号自动检测技术领域，特别涉及一种基于目标检测的心电图分析方法及装置。

背景技术

心电图作为心脏活动记录，提供了有关心脏状态的重要信息。对心电图进行分析是心脏病患者早期诊断的必要手段。一方面，医生很难在有限的时间内对记录时间长的心电图进行分析；另一方面，没有工具支持，人们也几乎无法识别心电信号的形态变化。因此需要一个有效的计算机辅助诊断系统来解决这一问题。

目前的心电图分析方法主要包括基于传统机器学习的方法和基于卷积神经网络的深度学习方法。

基于传统机器学习的方法包括数据预处理、QRS复合波检测、特征提取及分类三个步骤，其中QRS复合波检测与特征提取最为关键。通常用来提取QRS复合波的方法主要有阔值检测法(其中包含峰值检测法、差分阔值法和可变斜率阔值法三种检测方法)、滤波器法、模板匹配法、神经网络法以及数学形态法等。基于所检测的R峰位置进行后续特征如波形特性、相邻波的间隔以及每个波的振幅和周期等的提取，然后将其馈送至BP网络、支持向量机等分类器中进行类别判读。显然，最后的分类依赖于之前的QRS复合波检测和特征提取，QRS复合波的错检和漏检会导致最终心拍判读的误差，但如图1所示的基于传统机器学习的心电图分析方法流程，由于每个过程都是独立完成的，难以整体优化，且耗时耗力，不利于实时测试。另外，传统的心电图分析方法具有较强的科学理论与医生个人经验作为支撑，且即使有很好的医学领域知识，人工设计和提取特征也并非易事。

基于卷积神经网络(CNN)的深度学习方法主要包括两种模式。

一种模式如图2所示，通过QRS复合波检测器定位R峰位置以划分心拍，之后无需人工设计提取特征，直接馈送至CNN中，利用CNN作为自动特征提取器，在训练过程中数据特征会自动被网络所学习，但该模式仍然对前期的QRS复合波检测精度有所依赖。

另一种模式如图3所示，将一段持续的心电信号数据馈送至网络中无需QRS复合波检测和人工设计提取特征即可进行异常判读，但通过该模式无法从结果中得到如异常心拍发生的频率及其发生位置等更多信息，不利于可视化和进一步分析。另外，很多高准确率的方法为了获取更多特征选择使用多导联心电信号，一方面增加了网络模型的参数，提高了计算复杂度，不利于实时检测，另一方面若落地于产品，需要对用户身体多个位置进行信号采集，用户舒适度下降。

发明内容

为了解决以上技术问题，本发明提供了一种基于目标检测的心电图分析方法，心电图分析方法包括用获取的样本心拍数据构建目标检测模型，将待分析心电信号输入目标检测模型，获取分析结果，构建的目标检测模型包括以下步骤：

将获取的样本心拍数据转换为二维图像，对二维图像进行初步特征提取，输出原始图像的特征图；

对原始图像的特征图进行融合和提取，输出最终特征图；

对最终特征图进行运算完成回归和分类，输出若干组QRS复合波位置、心拍类别和置信度；

对输出的QRS复合波位置、心拍类别和置信度进行筛选，输出分析结果。

本发明提供了一种基于目标检测的深度学习模型来实现心电图分析的新方法，即将心拍数据转换为二维图像输入目标检测模型进行训练和验证，得到心拍检测模型，最后应用该模型对待分析心拍信号进行检测，得到相应的QRS复合波位置和心拍类别，从而缓解人工提取特征以及特征受R峰检测精度影响的问题，使得无需人工检测QRS复合波以及提取特征也可作为模型输入并得到分析结果，可广泛适用于常见的心拍异常检测，便于实际应用和推广。

附图说明

图1是利用传统机器学习方法进行心电图分析的流程示意图；

图2是利用基于CNN的深度学习方法进行心电图分析的流程示意图；

图3是利用基于CNN的深度学习方法进行心电图分析的流程示意图；

图4是基于目标检测的心电图分析方法的流程示意图；

图5是基于目标检测的心电图分析方法的流程图；

图6是层次树结构示意图；

图7是Yolo v4模型的结构示意图；

图8是Yolo v4模型的CSPDarknet53网络结构示意图；

图9是4大类心拍图的检测结果示意图。

其中，图6中各节点释义如下：ECG-心电图、N-正常、L-左束支传导阻滞、R-右束支传导阻滞、SVEB-室上性异常、e-房性逸搏、j-交界性逸搏、A-房性早搏、a-异常房性早搏、J-交界性早搏、S-早搏或室上性异位心搏、VEB-室性异常、V-室性早搏、E-室性逸搏、F-融合心拍。

具体实施方式

在某些实施例中，如图4所示，展示出了基于目标检测的心电图分析方法的流程示意图，心电图分析方法包括用获取的样本心拍数据构建目标检测模型，将待分析心电信号输入目标检测模型，获取分析结果，如图5所示，展示出了基于目标检测的心电图分析方法的流程图，构建的目标检测模型包括以下步骤：

将获取的样本心拍数据转换为二维图像，对二维图像进行初步特征提取，输出原始图像的特征图；

对原始图像的特征图进行融合和提取，输出最终特征图；

对最终特征图进行运算完成回归和分类，输出若干组QRS复合波位置、心拍类别和置信度；

对输出的QRS复合波位置、心拍类别和置信度进行筛选，输出分析结果。

在某些实施例中，二维图像利用python代码通过读取一维心拍的幅值数据作为纵坐标、数据点索引作为横坐标绘制而成，并以.jpg格式保存。

其中，幅值数据即原始一维心拍实际电信号数值，数据点索引即用于存储电信号数值的数组索引。

在某些实施例中，构建目标检测模型包括以下步骤：将获取的心拍数据分为训练样本集和验证样本集，用训练样本集的心拍数据通过预训练权重初始化目标检测模型后进行训练，用验证样本集不断进行验证，保存验证集上表现最佳的目标检测模型作为检测目标检测模型。

在某些实施例中，目标检测模型可以但不限于采用Yolo v4模型，预训练权重可以但不限于采用yolov4.conv.137。

在某些实施例中，获取的样本心拍数据可以但不限于采用MIT-BIH心电数据库；心拍类别标签可以但不限于包括美国医疗仪器促进协会(AAMI)建议的4大类(正常或者束支传导阻滞(N)，室上性异常(SVEB)，心室异常(VEB)，融合心拍(F))以及其在MIT-BIH心电数据库中对应的子类。

根据所采用的心拍类别标签构造层次树，如图6所示，将“ECG”作为根节点，其包含“N”、“SVEB”、“VEB”、“F”四个子节点，“N”节点将其在MIT-BIH数据库中对应的3个子类作为子节点，“SVEB”节点将对应的6个子类作为子节点，“VEB”节点将对应的2个子类作为子节点，“F”节点本身为叶子节点。在模型训练过程中，对每层节点用softmax函数进行激活，充分利用了同层次节点互斥的条件，表征了不同类别之间的相对概率。

由于心电信号反映的是比较微弱的生理信号，采集的心电信号不可避免的存在噪声干扰，如工频干扰、基线漂移和肌电干扰等，因此有必要对样本心电信号进行预处理以减少各种噪声干扰的影响，在电信号转换为二维图像之前，还包括有如下步骤：S0.对采集的心电信号进行预处理。其中，预处理方式可以但不限于包括去工频干扰、去基线漂移处理。此外，去工频干扰、去基线漂移处理的方式为现有常规方式。

在某些实施例中，训练样本集与验证样本集之间遵循“病人间”范式进行划分。

目前有两种流行的心律失常分类任务评估范式，即病人内和病人间。前者可使用整个数据库来训练和测试分类模型，而不受任何限制，该范式表现了分类器泛化的一个主要缺点。由于该模型可以在训练过程中了解患者的特殊性，因此在评估中取得的分数可能不太可靠。理想情况下，自动心律失常分析系统必须为任何病人提供准确的诊断，即使系统不包含任何以前关于它的信息。由于一个包含来自所有可能病人记录的经过训练的数据库将是不可行的，为了采用更现实的场景，在某些实施例中，遵循“病人间”范式将MIT-BIH数据库记录划分为DS1和DS2两组，前者用于训练，后者用于验证。该划分是精心设计的，避免在两组中包含来自同一病人的任何记录。具体的，两组中包含的记录文件序号如下：

DS1:101,106,108,109,112,114,115,116,118,119,122,124,201,203,205,207,208,209,215,220,223,230

DS2:100,103,105,111,113,117,121,123,200,202,210,212,213,214,219,221,222,228,231,232,233,234。

在某些实施例中，分析方法还包括以下步骤：训练目标检测模型前进行对QRS复合波位置及类别进行标注作为心拍的标签，对QRS复合波位置的标注的方法是对QRS复合波所在区域的矩形框的位置信息进行标注，标注后的矩形框的位置作为模型回归任务的真实标签参与训练过程中损失函数的计算，所在区域根据心拍类别对应形态特点进行确定，如Rs型、qRs型、Qr型等，QRS复合波所在区域的矩形框的位置信息包括矩形框的中心点坐标和矩形框的宽高大小，QRS复合波所在区域的矩形框的左右边界为QRS复合波的波段起始点和终止点，上下边界为波段的波峰和波谷。

在某些实施例中，对心拍类别的标注是将N个心拍类别用0到N-1范围内的N个整数表征，每个心拍类别对应一个整数值，可用于索引其在层次树中的节点位置。

在某些实施例中，样本心拍数据的QRS复合波位置和心拍类别用labelImg工具进行标注，标注信息以Yolo格式保存为.txt注释文件。

在某些实施例中，Yolo v4模型包括主干网络、SPP模块，路径聚合网络以及检测器模块，主干网络为CSPDarknet53网络结构，输入二维图像后，CSPDarknet53网络结构输出3个大小分别为80x60x256、40x30x512和20x15x1024的特征图，大小为20x15x1024的特征图输入SPP模块，经SPP模块最大池化后拼接得到大小为20x15x512的池化特征图，将池化特征图以及CSPDarknet53网络输出的大小分别为80x60x256、40x30x512的特征图输入路径聚合网络，检测器模块基于路径聚合网络输出的80x60、40x30和20x15三个尺度的融合特征进行检测，输出最终的目标检测结果。根据数据流向(数据流向应理解为数据输入输出的顺序方向，本实施例数据流向与图7箭头指向相同),整个模型的前向过程具体如下AS1-AS4所示。

AS1.主干网络(CSPDarknet53网络结构)，包括依次连接的DarknetConv2D_BN_Mish模块(对应图7中的二维卷积+批归一化+Mish激活)、Resblock_body1模块(对应图7中的残差模块1)、Resblock_body2模块(对应图7中的残差模块2)、Resblock_body3模块(对应图7中的残差模块3)、Resblock_body4模块(对应图7中的残差模块4)和Resblock_body5模块(对应图7中的残差模块5)，如图8所示。本实施例中输入图像为640x480大小的RGB图像，经DarknetConv2D_BN_Mish模块变为640x480x32大小，经Resblock_body1模块变为320x240x64大小，经Resblock_body2模块变为160x120x128大小，经Resblock_body3模块变为80x60x256大小，经Resblock_body4模块变为40x30x512大小，经Resblock_body5模块变为20x15x1024大小的特征图。

AS2.SPP模块(对应图7中的空间金字塔池化)：本实施例的SPP模块包括四个并行的最大池化层，池化核大小分别为13x13、9x9、5x5、1x1。分别用四个最大池化层对大小为20x15x1024的特征图进行处理，并将输出按通道维拼接，得到20x15x2048大小的池化特征图输出。

AS3.路径聚合网络：具体包括第一上采样层、第一拼接层、第二上采样层、第二拼接层。为了保证正常的数据传递，在路径聚合网络的各层中还叠加有卷积层(conv层)，本实施例中的叠加方式如下：第一上采样层前叠加3个conv层，第一拼接层后叠加5个conv层，第二上采样层前叠加1个conv层，第二拼接后叠加5个conv层。

SPP模块(对应图7中的空间金字塔池化)输出的池化特征图输入第一上采样层，池化特征图同时作为20x15的融合特征输出至检测器模块。

CSPDarknet53网络输出的大小为38x38x512的特征图输入至第一拼接层，第一拼接层的输出作为第二上采样层的输入，第一拼接层的输出同时作为40x30的融合特征输出至检测器模块。

CSPDarknet53网络输出的大小为80x60x256的特征图输入至第二拼接层，第二拼接层的输出同时作为80x60的融合特征输出至检测器模块(图中对应检测头1或检测头2)。

本实施例的路径聚合网络将深层特征图经过2次上采样与所有浅层特征图相连，达到特征重用的作用，浅层特征图可以融合所有较深层特征图特征，从而使后续检测器得到表达效果更好的特征。

AS4.检测器模块：包括Yolov3 Head1(检测头1)、Yolov3 Head2(检测头2)和Yolov3 Head3(检测头3)，Yolov3 Head1用于接收路径聚合网络输出的大小为80x60的融合特征，Yolov3 Head2用于接收路径聚合网络输出的大小为40x30的融合特征，Yolov3 Head3用于接收路径聚合网络输出的大小为20x15的融合特征。

即路径聚合网络最浅层80x60大小的特征图直接输出至Yolov3 Head1(对应图7中的检测头1)进行检测，并通过2倍下采样与40x30大小的特征图拼接，拼接完后输出至Yolov3 Head2(对应图7中的检测头2)进行检测，同时经过2倍下采样与20x15大小的特征图拼接，拼接完后输出至Yolov3 Head3(对应图7中的检测头3)进行检测。过程将浅层特征图经过2次下采样与所有深层特征图相连，起到特征反复提取的作用，从而达到丰富卷积层的语义信息来提高检测精度的目的。

在某些实施例中，对输出的QRS复合波位置、心拍类别和置信度进行筛选，输出分析结果的具体步骤为：将若干个矩形框按照置信度降序排列，每个矩形框对应一组QRS复合波位置、心拍类别和置信度，形成矩形框集合A。建立空集S，取出A中置信度最大的矩形框M，并计算A中其他同类别矩形框与矩形框M的IoU值，取出所有与矩形框M的IoU值高于设定阈值的同类别矩形框构成集合m，用置信度加权组合M和m中的所有矩形框得到一个新的矩形框放入S中，所述集合S中矩形框的中心点坐标和宽高大小、类别及置信度即为最终的输出数据。本实施例中，IoU值是除了矩形框M外其他的矩形框和矩形框M的交并比，即相交区域的面积/总区域面积，度量了其他矩形框位置和矩形框M位置的相似性。

在某些实施例中，对输出的QRS复合波位置、心拍类别和置信度进行筛选，输出分析结果的具体步骤还包括：将M和m中所有的矩形框从矩形框集合A中去除，矩形框集合A中剩余的矩形框形成矩形框集合B，将矩形框集合B作为筛选集合，重复筛选步骤，直至矩形框集合A为空。

当一个二维图像中有多个QRS复合波时，可以通过以上方法获得多个QRS复合波的位置、对应的类别和置信度。

如采用80x60、40x30、20x15三个尺度的融合特征图分别做检测，采用独立的逻辑分类器。以20x15为例，将输入图片划分为20x15的单元格，如果目标的真值框中心落在某个单元格区域内，则由这个单元格作为预测目标的单元格，每个单元格可产生三个预测框，共生成20x15x3＝900个预测框。当目标的类别置信度大于设置好的阈值时，相应单元格产生的三个预测框将会被保留，再通过非极大抑制(NMS)筛选出最合适的边界框。所以三个尺度最多可检测(80x60)+(40x30)+(20x15)＝6300个目标，共可以生成6300×3＝18900个预测框，每个预测框均包含QRS复合波位置、心拍类别和置信度，从所有的预测框中进行筛选，输出分析结果。

在某些实施例中，在模型训练之前设置anchor尺寸，即根据标记好的数据集使用k-means聚类算法获取9种尺寸的anchor，从而得到最适合心拍检测的anchor尺寸从小到大依次为(112,235)、(148,261)、(113,349)、(130,340)、(159,304)、(192,254)、(146,345)、(176,349)、(220,344)。

在某些实施例中，通过不断迭代训练得到相对最优的模型权重，其本质是利用损失函数不断调节网络中的权重，每4个Epoch利用验证集计算平均精度mAP@.5，将mAP@.5最佳的权重作为最终的检测模型权重，以mAP@.5值和jk指标作为评估指标，jk指标为j指标和k指标的加权求和，其中j指标为最重要类别的敏感性和阳性率之和，k指标与总体精度线性相关。

其中，mAP(mean Average Precision)通俗来说，就是给每一类分别计算AP(平均精确率)，然后做mean平均，mAP@.5表示在IoU阈值为0.5时的mAP。

此外，前述所有的技术术语均为现有深度学习技术中的常见用语，于此不再赘述。

在某些实施例中，类别的运算方法包括以下步骤：

模型训练前依据心拍类别之间的从属关系构建分支路径，每层节点对应的类别互斥；

在模型的前向过程中，计算每个节点对于其所在层的相对概率。该相对概率由softmax激活函数计算得到，其将每个输出x非线性放大到exp(x)，然后归一化到[0,1]之间的概率值；

在模型训练过程中上述概率值与节点真实标签值计算交叉熵参与损失函数的计算，对于每个样本心拍，其所属类别在层次树上对应的节点及其父节点的真实标签值为1，其余均为0；

在模型的验证和测试过程中，从概率层次树的根节点开始，筛选每层相对概率最大的节点，从相对概率最大的节点再继续向下筛选，直至某一层的所有节点的相对概率均小于设定的阈值，则将整条路径上所有节点作为多标签类别结果。

针对待分析心拍信号，采用检测模型输出其对应的检测结果，检测结果包括待分析心拍中QRS复合波的位置及其对应的心拍类别，其中心拍类别由层次树得到，例如，以0.7为设定的阈值，从“ECG”节点开始搜索，每层数值最大的节点共同构成最佳路径，路径上所有节点对应类别作为输出，即输出类别为AAMI建议的4大类中的一种(N/SVEB/VEB/F)及其子类，检测结果可以但不限于使用如图9所示的呈现方式。待分析心拍信号的预处理方式与样本心拍信号一致，均是转换为二维图像，于此不再赘述。

本发明还提供了一种基于目标检测的心电图分析程序产品，包括计算机程序，该计算机程序被处理器执行时实现以上方法的步骤。

综上，采用本实施例所提供的基于目标检测的心电图分析方法，具有如下技术效果：

本发明提供的基于目标检测的深度学习模型来实现心电图分析的新方法，即将心拍图输入目标检测模型进行训练和验证，得到心拍检测模型，最后应用该模型对待分析心拍信号进行检测，得到对应的QRS复合波位置和心拍类别，从而缓解人工提取特征以及特征受R峰检测精度影响的问题，使得无需人工检测QRS复合波和提取特征也可作为模型输入并得到分析结果，可广泛适用于常见的心拍异常检测，便于实际应用和推广。

以上实施例仅用以说明本发明的技术方案，而非对其限制。尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，而这些修改或替换并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

最后应说明的是，本发明不局限于上述实施方式，任何人在本发明的启示下都可得出其他各种形式的产品。上述具体实施方式不应理解成对本发明的保护范围的限制，本发明的保护范围应当以权利要求书中界定的为准，并且说明书可以用于解释权利要求书。

Claims (5)

1.一种计算机可读存储介质，其存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，执行一种基于目标检测的心电图分析方法，所述心电图分析方法包括用获取的样本心拍数据构建目标检测模型，将待分析心电信号输入目标检测模型，获取分析结果，构建的所述目标检测模型包括以下步骤：

将获取的样本心拍数据转换为二维图像，对所述二维图像进行初步特征提取，输出原始图像的特征图；

对原始图像的特征图进行融合和提取，输出最终特征图；

对最终特征图进行运算完成回归和分类，输出若干组QRS复合波位置、心拍类别和置信度；

对输出的QRS复合波位置、心拍类别和置信度进行筛选，输出分析结果；

所述类别的运算方法包括以下步骤：

模型训练前依据心拍类别之间的从属关系构建分支路径，每层节点对应的类别互斥；

在模型的前向过程中，计算每个节点对于其所在层的相对概率；

对于待分析心拍信号，从概率层次树的根节点开始，筛选每层相对概率最大的节点，从所述相对概率最大的节点再继续向下筛选，直至某一层的所有节点的相对概率均小于设定的阈值，则将整条路径上所有节点作为多标签类别结果；

所述对输出的QRS复合波位置、心拍类别和置信度进行筛选，输出分析结果的具体步骤为：将若干个矩形框按照置信度降序排列，每个矩形框对应一组QRS复合波位置、心拍类别和置信度，形成矩形框集合A，建立空集S，取出A中置信度最大的矩形框M，并计算A中其他同类别矩形框与矩形框M的IoU值，取出所有与矩形框M的IoU值高于设定阈值的同类别矩形框构成集合m，用置信度加权组合M和m中的所有矩形框得到一个新的矩形框放入S中，所述集合S中矩形框的中心点坐标和宽高大小、类别及置信度即为最终的输出数据；

所述分析方法还包括以下步骤：训练目标检测模型前进行对QRS复合波位置及类别进行标注作为心拍的标签，对所述QRS复合波位置的标注的方法是对所述QRS复合波所在区域的矩形框的位置信息进行标注，所述QRS复合波所在区域的矩形框的位置信息包括所述矩形框的中心点坐标和所述矩形框的宽高大小，所述QRS复合波所在区域的矩形框的左右边界为所述QRS复合波的波段起始点和终止点，上下边界为波段的波峰和波谷；

所述对输出的QRS复合波位置、心拍类别和置信度进行筛选，输出分析结果的具体步骤还包括：将M和m中所有的矩形框从矩形框集合A中去除，矩形框集合A中剩余的矩形框形成矩形框集合B，将矩形框集合B作为筛选集合，重复筛选步骤，直至矩形框集合A为空。

2.如权利要求1所述的计算机可读存储介质，其特征在于，所述二维图像以一维电信号的幅值数据作为纵坐标，以数据点索引作为横坐标。

3.如权利要求2所述的计算机可读存储介质，其特征在于，对心拍类别的标注是将N个心拍类别用0到N-1范围内的N个整数表征，每个心拍类别对应一个整数值。

4.如权利要求1所述的计算机可读存储介质，其特征在于，所述相对概率由softmax激活函数计算得到。

5.如权利要求1所述的计算机可读存储介质，其特征在于，训练样本集与验证样本集之间遵循“病人间”范式进行划分。

Images