CN116028858A

CN116028858A - 基于预标签的自监督神经网络学习心拍分类方法及系统

Info

Publication number: CN116028858A
Application number: CN202211121298.2A
Authority: CN
Inventors: 张亚涛; 李向宇; 姜世鹏; 赵锴文
Original assignee: Shandong University
Current assignee: Shandong University
Priority date: 2022-09-15
Filing date: 2022-09-15
Publication date: 2023-04-28

Abstract

本公开涉及心电图的自动智能辅助检测技术领域，提出了基于预标签的自监督神经网络学习心拍分类方法及系统，分类方法包括如下步骤：对获取的心电数据进行预处理得到心拍数据；将获取的一维心拍数据进行时频分析转换为二维时频图；将转换后的二维时频图，输入至训练好的自监督式学习网络模型，对心拍数据进行分类，得到分类结果；所述自监督式学习网络模型训练，结合SimCLR方法和聚类方法，从而使损失函数项由一项变成两项，强化了学习的效果，能够提高心拍数据的分类的精度。

Description

基于预标签的自监督神经网络学习心拍分类方法及系统

技术领域

本公开涉及心电图的自动智能辅助检测相关技术领域，具体的说，是涉及一种基于预标签的自监督神经网络学习心拍分类方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，并不必然构成在先技术。

传统的心拍分类方法主要有两种：基于特征提取的机器学习算法和无特征提取的深度学习方法，而在深度学习方法中又主要分为监督式学习方法和无监督式学习方法，自监督式学习方法是一项崭新的技术。

传统的机器学习算法用于心拍数据时需要依据先验经验由人工提取时域、频域等各方面特征等，当基于特征提取的机器学习算法用于心拍分类时，根据提取的特征选择和训练合适的分类器进行分类。因此，所选特征对分类性能有关键影响。传统的机器学习算法在早期提取特征时依赖于先验知识，若先验知识不足，选择的特征较弱则影响最终的分类性能。分类器的设计受到特征提取能力的限制，不能真实反映心电信号的内部属性，这使得心拍分类的性能在很大程度上依赖于特征选择的正确性和真实性，影响了心拍分类结果的准确性。此外，传统的机器学习算法往往存在设计复杂，对设计人员的数学水平要求高，运算量巨大等一系列问题。

在基于监督式深度学习算法对心拍进行分类时，不需要进行特征提取，预处理后的原始数据可以作为神经网络的输入，直接对心拍进行分类。原始数据可以从专业数据库或临床原始检测数据中提取，根据原始输出从每层神经网络中提取的特征用于最终分类。监督式深度学习方法往往能达到非常不错的性能，但有两个共同的问题，一个是模型的训练离不开大量拥有标签信息的训练数据，然而在现实生活中，人工标注信息成本是费时且昂贵的。另一个是心电数据为一维数据，包含的数据信息少，分类的准确性低。

发明内容

本公开为了解决上述问题，提出了基于预标签的自监督神经网络学习心拍分类方法及系统，通过构建孪生网络，以对比的方式从无标签数据中挖掘监督信息，同时引入聚类方法进一步强化学习效果，从而在无需人工标注信息的数据训练环境下，达到良好分类效果。

为了实现上述目的，本公开采用如下技术方案：

一个或多个实施例提供了基于预标签的自监督神经网络学习心拍分类方法，包括如下步骤：

对获取的心电数据进行预处理得到心拍数据；

将获取的一维心拍数据进行时频分析转换为二维时频图；

将转换后的二维时频图，输入至训练好的自监督式学习网络模型，对心拍数据进行分类，得到分类结果；

所述自监督式学习网络模型，采用聚类方法在每一轮训练开始给转换后的二维时频图打上预标签，训练的损失函数包括对比学习损失，以及聚类中心与各类样本的夹角损失，以对比学习方式进行模型训练，得到训练好的模型。

一个或多个实施例提供了基于预标签的自监督神经网络学习心拍分类系统，包括：

预处理模块：被配置为对获取的心电数据进行预处理得到心拍数据；

转换模块：被配置为将获取的一维心拍数据进行时频分析转换为二维时频图；

分类模块：被配置为将转换后的二维时频图，输入至训练好的自监督式学习网络模型，对心拍数据进行分类，得到分类结果；

一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述方法所述的步骤。

一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述方法所述的步骤。

与现有技术相比，本公开的有益效果为：

本公开中，将一维数据转换为二维数据，能够从数据中提取更多的信息，提高数据分类的准确性；并且结合SimCLR方法和聚类方法，从而使损失函数项由一项变成两项，强化了学习的效果，能够提高心拍数据的分类的精度。

本公开的优点以及附加方面的优点将在下面的具体实施例中进行详细说明。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的限定。

图1是本公开实施例1的心拍分类方法流程图；

图2是本公开实施例1的小波去噪流程图；

图3是本公开实施例1的小波去噪的效果图:图3(a)是小波变换前的信号，图3(b)是小波去噪后的信号；

图4是本公开实施例1提取的一个完整心拍数据示例信号图；

图5是本公开实施例1的图4中的心拍数据进行韦格纳分布变换后的二维频谱图；

图6是本公开实施例1的自监督式学习方法的训练方法流程图；

图7是本公开实施例1的加入高斯聚类后的预标签式自监督式学习方法的流程。

具体实施方式

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。需要说明的是，在不冲突的情况下，本公开中的各个实施例及实施例中的特征可以相互组合。下面将结合附图对实施例进行详细描述。

实施例1

在一个或多个实施方式公开的技术方案中，如图1-图7所示，基于预标签的自监督神经网络学习心拍分类方法，包括如下步骤：

步骤1、对获取的心电数据进行预处理得到心拍数据；

步骤2、将获取的一维心拍数据进行时频分析转换为二维时频图；

步骤3、将转换后的二维时频图，输入至训练好的自监督式学习网络模型，对心拍数据进行分类，得到分类结果；

所述自监督式学习网络模型，采用聚类方法在每一轮训练开始给转换后的二维时频图打上预标签，训练的损失函数包括对比学习损失，以及聚类中心与各类样本的夹角损失ProtoNEC，以对比学习方式进行模型训练，得到训练好的模型。

本实施例中，将一维数据转换为二维数据，能够从数据中提取更多的信息，提高数据分类的准确性；并且结合自监督学习方法(即SimCLR方法)和聚类方法，从而使损失函数项由一项变成两项，强化了学习的效果，能够提高心拍数据的分类的精度。

步骤1中，数据预处理包括数据去噪和心拍提取。

可选的，数据去噪采用小波变换除燥，具体的，包括如下步骤：

(1)对获取的心电信号进行预处理，并进行小波变换多尺度分解。

可选的，选择小波并确定分解的层数N，然后对信号进行N层分解。

(2)对小波变换后的小波系数去噪。

(2.1)对小波分解的高频系数的进行阈值量化处理。具体的，对第一层到第N层高频系数，选择软阈值或硬阈值量化处理。

(2.2)一维小波重构：根据小波分解的第N层低频系数和第一层到第N层的高频系数，进行一维重构。

(3)对系数去噪的数据进行逆变换，还原信号得到去噪后的心电数据。

小波变换去噪方法的关键点在于如何选取阈值和确定小波基，本实施例中，可以采用db5作为小波函数进行分解。具体去噪效果如图3所示。

在一些实施例中，心拍提取方法，包括如下步骤：

步骤11、对去噪后的心电信号(简称为ECG信号)进行处理，定位QRS波。对于QRS波的定位和检测，使用Pan-Tompkins算法实现R波的精确定位和检测；

步骤12、检测完ECG信号上的R波位置后，心拍信号以R波位置为中心进行长度截取，并对截取的心拍数据进行归一化处理。

根据R波位置截获ECG信号上的所有心拍信号，具体的，本实施例以R波所在位置为中心分别向左、向右各取128个点，共计256个点。

由于数据的量化不同、范围差异大或自变异性大，分类误差可能会变大，进行归一化处理能够解决由于差异造成的分类误差。

步骤2中，将获取的一维心电数据进行时频分析转换为二维时频图，具体的，采用韦格纳分布变换时频分析方法将一维ECG序列重建为二维时频图，便于深度学习以及后续自监督方法的运用，得到的二维时频图如图5所示。

韦格纳分布变换也称为WVD方法，WV分布是一种双线性的时频分布，可用于非线性信号分析，它能够反映信号在时频域的能量分布，其公式如下：

其中，x(t)是一维信号，x*是共轭复数。

步骤21、首先利用HHT变换将原始信号分解，其公式如下：

其中，x(t)是原始信号，k是分解固有模态的个数，IMFi(t)是经验模态的第i个分量，r_k是残差项。

步骤22、接着通过如下公式：

其中，p.v.是几分主值，Z_i(t)是解析信号，Φi(t)是重构信号，最后再利用(1)式对Φi(t)变换即可得到二维频谱图。

在一些实施例中，自监督式学习网络模型可以采用孪生神经网络，包括一个左网络和一个右网络，输出数据是输入数据的高维度空间的表征。

具体的，本实施例中的孪生神经网络采用两个2D-ResNet50模型，分别作为左网络和右网络，并且两个2D-ResNet50模型的结构和参数在初始化阶段均相同。

本实施例中，孪生神经网络的输入数据格式为二维图像，数据在孪生网络中传输会经历升维到2048而后再降维的过程，输出格式则为128维的表征向量。

进一步地，还包括对构建的自监督式学习网络模型训练的方法，即对孪生神经网络训练的方法，包括如下步骤：

步骤S1、获取历史心电数据构建训练集，进行预处理得到心拍数据，并对心拍数据进行分类得到心拍类型；

本实施例，可以采用MIT-BIH心律失常数据库心电信号进行训练，其采样率为360Hz，以R波为中心截取250个点作为一个心拍。将MIT-BIH心律失常数据库的所有提取心拍分为：N类(正常或者束支传导阻滞)、V类(心室异常)、S类(室上性异常)、Q类(未知类)、F类(融合类)。提取的完整心拍信号如图4所示。

根据AAMI标准分类方法，对心拍信号进行分类，并提取了心拍信号分类中的五类结果。这五种类型的心拍是：N类(正常或者束支传导阻滞)、V类(心室异常)、S类(室上性异常)、Q类(未知类)、F类(融合类。提取的五种心拍信号的数量如表1所示。

表1AAMI五类心拍数量

步骤S2、将获取的一维心拍数据进行时频分析转换为二维时频图；

步骤S3、将二维时频图进行随机增强；

可选的，随机增强方法为：将图片进行随机裁剪，随机改变亮度，随机改变对比度，随机改变饱和度和色调，随机水平翻转任意操作的组合，所述组合包括将上述操作按照执行操作顺序不同以及组合操作的项次不同进行任意组合。

步骤S4、将随机增强后的数据传输至孪生神经网络得到表征向量；

具体的，本实施例中，数据输入网络后打上标签，右网络负责打标签左网络负责训练。图7中所示在右网络进行聚类计算，根据聚类结果打标签，然后数据输入至左网络进行训练。

步骤S5、按照设定的第一训练次数使用InfoNCE损失函数进行对比式自监督训练，并采用随机梯度下降法调整孪生神经网络；

进一步地，还包括步骤S6、按照设定的第二训练次数基于高斯混合聚类进行强化训练，求取InfoNCE损失以及聚类中心与各类样本的夹角损失ProtoNEC，以对比学习方式进行模型训练，并采用随机梯度下降法调整孪生神经网络，得到训练好的自监督式学习网络模型；

本实施例中，第一训练次数为训练的前10次，第二训练次数为从第10次至训练结束。

具体训练示例，设定一共训练1000个epoch，则在第1到10轮的训练中仅使用InfoNCE损失函数进行对比式自监督训练，假设每个批次的数量为n，对于每一张图片做两次随机增强，随机增强的顺序为：随机裁剪到224×224，随机改变亮度、对比度、饱和度和色调，随机水平翻转。两次随机增强后会得到x^a和x^b两幅224×224的增强图片，这两幅图像的表现形式可能不相同但源自同一张图x随机增强而得到，将x^a输入左网络，x^b输入右网络得到两个128维的表征向量，以t^a和t^b代表之。因为是源自同一张图，所以这两个表征向量彼此互为正样本对，若不满足源自同一张图的条件则互为负样本对。对表征向量做归一化处理(除以自己的模长)后做点积运算(打分操作)，归一化向量点积实为求两向量夹角的余弦值。一个批次的数量为n，则第一张图片的表征向量为t^a1和t^b1，最后一张图片的表征向量为t^an和t^bn。在一个批次中由这些表征向量共同构成InfoNCE损失函数，其公式如下所示：

其中，n为批次中的样本总数，t^ai、t^bi和t^bj均为表征向量,i为遍历当前批次中每一个样本的编号，j为除去当前编号i后其余样本的遍历编号。

一个epoch，表示：所有的数据送入训练网络中，完成了一次前向计算和反向传播的过程。

步骤S5中，使用随机梯度下降法调整孪生网络，保持左网络和右网络的参数对应数值相同。由损失函数和梯度下降，孪生网络会倾向于使正样本对的表征向量方向相同(cos值为1)，负样本对的表征向量方向各异(cos值趋近于-1)。具体流程如图6所示。

进一步地，从第10轮往后，每一轮训练初始，使用右网络来为数据打上标签，然后对所有的训练数据做一次简易的随机增强操作(中心裁剪为128×128)后全数输入该网络得到大量表征向量，对右网络输出的所有表征向量进行高斯混合聚类，分为多类，本实施例中分为5类，高斯混合聚类公式为：

其中，Σ为协方差矩阵，n为样本总数，μ为样本均值，T为转置符号，-1为求取该矩阵的逆矩阵。

经过高斯混合聚类后给训练样本中的每一幅图打上标签类别(预标签)，随后求出各类的中心坐标并分别以C1、C2、C3、C4和C5代表，中心坐标也是128维的向量。之后的操作和之前一致，只不过在求取InfoNCE损失函数后再添加一个新的损失函数项称为ProtoNEC，公式如下：

其中，Ck为表征向量t^ai对应原图所属类的中心坐标，Cl为除Ck外的其他中心坐标。具体细节和流程如图7所示。

本实施例中，通过预标签自监督学习方式训练模型，完全免除给训练数据标注标签这一费时费力的步骤，在海量无标签数据中挖掘监督信息，并通过多轮次的自监督训练，使之能够接近有监督学习达到的效果，从而脱离深度学习对标签数据的依赖。其二，引入了高斯聚类方法，生成预标签信息强化学习效果，采用韦格纳分布变换方法将数据转换为二维图像输入孪生网络转化为表征向量，然后以对比学习方式进行模型训练，并在对比学习方式中使用InfoNCE损失函数，构建正样本对和负样本对，从而避免退化解的产生。

本实施例的自监督学习建立在无标签数据的学习上，为了强化这种对比的学习效果，引入高斯聚类方法在每一轮训练开始给数据打上预标签，而后在损失函数的计算中同时考虑对比信息，以及聚类中心与各类样本的夹角损失ProtoNEC。也就是说损失函数有两部分组成，相比单独用SimCLR方法实现对比式监督学习，结合SimCLR方法和高斯聚类方法从而使损失函数项由一项变成两项，强化了学习的效果，能够大大提高分类效率

为说明本实施例的方法的效果进行了实验，具体如下。

采用准确率、阳性预测率、灵敏性、特异行四个指标对本发明的性能进行评价，为评估模型的分类性能，所采用的评估标准是：真阳性率、假阳性率、真阴性率和假阴性率。对于每种类型的拍频信号样本，该模型的预测结果分为上述四种类型。在实验中，它们代表的信息如下：

TP(True Positive)：实际是本类预测结果为本类的样本数；

FP(False Positive)：实际是其他类别预测结果为本类的样本数；

TN(True Negtive)：实际是其他类预测为其他类的样本数；

FN(False Negtive)：实际是本类预测为其他类的样本数。

此外，采用准确率、阳性预测率、灵敏度、特异度四个指标对模型的分类性能进行评价，分别简写为：acc(accurary)、ppv(positive predictive value)、sen(sensitivity)、spec(specificity)，其公式定义为：

下方表2给出了高斯聚类预标签式自监督学习的心拍分类方法在测试集下的分类结果，包括五类心拍的预测结果混淆矩阵和各项指标。由表2可知，模型对S、F和Q类心拍信号分类准确率较高，分别为S：95.12％、F：98.11％、Q：96.05％，其中以对F和Q类心拍的分类效果最好。

表2训练集上10-fold的心拍分类结果

其中，混淆矩阵的每一列代表了预测类别，每一列的总数表示预测为该类别的数据的数目；每一行代表了数据的真实归属类别，每一行的数据总数表示该类别的数据实例的数目。每一列中的数值表示真实数据被预测为该类的数目。

实施例2

基于实施例1，本实施例提供基于预标签的自监督神经网络学习心拍分类系统，其特征在于，包括：

实施例3

本实施例提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1的方法所述的步骤。

实施例4

本实施例提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1的方法所述的步骤。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims

1.基于预标签的自监督神经网络学习心拍分类方法，其特征在于，包括如下步骤：

对获取的心电数据进行预处理得到心拍数据；

将获取的一维心拍数据进行时频分析转换为二维时频图；

2.如权利要求1所述的基于预标签的自监督神经网络学习心拍分类方法，其特征在于：数据预处理包括数据去噪和心拍提取；

或者，数据去噪采用小波变换除燥；

或者，心拍提取方法，包括如下步骤：

对去噪后的心电信号进行处理，定位QRS波，对于QRS波的定位和检测，使用Pan-Tompkins算法实现R波的精确定位和检测；

检测完ECG信号上的R波位置后，心拍信号以R波位置为中心进行长度截取，并对截取的心拍数据进行归一化处理。

3.如权利要求1所述的基于预标签的自监督神经网络学习心拍分类方法，其特征在于：采用韦格纳分布变换时频分析方法将一维心电数据重建为二维时频图。

4.如权利要求1所述的基于预标签的自监督神经网络学习心拍分类方法，其特征在于：自监督式学习网络模型采用孪生神经网络，包括一个左网络和一个右网络，输出数据是输入数据的高维度空间的表征；

孪生神经网络采用两个2D-ResNet50模型，分别作为左网络和右网络，并且两个2D-ResNet50模型的结构和参数在初始化阶段均相同。

5.如权利要求1所述的基于预标签的自监督神经网络学习心拍分类方法，其特征在于：还包括对构建的自监督式学习网络模型训练的方法，包括如下步骤：

获取历史心电数据构建训练集，进行预处理得到心拍数据，并对心拍数据进行分类得到心拍类型；

将获取的一维心拍数据进行时频分析转换为二维时频图；

将二维时频图进行随机增强；

将随机增强后的数据传输至孪生神经网络得到表征向量；

按照设定的第一训练次数使用InfoNCE损失函数进行对比式自监督训练，并采用随机梯度下降法调整孪生神经网络参数。

6.如权利要求5所述的基于预标签的自监督神经网络学习心拍分类方法，其特征在于：对构建的自监督式学习网络模型训练的方法，还包括如下步骤：按照设定的第二训练次数基于高斯混合聚类进行强化训练，求取InfoNCE损失以及聚类中心与各类样本的夹角损失ProtoNEC，以对比学习方式进行模型训练，并采用随机梯度下降法调整孪生神经网络，得到训练好的自监督式学习网络模型。

7.如权利要求6所述的基于预标签的自监督神经网络学习心拍分类方法，其特征在于：按照设定的第二训练次数基于高斯混合聚类进行强化训练，具体的，经过高斯混合聚类后给训练样本中的每一幅图打上标签类别，以打预标签后的图片输入至自监督式学习网络模型进行训练。

8.基于预标签的自监督神经网络学习心拍分类系统，其特征在于，包括：

9.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项方法所述的步骤。

10.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项方法所述的步骤。