CN116913504A - 用于单导联心律失常诊断的自监督多视图知识蒸馏方法 - Google Patents
用于单导联心律失常诊断的自监督多视图知识蒸馏方法 Download PDFInfo
- Publication number
- CN116913504A CN116913504A CN202310859338.1A CN202310859338A CN116913504A CN 116913504 A CN116913504 A CN 116913504A CN 202310859338 A CN202310859338 A CN 202310859338A CN 116913504 A CN116913504 A CN 116913504A
- Authority
- CN
- China
- Prior art keywords
- self
- network
- task
- supervised
- teacher
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 206010003119 arrhythmia Diseases 0.000 title claims abstract description 26
- 238000013140 knowledge distillation Methods 0.000 title claims abstract description 25
- 230000006793 arrhythmia Effects 0.000 title claims abstract description 24
- 238000003745 diagnosis Methods 0.000 title claims abstract description 18
- 238000013527 convolutional neural network Methods 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 15
- 238000004821 distillation Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 239000002131 composite material Substances 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000035945 sensitivity Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 abstract description 6
- 238000012546 transfer Methods 0.000 abstract description 5
- 201000010099 disease Diseases 0.000 abstract description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract description 4
- 230000001737 promoting effect Effects 0.000 abstract 1
- 206010003658 Atrial Fibrillation Diseases 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 6
- 238000002565 electrocardiography Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 206010003662 Atrial flutter Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 210000000779 thoracic wall Anatomy 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Public Health (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- Epidemiology (AREA)
- Pathology (AREA)
- Primary Health Care (AREA)
- Databases & Information Systems (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了用于单导联心律失常诊断的自监督多视图知识蒸馏方法，涉及单导联心律失常诊断技术领域。本发明至少包括以下步骤：S1：建立网络架构，网络架构至少包括教师骨干网络FT、学生骨干网络FS以及辅助分类器AT和AS。本发明为了提高单导联心电图对多标签疾病的诊断能力，提出了心电图的自监督多视图知识蒸馏，接受完整12导联信号作为输入的教师模型指导单导联学生模型，挖掘单导联心电信号中容易被神经网络忽略的细节，且通过构建辅助分类器，本发明提出了一对一概率知识蒸馏框架，促进了教师网络向学生网络的全面知识转移。
Description
技术领域
本发明涉及单导联心律失常诊断技术领域，具体为用于单导联心律失常诊断的自监督多视图知识蒸馏方法。
背景技术
心电图是一种常用的、无创的、方便的检测心律失常和其他心血管疾病的诊断方法。可分为多导联心电图(临床12导联系统标准)和单导联心电图两大类。多导联心电图是通过设置在患者胸壁和四肢上的多个电极获取的，可以看作是在多个不同的视角下可视化心跳信号。在强大的深度学习能力下，许多基于多导联的深度心电解释模型在实践中得到了广泛的应用。Xia等人首次使用CNN进行自动对焦检测。与传统的AF检测算法不同，该方法不需要人工提取特征，也不需要检测心电的P波和R波。Fan等人提出了一种多尺度融合深度卷积神经网络(MS-CNN)，该网络使用两个CNN流，每个流有13个卷积和不同的滤波器大小，可以捕获不同尺度的心电特征。Fan等人提出了一种基于cnn的房颤筛查框架(FRM-CNN)，该框架利用心电节律和形态特征输入，从移动心电信号中自动筛选房颤片段。而为了解决心电图像缺乏的问题，人们提出了心电图像重构与合成的方法。Xiao等人采用卷积神经网络从编码层重构标准十二导联心电图。Golany等人提出了一种利用Koopman算子理论重构缺失或噪声信号的方法，该方法可以有效地从任何局部子导联心电中提取缺失导联。Jintai等人提出了心电全景图的概念以及相应的生成网络Nef-Net。Nef-Net是一种编码器-解码器结构，可接受一个或多个心电信号。心电专家认为生成的心电信号具有很高的置信度。近年来，随着智能心电设备的出现，如Apple Watch、Alivecore等，给人们带来了极大的便利，单导联心电图备受关注。随着智能心电设备的普及，产生了大量的单导联心电信号，对医疗保健系统构成了巨大的挑战。Hannun等人首先提出了一种端到端的深度神经网络的综合评估，用于各种诊断类别的ECG分析，证明端到端深度学习方法可以从单导联心电图中分类出广泛的不同心律失常，具有与心脏病专家相似的高诊断性能。由于单导联心电图提供的信息有限，目前各种智能心电设备只能支持少数几种检测类型。例如，Apple Watch只能检测窦性心律(SR)和心房颤动(AF)。大多数学术研究也关注于此，Fujita等人采用8层深度CNN检测AF和心房扑动(AFL)。Wang等人将CNN与改进的Elman神经网络(IENN)相结合，创建了两个链路模型来验证模型的分类性能；
但是上述技术中存在有以下不足：
动态心电监测已成为心律失常早期筛查和术后复查的重要手段。然而，由于设备尺寸小，通常只能在I-lead上进行测量。与临床实践中传统的12导联系统相比，可穿戴设备采集的单导联信号相当于一个“视图”，只能反映心脏的部分信息，对医疗保健系统构成了巨大的挑战。虽然现有基于深度学习的研究已经在房颤的检测中取得了较高的检测精度，但受限于输入信息，单导联模型在其他心律失常类别上的分类性能却不尽人意。重建心电图的方法虽然能够直接填补缺失导联的信息，但信号重建的质量会很大程度影响最终分类模型的性能，同时，先复原再诊断的两阶段流程也较为耗时，不满足可穿戴设备对实时性的要求，因此需要对以上问题提出一种新的解决方案。
发明内容
本发明的目的在于提供用于单导联心律失常诊断的自监督多视图知识蒸馏方法。
为实现上述目的，本发明提供如下技术方案：用于单导联心律失常诊断的自监督多视图知识蒸馏方法，至少包括以下步骤：
S1：建立网络架构，网络架构至少包括教师骨干网络FT、学生骨干网络FS以及辅助分类器AT和A；
S2：构建自监督辅助任务，在网络中，使用一个自监督任务对原始有监督对象类空间进行扩充，学生网络从自监督和有监督的联合分布中获得更丰富的信息和有意义的预测；
S3：设计辅助分类器，隐层中插入辅助分类器A(·)来对自监督和有监督的联合知识进行学习和蒸馏；
S4：数据预处理；
S5：教师网络训练；
S6：学生网络训练，学生网络只以12导联中的Ⅰ导联作为输入，并在教师网络的指导下进行端到端的训练过程，基于训练好的教师网络，在训练学生网络时，在常规的任务损失外，还引入了两种蒸馏损失，分别作用于原始有监督分类任务和自监督辅助任务。
优选的，所述S2至少包括以下步骤：
基于CNN的分类网络分解为特征提取器φ(x；μ)和线性分类器g(z；ω)，μ和ω是权重张量；
对于标签空间为N＝{1,2,...,n}的数据集X，给定样本x∈X，z＝φ(x；μ)为提取的特征向量；
特征向量z通过带有softmax的线性分类器映射到预测类概率分布:
p(x；τ)＝softmax(g(z；ω)/τ)∈RN
其中τ是一个温度超参数；
假设定义m种不同的数据增强则自监督分类任务的标签空间M＝{1,2,...,m}，其中t1(x)＝x表示恒等变换；
为了有效地学习复合知识，将原始有监督分类任务和自监督辅助任务合并为一个联合任务，这个任务的标签空间为K＝N×M＝{<a,b>|a∈N,b∈M}，其中×表示笛卡尔积，|K|＝n*m。
优选的，所述S3至少包括以下步骤：
用CNN通常使用阶段性卷积块的特性，将辅助分类器插入到每个阶段之后。
假设网络包括H个阶段，我们在第h个阶段后插入辅助分类器Ah(·)，共插入H个A(·)；
其中Ah(·)由分阶段卷积块、平均池化下采样层和全连接层组成；
将原始分类网络记为f(·)，它将输入样本tj(z)映射到预测类概率分布p(x；τ)；
由Ah(·)计算出的自监督概率分布为:
qh(tj(x)；τ)＝softmax(Ah(Fh)/τ)∈RN*M
其中τ与p(x；τ)＝softmax(g(z；ω)/τ)∈RN中τ保持一致；
Fh为f(·)第h个阶段后提取出的特征映射。
优选的，所述S4至少包括以下步骤：
对于心电信号，首先将记录随机裁剪为长度一致的片段，以确保网络的精简并强化局部特征；
为了构建自监督任务，对心电信号进行增强变换，所述对心电信号进行增强变换至少包括四种不同的数据增强如下：
t1(x)＝x，表示恒等变换；
t2(x)＝scaling(x；μ,σ)，表示缩放，将心电信号与高斯分布中的随机标量相乘，从而改变信号值的大小，其中μ＝1,σ＝2分别表示高斯分布的均值和方差；
t3(x)＝random_crop(x)，表示分段随机置零；
t4(x)＝permutation(x；n)，表示随机置换。
优选的，所述t3(x)＝random_crop(x)，表示分段随机置零至少包括以下步骤：
首先将信号等分成k段，每段包含n个信号点；
然后在每个片段中，随机地将连续的p×n个信号点置零，其中p∈[0.05,0.3]为随机裁剪的比例，减低网络对p值的敏感度。
优选的，所述S5至少包括以下步骤：
将标准的12导联心电图信号x＝{x1,x2,...,x12}经过随机裁剪后送入特征编码器FT(·)进行特征提取；
所述特征编码器的骨干部分至少包括ResNet1d34和inception1d的网络结构，然后通过平均池化层后得到输入的特征表达：fT＝FT(x)；
随后分类器CT(·)将fT映射为预测类概率分布p(x；τ)；
同时将训练H个辅助分类器去学习阶段性网络内部的自监督概率分布，对于输入样本/>将从FT(·)提取出的特征表示分别输入到/>然后通过Ah(·)推断出预测自监督概率分布qh(tj(x)；τ)；
考虑多标签的场景，使用函数sigmoid作为最终的激活函数，可将模型在每一个类别上的预测分数映射至0-1之间的分布；
使用多标签的交叉熵损失函数LCE对整个教师网络进行优化，总的损失L由主要任务损失LCE-T和自监督辅助任务损失LCE-A两部分构成；
计算方式如下：
L＝αLCE-T+βLCE-A
LCE-T＝LCE(σ(p(x；τ)),y)
LCE-A＝LCE(σ(q(x；τ)),yA)
其中α和β是权重系数，σ是sigmoid激活函数，y为原始样本标签，yA为自监督辅助任务的样本空间，LCE计算方式如下：
其中是模型的最终预测，p为网络预测类概率分布，|y|表示类别空间，y为样本的真实标签。
优选的，所述S6至少包括以下步骤：
强制学生特征提取器FS推断出的特征表达fS拟合原始数据x作为任务损失：
Ltask＝LCE(pS(x；τ),y)
任务知识蒸馏损失传递教师模型对每个原始数据及其变换数据的预测结果，它将教师网络的预测概率分布视为软标签，通过KL散度约束学生网络模拟相似的输出：
其中，t(·)表示数据增强转换，pT和pS分别表示教师和学生模型的预测概率分布，τ表示温度系数，由于教师模型经过充分的训练，在非标签类别上的预测分数差异较小，引入大于1的温度系数能够将预测概率分布平滑化，有利于传递类间差异信息；
自监督蒸馏损失在教师和学生模型间以一对一的方式传递辅助分类器推断出的自监督预测概率分布：
其中τ是温度系数，分别表示教师模型和学生模型第h个辅助分类器推断出的自监督增强预测概率分布；
学生网络训练的整体损失如下：
L＝αLtask+βLKD-p+γLKD-q
其中，α、β、γ为权重系数。
与现有技术相比，本发明的有益效果是：
本发明为了提高单导联心电对多标签疾病的诊断能力，提出了心电图的自监督多视图知识蒸馏，该方法可以将来自多个不同导联心电视图的优越疾病知识转移到基于单导联的心电解释模型中，挖掘单导联心电信号中容易被神经网络忽略的细节；
通过构建辅助分类器，本发明提出了一对一概率知识蒸馏框架，促进了教师向学生的全面知识转移，有效提高了单导联模型对各种心律失常类别的分类性能。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明自监督多视图知识蒸馏框架的示意图；
图2为本发明数据变换的一个示例图；
图3为本发ICBEB2018数据集上特征可视化结果的示意图；
图4为本发明在ICBEB2018上的实验结果的表格示意图；
图5为本发明与当前SOTA方法在PTB-XL数据集上的比较结果的表格示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
请参阅图1-图4，用于单导联心律失常诊断的自监督多视图知识蒸馏方法，至少包括以下步骤：
S1：建立网络架构，如图1所示，网络架构至少包括教师骨干网络FT、学生骨干网络FS以及辅助分类器AT和AS，在教师和学生网络的各个卷积阶段之后插入多个辅助分类器，以捕获不同的自我监督知识，在推理过程中，删除所有的辅助分类器，只保留学生主干网络FS，因此与原始学生网络相比不会产生额外的推理成本；
S2：构建自监督辅助任务，在网络中，使用一个自监督任务对原始有监督对象类空间进行扩充，学生网络从自监督和有监督的联合分布中获得更丰富的信息和有意义的预测；
S3：设计辅助分类器，随着卷积层的增加，提取出的特征会更加抽象，这就意味着会丢失很多有价值的信息。为了充分利用网络中间层的特征映射，隐层中插入辅助分类器A(·)来对自监督和有监督的联合知识进行学习和蒸馏；
S4：数据预处理；
S5：教师网络训练；
S6：学生网络训练，学生网络只以12导联中的Ⅰ导联作为输入，并在教师网络的指导下进行端到端的训练过程，基于训练好的教师网络，在训练学生网络时，在常规的任务损失外，还引入了两种蒸馏损失，分别作用于原始有监督分类任务和自监督辅助任务。
S2至少包括以下步骤：
基于CNN的分类网络分解为特征提取器φ(x；μ)和线性分类器g(z；ω)，μ和ω是权重张量；
对于标签空间为N＝{1,2,...,n}的数据集X，给定样本x∈X，z＝φ(x；μ)为提取的特征向量；
特征向量z通过带有softmax的线性分类器映射到预测类概率分布:
p(x；τ)＝softmax(g(z；ω)/τ)∈RN
其中τ是一个温度超参数；
教师的自监督预测包含丰富的结构化知识，可以帮助学生进行更全面的知识蒸馏。在本发明中，我们使用一个自监督任务对原始有监督对象类空间进行扩充。学生网络从自监督和有监督的联合分布中获得更丰富的信息和有意义的预测。具体来说，假设定义m种不同的数据增强则自监督分类任务的标签空间M＝{1,2,...,m}，其中t1(x)＝x表示恒等变换；
为了有效地学习复合知识，将原始有监督分类任务和自监督辅助任务合并为一个联合任务，这个任务的标签空间为K＝N×M＝{<a,b>|a∈N,b∈M}，其中×表示笛卡尔积，|K|＝n*m；
S3至少包括以下步骤：
目前CNN模型大多被设计为包含多个阶段性卷积块的结构，比如在房颤检测中表现出优异性能的Resnet34网络包含四个连续阶段，各个阶段推导出的特征映射包含了不同的细粒度和模式。利用CNN通常使用阶段性卷积块的特性，将辅助分类器插入到每个阶段之后，如图1所示。
假设网络包括H个阶段，我们在第h个阶段后插入辅助分类器Ah(·)，共插入H个A(·)；
其中Ah(·)由分阶段卷积块、平均池化下采样层和全连接层组成；
将原始分类网络记为f(·)，它将输入样本tj(x)映射到预测类概率分布p(x；τ)；
由Ah(·)计算出的自监督概率分布为:
qh(tj(x)；τ)＝softmax(Ah(Fh)/τ)∈RN*M
其中τ与p(x；τ)＝softmax(g(z；ω)/τ)∈RN中τ保持一致；
Fh为f(·)第h个阶段后提取出的特征映射；
S4至少包括以下步骤：
对于心电信号，首先将记录随机裁剪为长度一致的片段，以确保网络的精简并强化局部特征；
为了构建自监督任务，对心电信号进行增强变换，对心电信号进行增强变换至少包括四种不同的数据增强如下：，如图2所示；
t1(x)＝x，表示恒等变换；
t2(x)＝scaling(x；μ,σ)，表示缩放，如图2(b)所示。将心电信号与高斯分布中的随机标量相乘，从而改变信号值的大小，其中μ＝1,σ＝2分别表示高斯分布的均值和方差；
t3(x)＝random_crop(x)，表示分段随机置零，如图2(c)所示；
t4(x)＝permutation(x；n)，表示随机置换，是随机打乱窗口内事件的时间位置的简单方法，如图2(d)所示；
t3(x)＝random_crop(x)，表示分段随机置零至少包括以下步骤：
首先将信号等分成k段，每段包含n个信号点；
然后在每个片段中，随机地将连续的p×n个信号点置零，其中p∈[0.05,0.3]为随机裁剪的比例，减低网络对p值的敏感度。为了避免训练崩溃，p值不能设置地太大；
S5至少包括以下步骤：
将标准的12导联心电图信号x＝{x1,x2,...,x12}经过随机裁剪后送入特征编码器FT(·)进行特征提取；
特征编码器的骨干部分至少包括ResNet1d34和inception1d的网络结构，在不同实施例中可以为不同的网络结构，然后通过平均池化层后得到输入的特征表达：fT＝FT(x)；
随后分类器CT(·)将fT映射为预测类概率分布p(x；τ)；
同时将训练H个辅助分类器去学习阶段性网络内部的自监督概率分布，对于输入样本/>将从FT(·)提取出的特征表示分别输入到/>然后通过Ah(·)推断出预测自监督概率分布qh(tj(x)；τ)；
考虑多标签的场景，即每条心电信号可能被诊断具有不止一种心律失常，使用函数sigmoid作为最终的激活函数，可将模型在每一个类别上的预测分数映射至0-1之间的分布；
使用多标签的交叉熵损失函数LCE对整个教师网络进行优化，总的损失L由主要任务损失LCE-T和自监督辅助任务损失LCE-A两部分构成；
计算方式如下：
L＝αLCE-T+βLCE-A
LCE-T＝LCE(σ(p(x；τ)),y)
LCE-A＝LCE(σ(q(x；τ)),yA)
其中α和β是权重系数，σ是sigmoid激活函数，y为原始样本标签，yA为自监督辅助任务的样本空间，LCE计算方式如下：
|y|
其中是模型的最终预测，p为网络预测类概率分布，|y|表示类别空间，y为样本的真实标签；
S6至少包括以下步骤：
强制学生特征提取器FS推断出的特征表达fS拟合原始数据x作为任务损失：
Ltask＝LCE(pS(x；τ),y)
任务知识蒸馏损失传递教师模型对每个原始数据及其变换数据的预测结果，它将教师网络的预测概率分布视为软标签，通过KL散度约束学生网络模拟相似的输出：
其中，t(·)表示数据增强转换，pT和pS分别表示教师和学生模型的预测概率分布，τ表示温度系数，由于教师模型经过充分的训练，在非标签类别上的预测分数差异较小，引入大于1的温度系数能够将预测概率分布平滑化，有利于传递类间差异信息；
自监督蒸馏损失在教师和学生模型间以一对一的方式传递辅助分类器推断出的自监督预测概率分布：
其中τ是温度系数，分别表示教师模型和学生模型第h个辅助分类器推断出的自监督增强预测概率分布；
学生网络训练的整体损失如下：
L＝αLtask+βLKD-p+γLKD-q
其中，α、β、γ为权重系数。
实验结果及分析：
我们选择公共数据集ICBEB2018和PTB-XL数据集来验证本发明的有效性和通用性。为了准确探索我们在哪些类别上提高了性能，我们报告了F1分数以及ICBEB2018数据集上的总体AUC(ROC曲线下的面积)指标。由于ICBEB2018数据集是一个多标签数据集，因此不可能直接根据模型输出来确定预测结果。我们首先确定验证集上每个类别的模型的最佳阈值，并将获得的阈值应用于测试集数据。当一个类别得分高于相应的阈值时，判断测试样本属于该类别。
参阅图4中如表1所示，我们使用了目前性能较优的三种心电信号分类模型resnet1d_wang、ResNet34和inception1d作为骨干网络结构。由表可知，在任意的网络结构下，引入自监督辅助任务都可以进一步提升模型的性能。由于单导联心电图只能反映出心脏的部分活动信息，所以单导联模型的性能相比于多导联模型而言在各种心律失常类别上都有不同程度的下降。我们所提出的自监督知识蒸馏能够在大部分类别上显著提升模型的分类性能，证明了数据蒸馏的有效性。具体而言，本发明在Norm、I-AVB、PVC和STE类别上的提升尤为显著，三种网络结构上的F1分数分别平均提升9.1％，6.5％，6.54％和7％。蒸馏能够在大部分类别上显著提升模型的分类性能，证明该方法能够有效迁移12导联中有价值的信息。
此外，我们还将教师和蒸馏前后的学生模型在ICBEB2018训练数据的特征通过t-SNE进行了可视化，结果如图3所示。对于ICBEB2018数据集而言，由于心电图信号所呈现出的类内差异大、类间差异小的细粒度特质，导致在教师网络中Norm、PAC和STE等类别的特征分布也存在一定的混淆，在仅使用单导联作为输入时这一情况变得更加严重。相比于基线模型，蒸馏后的模型在九种类别上的特征分布都变得更加致密，类别重叠的情况得到很大改善。
参阅图5中的表2，展示了我们的网络与当前最先进(SOTA)的单导联心电图的分类方法的比较结果。其中，Qin等人提出了心电图的多视图知识转移(MVKT-ECG)，是目前单导联心律失常分类中最先进的模型。Yang等人[12]使用一维密集连接的CNN进行多导联心电信号的心律失常分类，Liu等人[13]将深度残差网络与注意力机制相结合,他们在首届中国心电智能大赛中获得了最佳成绩。Hannun等人]开发的深度神经网络在Cinc2017数据集上取得了最高的F1分数。Zhao等人在2020年PhysioNet/Computing in CardiologyChallenge中获得了第2名。nception1d、resnet1d wang和xresnet1d101是时间序列分类任务中表现最好的算法。我们重点分析了resnet34-resSKD34的变体。与其他SOTA模型相比，我们方法的分类性能更好，且对分类粒度和具体心律失常类别不敏感，更适配于可穿戴设备。
为了提高单导联心电图对多标签疾病的诊断能力，提出了心电图的自监督多视图知识蒸馏，接受完整12导联信号作为输入的教师模型指导单导联学生模型，挖掘单导联心电信号中容易被神经网络忽略的细节，且通过构建辅助分类器，本发明提出了一对一概率知识蒸馏框架，促进了教师网络向学生网络的全面知识转移。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
Claims (7)
1.用于单导联心律失常诊断的自监督多视图知识蒸馏方法，其特征在于：至少包括以下步骤：
S1：建立网络架构，网络架构至少包括教师骨干网络FT、学生骨干网络FS以及辅助分类器AT和AS；
S2：构建自监督辅助任务，在网络中，使用一个自监督任务对原始有监督对象类空间进行扩充，学生网络从自监督和有监督的联合分布中获得更丰富的信息和有意义的预测；
S3：设计辅助分类器，隐层中插入辅助分类器A(·)来对自监督和有监督的联合知识进行学习和蒸馏；
S4：数据预处理；
S5：教师网络训练；
S6：学生网络训练，学生网络只以12导联中的I导联作为输入，并在教师网络的指导下进行端到端的训练过程，基于训练好的教师网络，在训练学生网络时，在常规的任务损失外，还引入了两种蒸馏损失，分别作用于原始有监督分类任务和自监督辅助任务。
2.根据权利要求1所述的用于单导联心律失常诊断的自监督多视图知识蒸馏方法，其特征在于：所述S2至少包括以下步骤：
基于CNN的分类网络分解为特征提取器φ(x；μ)和线性分类器g(z；ω)，μ和ω是权重张量；
对于标签空间为N＝{1，2，...，n}的数据集X，给定样本x∈X，z＝φ(x；μ)为提取的特征向量；
特征向量z通过带有softmax的线性分类器映射到预测类概率分布：
p(x；τ)＝softmax(g(z；ω)/τ)∈RN
其中τ是一个温度超参数；
假设定义m种不同的数据增强则自监督分类任务的标签空间M＝{1，2，...，m}，其中t1(x)＝x表示恒等变换；
为了有效地学习复合知识，将原始有监督分类任务和自监督辅助任务合并为一个联合任务，这个任务的标签空间为K＝N×M＝{＜a，b＞|a∈N，b∈M}，其中×表示笛卡尔积，|K|＝n*m。
3.根据权利要求2所述的用于单导联心律失常诊断的自监督多视图知识蒸馏方法，其特征在于：所述S3至少包括以下步骤：
利用CNN通常使用阶段性卷积块的特性，将辅助分类器插入到每个阶段之后；
假设网络包括H个阶段，我们在第h个阶段后插入辅助分类器Ah(·)，共插入H个A(·)；
其中Ah(·)由分阶段卷积块、平均池化下采样层和全连接层组成；
将原始分类网络记为f(·)，它将输入样本tj(x)映射到预测类概率分布p(x；τ)；
由Ah(·)计算出的自监督概率分布为：
qh(tj(x)；τ)＝softmax(Ah(Fh)/τ)∈RN*M
其中τ与p(x；τ)＝softmax(g(z；ω)/τ)∈RN中τ保持一致；
Fh为f(·)第h个阶段后提取出的特征映射。
4.根据权利要求3所述的用于单导联心律失常诊断的自监督多视图知识蒸馏方法，其特征在于：所述S4至少包括以下步骤：
对于心电信号，首先将记录随机裁剪为长度一致的片段，以确保网络的精简并强化局部特征；
为了构建自监督任务，对心电信号进行增强变换，所述对心电信号进行增强变换至少包括四种不同的数据增强如下：
t1(x)＝x，表示恒等变换；
t2(x)＝scaling(x；μ，σ)，表示缩放，将心电信号与高斯分布中的随机标量相乘，从而改变信号值的大小，其中μ＝1，σ＝2分别表示高斯分布的均值和方差；
t3(x)＝random_crop(x)，表示分段随机置零；
t4(x)＝permutation(x；n)，表示随机置换。
5.根据权利要求4所述的用于单导联心律失常诊断的自监督多视图知识蒸馏方法，其特征在于：所述t3(x)＝random_crop(x)，表示分段随机置零至少包括以下步骤：
首先将信号等分成k段，每段包含n个信号点；
然后在每个片段中，随机地将连续的p×n个信号点置零，其中p∈[0.05，0.3]为随机裁剪的比例，减低网络对p值的敏感度。
6.根据权利要求4所述的用于单导联心律失常诊断的自监督多视图知识蒸馏方法，其特征在于：所述S5至少包括以下步骤：
将标准的12导联心电图信号x＝{x1，x2，...，x12}经过随机裁剪后送入特征编码器FT(·)进行特征提取；
所述特征编码器的骨干部分至少包括ResNet1d34和inception1d的网络结构，然后通过平均池化层后得到输入的特征表达：fT＝FT(x)；
随后分类器CT(·)将fT映射为预测类概率分布p(x；τ)；
同时将训练H个辅助分类器去学习阶段性网络内部的自监督概率分布，对于输入样本/>将从FT(·)提取出的特征表示/>分别输入到/>然后通过Ah(·)推断出预测自监督概率分布qh(tj(x)；τ)；
考虑多标签的场景，使用函数sigmoid作为最终的激活函数，将模型在每一个类别上的预测分数映射至0-1之间的分布；
使用多标签的交叉熵损失函数LCE对整个教师网络进行优化，总的损失L由主要任务损失LCE-T和自监督辅助任务损失LCE-A两部分构成；
计算方式如下：
L＝αLCE-T+βLCE-A
LCE-T＝LCE(σ(p(x；τ))，y)
LCE-A＝LCE(σ(q(x；τ))，yA)
其中α和β是权重系数，σ是sigmoid激活函数，y为原始样本标签，yA为自监督辅助任务的样本空间，LCE计算方式如下：
其中是模型的最终预测，p为网络预测类概率分布，|y|表示类别空间，y为样本的真实标签。
7.根据权利要求6所述的用于单导联心律失常诊断的自监督多视图知识蒸馏方法，其特征在于：所述S6至少包括以下步骤：
强制学生特征提取器FS推断出的特征表达fS拟合原始数据x作为任务损失：
Ltask＝LCE(pS(x；τ)，y)
任务知识蒸馏损失传递教师模型对每个原始数据及其变换数据的预测结果，它将教师网络的预测概率分布视为软标签，通过KL散度约束学生网络模拟相似的输出：
其中，t(·)表示数据增强转换，pT和pS分别表示教师和学生模型的预测概率分布，τ表示温度系数，由于教师模型经过充分的训练，在非标签类别上的预测分数差异较小，引入大于1的温度系数能够将预测概率分布平滑化，有利于传递类间差异信息；
自监督蒸馏损失在教师和学生模型间以一对一的方式传递辅助分类器推断出的自监督预测概率分布：
其中τ是温度系数，分别表示教师模型和学生模型第h个辅助分类器推断出的自监督增强预测概率分布；
学生网络训练的整体损失如下：
L＝αLtask+βLKD-p+γLKD-q
其中，α、β、γ为权重系数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310859338.1A CN116913504A (zh) | 2023-07-13 | 2023-07-13 | 用于单导联心律失常诊断的自监督多视图知识蒸馏方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310859338.1A CN116913504A (zh) | 2023-07-13 | 2023-07-13 | 用于单导联心律失常诊断的自监督多视图知识蒸馏方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116913504A true CN116913504A (zh) | 2023-10-20 |
Family
ID=88352426
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310859338.1A Pending CN116913504A (zh) | 2023-07-13 | 2023-07-13 | 用于单导联心律失常诊断的自监督多视图知识蒸馏方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116913504A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117421678A (zh) * | 2023-12-19 | 2024-01-19 | 西南石油大学 | 一种基于知识蒸馏的单导联房颤识别系统 |
| CN117892841A (zh) * | 2024-03-14 | 2024-04-16 | 青岛理工大学 | 基于渐进式联想学习的自蒸馏方法及系统 |
| CN117892841B (zh) * | 2024-03-14 | 2024-05-31 | 青岛理工大学 | 基于渐进式联想学习的自蒸馏方法及系统 |
-
2023
- 2023-07-13 CN CN202310859338.1A patent/CN116913504A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117421678A (zh) * | 2023-12-19 | 2024-01-19 | 西南石油大学 | 一种基于知识蒸馏的单导联房颤识别系统 |
| CN117421678B (zh) * | 2023-12-19 | 2024-03-22 | 西南石油大学 | 一种基于知识蒸馏的单导联房颤识别系统 |
| CN117892841A (zh) * | 2024-03-14 | 2024-04-16 | 青岛理工大学 | 基于渐进式联想学习的自蒸馏方法及系统 |
| CN117892841B (zh) * | 2024-03-14 | 2024-05-31 | 青岛理工大学 | 基于渐进式联想学习的自蒸馏方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Mousavi et al. | ECGNET: Learning where to attend for detection of atrial fibrillation with deep visual attention | |
| US20230293079A1 (en) | Electrocardiogram image processing method and device, medium, and electrocardiograph | |
| CN104367317A (zh) | 多尺度特征融合的心电图心电信号分类方法 | |
| CN110638430B (zh) | 级联神经网络ecg信号心律失常分类模型的搭建方法 | |
| CN113440149B (zh) | 一种基于十二导联心电数据二维化的多输入残差神经网络的ecg信号分类方法 | |
| CN115470828A (zh) | 基于卷积与自注意力机制的多导联心电图分类识别方法 | |
| Yang et al. | A multi-view multi-scale neural network for multi-label ECG classification | |
| US20230397887A1 (en) | Scatter diagram classification method and apparatus for photoplethysmography signal | |
| CN112957054B (zh) | 一种基于通道注意力分组残差网络的12导联心电信号分类方法 | |
| CN116913504A (zh) | 用于单导联心律失常诊断的自监督多视图知识蒸馏方法 | |
| CN113855042B (zh) | 融合深度和医学特征的基于序列标注的多导联心电信号分类方法 | |
| Wang et al. | Multiscale residual network based on channel spatial attention mechanism for multilabel ECG classification | |
| CN115640507A (zh) | 一种基于心电心音联合分析的异常数据筛查方法 | |
| Peng et al. | ECG signals segmentation using deep spatiotemporal feature fusion U-Net for QRS complexes and R-peak detection | |
| Wang et al. | Adversarial spatiotemporal contrastive learning for electrocardiogram signals | |
| CN113180688A (zh) | 基于残差神经网络的冠心病心电图筛查系统及方法 | |
| CN110327034B (zh) | 一种基于深度特征融合网络的心动过速心电图的筛查方法 | |
| Cheng et al. | MSW-Transformer: Multi-Scale Shifted Windows Transformer Networks for 12-Lead ECG Classification | |
| CN111759302A (zh) | 一种可穿戴式个体心电检测方法 | |
| Wang et al. | MS-MLP: Multi-scale sampling MLP for ECG classification | |
| Zhu et al. | Adaboost based ECG signal quality evaluation | |
| Chowdhury et al. | Compression, denoising and classification of ECG signals using the discrete wavelet transform and deep convolutional neural networks | |
| Wen et al. | A scalable hybrid model for atrial fibrillation detection | |
| Hori et al. | Arrhythmia detection based on patient-specific normal ECGs using deep learning | |
| Lu et al. | A New Multichannel Parallel Network Framework for the Special Structure of Multilead ECG |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |