CN116824297B - Ki67影像预测模型的伪标签自蒸馏优化方法 - Google Patents

Ki67影像预测模型的伪标签自蒸馏优化方法 Download PDF

Info

Publication number
CN116824297B
CN116824297B CN202310734229.7A CN202310734229A CN116824297B CN 116824297 B CN116824297 B CN 116824297B CN 202310734229 A CN202310734229 A CN 202310734229A CN 116824297 B CN116824297 B CN 116824297B
Authority
CN
China
Prior art keywords
self
model
distillation
classifier
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310734229.7A
Other languages
English (en)
Other versions
CN116824297A (zh
Inventor
杨昆
张轩旗
刘琨
崔振宇
刘爽
薛林雁
李民
许天笑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University
Original Assignee
Hebei University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University filed Critical Hebei University
Priority to CN202310734229.7A priority Critical patent/CN116824297B/zh
Publication of CN116824297A publication Critical patent/CN116824297A/zh
Application granted granted Critical
Publication of CN116824297B publication Critical patent/CN116824297B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及一种Ki67影像预测模型的伪标签自蒸馏优化方法,包括以下步骤:①提供一个标注有Ki67表达标签的肾癌CT图像数据集和一个未标注的肾癌CT图像数据集。②运用带有Ki67表达标签的数据集,训练预设模型以预测Ki67的表达。③通过预训练模型,处理未标注的肾癌CT图像数据集,产生Ki67表达的伪标签。④设计并执行一个自蒸馏模型,使其深层部分为浅层部分提供教学引导。⑤将伪标签与原始图像一同输入自蒸馏模型中,执行模型训练。⑥在模型训练过程中,形成训练损失,作为自蒸馏的指导。⑦通过这种自蒸馏方法,得到能够准确预测Ki67表达的模型。本发明解决了深度网络规模大且难以部署以及医学影像标注数量少的问题,具有临床应用价值。

Description

Ki67影像预测模型的伪标签自蒸馏优化方法
技术领域
本发明涉及一种医学图像的处理方法,具体地说是一种Ki67影像预测模型的伪标签自蒸馏优化方法。
背景技术
肾癌是全球常见的恶性肿瘤之一,其预后和治疗策略与肿瘤的生物学行为密切相关。Ki67是一种重要的肿瘤生物标记物,其表达水平与肿瘤的增殖能力和侵袭性相关。因此,对Ki67的表达进行准确预测,对于肾癌的诊断和治疗具有重要的临床意义。
CN115482232A公开了一种负样本引导的自蒸馏病理图像分析方法,该方法构造了两个结构相同的分类网络,通过自蒸馏的方式进行训练,再同时利用阴性整张病理图像中所有的图像块都是阴性的先验知识,引导这一自蒸馏的过程,从而实现端到端的训练,构成了一个实例级别的分类器。然而,该方法需要大量的标注数据,没有考虑到有标注数据稀缺的情况。
CN114066882A公开了一种基于深度影像组学的肺腺癌Ki67表达水平无创检测方法及装置,该方法利用深度学习,影像组学和临床特征融合预测肺腺癌中Ki67的状态。但是,该方法的模型参数巨大,计算复杂度也偏高。
综上,当前的深度学习方法在预测Ki67表达时面临着两大挑战:一是由于标注样本稀缺,模型的训练效果受限;二是由于深度学习模型通常具有大量的参数,导致模型的计算复杂度高,内存占用大,不易于实际部署。
因此,如何在标签稀缺的情况下,利用伪标签技术和自蒸馏技术,设计出一个能够准确预测Ki67表达、计算复杂度低、易于部署的模型,是当前肾癌CT图像Ki67表达预测技术面临的重要问题。
发明内容
本发明的目的就是提供一种Ki67影像预测模型的伪标签自蒸馏优化方法,以解决目前预测Ki67表达存在的标注样本稀缺和模型计算复杂度高的问题。
本发明的目的是这样实现的:一种Ki67影像预测模型的伪标签自蒸馏优化方法,包括以下步骤:
S1、收集若干用Ki67表达标签标注的肾癌CT图像样本,构成数据集DL;收集若干没有用Ki67表达标签标注的肾癌CT图像样本,构成数据集DU
S2、选择ResNet-101作为基础训练模型,用数据集DL进行预训练,训练出能够预测Ki67表达的预训练模型Mt
S3、将数据集DU输入预训练模型Mt,使数据集DU中的每个样本生成一个预测的Ki67表达值,用该表达值作为该样本的伪标签,从而使没有标签的数据集DU转变成为带有伪标签的数据集DU
S4、构建以ResNet-18作为骨干网络的自蒸馏模型Ms,所述自蒸馏模型Ms包括四个瓶颈层、四个全连接层和四个softmax层;其最深层部分为教师分类器,其他的浅层部分为学生分类器;学生分类器通过教师分类器进行学习和调整。
S5、自蒸馏模型Ms的自蒸馏过程,具体包括以下子步骤:
S5-1将带有伪标签的数据集DU中的伪标签与样本图像一并输入自蒸馏模型Ms
S5-2自蒸馏模型Ms的分类器根据样本图像生成对应的分类标签预测,再计算预测标签与伪标签之间的交叉熵,将其作为自蒸馏过程的第一个损失函数。
S5-3计算学生分类器根据样本图像生成的预测标签与教师分类器生成的教师标签之间的KL散度,将其作为自蒸馏过程的第二个损失函数。
S5-4计算最深层部分与每个浅层部分之间的特征图之间的L2损失,将其作为自蒸馏过程的第三个损失函数。
S5-5自蒸馏模型Ms中的分类器为:其中,C为自蒸馏模型Ms中分类器的个数;第i个分类器的softmax输出为:qi(i=1,2,3,4);最深分类器的softmax输出特别表示为qC,即q4=qC
每输入一个样本图像x,自蒸馏模型Ms即输出一个预测标签。
自蒸馏过程的第一个损失函数Lc为通过预训练模型Mt得到的伪标签与分类器的softmax输出qi之间的交叉熵之和,即:
其中,为交叉熵。
自蒸馏过程的第二个损失函数Lk为第C个分类器与每个浅层分类器的softmax输出之间的KL散度之和,即:
其中,KL(qi,qC)为KL散度。
自蒸馏过程的第三个损失函数Ll是自蒸馏模型Ms中最深层部分与每个浅层部分之间的L2距离之和,即:
其中,Fi为输入到分类器θi的特征,FC为输入到分类器θC的特征(由瓶颈层输出)。
将这三个损失函数合并,作为自蒸馏过程的总损失函数:
其中,α和λ分别为平衡参数。
S6、自蒸馏模型Ms的优化训练,具体包括以下子步骤:
S6-1先进行数据增强:对数据集DL和数据集DU中的每个样本图像都进行随机旋转、随机平移和随机缩放。
S6-2训练自蒸馏模型Ms:使用数据集DL对自蒸馏模型Ms进行训练;采用Adam优化器,初始学习率设为0.001,每训练10个epoch降低10%;最大训练epoch为100。
S6-3训练过程中监控模型的表现,当自蒸馏模型Ms在验证集上的性能在连续10个epoch中没有提高时,停止训练,得到训练好的自蒸馏模型Ms
进一步地,步骤S2的训练过程中采用Adam优化器进行参数优化。
进一步地,步骤S3中,在每个样本的伪标签生成过程中,是选择预训练模型Mt预测的置信度最高的标签作为该样本的伪标签。
进一步地,步骤S4中,学生分类器通过分别对齐学生预测和教师预测,学生预测和伪标签,学生特征图和教师特征图进行学习和调整。。
本发明预测方法利用伪标签技术,可以充分利用未标注的数据,提高模型的预测准确性。同时,通过自蒸馏技术,可以有效地降低模型的计算复杂度,使模型更易于实际部署应用。
本发明预测方法对于多种类型的图像分类和预测任务都具有广泛的应用潜力。同时,由于其结构简单,实现起来易于操作,因此具有较强的实用性和可操作性。本发明预测方法利用深度学习技术,特别是伪标签自蒸馏技术,对肾癌CT图像进行Ki67表达预测,特别适用于医学图像分析、肿瘤病理诊断、药物研发等领域。
本发明预测方法通过利用伪标签和自蒸馏过程,有效地利用了未标记的肾癌CT图像,压缩了模型大小,提高了模型的预测性能。同时,这种方法也可广泛应用于其他的医学图像处理任务。本发明预测方法能够在未来的医学图像处理任务中发挥更大的作用,也可应用于其他类型的医学图像,如MRI、PET等。
附图说明
图1是本发明方法的网络框架结构示意图。
图2是自蒸馏模型中分类器的结构示意图。
具体实施方式
下面结合附图对本发明作进一步详述。
本发明应用于优化通过肾癌CT图像预测Ki67表达的模型的性能,该方法包括以下步骤:
首先,设有两个数据集,标记数据集DL,它包括与Ki67表达值相关的肾癌CT图像,未标记数据集DU,它只包括肾癌CT图像而不包含Ki67表达值。
在初始阶段,选择ResNet-101作为基础模型,利用标记数据集DL进行预训练。预训练结束后,获得了预训练模型Mt,它可以根据肾癌CT图像预测Ki67表达值。
随后,将预训练模型Mt应用于未标记数据集DU,生成对应的Ki67伪标签。具体来说,将未标记的CT图像输入到预训练模型Mt,生成预测的Ki67表达值,然后将这些预测值作为未标记数据集DU的伪标签。
接着,开始进行自蒸馏过程。构建自蒸馏模型Ms,该模型以ResNet-18作为骨干网络。此网络被分为四个部分,其中最深的部分(第四部分)被视为浅层部分(第一到第三部分)的教师。
在自蒸馏过程中,每个部分的输出都经过一系列瓶颈层,然后是一个全连接层和一个softmax层,使得每个部分都能作为一个分类器。这些分类器被称为学生分类器,它们通过最深部分(即教师分类器)进行学习和调整。
在具体实施中,蒸馏过程主要从三个方面进行指导:学生分类器的分类结果应该与伪标签相似,学生分类器的分类结果应该与教师分类器相似,以及各部分之间的特征图应有一定的相似度。
具体来说,学生分类器的分类结果与伪标签相似性的度量,采用了KL散度。计算预测标签和伪标签之间的KL散度,从而使伪标签中的弱监督知识被浅层部分隐式利用。
学生分类器的分类结果与教师分类器相似性的度量,也采用了交叉熵。计算学生预测标签和教师标签之间的交叉熵,使得学生部分隐含的弱监督知识通过教师分类器隐式地传递。
对于各部分之间的特征图的相似性,计算最深层和每个浅层之间的特征图之间的L2损失。这样,最深层的特征图的隐含知识可以被引入到浅层部分中,以改善特征提取。
在自蒸馏过程中,构建了损失函数来实现上述三个指导原则。
定义表示Ms中的分类器,它被划分为C个部分,因此概念上包含C个分类器。
第i个分类器的softmax输出为qi,i=1,2,3,4。最深分类器的softmax输出特别表示为qC,即q4=qC
对于每一个输入图像x,网络Ms最终输出预测标签。
将自蒸馏过程的第一个损失函数设定为通过Mt得到的伪标签与分类器的softmax输出之间的交叉熵之和:/>其中,CE(·)为交叉熵。
自蒸馏过程的第二个损失函数设定为第C个分类器和每个浅层分类器的softmax输出之间的KL散度之和:其中,KL(·)为KL散度。
自蒸馏过程的第三个损失函数设定为最深的部分与每个浅的部分之间的L2距离之和:其中,Fi和FC分别表示输入到分类器θi和θC的特征(由瓶颈层输出)。
于是,将这三个损失函数合并为:其中,α和λ分别设为0.3和0.003的平衡参数。
通过这种自蒸馏过程,可以得到训练好的自蒸馏模型Ms,它可以使用未标记的肾癌CT图像进行Ki67表达预测。
接下来,进入优化训练阶段。首先进行数据增强。对于每个在未标记数据集DU和标记数据集DL中的肾癌CT图像,都进行随机旋转、随机平移和随机缩放。这种数据增强可以增加模型的泛化能力,因为它可以增加模型在训练时接触到的图像的多样性。设置随机旋转的角度范围为-10度到10度,随机平移的范围为图像宽度的5%,随机缩放的范围为0.9到1.1倍。
接着,开始训练自蒸馏模型Ms。使用标记数据集DL和生成的伪标签对自蒸馏模型Ms进行训练。采用Adam优化器,初始学习率设为0.001,每训练10个epoch降低10%。设定的最大训练epoch为100。
在训练过程中,监控模型的表现。当模型在验证集上的性能在连续10个epoch中没有提高时,将停止训练,以避免模型过拟合。
训练完成后,得到了训练好的自蒸馏模型Ms。这个模型已经能够根据肾癌CT图像预测Ki67表达值。
为了验证模型的性能,在一个单独的测试集上进行评估。将模型的预测结果与测试集上的真实标签进行比较,计算模型的准确率、召回率和F1值。
这些评估指标有助于了解模型的性能,以及模型在处理未见过的数据时的泛化能力。
通过这种方法,可以利用大量的未标记肾癌CT图像,通过自蒸馏过程,提取其中的隐含知识,提高模型的预测性能。
需要指出的是,虽然本发明使用的是ResNet-18和ResNet-101,但是这种方法是不依赖于具体模型。任何其他的深度学习模型,如VGG、Inception等,都可以用来替代ResNet-18和ResNet-101。
同样,本发明使用的是Ki67的表达值作为预测目标,但这种方法同样可以用来预测其他的生物标志物的表达值,或者用来做其他的图像分类任务。

Claims (4)

1.一种Ki67影像预测模型的伪标签自蒸馏优化方法,其特征是,包括以下步骤:
S1、收集若干用Ki67表达标签标注的肾癌CT图像样本,构成数据集DL;收集若干没有用Ki67表达标签标注的肾癌CT图像样本,构成数据集DU
S2、选择ResNet-101作为基础训练模型,用数据集DL进行预训练,训练出能够预测Ki67表达的预训练模型Mt
S3、将数据集DU输入预训练模型Mt,对数据集DU中的每个样本生成一个预测的Ki67表达值,用该表达值作为该样本的伪标签,从而使没有标签的数据集DU转变成为带有伪标签的数据集DU
S4、构建以ResNet-18作为骨干网络的自蒸馏模型Ms,所述自蒸馏模型Ms包括四个瓶颈层、四个全连接层和四个softmax层;其最深层部分为教师分类器,其他的浅层部分为学生分类器;学生分类器通过教师分类器进行学习和调整;
S5、自蒸馏模型Ms的自蒸馏过程,包括以下子步骤:
S5-1将带有伪标签的数据集DU中的伪标签与样本图像一并输入自蒸馏模型Ms
S5-2自蒸馏模型Ms的分类器根据样本图像生成对应的分类标签预测,再计算预测标签与伪标签之间的交叉熵,将其作为自蒸馏过程的第一个损失函数;
S5-3计算学生分类器根据样本图像生成的预测标签与教师分类器生成的教师标签之间的KL散度,将其作为自蒸馏过程的第二个损失函数;
S5-4计算最深层部分与每个浅层部分之间的特征图之间的L2损失,将其作为自蒸馏过程的第三个损失函数;
S5-5自蒸馏模型Ms中的分类器为:其中,C为自蒸馏模型Ms中分类器的个数;第i个分类器的softmax输出为:qi(i=1,2,3,4);最深分类器的softmax输出特别表示为qC,即q4=qC
每输入一个样本图像x,自蒸馏模型Ms即输出一个预测标签;
自蒸馏过程的第一个损失函数Lc为通过预训练模型Mt得到的伪标签与分类器的softmax输出qi之间的交叉熵之和,即:
其中,为交叉熵;
自蒸馏过程的第二个损失函数Lk为第C个分类器与每个浅层分类器的softmax输出之间的KL散度之和,即:
其中,KL(qi,qC)为KL散度;
自蒸馏过程的第三个损失函数Ll是自蒸馏模型Ms中最深层部分与每个浅层部分之间的L2距离之和,即:
其中,Fi为输入到分类器θi的特征,FC为输入到分类器θC的特征(由瓶颈层输出);
将这三个损失函数合并,作为自蒸馏过程的总损失函数:
其中,α和λ分别为平衡参数;
S6、自蒸馏模型Ms的优化训练,具体包括以下子步骤:
S6-1先进行数据增强:对数据集DL和数据集DU中的每个样本图像都进行随机旋转、随机平移和随机缩放;
S6-2训练自蒸馏模型Ms:使用数据集DL对自蒸馏模型Ms进行训练;采用Adam优化器,初始学习率设为0.001,每训练10个epoch降低10%;最大训练epoch为100;
S6-3训练过程中监控模型的表现,当自蒸馏模型Ms在验证集上的性能在连续10个epoch中没有提高时,停止训练,得到训练好的自蒸馏模型Ms
2.根据权利要求1所述的Ki67影像预测模型的伪标签自蒸馏优化方法,其特征是,在步骤S2的训练过程中,采用Adam优化器进行参数优化。
3.根据权利要求1所述的Ki67影像预测模型的伪标签自蒸馏优化方法,其特征是,步骤S3中,在每个样本的伪标签生成过程中,是选择预训练模型Mt预测的置信度最高的标签作为该样本的伪标签。
4.根据权利要求1所述的Ki67影像预测模型的伪标签自蒸馏优化方法,其特征是,步骤S4中,学生分类器通过分别对齐学生预测和教师预测,学生预测和伪标签,学生特征图和教师特征图进行学习和调整。
CN202310734229.7A 2023-06-20 2023-06-20 Ki67影像预测模型的伪标签自蒸馏优化方法 Active CN116824297B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310734229.7A CN116824297B (zh) 2023-06-20 2023-06-20 Ki67影像预测模型的伪标签自蒸馏优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310734229.7A CN116824297B (zh) 2023-06-20 2023-06-20 Ki67影像预测模型的伪标签自蒸馏优化方法

Publications (2)

Publication Number Publication Date
CN116824297A CN116824297A (zh) 2023-09-29
CN116824297B true CN116824297B (zh) 2024-02-06

Family

ID=88112123

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310734229.7A Active CN116824297B (zh) 2023-06-20 2023-06-20 Ki67影像预测模型的伪标签自蒸馏优化方法

Country Status (1)

Country Link
CN (1) CN116824297B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114066882A (zh) * 2021-12-14 2022-02-18 中南大学 一种基于深度影像组学的肺腺癌Ki67表达水平无创检测方法及装置
CN114548279A (zh) * 2022-02-23 2022-05-27 浙江外国语学院 一种基于蒸馏网络的半监督图像分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023501126A (ja) * 2019-11-22 2023-01-18 エフ.ホフマン-ラ ロシュ アーゲー 組織画像分類用のマルチインスタンス学習器

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114066882A (zh) * 2021-12-14 2022-02-18 中南大学 一种基于深度影像组学的肺腺癌Ki67表达水平无创检测方法及装置
CN114548279A (zh) * 2022-02-23 2022-05-27 浙江外国语学院 一种基于蒸馏网络的半监督图像分类方法

Also Published As

Publication number Publication date
CN116824297A (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
Jafari-Marandi et al. An optimum ANN-based breast cancer diagnosis: Bridging gaps between ANN learning and decision-making goals
Wang et al. When cnn meet with vit: Towards semi-supervised learning for multi-class medical image semantic segmentation
CN114299380A (zh) 对比一致性学习的遥感图像语义分割模型训练方法及装置
Xiang et al. Semi-supervised learning framework for crack segmentation based on contrastive learning and cross pseudo supervision
CN116664931A (zh) 基于量子向经典迁移学习的膝骨关节炎分级方法
CN116579345B (zh) 命名实体识别模型的训练方法、命名实体识别方法及装置
US20240120022A1 (en) Predicting protein amino acid sequences using generative models conditioned on protein structure embeddings
Xie et al. RDAD: A reconstructive and discriminative anomaly detection model based on transformer
CN118115507A (zh) 基于跨域类别感知图卷积对齐的图像分割方法
Wang et al. Self-supervised learning for high-resolution remote sensing images change detection with variational information bottleneck
Saboor et al. DDFC: deep learning approach for deep feature extraction and classification of brain tumors using magnetic resonance imaging in E-healthcare system
Banerjee et al. Explaining deep-learning models using gradient-based localization for reliable tea-leaves classifications
Ardan et al. Design of Brain Tumor Detection System on MRI Image Using CNN
Louati et al. Advancing Sustainable COVID-19 Diagnosis: Integrating Artificial Intelligence with Bioinformatics in Chest X-ray Analysis
CN116824297B (zh) Ki67影像预测模型的伪标签自蒸馏优化方法
Sajedi et al. On the efficiency of subclass knowledge distillation in classification tasks
Liu et al. Semi‐supervised breast histopathological image classification with self‐training based on non‐linear distance metric
Liu et al. A YOLOX Object Detection Algorithm Based on Bidirectional Cross-scale Path Aggregation
Saravanan et al. A Survey on Brain Tumor Prediction with Various Machine Learning Approaches
Abdel Magid et al. Channel embedding for informative protein identification from highly multiplexed images
Prayogo et al. An Improved Transfer Learning-Based Model with Data Augmentation for Brain Tumor Detection
Ding et al. Semantic Segmentation of Remote Sensing Architectural Images Based on GAN and UNet3+ Model
Li et al. TPFR-Net: U-shaped model for lung nodule segmentation based on transformer pooling and dual-attention feature reorganization
US20240046486A1 (en) Method and apparatus with object tracking
Ke et al. Semi-supervised Medical Image Classification Combining Metric Pseudo-Label and Classification Pseudo-Label

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant