CN114758172A - 一种基于安全对比自集成框架的半监督医学图像分类方法 - Google Patents
一种基于安全对比自集成框架的半监督医学图像分类方法 Download PDFInfo
- Publication number
- CN114758172A CN114758172A CN202210362531.XA CN202210362531A CN114758172A CN 114758172 A CN114758172 A CN 114758172A CN 202210362531 A CN202210362531 A CN 202210362531A CN 114758172 A CN114758172 A CN 114758172A
- Authority
- CN
- China
- Prior art keywords
- data
- loss
- network
- weight
- medical image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000006870 function Effects 0.000 claims abstract description 45
- 230000008447 perception Effects 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 5
- 238000005457 optimization Methods 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 239000000463 material Substances 0.000 claims description 2
- 239000004576 sand Substances 0.000 claims description 2
- 230000004069 differentiation Effects 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于安全对比自集成框架的半监督医学图像分类方法,包括以下步骤:首先,选择一批由标注和未标注数据组成的数据对其增加数据扰动,重复两次处理得到两组数据,分别输入学生与教师网络;然后,设计权重函数并利用有监督损失更新权重函数,自动为每个未标记数据分配权重;结合权重参数以及两支网络的概率输出,建立可靠感知的一致性损失;进一步,结合权重参数以及利用投影网络得到两支网络输出的归一化低维表示,建立可靠感知的对比损失;最后,分别对所有损失函数加权求和形成最终损失函数,并交替更新网络参数和权重函数参数。本发明提出的方法能够同时学习可靠的数据层面和数据结构层面的信息,提升了模型的鲁棒性和泛化性。
Description
技术领域
本发明涉及一种基于安全对比自集成框架的半监督医学图像分类方法,属于医学图像分类领域。
背景技术
近年来,深度学习在临床医学领域取得了较大突破,广泛应用于病理学、医学成像与诊断、生物信息学等。一般地,深度学习需要大量的标记数据进行网络学习。由于采集大量高质量的标记医学数据耗时费力并且需要专业的医学知识,阻碍了深度学习方法在临床中的示范应用。深度半监督学习方法能够利用大量的未标记医学数据辅助深度网络的建立,其中,自集成模型已被证明能够取得较好的半监督医学图像分类性能。然而,目前的自集成模型均忽略了未标记医学图像的可靠性问题。从不同人群、设备和环境中获取的未标记医学图像之间不可避免地存在差异,直接利用未标记的医学图像,给所有的未标记数据分配相同的权重,可能会对自集成方法的分类性能产生负面影响,现有方法在实际应用中的安全性、泛化性方面始终存在局限。
针对上述问题,本发明提出一种安全感知对比自集成框架。首先,将权重函数引入平均教师模型,能够将无标记的医学数据的概率预测映射成为反映其可靠性的权重,从而安全地利用不同扰动下未标记数据的概率预测为网络模型构建可靠感知的一致性损失。为了利用医学图像的数据结构层面的信息,本发明进一步设计了可靠感知的对比损失,鼓励可靠的未标记数据具有更好的类内紧凑和类间可分离性。所构建的网络框架可以同时捕获可靠的数据层面和数据结构层面的信息,提升模型的鲁棒性和泛化能力。
发明内容
本发明提供了一种基于安全对比自集成框架的半监督医学图像分类方法,在平均教师模型的基础上,将密集连接卷积网络作为平均教师模型的主干网络,引入权重函数将每个未标记数据的概率预测映射成为能够衡量其可靠性的唯一权重,结合所有未标记数据的权重来建立可靠感知的对比损失和可靠感知的一致性损失,并与交叉熵损失函数一起构成最终的损失函数,通过交替迭代来更新网络参数与权重函数参数。
本发明为解决上述问题采用以下技术方案:
一种基于安全对比自集成框架的半监督医学图像分类方法,包括如下步骤:
步骤2:通过对一批由无标记样本和有标记样本组成的训练数据进行随机旋转与仿射变换来增加数据扰动,重复两次处理后,得到两组已增加扰动的输入数据,分别将两组数据输入平均教师模型的学生网络与教师网络;
步骤3:利用步骤2中学生网络的输出经过softmax函数得到的概率输出与真实标签一起计算有监督损失;
步骤4:设计权重函数,利用有标记数据在学生网络上的有监督损失更新权重函数,得到每个无标签数据的权重βi;
步骤5:利用步骤2中学生与教师网络的输出经过softmax函数得到的概率输出,结合步骤3中计算的无标签数据的权重,计算平均教师模型的可靠感知一致性损失;
步骤6:利用投影网络对步骤2中学生网络以及教师网络的输出进行归一化低维表示,分别得到Zs和Zt,结合步骤4中计算的无标签数据的权重,计算平均教师模型的可靠感知对比损失;
步骤7:分别对步骤3计算的有监督损失、步骤5计算的可靠感知一致性损失以及步骤6计算的可靠感知对比损失,加权求和形成最终损失函数;
步骤8:构建内外双层的优化方法,交替更新权重函数的参数w和网络参数θ。
优选的,本发明提出将权重函数引入平均教师模型,自动为每个未标记数据分配唯一的权重,通过持续跟踪标记数据的分类性能,防止在使用加权未标记数据后网络模型性能下降,权重函数具体表示为:
βi=g(f(xi;θ,η),w) (1)
优选的,本发明设计的可靠感知一致性损失以及可靠感知对比损失作为网络模型的核心,具体表示为:
Lrcs=βiLC (2)
其中,Lrcs表示可靠感知一致性损失,Lrct表示可靠感知对比损失,LC是最小均方误差度量,对于第i个无标记数据的归一化低维特征表示zi,由教师网络得到的伪标签表示为A(i)≡Zs∪Zt\{i},以及代表A(i)中所有正类的索引集合,τ是一个温度参数,取值为0.5。
有益效果:
1、本发明将权重函数引入平均教师模型,将每个未标记数据的概率预测映射成能够反映其可靠性的相应权重,能够缓解无区别地利用未标记的医学图像可能会对平均教师模型分类性能带来的负面影响。
2、本发明设计的可靠感知一致性约束,通过惩罚不同输入扰动下标记数据和可靠的未标记数据的不一致的概率预测,缓解平均教师模型利用不可靠的未标记数据导致的性能下降问题,提升了网络模型对数据层面信息的学习能力。其次,利用投影网络对医学图像数据的深度特征进行归一化低维表示,通过可靠感知对比约束,鼓励标记数据和可靠的未标记数据具有更好的类内紧凑性和类间可分性,能够学习可靠的数据结构层面的信息。综上,两种约束共同提升网络模型的安全性和泛化性。
附图说明
图1是本发明中基于安全对比自集成框架的半监督医学图像分类方法的网络框架图。
具体实施方式
请参阅图1所示:
下面结合实例对本发明做更进一步的解释。
本发明主要实施流程如下,相关网络框架见图1.
步骤2:取一批由无标记样本和有标记样本组成的训练数据,进行随机旋转与仿射变换来增加数据扰动,本发明依据0.5的概率对图像进行水平翻转,随机旋转角度范围(-10度,10度),对应的长宽两个维度的平移区间参数为(0.02,0.02)。重复两次处理后,得到两组已增加扰动的输入数据,分别将两组数据输入平均教师模型的学生网络与教师网络。
步骤3:利用步骤2中学生网络的输出经过softmax函数得到的概率输出与真实标签一起计算有监督损失,具体表示为:
其中Lsup表示有监督损失,θ学生网络参数。
步骤4:设计权重函数,利用有标记数据在学生网络上的有监督损失更新权重函数,权重函数自动为每个未标记数据分配其唯一的权重βi,利用由参数化的权重函数将未标记数据的概率预测映射到对应的权重βi,具体表示为:
βi=g(f(xi;θ,η),w) (5)
步骤5:利用步骤2中学生与教师网络的输出经过softmax函数得到的概率输出,结合步骤3中计算的无标签数据的权重βi,计算平均教师模型的可靠感知的一致性损失,具体表示为:
Lrcs=g(f(xi;θ,η),w)·LC=βiLC (6)
其中,LC是距离度量式,本发明采用的是最小均方误差,式(6)惩罚在不同输入扰动下标记数据和可靠的未标记数据的不一致预测。
步骤7:分别对有监督损失、可靠感知一致性损失和可靠感知对比损失加权求和形成最终损失函数,最终的目标函数表示为如下双层优化问题:
步骤8:为了解决步骤7中的双层优化问题,本发明将外层目标表示为Louter(θ),将内层目标表示为Linner(θ,w),交替更新权重函数的参数w和网络参数θ。首先,更新网络参数θ,通过固定权重函数g的参数wt,θt+1可以优化如下:
其中ηθ是步长;然后使用网络参数θt+1,根据有监督损失的梯度更新权重函数g的参数w:
其中ηw是步长,通过深度学习框架的自动微分技术计算出Louter(θt+1)相对于参数wt的梯度。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所做的等效结构或等流程变换,或直接或间接运用在相关技术领域,均同理包括在本发明的专利保护范围。
Claims (7)
1.一种基于安全对比自集成框架的半监督医学图像分类方法,其特征在于,步骤如下:
步骤2:通过对一批由无标记样本和有标记样本组成的训练数据进行随机旋转与仿射变换来增加数据扰动,重复两次处理后,得到两组已增加扰动的输入数据,分别将两组数据输入平均教师模型的学生网络与教师网络;
步骤3:利用步骤2中学生网络的输出经过softmax函数得到的概率输出与真实标签一起计算有监督损失;
步骤4:设计权重函数,利用有标记数据在学生网络上的有监督损失更新权重函数,得到每个无标签数据的权重βi;
步骤5:利用步骤2中学生与教师网络的输出经过softmax函数得到的概率输出,结合步骤3中计算的无标签数据的权重,计算平均教师模型的可靠感知一致性损失;
步骤6:利用投影网络对步骤2中学生网络以及教师网络的输出进行归一化低维表示,分别得到Zs和Zt,结合步骤4中计算的无标签数据的权重,计算平均教师模型的可靠感知对比损失;
步骤7:分别对步骤3计算的有监督损失、步骤5计算的可靠感知一致性损失以及步骤6计算的可靠感知对比损失,加权求和形成最终损失函数;
步骤8:构建内外双层的优化方法,交替更新权重函数的参数w和网络参数θ;
步骤9:将待分类的医学图像数据输入最终的网络模型,得到其类别标签。
4.根据权利要求1所述的一种基于安全对比自集成框架的半监督医学图像分类方法,其特征在于,步骤5中,所述将学生与教师网络的输出经过softmax函数得到的概率输出,结合式(2)计算的无标签数据的权重βi,计算平均教师模型的可靠感知的一致性损失,具体表示为:
Lrcs=g(f(xi;θ,η),w)·LC=βiLC (3)
其中,LC是距离度量式,式(3)惩罚在不同输入扰动下标记数据和可靠的未标记数据的不一致预测。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210362531.XA CN114758172A (zh) | 2022-04-07 | 2022-04-07 | 一种基于安全对比自集成框架的半监督医学图像分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210362531.XA CN114758172A (zh) | 2022-04-07 | 2022-04-07 | 一种基于安全对比自集成框架的半监督医学图像分类方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114758172A true CN114758172A (zh) | 2022-07-15 |
Family
ID=82329520
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210362531.XA Pending CN114758172A (zh) | 2022-04-07 | 2022-04-07 | 一种基于安全对比自集成框架的半监督医学图像分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114758172A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116468746A (zh) * | 2023-03-27 | 2023-07-21 | 华东师范大学 | 一种双向复制粘贴的半监督医学图像分割方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200043171A1 (en) * | 2018-07-31 | 2020-02-06 | Element Ai Inc. | Counting objects in images based on approximate locations |
CN113033603A (zh) * | 2021-02-05 | 2021-06-25 | 浙江大学 | 一种基于元学习的弱监督图像多标签分类方法 |
CN113378632A (zh) * | 2021-04-28 | 2021-09-10 | 南京大学 | 一种基于伪标签优化的无监督域适应行人重识别算法 |
CN113573633A (zh) * | 2019-01-10 | 2021-10-29 | 威里利生命科学有限责任公司 | 基于手术视频的手术工作流和活动检测 |
CN113936275A (zh) * | 2021-10-14 | 2022-01-14 | 上海交通大学 | 一种基于区域特征对齐的无监督域适应语义分割方法 |
-
2022
- 2022-04-07 CN CN202210362531.XA patent/CN114758172A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200043171A1 (en) * | 2018-07-31 | 2020-02-06 | Element Ai Inc. | Counting objects in images based on approximate locations |
CN113573633A (zh) * | 2019-01-10 | 2021-10-29 | 威里利生命科学有限责任公司 | 基于手术视频的手术工作流和活动检测 |
CN113033603A (zh) * | 2021-02-05 | 2021-06-25 | 浙江大学 | 一种基于元学习的弱监督图像多标签分类方法 |
CN113378632A (zh) * | 2021-04-28 | 2021-09-10 | 南京大学 | 一种基于伪标签优化的无监督域适应行人重识别算法 |
CN113936275A (zh) * | 2021-10-14 | 2022-01-14 | 上海交通大学 | 一种基于区域特征对齐的无监督域适应语义分割方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116468746A (zh) * | 2023-03-27 | 2023-07-21 | 华东师范大学 | 一种双向复制粘贴的半监督医学图像分割方法 |
CN116468746B (zh) * | 2023-03-27 | 2023-12-26 | 华东师范大学 | 一种双向复制粘贴的半监督医学图像分割方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Mehta et al. | Federated learning-based semantic segmentation for pixel-wise defect detection in additive manufacturing | |
CN108875794B (zh) | 一种基于迁移学习的图像能见度检测方法 | |
CN108304864B (zh) | 深度对抗度量学习方法及装置 | |
CN112132149B (zh) | 一种遥感影像语义分割方法及装置 | |
CN112990280A (zh) | 面向图像大数据的类增量分类方法、系统、装置及介质 | |
CN114092697B (zh) | 注意力融合全局和局部深度特征的建筑立面语义分割方法 | |
Cai et al. | A robust interclass and intraclass loss function for deep learning based tongue segmentation | |
CN112115967A (zh) | 一种基于数据保护的图像增量学习方法 | |
CN113821668A (zh) | 数据分类识别方法、装置、设备及可读存储介质 | |
CN115496720A (zh) | 基于ViT机制模型的胃肠癌病理图像分割方法及相关设备 | |
CN114758172A (zh) | 一种基于安全对比自集成框架的半监督医学图像分类方法 | |
CN115661652A (zh) | 一种面向对象的图神经网络非监督遥感影像变化检测方法 | |
CN115578353A (zh) | 一种基于图流蒸馏的多模态医学影像分割方法及装置 | |
Dunphy et al. | Data augmentation for deep-learning-based multiclass structural damage detection using limited information | |
CN115357805A (zh) | 一种基于内外部视角的群组推荐方法 | |
Azarmehr et al. | Neural architecture search of echocardiography view classifiers | |
WO2023015658A1 (zh) | 一种基于类脑时空感知表征的兴趣点推荐方法及系统 | |
CN115631008B (zh) | 商品推荐方法、装置、设备及介质 | |
Sun et al. | From video to hyperspectral: Hyperspectral image-level feature extraction with transfer learning | |
CN117457192A (zh) | 智能远程诊断方法及系统 | |
CN110717402B (zh) | 一种基于层级优化度量学习的行人再识别方法 | |
CN116226467A (zh) | 基于节点结构特征的图卷积神经网络的社区发现方法 | |
Wu et al. | Fault Diagnosis Algorithm of Beam Pumping Unit Based on Transfer Learning and DenseNet Model | |
CN116310545A (zh) | 一种基于深度层次化最优传输的跨域舌头图像分类方法 | |
CN114565919B (zh) | 基于数字病理图像的肿瘤微环境空间关系建模系统与方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |