CN114758172A - 一种基于安全对比自集成框架的半监督医学图像分类方法 - Google Patents

一种基于安全对比自集成框架的半监督医学图像分类方法 Download PDF

Info

Publication number
CN114758172A
CN114758172A CN202210362531.XA CN202210362531A CN114758172A CN 114758172 A CN114758172 A CN 114758172A CN 202210362531 A CN202210362531 A CN 202210362531A CN 114758172 A CN114758172 A CN 114758172A
Authority
CN
China
Prior art keywords
data
loss
network
weight
medical image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210362531.XA
Other languages
English (en)
Inventor
杭文龙
黄烨铖
殷明波
梁爽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Tech University
Original Assignee
Nanjing Tech University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Tech University filed Critical Nanjing Tech University
Priority to CN202210362531.XA priority Critical patent/CN114758172A/zh
Publication of CN114758172A publication Critical patent/CN114758172A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于安全对比自集成框架的半监督医学图像分类方法,包括以下步骤:首先,选择一批由标注和未标注数据组成的数据对其增加数据扰动,重复两次处理得到两组数据,分别输入学生与教师网络;然后,设计权重函数并利用有监督损失更新权重函数,自动为每个未标记数据分配权重;结合权重参数以及两支网络的概率输出,建立可靠感知的一致性损失;进一步,结合权重参数以及利用投影网络得到两支网络输出的归一化低维表示,建立可靠感知的对比损失;最后,分别对所有损失函数加权求和形成最终损失函数,并交替更新网络参数和权重函数参数。本发明提出的方法能够同时学习可靠的数据层面和数据结构层面的信息,提升了模型的鲁棒性和泛化性。

Description

一种基于安全对比自集成框架的半监督医学图像分类方法
技术领域
本发明涉及一种基于安全对比自集成框架的半监督医学图像分类方法,属于医学图像分类领域。
背景技术
近年来,深度学习在临床医学领域取得了较大突破,广泛应用于病理学、医学成像与诊断、生物信息学等。一般地,深度学习需要大量的标记数据进行网络学习。由于采集大量高质量的标记医学数据耗时费力并且需要专业的医学知识,阻碍了深度学习方法在临床中的示范应用。深度半监督学习方法能够利用大量的未标记医学数据辅助深度网络的建立,其中,自集成模型已被证明能够取得较好的半监督医学图像分类性能。然而,目前的自集成模型均忽略了未标记医学图像的可靠性问题。从不同人群、设备和环境中获取的未标记医学图像之间不可避免地存在差异,直接利用未标记的医学图像,给所有的未标记数据分配相同的权重,可能会对自集成方法的分类性能产生负面影响,现有方法在实际应用中的安全性、泛化性方面始终存在局限。
针对上述问题,本发明提出一种安全感知对比自集成框架。首先,将权重函数引入平均教师模型,能够将无标记的医学数据的概率预测映射成为反映其可靠性的权重,从而安全地利用不同扰动下未标记数据的概率预测为网络模型构建可靠感知的一致性损失。为了利用医学图像的数据结构层面的信息,本发明进一步设计了可靠感知的对比损失,鼓励可靠的未标记数据具有更好的类内紧凑和类间可分离性。所构建的网络框架可以同时捕获可靠的数据层面和数据结构层面的信息,提升模型的鲁棒性和泛化能力。
发明内容
本发明提供了一种基于安全对比自集成框架的半监督医学图像分类方法,在平均教师模型的基础上,将密集连接卷积网络作为平均教师模型的主干网络,引入权重函数将每个未标记数据的概率预测映射成为能够衡量其可靠性的唯一权重,结合所有未标记数据的权重来建立可靠感知的对比损失和可靠感知的一致性损失,并与交叉熵损失函数一起构成最终的损失函数,通过交替迭代来更新网络参数与权重函数参数。
本发明为解决上述问题采用以下技术方案:
一种基于安全对比自集成框架的半监督医学图像分类方法,包括如下步骤:
步骤1:将医学图像训练数据分为有标签数据
Figure BSA0000270493340000011
与无标签数据
Figure BSA0000270493340000012
其中,xi表示第i个的医学图像样本,yi表示第i个样本的真实标签;
步骤2:通过对一批由无标记样本和有标记样本组成的训练数据进行随机旋转与仿射变换来增加数据扰动,重复两次处理后,得到两组已增加扰动的输入数据,分别将两组数据输入平均教师模型的学生网络与教师网络;
步骤3:利用步骤2中学生网络的输出经过softmax函数得到的概率输出与真实标签一起计算有监督损失;
步骤4:设计权重函数,利用有标记数据在学生网络上的有监督损失更新权重函数,得到每个无标签数据的权重βi
步骤5:利用步骤2中学生与教师网络的输出经过softmax函数得到的概率输出,结合步骤3中计算的无标签数据的权重,计算平均教师模型的可靠感知一致性损失;
步骤6:利用投影网络对步骤2中学生网络以及教师网络的输出进行归一化低维表示,分别得到Zs和Zt,结合步骤4中计算的无标签数据的权重,计算平均教师模型的可靠感知对比损失;
步骤7:分别对步骤3计算的有监督损失、步骤5计算的可靠感知一致性损失以及步骤6计算的可靠感知对比损失,加权求和形成最终损失函数;
步骤8:构建内外双层的优化方法,交替更新权重函数的参数w和网络参数θ。
优选的,本发明提出将权重函数引入平均教师模型,自动为每个未标记数据分配唯一的权重,通过持续跟踪标记数据的分类性能,防止在使用加权未标记数据后网络模型性能下降,权重函数具体表示为:
βi=g(f(xi;θ,η),w) (1)
优选的,本发明设计的可靠感知一致性损失以及可靠感知对比损失作为网络模型的核心,具体表示为:
Lrcs=βiLC (2)
Figure BSA0000270493340000021
其中,Lrcs表示可靠感知一致性损失,Lrct表示可靠感知对比损失,LC是最小均方误差度量,对于第i个无标记数据的归一化低维特征表示zi,由教师网络得到的伪标签表示为
Figure BSA0000270493340000022
A(i)≡Zs∪Zt\{i},以及
Figure BSA0000270493340000023
代表A(i)中所有正类的索引集合,τ是一个温度参数,取值为0.5。
有益效果:
1、本发明将权重函数引入平均教师模型,将每个未标记数据的概率预测映射成能够反映其可靠性的相应权重,能够缓解无区别地利用未标记的医学图像可能会对平均教师模型分类性能带来的负面影响。
2、本发明设计的可靠感知一致性约束,通过惩罚不同输入扰动下标记数据和可靠的未标记数据的不一致的概率预测,缓解平均教师模型利用不可靠的未标记数据导致的性能下降问题,提升了网络模型对数据层面信息的学习能力。其次,利用投影网络对医学图像数据的深度特征进行归一化低维表示,通过可靠感知对比约束,鼓励标记数据和可靠的未标记数据具有更好的类内紧凑性和类间可分性,能够学习可靠的数据结构层面的信息。综上,两种约束共同提升网络模型的安全性和泛化性。
附图说明
图1是本发明中基于安全对比自集成框架的半监督医学图像分类方法的网络框架图。
具体实施方式
请参阅图1所示:
下面结合实例对本发明做更进一步的解释。
本发明主要实施流程如下,相关网络框架见图1.
步骤1:将图像分为有标签数据
Figure BSA0000270493340000031
与无标签数据
Figure BSA0000270493340000032
其中,xi表示第i个的医学图像样本,yi表示第i个样本的真实标签;
步骤2:取一批由无标记样本和有标记样本组成的训练数据,进行随机旋转与仿射变换来增加数据扰动,本发明依据0.5的概率对图像进行水平翻转,随机旋转角度范围(-10度,10度),对应的长宽两个维度的平移区间参数为(0.02,0.02)。重复两次处理后,得到两组已增加扰动的输入数据,分别将两组数据输入平均教师模型的学生网络与教师网络。
步骤3:利用步骤2中学生网络的输出经过softmax函数得到的概率输出与真实标签一起计算有监督损失,具体表示为:
Figure BSA0000270493340000033
其中Lsup表示有监督损失,θ学生网络参数。
步骤4:设计权重函数,利用有标记数据在学生网络上的有监督损失更新权重函数,权重函数自动为每个未标记数据分配其唯一的权重βi,利用由
Figure BSA0000270493340000049
参数化的权重函数
Figure BSA00002704933400000410
将未标记数据的概率预测映射到对应的权重βi,具体表示为:
βi=g(f(xi;θ,η),w) (5)
步骤5:利用步骤2中学生与教师网络的输出经过softmax函数得到的概率输出,结合步骤3中计算的无标签数据的权重βi,计算平均教师模型的可靠感知的一致性损失,具体表示为:
Lrcs=g(f(xi;θ,η),w)·LC=βiLC (6)
其中,LC是距离度量式,本发明采用的是最小均方误差,式(6)惩罚在不同输入扰动下标记数据和可靠的未标记数据的不一致预测。
步骤6:将步骤2中学生网络以及教师网络的结果输入投影网络,分别得到B个未标记数据的
Figure BSA0000270493340000041
Figure BSA0000270493340000042
归一化低维表示,结合步骤4中计算的无标签数据的权重,计算平均教师模型的可靠感知的对比损失,具体表示为:
Figure BSA0000270493340000043
其中,βi,i=1,2,…,2B是zi的权重参数,对于第i个未标记数据,由教师网络得到的伪标签表示为
Figure BSA0000270493340000044
A(i)≡Zs∪Zt\{i},
Figure BSA0000270493340000045
代表A(i)中所有正类的索引集合,τ是一个温度参数,本发明取0.5。
步骤7:分别对有监督损失、可靠感知一致性损失和可靠感知对比损失加权求和形成最终损失函数,最终的目标函数表示为如下双层优化问题:
Figure BSA0000270493340000046
其中β包含
Figure BSA0000270493340000047
Figure BSA0000270493340000048
βL与βU是由式(5)自动计算。Ls(·;θ)代表监督损失。
步骤8:为了解决步骤7中的双层优化问题,本发明将外层目标表示为Louter(θ),将内层目标表示为Linner(θ,w),交替更新权重函数的参数w和网络参数θ。首先,更新网络参数θ,通过固定权重函数g的参数wt,θt+1可以优化如下:
Figure BSA0000270493340000051
其中ηθ是步长;然后使用网络参数θt+1,根据有监督损失的梯度更新权重函数g的参数w:
Figure BSA0000270493340000052
其中ηw是步长,通过深度学习框架的自动微分技术计算出Loutert+1)相对于参数wt的梯度。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所做的等效结构或等流程变换,或直接或间接运用在相关技术领域,均同理包括在本发明的专利保护范围。

Claims (7)

1.一种基于安全对比自集成框架的半监督医学图像分类方法,其特征在于,步骤如下:
步骤1:将医学图像训练数据分为有标签数据
Figure FSA0000270493330000011
与无标签数据
Figure FSA0000270493330000012
其中,xi表示第i个的医学图像样本,yi表示第i个样本的真实标签;
步骤2:通过对一批由无标记样本和有标记样本组成的训练数据进行随机旋转与仿射变换来增加数据扰动,重复两次处理后,得到两组已增加扰动的输入数据,分别将两组数据输入平均教师模型的学生网络与教师网络;
步骤3:利用步骤2中学生网络的输出经过softmax函数得到的概率输出与真实标签一起计算有监督损失;
步骤4:设计权重函数,利用有标记数据在学生网络上的有监督损失更新权重函数,得到每个无标签数据的权重βi
步骤5:利用步骤2中学生与教师网络的输出经过softmax函数得到的概率输出,结合步骤3中计算的无标签数据的权重,计算平均教师模型的可靠感知一致性损失;
步骤6:利用投影网络对步骤2中学生网络以及教师网络的输出进行归一化低维表示,分别得到Zs和Zt,结合步骤4中计算的无标签数据的权重,计算平均教师模型的可靠感知对比损失;
步骤7:分别对步骤3计算的有监督损失、步骤5计算的可靠感知一致性损失以及步骤6计算的可靠感知对比损失,加权求和形成最终损失函数;
步骤8:构建内外双层的优化方法,交替更新权重函数的参数w和网络参数θ;
步骤9:将待分类的医学图像数据输入最终的网络模型,得到其类别标签。
2.根据权利要求1所述的一种基于安全对比自集成框架的半监督医学图像分类方法,其特征在于,步骤3中,所述将学生网络的输出经过softmax函数得到的概率输出与真实标签一起计算有监督损失,具体表示为:
Figure FSA0000270493330000013
其中Lsup表示有监督损失,θ学生网络参数。
3.根据权利要求1所述的一种基于安全对比自集成框架的半监督医学图像分类方法,其特征在于,步骤4中,设计权重函数,利用有标记数据在学生网络上的有监督损失更新权重函数,权重函数自动为每个未标记数据分配其唯一的权重βi,利用由
Figure FSA0000270493330000014
参数化的权重函数
Figure FSA0000270493330000021
将未标记数据的概率预测映射到对应的权重βi,具体表示为:
βi=g(f(xi;θ,η),w) (2) 。
4.根据权利要求1所述的一种基于安全对比自集成框架的半监督医学图像分类方法,其特征在于,步骤5中,所述将学生与教师网络的输出经过softmax函数得到的概率输出,结合式(2)计算的无标签数据的权重βi,计算平均教师模型的可靠感知的一致性损失,具体表示为:
Lrcs=g(f(xi;θ,η),w)·LC=βiLC (3)
其中,LC是距离度量式,式(3)惩罚在不同输入扰动下标记数据和可靠的未标记数据的不一致预测。
5.根据权利要求1所述的一种基于安全对比自集成框架的半监督医学图像分类方法,其特征在于,步骤6中,所述将学生网络以及教师网络的结果输入投影网络,分别得到B个未标记数据的
Figure FSA0000270493330000022
Figure FSA0000270493330000023
归一化低维表示,结合计算的无标签数据的权重,计算平均教师模型的可靠感知的对比损失,具体表示为:
Figure FSA0000270493330000024
其中,βi,i=1,2,…,2B是zi的权重参数,对于第i个未标记数据,由教师网络得到的伪标签表示为
Figure FSA0000270493330000025
A(i)≡Zs∪Zt\{i},
Figure FSA0000270493330000026
代表A(i)中所有正类的索引集合,τ是一个温度参数。
6.根据权利要求1所述的一种基于安全对比自集成框架的半监督医学图像分类方法,其特征在于,步骤7中,分别对有监督损失、可靠感知一致性损失和可靠感知对比损失加权求和形成最终损失函数,最终的目标函数表示为如下双层优化问题:
Figure FSA0000270493330000027
其中β包含
Figure FSA0000270493330000028
Figure FSA0000270493330000029
βL与βU是由式(2)自动计算;Ls(·;θ)代表监督损失。
7.根据权利要求1所述的一种基于安全对比自集成框架的半监督医学图像分类方法,其特征在于,步骤8中,所述为解决双层优化问题,本发明将外层目标表示为Louter(θ),将内层目标表示为Linner(θ,w),交替更新权重函数的参数w和网络参数θ;首先,更新网络参数θ,通过固定权重函数g的参数wt,θt+1可以优化如下:
Figure FSA0000270493330000031
其中ηθ是步长;然后使用网络参数θt+1,根据有监督损失的梯度更新权重函数g的参数w:
Figure FSA0000270493330000032
其中ηw是步长,通过深度学习框架的自动微分技术计算出Loutert+1)相对于参数wt的梯度。
CN202210362531.XA 2022-04-07 2022-04-07 一种基于安全对比自集成框架的半监督医学图像分类方法 Pending CN114758172A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210362531.XA CN114758172A (zh) 2022-04-07 2022-04-07 一种基于安全对比自集成框架的半监督医学图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210362531.XA CN114758172A (zh) 2022-04-07 2022-04-07 一种基于安全对比自集成框架的半监督医学图像分类方法

Publications (1)

Publication Number Publication Date
CN114758172A true CN114758172A (zh) 2022-07-15

Family

ID=82329520

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210362531.XA Pending CN114758172A (zh) 2022-04-07 2022-04-07 一种基于安全对比自集成框架的半监督医学图像分类方法

Country Status (1)

Country Link
CN (1) CN114758172A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116468746A (zh) * 2023-03-27 2023-07-21 华东师范大学 一种双向复制粘贴的半监督医学图像分割方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200043171A1 (en) * 2018-07-31 2020-02-06 Element Ai Inc. Counting objects in images based on approximate locations
CN113033603A (zh) * 2021-02-05 2021-06-25 浙江大学 一种基于元学习的弱监督图像多标签分类方法
CN113378632A (zh) * 2021-04-28 2021-09-10 南京大学 一种基于伪标签优化的无监督域适应行人重识别算法
CN113573633A (zh) * 2019-01-10 2021-10-29 威里利生命科学有限责任公司 基于手术视频的手术工作流和活动检测
CN113936275A (zh) * 2021-10-14 2022-01-14 上海交通大学 一种基于区域特征对齐的无监督域适应语义分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200043171A1 (en) * 2018-07-31 2020-02-06 Element Ai Inc. Counting objects in images based on approximate locations
CN113573633A (zh) * 2019-01-10 2021-10-29 威里利生命科学有限责任公司 基于手术视频的手术工作流和活动检测
CN113033603A (zh) * 2021-02-05 2021-06-25 浙江大学 一种基于元学习的弱监督图像多标签分类方法
CN113378632A (zh) * 2021-04-28 2021-09-10 南京大学 一种基于伪标签优化的无监督域适应行人重识别算法
CN113936275A (zh) * 2021-10-14 2022-01-14 上海交通大学 一种基于区域特征对齐的无监督域适应语义分割方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116468746A (zh) * 2023-03-27 2023-07-21 华东师范大学 一种双向复制粘贴的半监督医学图像分割方法
CN116468746B (zh) * 2023-03-27 2023-12-26 华东师范大学 一种双向复制粘贴的半监督医学图像分割方法

Similar Documents

Publication Publication Date Title
Mehta et al. Federated learning-based semantic segmentation for pixel-wise defect detection in additive manufacturing
CN108875794B (zh) 一种基于迁移学习的图像能见度检测方法
CN108304864B (zh) 深度对抗度量学习方法及装置
CN112132149B (zh) 一种遥感影像语义分割方法及装置
CN112990280A (zh) 面向图像大数据的类增量分类方法、系统、装置及介质
CN114092697B (zh) 注意力融合全局和局部深度特征的建筑立面语义分割方法
Cai et al. A robust interclass and intraclass loss function for deep learning based tongue segmentation
CN112115967A (zh) 一种基于数据保护的图像增量学习方法
CN113821668A (zh) 数据分类识别方法、装置、设备及可读存储介质
CN115496720A (zh) 基于ViT机制模型的胃肠癌病理图像分割方法及相关设备
CN114758172A (zh) 一种基于安全对比自集成框架的半监督医学图像分类方法
CN115661652A (zh) 一种面向对象的图神经网络非监督遥感影像变化检测方法
CN115578353A (zh) 一种基于图流蒸馏的多模态医学影像分割方法及装置
Dunphy et al. Data augmentation for deep-learning-based multiclass structural damage detection using limited information
CN115357805A (zh) 一种基于内外部视角的群组推荐方法
Azarmehr et al. Neural architecture search of echocardiography view classifiers
WO2023015658A1 (zh) 一种基于类脑时空感知表征的兴趣点推荐方法及系统
CN115631008B (zh) 商品推荐方法、装置、设备及介质
Sun et al. From video to hyperspectral: Hyperspectral image-level feature extraction with transfer learning
CN117457192A (zh) 智能远程诊断方法及系统
CN110717402B (zh) 一种基于层级优化度量学习的行人再识别方法
CN116226467A (zh) 基于节点结构特征的图卷积神经网络的社区发现方法
Wu et al. Fault Diagnosis Algorithm of Beam Pumping Unit Based on Transfer Learning and DenseNet Model
CN116310545A (zh) 一种基于深度层次化最优传输的跨域舌头图像分类方法
CN114565919B (zh) 基于数字病理图像的肿瘤微环境空间关系建模系统与方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination