CN114758172A - 一种基于安全对比自集成框架的半监督医学图像分类方法 - Google Patents

Abstract

本发明提供了一种基于安全对比自集成框架的半监督医学图像分类方法，包括以下步骤：首先，选择一批由标注和未标注数据组成的数据对其增加数据扰动，重复两次处理得到两组数据，分别输入学生与教师网络；然后，设计权重函数并利用有监督损失更新权重函数，自动为每个未标记数据分配权重；结合权重参数以及两支网络的概率输出，建立可靠感知的一致性损失；进一步，结合权重参数以及利用投影网络得到两支网络输出的归一化低维表示，建立可靠感知的对比损失；最后，分别对所有损失函数加权求和形成最终损失函数，并交替更新网络参数和权重函数参数。本发明提出的方法能够同时学习可靠的数据层面和数据结构层面的信息，提升了模型的鲁棒性和泛化性。

Description

一种基于安全对比自集成框架的半监督医学图像分类方法

技术领域

本发明涉及一种基于安全对比自集成框架的半监督医学图像分类方法，属于医学图像分类领域。

背景技术

近年来，深度学习在临床医学领域取得了较大突破，广泛应用于病理学、医学成像与诊断、生物信息学等。一般地，深度学习需要大量的标记数据进行网络学习。由于采集大量高质量的标记医学数据耗时费力并且需要专业的医学知识，阻碍了深度学习方法在临床中的示范应用。深度半监督学习方法能够利用大量的未标记医学数据辅助深度网络的建立，其中，自集成模型已被证明能够取得较好的半监督医学图像分类性能。然而，目前的自集成模型均忽略了未标记医学图像的可靠性问题。从不同人群、设备和环境中获取的未标记医学图像之间不可避免地存在差异，直接利用未标记的医学图像，给所有的未标记数据分配相同的权重，可能会对自集成方法的分类性能产生负面影响，现有方法在实际应用中的安全性、泛化性方面始终存在局限。

针对上述问题，本发明提出一种安全感知对比自集成框架。首先，将权重函数引入平均教师模型，能够将无标记的医学数据的概率预测映射成为反映其可靠性的权重，从而安全地利用不同扰动下未标记数据的概率预测为网络模型构建可靠感知的一致性损失。为了利用医学图像的数据结构层面的信息，本发明进一步设计了可靠感知的对比损失，鼓励可靠的未标记数据具有更好的类内紧凑和类间可分离性。所构建的网络框架可以同时捕获可靠的数据层面和数据结构层面的信息，提升模型的鲁棒性和泛化能力。

发明内容

本发明提供了一种基于安全对比自集成框架的半监督医学图像分类方法，在平均教师模型的基础上，将密集连接卷积网络作为平均教师模型的主干网络，引入权重函数将每个未标记数据的概率预测映射成为能够衡量其可靠性的唯一权重，结合所有未标记数据的权重来建立可靠感知的对比损失和可靠感知的一致性损失，并与交叉熵损失函数一起构成最终的损失函数，通过交替迭代来更新网络参数与权重函数参数。

本发明为解决上述问题采用以下技术方案：

一种基于安全对比自集成框架的半监督医学图像分类方法，包括如下步骤：

步骤1：将医学图像训练数据分为有标签数据

与无标签数据

其中，x_i表示第i个的医学图像样本，y_i表示第i个样本的真实标签；

步骤2：通过对一批由无标记样本和有标记样本组成的训练数据进行随机旋转与仿射变换来增加数据扰动，重复两次处理后，得到两组已增加扰动的输入数据，分别将两组数据输入平均教师模型的学生网络与教师网络；

步骤3：利用步骤2中学生网络的输出经过softmax函数得到的概率输出与真实标签一起计算有监督损失；

步骤4：设计权重函数，利用有标记数据在学生网络上的有监督损失更新权重函数，得到每个无标签数据的权重β_i；

步骤5：利用步骤2中学生与教师网络的输出经过softmax函数得到的概率输出，结合步骤3中计算的无标签数据的权重，计算平均教师模型的可靠感知一致性损失；

步骤6：利用投影网络对步骤2中学生网络以及教师网络的输出进行归一化低维表示，分别得到Z^s和Z^t，结合步骤4中计算的无标签数据的权重，计算平均教师模型的可靠感知对比损失；

步骤7：分别对步骤3计算的有监督损失、步骤5计算的可靠感知一致性损失以及步骤6计算的可靠感知对比损失，加权求和形成最终损失函数；

步骤8：构建内外双层的优化方法，交替更新权重函数的参数w和网络参数θ。

优选的，本发明提出将权重函数引入平均教师模型，自动为每个未标记数据分配唯一的权重，通过持续跟踪标记数据的分类性能，防止在使用加权未标记数据后网络模型性能下降，权重函数具体表示为：

β_i＝g(f(x_i；θ，η)，w) (1)

优选的，本发明设计的可靠感知一致性损失以及可靠感知对比损失作为网络模型的核心，具体表示为：

L_rcs＝β_iL_C (2)

其中，L_rcs表示可靠感知一致性损失，L_rct表示可靠感知对比损失，L_C是最小均方误差度量，对于第i个无标记数据的归一化低维特征表示z_i，由教师网络得到的伪标签表示为

A(i)≡Z^s∪Z^t\{i}，以及

代表A(i)中所有正类的索引集合，τ是一个温度参数，取值为0.5。

有益效果：

1、本发明将权重函数引入平均教师模型，将每个未标记数据的概率预测映射成能够反映其可靠性的相应权重，能够缓解无区别地利用未标记的医学图像可能会对平均教师模型分类性能带来的负面影响。

2、本发明设计的可靠感知一致性约束，通过惩罚不同输入扰动下标记数据和可靠的未标记数据的不一致的概率预测，缓解平均教师模型利用不可靠的未标记数据导致的性能下降问题，提升了网络模型对数据层面信息的学习能力。其次，利用投影网络对医学图像数据的深度特征进行归一化低维表示，通过可靠感知对比约束，鼓励标记数据和可靠的未标记数据具有更好的类内紧凑性和类间可分性，能够学习可靠的数据结构层面的信息。综上，两种约束共同提升网络模型的安全性和泛化性。

附图说明

图1是本发明中基于安全对比自集成框架的半监督医学图像分类方法的网络框架图。

具体实施方式

请参阅图1所示：

下面结合实例对本发明做更进一步的解释。

本发明主要实施流程如下，相关网络框架见图1.

步骤1：将图像分为有标签数据

与无标签数据

其中，x_i表示第i个的医学图像样本，y_i表示第i个样本的真实标签；

步骤2：取一批由无标记样本和有标记样本组成的训练数据，进行随机旋转与仿射变换来增加数据扰动，本发明依据0.5的概率对图像进行水平翻转，随机旋转角度范围(-10度，10度)，对应的长宽两个维度的平移区间参数为(0.02，0.02)。重复两次处理后，得到两组已增加扰动的输入数据，分别将两组数据输入平均教师模型的学生网络与教师网络。

步骤3：利用步骤2中学生网络的输出经过softmax函数得到的概率输出与真实标签一起计算有监督损失，具体表示为：

其中L_sup表示有监督损失，θ学生网络参数。

步骤4：设计权重函数，利用有标记数据在学生网络上的有监督损失更新权重函数，权重函数自动为每个未标记数据分配其唯一的权重β_i，利用由

参数化的权重函数

将未标记数据的概率预测映射到对应的权重β_i，具体表示为：

β_i＝g(f(x_i；θ，η)，w) (5)

步骤5：利用步骤2中学生与教师网络的输出经过softmax函数得到的概率输出，结合步骤3中计算的无标签数据的权重β_i，计算平均教师模型的可靠感知的一致性损失，具体表示为：

L_rcs＝g(f(x_i；θ，η)，w)·L_C＝β_iL_C (6)

其中，L_C是距离度量式，本发明采用的是最小均方误差，式(6)惩罚在不同输入扰动下标记数据和可靠的未标记数据的不一致预测。

步骤6：将步骤2中学生网络以及教师网络的结果输入投影网络，分别得到B个未标记数据的

和

归一化低维表示，结合步骤4中计算的无标签数据的权重，计算平均教师模型的可靠感知的对比损失，具体表示为：

其中，β_i，i＝1，2，…，2B是z_i的权重参数，对于第i个未标记数据，由教师网络得到的伪标签表示为

A(i)≡Z^s∪Z^t\{i}，

代表A(i)中所有正类的索引集合，τ是一个温度参数，本发明取0.5。

步骤7：分别对有监督损失、可靠感知一致性损失和可靠感知对比损失加权求和形成最终损失函数，最终的目标函数表示为如下双层优化问题：

其中β包含

与

β_L与β_U是由式(5)自动计算。L_s(·；θ)代表监督损失。

步骤8：为了解决步骤7中的双层优化问题，本发明将外层目标表示为L_outer(θ)，将内层目标表示为L_inner(θ，w)，交替更新权重函数的参数w和网络参数θ。首先，更新网络参数θ，通过固定权重函数g的参数w_t，θ_t+1可以优化如下：

其中η_θ是步长；然后使用网络参数θ_t+1，根据有监督损失的梯度更新权重函数g的参数w：

其中η_w是步长，通过深度学习框架的自动微分技术计算出L_outer(θ_t+1)相对于参数w_t的梯度。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所做的等效结构或等流程变换，或直接或间接运用在相关技术领域，均同理包括在本发明的专利保护范围。

Claims (7)

1.一种基于安全对比自集成框架的半监督医学图像分类方法，其特征在于，步骤如下：

步骤1：将医学图像训练数据分为有标签数据

与无标签数据

其中，x_i表示第i个的医学图像样本，y_i表示第i个样本的真实标签；

步骤2：通过对一批由无标记样本和有标记样本组成的训练数据进行随机旋转与仿射变换来增加数据扰动，重复两次处理后，得到两组已增加扰动的输入数据，分别将两组数据输入平均教师模型的学生网络与教师网络；

步骤3：利用步骤2中学生网络的输出经过softmax函数得到的概率输出与真实标签一起计算有监督损失；

步骤4：设计权重函数，利用有标记数据在学生网络上的有监督损失更新权重函数，得到每个无标签数据的权重β_i；

步骤5：利用步骤2中学生与教师网络的输出经过softmax函数得到的概率输出，结合步骤3中计算的无标签数据的权重，计算平均教师模型的可靠感知一致性损失；

步骤6：利用投影网络对步骤2中学生网络以及教师网络的输出进行归一化低维表示，分别得到Z^s和Z^t，结合步骤4中计算的无标签数据的权重，计算平均教师模型的可靠感知对比损失；

步骤7：分别对步骤3计算的有监督损失、步骤5计算的可靠感知一致性损失以及步骤6计算的可靠感知对比损失，加权求和形成最终损失函数；

步骤8：构建内外双层的优化方法，交替更新权重函数的参数w和网络参数θ；

步骤9：将待分类的医学图像数据输入最终的网络模型，得到其类别标签。

2.根据权利要求1所述的一种基于安全对比自集成框架的半监督医学图像分类方法，其特征在于，步骤3中，所述将学生网络的输出经过softmax函数得到的概率输出与真实标签一起计算有监督损失，具体表示为：

其中L_sup表示有监督损失，θ学生网络参数。

3.根据权利要求1所述的一种基于安全对比自集成框架的半监督医学图像分类方法，其特征在于，步骤4中，设计权重函数，利用有标记数据在学生网络上的有监督损失更新权重函数，权重函数自动为每个未标记数据分配其唯一的权重β_i，利用由

参数化的权重函数

将未标记数据的概率预测映射到对应的权重β_i，具体表示为：

β_i＝g(f(x_i；θ，η)，w) (2) 。

4.根据权利要求1所述的一种基于安全对比自集成框架的半监督医学图像分类方法，其特征在于，步骤5中，所述将学生与教师网络的输出经过softmax函数得到的概率输出，结合式(2)计算的无标签数据的权重β_i，计算平均教师模型的可靠感知的一致性损失，具体表示为：

L_rcs＝g(f(x_i；θ，η)，w)·L_C＝β_iL_C (3)

其中，L_C是距离度量式，式(3)惩罚在不同输入扰动下标记数据和可靠的未标记数据的不一致预测。

5.根据权利要求1所述的一种基于安全对比自集成框架的半监督医学图像分类方法，其特征在于，步骤6中，所述将学生网络以及教师网络的结果输入投影网络，分别得到B个未标记数据的

和

归一化低维表示，结合计算的无标签数据的权重，计算平均教师模型的可靠感知的对比损失，具体表示为：

其中，β_i，i＝1，2，…，2B是z_i的权重参数，对于第i个未标记数据，由教师网络得到的伪标签表示为

A(i)≡Z^s∪Z^t\{i}，

代表A(i)中所有正类的索引集合，τ是一个温度参数。

6.根据权利要求1所述的一种基于安全对比自集成框架的半监督医学图像分类方法，其特征在于，步骤7中，分别对有监督损失、可靠感知一致性损失和可靠感知对比损失加权求和形成最终损失函数，最终的目标函数表示为如下双层优化问题：

其中β包含

与

β_L与β_U是由式(2)自动计算；L_s(·；θ)代表监督损失。

7.根据权利要求1所述的一种基于安全对比自集成框架的半监督医学图像分类方法，其特征在于，步骤8中，所述为解决双层优化问题，本发明将外层目标表示为L_outer(θ)，将内层目标表示为L_inner(θ，w)，交替更新权重函数的参数w和网络参数θ；首先，更新网络参数θ，通过固定权重函数g的参数w_t，θ_t+1可以优化如下：

其中η_θ是步长；然后使用网络参数θ_t+1，根据有监督损失的梯度更新权重函数g的参数w：

其中η_w是步长，通过深度学习框架的自动微分技术计算出L_outer(θ_t+1)相对于参数w_t的梯度。

Images