CN115841494A - 一种基于魔方切分复原的半监督多器官分割方法 - Google Patents

Abstract

本发明公开了基于魔方切分的半监督多器官分割方法，将三维图像视作魔方，将所有图像切成小块，用于图像内分支；对于图像间分支，标记图像和无标记图像的小块随机进行跨图像混合，组成新的混合图像；这两个分支的输入分别经过深度神经网络后，获得混合图像和小块图像两种不同数据级的预测，然后将两种预测分别恢复成与原图像素一一对应的分割预测。对于标记数据，利用真值标签监督两个分支恢复后的预测；对于无标记数据，将图像内分支的预测与教师网络的预测进行加权求和得到伪掩膜，以监督图像间分支的预测。本发明利用多器官的解剖学先验来解决半监督学习中有标记数据和无标记数据之间分布不匹配的问题，显著提高了半监督学习场景下多器官分割的准确率。

Description

一种基于魔方切分复原的半监督多器官分割方法

技术领域

本发明涉及计算机视觉与数字图像处理技术领域，特别是一种基于魔方切分复原的半监督多器官分割方法。

背景技术

医学图像中的腹部多器官分割是许多临床应用中的一项重要任务，如：计算机辅助诊断，器官体积大小测量等。但是，训练一个准确的多器官分割模型通常需要大量的标记数据，其获取过程既费时又昂贵。半监督学习在处理数据注释的稀缺性方面显示出巨大的潜力，它试图将从标记的图像中学习到的大量先验知识转移到未标记的图像中。近年来，半监督学习在医学图像分析领域引起了越来越多的关注。

当前的半监督医学图像分割方法主要集中在分割单一目标或局部区域的目标，如分割胰腺或左心房。多器官分割比单器官分割更具挑战性，这是因为器官的解剖结构复杂，例如，相对固定的器官位置(十二指肠总是位于胰腺的首部)，不同形状的器官外观，以及不同大小的器官尺寸。因此，将目前的半监督医学分割方法迁移到多器官分割任务会遇到严重的问题。与单个器官相比，多个器官引入的分布差异要大得多。虽然有标签的图像和无标签的图像总是从相同的分布中提取，但由于有标签的图像数量有限，很难从它们中估计出精确的分布。因此，已标记图像和未标记图像之间的估计分布总是存在着不匹配问题，甚至在多器官分割任务上被进一步放大。当前的半监督医学图像分割方法缺乏处理如此大的分布差距的能力，不可避免地忽略了多个器官的内部解剖结构，导致了次优化的结果。

发明内容

有鉴于现有技术的上述缺陷，本发明受魔方游戏打乱小块再恢复成起始位置的想法所启发，我们将这种“切分一复原”的思想用于半监督学习中，我们将3D图像视作魔方，并将其切成小块和进行跨图像混合分别作为图像内和图像间的起始输入，并在预测阶段将小块还原到原始位置。本发明的目的是利用多器官本身的解剖学先验，来解决半监督学习中标记数据与未标记数据在训练过程中分布不匹配的问题。针对多器官本身固定的相对位置和器官大小的不同，设计了一种双分支的数据增强方式，包括图像间分支和图像内分支。

为实现上述目的，本发明提供了一种基于魔方切分的半监督多器官分割方法，所述方法包括以下步骤：

将所有图像切成小块图像，用于图像内分支的输入；标记图像和无标记图像的小块图像随机进行跨图像混合，组成混合图像，用于图像间分支的输入；两个分支的输入分别经过深度神经网络，获得混合图像和小块图像两种数据级的特征和预测；

对图像内分支，将小块图像的特征输入分类器，推理小块图像在图像内相对位置，计算分类器预测和对应相对位置的交叉熵损失函数；

将两个分支的预测结果恢复成与原图像一一对应的分割预测；对于标记图像，计算两个分支的预测与真值掩膜之间的损失函数；对于无标记图像，将图像内分支的预测与教师网络的预测进行基于类分布的加权平均，得到伪掩膜，计算图像间预测与伪掩膜之间的损失函数；

利用损失进行梯度回传，更新学生模型和分类器的参数，利用指数移动平均的方式更新教师模型参数；在训练达到收敛或最大次数时，获得最终的学生网络参数。

优选地，方法中的深度神经网络以卷积神经网络“编码器一解码器”架构作为骨干网络进行训练，分类器由两个全连接层构成。

优选地，所述损失函数为：

其中，标记图像和未标记图像的损失函数的计算方式分别为：

其中，

表示当前的标记/未标记图像批次，Θ^s表示学生网络参数，/>

表示学生网络编码器部分的参数，Θ_cls表示分类器参数，α，β表示损失函数的平衡因子。

优选地，所述的交叉熵损失函数如下：

其中X表示输入的原始图像，

表示将原图切成N³个小块，/>

表示小块在原始图像中的相对位置，/>

表示交叉熵损失函数，σ表示softmax层，/>

表示分类头，/>

表示学生网络的编码器。对于有标记的图像，图像间和图像内分支的分割损失函数分别表示为：

其中，

表示dice损失函数，/>

分别表示图像间和图像内分支恢复后的分割预测，Y^l表示真实标签。对于无标记的图像，本发明采取一种混合监督的方式，具体如下：

其中，

表示dice损失函数，/>

表示图像间分支恢复后的分割预测，/>

表示教师模型预测与图像内预测经过小块级特征混合模块后得到的最终的伪标签。

优选地，对于无标记图像，将图像内分支的预测与教师网络的预测进行基于类分布的加权平均，得到伪掩膜的具体方法为：

初始化一个类分布存储库D，在训练过程中，每T轮更新一次存储库D；

设当前迭代次数为t，如果t％T≠0，将本次训练轮数中无标记图像的教师预测存入D；如果t％T＝0，统计存储在D中的伪标签中各个器官类像素的个数，并将其归一化到0和1之间，得到类分布字典向量v：

v＝{v₀，…，v_C-1}

其中，C表示器官类数量，v中的每个元素表示归一化后各类的像素个数；

随后，将D清空；

对于教师预测中任意一个像素m，假设教师网络对于该像素的预测为

查询v中对应于/>

的类分布值，即对于任意一个像素都可以在字典向量v中找到对应的类分布值，从而生成像素级的权重图/>

将Ω作为图像内分支预测的权重，将(1-Ω)作为教师网络的权重，将教师预测和图像内分支预测进行加权求和，得到最终的伪掩膜。

本发明通过腹部多器官扫描本身的解剖学先验出发，设计一种专门用于半监督多器官分割的数据增强方式，以有效地处理半监督学习背景下标记数据和未标记数据分布不匹配的问题。针对多器官本身固定的相对位置和器官大小的不同，设计了一种双分支的数据增强方式，包括图像间分支和图像内分支。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是本发明的一个较佳实施例的流程图。

具体实施方式

以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。

在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。

参阅图1，本发明的目的是利用CT多器官本身的解剖学先验，来解决半监督学习中标记数据与未标记数据在训练过程中分布不匹配的问题。针对CT多器官本身固定的相对位置和器官大小的不同，设计了一种双分支的数据增强方式，包括图像间分支和图像内分支。具体包括以下具体步骤：

步骤1：首先，随机选取一张有标记的三维CT图像和一张无标记的三维CT图像；将两张CT图像数据切分成N³个小块图像，用于图像内分支的输入；并在保持各个小块图像在原图像相对位置的前提下，进行跨图像混合，得到混合图像，用于图像间分支的输入；将两个分支的输入图像分别经过深度神经网络，获得图像间分支的预测，以及图像内分支的特征和预测。

步骤2：对于图像内分支，将N³个小块图像的特征喂入分类器，推理N³个小块图像在3D图像内的相对位置，计算分类器预测和对应相对位置的交叉熵损失。

步骤3：将两个分支的预测结果恢复成与原图一一对应的分割预测，对于有标记的图像，计算两个分支的预测与真值掩膜之间的dice损失函数；对于无标记图像，将图像内分支的预测与教师网络的预测进行基于类分布的加权平均，得到伪掩膜，并计算图像间预测与伪掩膜之间的dice损失函数；

步骤4：最终整体的损失函数为步骤1，2，3中的损失的加权平均，并用总体损失进行梯度回传，更新学生模型和分类器的参数；利用指数移动平均的方式更新教师模型参数。方法的目标是：在训练达到收敛或最大次数时，获得最终的学生网络参数。

所述的方法中的深度神经网络以卷积神经网络“编码器-解码器”架构作为骨干网络进行训练，具体可以选择V-Net和3D U-Net；分类器由两个全连接层构成。

V-Net提供了一个三维图像分割方法，它采用端到端的训练方式，在训练时使用了一个基于Dice coefficient的新的目标函数来优化训练。它可以很好地处理前景和背景体素数量之间存在严重不平衡的情况。为了处理可用于训练的数据有限的情况，它使用了随机非线性转换和直方图匹配来增强数据。

3D U-Net是UNet的一个简单扩展，将所有2D操作替换为3D操作，对于volumetricimage不需要单独输入每个切片进行训练，而是将图片整张输入到模型中，3D U-Net适用于三维图像分割问题。

所述的方法中的小块图像级特征混合模块，具体步骤如下：

通过对未标记图像的教师预测和图像内分支预测进行加权平均，生成最终的伪掩膜，以监督图像间分支预测。该模块所用权重是基于类分布的权重图，具体做法为：首先，初始化一个类分布存储库D，在训练过程中，每T轮更新一次存储库D。设当前迭代次数为t，如果t％T≠0，将本次训练轮数中无标记图像的教师预测存入D；如果t％T＝0，统计存储在D中的伪标签中各个器官类像素的个数，并将其归一化到0和1之间，得到类分布字典向量v：

v＝{v₀，…，v_C-1}

其中，C表示器官类数量，v中的每个元素表示归一化后各类的像素个数。然后将D清空。对于教师预测中任意一个像素m，设教师网络对于该像素的预测为

查询v中对应于/>

的类分布值，即对于任意一个像素都可以在字典向量v中找到对应的类分布值，从而生成像素级的权重图/>

将Ω作为图像内分支预测的权重，将(1-Ω)作为教师网络的权重，将教师预测和图像内分支预测进行加权求和，得到最终的伪掩膜，以监督图像间分支的预测。

所述的方法最终的总体损失函数为：

其中，标记图像和未标记图像的损失函数的计算方式分别为：

其中，

表示当前的标记/未标记图像批次，Θ^s表示学生网络参数，/>

表示学生网络编码器部分的参数，Θ_cls表示分类器参数，α，β表示损失函数的平衡因子。所述的分类器损失函数/>

的具体计算方式如下：

其中X表示输入的原始图像，

表示将原图切成N³个小块，/>

表示小块在原始图像中的相对位置，/>

表示交叉熵损失函数。对于有标记的图像，图像间和图像内分支的分割损失函数分别表示为：

其中，

表示dice损失函数，/>

分别表示图像间和图像内分支恢复后的分割预测，Y^l表示真实标签。对于无标记的图像，本发明采取一种混合监督的方式，具体如下：

其中，

表示dice损失函数，/>

表示图像间分支恢复后的分割预测，/>

表示教师模型预测与图像内预测经过小块级特征混合模块后得到的最终的伪掩膜。

本发明通过CT腹部多器官扫描本身的解剖学先验出发，设计一种专门用于半监督CT多器官分割的数据增强方式，以有效地处理半监督学习背景下标记数据和未标记数据分布不匹配的问题。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (5)

1.一种基于魔方切分的半监督多器官分割方法，其特征在于，将三维图像视作魔方，并利用多器官解剖学先验设计一种数据增强方式，所述方法包括以下步骤：

将所有图像切成小块图像，用于图像内分支的输入；标记图像和无标记图像的小块图像随机进行跨图像混合，组成混合图像，用于图像间分支的输入；两个分支的输入分别经过深度神经网络，获得混合图像和小块图像两种数据级的特征和预测；

对图像内分支，将小块图像的特征输入分类器，推理小块图像在图像内相对位置，计算分类器预测和对应相对位置的交叉熵损失函数；

将两个分支的预测结果恢复成与原图像一一对应的分割预测；对于标记图像，计算两个分支的预测与真值掩膜之间的损失函数；对于无标记图像，将图像内分支的预测与教师网络的预测进行基于类分布的加权平均，得到伪掩膜，计算图像间预测与伪掩膜之间的损失函数；

利用损失进行梯度回传，更新学生模型和分类器的参数，利用指数移动平均的方式更新教师模型参数；在训练达到收敛或最大次数时，获得最终的学生网络参数。

2.如权利要求1所述的方法，其特征在于，方法中的深度神经网络以卷积神经网络“编码器一解码器”架构作为骨干网络进行训练，分类器由两个全连接层构成。

3.如权利要求1所述的方法，其特征在于，所述损失函数为：

其中，标记图像和未标记图像的损失函数的计算方式分别为：

其中，

表示当前的标记/未标记图像批次，Θ^s表示学生网络参数，

表示学生网络编码器部分的参数，Θ_cls表示分类器参数，α，β表示损失函数的平衡因子。

4.如权利要求1所述的方法，其特征在于，所述的交叉熵损失函数如下：

其中X表示输入的原始图像，

表示将原图切成N³个小块，

表示小块在原始图像中的相对位置，l_ce表示交叉熵损失函数，σ表示softmax层，

表示分类头，

表示学生网络的编码器，对于有标记的图像，图像间和图像内分支的分割损失函数分别表示为：

其中，l_dice表示dice损失函数，

分别表示图像间和图像内分支恢复后的分割预测，Y^l表示真实标签，对于无标记的图像，本发明采取一种混合监督的方式，具体如下：

其中，l_dice表示dice损失函数，

表示图像间分支恢复后的分割预测，

表示教师模型预测与图像内预测经过小块级特征混合模块后得到的最终的伪标签。

5.根据权利要求1所述的方法，其特征在于，对于无标记图像，将图像内分支的预测与教师网络的预测进行基于类分布的加权平均，得到伪掩膜的具体方法为：

初始化一个类分布存储库D，在训练过程中，每T轮更新一次存储库D；

设当前迭代次数为t，如果t％T≠0，将本次训练轮数中无标记图像的教师预测存入D；如果t％T＝0，统计存储在D中的伪标签中各个器官类像素的个数，并将其归一化到0和1之间，得到类分布字典向量v：

v＝{v₀，…，v_C-1}

其中，C表示器官类数量，v中的每个元素表示归一化后各类的像素个数；

随后，将D清空；

对于教师预测中任意一个像素m，假设教师网络对于该像素的预测为

查询v中对应于

的类分布值，即对于任意一个像素都可以在字典向量v中找到对应的类分布值，从而生成像素级的权重图

将Ω作为图像内分支预测的权重，将(1-Ω)作为教师网络的权重，将教师预测和图像内分支预测进行加权求和，得到最终的伪掩膜。

Images