CN117095016A - 一种基于多视角一致性的半监督3d肝脏ct图像分割方法 - Google Patents

Abstract

本发明公开了一种基于多视角一致性的半监督3D肝脏CT图像分割方法，主要包括：(1)获取腹部CT图像进行划分得到训练集和测试集；(2)对腹部CT图像经过调整CT值、归一化、裁剪等操作进行预处理；(3)构建基于多视角的半监督3D肝脏CT图像分割的网络模型，使用V‑Net作为主干网络，同时添加两个并行解码器以不同的视角预测分割任务；(4)在每个解码器部分引入一个辅助预测任务来学习目标特征的全局几何信息指导模型学习；(5)使用训练集中少量的带标签数据和大量不带标签数据送入到网络模型训练；(6)通过主解码器与辅助解码器不同的预测任务之间建立一致性约束损失最终训练好的分割模型；(7)将测试集送入到训练好的模型中得到肝脏分割结果。本发明在避免使用大量手动注释像素级标签的情况下取得了良好肝脏分割性能，该方法简洁效率高。

Description

一种基于多视角一致性的半监督3D肝脏CT图像分割方法

技术领域

本发明中涉及医学图像处理技术领域，具体说是一种涉及到基于多视角一致性的半监督3D肝脏CT图像分割方法。

背景技术

肝脏是人体中最大的实体器官，也是疾病容易发生的部位。快速精准地腹部CT图像中分割出肝脏区域是计算机辅助在肝脏手术运用的重要步骤。临床医生可根据分割结果提供可靠的诊断依据。然而目前临床对肝脏CT图像分割基本上由专业医生手动进行分割。医生靠主观判断来诊断和分析CT图像会增加误判或漏判的可能性。近几年，研究人员提出了一些基于深度学习的医学图像分割方法在肝脏分割领域中取得了显著进展，分割精度大大提高。现有大多数方法使用以深度卷积神经网络为代表的深度学方法，主要是采用全监督的设置来完成肝脏CT图像分割任务。作为全监督学习的一个重要特性，其性能在很大程度上依赖于足够的标记数据。然而在医学领域标注可靠的注释图像非常耗时耗力。据统计手动分割一个肝脏序列平均需要30分钟。标记数据的缺乏引导了许多研究者对注释效率的研究例如弱监督学习、无监督学习、半监督学习。由于获取少量带有标记数据和大量未标记数据在临床上是可行的。所以本发明将基于半监督学习的方法分割肝脏CT图像。

半监督学习方法分割肝脏可通过利用大量未标记数据来促进网络模型学习到有用的肝脏特征。对于基于一致性的半监督方法通过平滑假设，即对输入数据添加扰动。通过最小化在原始数据和扰动数据之间的预测结果来学习未标记数据训练网络模型。尽管目前半监督分割方法在医学图像领域取得了进展，但是对于肝脏CT图像分割仍然存在局限性。我们的模型增加两个辅助解码器从不同角度得到输出结果，同时引入了几何形状感知任务来学习肝脏的全局几何信息。

发明内容

本发明提供了一种基于多视角一致性的半监督3D肝脏CT图像分割方法。

本发明的目的在于针对CT图像的标记数据缺乏，手工标记成本昂贵的问题，提出了一种基于多视角一致性的半监督3D肝脏CT图像分割方法。

本发明解决其技术问所采取的技术方案包括以下步骤：

(1)获取肝脏的CT图像数据集，将数据集按照8:2的划分，将80％的CT图像作为训练集，20％的CT图像作为测试集；同时在训练集中仅有20％图像集合N带有标签，记得到剩余80％图像集合M不带标签，记得到/>最后训练集集合的组成为D＝D^l+D^u，X、Y表示输入的三维图像和对应的标签；

(2)将数据集进行预处理操作；首先将原始的HU值调整以去除肝脏灰度范围外的像素并归一化；将裁剪图像尺寸大小；记得到三维图像为X_i∈R^{256×256×256}；

(3)构建基于多视角的半监督3D肝脏CT图像分割的网络模型F；

(3a)采用3D V-Net主干网络，并添加两个解码器从而从不同角度预测分割任务；该网络模型包含一个共享编码器、三个在上采样略微不同的解码器；其中添加的两个辅助解码器在上采样分别使用三线性插值和最近插值，其余结构全部相同；定义解码器D2为主解码器，D1，D3为辅助解码器；每个解码器包含一个像素级分割图预测任务和一个捕获几何形状感知任务；

(3b)在步骤(3a)所述的神经网络模型，在共享编码器中包含五个编码层；解码器中包含四个解码层、一个1×1×1卷积层和Tanh激活函数；使用跳跃连接分别将编码器的第1、2、3、4层和解码器的第4、3、2、1层连接；其中每个编码层和解码层都使用了残差结构；

(3c)在步骤(3a)中所述的神经网络模型，通过该模型F对图像X_i∈R^{256×256×256}提取特征信息，每一个编码层的输出作为下一个编码层的输入；最后一个编码层输出最为第一层解码器的输入；上一层解码器的输出作为下一层解码器输出；最终每个解码器输出得到两种预测结果，包含像素级分割图和具有几何形状感知的符号距离图/>

(4)在步骤(3c)中所述，三个解码器D1、D2、D3对应得到三个分割图和三个符号距离图/>通过T^-1(x)平滑近似函数对有符号距离图/>进行逆转换成近似分割图；平滑近似函数可定义为如下：

其中：其中z是体素x的有符号距离图的距离值，k是一个超参数尽可能的设置较大的值来近似变换接近分割真实值；

(5)通过水平集函数将标签图像转换成符号距离图，水平集函数公式定义如下：

其中在符号距离图中每个点(体素)表示之间的距离和最近边界，所以其中||x-y||₂表示体素x，y之间的欧式距离。表示目标对象的表面，SMD中点的值为0则表示位于目标对象的表面。Cin、Cout分别表示为目标对象的内部和外部。对于目标对象内部区域的体素取负值，外部区域取值反之；

(6)在步骤(4)中所述，预测的符号距离图通过T^-1(z)转换成近似分割图，采用均方差(Mean-Squared)损失函数在主解码器D2和辅助解码器D1、D3输出的多视角结果之间建立跨任务一致性损失，通过最小化主解码器预测结果和辅助解码器预测结果之间的差异来学习未标记数据；多视角一致性损失定义如下：

其中：解码器得到的经过T^-1(x)函数转换近似像素分割图以实现不同任务之间转换的一致性；

(7)在步骤(5)中所述，对于训练集中带标签图像集合D^l，标签图像Y通过水平集函数T(x)转换成符号距离图，在标签图像与三个解码器输出结果之间建立监督损失从而解决网络模型在反向传播过程中梯度消失问题；采用Dice相似系数损失(Dice CoefficientLoss)和均方差损失函数(Mean-Squared Loss)分别作三个解码器输出的像素分割图和符号距离图的监督损失，像素级分割图和符号距离图的监督损失函数定义如下：

L_sup＝L_seg+L_sdm

其中：L_seg是像素级分割图的监督损失；L_sdm是符号距离图的监督损失；y表示图像标签，经过T(x)函数转换后得到相应的符号距离图进行监督学习；L_sup为总的监督损失；

(8)在步骤(6)、(9)中所述总损失函数由一致性损失和监督损失组成，总的损失函数可定义为：

L_total＝L_sup+λL_mrc

其中：λ设置采用高斯升温函数来控制监督损失和无监督损失之间的平衡，t表示当前训练步骤，t_max表示最大训练步骤。

(9)训练网络模型F，最终将测试集送入到训练好的模型中，得到肝脏分割结果；

附图说明

图1为本发明的实施方法流程图。

图2为本发明的CT图像预处理效果图。

图3为构建的基于多视角一致性的半监督3D肝脏CT图像分割网络结构图。

图4为本发明实施的肝脏分割图和三维重建效果图。

具体实施方式

下面结合附图和分割效果图对本发明做进一步具体说明。

本发明流程如图1所示，具体实施步骤如下：

(1)本发明采用LiTS2017公共数据集，其中包含131例腹部CT原始图像以及对应的肝脏区域手动标注。将数据集按照8:2的比例划分训练集和测试集；同时在训练集中仅有20％图像集合N带有标签，记得到剩余80％图像集合M不带标签，记得到最后训练集集合的组成为D＝D^l+D^u，X、Y表示输入的三维图像和对应的标签；

(2)如图2所示，将数据集图像进行预处理操作；首先将原始的HU值调整到[-200,200]范围以去除肝脏灰度范围外的像素并归一化到[0,1]；然后将图像裁剪尺寸为256×256×256的大小；记得到三维图像为X_i∈R^{256×256×256}；

(3)如图3所示，构建基于多视角的半监督3D肝脏CT图像分割的网络模型F；

(3a)采用3D V-Net主干网络，并添加两个解码器从而从不同角度预测分割任务；该网络模型包含一个共享编码器、三个在上采样略微不同的解码器；其中添加的两个辅助解码器在上采样分别使用三线性插值和最近插值，其余结构全部相同；定义解码器D2为主解码器，D1，D3为辅助解码器；每个解码器包含一个像素级分割图预测任务和一个捕获几何形状感知任务；

(3b)在步骤(3a)所述的神经网络模型，在共享编码器中包含五个编码层；解码器中包含四个解码层、一个1×1×1卷积层和Tanh激活函数；跳跃连接分别将编码器的第1、2、3、4层和解码器的第4、3、2、1层连接；其中每个编码层和解码层都使用了残差结构；

(3c)在步骤(3a)中所述的神经网络模型，通过该模型F对图像X_i∈R^{256×256×256}提取特征信息，每一个编码层的输出作为下一个编码层的输入；最后一个编码层输出最为第一层解码器的输入；上一层解码器的输出作为下一层解码器输出；为了得到两种预测任务，在每个解码器的最后一层添加一个1×1×1卷积得到像素级分割图再经过Tanh激活函数得到具有几何形状感知的符号距离图/>

(4)在步骤(3c)中所述，三个解码器D1、D2、D3对应得到三个分割图和三个符号距离图/>通过T^-1(x)平滑近似函数对有符号距离图/>进行逆转换成近似分割图；平滑近似函数可定义为如下：

其中：其中z是体素x的有符号距离图的距离值，k是一个超参数尽可能的设置较大的值来近似变换接近分割真实值；此次实施案例设置为k＝5000；

(5)通过水平集函数将标签图像转换成符号距离图，水平集函数公式定义如下：

其中在符号距离图中每个点(体素)表示之间的距离和最近边界，所以其中||x-y||₂表示体素x，y之间的欧式距离。表示目标对象的表面，SMD中点的值为0则表示位于目标对象的表面。Cin、Cout分别表示为目标对象的内部和外部。对于目标对象内部区域的体素取负值，外部区域取值反之；

(6)在步骤(4)中所述，预测的符号距离图通过T^-1(z)转换成近似分割图，采用均方差(Mean-Squared)损失函数在主解码器D2和辅助解码器D1、D3输出的多视角结果之间建立跨任务一致性损失，通过最小化主解码器预测结果和辅助解码器预测结果之间的差异来学习未标记数据；多视角一致性损失定义如下：

其中：解码器得到的经过T^-1(x)函数转换近似像素分割图以实现不同任务之间转换的一致性；

(7)在步骤(5)中所述，对于训练集中带标签图像集合D^l，标签图像Y通过水平集函数T(x)转换成符号距离图，在标签图像与三个解码器输出结果之间建立监督损失从而解决网络模型在反向传播过程中梯度消失问题；采用Dice相似系数损失(Dice CoefficientLoss)和均方差损失函数(Mean-Squared Loss)分别作三个解码器输出的像素分割图和符号距离图的监督损失，像素级分割图和符号距离图的监督损失函数定义如下：

L_sup＝L_seg+L_sdm

其中：L_seg是像素级分割图的监督损失；L_sdm是符号距离图的监督损失；y表示图像标签，经过T(x)函数转换后得到相应的符号距离图进行监督学习；L_sup为总的监督损失；

(8)在步骤(6)、(7)中所述总损失函数由一致性损失和监督损失组成，总的损失函数可定义为：

L_total＝L_sup+λL_mrc

其中：λ设置采用高斯升温函数来控制监督损失和无监督损失之间的平衡，t表示当前训练步骤，t_max表示最大训练步骤。

(9)F模型训练时将每次迭代送入网络的图像批次大小设置为4，包含两个带标签图像和两个不带标签图像；迭代次数6000；最终将测试集送入到训练好的模型中，得到肝脏分割结果；

如图4所示，为代表性分割结果的可视化，为了验证本发明基于半监督方法对肝脏分割的有效性，此次实例采用了不同标记数据数量的设置进行对比试验。图中其中(a)、(b)和(c)行分别表示肝脏CT图像的2D原始切片、像素级分割结果切片和3D重建效果。第二、三列是使用V-net模型在全监督设置下的分割结果。第四列显示了本发明提出的基于多视角一致性半监督方法的分割结果。在使用相同20％标记数据数量训练网络模型的情况下，我们的半监督方法明显比全监督设置下的分割结果更好。在图4的(b)行中红色标记部分，我们的方法对肝脏的边界区域分割更准确更接近于真实标签，并且几乎接近于100％标记数据全监督设置下的分割结果。这是因为我们引入的辅助预测任务来学习肝脏的全局几何信息，它能够使模型学习到更多的肝脏边界信息，从而提高模型的分割性能。

Claims (4)

1.一种基于多视角一致性的半监督3D肝脏CT图像分割方法，其特征在于，具体步骤如下：

(1)获取肝脏的CT图像数据集，将数据集按照8:2的划分，将80％的CT图像作为训练集，20％的CT图像作为测试集；同时在训练集中仅有20％图像集合N带有标签，记得到剩余80％图像集合M不带标签，记得到/>最后训练集集合的组成为D＝D^l+D^u，X、Y表示输入的三维图像和对应的标签；

(2)将数据集进行预处理操作；首先将原始的HU值调整以去除肝脏灰度范围外的像素并归一化；将裁剪图像尺寸大小；记得到三维图像为X_i∈R^{256×256×256}；

(3)构建基于多视角的半监督3D肝脏CT图像分割的网络模型F；

(3a)采用3D V-Net主干网络，并添加两个解码器从而从不同角度预测分割任务；该网络模型包含一个共享编码器、三个在上采样略微不同的解码器；其中添加的两个解码器在上采样分别使用三线性插值和最近插值，其余结构全部相同；定义解码器D2为主解码器，D1，D3为辅助解码器；

每个解码器包含一个像素级分割图预测任务和一个捕获几何形状感知任务；

(3b)在步骤(3a)所述的神经网络模型，在共享编码器中包含五个编码层；解码器中包含四个解码层、一个1×1×1卷积层和Tanh激活函数；使用跳跃连接分别将编码器的第1、2、3、4层和解码器的第4、3、2、1层连接；其中每个编码层和解码层都使用了残差结构；

(3c)在步骤(3a)中所述的神经网络模型，通过该模型F对图像X_i∈R^{256×256×256}提取特征信息，每一个编码层的输出作为下一个编码层的输入；最后一个编码层输出最为第一层解码器的输入；上一层解码器的输出作为下一层解码器输出；最终每个解码器输出得到两种预测结果，包含像素级分割图和具有几何形状感知的符号距离图/>

(4)在步骤(3c)中所述，三个解码器D1、D2、D3对应得到三个分割图和三个符号距离图/>通过T^-1(x)平滑近似函数对有符号距离图/>进行逆转换成近似分割图；平滑近似函数可定义为如下：

其中：其中z是体素x的有符号距离图的距离值，k是一个超参数尽可能的设置较大的值来近似变换接近分割真实值；

(5)通过水平集函数将标签图像转换成符号距离图，水平集函数公式定义如下：

其中在符号距离图中每个点(体素)表示之间的距离和最近边界，所以其中||x-y||₂表示体素x，y之间的欧式距离。表示目标对象的表面，SMD中点的值为0则表示位于目标对象的表面。

Cin、Cout分别表示为目标对象的内部和外部。对于目标对象内部区域的体素取负值，外部区域取值反之；

(6)在步骤(4)中所述，预测的符号距离图通过T^-1(z)转换成近似分割图，在主解码器D2和辅助解码器D1、D3输出的多视角结果之间建立跨任务一致性损失，通过最小化主解码器预测结果和辅助解码器预测结果之间的差异来学习未标记数据；

(7)在步骤(5)中所述，标签图像通过水平集函数T(x)转换成符号距离图，在标签图像与三个解码器输出结果之间建立监督损失从而解决网络模型在反向传播过程中梯度消失问题；

(8)在步骤(6)、(7)中所述总损失函数由一致性损失和监督损失组成；

(9)训练网络模型F，最终将测试集送入到训练好的模型中，得到肝脏分割结果。

2.根据要求1所述，基于多视角一致性的半监督3D肝脏CT图像分割方法，在所述步骤(4)：采用均方差(Mean-Squared)损失函数在主解码器D2和辅助解码器D1、D3输出的多视角结果之间建立跨任务一致性损失，通过最小化主解码器预测结果和辅助解码器预测结果之间的差异来学习未标记数据；其定义如下：

其中：解码器得到的经过T^-1(x)函数转换近似像素分割图以实现不同任务之间转换的一致性。

3.根据要求1所述，基于多视角的半监督3D肝脏CT图像分割方法，在所述步骤(5)：采用Dice相似系数损失(Dice Coefficient Loss)和均方差损失函数(Mean-Squared Loss)分别作三个解码器输出的像素分割图和符号距离图的监督损失，像素级分割图损失函数和符号距离图损失函数定义如下：

L_sup＝L_seg+L_sdm

其中：L_seg是像素级分割图的监督损失；L_sdm是符号距离图的监督损失；y表示图像标签，经过T(x)函数转换后得到相应的符号距离图进行监督学习；L_sup为总的监督损失。

4.根据要求1所述，基于多视角的半监督3D肝脏CT图像分割方法，其特征在于所述步骤(8)中，总的损失函数可定义为：

L_total＝L_sup+λLm_n

其中：λ设置采用高斯升温函数来控制监督损失和无监督损失之间的平衡，t表示当前训练步骤，t_max表示最大训练步骤。