CN113129309A - 基于对象上下文一致性约束的医学图像半监督分割系统 - Google Patents

Abstract

本发明涉及一种基于对象上下文一致性约束的医学图像半监督分割系统，包括图像粗加工模块，图像粗加工模块包括多个粗加工层，除底部以外的粗加工层设有编码器和解码器，还包括级联的字符识别模块，顶部的粗加工层的编码器获取未标注的初始医学图像，解码器输出粗分割图到字符识别模块，字符识别模块之间设有卷积层，融合来自粗加工层的低层信息和上一级字符识别模块的输出特征，得到细分割图，字符识别模块生成对象上下文特征向量并拼接计算得到增强特征图，从而设置一致性约束，对粗分割图和细分割图进行半监督训练，得到医学标注图像。与现有技术相比，本发明具有有效提升模型的特征提取能力、从无标注数据中学习更抗扰动的全局特征等优点。

Description

基于对象上下文一致性约束的医学图像半监督分割系统

技术领域

本发明涉及医学图像处理技术领域，尤其是涉及一种基于对象上下文一致性约束的医学图像半监督分割系统。

背景技术

医学图像是通过特定医学仪器采集到的人体组织或器官的影像，在临床诊断治疗中具有至关重要的作用。由于成像机理的不同，医学图像不仅种类很多，而且相差迥异。目前被广泛应用于临床诊断的医学图像有核磁共振成像、血管镜图片、计算机断层扫描、病理切片、超声波成像、X光片和核医学成像。面对特定的人体组织器官和病症时，需要针对性地选择适用于诊断相应病症的医学图像来辅助治疗。

在深度学习的背景下，医学图像分割任务的目标是训练出能够正确分割目标器官病灶区域的模型。模型的分割结果能够在临床治疗中为医生提供建议，还能够估计放射治疗的剂量和测定肿瘤的体积。分割模型需要经数据集训练后才能投入使用，对于医学数据集，因为标注成本高，标注数据往往只有数百到数千的量级。但可以获取到大量的未标注医学数据。因此，为了充分利用无标注样本提高模型性能，近年来半监督学习成为了医学图像分割领域的热点研究方向。目前在分割领域常见的思路有：一、使用模型去生成假标签来供无标注数据训练使用；二、使用对抗生成网络来约束模型对数据的理解。但是伪标签和对抗生成网络的方法训练存在过错不稳定，流程复杂的问题，影响最终分割结果的准确性。

发明内容

本发明的目的就是为了克服上述现有技术存在的训练过程不稳定、流程复杂的缺陷而提供一种基于对象上下文一致性约束的医学图像半监督分割系统，学习不易受扰动影响的全局上下文特征。

本发明的目的可以通过以下技术方案来实现：

一种基于对象上下文一致性约束的医学图像半监督分割系统，包括图像粗加工模块，所述图像粗加工模块为U型网络结构，包括多个粗加工层，U型网络底部的粗加工层仅设有1个编码器，其余每个粗加工层设有1个编码器和1个解码器，解码器之间进行上采样数据传输，顶部的粗加工层的编码器获取未标注的初始医学图像，还包括级联的字符识别(OCR)模块，顶部的粗加工层的解码器输出粗分割图到各个字符识别模块，字符识别模块之间设有卷积层，卷积层融合来自相应粗加工层编码器的低层信息和上一级字符识别模块的输出特征，得到细分割图，同时每个字符识别模块生成对象上下文特征向量并拼接计算得到增强特征图，根据对象上下文特征向量和增强特征图设置一致性约束，根据所述一致性约束对粗分割图和细分割图进行半监督训练，得到最终的医学标注图像。

所述字符识别模块根据粗分割图将卷积层输出的特征图从空间上按类别进行聚类，生成对象上下文特征向量。

所述卷积层的类型具体为两组3 3卷积层。

进一步地，所述级联的字符识别模块的末端通过两组3 3卷积层与1个卷积层以及1个1 1卷积层相连，输出细分割图。

所述编码器包括1个最大池化层和2个卷积层，所述解码器包括2个卷积层。

字符识别模块生成的对象上下文特征向量是对输入特征图上各物体区域所有信息的浓缩汇总。

所述字符识别模块中，增强特征图根据上一级字符识别模块的输出特征中的上游特征图和对象上下文特征向量拼接后对应的对象上下文特征图计算得到，对象上下文特征图的计算公式如下所示：

其中，y_i为对象上下文特征图在空间位置i的向量，K为粗分割图的数量，f_k为对象上下文特征向量，ρ为过程变换方程，ω_ik为像素区域关系值，像素区域关系值基于像素区域关系图，具体计算公式如下所示：

其中，X_i为上游特征图中的物体类别，κ(x,f)＝φ(x)^Tψ(f)，φ和ψ是两个结构相同的变换方程，由一组1 1卷积、批量标准化层和ReLU激活函数组成。

所述粗分割图和上游特征图在各空间上点乘计算出物体区域图，每个物体区域图对应一种分割类别，通过物体区域图和上游特征图进行对应元素乘积并进行全局池化得到各个类别的上下文特征向量。

所述半监督训练采用Mean Teacher半监督框架，Mean Teacher半监督框架包括学生模型和教师模型，学生模型使用反向传播来学习参数，教师模型生成目标分割掩膜以供学生模型进行无监督部分的学习，通过使用指数移动平均进行参数更新，具体公式如下所示：

θ′_t＝βθ′_t-1+(1-β)θ_t

其中，θ′_t为本次迭代中教师模型的模型参数，θ′_t-1为上次迭代中教师模型的模型参数，θ_t为本次迭代中学生模型的模型参数，β为平滑参数。β决定了教师模型对当前学生模型参数的依赖程度。β越大，教师模型就更依赖于以往的教师模型参数；反之，若β＝0，教师模型每次更新就直接沿用学生模型的参数。

所述Mean Teacher半监督框架的总损失包括监督学习损失和正则化项损失，表达式具体如下所示：

其中，θ为模型参数，L为监督损失函数，R为无监督部分的正则化损失函数，λ为权重项，x_i为上游特征图在空间位置i的向量，

为标注数据的集合，

为未标注数据的集合，Q和P分别为未标注数据和标注数据的数量。

监督学习损失具体为细分割图训练时的损失，正则化项损失具体为粗分割图训练时的损失，计算公式具体如下：

其中，

为总损失，

为细分割图训练时的损失，

为粗分割图训练时的损失，α为权重参数，用于调整损失函数中正则化损失的比例，具体计算公式如下所示：

α＝eXP(-5(1-iter/maxiter)²)

其中，iter为当前迭代次数，maxiter为最大迭代次数。在训练初期，监督学习损失占主导地位，随后正则化损失慢慢增加。

进一步地，所述监督学习损失根据交叉熵损失函数和交并比损失函数进行计算，具体公式如下所示：

其中，L_CE为交叉熵损失函数，L_IoU为交并比损失函数，R_MSE为均方误差约束，R_cosine为对象上下文特征向量的不变性约束，γ为过程参数。

进一步地，所述均方误差约束的计算公式具体如下所示：

其中，M为粗分割图或细分割图的图像像素的集合，

为第i个像素在学生模型中分割结果和目标真值的数值概率，

为第i个像素在教师模型中分割结果和目标真值的数值概率；

所述不变性约束的计算公式具体如下所示：

其中，N为字符识别模块的数量，

为教师模型的对象上下文特征向量，

为学生模型的对象上下文特征向量。

与现有技术相比，本发明具有以下有益效果：

本发明通过U型网络结构的图像粗加工模块生成粗分割图，由级联的字符识别模块在全局信息的基础上不断精细化，得到细分割图，同时生成对象上下文特征向量和增强特征图，以此来对输出的粗分割图和细分割图进行具有一致性约束的半监督训练，相比于传统的医学图像半监督分割模型，能够使半监督模型学习到不易受扰动影响的全局上下文特征，有效利用大量未标注数据生成医学标注数据，提高最终医学分割图像的准确性。

附图说明

图1为本发明的结构示意图；

图2为本发明字符识别模块的结构示意图；

图3为本发明实施例中ISIC数据集上的分割效果可视化的示意图；

图4为本发明实施例中前列腺器官分割数据集上的分割效果可视化的示意图；

图5为本发明实施例中Covid-SemiSeg数据集上的分割效果可视化的示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例

如图1所示，一种基于对象上下文一致性约束的医学图像半监督分割系统，使用COCRU-Net模型，包括图像粗加工模块，图像粗加工模块为U型网络结构，包括多个粗加工层，U型网络底部的粗加工层仅设有1个编码器，其余每个粗加工层设有1个编码器和1个解码器，解码器之间进行上采样数据传输，顶部的粗加工层的编码器获取未标注的初始医学图像，还包括级联的字符识别(OCR)模块，顶部的粗加工层的解码器输出粗分割图到各个字符识别模块，字符识别模块之间设有卷积层，卷积层融合来自相应粗加工层编码器的低层信息和上一级字符识别模块的输出特征，得到细分割图，同时每个字符识别模块生成对象上下文特征向量并拼接计算得到增强特征图，根据对象上下文特征向量和增强特征图设置一致性约束，根据一致性约束对粗分割图和细分割图进行半监督训练，得到最终的医学标注图像。

字符识别模块根据粗分割图将卷积层输出的特征图从空间上按类别进行聚类，生成对象上下文特征向量，OCR模块能够提取到物体类别明确的上下文信息。

卷积层的类型具体为两组3 3卷积层。

级联的字符识别模块的末端通过两组3 3卷积层与1个卷积层以及1个1 1卷积层相连，输出细分割图。

编码器包括1个最大池化层和2个卷积层，解码器包括2个卷积层。

字符识别模块生成的对象上下文特征向量是对输入特征图上各物体区域所有信息的浓缩汇总。

如图2所示，字符识别模块中，增强特征图根据上一级字符识别模块的输出特征中的上游特征图和对象上下文特征向量拼接后对应的对象上下文特征图计算得到，对象上下文特征图的计算公式如下所示：

其中，y_i为对象上下文特征图在空间位置i的向量，K为粗分割图的数量，f_k为对象上下文特征向量，ρ为过程变换方程，ω_ik为像素区域关系值，像素区域关系值基于像素区域关系图，具体计算公式如下所示：

其中，X_i为上游特征图中的物体类别，κ(x,f)＝φ(x)^Tψ(f)，φ和ψ是两个结构相同的变换方程，由一组1×1卷积、批量标准化层和ReLU激活函数组成。

粗分割图和上游特征图在各空间上点乘计算出物体区域图，每个物体区域图对应一种分割类别，通过物体区域图和上游特征图进行对应元素乘积并进行全局池化得到各个类别的上下文特征向量。

半监督训练采用Mean Teacher半监督框架，Mean Teacher半监督框架包括学生模型和教师模型，学生模型使用反向传播来学习参数，教师模型生成目标分割掩膜以供学生模型进行无监督部分的学习，通过使用指数移动平均进行参数更新，具体公式如下所示：

θ′_t＝βθ′_t-1+(1-β)θ_t

其中，θ′_t为本次迭代中教师模型的模型参数，θ′_t-1为上次迭代中教师模型的模型参数，θ_t为本次迭代中学生模型的模型参数，β为平滑参数。β决定了教师模型对当前学生模型参数的依赖程度。β越大，教师模型就更依赖于以往的教师模型参数；反之，若β＝0，教师模型每次更新就直接沿用学生模型的参数。本实施例中，设置平滑参数β＝0.999。

Mean Teacher半监督框架的总损失包括监督学习损失和正则化项损失，表达式具体如下所示：

其中，θ为模型参数，L为监督损失函数，R为无监督部分的正则化损失函数，λ为权重项，x_i为上游特征图在空间位置i的向量，

为标注数据的集合，

为未标注数据的集合，Q和P分别为未标注数据和标注数据的数量。

监督学习损失具体为细分割图训练时的损失，正则化项损失具体为粗分割图训练时的损失，计算公式具体如下：

其中，

为总损失，

为细分割图训练时的损失，

为粗分割图训练时的损失，α为权重参数，用于调整损失函数中正则化损失的比例，具体计算公式如下所示：

α＝exp(-5(1-iter/maxiter)²)

其中，iter为当前迭代次数，maxiter为最大迭代次数。在训练初期，监督学习损失占主导地位，随后正则化损失慢慢增加。本实施例中，粗分割的输出损失配比α设置为0.4。

监督学习损失根据交叉熵损失函数和交并比损失函数进行计算，具体公式如下所示：

其中，L_CE为交叉熵损失函数，L_IoU为交并比损失函数，R_MSE为均方误差约束，R_cosine为对象上下文特征向量的不变性约束，γ为过程参数。

均方误差约束的计算公式具体如下所示：

其中，M为粗分割图或细分割图的图像像素的集合，

为第i个像素在学生模型中分割结果和目标真值的数值概率，

为第i个像素在教师模型中分割结果和目标真值的数值概率；

不变性约束的计算公式具体如下所示：

其中，N为字符识别模块的数量，

为教师模型的对象上下文特征向量，

为学生模型的对象上下文特征向量。

如图3所示，使用ISIC皮肤损伤分割挑战数据集进行测试，其中包括黑色素瘤和痣的图片，分割任务包含2000份标注过的训练集和600份数据的测试集，为了进行半监督模型训练，训练集被随机划为100张标注数据和1900张无标注数据，具体的测试数据如表1所示：

表1 ISIC数据集测试结果

	Dice	IoU	Precision	Recall
					U-Net	0.5782	0.4828	0.6703	0.7055
U-Net++	0.6348	0.5306	0.7506	0.6876
					TCSM V2	0.7055	0.5563	0.6872	0.7644
COCRU-Net	0.7630	0.6711	0.8459	0.7808

表1的结果显示，从四项指标来看，COCRU-Net相比基线模型具有明显的提升。从图3的结果可以看出得益于对无标注数据的学习，两个半监督模型的效果要远好于监督模型的U-Net和U-Net++。而两个半监督模型中，COCRU-Net比TCSM V2的分割结果更好，对于困难输入图像(如图4.4第2和第4列)的分割也具有更好的鲁棒性。

如图4所示，使用核磁共振成像仪器采集男性病患的下腹部T2数据，并由数名专业医师使用ITK-SNAP软件对这些MRI数据进行标注，并通过医师间交叉检查来确保标注的正确性。该数据集的任务是分割出男性前列腺及其周围高危器官，来辅助医生诊断和进行术前器官建模分析。因此标注的种类共3种，包括前列腺(prostate)、直肠(rectum)和精囊(seminal vesicles)。数据集划分为训练集数据2387份，测试集数据582份。训练集的半监督训练具体设置为，有监督学习部分为400张标注数据，无监督学习部分为1987张，具体的测试结果如表2所示：

表2前列腺器官分割数据集测试结果

表2的结果显示，与U-Net相比，COCRU-Net在各分割类别的Dice系数上都有25％左右的提升。与半监督模型TCSM V2相比，在前列腺这一类别上，有明显的提升，COCRU-Net的Dice系数提高了约11％。从图4的结果中可以看出半监督模型TSCM V2和COCRU-Net的分割输出比Baseline模型的输出更加精确，周围无关区域的噪点更少，鲁棒性更好。而在COCRU-Net输出中，前列腺器官的分割比TSCM V2的分割更加贴合目标组织区域。这说明了COCRU-Net相比基线半监督模型，具有更强的特征学习能力，能够更充分地利用未标注数据进行学习。

如图5所示，COVID-SemiSeg数据集包括98张标注过的新冠肺炎病人的胸部CT扫描和1600张未标注但确诊为新冠肺炎的CT数据。在数据集划分上，50张标注数据和1600未标注数据作为训练集，48张标注扫描作为测试集。该数据一共标注了两种病灶，包括毛玻璃模糊(ground-glass opacity,GGO)和肺实质化病变(lung consolidation)，具体的测试结果如表3所示：

在Covid-SemiSeg数据集里，只有50份标注数据。而且两种标注类别，毛玻璃模糊和肺实质化病变在形态上比较接近，导致医生手动标注的标准有所差别。表3的结果显示，相比于之前两个数据集上的实验，Covd-SemiSeg数据集上各个模型的Dice系数和交并比指标大大降低。在这样困难的实验数据设置下，在各分割类别上，COCRU-Net的Dice系数比U-Net高出15％左右，比使用假标签进行半监督训练的Inf-Net高出10％左右，比同样使用Mean Teacher半监督框架的TSCM V2高出5％左右。这说明COCRU-Net相比基线模型能够更好地应对困难数据集。如如图5所示的第4列图像，当模型没有足够能力分割出病灶时，模型倾向于分割出更大的区域，甚至覆盖掉整个肺部，这样会导致模型的精密度很低。而COCRU-Net的这种倾向是四种模型里最小的。

为了探究在不同标注/未标注配比下模型的表现，本实施例在ISIC分割训练集设置了6种配比(记作β)，50/1950，100/1900，200/1800，500/1500，1000/1000，2000/0。标注数据的占比逐渐上升。实验的模型共三种，半监督模型COCRU-Net和TCSM V2，以及不使用未标注数据的U-Net模型，具体结果如表4所示：

表4 ISIC数据集上的标注训练实验结果

表4的结果显示，COCRU-Net在所有配比设置下的效果都优于监督基线模型U-Net和半监督模型TCSM V2，这说明了本发明的模型有更强的特征提取能力，对无标注数据的利用更充分。虽然随着标注数据的增加，三个模型的表现都在不断提升。但在β较小的时候，COCRU-Net的效果更好，并随着β增大，COCRU-Net比其他模型更快地收敛到2000/0的性能上限。

相比于使用监督学习的原始U-Net模型，本发明提出的半监督模型COCRU-Net主要有三个改进，一是Cascaded OCR模块，二是对象上下文向量的一致性约束，三是使用MeanTeacher进行半监督学习。虽然COCRU-Net的分割效果比起原始U-Net提升，但是各块改进具体的提升尚不明确。因此，本实施例在前列腺器官分割数据集上进行COCRU-Net的消融实验，该数据集上，标注训练数据400份，无标注训练数据1987份。消融实验中各个模型设置如下：原始U-Net作为基础的对照模型(记作U-Net)；带有Cascaded OCR模块的COCRU-Net模型，但不进行半监督学习(记作COCR)；使用Mean Teacher框架进行半监督学习的COCRU-Net模型，但不使用上下文向量进行一致性约束(记作COCR+MT)；使用所有改进和所有数据的COCRU-Net(COCRU-Net)，测试结果如表5所示：

表5前列腺器官分割数据集的消融实验结果

表5的结果显示，四种设置下，在U-Net的基础上不断添加新的模块和无标注数据，模型效果也不断提高。可以看出在仅仅在U-Net上添加Cascaded OCR模块就能够在各个分割类别上提升10％的Dice Score。在使用Cascaded OCR模块的基础上，进行Mean Teacher半监督学习又可以提升5％左右的效果，这说明了模型能够从大量无标注数据中学习到有效的特征。对比COCR+MT和COCRU-Net两组实验，可以发现上下文特征约束能够有效提升各个分割类别的效果，Dice Score增加4％左右。通过消融实验证明了本发明提出的CascadedOCR模块能够有效提升模型的特征提取能力；上下文向量一致性约束使模型能从无标注数据中学习更抗扰动的全局特征。

此外，需要说明的是，本说明书中所描述的具体实施例，所取名称可以不同，本说明书中所描述的以上内容仅仅是对本发明结构所做的举例说明。凡依据本发明构思的构造、特征及原理所做的等效变化或者简单变化，均包括于本发明的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实例做各种各样的修改或补充或采用类似的方法，只要不偏离本发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (10)

1.一种基于对象上下文一致性约束的医学图像半监督分割系统，包括图像粗加工模块，所述图像粗加工模块为U型网络结构，包括多个粗加工层，U型网络底部的粗加工层仅设有1个编码器，其余每个粗加工层设有1个编码器和1个解码器，解码器之间进行上采样数据传输，顶部的粗加工层的编码器获取未标注的初始医学图像，其特征在于，还包括级联的字符识别模块，顶部的粗加工层的解码器输出粗分割图到各个字符识别模块，字符识别模块之间设有卷积层，卷积层融合来自相应粗加工层编码器的低层信息和上一级字符识别模块的输出特征，得到细分割图，同时每个字符识别模块生成对象上下文特征向量并拼接计算得到增强特征图，根据对象上下文特征向量和增强特征图设置一致性约束，根据所述一致性约束对粗分割图和细分割图进行半监督训练，得到最终的医学标注图像。

2.根据权利要求1所述的一种基于对象上下文一致性约束的医学图像半监督分割系统，其特征在于，所述字符识别模块根据粗分割图将卷积层输出的特征图从空间上按类别进行聚类，生成对象上下文特征向量。

3.根据权利要求1所述的一种基于对象上下文一致性约束的医学图像半监督分割系统，其特征在于，所述卷积层的类型具体为两组3×3卷积层。

4.根据权利要求3所述的一种基于对象上下文一致性约束的医学图像半监督分割系统，其特征在于，所述级联的字符识别模块的末端通过两组3×3卷积层与1个卷积层以及1个1×1卷积层相连，输出细分割图。

5.根据权利要求1所述的一种基于对象上下文一致性约束的医学图像半监督分割系统，其特征在于，所述编码器包括1个最大池化层和2个卷积层，所述解码器包括2个卷积层。

6.根据权利要求1所述的一种基于对象上下文一致性约束的医学图像半监督分割系统，其特征在于，所述字符识别模块中，增强特征图根据上一级字符识别模块的输出特征中的上游特征图和对象上下文特征向量拼接后对应的对象上下文特征图计算得到，对象上下文特征图的计算公式如下所示：

其中，y_i为对象上下文特征图在空间位置i的向量，K为粗分割图的数量，f_k为对象上下文特征向量，ρ为过程变换方程，ω_ik为像素区域关系值，像素区域关系值基于像素区域关系图，具体计算公式如下所示：

其中，X_i为上游特征图中的物体类别，κ(x，f)＝φ(x)^Tψ(f)，φ和ψ是两个结构相同的变换方程，由一组1×1卷积、批量标准化层和ReLU激活函数组成。

7.根据权利要求1所述的一种基于对象上下文一致性约束的医学图像半监督分割系统，其特征在于，所述半监督训练采用Mean Teacher半监督框架，Mean Teacher半监督框架包括学生模型和教师模型，学生模型使用反向传播来学习参数，教师模型生成目标分割掩膜以供学生模型进行无监督部分的学习，通过使用指数移动平均进行参数更新，具体公式如下所示：

θ′_t＝βθ′_t-1+(1-β)θ_t

其中，θ′_t为本次迭代中教师模型的模型参数，θ′_t-1为上次迭代中教师模型的模型参数，θ_t为本次迭代中学生模型的模型参数，β为平滑参数。

8.根据权利要求7所述的一种基于对象上下文一致性约束的医学图像半监督分割系统，其特征在于，所述Mean Teacher半监督框架的总损失包括监督学习损失和正则化项损失，监督学习损失具体为细分割图训练时的损失，正则化项损失具体为粗分割图训练时的损失，计算公式具体如下：

其中，

为总损失，

为细分割图训练时的损失，

为粗分割图训练时的损失，α为权重参数。

9.根据权利要求8所述的一种基于对象上下文一致性约束的医学图像半监督分割系统，其特征在于，所述监督学习损失根据交叉熵损失函数和交并比损失函数进行计算，具体公式如下所示：

其中，L_CE为交叉熵损失函数，L_IoU为交并比损失函数，R_MSE为均方误差约束，R_cosine为对象上下文特征向量的不变性约束，γ为过程参数。

10.根据权利要求9所述的一种基于对象上下文一致性约束的医学图像半监督分割系统，其特征在于，所述均方误差约束的计算公式具体如下所示：

其中，M为粗分割图或细分割图的图像像素的集合，

为第i个像素在学生模型中分割结果和目标真值的数值概率，

为第i个像素在教师模型中分割结果和目标真值的数值概率；

所述不变性约束的计算公式具体如下所示：

其中，N为字符识别模块的数量，

为教师模型的对象上下文特征向量，

为学生模型的对象上下文特征向量。

Images