CN114862800A

CN114862800A - 基于几何一致性约束的半监督医学图像分割方法

Info

Publication number: CN114862800A
Application number: CN202210507720.1A
Authority: CN
Inventors: 赵春晖; 刘梓航
Original assignee: Zhejiang University ZJU
Current assignee: Zhejiang University ZJU
Priority date: 2022-05-10
Filing date: 2022-05-10
Publication date: 2022-08-05

Abstract

本发明公开了一种基于几何一致性约束的半监督医学图像分割方法。本发明针对医学图像标注获取成本昂贵，耗时耗力的问题，构建了基于几何一致性约束和对偶深度神经网络模型，仅需要少量标注图像，就可以实现医学图像的精准自动分割。另外，本发明充分考虑了医学图像噪声大，边界分割模糊等特性，利用一个辅助任务来学习分割目标的几何结构信息，进而帮助模型更好的实现对边界模糊区域的分割。同时，利用对偶深度神经网络模型从不同视角进行目标分割，从而降低分割的不确定性，提高预测准确率。该方法可以适用于各类医学图像分割任务，同时其分割精度相较于目前的先进算法均有显著提升。该方法可以有效缓解影像学医师的工作负担。

Description

基于几何一致性约束的半监督医学图像分割方法

技术领域

本发明属于医学图像分析中的自动图像分割领域，特别针对有标签的图像数据不足，无标签数据充足情况下的图像智能分割。

背景技术

在实际临床应用中，根据医学图像实现对器官或病变区域的精准鲁棒分割扮演着十分重要的角色。精确的分割结果可以帮助医生更好的实现对疾病的诊断，定量分析以及为下一步的诊疗方案提供理论依据。近年来，随着医疗行业的快速发展和医学成像技术的不断进步，医学图像数据呈爆发式增长。然而，医学图像分析需要大量的专家知识以及时间消耗，因此，实现医学图像的自动分割可以有效的缓解影像学医师的工作压力，有着迫切的现实需求。

近年来，随着深度学习的兴起，有学者相继提出了针对不同器官或肿瘤的图像自动分割方法，主要基于U-Net网络和其改进模型，有效的提升了分割的准确率。然而，这些方法大多基于有监督的设定，其分割性能的提升通常依赖于充足的有标注图像。正如上文所述，在实际临床应用中，获取医学图像标签的成本十分昂贵，有监督的设定并不合理。标注图像的稀缺推动了半监督医学图像分割的研究，相对应的，获取少量的有标注图像和大量无标注图像也更加符合实际情况。

目前主流的半监督医学图像分割方法可以粗略分为两类，一类是基于自训练的方法，即利用有标注数据训练一个初始模型来给无标注数据打伪标签，进而重复训练更新模型参数。另一类是基于一致性正则约束的方法，通过对输入数据添加扰动，约束模型输出一致的方式来学习无标注数据的知识。然而，这些方法忽略了医学图像分割中的两个难点。一是没有考虑不同区域分割的难易程度不同，导致目标边界等困难区域的分割不清晰。二是没有考虑到原始图像数据质量参差不齐的问题，导致高不确定性的预测结果，进而影响分割性能。因此，如何有效利用图像不同区域的信息差异，获取一个低不确定性，高精度的医学图像分割模型，是一个巨大的挑战。

发明内容

本发明的目的在于帮助减轻影像学医师的图像标注负担，提供一种基于几何一致性约束的半监督医学图像自动分割方法。

本发明的目标是通过以下技术方案实现的：

一种基于几何一致性约束的半监督医学图像分割方法，该方法具体为：

获取医学图像，将医学图像输入至训练好的医学图像分割模型，获得医学图像分割结果；

其中，所述医学图像分割模型通过如下方法训练获得：

收集医学图像数据，对其中部分医学图像进行分割标注作为标签，获得训练数据集；

构建用于训练的半监督医学图像分割网络，所述用于训练的半监督医学图像分割网络包括编码器、第一解码器和第二解码器；其中，编码器用于对输入的医学图像编码获得医学图像特征，第一解码器和第二解码器用于依据所述医学图像特征解码获得有符号距离图的预测结果和图像分割结果；

将训练数据集作为半监督医学图像分割网络的输入，构建损失函数进行训练，直至损失函数收敛或达到预设的训练轮数；将训练好的编码器、第一解码器作为医学图像分割模型；

所述损失函数

表示如下：

其中，λ是权重，

为有监督的损失：

β是加权系数，

为第一解码器和第二解码器输出的有标签的医学图像对应的图像分割结果与标签的分割损失；

为第一解码器和第二解码器输出的有标签的医学图像对应有符号距离图的预测结果与标签有符号距离图的预测损失；

为无监督损失：

其中，D表示图像的像素集合，

和

分别表示第一、第二解码器输出的图像分割结果，

和

分别表示第一、第二解码器输出的有符号距离图的预测结果；T^-1表示有符号距离图到分割图的转换，ω₁、ω₂为指数加权系数：

ρ为超参数。

进一步地，所述训练数据集中，有标签的医学图像和无标签的医学图像的比例大于1:10。

进一步地，所述训练数据集中，还包括对收集的医学图像进行数据增强，扩充所述训练数据集。

进一步地，λ是随训练轮数指数递增的权重。

进一步地，

t和t_max分别表示训练的当前轮数和最大轮数。

进一步地，所述

为dice、交叉熵损失中的一种或几种组合；

为均方误差损失。

进一步地，所述标签的有符号距离图通过如下方式转换获得：

其中，T(y(i))表示标签图y内第i个像素y(i)的转换结果；inf表示函数的下界，||*||₂表示二范数，G_in表示前景，G_out表示背景，

表示边界；z_i为边界上任意一个像素点；

T^-1通过如下公式计算：

k为超参数，m表示图像，为

或

进一步地，利用滑窗方法依次将医学图像裁剪成与训练图像大小一致的若干图像，输入至训练好的医学图像分割模型，获得对应的若干图像分割结果，拼接获得对应医学图像分割结果。

本发明的有益效果是：本发明从更符合实际临床应用的半监督设定场景着手，设计了一种新颖的深度学习模型，更加高效准确的解决了医学图像自动分割难题。该模型的设计主要针对医学图像分割中的两个难点。首先针对常见的原始数据质量参差不齐，分割结果不确定性高的难点，以对偶解码的方式，设计了一种基于几何一致性约束的深度网络，有效的降低了分割结果的不确定性，提高了训练效率。第二针对分割目标边界不清晰，易产生误分割的问题，考虑了分割目标的全局几何结构，设计了一种指数加权策略，使得模型能够更好的学习边界区域丰富的纹理信息，以提高分割的准确率。在模型验证过程中，只需要少量标注样本，就可以实现高准确率的图像分割效果，其准确率超过了目前最先进的方法。此外，网络模型的搭建也很简单，具有很好的泛化性，适用于不同的医学图像数据，通用性强，可以有效的辅助人工，更加高效的完成医学图像分割任务。

附图说明

图1是实例中的医学图像示例，以及分割不确定性的示意图。

图2是实例中的分割模型结构图。

图3是本发明在半监督设定下对医学图像分割模型进行训练的方法流程图。

图4是本发明在半监督设定下利用医学图像分割模型进行图像分割的方法流程图。

图5是实例中的图像分割结果图。

具体实施方式

下面结合附图及具体实例，对本发明作进一步详细说明。

医学图像分割是诸多疾病诊断分析中的重要一环。近年来，随着影像学技术的快速发展，医学图像的数量呈几何倍数增长，研究高效精准的医学图像自动分割算法，对于推动医学研究和人类健康事业发展具有重要意义。然而，医学图像的数据质量往往参差不齐，目标边界信息复杂，如图1所示，通常的分割结果具有高不确定度。本发明融合分割目标的几何结构信息，在分割的准确度和完整性上取得了更好的效果。下面以2018MICCAI左心房分割挑战赛公开数据集为例，说明本发明的具体实施方式。

获取医学图像，将医学图像输入至训练好的医学图像分割模型，获得医学图像分割结果；其中，所述医学图像分割模型通过如下方法训练，如图3所示，包括以下步骤：

步骤1：收集医学图像数据，对其中部分医学图像进行分割标注作为标签，获得训练数据集；

本实施例的数据集包含100张3D增强MRI图像，每张图像的分辨率为0.625mm×0.625mm×0.625mm,随机划分80张图像作为训练集，20张图像作为测试集。

分别按有标签图像和无标签图像比例为1：10(或1:5)进行训练集划分，即随机选取8(或16)张图像作为有标签图像，其余72(或64)张图像不使用标签信息。本实施例中，图像标注是指像素级的分类结果，前景像素值为1，背景像素值为0，这里只考虑二分类任务，但不限于此。

进一步地，对训练数据集进行数据裁剪、数据预处理和数据增强，将处理后的数据随机进行批次划分，批次大小为4，每个批次内包含两张有标签图像和两张无标签图像。所有80张训练图像均包含在所有批次内。

其中，对训练数据集进行数据裁剪、数据预处理和数据增强，具体如下：

步骤a：首先确定包含分割目标的最小矩形框，然后随机向各个方向进行一定尺寸的扩充，对原图像进行裁剪，裁剪后的图像大小为112×112×80。

步骤b：对裁剪后的图像像素进行min-max标准化，然后采用随机旋转和随机翻转对训练图像进行数据增强。旋转角度为90°或180°或270°，翻转为沿x或y轴进行图像翻转。

步骤2：构建基于几何一致性约束的用于训练的半监督医学图像分割网络，用于训练的半监督医学图像分割网络的具体结构如图2所示，模型以V-Net为基本架构，由一个共享的编码器E和第一、第二解码器D₁,D₂组成。其中，编码器用于对输入的医学图像编码获得医学图像特征，第一解码器和第二解码器用于依据所述医学图像特征解码获得有符号距离图的预测结果和图像分割结果；

示例性地，本实施例中编码器E由4个残差卷积模块和4个下采样模块组成，每个残差卷积模块由卷积层，BN层和ReLU激活函数依次组合并进行残差连接。每个下采样模块由卷积层和ReLU激活函数组合得到。

解码器D₁包含4个残差卷积模块，4个上采样模块和一个输出模块，残差卷积模块和编码器E一致，上采样模块由反卷积层和ReLU激活函数组合得到，输出层包含一个tanh激活函数和卷积层的组合，以及一个并列的卷积层，同时输出有符号距离图的预测结果和图像分割结果。

解码器D₂和解码器D₁的结构类似，只是上采样模块用三阶样条差值对反卷积层进行了替换。

步骤3：接下来按批次进行模型训练，训练6000轮。训练采用SGD优化器，初始学习率为0.1，每训练2500轮学习率降为原学习率的十分之一。在训练过程中，采用加权损失

作为损失函数：

其中，

为有监督的损失，

为无监督的加权一致性损失，λ是一个权重，其具体计算公式如公式(2)，(6)所示。

θ；θ′分别是两个解码器的参数，D^L是有标签的图像集合；有监督损失

包含有标注数据的分割损失

(第一解码器和第二解码器输出的有标签图像对应的图像分割结果与标签的分割损失)和有符号距离图预测损失

(第一解码器和第二解码器输出的有标签图像对应的有符号距离图的预测结果与标签的有符号距离图的预测损失)两部分，β为固定加权系数，本实施例取值为β＝0.3。

可以采用常用的损失函数中的一种或几种组合，本实施例中采用dice损失和交叉熵损失的组合，同理，

可以采用常用的损失函数中的一种或几种组合，本实施例中采用均方误差损失，具体如下：

其中，

表示dice损失函数，

表示交叉熵损失,y表示标签图，

和

分别表示两个解码器输出的分割图，

和

分别表示两个解码器输出的有符号距离图,T_y表示标签图y到有符号距离图的转换结果图,其中，标签图y内第i个像素y(i)的转换表示如下：

inf表示函数的下界，即函数取值集合的最小值。||*||₂表示二范数，G_in表示前景，G_out表示背景，

表示边界。z_i为边界上任意一个像素点。

无监督损失

的计算如公式(6)，(7)，(8)所示:

D表示图像的像素集合，ω_j为指数加权系数，ρ为超参数，本实施例中取值为2，T^-1表示有符号距离图到分割图的转换，m表示图像，为

或

k为超参数，本实施例中取值为-1500。

进一步地，为了使模型能够更好的学习边界区域丰富的纹理信息，λ采用随训练轮数指数递增，示例性的计算见公式(9)，t和t_max分别表示训练的当前轮数和最大轮数。

直至损失函数收敛或达到预设的训练轮数；将训练好的编码器、第一解码器作为医学图像分割模型。

优选地，如图4所示，先利用滑窗方法依次将医学图像裁剪成与训练图像大小一致的若干图像，输入至上述训练方法获得的医学图像分割模型，获得对应的若干图像分割结果，拼接获得对应医学图像分割结果。

本实施例对测试图像，采用与步骤2相同min-max标准化进行数据预处理，之后按照滑动窗口的方式将测试图像分成大小为112×112×80的若干图像，输入训练好的分割模型，得到各自的分割结果。最后将各部分分割结果进行拼接整合，得到最终的测试结果。滑窗的移动步长为18×18×4，使用解码器D₁的输出作为最后的分割结果。

表1本发明与现有算法在使用20％标注数据情况下的效果对比

表2本发明与现有算法在使用20％标注数据情况下的效果对比

注：↑表示对应指标越大越好，↓表示对应指标越小越好

表1和表2为本发明和现有技术方法的分割性能比较，经过对比，本发明相比于现有技术提高了图像分割的准确率和完整程度，在几何结构上也与真实标注更加接近。本发明通过融合分割目标的全局几何信息，根据分割区域的难易程度不同设计了指数加权策略，使得模型能够更好的学习边界区域丰富的纹理信息，以提高分割的准确率。同时，双解码器也从不同视角实现了对目标的分割，有效的降低了分割结果的不确定性，提高了预测准确率。图5是分割效果的可视化展示。

总体来说，本发明针对半监督医学图像分割难题，采用基于几何一致性约束的深度学习方法，实现了医学图像的精准自动分割。模型泛化性强，通用于不同数据集的图像分割，可以有效的缓解影像学医师的工作负担。在分割精度方面，相较于目前的先进算法，有了显著提升。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其他不同形式的变化或变动。这里无需也无法把所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明的保护范围。