CN111798458A - 一种基于不确定性引导的交互式医学图像分割方法 - Google Patents

Abstract

本发明公开了一种基于不确定性引导的交互式医学图像分割方法，涉及的是图像处理领域，特别是医学图像分割技术领域。本发明首先建立一个包含金标准的训练图像集，然后使用一种分组卷积深度神经网络进行训练，对于一幅三维图像可同时得到初始分割结果及其不确定性估计。在不确定性估计的基础上，算法自动推荐需要操作者修正的切片，即不确定性程度最大的切片。在当前所推荐的切片中，人工提供交互信息后，采用交互式水平集对初始分割结果进行修正。本发明能克服传统的交互式分割方法需要的人工交互多、交互效率低的问题，通过不确定性引导人工交互，在提高人工交互的效率的同时，能够获得精确的分割结果。

Description

一种基于不确定性引导的交互式医学图像分割方法

技术领域

本发明涉及的是图像处理领域，特别是医学图像分割技术领域。

背景技术

随着医学影像技术的发展，各种医学图像，如X光图像、计算机断层图像(ComputedTomography,CT)、磁共振图像(Magnetic Resonance Image,MRI)、正电子发射型计算机断层图像(Positron Emission Computed Tomography，PET)、超声图像等，为现代医学带来了革命性的变化，在临床诊断、治疗和医学研究中扮演着至关重要的角色。图像分割技术，即从图像中准确地提取出目标器官或结构，是众多医学图像应用中的核心任务，例如放疗靶区勾画、手术规划和导航、器官和病灶建模等。

目前大多数临床场景中的医学图像分割都是由专业的医师通过手工标记完成的。这对医师来说是一项单调重复的工作，不仅需要消耗大量的时间，也需要医师具有丰富的经验。由于大多数医学图像特别是软组织的图像对比度低、存在噪声和伪影、一些器官在不同病人之间具有很大的形状变化、病变组织给图像带来的不一致的表观等因素，对许多器官和病灶的准确自动分割非常困难。

为了克服这些问题，半自动的交互式分割方法在实际应用中使用最为广泛，具有巨大的临床需求。交互式分割利用了人工参与，将使用者的知识融入到特定的应用需求中，可以更有效地处理复杂的临床图像。一方面，它比手工分割更加高效；另一方面，它比自动分割具有更高的鲁棒性。然而，如果需要的人工交互过多，则会大大增加使用者的工作量和时间消耗，降低了分割的效率。因此，一个好的交互式分割方法应当在需要的人工交互尽可能少的情况下，快速、智能地得到精确的分割结果。

现有的交互式医学图像分割方法主要分为三类：基于区域和边缘的方法，基于能量最优化的方法和基于机器学习的方法。Rolf Adams等人提出的交互式区域生长算法需要人工提供一个或多个种子点作为初始分割区域，并不断将其它与分割区域相邻且灰度值相近的像素添加到分割区域中。西门子公司研究院提出一种基于随机游走(Random Walks)的交互式分割方法，微软剑桥研究院提出一种基于测地线距离(Geodesic Distance)的交互式分割方法，宾夕法尼亚大学开发的图像分割软件ITK-SNAP使用了人工引导的三维活动轮廓模型进行交互式分割，Yuri Y.Boykov提出了一种交互式图割(Graph Cuts)的方法。由于这些方法仍然比较依赖于低层次的特征，因此在对比度较低的图像中难以得到精确的分割结果，或者需要大量的人工交互进行修正。这些现有的方法普遍面临需要的人工交互多、智能化程度较低的问题。

近年来，作为人工智能和机器学习领域的最前沿的方法，深度学习技术在医学图像分割领域取得了显著的成果。然而这些方法主要用于图像的自动分割场景，无法将人工交互融入到分割流程，以进行更加智能化的修正。最近出现了一些将深度学习与人工交互相结合的方法，但在三维图像的分割场景中，这些方法需要人工对每一个二维切片进行仔细检查，以发现并修改错误的分割部分。这样的修正方法面临效率低下的问题，因为对于大多数二维切片，深度学习已经能取得较好的分割效果，仅有少部分切片需要人工修正，如果算法系统可以自动推荐那些可能分割不够准确的切片供操作者修正，则可大大提高分割的效率和准确性。

发明内容

本发明的目的在于克服现有医学图像交互式分割方法的缺陷而提出一种高精度、高效率的智能化医学图像的交互式分割方法。

本发明的目的可以通过以下技术方案来实现：

一种基于不确定性引导的交互式医学图像分割方法，该方法包括：

步骤1：建立训练数据集；

针对一个分割任务，收集临床影像数据，通过临床专家将感兴趣的分割目标手工分割出来，作为相应个体的分割标准，建立训练数据集；

步骤2：采用训练数据集对卷积深度神经网络模型进行训练，得到训练好的模型，使得该模型能同时得到分割结果与不确定性信息；

步骤3：对于新的待分割切片，使用训练好的模型进行分割预测，得到初始分割结果和不确定信息；

步骤4：利用不确定性信息对所有切片进行排序，依次取出不确定性最高的切片，推荐给操作者以进行修正；

步骤5：操作者在所推荐的切片上，通过交互式水平集算法对分割结果进行修正；

步骤6：循环步骤4和步骤5，直到没有新的待修正切片的推荐，即完成整个交互式分割过程；

其特征在于，所述步骤2中的卷积深度神经网络模型包括N个并行的独立网络，每个独立网络的结构相同，每个并行网络单独对输入切片进行分割预测，得到N个分割结果和N个不确定信息；

所述步骤3中采用这N个分割结果的平均值作为该切片的初始分割结果；采用这N个分割结果的方差作为该切片分割的不确定信息。

进一步的，所述步骤2中卷积深度神经网络模型包括：编码器、常规卷积层和解码器，输入图像的数据流依次经过编码器、常规卷积层、解码器；其中编码器和解码器都包括依次级联的4个卷积模块，每个卷积模块包括2个卷积单元；每个卷积单元都包括：分组卷积层、批归一化层和pReLU激活函数层；所述编码器中相邻两个卷积模块通过一个下采样层连接，解码器中相邻两个卷积模块通过一个上采样层连接；编码器和解码器中所有分组卷积层的分组数为N；所述常规卷积层的分组数为1。

进一步的，所述步骤3中采用如下方法进一步计算不确定信息；

用

表示卷积深度神经网络模型中第n个独立网络对像素x属于分割前景的概率值的预测，其中n＝1,2,…,N；对于像素x的N个预测

的方差为U_x；对于每一个切片，其切片级别的不确定性定义为：

其中Y_x表示该切片的分割结果中像素x的类别标签：0或者1；ζ是一个极小数，以保证该公式中的计算稳定性。

进一步的，所述步骤5中对一个给定的切片进行修正的方法如下：

在初始分割结果和操作者给定的交互点的基础上，采用交互式水平集方法得到修正后的分割结果；该交互式水平集对应的能量函数E(x)包含区域约束项E_r、人工交互约束项E_u、长度约束项E_l和距离约束项E_d，定义如下：

E(x)＝αE_r+βE_u+λE_l+μE_d 公式2

其中α,β,λ,μ分别为对应项的权重系数；

区域约束项E_r定义如下：

E_r＝∫_Ω(|P-c₁|²H_∈(φ(x))+|P-c₂|²H_∈(-φ(x)))dx 公式3

其中P是分割的概率图，H_∈是软化Heaviside函数，c₁和c₂是当前水平集轮廓内部和外部的平均前景概率值，φ(x)表示像素x处的水平集函数值；

人工交互约束项E_u定义如下：

E_u＝-∫_Ω(H_∈(φ(x))log(η(x))+H_∈(-φ(x))log(1-η(x)))dx 公式4

其中F和B分别表示人工交互所给出的前景像素点的集合和背景像素点的集合；

表示x到F的测地线距离，D是一个阈值，以确保人工交互只影响局部的分割结果；

长度约束项E_l和距离约束项E_d定义为：

其中δ_∈是软化Dirac delta函数，p是基于水平集的梯度定义的势能函数，以保持水平集函数符合距离函数的特征，

表示梯度算子。

与现有技术相比，本发明具有以下优点：

(1)较少的人工交互。由于通过深度卷积神经网络得到一个初始分割结果，操作者只需在错误的分割区域提供少量的人工交互用于修正，即可完成分割过程。相比于传统的交互式分割方法，大大减少了人工交互的数量。

(2)高效的交互方式。现有的交互式分割算法需要人工对每一个切片进行观察，以发现错误的分割结果用于修正，相当耗时。本发明通过不确定性的自动估计，自动推荐不确定性高的切片，避免了不必要的人工观察，从而使人工交互更有效率。

(3)精确的分割结果。本发明通过水平集函数与人工交互的结合，使最终的分割结果有更好的空间约束，可有效降低噪声干扰，提高分割精度。

附图说明

图1本发明的流程图。

图2本发明的分组卷积深度神经网络结构图。

图3本发明的分割不确定性估计结果与其他方法的比较图。

图4本发明的修正结果与其他方法的比较图。

具体实施方式

结合本发明的内容，提供以下在胎儿磁共振图像中胎儿大脑的交互式分割的实施例，本实施例在CPU为Intel(R)Core(TM)i7-6850K 3.60GHz,GPU为NVidia GTX1080Ti，内存为24.0GB的计算机中实现，编程语言为Python。

一种基于深度神经网络和不确定性引导的医学图像交互式分割方法，其特征在于，包含以下几个步骤：

第一步，建立训练数据集。针对一个分割任务，收集一定数量的临床影像(如CT、核磁共振图像等)数据，通过临床专家将感兴趣的分割目标手工分割出来，作为相应个体的分割金标准，建立训练数据集。

第二步，实现分组卷积深度神经网络的结构，在训练集上进行训练，得到训练模型，使得该模型能同时得到分割结果与不确定性信息。

使用一个基于分组卷积的结构，以同时获得分割结果和不确定性估计。一个分组数为N的分组卷积将输入特征图在通道方向上平均分成N个组，每组包含C_i个通道，对每一组分别进行卷积操作，每一组在卷积后的特征图道数为C_o。用h×w表示卷积核的空间大小，每组所采用的卷积核的总尺寸为C_o×C_i×h×w。卷积后总共得到N个通道数为C_o的特征图，将其在通道方向进行拼接，得到一个通道数为N×C_o的特征图，作为分组卷积的输出。

整个深度卷积神经网络的结构如图2所示，包含一个编码器和一个解码器，各自由4个卷积模块组成。每个卷积模块包含2个卷积单元，每个卷积单元分别包含一个分组卷积层、批归一化层和pReLU激活函数层。编码器中相邻两个卷积模块通过一个下采样层连接，解码器中相邻两个卷积模块通过一个上采样层连接。编码器和解码器中所有分组卷积的分组数设为N。由于N个组的卷积相互独立，整个网络可以看做N个相同结构的子网络的并联。因此输出可以得到N个预测结果，计算这N个预测结果的均值作为最终的分割概率图，其方差作为分割结果的不确定性估计。在编码器和解码器之间使用一个分组数为1的常规卷积层，以增强网络的特征表达能力。

第三步，对于新的测试图像，使用训练得到的模型进行预测，得到初始的分割结果和分割的不确定性信息，计算出每一个切片的不确定性量化指标。

用

表示网络中第n个(n＝1,2,…,N)分组结构对像素x属于分割前景的概率值的预测。对于像素x的N个预测

的方差表示为U_x。对于每一个切片，其切片级别的不确定性定义为：

其中Y_x表示该切片的分割结果中像素x的类别标签(0或者1)。ζ是一个极小数，以保证该公式中的计算稳定性。

第四步，待修正切片的推荐。利用不确定性信息对所有切片进行排序，依次取出不确定性最高的切片，推荐给操作者以进行修正。

一个待分割的三维图像中的切片数记为M。对图像中的所有切片按照切片级别的不确定性υ进行排序，其中最大的第m个υ值对应的切片表示为S_m。预设一个推荐切片数的阈值M′<M。依次选取切片S_m(m＝1,2,…,M′)推荐给操作者，进行修正。当连续三张推荐的切片不需要修正或者m>M′时，推荐过程终止。

第五步，操作者在所推荐的切片上，通过交互式水平集算法对分割结果进行修正。

第六步，循环第四步和第五步，直到没有新的待修正切片的推荐，即完成整个交互式分割过程。

本实施例的流程图如图1所示。

1、首先建立胎儿磁共振图像的训练数据集，通过临床专家对训练图像中的胎儿大脑进行手工标注，得到分割金标准。

2、利用Pytorch(一个开源深度学习计算库)对本发明的分组卷积神经网络进行编程实现，将网络的超参数C设为16。在训练图像上进行模型训练，使用随机梯度下降法，结合Dice损失函数进行模型更新。模型收敛后得到训练模型。

3、对于一幅新的三维测试图像，使用训练得到的模型进行预测，得到该三维图像中每个切片的初始分割结果及不确定性估计结果，利用公式1中的定义计算每个切片的切片级不确定性υ，并根据υ由大到小的顺序对该三维图像中的所有切片进行排序。

4、设定推荐切片的阈值M′为该三维图像中切片数M的60％，即M′＝0.6M。依次取出排在第m位的切片，作为当前的推荐切片，供操作者提供人工交互进行修正。

5、在当前推荐切片中，操作者提供前景和背景的交互点信息后，将初始分割结果作为水平集φ的初始轮廓。利用公式2的水平集能量函数，设定好α,β,λ,μ相应的参数值，建立最优化方程。通过能量函数最小化，求得对应的水平集轮廓，转化为修正后的分割结果。

6、按照5的方法继续对下一个推荐切片进行修正，当连续3张推荐的切片不需要修正或者m>M′时，即完成所有的修正过程，得到三维图像的最终分割结果。

图3是上述方法对一副胎儿脑部磁共振图像的初始分割结果对应的不确定性估计的结果与其他方法的比较。图(a)是卷积神经网络的初始分割结果与金标准，可以看出存在较多的过分割区域。图(b)是基于Dropout的不确定性估计方法得到的结果，越偏暖色的区域的不确定性程度越大。图(c)和图(d)分别是基于模型集成和贝叶斯网络的方法得到的不确定性估计结果。可以看出这几种方法得到的不确定区域基本集中在轮廓附近，与错误分割的区域的一致性程度不是很高。图(e)是本发明的不确定性估计结果，其中的不确定区域与错误分割区域的具有高度一致性，特别是只有本发明的方法在图中方框处的不确定性判断正确。

图4是对一个初始分割结果，本发明的修正方法与其他方法的比较。其中(a)是初始分割结果与人工添加的交互点。(b)和(c)分别是基于Graph Cut和DeepIGeoS的修正结果，(d)是基于本发明中的交互式水平集的修正结果。可以看出，对于同样的初始分割结果和人工交互点，本发明的方法比其他两种方法的修正结果更加精确。

Claims (4)

1.一种基于不确定性引导的交互式医学图像分割方法，该方法包括：

步骤1：建立训练数据集；

针对一个分割任务，收集临床影像数据，通过临床专家将感兴趣的分割目标手工分割出来，作为相应个体的分割标准，建立训练数据集；

步骤2：采用训练数据集对卷积深度神经网络模型进行训练，得到训练好的模型，使得该模型能同时得到分割结果与不确定性信息；

步骤3：对于新的待分割切片，使用训练好的模型进行分割预测，得到初始分割结果和不确定信息；

步骤4：利用不确定性信息对所有切片进行排序，依次取出不确定性最高的切片，推荐给操作者以进行修正；

步骤5：操作者在所推荐的切片上，通过交互式水平集算法对分割结果进行修正；

步骤6：循环步骤4和步骤5，直到没有新的待修正切片的推荐，即完成整个交互式分割过程；

其特征在于，所述步骤2中的卷积深度神经网络模型包括N个并行的独立网络，每个独立网络的结构相同，每个并行网络单独对输入切片进行分割预测，得到N个分割结果和N个不确定信息；

所述步骤3中采用这N个分割结果的平均值作为该切片的初始分割结果；采用这N个分割结果的方差作为该切片分割的不确定信息。

2.如权利要求1所述的一种基于不确定性引导的交互式医学图像分割方法，其特征在于，所述步骤2中卷积深度神经网络模型包括：编码器、常规卷积层和解码器，输入图像的数据流依次经过编码器、常规卷积层、解码器；其中编码器和解码器都包括依次级联的4个卷积模块，每个卷积模块包括2个卷积单元；每个卷积单元都包括：分组卷积层、批归一化层和pReLU激活函数层；所述编码器中相邻两个卷积模块通过一个下采样层连接，解码器中相邻两个卷积模块通过一个上采样层连接；编码器和解码器中所有分组卷积层的分组数为N；所述常规卷积层的分组数为1。

3.如权利要求1所述的一种基于不确定性引导的交互式医学图像分割方法，其特征在于，所述步骤3中采用如下方法进一步计算不确定信息；

用

表示卷积深度神经网络模型中第n个独立网络对像素x属于分割前景的概率值的预测，其中n＝1,2,…,N；对于像素x的N个预测

的方差为U_x；对于每一个切片，其切片级别的不确定性定义为：

其中Y_x表示该切片的分割结果中像素x的类别标签：0或者1；ζ是一个极小数，以保证该公式中的计算稳定性。

4.如权利要求1所述的一种基于不确定性引导的交互式医学图像分割方法，其特征在于，所述步骤5中对一个给定的切片进行修正的方法如下：

在初始分割结果和操作者给定的交互点的基础上，采用交互式水平集方法得到修正后的分割结果；该交互式水平集对应的能量函数E(x)包含区域约束项E_r、人工交互约束项E_u、长度约束项E_l和距离约束项E_d，定义如下：

E(x)＝αE_r+βE_u+λE_l+μE_d 公式2

其中α,β,λ,μ分别为对应项的权重系数；

区域约束项E_r定义如下：

E_r＝∫_Ω(|P-c₁|²H_∈(φ(x))+|P-c₂|²H_∈(-φ(x)))dx 公式3

其中P是分割的概率图，H_∈是软化Heaviside函数，c₁和c₂是当前水平集轮廓内部和外部的平均前景概率值，φ(x)表示像素x处的水平集函数值；

人工交互约束项E_u定义如下：

E_u＝-∫_Ω(H_∈(φ(x))log(η(x))+H_∈(-φ(x))log(1-η(x)))dx 公式4

其中F和B分别表示人工交互所给出的前景像素点的集合和背景像素点的集合；

表示x到F的测地线距离，D是一个阈值，以确保人工交互只影响局部的分割结果；

长度约束项E_l和距离约束项E_d定义为：

其中δ_∈是软化Dirac delta函数，p是基于水平集的梯度定义的势能函数，以保持水平集函数符合距离函数的特征，

表示梯度算子。

Images