CN111798463A - 一种头颈部ct图像中多器官自动分割方法 - Google Patents

Abstract

本发明涉及的是一种头颈部CT图像中多器官自动分割方法，属于医学图像分割技术领域。本发明首先使用分段线性函数对原始CT图像进行强度转换。再通过在切片内卷积与切片间卷积的基础上搭建的空间可分离卷积神经网络，将转换后图像输入网络中，使用加权损失函数训练网络直至收敛。最终加权组合多个子模型给出最终分割结果以及不确定性评估。本发明能克服用简单线性强度转换与使用标准三维卷积处理大间距图像等方法的不足，更有效地处理不同大小、不同难以程度的器官。在对器官分割有较强鲁棒性的同时，能够给出对应的像素级别和器官级别的不确定性估计。

Description

一种头颈部CT图像中多器官自动分割方法

技术领域

本发明涉及的是一种医学图像的自动分割技术，特别是三维医学图像中基于深度神经网络的多器官自动分割方法，属于医学图像分割技术领域。

背景技术

鼻咽癌是指发生于鼻咽腔顶部和侧壁的恶性肿瘤，是我国高发恶性肿瘤之一。鼻咽癌的发病率为耳鼻咽喉恶性肿瘤之首，放射治疗是其最常用治疗方法。为制定精确的放射治疗计划，放疗医师会在医学图像中勾画出头颈部多个器官的边界以辅助放疗计量的计算。

从医学图像中对多器官的精确分割是一个具有挑战性的问题。由于医学图像比如CT图像具有较低的软组织对比度，不同毗邻的器官具有相似的灰度值，边界不易确定，不同器官具有较大的形状差异和不同的大小范围等因素，难以通过一个方法对所有器官取得较好的分割效果。尽管过去二十多年医学图像分割领域涌现了大量的算法，至今仍然缺乏一个普遍使用的规则能够分割各种器官。

传统的医学图像分割算法例如阈值法、区域增长算法、边界检测算法、活动轮廓模型、基于地图集的方法、基于机器学习的方法等，由于依赖人工设计的特征，在进行医学图像分割时容易出现欠分割和过分割。近年来，基于深度学习的医学图像分割方法越来越受到重视，由于其是一种数据驱动的学习方式，可进行端到端训练，自动学习最佳特征，在医学图像分割中取得了较好的效果。

对目前所使用的深度学习模型进行考察发现，尽管深度学习在医学图像分割中可以有效排除噪声干扰，具有很强的鲁棒性，对CT图像中头颈部多器官自动分割却仍面临许多挑战。这里主要存在着三个问题：首先，由于CT图像的成像特性，诸如脑干、腮腺等软组织器官对比度较低。这使得区分这类器官的边界较为困难。目前的工作大多未能较好处理这一问题，因为它们大多使用单个窗宽窗位的方式进行灰度归一化。这种简单的灰度转换方式难以同时保留多个器官的视觉信息。其次，头颈部器官的CT图像通常层间距较大，导致如视神经这样的小器官只占几个切片。标准的三维卷积神经网络使用三维卷积来等同的处理x,y,z三个方向的信息，这忽略了层间距较大的事实并且限制了小器官的分割精度。第三，不同器官大小严重不平衡，使得分割模型在较大的器官可以取得较好的分割结果，但对小器官难以取得好的精度。现有的一些方法通过在损失函数中对较小器官进行加权来缓解这种不平衡问题，但该处理方式是对较小或较难器官整体加权，导致容易忽略较大或较易分割器官中的难像素点。

在实际应用场景中，器官分割的不确定性也很重要。对于放疗计划，放射治疗师不仅关注分割的精度，同时也在意该结果的置信度。如果某部分的不确定性过高，那么医师可能需要检查该区域并给出修正。在头颈部危及器官的CT勾画中，由于器官与周边组织的对比度较低，它们分割结果的置信度也同样较低。这部分组织的不确定性信息能够指导医师修正预测结果。但目前的头颈部多器官自动分割方法普遍缺失分割结果的不确定性信息。

发明内容

本发明的目的在于克服现有的CT图像中多器官自动分割算法的不足,针对基于深度学习的医学图像分割方法中的问题，提出一种基于空间可分离卷积网络与难区域加权模型的分割方法。使其对头颈部多器官分割时，能在预处理阶段保留多器官的边界信息，对大间距图像有更强的特征学习能力，针对难区域加权的损失函数可对各类器官取得更好效果，并通过加权组合多个子模型给出最终分割结果以及不确定性评估。

本发明采用一种新的基于空间可分离卷积神经网络与难区域加权模型来解决头颈部危及器官分割中存在的难题，是通过以下技术方案实现的：首先将原始CT图像通过分段线性函数进行灰度归一化，以保留多器官丰富的灰度信息。其次，设计一个基于空间可分离的三维卷积神经网络，以处理CT图像具有较大的层间距的问题。然后针对较难分割的一些区域，设计了一个新的加权损失函数。将转化后的图像输入网络中，通过优化器来训练网络优化损失函数。

本发明技术方案为一种头颈部CT图像中多器官自动分割方法，该方法包括：

步骤1：采用如下公式对CT图像进行强度转换；

其中，x为转换结果，h为CT图像像素点的HU值，[h_min,h_max]是设定的CT图像中HU值的上下界，[h₁,h₂,…,h_k]为该区间内依次增加的k个值，这k个值根据观察器官HU值分布确定，强度转换结果为分段线性函数；

步骤2：建立空间可分离三维卷积神经网络；

该空间可分离三维卷积神经网络包括级联的编码器和解码器，编码器和解码器各包括依次级联的6个卷积模块，每个卷积模块包含依次级联的三个尺寸为1×3×3切片内卷积层以及一个尺寸为3×1×1切片间卷积层，每层卷积层之后，使用实例标准化与线性整流函数进行非线性变换；编码器中每个卷积模块都采用尺寸为1×1×1卷积跳跃连接到对应的解码器中的卷积模块，编码器中第1到第6个卷积模块依次对应解码器中第6到第1个卷积模块；解码器的输出通过一个1×1×1的卷积与softmax函数得到预测的分割概率图，分割概率图表示每个像素点属于某一个器官的概率；

步骤3：对步骤2得到的概率图进行困难区域的加权；

采用指数对数损失函数来平衡器官大小不均与部分类别分割困难的问题：

L_Exp＝ω_DSCL_DSC+ω_CrossL_Cross 公式2

其中ω_DSC与ω_Cross分别为指数对数DSC损失函数L_DSC与加权指数交叉熵L_Cross的权重，L_DSC与L_Cross的定义如下：

L_DSC＝E[(-ln(DSC_c))^γDSC] 公式3

L_Cross＝E{w_c{-ln[p_c(x)]}^γCross}

其中x代表一个像素，c为对应的器官类别，p_c(x)为对像素x所预测的属于c类的概率，g_c(x)为对应的真实标签；E{}表示期望，即在L_DSC与L_Cross中分别对c与x求平均值，∈为超参数避免分母为0，γ_DSC、γ_Cross为超参数，分别控制L_DSC与L_Cross的范围；w_c为类别c的权重，其定义为w_c＝((∑_kf_k)/f_c)^0.5，其中f_k是k类别的频率，∑为求和符号，f_c表示类别c的频率；

步骤4：模型组合与不确定性估计；

根据步骤1到步骤3的方法分别设置多个基于公式1的分段线性函数与多个α值，对应得到N个预测模型；然后采用如下公式融合多个预测模型的预测结果计算出各器官的概率图：

其中，

表示计算器官C的概率图时第i个预测模型的权重，

表示第i个模型对器官c的预测概率图；

设X代表输入图像而Y为对应预测结果，利用来自N个模型的预测结果，得到一个集合Y＝{y₁(x),y₂(x),…,y_N(x)}，其中元素y_n(x)表示第n个模型在像素x处的预测结果；因此，像素不确定性计算方法为：

其中

是Y中的第m个值的频率；

通过计算体积变化系数VVC，计算每类器官的系统不确定性；令

为N个模型对器官i预测结果的集合，

与

分别代表Vⁱ的均值与标准差,从而器官i的结构不确定性：

进一步的，概率图输入L_DSC之前将其与加权函数w_c(x)相乘，其中：

其中α>0为可调参数，

是加权预测，其中越高的

代表体素x属于c类别的概率越高。

与现有技术相比，本发明具有以下优点：

(1)针对CT图像的灰度转换和归一化，传统的简易线性函数难以同时对包括软组织和骨头区域的多个器官较好地保留边界信息。本发明提出的分段线性函数(SLF)通过分段进行灰度转换，能够同时对不同组织保持良好的可视化效果。

(2)标准三维卷积网络在x，y，z方向采用同样的卷积操作，忽略了层间距较大的事实并且限制了小器官的分割精度。本发明提出的空间可分离卷积能更好地处理各向异性间距并减少计算消耗，在诸如视神经、垂体等器官上取得更精确分割结果。

(3)头颈多器官不同区域有较大的分割难度差异，传统的损失函数中单纯对小器官进行加权，容易忽略较大或较易器官中较难区域部分的精度。本发明提出难区域加权函数并与L_Exp结合，得到ATH-L_Exp，可以在提升小器官精度的同时，对其他难以分割的区域，也能得到较好的分割结果。

(4)现有的自动分割方法不能提供分割结果的不确定性信息，本发明通过模型集成，在得到分割结果的同时，能给出各个像素的不确定性，对分割结果的可靠性能定量评估，从而更好地辅助医生进行放疗规划和治疗决策。

附图说明

图1为本发明中分段线性函数进行转换，(a)为转换前的图像，(b)为转换后的图像；

图2为通过本发明得到的最终分割结果；

图3为使用L_Exp所训练网络得到的分割结果；

图4为使用简单强度转换得到的图像所训练网络得到的分割结果；

图5为本发明的加权组合分割结果与其对应不确定性估计图，图(a)中封闭曲线表示分割结果和标准结果，箭头指向的误差区域，能够在图(b)中可明显看出误差区域和本发明计算得到的不确定性区域相同；

图6为本发明的流程图；

图7为本发明的网络结构图。

具体实施方式

结合本发明的内容，提供以下在头颈部CT图像危及器官分割中实施例，本实施例在CPU为Intel(R)Core(TM)i7-6850K 3.60GHz GPU为Nvidia GTX1080Ti内存为32.0GB的计算机中实现，编程语言为Python。

步骤1、基于分段线性函数的强度转换方法

为了在预处理后对不同组织区域保持良好边界信息，又考虑到放疗医师会在不同窗宽窗位下观察不同器官，本发明提出使用分段线性函数(SLFs)来对CT图像进行转换。假设[x₁,x₂,x₃,…,x_k]为[0,1]区间内递增的数值，[h₁,h₂,…,h_k]为[h_min,h_max]区间内对应的值，其中h_min与h_max为设定的CT图像HU值上下界。假设原始HU值为h，则变换后的值x表达式为：

图1展示一个转换前后的CT图像示例，可以看出不同器官的边界都得到了较好的保留。

步骤2、空间可分离三维卷积神经网络

本发明提出的空间可分离三维卷积神经网络，由12个卷积模块构成的编码-解码结构组成。其中每个卷积模块包含三个1×3×3切片内卷积以及一个3×1×1切片间卷积，以便处理各向异性间距并减少计算消耗。在每层卷积之后，使用实例标准化(IN)与线性整流函数(ReLU)，以获得更平滑输出。每个模块中都使用1×1×1跳跃连接以获得更好的收敛效果。在编码过程中，每次经过最大池化后，通道数(n)都翻倍。为获得更好的分割性能，将编码通道中各层得到的特征图与解码通道中对应大小的特征图相拼接，以充分利用高层次特征和低层次特征进行分割。在解码器的输出部分，最终经过通过一个1×1×1的卷积与softmax函数得到预测的分割概率图。

步骤3、困难区域的加权方法

在头颈部器官中，背景区域与最小器官的比例可达到10⁵:1，这使得损失函数由较易识别的背景像素所主导，容易忽略较难分割的小器官。为解决这个问题，本发明首先使用指数对数损失函数(L_Exp)来平衡器官大小不均与部分类别分割困难的问题：

L_Exp＝ω_DSCL_DSC+ω_CrossL_Cross 公式2

其中ω_DSC与ω_Cross分别是指数对数DSC损失函数(L_DSC)与加权指数交叉熵(L_Cross)的权重。L_DSC与L_Cross的定义如下：

L_DSC＝E[(-ln(DSC_c))^γDSC] 公式3

L_Cross＝E{w_c{-ln[p_c(x)]}^γCross} 公式5

其中x代表一个体素，c为对应的类别。p_c(x)为对体素x所预测的属于c类的概率，g_c(x)为对应的真实标签。E{}表示期望，即在L_DSC与L_Cross中分别对c与x求平均值，∈为超参数避免分母为0，γ_DSC、γ_Cross为超参数，分别控制L_DSC与L_Cross的范围。w_c为类别c的权重，其定义为w_c＝((∑_kf_k)/f_c)^0.5，其中f_k是k类别的频率，∑为求和符号，f_c表示类别c的频率。为使L_Exp对较大或较易区域中的难像素点基于更多关注，本发明提出在概率图输入L_DSC之前将其与加权函数w_c(x)相乘，其中α>0为可调参数：

其中

是加权预测。其中越高的

代表体素x属于c类别的概率越高。

在g_c(x)＝1时小于p_c(x)，在g_c(x)＝0时大于p_c(x)，意味着相比原始预测结果，加权结果更加远离金标准。所以相比正确预测的体素点，加权后的较难区域会返回相对更大的梯度信息。通常来说，这会带来更大的提升空间并使得网络更加关注较难分割的体素点。本发明中该加权策略称为难区域体素注意机制(ATH)。值得注意的是训练过程中ATH能与其它标准损失函数相结合。作为一个例子，ATH可与L_Exp相结合，以取得比Dice loss与交叉熵损失函数更好的效果。该损失函数记为ATH-L_Exp。

步骤4、模型组合与不确定性估计

本发明中，为获得更加鲁棒的结果并同时得到分割结果的不确定性，对使用不同SLFs与不同α值的ATHs的模型进行组合。由于不同模型在不同器官上的表现有所差异，本发明针对每类器官的多个模型预测结果使用加权平均得到最终结果。更具体的讲，对于类别c，表现更好的模型会被赋予更高的权重。在验证集上类别c的DSC系数中排名第i的模型，它对c类预测的概率图与对应权重分别用

和

表示。对于N个模型中的第i个(i＝1,2,…,N)，其权重表示为

一个测试图像中c类器官的最终概率图可表示为：

基于各模型给出的预测结果，利用其相互的差异性来评估分割不确定度是很自然的。假设X代表输入图像而Y为对应预测结果，使用分布p(Y|X)的熵来代表像素不确定性：

H(Y|X)＝-∫p(y|X)ln(p(y|X))dy 公式9

假设Y(x)代表体素x的预测标签。利用来自N个模型的预测结果，我们可以得到一个集合Y＝{y₁(x),y₂(x),…,y_N(x)},其中元素y_n(x)表示第n个模型在像素x处的预测结果。因此，像素不确定性可近似为：

其中

是Y中的第m个值的频率。

通过计算体积变化系数(VVC)，我们可计算每类器官的系统不确定性。令

为N个模型对器官i预测结果的集合，

与

分别代表Vⁱ的均值与标准差。本发明使用VVC估计器官i的结构不确定性：

图5展示了一例病人经模型组合后得到的最终分割结果与对应不确定性估计图。本实施例的实施流程如图6所示。

1、首先利用Numpy(一个科学运算库)编写本发明提出的分段线段转换函数。对[h₁,h₂,…,h_k]去三组不同的取值，得到3个灰度转换函数，将头颈部CT图像分别输入这3个转换函数，得到转换后的3种图像。

2、利用Pytorch(一个机器学习库)搭建本发明提出的三维空间可分离卷积网络，对将转换后的图像输入网络中，并将输出结果与对应金标准通过本发明提出的难区域加权损失函数ATH-L_Exp，得到对应loss，再使用Adam优化器反向优化网络参数。对训练集数据循环训练，直至网络收敛。对转换后的3类图像与不同参数下(α＝0.5,1)的ATH-L_Exp组合训练得到6个对应网络。

3、对一个新输入图像，使用6个网络分别得到预测，再通过本发明提出的加权模型组合与不确定性估计方法，可得到最终预测结果与对应不确定性分布图。

图2，图3，图4是上述方法对一个病人头颈部CT图像采用空间可分离卷积网络与困难区域加权得到的分割结果与其他方法的结果图，图中每条封闭的边缘线为一个器官的计算分割线和标准线。图2是使用本发明提出方法得到的分割结果，可以看到对于大多数器官分割线和标准线较为接近。图3与图4分别是使用L_Exp所训练网络得到与使用简单强度转换得到的图像所训练网络得到的分割结果，可以看到对于箭头所指的右中耳器官，均出现了过分割的现象。

Claims (2)

1.一种头颈部CT图像中多器官自动分割方法，该方法包括：

步骤1：采用如下公式对CT图像进行强度转换；

其中，x为转换结果，h为CT图像像素点的HU值，[h_min,h_max]是设定的CT图像中HU值的上下界，[h₁,h₂,…,h_k]为该区间内依次增加的k个值，这k个值根据观察器官HU值分布确定，强度转换结果为分段线性函数；

步骤2：建立空间可分离三维卷积神经网络；

该空间可分离三维卷积神经网络包括级联的编码器和解码器，编码器和解码器各包括依次级联的6个卷积模块，每个卷积模块包含依次级联的三个尺寸为1×3×3切片内卷积层以及一个尺寸为3×1×1切片间卷积层，每层卷积层之后，使用实例标准化与线性整流函数进行非线性变换；编码器中每个卷积模块都采用尺寸为1×1×1卷积跳跃连接到对应的解码器中的卷积模块，编码器中第1到第6个卷积模块依次对应解码器中第6到第1个卷积模块；解码器的输出通过一个1×1×1的卷积与softmax函数得到预测的分割概率图，分割概率图表示每个像素点属于某一个器官的概率；

步骤3：对步骤2得到的概率图进行困难区域的加权；

采用指数对数损失函数来平衡器官大小不均与部分类别分割困难的问题：

L_Exp＝ω_DSCL_DSC+ω_CrossL_Cross 公式2

其中ω_DSC与ω_Cross分别为指数对数DSC损失函数L_DSC与加权指数交叉熵L_Cross的权重，L_DSC与L_Cross的定义如下：

L_DSC＝E[(-ln(DSC_c))^γDSC] 公式3

其中x代表一个像素，c为对应的器官类别，p_c(x)为对像素x所预测的属于c类的概率，g_c(x)为对应的真实标签；E{}表示期望，即在L_DSC与L_Cross中分别对c与x求平均值，∈为超参数避免分母为0，γ_DSC、γ_Cross为超参数，分别控制L_DSC与L_Cross的范围；w_c为类别c的权重，其定义为w_c＝((∑_kf_k)/f_c)^0.5，其中f_k是k类别的频率，∑为求和符号，f_c表示类别c的频率；

步骤4：模型组合与不确定性估计；

根据步骤1到步骤3的方法分别设置多个基于公式1的分段线性函数与多个α值，对应得到N个预测模型；然后采用如下公式融合多个预测模型的预测结果计算出各器官的概率图：

其中，

表示计算器官C的概率图时第i个预测模型的权重，

表示第i个模型对器官c的预测概率图；

设X代表输入图像而Y为对应预测结果，利用来自N个模型的预测结果，得到一个集合Y＝{y₁(x),y₂(x),…,y_N(x)}，其中元素y_n(x)表示第n个模型在像素x处的预测结果；因此，像素不确定性计算方法为：

其中

是Y中的第m个值的频率；

通过计算体积变化系数VVC，计算每类器官的系统不确定性；令

为N个模型对器官i预测结果的集合，

与

分别代表Vⁱ的均值与标准差,从而器官i的结构不确定性：

2.如权利要求1所述的一种头颈部CT图像中多器官自动分割方法，其特征在于，所述概率图输入L_DSC之前将其与加权函数w_c(x)相乘，其中：

其中α>0为可调参数，

是加权预测，其中越高的

代表体素x属于c类别的概率越高。

Images