CN109741343B - 一种基于3D-Unet和图论分割的T1WI-fMRI图像肿瘤协同分割方法 - Google Patents

Abstract

一种基于3D‑Unet和图论分割的T1WI‑fMRI图像肿瘤协同分割方法，包括以下步骤：步骤1、获取T1WI、fMRI肿瘤分割数据集，进行预处理；步骤2、生成训练样本；步骤3、训练两个独立的3D‑Unet网络分别对T1WI和fMRI图像进行肿瘤及肿瘤亚区分割，通过网络的强大描述能力，帮助生成高质量的体素级肿瘤及肿瘤亚区/非肿瘤掩码和概率图；步骤4、基于图论方法进行细分割，在带有标签一致性约束的连续型图割模型中，利用得到的两个概率映射图及粗分割掩码，同时在T1WI和fMRI图像上产生最终的肿瘤及肿瘤亚区的分割结果。本发明实现对肿瘤及肿瘤亚区(包括肿瘤坏死，活性肿瘤，瘤周水肿)的自动、准确描述。

Description

一种基于3D-Unet和图论分割的T1WI-fMRI图像肿瘤协同分割 方法

技术领域

本发明涉及图像处理领域、尤其是一种基于深度学习的肿瘤图像分割方法。

背景技术

脑肿瘤是一种异常的组织增生，会导致颅内压升高，中枢神经系统受损，从而危及病人的生命。从磁共振图像中可靠地检测和分割脑肿瘤可以帮助在医学诊断中进行手术计划和治疗评估。目前，大多数脑瘤都是由医学专家手工分割的，这种方法耗时较长且过于依赖专家的主观经验。计算机辅助肿瘤分割在现代医学分析中发挥着越来越重要的作用。然而，由于脑肿瘤具有较大的空间和结构变异性，以及肿瘤灰度强度范围与健康组织灰度强度范围重叠，传统的机器学习方法仍无法准确的从磁共振图像中分割出脑部肿瘤。因此研制一种自动、准确、可重复的肿瘤分割算法仍然是一项具有挑战性的任务。

发明内容

为了克服现有基于单模态图像肿瘤分割方法难以表达肿瘤全部信息的问题及现有的基于深度学习网络无法精确描述肿瘤边界的问题，本发明提出一种基于3D-Unet和基于图论分割的T1WI-fMRI图像肿瘤协同分割方法，实现对肿瘤及肿瘤亚区(包括肿瘤坏死，活性肿瘤，瘤周水肿)的自动、准确描述。具体的说，本发明将改进的图像分割算法与3D-Unet网络相结合。首先，两个独立的三维卷积网络分别对T1WI和fMRI图像进行训练，通过网络的强大描述能力，帮助生成高质量的体素级肿瘤及肿瘤亚区/非肿瘤掩码和概率图，然后在带有标签一致性约束的连续型图割模型中，进一步利用两个概率映射图，同时在T1WI和fMRI图像上产生最终的肿瘤及肿瘤亚区的分割结果。

本发明解决其技术问题所采用的技术方案是：

一种基于3D-Unet和基于图论分割的T1WI-fMRI图像肿瘤协同分割方法，包括以下步骤：

步骤1、图像预处理：获取MRI训练数据集，经过空间重采样、图像配准、图像灰度值阈值化预处理过程，将体素大小相同的T1WI与fMRI图像空间对齐，进一步经过灰度值阈值化生成对应的脑组织/非脑区域掩码；

步骤2、生成训练样本：结合步骤1中生成的脑组织/非脑区域掩码和训练样本中的肿瘤标注信息，以不同概率提取训练集中不同区域作为训练样本，克服正常脑组织和肿瘤之间的数据不均衡问题；

步骤3、训练网络模型：构建3D-Unet网络模型，使用步骤2中生成的训练样本训练构建好的网络模型，分别生成T1WI，fMRI的概率映射图和粗分割掩码；

步骤4、基于图论方法进行细分割：构造两个子图分别对应T1WI和fMRI图像，并在图模型中添加一个源点和多个汇点，代表图像中的不同类别，源点代表非肿瘤，各汇点代表肿瘤坏死、活性肿瘤、瘤周水肿三种类别，子图与源点和汇点间弧的权重描述节点对应的类别信息，子图内弧的权重对应于节点的边界信息和区域信息，子图间弧的权重描述子图间对应节点间分割不一致信息，基于图论的方法将多模态图像的多相分割问题转化为对连续空间内的最大流问题的求解。

进一步，所述步骤1中，本方案所采用的重采样算法包括但不限于双线性插值算法，配准过程采用的算法包括但不限于互信息的B样条配准方法。

再进一步，所述步骤2中，对每个训练样本的T1WI和fMRI图像分别生成若干个固定大小的子图像，利用脑组织/非脑区域掩码及训练样本的标注信息，对含脑组织的子图像(MRI_{_brain})、含非脑区域的子图像(MRI_{_background})、含肿瘤区域的子图像(MRI_{_tumor})分别赋予不同的概率，并以较大概率提取数据量较少的含肿瘤区域的子图像(MRI_{_tumor})。

概率生成函数：

其中ε₁，ε₂为比较小的常数，M为子图像中属于脑组织的体素个数，m_i为子图像中肿瘤亚区各类别的体素个数。

更进一步，所述步骤3中，利用训练数据集，分别训练T1WI的肿瘤分割网络模型和fMRI图像的肿瘤分割网络模型，分别得到T1WI与fMRI各体素不同类别的分割概率图及粗分割结果掩码；

基于肿瘤及肿瘤亚区数据量较少，采用Dice系数的损失函数不能很好的完成分割任务，本发明的网络模型中建立肿瘤分割损失函数如下：

其中n为分类的类别数量，y_i，

分别表示网络预测的类别和真实类别。

所述步骤4中，所建立的图模型中，构造两个子图，并建立两子图间分割不一致的损失度量，两子图间对应节点的权重对应于T1WI和fMRI中体素分割不一致性的损失，其分割不一致性损失函数如下：

其中β为尺度因子，N_i(x)，N_i(x′)分别为T1WI，fMRI中体素归一化后的类别损失，对应体素位置的同一类别的类别损失应十分接近，K为分割不一致的最小惩罚。

所述步骤4中，所建立的图模型中，通过在图像域中添加多个汇点，描述图像中的不同类别，子图节点到汇点的弧的权重描述图像中对应体素位置属于对应类别的程度，实现模型对多模态图像的多相分割，并建立分割对应的增广拉格朗日最大流模型。

所述步骤4中，子图节点到源点和汇点的弧的权重对应于节点的类别信息，其权重的初始值正比于所应用到的3D-Unet粗分割过程中生成的概率图所对应的概率。

本发明的有益效果为：实现对肿瘤及肿瘤亚区(包括肿瘤坏死，活性肿瘤，瘤周水肿)的自动、准确描述。

附图说明

图1为本发明实施方案的流程示意图。

图2为本发明方案所建立的图模型。

具体实施方式

为了使本发明的目的、技术方案和有点更加清楚明白，以下结合具体实施和附图，对本发明做进一步补充说明。

参照图1和图2，一种基于3D-Unet和图形分割的T1WI-fMRI图像肿瘤协同分割方法，能够利用充分利用多模态MRI间的信息，实现对肿瘤及肿瘤亚区的自动、准确描述，包括以下步骤：

步骤1、图像预处理：获取MRI训练数据集，通过双线性插值算法将不同模态的MRI图像插值到体素大小相同，并通过基于B样条的配准算法将T1WI和对应的fMRI空间坐标对齐，进一步经过灰度值阈值化生成对应的脑组织/非脑区域掩码；

步骤2、生成训练样本：为了训练本发明应用到的网络模型，从训练集中提取三维子图像，本发明实施过程中从每个训练集图像大小为256×256×128提取256个大小为32×32×32的子图像，并利用本发明建立的概率生成函数提取选取部分子图像作为训练样本，克服子图像中正常组织及肿瘤间的数据不均衡问题；

步骤3、本发明应用到的3D-Unet框架，编码器模块分别包含4个卷积层和最大池层，分别包含32、64、128、256个特征映射；解码器模块包含4个反卷积层和卷积层，分别包含256、128、64、32特征映射。在卷积层中，所有卷积核的尺寸为3×3×3。对于所有的最大池层，池大小为2×2×2，步长为2；对于所有的反卷积层，将反卷积后的特征映射与编码器模块中的相应特征相结合。解码后，使用Softmax分类器生成体素级概率映射和预测。使用步骤2中生成的训练样本训练构建好的网络模型，应用训练好的网络分别生成待分割T1WI，fMRI的概率映射图和粗分割掩码。

步骤4、如图2所示建立T1WI，fMRI协同分割的图模型，图模型中节点到源点和汇点间的弧的权重的初始值根据步骤3中生成的概率图映射得到。并根据上述建立的协同分割对应的增广拉格朗日最大流模型进行求解，得到最终的协同分割结果。

所述步骤4的处理过程如下：

4.1.建立图模型：对于连续图像域Ω，假定存在多个端点——一个源点S和n个汇点T，图像域中的每个节点存在四种能量项：图像域中任一体素x∈Ω，类别损失P_s∈R，描述体素x属于源点S(背景)的度量，类别损失P_i∈R，描述体素x属于汇点T_i(第i类)的度量，边界损失q(x,y)描述两体素(x,y)之间的不连续性度量，分割不一致损失w(x,x′)描述两子图T1WI体素x与fMRI中对应体素x′之间分割不一致性，u_i(x)用于描述体素x的标签，u_i(x)＝i,即当前节点x属于第i类；u_i(x)＝0,即当前节点x属于背景；

定义分割不一致性损失函数：

其中β为尺度因子，N_i(x)，N_i(x′)分别为T1WI，fMRI中体素归一化后的类别损失，对应体素位置的同一类别的类别损失应十分接近，K为分割不一致的最小惩罚；

用于T1WI图像的分割的能量项的形式：

用于fMRI图像的分割的能量项的形式：

则定义T1WI-fMRI协同分割的能量模型：

E(x,x′)＝E_T1(x)+E_fMRI(x′)+E_i(x,x′)i＝1,2...n

4.2.最小割和最大流的对偶变换：利用步骤3中训练好的网络分别生成待分割图像T1WI、fMRI的概率图和分割掩码，令P_i(x)的初始值正比于步骤3中训练好的3D-Unet网络生成的概率图中对应的值p_xi，其中x∈Ω,i＝1...n，P_s(x)的值正比于

u_i(x)的初始值由网络的粗分割掩码给出；

图割中如果P是网络中的一个流，那么P的值不超过割的容量；

定义状态损失

其中N_d为体素x的邻域；

则存在容量约束

且对于x既不是源点，也不是汇点，对任意x∈Ω，有流入的量和流出的量相等，即：

根据图论的最小割与最大流对偶性原理，建立协同分割对应的拉格朗日最大流模型：

进一步得到对应的增广拉格朗日乘子式

其中c>0，求解该过程每次迭代中参数更新如下：

以上所述的具体实施仅为本发明的一种最佳实现方式,并不用于限制本发明的专利范围,凡是利用本发明精神和原则及附图内容所作的等效结构或等效流程变换,均应包括在本发明的专利保护范围内。

Claims (5)

1.一种基于3D-Unet和图论分割的T1WI-fMRI图像肿瘤协同分割方法，其特征在于，所述方法包括以下步骤：

步骤1、图像预处理：获取MRI训练数据集，经过空间重采样、图像配准，图像灰度值阈值化预处理过程，将体素大小相同的T1WI与fMRI空间对齐，进一步经过灰度值阈值化生成对应的脑组织/非脑区域掩码；

步骤2、生成训练样本：结合步骤1中生成的脑组织/非脑区域掩码和训练样本中的肿瘤标注信息，以不同概率提取训练集中不同子区域作为训练样本，克服正常脑组织和肿瘤之间的数据不均衡问题；

所述步骤2中，以不同概率提取训练集中不同区域作为训练样本，其概率生成函数：

其中ε₁，ε₂为比较小的常数，M为子图像中属于脑组织的体素个数，m_i为子图像中肿瘤亚区各类别的体素个数；

步骤3、训练网络模型：构建3D-Unet网络模型，并重新定义网络的损失函数，使数据量较少的分割类别在损失函数中获得相同的权重，并使用步骤2中生成的训练样本训练构建好的网络模型，分别生成T1WI，fMRI中各体素不同类别的概率映射图和粗分割掩码，所述类别包括非肿瘤，肿瘤坏死、活性肿瘤、瘤周水肿四种类别；

所述步骤3中，训练3D-Unet网络使用的损失函数：

其中n为分类的类别数量，y_i，

分别表示网络预测的类别和真实类别；

步骤4、基于图论方法进行细分割：构造两个子图分别对应T1WI和fMRI图像，并在图模型中添加一个源点和多个汇点，代表图像中的不同类别，源点代表非肿瘤，各汇点代表肿瘤的坏死、活性肿瘤、瘤周水肿三种类别，子图与源点和汇点间弧的权重描述节点对应的类别信息，子图内弧的权重对应于节点的边界信息和区域信息，子图间弧的权重描述子图间对应节点间分割不一致信息；基于图论的方法将多模态图像的多相分割问题转化为对连续空间内的最大流问题的求解。

2.如权利要求1所述的基于3D-Unet和图论分割的T1WI-fMRI图像肿瘤协同分割方法，其特征在于，所述步骤1中，采用的重采样算法为双线性插值算法，配准过程采用的算法为互信息的B样条配准方法。

3.如权利要求1或2所述的基于3D-Unet和图论分割的T1WI-fMRI图像肿瘤协同分割方法，其特征在于，所述步骤4中，所建立的图模型中，构造两个子图，并建立两子图间分割不一致的损失度量，两子图间对应节点的权重对应于T1WI和fMRI中体素分割不一致性的损失，其分割不一致性损失函数如下：

其中β为尺度因子，N_i(x)，N_i(x′)分别为T1WI，fMRI中体素归一化后的类别损失，对应体素位置的同一类别的类别损失应十分接近，K为分割不一致的最小惩罚。

4.如权利要求3所述的基于3D-Unet和图论分割的T1WI-fMRI图像肿瘤协同分割方法，其特征在于，所述步骤4中，所建立的图模型中，通过在图像域中添加多个汇点，描述图像中的不同类别，子图节点到汇点的弧的权重描述图像中对应体素位置属于对应类别的程度，实现模型对多模态图像的多相分割，并建立分割对应的增广拉格朗日最大流模型。

5.如权利要求4所述的基于3D-Unet和图论分割的T1WI-fMRI图像肿瘤协同分割方法，其特征在于，所述步骤4中，子图节点到源点和汇点的弧的权重对应于节点的类别信息，其权重的初始值正比于所应用到的3D-Unet粗分割过程中生成的概率图所对应的概率。

Images