CN106600621A - 基于婴幼儿脑瘤多模态mri图的时空协同分割方法 - Google Patents

Abstract

本发明公开了一种基于婴幼儿脑瘤多模态MRI图的时空协同分割方法，其包括：(1)获得手术后的脑瘤MRI图像，(2)将纵向数据分别映射到时间域和空间域上进行分割处理，时间域分割处理包括：获得手术前的分割结果和纵向待分割数据，进行手术前和手术后的图像配准，构建手术后肿瘤生长模型；空间域分割处理包括：构建健康婴幼儿大脑模板，提取Haar结构特征，将结构随机森林方法结合AdaBoost框架获得初步的概率结果，利用相似性区域增长算法增长标签，获得空间域分割结果；(3)结合时间域分割结果和空间域分割结果构建四维图模型并优化获得参数形成自动分割结果，提高了对婴幼儿脑瘤区域分割的精准度。

Description

基于婴幼儿脑瘤多模态MRI图的时空协同分割方法

技术领域

本发明属于图像处理与生物医学结合的技术领域，尤其是一种基于婴幼儿脑瘤多模态MRI图的时空协同分割方法。

背景技术

脑肿瘤是指生长在颅腔内的癌性物质，包括脑实质发生病变引起的原发性肿瘤，也有由身体其他部位转移侵入颅内的继发性肿瘤。分割是脑瘤病情诊断、手术规划、放化疗以及长期纵向研究的一个重要前提。在各种医学影像学技术中，磁共振成像(MRI)对软组织有着很强的分辨力，所以据此界定肿瘤边界更为准确。MRI图像脑肿瘤分割在诊断、病理分析、治疗以及科学研究等方面具有重要意义。临床上一般由有经验的医生根据解剖知识，利用计算机辅助软件手工勾画分割肿瘤区域。但是，人工分割的主观性很强，不同的医生对同一病人的磁共振图像会有不同的判断结果，同一个医生在不同的时期对同一病人的图像判断结果也存在差异，而且医学图像成像过程中很容易因为噪声、场偏移效应、组织运动和局部体积效应的影响，造成图像本身存在模糊、灰度不均匀等现象。因此人工分割速度慢、实时性差、可重复性差，难以胜任大量图像数据的分割处理工作。为了减轻医生们的工作强度，同时提高分割的正确率，特别是降低病变部位的漏过率，在脑瘤图像的分割的过程中采用计算机软件辅助操作。一般情况下磁共振图像中的脑肿瘤有如下特性：大小和位置各异；在不同模态的MRI上的外观各异；密度可能和正常组织相交叠；可能有占空效应(新组织挤走了正常组织)或渗透效应(改变现有组织的特性)；内部结构的复杂性，存在血管或出现钙化等；周围可能伴随着水肿等。这些对分割方法的选择提出了更高的要求。

发展脑肿瘤的自动分割技术是一个非常大的挑战。分割基于纵向数据的脑肿瘤图像，是一个更具挑战性的研究方向。而基于纵向随访数据分割婴幼儿脑肿瘤是需要考虑更多复杂因素的研究领域。由于图像质量的问题、某些局部体积效应、正在进展中的成熟和髓鞘形成过程，婴儿大脑的MRI分割是一种很有挑战性的工作。对于婴幼儿的大脑来说，从出生到3-5个月、6个月直到2岁甚至到6岁，白质灰质的亮度一直处于发展变化中。因此，使得成年人脑MR图像的分割模型很难应用到婴幼儿脑MR图像分割中。尤其是6-8个月的时候，图像的对比度发生了反转，白质和灰质在T1和T2加权MRI中是相等的而且呈现了非常低的组织对照，而这使得自动分割面临着很大的挑战。

发明内容

为了克服现有技术的不足，本发明提供了一种基于婴幼儿脑瘤多模态MRI图的时空协同分割方法,该分割方法在时间域和空间域分别进行分割，将两者结果进行相互参考对照，并基于两者的分割结果构建四维图模型进行优化，提高了脑瘤区域分割的精准度，解决了现有技术中难以对婴幼儿脑瘤MRI图进行分割的问题。

为了实现上述目的，本发明采用的技术方案是：一种基于婴幼儿脑瘤多模态MRI图的时空协同分割方法，其特征在于，包括以下步骤：(1)获得脑瘤MRI图像，对图像进行预处理，(2)将步骤(1)的纵向数据分别映射到时间域和空间域上进行分割处理，(3)将时间域分割结果和空间域分割结果相互对照参考构建四维图模型，所述时间域分割处理包括以下步骤：获得手术前的分割结果和纵向待分割数据，进行手术前和手术后的图像配准，构建手术后肿瘤生长模型式中φ＝(c，u，v，m)是模型变量，其中m＝(D，λ，μ)是脑部组织的材料属性，A是线性微分算子，而F(φ)是一个能量项；

然后分别构建白质(WM)、灰质(GM)、脑脊液(CSF)、空洞(Cavity)、坏死(Necrosis)、水肿(Edema)、增强肿瘤(Enhancing tumor)、非增强肿瘤(Non-enhancingtumor)、背景(Background)的高斯混合模型，通过最大期望算法(EM)迭代计算各自的概率，获得时间域分割结果；

所述空间域分割处理包括以下步骤：构建健康婴幼儿大脑随时间点动态变化的离散模板库，将模板数据库中的中继样本采用回归模型以patch为单元，形成特定时间点的基准的虚拟健康婴幼儿大脑模板，提取Haar结构特征，将结构随机森林方法结合AdaBoost框架获得初步的概率结果，利用相似性区域增长算法增长标签，获得空间域分割结果；

所述步骤(3)中利用时间域和空间域上的分割结果，构造了一个四维图模型，该四维图模型包括源点、终端点、时间域分割结果的结点和空间域分割结果的结点，结点间有三种类型的边，分别是区域的代价，边界的代价，和上下文的惩罚值，

所述时间域分割结果包括分割前景和背景，分割前景根据公式l_v＝1(l_v′＝1)获得，背景根据公式l_v＝0(l_v′＝0)获得，

边界的代价如下所示，

其中，B_uv是相邻两个体素被分配不同标签的一个惩罚值，上下文的代价如下所示，

C_vv′是一个用来代表体素对相互之间标签值不同的惩罚值，C_vv′＝θ(1-|N_v-N_v′|)+K，是一个尺度常数，K是一个对两个分割结果不统一的最小惩罚值，N_v和N_v′是D_v(l_v＝1)、D_v′(l_v′＝1)分别在[0,1]之间的值；

前景和背景区域之间部分的代价函数，如下所示，

所述B_uv，则如下所示：

λ₁、λ₂、λ₃是被给定的尺度常数，是一个梯度算子，σ_g是一个给定的高斯参数。

进一步的，所述相似性区域增长算法如下所示，同时其中，是体素的相似性度量值，l是标签，t为迭代点，x是体素的特征(如亮度)，两个体素间的不同如下所示，

其中，β是一个调整参数；ρ(x_i，x_j)表示x_i，x_j两点之间特征的欧式距离；mean(ρ(x_i，N_i))是x_i和其每一个邻接结点特征的欧式距离的平均，μ是经验值。

采用上述方案，本发明针对脑瘤图像分割中存在的肿瘤边缘不清、采样不完全造成分割结果偏小的情形，提出基于AdaBoost重采样的结构随机森林算法提高了采样的效率；建立人脑不同组织的对称性模板，并利用四维Haar特征更能保证图像的全局和局部特征，利用优化的相似性准则进行区域增长，从而提高局部区域的准确性；在时间域分割算法中，提出肿瘤各子类和术后的空洞同时进行生长建模，利用高斯混合模型求出基于时间域上的分割结果，从而更能反映出空洞的变化，提高分割精度；提出四维的优化协同分割图切算法用于时间域与空间域上的分割结果相互参考，综合利用空间域和时间域上获得的分割结果，更能表达出时间空间各自和共同的信息。

本发明将基于空间域上的分割和基于时间序列信息的时间域分割分别进行处理，首次研究以结构随机森林为分类器AdaBoost为框架，融合人脑各成份对称性模板、肿瘤相似性增长准则的空间域分割算法；提出带有手术空洞参数的肿瘤生长模型弹性变形配准为基础的时间域分割方法；独创性地提出以优化协同分割四维图切方法为思路相互参考时空分割结果。

下面结合附图对本发明作进一步描述。

附图说明

图1为本发明具体实施例技术路线图；

图2为本发明具体实施例空间域和时间域分割结果共同构件的四维图模型；

图3为本发明具体实施力婴幼儿动态模型。

具体实施方式

本发明的具体实施例如图1-3所示是基于多模态脑瘤MRI图像纵向数据的时空协同分割方法，其包括以下步骤：(1)获得手术后的脑瘤MRI图像，对图像进行预处理，(2)将步骤(1)的纵向数据分别映射到时间域和空间域上进行分割处理，(3)将时间域分割结果和空间域分割结果相互对照参考构建四维图模型。

分割时按照以下步骤进行操作：首先分割出整个肿瘤区域，分割时按照步骤(1)-(3)操作；然后从整个肿瘤区域中再分割出坏死(Necrosis)、增强肿瘤(Enhancing tumor)、非增强肿瘤(Non-enhancing tumor)的合成区域，将水肿(Edema)区排除，分割时按照步骤(1)-(3)操作；再从合成区域中分割增强肿瘤(Enhancing tumor)区，分割时按照步骤(1)-(3)操作；合成区域分割出增强肿瘤(Enhancing tumor)区后，再继续分割出坏死(Necrosis)区，剩下区域获得非增强肿瘤(Non-enhancing tumor)区，分割时按照步骤(1)-(3)操作。

空间域分割处理包括以下步骤：构建健康婴幼儿大脑随时间点动态变化的离散模板库，将模板数据库中的中继样本采用回归模型以patch为单元，形成特定时间点的基准的虚拟健康婴幼儿大脑模板如图3所示，图中，由上至下看，上面3条虚线为模板库中时间线，最下面的虚线为训练样本时间延后路径线；提取Haar结构特征，将结构随机森林方法结合AdaBoost框架获得初步的概率结果，利用相似性区域增长算法增长标签，获得空间域分割结果；

1.基于空间域的分割算法。

我们把分割问题看作是一个分类问题：在训练集上获得一个有关体素类别的推断h，然后对测试集上的每一个体素进行分类，即有h(x⁽ⁱ⁾)：x⁽ⁱ⁾→y⁽ⁱ⁾。

作为最终的决策分类器AdaBoost算法在医学图像方面的应用不多，尤其是脑部MRI肿瘤分割方面。因为AdaBoost较难处理数据不均衡问题，另一个重要的原因在于AdaBoost算法训练所需样本量大，训练时间长。但是AdaBoost算法的优势在于可以用各种方法构建子分类器，AdaBoost算法提供的是框架，而且提高精度的同时，无过拟合现象。基于以上的优缺点，我们将结构随机森林方法应用到AdaBoost框架中去。由于我们是将分割问题看做是分类问题，以图像中的像素点作为样本，这样的话所需样本量和不均衡数据的问题就得到了解决。结构随机森林输入时以块为单位来输入标签，这块标签在一定程度上就带有了这块内的上下文信息，随机森林的结点分离函数也考虑了结构信息，与传统的随机森林相比，对图像的结构把握得更好。

在利用结构随机森林获得初步的概率结果后，由于某些数据点并没有被计算概率，将利用如下公式对所获得的空间进行元胞自动机增长，其中的参数由已做好标签的数据训练获得。

同时

这里是体素的相似性度量值，l是标签，t为迭代点，x是体素的特征(如亮度)。考虑到我们是以结构随机森林对肿瘤整体的分割结果自动作为种子，为了增长算法不至于在necrosis部分和enhancing tumor交界处发生阻滞，我们用如下准则来进行表示两个体素间的不同。

这里，β是一个调整参数，由训练获得；ρ(x_i，x_j)表示x_i，x_j两点之间特征的欧式距离，由于我们采用了对称性模板，所以这里的两点的特征已经是原始四个模态的MRI与对称性模板共同产生。这里mean(ρ(x_i，N_i))是x_i和其每一个邻接结点特征的欧式距离的平均，μ是经验值，可以通过训练得到。

2.基于时间域的分割算法。

这里，肿瘤手术后生长模型的构建和参数的确定最为关键。脑肿瘤手术去除的是enhancing部分，我们以手术前的enhancing部分作为种子点，利用正常组织的手术前后的相似性，以肿瘤生长模型进行手术前和手术后的图像配准，这里φ＝(c，u，v，m)是模型变量，其中m＝(D，λ，μ)是脑部组织的材料属性。A是线性微分算子，而F(φ)是一个能量项。我们分别构建白质(WM)、灰质(GM)、脑脊液(CSF)、空洞(Cavity)、坏死(Necrosis)、水肿(Edema)、增强肿瘤(Enhancing tumor)、非增强肿瘤(Non-enhancingtumor)、背景(Background)的高斯混合模型，基于已经分割好的术前术后图像进行训练，通过最大期望算法(EM)迭代计算各自的概率，将会克服原有一些方法基于术前术后残留肿瘤部分位置相同假设的缺点。对于复发部分的各子类，由于符合肿瘤的模型，将能正确分割出来。原有的肿瘤生长算法没有考虑手术空洞，需要进行重新数学建模和方程求解。我们结合使用半监督的方法，在训练集上，嵌入该生长模型，建立有标签的术前术后分割结果之间的转化模型，应用到术前有标签而术后无标签的数据中获得分割结果。

3.对分别来自空间域、时间域的分割结果协同分割算法构建四维图模型并优化。

在这里，时间域与空间域的结果将被映射到一个共同的空间中看作一个能量最小化的问题。考虑时间域和空间域图像上的一对一一对应的体素对(I，I′)，这里I属于时间域上的分割结果，I′属于空间域上的分割结果。对于每个体素v∈I都有v′∈I′跟它对应。l_v＝1(l_v′＝1)代表着分割前景，l_v＝0(l_v′＝0)代表着背景，对每一个体素来说D_v(l_v)意味着基于被给定的分割结果(我们这里是概率值)这个体素对相应的标签来说有多适合，那么边界的代价就是

这里B_uv是相邻两个体素被分配不同标签的一个惩罚值，这样能量可以表示为

E(l)＝E_spatio(l)+E_temporal(l)+E_context(l)

其中，上下文的能量项是E_context(l)＝∑_(v，v′)W_vv′(l_v，l_v′)，而被定义为上下文的代价。这里C_vv′是一个用来代表体素对相互之间标签值不同的惩罚值。

如图2所示，结合时间域和空间域上的分割结果，构造了一个四维图模型，结点间有三种类型的边，图中A1是t-link编码着区域的代价，A4是n-link编码着边界的代价，A5是上下文的惩罚值，A2结点是时间域上的分割结果，A3是空间域上的分割结果，S和T分别是构造出来的源点和终端点。这样新构建出来的图就是一个四维的图像，原来的问题就转变为四维空间上的优化问题。对于时间域上的分割结果，假设有两个球形区域，一个小的区域里包含的都是前景，一个大的区域之外都是背景，那么对于两个区域之间部分的代价函数，就有如下的形式，

对于上面提到的B_uv，就可以转换为新的形式：

这里λ₁、λ₂、λ₃是被给定的两个尺度常数，是一个梯度算子，σ_g是一个给定的高斯参数。这里的两个球形区域可在原分割结果的基础分别收缩和膨胀获得。对于空间域上的代价函数，将是类似的，但参数需要通过训练获得。

对于上下文的代价函数C_vv′＝θ(l-|N_v-N_v′|)+K，是一个尺度常数，K是一个对两个分割结果不统一的最小惩罚值，N_v和N_v′是D_v(l_v＝1)、D_v′(l_v′＝1)分别规范化到[0,1]的值。

本发明不局限于上述具体实施方式，本领域一般技术人员根据本发明公开的内容，可以采用其他多种具体实施方式实施本发明的，或者凡是采用本发明的设计结构和思路，做简单变化或更改的，都落入本发明的保护范围。

Claims (2)

1.一种基于婴幼儿脑瘤多模态MRI图的时空协同分割方法，其特征在于，包括以下步骤：(1)获得脑瘤MRI图像，对图像进行预处理，(2)将步骤(1)的纵向数据分别映射到时间域和空间域上进行分割处理，(3)将时间域分割结果和空间域分割结果相互对照参考构建四维图模型，

所述时间域分割处理包括以下步骤：获得手术前的分割结果和纵向待分割数据，进行手术前和手术后的图像配准，构建手术后肿瘤生长模型式中φ＝(c，u，v，m)是模型变量，其中m＝(D，λ，μ)是脑部组织的材料属性，A是线性微分算子，而F(φ)是一个能量项；

然后分别构建白质(WM)、灰质(GM)、脑脊液(CSF)、空洞(Cavity)、坏死(Necrosis)、水肿(Edema)、增强肿瘤(Enhancing tumor)、非增强肿瘤(Non-enhancing tumor)、背景(Background)的高斯混合模型，通过最大期望算法(EM)迭代计算各自的概率，获得时间域分割结果；

所述空间域分割处理包括以下步骤：构建健康婴幼儿大脑随时间点动态变化的离散模板库，将模板数据库中的中继样本采用回归模型以patch为单元，形成特定时间点的基准的虚拟健康婴幼儿大脑模板，提取Haar结构特征，将结构随机森林方法结合AdaBoost框架获得初步的概率结果，利用相似性区域增长算法增长标签，获得空间域分割结果；

所述步骤(3)中利用时间域和空间域上的分割结果，构造了一个四维图模型，该四维图模型包括源点、终端点、时间域分割结果的结点和空间域分割结果的结点，结点间有三种类型的边，分别是区域的代价，边界的代价，和上下文的惩罚值，

所述时间域分割结果包括分割前景和背景，分割前景根据公式l_v＝1(l_v′＝1)获得，背景根据公式l_v＝0(l_v′＝0)获得，

边界的代价如下所示，

其中，B_uv是相邻两个体素被分配不同标签的一个惩罚值，上下文的代价如下所示，

C_vv′是一个用来代表体素对相互之间标签值不同的惩罚值，C_υυ′＝θ(1-|N_υ-N_υ′|)+K，是一个尺度常数，K是一个对两个分割结果不统一的最小惩罚值，N_v和N_v′是D_v(l_v＝1)、D_v′(l_v′＝1)分别在[0,1]之间的值；

前景和背景区域之间部分的代价函数，如下所示，

所述B_uv，则如下所示：

λ₁、λ₂、λ₃是被给定的尺度常数，是一个梯度算子，σ_g是一个给定的高斯参数。

2.根据权利要求1所述的基于婴幼儿脑瘤多模态MRI图的时空协同分割方法，其特征在于：所述相似性区域增长算法如下所示，同时

其中，g是体素的相似性度量值，l是标签，t为迭代点，x是体素的特征(如亮度)，

两个体素间的不同如下所示，

其中，β是一个调整参数；ρ(x_i，x_j)表示x_i，x_j两点之间特征的欧式距离；mean(ρ(x_i，N_i))是x_i和其每一个邻接结点特征的欧式距离的平均，μ是经验值。