CN113793347A - 基于局部-全局自适应信息学习的脑肿瘤mr图像分割方法 - Google Patents

Abstract

本发明涉及一种基于局部‑全局自适应信息学习的脑肿瘤MR图像分割方法。该方法通过提取脑肿瘤MR图像中的影像信息，采用半监督学习方法将MR图像中的肿瘤分割为肿瘤整体区域、肿瘤核心区域和增强肿瘤核心区域。首先，通过利用空间域和频域相结合的方法分别对四个模态提取特征，得到增强特征用于表达脑部结构信息；并将四个模态提取到的特征进行融合，得到最终的融合特征；然后进行高效的特征选择；最后将脑肿瘤MR图像分割为肿瘤整体区域、肿瘤核心区域和增强肿瘤核心区域。脑肿瘤MR图像分割是脑肿瘤MR图像分割中的难点，本发明方法在保证分割精度的同时，减少了人工标记的工作量，进而提升了工作效率。

Description

基于局部-全局自适应信息学习的脑肿瘤MR图像分割方法

技术领域

本发明属于图像处理领域，具体涉及一种基于局部-全局自适应信息学习的脑肿瘤MR图像分割方法。

背景技术

脑肿瘤MR图像分割技术是对图像进行特征提取，然后基于特征进行图像中的各脑肿瘤结构分割的过程。脑肿瘤MR图像分割技术主要的依据是利用脑肿瘤MR图像中肿瘤内部的纹理结构的分布，依据不同肿瘤类型的纹理不同，进而将肿瘤分割为整体肿瘤、肿瘤核心和增强肿瘤核心。进而输出相关指标用于研究分析。

脑肿瘤MR图像分割技术是医学图像处理技术中最为实用化的技术之一。由于数据库中脑肿瘤MR图像的数量越来越多，对于图像的全自动分割处理速度提出了越来越高的要求。

对于脑肿瘤MR图像分割而言，传统的MR图像分割方法的缺点是：由于MR图像在成像过程中，易受到伪影的影响，导致成像质量差。并且肿瘤内部的纹理特征没有较为明确的区别，因此对于肿瘤类型的分割效果较差。由于脑部MR序列图像的数据量庞大，人工分割不仅费时而且效率低下，并且人工分割的结果受医生的专业知识和操作熟练度的影响，可能会产生较大差异的结果。

发明内容

本发明的目的在于提供一种基于局部-全局自适应信息学习的脑肿瘤MR图像分割方法，该方法在保证分割精度的同时，减少了人工标记的工作量，进而提升了工作效率。

为实现上述目的，本发明的技术方案是：一种基于局部-全局自适应信息学习的脑肿瘤MR图像分割方法，包括如下步骤：

步骤1、获取FLAIR、T1、T1c和T2四个模态MR部三维图像，对每个模态进行归一化预处理；

步骤2、利用小波变换将脑肿瘤MR图像的四个模态分别从空间域转换到频域，使用1级非正交小波系数形成四通道频域图像，将归一化后的图像分解为4个子带图像，包括低频分量LL、水平分量HL、垂直分量LH和对角分量HH；其中，水平分量HL、垂直分量LH和对角分量HH用于表征图像细节，低频分量LL用于表征图像的近似部分；

步骤3、利用步骤2获得的低频子带中提取统计特征，从高频子带中提取纹理特征，将四个模态提取到的特征图进行融合；

步骤4、利用步骤3中得到特征图，从每个病人序列中随机抽取2-3张带有肿瘤的脑肿瘤MR图像进行人工标注，获得带有标签MR图像的训练集；

步骤5、从步骤4中获得的训练集，基于随机森林算法计算训练集中特征的重要性，对重要性大小进行排序，选出重要性程度较高的参数，完成对训练集特征的选择；

步骤6、采用局部-全局自适应信息学习分割算法利用带有标签MR图像的训练集将MR图像序列中未勾画的MR图像的肿瘤分割为肿瘤整体区域、肿瘤核心区域和增强肿瘤核心区域。

在本发明一实施例中，所述步骤1的具体实现方式如下：

获取FLAIR、T1、T1c和T2四个模态MR部三维图像，找到每个模态的三维图像X矩阵的非背景部分的像素值中的最大值X_max和最小值X_min，得到归一化后的三维图像X_norm；定义如下：

其中X_max为MR图像的最大值，X_min为MR图像的最小值，将四个模态的图像映射到同一个区间。

在本发明一实施例中，步骤2中，小波变换方法如下：

其中，n和m分别为行下标和列下标；{h_k}_k∈Z满足小波尺度公式，

h、g是标准滤波器，

是h的共轭，c是低频系数，k是小波分解尺度。

在本发明一实施例中，步骤3中，特征提取方法如下：

利用5×5大小的窗口遍历整张图像，分别从步骤2获得的低频子带中提取统计特征，从高频子带中提取纹理特征，将四个模态提取到的特征图进行融合；其中，

统计特征的具体方法包括：从窗口中计算均值、最大值、最小值、中值、方差、标准差、偏度、峰度作为特征向量；

纹理特征为从灰度共生矩阵提取特征，具体方法包括，将窗口在θ＝0°,45°,90°,135°中四个不同方向得到的统计量取对比度、相关性、能量、同质性、角二阶矩、方差、差异性、熵、自相关、共生和方差、共生和熵、共生差方差作为纹理特征。

在本发明一实施例中，步骤4中，带有标签MR图像提取方法如下：

在每个病人序列图像中，抽取2-3张带有肿瘤的脑肿瘤MR图像进行人工标注，从中随机获取少量的肿瘤整体区域(t1)、肿瘤核心区域(t2)、增强肿瘤核心区域(t3)和正常区域(n)的索引，然后从步骤3中获得的特征图中获取对应索引的各类肿瘤的特征，从而获得带有标签MR图像的训练集。

在本发明一实施例中，步骤5中，特征的选择方法如下：

构建随机森林，遍历每一个特征的每一个值，用该值将训练集分为两个集合，左集合为小于等于该值的样本，右集合为大于该值的样本，每一个集合称为一个节点，分别计算这两个节点的均方误差，找到使得左节点的均方误差和右节点的均方误差最小的值，记录下此时特征，作为最佳分割特征，均方误差计算如下式所示：

其中，MSE为均方误差，N为特征数量，i为训练集中每一个样本，f_i为每一个样本点的目标值，y_i为样本点i的平均值。

在本发明一实施例中，步骤6具体实现如下：

a)根据步骤5得到的带有标签MR图像的训练集，在对相应序列中其他未标注的MR图像进行分割时，利用特征的选择方法，得到无标签的数据集；然后将两种数据集结合起来，假设样本集为

样本标签为L＝{1,...,c}，记有标签的数据为X_l(l＜m)，无标签的数据为X_u(m+1＜u≤n)；定义一个one-hot矩阵Y_nc来标记初始信息，如果样本x_i的标签为y_j，则Y_ij＝1，否则Y_ij＝0；且无标签的样本Y_ij为零向量；

利用高斯核函数构造一个相似性矩阵W矩，定义如下：

W_ij＝exp(-d(x_i,x_j)²/2σ²)w_i

其中，d(x_i,x_j)＝|x_i-x_j|+|y_i-y_j|，(x_i,x_j)和(x_j,y_j)为两个样本点特征矢量，d(i,j)为两个样本点特征矢量之间的曼哈顿距离，σ为常数；

计算W的对角矩阵D，

即计算矩阵W的第i行之和；然后建立矩阵S＝D^-1/2WD^-1/2；初始化F(0)＝Y，利用迭代对无标注的样本进行标注并更新，迭代公式如下：

F(t+1)＝(1-exp(-ut))QF(t)+exp(-ut)Y

其中，其中exp(-ut)为指数衰减函数，u为衰减权重，t为迭代次数；为自适应调整初始标签对模型的影响，通过设置指数衰减函数，在迭代初期，为使模型保持良好的准确率，初始标签的权重较高；随着迭代次数的增加，模型趋于稳定，初始标签的权重也随之减小；F^*代表在迭代预定次数后收敛的结果，则x_i的标签为：

b)基于最终分割结果，定义并计算以下特征用于脑肿瘤MR图像分析，即：

肿瘤整体区域、肿瘤核心区域、增强肿瘤核心区域分别对应的整体肿瘤的总像素数、肿瘤核心的总像素数、增强肿瘤核心的总像素数。

相较于现有技术，本发明具有以下有益效果：

第一，与传统的脑肿瘤MR图像分割方法相比，算法以空间域与频域相结合来提取图像的特征，考虑了更多空间的信息。

第二，与监督方法相比，所提出的算法只需要少量的标注信息就能够达到与监督方法相同甚至更好的效果。解决了监督学习中需要大量标注信息的问题。

附图说明

图1是本发明的原理示意图；

图2是本发明的特征提取方法示意图；

图3是本发明的部分特征图可视化；

图4是本发明的分割结果示意图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

本发明一种基于局部-全局自适应信息学习的脑肿瘤MR图像分割方法，参见附图1，主要包含下列步骤：

1、首先获取FLAIR、T1、T1c和T2四个模态脑肿瘤MRI三维图像，找到每个模态的三维图像X矩阵的非背景部分的像素值中的最大值X_max和最小值X_min，得到归一化后的三维图像X_norm。

2、利用小波变换将MR图像的四个模态分别从空间域转换到频域，使用1级非正交小波系数形成四通道频域图像，将归一化后的图像分解为4个子带图像，包括低频分量LL、水平分量HL、垂直分量LH和对角分量HH；其中，水平分量HL、垂直分量LH和对角分量HH用于表征图像细节，低频分量LL用于表征图像的近似部分(参见附图2)。

3、利用5×5大小的窗口遍历整张图像，分别从2中获得的低频子带中提取统计特征，从高频子带中提取纹理特征，将四个模态提取到的特征图进行融合(参见附图3)。

4、利用3中得到特征图，在每个病人序列图像中，抽取2-3张带有肿瘤的脑肿瘤MR图像进行人工标注，从中随机获取少量的肿瘤整体区域(t1)、肿瘤核心区域(t2)、增强肿瘤核心区域(t3)和正常区域(n)的索引，然后从步骤3中获得的特征图中获取对应索引的各类肿瘤的特征，从而获得少量带有标签的训练集。本实例中，t1、t2、t3、n分别取150、150、150、3750.

5、从4中获得的训练集，基于随机森林算法计算训练集中特征的重要性，对重要性大小进行排序，选出重要性程度较高的参数，完成对训练集特征的选择。

6、采用局部－全局自适应信息学习分割算法利用少量的带有标签的训练集将MR序列中其他未勾画的MR图像的肿瘤分割为肿瘤整体区域、肿瘤核心区域和增强肿瘤核心区域。

a)根据5中的随机森林特征选择算法，得到少量带有标签的训练集。在对这个序列中其他未标注的图像进行分割时，利用5所述的特征选择方法，得到无标签的数据集。然后将两种数据集结合起来，假设样本集为

样本标签为L＝{1,...,c}，记有标签的数据为X_l(l＜m)，无标签的数据为X_u(m+1＜u≤n)。定义一个one-hot矩阵Y_nc来标记初始信息，如果样本x_i的标签为y_j，则Y_ij＝1，否则Y_ij＝0；且无标签的样本Y_ij为零向量。

利用高斯核函数构造一个相似性矩阵W矩，定义如下：

W_ij＝exp(-d(x_i,x_j)²/2σ²)w_i

其中，d(x_i,x_j)＝|x_i-x_j|+|y_i-y_j|，(x_i,x_j)和(x_j,y_j)为两个样本点特征矢量，d(i,j)为它们之间的曼哈顿距离，σ为常数。

计算W的对角矩阵D，

即计算矩阵W的第i行之和。然后建立矩阵S＝D^-1/2WD^-1/2。初始化F(0)＝Y，利用迭代对无标注的样本进行标注并更新，迭代公式如下：

F(t+1)＝(1-exp(-ut))QF(t)+exp(-ut)Y

其中，其中exp(-ut)为指数衰减函数，u为衰减权重(本实例中u为0.2)，t为迭代次数(本实例中t为100)。为了自适应调整初始标签对模型的影响，通过设置指数衰减函数，在迭代初期，为了使模型保持良好的准确率，初始标签的权重较高；随着迭代次数的增加，模型趋于稳定，初始标签的权重也随之减小。F^*代表在迭代一定次数后收敛的结果，则x_i的标签为：

(参见附图4)。

7、基于最终分割结果，定义并计算以下表1特征用于脑肿瘤MR图像分析研究：

表1

特征	定义
		肿瘤整体区域	整体肿瘤的总像素数
肿瘤核心区域	肿瘤核心的总像素数
		增强肿瘤核心区域	增强肿瘤核心的总像素数

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (7)

1.一种基于局部-全局自适应信息学习的脑肿瘤MR图像分割方法，其特征在于，包括如下步骤：

步骤1、获取FLAIR、T1、T1c和T2四个模态MR部三维图像，对每个模态进行归一化预处理；

步骤2、利用小波变换将脑肿瘤MR图像的四个模态分别从空间域转换到频域，使用1级非正交小波系数形成四通道频域图像，将归一化后的图像分解为4个子带图像，包括低频分量LL、水平分量HL、垂直分量LH和对角分量HH；其中，水平分量HL、垂直分量LH和对角分量HH用于表征图像细节，低频分量LL用于表征图像的近似部分；

步骤3、利用步骤2获得的低频子带中提取统计特征，从高频子带中提取纹理特征，将四个模态提取到的特征图进行融合；

步骤4、利用步骤3中得到特征图，从每个病人序列中随机抽取2-3张带有肿瘤的脑肿瘤MR图像进行人工标注，获得带有标签MR图像的训练集；

步骤5、从步骤4中获得的训练集，基于随机森林算法计算训练集中特征的重要性，对重要性大小进行排序，选出重要性程度较高的参数，完成对训练集特征的选择；

步骤6、采用局部-全局自适应信息学习分割算法利用带有标签MR图像的训练集将MR图像序列中未勾画的MR图像的肿瘤分割为肿瘤整体区域、肿瘤核心区域和增强肿瘤核心区域。

2.根据权利要求1所述的基于局部-全局自适应信息学习的脑肿瘤MR图像分割方法，其特征在于，所述步骤1的具体实现方式如下：

获取FLAIR、T1、T1c和T2四个模态MR部三维图像，找到每个模态的三维图像X矩阵的非背景部分的像素值中的最大值X_max和最小值X_min，得到归一化后的三维图像X_norm；定义如下：

其中X_max为MR图像的最大值，X_min为MR图像的最小值，将四个模态的图像映射到同一个区间。

3.根据权利要求1所述的基于局部-全局自适应信息学习的脑肿瘤MR图像分割方法，其特征在于，步骤2中，小波变换方法如下：

其中，n和m分别为行下标和列下标；{h_k}_k∈Z满足小波尺度公式，

h、g是标准滤波器，

是h的共轭，c是低频系数，k是小波分解尺度。

4.根据权利要求1所述的基于局部-全局自适应信息学习的脑肿瘤MR图像分割方法，其特征在于，步骤3中，特征提取方法如下：

利用5×5大小的窗口遍历整张图像，分别从步骤2获得的低频子带中提取统计特征，从高频子带中提取纹理特征，将四个模态提取到的特征图进行融合；其中，

统计特征的具体方法包括：从窗口中计算均值、最大值、最小值、中值、方差、标准差、偏度、峰度作为特征向量；

纹理特征为从灰度共生矩阵提取特征，具体方法包括，将窗口在θ＝0°,45°,90°,135°中四个不同方向得到的统计量取对比度、相关性、能量、同质性、角二阶矩、方差、差异性、熵、自相关、共生和方差、共生和熵、共生差方差作为纹理特征。

5.根据权利要求1所述的基于局部-全局自适应信息学习的脑肿瘤MR图像分割方法，其特征在于，步骤4中，带有标签MR图像提取方法如下：

在每个病人序列图像中，抽取2-3张带有肿瘤的脑肿瘤MR图像进行人工标注，从中随机获取少量的肿瘤整体区域(t1)、肿瘤核心区域(t2)、增强肿瘤核心区域(t3)和正常区域(n)的索引，然后从步骤3中获得的特征图中获取对应索引的各类肿瘤的特征，从而获得带有标签MR图像的训练集。

6.根据权利要求1所述的基于局部-全局自适应信息学习的脑肿瘤MR图像分割方法，其特征在于，步骤5中，特征的选择方法如下：

构建随机森林，遍历每一个特征的每一个值，用该值将训练集分为两个集合，左集合为小于等于该值的样本，右集合为大于该值的样本，每一个集合称为一个节点，分别计算这两个节点的均方误差，找到使得左节点的均方误差和右节点的均方误差最小的值，记录下此时特征，作为最佳分割特征，均方误差计算如下式所示：

其中，MSE为均方误差，N为特征数量，i为训练集中每一个样本，f_i为每一个样本点的目标值，y_i为样本点i的平均值。

7.根据权利要求1所述的基于局部-全局自适应信息学习的脑肿瘤MR图像分割方法，其特征在于，步骤6具体实现如下：

a)根据步骤5得到的带有标签MR图像的训练集，在对相应序列中其他未标注的MR图像进行分割时，利用特征的选择方法，得到无标签的数据集；然后将两种数据集结合起来，假设样本集为

样本标签为L＝{1,...,c}，记有标签的数据为X_l(l＜m)，无标签的数据为X_u(m+1＜u≤n)；定义一个one-hot矩阵Y_nc来标记初始信息，如果样本x_i的标签为y_j，则Y_ij＝1，否则Y_ij＝0；且无标签的样本Y_ij为零向量；

利用高斯核函数构造一个相似性矩阵W矩，定义如下：

W_ij＝exp(-d(x_i,x_j)²/2σ²)w_i

其中，d(x_i,x_j)＝|x_i-x_j|+|y_i-y_j|，(x_i,x_j)和(x_j,y_j)为两个样本点特征矢量，d(i,j)

为两个样本点特征矢量之间的曼哈顿距离，σ为常数；

计算W的对角矩阵D，

即计算矩阵W的第i行之和；然后建立矩阵S＝D^{-1/ 2}WD^-1/2；初始化F(0)＝Y，利用迭代对无标注的样本进行标注并更新，迭代公式如下：

F(t+1)＝(1-exp(-ut))QF(t)+exp(-ut)Y

其中，其中exp(-ut)为指数衰减函数，u为衰减权重，t为迭代次数；为自适应调整初始标签对模型的影响，通过设置指数衰减函数，在迭代初期，为使模型保持良好的准确率，初始标签的权重较高；随着迭代次数的增加，模型趋于稳定，初始标签的权重也随之减小；F^*代表在迭代预定次数后收敛的结果，则x_i的标签为：

b)基于最终分割结果，定义并计算以下特征用于脑肿瘤MR图像分析，即：

肿瘤整体区域、肿瘤核心区域、增强肿瘤核心区域分别对应的整体肿瘤的总像素数、肿瘤核心的总像素数、增强肿瘤核心的总像素数。

Images