CN112927235B - 基于多尺度超像素与核低秩表示的脑肿瘤图像分割方法 - Google Patents

Abstract

本发明提出了一种基于多尺度超像素与核低秩表示的脑肿瘤图像分割方法，输入多模态脑肿瘤核磁共振测试图像，获取各类别样本的训练数据集与相应的标签；对多模态脑肿瘤核磁共振测试图像进行预处理，并进行多模态融合；对T1‑c模态图像采用熵率分割方法进行多尺度超像素分割，获得多模态脑肿瘤融合数据的超像素分割；基于多尺度超像素构建超像素核；对核特征空间进行低秩表示建模，并基于所构建的超像素核利用交替方向乘子法求解模型，获得测试图像的表示系数矩阵；基于表示系数矩阵，计算各测试样本属于各个类别的残差，确定各测试样本的类别标签。本发明在脑肿瘤区域的分割精度上优于现有的一些分割方法。

Description

基于多尺度超像素与核低秩表示的脑肿瘤图像分割方法

技术领域

本发明涉及医学图像处理领域，具体涉及一种基于多尺度超像素与核低秩表示的多模态脑肿瘤核磁共振图像分割方法。

背景技术

从脑肿瘤患者的核磁共振图像中自动检测并分割出病变区域，可以为脑肿瘤的诊断与治疗提供重要的参考价值与有力保障。然而，大脑与其它人体器官相比，软组织数量更多，结构也更复杂，呈现出个体多样性；另一方面，核磁共振成像会受到磁场不均匀、局部体积效应、随机噪声等外界因素的干扰。因此，脑肿瘤核磁共振图像分割是一项复杂且具有挑战性的工作，相应的分割算法研究在医学图像分析领域既是热点也是难点。

发明内容

本发明的目的在于提出一种基于多尺度超像素与核低秩表示分类的脑肿瘤图像分割方法。

实现本发明目的的技术解决方案为：一种基于多尺度超像素与核低秩表示的脑肿瘤图像分割方法，包括以下步骤：

步骤1，输入多模态脑肿瘤核磁共振测试图像，获取各类别样本的训练数据集与相应的标签；

步骤2，对多模态脑肿瘤核磁共振测试图像进行预处理，包括配准和归一化，并进行多模态融合，获得多模态脑肿瘤融合数据；

步骤3，对T1-c模态图像采用熵率分割方法进行多尺度超像素分割，获得多模态脑肿瘤融合数据的超像素分割结果；

步骤4，基于步骤3所获的多尺度超像素构造超像素核；

步骤5，对核特征空间进行低秩表示建模，并基于步骤4所获的超像素核利用交替方向乘子法(ADMM)求解模型，获得测试图像的表示系数矩阵；

步骤6，基于步骤5所获的测试图像的表示系数矩阵，计算各测试样本属于各个类别的残差，确定各测试样本的类别标签。

进一步的，步骤4中，基于步骤3所获的多尺度超像素构造超像素核，具体方法为：

设X＝{x₁，x₂，L x_N}表示多模态脑肿瘤融合数据，x_i表示第i个测试样本，对应脑肿瘤图像中的第i个像素，{Ω_i ¹，Ω_i ²，L，Ω_i ^P}表示对X进行P次多尺度超像素分割后所有包含样本x_i的超像素，

对Ω_i中每一像素x_i ^l，设其被P个超像素Ω_i ¹,Ω_i ²,L,Ω_i ^P所包含的频数为n_i ^l，则在由样本x_i所生成的匀质区域Ω_i中，像素x_i ^l的权重为：

其中N_i为Ω_i中所含像素总数；设φ′：X→H为输入空间X到高维Hilbert空间H的映射，即φ′(x_i)为经高维映射后所获得的图像新特征，令

即φ(x_i)用于提取x_i所在核特征空间上的基于超像素的空间邻域信息，由此，x_i与x_j的超像素核定义为：

其中，κ(x_i ^l，x_j ^m)表示基本核函数，选用高斯RBF核，即

σ表示核尺度。

进一步的，步骤5中，对核特征空间进行低秩表示建模，并基于步骤4获得的超像素核求解模型，获得测试图像的表示系数矩阵，具体方法为：

步骤5.1，构建核特征空间的低秩表示模型：

其中，Φ(X)＝{φ(x₁)，φ(x₂)，L，φ(x_N)}，X＝{x₁,x₂，L x_N}表示脑肿瘤MR融合数据，x_i表示第i个测试样本，D＝[d₁,d₂,L，d_T]为由步骤1所选取的训练样本集构建的字典，A为系数矩阵，λ为调节因子；

步骤5.2，将模型中的高维映射替代为其内积形式可得等价模型：

其中，矩阵U的元素u_ij＝K_SP(d_i，x_j)，矩阵V的元素v_ij＝K_SP(d_i，d_j)，K_SP(.)为步骤4获得的超像素核；

步骤5.3，解耦该等价模型并引入Lagrange乘子得无约束优化问题：

其中，Y＝Y+μ(A-B)，μ为惩罚因子；

步骤5.4，采用交替方向乘子法(ADMM)求解该无约束优化问题，即得到测试图像的系数矩阵A，具体求解步骤为：

1)初始化：k＝0,A⁰＝B⁰＝0,Y⁰＝0,μ＝10^-6,μ^max＝10⁶,ρ＝1.1

2)计算矩阵U与V；

3)更新变量

其中，P(∑)Q^T为对A+Y/μ进行奇异值分解后所得结果，Θ为软阈值函数，B^k、P^k、μ^k、∑^k、Q^k分别表示第k次迭代中B、P、μ、∑、Q的值；

4)更新变量

其中，A^k、Y^k表示第k次迭代中A、Y的值；

5)更新变量Y^k+1＝Y^k+μ^k(A^k+1-B^k+1)；

6)更新

其中ρ≥1，0≤ε₁≤1；

7)根据公式

计算迭代终止条件，如果不满足则执行3)，并更新k＝k+1，其中ε₁、ε₂为判断阈值。

进一步的，步骤6中，基于步骤5所获的测试图像的表示系数矩阵，计算各测试样本属于各个类别的残差，确定各测试样本的类别标签，具体方法为：

步骤6.1，基于步骤6获得的测试图像的表示系数矩阵A的最优解A^*，计算测试样本x_i属于类c的残差

其中c＝{1，2,L C}为类标签，A^* _i表示A^*的第i列元素，δ_c(A^* _i)表示将A^* _i中不属于类c的所有元素置零；

步骤6.2，测试样本x_i的类别标签为：

一种基于多尺度超像素与核低秩表示的脑肿瘤图像分割系统，其特征在于，基于所述的方法进行基于多尺度超像素与核低秩表示的脑肿瘤图像分割。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的方法进行基于多尺度超像素与核低秩表示的脑肿瘤图像分割。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的方法进行基于多尺度超像素与核低秩表示的脑肿瘤图像分割。

本发明与现有技术相比，其显著优点体现为：(1)通过对脑肿瘤核磁共振融合图像的高维核特征空间进行低秩表示建模，将低秩表示对图像整体结构的相关约束与核特征空间的高维可分性相结合，提高了脑肿瘤图像的表示精度；(2)构建的多尺度超像素核可以将图像中的光谱和空间信息引入到核低秩表示分类中，不同尺度的超像素对分类的影响直接取决于其规模和位置，从而可以更精确描述不同尺寸和位置的脑组织与肿瘤结构。(3)与基于核的常用分类方法中常用的内核相比，设计多尺度超像素的内核将匀质区域中每个像素点的影响与中心像素点区分开，从而克服了单个超像素在构造匀质区域中的缺点。

附图说明

图1为本发明方法流程图；

图2为脑肿瘤T1-c图像的超像素分割结果图；

图3为标准分割结果与本发明方法的分割结果的对比图，(a)MICCAI BraTS提供的原始脑肿瘤测试图像，(b)是MICCAI BraTS提供的标准分割结果，(c)是本发明方法的分割结果，图中灰色区域表示脑肿瘤，高亮白色区域表示水肿。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本发明一种基于多尺度超像素与核低秩表示的脑肿瘤图像分割方法，包括以下步骤：

步骤1，输入多模态脑肿瘤核磁共振测试图像，获取各类别样本的训练数据集与相应的标签；

步骤2，对多模态脑肿瘤核磁共振测试图像进行预处理，包括配准和归一化，并进行多模态融合，获得多模态脑肿瘤融合数据；

步骤3，对T1-c模态的图像采用熵率分割方法进行多尺度超像素分割，获得多模态脑肿瘤融合数据的超像素分割结果；

步骤4，基于步骤3所获的多尺度超像素构造超像素核，具体方法为：

设X＝{x₁,x₂,L x_N}表示多模态脑肿瘤融合数据，x_i表示第i个测试样本，{Ω_i ¹,Ω_i ²,L,Ω_i ^P}表示对X进行P次多尺度超像素分割后所有包含样本x_i的超像素，

对Ω_i中每一像素x_i ^l，设其被P个超像素Ω_i ¹,Ω_i ²,L,Ω_i ^P所包含的频数为n_i ^l，则在由样本x_i所生成的匀质区域Ω_i中，像素x_i ^l的权重为：

其中N_i为Ω_i中所含像素总数；设φ′：X→H为输入空间X到高维Hilbert空间H的映射，即φ′(x_i)为经高维映射后所获得的图像新特征，令

即φ(x_i)用于提取x_i所在核特征空间上的基于超像素的空间邻域信息，由此，x_i与x_j的超像素核定义为：

其中，κ(x_i ^l,x_j ^m)表示基本核函数，选用高斯RBF核，即

σ表示核尺度。

步骤5，对核特征空间进行低秩表示建模，并基于步骤4所获的超像素核利用交替方向乘子法(ADMM)求解模型，获得测试图像的表示系数矩阵，具体方法为：

步骤5.1，构建核特征空间的低秩表示模型：

其中，Φ(X)＝{φ(x₁)，φ(x₂)，L，φ(x_N)}，X＝{x₁，x₂，L x_N}表示脑肿瘤MR融合数据，x_i表示第i个测试样本，D＝[d₁，d₂，L，d_T]为由步骤1所选取的训练样本集构建的字典，A为系数矩阵，λ为调节因子；

步骤5.2，将模型中的高维映射替代为其内积形式可得等价模型：

其中，矩阵U的元素u_ij＝K_SP(d_i，x_j)，矩阵V的元素v_ij＝K_SP(d_i,d_j)，K_SP(.)为步骤4获得的超像素核；

步骤5.3，解耦该等价模型并引入Lagrange乘子得无约束优化问题：

其中，Y＝Y+μ(A-B)，μ为惩罚因子；

步骤5.4，采用交替方向乘子法(ADMM)求解该无约束优化问题，即得到测试图像的系数矩阵A，具体求解步骤为：

1)初始化：k＝0，A⁰＝B⁰＝0，Y⁰＝0,μ＝10^-6，μ^max＝10⁶，ρ＝1.1

2)计算矩阵U与V；

3)更新变量

其中，P(∑)Q^T为对A+Y/μ进行奇异值分解后所得结果，Θ为软阈值函数，B^k、P^k、μ^k、∑^k、Q^k分别表示第k次迭代中B、P、μ、∑、Q的值；

4)更新变量

其中，A^k、Y^k表示第k次迭代中A、Y的值；

5)更新变量Y^k+1＝Y^k+μ^k(A^k+1-B^k+1)；

6)更新

其中ρ≥1，0≤ε₁≤1；

7)根据公式

计算迭代终止条件，如果不满足则执行3)，并更新k＝k+1，其中ε₁、ε₂为判断阈值。

步骤6，基于步骤5所获的测试图像的表示系数矩阵，计算各测试样本属于各个类别的残差，确定各测试样本的类别标签，具体方法为：

步骤6.1，基于步骤6获得的测试图像的表示系数矩阵A的最优解A^*，计算测试样本x_i属于类c的残差

其中c＝{1,2,L C}为类标签，A^* _i表示A^*的第i列元素，δ_c(A^* _i)表示将A^* _i中不属于类c的所有元素置零；

步骤6.2，测试样本x_i的类别标签为：

本发明还提出一种基于多尺度超像素与核低秩表示的脑肿瘤图像分割系统，基于所述的方法进行基于多尺度超像素与核低秩表示的脑肿瘤图像分割。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的方法进行基于多尺度超像素与核低秩表示的脑肿瘤图像分割。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的方法进行基于多尺度超像素与核低秩表示的脑肿瘤图像分割。

实施例

为了验证本发明方案的有效性，进行如下实验设计。

步骤1：采用来自MICCAI BraTS提供的数据集作为测试图像，该数据集提供不同脑肿瘤病例的包含T1、T2、FLAIR和T1-c四种模态的核磁共振图像，所有模态图像都已配准好。此外，还为每个病例提供了标准分割结果以对分割结果进行对比分析。结合标准分割结果，选取肿瘤、水肿和正常脑组织三个类别的训练样本。

步骤2：将四个模态图像中各样本灰度值堆叠形成四维向量并作为融合数据中各样本的输入特征向量。

步骤3：对T1-c图像采用熵率分割方法进行多尺度超像素分割，如图1所示，进而获得融合数据的超像素分割结果。

步骤4：基于步骤3所获的超像素构造超像素核。

步骤5：对核特征空间进行低秩表示建模，并基于步骤4获得的超像素核求解模型以获得测试图像的表示系数矩阵。

步骤6：基于步骤5获得的测试图像的表示系数矩阵的最优解A^*，计算测试样本x_i属于类c的残差，确定测试样本的类别标签。

本发明的分割结果与标准分割结果对比如图2所示，其中第一行为MICCAI BraTS提供的原始脑肿瘤图像，第二行为MICCAI BraTS提供的标准分割结果，第三行为本发明方法获得的分割结果，可以看出本发明方法所得的分割结果与标准分割结果较为接近。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (6)

1.一种基于多尺度超像素与核低秩表示的脑肿瘤图像分割方法，其特征在于，包括以下步骤：

步骤1，输入多模态脑肿瘤核磁共振测试图像，获取各类别样本的训练数据集与相应的标签；

步骤2，对多模态脑肿瘤核磁共振测试图像进行预处理，包括配准和归一化，并进行多模态融合，获得多模态脑肿瘤融合数据；

步骤3，对T1-c模态图像采用熵率分割方法进行多尺度超像素分割，获得多模态脑肿瘤融合数据的超像素分割结果；

步骤4，基于步骤3所获的多尺度超像素构造超像素核；

步骤5，对核特征空间进行低秩表示建模，并基于步骤4所获的超像素核利用交替方向乘子法求解模型，获得测试图像的表示系数矩阵；

步骤6，基于步骤5所获的测试图像的表示系数矩阵，计算各测试样本属于各个类别的残差，确定各测试样本的类别标签；

步骤5中，对核特征空间进行低秩表示建模，并基于步骤4获得的超像素核求解模型，获得测试图像的表示系数矩阵，具体方法为：

步骤5.1，构建核特征空间的低秩表示模型：

其中，Φ(X)＝{φ(x₁)，φ(x₂)，…，φ(x_N)}，X＝{x₁，x₂，…x_N}表示脑肿瘤MR融合数据，x_i表示第i个测试样本，D＝[d₁，d₂，…，d_T]为由步骤1所选取的训练样本集构建的字典，A为系数矩阵，λ为调节因子；

步骤5.2，将模型中的高维映射替代为其内积形式可得等价模型：

其中，矩阵U的元素u_ij＝K_SP(d_i，x_j)，矩阵V的元素v_ij＝K_SP(d_i，d_j)，K_SP(.)为步骤4获得的超像素核；

步骤5.3，解耦该等价模型并引入Lagrange乘子得无约束优化问题：

s.t.B＝A其中，Y＝Y+μ(A-B)，μ为惩罚因子；

步骤5.4，采用交替方向乘子法(ADMM)求解该无约束优化问题，获得测试图像的表示系数矩阵A，具体求解步骤为：

1)初始化：k＝0，A⁰＝B⁰＝0，Y⁰＝0，μ＝10^-6，μ^max＝10⁶，ρ＝1.1

2)计算矩阵U与V；

3)更新变量

其中，P(∑)Q^T为对A+Y/μ进行奇异值分解后所得结果，Θ为软阈值函数，B^k、P^k、μ^k、∑^k、Q^k分别表示第k次迭代中B、P、μ、∑、Q的值；

4)更新变量

其中，A^k、Y^k表示第k次迭代中A、Y的值；

5)更新变量Y^k+1＝Y^k+μ^k(A^k+1-B^k+1)；

6)更新

0≤ε₁≤1；

7)根据公式

计算迭代终止条件，如果不满足则执行3)，并更新k＝k+1，其中ε₁、ε₂为判断阈值。

2.根据权利要求1所述的基于多尺度超像素与核低秩表示的脑肿瘤图像分割方法，其特征在于，步骤4中，基于步骤3所获的多尺度超像素构造超像素核，具体方法为：

设X＝{x₁，x₂，…x_N}表示多模态脑肿瘤融合数据，x_i表示第i个测试样本，对应脑肿瘤图像中的第i个像素，{Ω_i ¹，Ω_i ²，…，Ω_i ^P}表示对X进行P次多尺度超像素分割后所有包含测试样本x_i的超像素，

对Ω_i中每一像素x_i ^l，设其被P个超像素Ω_i ¹，Ω_i ²，…，Ω_i ^P所包含的频数为n_i ^l，则在由测试样本x_i所生成的匀质区域Ω_i中，像素x_i ^l的权重为：

其中N_i为Ω_i中所含像素总数；设φ′：X→H为输入空间X到高维Hilbert空间H的映射，即φ′(x_i)为经高维映射后所获得的图像新特征，令

即φ(x_i)用于提取x_i所在核特征空间上的基于超像素的空间邻域信息，由此，x_i与x_j的超像素核定义为：

其中，κ(x_i ^l，x_j ^m)表示基本核函数，采用高斯RBF核，即

σ表示核尺度。

3.根据权利要求1所述的基于多尺度超像素与核低秩表示的脑肿瘤图像分割方法，其特征在于，步骤6中，基于步骤5所获的测试图像的表示系数矩阵，计算各测试样本属于各个类别的残差，确定测试样本的类别标签，具体方法为：

步骤6.1，基于步骤6获得的测试图像的表示系数矩阵A的最优解A^*，计算测试样本x_i属于类c的残差

其中c＝{1，2，…C}为类标签，A_* ⁱ表示A^*的第i列元素，δ_c(A^* _i)表示将A^* _i中不属于类c的所有元素置零；

步骤6.2，测试样本x_i的类别标签为：

4.一种基于多尺度超像素与核低秩表示的脑肿瘤图像分割系统，其特征在于，基于权利要求1-3任一项所述的方法进行基于多尺度超像素与核低秩表示的脑肿瘤图像分割。

5.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1-3任一项所述的方法进行基于多尺度超像素与核低秩表示的脑肿瘤图像分割。

6.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-3任一项所述的方法进行基于多尺度超像素与核低秩表示的脑肿瘤图像分割。

Images