CN103714536B - 基于稀疏表示的多模态磁共振图像的分割方法及装置 - Google Patents

Abstract

本发明涉及图像处理技术领域，具体涉及一种基于稀疏表示的多模态磁共振图像的分割方法及装置。本发明的分割方法采用基于稀疏表示的分类算法SRC（sparse representation based classification）；本发明的分割方法通过建立基于MAP‑MRF框架的图像分割模型对图像进行精确分割，利用马尔科夫随机场，充分考虑像素周围空间的相邻像素的影响，增加了图像分割的准确性，同时采用在线字典学习方法与图割的优化方法，提高了运行速度。

Description

基于稀疏表示的多模态磁共振图像的分割方法及装置

【技术领域】

本发明涉及图像处理技术领域，具体涉及一种基于稀疏表示的多模态磁共振图像的分割方法及装置。

【背景技术】

大脑肿瘤是一种非正常的组织增生，分为良性肿瘤与恶性肿瘤。由于其膨胀地浸润性生长，在颅内一旦占据一定的空间时，不论是良性还是恶性，都势必使颅内压升高，压迫脑组织，导致中枢神经损害，危及患者生命。

磁共振成像(MRI)技术具有较高的软组织分辨率、图像对比度高、对人体基本无伤害等优点，已广泛应用于大脑肿瘤的诊断领域。为了定量分析脑肿瘤的局部病变，医生需要对脑图像中的肿瘤进行分割，从而来了解病变的体积大小、位置、以及附近功能组织的分布。临床中，医生对各个脑切片图像进行边界的人工描绘，然后进行三维重构出肿瘤区域。由于人工方法工作量大、耗时耗力，且分割结果依赖于医生的结构知识和经验，所以主观差别大，分割结果难以再现。半自动分割方法提高了不同医生之间或同一医生在不同时间的分割差异，但是仍然取决于人工干预的变化程度，存在不稳定、不可靠、而且不可重复利用等问题。

为了提供相对客观的分割结果作为辅助参考,模式分类和图像处理的方法被广泛地研究应用。利用图像分割算法对脑肿瘤进行自动或半自动分割，不仅能大大减轻医生的工作负担，还可以提高肿瘤分割的精确性，鲁棒性和适用性，同时也提高可重建性与重复可利用性。因此，研究一种自动的大脑肿瘤分割算法在医学分析中具有重要的意义。

现有的肿瘤分割方法常采用基于机器学习的分类方法，主要分为有监督分类与无监督聚类。SVM（Support Vector Machine，支持向量机）是最常用的一种有监督分类方法，这种方法将训练样本向量映射到一个高维特征空间中并寻找最优分类面，将肿瘤组织与正常组织分开。对于二分类问题，SVM不仅执行速度快，而且可以获得很好的分割结果。但是，SVM容易过拟合，尤其对于多分类 问题，通常需要多次执行二分类步骤。KNN(k-NearestNeighbor，K近邻)和DF（Decision Forest，决策森林）虽然适合多分类问题，但是对噪声很敏感。无监督方法主要包括k-mean（K均值）和FCM（Fuzzy C-mean，模糊C均值）。由于MR成像设备获取的图像的不确定性或模糊性，造成不同个体组织之间难以找到清晰的边界，因此FCM是一种常用的方法。但是，由于肿瘤组织与正常组织在MR图像的灰度分布上有重叠，基于像素/体素的模糊聚类方法和统计方法依然很难区分它们。

由于肿瘤分割的复杂性，单一的方法很难获得较好的分割结果，因此，通常情况下是多种算法结合使用。例如，现有技术中有将EM（Expectation Maximization，期望最大）算法用于GMM（Gaussian Mixture Model)）中，将T₁图像的每个体素分配到概率最高的组织中去。现有技术中还有结合马尔科夫随机场（markov random fields,MRF）与模糊理论，提到模糊马尔科夫聚类法，使图像被分割为各向同性且空域相连的区域。但是由于只是用单一模态T₁的加权像，这两种方法分割精度并不高。

稀疏表示是一种最新的机器学习方法，该方法能将图像近似地表示为一系列稀疏原子的线性组合。目前，稀疏表示已经成功地应用在各种视觉任务，例如MR图像重建、人脸识别、图像去噪、图像超分辨率、图像分类、以及图像分割。与传统的子空间学习模型相比，稀疏表示对含野点与稀疏噪声的数据更加鲁棒。其中，基于稀疏表示的分类算法SRC（sparse representation based classification）是最为流行的一种稀疏分类方法。该算法以及它的改进模型已经被广泛地应用于人脸识别、计算机辅助的癌症诊断、以及MR大脑图像的分割。但是，这些基于SRC模型的缺点是对每个孤立的像素进行分类，而未考虑其周围相邻空间像素的影响，这使得分割结果出现很多碎片，大大降低了分割正确率。而且，由于对每个像素所在小块形成的向量进行逐一稀疏编码，这使得运行速度非常慢。

【发明内容】

本发明的目的在于提供一种基于稀疏表示的多模态磁共振图像的分割方法，解决现有技术中分割正确率不高，且运行速度慢的技术问题。

本发明的目的可通过以下的技术措施来实现：

一种基于稀疏表示的多模态磁共振图像的分割方法，所述方法包括如下步骤：

步骤1：将患者不同成像模态的磁共振图像进行配准；

步骤2：分别针对肿瘤T、水肿E和背景B提取训练样本，对每个类别的训练样本进行字典训练；

步骤3：最大似然估计,利用所述字典对所述训练样本进行稀疏编码，获得每个训练样本的稀疏编码系数；

步骤4：建立基于MAP-MRF框架的图像分割模型，对图像进行精确分割。

优选地，所述步骤2中的提取训练样本的具体步骤如下：

分别构造肿瘤T、水肿E和背景B训练样本集，并将三类训练样本的输入分别表示为矩阵 其中，X_Ti、X_Ei、X_Bi分别表示对肿瘤T、水肿E和背景B中随机提取的第i个大小为n×n的图像块， 均表示实数域内n²×m₂、n²×m₃、n²×m₁的矩阵，m₂、m₃和m₁分别为肿瘤、水肿和背景图像块的样本数量。

优选地，在构造肿瘤、水肿和背景训练样本集之后还包括如下步骤：

分别将肿瘤T、水肿E和背景B训练样本集，并将三类训练样本的输入分别表示为矩阵: 并进行列向量归一化处理。

优选地，所述步骤2中的字典训练是采用在线学习方法来进行。

优选地，所述步骤3中采用LARS-Lasso方法。

优选地，所述步骤3的具体步骤如下：

输入测试样本数据和步骤2中所得的肿瘤字典D_T、水肿字典D_E和背景字典D_B，其中，N表示图像块的样本数量；

对X的列向量进行归一化处理，使处理后的X具有单位l₂范数的列向量；

设置一个联合字典D＝[D_B,D_T,D_E]，对D的列向量进行归一化处理，使处理后的D具有单位l₂范数的列向量；

当1≤i≤N时，对每个测试样本x_i在联合字典D上进行稀疏编码，采用LARS-Lasso方法求稀疏编码系数：

将所有的组成一个稀疏矩阵

输出其中,k＝B,T,E。

优选地，所述步骤4中建立基于MAP-MRF框架的图像分割模型具体包括如下步骤：

步骤a：MRF的先验概率与总的相邻像素的集团势函数成正比，所述先验概率表示为

其中，V为多模态图像的所有像素的集合，c_i和c_j分别为像素i和像素j的类别，N(j)是像素i的4邻域像素集合，为势函数，势函数定义了平滑项，c>0为平滑因子，I_i和I_j是像素_i和像素j的强度，Δ(i,j)=|I_i-I_j|表示像素i和像素j之间的强度差，参数σ>0控制Δ曲线的变化程度，(1-δ(c_i,c_j))为惩罚项；

步骤b：在给定类C条件下的样本概率密度P(X|C)表示为

步骤c：根据贝叶斯公式得到

其中，

X＝[x₁,x₂,...,x_N]∈R^4n×N,C＝{c_i|i},i＝1,2,...,N；

结合所述步骤a的P(C)，及所述步骤b的P(X|C)，得到

对上式两边求对数得到其中，设表示数据项，k＝B,T,E， 表示平滑项，其中c_i是x_i的类别，与使达到最小值的D_k的类别相同，能量函数表示为

得到

优选地，所述的多模态磁共振图像包括T₁加权图像、T₂加权图像、T_1c增强图像和Flair图像。

本发明另一方面还提供了一种基于稀疏表示的多模态磁共振图像的分割装置，包括：

用于将患者不同成像模态的磁共振图像进行配准的配准模块；

用于分别针对肿瘤T、水肿E和背景B提取训练样本、并对每个类别的训练样本进行字典训练的字典训练模块；

用于通过最大似然参数估计，将所述字典对所述训练样本进行稀疏编码，获得每个训练样本的稀疏编码系数的稀疏编码模块；

用于建立基于MAP-MRF框架的图像分割模型，对图像进行精确分割的图像分割模块。

与现有技术相对，本发明的有益效果在于，本发明的分割方法采用基于稀疏表示的分类算法SRC（sparse representation based classification）；本发明的分割方法通过建立基于MAP-MRF框架的图像分割模型对图像进行精确分割，利用马尔科夫随机场，充分考虑像素周围空间的相邻像素的影响，增加了图像分割的准确性，同时采用在线字典学习方法与图割优化方法提高了运行速度。

【附图说明】

图1是本发明实施例1的基于稀疏表示的多模态磁共振图像的分割方法的流程图；

图2是本发明实施例2的基于稀疏表示的多模态磁共振图像的分割装置的结构示意图。

【具体实施方式】

为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例1

本发明实施例1提供了一种基于稀疏表示的多模态磁共振图像的分割方法，如图1所示，该方法包括：

步骤S101：将患者不同成像模态的磁共振图像进行配准；

步骤S102：在配准的多模态图像中分别提取肿瘤T、水肿E和背景B训练样本，并对每个类别的训练样本进行字典训练；

步骤S103：最大似然估，利用所述字典对测试样本进行稀疏编码，获得每个测试样本的稀疏编码系数；

步骤S104：建立基于MAP-MRF框架的图像分割模型，并用图割的方法对图像进行精确分割。

在步骤S101中，多模态磁共振图像包括T₁加权图像、T₂加权图像、T_1c增强图像和Flair图像；将每个患者所对应的多模态MR图像（主要包括T₁加权图像、T₂加权图像、T_1c增强图像和Flair图像）之间进行配准，用来表示每套配准好的多模态MR图像。采用多模态图像能够结合多种成像模态的结构解剖信息，提供更多的诊断信息，从而更有效地区分肿瘤组织与水肿组织。

在步骤S102中，首先，对配准好的多模态图像分别提取肿瘤T、水肿E和背景B训练样本集，并构造三类训练样本矩阵 其中，X_Ti、X_Ei、X_Bi分别表示对肿瘤T、水肿E和背景B中随机提取的第i个大小为n×n的图像块， 均表示实数域内n²×m₂、n²×m₃、n²×m₁的矩阵，m₂、m₃和m₁分别为肿瘤、水肿和背景图像块的样本数量；其次，分别将肿瘤T、水肿E和背景B训练样本矩阵 进行列向量归一化处理；再次，对归一化后的肿瘤T训练样本集、水肿E训练样本集和背景B训练样本集采用在线学习方法来进行字典训练，分别得到三类字典D_B,D_T,D_E；最后，输出字典D_B,D_T,D_E。

在本实施例中，多模态图像将被转换为一个矩阵X。首先用n×n大小的图像块窗口，通过每次滑动一个像素，将这个切片对应的四个模态的图像分成N个n×n的小图像块，并将每个小块表示成向量，再将每个小块对应的四个模态的向量联接起来，形成一个4n²长度的向量，最后将该切片中所有小块对应的向量组成一个矩阵这里N是指该切片的所有像素的总数目。

假定参数K为字典的大小；参数λ为l₁正则化项的系数。

本步骤中的字典训练并不限于在线学习法，还可以采用稀疏非负矩阵分解或离线学习法。

本步骤中，每个图像块表示成列向量，则每个图像块所表示的向量为这里 和分别表示该图像块所对应的T₁加权像、T₂加权像、T_1C增强像、以及Flair像模态下的图像块所表示成的向量。

在步骤S103中，在给定输入样本的类（Class）的条件下，其先验概率表示为P(C)，则该指定类C的样本的概率密度函数表示为P(X|C)。

根据贝叶斯公式得到

其中，X＝[x₁,x₂,...,x_N]∈R^4n×N

为输入的测试样本构造的矩阵,C＝{c_i|i},i＝1,2,...,N为样本的类标签c_i的集合，C也称为类标签的配置；这里x_i为n×n窗口滑动一个像素的小块形成的向量。

假定这些重叠的块之间互相独立，那么这些像素与其对应的向量强度服从独立同分布；对于图像块的每个向量x_i，构造一个模型m_i，其参数为{D_k,α_i,k}，其中k＝B,T,E，对于每个固定的类别c_i∈{B,T,E}，其对应的字典的类别为D_k∈{D_B,D_T,D_E}也已经被固定了，因此，ML估计可以表示为：

其中N是向量x_i总数目，也就是每个切片中分成的图像小块的总数目，上述切片图像在分成小块前，需要首先在输入图像上下左右往外对称扩展(n-1)/2个像素。假定P(x_i|α_i,k,D_k)服从高斯分布，P(α_i,k)服从拉普拉斯分布，则 相应地，P(x_i,α_i,k|D_k)被定义为

其中D_k(k＝B,T,E)是给定的字典，该字典是在前面字典学习阶段被训练出来的，D_kα_i,k是x_i在字典D_k上的稀疏表示，α_i,k是对应的稀疏系数向量。因此，（2）式中的ML估计可重新写为

其中，

对（4）式两边取对数，则得到

因此，P(X|C)的ML估计被转换成（6）式中的最小优化问题，其中是x_i在给定的D_k上稀疏表示的代价函数，它惩罚了重建误差与向量x_i的稀疏分解的复杂度，在这里被称为数据惩罚函数。结合（5）与（6），稀疏系数的最小l₁优化函数可写为

求解（7）式是一个稀疏编码的过程，步骤如下：

首先，输入测试样本数据和步骤S102中所得的肿瘤字典D_T、水肿字典D_E和背景字典D_B，其中，N表示图像块的样本数量；

其次，对X的列向量进行归一化处理，使处理后的X矩阵的每个列向量具有单位l₂范数；

再次，设置一个联合字典D＝[D_B,D_T,D_E]，对D的列向量进行归一化处理，使处理后D的每个列具有单位l₂范数；

当1≤i≤N时，对每个测试样本x_i在联合字典D上进行稀疏编码，采用LARS-Lasso方法求稀疏编码系数：

最后，将所有的组成一个稀疏矩阵

输出其中,k＝B,T,E。

在步骤S104中，建立基于MAP-MRF框架的图像分割模型具体包括如下步骤：

步骤a：MRF的先验概率与总的相邻像素的集团势函数成正比，因此其先验概率表示为

其中，V为多模态图像的所有像素的集合，c_i和c_j分别为像素i和像素j的类别，N(j)是像素i的4邻域像素集合；

式（9）为势函数，该势函数定义了平滑项，c＞0为平滑因子，I_i和I_j是像素i和像素j的强度，Δ(i,j)＝|I_i-I_j|表示像素i和像素j之间的强度差，参数σ＞0控制Δ曲线的变化程度，(1-δ(c_i,c_j))为惩罚项；V_i,j(c_i,c_j)描述了观测经常是正相关的一种先验，因此它们的类别和强度通常相似，如果c_i≠c_j，就在它们之间加入惩罚项；如果两个相邻像素之间产生一个大的Δ，那么就强加一个很大的似然，从而两个相邻像素被分割成两个区域。

步骤b：结合（2）、（4）和（5）式，最大似然函数P(X|C)等价于如下表示，即，在给定类C条件下的样本概率密度P(X|C)表示为

步骤c：根据贝叶斯公式得到

其中，

X＝[x₁,x₂,...,x_N]∈R^4n×N,C＝{c_i|i},i＝1,2,...,N；

结合所述步骤a的P(C)，及所述步骤b的P(X|C)，得到

对上式两边求对数得到其中，设表示数据项，k＝B,T,E，表示平滑项，其中c_i是x_i的类别，与使达到最小值的D_k的类别相同，能量函数表示为

得到

步骤d：用graph cuts算法求解上式中的最小能量优化问题，再对图像进行精确分割。

本实施例的分割方法采用基于稀疏表示的分类算法SRC；本实施例的分割方法通过建立基于MAP-MRF框架的图像分割模型对图像进行精确分割，利用马尔科夫随机场，充分考虑像素周围空间的相邻像素的影响，增加了图像分割的准确性，同时采用在线字典学习方法与图割优化方法，提高了运行速度。

实施例2

本发明实施例2提供了一种基于稀疏表示的多模态磁共振图像的分割装置，根据实施例1中的基于稀疏表示的多模态磁共振图像的分割方法，对多模态图像进行分割，如图2所示，该装置包括：配准模块100、字典训练模块200、稀疏编码模块300和图像分割模块400。

其中，配准分类模块100用于将患者不同成像模态的磁共振图像进行配准；字典训练模块200用于分别针对肿瘤T、水肿E和背景B提取训练样本、并对每个类别的训练样本进行字典训练；稀疏编码模块300用于将所述字典对所述训练样本进行稀疏编码，获得每个训练样本的稀疏编码系数；图像分割模块400用于建立基于MAP-MRF框架的图像分割模型，对图像进行精确分割。

以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (4)

1.一种基于稀疏表示的多模态磁共振图像的分割方法，其特征在于，所述方法包括如下步骤：

步骤1：将患者不同成像模态的磁共振图像进行配准；

步骤2：分别针对肿瘤T、水肿E和背景B提取训练样本，对每个类别的训练样本进行字典训练；所述步骤2中的提取训练样本的具体步骤如下：

分别构造肿瘤T、水肿E和背景B训练样本集， 其中，X_Ti、X_Ei、X_Bi分别表示对肿瘤T、水肿E和背景B中随机提取的第i个大小为n×n的图像块，均表示实数域内n²×m₂、n²×m₃、n²×m₁的矩阵，m₂、m₃和m₁分别为肿瘤、水肿和背景图像块的样本数量；在构造肿瘤、水肿和背景训练样本集之后还包括如下步骤：

分别对肿瘤T、水肿E和背景B提取训练样本，并对每个类别的训练样本进行样本训练，并将三类训练样本的输入分别表示为矩阵:

并进行列向量归一化处理；

步骤3：最大似然估计,利用所述字典对输入的测试样本进行稀疏编码，获得每个测试样本的稀疏编码系数；

步骤4：建立基于MAP-MRF框架的图像分割模型，对图像进行精确分割；所述步骤4中建立基于MAP-MRF框架的图像分割模型具体包括如下步骤：

步骤a：MRF的先验概率与总的相邻像素的集团势函数成正比，所述先验概率表示为

$P\left(C\right)\∝\exp (-\underset{i\∈V}{\Σ}\underset{j\∈N\left(j\right)}{\Σ}{V}_{i,j}(c_i,c_j\left)\right),$

其中，V为多模态图像的所有像素的集合，c_i和c_j分别为像素i和像素j的类别，N(j)是像素i的4邻域像素集合，为势函数，势函数定义了平滑项，c＞0为平滑因子，I_i和I_j是像素i和像素j的强度，Δ(i,j)＝|I_i-I_j|表示像素i和像素j之间的强度差，参数σ＞0控制Δ(i,j)曲线的变化程度，(1-δ(c_i,c_j))为惩罚项；

步骤b：在给定类C条件下的样本概率密度P(X|C)表示为

步骤c：根据贝叶斯公式得到

$\arg \underset{C}{min}P\left(C\right|X)=\arg \underset{C}{min}P\left(X\right|C)P\left(C\right)/P\left(X\right)\∝\arg \underset{C}{min}P\left(X\right|C)P\left(C\right),$

其中，N为每个切片中分成的图像小块的总数目；D_k是给定的字典，其中,k＝B,T,E，D_kα_i,k是x_i在字典D_k上的稀疏表示，α_i,k是对应的稀疏系数向量；x_i为第i个大小为n×n窗口滑动一个像素的小块形成的向量；

X＝[x₁,x₂,...,x_N]∈R^4n×N,R^4n×N表示输入的测试样本构造的实数域内4n×N的矩阵；C＝{c_i|i},i＝1,2,...,N；

结合所述步骤a的P(C)，及所述步骤b的P(X|C)，得到

对上式两边求对数得到其中，设表示数据项， 表示平滑项，其中c_i是x_i的类别，与使达到最小值的D_k的类别相同，能量函数表示为

得到

步骤d，用graph cuts算法求解上式中的最小能量优化问题，再对图像进行精确分割。

2.根据权利要求1所述的基于稀疏表示的多模态磁共振图像的分割方法，其特征在于，所述步骤2中的字典训练是采用在线学习方法来进行。

3.根据权利要求1所述的基于稀疏表示的多模态磁共振图像的分割方法，其特征在于，所述步骤3的具体步骤如下：

输入测试样本数据和步骤2中所得的肿瘤字典D_T、水肿字典D_E和背景字典D_B，其中，N表示图像块的样本数量；

具体地，首先用n×n大小的图像块窗口，通过每次滑动一个像素，将这个切片对应的四个模态的图像分成N个n×n的小图像块，并将每个小块表示成向量，再将每个小块对应的四个模态的向量联接起来，形成一个4n²长度的向量，最后将该切片中所有小块对应的向量组成一个矩阵这里N是指该切片的所有像素的总数目；

对X的列向量进行归一化处理，使处理后的X具有单位l₂范数的列向量；

设置一个联合字典D＝[D_B,D_T,D_E]，对D的列向量进行归一化处理，使处理后的D具有单位l₂范数的列向量；

当1≤i≤N时，对每个测试样本x_i在联合字典D上进行稀疏编码，采用LARS-Lasso方法求稀疏编码系数：

其中，α＝[α_i,B,α_i,T,α_i,E]^T；α_i,k是对应的稀疏系数向量；

将所有的组成一个稀疏矩阵

输出其中,k＝B,T,E。

4.根据权利要求1-3任一项所述的基于稀疏表示的多模态磁共振图像的分割方法，其特征在于，所述的多模态磁共振图像包括T₁加权图像、T₂加权图像、T_1c增强图像和Flair图像。