CN112419247A - 基于机器学习的mr图像脑肿瘤检测方法和系统 - Google Patents

Abstract

本发明属于医学图像处理技术领域，具体为一种基于机器学习的MR图像脑肿瘤检测方法和系统。本发明中，首先对于每种模态数据，分别从横断面、冠状面和矢状面构建多个方向的灰度共生矩阵，以选取和计算更多空间关系特征；然后使用特征秩融合方式将三个方向特征有效结合，以去除冗余特征；最后将所选特征输入支持矢量机分类器进行训练；本发明考虑到不同模态图像所存在的冗余信息，使用秩融合筛选出最有区别性的特征，从而训练出鲁棒性和精确性极高的单发性转移瘤和胶质瘤分类器，有效弥补了临床现有不足，增强了医生的诊断能力。本发明方法鉴别诊断单发性转移瘤和胶质瘤的AUC值达到93.23%，能有效协助医生做出诊断。

Description

基于机器学习的MR图像脑肿瘤检测方法和系统

技术领域

本发明属于医学图像处理技术领域，具体涉及MR图像脑肿瘤检测方法和系统。

背景技术

机器学习是一种特殊的算法，能够让计算机自己在数据中学习从而进行预测。近年来，机器学习方法已在不同领域广泛表现出处理复杂数据模式识别的独特优势。相比于深度学习，机器学习的优势在于可明确指定用于训练模型的特征，这在临床需求中是非常重要的，因为医生需要知道该模型是根据图像的哪些特征做出的预测。

目前研究中，大部分使用灌注功能磁共振，比如动态磁敏感对比增强多模态MRI(Magnetic Resonance Imaging)(DSC-MRI)[1]、动态对比增强MRI(DCE-MRI)[2]以及rCBV等[3,4]；也有使用氢质子磁共振波谱成像(MRS)[5]协助诊断，可在临床上提升诊断率，但需要注射造影剂。在仅使用常规MR模态的研究中，传统机器学习[6]和深度学习[7-9]都在单一模态上进行实验，图像特征单一，分类准确度不高。

此外，目前这些研究几乎都是使用一个MR数据的某一层二维图像作为一个样本，忽略了肿瘤在横断面之间的空间位置信息，这或许是精度不高的原因之一。而且这样的模型在临床上难以直接使用，比如同一个患者MR数据的不同层被分类成不同的类别，这对临床医生的诊断将毫无意义。

本发明主要针对单发性脑转移瘤和胶质瘤的临床症状、体征及常规MR影像上形态极为相似，医生仅通过图像难以确诊肿瘤类型的问题，提出一种新的基于多模态MRI(MagneticResonance Imaging)秩融合灰度共生矩阵的高精度分类检测方法和系统，能有效协助医生做出诊断。

参考文献

[1]S.Wang et al.,"Differentiation between glioblastomas,solitarybrain metastases,and primary cerebral lymphomas using diffusion tensor anddynamic susceptibility contrast-enhanced MR imaging,"AJNR Am J Neuroradiol,vol.32,no.3,pp.507-514,Mar 2011.

[2]N.C.Swinburne et al.,"Machine learning for semi-automatedclassification of glioblastoma,brain metastasis and central nervous systemlymphoma using magnetic resonance advanced imaging,"Ann Transl Med,vol.7,no.11,p.232,Jun 2019.

[3]E.I.Zacharaki et al.,"Classification of brain tumor type and gradeusing MRI texture and shape in a machine learning scheme,"MagnReson Med,vol.62,no.6,pp.1609-1618,Dec 2009.

[4]E.I.Zacharaki et al.,"MRI-based classification of brain tumor typeand grade using SVM-RFE,"in 2009IEEE ISBI:From Nano to Macro,pp.1035-1038,June 2009.

[5]T.Isobe et al.,"Preliminary study for differential diagnosis ofintracranial tumors using in vivo quantitative proton MR spectroscopy withcorrection for T2relaxation time,"Radiography,vol.21,no.1,pp.42-46,2015.

[6]H.Mohsen et al,"Brain Tumor Type Classification Based on SupportVector Machine in Magnetic Resonance Images,"Annals of Dunarea de JosUniversity of Galati,vol.Fascicle II,Year IX,no.XL,2017.

[7]M.Sajjad et al,"Multi-grade brain tumor classification using deepCNN with extensive data augmentation,"Journal of Computational Science,vol.30,pp.174-182,2019.

[8]H.Mohsen et al,"Classification using deep learning neural networksfor brain tumors,"Future Computing and Informatics Journal,vol.3,no.1,pp.68-71,2018.

[9]P.Afshar,K.N.Plataniotis,and A.Mohammadi,"Capsule Networks forBrain Tumor Classification based on MRI Images and Course Tumor Boundaries,"in ICASSP 2019.pp.1368-1372.

[10]N.J.Tustison et al.,"N4ITK:improved N3bias correction,"IEEE TransMed Imaging,vol.29,no.6,pp.1310-1320,Jun 2010.

[11]S.M.Smith et al.,"Advances in functional and structural MR imageanalysis and implementation as FSL,"Neuroimage,vol.23,no.Suppl 1,pp.S208-S219,2004.

[12]F.T.Ulaby,F.Kouyate,B.Brisco,and T.H.L.Williams,"TexturalInfornation in SAR Images,"IEEE Transactions on Geoence and Remote Sensing,vol.24,no.2,pp.235-245,1986.

发明内容

本发明的目的在于解决单发性脑转移瘤和胶质瘤肿瘤的临床症状、体征及常规MR影像上形态极为相似，医生仅通过图像难以确诊的问题，提供一种基于机器学习的MR图像脑肿瘤检测方法和系统。

本发明提供的基于机器学习的MR图像脑肿瘤检测方法和系统，是基于临床常规多模态MR诊断影像(包括DWI、T1、T2和FLAIR)，针对单发性脑转移瘤和胶质瘤的高精度分类检测方法和系统。

本发明提供的基于机器学习的MR图像脑肿瘤检测方法，包括：首先，对于每种模态数据，分别从横断面、冠状面和矢状面构建多个方向的灰度共生矩阵，以选取和计算更多空间关系特征；然后，使用特征秩融合方式将三个方向特征有效结合，以去除冗余特征；最后，将所选特征输入支持矢量机分类器进行训练。由于本方法考虑了胶质瘤和单发性转移瘤的整体空间信息，并从不同方向选取最有表现力的特征描述；考虑到不同模态图像所存在的冗余信息，使用秩融合筛选出最有区别性的特征，从而训练出鲁棒性和精确性极高的单发性转移瘤和胶质瘤分类器，有效弥补了临床现有不足，增强了医生的诊断能力。本发明方法鉴别诊断单发性转移瘤和胶质瘤的AUC值达到93.23％，能有效协助医生做出诊断。

本发明提供的基于机器学习的MR图像脑肿瘤检测方法，整体架构如图1所示，与以往基于灰度共生矩阵的特征提取方法不同，本发明使用三维的提取方式，能够高效准确的提取出MR三维图像上的纹理特征。具体步骤为：

(一)图像预处理

胶质瘤和脑转移瘤磁共振影像数据均来自于GE 3T的磁共振成像系统。

本发明具体选取研究对象为88例脑肿瘤患者，其中单发性脑转移瘤45例(男：32例，女：13例，年龄57.1±10.2岁)，胶质瘤43例(男：25例，女：18例，年龄53.0±11.7岁)。所有患者均采集T1、T2、DWI、T2-FLAIR四个模态的MR影像。数据含有专家手工标注的肿瘤区域。

为了区分单发性转移瘤和胶质瘤，本发明对这些数据进行仔细的图像预处理；具体包括：

(1)使用ANTs-N4[10]对所有图像进行偏置场矫正；

(2)使用FSL-FLIRT[11]对每个患者的四个模态数据进行配准，即将T2，DWI，T2-FLAIR这三个模态数据均配准到T1上。由于是每个患者自身数据进行配准，仅使用刚体配准(DOF＝6)已能达到后续精度要求。

(3)使用FSL-BET[11]对每个患者的DWI数据进行颅骨等非脑组织去除(选取阈值为0.5)。同时获得每个患者的脑组织掩膜；用所获得的掩膜去除其余三个模态的非脑组织。

(4)对所有图像进行表观归一化处理，即将所有图像的灰度直方图匹配到第一个数据的灰度直方图分布上。

(5)将图像灰度级线性映射到[0,255]区间内。

(二)进行基于灰度共生矩阵的三维特征提取

之前大多数方法主要对于肿瘤区域进行比较典型的二维图像特征提取，而本发明则从多个模态综合了脑肿瘤在三维空间不同方向的纹理变化,即采用基于灰度共生矩阵的三维特征提取方式。具体的特征提取和计算过程参见图1所示，对于一个受试样本肿瘤区域四个模态(DWI、T1、T2、T2-FLAIR)的3D脑MR图像，从中提取和计算所得的192维特征；特征计算过程由以下几部分组成：

设3D体数据大小为M×N×H，在H层横断面、M层矢状面和N层冠状面上，分别计算每个2D图像的灰度共生矩阵P(i，j)，其中，参数：像素对距离d选取1，角度θ选取0°、45°、90°、135°。Ulaby等人[12]发现仅有四种特征是不相关的：对比度(Contrast表示为Con)、相关性(Correlation表示为Cor)、能量(Energy表示为Ene)和同质性(Homogeneity表示为Hom)，具体计算公式如下：

对比度：Con＝∑_i∑_j(i-j)²P(i，j), (1)

相关性：

能量：Ene＝∑_i∑_jP(i，j)², (3)

同质性：

其中：

μ_i＝∑_i∑_j i·P(i，j)， (5)

μ_j＝∑_i∑_j j·P(i，j)， (6)

因此，每个2D图像的对比度计算为[Con_0°，Con_45°，Con_90°，Con_135°]。以此类推，可以计算得到相关性、能量和同质性等特征。这样每个2D图像计算出来的特征F_slice为4×4＝16维，即：

沿着3D图像的横断面、矢状面、冠状面三个方向遍历整个图像，分别得到H层、M层、N层2D图像。在横断面的H层2D图像共计算出H个16维特征，取这H层的平均值作为整个横断面的特征：

以此类推，可以求得矢状面和冠状面特征，分别表示为：

每个模态的3D图像特征由横断面、矢状面、冠状面方向的特征组合而成，共得到16×3＝48维特征；即：

DWI模态的特征为：

T1模态的特征为：

T2模态的特征为：

T2-FLAIR模态的特征为：

每个患者的数据由四个模态组成。每个患者共4×48＝192维特征：

F_patient＝[F_DWI，F_T1，F_T2，F_FLAIR]； (16)

(三)特征秩融合

在特征提取后，使用Pearson相关系数观察不同模态、不同方向特征之间的相关性。如图2所示，不同模态(如DWI、T1、T2和T2-FLAIR)特征间的相关系数较低；对于同一模态(如DWI)，横断面、矢状面和冠状面之间特征的相关系数较低。这表明，本发明所建议的肿瘤多模态多方向特征表示方式是有效用的，它提供了肿瘤的丰富描述。

然而，由于特征维数较大，存在信息冗余。本发明对所有特征使用曼-惠特尼U检验来观察该特征是否在单发性脑转移瘤和胶质瘤上存在显著差异，将所有特征按p值从小到大排序，即差异显著程度从大到小排序。我们认为如果一个特征在两类脑肿瘤上差异非常显著，那么该特征是一个可以用来区分这两类脑肿瘤的有效特征。本发明中，我们可以选取前20个特征用于后续分类。

(四)评估模型即分类器的训练

之前的机器学习方法一般采用随机划分训练集、测试集的方法，并且在测试集上评估模型的效果。但由于在诊断脑肿瘤类型任务中，所采用的数据是临床采集获取的数据，如果仅仅随机取出一部分数据作为训练集，剩余部分用于测试，这样的模型效果极大依赖于选取数据集中哪一部分作为训练集。针对这个问题，本发明结合bagging和嵌套交叉验证的思想，提出了一种新的训练方式，具体过程如下：

如图3所示，在训练阶段，每次从整个数据集中随机选取一部分(如80％)作为该次的训练集，训练一个分类器，该分类器仅用于预测该次的20％测试集数据，即未在模型训练时选取的数据。重复若干次(如4-8次)后，直到全部数据都轮流做过训练集，得到若干个相互独立的分类器。数据x最后的分类结果Prob_x计算公式如下:

设数据集为X，对于任意的一个样本x，

其中，k_x为样本x在测试集中出现的次数,Loop_i表示第i轮训练与测试。本发明中，评估模型指标均由所有数据的Prob_x计算。在临床应用阶段，不用重新集成，将其作为外部测试集分别送入若干个分类器进行分类，最后结果由各分类器投票决定。

本发明中，所用的分类器有：逻辑回归、k最近邻、支持向量机(线性核、多项式核、RBF核)等多种机器学习经典分类器，使用上述方法挑选的图像特征训练机器学习分类器。

对应于上述方法，本发明还提供一种基于机器学习的MR图像脑肿瘤检测系统。该系统包括四个模块，分别为图像预处理模块、基于灰度共生矩阵的三维特征提取模块、特征秩融合模块、分类器训练模块；四个模块对应执行上述四个步骤的功能。

本发明的具有如下优点：

(1)仅使用常规模态MRI数据，相较于之前使用灌注成像的方法，可降低患者的时间成本和经济成本；

(2)提出一种新的特征提取方式，考虑了脑肿瘤在三维空间上和多模态上的信息，更符合肿瘤的真实情况；

(3)提出一种特征秩融合的方式，根据所有特征的秩和检验结果来挑选有效的分类特征；

(4)考虑到不同数据之间的差异，能够准确高效的通过多个分类器协同诊断，提高了实用性；

(5)诊断率非常高，可用于临床协助医生进行诊断。

附图说明

图1为发明方法的特征计算和提取框架图。

图2为不同模态之间Pearson相关系数图示。其中，(a)为不同模态(DWI、T1、T2、T2-FLAIR)和不同方向(横断面、矢状面、冠状面)特征(对比度、相关性、能量、同质性)之间的Pearson相关系数热图。(b)表明不同模态(如DWI和T1)之间的相关系数较低。(c)表明在同一模态下(如DWI)，横断面、矢状面和冠状面的相关系数较低。

图3为本发明模型评估方法图示。其中A，B，C∈X。

图4为不同分类器的ROC曲线。

图5为所有样本被分类为单发性脑转移瘤和胶质瘤的概率直方图。其中，单发性脑转移瘤作为负样本，概率为0；胶质瘤作为正样本，概率为1。

具体实施方式

按照发明方法中的步骤，首先对图像进行预处理，然后进行基于灰度共生矩阵的三维特征提取，其中参数：像素对距离d选取1，角度θ选取0°、45°、90°、135°。随后采用特征秩融合的方法，选取20维特征用于分类。对所有样本均提取出特征后，开始训练机器学习分类器。在每次循环中，对随机80％的训练集数据作5折交叉验证，用于选取模型超参数。

表1，说明在同样使用多模态特征秩融合的条件下，使用3D图像特征来分类单发性脑转移瘤和胶质瘤的精确率、召回率、F1分数和准确率分别达到了85.00％、86.58％、85.14％和85.05％，远远超过仅使用2D图像(通常是横断面)的分类效果。

表2，为在使用3D图像特征的条件下，多模态特征秩融合的分类结果。使用多模态特征秩融合的分类效果超过了使用任一模态的分类效果，使得分类器更加健壮，更加准确。

表3。为所有单发性脑转移瘤和胶质瘤样本的192维特征，曼-惠特尼U检验的P值表。本发明选取表中P值最小的前20个特征用于分类。

表1，线性SVM分类单发性脑转移瘤和胶质瘤的2D和3D特征对比(均值±标准差,单位:％)。

	Precision	Recall	F1Score	Accuracy
					2D	56.13±9.46	67.33±16.57	60.52±11.08	57.13±10.47
3D	85.00±9.92	86.58±11.92	85.14±8.58	85.05±8.33

表2，在最好的设置下，多模态特征融合和单模态特征结果对比(均值±标准差,单位:％)。

	Precision	Recall	F1Score	Accuracy
					DWI	82.05±10.37	81.40±13.27	80.90±9.04	81.09±8.55
T1	80.53±11.43	76.64±14.31	77.32±9.32	77.97±8.33
					T2	84.87±10.13	82.90±13.22	83.04±8.90	83.39±8.18
T2-FLAIR	79.69±10.56	84.04±13.91	80.85±9.08	80.42±8.65
					Multimodality	85.00±9.92	86.58±11.92	85.14±8.58	85.05±8.33

表3，两种脑肿瘤在各特征上的曼-惠特尼U检验的P值表。由表中可得出，矢状面和冠状面的层次融合特征P值也远小于横断面，从而更加容易分类。

Claims (3)

1.一种基于机器学习的MR图像脑肿瘤检测方法，是针对单发性脑转移瘤和胶质瘤，基于临床常规多模态MR诊断影像，包括DWI、T1、T2和FLAIR；其特征在于，具体步骤为：

(一)图像预处理

胶质瘤和脑转移瘤磁共振影像数据来自于GE 3T的磁共振成像系统；图像预处理包括：

(1)使用ANTs-N4对所有图像进行偏置场矫正；

(2)使用FSL-FLIRT对每个患者的四个模态数据进行配准，即将T2，DWI，T2-FLAIR这三个模态数据均配准到T1上；

(3)使用FSL-BET对每个患者的DWI数据进行颅骨等非脑组织去除；同时获得每个患者的脑组织掩膜；用所获得的掩膜去除其余三个模态的非脑组织；

(4)对所有图像进行表观归一化处理，即将所有图像的灰度直方图匹配到第一个数据的灰度直方图分布上；

(5)将图像灰度级线性映射到[0，255]区间内。

(二)进行基于灰度共生矩阵的三维特征提取

对于一个受试样本肿瘤区域四个模态：DWI、T1、T2、T2-FLAIR的3D脑MR图像，从中提取和计算所得的192维特征；特征计算过程由以下几部分组成：

设3D体数据大小为M×N×H，在H层横断面、M层矢状面和N层冠状面上，分别计算每个2D图像的灰度共生矩阵P(i，j)，其中，参数：像素对距离d选取1，角度θ选取0°、45°、90°、135°；计算四种不相关的特征：对比度(Con)、相关性(Cor)、能量(Ene)和同质性(Hom)，具体计算公式如下：

对比度：Con＝∑_i∑_j(i-j)²P(i，j)， (1)

相关性：

能量：Ene＝∑_i∑_jP(i，j)²， (3)

同质性：

其中：

μ_i＝∑_i∑_ji·P(i，j)， (5)

μ_j＝∑_i∑_jj·P(i，j)， (6)

于是，每个2D图像的对比度计算为[Con_0°，Con_45°，Con_90°，Con₁₃₅°]，以此类推，计算得到相关性、能量和同质性等特征；这样每个2D图像计算出来的特征F_slice为4×4＝16维，即：

沿着3D图像的横断面、矢状面、冠状面三个方向遍历整个图像，分别得到H层、M层、N层2D图像；在横断面的H层2D图像共计算出H个16维特征，取这H层的平均值作为整个横断面的特征：

以此类推，求得矢状面和冠状面特征，分别表示为：

每个模态的3D图像特征由横断面、矢状面、冠状面方向的特征组合而成，共得到16×3＝48维特征；即：

DWI模态的特征为：

T1模态的特征为：

T2模态的特征为：

T2-FLAIR模态的特征为：

每个患者的数据由四个模态组成；每个患者共4×48＝192维特征：

F_patient＝[F_DWI，F_T1，F_T2，F_FLAIR]； (16)

(三)特征秩融合

在特征提取后，使用Pearson相关系数观察不同模态、不同方向特征之间的相关性；

对所有特征使用曼-惠特尼U检验来观察该特征是否在单发性脑转移瘤和胶质瘤上存在显著差异，将所有特征按p值从小到大排序，即差异显著程度从大到小排序；如果一个特征在两类脑肿瘤上差异非常显著，那么该特征是一个可以用来区分这两类脑肿瘤的有效特征；选取前20个特征用于后续分类；

(四)分类器的训练

分类器的训练过程如下：

在训练阶段，每次从整个数据集中随机选取一部分作为该次的训练集，训练一个分类器，该分类器仅用于预测该次未在模型训练时选取的数据；重复若干次后，直到全部数据都轮流做过训练集，得到若干个相互独立的分类器；数据x最后的分类结果Prob_x计算公式如下：

设数据集为X，对于任意的一个样本x，

其中，k_x为样本x在测试集中出现的次数，Loop_i表示第i轮训练与测试；评估模型指标均由所有数据的Prob_x计算；

在临床应用阶段，不用重新集成，将其作为外部测试集分别送入若干个分类器进行分类，最后结果由各分类器投票决定。

2.根据权利要求1所述的基于机器学习的MR图像脑肿瘤检测方法，其特征在于，所用的分类器有：逻辑回归、k最近邻、支持向量机。

3.一种基于机器学习的MR图像脑肿瘤检测系统，其特征在于，包括四个模块，分别为图像预处理模块、基于灰度共生矩阵的三维特征提取模块、特征秩融合模块、分类器训练模块；四个模块对应执行如权利要求1所述的MR图像脑肿瘤检测方法的四个步骤的功能。

Images