CN106780499A - 一种基于堆叠自动编码网络的多模态脑肿瘤图像分割方法 - Google Patents

Abstract

本发明是一种基于堆叠自动编码网络的多模态脑肿瘤图像分割方法。主要包括以下内容：首先对图像进行预处理，然后利用多模态成像原理，实现对非正常脑组织区域的多分类。医学图像分析是计算机辅助诊断中重要的一步，是结合医学影像、图像处理、数学建模、人工智能等多种学科的交叉领域。Mha是一种三维医学图像，能够准确描述大脑的解刨结构，主要应用于医学图像分析领域，对脑肿瘤诊断辅助治疗具有重要的意义。

Description

一种基于堆叠自动编码网络的多模态脑肿瘤图像分割方法

技术领域

本发明属于计算机医学图像处理领域，更为具体地讲，涉及一种基于堆叠自动编码网络的多模态脑肿瘤图像分割方法。

背景技术

计算机辅助诊断(Computer-aided Diagnosis，CAD)是指通过影像学、医学图像处理技术以及其他可能的生理、生化手段，结合计算机的分析计算，辅助影像科医师发现病灶，提高诊断的准确率。随着计算机技术以及人工神经元网络的快速发展，深度学习应用于医学图像分析。

医学图像分析是计算机辅助诊断中重要的一步，是结合医学影像、图像处理、数学建模、人工智能等多种学科的交叉领域。Mha是一种三维医学图像，能够准确描述大脑的解刨结构，主要应用于医学图像分析领域，对脑肿瘤诊断辅助治疗具有重要的意义。

医学图像分割是医学图像分析中的一个重要的研究方向，随着计算机技术的迅猛发展，如何实现更加准确的图像分割，从而为科学研究和临床治疗提供更加充分的科学依据，已经成为当前学术界以及医学界的研究热点。

深度学习在医学图像中的应用是研究学习中的一个新的应用领域，目的是能共建立、模拟人脑进行分析学习。深度学习能够模拟人脑的视觉机理从而自动学习到数据各个层次的抽象特征反映数据的本质特征。深度神经网络的研究从1986年Rumelhart提出自动编码器的概念，并将其用于高维复杂数据处，2006年，Hinton对原型自动编码器结构进行改进，进而产生了DAE。2007年，Benjio提出稀疏自动编码器的概念。2008年，Vincent提出降噪自动编码器。2009年，Benjio阐述利用堆叠自动编码器构建深度学习神经网络。堆叠降噪自编码机网络自此诞生，开始应用于科学研究和工业界各个领域。医学图像分割结果能够为放射科医学提供一个客观的计算机诊断结果，作为第二参考，对于提高放射科医学的诊断准确、减少漏诊起到了积极的作用。

发明内容

本发明是一种基于堆叠自动编码网络的多模态脑肿瘤图像分割方法。主要包括以下内容：首先对图像进行预处理，然后利用多模态成像原理，实现对非正常脑组织区域的多分类。

为较好的实现上述分割目的，需要对图像进行预处理，主要包括以下内容：将mha三维图像进行切片处理，将得到的二维图像进行预处理，提高病变区域和非病变区域的对比度，然后对图像进行归一化处理。

技术原理如图1所示，具体技术流程如下：

步骤一：将非正常脑组织成像数据mha进行切片，得到二维bmp图像。

步骤二：将得到的二维图像进行预处理，提高病变区域和非病变区域的对比度，然后对图像进行归一化处理。

步骤三：分别对flair,T1,T2,T1c图像中的点提取一个15×15的图像块，将图像块进行堆叠成为一个4×15×15的矩阵。将每个图像块的灰度转换为一个4×225维的向量，依次排列形成输入矩阵；。

步骤四：同时设立四个SAE深度学习网络。

步骤五：对每一个SAE深度学习网络，设定SAE深度学习网络的隐层节点数，将矩阵作为输入，进行预训练，获取最初的网络参数；

步骤六：在网络的顶部增加一个输出层，利用带标签的数据对网络参数进行微调得到最终的参数；

步骤七：使用得到的参数初始化一个新的分类网络，对需要测试的图像，为其提取同样大小的图像块，并形成同样的灰度矩阵，把这个灰度矩阵输入到分类网络中，得到最初的分类结果。

步骤八：分别从四个SAE网络中获取病变区域的分类，将结果映射到一个与原图大小相同的空白图像上面。

步骤九：使用连通分量的方法对图像进行后处理，限定分割图像的连通数。

步骤十：使用开运算和闭运算对分割后的图像边缘进行平滑处理。

附图说明

图1是本发明一种基于堆叠自动编码网络的多模态脑肿瘤图像分割方法的技术方案图。

图2是本发明的多模态的特征融合。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，可能淡化和忽略与本发明有关的已知功能和设计的内容介绍。

本发明一种基于堆叠自动编码网络的多模态脑肿瘤图像分割方法具有以下特点：本发明使用堆叠自动编码器网络实现对病人脑肿瘤区域的分割方法，对二维图像进行分块提取，具体实现步骤如下：

分别从flair、T1、T2、T1c图像上面提取15×15的图像块，然后将这些图像块堆叠成4×15×15的矩阵。然后得到一个4×225维的向量，一共得到N个二维向量。将这些二维向量按照从上到下的顺序进行排列，形成输入矩阵X。。

本发明提出的堆叠自动编码器网络实现对病人脑肿瘤区域的分割方法，其特征在于在四个深度学习网络进行病变区域的提取，具体实现步骤如下：

根据flair图片的成像原理，从网络1中提取水肿区域特征N₁，映射到一个空白图像上得到图像X，然后根据T1成像原理，从网络2中提取肿瘤增强部分特征N₂，映射到X上面，得到X1；然后根据T1C成像原理，从网络3中提取肿瘤部分特征N₃，映射到X1上面，得到X2；然后根据T2成像原理，从网络4中提取坏死部分特征N₄，映射到X2上面，得到X3；X3就是最后的分割结果。

x₃＝{x|(x∈N₁)∪(x₁∈N₂)∪(x₂∈N₃)∪(x₃∈N₄)}

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (3)

1.本发明是一种基于堆叠自动编码网络的多模态脑肿瘤图像分割方法。主要包括以下内容：首先对图像进行预处理，然后利用多模态成像原理，实现对非正常脑组织区域的多分类。

技术方案如下：

步骤一：将非正常脑组织成像数据mha进行切片，得到二维bmp图像。

步骤二：将得到的二维图像进行预处理，提高病变区域和非病变区域的对比度，然后对图像进行归一化处理。

步骤三：分别对flair,T1,T2,T1c图像中的点提取一个15×15的图像块，将图像块进行堆叠成为一个4×15×15的矩阵。将每个图像块的灰度转换为一个4×225维的向量，依次排列形成输入矩阵；。

步骤四：同时设立四个SAE(堆叠降噪自动编码器)网络。

步骤五：对每一个SAE深度学习网络，设定SAE深度学习网络的隐层节点数，将矩阵作为输入，进行预训练，获取最初的网络参数；

步骤六：在网络的顶部增加一个输出层，利用带标签的数据对网络参数进行微调得到最终的参数；

步骤七：使用得到的参数初始化一个新的分类网络，对需要测试的图像，为其提取同样大小的图像块，并形成同样的灰度矩阵，把这个灰度矩阵输入到分类网络中，得到最初的分类结果。

步骤八：分别从四个SAE网络中获取病变区域的分类，将结果映射到一个与原图大小相同的空白图像上面。

步骤九：使用连通分量的方法对图像进行后处理，限定分割图像的连通数。

步骤十：使用开运算和闭运算对分割后的图像边缘进行平滑处理。

2.根据权利要求1所述的堆叠自动编码器网络实现对病人脑肿瘤区域的分割方法，其特征在于所述步骤三中的所述，对二维图像进行分块提取，具体实现步骤如下：

分别从flair、T1、T2、T1c图像上面提取15×15的图像块，然后将这些图像块堆叠成4×15×15的矩阵。然后得到一个4×225维的向量，一共得到N个二维向量。将这些二维向量按照从上到下的顺序进行排列，形成输入矩阵X。

3.根据权利要求1所述的堆叠自动编码器网络实现对病人脑肿瘤区域的分割方法，其特征在于所述步骤八中的所述，四个深度学习网络进行病变区域的提取，具体实现步骤如下：

根据flair图片的成像原理，从网络1中提取水肿区域特征N₁，映射到一个空白图像上得到图像X，然后根据T1成像原理，从网络2中提取肿瘤增强部分特征N₂，映射到X上面，得到X1；然后根据T1C成像原理，从网络3中提取肿瘤部分特征N₃，映射到X1上面，得到X2；然后根据T2成像原理，从网络4中提取坏死部分特征N₄，映射到X2上面，得到X3；X3就是最后的分割结果。