CN106296699A - 基于深度神经网络和多模态mri图像的脑肿瘤分割方法 - Google Patents

Abstract

本发明公开了一种基于深度学习和多模态MRI图像的脑肿瘤分割方法。该方法包括：构造深度神经网络，包含2个3层的卷积层和1个3层全连接及1个分类层深度卷积神经网络，输入层对应着多模态MRI图像，输出层每个节点对应一个肿瘤类别标签；MRI图像预处理；训练网络模型；测试模型，采用训练过程中的MRI图像序列中的图像块及其均值和标准差来归一化待分割肿瘤图像序列，并将归一化后的图像序列输入到具有优化网络连接权重的深度神经网络，得到分类层的节点值，据此得到待分割的脑肿瘤图像的肿瘤类别。本方法利用深度神经网络来挖掘和提取多模态MRI图像中的肿瘤抽象拓扑特征信息，在多模态MRI图像的脑肿瘤分割中可以保证较高的分割准确率和分割精度。

Description

基于深度神经网络和多模态MRI图像的脑肿瘤分割方法

技术领域

本发明涉及医学图像分割和模式识别与机器学习领域，特别涉及基于深度神经网络和多模态MRI图像的脑肿瘤分割方法。

背景技术

在图像处理技术和模式识别于机器学习理论和方法蓬勃发展的今天，医学图像处理作为关系人类生活最密切的领域之一，跟随人工智能的脚步越来越受到人们关注。关于脑肿瘤的医学图像分割作为图像分割领域的一个重要分支，在肿瘤的计算机辅助诊断中具有重要意义，特别是对三维可视化、组织定量分析和制定手术计划等尤为重要。随着MRI(Magnetic Resonance Imaging)成像技术的发展，对单个病人获得相应的多模态MRI图像已经成为一种诊断趋势，这也为发展一种基于多模态MRI图像的肿瘤分割方法提供必要前提。

多模态MRI图像，就是利用在MRI成像过程中利用不同的脉冲序列生成一系列不用的MRI图像，比如：Flair、T1、T1c和T2等模态。以Flair和T2序列为例：肿瘤在这两种MRI图像的都呈现亮的高信号，由于细胞自身病变的原因使得结合水含量急剧上升，原本组织的中的自由水成分转换成结合水，而结合水在Flair和T2模态的MRI中以亮信号显现，自由水以暗信号显现，所以这两种模态中的MRI图像里亮信号的区域就基本描述的病变组织区域。

近年来，医学图像处理的顶级会议之一的MICCAI连续多次举行了相关的肿瘤分割竞赛，为推动脑肿瘤分割技术的发展产生极大影响。基于MRI图像的脑肿瘤分割方法主要分为人工手动分割、半自动分割和自动分割三种。随着人工智能技术的引入，传统的肿瘤分割方法开始发生了根本性的变化：从基于阈值或者模板的方式发展成为基于学习的方式。深度神经网络的引入，又为这一关键领域，增添了时代的智能气息。

发明内容

本发明的目的是提供一种基于深度学习和多模MRI图像的脑肿瘤分割方法，解决现有技术中肿瘤图像分割过于粗糙、具有冗余图像信息等技术问题。

根据本发明，基于深度神经网络和多模态MRI图像的脑肿瘤分割方法，包括步骤：

步骤1、设置2个3层的卷积层和1个3层全连接及1个分类层，输入层对应着多模态MRI图像且输出层每个节点对应一个肿瘤类别标签，构造出深度神经网络；

步骤2、采集包含脑肿瘤的多模态MRI图像，对多模态MRI图像进行对比度提升操作和灰度值归一化操作，提取出多模态MRI图像序列，在提取的多模态MRI图像序列中采样肿瘤图像块，对肿瘤图像块进行灰度值归一化，获得归一化后的肿瘤图像块，从而完成多模态MRI图像预处理；

步骤3、将脑肿瘤分割任务作为基于多模态MRI图像多特征的多分类问题，利用归一化后的肿瘤图像块作为训练样本并将其输入至深度神经网络，再采用无监督的逐步逐层训练方法提取脑肿瘤特征，并利用反向传播算法和随机梯度下降算法有监督地最小化损失函数，从而获得优化网络连接权重的深度神经网络；

步骤4、利用深度神经网络训练过程中的肿瘤图像块及其均值和标准差，将待分割肿瘤图像块所属多模态MRI图像序列进行归一化，并将归一化后的多模态MRI图像序列输入到具有优化网络连接权重的深度神经网络，得到分类层的节点值，根据节点值，分割出脑肿瘤图像及脑肿瘤内部结构图像。

上述方法中，步骤1中构建的深度网络模型，以多模态多通道的MRI图像作为数据输入，以2个阶层6层的卷积网络结合3层的全连接层提取肿瘤的抽象特征映射的网络结构。

上述方法中，步骤2中对多模态MRI图像进行对比度提升和灰度归一化操作：

$f(x,y)=\frac{GW-BW}{L_{max}-L_{min}}\left(\mathrm{\α}L\right(x,y)+\mathrm{\β}-L_{min})+BW$

其中：L(x,y)是MRI图像的原始直方图，L_max和L_min是它的最大和最小灰度级，α>0是对比度提升的增益参数，β是对比度提升的偏移参数，f(x,y)是对比度提升和归一化之后的图像的直方图，GW和BW是归一化之后图像的直方图的最大和最小灰度级。

上述方法中，步骤3中训练深度神经网络使用的损失函数：

loss(w,b)＝mean(-ln(p(Y＝y|x,w,b)))+λ₁||w||₁+λ₂||w||²

其中，mean(-ln(p(Y＝y|x,w,b)))是负的平均softmax似然概率，λ₁||w||₁+λ₂||w||²是正则项，λ₁、λ₂是相应的正则系数。

上述方法中，步骤4中分通道逐模态对输入的测试模型的多模态MRI图像块进行地归一化的预处理操作，在训练深度神经网络模型的过程中分别计算多通道的MRI图像块的均值和标准差，然后利用相应输入通道训练过程中的多模态MRI图像块的均值和方差归一化要输入到测试模型的多模态MRI图像块。

与现有技术相比，本发明有益效果：

为了充分发掘MRI图像中的脑肿瘤信息，本发明在传统使用单一模态的MRI图像进行肿瘤图像分割的基础上，引入多模态MRI图像信息，构建多模态多通道的MRI图像数据输入，通过对肿瘤信息的建模学习，本发明构建的深度神经网络可以实现对肿瘤及内部结构的比较精确地分割；提升了肿瘤和正常组织的可分辨性；在卷积输出层之后采用最大值池化操作消除可能的冗余特征，在消除冗余特征的基础上利用全连接层获取进一步的特征抽象。

附图说明

图1是本发明中基于深度神经网络和多模态MRI图像的脑肿瘤分割方法的基本流程图；

图2是本发明所构建的基本深度神经网络模型结构图；

图3是本发明中深度神经网络的训练和测试基本流程；

图4是本发明所构造的深度神经网络的一个具体样例流程图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施与和附图，对本发明作进一步详细说明。

本发明提出的一种基于深度神经网络和多模态MRI图像的脑肿瘤分割放大，能够广泛的应用于医学图像分割领域，特别是脑肿瘤分割方面。

图1示出了本发明提出的基于深度神经网络和多模态MRI图像的脑肿瘤分割方法的步骤流程。如图1所示，该方法包括：

步骤1、构造深度神经网络，包含2个3层的卷积层和1个3层全连接及1个分类层深度卷积神经网络，输入层对应着多模态MRI图像，输出层每个节点对应一个肿瘤类别标签；

图2示出了本发明中所构造和使用的深度神经网络结构。如图2所示，这是一个11层的深度神经网络：第1层为数据输入层，第2-4层和第5-7层为的两个阶段的卷积层，第8-10层为全连接层，最后1层为基于softmax的预测分类层。其中，输入层对应着提取的多模态MRI图像序列的图像块，以N×M×M的尺寸作为输入，其中N表示输入的多模态MRI图像的种类数，M×M为图像块的尺寸；在卷积层采用3×3样式的级联层，以在减少连通权值的同时减小了过拟合的可能性，其中卷积核h_s(也就是滤波器)为：

$h_s=b_s+\underset{r}{\Σ}{w}_{sr}*X_r$

其中，X_r是第r个输入模态通道，w_sr是相应通道子核，*实卷积操作，b_s是偏移项。由于卷积层卷积滤波之后的特征映射可能包含大量的冗余信息，从而使得这种特征映射对于小图像更紧凑且具有很小变化性，因此，在卷积输出层之后采用最大值池化操作消除可能的冗余特征。在全连接层，所有的神经元都暴露在经过卷积滤波后的特征映射之下，为了能够快速有效地获取卷积滤波后的特征映射，采用一种非线性漏隙修正激活函数(LReLu)将特征映射到全连接层,LReLu定义为:

σ(h)＝max(0,h)+αmin(0,h)

其中，α为漏隙参数。在最后的输出分类层，利用softmax函数：生成分类标签y的后验概率，y＝{0,1,…,n}，这里n等于要分割的肿瘤类别数。softmax函数定义为：

$p(Y=y|x,w,b)=\frac{e^{w_{y}x+b_y}}{{\mathrm{\Σ}}_j{e}^{w_{j}x+b_j}}$

其中，w_j是第j类的线性参数向量，b_j是其偏移权重，x对应着分类层之前的全连接层的输出响应向量。

步骤2、多模态MRI图像进行预处理，为了保障肿瘤分割有效进行，多模态MRI图像在输入到深度神经网络模型之前，需要对MRI图像进行对比度提升和灰度值归一化等预处理操作。其中，对比度提升主要是为了提高肿瘤和正常组织的可分辨性；在对比度提升之后的MRI图像上，通过归一化函数进行灰度值归一化。对比度提升和灰度归一化操作函数f(x,y)定义为：

$f(x,y)=\frac{GW-BW}{L_{max}-L_{min}}\left(\mathrm{\α}L\right(x,y)+\mathrm{\β}-L_{min})+BW$

其中：L(x,y)是MRI图像的原始直方图，L_max和L_min是它的最大和最小灰度级，α>0是对比度提升的增益参数，β是对比度提升的偏移参数。f(x,y)是对比度提升和归一化之后的图像的直方图。GW和BW是归一化之后图像的直方图的最大和最小灰度级。

步骤3、由于图像分割与分类天生的相关性，基于多模态MRI图像的脑肿瘤分割问题，可以描述为：在MRI图像中，对不同肿瘤结构进行语义划分的过程，具体来讲就是利用不同肿瘤结构之间的特征描述差异利用某种有效的技术手段进行类别语义划分。基于这种思想，具体到本发明，就是利用深度神经网络对多模态MRI肿瘤图像中不同的肿瘤结构进行特征提取并最终进行肿瘤分割和结构分类的过程，也就是本发明提出的：将脑肿瘤分割任务作为基于多模态MRI图像多特征的多分类问题。训练模型权值参数，通过构建的深度神经网络，将脑肿瘤分割任务看作基于多模态MRI图像的多特征的多分类问题，利用步骤2归一化后的肿瘤图像块作为训练样本，采用无监督的逐步逐层的训练方法提取脑肿瘤的特征，并结合反向传播和随机梯度下降算法有监督地最小化损失函数：

loss(w,b)＝mean(-ln(p(Y＝y|x,w,b)))+λ₁||w||₁+λ₂||w||²

其中，mean(-ln(p(Y＝y|x,w,b)))是负的平均softmax似然概率，λ₁||w||₁+λ₂||w||²是正则项，λ₁、λ₂是相应的L1和L2的正则系数。

图3示出了本发明所构造和使用的深度神经网络的训练和测试过程。如图3中训练过程所示，采用带有肿瘤标签的多模态MRI图像作为训练样本，经过预处理输入到深度神经网络中训练网络模型，通过以最小化损失函数目标函数为目标获得最终优化的深度神经网络模型。

步骤4、测试模型，利用训练过程中的肿瘤图像块及其均值和标准差，将待分割肿瘤图像序列的图像块归一化，并将归一化后的图像序列输入到具有优化网络连接权重的深度神经网络，得到分类层的节点值，据此得到待分割的脑肿瘤图像的肿瘤标签及内部结构的分割。

图3中间的测试部分示出了模型测试的流程，使用经过训练得到的最优的权值参数配置到深度网络模型，利用训练过程中使用的图像块的均值和标准差归一化之后的测试图像块，并输入到配置最优参数的深度神经网络模型。

图4示出了本发明所构造和使用的深度神经网络模型。如图4所示，以Flair、T1、T1c和T2等四种模态的MRI脑肿瘤图像为例，将具体的测试模型的过程概括为如下步骤：1、利用深度神经网络的第一层，从多模态MRI图像序列中提取的4×33×33肿瘤图像块(其中4为输入的多模态图像种类数，根据实际需要4可以进行相应调整)，并进行相应的预处理；2、把预处理之后肿瘤图像块输入到深度神经网络的第2-4层，分别与每层64个3×3的卷积滤波器进行卷积，并输出第一阶层的64×33×33的肿瘤图像的特征描述块；再尺寸为3×3，步长为2×2的池化滤波器对得到的第一阶层的特征描述块进行最大值池化，得到64×16×16的特征图像块；3、将池化后的特征图像块输入到第二阶层的3层卷积神经网络，利用128个3×3的卷积滤波器和池化滤波器重复2中的操作，得到6272个第二阶层的肿瘤特征映射；4、将6272个肿瘤特征映射通过非线性漏隙修正激活函数映射到3层的全连接层，得到256个最终的抽象特征描述点；5、利用softmax对全连接层输出的256个特征点进行分类预测得到要肿瘤类别；6、重复1-5的过程，直到遍历完图像的所有像素点，得到肿瘤分割结果。以分割胶质瘤为例，最终分割结果包含水肿结构、活跃的肿瘤结构和坏死的肿瘤结构等3个类别的结果；根据肿瘤的类型活跃的肿瘤结构区又可以分为增强的区域和非增强的区域，此时就有3或4个分割类别产生。

以上所述的具体实施仅为本发明的一种最佳实现方式，并不用于限制本发明的专利范围，凡是利用本发明精神和原则及附图内容所作的等效结构或等效流程变换，均应包括在本发明的专利保护范围内。

Claims (5)

1.基于深度神经网络和多模态MRI图像的脑肿瘤分割方法，其特征在于，包括如下步骤：

步骤1、设置2个3层的卷积层和1个3层全连接及1个分类层，输入层对应着多模态MRI图像且输出层每个节点对应一个肿瘤类别标签，构造出深度神经网络；

步骤2、采集包含脑肿瘤的多模态MRI图像，对多模态MRI图像进行对比度提升操作和灰度值归一化操作，提取出多模态MRI图像序列，在提取的多模态MRI图像序列中采样肿瘤图像块，对肿瘤图像块进行灰度值归一化，获得归一化后的肿瘤图像块，从而完成多模态MRI图像预处理；

步骤3、将脑肿瘤分割任务作为基于多模态MRI图像多特征的多分类问题，利用归一化后的肿瘤图像块作为训练样本并将其输入至深度神经网络，再采用无监督的逐步逐层训练方法提取脑肿瘤特征，并利用反向传播算法和随机梯度下降算法有监督地最小化损失函数，从而获得优化网络连接权重的深度神经网络；

步骤4、利用深度神经网络训练过程中的肿瘤图像块及其均值和标准差，将待分割肿瘤图像块所属多模态MRI图像序列进行归一化，并将归一化后的多模态MRI图像序列输入到具有优化网络连接权重的深度神经网络，得到分类层的节点值，根据节点值，分割出脑肿瘤图像及脑肿瘤内部结构图像。

2.如权利要求1所述的基于深度神经网络和多模态MRI图像的脑肿瘤分割方法，其特征在于，步骤1中构建的深度网络模型，以多模态多通道的MRI图像作为数据输入，以2个阶层6层的卷积网络结合3层的全连接层提取肿瘤的抽象特征映射的网络结构。

3.如权利要求1所述的基于深度神经网络和多模态MRI图像的脑肿瘤分割方法，其特征在于，步骤2中对多模态MRI图像进行对比度提升和灰度归一化操作：

$f(x,y)=\frac{GW-BW}{L_{max}-L_{min}}\left(\mathrm{\α}L\right(x,y)+\mathrm{\β}-L_{min})+BW$

其中：L(x,y)是MRI图像的原始直方图，L_max和L_min是它的最大和最小灰度级，α>0是对比度提升的增益参数，β是对比度提升的偏移参数，f(x,y)是对比度提升和归一化之后的图像的直方图，GW和BW是归一化之后图像的直方图的最大和最小灰度级。

4.如权利要求书1所述的基于深度神经网络和多模态MRI图像的脑肿瘤分割方法，其特征在于，步骤3中训练深度神经网络使用的损失函数：

loss(w,b)＝mean(-ln(p(Y＝y|x,w,b)))+λ₁||w||₁+λ₂||w||²

其中，mean(-ln(p(Y＝y|x,w,b)))是负的平均softmax似然概率，λ₁||w||₁+λ₂||w||²是正则项，λ₁、λ₂是相应的正则系数。

5.如权利要求书1所述的数据识别方法，其特征在于，步骤4中分通道逐模态对输入的测试模型的多模态MRI图像块进行地归一化的预处理操作，在训练深度神经网络模型的过程中分别计算多通道的MRI图像块的均值和标准差，然后利用相应输入通道训练过程中的多模态MRI图像块的均值和方差归一化要输入到测试模型的多模态MRI图像块。