CN107194933A - 结合卷积神经网络和模糊推理的脑肿瘤分割方法和装置 - Google Patents

Abstract

本发明涉及医疗器械，为将计算机图像处理技术应用在脑肿瘤核磁共振图像的分割中，避免人工分割存在的低效率及不稳定的缺陷，利用计算机算法提供快速、可靠的脑肿瘤分割结果，为脑肿瘤的诊断、治疗和手术引导提供准确的依据。本发明采用的技术方案是，结合卷积神经网络和模糊推理的脑肿瘤分割方法,步骤如下：1)选取图像；2)构建CNN模型；3)非线性映射；4)模糊推理系统。本发明主要应用于医疗图像的处理。

Description

结合卷积神经网络和模糊推理的脑肿瘤分割方法和装置

技术领域

本发明涉及医疗器械，将医学图像和计算机算法结合起来，完成脑肿瘤核磁共振图像的分割。具体讲,涉及结合卷积神经网络和模糊推理的脑肿瘤分割方法和装置。

背景技术

脑肿瘤分为良性肿瘤和恶性肿瘤两类，良性肿瘤在通过手术治疗后一般能够恢复健康，恶性肿瘤因其顽固性难以治愈，又被称为脑癌。调查显示，美国仅2015年被诊断的脑肿瘤人数新增23,000人。脑肿瘤已严重危害到人类生命健康，如何更好地对其诊断和治疗十分重要。目前检查脑肿瘤的影响手段主要有核磁共振成像(magnetic resonanceimaging,MRI)和计算机断层扫描(Computed tomography,CT)，其中MRI具有非侵入性，能在病人不接受高电离辐射的情况下提供形状、大小及位置等信息，且具有良好的软组织对比度，因此在脑肿瘤的诊断、治疗和手术引导中越来越受到人们的关注，而如何使用计算机辅助分割MRI脑肿瘤以得到理想结果，仍是一个急需解决的问题。

1998年，LeCun等将卷积神经网络(convolution neural network,CNN)首次应用于图像识别领域，该网络可以通过直接输入原始图像识别视觉上面的规律，避免了对图像复杂的前期预处理。卷积神经网络是一个多层的神经网络，每层由多个二维平面组成，每个平面由多个独立神经元组成。CNN通过结合局部感知区域、共享权重、空间或者时间上的下采样来充分利用数据本身包含的局部性等特征，优化网络结构，并且保证了在一定程度上对位移、缩放和其他形式扭曲的不变性。卷积神经网络一般包括输入层、卷积层、子采样层、全连接层和输出层。

卷积层又称为特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。在卷积层，前一层的特征图和一个可学习的核进行卷积，卷积的结果经过激活函数后得到这一层的特征图。一般地，卷积层的形式如下：

式中，M_j为神经元j对应的局部感受野，是第l层的神经元i的第j个输入对应的权值，为l层的第i个偏置量，为l-1层神经元i的输出，为l层神经元j的输出。

子采样层又称为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提高该局部的阈值。如果输入的特征图为n个，则经过子采样层后特征图的数目不变，尺寸变小。子采样层的形式如下：

式中，down()为下采样，β^l，b^l分别为可训练参数和可训练偏置。

全连接层是与上一层全连接，并将上一层输出结果与权重向量相乘，再加上偏置项，并将这一结果传送给sigmoid函数或者tanh函数进行计算。全连接层的形式如下：

式中，w_ji为网络中第l-1层的第i个输入到第l层的第j个输出的连接权重，b^l为第l层的可训练偏置。

输出层用于计算输入样本属于各类别的概率，输入样本归属于所属概率最大的类别，完成分类任务。

模糊推理系统作为智能计算的重要分支，以模糊集合为基础，引入模糊逻辑后以一定的程度值描述某一事件，从而体现事件更真实的情况，最终实现复杂的非线性映射关系。模糊集是用来表达模糊性概念的集合。根据模糊集指定的规则称为模糊规则，对于一个模糊系统而言，所有的模糊规则共同组成了该系统的模糊规则集。

首先，将输入信息进行模糊化，即将输入从精确的数值根据输入变量的模糊集转化为模糊值。其次，根据建立好的模糊规则进行匹配，从而进行逻辑推理。根据逻辑推理，可以得到一个输出结果的模糊值。最终，通过输出变量的模糊集可以将输出的模糊值进行去模糊化，得到的结果为一个精确的输出数值。去模糊化的计算公式如下：

式中，μ(·)表示该模糊变量的隶属度函数。

发明内容

为克服现有技术的不足，本发明旨在将计算机图像处理技术应用在脑肿瘤核磁共振图像的分割中，避免人工分割存在的低效率及不稳定的缺陷，利用计算机算法提供快速、可靠的脑肿瘤分割结果，为脑肿瘤的诊断、治疗和手术引导提供准确的依据。本发明采用的技术方案是，结合卷积神经网络和模糊推理的脑肿瘤分割方法,步骤如下：

1)选取图像,从T1(T1-weighted MRI)、T2(T2-weighted MRI)、T1c(T1-weightedMRI with contrast enhancement)和Flair(Fluid-Attenuated Inversion Recovery)四种类型脑肿瘤图像中选出两种最有效于卷积神经网络模型建立和脑肿瘤分割结果的单模态图像；

2)构建CNN模型，将选择好的两种类型脑肿瘤图像分别作为训练样本，专家分割结果图的像素点作为训练样本的真值标签，分别训练得到两种模态图像的CNN模型；

3)非线性映射，通过非线性映射将错误样本点的概率均匀分布在0到1之间，使得在大样本情况下的概率分布更好地表现出像素点之间的差异性；

4)模糊推理系统，将两种类型单模态图像的概率预测结果作为输入，建立模糊推理系统整合两种类型图像的特征，得到脑肿瘤的分割结果。

一个实例中，构建CNN模型具体步骤是，将每幅Flair和T2图像以像素点为中心切分为若干个尺寸为35*35的图像作为原始输入，输入图像首先经过由6个6*6邻域的卷积核组成的卷积层后得到6个30*30的特征图，再经过下采样得到6个15*15的特征图；再经过由12 个6*6邻域的卷积核组成的卷积层得到12个10*10的特征图，并通过下采样得到12个5*5的特征图；然后通过全连接层将得到的特征图转化为一维特征；最后，在输出层中得到输入样本是否属于肿瘤的概率。

一个实例中，非线性映射的具体步骤是，找出模型训练中所有肿瘤误判为非肿瘤的样本，将其预测概率从小到大排列并等分为10份，令其边界值分别对应于0，0.05，0.1，…，0.5；同理，找出训练样本中所有非肿瘤误判为肿瘤的训练样本，并将其预测概率从小到大排列并等分为10份，另其边界值分别对应于0.5，0.55，0.6，…，1；最终，对边界值和映射点进行分段线性拟合得到非线性映射函数。

在一个具体实例中，在模糊系统中，以Flair图像的结果作为基准，并利用T2图像来进行调整；

令表示Flair图像像素点预测为肿瘤区域概率的模糊变量，对于将其分为九种状态。其中，a表示该像素点一定属于非肿瘤区域；b表示该像素点极有可能属于非肿瘤区域；以此类推，i表示该像素点一定属于肿瘤区域；

令表示T2图像像素点预测为肿瘤区域概率的模糊变量，共分为a到h八种状态，且该像素点属于肿瘤区域的概率依次增大；

令表示结合两类图像后得到的像素点属于肿瘤的概率，其中，T表示该像素点属于肿瘤区域，F表示该像素点属于非肿瘤区域；

由于模糊推理系统有两个输入，分别存在9种和8种状态。因此，模糊规则共分为9*8＝72 种情况，通过对训练集样本进行分析得到具体的推理规则，如表1所示。

表1

当状态为a，即p₁趋近于0时，的状态为F；当状态为i，即p₁趋近于1时，的状态为T；在p1不断接近0.5的过程中，Flair图像的置信度不断降低，此时需引入T2图像所对应的模糊变量作进一步判断。

结合卷积神经网络和模糊推理的脑肿瘤分割装置，由计算机构成，计算机内设置有如下模块，用于处理输入的T1、T2、T1c和Flair四种类型脑肿瘤MRI图像进行处理：

1)选取图像模块,用于从T1、T2、T1c和Flair四种类型脑肿瘤MRI图像中选出两种最有效于卷积神经网络模型建立和脑肿瘤分割结果的单模态图像；

2)CNN模型模块，将选择好的两种类型脑肿瘤图像分别作为训练样本，专家分割结果图的像素点作为训练样本的真值标签，分别训练得到两种模态图像的CNN模型；

3)非线性映射模块，通过非线性映射将错误样本点的概率均匀分布在0到1之间，使得在大样本情况下的概率分布更好地表现出像素点之间的差异性；

4)模糊推理系统，将两种类型单模态图像的概率预测结果作为输入，建立模糊推理系统整合两种类型图像的特征，得到脑肿瘤的分割结果。

本发明的特点及有益效果是：

卷积神经网络作为一种前馈神经网络，避免了对图像的复杂前期预处理，可以通过直接输入原始图像自动识别视觉上面的规律。本发明引入构建两种类型单模态图像的卷积神经网络模型，针对每种类型的图像分别应用其对应的卷积神经网络模型进行预测，并将得到的预测概率进行非线性映射后作为模糊推理系统的输入来判断像素点是否属于肿瘤区域。多种类型脑肿瘤图像同时作为模型输入充分利用了各类型图像自身的特性，且避免了因输入过多的冗余信息影响分割精度。本发明有力地支持了脑肿瘤核磁共振图像的分割，为MRI计算机辅助测量技术的进一步优化发展提供了参考，对专家手动测量的方式是很好的补充。

附图说明：

图1四种类型脑肿瘤患者；

图2专家分割结果图；

图3MRI图像卷积神经网络结构图；

图4模糊推理系统流程图；

图5模糊推理系统的输入；

图6模糊推理系统输入输出关系图；

图7分割算法整体流程框图；

图8错误预测点概率分布图；

图9非线性映射函数；

图10经过非线性映射后错误预测点概率分布图；

图11脑肿瘤分割结果图。

具体实施方式

本发明的主要目的是将计算机图像处理技术应用在脑肿瘤核磁共振图像的分割中，避免人工分割存在的低效率及不稳定的缺陷，利用计算机算法提供快速、可靠的脑肿瘤分割结果，为脑肿瘤的诊断、治疗和手术引导提供准确的依据。

本发明针对两种类型的单模态图像通过卷积神经网络模型进行概率预测，得到的概率预测结果经过非线性映射处理后作为模糊推理系统的输入来判断像素点是否属于肿瘤区域。在所给的图像库测试中，本发明能有效完成脑肿瘤MRI图像的分割提取，具有较好的理论和使用价值。

为了实现上述目的，本发明采用如下的技术方案：

5)选取图像。从官方提供的四种类型脑肿瘤MRI图像中选出两种最有效于卷积神经网络模型建立和脑肿瘤分割结果的单模态图像。

6)构建CNN模型。将选择好的两种类型脑肿瘤图像分别作为训练样本，专家分割结果图的像素点作为训练样本的真值标签，分别训练得到两种模态图像的CNN模型。

7)非线性映射。通过非线性映射将错误样本点的概率均匀分布在0到1之间，使得在大样本情况下的概率分布更好地表现出像素点之间的差异性。

8)模糊推理系统。将两种类型单模态图像的概率预测结果作为输入，建立模糊推理系统整合两种类型图像的特征，得到脑肿瘤的分割结果。

下面结合附图与实例对本发明作进一步说明。

1)选取图像。

脑肿瘤患者的MRI成像是三维多波段成像，通常包括T1、T2、T1c和Flair等，图1(a)是T1成像，操作简单，因此常用于脑肿瘤的结构分析，但成像质量差，无法提供更为详尽的图像信息。图1(b)是T1c成像，由于增生性脑肿瘤区血脑屏障破坏导致的造影剂积聚，使得T1增强成像中的脑肿瘤边界变得更明亮，很容易区分出肿瘤和囊变区域。图1(c)是T2 成像，水肿区域相比别的成像方式更加明亮，缺点是脑脊液和肿瘤的像素特征难以区分。图 1(d)是Flair成像，水肿区域边界明显，因此是目前分割脑肿瘤最有效的成像方式。根据不同类型成像的特点，本发明选取Flair和T2两种成像方式。

2)建立CNN模型。

将每幅Flair和T2图像以像素点为中心切分为若干个尺寸为35*35的图像作为原始输入。输入图像首先经过由6个6*6邻域的卷积核组成的卷积层后得到6个30*30的特征图，再经过下采样得到6个15*15的特征图；再经过由12个6*6邻域的卷积核组成的卷积层得到12 个10*10的特征图，并通过下采样得到12个5*5的特征图；然后通过全连接层将得到的特征图转化为一维特征；最后，在输出层中得到输入样本是否属于肿瘤的概率。

3)非线性映射。

找出模型训练中所有肿瘤误判为非肿瘤的样本，将其预测概率从小到大排列并等分为10 份，令其边界值分别对应于0，0.05，0.1，…，0.5。同理，找出训练样本中所有非肿瘤误判为肿瘤的训练样本，并将其预测概率从小到大排列并等分为10份，另其边界值分别对应于 0.5，0.55，0.6，…，1。最终，对边界值和映射点进行分段线性拟合得到非线性映射函数。

4)模糊推理系统。

根据对Flair和T2图像的处理，可以得到每个像素点由单独图片预测的属于肿瘤区域的概率p₁和p₂。为了充分利用两幅图中的特征信息，建立模糊推理系统来整合Flair和T2图像的特征。模糊系统以p₁和p₂作为输入，输出则为最终的肿瘤概率。

对比Flair和T2图像可以发现，Flair的水肿区域边界更为明显，即在进行分割过程中，得到的结果相比T2图像置信度更高。因此，在模糊系统中，以Flair图像的结果作为基准，并利用T2图像来进行调整。

令表示Flair图像像素点预测为肿瘤区域概率的模糊变量，对于将其分为如图5 (a)所示的九种状态。其中，a表示该像素点一定属于非肿瘤区域；b表示该像素点极有可能属于非肿瘤区域；以此类推，i表示该像素点一定属于肿瘤区域。

令表示T2图像像素点预测为肿瘤区域概率的模糊变量，共分为a到h八种状态，且该像素点属于肿瘤区域的概率依次增大。的隶属度函数如图5(b)所示。

令表示结合两类图像后得到的像素点属于肿瘤的概率，如图5(c)所示。其中，T表示该像素点属于肿瘤区域，F表示该像素点属于非肿瘤区域。

由于模糊推理系统有两个输入，分别存在9种和8种状态。因此，模糊规则共分为9*8＝72 种情况。通过对训练集样本进行分析得到具体的推理规则，如表1所示。

表1

当状态为a，即p₁趋近于0时，的状态为F；当状态为i，即p₁趋近于1时，的状态为T；在p₁不断接近0.5的过程中，Flair图像的置信度不断降低，此时需引入T2图像所对应的模糊变量作进一步判断。

模糊系统的输出为最终的非肿瘤概率。当输出结果小于0.5时，则认为该图像对应像素点属于非肿瘤区域；而当输出结果大于0.5时，则认为该图像对应像素点属于肿瘤区域。

Claims (5)

1.一种结合卷积神经网络和模糊推理的脑肿瘤分割方法，其特征是，步骤如下：

1)选取图像,从T1(T1-weighted MRI)、T2(T2-weighted MRI)、T1c(T1-weighted MRIwith contrast enhancement)和Flair(Fluid-Attenuated Inversion Recovery)四种类型脑肿瘤MRI图像中选出两种最有效于卷积神经网络模型建立和脑肿瘤分割结果的单模态图像；

2)构建CNN模型，将选择好的两种类型脑肿瘤图像分别作为训练样本，专家分割结果图的像素点作为训练样本的真值标签，分别训练得到两种模态图像的CNN模型；

3)非线性映射，通过非线性映射将错误样本点的概率均匀分布在0到1之间，使得在大样本情况下的概率分布更好地表现出像素点之间的差异性；

4)模糊推理系统，将两种类型单模态图像的概率预测结果作为输入，建立模糊推理系统整合两种类型图像的特征，得到脑肿瘤的分割结果。

2.如权利要求1所述的结合卷积神经网络和模糊推理的脑肿瘤分割方法，其特征是，一个实例中，构建CNN模型具体步骤是，将每幅Flair和T2图像以像素点为中心切分为若干个尺寸为35*35的图像作为原始输入，输入图像首先经过由6个6*6邻域的卷积核组成的卷积层后得到6个30*30的特征图，再经过下采样得到6个15*15的特征图；再经过由12个6*6邻域的卷积核组成的卷积层得到12个10*10的特征图，并通过下采样得到12个5*5的特征图；然后通过全连接层将得到的特征图转化为一维特征；最后，在输出层中得到输入样本是否属于肿瘤的概率。

3.如权利要求1所述的结合卷积神经网络和模糊推理的脑肿瘤分割方法，其特征是，一个实例中，非线性映射的具体步骤是，找出模型训练中所有肿瘤误判为非肿瘤的样本，将其预测概率从小到大排列并等分为10份，令其边界值分别对应于0，0.05，0.1，…，0.5；同理，找出训练样本中所有非肿瘤误判为肿瘤的训练样本，并将其预测概率从小到大排列并等分为10份，另其边界值分别对应于0.5，0.55，0.6，…，1；最终，对边界值和映射点进行分段线性拟合得到非线性映射函数。

4.如权利要求1所述的结合卷积神经网络和模糊推理的脑肿瘤分割方法，其特征是，在一个具体实例中，在模糊系统中，以Flair图像的结果作为基准，并利用T2图像来进行调整；

令p₁表示Flair图像像素点预测为肿瘤区域概率的模糊变量，对于p₁，将其分为九种状态。其中，a表示该像素点一定属于非肿瘤区域；b表示该像素点极有可能属于非肿瘤区域；以此类推，i表示该像素点一定属于肿瘤区域；

令p₂表示T2图像像素点预测为肿瘤区域概率的模糊变量，共分为a到h八种状态，且该像素点属于肿瘤区域的概率依次增大；

令p₃表示结合两类图像后得到的像素点属于肿瘤的概率，其中，T表示该像素点属于肿瘤区域，F表示该像素点属于非肿瘤区域；

由于模糊推理系统有两个输入，分别存在9种和8种状态。因此，模糊规则共分为9*8＝72种情况，通过对训练集样本进行分析得到具体的推理规则，如表1所示。

表1

当p₁状态为a，即p₁趋近于0时，p₃的状态为F；当p₁状态为i，即p₁趋近于1时，p₃的状态为T；在p₁不断接近0.5的过程中，Flair图像的置信度不断降低，此时需引入T2图像所对应的模糊变量p₂作进一步判断。

5.一种结合卷积神经网络和模糊推理的脑肿瘤分割装置，由计算机构成，其特征是，计算机内设置有如下模块，用于处理输入的T1、T2、T1c和Flair四种类型脑肿瘤MRI图像进行处理：

1)选取图像模块,用于从T1、T2、T1c和Flair四种类型脑肿瘤MRI图像中选出两种最有效于卷积神经网络模型建立和脑肿瘤分割结果的单模态图像；

2)CNN模型模块，将选择好的两种类型脑肿瘤图像分别作为训练样本，专家分割结果图的像素点作为训练样本的真值标签，分别训练得到两种模态图像的CNN模型；

3)非线性映射模块，通过非线性映射将错误样本点的概率均匀分布在0到1之间，使得在大样本情况下的概率分布更好地表现出像素点之间的差异性；

4)模糊推理系统，将两种类型单模态图像的概率预测结果作为输入，建立模糊推理系统整合两种类型图像的特征，得到脑肿瘤的分割结果。