CN109035263B - 基于卷积神经网络的脑肿瘤图像自动分割方法 - Google Patents
基于卷积神经网络的脑肿瘤图像自动分割方法 Download PDFInfo
- Publication number
- CN109035263B CN109035263B CN201810921637.2A CN201810921637A CN109035263B CN 109035263 B CN109035263 B CN 109035263B CN 201810921637 A CN201810921637 A CN 201810921637A CN 109035263 B CN109035263 B CN 109035263B
- Authority
- CN
- China
- Prior art keywords
- image
- neural network
- brain tumor
- module
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Abstract
本发明公开了基于卷积神经网络的脑肿瘤图像自动分割方法,包括如下步骤:采集脑肿瘤的多模态MRI图像并进行图像预处理,获得原始图像集;构建基于多模态MRI图像的脑肿瘤分割的框架;所述框架包括模块一与模块二,模块一包括以3d卷积神经网络、残差单元以及转置卷积为基础构成并行的深度反卷积神经网络;模块二包括在所述模块一中的深度反卷积神经网络结构基础上添加跳跃结构;通过若干次迭代训练,获得理想权值,并输出脑肿瘤图像的分割图;测试与评价图像分割结果。本发明有效的解决脑肿瘤分割图像分割准确率低的问题;可以提升肿瘤的可识别性,使图像预处理操作更加便捷;在分割模块中使用基于d系数的loss函数可以有效的解决类别不平衡的问题。
Description
技术领域
本发明涉及医学图像分割和深度学习领域,特别涉及基于卷积神经网络的脑肿瘤图像自动分割方法。
背景技术
医学图像分割是图像分析处理中的一项关键技术,根据图像内区域的相似性以及特异性将感兴趣的有关组织分离出来,对于临床诊断和治疗过程具有重要意义,是一切后续工作的主要前提,分割效果的好坏程度会直接影响到信息处理工作的顺利进行。关于脑肿瘤的医学图像分割作为图像分割领域的一个重要分支,脑肿瘤的分割技术在脑肿瘤的临床诊断和治疗过程中起着重要的作用,通过对脑肿瘤的分割结果,医生可以测量肿瘤的大小位置、制定手术计划、病情跟踪分析等等,并且随着MRI(Magnetic Resonance Imaging)技术日渐应用广泛,脑肿瘤的检出率大大增加。
多模态MRI图像即是指利用不同的MRI脉冲序列对同一人体进行磁共振成像,由于成像条件有所不同所以得到的图像就有一定的区别,这样的一组图像被称为多模态MRI图像(Flair、T1、T2、T1C等模态),其中Flair模态MRI图像中包含着最大限度的病变组织信息,T1模态MRI图像可以突出组织T1弛豫(纵向弛豫)差别,在观察解剖结构方面有较好的应用价值,T2模态MRI图像在确定病变范围上有重要的作用,T1C模态MRI图像是在T1WI模态的基础上增强对比度的图像,可以更加明显的观察脑部结构,多模态MRI图像可以显示更多的信息,相对于单模态MRI图像来讲,利用多模态MRI图像对病灶的准确提取分割更有成效。
近年来,脑肿瘤图像分割技术得到了快速的发展,与此同时,深度学习发展迅猛,目前绝大多数自然场景的分割方法基于卷积神经网络,卷积神经网络具有提取图像特征的优点,被广泛应用于目标分类以及识别任务中,随着技术迭新,全卷积网络图像语义分割得到广泛应用,使得分割任务能够端到端地从原始图像中预测出稠密的分割结果。基于MRI图像的脑肿瘤分割,随着深度学习技术的引入,传统的分割方法产生越来越难以适应,存在脑肿瘤图像分割粗糙、类别不平衡以及图像预处理时间过长的技术问题。
发明内容
本发明的目的在于:提供了一种基于卷积神经网络的脑肿瘤图像自动分割方法,解决了现有技术中脑肿瘤图像分割粗糙、类别不平衡以及图像预处理时间过长的技术问题。
本发明采用的技术方案如下:
基于卷积神经网络的脑肿瘤图像自动分割方法,包括脑肿瘤的多模态MRI图像,还包括如下步骤:
步骤1、采集脑肿瘤的多模态MRI图像并进行图像预处理,获得原始图像集;
步骤2、构建基于多模态MRI图像的脑肿瘤分割的框架;所述框架包括模块一与模块二,模块一包括以3d卷积神经网络、残差单元以及转置卷积为基础构成并行的深度反卷积神经网络,用于输出脑肿瘤分割图像轮廓图;模块二包括在所述模块一中的深度反卷积神经网络结构基础上添加跳跃结构,用于输出脑肿瘤图像的病变区域分割图;
步骤3、将步骤1所述的原始图像集输入所述步骤2中框架的模块一中,再分选出理想集作为所述步骤2中模块二的训练样本,通过若干次迭代训练,获得理想权值,并输出脑肿瘤图像的分割图;
步骤4、测试与评价图像分割结果。
所述步骤1,采集脑肿瘤的多模态MRI图像,对采集到的图像进行预处理操作,之后对不同个体的图像进行灰度标准化对所得数据进行数据增强,充分利用各个模态的优势完成脑肿瘤分割任务;
所述步骤2,所述模块一主要任务是输出脑肿瘤分割图像轮廓图;所述模块二增加跳跃结构的目的在于以提高分割准确率,其任务还包括输出脑肿瘤图像的病变区域分割图;
所述步骤3,多模态多通道的MRI图像作为数据输入,通过模块一中的多路并行反卷积神经网络,根据分割图像轮廓图结果,挑选出相似性较低并且不确定性较高的样本,将这些挑选出的样本作为训练样本,微调模块二中的深度反卷积神经网络模型,使其最终输出脑肿瘤图像的分割图。
所述步骤4,测试并改进结果,在两个模块的深度反卷积神经网络模型训练完成之后,将测试集输入训练好的模型,得出脑肿瘤图像的分割预测图像,并使用相应的评价指标对分割结果进行评价,以便更好地改进模型。当整体框架训练完毕之后,将测试集输入训练好的模型中,得出脑肿瘤图像的分割预测图像,并使用相应的评价指标对分割结果进行评价,以便更好地改进模型。构建的基于多模态MRI图像的脑肿瘤分割框架可以实现对肿瘤及其内部结构端到端的分割,有效的解决脑肿瘤分割图像分割准确率低的问题,最终特征良好的分割结果图。
进一步地,所述步骤1,所述多模态MRI图像为四种模态影像Flair、T1、T2、T1C,对Flair、T2两个模态的图像通过N4ITK进行偏场矫正,对T1C、T1两个模态的图像进行对比度调整。对不同个体之间的图像进行灰度标准化:首先减去整个图像的平均值并除以大脑区域的标准偏差,将所有图像的像素值调整到[-5,5]区间内,将整个图像归一化至[0,1],非脑区域设置为0。最后对已预处理的数据进行平移转换、扭曲增强以及弹性形变。详细过程为:首先需要采集脑肿瘤的多模态MRI图像,在此方法中仅使用Flair、T1、T2、T1C四种模态影像,Flair模态MRI图像中包含着最大限度的病变组织信息,T1模态MRI图像在观察解剖结构方面有较好的应用价值,T2模态MRI图像在确定病变范围上有重要的作用,T1C模态MRI图像可以更加明显的观察脑部结构。对Flair、T2两个模态的图像通过N4ITK进行偏场矫正,对T1C、T1两个模态的图像进行对比度调整,除此之外还需要对不同个体之间的图像进行灰度标准化,首先减去整个图像的平均值并除以大脑区域的标准偏差以对每个患者的每个模态进行标准化,将所有图像的像素值均调整到[-5,5]区间内,小于-5的像素值赋值-5,大于5的像素值赋值5,最后再进行归一化,将整个图像归一化至[0,1],非脑区域设置为0。最后对已预处理的数据进行平移转换、扭曲增强以及弹性形变,在转换过程中,由于是3d图像,需要以质心坐标点对称的每个体素,每个轴向再做90、180度旋转,与此同时标签图像需要做相同的步骤。引入多模态MRI图像的优势,可以提升肿瘤的可识别性。
进一步地,所述步骤2中的深度神经网络的构建,包含编码网络以及解码网络,在编码网络中,设置4个3d卷积模块,每个模块都包含一个残差单元;在解码网络中,设置3个3d反卷积模块。步骤2中构建的基于多模态MRI图像的脑肿瘤分割的框架,多模态多通道的MRI图像作为数据输入,通过以两个深度反卷积神经网络模块构成的分割框架,模块一的主要任务是对输入图像直接进行测试,输出脑肿瘤分割图像轮廓图。模块一中的深度反卷积神经网络结构包括编码网络以及解码网络,在编码网络中,设置4个3d卷积模块,每个模块都包含一个残差单元以提高网络性能;在解码网络中,设置3个3d反卷积模块,在反卷积模块中使用转置卷积以增大图像分辨率,使最后的特征图进行像素级分割成为可能。模块二中的深度反卷积神经网络结构与模块一的区别仅在于最后的分割部分,为了使得分割正确率更高以及尽可能的还原上下文信息,将倒数两层特征图反卷积操作后的结果进行像素级的相加,最后通过softmax函数与真值分割图进行对比。框架内部使用3d卷积模块,可使图像的处理环节时间大大缩短、图像预处理操作更加便捷。
进一步地,在所述编码网络以及所述解码网络之间设立连接,并将编码网络以及解码网络各自产生的特征图做像素级的加法运算。设立连接和像素级叠加的目的是充分结合上下文信息。
进一步地,所述步骤3,分选理想集的方法为通过加权交叉熵损失函数衡量样本的不确定性以及相似度,选择表征性数据降序排列前若干项的样本,作为训练样本输入所述模块二的深度反卷积神经网络中。将通过模块一中多路并行深度反卷积及神经网络运行的结果,根据交叉熵的数值大小挑选出轮廓图相似性较低并且不确定性较高的图像,将这些挑选出的图像作为训练样本输入模块二的网络结构中,微调模块二中的深度反卷积神经网络模型,使其最终输出脑肿瘤图像的分割图。
进一步地,所述模块二中的深度反卷积神经网络,其跳跃结构采用如下损失函数:
其中p是通过所构建的反卷积神经网络得到的预测值,g是标注图像的真实标签,利用基于d系数的loss函数训练整个神经网络。训练模块二中的反卷积神经网络时使用的损失函数,这种基于d系数的loss函数可以有效的解决类别不平衡的问题,同时提高分割准确率。
综上所述,由于采用了上述技术方案,本发明的有益效果是:
1、本发明基于卷积神经网络的脑肿瘤图像自动分割方法,构建的基于多模态MRI图像的脑肿瘤分割框架可以实现对肿瘤及其内部结构端到端的分割,有效的解决脑肿瘤分割图像分割准确率低的问题,最终特征良好的分割结果图;
2、本发明基于卷积神经网络的脑肿瘤图像自动分割方法,引入多模态MRI图像的优势,可以提升肿瘤的可识别性,框架内部使用3d卷积模块,可使图像的处理环节时间大大缩短、图像预处理操作更加便捷;
3、本发明基于卷积神经网络的脑肿瘤图像自动分割方法,在分割模块中使用基于d系数的loss函数可以有效的解决类别不平衡的问题。
附图说明
本发明将通过例子并参照附图的方式说明,其中:
图1为本发明所述的基于卷积神经网络的脑肿瘤图像自动分割方法的训练测试流程图;
图2为本发明所述的基于深度神经网络和多模态MRI图像的脑肿瘤分割方法的分割框架结构图;
图3为本发明所述的脑肿瘤分割框架模块一中多路并行深度反卷积神经网络模型单一支路结构图;
图4为本发明所述的深度神经网络模型中使用的残差单元结构图;
图5为本发明所述的脑肿瘤分割框架模块二中深度反卷积神经网络模型结构图。
具体实施方式
本说明书中公开的所有特征,或公开的所有方法或过程中的步骤,除了互相排斥的特征和/或步骤以外,均可以以任何方式组合。
下面结合图1、图2至图5对本发明作详细说明。
实施例1
本发明基于卷积神经网络的脑肿瘤图像自动分割方法,包括脑肿瘤的多模态MRI图像,还包括如下步骤:
步骤1、采集脑肿瘤的多模态MRI图像并进行图像预处理,获得原始图像集;
步骤2、构建基于多模态MRI图像的脑肿瘤分割的框架;所述框架包括模块一与模块二,模块一包括以3d卷积神经网络、残差单元以及转置卷积为基础构成并行的深度反卷积神经网络,用于输出脑肿瘤分割图像轮廓图;模块二包括在所述模块一中的深度反卷积神经网络结构基础上添加跳跃结构,用于输出脑肿瘤图像的病变区域分割图;
步骤3、将步骤1所述的原始图像集输入所述步骤2中框架的模块一中,再分选出理想集作为所述步骤2中模块二的训练样本,通过若干次迭代训练,获得理想权值,并输出脑肿瘤图像的分割图;
步骤4、测试与评价图像分割结果。
所述步骤1,采集脑肿瘤的多模态MRI图像,对采集到的图像进行预处理操作,之后对不同个体的图像进行灰度标准化对所得数据进行数据增强,充分利用各个模态的优势完成脑肿瘤分割任务;
所述步骤2,所述模块一主要任务是输出脑肿瘤分割图像轮廓图;所述模块二增加跳跃结构的目的在于以提高分割准确率,其任务还包括输出脑肿瘤图像的病变区域分割图;
所述步骤3,多模态多通道的MRI图像作为数据输入,通过模块一中的多路并行反卷积神经网络,根据分割图像轮廓图结果,挑选出相似性较低并且不确定性较高的样本,将这些挑选出的样本作为训练样本,微调模块二中的深度反卷积神经网络模型,使其最终输出脑肿瘤图像的分割图。
所述步骤4,测试并改进结果,在两个模块的深度反卷积神经网络模型训练完成之后,将测试集输入训练好的模型,得出脑肿瘤图像的分割预测图像,并使用相应的评价指标对分割结果进行评价,以便更好地改进模型。当整体框架训练完毕之后,将测试集输入训练好的模型中,得出脑肿瘤图像的分割预测图像,并使用相应的评价指标对分割结果进行评价,以便更好地改进模型。构建的基于多模态MRI图像的脑肿瘤分割框架可以实现对肿瘤及其内部结构端到端的分割,有效的解决脑肿瘤分割图像分割准确率低的问题,最终特征良好的分割结果图。
如图1所示,本发明提出的基于深度神经网络和多模态MRI图像的脑肿瘤分割方法的训练以及测试流程:采集多模态MRI图像的脑肿瘤图像数据集,对数据集进行预处理,构建基于反卷积神经网络以及多模态MRI图像的脑肿瘤分割框架,训练深度神经网络。测试流程只需将测试集图像输入到已训练的反卷积神经网络中即可输出测试图像。
实施例2
本实施例在实施例1的基础上做出了如下进一步限定:所述步骤1,所述多模态MRI图像为四种模态影像Flair、T1、T2、T1C,对Flair、T2两个模态的图像通过N4ITK进行偏场矫正,对T1C、T1两个模态的图像进行对比度调整。对不同个体之间的图像进行灰度标准化:首先减去整个图像的平均值并除以大脑区域的标准偏差,将所有图像的像素值调整到[-5,5]区间内,将整个图像归一化至[0,1],非脑区域设置为0。最后对已预处理的数据进行平移转换、扭曲增强以及弹性形变。详细过程为:首先需要采集脑肿瘤的多模态MRI图像,在此方法中仅使用Flair、T1、T2、T1C四种模态影像,Flair模态MRI图像中包含着最大限度的病变组织信息,T1模态MRI图像在观察解剖结构方面有较好的应用价值,T2模态MRI图像在确定病变范围上有重要的作用,T1C模态MRI图像可以更加明显的观察脑部结构。对Flair、T2两个模态的图像通过N4ITK进行偏场矫正,对T1C、T1两个模态的图像进行对比度调整,除此之外还需要对不同个体之间的图像进行灰度标准化,首先减去整个图像的平均值并除以大脑区域的标准偏差以对每个患者的每个模态进行标准化,将所有图像的像素值均调整到[-5,5]区间内,小于-5的像素值赋值-5,大于5的像素值赋值5,最后再进行归一化,将整个图像归一化至[0,1],非脑区域设置为0。最后对已预处理的数据进行平移转换、扭曲增强以及弹性形变,在转换过程中,由于是3d图像,需要以质心坐标点对称的每个体素,每个轴向再做90、180度旋转,与此同时标签图像需要做相同的步骤。引入多模态MRI图像的优势,可以提升肿瘤的可识别性。所述步骤2中的深度神经网络的构建,包含编码网络以及解码网络,在编码网络中,设置4个3d卷积模块,每个模块都包含一个残差单元;在解码网络中,设置3个3d反卷积模块。步骤2中构建的基于多模态MRI图像的脑肿瘤分割的框架,多模态多通道的MRI图像作为数据输入,通过以两个深度反卷积神经网络模块构成的分割框架,模块一的主要任务是对输入图像直接进行测试,输出脑肿瘤分割图像轮廓图。模块一中的深度反卷积神经网络结构包括编码网络以及解码网络,在编码网络中,设置4个3d卷积模块,每个模块都包含一个残差单元以提高网络性能;在解码网络中,设置3个3d反卷积模块,在反卷积模块中使用转置卷积以增大图像分辨率,使最后的特征图进行像素级分割成为可能。模块二中的深度反卷积神经网络结构与模块一的区别仅在于最后的分割部分,为了使得分割正确率更高以及尽可能的还原上下文信息,将倒数两层特征图反卷积操作后的结果进行像素级的相加,最后通过softmax函数与真值分割图进行对比。框架内部使用3d卷积模块,可使图像的处理环节时间大大缩短、图像预处理操作更加便捷。在所述编码网络以及所述解码网络之间设立连接,并将编码网络以及解码网络各自产生的特征图做像素级的加法运算。设立连接和像素级叠加的目的是充分结合上下文信息。所述步骤3,分选理想集的方法为通过加权交叉熵损失函数衡量样本的不确定性以及相似度,选择表征性数据降序排列前若干项的样本,作为训练样本输入所述模块二的深度反卷积神经网络中。将通过模块一中多路并行深度反卷积及神经网络运行的结果,根据交叉熵的数值大小挑选出轮廓图相似性较低并且不确定性较高的图像,将这些挑选出的图像作为训练样本输入模块二的网络结构中,微调模块二中的深度反卷积神经网络模型,使其最终输出脑肿瘤图像的分割图。所述模块二中的深度反卷积神经网络,其跳跃结构采用如下损失函数:
其中p是通过所构建的反卷积神经网络得到的预测值,g是标注图像的真实标签,利用基于d系数的loss函数训练整个神经网络。训练模块二中的反卷积神经网络时使用的损失函数,这种基于d系数的loss函数可以有效的解决类别不平衡的问题,同时提高分割准确率。
本发明的工作过程为:首先需要采集脑肿瘤的多模态MRI图像,在此方法中仅使用Flair、T1、T2、T1C四种模态影像,Flair模态MRI图像中包含着最大限度的病变组织信息,T1模态MRI图像在观察解剖结构方面有较好的应用价值,T2模态MRI图像在确定病变范围上有重要的作用,T1C模态MRI图像可以更加明显的观察脑部结构。对Flair、T2两个模态的图像通过N4ITK进行偏场矫正,对T1C、T1两个模态的图像进行对比度调整,除此之外还需要对不同个体之间的图像进行灰度标准化,首先减去整个图像的平均值并除以大脑区域的标准偏差对每个患者的每个模态进行标准化,将所有图像的像素值均调整到[-5,5]区间内,小于-5的像素值赋值-5,大于5的像素值赋值5,最后再进行归一化,将整个图像归一化至[0,1],非脑区域设置为0。最后对已预处理的数据进行平移转换、扭曲增强以及弹性形变,在转换过程中,由于是3d图像,需要以质心坐标点对称的每个体素,每个轴向在做90、180度旋转,与此同时标签图像需要做相同的步骤。
如图2所示,本发明中所构造的基于反卷积神经网络以及多模态MRI图像的脑肿瘤分割框架。如图2所示,分割框架包含两个模块,模块一的主要任务是通过多路并行反卷积神经网络,输出脑肿瘤分割图像轮廓图,筛选出轮廓图相似性较低并且不确定性较高的图像,即表征性强的特征样本,将这些挑选出的图像作为训练样本,训练微调模块二的深度反卷积神经网络模型,使其最终输出脑肿瘤图像的分割图。
如图3所示,分割框架模块一中使用的多路并行反卷积神经网络结构,这是一个深度为4的神经网络,编码网络模块使用3d卷积神经网络以及残差模块,本方法中的残差模块由ResNet中的残差单元修改而来,如图4所示,本方法中的残差单元包括BatchNormalization层以及一个ReLu层,一个3x3x3的卷积以提取图像特征,tropout层以稀疏特征图避免过拟合,之后连接一个3x3x3的卷积提取图像特征。图3所示的反卷积神经网络前端网络包含4个卷积模块,其中,第一个卷积模块首先通过3x3x3的3d卷积层,特征图个数为32,紧跟上述的残差单元,特征图数仍为32,将通过残差单元的特征图与原图进行简单的加法操作,作为第二个卷积模块的输入;第二个卷积模块通过3x3x3的卷积层,特征图个数为64,通过残差单元,特征图数为64,将通过残差单元的特征图与原图进行简单的加法操作,作为第三个卷积模块的输入。第三、四个卷积模块与前述操作相同,特征图数分别为128和256。解码网络模块使用转置卷积以提高图像分辨率,包含3个结构设置相同的单元,其中,操作单元中首先将前序特征图通过3x3x3转置卷积,再与编码网络结构中相对应的特征图做简单的像素级加法操作。最后通过softmax层。
如图5所示,分割框架模块二中使用的反卷积神经网络结构,与模块一中的不同之处在于最后的分割阶段。由于只利用最后一层的特征图做softmax预测结果会存在较为粗糙以及欠分割问题,于是在模块二中的分割网络中,联系前面两层的特征图信息,对三层的特征图做像素级的相加,使特征图充分联系前面几层的特征信息,提高分割正确率。当整体框架训练完毕之后,将测试集输入训练好的模型中,得出脑肿瘤图像的分割预测图像,并使用相应的评价指标对分割结果进行评价,以便更好地改进模型。
本方法最终将两个模块整合在一起,以每一个像素的D系数损失进行优化,具体的训练流程中,每一像素的D系数损失的和作为损失函数,使用随机梯度下降法为优化方法,初始学习率设置为0.001,后面根据loss的下降效果适当降低学习率,当loss下降到一定程度不再下降时结束训练。具体的测试流程中,将已预处理的测试集作为输入图像,通过分割框架中的模块二中的反卷积神经网络对图像进行预测,输出多模态MRI的脑肿瘤分割图像。
以上所述,仅为本发明的优选实施方式,但本发明的保护范围并不局限于此,任何熟悉本领域的技术人员在本发明所揭露的技术范围内,可不经过创造性劳动想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求书所限定的保护范围为准。
Claims (6)
1.基于卷积神经网络的脑肿瘤图像自动分割方法,包括脑肿瘤的多模态MRI图像,其特征在于:还包括如下步骤:
步骤1、采集脑肿瘤的多模态MRI图像并进行图像预处理,获得原始图像集;
步骤2、构建基于多模态MRI图像的脑肿瘤分割的框架;所述框架包括模块一与模块二,模块一包括以3d卷积神经网络、残差单元以及转置卷积为基础构成并行的深度反卷积神经网络,用于输出脑肿瘤分割图像轮廓图;模块二包括在所述模块一中的深度反卷积神经网络结构基础上添加跳跃结构,用于输出脑肿瘤图像的病变区域分割图;
步骤3、将步骤1所述的原始图像集输入所述步骤2中框架的模块一中,再分选出理想集作为所述步骤2中模块二的训练样本,通过若干次迭代训练,获得理想权值,并输出脑肿瘤图像的分割图;
步骤4、测试与评价图像分割结果。
2.根据权利要求1所述的基于卷积神经网络的脑肿瘤图像自动分割方法,其特征在于:所述步骤1,所述多模态MRI图像为四种模态影像Flair、T1、T2、T1C,对Flair、T2两个模态的图像通过N4ITK进行偏场矫正,对T1C、T1两个模态的图像进行对比度调整。
3.根据权利要求1所述的基于卷积神经网络的脑肿瘤图像自动分割方法,其特征在于:所述步骤2中的深度反卷积 神经网络的构建,包含编码网络以及解码网络,在编码网络中,设置4个3d卷积模块,每个模块都包含一个残差单元;在解码网络中,设置3个3d反卷积模块。
4.根据权利要求3所述的基于卷积神经网络的脑肿瘤图像自动分割方法,其特征在于:在所述编码网络以及所述解码网络之间设立连接,并将编码网络以及解码网络各自产生的特征图做像素级的加法运算。
5.根据权利要求1所述的基于卷积神经网络的脑肿瘤图像自动分割方法,其特征在于:所述步骤3,分选理想集的方法为通过加权交叉熵损失函数衡量样本的不确定性以及相似度,选择表征性数据降序排列前若干项的样本,作为训练样本输入所述模块二的深度反卷积神经网络中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810921637.2A CN109035263B (zh) | 2018-08-14 | 2018-08-14 | 基于卷积神经网络的脑肿瘤图像自动分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810921637.2A CN109035263B (zh) | 2018-08-14 | 2018-08-14 | 基于卷积神经网络的脑肿瘤图像自动分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109035263A CN109035263A (zh) | 2018-12-18 |
CN109035263B true CN109035263B (zh) | 2021-10-15 |
Family
ID=64634024
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810921637.2A Active CN109035263B (zh) | 2018-08-14 | 2018-08-14 | 基于卷积神经网络的脑肿瘤图像自动分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109035263B (zh) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109711413B (zh) * | 2018-12-30 | 2023-04-07 | 陕西师范大学 | 基于深度学习的图像语义分割方法 |
CN109528152A (zh) * | 2019-01-22 | 2019-03-29 | 湖南兰茜生物科技有限公司 | 一种新型肺病智能辅助检测方法和系统 |
CN109872328B (zh) * | 2019-01-25 | 2021-05-07 | 腾讯科技(深圳)有限公司 | 一种脑部图像分割方法、装置和存储介质 |
CN110136135B (zh) * | 2019-05-17 | 2021-07-06 | 深圳大学 | 分割方法、装置、设备以及存储介质 |
CN110148195B (zh) * | 2019-05-22 | 2023-05-05 | 山东颐邦齐鲁医生集团管理有限公司 | 一种磁共振图像生成方法、系统、终端及存储介质 |
CA3137030A1 (en) * | 2019-05-31 | 2020-12-03 | Maryam ZIAEEFARD | Method and processing device for training a neural network |
CN110335217A (zh) * | 2019-07-10 | 2019-10-15 | 东北大学 | 一种基于3d残差编码解码的医学图像降噪方法 |
CN112233058A (zh) * | 2019-07-15 | 2021-01-15 | 上海交通大学医学院附属第九人民医院 | 一种头颈部ct影像中淋巴结检测的方法 |
CN110717913B (zh) * | 2019-09-06 | 2022-04-22 | 浪潮电子信息产业股份有限公司 | 一种图像分割方法及装置 |
CN110807463B (zh) * | 2019-09-17 | 2022-10-11 | 珠海格力电器股份有限公司 | 图像分割方法、装置、计算机设备和存储介质 |
CN110853738B (zh) * | 2019-10-12 | 2023-08-18 | 拜耳股份有限公司 | 一种造影剂作用下的成像方法与设备 |
CN111091560A (zh) * | 2019-12-19 | 2020-05-01 | 广州柏视医疗科技有限公司 | 鼻咽癌原发肿瘤图像识别方法及系统 |
CN111445443B (zh) * | 2020-03-11 | 2023-09-01 | 北京深睿博联科技有限责任公司 | 早急性脑梗死检测方法和装置 |
CN111627024A (zh) * | 2020-05-14 | 2020-09-04 | 辽宁工程技术大学 | 一种改进U-net的肾脏肿瘤分割方法 |
CN112037171B (zh) * | 2020-07-30 | 2023-08-15 | 西安电子科技大学 | 基于多模态特征融合的多任务mri脑瘤图像分割方法 |
CN112634192B (zh) * | 2020-09-22 | 2023-10-13 | 广东工业大学 | 一种结合小波变换的级联U-N Net脑肿瘤分割方法 |
EP3996102A1 (en) | 2020-11-06 | 2022-05-11 | Paul Yannick Windisch | Method for detection of neurological abnormalities |
CN112529915B (zh) * | 2020-12-17 | 2022-11-01 | 山东大学 | 一种脑肿瘤图像分割方法及系统 |
CN113496493B (zh) * | 2021-06-11 | 2024-04-16 | 浙江工业大学 | 一种结合多模态信息的脑肿瘤图像分割方法 |
CN113409324B (zh) * | 2021-07-14 | 2023-03-24 | 清华大学深圳国际研究生院 | 一种融合微分几何信息的脑分割方法 |
CN113808613B (zh) * | 2021-08-02 | 2023-12-12 | 中山大学 | 一种轻量化的语音去噪方法、系统、设备及存储介质 |
CN113763390A (zh) * | 2021-08-31 | 2021-12-07 | 山东师范大学 | 基于多任务生成对抗网络的脑肿瘤图像分割及增强系统 |
CN114511581B (zh) * | 2022-04-20 | 2022-07-08 | 四川大学华西医院 | 一种多任务多分辨率协作的食管癌病变分割方法及装置 |
CN115019049B (zh) * | 2022-08-08 | 2022-12-16 | 四川大学 | 基于深度神经网络的骨显像骨病灶分割方法、系统及设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107016681A (zh) * | 2017-03-29 | 2017-08-04 | 浙江师范大学 | 基于全卷积网络的脑部mri肿瘤分割方法 |
CN107886510A (zh) * | 2017-11-27 | 2018-04-06 | 杭州电子科技大学 | 一种基于三维全卷积神经网络的前列腺mri分割方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8280133B2 (en) * | 2008-08-01 | 2012-10-02 | Siemens Aktiengesellschaft | Method and system for brain tumor segmentation in 3D magnetic resonance images |
-
2018
- 2018-08-14 CN CN201810921637.2A patent/CN109035263B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107016681A (zh) * | 2017-03-29 | 2017-08-04 | 浙江师范大学 | 基于全卷积网络的脑部mri肿瘤分割方法 |
CN107886510A (zh) * | 2017-11-27 | 2018-04-06 | 杭州电子科技大学 | 一种基于三维全卷积神经网络的前列腺mri分割方法 |
Non-Patent Citations (2)
Title |
---|
《Fully Convolutional Deep Residual Neural Networks for Brain Tumor Segmentation》;Peter D. Chang;《BrainLes 2016: Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries》;20170412;第108-118页 * |
《基于多模态MRI图像的脑肿瘤分割方法》;刘瑞;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》;20180215(第2期);第E072-1356页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109035263A (zh) | 2018-12-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109035263B (zh) | 基于卷积神经网络的脑肿瘤图像自动分割方法 | |
CN109242860B (zh) | 基于深度学习及权重空间集成的脑肿瘤图像分割方法 | |
CN111488914B (zh) | 一种基于多任务学习的阿尔茨海默症分类及预测系统 | |
CN111784671B (zh) | 基于多尺度深度学习的病理图像病灶区域检测方法 | |
CN111047589B (zh) | 一种注意力增强的脑肿瘤辅助智能检测识别方法 | |
CN110236543B (zh) | 基于深度学习的阿尔茨海默病多分类诊断系统 | |
CN110895817A (zh) | 一种基于影像组学分析的mri影像肝纤维化自动分级方法 | |
CN111951288B (zh) | 一种基于深度学习的皮肤癌病变分割方法 | |
CN112767417B (zh) | 一种基于级联U-Net网络的多模态图像分割方法 | |
CN108109140A (zh) | 基于深度学习的低级别脑胶质瘤柠檬酸脱氢酶无损预测方法及系统 | |
CN107016395A (zh) | 基于稀疏表示体系的原发性脑部淋巴瘤和胶质母细胞瘤的鉴别方法 | |
Coupé et al. | LesionBrain: an online tool for white matter lesion segmentation | |
CN113177943B (zh) | 一种脑卒中ct影像分割方法 | |
CN106096636A (zh) | 一种基于神经影像的进展型轻度认知功能障碍识别方法 | |
CN110619635B (zh) | 基于深度学习的肝细胞癌磁共振图像分割系统和方法 | |
CN113496495B (zh) | 可缺失输入的医学图像分割模型建立方法及分割方法 | |
Jung et al. | Enhancement of perivascular spaces using densely connected deep convolutional neural network | |
CN110853048A (zh) | 基于粗、精训练的mri图像分割方法、装置和存储介质 | |
JP2022547722A (ja) | 細胞検出およびセグメンテーションのための弱教師ありマルチタスク学習 | |
CN114581701A (zh) | 一种t2加权影像特征生成动态增强影像特征的方法 | |
CN112785603A (zh) | 一种基于Unet和超像素的脑组织分割方法 | |
CN117218453B (zh) | 一种不完备多模态医学影像学习方法 | |
Yang et al. | Diagnosis of Parkinson’s disease based on 3D ResNet: The frontal lobe is crucial | |
CN111784652B (zh) | 基于强化学习多尺度神经网络的mri分割方法 | |
CN116385467B (zh) | 基于自监督学习的脑血管分割方法及相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |