CN109035263A - 基于卷积神经网络的脑肿瘤图像自动分割方法 - Google Patents

基于卷积神经网络的脑肿瘤图像自动分割方法 Download PDF

Info

Publication number
CN109035263A
CN109035263A CN201810921637.2A CN201810921637A CN109035263A CN 109035263 A CN109035263 A CN 109035263A CN 201810921637 A CN201810921637 A CN 201810921637A CN 109035263 A CN109035263 A CN 109035263A
Authority
CN
China
Prior art keywords
image
module
brain tumor
segmentation
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810921637.2A
Other languages
English (en)
Other versions
CN109035263B (zh
Inventor
程建
郭桦
苏炎洲
高银星
许轲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201810921637.2A priority Critical patent/CN109035263B/zh
Publication of CN109035263A publication Critical patent/CN109035263A/zh
Application granted granted Critical
Publication of CN109035263B publication Critical patent/CN109035263B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30016Brain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了基于卷积神经网络的脑肿瘤图像自动分割方法,包括如下步骤:采集脑肿瘤的多模态MRI图像并进行图像预处理,获得原始图像集;构建基于多模态MRI图像的脑肿瘤分割的框架;所述框架包括模块一与模块二,模块一包括以3d卷积神经网络、残差单元以及转置卷积为基础构成并行的深度反卷积神经网络;模块二包括在所述模块一中的深度反卷积神经网络结构基础上添加跳跃结构;通过若干次迭代训练,获得理想权值,并输出脑肿瘤图像的分割图;测试与评价图像分割结果。本发明有效的解决脑肿瘤分割图像分割准确率低的问题;可以提升肿瘤的可识别性,使图像预处理操作更加便捷;在分割模块中使用基于d系数的loss函数可以有效的解决类别不平衡的问题。

Description

基于卷积神经网络的脑肿瘤图像自动分割方法
技术领域
本发明涉及医学图像分割和深度学习领域,特别涉及基于卷积神经网络的脑肿瘤图像自动分割方法。
背景技术
医学图像分割是图像分析处理中的一项关键技术,根据图像内区域的相似性以及特异性将感兴趣的有关组织分离出来,对于临床诊断和治疗过程具有重要意义,是一切后续工作的主要前提,分割效果的好坏程度会直接影响到信息处理工作的顺利进行。关于脑肿瘤的医学图像分割作为图像分割领域的一个重要分支,脑肿瘤的分割技术在脑肿瘤的临床诊断和治疗过程中起着重要的作用,通过对脑肿瘤的分割结果,医生可以测量肿瘤的大小位置、制定手术计划、病情跟踪分析等等,并且随着MRI(Magnetic Resonance Imaging)技术日渐应用广泛,脑肿瘤的检出率大大增加。
多模态MRI图像即是指利用不同的MRI脉冲序列对同一人体进行磁共振成像,由于成像条件有所不同所以得到的图像就有一定的区别,这样的一组图像被称为多模态MRI图像(Flair、T1、T2、T1C等模态),其中Flair模态MRI图像中包含着最大限度的病变组织信息,T1模态MRI图像可以突出组织T1弛豫(纵向弛豫)差别,在观察解剖结构方面有较好的应用价值,T2模态MRI图像在确定病变范围上有重要的作用,T1C模态MRI图像是在T1WI模态的基础上增强对比度的图像,可以更加明显的观察脑部结构,多模态MRI图像可以显示更多的信息,相对于单模态MRI图像来讲,利用多模态MRI图像对病灶的准确提取分割更有成效。
近年来,脑肿瘤图像分割技术得到了快速的发展,与此同时,深度学习发展迅猛,目前绝大多数自然场景的分割方法基于卷积神经网络,卷积神经网络具有提取图像特征的优点,被广泛应用于目标分类以及识别任务中,随着技术迭新,全卷积网络图像语义分割得到广泛应用,使得分割任务能够端到端地从原始图像中预测出稠密的分割结果。基于MRI图像的脑肿瘤分割,随着深度学习技术的引入,传统的分割方法产生越来越难以适应,存在脑肿瘤图像分割粗糙、类别不平衡以及图像预处理时间过长的技术问题。
发明内容
本发明的目的在于:提供了一种基于卷积神经网络的脑肿瘤图像自动分割方法,解决了现有技术中脑肿瘤图像分割粗糙、类别不平衡以及图像预处理时间过长的技术问题。
本发明采用的技术方案如下:
基于卷积神经网络的脑肿瘤图像自动分割方法,包括脑肿瘤的多模态MRI图像,还包括如下步骤:
步骤1、采集脑肿瘤的多模态MRI图像并进行图像预处理,获得原始图像集;
步骤2、构建基于多模态MRI图像的脑肿瘤分割的框架;所述框架包括模块一与模块二,模块一包括以3d卷积神经网络、残差单元以及转置卷积为基础构成并行的深度反卷积神经网络,用于输出脑肿瘤分割图像轮廓图;模块二包括在所述模块一中的深度反卷积神经网络结构基础上添加跳跃结构,用于输出脑肿瘤图像的病变区域分割图;
步骤3、将步骤1所述的原始图像集输入所述步骤2中框架的模块一中,再分选出理想集作为所述步骤2中模块二的训练样本,通过若干次迭代训练,获得理想权值,并输出脑肿瘤图像的分割图;
步骤4、测试与评价图像分割结果。
所述步骤1,采集脑肿瘤的多模态MRI图像,对采集到的图像进行预处理操作,之后对不同个体的图像进行灰度标准化对所得数据进行数据增强,充分利用各个模态的优势完成脑肿瘤分割任务;
所述步骤2,所述模块一主要任务是输出脑肿瘤分割图像轮廓图;所述模块二增加跳跃结构的目的在于以提高分割准确率,其任务还包括输出脑肿瘤图像的病变区域分割图;
所述步骤3,多模态多通道的MRI图像作为数据输入,通过模块一中的多路并行反卷积神经网络,根据分割图像轮廓图结果,挑选出相似性较低并且不确定性较高的样本,将这些挑选出的样本作为训练样本,微调模块二中的深度反卷积神经网络模型,使其最终输出脑肿瘤图像的分割图。
所述步骤4,测试并改进结果,在两个模块的深度反卷积神经网络模型训练完成之后,将测试集输入训练好的模型,得出脑肿瘤图像的分割预测图像,并使用相应的评价指标对分割结果进行评价,以便更好地改进模型。当整体框架训练完毕之后,将测试集输入训练好的模型中,得出脑肿瘤图像的分割预测图像,并使用相应的评价指标对分割结果进行评价,以便更好地改进模型。构建的基于多模态MRI图像的脑肿瘤分割框架可以实现对肿瘤及其内部结构端到端的分割,有效的解决脑肿瘤分割图像分割准确率低的问题,最终特征良好的分割结果图。
进一步地,所述步骤1,所述多模态MRI图像为四种模态影像Flair、T1、T2、T1C,对Flair、T2两个模态的图像通过N4ITK进行偏场矫正,对T1C、T1两个模态的图像进行对比度调整。对不同个体之间的图像进行灰度标准化:首先减去整个图像的平均值并除以大脑区域的标准偏差,将所有图像的像素值调整到[-5,5]区间内,将整个图像归一化至[0,1],非脑区域设置为0。最后对已预处理的数据进行平移转换、扭曲增强以及弹性形变。详细过程为:首先需要采集脑肿瘤的多模态MRI图像,在此方法中仅使用Flair、T1、T2、T1C四种模态影像,Flair模态MRI图像中包含着最大限度的病变组织信息,T1模态MRI图像在观察解剖结构方面有较好的应用价值,T2模态MRI图像在确定病变范围上有重要的作用,T1C模态MRI图像可以更加明显的观察脑部结构。对Flair、T2两个模态的图像通过N4ITK进行偏场矫正,对T1C、T1两个模态的图像进行对比度调整,除此之外还需要对不同个体之间的图像进行灰度标准化,首先减去整个图像的平均值并除以大脑区域的标准偏差以对每个患者的每个模态进行标准化,将所有图像的像素值均调整到[-5,5]区间内,小于-5的像素值赋值-5,大于5的像素值赋值5,最后再进行归一化,将整个图像归一化至[0,1],非脑区域设置为0。最后对已预处理的数据进行平移转换、扭曲增强以及弹性形变,在转换过程中,由于是3d图像,需要以质心坐标点对称的每个体素,每个轴向再做90、180度旋转,与此同时标签图像需要做相同的步骤。引入多模态MRI图像的优势,可以提升肿瘤的可识别性。
进一步地,所述步骤2中的深度神经网络的构建,包含编码网络以及解码网络,在编码网络中,设置4个3d卷积模块,每个模块都包含一个残差单元;在解码网络中,设置3个3d反卷积模块。步骤2中构建的基于多模态MRI图像的脑肿瘤分割的框架,多模态多通道的MRI图像作为数据输入,通过以两个深度反卷积神经网络模块构成的分割框架,模块一的主要任务是对输入图像直接进行测试,输出脑肿瘤分割图像轮廓图。模块一中的深度反卷积神经网络结构包括编码网络以及解码网络,在编码网络中,设置4个3d卷积模块,每个模块都包含一个残差单元以提高网络性能;在解码网络中,设置3个3d反卷积模块,在反卷积模块中使用转置卷积以增大图像分辨率,使最后的特征图进行像素级分割成为可能。模块二中的深度反卷积神经网络结构与模块一的区别仅在于最后的分割部分,为了使得分割正确率更高以及尽可能的还原上下文信息,将倒数两层特征图反卷积操作后的结果进行像素级的相加,最后通过softmax函数与真值分割图进行对比。框架内部使用3d卷积模块,可使图像的处理环节时间大大缩短、图像预处理操作更加便捷。
进一步地,在所述编码网络以及所述解码网络之间设立连接,并将编码网络以及解码网络各自产生的特征图做像素级的加法运算。设立连接和像素级叠加的目的是充分结合上下文信息。
进一步地,所述步骤3,分选理想集的方法为通过加权交叉熵损失函数衡量样本的不确定性以及相似度,选择表征性数据降序排列前若干项的样本,作为训练样本输入所述模块二的深度反卷积神经网络中。将通过模块一中多路并行深度反卷积及神经网络运行的结果,根据交叉熵的数值大小挑选出轮廓图相似性较低并且不确定性较高的图像,将这些挑选出的图像作为训练样本输入模块二的网络结构中,微调模块二中的深度反卷积神经网络模型,使其最终输出脑肿瘤图像的分割图。
进一步地,所述模块二中的深度反卷积神经网络,其跳跃结构采用如下损失函数:
其中p是通过所构建的反卷积神经网络得到的预测值,g是标注图像的真实标签,利用基于d系数的loss函数训练整个神经网络。训练模块二中的反卷积神经网络时使用的损失函数,这种基于d系数的loss函数可以有效的解决类别不平衡的问题,同时提高分割准确率。
综上所述,由于采用了上述技术方案,本发明的有益效果是:
1、本发明基于卷积神经网络的脑肿瘤图像自动分割方法,构建的基于多模态MRI图像的脑肿瘤分割框架可以实现对肿瘤及其内部结构端到端的分割,有效的解决脑肿瘤分割图像分割准确率低的问题,最终特征良好的分割结果图;
2、本发明基于卷积神经网络的脑肿瘤图像自动分割方法,引入多模态MRI图像的优势,可以提升肿瘤的可识别性,框架内部使用3d卷积模块,可使图像的处理环节时间大大缩短、图像预处理操作更加便捷;
3、本发明基于卷积神经网络的脑肿瘤图像自动分割方法,在分割模块中使用基于d系数的loss函数可以有效的解决类别不平衡的问题。
附图说明
本发明将通过例子并参照附图的方式说明,其中:
图1为本发明所述的基于卷积神经网络的脑肿瘤图像自动分割方法的训练测试流程图;
图2为本发明所述的基于深度神经网络和多模态MRI图像的脑肿瘤分割方法的分割框架结构图;
图3为本发明所述的脑肿瘤分割框架模块一中多路并行深度反卷积神经网络模型单一支路结构图;
图4为本发明所述的深度神经网络模型中使用的残差单元结构图;
图5为本发明所述的脑肿瘤分割框架模块二中深度反卷积神经网络模型结构图。
具体实施方式
本说明书中公开的所有特征,或公开的所有方法或过程中的步骤,除了互相排斥的特征和/或步骤以外,均可以以任何方式组合。
下面结合图1、图2至图5对本发明作详细说明。
实施例1
本发明基于卷积神经网络的脑肿瘤图像自动分割方法,包括脑肿瘤的多模态MRI图像,还包括如下步骤:
步骤1、采集脑肿瘤的多模态MRI图像并进行图像预处理,获得原始图像集;
步骤2、构建基于多模态MRI图像的脑肿瘤分割的框架;所述框架包括模块一与模块二,模块一包括以3d卷积神经网络、残差单元以及转置卷积为基础构成并行的深度反卷积神经网络,用于输出脑肿瘤分割图像轮廓图;模块二包括在所述模块一中的深度反卷积神经网络结构基础上添加跳跃结构,用于输出脑肿瘤图像的病变区域分割图;
步骤3、将步骤1所述的原始图像集输入所述步骤2中框架的模块一中,再分选出理想集作为所述步骤2中模块二的训练样本,通过若干次迭代训练,获得理想权值,并输出脑肿瘤图像的分割图;
步骤4、测试与评价图像分割结果。
所述步骤1,采集脑肿瘤的多模态MRI图像,对采集到的图像进行预处理操作,之后对不同个体的图像进行灰度标准化对所得数据进行数据增强,充分利用各个模态的优势完成脑肿瘤分割任务;
所述步骤2,所述模块一主要任务是输出脑肿瘤分割图像轮廓图;所述模块二增加跳跃结构的目的在于以提高分割准确率,其任务还包括输出脑肿瘤图像的病变区域分割图;
所述步骤3,多模态多通道的MRI图像作为数据输入,通过模块一中的多路并行反卷积神经网络,根据分割图像轮廓图结果,挑选出相似性较低并且不确定性较高的样本,将这些挑选出的样本作为训练样本,微调模块二中的深度反卷积神经网络模型,使其最终输出脑肿瘤图像的分割图。
所述步骤4,测试并改进结果,在两个模块的深度反卷积神经网络模型训练完成之后,将测试集输入训练好的模型,得出脑肿瘤图像的分割预测图像,并使用相应的评价指标对分割结果进行评价,以便更好地改进模型。当整体框架训练完毕之后,将测试集输入训练好的模型中,得出脑肿瘤图像的分割预测图像,并使用相应的评价指标对分割结果进行评价,以便更好地改进模型。构建的基于多模态MRI图像的脑肿瘤分割框架可以实现对肿瘤及其内部结构端到端的分割,有效的解决脑肿瘤分割图像分割准确率低的问题,最终特征良好的分割结果图。
如图1所示,本发明提出的基于深度神经网络和多模态MRI图像的脑肿瘤分割方法的训练以及测试流程:采集多模态MRI图像的脑肿瘤图像数据集,对数据集进行预处理,构建基于反卷积神经网络以及多模态MRI图像的脑肿瘤分割框架,训练深度神经网络。测试流程只需将测试集图像输入到已训练的反卷积神经网络中即可输出测试图像。
实施例2
本实施例在实施例1的基础上做出了如下进一步限定:所述步骤1,所述多模态MRI图像为四种模态影像Flair、T1、T2、T1C,对Flair、T2两个模态的图像通过N4ITK进行偏场矫正,对T1C、T1两个模态的图像进行对比度调整。对不同个体之间的图像进行灰度标准化:首先减去整个图像的平均值并除以大脑区域的标准偏差,将所有图像的像素值调整到[-5,5]区间内,将整个图像归一化至[0,1],非脑区域设置为0。最后对已预处理的数据进行平移转换、扭曲增强以及弹性形变。详细过程为:首先需要采集脑肿瘤的多模态MRI图像,在此方法中仅使用Flair、T1、T2、T1C四种模态影像,Flair模态MRI图像中包含着最大限度的病变组织信息,T1模态MRI图像在观察解剖结构方面有较好的应用价值,T2模态MRI图像在确定病变范围上有重要的作用,T1C模态MRI图像可以更加明显的观察脑部结构。对Flair、T2两个模态的图像通过N4ITK进行偏场矫正,对T1C、T1两个模态的图像进行对比度调整,除此之外还需要对不同个体之间的图像进行灰度标准化,首先减去整个图像的平均值并除以大脑区域的标准偏差以对每个患者的每个模态进行标准化,将所有图像的像素值均调整到[-5,5]区间内,小于-5的像素值赋值-5,大于5的像素值赋值5,最后再进行归一化,将整个图像归一化至[0,1],非脑区域设置为0。最后对已预处理的数据进行平移转换、扭曲增强以及弹性形变,在转换过程中,由于是3d图像,需要以质心坐标点对称的每个体素,每个轴向再做90、180度旋转,与此同时标签图像需要做相同的步骤。引入多模态MRI图像的优势,可以提升肿瘤的可识别性。所述步骤2中的深度神经网络的构建,包含编码网络以及解码网络,在编码网络中,设置4个3d卷积模块,每个模块都包含一个残差单元;在解码网络中,设置3个3d反卷积模块。步骤2中构建的基于多模态MRI图像的脑肿瘤分割的框架,多模态多通道的MRI图像作为数据输入,通过以两个深度反卷积神经网络模块构成的分割框架,模块一的主要任务是对输入图像直接进行测试,输出脑肿瘤分割图像轮廓图。模块一中的深度反卷积神经网络结构包括编码网络以及解码网络,在编码网络中,设置4个3d卷积模块,每个模块都包含一个残差单元以提高网络性能;在解码网络中,设置3个3d反卷积模块,在反卷积模块中使用转置卷积以增大图像分辨率,使最后的特征图进行像素级分割成为可能。模块二中的深度反卷积神经网络结构与模块一的区别仅在于最后的分割部分,为了使得分割正确率更高以及尽可能的还原上下文信息,将倒数两层特征图反卷积操作后的结果进行像素级的相加,最后通过softmax函数与真值分割图进行对比。框架内部使用3d卷积模块,可使图像的处理环节时间大大缩短、图像预处理操作更加便捷。在所述编码网络以及所述解码网络之间设立连接,并将编码网络以及解码网络各自产生的特征图做像素级的加法运算。设立连接和像素级叠加的目的是充分结合上下文信息。所述步骤3,分选理想集的方法为通过加权交叉熵损失函数衡量样本的不确定性以及相似度,选择表征性数据降序排列前若干项的样本,作为训练样本输入所述模块二的深度反卷积神经网络中。将通过模块一中多路并行深度反卷积及神经网络运行的结果,根据交叉熵的数值大小挑选出轮廓图相似性较低并且不确定性较高的图像,将这些挑选出的图像作为训练样本输入模块二的网络结构中,微调模块二中的深度反卷积神经网络模型,使其最终输出脑肿瘤图像的分割图。所述模块二中的深度反卷积神经网络,其跳跃结构采用如下损失函数:
其中p是通过所构建的反卷积神经网络得到的预测值,g是标注图像的真实标签,利用基于d系数的loss函数训练整个神经网络。训练模块二中的反卷积神经网络时使用的损失函数,这种基于d系数的loss函数可以有效的解决类别不平衡的问题,同时提高分割准确率。
本发明的工作过程为:首先需要采集脑肿瘤的多模态MRI图像,在此方法中仅使用Flair、T1、T2、T1C四种模态影像,Flair模态MRI图像中包含着最大限度的病变组织信息,T1模态MRI图像在观察解剖结构方面有较好的应用价值,T2模态MRI图像在确定病变范围上有重要的作用,T1C模态MRI图像可以更加明显的观察脑部结构。对Flair、T2两个模态的图像通过N4ITK进行偏场矫正,对T1C、T1两个模态的图像进行对比度调整,除此之外还需要对不同个体之间的图像进行灰度标准化,首先减去整个图像的平均值并除以大脑区域的标准偏差对每个患者的每个模态进行标准化,将所有图像的像素值均调整到[-5,5]区间内,小于-5的像素值赋值-5,大于5的像素值赋值5,最后再进行归一化,将整个图像归一化至[0,1],非脑区域设置为0。最后对已预处理的数据进行平移转换、扭曲增强以及弹性形变,在转换过程中,由于是3d图像,需要以质心坐标点对称的每个体素,每个轴向在做90、180度旋转,与此同时标签图像需要做相同的步骤。
如图2所示,本发明中所构造的基于反卷积神经网络以及多模态MRI图像的脑肿瘤分割框架。如图2所示,分割框架包含两个模块,模块一的主要任务是通过多路并行反卷积神经网络,输出脑肿瘤分割图像轮廓图,筛选出轮廓图相似性较低并且不确定性较高的图像,即表征性强的特征样本,将这些挑选出的图像作为训练样本,训练微调模块二的深度反卷积神经网络模型,使其最终输出脑肿瘤图像的分割图。
如图3所示,分割框架模块一中使用的多路并行反卷积神经网络结构,这是一个深度为4的神经网络,编码网络模块使用3d卷积神经网络以及残差模块,本方法中的残差模块由ResNet中的残差单元修改而来,如图4所示,本方法中的残差单元包括BatchNormalization层以及一个ReLu层,一个3x3x3的卷积以提取图像特征,tropout层以稀疏特征图避免过拟合,之后连接一个3x3x3的卷积提取图像特征。图3所示的反卷积神经网络前端网络包含4个卷积模块,其中,第一个卷积模块首先通过3x3x3的3d卷积层,特征图个数为32,紧跟上述的残差单元,特征图数仍为32,将通过残差单元的特征图与原图进行简单的加法操作,作为第二个卷积模块的输入;第二个卷积模块通过3x3x3的卷积层,特征图个数为64,通过残差单元,特征图数为64,将通过残差单元的特征图与原图进行简单的加法操作,作为第三个卷积模块的输入。第三、四个卷积模块与前述操作相同,特征图数分别为128和256。解码网络模块使用转置卷积以提高图像分辨率,包含3个结构设置相同的单元,其中,操作单元中首先将前序特征图通过3x3x3转置卷积,再与编码网络结构中相对应的特征图做简单的像素级加法操作。最后通过softmax层。
如图5所示,分割框架模块二中使用的反卷积神经网络结构,与模块一中的不同之处在于最后的分割阶段。由于只利用最后一层的特征图做softmax预测结果会存在较为粗糙以及欠分割问题,于是在模块二中的分割网络中,联系前面两层的特征图信息,对三层的特征图做像素级的相加,使特征图充分联系前面几层的特征信息,提高分割正确率。当整体框架训练完毕之后,将测试集输入训练好的模型中,得出脑肿瘤图像的分割预测图像,并使用相应的评价指标对分割结果进行评价,以便更好地改进模型。
本方法最终将两个模块整合在一起,以每一个像素的D系数损失进行优化,具体的训练流程中,每一像素的D系数损失的和作为损失函数,使用随机梯度下降法为优化方法,初始学习率设置为0.001,后面根据loss的下降效果适当降低学习率,当loss下降到一定程度不再下降时结束训练。具体的测试流程中,将已预处理的测试集作为输入图像,通过分割框架中的模块二中的反卷积神经网络对图像进行预测,输出多模态MRI的脑肿瘤分割图像。
以上所述,仅为本发明的优选实施方式,但本发明的保护范围并不局限于此,任何熟悉本领域的技术人员在本发明所揭露的技术范围内,可不经过创造性劳动想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求书所限定的保护范围为准。

Claims (6)

1.基于卷积神经网络的脑肿瘤图像自动分割方法,包括脑肿瘤的多模态MRI图像,其特征在于:还包括如下步骤:
步骤1、采集脑肿瘤的多模态MRI图像并进行图像预处理,获得原始图像集;
步骤2、构建基于多模态MRI图像的脑肿瘤分割的框架;所述框架包括模块一与模块二,模块一包括以3d卷积神经网络、残差单元以及转置卷积为基础构成并行的深度反卷积神经网络,用于输出脑肿瘤分割图像轮廓图;模块二包括在所述模块一中的深度反卷积神经网络结构基础上添加跳跃结构,用于输出脑肿瘤图像的病变区域分割图;
步骤3、将步骤1所述的原始图像集输入所述步骤2中框架的模块一中,再分选出理想集作为所述步骤2中模块二的训练样本,通过若干次迭代训练,获得理想权值,并输出脑肿瘤图像的分割图;
步骤4、测试与评价图像分割结果。
2.根据权利要求1所述的基于卷积神经网络的脑肿瘤图像自动分割方法,其特征在于:所述步骤1,所述多模态MRI图像为四种模态影像Flair、T1、T2、T1C,对Flair、T2两个模态的图像通过N4ITK进行偏场矫正,对T1C、T1两个模态的图像进行对比度调整。
3.根据权利要求1所述的基于卷积神经网络的脑肿瘤图像自动分割方法,其特征在于:所述步骤2中的深度神经网络的构建,包含编码网络以及解码网络,在编码网络中,设置4个3d卷积模块,每个模块都包含一个残差单元;在解码网络中,设置3个3d反卷积模块。
4.根据权利要求3所述的基于卷积神经网络的脑肿瘤图像自动分割方法,其特征在于:在所述编码网络以及所述解码网络之间设立连接,并将编码网络以及解码网络各自产生的特征图做像素级的加法运算。
5.根据权利要求1所述的基于卷积神经网络的脑肿瘤图像自动分割方法,其特征在于:所述步骤3,分选理想集的方法为通过加权交叉熵损失函数衡量样本的不确定性以及相似度,选择表征性数据降序排列前若干项的样本,作为训练样本输入所述模块二的深度反卷积神经网络中。
6.根据权利要求1或5所述的基于卷积神经网络的脑肿瘤图像自动分割方法,其特征在于:所述模块二中的深度反卷积神经网络,其跳跃结构采用如下损失函数:
其中p是通过所构建的反卷积神经网络得到的预测值,g是标注图像的真实标签,利用基于d系数的loss函数训练整个神经网络。
CN201810921637.2A 2018-08-14 2018-08-14 基于卷积神经网络的脑肿瘤图像自动分割方法 Active CN109035263B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810921637.2A CN109035263B (zh) 2018-08-14 2018-08-14 基于卷积神经网络的脑肿瘤图像自动分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810921637.2A CN109035263B (zh) 2018-08-14 2018-08-14 基于卷积神经网络的脑肿瘤图像自动分割方法

Publications (2)

Publication Number Publication Date
CN109035263A true CN109035263A (zh) 2018-12-18
CN109035263B CN109035263B (zh) 2021-10-15

Family

ID=64634024

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810921637.2A Active CN109035263B (zh) 2018-08-14 2018-08-14 基于卷积神经网络的脑肿瘤图像自动分割方法

Country Status (1)

Country Link
CN (1) CN109035263B (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109528152A (zh) * 2019-01-22 2019-03-29 湖南兰茜生物科技有限公司 一种新型肺病智能辅助检测方法和系统
CN109711413A (zh) * 2018-12-30 2019-05-03 陕西师范大学 基于深度学习的图像语义分割方法
CN109872328A (zh) * 2019-01-25 2019-06-11 腾讯科技(深圳)有限公司 一种脑部图像分割方法、装置和存储介质
CN110136135A (zh) * 2019-05-17 2019-08-16 深圳大学 分割方法、装置、设备以及存储介质
CN110148195A (zh) * 2019-05-22 2019-08-20 山东颐邦齐鲁医生集团管理有限公司 一种磁共振图像生成方法、系统、终端及存储介质
CN110335217A (zh) * 2019-07-10 2019-10-15 东北大学 一种基于3d残差编码解码的医学图像降噪方法
CN110717913A (zh) * 2019-09-06 2020-01-21 浪潮电子信息产业股份有限公司 一种图像分割方法及装置
CN110807463A (zh) * 2019-09-17 2020-02-18 珠海格力电器股份有限公司 图像分割方法、装置、计算机设备和存储介质
CN110853738A (zh) * 2019-10-12 2020-02-28 北京量健智能科技有限公司 一种造影剂作用下的成像方法与设备
CN111091560A (zh) * 2019-12-19 2020-05-01 广州柏视医疗科技有限公司 鼻咽癌原发肿瘤图像识别方法及系统
CN111445443A (zh) * 2020-03-11 2020-07-24 北京深睿博联科技有限责任公司 早急性脑梗死检测方法和装置
CN111627024A (zh) * 2020-05-14 2020-09-04 辽宁工程技术大学 一种改进U-net的肾脏肿瘤分割方法
WO2020240477A1 (en) * 2019-05-31 2020-12-03 Thales Canada Inc. Method and processing device for training a neural network
CN112037171A (zh) * 2020-07-30 2020-12-04 西安电子科技大学 基于多模态特征融合的多任务mri脑瘤图像分割方法
CN112233058A (zh) * 2019-07-15 2021-01-15 上海交通大学医学院附属第九人民医院 一种头颈部ct影像中淋巴结检测的方法
CN112529915A (zh) * 2020-12-17 2021-03-19 山东大学 一种脑肿瘤图像分割方法及系统
CN112634192A (zh) * 2020-09-22 2021-04-09 广东工业大学 一种结合小波变换的级联U-N Net脑肿瘤分割方法
CN113409324A (zh) * 2021-07-14 2021-09-17 清华大学深圳国际研究生院 一种融合微分几何信息的脑分割方法
CN113496493A (zh) * 2021-06-11 2021-10-12 浙江工业大学 一种结合多模态信息的脑肿瘤图像分割方法
CN113763390A (zh) * 2021-08-31 2021-12-07 山东师范大学 基于多任务生成对抗网络的脑肿瘤图像分割及增强系统
CN113808613A (zh) * 2021-08-02 2021-12-17 中山大学 一种轻量化的语音去噪方法、系统、设备及存储介质
EP3996102A1 (en) 2020-11-06 2022-05-11 Paul Yannick Windisch Method for detection of neurological abnormalities
CN114511581A (zh) * 2022-04-20 2022-05-17 四川大学华西医院 一种多任务多分辨率协作的食管癌病变分割方法及装置
CN115019049A (zh) * 2022-08-08 2022-09-06 四川大学 基于深度神经网络的骨显像骨病灶分割方法、系统及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100027865A1 (en) * 2008-08-01 2010-02-04 Siemens Corporate Research, Inc. Method and System for Brain Tumor Segmentation in 3D Magnetic Resonance Images
CN107016681A (zh) * 2017-03-29 2017-08-04 浙江师范大学 基于全卷积网络的脑部mri肿瘤分割方法
CN107886510A (zh) * 2017-11-27 2018-04-06 杭州电子科技大学 一种基于三维全卷积神经网络的前列腺mri分割方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100027865A1 (en) * 2008-08-01 2010-02-04 Siemens Corporate Research, Inc. Method and System for Brain Tumor Segmentation in 3D Magnetic Resonance Images
CN107016681A (zh) * 2017-03-29 2017-08-04 浙江师范大学 基于全卷积网络的脑部mri肿瘤分割方法
CN107886510A (zh) * 2017-11-27 2018-04-06 杭州电子科技大学 一种基于三维全卷积神经网络的前列腺mri分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PETER D. CHANG: "《Fully Convolutional Deep Residual Neural Networks for Brain Tumor Segmentation》", 《BRAINLES 2016: BRAINLESION: GLIOMA, MULTIPLE SCLEROSIS, STROKE AND TRAUMATIC BRAIN INJURIES》 *
刘瑞: "《基于多模态MRI图像的脑肿瘤分割方法》", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 *

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711413A (zh) * 2018-12-30 2019-05-03 陕西师范大学 基于深度学习的图像语义分割方法
CN109711413B (zh) * 2018-12-30 2023-04-07 陕西师范大学 基于深度学习的图像语义分割方法
CN109528152A (zh) * 2019-01-22 2019-03-29 湖南兰茜生物科技有限公司 一种新型肺病智能辅助检测方法和系统
CN109872328A (zh) * 2019-01-25 2019-06-11 腾讯科技(深圳)有限公司 一种脑部图像分割方法、装置和存储介质
CN110136135A (zh) * 2019-05-17 2019-08-16 深圳大学 分割方法、装置、设备以及存储介质
CN110136135B (zh) * 2019-05-17 2021-07-06 深圳大学 分割方法、装置、设备以及存储介质
CN110148195A (zh) * 2019-05-22 2019-08-20 山东颐邦齐鲁医生集团管理有限公司 一种磁共振图像生成方法、系统、终端及存储介质
WO2020240477A1 (en) * 2019-05-31 2020-12-03 Thales Canada Inc. Method and processing device for training a neural network
CN110335217A (zh) * 2019-07-10 2019-10-15 东北大学 一种基于3d残差编码解码的医学图像降噪方法
CN112233058A (zh) * 2019-07-15 2021-01-15 上海交通大学医学院附属第九人民医院 一种头颈部ct影像中淋巴结检测的方法
CN110717913A (zh) * 2019-09-06 2020-01-21 浪潮电子信息产业股份有限公司 一种图像分割方法及装置
CN110717913B (zh) * 2019-09-06 2022-04-22 浪潮电子信息产业股份有限公司 一种图像分割方法及装置
WO2021042641A1 (zh) * 2019-09-06 2021-03-11 浪潮电子信息产业股份有限公司 一种图像分割方法及装置
CN110807463A (zh) * 2019-09-17 2020-02-18 珠海格力电器股份有限公司 图像分割方法、装置、计算机设备和存储介质
CN110853738A (zh) * 2019-10-12 2020-02-28 北京量健智能科技有限公司 一种造影剂作用下的成像方法与设备
CN110853738B (zh) * 2019-10-12 2023-08-18 拜耳股份有限公司 一种造影剂作用下的成像方法与设备
CN111091560A (zh) * 2019-12-19 2020-05-01 广州柏视医疗科技有限公司 鼻咽癌原发肿瘤图像识别方法及系统
CN111445443A (zh) * 2020-03-11 2020-07-24 北京深睿博联科技有限责任公司 早急性脑梗死检测方法和装置
CN111445443B (zh) * 2020-03-11 2023-09-01 北京深睿博联科技有限责任公司 早急性脑梗死检测方法和装置
CN111627024A (zh) * 2020-05-14 2020-09-04 辽宁工程技术大学 一种改进U-net的肾脏肿瘤分割方法
CN112037171A (zh) * 2020-07-30 2020-12-04 西安电子科技大学 基于多模态特征融合的多任务mri脑瘤图像分割方法
CN112037171B (zh) * 2020-07-30 2023-08-15 西安电子科技大学 基于多模态特征融合的多任务mri脑瘤图像分割方法
CN112634192A (zh) * 2020-09-22 2021-04-09 广东工业大学 一种结合小波变换的级联U-N Net脑肿瘤分割方法
CN112634192B (zh) * 2020-09-22 2023-10-13 广东工业大学 一种结合小波变换的级联U-N Net脑肿瘤分割方法
EP3996102A1 (en) 2020-11-06 2022-05-11 Paul Yannick Windisch Method for detection of neurological abnormalities
CN112529915A (zh) * 2020-12-17 2021-03-19 山东大学 一种脑肿瘤图像分割方法及系统
CN113496493B (zh) * 2021-06-11 2024-04-16 浙江工业大学 一种结合多模态信息的脑肿瘤图像分割方法
CN113496493A (zh) * 2021-06-11 2021-10-12 浙江工业大学 一种结合多模态信息的脑肿瘤图像分割方法
CN113409324A (zh) * 2021-07-14 2021-09-17 清华大学深圳国际研究生院 一种融合微分几何信息的脑分割方法
CN113409324B (zh) * 2021-07-14 2023-03-24 清华大学深圳国际研究生院 一种融合微分几何信息的脑分割方法
CN113808613A (zh) * 2021-08-02 2021-12-17 中山大学 一种轻量化的语音去噪方法、系统、设备及存储介质
CN113808613B (zh) * 2021-08-02 2023-12-12 中山大学 一种轻量化的语音去噪方法、系统、设备及存储介质
CN113763390A (zh) * 2021-08-31 2021-12-07 山东师范大学 基于多任务生成对抗网络的脑肿瘤图像分割及增强系统
CN114511581B (zh) * 2022-04-20 2022-07-08 四川大学华西医院 一种多任务多分辨率协作的食管癌病变分割方法及装置
CN114511581A (zh) * 2022-04-20 2022-05-17 四川大学华西医院 一种多任务多分辨率协作的食管癌病变分割方法及装置
CN115019049B (zh) * 2022-08-08 2022-12-16 四川大学 基于深度神经网络的骨显像骨病灶分割方法、系统及设备
CN115019049A (zh) * 2022-08-08 2022-09-06 四川大学 基于深度神经网络的骨显像骨病灶分割方法、系统及设备

Also Published As

Publication number Publication date
CN109035263B (zh) 2021-10-15

Similar Documents

Publication Publication Date Title
CN109035263A (zh) 基于卷积神经网络的脑肿瘤图像自动分割方法
CN110070935B (zh) 基于对抗神经网络的医学图像合成方法、分类方法及装置
CN109242860A (zh) 基于深度学习及权重空间集成的脑肿瘤图像分割方法
US8634614B2 (en) System and method for volumetric analysis of medical images
JP5840125B2 (ja) 知識に基づいた頭部の減衰関連領域のセグメンテーション
CN103249358B (zh) 医用图像处理装置
Yang et al. Automated assessment of thigh composition using machine learning for Dixon magnetic resonance images
CN108351395A (zh) 来自磁共振图像的虚拟ct图像
CN106096636A (zh) 一种基于神经影像的进展型轻度认知功能障碍识别方法
CN103646183A (zh) 一种基于人工神经网络和多模态mri的阿尔茨海默病智能判别分析方法
CN106233332A (zh) 瘠瘦组织体积量化
CN110211139A (zh) 自动分割食管癌放疗靶区和危及器官的方法及系统
Rathi et al. Detection and characterization of brain tumor using segmentation based on HSOM, wavelet packet feature spaces and ANN
Jonasson et al. Fiber tracts of high angular resolution diffusion MRI are easily segmented with spectral clustering.
CN116784820A (zh) 一种基于种子点连接的脑功能网络构建方法及系统
Gupta et al. Implementation of classification system for brain cancer using backpropagation network and MRI
Parekh et al. Radiomic synthesis using deep convolutional neural networks
Li et al. Diffusion tensor-based fast marching for modeling human brain connectivity network
CN115984257A (zh) 一种基于多尺度transformer的多模态医学图像融合方法
Aderghal Classification of multimodal MRI images using Deep Learning: Application to the diagnosis of Alzheimer’s disease.
CN114847922A (zh) 一种基于纤维束自动识别的脑年龄预测方法
Ebel et al. Classifying sex with volume-matched brain MRI
Saenz-Gamboa et al. Automatic semantic segmentation of structural elements related to the spinal cord in the lumbar region by using convolutional neural networks
Sreeja et al. Pseudo-CT generation from MRI images for bone lesion detection using deep learning approach
CN109711467A (zh) 数据处理装置及方法、计算机系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant