CN110298831A - 一种基于分块深度学习的医学图像处理系统及其方法 - Google Patents

一种基于分块深度学习的医学图像处理系统及其方法 Download PDF

Info

Publication number
CN110298831A
CN110298831A CN201910553831.4A CN201910553831A CN110298831A CN 110298831 A CN110298831 A CN 110298831A CN 201910553831 A CN201910553831 A CN 201910553831A CN 110298831 A CN110298831 A CN 110298831A
Authority
CN
China
Prior art keywords
slicing
stripping
tumor
picture
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910553831.4A
Other languages
English (en)
Inventor
朱蔚恒
龙舜
吕增传
罗文杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan University
University of Jinan
Original Assignee
Jinan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan University filed Critical Jinan University
Priority to CN201910553831.4A priority Critical patent/CN110298831A/zh
Publication of CN110298831A publication Critical patent/CN110298831A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了一种基于分块深度学习的医学图像处理系统及其方法,具体涉及图像处理领域,包括预处理模块、分类模块、聚类模块和分割模块,所述预处理模块包括了对原始MRI三维图像的裁剪和全局归一化等标准操作,其中裁剪负责将医学图像的边缘空白区域去除。本发明通过试探性方法将图像合理地切分成较小尺寸的切块、通过分别对小切块进行分析识别处理、最后汇总完成整体处理任务的方案,保持足够高的识别效果的前提下,可以节省超过一半的分析处理时间,最终深度网络的规模也显著下降,可以在成本较低的深度学习环境下部署实施,实现以高效率低成本的绿色计算,支持智慧医疗。

Description

一种基于分块深度学习的医学图像处理系统及其方法
技术领域
本发明涉及图像处理领域,更具体地说,本发明涉及一种基于分块深度学习的医学图像处理系统及其方法。
背景技术
近年来,神经网络特别是深度网络在图像处理和自然语言处理等诸多领域越来越广泛,这和当前GPU显卡提供不断增强增大的计算能力和显存容量不无关系。
当前尚未很好解决的问题之一是:随着使用的神经网络的层数越来越多,所需的显存仍可能超过显卡可提供的显存导致存在显存不足的问题,称为内存溢出(OutOfMemory,OOM)。该问题在基于深度学习的图像处理领域尤其显著。在设计神经网络架构处理该领域问题时,需考虑平衡神经网络复杂度、所需显存和准确率等诸多因素,其中设计神经网络架构时不仅需要考虑神经网络的层数和感受野(神经网络输出的特征图中一个像素能感受神经网络输入图片像素的范围),还需考虑神经网络参数所需显存是否会过于庞大而出现内存溢出。在不断追求更高准确率的情况下,神经网络往往需要把感受野设计得很大以获取更高维的特征,但感受野更大也意味着神经网络更加复杂,对显存要求更高,即使在使用性能强大的GPU进行神经网络训练也仍需迭代庞大的次数才能成功训练,需时也更长。
目前对上述问题仍未有有效的解决方式,因此,发明一种基于分块深度学习的医学图像处理系统及其方法很有必要。
发明内容
为了克服现有技术的上述缺陷,本发明的实施例提供一种基于分块深度学习的医学图像处理系统及其方法,通过试探性方法将图像合理地切分成较小尺寸的切块、通过分别对小切块进行分析识别处理、最后汇总完成整体处理任务的方案,保持足够高的识别效果的前提下,可以节省超过一半的分析处理时间,最终深度网络的规模也显著下降,可以在成本较低的深度学习环境下部署实施,实现以高效率低成本的绿色计算,支持智慧医疗,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:一种基于分块深度学习的医学图像处理系统,包括包括预处理模块、分类模块、聚类模块和分割模块,所述预处理模块输出端设有分类模块,所述分类模块输出端设有聚类模块,所述聚类模块输出端设有分割模块;
所述预处理模块包括了对原始MRI三维图像的裁剪和全局归一化等标准操作,其中裁剪负责将医学图像的边缘空白区域去除,使后续处理可以集中处理需要关注的区域,切块负责对预处理后的MRI三维图像进行切块的操作;
所述分类模块设置为一个带残差连接的全卷积神经网络,用于分别判断小切块有无胶质瘤,小切块经过分类模块后若被识别为无瘤将不再关注和处理;
所述聚类模块对分类后得到的所有的有瘤切块将进行聚类,主要使用ResNet50神经网络和T-SNE降维算法和Kmeans聚类算法;
所述分割模块设置为一个级联多视图融合的全卷积神经网络,用于对聚类后每个簇的有瘤切块进行分割胶质瘤的操作,分割的结果汇总得到大脑胶质瘤切割结果。
一种基于分块深度学习的医学图像处理的方法,其特征在于:处理步骤如下:
步骤一:训练阶段,具体步骤如下:
S1.1、将MRI的3D图片导入预处理模块内,预处理模块对原始训练集中MRI的3D图片进行预处理和切块操作;
S1.2、通过训练数据中专家对MRI的3D图片的胶质瘤手工切割结果将胶质瘤划分为有胶质瘤小切块集合和无胶质瘤小切块结合,简称为有瘤切块和无瘤切块,将有瘤切块和无瘤切块作为训练数据对神经网络进行训练,得到能判断小切块有无瘤的分类器;
S1.3、对S1.2中的有瘤切块进行提取特征操作,然后对有瘤切块进行聚类后得到N个有瘤切块的簇,并在聚类过程中聚类成聚类模型;
S1.4、将S1.4中聚类后的每一簇的有瘤切块为训练数据集对多视图融合的全卷积神经网络进行训练,对有瘤切块进行分割胶质瘤操作;
步骤二:使用阶段,具体步骤如下:
S2.1、对测试集中MRI的原始3D图片进行预处理和切块操作;
S2.2、通过分类器对小切块分类成有瘤切块和无瘤切块两个集合;
S2.3、从有瘤切块集合中的切块图片提取特征,然后通过聚类模型后得到有瘤切块所属的簇;
S2.4、根据切块图片的所属的簇选择对应的分割胶质瘤的多视图同和的全卷积神经网络,小切块的3D图片通过神经网络后将得到每个小切块分割胶质瘤的结果;
S2.5、重组小切块图片分割胶质瘤的结果,得到原始MRI的3D图片分割胶质瘤的结果。
在一个优选地实施方式中,所述分类模块使用神经网络判断切块是否有瘤,建立局部神经网络和全局神经网络,具体如下:
局部神经网络利用小切块所拥有的原始MRI图片的局部信息判断小切块是否为有瘤切块,使用传统的图片分类想法,神经网络的输入数据为分类图片的所有像素,神经网络的输出为一个二维的向量,其经过Softmax函数后可以得到小切块属于有瘤切块和无瘤切块的概率;
全局神经网络将几个相邻的切块合并成切片,再利用MRI图片上每片切片的全局信息对其中的小切块进行是否有瘤的判断,在对小切块进行分类时需要小切块附近正常组织的信息,以及整个大脑的全局信息来判断小切块是否为有瘤切块。
在一个优选地实施方式中,所述分割模块将MRI的原始3D图片水平面上的切片作为神经网络的输入,切片宽度上的大小为坐标系中切片在Y轴上的长度,切片长度的大小和高度上的大小为坐标系中切片在X轴和Z轴上的长度,激活函数使用PReLU激活函数,构建第一卷积层和第二卷积层,第一卷积层中Padding为Same,其作用为通过两个连续的第一卷积层,并在其两端加上残差连接来有效提取切块的X轴和Z轴方向的特征,第二卷积层的padding为Valid,其作用为提取切片宽度上的特征,使切片的尺寸在宽度上减少,模型通过公式计算决定神经网络第二卷积层的层数卷积核大小以及卷积步长大小,计算公式具体为:
其中WxW代表的是输入图片的大小,FxF代表的是卷积核的大小,SxS代表的是卷积步长的大小,而P则代表padding操作的补位大小,NxN代表的是输出图片的大小。
在一个优选地实施方式中,所述S2.5中为了提取不同方向上胶质瘤切块的信息,将多视图神经网络以水平面、矢状面和冠状面三个不同方向为正面的胶质瘤切块作为神经网络的输入数据,在得到对胶质瘤切块三个方向的分割结果后,再对三者进行融合以提高分割精度,在使用时,将三个方向上神经网络的输出的分割结果通过Softmax公式进行融合,将三个网络的分割结果换算为对该MRI图片是否有胶质瘤的概率,其中Softmax公式具体如下:
在一个优选地实施方式中,所述切块含有两种不同的方案(N1X N2X N3),分别为依照维度的搜索算法和基于网格的搜索算法,两种切块方案具体如下:
依照维度的搜索算法的过程主要包含三个循环体,循环体循环最大数设置为10,算法中的第一个循环体的目的是求得一个效果不错的组合,通过这个组合求得k值,第二个循环体通过固定N2和N3的同时改变N1,探索N1的规律并求得最佳的N1值m,第三个循环体通过设定N1为固定的m值的同时改变N2和N3,以此求得N2和N3的规律,并得到最佳的N1、N2和N3;
基于网格的搜索算法将确定小切块的尺寸视为一个三维的搜索空间,空间中每个节点是一个切块尺寸的可能组合,首先在空间上定义一个粗疏的网格,尝试网格上的所有端点,按照表现优劣排队,然后挑出队列头表现最好的节点并在其邻域内定义尺度较细的网格,重复测试该网格上的节点,不断重复上述过程,直到最佳节点的性能不再有明显提升或者消耗完搜索预算为止。
本发明的技术效果和优点:
1、通过试探性方法将图像合理地切分成较小尺寸的切块、通过分别对小切块进行分析识别处理、最后汇总完成整体处理任务的方案,保持足够高的识别效果的前提下,可以节省超过一半的分析处理时间,最终深度网络的规模也显著下降,可以在成本较低的深度学习环境下部署实施,实现以高效率低成本的绿色计算,支持智慧医疗;
2、通过了依照维度的搜索算法和基于网格的搜索算法两种切块方案选择算法,优化切块方案,提高小切块的尺寸精度,对分割胶质瘤方法的速率和分割准确率有显著改善,对大脑胶质瘤MRI图片进行合理分块的分块尺寸6x10x4,便于片分割胶质瘤的结果。
附图说明
图1为本发明的胶质瘤自动分割整体流程图。
图2为本发明的胶质瘤自动分割训练流程图。
图3为本发明的胶质瘤自动分割使用流程图。
图4为本发明的局部神经网络的神经网络架构图。
图5为本发明判断切块有无瘤的神经网络模型图。
图6为本发明胶质瘤分割区域的关系图。
图7为本发明WNet和TNet的网络架构图。
图8为本发明ENet的网络架构图。
图9为本发明WNet、TNet和ENet的网络模型不同模块图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1:
根据图1-9所示的一种基于分块深度学习的医学图像处理系统,包括预处理模块、分类模块、聚类模块和分割模块,所述预处理模块输出端设有分类模块,所述分类模块输出端设有聚类模块,所述聚类模块输出端设有分割模块;
所述预处理模块包括了对原始MRI三维图像的裁剪和全局归一化等标准操作,其中裁剪负责将医学图像的边缘空白区域去除,使后续处理可以集中处理需要关注的区域,切块负责对预处理后的MRI三维图像进行切块的操作;
所述分类模块设置为一个带残差连接的全卷积神经网络,用于分别判断小切块有无胶质瘤,小切块经过分类模块后若被识别为无瘤将不再关注和处理;
所述聚类模块对分类后得到的所有的有瘤切块将进行聚类,主要使用ResNet50神经网络和T-SNE降维算法和Kmeans聚类算法;
所述分割模块设置为一个级联多视图融合的全卷积神经网络,用于对聚类后每个簇的有瘤切块进行分割胶质瘤的操作,分割的结果汇总得到大脑胶质瘤切割结果;
一种基于分块深度学习的医学图像处理的方法,其特征在于:处理步骤如下:
步骤一:训练阶段,具体步骤如下:
S1.1、将MRI的3D图片导入预处理模块内,预处理模块对原始训练集中MRI的3D图片进行预处理和切块操作;
S1.2、通过训练数据中专家对MRI的3D图片的胶质瘤手工切割结果将胶质瘤划分为有胶质瘤小切块集合和无胶质瘤小切块结合,简称为有瘤切块和无瘤切块,将有瘤切块和无瘤切块作为训练数据对神经网络进行训练,得到能判断小切块有无瘤的分类器;
S1.3、对S1.2中的有瘤切块进行提取特征操作,然后对有瘤切块进行聚类后得到N个有瘤切块的簇,并在聚类过程中聚类成聚类模型;
S1.4、将S1.4中聚类后的每一簇的有瘤切块为训练数据集对多视图融合的全卷积神经网络进行训练,对有瘤切块进行分割胶质瘤操作;
步骤二:使用阶段,具体步骤如下:
S2.1、对测试集中MRI的原始3D图片进行预处理和切块操作;
S2.2、通过分类器对小切块分类成有瘤切块和无瘤切块两个集合;
S2.3、从有瘤切块集合中的切块图片提取特征,然后通过聚类模型后得到有瘤切块所属的簇;
S2.4、根据切块图片的所属的簇选择对应的分割胶质瘤的多视图同和的全卷积神经网络,小切块的3D图片通过神经网络后将得到每个小切块分割胶质瘤的结果;
S2.5、重组小切块图片分割胶质瘤的结果,得到原始MRI的3D图片分割胶质瘤的结果。
所述分类模块使用神经网络判断切块是否有瘤,建立局部神经网络和全局神经网络,具体如下:
局部神经网络利用小切块所拥有的原始MRI图片的局部信息判断小切块是否为有瘤切块,使用传统的图片分类想法:神经网络的输入数据为分类图片的所有像素,如图4所示,均匀短模块为卷积层,它的卷积核为(3,3,3),padding为Valid,步长为(2,2,2),短模块卷积层的作用为提取小切块图片的高维特征,以把信息传输给神经网络最后的三层全连接层,均匀长模块为BN层,其主要作为是对高维特征图进行标准化处理,以使高维特征图的特征值波动不会有很大的波动,该图中还有两个跳远连接将第一个BN层的输出与第二个BN层的输出以及第三个BN层的输出和第四个BN层的输出连通,以增加神经网络中信息的流通性,神经网络最后的两个长模块是全连接层,该图中左边的全连接层有512个神经元,右边的全连接层有128个神经元,神经网络的输出为一个二维的向量,其经过Softmax函数后可以得到小切块属于有瘤切块和无瘤切块的概率;
全局神经网络将几个相邻的切块合并成切片,再利用MRI图片上每片切片的全局信息对其中的小切块进行是否有瘤的判断,全局神经网络的引入是因为胶质瘤出现的位置、大小和形状每个人都相差很大,专家通过MRI图片上的阴影判断有无胶质瘤,而MRI图片上关于胶质瘤的阴影在灰度值上的反映是灰度值强度的改变,在对小切块进行分类时不仅需要小切块内部的灰度值信息,还需要小切块附近正常组织的信息乃至整个大脑的全局信息来判断小切块是否为有瘤切块;
如图5所示:将MRI的原始3D图片水平面上的切片作为神经网络的输入,切片宽度上的大下为坐标系中切片在Y轴上的长度,切片长度的大小和高度上的大小为坐标系中切片在X轴和Z轴上的长度,该图中构建有第一卷积层和第二卷积层,第一卷积层的一个卷积核为(1,3,3),激活函数使用PReLU激活函数,Padding为Same的卷积层,其作用为通过两个连续的第一卷积层,并在其两端加上残差连接来有效提取切块的X轴和Z轴方向的特征,而第二卷积层的卷积核为(3,1,1)或(4,1,1),步长为(2,1,1)或(1,1,1),padding为Valid,其作用为提取切片宽度上的特征,并在使切片的尺寸在宽度上减少,由于切片在通过神经网络的所有卷积层后在切片的Y轴上的尺寸会变为1,所以模型需要通过公式计算决定神经网络第二卷积层的层数、卷积核大小以及卷积步长大小,第一卷积层的数量被固定为4组,计算公式具体为:
其中WxW代表的是输入图片的大小,FxF代表的是卷积核的大小,SxS代表的是卷积步长的大小,而P则代表padding操作的补位大小,NxN代表的是输出图片的大小;
对胶质瘤的分割有三个部分,分别为整个脑瘤(Whole Tumor,WT)、脑瘤核心(Tumor Core,TC)和增强脑瘤核心(Enhancing Tumor Core,ET),级联神经网络意味着是对WT、TC和ET的分类不再是传统的方法中一起进行多分类任务,而是转而进行3次二分类任务,方法具体为模型需要建立WNet、TNet和ENet三个神经网络,WNet对胶质瘤切块图片分割出WT部分,TNET以WNet分割出的WT部分为输入数据分割出的TC部分,ENet以TNet分割出的TC部分为输入数据分割出的ET部分;
分割胶质瘤的级联多视图融合神经网络模型是在Wang的神经网络基础上实现的,对Wang G等人的级联神经网络有以下修改:(一)将神经网络的输入数据从原来小切块图片的切片改为整块的小切块图片;(二)考虑到神经网络输入图片尺寸变小,只保留神经网络一次下采样操作;(三)采用在ENet取消两个残差连接块的方案;(四)为了能充分提取小切块在各个方向上的高维特征,将神经网络后半段的残差连接块的卷积核从(1,3,3)修改为(3,3,3);
其中使用的WNet和TNet网络架构如图7所示,图中的每个模块将在图9显示,WNet和TNet网络首先通过4个(1x3x3)卷积核的残差连接块和一个下采样模块,其中残差连接块时提取切块X轴和Y轴上的高维特征,而下采样模块是对特征图在Z轴上进行下采样操作,使下采样模块输出的特征图在Z轴上的尺寸变小,第四个残差连接块输出的特征图将传递到两条通路,一条通路通过上采样模块接通融合模块,另一条通路继续通过三个卷积核为(3x3x3)的残差连接块提取小切块在三个轴上的高维特征,提取得到的特征图将继续前面的双通路结构,分出一条通路经过上采样模块以保存在此层数中网络提取的高维特征信息,另一条通路重复上面的工作,得到最后一个高维特征图,三个高维特征图经过上采样模块后尺寸完全一样,通过融合模块融合在一起得到通道为32的与小切块尺寸大小相同的高维特征图,融合后的高维特征图经过最后一层卷积层将特征图的输出通道降为2以得到小切块的分割结果。
ENet网络架构图如图8所示,在ENET前半段提取高维特征的阶段删除两个残差连接块,而ENet其他的结构与WNet和TNet保持一样,也是在提取高维特征的过程中保存不同深度的高维特征图,然后通过上采样模块还原原始图片尺寸以进行融合操作;
标准卷积模块:如图9(a)所示,由一个批量标准化、一个激活函数和一个普通的卷积操作组成,此模块为本神经网络最基本的模块,在全网络中共有20个卷积标准模块,此模块的作用是进行卷积操作以得到图片的高维特征;图9(c)显示是当标准卷模块中的卷积核由[1,3,3]改变为[3,3,3]后的样子;
下采样模块:如图9(b)所示,其是一个卷积核为[3,1,1],padding为VALID的卷积层,其目的是对切块进行下采样,使特征图在Z轴上的尺寸变小;
残差连接模块:如图9(d)所示,其构成为两个卷积标准模块,并在其两端加上一条残差连接,在两个卷积标准模块两端加上一条残差连接以使神经网络信息的传递与反馈更加快速,也使神经网络中经常出现的梯度爆炸和梯度消失问题可以得到遏制;
上采样模块:如图9(e)所示,是一个卷积核为[1,3,3],步长为[1,2,2],padding为SAME的反卷积操作,它的作用是将下采样后的特征图的尺寸大小还原为小切块的尺寸大小;
连接融合模块:如图9(f)所示,其作用是将三个高维特征图串联在一起;
普通卷积层:切片切割模块的示意图为图9(g),普通卷积层的输出通道为2,其作用为融合输入32个通道的高维特征图以得到最后2通道的分割结果。
在神经网络的下采样操作后使用卷积核为[3,3,3]的卷积操作,而卷积核输出通道除了神经网络最后一层卷积层都为32,考虑到PReLU激活函数比传统的ReLU激活函数性能更加强大,在卷积模块中使用的都是PReLU激活函数,胶质瘤切块在水平面、矢状面和冠状面三个不同方向上的切块纹理信息都有很大的不同。所以为了提取不同方向上胶质瘤切块的信息,本发明,将多视图神经网络以水平面、矢状面和冠状面三个不同方向为正面的胶质瘤切块作为神经网络的输入数据,在得到对胶质瘤切块三个方向的分割结果后,再对三者进行融合以提高分割精度,在使用时,将三个方向上神经网络的输出的分割结果通过Softmax公式进行融合,将三个网络的分割结果换算为对该MRI图片是否有胶质瘤的概率,其中Softmax公式具体如下:
实施例2:
一种依照维度的搜索算法的过程主要包含三个循环体,由于考虑当切块N比10大时,小切块尺寸太小以致所含信息太少不足以分割胶质瘤,本文将循环体循环最大数设置为10,算法中的第一个循环体的目的是求得一个效果不错的组合,通过这个组合求得k值,第二个循环体通过固定N2和N3的同时改变N1,探索N1的规律并求得最佳的N1值m,第三个循环体通过设定N1为固定的m值的同时改变N2和N3,以此求得N2和N3的规律,并得到最佳的N1、N2和N3,该算法伪代码具体如下:
一种基于网格的搜索算法,其思路是将确定小切块的尺寸视为一个三维的搜索空间,空间中每个节点是一个切块尺寸的可能组合,首先在空间上定义一个粗疏的网格,尝试网格上的所有端点,按照他们的表现优劣排队,然后挑出队列头表现最好的节点并在其邻域内定义尺度较细的网格,重复测试该网格上的节点,不断重复上述过程直到最佳节点的性能不再有明显提升或者消耗完搜索预算为止,算法伪代码具体如下:
经过试验测试得到的最佳的切块方案是6x10x4。
最后应说明的几点是:首先,本发明公开实施例附图中,只涉及到与本公开实施例涉及到的结构,其他结构可参考通常设计,在不冲突情况下,本发明同一实施例及不同实施例可以相互组合;
最后:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于分块深度学习的医学图像处理系统,包括预处理模块、分类模块、聚类模块和分割模块,其特征在于:所述预处理模块输出端设有分类模块,所述分类模块输出端设有聚类模块,所述聚类模块输出端设有分割模块;
所述预处理模块包括了对原始MRI三维图像的裁剪和全局归一化等标准操作,其中裁剪负责将医学图像的边缘空白区域去除,使后续处理可以集中处理需要关注的区域,切块负责对预处理后的MRI三维图像进行切块的操作;
所述分类模块设置为一个带残差连接的全卷积神经网络,用于分别判断小切块有无胶质瘤,小切块经过分类模块后若被识别为无瘤将不再关注和处理;
所述聚类模块对分类后得到的所有的有瘤切块将进行聚类,主要使用ResNet50神经网络和T-SNE降维算法和Kmeans聚类算法;
所述分割模块设置为一个级联多视图融合的全卷积神经网络,用于对聚类后每个簇的有瘤切块进行分割胶质瘤的操作,分割的结果汇总得到大脑胶质瘤切割结果。
2.一种基于分块深度学习的医学图像处理的方法,其特征在于:处理步骤如下:
步骤一:训练阶段,具体步骤如下:
S1.1、将MRI的3D图片导入预处理模块内,预处理模块对原始训练集中MRI的3D图片进行预处理和切块操作;
S1.2、通过训练数据中专家对MRI的3D图片的胶质瘤手工切割结果将胶质瘤划分为有胶质瘤小切块集合和无胶质瘤小切块结合,简称为有瘤切块和无瘤切块,将有瘤切块和无瘤切块作为训练数据对神经网络进行训练,得到能判断小切块有无瘤的分类器;
S1.3、对S1.2中的有瘤切块进行提取特征操作,然后对有瘤切块进行聚类后得到N个有瘤切块的簇,并在聚类过程中聚类成聚类模型;
S1.4、将S1.4中聚类后的每一簇的有瘤切块为训练数据集对多视图融合的全卷积神经网络进行训练,对有瘤切块进行分割胶质瘤操作;
步骤二:使用阶段,具体步骤如下:
S2.1、对测试集中MRI的原始3D图片进行预处理和切块操作;
S2.2、通过分类器对小切块分类成有瘤切块和无瘤切块两个集合;
S2.3、从有瘤切块集合中的切块图片提取特征,然后通过聚类模型后得到有瘤切块所属的簇;
S2.4、根据切块图片的所属的簇选择对应的分割胶质瘤的多视图同和的全卷积神经网络,小切块的3D图片通过神经网络后将得到每个小切块分割胶质瘤的结果;
S2.5、重组小切块图片分割胶质瘤的结果,得到原始MRI的3D图片分割胶质瘤的结果。
3.根据权利要求2所述的一种基于分块深度学习的医学图像处理的方法,其特征在于:所述分类模块使用神经网络判断切块是否有瘤,建立局部神经网络和全局神经网络,具体如下:
局部神经网络利用小切块所拥有的原始MRI图片的局部信息判断小切块是否为有瘤切块,使用传统的图片分类想法,神经网络的输入数据为分类图片的所有像素,神经网络的输出为一个二维的向量,其经过Softmax函数后可以得到小切块属于有瘤切块和无瘤切块的概率;
全局神经网络将几个相邻的切块合并成切片,再利用MRI图片上每片切片的全局信息对其中的小切块进行是否有瘤的判断,在对小切块进行分类时需要小切块附近正常组织的信息,以及整个大脑的全局信息来判断小切块是否为有瘤切块。
4.根据权利要求2所述的一种基于分块深度学习的医学图像处理处理的方法,其特征在于:所述分割模块将MRI的原始3D图片水平面上的切片作为神经网络的输入,切片宽度上的大小为坐标系中切片在Y轴上的长度,切片长度的大小和高度上的大小为坐标系中切片在X轴和Z轴上的长度,激活函数使用PReLU激活函数,构建第一卷积层和第二卷积层,第一卷积层中Padding为Same,其作用为通过两个连续的第一卷积层,并在其两端加上残差连接来有效提取切块的X轴和Z轴方向的特征,第二卷积层的padding为Valid,其作用为提取切片宽度上的特征,使切片的尺寸在宽度上减少,模型通过公式计算决定神经网络第二卷积层的层数卷积核大小以及卷积步长大小,计算公式具体为:
其中WxW代表的是输入图片的大小,FxF代表的是卷积核的大小,SxS代表的是卷积步长的大小,而P则代表padding操作的补位大小,NxN代表的是输出图片的大小。
5.根据权利要求2所述的一种基于分块深度学习的医学图像处理处理的方法,其特征在于:所述S2.5中为了提取不同方向上胶质瘤切块的信息,将多视图神经网络以水平面、矢状面和冠状面三个不同方向为正面的胶质瘤切块作为神经网络的输入数据,在得到对胶质瘤切块三个方向的分割结果后,再对三者进行融合以提高分割精度,在使用时,将三个方向上神经网络的输出的分割结果通过Softmax公式进行融合,将三个网络的分割结果换算为对该MRI图片是否有胶质瘤的概率,其中Softmax公式具体如下:
6.根据权利要求2所述的一种基于分块深度学习的医学图像处理的方法,其特征在于:还包括两种切块方案选择算法,分别为依照维度的搜索算法和基于网格的搜索算法,两种切块方案具体如下:
依照维度的搜索算法的过程主要包含三个循环体,循环体循环最大数设置为10,算法中的第一个循环体的目的是求得一个效果不错的组合,通过这个组合求得k值,第二个循环体通过固定N2和N3的同时改变N1,探索N1的规律并求得最佳的N1值m,第三个循环体通过设定N1为固定的m值的同时改变N2和N3,以此求得N2和N3的规律,并得到最佳的N1、N2和N3;
基于网格的搜索算法将确定小切块的尺寸视为一个三维的搜索空间,空间中每个节点是一个切块尺寸的可能组合,首先在空间上定义一个粗疏的网格,尝试网格上的所有端点,按照表现优劣排队,然后挑出队列头表现最好的节点并在其邻域内定义尺度较细的网格,重复测试该网格上的节点,不断重复上述过程,直到最佳节点的性能不再有明显提升或者消耗完搜索预算为止。
CN201910553831.4A 2019-06-25 2019-06-25 一种基于分块深度学习的医学图像处理系统及其方法 Pending CN110298831A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910553831.4A CN110298831A (zh) 2019-06-25 2019-06-25 一种基于分块深度学习的医学图像处理系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910553831.4A CN110298831A (zh) 2019-06-25 2019-06-25 一种基于分块深度学习的医学图像处理系统及其方法

Publications (1)

Publication Number Publication Date
CN110298831A true CN110298831A (zh) 2019-10-01

Family

ID=68028723

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910553831.4A Pending CN110298831A (zh) 2019-06-25 2019-06-25 一种基于分块深度学习的医学图像处理系统及其方法

Country Status (1)

Country Link
CN (1) CN110298831A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110710986A (zh) * 2019-10-25 2020-01-21 华院数据技术(上海)有限公司 一种基于ct图像的脑部动静脉畸形检测方法及检测系统
CN111046730A (zh) * 2019-11-08 2020-04-21 北京海益同展信息科技有限公司 植株数据处理方法、装置、计算机设备和存储介质
CN111563903A (zh) * 2020-04-26 2020-08-21 北京航空航天大学 一种基于深度学习的mri全脑组织分割方法
CN111967542A (zh) * 2020-10-23 2020-11-20 江西小马机器人有限公司 一种基于深度特征点的表计识别二次定位方法
CN112508924A (zh) * 2020-12-15 2021-03-16 桂林电子科技大学 一种小目标检测识别方法、装置、系统和存储介质
WO2021093448A1 (zh) * 2019-11-12 2021-05-20 腾讯科技(深圳)有限公司 图像处理方法、装置、服务器、医疗图像处理设备及存储介质
CN112966673A (zh) * 2021-05-19 2021-06-15 南京视察者智能科技有限公司 一种行人重识别模型的构建方法及行人重识别方法
CN112991144A (zh) * 2021-05-10 2021-06-18 同方威视技术股份有限公司 针对神经网络的图像数据进行分块的方法和系统
CN117036376A (zh) * 2023-10-10 2023-11-10 四川大学 基于人工智能的病变图像分割方法、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107633513A (zh) * 2017-09-18 2018-01-26 天津大学 基于深度学习的3d图像质量的度量方法
CA2948499A1 (en) * 2016-11-16 2018-05-16 The Governing Council Of The University Of Toronto System and method for classifying and segmenting microscopy images with deep multiple instance learning
CN108765408A (zh) * 2018-05-31 2018-11-06 杭州同绘科技有限公司 构建癌症病理图像虚拟病例库的方法以及基于卷积神经网络的多尺度癌症检测系统
CN109447962A (zh) * 2018-10-22 2019-03-08 天津工业大学 一种基于卷积神经网络的眼底图像硬性渗出物病变检测方法
US20190183366A1 (en) * 2017-12-20 2019-06-20 International Business Machines Corporation Automated Extraction of Echocardiograph Measurements from Medical Images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2948499A1 (en) * 2016-11-16 2018-05-16 The Governing Council Of The University Of Toronto System and method for classifying and segmenting microscopy images with deep multiple instance learning
CN107633513A (zh) * 2017-09-18 2018-01-26 天津大学 基于深度学习的3d图像质量的度量方法
US20190183366A1 (en) * 2017-12-20 2019-06-20 International Business Machines Corporation Automated Extraction of Echocardiograph Measurements from Medical Images
CN108765408A (zh) * 2018-05-31 2018-11-06 杭州同绘科技有限公司 构建癌症病理图像虚拟病例库的方法以及基于卷积神经网络的多尺度癌症检测系统
CN109447962A (zh) * 2018-10-22 2019-03-08 天津工业大学 一种基于卷积神经网络的眼底图像硬性渗出物病变检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DEBIAO ZHANG 等: "Diabetic Retinopathy Classification using Deeply Supervised ResNet", 《2017 IEEE SMARTWORLD, UBIQUITOUS INTELLIGENCE & COMPUTING, ADVANCED & TRUSTED COMPUTED, SCALABLE COMPUTING & COMMUNICATIONS, CLOUD & BIG DATA COMPUTING, INTERNET OF PEOPLE AND SMART CITY INNOVATION》 *
陈清江等: "一种基于深度学习的多聚焦图像融合算法", 《激光与光电子学进展》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110710986B (zh) * 2019-10-25 2021-01-22 华院数据技术(上海)有限公司 一种基于ct图像的脑部动静脉畸形检测方法及检测系统
CN110710986A (zh) * 2019-10-25 2020-01-21 华院数据技术(上海)有限公司 一种基于ct图像的脑部动静脉畸形检测方法及检测系统
CN111046730A (zh) * 2019-11-08 2020-04-21 北京海益同展信息科技有限公司 植株数据处理方法、装置、计算机设备和存储介质
WO2021093448A1 (zh) * 2019-11-12 2021-05-20 腾讯科技(深圳)有限公司 图像处理方法、装置、服务器、医疗图像处理设备及存储介质
CN111563903A (zh) * 2020-04-26 2020-08-21 北京航空航天大学 一种基于深度学习的mri全脑组织分割方法
CN111967542A (zh) * 2020-10-23 2020-11-20 江西小马机器人有限公司 一种基于深度特征点的表计识别二次定位方法
CN111967542B (zh) * 2020-10-23 2021-01-29 江西小马机器人有限公司 一种基于深度特征点的表计识别二次定位方法
CN112508924A (zh) * 2020-12-15 2021-03-16 桂林电子科技大学 一种小目标检测识别方法、装置、系统和存储介质
CN112991144A (zh) * 2021-05-10 2021-06-18 同方威视技术股份有限公司 针对神经网络的图像数据进行分块的方法和系统
CN112966673A (zh) * 2021-05-19 2021-06-15 南京视察者智能科技有限公司 一种行人重识别模型的构建方法及行人重识别方法
CN112966673B (zh) * 2021-05-19 2021-07-23 南京视察者智能科技有限公司 一种行人重识别模型的构建方法及行人重识别方法
CN117036376A (zh) * 2023-10-10 2023-11-10 四川大学 基于人工智能的病变图像分割方法、装置及存储介质
CN117036376B (zh) * 2023-10-10 2024-01-30 四川大学 基于人工智能的病变图像分割方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN110298831A (zh) 一种基于分块深度学习的医学图像处理系统及其方法
CN109859190B (zh) 一种基于深度学习的目标区域检测方法
US11170502B2 (en) Method based on deep neural network to extract appearance and geometry features for pulmonary textures classification
CN109063753A (zh) 一种基于卷积神经网络的三维点云模型分类方法
US8429174B2 (en) Methods, systems, and data structures for performing searches on three dimensional objects
Ju et al. Computing a family of skeletons of volumetric models for shape description
CN109493346A (zh) 一种基于多损失的胃癌病理切片图像分割方法和装置
CN109034045A (zh) 一种基于卷积神经网络的白细胞自动识别方法
CN109685819A (zh) 一种基于特征增强的三维医学图像分割方法
CN107506761A (zh) 基于显著性学习卷积神经网络的脑部图像分割方法及系统
CN108765371A (zh) 一种病理切片中非常规细胞的分割方法
CN107066934A (zh) 胃部肿瘤细胞图像识别判定装置、方法及胃部肿瘤切片识别判定设备
CN110378366A (zh) 一种基于耦合知识迁移的跨域图像分类方法
CN107633522A (zh) 基于局部相似性活动轮廓模型的脑部图像分割方法和系统
CN108986115A (zh) 医学图像分割方法、装置及智能终端
CN110379020A (zh) 一种基于生成对抗网络的激光点云上色方法和装置
CN110188763B (zh) 一种基于改进图模型的图像显著性检测方法
CN108231190A (zh) 处理图像的方法和神经网络系统、设备、介质、程序
CN105046689B (zh) 一种基于多层次图结构的交互式立体图像快速分割方法
CN111339818A (zh) 一种人脸多属性识别系统
Zheng et al. TeethGNN: semantic 3D teeth segmentation with graph neural networks
CN107577983A (zh) 一种循环发现关注区域识别多标签图像的方法
CN111524140B (zh) 基于cnn和随机森林法的医学图像语义分割方法
CN101699515A (zh) 基于多精英免疫量子聚类的医学影像分割系统及分割方法
Perveen et al. Multidimensional Attention-Based CNN Model for Identifying Apple Leaf Disease.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191001