CN110136133A - 一种基于卷积神经网络的脑肿瘤分割方法 - Google Patents
一种基于卷积神经网络的脑肿瘤分割方法 Download PDFInfo
- Publication number
- CN110136133A CN110136133A CN201910182143.1A CN201910182143A CN110136133A CN 110136133 A CN110136133 A CN 110136133A CN 201910182143 A CN201910182143 A CN 201910182143A CN 110136133 A CN110136133 A CN 110136133A
- Authority
- CN
- China
- Prior art keywords
- data
- channel
- brain tumor
- convolutional
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 208000003174 Brain Neoplasms Diseases 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 24
- 230000011218 segmentation Effects 0.000 claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 30
- 238000012360 testing method Methods 0.000 claims abstract description 7
- 238000007405 data analysis Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 18
- 230000004913 activation Effects 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 10
- 230000006835 compression Effects 0.000 claims description 8
- 238000007906 compression Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- 230000007704 transition Effects 0.000 claims description 7
- 238000012795 verification Methods 0.000 claims description 7
- 238000004140 cleaning Methods 0.000 claims description 5
- 238000005520 cutting process Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000002474 experimental method Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000010200 validation analysis Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 230000010354 integration Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 abstract description 3
- 238000010801 machine learning Methods 0.000 abstract description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 10
- 206010028980 Neoplasm Diseases 0.000 description 6
- 230000006872 improvement Effects 0.000 description 3
- 238000007917 intracranial administration Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 231100000915 pathological change Toxicity 0.000 description 2
- 230000036285 pathological change Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 206010018338 Glioma Diseases 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 201000007983 brain glioma Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- JXSJBGJIGXNWCI-UHFFFAOYSA-N diethyl 2-[(dimethoxyphosphorothioyl)thio]succinate Chemical compound CCOC(=O)CC(SP(=S)(OC)OC)C(=O)OCC JXSJBGJIGXNWCI-UHFFFAOYSA-N 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 230000002497 edematous effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000002165 glioblast Anatomy 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 230000001338 necrotic effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000000278 spinal cord Anatomy 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于卷积神经网络的脑肿瘤分割方法,包括以下步骤:步骤1、获取磁共振脑肿瘤图像;即从磁共振公开数据集中获取脑肿瘤的训练数据及其对应标注数据;步骤2、对步骤1获取的数据进行预处理,包括数据清洗和构建训练、测试数据集;步骤3、建立数据分析模型;步骤4、评估模型,得到脑肿瘤分割结果。该方法利用现有的数据集资源以及相关计算机视觉、机器学习、深度学习技术对MRI脑肿瘤图像进行自动分割,可以有效减轻医生工作量,并提高分割结果的可复现性。
Description
技术领域
本发明涉及医学图像分割和深度学习技术领域,更确切地说涉及一种基于卷积神经网络的脑肿瘤分割方法。
背景技术
生长于颅内的肿瘤通称为脑瘤,包括由脑实质发生的原发性脑瘤和由身体其他部位转移至颅内的继发性脑瘤。其病因至今不明,颅内肿瘤可发生于任何年龄,以20-50岁为最多见。脑胶质瘤是最常见的原发性颅脑恶性肿瘤。其发病率约占颅内肿瘤的35.2%~61.0%,由成胶质细胞衍化而来,具有发病率高、复发率高、死亡率高以及治愈率低的特点。本发明中目前涉及的脑肿瘤均为胶质瘤。
磁共振成像(MRI)技术作为当代一种常用的成像技术,目前已被广泛应用于各种疾病的前期诊断。MRI可随意作直接的多方向(横断、冠状、矢状或任何角度)切层,对颅脑、脊柱和脊髓等的解剖和病变的显示,因此其性能尤优于CT,凭借其“流空效应”,可不用血管造影剂,显示血管结构,且同时能敏感地检出组织成分中水含量的变化从而更有效和早期地发现病变,为前期确定肿瘤位置、大小、形状提供了一种无创方法。
由于肿瘤的差异性和复杂性以及脑肿瘤的手动分割对于放射科医生而言也是一项工作量极大的任务。除此之外,医生手动分割具有一定的主观性,这极大限制了医学临床研究的可复现性,不利于脑肿瘤研究的持续性发展。
发明内容
本发明要解决的技术问题是,提供一种基于卷积神经网络的脑肿瘤分割方法,该方法利用现有的数据集资源以及相关计算机视觉、机器学习、深度学习技术对MRI脑肿瘤图像进行自动分割,可以有效减轻医生工作量,并提高分割结果的可复现性。
本发明的技术解决方案是,提供一种基于卷积神经网络的脑肿瘤分割方法,其特征在于,包括以下步骤:
步骤1、获取磁共振脑肿瘤图像;即从磁共振公开数据集中获取脑肿瘤的训练数据及其对应标注数据;
步骤2、对步骤1获取的数据进行预处理,包括数据清洗和构建训练、测试数据集;
步骤3、建立数据分析模型;
步骤4、评估模型,得到脑肿瘤分割结果。
采用以上结构后,本发明的基于卷积神经网络的脑肿瘤分割方法,与现有技术相比,具有以下优点:
通过搭建双通道并行密集卷积神经网络对现有MRI脑肿瘤数据集进行学习,从而得到可对3D MRI脑肿瘤图像进行自动分割的模型。可以有效减轻医生工作量,并提高分割结果的可复现性。
作为改进,步骤2具体包括以下步骤:步骤2.1、数据清洗;步骤2.1.1、对原始磁共振多模态数据和对应的标注数据进行随机的数据块采样;通过随机选取数据块中心坐标的方式,获得随机数据块,数据块中心即为所选取中心;步骤2.1.2、获取与步骤2.1.1中所获取的数据块相对应的分辨率相对较低的数据块,本步骤中采用的数据块中心坐标与步骤2.1.1相同,数据块获取方式与步骤2.1.1也相同;步骤2.2、构建训练、测试数据集;步骤2.2.1、数据集构建;通过步骤2.1获取随机采样的注意力通道数据块、上下文通道数据块以及相应标注,对标注中的不同层次用不同标签区分;步骤2.2.2、多模态数据整合;将经过相同处理的不同模态数据整合为一个数据;步骤2.2.2、训练验证集划分;将有标注的数据集分为两个部分,即训练集和验证集。
作为改进,步骤3具体包括以下步骤:
步骤3.1、模型建立;
步骤3.1.1、搭建基础模型;针对脑肿瘤分割任务,设计双通道并行密集卷积神经网络,该网络包括注意力通道和上下文通道;注意力通道负责学习注意力通道数据块样本的特征;上下文通道则负责学习上下文通道数据块样本;整合两个通道的学习结果,得出最后的体素级别的分割结果;
步骤3.1.2、输入数据;将步骤2.1.1以及步骤2.1.2中获得的注意力通道数据块和上下文通道数据块分别输入注意力通道和上下文通道;
步骤3.1.3、将注意力通道的数据放入卷积层C_0(K_0,F_0),其中K_0 为注意力通道数据块的3D卷积核,F_0为卷积层C_0输出的特征图数量;
步骤3.1.4、将步骤3.1.3的输出放入注意力通道第i个中心剪裁密集卷积块〖CDB〗_i中进行操作;数据经过一个卷积层C_i1(K_i1,g)(i=1, 2,3…)中进行3D卷积操作,其中,K_i1表示第i个中心剪裁密集卷积块的第一层卷积的卷积核大小,g为成长率;
步骤3.1.5、对卷积得到的特征图进行批归一化操作,并对批归一化后的特征图进行非线性激活,激活函数为Relu函数;
步骤3.1.6、在步骤3.1.4卷积的同时,数据还会进行中心剪裁操作,剪裁后大小与卷积层C_i1的输出大小相同;将剪裁后的输入数据与卷积层 C_i1的输出进行连接操作;其输出进入下一个卷积层,一个中心剪裁密集卷积块中卷积层的数量i可由用户在训练阶段指定的;
步骤3.1.7、将经过中心剪裁密集卷积块处理的数据放入过渡层T_i ((1,1,1),compression),过渡层实质是通过卷积层实现的,其中(1,1,1) 是卷积核大小,compression为压缩率;
步骤3.1.8、将上下文通道的数据以及步骤3.1.7所得输入一起放入加权融合结构;
步骤3.1.9、将加权融合结构的输出放入卷积层C_i1^ ‘(K_i1,F_i1)(i=1),其中,K_i1该卷积层的卷积核大小,F_i1表示输出的特征图个数;
步骤3.1.10、将卷积层C_i1^‘(K_i1,F_i1)(i=1)的输出放入批归一化层进行操作,并对批归一化后的特征图进行非线性激活,激活函数为PRelu 函数;
步骤3.1.11、重复步骤3.1.4~3.1.10直到数据输入最后一个中心剪裁密集卷积块;在得到最后一个中心剪裁密集卷积块的输出特征图之后,将其与上下文通道输出进行级联操作之后放入卷积层中进行全连接操作;此时两个通道的输出数据块的大小相等;
步骤3.1.12、得到模型提取的特征,对特征进行体素级别分类操作,得到最后分割结果;
步骤3.2、设置超参数,训练模型;
步骤3.2.1超参数设置;
设置双通道并行密集卷积神经网络中的4个中心剪裁密集卷积块中的卷积层的数目为2,2,2,4;
所使用的目标函数为softmax交叉熵函数,其定义如下:
其中,E(t,y)表示期望,t,y分别表示体素对应的标签和softmax输出的预测值;
模型所使用的最优化方法为RMSprop,其公式如下:
其中,α为学习率,t表示epoch的次数,g表示梯度,gt即为第t步的梯度,θt为第t步的模型参数,ε是平滑项,用于避免分母为0,一般取值 1e-8;
步骤3.2.2最优超参数选择;
对于深度网络模型,一般先根据经验确定超参数的大致取值范围,使用网格搜索方法选择最优的超参数;即其中心思想为:假设存在N个参数,且每个参数P_i存在n_i个候选值,可通过各种排列组合,产生∏_(i=i)^Nn_i 种参数组合,分别用每组参数进行试验,搜索最佳参数。
作为改进,步骤4具体包括以下步骤:
步骤4.1、对验证集数据进行有序采样得到与训练数据同样大小的数据,将这些数据输入经过训练得到的预测模型中,得出部分分割结果。
步骤4.2、将得出的各部分结构进行重构,得到完整的最终分割结果。
附图说明
图1为本发明的基于卷积神经网络的脑肿瘤分割方法的中心剪裁密集卷积块示意图。
图2为本发明的基于卷积神经网络的脑肿瘤分割方法的加权融合结构示意图。
图3为本发明的基于卷积神经网络的脑肿瘤分割方法的双通道并行密集卷积神经网络示意图。
具体实施方式
为了更好得理解本申请,将参考附图对本申请的各个方面做出更详细的说明。应理解,这些详细说明只是对本申请的示例性实施方式的描述,而非以任何方式限制本申请的范围。在说明书全文中,相同的附图标号指代相同的元件。
本发明公开了一种基于卷积神经网络的脑肿瘤分割方法,包括以下步骤:
步骤1、MRI脑肿瘤图像获取。从公开数据集中获取脑肿瘤的训练数据及其对应标注数据。
步骤2、数据预处理
步骤2.1、数据清洗
步骤2.1.1、注意力通道数据块样本随机采样。本发明所提出的算法是基于块的深度神经网络模型,一方面可以减少训练时间、降低计算开销,另一方面可以加深网络深度,从而获得更好的分割结果。因此在数据预处理阶段,本发明需要对原始MRI多模态数据和对应的标注数据进行随机的数据块采样。通过随机选取数据块中心坐标的方式,获得随机数据块,数据块大小为 ,数据块中心即为所选取中心。数据块六个面的中心点坐标的获取方式如下:
其中, 、 、 分别表示数据块左右、前后、上下的中心点的坐标点,att_size为所需要的注意力通道的输入数据块的大小。
由此可从原始3D数据中获取小数据块:
其中,Patch为所获取的数据块,Array为原始3D数据。
步骤2.1.2上下文通道数据块样本随机采样
基于算法要求,我们还需获取与步骤2.1.1中所获取的数据块相对应的分辨率相对较低的数据块,这类数据块是根据特定的计算公式所获取的,虽然有相对较低的分辨率,但是具有更广的感受野,能够获取更多的全局信息,其大小为 ,该大小是由步骤2.1.1中所设定的数据块大小确定的。为获取相应数据块,本步骤中采用的数据块坐标中心与步骤2.1.1相同,数据块获取方式与步骤2.1.1也相同。上下文通道数据块样本大小的计算方式如下:
=
其中,为上下文通道中数据块的大小, 为注意力通道数据块一个体素对应的感受野的大小, 为最后用于像素级别分类的输出大小,factor为感受野倍率,即上下文通道输入样本的感受野为注意力通道的感受野的factor倍。
步骤2.2、构建训练、测试数据集
步骤2.2.1、数据集构建。通过步骤2.1获取随机采样的注意力通道数据块、上下文通道数据块以及相应标注,对标注中的不同层次用不同标签区分。“0”为背景,“1”为坏死区域,“2”为水肿区域,“3”为非加强核心区域,“4”为加强核心区域;
步骤2.2.2、多模态数据整合。由于MRI数据通常具有多个模态(本发明所使用数据包含FLAIR、T1、T2、T1C共4个模态),我们将经过相同处理的不同模态数据整合为一个数据,即最后的两种输入数据的大小分别为 和 。
步骤2.2.2、训练验证集划分。将有标注的数据集分为2部分:训练集、验证集。本实验采用80%的原始数据用以训练,20%的数据用于验证。
步骤3、数据分析模型建立
步骤3.1、模型建立
步骤3.1.1、搭建基础模型
针对脑肿瘤分割任务,本发明设计了双通道并行密集卷积神经网络,该网络拥有两个通道,分别是注意力通道和上下文通道。注意力通道负责学习大小为 的数据块样本的特征。该类输入分辨率与原始图像一样,因此可以学习到该数据块上的细节信息。上下文通道则负责学习大小为 的数据块样本。该类样本虽然在数据大小上小于注意力通道输入数据,但在感受野上是注意力通道输入数据的三倍,所以上下文通道对样本的整体信息特征,如位置、大小等更加敏感。通过整合两个通道的学习结果,可得出最后的体素级别的分割结果。
步骤3.1.2、输入数据
将步骤2.1.1以及步骤2.1.2中获得的数据 (大小为 )和 (大小为 )分别输入注意力通道和上下文通道。
步骤3.1.3、将注意力通道的数据放入卷积层 ,其中 为 的3D卷积核, 为卷积层 输出的特征图数量,一般设为24。
步骤3.1.4、将上一步骤的输出放入注意力通道第i个中心剪裁密集卷积块 中进行操作,中心剪裁密集卷积块是本发明提出的一个用于密集连接各层卷积特征且避免了引入噪声的结构。其结构如图1所示。
首先,数据会经过一个卷积层 中进行3D卷积操作,其中, 表示第i个中心剪裁密集卷积块的第一层卷积的卷积核大小,g为成长率,通常设定为12,即该卷积层输出的特征图的个数为12。
步骤3.1.5、对卷积得到的特征图进行批归一化操作,并对批归一化后的特征图进行非线性激活,激活函数为 函数。
步骤3.1.6、在步骤3.1.4卷积的同时,数据还会进行中心剪裁操作,剪裁后大小与卷积层 的输出大小相同。将剪裁后的输入数据与卷积层 的输出进行连接操作。其输出会进入下一个卷积层,如等等,一个中心剪裁密集卷积块中卷积层的数量 可由用户在训练阶段指定的。
步骤3.1.7、将经过中心剪裁密集卷积块处理的数据放入过渡层 ,过渡层实质是通过卷积层实现的,其中 是卷积核大小,compression为压缩率。过渡层的作用是对中心剪裁密集卷积块的输出进行压缩。
步骤3.1.8、将上下文通道的数据以及步骤3.1.7所得输入一起放入加权融合结构,该结构是本发明提出的可自动学习权重的加权融合不同数据的结构,如图2所示。
步骤3.1.9、将加权融合结构的输出放入卷积层 ,其中, 该卷积层的卷积核大小, 表示输出的特征图个数。本步骤中卷积层数目比相对应的中心剪裁密集卷积块卷积层数目少一层,同样可由用户在训练阶段手动设定。
步骤3.1.10、将卷积层 的输出放入批归一化层进行操作,并对批归一化后的特征图进行非线性激活,激活函数为 函数。
步骤3.1.11、重复步骤3.1.4~3.1.10直到数据输入最后一个中心剪裁密集卷积块。在得到最后一个中心剪裁密集卷积块的输出特征图之后,将其与上下文通道输出进行级联操作之后放入1 的卷积层中进行全连接操作。此时两个通道的输出数据块的大小均为 。
步骤3.1.12、得到模型提取的大小为 的特征,对特征进行体素级别分类操作,得到最后分割结果。整体网络结构如图3所示。
步骤3.2、设置超参数,训练模型
步骤3.2.1 超参数设置
本发明设置双通道并行密集卷积神经网络中的4个中心剪裁密集卷积块中的卷积层的数目为2,2,2,4。
所使用的目标函数为softmax交叉熵函数,其定义如下:
其中,表示期望,分别表示体素对应的标签和softmax输出的预测值。
模型所使用的最优化方法为RMSprop,其公式如下:
其中,α为学习率,t表示epoch的次数,g表示梯度,即为第t步的梯度,为第t步的模型参数,ε是平滑项,用于避免分母为0,一般取值1e−8。
步骤3.2.2 最优超参数选择
对于深度网络模型,一般先根据经验确定超参数的大致取值范围,使用网格搜索方法选择最优的超参数。即其中心思想为:假设存在N个参数,且每个参数 存在 个候选值,可通过各种排列组合,产生 种参数组合,分别用每组参数进行试验,搜索最佳参数。
步骤4、模型评估
步骤4.1、对验证集数据进行有序采样得到与训练数据同样大小的数据,将这些数据输入经过训练得到的预测模型中,得出部分分割结果。
步骤4.2、将得出的各部分结构进行重构,得到完整的最终分割结果。
本发明的一种基于卷积神经网络的脑肿瘤分割方法,通过搭建双通道并行密集卷积神经网络对现有MRI脑肿瘤数据集进行学习,从而得到可对3D MRI脑肿瘤图像进行自动分割的模型。与现有方法对比,本发明的优点在于:
(1)全程自动分割,分割过程无需人工进行干涉;
(2)对脑肿瘤进行了细粒度分割,不仅对肿瘤自身进行分割,还将其分为几个细粒度的特定类别;
(3)提出3D中心密集卷积块用于提取特征,省略了提取特征过程中为保持数据块大小而进行的填充操作,从而避免了引入噪声;
提出双通道并行密集卷积神经网络结构,得到了优越的分割结果。
Claims (4)
1.一种基于卷积神经网络的脑肿瘤分割方法,其特征在于,包括以下步骤:
步骤1、获取磁共振脑肿瘤图像;即从磁共振公开数据集中获取脑肿瘤的训练数据及其对应标注数据;
步骤2、对步骤1获取的数据进行预处理,包括数据清洗和构建训练、测试数据集;
步骤3、建立数据分析模型;
步骤4、评估模型,得到脑肿瘤分割结果。
2.根据权利要求1所述的基于卷积神经网络的脑肿瘤分割方法,其特征在于,步骤2具体包括以下步骤:
步骤2.1、数据清洗;
步骤2.1.1、对原始磁共振多模态数据和对应的标注数据进行随机的数据块采样;通过随机选取数据块中心坐标的方式,获得随机数据块,数据块中心即为所选取中心;
步骤2.1.2、获取与步骤2.1.1中所获取的数据块相对应的分辨率相对较低的数据块,本步骤中采用的数据块中心坐标与步骤2.1.1相同,数据块获取方式与步骤2.1.1也相同;
步骤2.2、构建训练、测试数据集;
步骤2.2.1、数据集构建;通过步骤2.1获取随机采样的注意力通道数据块、上下文通道数据块以及相应标注,对标注中的不同层次用不同标签区分;
步骤2.2.2、多模态数据整合;将经过相同处理的不同模态数据整合为一个数据;
步骤2.2.2、训练验证集划分;将有标注的数据集分为两个部分,即训练集和验证集。
3.根据权利要求1所述的基于卷积神经网络的脑肿瘤分割方法,其特征在于,步骤3具体包括以下步骤:
步骤3.1、模型建立;
步骤3.1.1、搭建基础模型;针对脑肿瘤分割任务,设计双通道并行密集卷积神经网络,该网络包括注意力通道和上下文通道;注意力通道负责学习注意力通道数据块样本的特征;上下文通道则负责学习上下文通道数据块样本;整合两个通道的学习结果,得出最后的体素级别的分割结果;
步骤3.1.2、输入数据;将步骤2.1.1以及步骤2.1.2中获得的注意力通道数据块和上下文通道数据块分别输入注意力通道和上下文通道;
步骤3.1.3、将注意力通道的数据放入卷积层C_0(K_0,F_0),其中K_0为注意力通道数据块的3D卷积核,F_0为卷积层C_0输出的特征图数量;
步骤3.1.4、将步骤3.1.3的输出放入注意力通道第i个中心剪裁密集卷积块〖CDB〗_i中进行操作;数据经过一个卷积层C_i1(K_i1,g)(i=1,2,3…)中进行3D卷积操作,其中,K_i1表示第i个中心剪裁密集卷积块的第一层卷积的卷积核大小,g为成长率;
步骤3.1.5、对卷积得到的特征图进行批归一化操作,并对批归一化后的特征图进行非线性激活,激活函数为Relu函数;
步骤3.1.6、在步骤3.1.4卷积的同时,数据还会进行中心剪裁操作,剪裁后大小与卷积层C_i1的输出大小相同;将剪裁后的输入数据与卷积层C_i1的输出进行连接操作;其输出进入下一个卷积层,一个中心剪裁密集卷积块中卷积层的数量i可由用户在训练阶段指定的;
步骤3.1.7、将经过中心剪裁密集卷积块处理的数据放入过渡层T_i((1,1,1),compression),过渡层实质是通过卷积层实现的,其中(1,1,1)是卷积核大小,compression为压缩率;
步骤3.1.8、将上下文通道的数据以及步骤3.1.7所得输入一起放入加权融合结构;
步骤3.1.9、将加权融合结构的输出放入卷积层C_i1^‘(K_i1,F_i1)(i=1),其中,K_i1该卷积层的卷积核大小,F_i1表示输出的特征图个数;
步骤3.1.10、将卷积层C_i1^‘(K_i1,F_i1)(i=1)的输出放入批归一化层进行操作,并对批归一化后的特征图进行非线性激活,激活函数为PRelu函数;
步骤3.1.11、重复步骤3.1.4~3.1.10直到数据输入最后一个中心剪裁密集卷积块;在得到最后一个中心剪裁密集卷积块的输出特征图之后,将其与上下文通道输出进行级联操作之后放入卷积层中进行全连接操作;此时两个通道的输出数据块的大小相等;
步骤3.1.12、得到模型提取的特征,对特征进行体素级别分类操作,得到最后分割结果;
步骤3.2、设置超参数,训练模型;
步骤3.2.1超参数设置;
设置双通道并行密集卷积神经网络中的4个中心剪裁密集卷积块中的卷积层的数目为2,2,2,4;
所使用的目标函数为softmax交叉熵函数,其定义如下:
其中,E(t,y)表示期望,t,y分别表示体素对应的标签和softmax输出的预测值;
模型所使用的最优化方法为RMSprop,其公式如下:
其中,α为学习率,t表示epoch的次数,g表示梯度,gt即为第t步的梯度,θt为第t步的模型参数,ε是平滑项,用于避免分母为0,一般取值1e-8;
步骤3.2.2最优超参数选择;
对于深度网络模型,一般先根据经验确定超参数的大致取值范围,使用网格搜索方法选择最优的超参数;即其中心思想为:假设存在N个参数,且每个参数P_i存在n_i个候选值,可通过各种排列组合,产生∏_(i=i)^Nn_i种参数组合,分别用每组参数进行试验,搜索最佳参数。
4.根据权利要求1所述的基于卷积神经网络的脑肿瘤分割方法,其特征在于,步骤4具体包括以下步骤:
步骤4.1、对验证集数据进行有序采样得到与训练数据同样大小的数据,将这些数据输入经过训练得到的预测模型中,得出部分分割结果;
步骤4.2、将得出的各部分结构进行重构,得到完整的最终分割结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910182143.1A CN110136133A (zh) | 2019-03-11 | 2019-03-11 | 一种基于卷积神经网络的脑肿瘤分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910182143.1A CN110136133A (zh) | 2019-03-11 | 2019-03-11 | 一种基于卷积神经网络的脑肿瘤分割方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110136133A true CN110136133A (zh) | 2019-08-16 |
Family
ID=67568787
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910182143.1A Pending CN110136133A (zh) | 2019-03-11 | 2019-03-11 | 一种基于卷积神经网络的脑肿瘤分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110136133A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110675378A (zh) * | 2019-09-23 | 2020-01-10 | 赵晖 | 一种脊柱转移肿瘤稳定性的图像识别方法及系统 |
CN111311592A (zh) * | 2020-03-13 | 2020-06-19 | 中南大学 | 一种基于深度学习的三维医学图像自动分割方法 |
CN111340767A (zh) * | 2020-02-21 | 2020-06-26 | 四川大学华西医院 | 一种脑部肿瘤头皮定位图像处理方法及系统 |
CN111754520A (zh) * | 2020-06-09 | 2020-10-09 | 江苏师范大学 | 一种基于深度学习的脑血肿分割方法及系统 |
CN112085113A (zh) * | 2020-09-14 | 2020-12-15 | 四川大学华西医院 | 一种重症肿瘤影像识别系统及方法 |
CN112116605A (zh) * | 2020-09-29 | 2020-12-22 | 西北工业大学深圳研究院 | 一种基于集成深度卷积神经网络的胰腺ct图像分割方法 |
CN117496133A (zh) * | 2024-01-03 | 2024-02-02 | 山东工商学院 | 基于多模态数据的封闭母线r-cnn温度故障监测方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106296699A (zh) * | 2016-08-16 | 2017-01-04 | 电子科技大学 | 基于深度神经网络和多模态mri图像的脑肿瘤分割方法 |
CN108492297A (zh) * | 2017-12-25 | 2018-09-04 | 重庆理工大学 | 基于深度级联卷积网络的mri脑肿瘤定位与瘤内分割方法 |
-
2019
- 2019-03-11 CN CN201910182143.1A patent/CN110136133A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106296699A (zh) * | 2016-08-16 | 2017-01-04 | 电子科技大学 | 基于深度神经网络和多模态mri图像的脑肿瘤分割方法 |
CN108492297A (zh) * | 2017-12-25 | 2018-09-04 | 重庆理工大学 | 基于深度级联卷积网络的mri脑肿瘤定位与瘤内分割方法 |
Non-Patent Citations (1)
Title |
---|
KONSTANTINOS KAMNITSAS等: "《Efficient multi-scale 3D CNN with fully connected CRF for accurate brain lesion segmentation》", 《MEDICAL IMAGE ANALYSIS》 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110675378A (zh) * | 2019-09-23 | 2020-01-10 | 赵晖 | 一种脊柱转移肿瘤稳定性的图像识别方法及系统 |
CN110675378B (zh) * | 2019-09-23 | 2022-04-08 | 赵晖 | 一种脊柱转移肿瘤稳定性的图像识别方法及系统 |
CN111340767A (zh) * | 2020-02-21 | 2020-06-26 | 四川大学华西医院 | 一种脑部肿瘤头皮定位图像处理方法及系统 |
CN111340767B (zh) * | 2020-02-21 | 2023-12-12 | 四川大学华西医院 | 一种脑部肿瘤头皮定位图像处理方法及系统 |
CN111311592A (zh) * | 2020-03-13 | 2020-06-19 | 中南大学 | 一种基于深度学习的三维医学图像自动分割方法 |
CN111311592B (zh) * | 2020-03-13 | 2021-10-08 | 中南大学 | 一种基于深度学习的三维医学图像自动分割方法 |
CN111754520A (zh) * | 2020-06-09 | 2020-10-09 | 江苏师范大学 | 一种基于深度学习的脑血肿分割方法及系统 |
CN111754520B (zh) * | 2020-06-09 | 2023-09-15 | 江苏师范大学 | 一种基于深度学习的脑血肿分割方法及系统 |
CN112085113A (zh) * | 2020-09-14 | 2020-12-15 | 四川大学华西医院 | 一种重症肿瘤影像识别系统及方法 |
CN112116605A (zh) * | 2020-09-29 | 2020-12-22 | 西北工业大学深圳研究院 | 一种基于集成深度卷积神经网络的胰腺ct图像分割方法 |
CN117496133A (zh) * | 2024-01-03 | 2024-02-02 | 山东工商学院 | 基于多模态数据的封闭母线r-cnn温度故障监测方法 |
CN117496133B (zh) * | 2024-01-03 | 2024-03-22 | 山东工商学院 | 基于多模态数据的封闭母线r-cnn温度故障监测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109035263B (zh) | 基于卷积神经网络的脑肿瘤图像自动分割方法 | |
CN110136133A (zh) | 一种基于卷积神经网络的脑肿瘤分割方法 | |
CN108052977B (zh) | 基于轻量级神经网络的乳腺钼靶图像深度学习分类方法 | |
CN106815481B (zh) | 一种基于影像组学的生存期预测方法及装置 | |
CN113256641B (zh) | 一种基于深度学习的皮肤病灶图像分割方法 | |
CN111931811B (zh) | 一种基于超像素图像相似度的计算方法 | |
CN107016395B (zh) | 稀疏表示的原发性脑部淋巴瘤和胶质母细胞瘤的鉴别系统 | |
CN113571203A (zh) | 多中心基于联邦学习的脑肿瘤预后生存期预测方法及系统 | |
Han et al. | Automated pathogenesis-based diagnosis of lumbar neural foraminal stenosis via deep multiscale multitask learning | |
CN112767417B (zh) | 一种基于级联U-Net网络的多模态图像分割方法 | |
CN110097921B (zh) | 基于影像组学的胶质瘤内基因异质性可视化定量方法和系统 | |
CN116188423B (zh) | 基于病理切片高光谱图像的超像素稀疏解混检测方法 | |
CN104933709A (zh) | 基于先验信息的随机游走ct肺组织图像自动分割方法 | |
CN110782427B (zh) | 基于可分离空洞卷积的磁共振脑肿瘤自动分割方法 | |
CN108629772A (zh) | 图像处理方法及装置、计算机设备和计算机存储介质 | |
Sheng et al. | Second-order ResU-Net for automatic MRI brain tumor segmentation | |
Song et al. | Hybrid deep autoencoder with Curvature Gaussian for detection of various types of cells in bone marrow trephine biopsy images | |
CN110619635A (zh) | 基于深度学习的肝细胞癌磁共振图像分割系统和方法 | |
JP2022547722A (ja) | 細胞検出およびセグメンテーションのための弱教師ありマルチタスク学習 | |
Roy et al. | Heterogeneity of human brain tumor with lesion identification, localization, and analysis from MRI | |
Wu et al. | 3d centroidnet: nuclei centroid detection with vector flow voting | |
Li et al. | A deeply supervised convolutional neural network for brain tumor segmentation | |
CN114926486B (zh) | 一种基于多层级改进的甲状腺超声图像智能分割方法 | |
Delmoral et al. | Segmentation of pathological liver tissue with dilated fully convolutional networks: A preliminary study | |
Lecesne et al. | Segmentation of cardiac infarction in delayed-enhancement MRI using probability map and transformers-based neural networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190816 |
|
RJ01 | Rejection of invention patent application after publication |