CN109360208A - 一种基于单程多任务卷积神经网络的医学图像分割方法 - Google Patents
一种基于单程多任务卷积神经网络的医学图像分割方法 Download PDFInfo
- Publication number
- CN109360208A CN109360208A CN201811135259.1A CN201811135259A CN109360208A CN 109360208 A CN109360208 A CN 109360208A CN 201811135259 A CN201811135259 A CN 201811135259A CN 109360208 A CN109360208 A CN 109360208A
- Authority
- CN
- China
- Prior art keywords
- subtask
- segmentation
- tissue
- depth model
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于单程多任务卷积神经网络的医学图像分割方法,先利用网络把分割任务拆成三个不同但关联的子任务;子任务一对图像进行粗分割,确定完整组织大致区域;子任务二对该区进行膨胀和精细分割,得到区内体素的精确组织类别和完整组织精确位置;子任务三用精分割来扫描完整组织内的体素,决策出增强组织位置;然后三个子任务用课程学习策略由易到难分阶段训练,实现子任务间的数据和参数共享;最后通过后处理法改善分类错误问题并输出最终分割结果。本发明将关联子任务合成单一网络同时训练,改进了级联模型逐一训练子任务的缺点并更好解决了类别不平衡问题,单程运算实现了对图像由粗到精的分割,系统复杂性降低之余提高了分割效果。
Description
技术领域
本发明涉及图像处理领域,具体涉及一种基于单程多任务卷积神经网络的医学图像分割方法。
背景技术
随着科学技术的发展,计算机断层扫描(Computed Tomography,CT)、磁共振成像(Magnetic Resonance Imaging,MRI)、正电子发射断层成像(Positron EmissionTomography,PET)和电子内窥镜(Endoscopy)等现代医疗成像技术及设备得到迅猛发展和普及。在这些技术和设备投入使用之后,我们可以方便地获得大量的医学影像资料,并通过计算机等设备处理、观察、分析病人的患病组织或器官,使得医疗人员可以更清晰地了解病情,大幅度缩短确诊时间并提高诊断准确率。值得注意的是,医学图像分割技术是放射科医生为病人进行临床诊断的一种有力手段,图像分割技术的成熟程度往往决定了病人的康复速度。
由此可见,医学图像分割是决定医学图像在临床诊疗中能否提供可靠信息的关键,目前国内外已有众多学者投入到该领域的研究当中。至于常用的医学图像分割方法,主要包括传统的分割方法和基于深度学习的分割方法两种。传统的方法包括:基于阈值的分割、基于边缘的分割、基于区域的分割、基于运动的分割、基于活动轮廓模型的分割等。然而,在以上传统分割方法的基础上,学者们已对它们做出了大量的改进和优化,如基于图论、图谱引导、数学形态学、模糊聚类、小波变换的分割等。另一方面,由于深度学习算法在医学图像分割中的应用,医学图像分割技术在近年来取得了显著的进展。Wu Xundong等人提出的基于迭代卷积神经网络的细胞膜分割方法,通过在细胞膜检测概率图上迭代使用卷积神经网络算法,细胞膜的分割精度有了一定的提升。Stollenga等人首次在六个方向上使用3D LSTM-RNN对脑部MR图像进行分割,用金字塔方式重新排列MD-LSTM中传统的长方体计算顺序,使得网络可以在GPU上并行训练,大大提高了网络训练的效率。Adermatt等人使用带有门控单元的3D RNN网络分割MR图像中的灰质和白质,结合数据预处理和后处理操作,进一步提高了分割准确率。Wang等人把多任务的脑部组织分割分解成三个连续的一系列二分类分解任务,且每个任务通过独立的网络来进行训练,该做法能够有效地缓解类不平衡性问题,但它是用提高系统复杂度和忽略任务关联性来作为代价的。
分析以上的分割方法可知,每种方法适用于不同的特定场合,且分割效果各有优劣。鉴于基于深度学习的分割方法学习能力强,且其分割效果一般比传统的分割方法好,因此当今医学图像分割技术是朝着深度学习的方向发展的。但深度学习使用的模型结构往往非常复杂,且训练过程中会产生极其庞大的参数量,这对计算机的硬件配置要求非常高。这一系列问题,导致了基于深度学习的分割方法应该向结构简单化、参数少量化的方向发展。
发明内容
本发明的目的是针对现有技术的不足,提供了一种基于单程多任务卷积神经网络的医学图像分割方法,所述方法提出了一个模型结构简单化、参数少量化且分割效果较好的深度学习模型,使得所述方法更为简洁、鲁棒性更强,分割效果也更为理想。
本发明的目的可以通过如下技术方案实现:
一种基于单程多任务卷积神经网络的医学图像分割方法,所述方法包括以下步骤:
S1、获取已预处理过的医学图像,首先将组织分割任务分解成三个不同但关联的子任务:子任务一、子任务二和子任务三,再将所述三个子任务集成于一个深度模型,即单程多任务卷积神经网络里,并向所述深度模型输入所述图像;其中所述子任务一对所述图像进行粗分割,来确定所述图像中完整组织的大致区域,所述完整组织的大致区域将作为所述子任务二的感兴趣区域;所述子任务二将从所述子任务一中得到的所述感兴趣区域进行膨胀处理,得到膨胀区域,然后对所述膨胀区域进行精细分割,得到所述膨胀区域中所有体素的精确组织类别,同时获得所述完整组织的精确位置;所述子任务三通过精分割来扫描所述完整组织的精确位置内的体素,并对增强组织的位置做出决策;
S2、使用基于课程学习的策略对所述深度模型进行由易到难的分阶段训练,直到所述深度模型内的所述三个子任务的损失函数均达到收敛;
S3、使用后处理方法改善所述深度模型的分类错误问题,并输出最终的分割结果。
进一步地,步骤S1中,所述预处理指对所述医学图像进行特征标准化,使得图像的每一个序列图像具有零均值和单位方差。
进一步地,步骤S2中,使用基于课程学习的策略对所述深度模型进行由易到难的分阶段训练,所述课程学习是机器学习领域中的一种学习策略,它将所述三个子任务依次加入到所述深度模型中进行训练,使得所述深度模型能够按照任务的难易程度从易到难得到训练,有助于提高所述深度模型的收敛质量,同时复用所述三个子任务间的部分训练数据,实现了对所述部分训练数据的共享和参数共享,所述部分训练数据的共享需满足下列抽样策略一或抽样策略二的条件:
抽样策略一的条件:
抽样策略二的条件:
其中,li是一个数据集中第i个体素的标签,n是一个数据集中体素的总数,Ccomplete代表所有的组织分类,Ccore代表属于组织核心的组织分类,所述子任务一的训练数据一若满足所述抽样策略一的条件,所述训练数据一能够在所述子任务二中实现共享;同理,所述训练数据一和所述子任务二中的训练数据二若满足所述抽样策略二的条件,所述训练数据一和所述训练数据二能够在所述子任务三实现共享。
进一步地,步骤S3中,所述后处理方法是一个全自动的方法,使用所述后处理方法改善所述深度模型的分类错误问题,从而得到最终的分割结果,具体包括以下步骤:
将体积小于最大相连组织区域十分之一的单独小簇移除;
根据被预测成水肿组织的体素的核磁共振图像强度值,使用K均值聚类算法将所述体素聚类成两组,并根据所述深度模型的预测结果,计算所述深度模型预测成水肿组织的体素被预测为非增强组织类别的平均概率值;
将拥有更高平均概率值的体素的标签改为非增强组织类别,相反,其他体素的标签保持不变。
进一步地,所述深度模型中用于单个任务的基本网络模型包含一个编码路径和一个对称的解码路径,编码路径生成高级的复杂特征表达,解码路径来恢复特征图的尺寸大小,实现体素级标签的预测;编码路径和解码路径都由卷积层、最大值池化层、残差块和反卷积层构成;
深度模型中每个子任务只拥有其独立的位于网络尾端的一个卷积层和一个分类层,其余网络层作为深度模型的共享结构;所述三个子任务分别对应三个不同的输入和输出,输入网络的数据维度是32×32×16×4,三个子任务的输入数据会沿着样本数目的维度合并起来进入所述共享结构;所述共享结构输出的训练特征会按所述样本合并的位置进行切片,通过各自特有的网络层,最终得到三个子任务的分割结果,其中,子任务一和子任务二是5分类,子任务三是2分类。
本发明与现有技术相比,具有如下优点和有益效果:
1、在深度学习的大背景下,为了缓解医学图像中常见的类别不平衡性问题,将复杂的图像分割任务分解成若干简单的子任务,再对每个子任务分别训练一个分类器,这种方法已经变得越来越流行,我们把上述方法称为模型级联策略,它可以有效地缓解类别不平衡问题,但会提高系统复杂度,同时忽略任务间的关联性。本发明提供的一种基于单程多任务卷积神经网络的医学图像分割方法,较好地改进了模型级联策略的缺点,考虑到用于训练各个子任务的网络除分类层、损失层外,其它结构几乎是一致的,而它们本质上的差别是训练数据,因而提出了一个基于单程多任务卷积神经网络的结构,利用多任务学习将分割任务中的三个子任务合并到同一个深度模型里,该深度模型就是提出的单程多任务卷积神经网络。该网络不仅可以共享参数,降低系统复杂性,而且还可以利用任务间的相关性,使得模型收敛得更快更好。三个子任务各自的分类器的预测结果可以一次通过网络同时获得,与以前的模型级联策略相比,本发明的系统复杂度和参数量均大幅下降。
2、本发明提供的一种基于单程多任务卷积神经网络的医学图像分割方法,创新性地引用基于课程学习的策略来训练深度模型,该学习策略让深度模型从简单的任务开始学习,并逐渐加大学习难度,该做法除了让深度网络实现对部分训练数据的共享和参数共享之外,还较大地提高深度模型的收敛质量。
3、本发明提出了一种新颖的全自动后处理方法,运用该方法可以改善提出的单程多任务卷积神经网络存在的分类错误问题。总的来说,相对于传统和现代的分割方法,本发明提出了一种更为简洁、鲁棒性更强的分割方法,经实验证明本发明的分割效果较模型级联而言,更为理想。
附图说明
图1为本发明实施例基于单程多任务卷积神经网络的医学图像分割方法的流程图。
图2为本发明实施例中三个子任务的基本网络结构。
图3为本发明实施例中提出的单程多任务卷积神经网络的网络结构。
图4(a)为本发明实施例中核磁共振图像中的Flair序列,图4(b)为专家标注的分割结果,图4(c)为MC3的分割结果,图4(d)为OM-Net的分割结果,图4(e)为OM-Netp的分割结果。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
实施例:
为了方便地描述本实施例的内容,首先对本实施例中的英文简写和专业术语进行简单说明:
组织分类及分割任务:在医学界里,针对脑部区域的变异组织,总共有四种分类,分别是:水肿组织、坏死组织、非增强组织和增强组织;这四种类型的组织被归合成三个重叠的区域,其中包括:完整组织、组织核心和增强组织。
Flair序列:磁共振图像的序列之一,通俗所说的压水像。在这个序列中,脑灰质是高信号(图像显示“亮一些”),脑白质是低信号(图像显示“暗一些”),这些性质类似于T2WI。但是在压水像上,脑脊液是低信号,也就是黑色的。
Ground-truth:在外国的科研文献中,大部分的实验都需要跟ground-truth做对比,可以理解为“科研问题中的标准答案”,本说明书附图图4(b)的ground-truth指的是经专家人工准确标注过的医学图像,我们可以将各种分割方法的结果与ground-truth作对比,来评价该方法性能的优劣。
MCn:MC是级联模型(Model Cascade)的英文翻译简写,由于级联模型策略允许任意个子网络进行级联,来实现提高医学图像分割效果的目的,因此n是代表用于级联的子网络的个数。
OM-Net:单程多任务网络(One-pass Multi-task Network)的英文翻译简写,本发明将三个不同但关联的子任务最终集合成在一个深度网络里,该网络已使用基于课程学习的策略和已实现不同子任务数据共享,但未使用所述的后处理方法作预测纠正。
OM-Net0:该网络是未使用基于课程学习的策略且未实现不同子任务数据共享的OM-Net,用于与OM-Net形成对比,来证明使用基于课程学习的策略能提高网络分割性能的结论。
OM-Netd:该网络是未使用基于课程学习的策略但已实现不同子任务数据共享的OM-Net,用于与OM-Net形成对比,来证明使用基于课程学习的策略能提高网络分割性能的结论。
OM-Netp1:该网络在OM-Net的基础上使用后处理方法(post-processing method)中将体积少于最大相连组织区域的十分之一的单独小簇移除的步骤,用于与OM-Net形成对比,以此来证明后处理方法中该步骤的性能。
OM-Netp:该网络在OM-Net的基础上使用完整的后处理方法(post-processingmethod),用于与OM-Netp1形成对比,以此来证明后处理方法中根据被预测成水肿组织的体素的核磁共振图像强度值,使用K均值聚类算法将所述体素聚类成两组,并根据所述深度模型的预测结果,计算所述深度模型预测成水肿组织的体素被预测为非增强组织类别的平均概率值;以及将拥有更高所述平均概率值的所述体素的标签改为非增强组织类别,相反,其他体素的标签保持不变;这两个步骤的性能。
类别不平衡性问题:支持向量机算法在处理不平衡样本数据时,其分类器预测具有倾向性,样本数目多的类别会在训练时占主导,从而使得分类器在预测时倾向于预测样本数目多的类别。
K均值聚类算法:先随机选取K个对象作为初始的聚类中心,然后计算每个对象与各个子聚类中心之间的距离,把每个对象分配给距离它最近的聚类中心。聚类中心以及分配给它们的对象就代表一个聚类。一旦全部对象都被分配了,每个聚类的聚类中心会根据聚类中现有的对象被重新计算,这个过程将不断重复直到满足某个终止条件。
随机梯度下降:随机梯度下降(Stochastic gradient descent,SGD)的核心思想是随机选取一个点做梯度下降,而不是遍历所有样本后再进行参数迭代;因为梯度下降法的损失函数计算需要遍历所有样本,而且是每次迭代均要遍历,直至达到局部最优解,这样做在样本量很大时计算量非常庞大,收敛速度比较慢;但随机梯度下降法仅以当前样本点进行最小值求解,虽然这样做通常无法达到真正局部最优解,但可以节省大量计算资源下比较接近最优解。
Batchsize:batchsize的中文翻译为“批量大小”,在深度学习领域,我们训练网络时往往需要不断从向网络依次输送一定批量大小的训练图像,直到网络收敛为止,batchsize的正确选择是为了在内存效率和内存容量之间寻找最佳平衡。
Epoch:epoch的中文翻译为“纪元”,在深度学习领域,一个epoch代表网络训练完整个训练数据集一次所耗费的时间,一般用来计算网络训练时所消耗的迭代次数,计算网络迭代次数的表达式为:
Dice系数:用来衡量不同图像分割方法所得到的分割结果与正确结果之间的相似性,数学表达式为:
其中,Rseg表示不同方法得到的分割结果,Rright表示ground-truth的正确分割结果。
以下结合附图,对本实施例做进一步说明,如图1所示,本实施例提供了一种基于单程多任务卷积神经网络的医学图像分割方法,实现流程包括六个步骤:
步骤一、对待输入的图像先进行预处理,即图像归一化,同时把组织分割任务分解成三个不同但关联的子任务:子任务一、子任务二和子任务三;
步骤二、子任务一对输入的图像进行粗分割,它的训练数据是从图像中的脑部区域上随机抽取的,为了减少过拟合,我们将网络当作一个五分类分割问题来训练,通过训练网络可以确定图像中完整组织的大致区域,作为子任务二的感兴趣区域;
步骤三、子任务二将从子任务一中得到的感兴趣区域进行膨胀处理,从而得到膨胀区域,然后对膨胀区域进行精细分割,得到膨胀区域中所有体素的精确组织类别,同时获得完整组织的精确位置,它的训练数据是从完整组织膨胀后的区域内随机抽样的;
步骤四、子任务三扫描完整组织的精确位置内的体素,对增强组织的位置做出决策,通过融合子任务二和子任务三的结果,组织核心的位置同时被决定出来,这个网络的训练数据是从组织核心的精确区域里随机抽样的;
步骤五、使用基于课程学习的策略对深度模型进行由易到难的训练,首先,我们训练OM-Net的子任务一直到loss曲线变平缓,这样OM-Net将学习到大致区分完整组织的能力;然后,我们把子任务二加入到OM-Net当中,子任务一中满足抽样策略一的部分训练数据将与子任务二本身的训练数据一起用于训练子任务二,这个过程一直持续下去直到子任务二的loss曲线变平缓;同样,将子任务三加入到OM-Net当中,子任务一和子任务二中满足抽样策略二的部分训练数据将与子任务三本身的训练数据一起用于训练子任务三,直到三个子任务的loss曲线均达到收敛,在预测过程中OM-Net将同时获得三个子任务的分割结果;
步骤六、使用全自动的后处理方法缓解OM-Net的分类错误问题,其中包括三个步骤:将体积少于最大相连组织区域的十分之一的单独小簇移除;根据被预测成水肿组织的体素的核磁共振图像强度值,使用K均值聚类算法将体素聚类成两组,并根据所述深度模型的预测结果,计算所述深度模型预测成水肿组织的体素被预测为非增强组织类别的平均概率值;将拥有更高平均概率值的体素的标签改为非增强组织类别,相反,其他体素的标签保持不变。
如图2所示,本实施例中的网络结构作为基本的分类器,在模型级联过程中训练三个这样的分类器,每个分类器对应一个子任务。该基本的网络使用了一个三维变种的FusionNet,从而较好地解决三维物体的分割问题。输入网络的数据维度是32×32×16×4,其中32、32、16分别代表图像的长、宽、高,4代表磁共振成像的四个核磁共振序列。观察图2可知,网络包含了卷积层、最大值池化层、残差块、反卷积层等结构,三个子任务所用网络结构的唯一差别是最后的分类层,它们对应的输出类别数分别是5、5、2。
如图3所示是基于单程多任务卷积神经网络(OM-Net)的系统结构,输入-i、特征-i、输出-i分别对应第i个子任务的输入数据、训练特征和分类输出,其中i=1,2,3;而图3中的共享主干模型对应图2中用虚线围着的网络部分;从图3可知,三个子网络的输入数据会沿着样本数目的维度并起来,共同进入共享主干模型进行训练,然后训练特征会按原来合并的位置进行切片,并在对应的分类器进行输出;判决条件中的(1)和(2)分别指上文的抽样策略一和抽样策略二的条件。若输入-1满足抽样策略一的条件,特征-1可以与特征-2串联起来作为输出-2的表征;同理,若输入-1和输入-2满足抽样策略二的条件,特征-1、特征-2可以与特征-3串联起来作为输出-3的表征。
为了评估性能,本实施例选择BRATS2015和BRATS2017医学图像库作为实验图像集。在本次实验中,根据不同方法得到的Dice系数的大小,来定量评价该方法的分割效果。
如图4(a)-图4(e)所示为核磁共振图像及各网络的分割结果,从左往右依次是Flair序列,ground-truth、以及MC3、OM-Net、OM-Netp三种方法的分割结果。
在进行实验之前,所有图像均经过归一化预处理,使得图像中的每个序列的体素强度均归一化为零均值和单位方差;我们从图像中为三个子任务分别抽取400000、400000和200000个样本作为训练数据,整个网络在基于C3D软件包的框架中实现;三个子任务均采用SoftmaxWithLoss作为损失函数,且使用随机梯度下降(SGD)策略来训练整个网络,所有网络的初始学习率均为0.001,每经4个epochs学习率下降二分之一;另外,MC网络中的每个子网络分别训练20个epochs,而OM-Net的三个阶段分别需要训练1、1、18个epochs。
BRATS2017的训练集共有285个核磁共振图像,为了方便评估,我们随机把训练集分为两个子集,其中训练子集包含260个核磁共振图像,本地验证子集包含25个核磁共振图像。实验结果如表1所示,其中包括了MC1、MC2、MC3、OM-Net、OM-Net0、OM-Netd、OM-Netp1、OM-Netp八种网络结构的网络参数量和Dice系数。
表1各网络结构在BRATS2017本地验证子集的分割表现(%)
从表1可以看到,随着MC网络的子网络个数增加,其Dice系数在稳步上升,证明了随着子网络的增加MC网络的分割效果会变好,但系统复杂度也会快速增长;然而,OM-Net在参数量是MC3三分之一的情况下,Dice系数比MC3更高,证明了OM-Net不但大幅度降低了系统复杂度,其分割效果也更好;另外,从Dice系数可以看出,OM-Net的分割效果总体上比OM-Net0和OM-Netd好,证明了基于课程学习策略的有效性;最后,OM-Netp1在分割完整组织时的Dice系数与OM-Net相比稍有提高,OM-Netp在分割组织核心时的Dice系数与OM-Net相比稍有较大提高,证明了本实施例提出的全自动后处理方法的可行性。
另外,我们将网络OM-Netp于BRATS2017的验证集上进行实验,并将其分割结果与其他六十多个参赛队的结果作对比,本发明提出的网络在分割增强组织、完整组织和组织核心上的Dice系数分别是77.841%、90.386%和82.792%,在排行榜中排名第二。BRATS2015的训练集包含274个核磁共振图像,测试集包含110个核磁共振图像;我们将全部训练数据用于MC3和OM-Net的训练,并在测试集上对网络的分割效果进行评估,同时,我们分别给出由Isensee、Zhao、Kamnitsas等人提出的网络结构的Dice系数,如表2所示:
表2各网络结构在BRATS2015测试集的分割表现(%)
从表2可以看到,OM-Netp1在分割完整组织时的Dice系数与OM-Net相比提高了1%,OM-Netp在分割组织核心时的Dice系数与OM-Net相比提高了4%,这与BRATS2017的实验结果是一致的;另外,我们将OM-Netp的分割效果与其他方法作对比,通过观察Dice系数我们可以看到OM-Netp打败了其他三种方法,本发明在BRATS2015测试集上的Dice系数在当前的网上排行榜上排名第一。
以上所述,仅为本发明专利较佳的实施例,但本发明专利的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明专利所公开的范围内,根据本发明专利的技术方案及其发明专利构思加以等同替换或改变,都属于本发明专利的保护范围。
Claims (5)
1.一种基于单程多任务卷积神经网络的医学图像分割方法,其特征在于,所述方法包括以下步骤:
S1、获取已预处理过的医学图像,首先将组织分割任务分解成三个不同但关联的子任务:子任务一、子任务二和子任务三,再将所述三个子任务集成于一个深度模型,即单程多任务卷积神经网络里,并向所述深度模型输入所述图像;其中所述子任务一对所述图像进行粗分割,来确定所述图像中完整组织的大致区域,所述完整组织的大致区域将作为所述子任务二的感兴趣区域;所述子任务二将从所述子任务一中得到的所述感兴趣区域进行膨胀处理,得到膨胀区域,然后对所述膨胀区域进行精细分割,得到所述膨胀区域中所有体素的精确组织类别,同时获得所述完整组织的精确位置;所述子任务三通过精分割来扫描所述完整组织的精确位置内的体素,并对增强组织的位置做出决策;
S2、使用基于课程学习的策略对所述深度模型进行由易到难的分阶段训练,直到所述深度模型内的所述三个子任务的损失函数均达到收敛;
S3、使用后处理方法改善所述深度模型的分类错误问题,并输出最终的分割结果。
2.根据权利要求1所述的一种基于单程多任务卷积神经网络的医学图像分割方法,其特征在于,步骤S1中,所述预处理指对所述医学图像进行特征标准化,使得图像的每一个序列图像具有零均值和单位方差。
3.根据权利要求1所述的一种基于单程多任务卷积神经网络的医学图像分割方法,其特征在于,步骤S2中,使用基于课程学习的策略对所述深度模型进行由易到难的分阶段训练,所述课程学习是机器学习领域中的一种学习策略,它将所述三个子任务依次加入到所述深度模型中进行训练,使得所述深度模型能够按照任务的难易程度从易到难得到训练,有助于提高所述深度模型的收敛质量,同时复用所述三个子任务间的部分训练数据,实现了对所述部分训练数据的共享和参数共享,所述部分训练数据的共享需满足下列抽样策略一或抽样策略二的条件:
抽样策略一的条件:
抽样策略二的条件:
其中,li是一个数据集中第i个体素的标签,n是一个数据集中体素的总数,Ccomplete代表所有的组织分类,Ccore代表属于组织核心的组织分类,所述子任务一的训练数据一若满足所述抽样策略一的条件,所述训练数据一能够在所述子任务二中实现共享;同理,所述训练数据一和所述子任务二中的训练数据二若满足所述抽样策略二的条件,所述训练数据一和所述训练数据二能够在所述子任务三实现共享。
4.根据权利要求1所述的一种基于单程多任务卷积神经网络的医学图像分割方法,其特征在于,步骤S3中,所述后处理方法是一个全自动的方法,使用所述后处理方法改善所述深度模型的分类错误问题,从而得到最终的分割结果,具体包括以下步骤:
将体积小于最大相连组织区域十分之一的单独小簇移除;
根据被预测成水肿组织的体素的核磁共振图像强度值,使用K均值聚类算法将所述体素聚类成两组,并根据所述深度模型的预测结果,计算所述深度模型预测成水肿组织的体素被预测为非增强组织类别的平均概率值;
将拥有更高平均概率值的体素的标签改为非增强组织类别,相反,其他体素的标签保持不变。
5.根据权利要求1所述的一种基于单程多任务卷积神经网络的医学图像分割方法,其特征在于,所述深度模型中用于单个任务的基本网络模型包含一个编码路径和一个对称的解码路径,编码路径生成高级的复杂特征表达,解码路径来恢复特征图的尺寸大小,实现体素级标签的预测;编码路径和解码路径都由卷积层、最大值池化层、残差块和反卷积层构成;
深度模型中每个子任务只拥有其独立的位于网络尾端的一个卷积层和一个分类层,其余网络层作为深度模型的共享结构;所述三个子任务分别对应三个不同的输入和输出,输入网络的数据维度是32×32×16×4,三个子任务的输入数据会沿着样本数目的维度合并起来进入所述共享结构;所述共享结构输出的训练特征会按所述样本合并的位置进行切片,通过各自特有的网络层,最终得到三个子任务的分割结果,其中,子任务一和子任务二是5分类,子任务三是2分类。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811135259.1A CN109360208A (zh) | 2018-09-27 | 2018-09-27 | 一种基于单程多任务卷积神经网络的医学图像分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811135259.1A CN109360208A (zh) | 2018-09-27 | 2018-09-27 | 一种基于单程多任务卷积神经网络的医学图像分割方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109360208A true CN109360208A (zh) | 2019-02-19 |
Family
ID=65347925
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811135259.1A Withdrawn CN109360208A (zh) | 2018-09-27 | 2018-09-27 | 一种基于单程多任务卷积神经网络的医学图像分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109360208A (zh) |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110110723A (zh) * | 2019-05-07 | 2019-08-09 | 艾瑞迈迪科技石家庄有限公司 | 一种图像中目标区域自动提取的方法及装置 |
CN110136828A (zh) * | 2019-05-16 | 2019-08-16 | 杭州健培科技有限公司 | 一种基于深度学习实现医学影像多任务辅助诊断的方法 |
CN110176006A (zh) * | 2019-05-15 | 2019-08-27 | 北京航空航天大学 | 图像前景物体分割方法及装置 |
CN110458906A (zh) * | 2019-06-26 | 2019-11-15 | 重庆邮电大学 | 一种基于深度颜色迁移的医学图像着色方法 |
CN110782883A (zh) * | 2019-11-12 | 2020-02-11 | 百度在线网络技术(北京)有限公司 | 一种模型训练方法、装置、电子设备及存储介质 |
CN110852987A (zh) * | 2019-09-24 | 2020-02-28 | 西安交通大学 | 基于深形态学的血管斑块检测方法、设备及存储介质 |
CN110910991A (zh) * | 2019-11-21 | 2020-03-24 | 张军 | 一种医用自动图像处理系统 |
CN111415352A (zh) * | 2020-04-03 | 2020-07-14 | 南京信息工程大学 | 一种基于深度级联网络的癌转移全景病理切片分析方法 |
CN111582336A (zh) * | 2020-04-23 | 2020-08-25 | 海信集团有限公司 | 一种基于图像识别垃圾种类的装置及方法 |
CN112580820A (zh) * | 2020-12-01 | 2021-03-30 | 遵义师范学院 | 一种间歇式机器学习训练方法 |
CN112802036A (zh) * | 2021-03-16 | 2021-05-14 | 上海联影医疗科技股份有限公司 | 一种三维医学图像靶区分割的方法、系统和装置 |
CN113052851A (zh) * | 2019-12-27 | 2021-06-29 | 上海昕健医疗技术有限公司 | 基于深度学习的医学图像处理方法、系统以及计算机设备 |
CN113269764A (zh) * | 2021-06-04 | 2021-08-17 | 重庆大学 | 颅内动脉瘤自动分割方法、系统、样本处理及模型训练方法 |
CN113450294A (zh) * | 2021-06-07 | 2021-09-28 | 刘星宇 | 多模态医学图像配准融合方法、装置及电子设备 |
CN113487622A (zh) * | 2021-05-25 | 2021-10-08 | 中国科学院自动化研究所 | 头颈部器官影像分割方法、装置、电子设备和存储介质 |
CN113793307A (zh) * | 2021-08-23 | 2021-12-14 | 上海派影医疗科技有限公司 | 一种适用于多类型病理图像的自动标注方法及系统 |
CN114240963A (zh) * | 2021-11-25 | 2022-03-25 | 声呐天空资讯顾问有限公司 | 图像处理方法、装置、存储介质及电子设备 |
CN115175619A (zh) * | 2021-01-20 | 2022-10-11 | 脉得谱株式会社 | 一种使用医学图像分析人体成分的方法及其装置 |
CN116258671A (zh) * | 2022-12-26 | 2023-06-13 | 中山大学肿瘤防治中心(中山大学附属肿瘤医院、中山大学肿瘤研究所) | 一种基于mr图像智能勾画方法、系统、设备及存储介质 |
US12106225B2 (en) | 2019-05-30 | 2024-10-01 | The Research Foundation For The State University Of New York | System, method, and computer-accessible medium for generating multi-class models from single-class datasets |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170116747A1 (en) * | 2012-01-27 | 2017-04-27 | Koninkluke Philips N.V. | Tumor segmentation and tissue classification in 3d multi-contrast |
CN107016681A (zh) * | 2017-03-29 | 2017-08-04 | 浙江师范大学 | 基于全卷积网络的脑部mri肿瘤分割方法 |
CN107169974A (zh) * | 2017-05-26 | 2017-09-15 | 中国科学技术大学 | 一种基于多监督全卷积神经网络的图像分割方法 |
CN108492309A (zh) * | 2018-01-21 | 2018-09-04 | 西安电子科技大学 | 基于迁移卷积神经网络的磁共振图像中静脉血管分割方法 |
-
2018
- 2018-09-27 CN CN201811135259.1A patent/CN109360208A/zh not_active Withdrawn
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170116747A1 (en) * | 2012-01-27 | 2017-04-27 | Koninkluke Philips N.V. | Tumor segmentation and tissue classification in 3d multi-contrast |
CN107016681A (zh) * | 2017-03-29 | 2017-08-04 | 浙江师范大学 | 基于全卷积网络的脑部mri肿瘤分割方法 |
CN107169974A (zh) * | 2017-05-26 | 2017-09-15 | 中国科学技术大学 | 一种基于多监督全卷积神经网络的图像分割方法 |
CN108492309A (zh) * | 2018-01-21 | 2018-09-04 | 西安电子科技大学 | 基于迁移卷积神经网络的磁共振图像中静脉血管分割方法 |
Non-Patent Citations (1)
Title |
---|
CHENHONG ZHOU等: ""One-Pass Multi-task Convolutional Neural Networks for Efficient Brain Tumor Segmentation"", 《SPRINGER NATURE》 * |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110110723A (zh) * | 2019-05-07 | 2019-08-09 | 艾瑞迈迪科技石家庄有限公司 | 一种图像中目标区域自动提取的方法及装置 |
CN110176006A (zh) * | 2019-05-15 | 2019-08-27 | 北京航空航天大学 | 图像前景物体分割方法及装置 |
CN110136828A (zh) * | 2019-05-16 | 2019-08-16 | 杭州健培科技有限公司 | 一种基于深度学习实现医学影像多任务辅助诊断的方法 |
US12106225B2 (en) | 2019-05-30 | 2024-10-01 | The Research Foundation For The State University Of New York | System, method, and computer-accessible medium for generating multi-class models from single-class datasets |
CN110458906A (zh) * | 2019-06-26 | 2019-11-15 | 重庆邮电大学 | 一种基于深度颜色迁移的医学图像着色方法 |
CN110458906B (zh) * | 2019-06-26 | 2024-03-15 | 广州大鱼创福科技有限公司 | 一种基于深度颜色迁移的医学图像着色方法 |
CN110852987A (zh) * | 2019-09-24 | 2020-02-28 | 西安交通大学 | 基于深形态学的血管斑块检测方法、设备及存储介质 |
CN110852987B (zh) * | 2019-09-24 | 2022-04-22 | 西安交通大学 | 基于深形态学的血管斑块检测方法、设备及存储介质 |
CN110782883A (zh) * | 2019-11-12 | 2020-02-11 | 百度在线网络技术(北京)有限公司 | 一种模型训练方法、装置、电子设备及存储介质 |
CN110910991A (zh) * | 2019-11-21 | 2020-03-24 | 张军 | 一种医用自动图像处理系统 |
CN113052851A (zh) * | 2019-12-27 | 2021-06-29 | 上海昕健医疗技术有限公司 | 基于深度学习的医学图像处理方法、系统以及计算机设备 |
CN111415352A (zh) * | 2020-04-03 | 2020-07-14 | 南京信息工程大学 | 一种基于深度级联网络的癌转移全景病理切片分析方法 |
CN111582336A (zh) * | 2020-04-23 | 2020-08-25 | 海信集团有限公司 | 一种基于图像识别垃圾种类的装置及方法 |
CN111582336B (zh) * | 2020-04-23 | 2023-11-03 | 海信集团有限公司 | 一种基于图像识别垃圾种类的装置及方法 |
CN112580820A (zh) * | 2020-12-01 | 2021-03-30 | 遵义师范学院 | 一种间歇式机器学习训练方法 |
CN115175619A (zh) * | 2021-01-20 | 2022-10-11 | 脉得谱株式会社 | 一种使用医学图像分析人体成分的方法及其装置 |
CN112802036A (zh) * | 2021-03-16 | 2021-05-14 | 上海联影医疗科技股份有限公司 | 一种三维医学图像靶区分割的方法、系统和装置 |
CN113487622A (zh) * | 2021-05-25 | 2021-10-08 | 中国科学院自动化研究所 | 头颈部器官影像分割方法、装置、电子设备和存储介质 |
CN113487622B (zh) * | 2021-05-25 | 2023-10-31 | 中国科学院自动化研究所 | 头颈部器官影像分割方法、装置、电子设备和存储介质 |
CN113269764A (zh) * | 2021-06-04 | 2021-08-17 | 重庆大学 | 颅内动脉瘤自动分割方法、系统、样本处理及模型训练方法 |
CN113450294A (zh) * | 2021-06-07 | 2021-09-28 | 刘星宇 | 多模态医学图像配准融合方法、装置及电子设备 |
CN113793307A (zh) * | 2021-08-23 | 2021-12-14 | 上海派影医疗科技有限公司 | 一种适用于多类型病理图像的自动标注方法及系统 |
CN114240963A (zh) * | 2021-11-25 | 2022-03-25 | 声呐天空资讯顾问有限公司 | 图像处理方法、装置、存储介质及电子设备 |
CN116258671A (zh) * | 2022-12-26 | 2023-06-13 | 中山大学肿瘤防治中心(中山大学附属肿瘤医院、中山大学肿瘤研究所) | 一种基于mr图像智能勾画方法、系统、设备及存储介质 |
CN116258671B (zh) * | 2022-12-26 | 2023-08-29 | 中山大学肿瘤防治中心(中山大学附属肿瘤医院、中山大学肿瘤研究所) | 一种基于mr图像智能勾画方法、系统、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109360208A (zh) | 一种基于单程多任务卷积神经网络的医学图像分割方法 | |
Ye et al. | Multi-depth fusion network for whole-heart CT image segmentation | |
CN109754404A (zh) | 一种基于多注意力机制的端到端的肿瘤分割方法 | |
Chen et al. | Tissue-specific compartmental analysis for dynamic contrast-enhanced MR imaging of complex tumors | |
Fantini et al. | Automatic detection of motion artifacts on MRI using Deep CNN | |
CN110310287A (zh) | 基于神经网络的危及器官自动勾画方法、设备和存储介质 | |
Bicakci et al. | Metabolic imaging based sub-classification of lung cancer | |
CN112634211B (zh) | 基于多个神经网络的mri图像分割方法、装置及设备 | |
Li et al. | Brain tumor segmentation using 3D generative adversarial networks | |
Snaauw et al. | End-to-end diagnosis and segmentation learning from cardiac magnetic resonance imaging | |
CN101699515A (zh) | 基于多精英免疫量子聚类的医学影像分割系统及分割方法 | |
Rastogi et al. | Brain tumor segmentation and tumor prediction using 2D-Vnet deep learning architecture | |
Wetteland et al. | Multiscale deep neural networks for multiclass tissue classification of histological whole-slide images | |
Villain et al. | Visual interpretation of CNN decision-making process using Simulated Brain MRI | |
Jiang et al. | Ori-net: Orientation-guided neural network for automated coronary arteries segmentation | |
Tong et al. | A dual tri-path CNN system for brain tumor segmentation | |
Ferreira et al. | How we won BraTS 2023 Adult Glioma challenge? Just faking it! Enhanced Synthetic Data Augmentation and Model Ensemble for brain tumour segmentation | |
Ji et al. | A dense-gated U-Net for brain lesion segmentation | |
Zhang et al. | SequentialSegNet: combination with sequential feature for multi-organ segmentation | |
Guo et al. | Towards a Comprehensive, Efficient and Promptable Anatomic Structure Segmentation Model using 3D Whole-body CT Scans | |
Heydarian et al. | Optimizing the level set algorithm for detecting object edges in MR and CT images | |
Yang et al. | Automatic segmentation of the clinical target volume and organs at risk for rectal cancer radiotherapy using structure-contextual representations based on 3D high-resolution network | |
Zerouaoui et al. | Assessing the Impact of Deep End-to-End Architectures in Ensemble Learning for Histopathological Breast Cancer Classification. | |
Franco-Barranco et al. | Current Progress and Challenges in Large-Scale 3D Mitochondria Instance Segmentation | |
Xue et al. | Hybrid neural-like P systems with evolutionary channels for multiple brain metastases segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20190219 |
|
WW01 | Invention patent application withdrawn after publication |