CN110097550A - 一种基于深度学习的医学图像分割方法及系统 - Google Patents

Abstract

本发明公开了一种基于深度学习的医学图像分割方法及系统。所述分割方法包括：获取历史磁共振成像MRI模态图像；将所述历史磁共振成像MRI模态图像划分为训练集和测试集；在下采样过程中，将训练集内的任一张所述历史磁共振成像MRI模态图像中的两层相邻的不同分辨率的特征层输入到多层次特征重提取和聚合的神经网络模型中，确定分割后的MRI模态图像；两层相邻的不同分辨率的特征层包括低分辨率的特征层和高分辨率的特征层；两层相邻的不同分辨率的特征层依次经过残差卷积单元、分辨率融合单元以及聚合单元，确定分割后的MRI模态图像。采用本发明所提供的分割方法及系统能够提高图像分割准确率。

Description

一种基于深度学习的医学图像分割方法及系统

技术领域

本发明涉及医学图像分割领域，特别是涉及一种基于深度学习的医学图像分割方法及系统。

背景技术

脑肿瘤分割是医学图像理解的重要组成部分，也是一项关键技术，是决定脑肿瘤图像在临床诊疗和病理学研究中能否提供可靠性依据的关键问题。和自然图像分割不同，人体器官组织很复杂，特别是作为人体最复杂的器官，脑，有着精密的纹理，成像后的图片也因人而异具有各种不同特征，所以脑图像一般具有较高的复杂性且缺少简单的线性特征，此外分割结果的准确率还受到部分容积效应、灰度不均匀性、伪影、不同软组织间灰度的接近性等因素的影响，导致脑肿瘤图像分割任务的难度很高。

医学图像中，尤其是脑肿瘤图像，磁共振成像(Magnetic Resonance Imaging，MRI)模态图像通常是临床分析脑结构的最佳选择，在计算机辅助诊断和医疗领域也得到了成功的应用；MRI有四种模态，四种不同的模态通常被用于脑肿瘤手术：纵向驰豫时间T1，纵向驰豫时间T1中的一种纵向驰豫时间T1C，横向驰豫时间T2和液体反转恢复序列FLAIR(如图1所示，其中A代表Flair，B代表T1，C代表T1C，D代表T2，E代表真值)。每种形态对不同的肿瘤组织都有不同的反应。MRI对脑肿瘤的分割在放射外科及放射治疗规划中具有重要价值。

传统的图像处理技术主要包括特征提取和分类器两部分，特征提取算法的设计复杂性与应用局限性、稳定性，以及特定的特征提取算法与特定的分类器相结合的多样性限制着图像处理技术的发展。神经网络的出现，使端到端的图像处理成为可能，当网络的隐藏层发展到多层时便称之为深度学习，但同时需要用逐层初始化技术解决深层次网络训练难度大的问题，之后深度学习便成为时代的主角。而卷积神经网络(Convolutional NeuralNetwork，CNN)便是深度学习与图像处理技术相结合所产生的经典模型，实现该模型的网络实例在特定的图像问题处理上都卓有成效。

传统的CNN网络是一个直接的卷积过程，不能有效地将许多底层特征传播到高层。在最流行的语义分割模型(如FCNs，ResNets)中，采用上采样方法，通过“跳过连接”将从下采样层采集到的低级视觉特征信息，与在上采样过程中，通过转置卷积得到的相同维度和通道数高级语义进行连接。在这些融合特征的基础上，将产生新的高级语义特征。但是，随着网络层数量的增加，在多次“跳过连接(skip connection)”后，底层特性传递到输出层的难度越来越大。在上行采样过程中，传统的端到端图像分割方法只是将底层特征直接连接到高层特征，而不考虑融合方式。换句话说，大多数方法忽略了在图像识别中对整个层次特征的充分利用，图像识别精度低，导致图像分割准确率低。

发明内容

本发明的目的是提供一种基于深度学习的医学图像分割方法及系统，以解决图像分割准确率低的问题。

为实现上述目的，本发明提供了如下方案：

一种基于深度学习的医学图像分割方法，包括：

获取历史磁共振成像MRI模态图像；所述历史磁共振成像MRI模态图像包括高等级肿瘤病人的MRI模态图像以及低等级肿瘤病人的MRI模态图像；

将所述历史磁共振成像MRI模态图像划分为训练集和测试集；

在下采样过程中，将所述训练集内的任一张所述历史磁共振成像MRI模态图像中的两层相邻的不同分辨率的特征层输入到多层次特征重提取和聚合的神经网络模型中，确定分割后的MRI模态图像；两层相邻的不同分辨率的特征层包括低分辨率的特征层和高分辨率的特征层；所述多层次特征重提取和聚合的神经网络模型为二输入、一输出的神经网络模型；所述多层次特征重提取和聚合的神经网络模型包括残差卷积单元、分辨率融合单元以及聚合单元；所述两层相邻的不同分辨率的特征层依次经过所述残差卷积单元、所述分辨率融合单元以及所述聚合单元，确定分割后的MRI模态图像。

可选的，所述在下采样过程中，将所述训练集内的任一张所述历史磁共振成像MRI模态图像中的两层相邻的不同分辨率的特征层输入到多层次特征重提取和聚合的神经网络模型中，确定分割后的MRI模态图像，具体包括：

获取上采样过程中的特征层；

利用所述残差卷积单元对所述低分辨率的特征层重提取，将低分辨率的特征层的分辨率增加到高分辨率的特征层的分辨率，确定重提取的低分辨率的特征层；

将所述重提取的低分辨率的特征层以及所述高分辨率的特征层输入到所述分辨率融合单元；

利用所述分辨率融合单元融合所述重提取的低分辨率的特征层以及所述高分辨率的特征层，确定融合后的特征层；

将所述融合后的特征层输入到所述聚合单元；

利用所述聚合单元聚合所述融合后的特征层与所述上采样过程中的特征层，确定分割后的MRI模态图像；所述上采样过程中的特征层与所述融合后的特征层尺寸相同；所述上采样过程与所述下采样过程通过分割网络相连接。

可选的，所述在下采样过程中，将所述训练集内的任一张所述历史磁共振成像MRI模态图像中的两层相邻的不同分辨率的特征层输入到多层次特征重提取和聚合的神经网络模型中，确定分割后的MRI模态图像之后，还包括：

获取所述历史磁共振成像MRI模态图像对应的真值图像；

将所述分割后的MRI模态图像以及所述训练集内的任一张所述历史磁共振成像MRI模态图像对应的所述真值图像进行对比，通过交叉熵损失函数计算损失，并利用梯度下降算法继续训练所述多层次特征重提取和聚合的神经网络模型。

可选的，所述将所述分割后的MRI模态图像以及所述训练集内的任一张所述历史磁共振成像MRI模态图像对应的所述真值图像进行对比，通过交叉熵损失函数计算损失，并利用梯度下降算法继续训练所述多层次特征重提取和聚合的神经网络模型之后，还包括：

将所述测试集内的任一张所述历史磁共振成像MRI模态图像中的两层相邻的不同分辨率的特征层输入到多层次特征重提取和聚合的神经网络模型中，确定测试集分割后的MRI模态图像；

将所述测试集分割后的MRI模态图像以及所述测试集内的任一张所述历史磁共振成像MRI模态图像对应的所述真值图像进行对比，确定集合相似度度量函数dice系数；

若所述dice系数在dice系数阈值范围内，确定所述多层次特征重提取和聚合的神经网络模型训练完毕。

一种基于深度学习的医学图像分割系统，包括：

历史磁共振成像MRI模态图像获取模块，用于获取历史磁共振成像MRI模态图像；所述历史磁共振成像MRI模态图像包括高等级肿瘤病人的MRI模态图像以及低等级肿瘤病人的MRI模态图像；

划分模块，用于将所述历史磁共振成像MRI模态图像划分为训练集和测试集；

分割后的MRI模态图像确定模块，用于在下采样过程中，将所述训练集内的任一张所述历史磁共振成像MRI模态图像中的两层相邻的不同分辨率的特征层输入到多层次特征重提取和聚合的神经网络模型中，确定分割后的MRI模态图像；两层相邻的不同分辨率的特征层包括低分辨率的特征层和高分辨率的特征层；所述多层次特征重提取和聚合的神经网络模型为二输入、一输出的神经网络模型；所述多层次特征重提取和聚合的神经网络模型包括残差卷积单元、分辨率融合单元以及聚合单元；所述两层相邻的不同分辨率的特征层依次经过所述残差卷积单元、所述分辨率融合单元以及所述聚合单元，确定分割后的MRI模态图像。

可选的，所述分割后的MRI模态图像确定模块具体包括：

上采样过程中的特征层获取单元，用于获取上采样过程中的特征层；

所述残差卷积单元，用于对所述低分辨率的特征层重提取，将低分辨率的特征层的分辨率增加到高分辨率的特征层的分辨率，确定重提取的低分辨率的特征层；

第一输送单元，用于将所述重提取的低分辨率的特征层以及所述高分辨率的特征层输入到所述分辨率融合单元；

所述分辨率融合单元，用于融合所述重提取的低分辨率的特征层以及所述高分辨率的特征层，确定融合后的特征层；

第二输送单元，用于将所述融合后的特征层输入到所述聚合单元；

所述聚合单元，用于聚合所述融合后的特征层与上采样过程中的特征层，确定分割后的MRI模态图像；所述上采样过程中的特征层与所述融合后的特征层尺寸相同；所述上采样过程与所述下采样过程通过分割网络相连接。

可选的，还包括：

真值图像获取模块，用于获取所述历史磁共振成像MRI模态图像对应的真值图像；

多层次特征重提取和聚合的神经网络模型训练模块，用于将所述分割后的MRI模态图像以及所述训练集内的任一张所述历史磁共振成像MRI模态图像对应的所述真值图像进行对比，通过交叉熵损失函数计算损失，并利用梯度下降算法继续训练所述多层次特征重提取和聚合的神经网络模型。

可选的，还包括：

测试集分割后的MRI模态图像确定模块，用于将所述测试集内的任一张所述历史磁共振成像MRI模态图像中的两层相邻的不同分辨率的特征层输入到多层次特征重提取和聚合的神经网络模型中，确定测试集分割后的MRI模态图像；

dice系数确定模块，用于将所述测试集分割后的MRI模态图像以及所述测试集内的任一张所述历史磁共振成像MRI模态图像对应的所述真值图像进行对比，确定集合相似度度量函数dice系数；

多层次特征重提取和聚合的神经网络模型训练完毕确定模块，用于若所述dice系数在dice系数阈值范围内，确定所述多层次特征重提取和聚合的神经网络模型训练完毕。

根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供了一种基于深度学习的医学图像分割方法及系统，建立了一种多层次特征重提取和聚合的神经网络模型，通过在下采样过程中，将所述训练集内的任一张所述历史磁共振成像MRI模态图像中的两层相邻的不同分辨率的特征层输入到多层次特征重提取和聚合的神经网络模型中，经过残差卷积单元、分辨率融合单元和聚合单元单元，得到重提取和聚合后的特征，确定分割后的MRI模态图像，从而有效地获取丰富的高、中、低级的特征中的语义信息；所述上采样过程与所述下采样过程通过分割网络连接，把下采样过程中的重提取和聚合后的特征和上采样后的特征相连，弥补了下采样过程丢失的语义信息，因此，经过所述多层次特征重提取和聚合的神经网络模型的下采样过程中的特征层比直接采用传统的下采样过程得到的特征包含更多语义信息，使得最终分割后的MRI模态图像更优，提高了图像分割的准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所提供的磁共振成像MRI模态图像四种模态示意图；

图2为本发明所提供的基于深度学习的医学图像分割方法流程图；

图3为本发明所提供的多层次特征重提取和聚合的神经网络模型结构图；

图4为本发明所提供的三种RC单元结构示意图；

图5为本发明所提供的分辨率融合单元示意图；

图6为本发明所提供的多种聚合单元的结构对比图；图6(A)为本发明所提供的特征金字塔网络模型的聚合单元的结构图，图6(B)为本发明所提供的‘U’型网络模型的聚合单元的结构图，图6(C)为本发明所提供的多层次特征重提取和聚合的神经网络模型的聚合单元的结构图；

图7为本发明所提供的AM单元的结构图；

图8为本发明所提供的基于深度学习的医学图像分割系统结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于深度学习的医学图像分割方法及系统，能够提高图像分割准确率。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图2为本发明所提供的基于深度学习的医学图像分割方法流程图，如图2所示，一种基于深度学习的医学图像分割方法，包括：

步骤201：获取历史磁共振成像MRI模态图像；所述历史磁共振成像MRI模态图像包括高等级肿瘤病人的MRI模态图像以及低等级肿瘤病人的MRI模态图像。

步骤202：将所述历史磁共振成像MRI模态图像划分为训练集和测试集。

步骤203：在下采样过程中，将所述训练集内的任一张所述历史磁共振成像MRI模态图像中的两层相邻的不同分辨率的特征层输入到多层次特征重提取和聚合的神经网络模型中，确定分割后的MRI模态图像；两层相邻的不同分辨率的特征层包括低分辨率的特征层和高分辨率的特征层；所述多层次特征重提取和聚合的神经网络模型为二输入、一输出的神经网络模型；所述多层次特征重提取和聚合的神经网络模型包括残差卷积单元、分辨率融合单元以及聚合单元；所述两层相邻的不同分辨率的特征层依次经过所述残差卷积单元、所述分辨率融合单元以及所述聚合单元，确定分割后的MRI模态图像。

所述步骤203具体包括：获取上采样过程中的特征层；利用所述残差卷积单元对所述低分辨率的特征层重提取，将低分辨率的特征层的分辨率增加到高分辨率的特征层的分辨率，确定重提取的低分辨率的特征层；将所述重提取的低分辨率的特征层以及所述高分辨率的特征层输入到所述分辨率融合单元；利用所述分辨率融合单元融合所述重提取的低分辨率的特征层以及所述高分辨率的特征层，确定融合后的特征层；将所述融合后的特征层输入到所述聚合单元；利用所述聚合单元聚合所述融合后的特征层与所述上采样过程中的特征层，确定分割后的MRI模态图像；所述上采样过程中的特征层与所述融合后的特征层尺寸相同；所述上采样过程与所述下采样过程通过分割网络相连接。

本发明提出了一个多层次特征重提取和聚合的神经网络模型(Multi-layersRefinement andAggregation forMedical Image Segmentation，MRA)用于多模态脑肿瘤MRI图像分割。多层次特征重提取和聚合的神经网络模型包含残差卷积单元(RC，ResidualConv)、分辨率融合单元(RFU，ResolutionFusion Unit)、聚合单元(AM，AggregationModule)三部分，如图3所示。

在下采样过程中，为了充分利用所有层的特征信息，并且融合相邻两层的特征信息，一个水平方向上深且有效的基于2D卷积网络的结构，基于2D卷积网络的结构将残差链接有效利用起来，用于提升信息流动的效率，并且提高梯度回传的效率，从而降低训练深度网络的困难性。

其中，两个残差块作为特征语义的重提取的初步步骤，后经过分辨率恢复将相邻两层不同分辨率的特征融合到一起，这样就形成了相对高的特征和相对低的特征进行重提取和融合，获得更好的、更丰富的上下文信息，同时减少了下采样损失的原文信息。之后再将提取后的特征送入AM单元进行聚合，极大效率的获取高质量、高数量的特征，训练中运用梯度下降算法的过程中在经过AM单元又能极大保存梯度和误差，从而增强网络训练效率。

图4为本发明所提供的三种RC单元结构示意图，如图4所示，其中，RC-A是传统的残差单元，RC-B在RC-A的基础上加了一个“监督”连接，也就是在短链接上加一个1x1的卷积，起到监督作用，用来修正部分从RC-B模块输入的特征，RC-C是将RC-B的3x3卷积换成3x3的“扩张卷积”。

残差单元可以有效降低网络的参数，提高网络训练的效率，在保留这种结构的基础上做了细微的调整，鉴于压缩和激发网络SENet取得的良好结果，把注意力attention机制加到这种结构里，得到RC-B，空洞卷积能保持特征分辨率，高分辨率特征所带的语义信息对小物体分割很重要，因此，将3x3的空洞卷积来代替RC-B中的3x3卷积，但这样会导致参数增多，为了避免参数大小给实验造成的影响，控制所有三个结构中的卷积核参数大小基本保持相同。

图5为本发明所提供的分辨率融合单元示意图，分辨率融合单元(ResolutionFusion Unit，RFU)如图5所示，由于下采样过程相邻两层的特征分辨率是不同的，因此RFU的作用就是把相邻两层特征分辨率保持一致并融合，采取的做法很简单也很有效。

图6为本发明所提供的多种聚合单元的结构对比图，如图6所示，本发明在上采样过程和下采样过程之间也加了一个类似分割(Unet)网络的连接，这个连接能将低分辨率特征的语义信息保存下来，在上采样过程中使网络得到一个充分的上下文信息。但是像Unet网络这种直接将高低层特征进行连接，来恢复下采样导致的原图像信息的损失其实是有局限性的，经过上采样的特征和下采样过程与它同级的层是存在一个“语义鸿沟”的，尤其是医学图像，因此本发明探讨了这种存在的语义鸿沟的解决方法，本发明设计了一个聚合单元，将重提取后的特征经过一个聚合块和上采样后的特征相连接，在聚合块中将这种语义鸿沟问题在一定程度上得到缓解。

本发明所提供的基于深度学习的医学图像分割方法可以用到大部分主流的端到端主干网络中去，在不改变原主干网络的前提下，只需要将下采样过程中相邻的两层作为输入，就可以得到重提取后的包含丰富语义信息的特征。

图7为本发明所提供的AM单元的结构图，如图7所示，其中，i表示AM单元的级别，level i表示有i个聚合块，x(i，j)表示level i中子网络主干的第j层，Ai表示level i中的i个聚合块，C代表特征维度上叠加操作，S代表相加，其关系如下公式所示：

A1＝C(x(1，2)，x(1，1))；

Ai＝C(x(i，i+1)，A_i-1)；

yi＝x(i，i+2)＝S(x(i，i+1)，A_i)；

x(i，j)＝S(x(i，j-1)，A_j-2)；

1)level 1包含有一个聚合点，由相邻两层的特征x(1，1)和x(1，2)分别经过一个RC单元和一个非线性激活单元后深度学习中的concatenate得到，聚合点通过sum回到子网络的主干y1；

2)level 2包含有两个聚合点，是在level 1的基础上，第一个聚合点A1以及子网络的主干x(2，3)分别经过一个RC单元和一个非线性激活单元后经concatenate得到A2，最后sum到y2；

3)level i包含i个聚合点，由A1、A2…Ai、x(i，1)、x(i，2)…x(i，j)聚合得到yi，其中Ai是由Ai-1与x(i，i+1)分别经过一个RC单元和一个非线性激活单元后concatenate得到，x(i，j)是由x(i，j-1)和Aj-2(j>＝3)sum得到，最终Ai通过与x(i，j)(子网络主干倒数第二层应该满足j等于i+1)sum回到子网络的主干yi，AM单元理论上可以延申到很高的level。

并且，本发明所提供的基于深度学习的医学图像分割方法在融合特征上主要有两个方面：一个是语义上，一个是空间上。语义上融合，主要是通过跳层连接在通道或者深度上进行重提取和聚合；空间上融合，主要是通过不同分辨率和尺度的重提取和聚合来实现，本发明可以看作是这两种融合形式的结合，在经过一系列优化后来实现分割后的MRI模态图像的提升。

在下采样阶段，将相邻的不同尺度的特征层输入到多层次特征重提取和聚合的神经网络模型中，将尺度较低的一层设为A，尺度大的设为B，首先A和B分别会经过RC单元，得到重提取的特征，接着经过RFU模块，尺度较小的A会增加分辨率达到和B相同，接着A和B输入到AM单元经过聚合、提炼和重提取后A和B会融合在一起，最后输出大量和B相同尺寸的特征图。所以MRA模型是一个二输入、一输出的网络结构。

采用公开的BRATS2015数据集进行实验(具体包括220个高等级肿瘤病人对应的四种3D的MRI模态图像，54个低级别肿瘤患者对应的四种3D的MRI模态图像，一共274个数据，每个数据都有医生手工勾画的真值图)，每个病人3D的MRI图像尺寸为155x240x240，分为Fair、T1、T1c、T2四个模态，也就是有4个尺寸为155x240x240的3D图像；将四个模态转变为155*4张2D图像，每一张图像尺寸都是240x240，这样就得到了155x240x240x4的四维图像，将其送入网络进行训练。

从220个高等级肿瘤和54个低等级肿瘤中分别取出25、5个数据及用于测试，可以称之为测试集，剩下的一共244个数据集用于训练，可以称之为训练集。

步骤2：将训练集的第一个155x240x240x4(155个240x240x4的三维图像)的四维图像分组送入模型训练，一组包含30个240x240x4的图像，当第一个训练数据不够30个的情况下，模型会自动读取下一个训练数据，用来补齐30个240x240x4的图像，以此类推，直到244个训练数据全部输入网络训练为止。

步骤2：每组数据输入到网络的时候，首先经过下采样形成不同尺寸梯度的特征，相邻两层的特征就会输入到MRA网络经过RC单元(特征重提取)、RFU模块(分辨率恢复)、AM单元(聚合特征)输出一个丰富的特征图(Feature Map)。

步骤2：按照步骤2操作后，等下采样结束后，就会得到经过MRA的4个不同尺寸的特征图，分别与上采样阶段的对应尺寸的特征图进行结合，就能结合上下文信息得到较好的结果。

上采样是encoder阶段，特征分辨率越来越低，然后特征包含的信息越来越抽象；下采样是decoder阶段，特征分辨率越来越高，直到恢复到与原图分辨率相同，此时就会得出一个具体的分割结果；下采样是用卷积，上采样用双线性插值。

步骤3：经过上采样后，最终模型会输出同一尺寸(240x240)的一张分割预测图像，与真值图进行对比，通过交叉熵损失函数计算损失，利用梯度下降算法训练MRA模型。

步骤4：完成上述训练后，将30个测试集输入训练好的MRA模型中，进行分割预测，然后将每个模型生成的分割图像与真值图像进行对比，计算dice系数，进行评估。测试过程没有损失函数，不会影响已训练好的模型参数。

其他对比实验的步骤类似，都是经过encoder阶段和decoder阶段得到分割结果。

图8为本发明所提供的基于深度学习的医学图像分割系统结构图，如图8所示，一种基于深度学习的医学图像分割系统，包括：

历史磁共振成像MRI模态图像获取模块801，用于获取历史磁共振成像MRI模态图像；所述历史磁共振成像MRI模态图像包括高等级肿瘤病人的MRI模态图像以及低等级肿瘤病人的MRI模态图像。

划分模块802，用于将所述历史磁共振成像MRI模态图像划分为训练集和测试集。

分割后的MRI模态图像确定模块803，用于在下采样过程中，将所述训练集内的任一张所述历史磁共振成像MRI模态图像中的两层相邻的不同分辨率的特征层输入到多层次特征重提取和聚合的神经网络模型中，确定分割后的MRI模态图像；两层相邻的不同分辨率的特征层包括低分辨率的特征层和高分辨率的特征层；所述多层次特征重提取和聚合的神经网络模型为二输入、一输出的神经网络模型；所述多层次特征重提取和聚合的神经网络模型包括残差卷积单元、分辨率融合单元以及聚合单元；所述两层相邻的不同分辨率的特征层依次经过所述残差卷积单元、所述分辨率融合单元以及所述聚合单元，确定分割后的MRI模态图像。

所述分割后的MRI模态图像确定模块803具体包括：上采样过程中的特征层获取单元，用于获取上采样过程中的特征层；所述残差卷积单元，用于对所述低分辨率的特征层重提取，将低分辨率的特征层的分辨率增加到高分辨率的特征层的分辨率，确定重提取的低分辨率的特征层；第一输送单元，用于将所述重提取的低分辨率的特征层以及所述高分辨率的特征层输入到所述分辨率融合单元；所述分辨率融合单元，用于融合所述重提取的低分辨率的特征层以及所述高分辨率的特征层，确定融合后的特征层；第二输送单元，用于将所述融合后的特征层输入到所述聚合单元；所述聚合单元，用于聚合所述融合后的特征层与上采样过程中的特征层，确定分割后的MRI模态图像；所述上采样过程中的特征层与所述融合后的特征层尺寸相同；所述上采样过程与所述下采样过程通过分割网络相连接。

本发明还包括：真值图像获取模块，用于获取所述历史磁共振成像MRI模态图像对应的真值图像；多层次特征重提取和聚合的神经网络模型训练模块，用于将所述分割后的MRI模态图像以及所述训练集内的任一张所述历史磁共振成像MRI模态图像对应的所述真值图像进行对比，通过交叉熵损失函数计算损失，并利用梯度下降算法继续训练所述多层次特征重提取和聚合的神经网络模型。

测试集分割后的MRI模态图像确定模块，用于将所述测试集内的任一张所述历史磁共振成像MRI模态图像中的两层相邻的不同分辨率的特征层输入到多层次特征重提取和聚合的神经网络模型中，确定测试集分割后的MRI模态图像；dice系数确定模块，用于将所述测试集分割后的MRI模态图像以及所述测试集内的任一张所述历史磁共振成像MRI模态图像对应的所述真值图像进行对比，确定集合相似度度量函数dice系数；多层次特征重提取和聚合的神经网络模型训练完毕确定模块，用于若所述dice系数在dice系数阈值范围内，确定所述多层次特征重提取和聚合的神经网络模型训练完毕。

相比与现有神经网络模型，MRA模型具有模型收敛速度快，即训练轮次少的同时拥有较高正确率的优点。

模型收敛速度快的原因来源于MRA模型运用了残差链接以及聚合单元，将残差链接有效利用起来，用于提升信息流动的效率，并且提高梯度回传的效率，从而降低训练深度网络的困难性。训练中运用梯度下降算法的过程中在经过AM单元又能极大保存梯度和误差，从而加快网络的收敛速度。

正确率较高的优势来源于特征重提取和聚合的方法很有效。AM单元的聚合作用，一定程度上降低了“语义鸿沟”对实验结果的负面影响，同时也丰富了特征的语义信息。在特征融合上有两个方面，一个是语义上，一个是空间上。语义上融合，主要是通过跳层连接在通道或者深度上进行重提取和聚合。空间上融合，主要是通过不同分辨率和尺度的重提取和聚合来实现。下采样阶段，每相邻两层都经过RC和RFU模块后，会得到大量重提取和融合后的特征，本发明所提供的基于深度学习的医学图像分割方法及系统可以看作是这两种融合形式的结合，在经过一系列优化后来实现实验结果的提升。

本发明所提供的基于深度学习的医学图像分割方法及系统与现有主流用于图像分割方法，表1为本发明所提供的不同网络在本地数据集上的完全肿瘤Complete tumor分数的测试结果对比表，在统一数据集上训练同一轮次，对比结果如表1所示。

表1

从表1中可以看到ResNet-101在采用本发明所提供的基于深度学习的医学图像分割方法及系统后，从第三轮实验，结果就处于领先地位，并一直领先；在之前，ResNet没有使用MRA方法的时候，实验结果一直落后。

表2

表2为本发明所提供的不同网络在本地数据集上的核心肿瘤Tumor core分数的测试结果对比表，如表2所示，从第9轮开始，ResNet-101-MRA结果一直遥遥领先，ResNet-101-MRA的实验结果超过第二名大概百分之10左右。

表3

表3为本发明所提供的不同网络在本地数据集上的增强肿瘤Enhancing tumor分数的测试结果对比表，如表3所示，随着训练轮次增加，所有模型正确率趋于稳定，MRA模型正确率最高。

表4

TABLEI

表4为本发明所提供的不同网络在线上测试集的结果对比表，如表4所示，本发明所提供的基于深度学习的医学图像分割方法及系统取得了最好的结果。

表1-表4中，ResNet-101-MRA：使用了MRA的101层残差网络；ResneXt：聚合残差变换网络；DenseUNet：密集U型网络；ResNet-101：101层残差网络；ResNet-50：50层残差网络；Inception-v3：重新思考计算机视觉的v3架构；DLANet：深层聚合网络；FCN：全卷积网络；RefineNet：特征重利用网络；DenseNet：密集网络；DenseNet-MRA：使用了MRA的密集网络。

结论：本发明所提供的基于深度学习的医学图像分割方法及系统在取得优异的性能同时，拥有较快的收敛速度。

在传统的下采样过程中，将相邻两层的特征输入到MRA模型中，从而有效地获取丰富的高、中、低级的特征中的语义信息。下采样中每相邻两层都会输入到MRA模型中去，经过残差卷积(RC)、分辨率融合(RC)和聚合单元(AM)，得到重提取和聚合后的特征，在上采样的过程，用类似Unet网络的连接，把这些重提取和聚合后的特征和上采样后的特征相连，不仅弥补下采样过程丢失的语义信息，又因为经过MRA模型后的特征比直接下采样得到的特征包含更多语义信息，从而使最终分割结果更优；此外，该模型可以替换各种主流的特征提取器来进行实验，只需要将主干网络下采样过程中，每相邻两层的特征输入到MRA模型中去就行。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于深度学习的医学图像分割方法，其特征在于，包括：

获取历史磁共振成像MRI模态图像；所述历史磁共振成像MRI模态图像包括高等级肿瘤病人的MRI模态图像以及低等级肿瘤病人的MRI模态图像；

将所述历史磁共振成像MRI模态图像划分为训练集和测试集；

在下采样过程中，将所述训练集内的任一张所述历史磁共振成像MRI模态图像中的两层相邻的不同分辨率的特征层输入到多层次特征重提取和聚合的神经网络模型中，确定分割后的MRI模态图像；两层相邻的不同分辨率的特征层包括低分辨率的特征层和高分辨率的特征层；所述多层次特征重提取和聚合的神经网络模型为二输入、一输出的神经网络模型；所述多层次特征重提取和聚合的神经网络模型包括残差卷积单元、分辨率融合单元以及聚合单元；所述两层相邻的不同分辨率的特征层依次经过所述残差卷积单元、所述分辨率融合单元以及所述聚合单元，确定分割后的MRI模态图像。

2.根据权利要求1所述的基于深度学习的医学图像分割方法，其特征在于，所述在下采样过程中，将所述训练集内的任一张所述历史磁共振成像MRI模态图像中的两层相邻的不同分辨率的特征层输入到多层次特征重提取和聚合的神经网络模型中，确定分割后的MRI模态图像，具体包括：

获取上采样过程中的特征层；

利用所述残差卷积单元对所述低分辨率的特征层重提取，将低分辨率的特征层的分辨率增加到高分辨率的特征层的分辨率，确定重提取的低分辨率的特征层；

将所述重提取的低分辨率的特征层以及所述高分辨率的特征层输入到所述分辨率融合单元；

利用所述分辨率融合单元融合所述重提取的低分辨率的特征层以及所述高分辨率的特征层，确定融合后的特征层；

将所述融合后的特征层输入到所述聚合单元；

利用所述聚合单元聚合所述融合后的特征层与所述上采样过程中的特征层，确定分割后的MRI模态图像；所述上采样过程中的特征层与所述融合后的特征层尺寸相同；所述上采样过程与所述下采样过程通过分割网络相连接。

3.根据权利要求1所述的基于深度学习的医学图像分割方法，其特征在于，所述在下采样过程中，将所述训练集内的任一张所述历史磁共振成像MRI模态图像中的两层相邻的不同分辨率的特征层输入到多层次特征重提取和聚合的神经网络模型中，确定分割后的MRI模态图像之后，还包括：

获取所述历史磁共振成像MRI模态图像对应的真值图像；

将所述分割后的MRI模态图像以及所述训练集内的任一张所述历史磁共振成像MRI模态图像对应的所述真值图像进行对比，通过交叉熵损失函数计算损失，并利用梯度下降算法继续训练所述多层次特征重提取和聚合的神经网络模型。

4.根据权利要求3所述的基于深度学习的医学图像分割方法，其特征在于，所述将所述分割后的MRI模态图像以及所述训练集内的任一张所述历史磁共振成像MRI模态图像对应的所述真值图像进行对比，通过交叉熵损失函数计算损失，并利用梯度下降算法继续训练所述多层次特征重提取和聚合的神经网络模型之后，还包括：

将所述测试集内的任一张所述历史磁共振成像MRI模态图像中的两层相邻的不同分辨率的特征层输入到多层次特征重提取和聚合的神经网络模型中，确定测试集分割后的MRI模态图像；

将所述测试集分割后的MRI模态图像以及所述测试集内的任一张所述历史磁共振成像MRI模态图像对应的所述真值图像进行对比，确定集合相似度度量函数dice系数；

若所述dice系数在dice系数阈值范围内，确定所述多层次特征重提取和聚合的神经网络模型训练完毕。

5.一种基于深度学习的医学图像分割系统，其特征在于，包括：

历史磁共振成像MRI模态图像获取模块，用于获取历史磁共振成像MRI模态图像；所述历史磁共振成像MRI模态图像包括高等级肿瘤病人的MRI模态图像以及低等级肿瘤病人的MRI模态图像；

划分模块，用于将所述历史磁共振成像MRI模态图像划分为训练集和测试集；

分割后的MRI模态图像确定模块，用于在下采样过程中，将所述训练集内的任一张所述历史磁共振成像MRI模态图像中的两层相邻的不同分辨率的特征层输入到多层次特征重提取和聚合的神经网络模型中，确定分割后的MRI模态图像；两层相邻的不同分辨率的特征层包括低分辨率的特征层和高分辨率的特征层；所述多层次特征重提取和聚合的神经网络模型为二输入、一输出的神经网络模型；所述多层次特征重提取和聚合的神经网络模型包括残差卷积单元、分辨率融合单元以及聚合单元；所述两层相邻的不同分辨率的特征层依次经过所述残差卷积单元、所述分辨率融合单元以及所述聚合单元，确定分割后的MRI模态图像。

6.根据权利要求5所述的基于深度学习的医学图像分割系统，其特征在于，所述分割后的MRI模态图像确定模块具体包括：

上采样过程中的特征层获取单元，用于获取上采样过程中的特征层；

所述残差卷积单元，用于对所述低分辨率的特征层重提取，将低分辨率的特征层的分辨率增加到高分辨率的特征层的分辨率，确定重提取的低分辨率的特征层；

第一输送单元，用于将所述重提取的低分辨率的特征层以及所述高分辨率的特征层输入到所述分辨率融合单元；

所述分辨率融合单元，用于融合所述重提取的低分辨率的特征层以及所述高分辨率的特征层，确定融合后的特征层；

第二输送单元，用于将所述融合后的特征层输入到所述聚合单元；

所述聚合单元，用于聚合所述融合后的特征层与上采样过程中的特征层，确定分割后的MRI模态图像；所述上采样过程中的特征层与所述融合后的特征层尺寸相同；所述上采样过程与所述下采样过程通过分割网络相连接。

7.根据权利要求5所述的基于深度学习的医学图像分割系统，其特征在于，还包括：

真值图像获取模块，用于获取所述历史磁共振成像MRI模态图像对应的真值图像；

多层次特征重提取和聚合的神经网络模型训练模块，用于将所述分割后的MRI模态图像以及所述训练集内的任一张所述历史磁共振成像MRI模态图像对应的所述真值图像进行对比，通过交叉熵损失函数计算损失，并利用梯度下降算法继续训练所述多层次特征重提取和聚合的神经网络模型。

8.根据权利要求7所述的基于深度学习的医学图像分割系统，其特征在于，还包括：

测试集分割后的MRI模态图像确定模块，用于将所述测试集内的任一张所述历史磁共振成像MRI模态图像中的两层相邻的不同分辨率的特征层输入到多层次特征重提取和聚合的神经网络模型中，确定测试集分割后的MRI模态图像；

dice系数确定模块，用于将所述测试集分割后的MRI模态图像以及所述测试集内的任一张所述历史磁共振成像MRI模态图像对应的所述真值图像进行对比，确定集合相似度度量函数dice系数；

多层次特征重提取和聚合的神经网络模型训练完毕确定模块，用于若所述dice系数在dice系数阈值范围内，确定所述多层次特征重提取和聚合的神经网络模型训练完毕。