CN112767417A - 一种基于级联U-Net网络的多模态图像分割方法 - Google Patents

一种基于级联U-Net网络的多模态图像分割方法 Download PDF

Info

Publication number
CN112767417A
CN112767417A CN202110075561.8A CN202110075561A CN112767417A CN 112767417 A CN112767417 A CN 112767417A CN 202110075561 A CN202110075561 A CN 202110075561A CN 112767417 A CN112767417 A CN 112767417A
Authority
CN
China
Prior art keywords
segmentation
layer
train
layers
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110075561.8A
Other languages
English (en)
Other versions
CN112767417B (zh
Inventor
成娟
张楚雅
刘羽
李畅
宋仁成
陈勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202110075561.8A priority Critical patent/CN112767417B/zh
Publication of CN112767417A publication Critical patent/CN112767417A/zh
Application granted granted Critical
Publication of CN112767417B publication Critical patent/CN112767417B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Abstract

本发明公开了一种基于级联U‑Net网络的多模态图像分割方法，包括：第一步，用Tensorflow框架构建包括多个分割网络的多级级联分割网络，每个分割网络均包括：编码路径、解码路径和若干个跳过连接路径；第二步，分割多模态图像，包括：数据获取、数据预处理、分割网络训练和分割图像后处理。本发明能提升对边缘不规则的分割目标的分割效果，增强对较小分割目标的定位和分割，从而提高图像分割的精度，进而为对图像进行进一步的分析处理提供支持。

Description

一种基于级联U-Net网络的多模态图像分割方法
技术领域
本发明涉及3D图像分割及深度学习技术领域，具体涉及一种基于级联U-Net网络的多模态图像分割方法。
背景技术
每一种信息的来源或者形式，都可以称为一种模态(Modality)。在信息技术飞速发展的今天，多模态数据已成为近来数据资源的主要形式。单模态的学习方法是将信息表示为计算机可以处理的数值向量或者进一步抽象为更高层的特征向量，而多模态的学习方法是指通过利用多模态之间的互补性，剔除模态间的冗余性，从而学习到更好的特征表示。考虑到单一模态中的显著特征通常能够快速且准确地分类差别非常大的图像，但仅采用单一模态中的特征不能够很好地区分各类图像之间存在的细微差别。因此，研究同时涉及到多种输入模态的多模态学习方法，赋予计算机理解多源异构海量数据的能力具有巨大的应用前景和广泛的研究价值。
医学成像中包括有多种图像模态，在医学图像数据中多模态磁共振成像(magnetic resonance imaging，MRI)技术的运用较为常见。常用3D MRI模态包括T1加权成像(T1)，T2加权成像(T2)，对比后T1加权成像(T1ce)和T2液体衰减反转恢复成像(T2-FLAIR)。T1、T2是用于测量电磁波的物理量，它们可以作为成像的数据，根据T1来成像的，叫做“T1加权成像”，通过T1图像可以看出各种断层解剖结构。根据T2来成像的，叫做“T2加权成像”，T2信号跟水含量有关。T1ce成像需要在做MRI之前往血液打造影剂，图像中亮的地方血供丰富说明血流很丰富。在T2-FLAIR模态下的图像，在该模态的反转恢复序列作用下，自由水会被抑制，而结合水则呈现高信号。从单一模态的MRI图像，一般只能得到组织结构的一个或者两个类别的准确信息，为了得到更细致的组织结构，多模态的信息起着至关重要的作用。
同时，医学图像分割在图像分割领域一直是一大难点。仅使用传统的图像分割方法，例如：基于区域的分割、基于模糊聚类的分割、基于形变的分割、基于形态学分水岭的分割等，无法很好地提取医学图像的特征。而基于深度学习的分割方法如FCN、SegNet、U-net等，通过直接输入原始图像识别视觉上的规律，可以自动提取合适的特征，达到比传统方法更好的预测效果。但由于与自然图像相比，医学图像具有更强的复杂性和多样性，包括如下特点：第一，医学图像通常在正样本像素(或体素)和负样本像素(或体素)之间存在很大的不平衡，这种类不平衡问题会为基于深度学习的图像分割方法带来极大影响；第二，因为人体的解剖组织结构和形状复杂、人与人之间又存在相当大的差别，为图像的分割带来了困难；第三，由于医学图像的成像原理和组织本身的特性差异，图像的形成受到诸如噪音、场偏移效应、局部体效应和组织运动等的影响，医学图像与自然图像比较，不可避免的具有模糊、不均匀性等特点。医学图像的上述特点为基于深度学习的图像分割方法在医学影响上的应用带来了极大的困难，因此，有必要针对医学图像的上述特点对分割方法进行进一步的研究，并且考虑结合多个模态的医学图像中的信息来提高分割方法的性能。
发明内容
本发明为克服现有图像分割技术在医学图像分割上存在的问题，提供了一种基于级联U-Net网络的多模态图像分割方法，以期能提升对边缘不规则的分割目标的分割效果，增强对较小分割目标的定位和分割，从而提高图像分割的精度，进而为对图像进行进一步的分析处理提供支持。
本发明为解决上述问题采用如下技术方案：
本发明一种基于级联U-Net网络的多模态图像分割方法的特点包括如下步骤：
步骤1：用Tensorflow框架构建多级级联分割网络，所述多级级联分割网络包括T个分割网络U1，…，Ut，…，UT；Ut表示第t个分割网络；t＝1,2,…,T；T表示所述多级级联分割网络的级数，并由待分割类别数量决定；每个分割网络均包括：编码路径、解码路径和若干个跳过连接路径；
步骤1.1：所述编码路径包括M个下采样层和M个最大池化层，M个下采样层记为Encoder1,…,Encoderm,…,EncoderM，M个最大池化层记为Maxpool1,…,Maxpoolm,…,MaxpoolM；其中，Encoderm表示第m个下采样层，Maxpoolm表示第m个最大池化层；每个下采样层后均连接一个最大池化层；
每个下采样层均包括：N×N×N的第一卷积层、第一批标准化层、第一修正线性单元、第一通道注意力模块、第一空间注意力模块、N×N×N的第二卷积层、第二批标准化层、第二修正线性单元、第一参数正则化模块；
步骤1.2：所述解码路径包括M个上采样层、M个反卷积层和M-1个辅助输出层，M个上采样层记为Decoder1,…,Decoderm,…,DecoderM，M个反卷积层记为Deconv1,…,Deconvm,…,DeconvM，M-1个辅助输出层记为AuxOutput1,…,AuxOutputm,…,AuxOutputM-1，其中，Decoderm表示第m个上采样层，Deconvm表示第m个反卷积层，AuxOutputm表示第m个辅助输出层，每个上采样层前均连接一个反卷积层；前M-1个上采样层后均连接一个辅助输出层以形成扩展路径，用于计算损失函数；
每个上采样层均包括：N×N×N的第三卷积层、第三批标准化层、第三修正线性单元、第二通道注意力模块、第二空间注意力模块、N×N×N的第四卷积层、第四批标准化层、第四修正线性单元、第二参数正则化模块；
在第m个上采样层Decoderm后连接一个N0×N0×N0的第五卷积层和M-m个路径扩展反卷积层；在第M个上采样层DecoderM后连接一个N0×N0×N0的第六卷积层再通过Softmax分类函数，用于对像素点逐一进行概率映射；
步骤1.3：若干个跳过连接路径用于连接连接第m个下采样层Encoderm和第M-m+1个上采样层DecoderM-m+1；每个跳过连接路径是由两个卷积层和两个空洞卷积层并行组成的，并包括：N1×N1×N1的第七卷积层、N2×N2×N2的第八卷积层、采样率为r1的N3×N3×N3的第一空洞卷积层和采样率为r2的N3×N3×N3的第二空洞卷积层；
步骤2：多模态图像的分割；
步骤2.1：数据获取：
获取图像大小为D×H×W且模态数为P的多模态图像集{ITrain,1,ITrain,2,…,ITrain,p,…,ITrain,P}，其中，ITrain,p表示第p个模态的多模态图像，p＝1,2,…,P；
步骤2.2：数据预处理：
对多模态图像集{ITrain,1,ITrain,2,…,ITrain,p,…,ITrain,P}裁除多余背景区域后再进行归一化处理，得到归一化后的图像{I″Train,1,I″Train,2,…,I″Train,p,…,I″Train,P}；I″Train,p表示第p个模态的预处理后的多模态图像；
步骤2.3：分割网络训练：
步骤2.3.1：初始化t＝1，根据分割目标选取第一多模态图像子集Ssub,1∈[I″Train,1,I″Train,2,…,I″Train,p,…,I″Train,P]，其中，所述第1多模态图像子集Ssub,1中包括p1个模态，对第一多模态图像子集Ssub,1中图像随机裁剪并产生大小为D1×H1×W1的若干个切块后分别输入第1个分割网络U1中进行训练，得到第1个待分割类别的分割结果Output(U1)；其中，0＜D1≤D,0＜H1≤H,0＜W1≤W；
步骤2.3.2，将t+1赋值给t后，判断t>T是否成立，若成立，则表示得到最佳级联分割网络模型及其T个待分割类别的分割结果Output(U1),…,Output(Ut),…,Output(UT)，并执行步骤2.4；否则，执行步骤2.3.3；
步骤2.3.3：根据分割目标选取第t多模态图像子集Ssub,t∈[I″Train,1,I″Train,2,…,I″Train,p,…,I″Train,P]，其中，所述第t多模态图像子集Ssub,t包括pt个模态，对第t多模态图像子集Ssub,t中图像随机裁剪并产生大小为D1×H1×W1的若干个切块后分别与第t-1个待分割类别的分割结果Output(Ut-1)相乘后的结果，作为第t个分割网络Ut的输入，从而由第t个分割网络Ut输出第t个待分割类别分割结果Output(Ut)，并返回步骤2.3.2；
步骤2.4：分割图像后处理：
将T个待分割类别的分割结果Output(U1),…,Output(Ut),…,Output(UT)还原到原始大小D×H×W后，再对还原后的图像进行后处理，得到T个分割结果Result(U1),…,Result(Ut),…,Result(UT)，Result(Ut)表示第t个的分割结果。
与现有的分割方法相比，该方法应用多模态图像进行图像分割任务，并且通过多级级联分割网络，由粗到细逐步完成分割多个类别的分割任务，其有益效果体现在：
1、本发明利用分割网络的多级级联结构将多类分割问题简化为多个二分类问题，降低了分类难度。当训练某一级分割网络时，能够同时训练该级分割网络之前的所有级联网络，同步更新每一级网络的训练参数和权重，使级联网络中的多个分割网络能同时达到较优的结果。同时，训练过程中用上一级的分割结果为后续的分割步骤提供定位，分割区域的缩小一定程度上缓解了类不平衡问题，为图像分割领域解决正样本和负样本之间的不平衡问题提供一种有效的解决方案。
2、相较于应用单一模态图像，本发明多模态图像可以提取出分割目标中的更客观、更本质的特征，通过集成多模态图像中不同类型的特征来有效地提高了深度学习网络模型性能。
3、本发明分割网络中加入注意力机制用来关注重要特征，对特征进行高效利用。在模型编码路径的下采样层和解码路径的上采样层中，在它们各自的第一个各自的卷积层后面同时加入空间注意力模块和通道注意力模块。空间注意力模块通过模拟出不同局部特征间的联系，可相互促进提高不同局部特征间的分类精度，从而将关键信息提取出来。而通道注意力模块学习各通道间特征的依赖性，并根据不同通道的相关类别特征间的依赖程度的不同对特征图进行不同类别特征强化。注意力机制通过对重要特征的关注保证了对分割目标细节位置尤其是边缘的分割效果。
4、本发明分割网络中在跳过连接上分别加入了卷积和空洞卷积。一方面通过卷积消除跳过连接连接的编码路径下采样层和解码路径上采样层之间可能存在的语义鸿沟；另一方面，通过空洞卷积扩大编码路径中的浅层特征信息的感受野，增强了网络在不同感受野下的特征的学习能力。其中，大感受野的卷积可以为大目标提取和生成更抽象的特征，而小感受野的卷积对于小目标的特征提取效果更好，通过组合不同扩张率的空洞卷积，获取多尺度信息，提供不同尺寸的感受野，进而有效提取具有不同尺寸目标的特征，能够同时针对不同大小的目标进行分割。
5、本发明分割网络中解码路径的每个上采样层后面加入了辅助输出形成了扩展路径，扩展路径可以更好地传播梯度并减少相对较深分段网络梯度消失的可能性，训练时需要最小化包括解码路径的最后一个上采样层后输出的主路径损失函数和辅助输出路径损失函数在内的总体损失函数。辅助输出可以更好地传播梯度并减少深度学习领域中相对较深分段网络出现梯度消失问题的可能性；
6、本发明分割网络中加入了应用于卷积层的参数正则化模块，用来防止过拟合现象。参数正则化层(dropout)被广泛地应用在全连接层用来防止过拟合，但是对于卷积层效果不好，原因是dropout是删除独立的随机单元，而卷积层的特征在空间上是相关的，特征图中相邻位置元素在空间上共享语义信息，所以尽管某个单元被丢弃掉，但与其相邻的元素依然可以保有该位置的语义信息，信息仍然可以在卷积网络中流通。因此，在网络中加入了应用于卷积层的参数正则化模块，这是一种结构化的dropout形式，将特征图相邻区域中的单元放在一起，丢掉整块的有效特征。这一方法有效克服了现有深度学习方法在小规模数据集下进行网络训练面临的过拟合问题，更好地提升了网络的泛化能力。
附图说明
图1为本发明的基于级联U-Net网络的多模态图像分割方法流程图；
图2为本发明的具体实施中实现的三级级联网络结构示意图；
图3为本发明的级联分割网络结构示意图；
图4为本发明分割网络编码路径下采样层和解码路径上采样层结构示意图；
图5为本发明分割网络使用的通道注意力模块示意图；
图6为本发明分割网络使用的空间注意力模块示意图；
图7为本发明分割网络中跳过连接模块的结构示意图。
具体实施方式
本实施例中，如图1所示，一种基于级联U-Net网络的多模态图像分割方法包括以下步骤：
步骤1：用Tensorflow框架构建多级级联分割网络，多级级联分割网络包括T个分割网络U1，…，Ut，…，UT；Ut表示第t个分割网络；t＝1,2,…,T；T表示多级级联分割网络的级数，并由待分割类别数量决定；每个分割网络均包括：编码路径、解码路径和若干个跳过连接路径；
在具体实施中，采用三级级联分割网络，T＝3，级联网络结构如图2所示，分割网络结构如图3所示。
步骤1.1：编码路径包括M个下采样层和M个最大池化层，M个下采样层记为Encoder1,…,Encoderm,…,EncoderM，M个最大池化层记为Maxpool1,…,Maxpoolm,…,MaxpoolM；其中，Encoderm表示第m个下采样层，Maxpoolm表示第m个最大池化层；每个下采样层后均连接一个最大池化层；
每个下采样层均包括：N×N×N的第一卷积层、第一批标准化层、第一修正线性单元、第一通道注意力模块、第一空间注意力模块、N×N×N的第二卷积层、第二批标准化层、第二修正线性单元、第一参数正则化模块；
结构如图4所示，在具体实施中取M＝4，N＝3；
步骤1.2：解码路径包括M个上采样层、M个反卷积层和M-1个辅助输出层，M个上采样层记为Decoder1,…,Decoderm,…,DecoderM，M个反卷积层记为Deconv1,…,Deconvm,…,DeconvM，M-1个辅助输出层记为AuxOutput1,…,AuxOutputm,…,AuxOutputM-1，其中，Decoderm表示第m个上采样层，Deconvm表示第m个反卷积层，AuxOutputm表示第m个辅助输出层，每个上采样层前均连接一个反卷积层；前M-1个上采样层后均连接一个辅助输出层以形成扩展路径，用于计算损失函数；
每个上采样层均包括：N×N×N的第三卷积层、第三批标准化层、第三修正线性单元、第二通道注意力模块、第二空间注意力模块、N×N×N的第四卷积层、第四批标准化层、第四修正线性单元、第二参数正则化模块，结构如图4所示，；
在第m个上采样层Decoderm后连接一个N0×N0×N0的第五卷积层和M-m个路径扩展反卷积层；在第M个上采样层DecoderM后连接一个N0×N0×N0的第六卷积层再通过Softmax分类函数，用于对像素点逐一进行概率映射；在具体实施中，M＝4，N0＝1，m＝3，N＝3。
编码路径中第一个下采样层Encoder1通道数为16，第二个下采样层Encoder2通道数为32，第三个下采样层Encoder3通道数为64，第四个下采样层Encoder4通道数为128。解码路径中第一个上采样层Decoder1通道数为128，第二个上采样层Decoder2通道数为64，第三个上采样层Decoder3通道数为32，第四个上采样层Decoder4通道数为16。在编码路径第四个下采样层Encoder4与解码路径第一个上采样层Decoder1之间通过通道数为256的N×N×N的第九卷积层相连。
编码路径下采样层和解码路径下采样层中所应用到通道注意力模块如图5所示，空间注意力模块如图6所示。
通道注意力模块对特征图的处理过程如下：输入特征后，先分别进行一个空间的全局平均池化和最大池化得到两个通道描述，再将它们分别送入一个两层密集连接层，然后将得到的两个特征相加后经过Sigmoid激活函数得到权重系数，最后拿权重系数和输入特征相乘得到缩放后的新特征。
空间注意力模块如对特征图的处理过程如下：输入特征后，先分别进行一个通道维度的全局平均池化和最大池化得到两个通道描述，再将这两个描述按照通道拼接在一起，然后经过一个卷积层，再经过一个激活函数Sigmoid，得到权重系数，最后拿权重系数和输入特征相乘得到缩放后的新特征。
步骤1.3：若干个跳过连接路径用于连接连接第m个下采样层Encoderm和第M-m+1个上采样层DecoderM-m+1；每个跳过连接路径是由两个卷积层和两个空洞卷积层并行组成的，并包括：N1×N1×N1的第七卷积层、N2×N2×N2的第八卷积层、采样率为r1的N3×N3×N3的第一空洞卷积层和采样率为r2的N3×N3×N3的第二空洞卷积层；
在具体实施中的跳过连接路径结构如图7所示，取N1＝3、N2＝1、N3＝3、r1＝1、r2＝3。跳过连接路径有四条：第一条跳过连接路径将编码路径第四个下采样层Encoder4的输出与编码路径与解码路径之间的注意力卷积模块输出的特征图进行通道数上的拼接，作为解码路径第一个上采样层Decoder1的输入；第二条跳过连接路径将编码路径第三个下采样层Encoder3的输出与解码路径第一个上采样层Decoder1输出的特征图进行通道数上的拼接，作为解码路径第二个上采样层Decoder2的输入；第三条跳过连接路径将编码路径第二个下采样层Encoder2的输出与解码路径第二个上采样层Decoder2输出的特征图进行通道数上的拼接，作为解码路径第三个上采样层Decoder3的输入；第四条跳过连接路径将编码路径第一个下采样层Encoder1的输出与解码路径第三个上采样层Decoder3输出的特征图进行通道数上的拼接，作为解码路径第四层Decoder4的输入。
步骤2：多模态图像的分割；
步骤2.1：数据获取：
获取图像大小为D×H×W且模态数为P的多模态图像集{ITrain,1,ITrain,2,…,ITrain,p,…,ITrain,P}，其中，ITrain,p表示第p个模态的多模态图像，p＝1,2,…,P；
具体实施中取P＝3，数据集来自于多模式脑肿瘤分割挑战赛(BraTS)，所有BraTS多模式扫描均以NIfTI文件(.nii.gz)形式提供，所提供的数据被共同配准到相同的解剖模板，内插到相同的分辨率(1mm3)并被经过颅骨剥离，为每位患者提供了4种3DMRI模态，包括T1加权成像(T1)，T2加权成像(T2)，对比后T1加权成像(T1ce)和T2液体衰减反转恢复成像(T2-FLAIR)。所有成像数据集已由一到四个评估者手动分割，并且其注释已由经验丰富的神经放射科医生批准，注释包括强型肿瘤(ET-标签4)，肿瘤周围水肿(ED-标签2)以及坏死性和非增强性肿瘤核心(NCR/NET-标签1)。被考虑进行评估的子区域为：增强肿瘤(ET)，肿瘤核心(TC＝ET+NCR/NET)和整个肿瘤(WT＝TC+ED)。实验中选取BraTS2019数据集，使用包括335个患者样本的训练集进行训练，训练集由259个高胶质肿瘤(HGG)患者样本与76个低胶质肿瘤(LGG)患者样本组成，使用包括125个患者样本的验证集进行测试，数据集中每个核磁共振图像的大小为155×240×240，即D＝155，H＝240，W＝240；
步骤2.2：数据预处理：
对多模态图像集{ITrain,1,ITrain,2,…,ITrain,p,…,ITrain,P}裁除多余背景区域后再进行归一化处理，得到归一化后的图像{I″Train,1,I″Train,2,…,I″Train,p,…,I″Train,P}；I″Train,p表示第p个模态的预处理后的多模态图像；
使用BraTS2019数据集中提供的四个模态中的T2、T1ce、T2-FLAIR三种，对每个样本的核磁共振图像进行预处理，首先裁除脑部区域外多余黑色区域，再对图像分别做Z-Score归一化处理，即对非背景图像减去均值，除以方差，得到强度值范围为[0,1]的标准化图像。
步骤2.3：分割网络训练：
步骤2.3.1：初始化t＝1，根据分割目标选取第一多模态图像子集Ssub,1∈[I″Train,1,I″Train,2,…,I″Train,p,…,I″Train,P]，其中，第1多模态图像子集Ssub,1中包括p1个模态，对第一多模态图像子集Ssub,1中图像随机裁剪并产生大小为D1×H1×W1的若干个切块后分别输入第1个分割网络U1中进行训练，得到第1个待分割类别的分割结果Output(U1)；其中，0＜D1≤D,0＜H1≤H,0＜W1≤W；
步骤2.3.2，将t+1赋值给t后，判断t>T是否成立，若成立，则表示得到最佳级联分割网络模型及其T个待分割类别的分割结果Output(U1),…,Output(Ut),…,Output(UT)，并执行步骤2.4；否则，执行步骤2.3.3；
步骤2.3.3：根据分割目标选取第t多模态图像子集Ssub,t∈[I″Train,1,I″Train,2,…,I″Train,p,…,I″Train,P]，其中，第t多模态图像子集Ssub,t包括pt个模态，对第t多模态图像子集Ssub,t中图像随机裁剪并产生大小为D1×H1×W1的若干个切块后分别与第t-1个待分割类别的分割结果Output(Ut-1)相乘后的结果，作为第t个分割网络Ut的输入，从而由第t个分割网络Ut输出第t个待分割类别分割结果Output(Ut)，并返回步骤2.3.2；
具体实施中取T＝3，D1＝H1＝W1＝96，对经过Z-Score处理得到的三种模态(T2、T1ce、T2-FLAIR)的训练集图像随机裁剪产生大小为96×96×96的切块，作为训练阶段的输入；将预处理后得到的T2和FLAIR图像切块输入网络U1中，得到第1个待分割类别的分割结果Output(U1)与预处理后的T1c图像相乘作为网络U2的输入，得到第2个待分割类别的分割结果Output(U2)再和预处理后的T1c图像相乘作为网络U3的输入，得到第3个待分割类别的分割结果Output(U3)。
训练过程中学习率设置为10-3，采用Adam优化和L2正则化，迭代次数为20000，每一阶段网络训练时将输出结果与训练集的groundtruth比较，根据损失函数，最小化损失函数的结果，进行不断地反向传播，更新权重并保存参数模型，训练完成得到最佳级联分割网络模型。
损失函数选用Focal loss，计算公式如下：
Figure BDA0002907490880000101
式(1)，中y为真值，y′为估计值，α为平衡因子设置为0.25，γ为调制因子设置为2。
Focal loss是交叉熵损失函数的进一步改进，主要是为了解决正负样本比例严重失调的问题。加入平衡因子α，用来平衡正负样本本身的比例不均，α的取值范围为(0,1)，可以通过调整α，进而调整正负样本的平衡。但是只添加α可以平衡正负样本的重要性，但是无法调整难分类和易分类样本的权重。因此引入调制因子γ，它可以减少对简单样本的权重，而将训练重点放在相对困难的样本中，γ调节简单样本权重降低的速率，当γ为0时即为交叉熵损失函数，当γ增加时，调整因子的影响也在增加.例如：对于正类样本而言，预测结果为0.95是简单样本，所以(1-0.95)的γ次方就会很小，这时损失函数值就变得更小。而预测概率为0.3的样本其损失相对很大。对于负类样本而言同样，预测0.1的结果应当远比预测0.7的样本损失值要小得多。对于预测概率为0.5时，损失只减少了0.25倍，所以能更加关注于难以区分的样本，通过这样减少了简单样本的影响。
进行损失函数的计算时，需要计算包括基本分支过程的主分支和辅助输出分支的损失函数，总体损失函数Ltotal＝Lmain+0.3×Laux1+0.6×Laux2+0.9×Laux3。Laux1为解码路径第一个上采样层末尾连接的辅助输出1AuxOutput1的损失函数，Laux2为解码路径第一个上采样层末尾连接的辅助输出2AuxOutput2的损失函数，Laux3为解码路径第一个上采样层末尾连接的辅助输出3AuxOutput3的损失函数，
步骤2.4：分割图像后处理：
将T个待分割类别的分割结果Output(U1),…,Output(Ut),…,Output(UT)还原到原始大小D×H×W后，再对还原后的图像进行后处理，得到T个分割结果Result(U1),…,Result(Ut),…,Result(UT)，Result(Ut)表示第t个的分割结果。
对测试集图像，裁除多余背景区域后再进行Z-Score归一化处理，将图像归一化为强度值范围为[0，1]的标准化图像，输入最佳级联分割网络模型中；具体实施中得到分割网络U1的分割结果TestOutput(WT)、分割网络U2的分割结果TestOutput(TC)、分割网络U3的分割结果TestOutput(ET).
图像进行后处理的方法中，通过连接的组件处理将一些与最大区域断开连接的独立小体积移除，使用阈值化方法删除较小的孤立区域以校正某些体素标签，如果独立小体积的体素数量少于预测类总数的30％，则将这些组件重新标记为背景。另外，由于在某些低度神经胶质瘤(LGG)样本中，不存在增强肿瘤，而模型可推断为存在，从而导致Dice系数的较大误差。因此，如果在单个案例中被分类为增强肿瘤(ET)的体素的数量少于500，则这些体素被视为ET的假阳性，将这些体素从增强肿瘤的预测中删除，得到最终的分割结果Result(WT)、Result(TC)、Result(ET)。
实验环境采用TensorFlow深度学习框架，实验GPU选择NVIDIAGeForce RTX2080Ti。为了定量评价分割结果，采用评价指标为Dice系数以及灵敏度(Sensitivity)，公式如下：
Dice系数是一种集合相似度度量函数，通常用于计算两个轮廓区域的相似程度，取值范围在[0,1]，被定义为：
Figure BDA0002907490880000111
式(2)中，TP，FP，FN分别是真阳性、假阳性、假阴性体素的个数。
灵敏度为分割正确的肿瘤点占真值肿瘤点的比例，它被定义为：
Figure BDA0002907490880000112
式(3)中，TP，FN分别是真阳性、假阴性体素的个数。
表1级联U-Net网络结构在Brats2019训练集与验证集上的分割结果：
Brats2019训练集 Brats2019验证集
DiceWT 0.895 0.877
DiceTC 0.77 0.771
DiceET 0.648 0.691
SensitivityWT 0.934 0.916
SensitivityTC 0.904 0.843
SensitivityET 0.801 0.762
表2本发明提供的网络结构与方法在Brats2019训练集与验证集上的分割结果：
Brats2019训练集 Brats2019验证集
DiceWT 0.923 0.883
DiceTC 0.904 0.815
DiceET 0.741 0.733
SensitivityWT 0.938 0.918
SensitivityTC 0.937 0.812
SensitivityET 0.832 0.779
级联U-Net网络结构的实验结果如表1所示，本发明提供的网络结构与方法的实验结果如表2所示，通过对比可以看出相比于使用级联U-Net网络结构的方法，使用本发明提供的网络结构与方法可以得到分割精度上的较大提高。

Claims (1)

1.一种基于级联U-Net网络的多模态图像分割方法，其特征包括如下步骤：
步骤1：用Tensorflow框架构建多级级联分割网络，所述多级级联分割网络包括T个分割网络U1，…，Ut，…，UT；Ut表示第t个分割网络；t＝1,2,…,T；T表示所述多级级联分割网络的级数，并由待分割类别数量决定；每个分割网络均包括：编码路径、解码路径和若干个跳过连接路径；
步骤1.1：所述编码路径包括M个下采样层和M个最大池化层，M个下采样层记为Encoder1,…,Encoderm,…,EncoderM，M个最大池化层记为Maxpool1,…,Maxpoolm,…,MaxpoolM；其中，Encoderm表示第m个下采样层，Maxpoolm表示第m个最大池化层；每个下采样层后均连接一个最大池化层；
每个下采样层均包括：N×N×N的第一卷积层、第一批标准化层、第一修正线性单元、第一通道注意力模块、第一空间注意力模块、N×N×N的第二卷积层、第二批标准化层、第二修正线性单元、第一参数正则化模块；
步骤1.2：所述解码路径包括M个上采样层、M个反卷积层和M-1个辅助输出层，M个上采样层记为Decoder1,…,Decoderm,…,DecoderM，M个反卷积层记为Deconv1,…,Deconvm,…,DeconvM，M-1个辅助输出层记为AuxOutput1,…,AuxOutputm,…,AuxOutputM-1，其中，Decoderm表示第m个上采样层，Deconvm表示第m个反卷积层，AuxOutputm表示第m个辅助输出层，每个上采样层前均连接一个反卷积层；前M-1个上采样层后均连接一个辅助输出层以形成扩展路径，用于计算损失函数；
每个上采样层均包括：N×N×N的第三卷积层、第三批标准化层、第三修正线性单元、第二通道注意力模块、第二空间注意力模块、N×N×N的第四卷积层、第四批标准化层、第四修正线性单元、第二参数正则化模块；
在第m个上采样层Decoderm后连接一个N0×N0×N0的第五卷积层和M-m个路径扩展反卷积层；在第M个上采样层DecoderM后连接一个N0×N0×N0的第六卷积层再通过Softmax分类函数，用于对像素点逐一进行概率映射；
步骤1.3：若干个跳过连接路径用于连接连接第m个下采样层Encoderm和第M-m+1个上采样层DecoderM-m+1；每个跳过连接路径是由两个卷积层和两个空洞卷积层并行组成的，并包括：N1×N1×N1的第七卷积层、N2×N2×N2的第八卷积层、采样率为r1的N3×N3×N3的第一空洞卷积层和采样率为r2的N3×N3×N3的第二空洞卷积层；
步骤2：多模态图像的分割；
步骤2.1：数据获取：
获取图像大小为D×H×W且模态数为P的多模态图像集{ITrain,1,ITrain,2,…,ITrain,p,…,ITrain,P}，其中，ITrain,p表示第p个模态的多模态图像，p＝1,2,…,P；
步骤2.2：数据预处理：
对多模态图像集{ITrain,1,ITrain,2,…,ITrain,p,…,ITrain,P}裁除多余背景区域后再进行归一化处理，得到归一化后的图像{I″Train,1,I″Train,2,…,I″Train,p,…,I″Train,P}；I″Train,p表示第p个模态的预处理后的多模态图像；
步骤2.3：分割网络训练：
步骤2.3.1：初始化t＝1，根据分割目标选取第一多模态图像子集Ssub,1∈[I″Train,1,I″Train,2,…,I″Train,p,…,I″Train,P]，其中，所述第1多模态图像子集Ssub,1中包括p1个模态，对第一多模态图像子集Ssub,1中图像随机裁剪并产生大小为D1×H1×W1的若干个切块后分别输入第1个分割网络U1中进行训练，得到第1个待分割类别的分割结果Output(U1)；其中，0＜D1≤D,0＜H1≤H,0＜W1≤W；
步骤2.3.2，将t+1赋值给t后，判断t>T是否成立，若成立，则表示得到最佳级联分割网络模型及其T个待分割类别的分割结果Output(U1),…,Output(Ut),…,Output(UT)，并执行步骤2.4；否则，执行步骤2.3.3；
步骤2.3.3：根据分割目标选取第t多模态图像子集Ssub,t∈[I′T′rain,1,I′T′rain,2,…,I′T′rain,p,…,I′T′rain,P]，其中，所述第t多模态图像子集Ssub,t包括pt个模态，对第t多模态图像子集Ssub,t中图像随机裁剪并产生大小为D1×H1×W1的若干个切块后分别与第t-1个待分割类别的分割结果Output(Ut-1)相乘后的结果，作为第t个分割网络Ut的输入，从而由第t个分割网络Ut输出第t个待分割类别分割结果Output(Ut)，并返回步骤2.3.2；
步骤2.4：分割图像后处理：
将T个待分割类别的分割结果Output(U1),…,Output(Ut),…,Output(UT)还原到原始大小D×H×W后，再对还原后的图像进行后处理，得到T个分割结果Result(U1),…,Result(Ut),…,Result(UT)，Result(Ut)表示第t个的分割结果。
CN202110075561.8A 2021-01-20 2021-01-20 一种基于级联U-Net网络的多模态图像分割方法 Active CN112767417B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110075561.8A CN112767417B (zh) 2021-01-20 2021-01-20 一种基于级联U-Net网络的多模态图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110075561.8A CN112767417B (zh) 2021-01-20 2021-01-20 一种基于级联U-Net网络的多模态图像分割方法

Publications (2)

Publication Number Publication Date
CN112767417A true CN112767417A (zh) 2021-05-07
CN112767417B CN112767417B (zh) 2022-09-13

Family

ID=75703555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110075561.8A Active CN112767417B (zh) 2021-01-20 2021-01-20 一种基于级联U-Net网络的多模态图像分割方法

Country Status (1)

Country Link
CN (1) CN112767417B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298825A (zh) * 2021-06-09 2021-08-24 东北大学 一种基于MSF-Net网络的图像分割方法
CN114219943A (zh) * 2021-11-24 2022-03-22 华南理工大学 一种基于深度学习的ct图像危及器官分割系统
CN114494322A (zh) * 2022-02-11 2022-05-13 合肥工业大学 一种基于图像融合技术的多模态图像分割方法
CN114596319A (zh) * 2022-05-10 2022-06-07 华南师范大学 基于Boosting-Unet分割网络的医学影像分割方法
CN116485798A (zh) * 2023-06-25 2023-07-25 北京肿瘤医院(北京大学肿瘤医院) 一种多模态宫颈癌mri图像自动识别和分割方法及系统
CN117036984A (zh) * 2023-10-09 2023-11-10 武汉大学 一种融合注意力机制的级联u型网络云检测方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090135191A1 (en) * 2007-07-12 2009-05-28 Siemens Corporate Research, Inc. Coregistration and analysis of multi-modal images obtained in different geometries
CN108492297A (zh) * 2017-12-25 2018-09-04 重庆理工大学 基于深度级联卷积网络的mri脑肿瘤定位与瘤内分割方法
CN109886106A (zh) * 2019-01-15 2019-06-14 浙江大学 一种基于深度学习的遥感图像建筑物变化检测方法
CN110689543A (zh) * 2019-09-19 2020-01-14 天津大学 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法
CN111046921A (zh) * 2019-11-25 2020-04-21 天津大学 基于U-Net网络和多视角融合的脑肿瘤分割方法
WO2020108525A1 (zh) * 2018-11-30 2020-06-04 腾讯科技（深圳）有限公司 图像分割方法、装置、诊断系统、存储介质及计算机设备
CN111340828A (zh) * 2020-01-10 2020-06-26 南京航空航天大学 基于级联卷积神经网络的脑部胶质瘤分割
CN112215844A (zh) * 2020-11-26 2021-01-12 南京信息工程大学 基于ACU-Net的MRI多模态图像分割方法和系统
CN112215850A (zh) * 2020-08-21 2021-01-12 天津大学 一种带注意力机制的级联空洞卷积网络脑肿瘤分割方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090135191A1 (en) * 2007-07-12 2009-05-28 Siemens Corporate Research, Inc. Coregistration and analysis of multi-modal images obtained in different geometries
CN108492297A (zh) * 2017-12-25 2018-09-04 重庆理工大学 基于深度级联卷积网络的mri脑肿瘤定位与瘤内分割方法
WO2020108525A1 (zh) * 2018-11-30 2020-06-04 腾讯科技（深圳）有限公司 图像分割方法、装置、诊断系统、存储介质及计算机设备
CN109886106A (zh) * 2019-01-15 2019-06-14 浙江大学 一种基于深度学习的遥感图像建筑物变化检测方法
CN110689543A (zh) * 2019-09-19 2020-01-14 天津大学 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法
CN111046921A (zh) * 2019-11-25 2020-04-21 天津大学 基于U-Net网络和多视角融合的脑肿瘤分割方法
CN111340828A (zh) * 2020-01-10 2020-06-26 南京航空航天大学 基于级联卷积神经网络的脑部胶质瘤分割
CN112215850A (zh) * 2020-08-21 2021-01-12 天津大学 一种带注意力机制的级联空洞卷积网络脑肿瘤分割方法
CN112215844A (zh) * 2020-11-26 2021-01-12 南京信息工程大学 基于ACU-Net的MRI多模态图像分割方法和系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
YI DING 等: "A multi-path adaptive fusion network for multimodal brain tumor segmentation", 《NEUROCOMPUTING》 *
YU-CHENG LIU 等: "Cascaded atrous dual attention U-Net for tumor segmentation", 《MULTIMEDIA TOOLS AND APPLICATIONS》 *
彭璟 等: "深度学习下的医学影像分割算法综述", 《计算机工程与应用》 *
郝晓宇 等: "融合双注意力机制 3D U-Net 的肺肿瘤分割", 《中国图象图形学报》 *
郭桦: "基于深度学习与多模态MRI图像的脑肿瘤分割方法研究", 《中国优秀博硕士学位论文全文数据库（硕士） 医药卫生科技辑》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298825A (zh) * 2021-06-09 2021-08-24 东北大学 一种基于MSF-Net网络的图像分割方法
CN113298825B (zh) * 2021-06-09 2023-11-14 东北大学 一种基于MSF-Net网络的图像分割方法
CN114219943A (zh) * 2021-11-24 2022-03-22 华南理工大学 一种基于深度学习的ct图像危及器官分割系统
CN114494322A (zh) * 2022-02-11 2022-05-13 合肥工业大学 一种基于图像融合技术的多模态图像分割方法
CN114494322B (zh) * 2022-02-11 2024-03-01 合肥工业大学 一种基于图像融合技术的多模态图像分割方法
CN114596319A (zh) * 2022-05-10 2022-06-07 华南师范大学 基于Boosting-Unet分割网络的医学影像分割方法
CN114596319B (zh) * 2022-05-10 2022-07-26 华南师范大学 基于Boosting-Unet分割网络的医学影像分割方法
CN116485798A (zh) * 2023-06-25 2023-07-25 北京肿瘤医院(北京大学肿瘤医院) 一种多模态宫颈癌mri图像自动识别和分割方法及系统
CN116485798B (zh) * 2023-06-25 2023-10-13 北京肿瘤医院(北京大学肿瘤医院) 一种多模态宫颈癌mri图像自动识别和分割方法及系统
CN117036984A (zh) * 2023-10-09 2023-11-10 武汉大学 一种融合注意力机制的级联u型网络云检测方法及系统
CN117036984B (zh) * 2023-10-09 2024-01-09 武汉大学 一种融合注意力机制的级联u型网络云检测方法及系统

Also Published As

Publication number Publication date
CN112767417B (zh) 2022-09-13

Similar Documents

Publication Publication Date Title
CN112767417B (zh) 一种基于级联U-Net网络的多模态图像分割方法
Liu et al. Perception consistency ultrasound image super-resolution via self-supervised CycleGAN
Li et al. Attention dense-u-net for automatic breast mass segmentation in digital mammogram
Zhou et al. Deep learning of the sectional appearances of 3D CT images for anatomical structure segmentation based on an FCN voting method
Pinaya et al. Unsupervised brain imaging 3D anomaly detection and segmentation with transformers
CN109035263B (zh) 基于卷积神经网络的脑肿瘤图像自动分割方法
CN109829918B (zh) 一种基于密集特征金字塔网络的肝脏图像分割方法
CN112150428A (zh) 一种基于深度学习的医学图像分割方法
CN111951288B (zh) 一种基于深度学习的皮肤癌病变分割方法
US20230281809A1 (en) Connected machine-learning models with joint training for lesion detection
CN111932529B (zh) 一种图像分类分割方法、装置及系统
Yamanakkanavar et al. A novel M-SegNet with global attention CNN architecture for automatic segmentation of brain MRI
Benou et al. De-noising of contrast-enhanced MRI sequences by an ensemble of expert deep neural networks
Zhou et al. Deep learning methods for medical image fusion: A review
CN114821052A (zh) 基于自调节策略的三维脑肿瘤核磁共振图像分割方法
CN114549538A (zh) 一种基于空间信息与特征通道的脑肿瘤医学图像分割方法
Jia et al. 3D global convolutional adversarial network\\for prostate MR volume segmentation
Wu et al. Multi-features refinement and aggregation for medical brain segmentation
CN114119525A (zh) 一种细胞医学图像分割的方法和系统
Molahasani Majdabadi et al. Capsule GAN for prostate MRI super-resolution
Dai et al. CAN3D: Fast 3D medical image segmentation via compact context aggregation
Zhou Modality-level cross-connection and attentional feature fusion based deep neural network for multi-modal brain tumor segmentation
Wu et al. Inner Cascaded U²-Net: An Improvement to Plain Cascaded U-Net.
CN116433654A (zh) 一种改进的U-Net网络实现脊柱整体分割方法
Lecesne et al. Segmentation of cardiac infarction in delayed-enhancement MRI using probability map and transformers-based neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant