CN111046921A - 基于U-Net网络和多视角融合的脑肿瘤分割方法 - Google Patents

基于U-Net网络和多视角融合的脑肿瘤分割方法 Download PDF

Info

Publication number
CN111046921A
CN111046921A CN201911168205.XA CN201911168205A CN111046921A CN 111046921 A CN111046921 A CN 111046921A CN 201911168205 A CN201911168205 A CN 201911168205A CN 111046921 A CN111046921 A CN 111046921A
Authority
CN
China
Prior art keywords
net
layer
convolution
intra
blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911168205.XA
Other languages
English (en)
Other versions
CN111046921B (zh
Inventor
褚晶辉
黄凯隆
吕卫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201911168205.XA priority Critical patent/CN111046921B/zh
Publication of CN111046921A publication Critical patent/CN111046921A/zh
Application granted granted Critical
Publication of CN111046921B publication Critical patent/CN111046921B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Abstract

本发明涉及一种基于U‑Net网络和多视角融合的脑肿瘤分割方法，包括下列步骤：第一步，将对脑肿瘤核磁共振图像进行预处理，沿轴向、矢向和冠向三个方向裁剪成适合级联各向异性空洞卷积U‑Net网络的切块，划分训练集与测试集；第二步，用Tensorflow框架构建级联各向异性空洞卷积U‑Net网络，级联各向异性空洞卷积U‑Net网络的主体结构为三级级联：用于分割脑肿瘤整体的网络W‑Net、用于分割肿瘤核的T‑Net以及用于分割增强肿瘤的网络E‑Net，三级网络通过级联连接；第四步，测试模型。

Description

基于U-Net网络和多视角融合的脑肿瘤分割方法
技术领域
本发明属于3D医学图像分割领域，涉及一种级联各向异性空洞卷积U-Net网络和多视角融合的3D脑肿瘤核磁共振图像分割方法。
背景技术
脑肿瘤分割是将脑肿瘤患者的脑部医学影像中的肿瘤区域与健康的组织区域分割开。在脑肿瘤当中，神经胶质是最常见的肿瘤，根据肿瘤细胞的攻击性和组织学异质性，可以分为高胶质肿瘤(HGG)与低胶质肿瘤(LGG)两种。肿瘤区域可以细分为肿瘤核部分、水肿部分、增强肿瘤部分、非增强肿瘤部分以及坏死部分，现代的核磁共振图像可以有效地区分上述区域：T1、T1c、T2以及FLAIR四种模态分别对肿瘤核区域、增强肿瘤和坏死区域、水肿以及整个肿瘤区域有所侧重。由于脑肿瘤的致死率较高，医生的手动标注需要花费时间，而时间对于患者制定治疗计划、手术以及后续观察都至关重要。所以需要用机器自动标注的方法分割脑肿瘤来辅助医生诊断，在短时间内分割出肿瘤的情况，为患者争取治疗时间。
现有的深度学习脑肿瘤分割方法比较常见的有FCN、U-Net和V-Net的结构，GuotaiWang在FCN的基础上加入了空洞卷积，在保证分辨率的同时增大卷积核感受野，但是FCN不能很好地恢复图像分辨率；所以U-Net网络在解码路径上加入了反卷积层，能够有效地回复特征图的分辨率，而且U-Net中的跳层结构可以融合不同深度的特征图，有利于兼顾总体和细节信息；V-Net用3维卷积核进行卷积，并且加入了残差结构，有效解决网络退化问题；但是U-Net与V-Net只关注解码路径的最后一层输出，对于解码路径上其他层的特征图造成一定浪费，而且U-Net忽略了切片之间的关联信息，V-Net运算量过大，实现比较困难。
发明内容
本发明针对3D医学图像分割问题，提供一种基于级联各向异性空洞卷积网络和多视角融合的3D脑肿瘤核磁共振图像分割的方法。可以有效解决FCN结构不能较好恢复图像分辨率的问题，同时解决了U-Net 结构切片之间关联信息，V-Net运算量难度大的问题；分割结果具有较高的精度，技术方案如下：
一种基于U-Net网络和多视角融合的脑肿瘤分割方法，包括下列步骤：
第一步，将对脑肿瘤核磁共振图像进行预处理，沿轴向、矢向和冠向三个方向裁剪成适合级联各向异性空洞卷积U-Net网络的切块，划分训练集与测试集。
第二步，用Tensorflow框架构建级联各向异性空洞卷积U-Net网络，级联各向异性空洞卷积U-Net网络的主体结构为三级级联：用于分割脑肿瘤整体的网络W-Net、用于分割肿瘤核的T-Net以及用于分割增强肿瘤的网络E-Net，三级网络通过级联连接：
(1)W-Net与T-Net网络结构一致，包括编码路径、解码路径与跳层连接三部分：
a)编码路径有三层：第一层含有4个帧内卷积块和1个帧间卷积块；第二层含有1个降采样层、2个帧内卷积块、4个空洞帧内卷积快和1个帧间卷积块；第三层含有1个降采样层、4个帧内卷积块和一个升采样层；其中每两个帧内卷积快用残差结构连接；
b)解码路径有两层：第一层含有4个空洞帧内卷积块、2个帧内卷积块、1个帧内卷积快和1个升采样层，第二层含有4个帧内卷积块和1个帧间卷积块，其中，每两个帧内卷积快用残差结构连接；
c)跳层结构有四条：第一条跳层结构将编码路径第一层输出与解码路径第一层输出的特征图进行通道数上的拼接，作为解码路径第二层的输入；第二条跳层结构将编码路径第二层输出与编码路径第三层输出的特征图进行通道数上的拼接，作为解码路径第一层的输入；第三、第四条跳层结构将编码路径第三层输出、解码路径第一层输出的特征图与解码路径第二层输出的特征图进行通道数上的拼接，再通过一个通道数为2的卷积层得到输出结果；
(2)E-Net与W-Net和T-Net结构类似，不同之处在于：在编码路径第三层上减少降采样层与升采样层；
第三步，训练参数模型，将第一步得到的训练集作为级联各向异性空洞卷积U-Net网络的输入训练参数模型：
(1)训练级联各向异性空洞卷积U-Net网络的轴向参数：
a)将轴向的训练集切块作为W-Net的输入，经过W-Net的编码路径、解码路径和跳层结构后得到W-Net 的输出，将结果与Ground Truth比较，根据损失函数进行反向传播，更新权重并保存参数模型；
b)将W-Net的输出结果作为T-Net的感兴趣区域进行裁剪，将裁剪后的切块作为T-Net的输入，经过 T-Net的编码路径、解码路径和跳层结构后得到T-Net的输出，将结果与Ground Truth比较，根据损失函数进行反向传播，更新权重并保存参数模型；
c)将T-Net的输出结果作为E-Net的感兴趣区域进行裁剪，将裁剪后的切块作为E-Net的输入，经过 E-Net的编码路径、解码路径和跳层结构后得到E-Net的输出，将结果与Ground Truth比较，根据损失函数进行反向传播，更新权重并保存参数模型；
(2)训练级联各向异性空洞卷积U-Net网络的矢向参数，得到三组参数模型；
(3)训练级联各向异性空洞卷积U-Net网络的冠向参数，得到三组参数模型；
第四步，测试模型：
(1)将测试数据按轴向、矢向和冠向进行裁剪，将裁剪后的切块作为输入；
(2)加载第三步得到的9组参数模型，在轴向、矢向和冠向分别对切块进行W-Net、T-Net与E-Net 的分割，得到轴向、矢向和冠向三个方向的分割结果，再将三个方向的分割结果进行融合，得到最终的3D 脑肿瘤核磁共振图像分割结果。
本发明为级联各向异性空洞卷积U-Net网络和多视角融合的3D脑肿瘤分割方法，利用三级级联结构将多类分割问题简化为三个二类分割问题，降低分割难度；利用各向异性卷积在保证提取帧内与帧间特征信息的前提下减少运算难度和GPU内存占用；利用空洞卷积在保证脑肿瘤核磁共振图像分辨率的情况下增大卷积核感受野，得到更为全局的特征信息；多视角融合能够兼顾轴向、矢向和冠向的分割结果减少假阳点；可以得到较高的分割精度。
附图说明
图1级联各向异性空洞卷积U-Net网络中W-Net与T-Net结构图
图2级联各向异性空洞卷积U-Net网络中E-Net结构图
图3级联各向异性空洞卷积U-Net网络参数的训练过程
图4级联各向异性空洞卷积U-Net网络和多视角融合的3D脑肿瘤分割结果图 (a)(b)(c)分别为轴向、矢向、冠向Ground Truth分割标签，(d)(e)(f)分别为轴向、矢向、冠向级联各向异性空洞卷积U-Net网络和多视角融合的分割结果。
具体实施方式
为使本发明的技术方案更加清楚，下面结合附图对本发明做进一步阐述.。本发明按以下步骤具体实现：
第一步，构建数据集并进行数据预处理：
本发明使用了公开的BraTS 2017(Brain Tumor Segmentation 2017)数据集，数据集由210个高胶质肿瘤(HGG)病例以及75个低胶质肿瘤(LGG)病例共285个病例组成，将数据集按照训练集和测试集 4:1的比例进行划分，从HGG与LGG的病例中各抽取20％作为测试集；每个病例含有T1、T1c、T2以及FLAIR 四种模态的核磁共振图像组成，每张核磁共振图像的尺寸大小为240*240*155，由于GPU内存的限制以及增加对感兴趣区域的训练量、减少假阳点，将训练集病例的图片沿着轴向、矢向和冠向三个方向进行裁剪，裁剪成大小为144*144*19的切块。
第二步，利用深度学习框架Tensorflow构建级联各向异性空洞卷积U-Net网络。级联各向异性空洞卷积U-Net网络分为三部分：用于分割脑肿瘤整体的网络(W-Net)、用于分割肿瘤核的网络(T-Net)以及用于分割增强肿瘤的网络(E-Net)三部分，通过级联连接，前一级网络的输出作为下一级网络的输入；下面对这三部分做详细介绍：
(1)W-Net用于分割脑肿瘤整体，将脑肿瘤的核磁共振图像分割为健康组织区域以及脑肿瘤整体区域 (WT)，W-Net的网络结构如附图1所示，分为三部分：编码路径、解码路径以及跳层连接；下面对这三部分结构做详细介绍：
a)编码路径分为三层：第一层由4个帧内卷积块和1个帧间卷积块组成，4个帧内卷积块结构一致，每个帧内卷积块含有1个卷积核大小为3*3*1、扩张率为1*1*1、通道数为32的卷积层，1个Batch Norm 层以及1个PRelu层，每两个帧内卷积块组成一个残差块，共有两个残差块，帧间卷积块含有1个卷积核大小为1*1*3、扩张率为1*1*1、通道数为32的卷积层，1个Batch Norm层以及1个PRelu层；第二层由 1个降采样层、2个帧内卷积块、4个空洞帧内卷积块和1个帧间卷积块组成，其中降采样层为卷积核大小为3*3*1、步长为2*2*1的卷积层，2个帧内卷积块结构一致，分别含有1个卷积核大小为3*3*1、扩张率为1*1*1、通道数为32的卷积层，1个Batch Norm层以及1个PRelu层，两个帧内卷积块组成一个残差块，前两个空洞帧内卷积块结构一致，分别含有1个卷积核大小为3*3*1、扩张率为2*2*1、通道数为32的卷积层，1个Batch Norm层以及1个PRelu层，这两个帧内卷积块组成一个残差块，后两个空洞帧内卷积块结构一致，分别含有1个卷积核大小为3*3*1、扩张率为3*3*1、通道数为32的卷积层，1个Batch Norm 层以及1个PRelu层，这两个帧内卷积块组成一个残差块，第二层共有3个残差块，帧间卷积块含有1个卷积核大小为1*1*3、扩张率为1*1*1、通道数为32的卷积层，1个Batch Norm层以及1个PRelu层；第三层由1个降采样层、4个帧内卷积块和一个升采样层组成，降采样层为卷积核大小为3*3*1、步长为2*2*1 的卷积层，4个帧内卷积块结构一致，每个帧内卷积块含有1个卷积核大小为3*3*1、扩张率为1*1*1、通道数为32的卷积层，1个Batch Norm层以及1个PRelu层，每两个帧内卷积块组成一个残差块，共有两个残差块，升采样层为卷积核大小为3*3*1、步长为2*2*1的反卷积层。
b)解码路径分为两层：第一层由4个空洞帧内卷积块、2个帧内卷积块、1个帧间卷积块以及一个升采样层组成，前两个空洞帧内卷积块结构一致，分别含有1个卷积核大小为3*3*1、扩张率为3*3*1、通道数为32的卷积层，1个Batch Norm层以及1个PRelu层，这两个帧内卷积块组成一个残差块，后两个空洞帧内卷积块结构一致，分别含有1个卷积核大小为3*3*1、扩张率为2*2*1、通道数为32的卷积层， 1个Batch Norm层以及1个PRelu层，这两个帧内卷积块组成一个残差块，2个帧内卷积块结构一致，分别含有1个卷积核大小为3*3*1、扩张率为1*1*1、通道数为32的卷积层，1个Batch Norm层以及1个 PRelu层，两个帧内卷积块组成一个残差块，第一层共有3个残差块，帧间卷积块含有1个卷积核大小为 1*1*3、扩张率为1*1*1、通道数为32的卷积层，1个Batch Norm层以及1个PRelu层，升采样层为卷积核大小为3*3*1、步长为2*2*1的反卷积层；第二层由由4个帧内卷积块和1个帧间卷积块组成，4个帧内卷积块结构一致，每个帧内卷积块含有1个卷积核大小为3*3*1、扩张率为1*1*1、通道数为32的卷积层，1个Batch Norm层以及1个PRelu层，每两个帧内卷积块组成一个残差块，第二层共有两个残差块，帧间卷积块含有1个卷积核大小为1*1*3、扩张率为1*1*1、通道数为32的卷积层，1个Batch Norm层以及1个PRelu层。
c)跳层连接共有4条：第一条跳层连接将编码路径第一层的输出经过2个帧间卷积块后与解码路径第一层的输出在通道数C的维度上进行concatenation拼接，作为解码路径第二层的输入；第二条跳层连接将编码路径第二层的输出与编码路径第三层的输出在通道数C的维度上进行concatenation拼接，作为编码路径第一层的输入；第三条跳层连接将编码卷积第三层的输出经过1个升采样层和2个帧间卷积块后与解码路径第二层的输出以及第四条跳层连接的输出在在通道数C的维度上进行concatenation拼接；第四条跳层连接将解码路径第一层的输出经过1个帧间卷积块后与与解码路径第二层的输出以及第三条跳层连接的输出在在通道数C的维度上进行concatenation拼接，再通过1个通道数为2、卷积核大小为3*3*1的卷积层得到输出。其中所有的帧间卷积块结构一致，分别含有1个卷积核大小为1*1*3、扩张率为1*1*1、通道数为32的卷积层，1个Batch Norm层以及1个PRelu层，升采样层结构一致，为为卷积核大小为3*3*1、步长为2*2*1的反卷积层。
(2)T-Net用于分割肿瘤核，将脑肿瘤整体区域(WT)分割为肿瘤核(TC)和水肿区域(ED)，用上一级W-Net的分割结果WT作为感兴趣区域进行裁剪，作为本级网络的输入，T-Net的网络结构与W-Net完全一致，如附图1。
(3)E-Net用于分割增强肿瘤，将肿瘤核区域(TC)分割为增强肿瘤区域(ET)以及非增强肿瘤区域，用上一级T-Net的分割结果TC作为感兴趣区域进行裁剪，作为本级网络的输入，E-Net的网络结构在解码路径第三层比W-Net和T-Net减少降采样层和升采样层，如附图2。
第三步，训练参数模型，将数据集中的80％数据量作为级联各向异性空洞卷积U-Net网络的训练集输入训练参数模型，训练过程如附图3所示：
(1)训练级联各向异性空洞卷积U-Net网络的轴向参数：
a)将第一步得到的大小为144*144*19的轴向训练切块作为训练W-Net的输入，batch size设为1，经过解码路径的三层之后得到三级不同深度层次的特征图，特征图尺寸分别为[1,144,144,17,32]、 [1,72,72,15,32]和[1,72,72,15,32]，特征图的深度一次加深，其中第一个维度为N，是训练所使用的batch size，第二、第三个维度为垂直于轴向平面的特征图的尺寸W*H，第四个维度为特征图轴向尺寸Z，第五个维度为特征图通道数C；之后将第二层的输出与第三层输出的两种特征图用concatenation进行第五个维度上的拼接，作为解码路径第一级的输入，经过解码路径的第一层之后得到深度层次进一步加深的特征图，尺寸为[1,144,144,13,32]，与第一条跳层连接的输出进行第五个维度上的concatenation拼接，得到更深的特征图，尺寸为[1,144,144,11,32]，再与第三、第四条跳层结构的输出进行第五个维度上的 concatenation拼接，再通过1个通道数为2、卷积核大小为3*3*1的卷积层得到轴向上的W-Net输出。训练过程中学习率设为10-4，损失函数为DiceLoss，采用ADAM优化和L2正则化，迭代次数为10000，将输出结果与训练集的Ground Truth比较，根据损失函数，进行不断地反向传播，更新权重并保存参数模型。
b)将W-Net的输出结果作为T-Net的感兴趣区域进行裁剪，得到大小为96*96*19的切块作为T-Net 的训练输入，batch size设为2，经过解码路径的三层之后得到三级不同深度层次的特征图，特征图尺寸分别为[2,96,96,17,32]、[2,48,48,15,32]和[2,48,48,15,32]，特征图的深度一次加深，其中第一个维度为N，是训练所使用的batch size，第二、第三个维度为垂直于轴向平面的特征图的尺寸W*H，第四个维度为特征图轴向尺寸Z，第五个维度为特征图通道数C；之后将第二层的输出与第三层输出的两种特征图用concatenation进行第五个维度上的拼接，作为解码路径第一级的输入，经过解码路径的第一层之后得到深度层次进一步加深的特征图，尺寸为[2,96,96,13,32]，与第一条跳层连接的输出进行第五个维度上的concatenation拼接，得到更深的特征图，尺寸为[2,96,96,11,32]，再与第三、第四条跳层结构的输出进行第五个维度上的concatenation拼接，再通过1个通道数为2、卷积核大小为3*3*1的卷积层得到轴向上的T-Net输出。训练过程中学习率设为10-4，损失函数为Dice Loss，采用ADAM优化和L2正则化，迭代次数为10000，将输出结果与训练集的GroundTruth比较，根据损失函数，进行不断地反向传播，更新权重并保存参数模型。
c)将T-Net的输出结果作为E-Net的感兴趣区域进行裁剪，得到大小为64*64*19的切块作为T-Net 的训练输入，batch size设为4，经过解码路径的三层之后得到三级不同深度层次的特征图，特征图尺寸分别为[4,64,64,17,32]、[4,32,32,15,32]和[4,32,32,15,32]，特征图的深度一次加深，其中第一个维度为N，是训练所使用的batch size，第二、第三个维度为垂直于轴向平面的特征图的尺寸W*H，第四个维度为特征图轴向尺寸Z，第五个维度为特征图通道数C；之后将第二层的输出与第三层输出的两种特征图用concatenation进行第五个维度上的拼接，作为解码路径第一级的输入，经过解码路径的第一层之后得到深度层次进一步加深的特征图，尺寸为[4,64,64,13,32]，与第一条跳层连接的输出进行第五个维度上的concatenation拼接，得到更深的特征图，尺寸为[4,64,64,11,32]，再与第三、第四条跳层结构的输出进行第五个维度上的concatenation拼接，再通过1个通道数为2、卷积核大小为3*3*1的卷积层得到轴向上的E-Net输出。训练过程中学习率设为10-4，损失函数为Dice Loss，采用ADAM优化和L2正则化，迭代次数为10000，将输出结果与训练集的GroundTruth比较，根据损失函数，进行不断地反向传播，更新权重并保存参数模型。
(2)训练级联各向异性空洞卷积U-Net网络的矢向参数，将第一步得到的大小为144*144*19的矢向切块作为级联各向异性空洞卷积U-Net网络的输入，步骤与(1)相同。得到三组参数模型。
(3)训练级联各向异性空洞卷积U-Net网络的矢向参数，将第一步得到的大小为144*144*19的冠向切块作为级联各向异性空洞卷积U-Net网络的输入，步骤与(1)相同。得到三组参数模型。
第四步，测试模型，将BraTS 2017数据集当中的剩余20％图像裁剪成切块，作为测试集，测试步骤如下：
(1)将测试数据集按轴向裁剪为180*160*19的切块，将第二步得到的3组轴向分割的参数模型载入级联各向异性空洞卷积U-Net网络，每一级各向异性空洞卷积U-Net网络根据训练过程得到的参数模型对测试集进行分割，得到轴向的分割结果热力图。
(2)将测试数据集按矢向裁剪为160*180*19的切块，将第二步得到的3组矢向分割的参数模型载入级联各向异性空洞卷积U-Net网络，每一级各向异性空洞卷积U-Net网络根据训练过程得到的参数模型对测试集进行分割，得到轴向的分割结果热力图。
(3)将测试数据集按冠向裁剪为160*180*19的切块，将第二步得到的3组冠向分割的参数模型载入级联各向异性空洞卷积U-Net网络，每一级各向异性空洞卷积U-Net网络根据训练过程得到的参数模型对测试集进行分割，得到轴向的分割结果热力图。
(4)将(1)、(2)和(3)得到的轴向、矢向和冠向的分割结果热力图用softmax求平均，得到最终的3D脑肿瘤核磁共振图像分割图，将分割结果与数据集的Ground Truth进行比较，得到分割精度Dice 分数：WT的Dice分数为0.8880，TC的Dice分数为0.8107，ET的Dice分数为0.7544，比FCN结构在WT 上的Dice提高了0.005，在ET的Dice分数上提高了0.024。

Claims (1)

1.一种基于U-Net网络和多视角融合的脑肿瘤分割方法，包括下列步骤：
第一步，将对脑肿瘤核磁共振图像进行预处理，沿轴向、矢向和冠向三个方向裁剪成适合级联各向异性空洞卷积U-Net网络的切块，划分训练集与测试集。
第二步，用Tensorflow框架构建级联各向异性空洞卷积U-Net网络，级联各向异性空洞卷积U-Net网络的主体结构为三级级联：用于分割脑肿瘤整体的网络W-Net、用于分割肿瘤核的T-Net以及用于分割增强肿瘤的网络E-Net，三级网络通过级联连接：
(1)W-Net与T-Net网络结构一致，包括编码路径、解码路径与跳层连接三部分：
a)编码路径有三层：第一层含有4个帧内卷积块和1个帧间卷积块；第二层含有1个降采样层、2个帧内卷积块、4个空洞帧内卷积快和1个帧间卷积块；第三层含有1个降采样层、4个帧内卷积块和一个升采样层；其中每两个帧内卷积快用残差结构连接；
b)解码路径有两层：第一层含有4个空洞帧内卷积块、2个帧内卷积块、1个帧内卷积快和1个升采样层，第二层含有4个帧内卷积块和1个帧间卷积块，其中，每两个帧内卷积快用残差结构连接；
c)跳层结构有四条：第一条跳层结构将编码路径第一层输出与解码路径第一层输出的特征图进行通道数上的拼接，作为解码路径第二层的输入；第二条跳层结构将编码路径第二层输出与编码路径第三层输出的特征图进行通道数上的拼接，作为解码路径第一层的输入；第三、第四条跳层结构将编码路径第三层输出、解码路径第一层输出的特征图与解码路径第二层输出的特征图进行通道数上的拼接，再通过一个通道数为2的卷积层得到输出结果；
(2)E-Net与W-Net和T-Net结构类似，不同之处在于：在编码路径第三层上减少降采样层与升采样层；
第三步，训练参数模型，将第一步得到的训练集作为级联各向异性空洞卷积U-Net网络的输入训练参数模型：
(1)训练级联各向异性空洞卷积U-Net网络的轴向参数：
a)将轴向的训练集切块作为W-Net的输入，经过W-Net的编码路径、解码路径和跳层结构后得到W-Net的输出，将结果与GroundTruth比较，根据损失函数进行反向传播，更新权重并保存参数模型；
b)将W-Net的输出结果作为T-Net的感兴趣区域进行裁剪，将裁剪后的切块作为T-Net的输入，经过T-Net的编码路径、解码路径和跳层结构后得到T-Net的输出，将结果与GroundTruth比较，根据损失函数进行反向传播，更新权重并保存参数模型；
c)将T-Net的输出结果作为E-Net的感兴趣区域进行裁剪，将裁剪后的切块作为E-Net的输入，经过E-Net的编码路径、解码路径和跳层结构后得到E-Net的输出，将结果与GroundTruth比较，根据损失函数进行反向传播，更新权重并保存参数模型；
(2)训练级联各向异性空洞卷积U-Net网络的矢向参数，得到三组参数模型；
(3)训练级联各向异性空洞卷积U-Net网络的冠向参数，得到三组参数模型；
第四步，测试模型：
(1)将测试数据按轴向、矢向和冠向进行裁剪，将裁剪后的切块作为输入；
(2)加载第三步得到的9组参数模型，在轴向、矢向和冠向分别对切块进行W-Net、T-Net与E-Net的分割，得到轴向、矢向和冠向三个方向的分割结果，再将三个方向的分割结果进行融合，得到最终的3D脑肿瘤核磁共振图像分割结果。
CN201911168205.XA 2019-11-25 2019-11-25 基于U-Net网络和多视角融合的脑肿瘤分割方法 Active CN111046921B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911168205.XA CN111046921B (zh) 2019-11-25 2019-11-25 基于U-Net网络和多视角融合的脑肿瘤分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911168205.XA CN111046921B (zh) 2019-11-25 2019-11-25 基于U-Net网络和多视角融合的脑肿瘤分割方法

Publications (2)

Publication Number Publication Date
CN111046921A true CN111046921A (zh) 2020-04-21
CN111046921B CN111046921B (zh) 2022-02-15

Family

ID=70233339

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911168205.XA Active CN111046921B (zh) 2019-11-25 2019-11-25 基于U-Net网络和多视角融合的脑肿瘤分割方法

Country Status (1)

Country Link
CN (1) CN111046921B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738954A (zh) * 2020-06-24 2020-10-02 北京航空航天大学 一种基于双层空洞U-Net模型的单帧湍流退化图像去畸变方法
CN112215850A (zh) * 2020-08-21 2021-01-12 天津大学 一种带注意力机制的级联空洞卷积网络脑肿瘤分割方法
CN112446891A (zh) * 2020-10-23 2021-03-05 浙江工业大学 基于U-Net网络脑胶质瘤的医学图像分割方法
CN112634192A (zh) * 2020-09-22 2021-04-09 广东工业大学 一种结合小波变换的级联U-N Net脑肿瘤分割方法
CN112767417A (zh) * 2021-01-20 2021-05-07 合肥工业大学 一种基于级联U-Net网络的多模态图像分割方法
CN112785602A (zh) * 2021-01-08 2021-05-11 重庆兆琨智医科技有限公司 一种多模态脑肿瘤图像分割系统及方法
CN113591608A (zh) * 2021-07-12 2021-11-02 浙江大学 一种基于深度学习的高分辨率遥感影像不透水面提取方法
CN113627073A (zh) * 2021-07-01 2021-11-09 武汉大学 一种基于改进的Unet++网络的水下航行器流场结果预测方法
CN114638814A (zh) * 2022-03-29 2022-06-17 华南农业大学 基于ct图像的结直肠癌自动分期方法、系统、介质及设备
CN115937234A (zh) * 2023-03-03 2023-04-07 北京智源人工智能研究院 基于预处理加速的肿瘤图像分割方法、装置和电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087318A (zh) * 2018-07-26 2018-12-25 东北大学 一种基于优化U-net网络模型的MRI脑肿瘤图像分割方法
CN109191471A (zh) * 2018-08-28 2019-01-11 杭州电子科技大学 基于改进U-Net网络的胰腺细胞图像分割方法
CN110047080A (zh) * 2019-03-12 2019-07-23 天津大学 一种基于V-Net的多模态脑肿瘤图像精细分割的方法
CN110084823A (zh) * 2019-04-18 2019-08-02 天津大学 基于级联各向异性fcnn的三维脑肿瘤图像分割方法
CN110120048A (zh) * 2019-04-12 2019-08-13 天津大学 结合改进U-Net和CMF的三维脑肿瘤图像分割方法
CN110120033A (zh) * 2019-04-12 2019-08-13 天津大学 基于改进的U-Net神经网络三维脑肿瘤图像分割方法
KR20190119261A (ko) * 2018-04-12 2019-10-22 가천대학교 산학협력단 멀티 스케일 이미지와 멀티 스케일 확장된 컨볼루션 기반의 완전 컨볼루션 뉴럴 네트워크를 이용한 시맨틱 이미지 세그먼테이션 장치 및 그 방법
CN110363210A (zh) * 2018-04-10 2019-10-22 腾讯科技（深圳）有限公司 一种图像语义分割模型的训练方法和服务器

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363210A (zh) * 2018-04-10 2019-10-22 腾讯科技（深圳）有限公司 一种图像语义分割模型的训练方法和服务器
KR20190119261A (ko) * 2018-04-12 2019-10-22 가천대학교 산학협력단 멀티 스케일 이미지와 멀티 스케일 확장된 컨볼루션 기반의 완전 컨볼루션 뉴럴 네트워크를 이용한 시맨틱 이미지 세그먼테이션 장치 및 그 방법
CN109087318A (zh) * 2018-07-26 2018-12-25 东北大学 一种基于优化U-net网络模型的MRI脑肿瘤图像分割方法
CN109191471A (zh) * 2018-08-28 2019-01-11 杭州电子科技大学 基于改进U-Net网络的胰腺细胞图像分割方法
CN110047080A (zh) * 2019-03-12 2019-07-23 天津大学 一种基于V-Net的多模态脑肿瘤图像精细分割的方法
CN110120048A (zh) * 2019-04-12 2019-08-13 天津大学 结合改进U-Net和CMF的三维脑肿瘤图像分割方法
CN110120033A (zh) * 2019-04-12 2019-08-13 天津大学 基于改进的U-Net神经网络三维脑肿瘤图像分割方法
CN110084823A (zh) * 2019-04-18 2019-08-02 天津大学 基于级联各向异性fcnn的三维脑肿瘤图像分割方法

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
CHI WANG等: ""Automatic Liver Segmentation Using Multi-plane Integrated Fully Convolutional Neural Networks"", 《2018 IEEE INTERNATIONAL CONFERENCE ON BIOINFORMATICS AND BIOMEDICINE (BIBM)》 *
GUOTAI WANG等: ""Automatic Brain Tumor Segmentation Based on Cascaded Convolutional Neural Networks With Uncertainty Estimation"", 《FRONTIERS IN COMPUTATIONAL NEUROSCIENCE》 *
GUOTAI WANG等: ""Automatic Brain Tumor Segmentation Using Cascaded Anisotropic Convolutional Neural Networks"", 《BRAINLES 2017》 *
MD MINHAZUL ISLAM等: ""Brain Tumor Segmentation on MR Images Using Anisotropic Deeply Supervised Convolutional Neural Network"", 《ICVIP 2018》 *
RAGHAV MEHTA等: ""3D U-Net for Brain Tumour Segmentation"", 《BRAINLES 2018》 *
TONGXUE ZHOU等: ""Deep Learning Model Integrating Dilated Convolution and Deep Supervision for Brain Tumor Segmentation in Multi-parametric MRI"", 《MLMI 2019》 *
曹平等: ""结合序列学习和U型网络的海马体分割方法"", 《计算机辅助设计与图形学学报》 *
王平等: ""基于3D深度残差网络与级联U_Net的缺血性脑卒中病灶分割算法"", 《计算机应用》 *
褚晶辉等: ""一种基于级联卷积网络的三维脑肿瘤精细分割"", 《激光与光电子学进展》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738954B (zh) * 2020-06-24 2022-11-25 北京航空航天大学 一种基于双层空洞U-Net模型的单帧湍流退化图像去畸变方法
CN111738954A (zh) * 2020-06-24 2020-10-02 北京航空航天大学 一种基于双层空洞U-Net模型的单帧湍流退化图像去畸变方法
CN112215850A (zh) * 2020-08-21 2021-01-12 天津大学 一种带注意力机制的级联空洞卷积网络脑肿瘤分割方法
CN112634192A (zh) * 2020-09-22 2021-04-09 广东工业大学 一种结合小波变换的级联U-N Net脑肿瘤分割方法
CN112634192B (zh) * 2020-09-22 2023-10-13 广东工业大学 一种结合小波变换的级联U-N Net脑肿瘤分割方法
CN112446891A (zh) * 2020-10-23 2021-03-05 浙江工业大学 基于U-Net网络脑胶质瘤的医学图像分割方法
CN112446891B (zh) * 2020-10-23 2024-04-02 浙江工业大学 基于U-Net网络脑胶质瘤的医学图像分割方法
CN112785602A (zh) * 2021-01-08 2021-05-11 重庆兆琨智医科技有限公司 一种多模态脑肿瘤图像分割系统及方法
CN112767417A (zh) * 2021-01-20 2021-05-07 合肥工业大学 一种基于级联U-Net网络的多模态图像分割方法
CN112767417B (zh) * 2021-01-20 2022-09-13 合肥工业大学 一种基于级联U-Net网络的多模态图像分割方法
CN113627073B (zh) * 2021-07-01 2023-09-19 武汉大学 一种基于改进的Unet++网络的水下航行器流场结果预测方法
CN113627073A (zh) * 2021-07-01 2021-11-09 武汉大学 一种基于改进的Unet++网络的水下航行器流场结果预测方法
CN113591608A (zh) * 2021-07-12 2021-11-02 浙江大学 一种基于深度学习的高分辨率遥感影像不透水面提取方法
CN114638814A (zh) * 2022-03-29 2022-06-17 华南农业大学 基于ct图像的结直肠癌自动分期方法、系统、介质及设备
CN114638814B (zh) * 2022-03-29 2024-04-16 华南农业大学 基于ct图像的结直肠癌自动分期方法、系统、介质及设备
CN115937234A (zh) * 2023-03-03 2023-04-07 北京智源人工智能研究院 基于预处理加速的肿瘤图像分割方法、装置和电子设备

Also Published As

Publication number Publication date
CN111046921B (zh) 2022-02-15

Similar Documents

Publication Publication Date Title
CN111046921B (zh) 基于U-Net网络和多视角融合的脑肿瘤分割方法
CN109063710B (zh) 基于多尺度特征金字塔的3d cnn鼻咽癌分割方法
CN109598728A (zh) 图像分割方法、装置、诊断系统及存储介质
CN112084923B (zh) 一种遥感图像语义分割方法、存储介质及计算设备
WO2023231329A1 (zh) 一种医学图像的语义分割方法及装置
CN110047080A (zh) 一种基于V-Net的多模态脑肿瘤图像精细分割的方法
CN112802046B (zh) 基于深度学习从多序列mr中生成伪ct的影像生成系统
CN112465754B (zh) 基于分层感知融合的3d医疗图像分割方法、装置及存储介质
CN110706214A (zh) 融合条件随机与残差的三维U-Net大脑肿瘤分割方法
CN112215850A (zh) 一种带注意力机制的级联空洞卷积网络脑肿瘤分割方法
CN111369567A (zh) 三维图像中目标对象的分割方法、装置及电子设备
CN112598656A (zh) 一种基于UNet++优化和权值预算的脑肿瘤分割算法
CN113160229A (zh) 基于层级监督级联金字塔网络的胰腺分割方法及装置
CN110648331A (zh) 用于医学图像分割的检测方法、医学图像分割方法及装置
CN114627035A (zh) 一种多聚焦图像融合方法、系统、装置及存储介质
CN111667488B (zh) 一种基于多角度U-Net的医学图像分割方法
CN112489048B (zh) 一种基于深度网络的视神经自动分割方法
CN113628220A (zh) 基于改进的U-Net网络对MRI脑肿瘤图像的分割方法及系统
CN116386803A (zh) 一种基于图的细胞病理报告生成方法
CN112150449A (zh) 一种脑卒中病灶分割方法和系统
CN104732508B (zh) 基于分布式压缩感知的图像融合方法
CN111210416A (zh) 一种解剖结构先验引导的大脑感兴趣区域快速分割方法及系统
CN113496496B (zh) 基于多种损失和多尺度特征的mri影像海马体区域分割方法
CN114612408B (zh) 一种基于联邦深度学习的心脏图像处理方法
CN115937234A (zh) 基于预处理加速的肿瘤图像分割方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant