CN112348830B - 基于改进3D U-Net的多器官分割方法 - Google Patents

基于改进3D U-Net的多器官分割方法 Download PDF

Info

Publication number
CN112348830B
CN112348830B CN202011222552.9A CN202011222552A CN112348830B CN 112348830 B CN112348830 B CN 112348830B CN 202011222552 A CN202011222552 A CN 202011222552A CN 112348830 B CN112348830 B CN 112348830B
Authority
CN
China
Prior art keywords
net
network
improved
training
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011222552.9A
Other languages
English (en)
Other versions
CN112348830A (zh
Inventor
曹国刚
毛红东
刘顺堃
孔德卿
朱信玉
李梦雪
王一杰
张术
李思诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Institute of Technology
Original Assignee
Shanghai Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Institute of Technology filed Critical Shanghai Institute of Technology
Priority to CN202011222552.9A priority Critical patent/CN112348830B/zh
Publication of CN112348830A publication Critical patent/CN112348830A/zh
Application granted granted Critical
Publication of CN112348830B publication Critical patent/CN112348830B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Abstract

本发明提供了一种基于改进3D U‑Net的多器官分割方法,包括以下步骤:(a)预处理待分割图像数据集;(b)基于待分割图像特征,构建基于3D U‑Net的多器官分割网络,并利用空间金字塔池化提取下采样层特征图的多尺度信息并与上采样层提取的特征信息通过快捷连接进行融合;(c)将预处理后的数据集划分为训练集,验证集,并利用改进后的3D U‑Net网络进行训练;(d)利用训练后的网络对测试集进行分割处理,并对分割后的图像进行后处理操作,得到最终的分割结果。本发明通过改进3D U‑Net网络的结构和损失函数,有效得解决了由于多器官尺度不均衡而引起的小器官分割精度较低的问题。

Description

基于改进3D U-Net的多器官分割方法
技术领域
本发明涉及一种基于改进3D U-Net的多器官分割方法。
背景技术
近年来,人体器官发生癌变的概率居高不下,当前,治疗癌变器官的主要手段是通过放疗实现的。而放疗需要精确地分割图像中的危及器官(Organs in risk,OARs),以区分正常器官和病灶,防止放疗手段对正常器官造成损伤。
以往,医学图像中的多器官的分割都是通过专业训练的放射科医师来完成的,但是,专业且富有经验的放射科医师的培养需要耗费大量时间和精力,而且依赖于人工分割的方法也会耗费大量的时间,错过最佳的治疗时期。
因此,设计一种端到端并且自动实现多器官自动分割的方法成为亟需解决的问题。
发明内容
本发明的目的在于提供一种基于改进3D U-Net的多器官分割方法。
为解决上述问题,本发明提供一种基于改进3D U-Net的多器官分割方法,包括:
(a)预处理待分割图像数据集,以得到预处理后的数据集;
(b)基于待分割的图像特征,构建基于3D U-Net的多器官分割网络,所述基于3DU-Net的多器官分割网络包括:下采样层和上采样层;并利用空间金字塔池化提取下采样层的特征图的多尺度特征的信息并与上采样层提取的特征信息进行融合,得到改进后的3DU-Net网络;
(c)将预处理后的数据集划分为训练集、验证集和测试集,并利用所述训练集和验证集对改进后的3D U-Net网络进行训练,得到训练后的网络;
(d)利用训练后的网络对测试集进行分割处理,并对分割后的图像进行后处理操作,得到多器官图像的分割结果。
进一步的,在上述方法中,步骤(a)包括:
(a1)归一化处理图像数据集,得到归一化后的数据集;
(a2)裁剪掉归一化后的数据集中每个标签数据中的没有像素点的边框,以得到预处理后的数据集。
进一步的,在上述方法中,步骤(b)包括:
(b1)根据待分割的图像特征,构建基于3D U-Net的多器官分割网络,所述基于3DU-Net的多器官分割网络包括:4个下采样层构成的编码器和4个上采样层构成的解码器;
(b2)利用空间金字塔池化层完成图像信息的多尺度特征提取,并利用最大池化运算,构建所述基于3D U-Net的多器官分割网络的下采样层;
(b3)利用空间金字塔池化层对快捷连接的特征图进行运算,提取多尺度特征的信息并融合上采样层提取的特征信息;
(b4)定义改进型3D U-Net分割模型的损失函数为hybrid loss,hybrid loss的公式如下:
其中,
pn(c)表示体素n预测结果为c类的概率,gn(c)表示体素n为c类的参考标准(groundtruth)。
进一步的,在上述方法中,步骤(c)包括:
(c1)将数据集划分为训练集、验证集和测试集;
(c2)用随机梯度下降算法和学习率衰减优化梯度下降过程,利用所述训练集和验证集训练改进后的3D U-Net网络,将改进后的3D U-Net网络作为模型;
(c3)按照模型在验证集上的性能,保存模型的权重,若当前迭代次数的模型在验证集上的表现更好,则用当前模型的权重代替已保存的模型权重,否则,继续训练并验证模型权重,以得到训练后的网络。
进一步的,在上述方法中,步骤(d)包括:
(d1)利用测试集和前向传播算法验证训练后的网络的分割后的结果以及训练后的网络的性能;
(d2)利用最大连通域算法去除分割后的结果中的孤立的噪点。
与现有技术相比,本发明通过改进3D U-Net的模型结构提升了多尺度器官的分割精度,通过改进损失函数,解决了分割数据集样本不均衡的问题。
附图说明
图1为本发明一实施例的基于改进3D U-Net的多器官分割方法的流程图;
图2为本发明一实施例的一种多器官分割方法的3D U-Net模型结构图;
图3为本发明一实施例的一种多器官分割方法的空间金字塔池化模型图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示,本发明提供一种基于改进3D U-Net的多器官分割方法,包括:
(a)预处理待分割图像数据集,以得到预处理后的数据集;
(b)基于待分割的图像特征,构建基于3D U-Net的多器官分割网络,所述基于3DU-Net的多器官分割网络包括:下采样层和上采样层;并利用空间金字塔池化提取下采样层的特征图的多尺度特征的信息并与上采样层提取的特征信息进行融合,得到改进后的3DU-Net网络;
(c)将预处理后的数据集划分为训练集、验证集和测试集,并利用所述训练集和验证集对改进后的3D U-Net网络进行训练,得到训练后的网络;
(d)利用训练后的网络对测试集进行分割处理,并对分割后的图像进行后处理操作,得到多器官图像的分割结果。
在此,本发明通过改进3D U-Net网络的结构和损失函数,有效得解决了由于多器官尺度不均衡而引起的小器官分割精度较低的问题。本发明结合深度学习技术,实现了对多器官的自动分割,有效地解决了人工分割的缺点,提高了多器官的分割速度和精度。
本发明的基于改进3D U-Net的多器官分割方法一实施例中,步骤(a)包括:
(a1)归一化处理图像数据集,得到归一化后的数据集;
(a2)裁剪掉归一化后的数据集中每个标签数据中(即mask图像)的没有像素点的边框,以得到预处理后的数据集。
本发明的基于改进3D U-Net的多器官分割方法一实施例中,步骤(b)包括:
(b1)根据待分割的图像特征,构建基于3D U-Net的多器官分割网络,所述基于3DU-Net的多器官分割网络包括:4个下采样层构成的编码器和4个上采样层构成的解码器;
(b2)利用空间金字塔池化层完成图像信息的多尺度特征提取,并利用最大池化运算,构建所述基于3D U-Net的多器官分割网络的下采样层;
(b3)利用空间金字塔池化层对快捷连接(shortcut connection)的特征图进行运算,提取多尺度特征的信息并融合上采样层提取的特征信息;
(b4)结合Focal loss和Dice loss,定义改进型3D U-Net分割模型的损失函数为hybrid loss,hybrid loss的公式如下:
其中,
pn(c)表示体素n预测结果为c类的概率,gn(c)表示体素n为c类的参考标准(groundtruth)。
本发明的基于改进3D U-Net的多器官分割方法一实施例中,步骤(c)包括:
(c1)将数据集划分为训练集、验证集和测试集;
(c2)用随机梯度下降(SGD)算法和学习率衰减优化梯度下降过程,利用所述训练集和验证集训练改进后的3D U-Net网络,将改进后的3D U-Net网络作为训练模型;
(c3)按照模型在验证集上的性能,保存模型的权重,若当前迭代次数的模型在验证集上的表现更好,则用当前模型的权重代替已保存的模型权重,否则,继续训练并验证模型权重,以得到训练后的网络。
本发明的基于改进3D U-Net的多器官分割方法一实施例中,步骤(d)包括:
(d1)利用测试集和前向传播算法验证训练后的网络的分割后的结果以及训练后的网络的性能;
(d2)利用最大连通域算法去除分割后的结果中的孤立的噪点。
优选的,步骤(b2)包括
(b21)分别用4*4*4,2*2*2,1*1*1的池化核心对下采样层卷积运算后得到的特征进行最大池化运算,构建空间金字塔池化层;
(b22)对金字塔池化层提取的多尺度特征通过上采样运算调整特征图的尺寸并进行融合;
(b23)对上采样运算得到的特征图,利用最大池化运算,实现下采样运算。
与现有技术相比,本发明的有益效果:
本发明可以显著地提升了多器官分割的精度和速度,尤其是提高了针对小器官的分割精度,能够为病灶的放疗提供帮助。
下面参照附图,对本发明的具体实施方案做出更为详细的说明:
如图1所示,本发明通过构建端对端的神经网络模型,能够完成多器官的自动分割。首先,对数据集图像进行预处理;完成3D U-Net模型基本结构的搭建,并利用空间金字塔池化改进3D U-Net模型;并将预处理后的数据分为训练集,验证集和测试集训练改进的3D U-Net模型;最后,评估经过多个迭代训练后的改进3D U-Net模型的性能,并完成分割后图像的后处理。
如图2所示,首先构建基本的3D U-Net的模型;整个模型的结构是一个编码器-解码器的结构;编码器由4个下采样层组成,每个特征提取层包含两个3*3*3的卷积层,每个卷积层都包含一个线性修正单元组成(Relu)的激活函数和批量归一化(BatchNormalization,BN)运算;下采样层由能够实现多尺度特征提取的空间金字塔池化层和能实现下采样运算的最大池化层(max pooling)组成;模型的解码器模块是由4个上采样层构成,每个上采样层包含两个3*3*3卷积运算层和Relu激活函数构成,并且通过的反卷积运算实现上采样运算;最后再通过空间金字塔池化运算的特征图通过快捷连接(shortcutconnection),将编码器与解码器连接起来,以实现图像多尺度信息的特征融合。
如图3所示:首先,对输入特征分别进行4*4*4,2*2*2和1*1*1的池化运算,得到金字塔模式的池化特征层;最后,对经过池化运算后的特征层进行上采样运算,以便得到大小一致的特征图并进行特征融合。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
显然,本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包括这些改动和变型在内。

Claims (4)

1.一种基于改进3D U-Net的多器官分割方法,其特征在于,包括:
(a)预处理待分割图像数据集,以得到预处理后的数据集;
(b)基于待分割的图像特征,构建基于3D U-Net的多器官分割网络,所述基于3D U-Net的多器官分割网络包括:下采样层和上采样层;并
利用空间金字塔池化提取下采样层的特征图的多尺度特征的信息并与上采样层提取的特征信息进行融合,得到改进后的3D U-Net网络;
(c)将预处理后的数据集划分为训练集、验证集和测试集,并利用所述训练集和验证集对改进后的3D U-Net网络进行训练,得到训练后的网络;
(d)利用训练后的网络对测试集进行分割处理,并对分割后的图像进行后处理操作,得到多器官图像的分割结果;
步骤(b)包括:
(b1)根据待分割的图像特征,构建基于3D U-Net的多器官分割网络,所述基于3D U-Net的多器官分割网络包括:4个下采样层构成的编码器和4个上采样层构成的解码器;
(b2)利用空间金字塔池化层完成图像信息的多尺度特征提取,并利用最大池化运算,构建所述基于3D U-Net的多器官分割网络的下采样层;
(b3)利用空间金字塔池化层对快捷连接的特征图进行运算,提取多尺度特征的信息并融合上采样层提取的特征信息;
(b4)定义改进型3D U-Net分割模型的损失函数为hybrid loss,hybrid loss的公式如下:
其中,
pn(c)表示体素n预测结果为c类的概率,gn(c)表示体素n为c类的参考标准。
2.如权利要求1所述的基于改进3D U-Net的多器官分割方法,其特征在于,步骤(a)包括:
(a1)归一化处理图像数据集,得到归一化后的数据集;
(a2)裁剪掉归一化后的数据集中每个标签数据中的没有像素点的边框,以得到预处理后的数据集。
3.如权利要求1所述的基于改进3D U-Net的多器官分割方法,其特征在于,步骤(c)包括:
(c1)将数据集划分为训练集、验证集和测试集;
(c2)用随机梯度下降算法和学习率衰减优化梯度下降过程,利用所述训练集和验证集训练改进后的3D U-Net网络,将改进后的3D U-Net网络作为训练模型;
(c3)按照模型在验证集上的性能,保存模型的权重,若当前迭代次数的模型在验证集上的表现更好,则用当前模型的权重代替已保存的模型权重,否则,继续训练并验证模型权重,以得到训练后的网络。
4.如权利要求1所述的基于改进3D U-Net的多器官分割方法,其特征在于,步骤(d)包括:
(d1)利用测试集和前向传播算法验证训练后的网络的分割后的结果以及训练后的网络的性能;
(d2)利用最大连通域算法去除分割后的结果中的孤立的噪点。
CN202011222552.9A 2020-11-05 2020-11-05 基于改进3D U-Net的多器官分割方法 Active CN112348830B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011222552.9A CN112348830B (zh) 2020-11-05 2020-11-05 基于改进3D U-Net的多器官分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011222552.9A CN112348830B (zh) 2020-11-05 2020-11-05 基于改进3D U-Net的多器官分割方法

Publications (2)

Publication Number Publication Date
CN112348830A CN112348830A (zh) 2021-02-09
CN112348830B true CN112348830B (zh) 2023-09-19

Family

ID=74429887

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011222552.9A Active CN112348830B (zh) 2020-11-05 2020-11-05 基于改进3D U-Net的多器官分割方法

Country Status (1)

Country Link
CN (1) CN112348830B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819801A (zh) * 2021-02-10 2021-05-18 桂林电子科技大学 一种改进U-Net的肺结节分割方法
CN112700448B (zh) * 2021-03-24 2021-06-08 成都成电金盘健康数据技术有限公司 一种脊椎图像分割与识别方法
CN113223003A (zh) * 2021-05-07 2021-08-06 西安智诊智能科技有限公司 一种基于深度学习的胆管图像分割方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110675379A (zh) * 2019-09-23 2020-01-10 河南工业大学 一种融合空洞卷积的u形脑肿瘤分割网络
CN111192245A (zh) * 2019-12-26 2020-05-22 河南工业大学 一种基于U-Net网络的脑肿瘤分割网络及分割方法
CN111445481A (zh) * 2020-03-23 2020-07-24 江南大学 一种基于尺度融合的腹部ct多器官的分割方法
CN111563508A (zh) * 2020-04-20 2020-08-21 华南理工大学 一种基于空间信息融合的语义分割方法
WO2020215236A1 (zh) * 2019-04-24 2020-10-29 哈尔滨工业大学(深圳) 图像语义分割方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020215236A1 (zh) * 2019-04-24 2020-10-29 哈尔滨工业大学(深圳) 图像语义分割方法和系统
CN110675379A (zh) * 2019-09-23 2020-01-10 河南工业大学 一种融合空洞卷积的u形脑肿瘤分割网络
CN111192245A (zh) * 2019-12-26 2020-05-22 河南工业大学 一种基于U-Net网络的脑肿瘤分割网络及分割方法
CN111445481A (zh) * 2020-03-23 2020-07-24 江南大学 一种基于尺度融合的腹部ct多器官的分割方法
CN111563508A (zh) * 2020-04-20 2020-08-21 华南理工大学 一种基于空间信息融合的语义分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
段杰 ; 崔志明 ; 沈艺 ; 冯威 ; 吴宏杰 ; 冯雨晴 ; .一种改进FCN的肝脏肿瘤CT图像分割方法.图学学报.2020,(第01期),全文. *

Also Published As

Publication number Publication date
CN112348830A (zh) 2021-02-09

Similar Documents

Publication Publication Date Title
CN112348830B (zh) 基于改进3D U-Net的多器官分割方法
CN111369563B (zh) 一种基于金字塔空洞卷积网络的语义分割方法
CN112116605B (zh) 一种基于集成深度卷积神经网络的胰腺ct图像分割方法
CN109410219A (zh) 一种基于金字塔融合学习的图像分割方法、装置和计算机可读存储介质
CN109949276B (zh) 一种于改进SegNet分割网络的淋巴结检测方法
CN110675406A (zh) 基于残差双注意力深度网络的ct图像肾脏分割算法
CN110599500B (zh) 一种基于级联全卷积网络的肝脏ct图像的肿瘤区域分割方法及系统
CN111145181B (zh) 基于多视角分离卷积神经网络的骨骼ct图像三维分割方法
CN110706214B (zh) 融合条件随机与残差的三维U-Net大脑肿瘤分割方法
CN115661144B (zh) 基于可变形U-Net的自适应医学图像分割方法
CN114219943B (zh) 一种基于深度学习的ct图像危及器官分割系统
CN112712528B (zh) 一种多尺度u型残差编码器与整体反向注意机制结合的肠道病灶分割方法
CN110543916B (zh) 一种缺失多视图数据的分类方法及系统
CN110675411A (zh) 基于深度学习的宫颈鳞状上皮内病变识别算法
CN113362310A (zh) 一种基于无监督学习的医学图像肝脏分割方法
WO2021139351A1 (zh) 图像分割方法、装置、介质及电子设备
CN111598894B (zh) 基于全局信息卷积神经网络的视网膜血管图像分割系统
CN114742802B (zh) 基于3Dtransformer混合卷积神经网络的胰腺CT图像分割方法
CN113763371A (zh) 病理图像的细胞核分割方法及装置
CN110599495B (zh) 一种基于语义信息挖掘的图像分割方法
CN115100165A (zh) 一种基于肿瘤区域ct图像的结直肠癌t分期方法及系统
CN114972254A (zh) 一种基于卷积神经网络的宫颈细胞图像分割方法
CN113344933B (zh) 一种基于多层次特征融合网络的腺体细胞分割方法
CN111210398A (zh) 基于多尺度池化的白细胞识别系统
CN111667488B (zh) 一种基于多角度U-Net的医学图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant