CN110570432A - 一种基于深度学习的ct图像肝脏肿瘤分割方法 - Google Patents

一种基于深度学习的ct图像肝脏肿瘤分割方法 Download PDF

Info

Publication number
CN110570432A
CN110570432A CN201910787974.1A CN201910787974A CN110570432A CN 110570432 A CN110570432 A CN 110570432A CN 201910787974 A CN201910787974 A CN 201910787974A CN 110570432 A CN110570432 A CN 110570432A
Authority
CN
China
Prior art keywords
liver tumor
net
layer
image
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910787974.1A
Other languages
English (en)
Inventor
王瑾
熊志琪
朱青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN201910787974.1A priority Critical patent/CN110570432A/zh
Publication of CN110570432A publication Critical patent/CN110570432A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic

Abstract

本发明涉及一种基于深度学习的CT图像肝脏肿瘤分割方法，具体解决原始U‑Net深度较小、结构较为简单、训练出效果好的模型有一定难度、对CT图像肝脏肿瘤分割准确性不足的问题。对CT图像肝脏肿瘤分割的准确性不足的问题。具体将U‑Net的网络结构进行优化和改进，添加Dropout层和Batch Normalization层对网络结构进行修改，并使用VGG‑16网络模块代替U‑Net的编码器部分，建立优化的模型来对肝脏肿瘤CT图像进行精确的分割。

Description

一种基于深度学习的CT图像肝脏肿瘤分割方法
技术领域
本发明属于医学图像处理领域，涉及一种基于深度学习的CT图像肝脏肿瘤分割方法。
背景技术
肝脏是人体腹腔内最大的实质性器官，它有着十分复杂的结构和丰富的血管。且肝脏有病变种类多、发病率高的特点。肝脏肿瘤图像的精确分割对肝脏的治疗起着至关重要的作用，但由于肝脏肿瘤的大小、形状、位置不定的复杂性，其分割对于传统的机器学习方法具有难度高，计算量大的特点。随着深度学习在机器视觉领域的快速发展及医学图像数量的快速增长，基于深度学习的医学图像分析逐渐成为重要的治疗辅助工具。
许多研究者已经在深度学习应用于医学图像分割方面做了大量的研究，提出了很多实用的分割方法。"Gradient-based learning applied to document recognition.",LeCun,Yann,et al,Proceedings of the IEEE 86.11(1998)中提出了卷积神经网络，其显著特点是局部感受野和权重共享，卷积神经网络由于其特性，适用于对图像的处理，常用于对图像的分类、目标检测和分割。"Very Deep Convolutional Networks for Large-ScaleImage Recognition.",Simonyan,Karen and Zisserman,Andrew,CoRR abs/1409.1556(2014)中提出了VGG卷积神经网络模型，它是常用的卷积神经网络，能够很好地从图像中提取特征。"Fully Convolutional Networks for Semantic Segmentation.",Long,Jonathan,Shelhamer,Evan and Darrell,Trevor,The IEEE Conference on ComputerVision and Pattern Recognition(CVPR),2015在研究中提出了完全卷积网络，其推广了卷积神经网络架构，用于密集预测，没有任何全连接层。几乎所有关于语义分割的现有技术方法都采用了这种模式。全卷积神经网络可以由VGG、AlexNet等经典网络修改而来。"U-net:Convolutional networks for biomedical image segmentation."，Ronneberger,Olaf,Philipp Fischer,and Thomas Brox,International Conference on Medicalimage computing and computer-assisted intervention.Springer,Cham,2015.中提出了U-Net网络结构，U-Net与全卷积神经网络都是网络结构较小的分割网络，没有使用到空洞卷积层，也没有后接CRF，结构比较简单。该神经网络主要有两部分组成：编码器和解码器。编码器主要是用来捕捉图片中的上下文信息，收集特征。而与之相对称的解码器则是为了对图片中分割出来的部分进行精准地定位。
U-Net的出现对于深度学习用于样本较少的医学影像的处理很有帮助。原始的U-Net的深度较小，结构较为简单，训练出效果好的模型有一定难度，对U-Net网络结构的改进可以提升其效率与精确度。"Improving neural networks by preventing co-adaptationof feature detectors.",Hinton,Geoffrey E.,Srivastava,Nitish,Krizhevsky,Alex,Sutskever,Ilya and Salakhutdinov,Ruslan,CoRR abs/1207.0580(2012)的研究中提出了Dropout的深度学习优化技巧，指在深度学习网络的训练过程中，按照一定的概率将神经网络单元暂时从网络中丢弃。"Batch Normalization:Accelerating Deep NetworkTraining by Reducing Internal Covariate Shift.",Ioffe,Sergey and Szegedy,Christian.CoRR abs/1502.03167(2015)在研究了提出了批量标准化的神经网络优化方法，它能够在深度神经网络训练过程中使得每一层神经网络的输入保持相同分布的，已经广泛被证明其有效性和重要性。
发明内容
本发明的技术解决问题是：克服现有U-Net网络方法存在的不足，提供一种基于改进的U-Net网络的深度学习图像分割方法。
本发明的创新思路是：将U-Net的网络结构进行优化和改进，添加Dropout层和Batch Normalization层对网络结构进行修改，并使用VGG-16网络模块代替U-Net的编码器部分。建立优化的模型来对肝脏肿瘤CT图像进行精确的分割。
本发明的技术解决方案是：一种基于深度学习的CT图像肝脏肿瘤分割法，包括以下步骤：
(1)准备用于训练网络的数据集，并进行图像预处理。
(2)构建并训练基于U-Net的网络模型，并对网络结构进行调整和优化，在网络结构中加入Dropout层与批量标准化层，并使用VGG-16网络模块替代U-Net网络结构的编码器部分。通过迭代更新模型的权重，得到最优的模型。
(3)使用训练好的模型对(1)中的测试用的肝脏肿瘤CT图像进行分割，得到分割结果。
有益效果
本发明克服了原始U-Net深度较小、结构较为简单、训练出效果好的模型存在一定难度的问题，对U-Net网络结构进行了改进，从而提升了效率与精确度。
附图说明
图1a-1d为图像预处理对比图，分别为原始图、降噪图、处理图、掩码图；
图2a-2c为第一组预测结果图，分别为处理图、Ground Truth、预测图；
图3a-3c为第三组预测结果图，分别为处理图、Ground Truth、预测图；
具体实施方法
下面结合实例对本发明进行进一步说明
本发明提供一种基于深度学习的CT图像肝脏肿瘤分割方法，采用数据集来自LiTS(Liver Tumor Segmentation Challenge，肝脏肿瘤病灶区CT图像分割挑战)数据集，LiTS是用于肝脏肿瘤分割的数据集。其中包含了131组训练数据和70组测试数据。训练数据包含131组3D CT图像和对应的131组真实的分割掩码。
在使用数据前，需要将CT图像数据进行预处理，首先将CT图像的CT值转变为HU值。对数据的范围进行一定的限定，此次实验中将图集的HU值设定在包括但不限于[-200，250]之间，把一些无关的信息和噪声去掉。划分ROI进行裁剪，划分出肝脏的区域，并进行颜色翻转。如图1所示，从左至右依次为原始图像、降噪后的图像、预处理后的图像及真实的专业医生手工标注的分割掩码图。
对数据的分割比为8.5:1.5，即将数据集划分为8.5:1.5的比例，其中85％的数据用作对模型的训练，15％的数据用作对模型的测试。
然后构建基于U-Net的改进网络模型，选择在原网络第一层前加入批量标准化层(Batch Normalization)及在每个卷积层模块之间加入批量标准化层和Dropout层。U-Net在编码器上使用卷积层和最大池化层进行下采样，之后使用上采样与编码器的池化层的特征图相结合，每一步的上采样都会加入来自相对应编码器的特征图，本发明使用VGG模块替代U-Net的编码器模块，具体到网络层的变化为：在U-Net编码器部分的第三到五个卷积层模块内加入一层卷积核为(3,3)的卷积层，参数和相邻卷积层一致。所有卷积层的卷积核大小为(3,3)，激活函数为ReLu，填充方式为Same padding。池化层选择统一使用大小为(2，2)的最大池化层。Dropout参数选择包括但不限于0.1、0.2及0.3，具体网络结构如表1所示。
构建改进的U-Net网络模型，初始化超参数并进行调整，选择使用如表2所示的超参数，优化函数为Adam优化函数，学习速率为0.0001，Batch Size为4，迭代次数为50，超参数的选择不唯一。使用训练集和验证集对模型进行训练，迭代更新模型中的权重参数，通过深度学习的方法从数据中进行特征学习，最终得到训练完成的模型，并保存模型的参数。训练时使用交叉熵损失函数：
上式中x表示样本，y表示实际值，a表示输出值，n表示样本的总数。
将训练好的模型用于对肝脏肿瘤CT图像的分割，输入预处理的肝脏CT图像可以得到预测的掩码图像，来标识肿瘤所在的区域，得到预测的结果。预测结果如图2所示，从左至右依次为预处理后的图像、专业的医生标注后的分割掩码图像以及预测的分割掩码图像。本发明得到的模型预测效果相较基于原始U-Net的模型有一定程度的提升，最终模型相对原始U-Net模型的效果提升如表3所示，用于评估模型的Dice系数由72.58％提升至74.60％。
对模型的评估方法为使用Dice相似系数对模型进行评估。其公式为：
|A|和|B|分别代表的是ground truth的分割结果和预测的分割结果。
表1网络结构修改前后对比
表2超参数列表
表3本发明与原始U-Net模型评估对比表

Claims (6)

1.一种基于深度学习的CT图像肝脏肿瘤分割法，包括以下步骤：
(1)准备用于训练网络的数据集，并进行图像预处理；
(2)构建并训练基于U-Net的改进网络模型，所述的改进网络模型是在U-Net网络结构上调整得到的，具体变化为：
在U-Net的网络结构第一层前加入批量标准化层Batch Normalization及在每个卷积层模块之间加入批量标准化层Batch Normalization和Dropout层，使用VGG模块替代U-Net的编码器模块；
U-Net在编码器上使用卷积层和最大池化层进行下采样，之后使用上采样与编码器的池化层的特征图相结合，每一步的上采样都会加入来自相对应编码器的特征图；
(3)使用训练好的模型对经过预处理之后的待预测肝脏肿瘤CT图像进行分割，得到分割结果。
2.根据权利要求1所述的一种基于深度学习的CT图像肝脏肿瘤分割法，其特征在于：
步骤1中所述的数据集选用LiTS数据集，LiTS是用于肝脏肿瘤分割的数据集，包含3DCT图像和对应的真实的分割掩码。
3.根据权利要求1所述的一种基于深度学习的CT图像肝脏肿瘤分割法，其特征在于：
步骤1中所述的预处理包括：在使用数据前，首先将CT图像的CT值转变为HU值，去掉噪声，划分ROI进行裁剪，划分出肝脏的区域，并进行颜色翻转。
4.根据权利要求1所述的一种基于深度学习的CT图像肝脏肿瘤分割法，其特征在于：
所述的使用VGG模块替代U-Net的编码器模块具体到网络层的变化为：在U-Net编码器部分的第三到五个卷积层模块内加入一层卷积核为(3,3)的卷积层，参数和相邻卷积层一致。
5.根据权利要求4所述的一种基于深度学习的CT图像肝脏肿瘤分割法，其特征在于：
所有卷积层的卷积核大小为(3,3)，激活函数为ReLu，填充方式为Same padding，池化层统一使用大小为(2，2)的最大池化层。
6.根据权利要求1所述的一种基于深度学习的CT图像肝脏肿瘤分割法，其特征在于：模型训练时使用交叉熵损失函数。
CN201910787974.1A 2019-08-23 2019-08-23 一种基于深度学习的ct图像肝脏肿瘤分割方法 Pending CN110570432A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910787974.1A CN110570432A (zh) 2019-08-23 2019-08-23 一种基于深度学习的ct图像肝脏肿瘤分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910787974.1A CN110570432A (zh) 2019-08-23 2019-08-23 一种基于深度学习的ct图像肝脏肿瘤分割方法

Publications (1)

Publication Number Publication Date
CN110570432A true CN110570432A (zh) 2019-12-13

Family

ID=68776084

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910787974.1A Pending CN110570432A (zh) 2019-08-23 2019-08-23 一种基于深度学习的ct图像肝脏肿瘤分割方法

Country Status (1)

Country Link
CN (1) CN110570432A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127504A (zh) * 2019-12-28 2020-05-08 中国科学院深圳先进技术研究院 心房间隔闭塞患者心脏医学影像分割方法及系统
CN111292338A (zh) * 2020-01-22 2020-06-16 苏州大学 一种从眼底oct图像中分割脉络膜新生血管的方法及系统
CN111627032A (zh) * 2020-05-14 2020-09-04 安徽慧软科技有限公司 基于U-Net网络的CT影像身体器官自动分割方法
CN111652886A (zh) * 2020-05-06 2020-09-11 哈尔滨工业大学 一种基于改进U-net网络的肝肿瘤分割方法
CN111696126A (zh) * 2020-05-18 2020-09-22 东南大学 一种基于多视角的多任务肝脏肿瘤图像分割方法
CN111797836A (zh) * 2020-06-18 2020-10-20 中国空间技术研究院 一种基于深度学习的地外天体巡视器障碍物分割方法
CN112241766A (zh) * 2020-10-27 2021-01-19 西安电子科技大学 基于样本生成和迁移学习的肝脏ct图像多病变分类方法
CN112767407A (zh) * 2021-02-02 2021-05-07 南京信息工程大学 一种基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法
CN113299374A (zh) * 2021-06-03 2021-08-24 广东财经大学 一种基于深度学习的甲状腺结节超声图像自动分割系统
KR20220014932A (ko) * 2020-07-29 2022-02-08 전남대학교산학협력단 Ct 스캔 영상에서 딥러닝에 기반한 간 종양 검출 방법 및 장치
CN114937045A (zh) * 2022-06-20 2022-08-23 四川大学华西医院 一种肝细胞癌病理图像分割系统
CN116385427A (zh) * 2023-05-05 2023-07-04 首都医科大学附属北京友谊医院 图像处理方法及装置
CN111797836B (zh) * 2020-06-18 2024-04-26 中国空间技术研究院 一种基于深度学习的地外天体巡视器障碍物分割方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109741343A (zh) * 2018-12-28 2019-05-10 浙江工业大学 一种基于3D-Unet和图论分割的T1WI-fMRI图像肿瘤协同分割方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109741343A (zh) * 2018-12-28 2019-05-10 浙江工业大学 一种基于3D-Unet和图论分割的T1WI-fMRI图像肿瘤协同分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
廖欣等: "基于深度卷积神经网络的宫颈细胞病理智能辅助诊断方法", 《液晶与显示》 *
蒋芸等: "基于条件生成对抗网络的咬翼片图像分割", 《计算机工程》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127504B (zh) * 2019-12-28 2024-02-09 中国科学院深圳先进技术研究院 心房间隔闭塞患者心脏医学影像分割方法及系统
CN111127504A (zh) * 2019-12-28 2020-05-08 中国科学院深圳先进技术研究院 心房间隔闭塞患者心脏医学影像分割方法及系统
CN111292338A (zh) * 2020-01-22 2020-06-16 苏州大学 一种从眼底oct图像中分割脉络膜新生血管的方法及系统
CN111652886A (zh) * 2020-05-06 2020-09-11 哈尔滨工业大学 一种基于改进U-net网络的肝肿瘤分割方法
CN111627032A (zh) * 2020-05-14 2020-09-04 安徽慧软科技有限公司 基于U-Net网络的CT影像身体器官自动分割方法
CN111696126A (zh) * 2020-05-18 2020-09-22 东南大学 一种基于多视角的多任务肝脏肿瘤图像分割方法
CN111797836A (zh) * 2020-06-18 2020-10-20 中国空间技术研究院 一种基于深度学习的地外天体巡视器障碍物分割方法
CN111797836B (zh) * 2020-06-18 2024-04-26 中国空间技术研究院 一种基于深度学习的地外天体巡视器障碍物分割方法
KR102436351B1 (ko) * 2020-07-29 2022-08-26 전남대학교산학협력단 Ct 스캔 영상에서 딥러닝에 기반한 간 종양 검출 방법 및 장치
KR20220014932A (ko) * 2020-07-29 2022-02-08 전남대학교산학협력단 Ct 스캔 영상에서 딥러닝에 기반한 간 종양 검출 방법 및 장치
CN112241766B (zh) * 2020-10-27 2023-04-18 西安电子科技大学 基于样本生成和迁移学习的肝脏ct图像多病变分类方法
CN112241766A (zh) * 2020-10-27 2021-01-19 西安电子科技大学 基于样本生成和迁移学习的肝脏ct图像多病变分类方法
CN112767407B (zh) * 2021-02-02 2023-07-07 南京信息工程大学 一种基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法
CN112767407A (zh) * 2021-02-02 2021-05-07 南京信息工程大学 一种基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法
CN113299374A (zh) * 2021-06-03 2021-08-24 广东财经大学 一种基于深度学习的甲状腺结节超声图像自动分割系统
CN113299374B (zh) * 2021-06-03 2023-08-29 广东财经大学 一种基于深度学习的甲状腺结节超声图像自动分割系统
CN114937045A (zh) * 2022-06-20 2022-08-23 四川大学华西医院 一种肝细胞癌病理图像分割系统
CN116385427A (zh) * 2023-05-05 2023-07-04 首都医科大学附属北京友谊医院 图像处理方法及装置

Similar Documents

Publication Publication Date Title
CN110570432A (zh) 一种基于深度学习的ct图像肝脏肿瘤分割方法
CN111476292B (zh) 医学图像分类处理人工智能的小样本元学习训练方法
CN111191660B (zh) 一种基于多通道协同胶囊网络的结肠癌病理学图像分类方法
CN111369563A (zh) 一种基于金字塔空洞卷积网络的语义分割方法
CN110889853A (zh) 基于残差-注意力深度神经网络的肿瘤分割方法
CN110889852A (zh) 基于残差-注意力深度神经网络的肝脏分割方法
CN112712528B (zh) 一种多尺度u型残差编码器与整体反向注意机制结合的肠道病灶分割方法
CN113693563B (zh) 一种基于超图注意力网络的脑功能网络分类方法
CN112784879A (zh) 一种基于小样本域自适应的医学影像分割或分类方法
CN111242233B (zh) 一种基于融合网络的阿尔兹海默病分类方法
CN110853070A (zh) 基于显著性与Grabcut的水下海参图像分割方法
CN114821052A (zh) 基于自调节策略的三维脑肿瘤核磁共振图像分割方法
CN114972248A (zh) 基于注意力机制改进的U-net肝肿瘤分割方法
CN114596317A (zh) 一种基于深度学习的ct影像全心脏分割方法
CN110991554B (zh) 一种基于改进pca的深度网络图像分类方法
CN113657449A (zh) 一种含噪标注数据的中医舌象腐腻分类方法
CN111598894A (zh) 基于全局信息卷积神经网络的视网膜血管图像分割系统
CN111524140A (zh) 基于cnn和随机森林法的医学图像语义分割方法
Dong et al. Supervised learning-based retinal vascular segmentation by m-unet full convolutional neural network
CN114155249A (zh) 一种基于深度矢量场回归的三维细胞图像实例分割方法
CN113538435A (zh) 一种基于深度学习的胰腺癌病理图像分类方法及系统
CN113421228A (zh) 一种基于参数迁移的甲状腺结节识别模型训练方法及系统
CN112863650A (zh) 一种基于卷积与长短期记忆神经网络的心肌病识别系统
CN115205599B (zh) 一种基于域泛化模型的多年龄段儿童胸片图像肺炎分类系统
CN114842238B (zh) 一种嵌入式乳腺超声影像的识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191213

WD01 Invention patent application deemed withdrawn after publication