CN115994919B - 一种基于深度学习的膀胱壁自动分割工具和方法 - Google Patents
一种基于深度学习的膀胱壁自动分割工具和方法 Download PDFInfo
- Publication number
- CN115994919B CN115994919B CN202310286877.0A CN202310286877A CN115994919B CN 115994919 B CN115994919 B CN 115994919B CN 202310286877 A CN202310286877 A CN 202310286877A CN 115994919 B CN115994919 B CN 115994919B
- Authority
- CN
- China
- Prior art keywords
- segmentation
- neural network
- bladder wall
- training
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于深度学习的膀胱壁自动分割工具和方法，该工具包括输入端、预训练Resnet50深度神经网络、输出端、训练验证和测试单元以及整合勾画单元；所述的输入端用于输入三幅一致的核磁共振图像，作为预训练Resnet50深度神经网络的输入端，所述的输出端为膀胱壁勾画图像，所述的训练验证和测试单元采用三个不同的损失函数进行训练验证和测试，得到三个不同的神经网络模型；所述的整合勾画单元用于基于三个神经网络模型的置信度分布图，结合阈值去整合勾画结果，得出最终膀胱壁的分割图。
Description
技术领域
本发明涉及医疗辅助技术领域，具体涉及一种基于深度学习的膀胱壁自动分割工具和方法。
背景技术
放疗中膀胱壁的分割与勾画非常重要，尤其是在盆腔肿瘤的膀胱放疗预后评估分析中可以发挥重要作用。以前列腺癌为例，前列腺癌是男性患者中最常见的癌症之一，其五年生存率已升至98%以上。随着生存期的延长，需要充分考虑放疗后的生活质量，因此治疗相关的毒性已成为癌症生存率高的患者关注的主要问题。随着调强放疗的引入，泌尿生殖系统的毒性较过去显著降低。然而，根据一些临床试验，5年毒性率大于2级为12%-15%，常见的毒性是排尿困难、尿潴留、血尿和尿失禁。毒性的主要原因是膀胱壁和尿道的高剂量堆积。根据相关研究，膀胱是一个储存尿液的中空器官，膀胱壁的累积剂量可以代表真正涉及的剂量。此外，治疗期间膀胱的大小、形状和位置也会受到患者位置、膀胱充盈、周围器官运动等因素的影响，因此膀胱壁的精准分割将决定对于患者的治疗实施和精准预后评估具有重要意义。
现有技术中涉及膀胱壁分割的技术方案主要包括基于模型的方法和数据驱动方法。基于模型的方法的典型方案有两个分支，一个是基于各种先验模型自适应地提取膀胱壁的内外边界，另一个主要是通过选择图像低阶特征、纹理特征和小波特征来训练分类器，将其特征减少到选择中，从而服务于膀胱壁分割。其优点是相关特征定义明确，易于使用，缺点是当膀胱壁和周围背景具有相似的灰度和纹理特征时，分割结果往往有较大的误差。数据驱动的方法主要基于U-Net的分割算法及其改进的深度神经网络，这种方案的优点是深度神经网络能够识别多尺度的特征信息，更有利于分割，其缺点是受到训练数据的限制，需要提高其鲁棒性和泛化性能。
本申请提出的方案拟采用深度学习的方法，输入端为三幅一致的核磁共振图像，这样三通道图像作为预训练Resnet50深度神经网络的输入端，输出端为膀胱壁勾画图像，采用三个不同的损失函数，训练验证和测试，得到三个不同的神经网络模型，然后基于三个神经网络模型的置信度分布图，结合阈值去整合勾画结果，得出最终膀胱壁的分割图，其原理如图1所示。
发明内容
本发明旨在提供一种基于深度学习的膀胱壁自动分割工具和方法，所要解决的技术问题至少包括如何提高模型的泛化能力和鲁棒性，最大化解决数据不平衡的问题。
为了实现上述目的，本发明提供一种基于深度学习的膀胱壁自动分割工具，包括输入端、预训练Resnet50深度神经网络、输出端、训练验证和测试单元以及整合勾画单元；所述的输入端用于输入三幅一致的核磁共振图像，作为预训练Resnet50深度神经网络的输入端，所述的输出端为膀胱壁勾画图像，所述的训练验证和测试单元采用三个不同的损失函数进行训练验证和测试，得到三个不同的神经网络模型；所述的整合勾画单元用于基于三个神经网络模型的置信度分布图，结合阈值去整合勾画结果，得出最终膀胱壁的分割图。
优选地，所述的Resnet50深度神经网络采用迁移学习加数据增强的方案，解决深度学习有限训练数据的问题。
优选地，所述的Resnet50深度神经网络采用ImageNet数据集作为训练集，使用ResNet50 的深度学习网络结构，来训练网络参数，训练核磁共振图像时，并不需要重新训练网络结构，而是在已经学习到参数的预训练模型基础上再进行训练。
优选地，所述的ImageNet数据集是包含 2 万个以上图像类别的图像数据集。
优选地，所述的数据增强的方案是指几何增强方案。
优选地，所述的几何增强方案包括X方向和Y方向的随机反转，[-30,30] 范围内的随机旋转，以及X方向和Y方向上[-5,5]范围内的随机移动。
优选地，所述的三个不同的损失函数包括交叉熵损失函数、广义戴斯相似性损失函数和特沃斯基损失函数。
优选地，所述的交叉熵损失函数用于计算单标签和多标签分类任务的网络预测和目标值之间的交叉熵损失，交叉熵损失函数的计算公式为：
其中 N 是观测值，K是类数；Tni是真实分割结果，Yni是预测分割结果；
优选地，所述的广义戴斯相似性损失函数的计算公式为：
其中K是分类数，M是沿预测分割结果Ykm的前两个维度的元素数目，以及Wk是特定于每个分类的权重因子，控制每个分类对结果贡献度；Tkm是真实分割结果；
所述的广义戴斯相似性损失基于索伦森-戴斯相似性，用于测量两个分割图像之间的重叠。
优选地，所述的特沃斯基损失函数的计算公式为：
其中，c对应于类，
对应于不在c类中；
Ycm是预测分割结果,Tcm是真实分割结果；
M是沿预测分割结果Ycm的前两个维度的元素数目；
α是控制每个类的假正对损失的贡献的加权因子；
β是控制每个类的假负对损失的贡献的加权因子；
所述的特沃斯基损失函数基于特沃斯基指数，用于测量两个分割图像之间的重叠。
所述的整合勾画单元根据三个神经网络模型的预测勾画结果，得到分布图，然后基于得到的分布图和预测模型计算其置信度分布图，设置阈值对分割可靠的点进行保留，去除不可靠的点，将所述的三个神经网络模型的分割结果依次计算，进行合并，得到最终分布图。
优选地，当膀胱壁和周围背景具有相似的灰度和纹理特征时，本申请所述的基于深度学习的膀胱壁自动分割工具利用三深度学习模型整合法，充分挖掘膀胱壁和周围背景具有相似的灰度和纹理特征，提高分割精度。
本发明还提供一种基于深度学习的膀胱壁自动分割方法，包括以下步骤：采用深度学习的方法，输入端为三通道图像，包括三个一样的核磁共振图所述的三通道图像作为深度神经网络的输入端，输出端为膀胱壁勾画图像，基于Resnet50预训练模型进行迁移学习，采用三个不同的损失函数，训练验证和测试，得到三个不同的神经网络模型，然后基于三个神经网络模型的置信度分布图，结合阈值去整合勾画结果，得出最终膀胱壁的分割图。
有益效果
与现有技术相比，本发明的有益效果是：
本发明所述的基于深度学习的膀胱壁自动分割工具和方法利用预训练模型进行迁移学习，充分挖掘膀胱壁和周围背景具有相似的灰度和纹理特征，另外对有限的数据使用数据增强方案，提高模型的泛化能力和鲁棒性。与此同时，膀胱壁的深度学习分割是一个典型的数据不平衡问题，本发明引入了三种损失函数，训练三个模型，然后基于置信图阈值确定最终的分割图案，最大化解决了数据不平衡问题。
本发明采用Resnet50网络，残差基网络，把一个回归问题看作分类问题进行处理，方案中充分利用预训练神经网络模型结合数据增强和多损失函数，解决了膀胱壁有限训练数据和数据不平衡的问题。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的具体实施方式一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1是本发明所述的基于深度学习的膀胱壁自动分割工具的原理示意图。
图2是置信图阈值引导模型勾画结果合并的原理示意图。
图3是采用三个不同的损失函数进行训练验证的整体训练过程的原理示意图。
具体实施方式
在下文中更详细地描述了本发明以有助于对本发明的理解。
如图1至图3所示，本发明所述的基于深度学习的膀胱壁自动分割工具包括输入端、预训练Resnet50深度神经网络、输出端、训练验证和测试单元以及整合勾画单元；所述的输入端用于输入三幅一致的核磁共振图像，作为预训练Resnet50深度神经网络的输入端，所述的输出端为膀胱壁勾画图像，所述的训练验证和测试单元采用三个不同的损失函数进行训练验证和测试，得到三个不同的神经网络模型；所述的整合勾画单元用于基于三个神经网络模型的置信度分布图，结合阈值去整合勾画结果，得出最终膀胱壁的分割图。其流程如图2所示，具体流程描述：得到的三个勾画模型（即三个神经网络模型），通过将新图像分别输入三个神经网络模型，得到三个置信度分布图，然后取各位置最大置信度，进行叠加，然后，经过多阈值尝试，找到最优阈值，进行二值化。最终用于指导分割。最优阈值的判别标准结合了分割准确度，假阳性率，假阴性率等综合指标得到的。如图2所示，置信图的大小分布在0-1之间，通过计算，0.9，0.8，0.7，0.6，0.5这五个阈值处的相关指标，低于0.5的置信度，默认不可靠，不进行选取，然后进行曲线勾画，找到最优阈值。
如图3为采用三个不同的损失函数进行训练验证和测试的整体训练过程，三个损失函数分别用于Resnet50模型，进行二次训练，在确保验证值与训练值偏移满足一定阈值范围时，训练50周期，得到三个不同的神经网络模型。
为了解决深度学习有限训练数据的问题，本发明采用迁移学习+数据增强的方案。
迁移学习的概念：Resnet50初始模型直接使用是在 ImageNet 数据集上预训练好的 ResNet50 网络模型。而 ImageNet 是一个大型的图像数据集，包含 2 万多个图像类别，因此将 ImageNet数据集作为训练集，使用 ResNet50 的深度学习网络结构，来训练网络参数，所得到的预训练模型已经学习到 ImageNet 数据集中的特征，能够拟合这一批数据集。因此，训练核磁共振图像时，并不需要重新训练网络结构，而是在已经学习到参数的预训练模型基础上再进行训练，解决了因原始数据集样本少而造成的模型泛化能力差的问题，同时也加快了模型的训练速度。
数据增强方案：主要是几何增强方案，包括X，Y方向的随机反转，[-30,30]的随机旋转，X,Y方向[-5,5]的随机移动。
为了解决膀胱壁数据分布失衡的问题，本发明采用了三个损失函数。
损失函数1：交叉熵损失函数，用于计算单标签和多标签分类任务的网络预测和目标值之间的交叉熵损失，交叉熵损失函数的计算公式为：
其中 N 是观测值，K是类数；Tni是真实分割结果，Yni是预测分割结果。
损失函数2：广义戴斯相似性损失基于索伦森-戴斯相似性，用于测量两个分割图像之间的重叠。广义戴斯相似性损失函数的计算公式为：
其中K是分类数，M是沿预测分割结果Ykm的前两个维度的元素数目，以及Wk是特定于每个分类的权重，控制每个分类对结果贡献度。此权重有助于抵消较大区域对戴斯相似系数的影响。Tkm是真实分割结果。
损失函数3：Tversky损失函数（特沃斯基损失函数）基于 Tversky 指数，用于测量两个分割图像之间的重叠，Tversky损失函数的计算公式为：
其中，c对应于类，
对应于不在c类中；/>
Ycm是预测分割结果,Tcm是真实分割结果；
M是沿预测分割结果Ycm的前两个维度的元素数目；
α是控制每个类的假正对损失的贡献的加权因子；
β是控制每个类的假负对损失的贡献的加权因子。
所述的整合勾画单元用于基于三个神经网络模型的置信度分布图，结合阈值去整合勾画结果，得出最终膀胱壁的分割图；
置信图阈值引导模型勾画结果合并：
根据模型预测勾画结果，得到分布图，然后基于此计算其置信度分布图，设置阈值对分割可靠的点进行保留，去除不可靠的点，将此三个模型的分割结果依次计算，进行合并，得到最终分布图。
当膀胱壁和周围背景具有相似的灰度和纹理特征时，分割结果往往有较大的误差，本申请利用三深度学习模型整合法，充分挖掘膀胱壁和周围背景具有相似的灰度和纹理特征，提高分割精度。不同损失函数训练的模型侧重点不同，通过置信度图将他们整合到一起，如前所述，就可以充分挖掘这些信息。
本发明采用深度学习的方法，输入端为三通道图像，包括三个一样的核磁共振图像，这样三通道图像作为深度神经网络的输入端，输出端为膀胱壁勾画图像，基于Resnet50预训练模型进行迁移学习，采用三个不同的损失函数，训练验证和测试，得到三个不同的神经网络模型，然后基于三个神经网络模型的置信度分布图，结合阈值去整合勾画结果，得出最终膀胱壁的分割图。
本发明的关键点及优势在于：
本发明利用预训练模型进行迁移学习，充分挖掘膀胱壁和周围背景具有相似的灰度和纹理特征，另外对有限的数据使用数据增强方案，提高模型的泛化能力和鲁棒性。与此同时，膀胱壁的深度学习分割是一个典型的数据不平衡问题，本发明引入了三种损失函数，训练三个模型，然后基于置信图阈值确定最终的分割图案，最大化解决了数据不平衡问题。
本发明的关键技术点至少包括：
1. 网络结构设计，尤其是多损失函数使用，置信图阈值确定最终分割图。
2. 迁移学习+数据增强方案。
以上描述了本发明优选实施方式，然其并非用以限定本发明。本领域技术人员对在此公开的实施方案可进行并不偏离本发明范畴和精神的改进和变化。
Claims (6)
1.一种基于深度学习的膀胱壁自动分割工具，其特征在于，所述的基于深度学习的膀胱壁自动分割工具包括输入端、预训练Resnet50深度神经网络、输出端、训练验证和测试单元以及整合勾画单元；所述的输入端用于输入三幅一致的核磁共振图像，作为预训练Resnet50深度神经网络的输入端，所述的输出端为膀胱壁勾画图像，所述的训练验证和测试单元采用三个不同的损失函数进行训练验证和测试，得到三个不同的神经网络模型；所述的整合勾画单元用于基于三个神经网络模型的置信度分布图，结合阈值去整合勾画结果，得出最终膀胱壁的分割图；
所述的三个不同的损失函数包括交叉熵损失函数、广义戴斯相似性损失函数和特沃斯基损失函数；
所述的交叉熵损失函数用于计算单标签和多标签分类任务的网络预测和目标值之间的交叉熵损失，交叉熵损失函数的计算公式为：
其中 N 是观测值，K是类数；Tni指的是真实的分割结果，Yni指的是预测的分割结果；
所述的广义戴斯相似性损失函数的计算公式为：
其中K是分类数，M是沿预测分割结果Ykm前两个维度的元素数，Wk是特定于每个分类的权重因子，控制每个分类对结果贡献度；Tkm是真实分割结果；
所述的广义戴斯相似性损失基于索伦森-戴斯相似性，用于测量两个分割图像之间的重叠；
所述的特沃斯基损失函数的计算公式为：
其中，c对应于类，
对应于不在c类中；
Tcm指的是真实的分割结果，Ycm指的是预测的分割结果；
M是沿预测分割结果Ycm的前两个维度的元素数目；
α是控制每个类的假正对损失的贡献的加权因子；
β是控制每个类的假负对损失的贡献的加权因子；
所述的特沃斯基损失函数基于特沃斯基指数，用于测量两个分割图像之间的重叠。
2.根据权利要求1所述的基于深度学习的膀胱壁自动分割工具，其特征在于，所述的Resnet50深度神经网络采用迁移学习加数据增强的方案，解决深度学习有限训练数据的问题；所述的Resnet50深度神经网络采用ImageNet数据集作为训练集，使用 ResNet50 的深度学习网络结构，来训练网络参数，训练核磁共振图像时，并不需要重新训练网络结构，而是在已经学习到参数的预训练模型基础上再进行训练。
3. 根据权利要求2所述的基于深度学习的膀胱壁自动分割工具，其特征在于，所述的ImageNet数据集是包含 2 万个以上图像类别的图像数据集。
4.根据权利要求2所述的基于深度学习的膀胱壁自动分割工具，其特征在于，所述的数据增强的方案是指几何增强方案。
5.根据权利要求1所述的基于深度学习的膀胱壁自动分割工具，其特征在于，所述的整合勾画单元根据三个神经网络模型的预测勾画结果，得到分布图，然后基于得到的分布图和模型计算其置信度分布图，设置阈值对分割可靠的点进行保留，去除不可靠的点，将所述的三个神经网络模型的分割结果依次计算，进行合并，得到最终分布图。
6.一种自动分割方法，应用于如权利要求1至5任一项所述的基于深度学习的膀胱壁自动分割工具，其特征在于，包括以下步骤：采用深度学习的方法，输入端为三通道图像，包括三个一样的核磁共振图所述的三通道图像作为深度神经网络的输入端，输出端为膀胱壁勾画图像，基于Resnet50预训练模型进行迁移学习，采用三个不同的损失函数，训练验证和测试，得到三个不同的神经网络模型，然后基于三个神经网络模型的置信度分布图，结合阈值去整合勾画结果，得出最终膀胱壁的分割图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310286877.0A CN115994919B (zh) | 2023-03-23 | 2023-03-23 | 一种基于深度学习的膀胱壁自动分割工具和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310286877.0A CN115994919B (zh) | 2023-03-23 | 2023-03-23 | 一种基于深度学习的膀胱壁自动分割工具和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115994919A CN115994919A (zh) | 2023-04-21 |
| CN115994919B true CN115994919B (zh) | 2023-05-30 |
Family
ID=85995280
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310286877.0A Active CN115994919B (zh) | 2023-03-23 | 2023-03-23 | 一种基于深度学习的膀胱壁自动分割工具和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115994919B (zh) |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109192305B (zh) * | 2018-09-12 | 2020-11-20 | 中国人民解放军陆军军医大学第二附属医院 | 一种基于深度循环神经网络的心功能自动分析方法 |
| US10740901B2 (en) * | 2018-12-17 | 2020-08-11 | Nvidia Corporation | Encoder regularization of a segmentation model |
| CN109903292A (zh) * | 2019-01-24 | 2019-06-18 | 西安交通大学 | 一种基于全卷积神经网络的三维图像分割方法及系统 |
| CN110047082B (zh) * | 2019-03-27 | 2023-05-16 | 深圳大学 | 基于深度学习的胰腺神经内分泌肿瘤自动分割方法及系统 |
| CN111127487B (zh) * | 2019-12-27 | 2022-04-19 | 电子科技大学 | 一种实时多组织医学图像的分割方法 |
| CN112258530A (zh) * | 2020-12-21 | 2021-01-22 | 四川大学 | 基于神经网络的计算机辅助肺结节自动分割方法 |
| CN114299010A (zh) * | 2021-12-27 | 2022-04-08 | 深圳市联影高端医疗装备创新研究院 | 脑部肿瘤图像的分割方法、装置、计算机设备和存储介质 |
| CN115100185A (zh) * | 2022-07-22 | 2022-09-23 | 深圳市联影高端医疗装备创新研究院 | 图像处理方法、装置、计算机设备和存储介质 |
-
2023
- 2023-03-23 CN CN202310286877.0A patent/CN115994919B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN115994919A (zh) | 2023-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109598727B (zh) | 一种基于深度神经网络的ct图像肺实质三维语义分割方法 | |
| US11580646B2 (en) | Medical image segmentation method based on U-Net | |
| CN111402268A (zh) | 一种医学图像中肝脏及其病灶分割的方法 | |
| CN110930397A (zh) | 一种磁共振图像分割方法、装置、终端设备及存储介质 | |
| CN106683104B (zh) | 基于集成深度卷积神经网络的前列腺磁共振图像分割方法 | |
| CN112446891B (zh) | 基于U-Net网络脑胶质瘤的医学图像分割方法 | |
| CN112184658A (zh) | 用于非小细胞肺癌预后生存预测的方法、介质及电子设备 | |
| CN111242233B (zh) | 一种基于融合网络的阿尔兹海默病分类方法 | |
| CN108629785B (zh) | 基于自步学习的三维磁共振胰腺图像分割方法 | |
| CN115496771A (zh) | 一种基于脑部三维mri图像设计的脑肿瘤分割方法 | |
| CN105809201A (zh) | 一种生物启发式自主提取图像语义概念的识别方法及装置 | |
| CN113706486A (zh) | 基于密集连接网络迁移学习的胰腺肿瘤图像分割方法 | |
| CN111784653A (zh) | 基于形状约束的多尺度网络mri胰腺轮廓定位方法 | |
| CN112991363A (zh) | 脑肿瘤图像分割方法、装置、电子设备及存储介质 | |
| CN111862022A (zh) | 全身多部位放射治疗危及器官自动勾画方法 | |
| An et al. | Medical image classification algorithm based on visual attention mechanism-MCNN | |
| CN114170193A (zh) | 一种基于深度学习的鼻咽癌靶区自动勾画方法及系统 | |
| Wahid et al. | Lung and colon cancer detection with convolutional neural networks on histopathological images | |
| CN115994919B (zh) | 一种基于深度学习的膀胱壁自动分割工具和方法 | |
| CN109671499B (zh) | 一种直肠毒性预测系统构建方法 | |
| CN114387282A (zh) | 一种医学影像器官精准自动分割方法及系统 | |
| Han et al. | Deep semi-supervised learning for medical image segmentation: A review | |
| CN113288193A (zh) | 基于深度学习的ct影像乳腺癌临床靶区的自动勾画方法 | |
| CN117422916A (zh) | 基于弱监督学习的mr医学影像结直肠癌分期算法及系统 | |
| CN116758089A (zh) | 一种宫颈癌临床靶区和正常器官智能勾画系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |