CN115908451A - 一种结合多视图几何及迁移学习的心脏ct影像分割方法 - Google Patents

一种结合多视图几何及迁移学习的心脏ct影像分割方法 Download PDF

Info

Publication number
CN115908451A
CN115908451A CN202211380668.4A CN202211380668A CN115908451A CN 115908451 A CN115908451 A CN 115908451A CN 202211380668 A CN202211380668 A CN 202211380668A CN 115908451 A CN115908451 A CN 115908451A
Authority
CN
China
Prior art keywords
image
training
data
dimensional
heart
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211380668.4A
Other languages
English (en)
Inventor
马辛
付幸文
杨念衡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202211380668.4A priority Critical patent/CN115908451A/zh
Publication of CN115908451A publication Critical patent/CN115908451A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明提供一种结合多视图几何及迁移学习的心脏CT影像分割方法，其由数据预处理，迁移学习以及后处理部分组成。数据预处理包含数据集拆分，无关区域剔除、位置嵌入、边界增强以及维度变换，作用是得到可用于训练和测试网络的数据集；迁移学习包含预训练、逻辑重整以及权重微调，作用是得到可用于心脏分割的最终权重；后处理包含推理预测以及逐点投票，作用是使用最终权重完成对三维CT影像的心脏分割并进一步优化得到最终的心脏模型。本发明通过运用多视图几何及迁移学习的方法，实现了对心脏模型的准确分割。

Description

一种结合多视图几何及迁移学习的心脏CT影像分割方法
技术领域
本发明涉及医学图像领域，具体涉及一种结合多视图几何及迁移学习的心脏CT影像分割方法。
背景技术
心脏是循环系统中重要的组成部分。根据《中国心血管健康与疾病报告2020》中显示我国心血管病的患病率处于持续上升阶段，根据居民死亡构成比例显示，每5例死亡患者中有2例死于心血管疾病。全心分割可以作为诊疗的重要手段，急需寻求一种高效、准确的分割方式，以满足医生的阅片需求。
CT图像作为诊疗过程中常见的医疗手段，可用于多种疾病的检查，对心血管疾病检查具有重要意义。通过心脏CT对全心进行分割，可以利用计算机通过不同的方法实现，以减少由于人工造成的误差。传统的医学图像分割方法包括基于图像或可变模型法，但却都采用半自动分割方式费时费力，且分割准确定低，不能满足临床需要。随着深度学习的不断发展，目前也有多人研究深度学习方法的可行行，并取得了一定进展，但现有的深度学习的方法存在数据库获取困难、心脏CT图像背景和目标区域的边界模糊、不同个体之间存在差异等问题，导致出现了计算时间长、输出结果不满足预期等有待解决的问题。
发明内容
为解决传统人工分割方法所造成的误差大，所耗费的人力成本高；半自动分割的方法准确度低，难以满足临床需求；现有的基于自动分割算法的计算时间长，可靠性差，不能满足预期的问题，本发明提供一种结合多视图几何及迁移学习的心脏CT影像分割方法，采用结合多视图几何及迁移学习的方法，在提高分割精度与准确性的同时，也减少了计算所耗费的时间。
为达到上述目的，本发明采用的技术方案如下：
一种结合多视图几何及迁移学习的心脏CT影像分割方法，由数据预处理、迁移学习以及预测和后处理组成；所述数据预处理包含数据集拆分、无关区域剔除、位置嵌入、边界增强以及维度变换，用于得到用于训练和测试网络的数据集；所述迁移学习包含预训练、逻辑重整以及权重微调，用于得到用于心脏分割的最终权重；所述预测和后处理包含推理预测以及逐点投票，用于使用所述最终权重完成对三维CT影像的心脏分割并进一步优化得到最终的心脏模型，具体包括以下步骤：
步骤1、将所有的三维CT影像原数据拆分为训练集和验证集，训练集的数据个数定义为n，验证集的数据个数定义为m；
步骤2、使用ReLU函数将训练集和验证集中像素值小于0的无关区域置0得到影像CT1；
步骤3、对影像CT1实行位置嵌入得到影像CT2；
步骤4、对影像CT2实行边界增强得到影像CT3；
步骤5、对影像CT1、影像CT2、影像CT3均增加一个通道维度并在通道维度进行拼接得到四维的影像CT4；
步骤6、对影像CT4分别按照X，Y，Z三个轴进行切片得到(x+y+z)个三维的影像CT5，其中，x为CT影像原始数据中x轴的维度值，y为CT影像原始数据中y轴的维度值，z为CT影像原始数据中z轴的维度值；
步骤7、对训练集和验证集中每个三维CT影像原数据都实行上述步骤2到6得到n×(x+y+z)个影像CT5和m×(x+y+z)个影像CT5；
步骤8、使用ImageNet数据集对骨干网络ResNet进行预训练得到预训练权重；
步骤9、调整ResNet的网络架构实现对ResNet中的各级残差块输出的特征图进行逻辑重整得到骨干网络ResNet-DD+；
步骤10、构建DeepLabV3+网络框架，并使用骨干网络ResNet-DD+作为DeepLabV3+的特征提取骨干得到DeepLabV3+-DD+；
步骤11、使用n×(x+y+z)个影像CT5对加载了预训练权重的DeepLabV3+-DD+进行微调，并使用m×(x+y+z)个影像CT5进行测试，收敛后得到最终权重；
步骤12、对每个测试的三维CT影像原数据实行步骤2到6得到(x+y+z)个影像CT5，使用加载最终权重的DeepLabV3+-DD+分别对x个影像CT5、y个影像CT5、z个影像CT5进行分割并在对应的X、Y、Z轴堆叠得到影像CTX、影像CTY、影像CTZ；
步骤13、对影像CTX、影像CTY、影像CTZ实行逐点投票法得到最终的心脏模型。
进一步地，所述步骤3中，所述位置嵌入采用余弦位置嵌入算法。
进一步地，所述步骤4中，所述边界增强采用三维腐蚀和三维膨胀算法。
进一步地，所述步骤9中，所述逻辑重整采用Net-DD+架构。
本发明与现有技术相比的优点在于：
与传统的人工分割方法相比，本发明具备全自动化的流程，最大程度上减少由于人参与而产生的的误差，且节约人力成本；与半自动分割方向相比的优点为：自主设计的预处理流程，排除了大量的无关区域同时对模糊的边界进行增强处理降低了后续分割的难度达到更高的分割精度；与现有的基于自动分割的算法相比，本发明包含逻辑重整的迁移学习，捕捉到了特征之间潜在的逻辑关系，提升了网络的鲁棒性以及收敛速度；逐点投票的后处理，提高信息的利用率，进一步分割结果的准确性。
附图说明
图1是本发明的一种结合多视图几何及迁移学习的心脏CT影像分割方法总流程图。
图2是本发明的预处理过程。
图3是本发明的迁移学习过程，包含预训练、逻辑重整以及权重微调，逻辑重整采用Net-DD+架构。
图4是本发明的包含推理预测以及逐点投票的预测和后处理过程。
图5是本发明最终呈现的心脏分割的效果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合说明书附图进一步详细说明本发明的示例性实施方式。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示，本发明的结合多视图几何及迁移学习的心脏CT影像分割方法包括数据预处理，迁移学习，预测和后处理三个部分。
所述数据预处理包含数据集拆分、无关区域剔除、位置嵌入、边界增强以及维度变化，其具体过程由图2所示，具体分为如下步骤：
步骤1、首先将所有的CT影像的原始数据分为训练集和验证集，定义训练集的数据个数为n，验证集的数据个数为m；
步骤2、使用ReLU函数可以将训练集和验证集中像素小于0的无关部分置0得到维度为256×256×224的影像CT1的数据；
步骤3、将步骤2中得到的维度为256×256×224的影像CT1的数据实行余弦位置嵌入得到维度同256×256×224的影像CT2的数据，目的是更好的限制像素位置，使得训练更好的进行，同时有助于捕捉同一纬度上像素之间的不同位置，而不同维度之间提供了相对位置的不同信息；
步骤4、将步骤3中的得到的维度为256×256×224的影像CT2，使用三维腐蚀和三维膨胀算法，得到影像CT3的数据，其原理为：对边界位置的无关像素点进行腐蚀，即将无关像素点设置为背景值0，同时对边界位置中与心脏有关的像素点进行膨胀，既将边界位置处与心脏有关的像素点设置为前景值1；
步骤5、将步骤2、步骤3、步骤4中获得的影像CT1，影像CT2，影像CT3均增加一个通道的维度并在通道维度进行拼接并在Z轴维度上进行线性插值得到四维3×256×256×256的影像CT4，即得到通道数为3，长宽高均为256的4维张量数据；
步骤6、将步骤5中得到的影像CT4再对X轴进行切片，可以获得256个维度为3×256×256的3维张量，对Y，Z轴进行相同的切片操作，最终得到x+y+z＝256+256+224个3×256×224的3维张量；
步骤7、对训练集和验证集中每个三维CT原始数据都实行上述步骤2到步骤6得到n×(x+y+z)个影像CT5和m×(x+y+z)个影像CT5，其中x为CT影像原始数据中x轴的维度值，y为CT影像原始数据中y轴的维度值，z为CT影像原始数据中z轴的维度值；本发明中x＝256，y＝256，z＝224；
由于CT数据是三维的，直接使用三维CT数据计算，3D卷积核参数量大，成本高，同时没有大型CT数据集，因此对三维CT图像进行步骤1-7操作，得到可以用于训练和测试2D网络的数据集，接下来进入迁移学习的过程。所述迁移学习的过程如图3所示，具体的步骤如下：
步骤8、通过使用ImageNet数据集对骨干网络ResNet进行预训练得到预训练的权重；
所述预训练的过程采用了Nesterov动量优化器，动量为0.9，初始学习率为0.05，每2个周期的速率衰减为0.94，权重衰减为4×10-5，使用50个GPU的异步训练，每个GPU的批量大小为32，图像大小为224×224。
步骤9、采用Net-DD+架构调整ResNet的网络架构实现对ResNet中的各级残差块输出的特征图进行逻辑重整得到骨干网络ResNet-DD+，以提升模型的精度；
步骤10、搭建DeepLabV3+网络框架，并且嵌入步骤9中逻辑重整后的骨干网络ResNet-DD+中，并使用骨干网络ResNet-DD+作为DeepLabV3+的特征提取骨干得到DeepLabV3+-DD+；
步骤11：使用步骤7中得到的训练集中的n×(x+y+z)个影像CT5对加载了预训练权重的DeepLabV3+-DD+进行微调，并且使用步骤7中得到的验证集中的m×(x+y+z)个影像CT5进行测试，收敛后得到最终的权重；
所述微调的过程采用随机梯度下降优化器，初始学习率为0.05，使用余弦退火算法调节学习率，权重衰减为1×10-4，使用单个GPU进行训练，批量大小为16，图像大小为256×256。
在所述迁移学习的过程中得到可以用于心脏分割的最终权重，并进入预测和后处理的过程。所述预测和后处理的过程如图4所示，具体步骤如下：
步骤12、对每个测试的三维CT原始数据实行步骤2到步骤6得到(x+y+z)个影像CT5，使用步骤11中得到的最终权重的DeepLabV3+-DD+分别对x个影像CT5、y个影像CT5、z个影像CT5进行分割并在对应的X、Y、Z轴堆叠得到影像CTX、影像CTY、影像CTZ；
步骤13：对步骤12中得到的影像CTX、影像CTY、影像CTZ的图像进行逐点投票，对最终得到的三个方向上代表心脏图像的像素点进行投票，如果获得一半以上的模型投票，在本发明中即获得2票及以上的模型投票，则认为该像素点可以代表心脏，得到最终的模型。
相对于现有方法，该发明具有更高的分割精度和速度，其各类指标的对比如下表1所示，分割效果如图5所示。
表1本发明与其他模型分割精度对比
Figure BDA0003927906640000051
本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (4)

1.一种结合多视图几何及迁移学习的心脏CT影像分割方法，其特征在于：由数据预处理、迁移学习以及预测和后处理组成；所述数据预处理包含数据集拆分、无关区域剔除、位置嵌入、边界增强以及维度变换，用于得到用于训练和测试网络的数据集；所述迁移学习包含预训练、逻辑重整以及权重微调，用于得到用于心脏分割的最终权重；所述预测和后处理包含推理预测以及逐点投票，用于使用所述最终权重完成对三维CT影像的心脏分割并进一步优化得到最终的心脏模型，具体包括以下步骤：
步骤1、将所有的三维CT影像原数据拆分为训练集和验证集，训练集的数据个数定义为n，验证集的数据个数定义为m；
步骤2、使用ReLU函数将训练集和验证集中像素值小于0的无关区域置0得到影像CT1；
步骤3、对影像CT1实行位置嵌入得到影像CT2；
步骤4、对影像CT2实行边界增强得到影像CT3；
步骤5、对影像CT1、影像CT2、影像CT3均增加一个通道维度并在通道维度进行拼接得到四维的影像CT4；
步骤6、对影像CT4分别按照X，Y，Z三个轴进行切片得到(x+y+z)个三维的影像CT5，其中，x为CT影像原始数据中x轴的维度值，y为CT影像原始数据中y轴的维度值，z为CT影像原始数据中z轴的维度值；
步骤7、对训练集和验证集中每个三维CT影像原数据都实行上述步骤2到6得到n×(x+y+z)个影像CT5和m×(x+y+z)个影像CT5；
步骤8、使用ImageNet数据集对骨干网络ResNet进行预训练得到预训练权重；
步骤9、调整ResNet的网络架构实现对ResNet中的各级残差块输出的特征图进行逻辑重整得到骨干网络ResNet-DD+；
步骤10、构建DeepLabV3+网络框架，并使用骨干网络ResNet-DD+作为DeepLabV3+的特征提取骨干得到DeepLabV3+-DD+；
步骤11、使用n×(x+y+z)个影像CT5对加载了预训练权重的DeepLabV3+-DD+进行微调，并使用m×(x+y+z)个影像CT5进行测试，收敛后得到最终权重；
步骤12、对每个测试的三维CT影像原数据实行步骤2到6得到(x+y+z)个影像CT5，使用加载最终权重的DeepLabV3+-DD+分别对x个影像CT5、y个影像CT5、z个影像CT5进行分割并在对应的X、Y、Z轴堆叠得到影像CTX、影像CTY、影像CTZ；
步骤13、对影像CTX、影像CTY、影像CTZ实行逐点投票法得到最终的心脏模型。
2.根据权利要求1所述一种结合多视图几何及迁移学习的心脏点云分割方法，其特征在于：所述步骤3中，所述位置嵌入采用余弦位置嵌入算法。
3.根据权利要求1所述一种结合多视图几何及迁移学习的心脏点云分割方法，其特征在于：所述步骤4中，所述边界增强采用三维腐蚀和三维膨胀算法。
4.根据权利要求1所述一种结合多视图几何及迁移学习的心脏点云分割方法，其特征在于：所述步骤9中，所述逻辑重整采用Net-DD+架构。
CN202211380668.4A 2022-11-04 2022-11-04 一种结合多视图几何及迁移学习的心脏ct影像分割方法 Pending CN115908451A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211380668.4A CN115908451A (zh) 2022-11-04 2022-11-04 一种结合多视图几何及迁移学习的心脏ct影像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211380668.4A CN115908451A (zh) 2022-11-04 2022-11-04 一种结合多视图几何及迁移学习的心脏ct影像分割方法

Publications (1)

Publication Number Publication Date
CN115908451A true CN115908451A (zh) 2023-04-04

Family

ID=86487133

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211380668.4A Pending CN115908451A (zh) 2022-11-04 2022-11-04 一种结合多视图几何及迁移学习的心脏ct影像分割方法

Country Status (1)

Country Link
CN (1) CN115908451A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116205289A (zh) * 2023-05-05 2023-06-02 海杰亚（北京）医疗器械有限公司 一种动物器官分割模型训练方法、分割方法及相关产品

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116205289A (zh) * 2023-05-05 2023-06-02 海杰亚（北京）医疗器械有限公司 一种动物器官分割模型训练方法、分割方法及相关产品

Similar Documents

Publication Publication Date Title
CN110097550B (zh) 一种基于深度学习的医学图像分割方法及系统
CN108898175B (zh) 基于深度学习胃癌病理切片的计算机辅助模型构建方法
CN110889852B (zh) 基于残差-注意力深度神经网络的肝脏分割方法
CN112465827B (zh) 一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法
CN113077471A (zh) 一种基于u型网络的医学图像分割方法
CN110599500B (zh) 一种基于级联全卷积网络的肝脏ct图像的肿瘤区域分割方法及系统
CN110310287A (zh) 基于神经网络的危及器官自动勾画方法、设备和存储介质
CN110859624A (zh) 一种基于结构磁共振影像的大脑年龄深度学习预测系统
CN114266939B (zh) 一种基于ResTLU-Net模型的脑提取方法
CN114494296A (zh) 一种基于Unet和Transformer相融合的脑部胶质瘤分割方法与系统
CN112634265B (zh) 基于dnn的胰腺全自动分割模型的构建、分割方法及系统
CN109920512B (zh) 一种三维剂量分布网络模型的训练方法及装置
CN114219719A (zh) 基于双重注意力和多尺度特征的cnn医学ct图像去噪方法
CN116228792A (zh) 一种医学图像分割方法、系统及电子装置
CN114972362A (zh) 一种基于RMAU-Net网络的医学图像自动分割方法与系统
CN114596317A (zh) 一种基于深度学习的ct影像全心脏分割方法
CN113160229A (zh) 基于层级监督级联金字塔网络的胰腺分割方法及装置
CN115908451A (zh) 一种结合多视图几何及迁移学习的心脏ct影像分割方法
CN114565601A (zh) 基于DeepLabV3+改进的肝脏CT图像分割算法
CN114862800A (zh) 基于几何一致性约束的半监督医学图像分割方法
CN109215035B (zh) 一种基于深度学习的脑部mri海马体三维分割方法
CN112489048B (zh) 一种基于深度网络的视神经自动分割方法
CN109934796A (zh) 一种基于深度集成学习的器官自动勾画方法
CN112950611A (zh) 一种基于ct图像的肝脏血管分割方法
CN116152060A (zh) 一种双特征融合引导的深度图像超分辨率重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination