CN117808830A - 一种基于医学图像处理的肺栓塞病灶分割方法 - Google Patents
一种基于医学图像处理的肺栓塞病灶分割方法 Download PDFInfo
- Publication number
- CN117808830A CN117808830A CN202311851023.9A CN202311851023A CN117808830A CN 117808830 A CN117808830 A CN 117808830A CN 202311851023 A CN202311851023 A CN 202311851023A CN 117808830 A CN117808830 A CN 117808830A
- Authority
- CN
- China
- Prior art keywords
- convolution
- module
- segmentation
- medical image
- pulmonary embolism
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 208000010378 Pulmonary Embolism Diseases 0.000 title claims abstract description 73
- 230000011218 segmentation Effects 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000012545 processing Methods 0.000 title claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 42
- 238000003709 image segmentation Methods 0.000 claims abstract description 41
- 238000001514 detection method Methods 0.000 claims abstract description 31
- 238000012360 testing method Methods 0.000 claims abstract description 28
- 230000006872 improvement Effects 0.000 claims abstract description 19
- 238000001914 filtration Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 14
- 238000011176 pooling Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 9
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 6
- 230000001965 increasing effect Effects 0.000 claims description 5
- 210000004072 lung Anatomy 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000002591 computed tomography Methods 0.000 description 17
- 230000003902 lesion Effects 0.000 description 16
- 238000013135 deep learning Methods 0.000 description 7
- 238000003745 diagnosis Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 208000000059 Dyspnea Diseases 0.000 description 2
- 206010013975 Dyspnoeas Diseases 0.000 description 2
- 208000007536 Thrombosis Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 210000001147 pulmonary artery Anatomy 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 210000003462 vein Anatomy 0.000 description 2
- 206010008479 Chest Pain Diseases 0.000 description 1
- 206010011224 Cough Diseases 0.000 description 1
- 208000000616 Hemoptysis Diseases 0.000 description 1
- 206010033557 Palpitations Diseases 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 208000013220 shortness of breath Diseases 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 206010042772 syncope Diseases 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及图像分割技术领域,特别是一种基于医学图像处理的肺栓塞病灶分割方法。主旨在于解决传统的医学图像分割技术存在检测时间长、分割效率低、分割轮廓不理想等问题。主要方案包括建立肺栓塞医学图像分割数据集并进行数据划分,数据划分为训练集和测试集;通过SSD检测网络对图像初步处理并裁剪感兴趣区域,保留潜在肺栓塞区域,滤除冗余信息;搭建基于Enet改进的TA‑Enet医学图像分割模型,在Enet的下采样瓶颈模块中引入了Triplet Attention模块,训练基于Enet改进的TA‑Enet医学图像分割模型;使用训练好的TA‑Enet医学图像分割模型对新输入的医学图像进行分割。
Description
技术领域
本发明涉及图像分割技术领域,特别是一种基于医学图像处理的肺栓塞病灶分割方法。
背景技术
肺栓塞是一种严重的医学疾病,通常是由血栓阻塞肺动脉或其分支引起的。这些血栓通常来自身体其他部位的血管,最常见的是来自深静脉的血栓,称为深静脉血栓。一旦这些血栓脱落并随血液流动到肺部,它们可以堵塞肺动脉中的血流,导致肺栓塞。常见的症状包括呼吸急促、胸痛、咳嗽、咳血、心悸、头晕和晕厥。严重的肺栓塞可能导致休克和呼吸困难。通过对CT图像的分析可以评估患者是否患有肺栓塞。
传统图像处理方法在医学图像分割中曾经广泛应用,它们包括阈值分割、区域生长、边缘检测和数学形态学等技术,通常依赖于规则和特征工程。这些方法具有计算速度快和易于理解的优点,但对于复杂的医学图像,如低对比度、噪声和非均匀亮度的情况,表现不尽如人意。
深度学习方法,特别是卷积神经网络(CNN)如全卷积网络(FCN)和U-Net,在医学图像分割中以其端到端学习、上下文信息捕获、适应性和高精度而获得广泛应用。它们不依赖手工规则,能够自动学习特征和分割目标,适应不同类型和尺寸的医学图像。U-Net是一种深度学习架构,广泛用于医学图像分割。它具有U形的网络结构,包括编码器和解码器部分,其中编码器用于捕获图像中的特征,解码器用于生成分割掩码。U-Net的优点在于能够处理小目标和复杂结构的分割任务,且对于医学图像的上下文信息有很好的捕获能力。然而,U-Net仍然面临一些挑战,包括对于大规模医学图像的内存和计算资源需求较高,以及在存在类别不平衡情况下,分割结果可能出现偏差。此外,U-Net的泛化能力受到训练数据多样性的限制,对于少样本情况表现不佳。
肺栓塞的CT(计算机断层扫描)图像呈现出一系列特征,对医学图像分割和诊断构成挑战。首先,肺栓塞通常表现为小型血栓或栓塞物,这些病灶区域相对较小,往往在图像上难以准确分割和定位。其次,与其他医学图像相比,肺栓塞的特征不太明显,因为这些病灶的密度与周围正常肺组织相似。此外,CT图像可能受到噪声的干扰,噪声来源于多种因素,如辐射剂量和扫描条件,使得小病灶的识别变得更加复杂。最后,不同肺栓塞病灶之间可能存在较大的类间差异,有些非常微小,有些则较大,这增加了分割任务的复杂性。因此,肺栓塞CT图像的自动分割和诊断需要借助先进的图像处理和深度学习技术,以提高准确性和可靠性,有助于医生更精确地诊断和治疗肺栓塞患者。
肺栓塞是一种严重的疾病,其CT图像表现出一系列特征,对医学图像分割和诊断构成挑战。具体来说,对现有技术在处理肺栓塞病灶分割问题时存在的困难总结如下:
1、肺栓塞病灶通常比较小,往往在图像上难以准确分割和定位。这给肺栓塞病灶的自动分割带来困难。
2、肺栓塞病灶的特征不太明显,因为这些病灶的密度与周围正常肺组织相似。这使得病灶的自动检测和定位更加复杂。
3、CT图像可能存在噪声干扰,噪声来源复杂,这使得小病灶的识别和定位更加困难。
4、不同肺栓塞病灶之间存在较大的类间差异,有些病灶非常微小,有些则较大,这增加了分割任务的复杂性。
5、现有方法如阈值分割、区域生长等计算速度快但分割效果不佳。U-Net等方法能适应不同类型医学图像但存在内存和计算资源需求高,类别不平衡情况下易出现偏差等问题。
现有方法依赖手工设计特征,计算量大且效果不稳定。
现有技术存在缺陷如下:
1、传统图像分割技术检测时间长、分割效率低,分割轮廓不理想
现有基于阈值、区域生长等传统图像分割技术计算速度快,易于理解,但针对复杂医学图像时效果不佳,尤其是对低对比度、噪声、非均匀亮度等情况,传统方法往往表现不尽如人意,导致分割轮廓不理想,检测时间长,分割效率低。
2、U-Net等传统架构在处理小目标分割时受限
U-Net等传统深度学习架构在处理小目标分割时存在局限性。因为这些架构通常依赖于多次下采样操作,导致空间细节信息可能被丢失,使得小病灶边缘容易模糊或被遗漏。这在肺栓塞图像中导致分割不准确。
3、现有方法依赖手工规则和特征工程
现有基于深度学习的方法如U-Net依赖多次下采样操作,这可能导致空间细节信息丢失。同时这些方法也依赖复杂的手工特征工程,增加了计算量,降低了效率。
4、现有方法对大规模医学图像的内存和计算资源需求高
U-Net等方法对大规模医学图像的内存和计算资源需求较高,不适用于移动端等资源受限的环境。
5、现有方法在类别不平衡情况下存在偏差
U-Net等方法在训练数据类别不平衡的情况下,容易导致分割结果出现偏差,无法很好处理类别间差异大的情况。
6、现有方法泛化能力受限
U-Net等方法泛化能力受限,在处理少样本情况时表现不佳。这在肺栓塞这种少样本疾病的诊断中是一个突出问题。
综上所述,现有技术在解决肺栓塞CT图像自动分割和诊断这一技术问题方面存在明显局限,需要借助更先进的图像处理和深度学习技术来提高准确性和可靠性。本发明针对这些现有技术的不足,提出了一种创新的基于医学图像处理的肺栓塞病灶分割方法。
发明内容
本发明的目的在于解决以下技术问题:
1、传统的医学图像分割技术存在检测时间长、分割效率低、分割轮廓不理想等问题;
2、U-Net等传统医学图像分割架构在处理小目标分割时存在局限性;
3、需要提出一种融合多种技术手段的医学图像处理方法,实现肺栓塞病灶的高效准确分割。
为实现上述目的,本发明采用以下技术手段:
本发明通过提出一种基于医学图像处理的肺栓塞病灶分割方法,包括步骤如下:
步骤1:建立肺栓塞医学图像分割数据集并进行数据划分,数据划分为训练集和测试集;
步骤2:通过SSD检测网络对图像初步处理并裁剪感兴趣区域,保留潜在肺栓塞区域,滤除冗余信息;
步骤3:搭建基于Enet改进的TA-Enet医学图像分割模型,在Enet的下采样瓶颈模块中引入了Triplet Attention模块,这个模块包括三个不同的注意力门,分别用于三个不同维度通道的特征;
三通道的图像数据先通过初始化模块,然后由其处理后依次经过由瓶颈模块构成的五个块,最后通过全卷积模块得到最终的分割结果。
1.初始化模块对三通道的输入图像进行3x3步长为2的卷积提取特征,同时进行2x2步长为2的最大池化进行空间降维,然后将卷积和池化结果在通道维度上拼接,通过批量归一化层进行归一化,最后通过修正的线性单元激活函数进行非线性处理,得到包含输入图像抽象特征表示的输出张量。
2.初始化模块输出的结果首先经过下采样卷积层降低空间分辨率,接着引入了Triplet Attention模块,该模块通过三个不同的注意力分支捕捉全局、细节和上下文信息,提升对图像特征的理解。紧随其后的瓶颈卷积模块通过两个1x1的卷积层和一个3x3的卷积层提取和增强特征表示。这一处理流程在五个块中重复进行,其中第二和第四块还包含了下采样和上采样卷积层,以及混合卷积模块,进一步扩大感受野和丰富特征表示。最终,经过这五个块的处理,初始化模块输出的结果经过一系列的下采样、上采样、空洞卷积、可分离卷积以及1x1和3x3卷积操作,得到了丰富的特征表示,可用于图像分割任务,通过全卷积模块后获得最终的目标结果。
3.通过全卷积模块的处理,多个瓶颈模块输出的特征图将被整合和上采样,生成了最终的分割结果。这个结果的空间分辨率会比输入图像更高,通道数与任务的类别数匹配。
步骤4:训练基于Enet改进的TA-Enet医学图像分割模型;
步骤5:使用训练好的TA-Enet医学图像分割模型对新输入的医学图像进行分割。
上述技术方案中,步骤1所述数据划分采用80%作为训练集,采用20%作为测试集。
上述技术方案中,步骤2具体包括以下步骤:
在训练阶段,使用训练集部分对SSD检测网络训练,从而学会识别和定位感兴趣的区域,在测试阶段,训练得到的SSD检测网络应用于测试集图像上,识别感兴趣的目标区域,通过判断检测网络在测试集上的检测效果,发现能够得到所需要的肺部关键区域,得到最终的SSD检测网络。
在肺栓塞图像分割时,最终的SSD检测网络对肺栓塞图像进行初步处理和感兴趣区域的裁剪肺栓塞图像经过SSD检测网络后,潜在肺栓塞区域得到保留,而其他冗余信息被滤除,这些保留的区域被进一步用于后续分割任务。
上述技术方案中,基于Enet改进的TA-Enet医学图像分割模型具体如下:
具体模型结构包括:
初始化模块:包括一个卷积层、最大池化层、批归一化层和修正线性单元激活函数;初始化模块对三通道的输入图像进行3x3步长为2的卷积提取特征,同时进行2x2步长为2的最大池化进行空间降维,然后将卷积和池化结果在通道维度上拼接,通过批量归一化层进行归一化,最后通过修正的线性单元激活函数进行非线性处理,得到包含输入图像抽象特征表示的输出张量。
多个瓶颈模块,具体包括:
第一个块:
下采样卷积层:通过一个下采样的卷积层降低空间分辨率。
Triplet Attention模块:引入了三个不同的注意力分支,以捕捉图像中的全局、细节和上下文信息,从而提高模型对图像特征的理解和表示能力。
瓶颈卷积模块(两次):每个模块包括两个1x1的卷积层和一个3x3的卷积层,用于提取特征和增强表示。
第二个块:
下采样卷积层:再次通过下采样卷积层降低空间分辨率。
Triplet Attention模块:引入了三个不同的注意力分支,以捕捉图像中的全局、细节和上下文信息,从而提高模型对图像特征的理解和表示能力。
混合卷积模块(两次):每个模块包括两个空洞卷积层和一个可分离卷积,用于更大感受野的信息获取。
第三个块:
混合卷积模块(两次):继续使用混合卷积模块,每个模块包括两个空洞卷积层和一个可分离卷积。
第四个块:
上采样卷积层:通过上采样卷积层增加空间分辨率。
瓶颈卷积模块(两次):每个模块包括两个1x1的卷积层和一个3x3的卷积层,用于进一步处理特征。
第五个块:
上采样卷积层:再次通过上采样卷积层增加空间分辨率。
瓶颈卷积模块(两次):每个模块包括两个1x1的卷积层和一个3x3的卷积层。
每个块的输出都是前一块输出的处理结果,最终通过这五个块的处理,初始化模块输出的结果得到了经过一系列的下采样、上采样、空洞卷积、可分离卷积以及1x1和3x3卷积操作的特征表示,这个结果可用于图像分割,作为输入经过全卷积模块后可得到目标结果。
全卷积模块:一个全卷积层,将最终的特征图转换为所需的输出类别数量。通过全卷积模块的处理,多个瓶颈模块输出的特征图将被整合和上采样,生成了最终的分割结果。这个结果的空间分辨率会比输入图像更高,通道数与任务的类别数匹配。
上述技术方案中,步骤4中训练基于Enet改进的TA-Enet医学图像分割模型,损失函数为Calc loss,优化器为Adam,学习率调度器为余弦退火,经过100个周期后保存模型。
上述技术方案中,采用损失函数为Calc loss,具体为BCE loss与Dice loss之和,公式为:
Calc loss=Dice loss+BCE loss
BCE loss=-wc[yc log pc+(1-yc)log(1-pc)]
其中Wc表示第c个样本的权重,yc表示第c个样本的真实标签,pc表示第c个样本的模型输出。X是模型的二进制分割结果,Y是真实的二进制分割掩码,TP表示模型正确地将正类别样本预测为正类别,FP表示模型错误地将负类别样本预测为正类别,FN表示模型错误地将正类别样本预测为负类别。
本发明提供了一种基于医学图像处理的肺栓塞病灶分割方法,与传统的医学分割方法相比,本发明有以下有益效果,包括:
1、通过本发明步骤2中使用SSD网络初步检测感兴趣区域的技术手段,将其裁剪后再进行分割,解决了CT图像中存在外部噪声干扰的问题,达到了滤除了外部噪声干扰的效果。通过在验证集上测试,得到了2.55%的iou提升和2.45%的dice指标提升;
2、通过本发明步骤3中对Enet网络进行了修改的手段,减去了一些多余的卷积层,这样做一方面降低了模型大小,且能防止过多的卷积层造成模型过拟合。同时鉴于Enet网络的双通道下采样方式,不同下采样之间存在一定差异,这可能导致下采样时的图像信息丢失。通过引入了Triplet Attention机制,加强了网络对不同维度信息的敏感度,缓解了对图像下采样造成的失真问题,提升了网络的性能。通过在验证集上测试,得到了2.85%的iou提升和2.97%的dice指标提升。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍。
图1是本发明的一个实施例的分割方法示意图;
图2是本发明的一个实施例的分割方法的系统框架图;
图3是本发明的一个实施例的改进TA-Enet模型示意图;
图4是本发明的一个实施例的分割方法的Triplet Attention模块;
图5是本发明的一个实施例的分割方法的瓶颈模块;
图6是本发明的一个实施例的分割方法的初始化模块。
具体实施方式
为了使本发明所解决的技术问题、实施的技术方案及其有益效果更加清楚,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
除非特别注明,以下详细说明仅为示例性说明,旨在更详细地描述本申请的内容。本文中使用的所有技术和科学术语具有与该领域中普通技术人员通常理解的相同含义。
有鉴于现有技术的上述缺陷,本发明所要解决的技术问题是传统的图像分割技术检测时间长、分割效率低,分割轮廓不理想;U-Net等传统架构在处理小目标分割时受限,因为它们通常依赖于多次下采样操作,导致空间细节的丢失。这使得U-Net在肺栓塞图像中容易错过或模糊病灶边缘,降低了分割的准确性。本发明提供了一种基于医学图像处理的肺栓塞病灶分割方法,通过摒弃传统方法中的人工特征工程,我们的方法使用SSD网络预先进行检测,这减少了外部的噪声干扰,同时我们在Enet网络中引入了Triplet Attention,这能够更好地适应肺栓塞区域的特殊性,包括小型病灶、特征不明显。我们的方法采用了深度学习技术,具备更强的特征学习和表示能力,在保持高准确性的同时提高了分割效率。
为实现上述目的,本发明提供了一种基于医学图像处理的肺栓塞病灶分割方法,包括以下步骤:
步骤1:建立肺栓塞医学图像分割数据集并进行数据划分,具体而言,数据集由医院专业医生提供,数据划分采用80%作为训练集,采用20%作为测试集。训练数据集用于训练模型,测试数据集用于评估模型的性能;
步骤2:通过SSD检测网络对图像初步处理并裁剪感兴趣区域,在训练过程中,首先,使用肺栓塞训练集部分对SSD网络进行训练,使其学会识别和定位感兴趣的区域。在测试阶段,将训练好的SSD网络应用于新的图像上,识别感兴趣的目标区域。在肺栓塞图像分割时,我们会将测试集作为输入,通过SSD进行初步处理和感兴趣区域的裁剪。这样,SSD通过训练集进行了模型训练,能够在测试集上提供有针对性的目标检测,有助于分割模型更精确地处理感兴趣区域,提高了肺栓塞图像分割的准确性和效率;
步骤3:搭建基于Enet改进的TA-Enet医学图像分割模型,具体而言,在Enet原有的下采样瓶颈模块中引入了Triplet Attention模块,这个模块包括三个不同的注意力门,分别用于三个不同维度通道的特征,加强了其感兴趣区域的信息。此外,全卷积模块将最终的特征图转换为所需的输出类别数量;
步骤4:训练基于Enet改进的TA-Enet医学图像分割模型,采用常规的图像增强方法,将输入图像通过随机旋转、翻转与归一化后,输入到TA-Enet网络进行训练。这样能够对训练数据进行扩展,以增加模型的泛化性。损失函数为Calc loss,优化器为Adam,学习率调度器为余弦退火,经过100个周期后保存模型;
步骤5:使用训练好的TA-Enet医学图像分割模型对新输入的医学图像进行分割,新的肺栓塞CT图像先由SSD网络处理后裁剪,经过归一化后输入到步骤4中训练好的TA-Enet模型中,得出分割结果。具体的为具体如下:在新的一轮分割任务中,首先需要对新输入的医学图像进行预处理,包括随机旋转、翻转和归一化等操作,以增加模型的泛化性。然后,将预处理后的图像作为输入,输入到训练好的基于Enet改进的TA-Enet医学图像分割模型中进行分割。。
通过上述步骤,本发明提供了一种基于医学图像处理的肺栓塞病灶分割方法,通过融合SSD初步处理和TA-Enet分割模型,显著提高了肺栓塞图像分析的效率和准确性。通过测试集的验证,相较于原始的Enet网络,得到了4.96%的iou提升和4.91%的dice指标提升。与U-Net相比,iou和dice系数分别提高了7.02%和6.7%。这一技术创新在医学图像处理领域具有广泛应用前景,为肺栓塞的快速诊断和病灶分析提供了一项重要工具,有望大幅提高医疗影像分析的效率和精确性。
步骤2所述具体操作为:
在训练过程中,首先,使用肺栓塞训练集部分对SSD网络训练,从而学会识别和定位感兴趣的区域。在测试阶段,SSD通过将其训练好的模型应用于新的图像上,识别感兴趣的目标区域。在肺栓塞图像分割时,我们会将测试集作为输入,通过SSD进行初步处理和感兴趣区域的裁剪。这样,测试集的图像经过SSD检测后,潜在肺栓塞区域得到保留,而其他冗余信息被滤除,这些保留的区域被进一步用于后续分割任务。通过这种方式,SSD通过训练集进行了模型训练,能够在测试集上提供有针对性的目标检测,有助于分割模型更精确地处理感兴趣区域,提高了肺栓塞图像分割的准确性和效率。
步骤3具体改进为:
在Enet原有的下采样瓶颈模块中引入了Triplet Attemion模块,这个模块包括三个不同的注意力门,分别用于三个不同维度通道的特征,加强了其感兴趣区域的信息。
具体模型结构包括:
初始化模块:包括一个卷积层、最大池化层、批归一化层和修正线性单元(ReLU)激活函数。
多个瓶颈模块:第一个块,包括一个下采样的卷积层,和2个瓶颈卷积模块,每个模块包括2个1x1卷积层和一个3x3卷积。第二个块,包括一个下采样的卷积层,和2个混合卷积模块,每个模块包括两个空洞卷积层和一个可分离卷积。第三个块,包括2个混合卷积模块,每个模块包括两个空洞卷积层和一个可分离卷积。第四个块,包括一个上采样的卷积层,和2个瓶颈卷积模块,每个模块包括2个1x1卷积层和一个3x3卷积。第五个块,包括一个上采样的卷积层,和2个瓶颈卷积模块,每个模块包括2个1x1卷积层和一个3x3卷积。
全卷积模块:一个全卷积层,将最终的特征图转换为所需的输出类别数量。
三通道的图像数据先通过初始化模块,然后由其处理后依次经过由瓶颈模块构成的五个块,最后通过全卷积模块得到最终的分割结果。
步骤4具体为:
采用常规的图像增强方法,将输入图像通过随机旋转、翻转与归一化后,输入到TA-Enet网络进行训练训练。这样能够对训练数据进行扩展,以增加模型的泛化性。损失函数为Calc loss,优化器为Adam,学习率调度器为余弦退火,经过100个周期后保存模型。
步骤5具体为:
将新的肺栓塞CT图像先由SSD网络处理后裁剪,经过归一化后输入到步骤4中训练好的TA-Enet模型中,得出分割结果。
实施例
本发明提供以下技术方案:首先,采用SSD模型进行初步检测,识别出感兴趣的病灶区域,然后使用裁剪技术减少图像处理的区域。接着,我们对Enet网络进行了精简和改进,引入了Triplet Attention模块,以更好地捕获医学图像的语义信息,特别是在病灶较小、特征不明显或噪声干扰较大的情况下同时,在下采样过程中记录最大值位置,然后在上采样阶段利用这些位置信息,有助于保持图像的空间细节,提高了分割的精度。综上所述,我们的方法将SSD检测和改进的Enet网络改相结合,以实现对肺栓塞病灶的高效准确分割,适用于医学图像处理领域。具体包括以下步骤:
获取待处理的肺栓塞CT图像,对待处理的肺栓塞CT图像进行预处理;
将数据划分为训练集和测试集,其中80%的数据作为训练集,20%数据作为测试集。
训练SSD检测网络,对训练集图片进行感兴趣区域选择,用于SSD网络训练。其中损失函数选择BCE loss,优化器选择Adam。
通过训练好的SSD网络进行初步检测,将CT图像经过SSD网络后,通过预测位置进行裁剪感兴趣区域。
将训练集输入到如图3所示的改进TA-Enet模型进行训练。先对图像进行随机旋转、翻转与归一化,以提升模型泛化性。采用损失函数为Calc loss,具体为BCE loss与Diceloss之和,公式为:
Calc loss=Dice loss+BCE loss
BCE loss=-wc[yclog pc+(1-yc)log(1-pc)]
采用Adam优化器进行迭代,学习率设置为1e-3,weight decay设置为1e-3,batchsize为4,训练周期为100个epoch。
如图2所示,将训练好后的模型用于测试集进行检测,测试图片先通过SSD网络初步预测并裁剪,裁剪后的部分放置于256x256大小mask中央,然后将其进行归一化后输入训练好的改进的TA-Enet模型进行分割,得到肺栓塞分割结果图。
综上所述,本发明提供了一种基于医学图像处理的肺栓塞病灶分割技术,通过融合SSD初步处理和TA-Enet分割模型,显著提高了肺栓塞图像分析的效率和准确性。通过测试集的验证,相较于原始的Enet网络,得到了4.96%的iou提升和4.91%的dice指标提升。与U-Net相比,iou和dice系数分别提高了7.02%和6.7%。首先,通过SSD检测网络,实现对感兴趣区域的自动裁剪,避免了繁琐的手动区域选择;其次,TA-Enet分割模型的引入,不仅高效地进行了分割,还通过Triplet Attention模块增强了网络对不同维度信息的敏感度,缓解了对图像下采样造成的失真问题,提升了网络的性能。特别是对小型病灶和特征不明显的情况具有出色的适应能力。这一技术创新在医学图像处理领域具有广泛应用前景,为肺栓塞的快速诊断和病灶分析提供了一项重要工具,有望大幅提高医疗影像分析的效率和精确性。
Claims (6)
1.一种基于医学图像处理的肺栓塞病灶分割方法,其特征在于,包括步骤如下:
步骤1:建立肺栓塞医学图像分割数据集并进行数据划分,数据划分为训练集和测试集;
步骤2:通过SSD检测网络对图像初步处理并裁剪感兴趣区域,保留潜在肺栓塞区域,滤除冗余信息;
步骤3:搭建基于Enet改进的TA-Enet医学图像分割模型,在Enet的下采样瓶颈模块中引入了Triplet Attention模块,Triplet Attention模块包括三个不同的注意力门,分别用于三个不同维度通道的特征;
步骤4:训练基于Enet改进的TA-Enet医学图像分割模型;
步骤5:使用训练好的TA-Enet医学图像分割模型对新输入的医学图像进行分割。
2.根据权利要求1所述的一种基于医学图像处理的肺栓塞病灶分割方法,其特征在于,步骤1所述数据划分采用80%作为训练集,采用20%作为测试集。
3.根据权利要求1所述的一种基于医学图像处理的肺栓塞病灶分割方法,其特征在于,步骤2具体包括以下步骤:
在训练阶段,使用训练集部分对SSD检测网络训练,从而学会识别和定位感兴趣的区域,在测试阶段,训练得到的SSD检测网络应用于测试集图像上,识别感兴趣的目标区域,通过判断检测网络在测试集上的检测效果,得到所需要的肺部关键区域,得到最终的SSD检测网络;
在肺栓塞图像分割时,最终的SSD检测网络对肺栓塞图像进行初步处理和感兴趣区域的裁剪,肺栓塞图像经过SSD检测网络后,潜在肺栓塞区域得到保留,而其他冗余信息被滤除,这些保留的区域被进一步用于后续分割任务。
4.根据权利要求1所述的一种基于医学图像处理的肺栓塞病灶分割方法,其特征在于,基于Enet改进的TA-Enet医学图像分割模型具体包括如下:
初始化模块:包括一个卷积层、最大池化层、批归一化层和修正线性单元激活函数;初始化模块对三通道的输入图像进行3x3步长为2的卷积提取特征,同时进行2x2步长为2的最大池化进行空间降维,然后将卷积和池化结果在通道维度上拼接,通过批量归一化层进行归一化,最后通过修正的线性单元激活函数进行非线性处理,得到包含输入图像抽象特征表示的输出张量;
多个瓶颈模块,具体包括:
第一个块:
下采样卷积层:初始化模块输出的结果通过一个下采样的卷积层降低空间分辨率;
Triplet Attention模块:引入了三个不同的注意力分支,以捕捉图像中的全局、细节和上下文信息,从而提高模型对图像特征的理解和表示能力;
瓶颈卷积模块:每个模块包括两个1x1的卷积层和一个3x3的卷积层,用于提取特征和增强表示;
第二个块:
下采样卷积层:再次通过下采样卷积层降低空间分辨率;
Triplet Attention模块:引入了三个不同的注意力分支,以捕捉图像中的全局、细节和上下文信息,从而提高模型对图像特征的理解和表示能力;
混合卷积模块:每个模块包括两个空洞卷积层和一个可分离卷积,用于更大感受野的信息获取;
第三个块:
混合卷积模块:继续使用混合卷积模块,每个模块包括两个空洞卷积层和一个可分离卷积;
第四个块:
上采样卷积层:通过上采样卷积层增加空间分辨率;
瓶颈卷积模块:每个模块包括两个1x1的卷积层和一个3x3的卷积层,用于进一步处理特征;
第五个块:
上采样卷积层:再次通过上采样卷积层增加空间分辨率;
瓶颈卷积模块:每个模块包括两个1x1的卷积层和一个3x3的卷积层。
每个块的输出都是前一块输出的处理结果,最终通过这五个块的处理,初始化模块输出的结果得到了经过一系列的下采样、上采样、空洞卷积、可分离卷积以及1x1和3x3卷积操作的特征表示,这个结果用于图像分割,作为输入经过全卷积模块后可得到目标结果;
全卷积模块:一个全卷积层,将最终的特征图转换为所需的输出类别数量,通过全卷积模块的处理,多个瓶颈模块输出的特征图将被整合和上采样,生成了最终的分割结果,这个结果的空间分辨率会比输入图像更高,通道数与任务的类别数匹配。
5.根据权利要求1所述的一种基于医学图像处理的肺栓塞病灶分割方法,其特征在于,步骤4中训练基于Enet改进的TA-Enet医学图像分割模型,损失函数为Calc loss,优化器为Adam,学习率调度器为余弦退火,经过100个周期后保存模型。
6.根据权利要求5所述的一种基于医学图像处理的肺栓塞病灶分割方法,其特征在于,采用损失函数为Calc loss,具体为BCE loss与Dice loss之和,公式为:
Calc loss=Dice loss+BCE loss
BCE loss=-wc[yclog pc+(1-yc)log(1-Pc)]
其中Wc表示第c个样本的权重,yc表示第c个样本的真实标签,pc表示第c个样本的模型输出,X是模型的二进制分割结果,Y是真实的二进制分割掩码,TP表示模型正确地将正类别样本预测为正类别,FP表示模型错误地将负类别样本预测为正类别,FN表示模型错误地将正类别样本预测为负类别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311851023.9A CN117808830A (zh) | 2023-12-28 | 2023-12-28 | 一种基于医学图像处理的肺栓塞病灶分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311851023.9A CN117808830A (zh) | 2023-12-28 | 2023-12-28 | 一种基于医学图像处理的肺栓塞病灶分割方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117808830A true CN117808830A (zh) | 2024-04-02 |
Family
ID=90426476
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311851023.9A Pending CN117808830A (zh) | 2023-12-28 | 2023-12-28 | 一种基于医学图像处理的肺栓塞病灶分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117808830A (zh) |
-
2023
- 2023-12-28 CN CN202311851023.9A patent/CN117808830A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110751636B (zh) | 一种基于改进型编解码网络的眼底图像视网膜动脉硬化检测方法 | |
US11783488B2 (en) | Method and device of extracting label in medical image | |
CN117078671B (zh) | 一种甲状腺超声影像智能分析系统 | |
CN116681679A (zh) | 基于双分支特征融合注意的医学图像小目标分割方法 | |
CN110674824A (zh) | 基于R2U-Net的手指静脉分割方法、装置和存储介质 | |
CN112102259A (zh) | 一种基于边界引导深度学习的图像分割算法 | |
CN111340780B (zh) | 一种基于三维超声图像的病灶检测方法 | |
Zhao et al. | Attention residual convolution neural network based on U-net (AttentionResU-Net) for retina vessel segmentation | |
CN113159223A (zh) | 一种基于自监督学习的颈动脉超声图像识别方法 | |
Huang et al. | Automatic Retinal Vessel Segmentation Based on an Improved U‐Net Approach | |
CN113539402B (zh) | 多模态影像自动勾画模型迁移方法 | |
CN113506274A (zh) | 基于视觉显著性差异图的用于人体认知状况的检测系统 | |
CN117409002A (zh) | 一种用于创伤的视觉识别检测系统及其检测方法 | |
CN112396565A (zh) | 静脉穿刺机器人的图像及视频血管增强与分割方法和系统 | |
CN117808830A (zh) | 一种基于医学图像处理的肺栓塞病灶分割方法 | |
CN116091458A (zh) | 一种基于互补注意力的胰腺图像分割方法 | |
CN113192089B (zh) | 一种用于图像分割的双向交叉连接的卷积神经网络 | |
CN112242193B (zh) | 一种基于深度学习的自动血管穿刺方法 | |
WO2022227193A1 (zh) | 肝脏区域分割方法、装置、电子设备及存储介质 | |
CN115661185A (zh) | 一种眼底图像血管分割方法及系统 | |
CN111275719B (zh) | 钙化假阳识别及其模型训练的方法、装置、终端及介质 | |
CN115908224A (zh) | 目标检测模型的训练方法、目标检测方法和训练装置 | |
Ashame et al. | Abnormality Detection in Eye Fundus Retina | |
Berezansky et al. | Segmentation and tracking of human sperm cells using spatio-temporal representation and clustering | |
CN113222989A (zh) | 一种图像分级方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |