CN117746045B - 一种Transformer和卷积融合的医学图像分割方法及系统 - Google Patents

一种Transformer和卷积融合的医学图像分割方法及系统 Download PDF

Info

Publication number
CN117746045B
CN117746045B CN202410175434.9A CN202410175434A CN117746045B CN 117746045 B CN117746045 B CN 117746045B CN 202410175434 A CN202410175434 A CN 202410175434A CN 117746045 B CN117746045 B CN 117746045B
Authority
CN
China
Prior art keywords
medical image
loss function
features
transducer
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410175434.9A
Other languages
English (en)
Other versions
CN117746045A (zh
Inventor
万欢
魏欣
孙佳成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Normal University
Original Assignee
Jiangxi Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Normal University filed Critical Jiangxi Normal University
Priority to CN202410175434.9A priority Critical patent/CN117746045B/zh
Publication of CN117746045A publication Critical patent/CN117746045A/zh
Application granted granted Critical
Publication of CN117746045B publication Critical patent/CN117746045B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种Transformer和卷积融合的医学图像分割方法及系统，该方法包括：首先获取医学图像数据并对医学图像数据数据预处理形成数据集，再将数据集输入构建的Transformer和卷积神经网络结合的多尺度医学图像分割模型进行训练，再通过由Dice损失函数、二分类交叉熵损失函数和基于Tversky的适当约束损失函数综合而成的混合损失函数，根据所述混合损失函数得到优化模型，利用该优化模型对待测医学图像测试集进行预测，以得到预测结果。该方法能够解决基于卷积神经网络的方法和基于Transformer的方法都无法同时关注到图像的全局特征和局部细节特征，以及由于医学图像数据集存在遮掩部分，导致图像分割中存在的过拟合问题。

Description

一种Transformer和卷积融合的医学图像分割方法及系统
技术领域
本申请涉及医学图像分割技术领域，特别涉及一种Transformer和卷积融合的医学图像分割方法及系统。
背景技术
医学图像分割技术在当今的医疗领域具有重要意义，然而传统的医学图像分割方法主要基于手工特征来执行分割任务，这些方法需要大量的劳动力投入，并且可能导致误判或过度分割。近年来，随着深度学习的兴起，基于深度学习的方法在医学图像上的分割性能令人印象深刻，可以很好地辅助医生帮助患者进行检测及诊断。这些基于深度学习的医学图像分割方法可以分为两类：基于卷积神经网络的方法和基于Transformer的方法。
相比于传统分割方法，基于深度学习的方法可以通过构造模型自动学习图像中的各种特征，从而准确分割出图像的病灶区域。随着卷积神经网络的快速崛起，为医学图像分割领域提供了技术帮助。其中，U-Net是最流行的基于卷积神经网络的医学图像分割网络之一，它包括编码路径和解码路径。具体来说，编码路径由多个卷积层和池化层组成，用于提取不同尺度的输入图像的特征。这些特征被传递到由多个反卷积和上采样层组成的解码器，以将特征映射回原始图像的大小，并进行最后的图像分割。为了避免下采样时丢失有意义的信息，U-Net还引入了跳跃连接，将不同尺度的特征直接传递给解码器，来学习相应编码路径阶段的相关特征。U-Net实现了当时最先进的(SOTA)性能。因此后来也提出了许多U-Net变体，包括U-Net++、R2UNet、ConvLSTM U-Net等。Transformer最初被提出作为自然语言处理（NLP）中的自下而上的模型架构，它在图像分类任务中取得了优异的性能。与卷积神经网络方法相比，Transformer的权重参数不是在内核中训练来提取和混合感受野中元素之间的特征，而是通过图像分块向量之间的点积运算获得所有图像分块对之间的相似度，以自动提取和混合特征所有图像分块之间，它使Transformer具有更有效的全局感受野，并减少模型的归纳偏差。
然而，基于卷积神经网络的方法本质上过多关注局部细节，很容易受到噪声的影响，忽略有意义的全局信息，并且由于卷积神经网络这种内在局限性，基于卷积神经网络的方法缺乏建模长距离依赖关系的能力。基于Transformer的方法缺乏卷积神经网络固有的一些归纳偏差，因此需要大量的数据训练才能达到更好的性能，容易出现过拟合、欠分割的问题，不能完全满足医学应用对分割精度的严格要求。因此，基于卷积神经网络的方法和基于Transformer的方法都无法同时关注到图像的全局特征和局部细节特征，以及由于医学图像数据集存在遮掩部分，导致图像分割存在过拟合问题。
发明内容
基于此，本申请提出一种Transformer和卷积融合的医学图像分割方法及系统，旨在能够解决基于卷积神经网络的方法和基于Transformer的方法都无法同时关注到图像的全局特征和局部细节特征，以及由于医学图像数据集存在遮掩部分，导致图像分割存在过拟合问题。
实施例的第一方面提供了一种Transformer和卷积融合的医学图像分割方法，包括：
获取医学图像数据集，并对所述医学图像数据集进行预处理，所述预处理包括数据增强操作；
构建基于Transformer和卷积神经网络结合的多尺度医学图像分割模型，所述多尺度医学图像分割模型包括图像编码器和图像解码器；
在所述图像编码器中使用基于Transformer的架构，以使网络关注全局特征；
在所述图像解码器中采用具有3个分支的条状局部增强模块来捕获增强的局部特征，使用渐进式特征融合模块来融合分层局部Transformer，以消除高层特征与低层特征的特征间隙；
构建混合损失函数,所述混合损失函数包括Dice损失函数、二分类交叉熵损失函数和基于Tversky的适当约束损失函数，并使用所述预处理后的医学图像数据集对所述多尺度医学图像分割模型进行训练，根据所述混合损失函数得到最优模型；
使用训练好的所述最优模型对待测医学图像测试集进行预测，以得到预测结果。
作为第一方面的一种可选实施方式，所述获取医学图像数据集，并对所述医学图像数据集进行预处理，所述预处理包括数据增强操作的步骤包括：
采用结肠息肉像素级分割的内窥镜图像数据集作为所述医学图像数据集，对病变区域进行标记；
采用随机翻转、缩放、旋转以及随机膨胀和腐蚀作为数据增强操作。
作为第一方面的一种可选实施方式，所述在图像编码器中使用基于Transformer的架构，以使网络关注全局特征的步骤包括：
在图像编码器中使用基于Transformer的架构时采用金字塔Transformer编码器来学习图像特征。
作为第一方面的一种可选实施方式，所述在所述图像解码器中采用具有3个分支的条状局部增强模块来捕获增强的局部特征的步骤包括：
分支1和分支2分别学习水平和垂直方向的局部特征以获取语义信息，分支3用于增加图像分块及其周围分块的宏观权重。
作为第一方面的一种可选实施方式，所述使用渐进式特征融合模块来融合分层局部Transformer，以消除高层特征与低层特征的特征间隙的步骤包括：
在特征融合模块使用渐进式特征融合结构时，具体结构为从上到下融合Transformer中4个不同层次的特征，由线性融合层和特征融合层组成，以消除高层特征与低层特征的特征间隙。
作为第一方面的一种可选实施方式，所述构建混合损失函数的步骤包括：
所述混合损失函数CL计算公式为：
；
DL是Dice损失函数，具体的计算公式为：
，
其中，n表示类别数，i表示第i个类别，pi表示第i个类别的预测标签值，yi表示第i个类别的真实标签值；
BCEL是二分类交叉熵损失函数，具体的计算公式为：
；
TL是基于Tversky的适当约束损失函数，具体的计算公式为：
，
其中，FP为假阳性，FN为假阴性，TP为真阳性，α、β、γ为超参数。
作为第一方面的一种可选实施方式，所述使用训练好的所述最优模型对待测医学图像测试集进行预测，以得到预测结果的步骤包括：
采用Dice相似度系数DSC和交并比IoU作为性能评价指标定量评估模型所述的分割结果，Dice相似度系数DSC是计算模型得到的分割区域与标签的真实分割区域之间的重叠程度，范围是[0,1]，Dice相似度系数DSC的定义公式为：
，
其中，pi表示第i个类别的预测标签值，yi表示第i个类别的真实标签值;
交并比IoU计算的是预测分割的边框和真实的边框的交叠率，即预测分割的边框和真实的边框的交集和并集的比值，范围是[0,1]，交并比IoU的定义公式为：
，
其中，FP为假阳性，FN为假阴性，TP为真阳性。
本申请实施例的第二方面提供了一种Transformer和卷积融合的医学图像分割系统，包括：
获取数据模块，用于获取医学图像数据集，并对所述医学图像数据集进行预处理，所述预处理包括数据增强操作；
构建模型模块，用于构建基于Transformer和卷积神经网络结合的多尺度医学图像分割模型，所述多尺度医学图像分割模型包括图像编码器和图像解码器；在所述图像编码器中使用基于Transformer的架构，以使网络关注全局特征；在所述图像解码器中采用具有3个分支的条状局部增强模块来捕获增强的局部特征，使用渐进式特征融合模块来融合分层局部Transformer，以消除高层特征与低层特征的特征间隙；
训练模型模块，用于构建混合损失函数,所述混合损失函数包括Dice损失函数、二分类交叉熵损失函数和基于Tversky的适当约束损失函数，并使用所述预处理后的医学图像数据集对所述多尺度医学图像分割模型进行训练，根据所述混合损失函数得到最优模型；
分割预测模块，用于使用训练好的所述最优模型对待测医学图像测试集进行预测，以得到预测结果。
本申请实施例的第三方面提供了一种计算机设备，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像处理程序，所述图像处理程序被所述处理器执行时实现上述医学图像分割方法。
本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有图像处理程序，所述图像处理程序被处理器运行时执行上述医学图像分割方法。
与现有技术相比，本申请提供的一种Transformer和卷积融合的医学图像分割方法，首先获取医学图像数据并对医学图像数据数据预处理形成数据集，再将数据集输入构建的Transformer和卷积神经网络结合的多尺度医学图像分割模型进行训练，通过所述医学图像分割模型中的图像编码器基于Transformer架构捕获图像的全局特征，以及通过所述医学图像分割模型中的图像解码器的条状局部增强模块捕获增强的图像局部特征,还能够消除高层特征与低层特征的特征间隙，使得所述医学图像分割模型具有良好的捕获全局特征和多尺度特征处理能力；再通过由Dice损失函数、二分类交叉熵损失函数和基于Tversky的适当约束损失函数综合而成的混合损失函数，再利用所述混合损失函数优化训练上述构建的医学图像分割模型，以防止图像分割时容易出现过拟合、欠分割的问题。由此，本申请提出的所述方法及系统，能够解决基于卷积神经网络的方法和基于Transformer的方法都无法同时关注到图像的全局特征和局部细节特征，以及由于医学图像数据集存在遮掩部分，导致图像分割中存在过拟合问题。
本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实施例了解到。
附图说明
图1为本申请一实施例提出的一种Transformer和卷积融合的医学图像分割方法的流程图；
图2为本申请一实施例提出的一种Transformer和卷积融合的医学图像分割方法的多尺度医学图像分割模型图；
图3为本申请一实施例提出的一种Transformer和卷积融合的医学图像分割方法的条状局部增强模块示意图；
图4为本申请一实施例提出的一种Transformer和卷积融合的医学图像分割系统的结构示意图。
如下具体实施方式将结合上述附图进一步说明本申请。
具体实施方式
为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的若干个实施例。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本申请的公开内容更加透彻全面。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。
为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。
请参阅图1，所示为本申请一实施例提出的一种Transformer和卷积融合的医学图像分割方法的流程图，详述如下：
步骤S1: 获取医学图像数据集，并对所述医学图像数据集进行预处理，所述预处理包括数据增强操作。
示例地，采用国际医学图像计算和计算机辅助干预会议2022提供的结肠息肉像素级分割的内窥镜图像数据集作为所述医学图像数据集，对病变区域进行标记。
在数据集预处理阶段，对结肠息肉数据进行预处理，去除数据中的噪音信号。首先，对数据进行预处理，采用随机翻转、缩放、旋转以及随机膨胀和腐蚀作为数据增强操作。随后，将原始的图像大小重塑为352×352的大小。
步骤S2：构建基于Transformer和卷积神经网络结合的多尺度医学图像分割模型，所述多尺度医学图像分割模型包括图像编码器和图像解码器。
具体地，如图2所示，为本申请一实施例提出的一种Transformer和卷积融合的医学图像分割方法的多尺度医学图像分割模型图；
在图像编码器中使用基于Transformer的架构，以使网络关注全局特征；
在图像解码器中采用条状局部增强模块来捕获增强的局部特征；
在图像解码器中使用渐进式特征融合模块来融合分层局部Transformer，以消除高层特征与低层特征的特征间隙。
进一步地，在图像编码器中使用基于Transformer的架构，就是在编码器中取消常用的通过单独卷积来学习图像特征，而是采用金字塔Transformer编码器，具有良好的捕获全局特征和多尺度特征处理能力。
如图2所示，在第一阶段，给定大小为H×W×C的输入图像，首先将其分为（W/4）×（H/4）×C个图像分块，然后，将展平的图像分块输入Transformer编码器阶段2获得大小为（W/8）×（H/8）×C的嵌入图像分块。之后，嵌入的图像分块通过具有不同参数设置下的Transformer编码器阶段3，并将输出重塑成大小为（W/16）×（H/16）×C的特征图。同样，使用前一阶段的特征图作为输入，通过Transformer编码器阶段4得到之后（W/32）×（H/32）×C的特征图。其中，H、W、C分别表示图像的高度、宽度和通道数。
编码器层由空间缩减注意力层和前馈层组成。空间缩减注意力层接收查询Q、键K和值V作为输入，并输出细化的特征，在多头注意力操作之前减少了K和V的空间尺度，以此来减少计算内存开销。
进一步地，在图像解码器中采用条状局部增强模块来捕获增强的局部特征。如图3所示，为条状局部增强模块示意图，条状局部增强模块由三个分支组成，其中分支1和分支2学习水平和垂直方向的局部特征以获取语义信息。分支3用于增加查询图像分块周围图像分块的宏观权重。最后，将这三个分支结合起来，将注意力重新集中在相邻特征上，减少干扰，增加相邻斑块与中心斑块的相关权重，达到强调每个斑块局部特征的目的。Transformer对每个图像分块执行自注意力操作，以混合来自其他图像分块的信息，而不管它们的实际相关性如何。随着自注意力操作的重复，特征图中的值变化不大趋于稳定，从而加剧注意力分散和注意力崩溃。因此，采用条状局部增强模块来捕获增强的局部特征有利于学习到图像的局部细节特征，帮助模型进一步提高分割精度。
进一步地，在图像解码器中使用渐进式特征融合模块来融合分层局部Transformer，具体结构为从上到下融合Transformer中4个不同层次的特征，由线性融合层和特征融合层组成,以此来消除高层特征与低层特征的特征间隙。
步骤S3：构建混合损失函数,所述混合损失函数包括Dice损失函数、二分类交叉熵损失函数和基于Tversky的适当约束损失函数，并使用所述预处理后的医学图像数据集对所述多尺度医学图像分割模型进行训练，根据所述混合损失函数得到最优模型。
需要说明的是，Dice损失函数对假阳性和假阴性的权重相同，二分类交叉熵损失函数仅仅是单独评估每个像素类的矢量预测，然后对所有像素求平均值，病变区域和非病变区域像素被平等学习。而基于Tversky指数的损失函数对假阳性和假阴性的权重不同，这可以在精确度和召回率之间取得更好的平衡。因此，使用二分类交叉熵损失、Dice损失和基于Tversky的适当约束损失的混合损失函数能够有效的平衡医学图像的病变区域与非病变区域。
具体地，所述混合损失函数CL计算公式为：
；
DL是Dice损失函数，具体的计算公式为：
，
其中，n表示类别数，i表示第i个类别，pi表示第i个类别的预测标签值，yi表示第i个类别的真实标签值；
BCEL是二分类交叉熵损失函数，具体的计算公式为：
；
TL是基于Tversky的适当约束损失函数，具体的计算公式为：
，
其中，FP为假阳性，FN为假阴性，TP为真阳性，α、β、γ为超参数。
步骤S4：使用训练好的所述最优模型对医学图像测试集进行预测，以得到预测结果。
具体地，采用Dice相似度系数和交并比IoU作为性能评价指标定量评估模型所述的分割结果，Dice相似度系数是计算模型得到的分割区域与标签的真实分割区域之间的重叠程度，范围是[0,1]，值越大说明分割结果与标注结果越接近，分割效果越好，Dice相似度系数DSC的定义公式为：
;
交并比IoU计算的是预测分割的边框和真实的边框的交叠率，即预测分割的边框和真实的边框的交集和并集的比值，范围是[0,1]，值越大说明分割结果与标注结果越接近，分割效果越好，交并比IoU的定义公式为：
。
综上，本申请提供的一种Transformer和卷积融合的医学图像分割方法，首先获取医学图像数据并对医学图像数据预处理形成数据集，再将数据集输入构建的Transformer和卷积神经网络结合的多尺度医学图像分割模型进行训练，通过所述医学图像分割模型中的图像编码器基于Transformer架构捕获图像的全局特征，以及通过所述医学图像分割模型中的图像解码器的条状局部增强模块捕获增强的图像局部特征,还能够消除高层特征与低层特征的特征间隙，使得所述医学图像分割模型具有良好的捕获全局特征和多尺度特征处理能力；再通过由Dice损失函数、二分类交叉熵损失函数和基于Tversky的适当约束损失函数综合而成的混合损失函数，再利用所述混合损失函数优化训练上述构建的医学图像分割模型，以防止图像分割时容易出现过拟合、欠分割的问题。由此，本申请提出的所述方法及系统，能够解决基于卷积神经网络的方法和基于Transformer的方法都无法同时关注到图像的全局特征和局部细节特征，以及由于医学图像数据集存在遮掩部分，导致图像分割中存在的过拟合问题。
以下为本申请一对比例提出的一种Transformer和卷积融合的医学图像分割方法的实验流程，具体步骤如下：
步骤S01：将本方法和对比方法在CVC-ClinicDB、Kvasir-SEG、ISIC-2018数据集上训练和测试，以证实本方法的有效性。
使用国际医学图像计算和计算机辅助干预会议2022提供的结肠息肉像素级分割的内窥镜图像数据集，从1000张尺寸大小为622×528的Kvasir-SEG数据集随机挑选900张图像作为训练集，剩下的100张图像作为测试集；从612张尺寸大小为384×288的CVC-ClinicDB数据集随机挑选551张图像作为训练集，剩下的61张图像作为测试集；从2694张尺寸大小不一的ISIC-2018数据集随机挑选2594张图像作为训练集，剩下的100张图像作为测试集。
表1 本方法和对比方法在CVC-ClinicDB、Kvasir-SEG、ISIC-2018数据集上训练和测试所得到的mDice和mIoU
需要说明的是，对比方法U-Net、U-Net++、Deeplabv3+、SSformer-S和SSformer-L均为现有方法。
BCL-Former-S表示为本方法采用2B网络作为编码器的一种标准版本，BCL-Former-L表示为本方法采用4B网络作为编码器的一种增强版本。
现有技术B2网络和B4网络作为编码器可参阅论文：W.Wang,E.Xie,X.Li,D.-P.Fan,K.Song,D.Liang,T.Lu,P.Luo,L.Shao,Pvtv2:Improvedbaselineswithpyramidvisiontransformer,ComputationalVisualMedia8(3)(2022)415–424。
mDice表示为平均Dice相似度系数，mIoU表示为平均交并比。
如表1所示，基于Transformer和卷积神经网络结合的多尺度医学图像分割算法在上述3个数据集上也有不同程度提升。
分析该实验结果可知，相对于以上对比方法，本方法的有效性有所提升。
步骤S02：将本方法和对比方法在Kavsir和CVC-ClinicDB数据集中训练，在CVC-ColonDB和ETIS基准数据集上测试，以探索本方法的泛化能力。
使用国际医学图像计算和计算机辅助干预会议2022提供的结肠息肉像素级分割的内窥镜图像数据集，从Kavsir和CVC-ClinicDB基准数据集中提取1450张图像来构建训练集，在CVC-ColonDB和ETIS基准数据集上测试在此训练集中训练的模型。
表2 本方法和对比方法在Kavsir和CVC-ClinicDB数据集中训练，在CVC-ColonDB和ETIS基准数据集上测试所得到的mDice和mIoU
需要说明的是，对比方法UACANet-S、UACANet-L、CaraNet、ParaNet、SSformer-S和SSformer-L均为现有方法。
如表2所示，基于Transformer和卷积神经网络结合的多尺度医学图像分割算法在ETIS数据集上，mDice系数和mIoU均有所提高。
分析该实验结果可知，相对于以上对比方法，本方法的泛化能力更优越。
步骤S03：根据消融实验原理，分别对主干网络、主干网络加TL损失函数、主干网络加MTF模块，和主干网络同时加MTF模块与TL损失函数进行控制变量并分析。
具体地，在CVC-300、CVC-ColonDB、CVC-ClinicDB、ETIS、Kvasir数据集进行消融实验。
为了验证所提出的解码器结构和基于Tversky的适当约束损失函数可用性，在结肠息肉数据集上进行消融实验，得到的结果如表3所示：
表3 主干网络、主干网络加TL损失函数、主干网络加MTF模块，和主干网络同时加MTF模块与TL损失函数进行控制变量所得到的mDice和mIoU
如表3所示，当替换不同解码器模块时，使用的解码器结构和基于Tversky的适当约束损失函数都可以大幅度提升主干网络的精度，显著提高了结肠息肉图像的分割效果。
请参阅图4，所示为本申请一实施例中的一种Transformer和卷积融合的医学图像分割系统的结构示意图，该系统包括：
获取数据模块10，用于获取医学图像数据集，并对所述医学图像数据集进行预处理，所述预处理包括数据增强操作；
构建模型模块20，用于构建基于Transformer和卷积神经网络结合的多尺度医学图像分割模型，所述多尺度医学图像分割模型包括图像编码器和图像解码器；在所述图像编码器中使用基于Transformer的架构，以使网络关注全局特征；在所述图像解码器中采用具有3个分支的条状局部增强模块来捕获增强的局部特征，使用渐进式特征融合模块来融合分层局部Transformer，以消除高层特征与低层特征的特征间隙；
训练模型模块30，用于构建混合损失函数,所述混合损失函数包括Dice损失函数、二分类交叉熵损失函数和基于Tversky的适当约束损失函数，并使用所述预处理后的医学图像数据集对所述多尺度医学图像分割模型进行训练，根据所述混合损失函数得到最优模型；
分割预测模块40，用于使用训练好的所述最优模型对待测医学图像测试集进行预测，以得到预测结果。
本申请另一方面还提出一种计算机设备，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像处理程序，所述图像处理程序被所述处理器执行时实现上述医学图像分割方法。
一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有图像处理程序，所述图像处理程序被处理器运行时执行上述医学图像分割方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种Transformer和卷积融合的医学图像分割方法，其特征在于，所述方法包括：
获取医学图像数据集，并对所述医学图像数据集进行预处理，所述预处理包括数据增强操作；
构建基于Transformer和卷积神经网络结合的多尺度医学图像分割模型，所述多尺度医学图像分割模型包括图像编码器和图像解码器；
在所述图像编码器中逐步通过四个阶段的Transformer架构，以使网络关注全局特征；
在所述图像解码器中采用具有3个分支的条状局部增强模块来捕获增强的局部特征，其中，分支1和分支2分别学习水平和垂直方向的局部特征以获取语义信息，分支3用于增加图像分块及其周围分块的宏观权重；使用渐进式特征融合模块来融合分层局部Transformer，以消除高层特征与低层特征的特征间隙；
构建混合损失函数,所述混合损失函数包括Dice损失函数、二分类交叉熵损失函数和基于Tversky的适当约束损失函数，所述基于Tversky的适当约束损失函数的计算公式为：，其中，FP为假阳性，FN为假阴性，TP为真阳性，α、β、γ为超参数；使用所述预处理后的医学图像数据集对所述多尺度医学图像分割模型进行训练，根据所述混合损失函数得到最优模型；
使用训练好的所述最优模型对待测医学图像测试集进行预测，以得到预测结果。
2.根据权利要求1所述的医学图像分割方法，其特征在于，所述获取医学图像数据集，并对所述医学图像数据集进行预处理，所述预处理包括数据增强操作的步骤包括：
采用结肠息肉像素级分割的内窥镜图像数据集作为所述医学图像数据集，对病变区域进行标记；
采用随机翻转、缩放、旋转以及随机膨胀和腐蚀作为数据增强操作。
3.根据权利要求1所述的医学图像分割方法，其特征在于，在图像编码器中使用基于Transformer的架构，以使网络关注全局特征的步骤包括：
在图像编码器中使用基于Transformer的架构时采用金字塔Transformer编码器来学习图像特征。
4.根据权利要求1所述的医学图像分割方法，其特征在于，所述使用渐进式特征融合模块来融合分层局部Transformer，以消除高层特征与低层特征的特征间隙的步骤包括：
在特征融合模块使用渐进式特征融合结构时，具体结构为从上到下融合Transformer中4个不同层次的特征，由线性融合层和特征融合层组成，以消除高层特征与低层特征的特征间隙。
5.根据权利要求1所述的医学图像分割方法，其特征在于，所述构建混合损失函数,所述混合损失函数包括Dice损失函数、二分类交叉熵损失函数和基于Tversky的适当约束损失函数，并使用所述预处理后的医学图像数据集对所述多尺度医学图像分割模型进行训练，根据所述混合损失函数得到最优模型的步骤包括：
所述混合损失函数CL计算公式为：
；
DL是Dice损失函数，具体的计算公式为：
，
其中，n表示类别数，i表示第i个类别，pi表示第i个类别的预测标签值，yi表示第i个类别的真实标签值；
BCEL是二分类交叉熵损失函数，具体的计算公式为：
。
6.根据权利要求1所述的医学图像分割方法，其特征在于，所述使用训练好的所述最优模型对待测医学图像测试集进行预测，以得到预测结果的步骤包括：
采用Dice相似度系数DSC和交并比IoU作为性能评价指标定量评估模型所述多尺度医学图像的分割结果，Dice相似度系数DSC是计算模型得到的分割区域与标签的真实分割区域之间的重叠程度，范围是[0,1]，Dice相似度系数DSC的定义公式为：
，
其中，pi表示第i个类别的预测标签值，yi表示第i个类别的真实标签值;
交并比IoU计算的是预测分割的边框和真实的边框的交叠率，即预测分割的边框和真实的边框的交集和并集的比值，范围是[0,1]，交并比IoU的定义公式为：
，
其中，FP为假阳性，FN为假阴性，TP为真阳性。
7.一种Transformer和卷积融合的医学图像分割系统，其特征在于，所述系统包括：
获取数据模块，用于获取医学图像数据集，并对所述医学图像数据集进行预处理，所述预处理包括数据增强操作；
构建模型模块，用于，构建基于Transformer和卷积神经网络结合的多尺度医学图像分割模型，所述多尺度医学图像分割模型包括图像编码器和图像解码器；在所述图像编码器中逐步通过四个阶段的Transformer架构，以使网络关注全局特征；在所述图像解码器中采用具有3个分支的条状局部增强模块来捕获增强的局部特征，其中，分支1和分支2分别学习水平和垂直方向的局部特征以获取语义信息，分支3用于增加图像分块及其周围分块的宏观权重；使用渐进式特征融合模块来融合分层局部Transformer，以消除高层特征与低层特征的特征间隙；
训练模型模块，用于构建混合损失函数,所述混合损失函数包括Dice损失函数、二分类交叉熵损失函数和基于Tversky的适当约束损失函数，所述基于Tversky的适当约束损失函数的计算公式为：，其中，FP为假阳性，FN为假阴性，TP为真阳性，α、β、γ为超参数；使用所述预处理后的医学图像数据集对所述多尺度医学图像分割模型进行训练，根据所述混合损失函数得到最优模型；
分割预测模块，用于使用训练好的所述最优模型对待测医学图像测试集进行预测，以得到预测结果。
8.一种计算机设备，其特征在于，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像处理程序，所述图像处理程序被所述处理器执行时实现如权利要求1至6中任一项所述的医学图像分割方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有图像处理程序，所述图像处理程序被处理器运行时执行上述权利要求1至6任一项所述的医学图像分割方法。
CN202410175434.9A 2024-02-08 2024-02-08 一种Transformer和卷积融合的医学图像分割方法及系统 Active CN117746045B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410175434.9A CN117746045B (zh) 2024-02-08 2024-02-08 一种Transformer和卷积融合的医学图像分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410175434.9A CN117746045B (zh) 2024-02-08 2024-02-08 一种Transformer和卷积融合的医学图像分割方法及系统

Publications (2)

Publication Number Publication Date
CN117746045A CN117746045A (zh) 2024-03-22
CN117746045B true CN117746045B (zh) 2024-05-28

Family

ID=90281611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410175434.9A Active CN117746045B (zh) 2024-02-08 2024-02-08 一种Transformer和卷积融合的医学图像分割方法及系统

Country Status (1)

Country Link
CN (1) CN117746045B (zh)

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180001428A (ko) * 2016-06-24 2018-01-04 한국과학기술원 Cnn 기반 인루프 필터를 포함하는 부호화 방법과 장치 및 복호화 방법과 장치
CN114359202A (zh) * 2021-12-29 2022-04-15 电子科技大学 一种基于交互式半监督的胎儿胼胝体分割系统及方法
CN114742802A (zh) * 2022-04-19 2022-07-12 江南大学 基于3Dtransformer混合卷积神经网络的胰腺CT图像分割方法
CN114926470A (zh) * 2022-05-13 2022-08-19 上海交通大学宁波人工智能研究院 一种基于深度学习的阻生齿医学图像分割系统和方法
WO2022195285A1 (en) * 2021-03-17 2022-09-22 British Broadcasting Corporation Image processing using machine learning
CN115100123A (zh) * 2022-06-10 2022-09-23 北京理工大学 一种结合UNet和主动轮廓模型的大脑提取方法
CN115131364A (zh) * 2022-08-26 2022-09-30 中加健康工程研究院(合肥)有限公司 一种基于Transformer的医学图像分割方法
WO2023070911A1 (zh) * 2021-10-27 2023-05-04 西安工程大学 一种基于自注意力的彩色纹理织物缺陷区域的检测方法
WO2023098289A1 (zh) * 2021-12-01 2023-06-08 浙江大学 一种基于对抗学习的无标签胰腺影像自动分割系统
CN116309278A (zh) * 2022-12-16 2023-06-23 安徽大学 基于多尺度上下文感知的医学图像分割模型及方法
CN116385454A (zh) * 2023-03-30 2023-07-04 浙江工业大学 一种基于多阶段聚合的医学图像分割方法
CN116433686A (zh) * 2023-03-06 2023-07-14 北京邮电大学 基于Transformer上下文信息融合的医学图像分割方法及相关设备
CN116469100A (zh) * 2022-12-27 2023-07-21 长春理工大学 一种基于Transformer的双波段图像语义分割方法
CN116485815A (zh) * 2023-05-04 2023-07-25 中南大学 基于双尺度编码器网络的医学图像分割方法、设备和介质
CN117152433A (zh) * 2023-09-01 2023-12-01 太原理工大学 一种基于多尺度跨层注意力融合网络的医学图像分割方法
WO2023231329A1 (zh) * 2022-05-30 2023-12-07 湖南大学 一种医学图像的语义分割方法及装置
CN117315244A (zh) * 2023-09-12 2023-12-29 同济大学 融合多尺度特征的医学图像分割方法、设备、存储介质
CN117351363A (zh) * 2023-11-08 2024-01-05 重庆邮电大学 基于Transformer的遥感影像建筑物提取方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3088467B1 (fr) * 2018-11-08 2022-11-04 Idemia Identity & Security France Procede de classification d'une image d'entree representative d'un trait biometrique au moyen d'un reseau de neurones a convolution

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180001428A (ko) * 2016-06-24 2018-01-04 한국과학기술원 Cnn 기반 인루프 필터를 포함하는 부호화 방법과 장치 및 복호화 방법과 장치
WO2022195285A1 (en) * 2021-03-17 2022-09-22 British Broadcasting Corporation Image processing using machine learning
WO2023070911A1 (zh) * 2021-10-27 2023-05-04 西安工程大学 一种基于自注意力的彩色纹理织物缺陷区域的检测方法
WO2023098289A1 (zh) * 2021-12-01 2023-06-08 浙江大学 一种基于对抗学习的无标签胰腺影像自动分割系统
CN114359202A (zh) * 2021-12-29 2022-04-15 电子科技大学 一种基于交互式半监督的胎儿胼胝体分割系统及方法
CN114742802A (zh) * 2022-04-19 2022-07-12 江南大学 基于3Dtransformer混合卷积神经网络的胰腺CT图像分割方法
CN114926470A (zh) * 2022-05-13 2022-08-19 上海交通大学宁波人工智能研究院 一种基于深度学习的阻生齿医学图像分割系统和方法
WO2023231329A1 (zh) * 2022-05-30 2023-12-07 湖南大学 一种医学图像的语义分割方法及装置
CN115100123A (zh) * 2022-06-10 2022-09-23 北京理工大学 一种结合UNet和主动轮廓模型的大脑提取方法
CN115131364A (zh) * 2022-08-26 2022-09-30 中加健康工程研究院(合肥)有限公司 一种基于Transformer的医学图像分割方法
CN116309278A (zh) * 2022-12-16 2023-06-23 安徽大学 基于多尺度上下文感知的医学图像分割模型及方法
CN116469100A (zh) * 2022-12-27 2023-07-21 长春理工大学 一种基于Transformer的双波段图像语义分割方法
CN116433686A (zh) * 2023-03-06 2023-07-14 北京邮电大学 基于Transformer上下文信息融合的医学图像分割方法及相关设备
CN116385454A (zh) * 2023-03-30 2023-07-04 浙江工业大学 一种基于多阶段聚合的医学图像分割方法
CN116485815A (zh) * 2023-05-04 2023-07-25 中南大学 基于双尺度编码器网络的医学图像分割方法、设备和介质
CN117152433A (zh) * 2023-09-01 2023-12-01 太原理工大学 一种基于多尺度跨层注意力融合网络的医学图像分割方法
CN117315244A (zh) * 2023-09-12 2023-12-29 同济大学 融合多尺度特征的医学图像分割方法、设备、存储介质
CN117351363A (zh) * 2023-11-08 2024-01-05 重庆邮电大学 基于Transformer的遥感影像建筑物提取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Evgin Goceri.Polyp Segmentation Using a Hybrid Vision Transformer and a Hybrid Loss Function",Evgin Goceri,《Journal of Imaging Informatics in Medicine.《Journal of Imaging Informatics in Medicine》.2024,参见公式（1）、（2）、（6）. *
基于深度学习的医学图像分割方法研究进展;李增辉;《电子科技》;20240115;全文 *

Also Published As

Publication number Publication date
CN117746045A (zh) 2024-03-22

Similar Documents

Publication Publication Date Title
Li et al. Transforming medical imaging with Transformers? A comparative review of key properties, current progresses, and future perspectives
Adegun et al. Deep learning techniques for skin lesion analysis and melanoma cancer detection: a survey of state-of-the-art
Zhou et al. Deep learning of the sectional appearances of 3D CT images for anatomical structure segmentation based on an FCN voting method
Asgari Taghanaki et al. Deep semantic segmentation of natural and medical images: a review
CN112634296A (zh) 门机制引导边缘信息蒸馏的rgb-d图像语义分割方法及终端
CN116309648A (zh) 一种基于多注意力融合的医学图像分割模型构建方法
CN113378933A (zh) 甲状腺超声图像分类和分割网络、训练方法、装置及介质
CN115861616A (zh) 面向医学图像序列的语义分割系统
CN115375711A (zh) 基于多尺度融合的全局上下文关注网络的图像分割方法
CN115578559A (zh) 基于多尺度和跨空间融合的超声乳腺结节端到端分割方法
CN117078930A (zh) 基于边界感知和注意力机制的医学图像分割方法
Lai et al. Toward accurate polyp segmentation with cascade boundary-guided attention
CN116823850A (zh) 基于U-Net和Transformer融合改进的心脏MRI分割方法及系统
Dayananda et al. AMCC-Net: An asymmetric multi-cross convolution for skin lesion segmentation on dermoscopic images
Ma et al. LCAUnet: A skin lesion segmentation network with enhanced edge and body fusion
Du et al. AGMR-Net: Attention-guided multiscale recovery framework for stroke segmentation
CN117351487A (zh) 一种邻近区域与边缘信息融合的医学图像分割方法、系统
CN117746045B (zh) 一种Transformer和卷积融合的医学图像分割方法及系统
Fan et al. EGFNet: Efficient guided feature fusion network for skin cancer lesion segmentation
Samudrala et al. Semantic Segmentation in Medical Image Based on Hybrid Dlinknet and Unet
CN113269734B (zh) 一种基于元学习特征融合策略的肿瘤图像检测方法及装置
Zhang et al. ETUNet: Exploring efficient transformer enhanced UNet for 3D brain tumor segmentation
Kakumani et al. Segmentation of Cell Nuclei in Microscopy Images using Modified ResUNet
Hussain et al. RecU-Net++: Improved utilization of receptive fields in U-Net++ for skin lesion segmentation
Huang et al. HST-MRF: heterogeneous Swin transformer with multi-receptive field for medical image segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant