CN116188501A - 基于多尺度交叉注意力的医学图像分割方法 - Google Patents
基于多尺度交叉注意力的医学图像分割方法 Download PDFInfo
- Publication number
- CN116188501A CN116188501A CN202310191277.6A CN202310191277A CN116188501A CN 116188501 A CN116188501 A CN 116188501A CN 202310191277 A CN202310191277 A CN 202310191277A CN 116188501 A CN116188501 A CN 116188501A
- Authority
- CN
- China
- Prior art keywords
- module
- attention
- feature
- image segmentation
- scale cross
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000003709 image segmentation Methods 0.000 title claims abstract description 46
- 208000037062 Polyps Diseases 0.000 claims description 43
- 230000002776 aggregation Effects 0.000 claims description 43
- 238000004220 aggregation Methods 0.000 claims description 43
- 230000006870 function Effects 0.000 claims description 38
- 230000011218 segmentation Effects 0.000 claims description 21
- 230000004927 fusion Effects 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 238000007670 refining Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 230000004931 aggregating effect Effects 0.000 claims description 5
- 238000012795 verification Methods 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 17
- 238000004590 computer program Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 4
- HJBWJAPEBGSQPR-UHFFFAOYSA-N DMCA Natural products COC1=CC=C(C=CC(O)=O)C=C1OC HJBWJAPEBGSQPR-UHFFFAOYSA-N 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 240000000233 Melia azedarach Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 101150083127 brox gene Proteins 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 208000014081 polyp of colon Diseases 0.000 description 1
- 208000015768 polyposis Diseases 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请关于一种基于多尺度交叉注意力的医学图像分割方法，涉及医学图像分割和深度学习技术领域，该方法为，创建MSCANet网络模型，通过基于Resnet构建的编码器获取四个层级的特征图，包括浅层特征图和深层特征图，再通过通道聚合模块用来获取图像重要的通道信息，之后，再通过多尺度交叉注意力模块用来融合多级特征和建立多尺度特征之间的依赖关系，从而提取息肉图像重要的通道信息和空间信息，MSCANet网络结合通道聚合模块采用的通道注意力机制和多尺度交叉注意力模块采用的交叉注意力机制，因而解决了现有技术中没有建立多尺度特征之间的依赖关系，息肉图像分割效果有限的技术问题，具备更精准的图像分割能力。
Description
技术领域
本申请涉及医学图像分割和深度学习技术领域，尤其涉及一种基于多尺度交叉注意力的医学图像分割方法。
背景技术
息肉容易引起癌变，尤其是多发性息肉，因此对息肉进行早期筛查和治疗非常必要。息肉分割(Polyp Segmentation)作为一种计算机视觉任务，可以自动地将图像或视频中的息肉部位分割出来，大大地降低医生的工作量，因此建立一套精确的息肉分割模型对于临床医学诊断具有重大意义。
目前在息肉医学图像分割技术领域采用以下技术：
1、Ronneberger O，Fischer P，Brox T.U-net:Convolutional networks forbiomedical image segmentation[C]//International Conference on Medical imagecomputing and computer-assisted intervention.Springer，Cham，2015:234-241.提出了U-net，目前已经成为该领域最基础的骨干网络，在此基础上产生了许多拓展模型。
2、He K，Zhang X，Ren S，et al.Deep residual learning for imagerecognition[C]//Proceedings ofthe IEEE conference on computer vision andpattern recognition.2016:770-778.提出了ResNet,它在网络中加入残差连接，使得网络更深，表征能力大大提高。
3、Xiao X，Lian S，Luo Z，et al.Weighted res-unet forhigh-quality retinavessel segmentation[C]//20189th international conference on informationtechnology in medicine and education(ITME).IEEE，2018:327-331.提出了Res-UNet，通过在U-net的每一个子模块中加入残差链接，提升了息肉图像分割任务的基准。
4、Jieneng Chen，Yongyi Lu，QihangYu，Xiangde Luo，EhsanAdeli，YanWang，LeLu，Alan L.Yuille，Yuyin Zhou.TransUNet:Transformers Make Strong Encoders forMedical Image Segmentation.arXiv preprint arXiv:2102.04306，2021.提出TransUNet，它将Transformer应用在医学图像分割任务中，并得出很高的精度，进一步提升了息肉图像的分割基准。
5、Fan，D.-P.，Ji，G.-P.，Zhou，T.，Chen，G.，Fu，H.，Shen，J.，Shao，L.:462Pranet:Parallel reverse attention network for polyp segmentation.In:463InternationalConference on Medical Image Computing and Computer-464assisted Intervention，pp.263–273(2020).Springer提出Pranet网络，它用ResNet作为编码器，结合反向注意力，获得了优异的分割结果。
但本申请发明人在实现本申请实施例中发明技术方案的过程中，发现上述技术至少存在如下技术问题：
以上这些先进的息肉图像分割网络只考虑多个尺度特征之间逐级融合，没有建立多尺度特征之间的依赖关系。这些方法的分割效果依然有待提高。
发明内容
本申请关于一种基于多尺度交叉注意力的医学图像分割方法，解决了现有技术中只考虑多个尺度特征之间逐级融合，没有建立多尺度特征之间的依赖关系，息肉图像分割效果有限的技术问题，实现了基于Resnet编码器的MSCANet网络，通过通道信息聚合模块用于关注图像重要的通道信息，通过多尺度交叉注意力模块用于融合多级特征和建立多尺度特征之间的依赖关系，从而达到精准的息肉图像分割效果。
该技术方案如下：
一方面，提供了一种基于多尺度交叉注意力的医学图像分割方法，所述方法包括如下步骤：
准备息肉图像数据集，分为训练集、验证集和测试集；
创建MSCANet网络模型，将息肉图像输入基于Resnet构建的编码器获取四个层级的特征图，包括浅层特征图和深层特征图，四个层级的特征图分别通过对应的通道信息聚合模块关注到重要的通道，强化特征信息，然后将经过通道信息聚合模块加强后的特征通过多尺度交叉注意力模块建模不同层级特征之间的关系，以此来捕获不同尺寸的目标和细化分割的边缘，再通过解码器由深层向浅层逐级融合，输出图像分割结果；
进行网络模型训练，获取MSCANet网络模型训练的权重；
在测试集上，使用训练好的权重运行MSCANet网络模型，并得出息肉图像分割结果。
可选地，通道信息聚合模块过程包括如下步骤；
基于编码器获取的特征图通过第一卷积模块聚合信息；
基于第一卷积模块聚合信息通过第二卷积模块和第三卷积模块来学习获取重要的通道信息；
基于第二卷积模块和第三卷积模块获取重要的通道信息，接着通过Sigmoid函数获取每个通道的重要性分数；
基于Sigmoid函数获取每个通道的重要性分数与原特征图在通道上相乘来更新特征图；
基于更新的特征图通过第四卷积模块压缩通道，保留重要的通道信息，获取含有重要通信信息的特征图。
可选地，通道信息聚合模块中采用Sigmoid函数，包括：
Sigmoid函数为：
可选地，第一卷积模块、第二卷积模块和第三卷积模块采用InstanceNorm函数，包括：
InstanceNorm函数为：
可选地，第四卷积模块采用Batch Norm函数，包括：
BatchNorm函数为：
可选地，第一卷积模块、第二卷积模块、第三卷积模块和第四卷积模块都采用ReLu激活函数，包括：
ReLu激活函数为：
可选地，多尺度交叉注意力模块过程包括如下步骤：
第四层特征分别与第三层级特征、第二层级特征、第一层级特征做交叉注意力的计算获取三个融合不同层级的特征图，
基于获取的三个融合不同层级的特征图分别通过多层感知机和残差连接获取三个更新后的特征图；
基于三个更新后的特征图通过融合操作将三个更新后的特征图在通道上拼接，通过卷积模块将三张特征图的信息进行融合，并将特征图通道数减少为三分之一。
可选地，多尺度交叉注意力模块过程还包括如下步骤：
第三层级特征分别与第二层级特征、第一层级特征做交叉注意力的计算获取两个融合不同层级的特征图；
基于获取的两个融合不同层级的特征图通过多层感知机和残差连接获取两个更新后的特征图；
基于获取两个更新后的特征图通过融合操作将两个更新后的特征图在通道上拼接，通过卷积核大小为1x1的卷积模块将两个通道数融合为一个通道。
可选地，多尺度交叉注意力模块过程还包括如下步骤：
第二层级特征与第一层级特征做交叉注意力的计算获取融合了第一层级特征新的第二层级特征；
基于融合了第一层级特征新的第二层级特征通过多层感知机和残差连接获取一个更新后的特征图。
由于深层特征包含更多的语义信息，浅层包含更多的细节信息，所以四个层级的特征图由浅层到深层逐渐保留小目标到大目标的信息，因此在不同层级的特征之间应用交叉注意力，使得不同层次特征能交互作用，包含不同尺寸的目标信息，同时细化目标边缘，从而提高分割准确度。
另一方面，提供了一种多尺度交叉关注网络MSCANet，该MSCANet网络应用于基于多尺度交叉注意力的医学图像分割方法中，该MSCANet网络包括：
编码器：用于基于输入的息肉图像获取四个层级的特征图，其包括浅层特征图和深层特征图；
通道信息聚合模块：用于基于四个层级的特征图获取四个含有重要通道信息的特征图，其包括第一卷积模块，第二卷积模块，第三卷积模块和第四卷积模块；
多尺度交叉注意力模块：用于基于通道信息聚合模块获取四个含有重要信息的特征图捕获不同尺寸的目标和细化分割边缘的四个特征图；
解码器：用于基于通道信息聚合模块和多尺度交叉注意力模块捕获四个不同尺寸的目标和细化分割边缘的特征图，通过深层向浅层逐级聚合，输出图像分割结果，其包括上采用模块和拼接模块。
本申请提供的技术方案带来的有益效果至少包括：
本申请创建MSCANet网络模型，通过基于Resnet构建的编码器获取四个层级的特征图，包括浅层特征图和深层特征图，再通过通道聚合模块用来获取图像重要的通道信息，再通过多尺度交叉注意力模块用来融合多级特征和建立多尺度特征之间的依赖关系，从而提取息肉图像重要的通道信息和空间信息，MSCANet网络结合通道聚合模块采用的通道注意力机制和多尺度交叉注意力模块采用的交叉注意力机制，因而具备更精准的图像分割能力。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了一种基于多尺度交叉注意力的医学图像分割方法流程示意图；
图2示出了本申请一个示例性实施例提供的通道信息聚合模块流程示意图；
图3出了本申请一个示例性实施例提供的多尺度交叉注意力模块流程示意图；
图4示出了本申请一个示例性实施例提供的MSCANet网络模型的结构图；
图5示出了本申请一个示例性实施例提供的通道信息聚合模块的结构图；
图6示出了本申请一个示例性实施例提供的多尺度交叉注意力模块结构图；
图7示出了本申请一个示例性刚实施例提供的与不同网络的分割结果对比图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
首先，对本申请中出现的名词进行解释：
Kvasir数据集：息肉医学影像数据集，Kvasir是其中一种息肉数据集。
本申请关于一种基于多尺度交叉注意力的医学图像分割方法，应用于结肠息肉分割领域，解决了现有技术中只考虑多个尺度特征之间逐级融合，没有建立多尺度特征之间的依赖关系，息肉图像分割效果有限的技术问题，实现了基于Resnet编码器的MSCANet网络，通过通道信息聚合模块用于关注图像重要的通道信息，通过多尺度交叉注意力模块用于融合多级特征和建立多尺度特征之间的依赖关系，从而达到精准的息肉图像分割效果。
本申请实施例中的技术方案为解决上述技术问题，总体思路如下：
本申请聚焦息肉图像通道信息和空间多尺度信息，创建了基于Resnet编码器的MSCANet网络模型，MSCANet网络模型包括编码器，解码器，通道聚合模块和多尺度交叉注意力模块，其中，编码器基于Resent构建主干网络，其用于提取四个层级的特征图F1、F2、F3、F4，四个层级的特征图F1、F2、F3、F4的层级逐渐由浅变深，浅层的特征包含更多的细节信息，深层的特征包含丰富的语义信息；通道信息聚合模块用来获取息图像重要的通道信息，其采用通道注意力机制；多尺度交叉注意力模块用来融合多级特征和建立多尺度特征之间的依赖关系，从而达到精准分割息肉的效果，多尺度交叉注意力模块采用了交叉注意力机制获取空间多尺度信息。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
图1示出了一种基于多尺度交叉注意力的医学图像分割方法流程示意图，该方法包括：
步骤101：准备息肉图像数据集，分为训练集、验证集和测试集。
在本申请实施例中，在Kvasir数据集上，Kvasir数据集由1000张图像组成，首先将所有图像的大小调整为352×352，然后按照8:1:1的比例随机划分成训练集、验证集和测试集。
步骤102：创建MSCANet网络模型，将息肉图像输入基于Resnet构建的编码器获取四个层级的特征图，包括浅层特征图和深层特征图，四个层级的特征图分别通过通道信息聚合模块获取含有重要的通道信息的四个特征图，基于含有重要的通道信息的四个特征图通过多尺度交叉注意力模块建模含有重要的通道信息的四个特征图之间的关系，捕获不同尺寸的目标和细化分割的边缘的四个特征图，再通过解码器由深层向浅层逐级融合，输出图像分割结果。
图4示出了本申请一个示例性实施例提供的MSCANet网络模型的结构图。
本申请实施例中，Input是输入的图片，Output是输出的图像分割结果，F1、F2、F3和F4是通过编码器获得的四个层级的特征图；CF1、CF2、CF3和CF4为通道聚合模块，DMCA为多尺度交叉注意力模块；Z1、Z2、Z3、Z4是解码器。
在本申请实施例中，创建MSCANet网络模型，首先，编码器由Resnet50构建主干网络，用来提取四个尺度的信息，四个层级的特征图F1、F2、F3和F4，四个层级的特征图F1、F2、F3和F4是逐渐由浅层特征到深层特征排列，浅层的特征包含更多的细节信息，深层的特征包含丰富的语义信息；接着，通过通道信息聚合模块CF1、CF2、CF3和CF4，用于关注更有用的通道信息；然后，通过多尺度交叉注意力模块DMCA来建模四个层级特征之间的关系，捕获不同尺寸的目标和细化分割的边缘；最后，通过解码器Z1、Z2、Z3、Z4，由深层向浅层逐级聚合，聚合过程由上采样模块UP和拼接融合模块+构成，用于保留多尺度的信息。
步骤103：进行网络模型训练，获取MSCANet网络模型训练的权重。
在本申请实施例中，具体训练过程如下：
首先使用PyCharm软件，在PyTorch中实现MSCANet模型的创建；
然后设置训练细节：使用AdamW优化器，初始学习率为0.0001，训练期为100epochs，batch size设置成4，损失函数使用Dice Loss函数，其数学表达式如下：
Dice Loss＝1-Dice，
公式一：
式中，|X|表示分割图的实际标签，|Y|表示预测的分割图，|X∩Y|表示预测值和标签值的交集。
最后保存MSCANet网络模型训练的权重。
步骤104：在测试集上，使用训练好的权重运行MSCANet网络模型，并得出息肉图像分割结果。
在本申请实施例中，在测试集上，使用训练好的权重运行MSCANet模型，并得出结果，如表1所示。
实验结果：
表1：
表1为在Kvasir数据集上测试了本申请一示范性实施例的MSCANet模型，与现有的U-Net、U-Net++、ColonSegNet、HarDMSEG、PraNet、UACANet-L模型在骰子系数Dice、交并比IoU、准确率Precision、召回率Recall四个指标上进行比较。
由表1可知，本申请提出的MSCANet模型图像分割精度(骰子系数Dice)为91.57％；本申请提出的MSCANet模型比其他模型中最好的HarDMSEG在Dice、IoU、Precision和Recall上分别提升了0.8％，1.04％，0.58％，1.14％，由此可见，本申请提出的MSCANet模型实现了优越的图像分割性能。
图2示出了本申请一个示例性实施例提供的通道信息聚合模块流程示意图，通道信息聚合模块过程包括如下步骤：
步骤201：基于编码器获取的特征图通过第一卷积模块聚合信息；
步骤202：基于第一卷积模块聚合信息通过第二卷积模块和第三卷积模块来学习获取重要的通道信息；
步骤203：基于第二卷积模块和第三卷积模块获取重要的通道信息获取的通道信息通过Sigmoid函数获取每个通道的重要性分数；
步骤204：基于Sigmoid函数获取每个通道的重要性分数与原特征图在通道上相乘来更新特征图；
步骤205：基于更新的特征图通过第四卷积模块压缩通道，保留重要的通道信息，获取含有重要通信信息的特征图。
图5示出了本申请一个示例性实施例提供的通道信息聚合模块的结构图。
在本申请实施例中，第一卷积模块Conv1是卷积核为2x2，步长为2的卷积操作；第二卷积模块Conv2是卷积核为1x11，步长为11的卷积操作；第三卷积模块Conv3是卷积核为11x1，步长为11的卷积操作；第四卷积模块Conv4是卷积核为1x1，步长为1的卷积操作。
通道信息聚合模块具体过程如下：
首先通过第一卷积模块Conv1，卷积核为2x2，步长为2的卷积操作聚合信息；然后通过第二卷积模块Conv2，卷积核为1x11，步长为11的卷积操作和第三卷积模块Conv3，卷积核为11x1，步长为11的卷积操作来学习关注重要的通道信息；之后通过Sigmoid函数得到到每个通道的重要性分数，再将其与原特征图在通道上相乘来更新特征图；最后通过第四卷积模块Conv4，卷积核为1x1，步长为1的卷积操作压缩通道，保留重要的通道信息，减少计算量。其中，第一卷积模块Conv1、第二卷积模块Conv2和第三卷积模块Conv3包含实例归一化InstanceNorm函数和ReLu激活函数。第四卷积模块Conv4包含批归一化BatchNorm函数和ReLu激活函数。
其中，公式1、2、3和4分别为Sigmoid函数、InstanceNorm、BatchNorm、ReLu函数(均是现有的)的数学表达式
Sigmoid函数具体公式如下：
公式二：
式中，x为输入值，s(x)为经过Sigmoid处理后的结果。
InstanceNorm函数具体公式如下：
公式三：
式中，输入形状为(N,C,H,W)的张量x，N为批数，C为通道数，H表示高，W表示宽，t代表每个批次，i代表每个通道，μ为均值，δ为方差，y为归一化后的结果，ε是一个给定的很小的数，防止分母为0。
BatchNorm函数具体公式如下：
公式四：
式中，输入形状为(N,C,H,W)的张量x，N为批数，C为通道数，H表示高，W表示宽，B代表每个批次，m代表每个批次内张量的个数，μ为均值，δ为方差，y为归一化后的结果，ε是一个给定的很小的数，防止分母为0。
公式五：
式中，x为输入值，ReLu(x)为经过处理后的结果。
通过通道信息聚合模块，生成每个信息通道的重要性分数，再将通道信息经过重要性分数加权，能够让MSCANet网络更加关注重要的通道信息，提升MSCANet网络的图像分割效果。
图3出了本申请一个示例性实施例提供的多尺度交叉注意力模块流程示意图，图6示出了本申请一个示例性实施例提供的多尺度交叉注意力模块结构图，其中，CA是交叉注意力，MLP是多层感知机，+是残差连接，Fuse是融合操作；多尺度交叉注意力模块过程包括如下步骤：
步骤301：基于含有重要的通道信息的四个特征图通过多尺度交叉注意力模块建模含有重要的通道信息的四个特征图之间的关系。
步骤302：第四层特征分别与第三层级特征、第二层级特征、第一层级特征做交叉注意力的计算获取三个融合不同层级的特征图。
步骤303：基于获取的三个融合不同层级的特征图分别通过多层感知机和残差连接获取三个更新后的特征图。
步骤304：基于三个更新后的特征图通过融合操作将三个更新后的特征图在通道上拼接，通过卷积模块将三张特征图的信息进行融合，并将特征图通道数减少为三分之一。
本申请实施例中，步骤302-步骤304是第四层级特征图F4通过通道信息聚合模块获得含有重要通信信息的第四层特征图Y4，含有重要通信信息的第四层特征图Y4，分别和前三层的特征Y3，Y2，Y1做交叉注意力CA的计算，再经过多层感知机MLP和残差连接+得到更新后三个层级的特征，之后将更新后的三个特征图在通道上拼接，用卷积核大小为1x1的卷积模块通过融合操作Fuse将其融合并减少通道数，得到更新后的第四层级的特征，之后进入解码器Z4。
步骤305：第三层级特征分别与第二层级特征、第一层级特征做交叉注意力的计算获取两个融合不同层级的特征图。
步骤306：基于获取的两个融合不同层级的特征图通过多层感知机和残差连接获取两个更新后的特征图。
步骤307：基于获取两个更新后的特征图通过融合操作将两个更新后的特征图在通道上拼接，通过卷积核大小为1x1的卷积模块融合并减少通道数。
本申请实施例中，步骤305-步骤307是第三层级特征图F3通过通道信息聚合模块获得含有重要通信信息的第三层特征图Y3，含有重要通信信息的第三层特征图Y3分别与前两层的特征Y2，Y1进行与含有重要通信信息的第四层特征图Y4做相同的处理，得到更新后的第三层级的特征，然后进入解码器Z3。
步骤308：第二层级特征与第一层级特征做交叉注意力CA的计算获取融合了第一层级特征新的第二层级特征；
步骤309：基于融合了第一层级特征新的第二层级特征通过多层感知机和残差连接获取一个更新后的特征图。
本申请实施例中，步骤308-步骤309是第二层级特征图F2通过通道信息聚合模块获得含有重要通信信息的第二层特征图Y2，含有重要通信信息的第二层特征图Y2与含有含有重要通信信息的第一层特征图Y1进行交叉注意力CA的计算、多层感知机MLP和残差连接+，得到更新后的第二层级的特征，之后进入解码器Z2。
步骤310：第一层级特征图F1通过通道信息聚合模块获得含有重要通信信息的第二层特征图Y1，之后不做任何处理直接通过多尺度交叉注意力模块，进入解码器Z1。
其中步骤302，步骤305，步骤308，步骤310没有先后顺序是同时进行的。
通过多尺度交叉注意力模块能够让不同层级的特征进行交互，浅层信息和深层信息经过交叉注意力模块，使得浅层关注到深层重要的空间位置，深层获取浅层的细节信息，从而细化分割结果。
图4示出了本申请一个示例性实施例提供的MSCANet网络模型的结构图。
本申请聚焦息肉图像通道信息和空间多尺度信息，还提出了一种多尺度交叉关注网络MSCANet，该MSCANet网络应用于基于多尺度交叉注意力的医学图像分割方法中，该MSCANet网络包括：
编码器：用于基于输入的息肉图像获取四个层级的特征图，其包括浅层特征图和深层特征图；
通道信息聚合模块：用于基于四个层级的特征图获取四个含有重要通道信息的特征图，其包括第一卷积模块，第二卷积模块，第三卷积模块和第四卷积模块；
多尺度交叉注意力模块：用于基于通道信息聚合模块获取四个含有重要信息的特征图捕获不同尺寸的目标和细化分割边缘的四个特征图；
解码器：用于基于通道信息聚合模块和多尺度交叉注意力模块捕获四个不同尺寸的目标和细化分割边缘的特征图，通过深层向浅层逐级聚合，输出图像分割结果，其包括上采用模块和拼接模块。
本申请实施例中，Input是输入的图片，Output是输出的图像分割结果，F1、F2、F3和F4是通过编码器获得的四个层级的特征图；CF1、CF2、CF3和CF4为通道聚合模块，DMCA为多尺度交叉注意力模块；Z1、Z2、Z3、Z4是解码器。
图7示出了本申请一个示例性刚实施例提供的与不同网络的分割结果对比图，图中显示了在形状和大小差异较大的息肉上，各个模型模型的分割结果，其中，第一张为近似粘膜息肉，第二张为中型息肉，第三张为不规则息肉，第四张为小型息肉，第五张为大型息肉。可以看出，本申请提出的MACANet网络模型，无论在近似粘膜息肉，中型息肉，不规则息肉，小型息肉，大型息肉，均能比其他模型实现更准确和更精细的分割效果，也进一步说明了本申请相对其他基准模型的优越性。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种基于多尺度交叉注意力的医学图像分割方法，其特征在于，所述方法包括如下步骤：
准备息肉图像数据集，分为训练集、验证集和测试集；
创建MSCANet网络模型，将息肉图像输入基于Resnet构建的编码器获取四个层级的特征图，包括浅层特征图和深层特征图，四个层级的特征图分别通过对应的通道信息聚合模块关注到重要的通道，强化特征信息，然后将经过通道信息聚合模块加强后的特征通过多尺度交叉注意力模块建模不同层级特征之间的关系，以此来捕获不同尺寸的目标和细化分割的边缘，再通过解码器由深层向浅层逐级聚合，输出图像分割结果；
进行网络模型训练，获取MSCANet网络模型训练的权重；
在测试集上，使用训练好的权重运行MSCANet网络模型，并得出息肉图像分割结果。
2.根据权利要求1所述的基于多尺度交叉注意力的医学图像分割方法，其特征在于，通道信息聚合模块过程包括如下步骤；
基于编码器获取的特征图通过第一卷积模块聚合信息；
基于第一卷积模块聚合信息通过第二卷积模块和第三卷积模块来学习获取重要的通道信息；
基于第二卷积模块和第三卷积模块获取重要的通道信息,接着通过Sigmoid函数获取每个通道的重要性分数；
基于Sigmoid函数获取每个通道的重要性分数与原特征图在通道上相乘来更新特征图；
基于更新的特征图通过第四卷积模块压缩通道，保留重要的通道信息，获取含有重要通信信息的特征图。
3.根据权利要求2所述的基于多尺度交叉注意力的医学图像分割方法，其特征在于，通道信息聚合模块中采用Sigmoid函数，包括：
Sigmoid函数为：
4.根据权利要求2所述的基于多尺度交叉注意力的医学图像分割方法，其特征在于，第一卷积模块、第二卷积模块和第三卷积模块采用InstanceNorm函数，包括：
InstanceNorm函数为：
5.根据权利要求2所述的基于多尺度交叉注意力的医学图像分割方法，其特征在于，其特征在于，第四卷积模块采用Batch Norm函数，包括：
BatchNorm函数为：
6.根据权利要求2所述的基于多尺度交叉注意力的医学图像分割方法，其特征在于，第一卷积模块、第二卷积模块、第三卷积模块和第四卷积模块都采用ReLu激活函数，包括：
ReLu激活函数为：
7.根据权利要求1所述的基于多尺度交叉注意力的医学图像分割方法，其特征在于，多尺度交叉注意力模块过程包括如下步骤：
第四层特征分别与第三层级特征、第二层级特征、第一层级特征做交叉注意力的计算获取三个融合不同层级的特征图，
基于获取的三个融合不同层级的特征图分别通过多层感知机和残差连接获取三个更新后的特征图；
基于三个更新后的特征图通过融合操作将三个更新后的特征图在通道上拼接，通过卷积模块将三张特征图的信息进行融合，并将特征图通道数减少为三分之一。
8.根据权利要求1所述的基于多尺度交叉注意力的医学图像分割方法，其特征在于，多尺度交叉注意力模块过程还包括如下步骤：
第三层级特征分别与第二层级特征、第一层级特征做交叉注意力的计算获取两个融合不同层级的特征图；
基于获取的两个融合不同层级的特征图通过多层感知机和残差连接获取两个更新后的特征图；
基于获取两个更新后的特征图通过融合操作将两个更新后的特征图在通道上拼接，通过卷积核大小为1x1的卷积模块将两个通道数融合为一个通道。
9.根据权利要求1所述的基于多尺度交叉注意力的医学图像分割方法，其特征在于，多尺度交叉注意力模块过程还包括如下步骤：
第二层级特征与第一层级特征做交叉注意力的计算获取融合了第一层级特征新的第二层级特征；
基于融合了第一层级特征新的第二层级特征通过多层感知机和残差连接获取一个更新后的特征图。
10.一种多尺度交叉关注网络MSCANet，该MSCANet网络应用于如权利要求1所述的基于多尺度交叉注意力的医学图像分割方法中，该MSCANet网络包括：
编码器：用于基于输入的息肉图像获取四个层级的特征图，其包括浅层特征图和深层特征图；
通道信息聚合模块：用于基于四个层级的特征图获取四个含有重要通道信息的特征图，其包括第一卷积模块，第二卷积模块，第三卷积模块和第四卷积模块；
多尺度交叉注意力模块：用于基于通道信息聚合模块获取四个含有重要信息的特征图捕获不同尺寸的目标和细化分割边缘的四个特征图；
解码器：用于基于通道信息聚合模块和多尺度交叉注意力模块捕获四个不同尺寸的目标和细化分割边缘的特征图，通过深层向浅层逐级聚合，输出图像分割结果，其包括上采用模块和拼接融合模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310191277.6A CN116188501B (zh) | 2023-03-02 | 2023-03-02 | 基于多尺度交叉注意力的医学图像分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310191277.6A CN116188501B (zh) | 2023-03-02 | 2023-03-02 | 基于多尺度交叉注意力的医学图像分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116188501A true CN116188501A (zh) | 2023-05-30 |
| CN116188501B CN116188501B (zh) | 2024-02-13 |
Family
ID=86434396
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310191277.6A Active CN116188501B (zh) | 2023-03-02 | 2023-03-02 | 基于多尺度交叉注意力的医学图像分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116188501B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117197472A (zh) * | 2023-11-07 | 2023-12-08 | 四川农业大学 | 基于鼻出血内窥镜影像的高效师生半监督分割方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102176139B1 (ko) * | 2019-05-30 | 2020-11-09 | 가천대학교 산학협력단 | 연속적인 딥 인코더-디코더 네트워크를 이용한 이미지 세그먼테이션 장치 및 그 방법 |
| CN112489061A (zh) * | 2020-12-09 | 2021-03-12 | 浙江工业大学 | 一种基于多尺度信息与并行注意力机制的深度学习肠道息肉分割方法 |
| WO2021104056A1 (zh) * | 2019-11-27 | 2021-06-03 | 中国科学院深圳先进技术研究院 | 一种肿瘤自动分割系统、方法及电子设备 |
| CN114565770A (zh) * | 2022-03-23 | 2022-05-31 | 中南大学 | 基于边缘辅助计算和掩模注意力的图像分割方法及系统 |
| CN114972365A (zh) * | 2022-06-17 | 2022-08-30 | 杭州电子科技大学 | 结合先验掩膜的oct图像脉络膜分割模型构建方法及应用 |
| US20220309674A1 (en) * | 2021-03-26 | 2022-09-29 | Nanjing University Of Posts And Telecommunications | Medical image segmentation method based on u-net |
| CN115393283A (zh) * | 2022-08-02 | 2022-11-25 | 华东师范大学 | 一种基于浅层监督和反馈注意力的息肉图像分割方法 |
-
2023
- 2023-03-02 CN CN202310191277.6A patent/CN116188501B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102176139B1 (ko) * | 2019-05-30 | 2020-11-09 | 가천대학교 산학협력단 | 연속적인 딥 인코더-디코더 네트워크를 이용한 이미지 세그먼테이션 장치 및 그 방법 |
| WO2021104056A1 (zh) * | 2019-11-27 | 2021-06-03 | 中国科学院深圳先进技术研究院 | 一种肿瘤自动分割系统、方法及电子设备 |
| CN112489061A (zh) * | 2020-12-09 | 2021-03-12 | 浙江工业大学 | 一种基于多尺度信息与并行注意力机制的深度学习肠道息肉分割方法 |
| US20220309674A1 (en) * | 2021-03-26 | 2022-09-29 | Nanjing University Of Posts And Telecommunications | Medical image segmentation method based on u-net |
| CN114565770A (zh) * | 2022-03-23 | 2022-05-31 | 中南大学 | 基于边缘辅助计算和掩模注意力的图像分割方法及系统 |
| CN114972365A (zh) * | 2022-06-17 | 2022-08-30 | 杭州电子科技大学 | 结合先验掩膜的oct图像脉络膜分割模型构建方法及应用 |
| CN115393283A (zh) * | 2022-08-02 | 2022-11-25 | 华东师范大学 | 一种基于浅层监督和反馈注意力的息肉图像分割方法 |
Non-Patent Citations (4)
| Title |
|---|
| 余帅;汪西莉;: "基于多级通道注意力的遥感图像分割方法", 激光与光电子学进展, no. 04, 31 December 2020 (2020-12-31) * |
| 赵凤军;张涵;陈一兵;贺小伟;宋小磊;: "基于半监督多尺度特征分解网络的CTA图像冠状动脉分割", 西北大学学报(自然科学版), no. 04, 31 December 2020 (2020-12-31) * |
| 郑鑫;林兰;叶茂;王丽;贺春林;: "结合注意力机制和多属性分类的行人再识别", 中国图象图形学报, no. 05, 16 May 2020 (2020-05-16) * |
| 韩慧慧;李帷韬;王建平;焦点;孙百顺;: "编码―解码结构的语义分割", 中国图象图形学报, no. 02, 16 February 2020 (2020-02-16) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117197472A (zh) * | 2023-11-07 | 2023-12-08 | 四川农业大学 | 基于鼻出血内窥镜影像的高效师生半监督分割方法及装置 |
| CN117197472B (zh) * | 2023-11-07 | 2024-03-08 | 四川农业大学 | 基于鼻出血内窥镜影像的高效师生半监督分割方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116188501B (zh) | 2024-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Adegun et al. | Deep learning techniques for skin lesion analysis and melanoma cancer detection: a survey of state-of-the-art | |
| Ni et al. | RASNet: Segmentation for tracking surgical instruments in surgical videos using refined attention segmentation network | |
| CN110298844B (zh) | X光造影图像血管分割与识别方法及装置 | |
| CN109543502A (zh) | 一种基于深度多尺度神经网络的语义分割方法 | |
| CN109919252B (zh) | 利用少数标注图像生成分类器的方法 | |
| Ma et al. | Multi-level knowledge distillation for low-resolution object detection and facial expression recognition | |
| CN112884788B (zh) | 基于丰富上下文网络的视杯视盘分割方法及成像方法 | |
| CN111860528B (zh) | 基于改进U-Net网络的图像分割模型及训练方法 | |
| CN111539480A (zh) | 多类别医学图像识别方法及设备 | |
| CN109934081A (zh) | 一种基于深度神经网络的行人属性识别方法、装置及存储介质 | |
| CN116309648A (zh) | 一种基于多注意力融合的医学图像分割模型构建方法 | |
| CN116188501B (zh) | 基于多尺度交叉注意力的医学图像分割方法 | |
| Liu et al. | FCP-net: a feature-compression-pyramid network guided by game-theoretic interactions for medical image segmentation | |
| CN114677349A (zh) | 编解码端边缘信息增强和注意引导的图像分割方法及系统 | |
| CN110610480A (zh) | 基于Attention机制的MCASPP神经网络眼底图像视杯视盘分割模型 | |
| Desiani et al. | A Novelty Patching of Circular Random and Ordered Techniques on Retinal Image to Improve CNN U-Net Performance. | |
| CN116129417A (zh) | 一种基于低质量图像的数字仪表读数检测方法 | |
| Shah et al. | Reasoning over history: Context aware visual dialog | |
| CN114529794A (zh) | 一种红外与可见光图像融合方法、系统及介质 | |
| Deramgozin et al. | Attention-Enabled Lightweight Neural Network Architecture for Detection of Action Unit Activation | |
| CN112614092A (zh) | 脊柱检测方法和装置 | |
| Mozaffari et al. | Facial expression recognition using deep neural network | |
| Zhang et al. | A lightweight multi-dimension dynamic convolutional network for real-time semantic segmentation | |
| Vinta et al. | Segmentation and Classification of Interstitial Lung Diseases Based on Hybrid Deep Learning Network Model | |
| Saini et al. | (m) slae-net: Multi-scale multi-level attention embedded network for retinal vessel segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |