CN117197470A - 一种基于结肠镜图像的息肉分割方法、设备及介质 - Google Patents
一种基于结肠镜图像的息肉分割方法、设备及介质 Download PDFInfo
- Publication number
- CN117197470A CN117197470A CN202311256488.XA CN202311256488A CN117197470A CN 117197470 A CN117197470 A CN 117197470A CN 202311256488 A CN202311256488 A CN 202311256488A CN 117197470 A CN117197470 A CN 117197470A
- Authority
- CN
- China
- Prior art keywords
- feature
- polyp
- module
- feature map
- global
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 208000037062 Polyps Diseases 0.000 title claims abstract description 113
- 230000011218 segmentation Effects 0.000 title claims abstract description 93
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000004220 aggregation Methods 0.000 claims abstract description 22
- 230000003902 lesion Effects 0.000 claims abstract description 12
- 238000005259 measurement Methods 0.000 claims abstract description 4
- 238000010586 diagram Methods 0.000 claims description 33
- 230000004927 fusion Effects 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 23
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 20
- 230000004913 activation Effects 0.000 claims description 19
- 230000002776 aggregation Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 17
- 238000010606 normalization Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 13
- 230000003044 adaptive effect Effects 0.000 claims description 9
- 238000007499 fusion processing Methods 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 230000009977 dual effect Effects 0.000 claims description 3
- 208000015768 polyposis Diseases 0.000 claims description 3
- 239000000284 extract Substances 0.000 abstract description 3
- 238000002474 experimental method Methods 0.000 description 13
- 238000002679 ablation Methods 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000002052 colonoscopy Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 208000003200 Adenoma Diseases 0.000 description 1
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 description 1
- 206010009944 Colon cancer Diseases 0.000 description 1
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 210000001072 colon Anatomy 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000004877 mucosa Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 235000021391 short chain fatty acids Nutrition 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种基于结肠镜图像的息肉分割方法、设备及介质，其中，方法包括：接收结肠镜图像；将所述结肠镜图像输入至增强双聚合息肉分割网络，得到息肉分割结果；增强双聚合息肉分割网络包括Transformer分支部分、FCN分支部分、拼接模块和预测头PH模块；所述Transformer分支部分以结肠镜图像为输入，输出富含全局和局部语义信息的特征图；所述FCN分支部分从所述结肠镜图像中提取全尺寸高度融合的多尺度特征，得到全尺寸的细粒度息肉病变特征图；拼接模块将Transformer分支部分输出和FCN分支部分的输出沿着通道维度进行拼接，得到全尺寸的特征张量；预测头PH模块以所述全尺寸的特征张量为输入，输出息肉分割结果。本发明提升了息肉分割的精度。
Description
技术领域
本发明涉及医学图像处理技术领域，特别是涉及一种基于结肠镜图像的息肉分割方法、设备、装置及介质。
背景技术
在临床实践中，结肠镜检查被认为是检测结肠息肉或腺瘤等病变的金标准。结肠镜图像中息肉的自动准确分割可以辅助医生精确定位息肉区域和边界，对结直肠癌的早期诊断和手术治疗具有重要的价值。然而，息肉通常具有高度变化的外观(如颜色、大小和纹理等)以及错综复杂的形态特征、与周围的黏膜之间也存在模糊的边界，而且所使用的扫描设备和参数标准的不一致也会导致不同医疗机构在息肉成像方面存在域偏差。上述原因给现有的息肉分割技术带来了巨大的挑战。随着计算机视觉技术的发展，近年来出现了许多自动息肉分割的方法，并取得了良好的分割结果，但是仍然存在以下不足：
(1)基于传统机器学习的息肉分割方法(如Tajbakhsh等人在IEEE Transactionson Medical Imaging期刊发表的《Automated Polyp Detection in Colonoscopy VideosUsing Shape and Context Information》)过分依赖于图像的质量和人工手动提取的颜色、大小、纹理、形状等低等级的息肉病变特征，容易产生较差的分割结果，其鲁棒性和跨域泛化能力也较弱。
(2)基于U-Net编解码结构的息肉分割方法由于大都使用固定大小的卷积核，其感受野有限，很难有效的提取息肉病变的全局上下文特征信息。尽管一些工作聚焦于从多尺度和多感受野捕捉息肉病变的语义特征，如空洞空间金字塔池化(Atrous SpatialPyramid Pooling,ASPP)、DenseASPP等，但是这些方式缺少处理不同位置的特征需要不同上下文依赖的空间意识性，且它们的参数量大、计算复杂度高，容易产生过拟合的问题。此外，这些方法大多直接采用元素相加或拼接操作来不加区分的融合不同等级的特征，存在高低等级特征图之间语义信息难以对齐的问题，并且会导致过多的冗余信息稀释真正有用的特征信息，削弱了互补的语义特征。
(3)基于Transformer的息肉分割方法，如Polyp-PVT和ESFPNet等，能够通过自适应的建模息肉特征长范围的依赖关系从全局角度感知语义偏差，捕捉全局上下文信息，具有良好的全局特征表示能力。但是这些方法在捕捉长距离的依赖关系时会导致局部特征细节被全局上下文信息所淹没，其捕捉局部特征的能力有限。同时，随着Transformer网络加深，也会产生注意力发散的问题。此外，这些方法预测的息肉分割图的分辨率通常比输入图像的分辨率低，即产生的预测分割图不是全尺寸的。
发明内容
本发明提供一种基于结肠镜图像的息肉分割方法、设备、装置及介质，克服现有息肉分割技术中全局特征提取与长距离特征依赖建模不足、全局特征与关键局部特征融合不充分、注意力发散、跨域泛化能力弱及产生的分割图分辨率低等问题。
本发明解决其技术问题所采用的技术方案是：提供一种基于结肠镜图像的息肉分割方法，包括以下步骤：
接收结肠镜图像；
将所述结肠镜图像输入至增强双聚合息肉分割网络，得到息肉分割结果；
其中，所述增强双聚合息肉分割网络包括Transformer分支部分、FCN分支部分、拼接模块和预测头PH模块；
所述Transformer分支部分包括特征编码器和多阶段特征聚合MFAD解码器；所述特征编码器用于对所述结肠镜图像进行特征提取，得到多个等级、不同尺度的全局特征图；所述多阶段特征聚合MFAD解码器包括自适应特征聚合AFA模块、边缘特征提取ResidualBlock模块和选择性全局-局部融合SGLFH模块；所述自适应特征聚合AFA模块用于对不同尺度的相邻高等级的全局特征图进行渐进自适应的融合，生成优化的全局特征图；所述边缘特征提取ResidualBlock模块用于捕捉低等级的全局特征图中隐藏的局部息肉边缘特征信息；所述选择性全局-局部融合SGLFH模块用于选择性的将所述局部息肉边缘特征信息与所述优化的全局特征图进行融合，得到富含全局和局部语义信息的特征图；
所述FCN分支部分的编/解码器用于从所述结肠镜图像中提取全尺寸高度融合的多尺度特征，得到全尺寸的细粒度息肉病变特征图；
拼接模块，用于将所述Transformer分支部分输出的特征图和FCN分支部分的输出的细粒度息肉病变特征图沿着通道维度进行拼接，得到全尺寸的特征张量；
所述预测头PH模块以所述全尺寸的特征张量为输入，输出息肉分割结果。
所述增强双聚合息肉分割网络训练时采用的损失函数为整体损失函数L(S,G)，表示为：其中，S和G分别表示预测结果和真值，λ1和λ2分别表示可调整的权值系数，/>和/>分别为加权的二值交叉熵损失和加权的Dice损失。
所述特征编码器采用预训练的PVTv2-B3作为主干网络，用于获取4个等级不同尺度的全局特征特征图。
所述自适应特征聚合AFA模块包括：
高等级特征图处理单元，用于将所述特征编码器提取到的3个高等级特征图F2、F3和F4分别通过由3×3卷积层、组归一化和SiLU激活函数构成的LE模块，得到特征图F′2、F′3和F′4；
第一融合单元，用于对特征图F′2、F′3和F′4进行第一融合处理，得到第一融合特征图M1；所述第一融合处理表示为：
第二融合单元，用于对特征图F′3和F′4进行第二融合处理，得到第二融合特征图M2；所述第二融合处理表示为：
拼接处理单元，用于将第一融合特征图M1和第二融合特征图M2沿通道维度进行拼接，并将拼接后的特征图输入所述LE模块，得到优化的全局特征图；
其中，Up2()和Up4()分别表示2倍和4倍的最近邻上采样操作，表示元素等级的相乘操作，Concat()表示通道等级的拼接操作；LE()表示由3×3卷积层、组归一化和SiLU激活函数构成的顺序操作。
所述边缘特征提取ResidualBlock模块包括：
第一低等级图处理单元，用于将低等级特征图F1输入两个依次连接的由3×3卷积层、组归一化和SiLU激活函数构成的LE模块，得到特征图F′1；
第二低等级图处理单元，用于将低等级特征图F1依次输入1×1卷积层和组归一化层，得到特征图F″1；
求和激活单元，用于将特征图F′1和特征图F″1进行按元素等级的求和操作，并通过SiLU激活函数进行处理，得到局部息肉边缘特征信息。
所述选择性全局-局部融合SGLFH模块包括：
拼接单元，用于将优化的全局特征图进行上采样，并将上采样后的全局特征图与局部息肉边缘特征信息进行选择性拼接操作，得到拼接特征图；
处理单元，将拼接特征图输入2个连续的由1×1卷积、组归一化和SiLU激活函数组成的单元，得到富含全局和局部语义信息的特征图；
输出单元，用于将富含全局和局部语义信息的特征图进行上采样操作得到与输入图像大小一致的特征图并作为所述Transformer分支部分的输出。
所述FCN分支部分的编码器包括5个降采样层，所述5个降采样层的特征通道数量依次为32、32、64、128和512；所述FCN分支部分的解码器包括5个上采样层，所述5个上采样层的特征分辨率以2倍的速度逐步恢复，而从第2上采样层到第5上采样层，特征通道的数量连续减少2倍。
所述预测头PH模块包括依次设置的2个连续的ResidualBlock模块、1×1卷积层和SiLU激活函数层。
本发明解决其技术问题所采用的技术方案是：提供一种电子设备，包括存储器以及处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于结肠镜图像的息肉分割方法的步骤。
本发明解决其技术问题所采用的技术方案是：提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于结肠镜图像的息肉分割方法的步骤。
有益效果
由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明提出了一种新颖的增强双聚合息肉分割网络，通过融合Transformer分支捕捉的重要全局上下文信息和FCN分支挖掘的细粒度局部边缘特征，增强了息肉病变特征的辨识能力，同时有效抑制了不相关的噪声信息，实现了结肠镜图像中全尺寸息肉的自动准确分割；在Transformer分支中，其中的特征编码器采用预训练的PVTv2-B3作为主干网络以捕捉不同等级、多尺度的病变特征并建模长距离特征依赖；其中的自适应特征聚合AFA模块通过渐进自适应的方式融合特征解码器中提取的相邻高等级特征，消除不同高等级特征之间的语义间隔，得到优化的全局语义特征信息；其中的边缘特征提取ResidualBlock模块深入挖掘特征编码器中提取的低等级特征图中隐藏的息肉局部边缘详情，提高边缘模糊特征的感知能力；其中的选择性全局-局部融合SGLFH模块将低等级特征图中提取的息肉局部边缘细节有选择性的与优化的全局语义特征信息进行融合，消除低等级局部特征和高等级全局特征之间的语义偏差，确保全局与局部特征的充分融合，并抑制注意力分散；在FCN分支中，采用ResidualBlock模块代替原有的残差RB模块来细化提取的全尺寸高度融合的多尺度特征，FCN分支的输出用以补充Transformer分支输出的特征图，克服了其产生的分割图分辨率低的问题；其中的Transformer分支和FCN分支相互影响、彼此互补细化了网络的语义信息，增强了息肉边界特征的识别，提升了息肉分割的精度，增强了网络的跨域泛化能力。
附图说明
图1是本发明第一实施方式基于结肠镜图像的息肉分割方法的实现流程图；
图2是本发明第一实施方式中增强双聚合息肉分割网络Dua-PSNet的整体结构示意图；
图3是本发明第一实施方式中Transformer分支的结构示意图；
图4是本发明第一实施方式中自适应特征聚合AFA模块的示意图；
图5是本发明第一实施方式中边缘特征提取ResidualBlock模块的示意图；
图6是本发明第一实施方式中选择性全局-局部融合SGLFH模块的示意图；
图7是本发明第一实施方式中预测头PH模块的示意图；
图8是本发明Dua-PSNet与其他先进的息肉分割方法的息肉分割定性结果比较图；
图9是本发明Dua-PSNet的消融结果比较图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明的实施方式涉及一种基于结肠镜图像的息肉分割方法，如图1所示，具体包括以下步骤：
步骤1，接收结肠镜图像；
步骤2，将所述结肠镜图像输入至增强双聚合息肉分割网络(Dual-AggregationPolyp Segmentation Network，Dua-PSNet)，得到息肉分割结果。
如图2所示，增强双聚合息肉分割网络基于融合金字塔视觉Transformer和全卷积神经网络FCN构建而成，包括Transformer分支部分、FCN分支部分、拼接模块和预测头PH模块。
所述Transformer分支部分包括特征编码器和多阶段特征聚合MFAD解码器；所述MFAD解码器中包含自适应特征聚合AFA模块、边缘特征提取ResidualBlock模块和选择性全局-局部融合SGLFH模块，所述AFA模块和ResidualBlock模块的输出作为所述SGLFH模块的输入；所述FCN分支部分的编/解码器中采用ResidualBlock模块；所述Transformer分支部分和FCN分支部分并行连接，其输出通过拼接融合后得到全尺寸的特征图作为所述预测头PH模块的输入。
所述Transformer分支中特征编码器采用预训练的PVTv2-B3作为主干网络，获取4个等级、不同尺度的特征图，PVTv2-B3采用线性空间缩减注意力层来减少计算量，通过跨步卷积嵌入的重叠补丁以获得更一致的空间信息，同时在卷积前馈网络中将零填充位置编码引入到PVT网络中，以更容易地处理具有不同分辨率的输入。
本实施例中，整个PVTv2-B3编码器分为4个阶段，每个阶段包含一个重叠的补丁嵌入层和一个线性层Transformer编码器；第1个阶段，输入的大小为H×W×3的结肠镜图像被划为HW/42的补丁，每个补丁的大小为4×4×3；展平的补丁输入到一个线性投影层以产生大小为HW/42×64嵌入补丁；这些嵌入的补丁连同相应的位置嵌入输入到一个具有L1层的线性层Transformer编码器，其输出被重新调整为特征图同样的，将前一阶段得到的特征图作为输入，即可得到3个不同尺度的特征图/>其中，i∈{2,3,4}，Ci∈{128,320,512}；F2、F3和F4提供了与息肉病变相关的高等级的语义特征信息，F1包含了低等级的局部边缘特征详情。
本实施方式中增强双聚合息肉分割网络训练采用的损失函数为整体损失函数，表示为：
其中，S和G分别表示预测结果和真值，λ1和λ2分别表示可调整的权值系数，和分别为加权的二值交叉熵损失和加权的Dice损失。
本实施方式中多阶段特征聚合MFAD解码器的自适应特征聚合AFA模块对多个相邻的高等级的特征进行逐步自适应的融合生成优化的全局语义特征。
如图3和图4所示，将Transformer分支部分中特征编码器提取到的3个高等级特征图F2、F3和F4分别通过由3×3卷积层、组归一化和SiLU激活函数构成的LE模块以将其通道数降为32，其所产生的特征图分别为F′2、F′3和F′4；
融合相邻高等级特征图F′3和F′4的过程如下：对特征图F′4进行2倍的上采样后输入到LE模块生成特征图F4”，并将其与特征图F′3进行按元素等级的相乘操作后进一步与F4”进行拼接，产生的拼接特征图再次提供给LE模块并进行2倍的上采样操作得到聚合的特征图M2，即：
类似的，融合相邻高等级特征图F′2、F′3和F′4的过程可以描述为：
其中，Up2()和Up4()分别表示2倍和4倍的最近邻上采样操作，表示元素等级的相乘操作，Concat()表示通道等级的拼接操作；LE()表示由3×3卷积层、组归一化和SiLU激活函数构成的顺序操作。
最后，对M1和M2进行拼接操作，所产生的特征图输入到LE模块获得优化的全局特征图O1，即：O1＝LE(Concat(M1,M2))。
本实施方式中的边缘特征提取ResidualBlock模块用于捕捉低等级的全局特征图中隐藏的局部息肉边缘特征信息。
如图5所示，Transformer分支部分中特征编码器提取的低等级的特征图F1同时输入到两条支路，第一条支路由2个连续的LE模块构成，第二条支路由一个1×1卷积层和组归一化层构成，其分别产生特征图F′1和F″1，并对这两个特征图进行按元素等级的求和操作后提供给SiLU激活函数得到局部边缘特征信息O2，即：
所述选择性全局-局部融合SGLFH模块用于选择性的将所述局部息肉边缘特征信息与所述优化的全局特征图进行融合，得到富含全局和局部语义信息的特征图。
如图6所示，将所述优化的高等级全局特征图O1进行2倍的上采样后与低等级的局部边缘特征图O2进行有选择性的拼接操作后，输入到2个连续的由1×1卷积、组归一化和SiLU激活函数组成的单元，进而产生所述Transformer分支部分输出的包含全局和局部语义信息的特征图FT，即：FT＝SiLU(GN(C1×1(SiLU(GN(C1×1(Concat(Up2(O2),O1)))))))。
进一步对特征图FT进行4倍的上采样操作得到与输入图像大小一致特征图作为所述Transformer分支部分的输出F′T。
本实施方式中的FCN分支部分的编/解码器用于从所述结肠镜图像中提取全尺寸高度融合的多尺度特征，得到全尺寸的细粒度息肉病变特征图。
如图2中的(c)所示，所述FCN分支部分包括ResidualBlock模块、跨步卷积层、最近邻插值和Dense U-Net类型的跳跃连接，通过所述FCN分支的编码器获得从第1降采样层到第5降采样层对应的特征图其中j∈{1,2,...,5}，Cj∈{32,32,64,128,512}；与之相反，通过所述FCN分支的解码器，从上采样层1到上采样层5，特征分辨率以2倍的速度逐步恢复，而从第2到第5上采样层，特征通道的数量连续减少2倍，最终得到与输入图像一致的全尺寸的细粒度病变特征图Fc。
本实施方式中的述预测头PH模块以所述全尺寸的特征张量为输入，输出息肉分割结果。如图7所示，对所述Transformer分支部分输出的特征与所述FCN分支部分输出的特征图Fc沿着通道维度进行拼接，拼接后的全尺寸特征张量输入到2个连续的ResidualBlock模块，随后提供到1×1卷积层和SiLU激活函数层，输出最终的全尺寸大小的息肉分割预测图。
为了验证本实施方式提出的方法的有效性和泛化性，在5个广泛使用的公共合理的息肉分割数据集，包括Kvasir-SEG，CVC-ClinicDB，CVC-ColonDB，ETIS和CVC-300，进行了实验验证，采用平均Dice系数(mDice)，平均交并比(mIoU)，平均绝对误差(MAE)，加权F-measureS-measure(Sα)和平均E-measure(mEφ)作为分割评价指标，具体如下：
(a)在定量对比实验中，将本实施方式的方法与其他先进的息肉分割网络在CVC-ClinicDB和Kvasir-SEG数据集中进行了比较，包括U-Net，U-Net++，PraNet，SSFormer，FCBFormer，SFA，MSNet，SANet，M2SNet，Polyp-PVT，CFA-Net，ESFPNet和TranSEFusionNet，表1列举了相关的定量对比实验结果。
表1本发明方法与其他先进的息肉分割网络数据集的定量对比实验结果：
如表1所示，在定量对比实验中，与其他息肉分割方法相比本实施方式提出的Dua-PSNet取得了全面的分割性能的提升。在CVC-ClinicDB数据集中，与SSFormer相比，本实施方式提出的Dua-PSNet的mDice，mIoU，Sα和mEφ分别提升了3.3％，4％，2.3％，2.2％和1.8％。基于mDice，mIoU，/>和Sα指标，Dua-PSNet在所有网络中表现的最好，分别达到了0.939，0.895，0.936和0.950。在Kvasir-SEG数据集上，Dua-PSNet的分割性能也明显优于FCBFormer，其mDice，mIoU，/>Sα和mEφ分别提升了1.8％，2.9％，2.9％，0.9％和1.8％，并且MAE下降了0.5％。同样的，对比Polyp-PVT，其mDice和mIoU也产生了明显更好的结果，分别达到了0.922和0.874。即使与近来提出的最先进的M2SNet,ESFPNet和TranSEFusionNet相对比，所提出的Dua-PSNet在几乎所有的评估指标中仍然实现了一致最好的分割结果。这些结果表明本实施方式所提出的Dua-PSNet具有很强的特征学习能力，证明了本实施方式的方法的有效性。
(b)在定性对比实验中，本实施方式与性能更加优秀的TranSEFusionNet，ESFPNet，CFA-Net，Polyp-PVT，M2SNet，FCBFormer，SSFormer，SANet，MSNet，PraNet和SFA进行了比较，图8展示了所提出的Dua-PSNet与这些先进网络定性分割结果的比较。
从图8定性分割结果的比较中可以发现，本实施方式所提出的Dua-PSNet在各种具有挑战性的情况下均提供了一致的最佳分割性能，确保了息肉边界的完整性和清晰性，同时减少了息肉内部的误分割。在这些先进的方法中，SFA几乎表现最差，在不同的挑战情况下均无法分割息肉。当息肉区域较小时，如第2行，TranSEFusionNet、ESFPNet、Polyp-PVT、M2Snet、FCBFormer、SSFormer和PraNet都预测了一些不相关的分割区域；在第3行和第4行息肉较大且形状不规则的情况下，SSFormer和SANet完全无法分割，而CFA-Net、Polyp-PVT、M2SNet和FCBFormer产生了一些不正确的分割区域。对于TranSEFusionNet和ESFPNet，仍然存在一些不完整和假阳性的情况。当息肉的边缘与周围组织相似时(如第5行和第6行)，ESFPNet产生了一些错误分割，PraNet产生了过度分割，而CFA-Net、M2SNet和MSNet则由于精细边缘特征细节的丢失而出现了模糊的边界。在这种情况下，TranSEFusionNet出现了不完整分割的情况，Polyp-PVT只区分了息肉区域的一部分，并且存在分割不足的问题，而FCBFormer和SSFormer忽略了一些细粒度的特征信息。相反，在所有这些具有挑战性的条件下，所提出的Dua-PSNet预测的分割图与真值保持了最佳的一致性。定性的分割比较结果再次表明，所提出的Dua-PSNet在不同大小、形状和对比度的情况下，在准确预测息肉分割图中表现出非常明显的优势。
(c)为了验证本实施方式的方法的跨域泛化性能，将CVC-ClinicDB和Kvasir-SEG数据集中的图像合并后训练本实施方式方法和被比较的网络，包括TranSEFusionNet，ESFPNet，CFA-Net，Polyp-PVT，M2SNet，FCBFormer，SSFormer，SANet，MSNet，PraNet和SFA，并分别在CVC-ColonDB,ETIS和CVC-300数据集中进行验证，表2列出了不同网络泛化性的对比结果。
表2本实施方式的方法与其他先进的息肉分割网络的泛化性实验的定量对比结果
从表2中的泛化性比较结果可以发现，本实施方式所提出的Dua-PSNet在几乎所有的评价指标中都始终优于其他主流的网络。例如，与FCBFormer相对比，在CVC-ConlonDB数据集中，所提出的Dua-PSNet的mDice，mIoU，Sα和mEφ分别提高了2.3％、1.8％、3.0％、1.9％和1.4％，并且MAE也降低了0.4％。在CVC-300数据集上，所提出的Dua-PSNet大大超过了Polyp-PVT，其mDice从0.899提高到0.910(提高1.1％)和mIoU从0.831提高到0.845(提高1.4％)。即使在最具挑战性的ETIS数据集中，Dua-PSNet也实现了最先进的分割性能，其mDice，mIoU，/>和Sα得分分别为0.794、0.719、0.750和0.882。此外，本实施方式的方法在几乎所有评估指标上都一致优于最近提出的M2SNet、CFA-Net、ESFPNet和TranSEFusionNet。同样，这些泛化性验证结果表明，与当前最先进的方法相比，所提出的Dua-PSNet在处理与用于训练时分布不同的结肠镜图像时仍然表现出极好的跨域泛化能力，这表明该发明方法可以潜在的应用于数据分布变化较大的实际临床息肉病变的检测。
(d)进一步，为了验证本实施方式所提出的自适应特征聚合AFA模块、边缘特征提取ResidualBlock模块、选择性全局-局部融合SGLFH模块及双分支互补的有效性，在CVC-ClinicDB和Kvasir-SEG数据集上做了相应的消融实验，表3和图9列出了消融实验的定量和定性结果。
表3针对于本发明所提出的各模块做出相应的消融实验的定量结果
在ResidualBlock模块的消融实验中，使用ResidualBlock模块后(No.1vs No.3)网络的分割性能得到了提升，在Kvasir-SEG数据集上其mDice和mIoU分别提高了1.1％和1.6％；对比No.6和No.5，可以观察到类似提升的趋势。
在双分支有效性验证的消融实验中，相较于单分支的No.2和No.3，双分支网络No.4在两个数据集上都实现了明显的性能提升。例如，在CVC-ClinicDB数据集中，No.4相较于No.3其mDice和mIoU分别提高了2.2％和4.2％，而在Kvasir-SEG数据集上分别提升了2.3％和2.8％；与No.2相比较，类似的趋势也可以观察到；这些分割性能的提升证实两个分支的协同工作可以使网络更准确地识别真正的息肉区域，表明互补的层次语义信息可以用于提高网络的分割性能。
在AFA模块的消融实验中，可以观察到，添加AFA模块的网络No.5相比没有该模块的网络No.4的分割性能有显著的性能提升，在CVC-ClinicDB数据集上其mDice从0.9220提高到0.9346(上升1.3％)，mIoU从0.8701提高到0.8861(上升1.6％)，在Kvasir-SEG数据集上其mDice从0.8926提高到0.9065(上升1.4％)，mIoU由0.8267提高到0.8478(上升2.1％)。
在SGLFH模块的消融实验中，网络中嵌入SGLFH模块后(No.7)比没有该模块的网络(No.6)在所有的评估指标上都实现了更好的分割结果，在CVC-ClinicDB数据集上mDice：0.9514vs 0.9438，mIoU：0.9083vs 0.8966；在Kvasir-SEG数据集上mDice：0.9253vs0.9174，mIoU：0.8746vs 0.8556；这些结果表明，SGLFH模块的引入提高了息肉分割的准确度，强调了所提出的SGLFH模型的有效性，这是因为该模块允许其以动态聚合局部特征细节和全局语义特征的方式来缩小它们之间的语义信息偏差。
至此，本实施方式的息肉分割方法已经实现并进行了验证。本实施方式提出的Dua-PSNet网络能较好的克服了现有息肉分割技术中全局特征提取与长距离特征依赖建模不足、全局特征与关键局部特征融合不充分、注意力发散、跨域泛化能力弱及产生的分割图分辨率低等问题。本实施方式中的Dua-PSNet分割网络在5个不同的公共合理的息肉分割数据集中进行了综合验证实验，分割性能良好，这表明本发明方法在息肉分割方面具有很好的有效性、泛化性和实用性。
本发明的第二实施方式涉及一种电子设备，包括存储器以及处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一实施方式的基于结肠镜图像的息肉分割方法的步骤。
本发明的第三实施方式涉及一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现第一实施方式的基于结肠镜图像的息肉分割方法的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本发明实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言Java和直译式脚本语言JavaScript等。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种基于结肠镜图像的息肉分割方法，其特征在于，包括以下步骤：
接收结肠镜图像；
将所述结肠镜图像输入至增强双聚合息肉分割网络，得到息肉分割结果；
其中，所述增强双聚合息肉分割网络包括Transformer分支部分、FCN分支部分、拼接模块和预测头PH模块；
所述Transformer分支部分包括特征编码器和多阶段特征聚合MFAD解码器；所述特征编码器用于对所述结肠镜图像进行特征提取，得到多个等级、不同尺度的全局特征图；所述多阶段特征聚合MFAD解码器包括自适应特征聚合AFA模块、边缘特征提取ResidualBlock模块和选择性全局-局部融合SGLFH模块；所述自适应特征聚合AFA模块用于对不同尺度的相邻高等级的全局特征图进行渐进自适应的融合，生成优化的全局特征图；所述边缘特征提取ResidualBlock模块用于捕捉低等级的全局特征图中隐藏的局部息肉边缘特征信息；所述选择性全局-局部融合SGLFH模块用于选择性的将所述局部息肉边缘特征信息与所述优化的全局特征图进行融合，得到富含全局和局部语义信息的特征图；
所述FCN分支部分的编/解码器用于从所述结肠镜图像中提取全尺寸高度融合的多尺度特征，得到全尺寸的细粒度息肉病变特征图；
拼接模块，用于将所述Transformer分支部分输出的特征图和FCN分支部分的输出的细粒度息肉病变特征图沿着通道维度进行拼接，得到全尺寸的特征张量；
所述预测头PH模块以所述全尺寸的特征张量为输入，输出息肉分割结果。
2.根据权利要求1所述的基于结肠镜图像的息肉分割方法，其特征在于，所述增强双聚合息肉分割网络训练时采用的损失函数为整体损失函数L(S,G)，表示为：
其中，S和G分别表示预测结果和真值，λ1和λ2分别表示可调整的权值系数，/>和/>分别为加权的二值交叉熵损失和加权的Dice损失。
3.根据权利要求1所述的基于结肠镜图像的息肉分割方法，其特征在于，所述特征编码器采用预训练的PVTv2-B3作为主干网络，用于获取4个等级不同尺度的全局特征特征图。
4.根据权利要求3所述的基于结肠镜图像的息肉分割方法，其特征在于，所述自适应特征聚合AFA模块包括：
高等级特征图处理单元，用于将所述特征编码器提取到的3个高等级特征图F2、F3和F4分别通过由3×3卷积层、组归一化和SiLU激活函数构成的LE模块，得到特征图F2′、F3′和F4′；
第一融合单元，用于对特征图F2′、F3′和F4′进行第一融合处理，得到第一融合特征图M1；所述第一融合处理表示为：
第二融合单元，用于对特征图F3′和F4′进行第二融合处理，得到第二融合特征图M2；所述第二融合处理表示为：
拼接处理单元，用于将第一融合特征图M1和第二融合特征图M2沿通道维度进行拼接，
并将拼接后的特征图输入所述LE模块，得到优化的全局特征图；
其中，Up2()和Up4()分别表示2倍和4倍的最近邻上采样操作，表示元素等级的相乘操作，Concat()表示通道等级的拼接操作；LE()表示由3×3卷积层、组归一化和SiLU激活函数构成的顺序操作。
5.根据权利要求3所述的基于结肠镜图像的息肉分割方法，其特征在于，所述边缘特征提取ResidualBlock模块包括：
第一低等级图处理单元，用于将低等级特征图F1输入两个依次连接的由3×3卷积层、组归一化和SiLU激活函数构成的LE模块，得到特征图F1′；
第二低等级图处理单元，用于将低等级特征图F1依次输入1×1卷积层和组归一化层，得到特征图F1″；
求和激活单元，用于将特征图F1′和特征图F1″进行按元素等级的求和操作，并通过SiLU激活函数进行处理，得到局部息肉边缘特征信息。
6.根据权利要求1所述的基于结肠镜图像的息肉分割方法，其特征在于，所述选择性全局-局部融合SGLFH模块包括：
拼接单元，用于将优化的全局特征图进行上采样，并将上采样后的全局特征图与局部息肉边缘特征信息进行选择性拼接操作，得到拼接特征图；
处理单元，将拼接特征图输入2个连续的由1×1卷积、组归一化和SiLU激活函数组成的单元，得到富含全局和局部语义信息的特征图；
输出单元，用于将富含全局和局部语义信息的特征图进行上采样操作得到与输入图像大小一致的特征图并作为所述Transformer分支部分的输出。
7.根据权利要求1所述的基于结肠镜图像的息肉分割方法，其特征在于，所述FCN分支部分的编码器包括5个降采样层，所述5个降采样层的特征通道数量依次为32、32、64、128和512；所述FCN分支部分的解码器包括5个上采样层，所述5个上采样层的特征分辨率以2倍的速度逐步恢复，而从第2上采样层到第5上采样层，特征通道的数量连续减少2倍。
8.根据权利要求1所述的基于结肠镜图像的息肉分割方法，其特征在于，所述预测头PH模块包括依次设置的2个连续的ResidualBlock模块、1×1卷积层和SiLU激活函数层。
9.一种电子设备，包括存储器以及处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-8中任一所述基于结肠镜图像的息肉分割方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8中任一所述基于结肠镜图像的息肉分割方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311256488.XA CN117197470A (zh) | 2023-09-27 | 2023-09-27 | 一种基于结肠镜图像的息肉分割方法、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311256488.XA CN117197470A (zh) | 2023-09-27 | 2023-09-27 | 一种基于结肠镜图像的息肉分割方法、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117197470A true CN117197470A (zh) | 2023-12-08 |
Family
ID=88992312
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311256488.XA Pending CN117197470A (zh) | 2023-09-27 | 2023-09-27 | 一种基于结肠镜图像的息肉分割方法、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117197470A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118037756A (zh) * | 2024-04-11 | 2024-05-14 | 江西师范大学 | 一种基于边界-目标增强的结肠镜息肉分割方法 |
-
2023
- 2023-09-27 CN CN202311256488.XA patent/CN117197470A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118037756A (zh) * | 2024-04-11 | 2024-05-14 | 江西师范大学 | 一种基于边界-目标增强的结肠镜息肉分割方法 |
| CN118037756B (zh) * | 2024-04-11 | 2024-06-25 | 江西师范大学 | 一种基于边界-目标增强的结肠镜息肉分割方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111480169B (zh) | 用于模式识别的方法、系统和装置 | |
| Guo et al. | Giana polyp segmentation with fully convolutional dilation neural networks | |
| CN111209952A (zh) | 基于改进ssd和迁移学习的水下目标检测方法 | |
| CN112465828A (zh) | 一种图像语义分割方法、装置、电子设备及存储介质 | |
| CN111914654B (zh) | 一种文本版面分析方法、装置、设备和介质 | |
| CN113744153B (zh) | 双分支图像修复伪造检测方法、系统、设备及存储介质 | |
| CN110674824A (zh) | 基于R2U-Net的手指静脉分割方法、装置和存储介质 | |
| Li et al. | MIA-Net: Multi-information aggregation network combining transformers and convolutional feature learning for polyp segmentation | |
| CN112561937A (zh) | 基于病变边界信息响应的上下文感知医学图像分割方法 | |
| CN112561907B (zh) | 一种基于双流网络的视频篡改操作检测方法及装置 | |
| CN113838047B (zh) | 基于内窥镜图像的大肠息肉分割方法、系统及相关组件 | |
| CN117197470A (zh) | 一种基于结肠镜图像的息肉分割方法、设备及介质 | |
| CN115631112B (zh) | 一种基于深度学习的建筑轮廓矫正方法及装置 | |
| Su et al. | FAPN: Feature augmented pyramid network for polyp segmentation | |
| CN115331024A (zh) | 一种基于深度监督和逐步学习的肠道息肉检测方法 | |
| Muntarina et al. | MultiResEdge: A deep learning-based edge detection approach | |
| CN112633260B (zh) | 视频动作分类方法、装置、可读存储介质及设备 | |
| Ige et al. | Convsegnet: automated polyp segmentation from colonoscopy using context feature refinement with multiple convolutional kernel sizes | |
| CN117893858A (zh) | 一种融合多层级多尺度与边界信息的图像篡改定位方法 | |
| CN116597138A (zh) | 一种基于深度卷积神经网络的息肉图像语义分割方法 | |
| CN116091458A (zh) | 一种基于互补注意力的胰腺图像分割方法 | |
| Fan et al. | EGFNet: Efficient guided feature fusion network for skin cancer lesion segmentation | |
| El-Gayar et al. | A novel approach for detecting deep fake videos using graph neural network | |
| Shen et al. | Mask-guided explicit feature modulation for multispectral pedestrian detection | |
| Wei et al. | DRCNet: Road Extraction From Remote Sensing Images Using DenseNet With Recurrent Criss-Cross Attention and Convolutional Block Attention Module |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |