CN116630245A - 一种基于显著性图引导和不确定性语义增强的息肉分割方法 - Google Patents

一种基于显著性图引导和不确定性语义增强的息肉分割方法 Download PDF

Info

Publication number
CN116630245A
CN116630245A CN202310490844.8A CN202310490844A CN116630245A CN 116630245 A CN116630245 A CN 116630245A CN 202310490844 A CN202310490844 A CN 202310490844A CN 116630245 A CN116630245 A CN 116630245A
Authority
CN
China
Prior art keywords
map
network
uncertainty
size
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310490844.8A
Other languages
English (en)
Inventor
郑建炜
李燕
方创杰
刘豪
谷雨斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202310490844.8A priority Critical patent/CN116630245A/zh
Publication of CN116630245A publication Critical patent/CN116630245A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于显著性图引导和不确定性语义增强的息肉分割方法。对待分割的医学图像，先通过主干编码子网络提取特征图和显著性图，将特征图通过二阶池化卷积注意力子网络，学习更高阶的特征表示以增强非线性建模能力，使用显著性图通过不确定性语义增强子网络引导特征图，即引导网络关注目标区域特征的学习，最后将显著性图经过上采样和激活函数得到医学图像最终预测分割结果。本发明试图通过对目标区域的显著性和不确定性计算，来引导网络关注目标区域特征的学习，同时对与边界信息高度相关的显著图进行不确定性区域增强，以进一步提升网络在多种复杂场景下的分割性能，增强网络的泛化能力和鲁棒性。

Description

一种基于显著性图引导和不确定性语义增强的息肉分割方法
技术领域
本发明属于图像处理技术领域，具体涉及一种基于显著性图引导和不确定性语义增强的息肉分割方法。
背景技术
深度学习技术已被证明在医学图像分割的不同的基准数据集上是有效的。目前医学分割普遍存在的问题，即是充分整合CNN和Transformer的优点，提出分割模型。然而，这类端到端的方法基本都是从原始数据中提取隐藏信息并利用这些模型进行预测。因此，大多数基于深度学习的医学图像分割的研究都忽略了一个最重要的问题，即在学习过程中需要考虑模型预测的不确定性，特别是在医学图像分析中。预测模型的性能可能会受到输入数据和建模先验等不确定性的影响。如何有效地处理模型中的不确定性，并创建一个具有更好泛化能力的模型是一个值得深度探索的问题，特别是在像医疗诊断这样的安全关键应用中，因此，不确定性量化在深度学习中起着重要作用。
除了不确定性问题以外，回归到医学图像分割本身。针对于息肉分割这一常见问题，以往分割算法通常采用显著目标检测的方法，因为它们共享感兴趣区域，更多地关注息肉区域，而不是环绕场景。目前最先进的SOD方法显示出良好的性能，这与边缘引导高度相关。然而，获取额外的边缘数据通常是昂贵的。反向注意力建议使用反向显著图来获取边界线索，但由于边界区域与模糊显著性分数高度相关，未经反向操作的显著图已经具备了这样的边界信息。总而言之，如何有效提取医学图像中目标区域的显著特征，进而准确定位目标区域，实现目标区域的精准分割，仍然有待于进一步研究。由于不确定性对医学图像分割的影响，现有的方法尚未精确地分割出整个目标区域。在类内特征差异较大的情况下，仍有部分数据样本存在欠分割的情况；在类间特征差异较小或背景中存在较多干扰信息的情况下，还存在误分割的问题。
发明内容
本发明试图通过对目标区域的显著性和不确定性计算，来引导网络关注目标区域特征的学习，同时对与边界信息高度相关的显著图进行不确定性区域增强，以进一步提升网络在多种复杂场景下的分割性能，增强网络的泛化能力和鲁棒性。
为实现上述目的，本发明所采取的技术方案为：
一种基于显著性图引导和不确定性语义增强的息肉分割方法，包括以下步骤：
步骤S1、获取待分割的医学图像P；
步骤S2、将图像P输入到PVT(Pyramid Vision Transformer)主干编码子网络中，提取出三个特征图T1、T2、T3和一个显著性图s1；
步骤S3、将特征图T1、T2、T3分别输入到二阶池化卷积注意力子网络SPA中得到图像Y1、Y2、Y3；
步骤S4、显著性图s1通过不确定性语义增强子网络UAA引导特征图Y3得到u3，并通过逐点相加引导u3得到显著性图s2；显著性图s2通过不确定性语义增强子网络引导特征图Y2得到u2，并通过逐点相加引导u2得到显著性图s3；显著性图s3通过不确定性语义增强子网络引导特征图Y1得到u1，并通过逐点相加引导u1得到显著性图s4；
步骤S5、将显著性图s4经过2倍双线性插值上采样和Sigmoid函数得到医学图像P的最终预测分割结果P0。
作为优选，步骤S3所述的二阶池化卷积注意力子网络模块，包括：
S31.令输入的特征图为×，其大小为H×W×C，其中H、W和C分别是特征图X的高度、宽度和通道数；
S32.将X通过Linear和Unfold两个线性层投影成大小为H×W×C的特征V，对于给定空间位置(i，j)，令表示以空间位置(i，j)为中心的大小为K×K×C的局部窗口内像素值的集合，/>可定义为：
其中K表示正方形局部窗口的边长，p表示局部窗口内像素值相对空间位置(i，j)在横坐标上的偏移量，q表示局部窗口内像素值相对空间位置(i，j)在纵坐标上的偏移量，Vi+p，j+q表示局部窗口内某一点的像素值；
S34.将X输入到二阶池化模块中，对X使用1×1卷积将通道数缩减到c；
S35.计算两两通道相关性，得到一个具备明确物理意义的协方差矩阵c×c，即第i行表示第i通道与所有通道间的统计相关性；
S36.将协方差矩阵进行逐行卷积，得到一个(K2×K2)×1的权值向量，再通过线性投影成大小为H×W×K4的权值A，对于给定空间位置(i，j)，是大小为K2×K2的局部窗口内的权值；
S37.将经过Softmax操作后与/>做多头自注意力操作得到局部窗口的深层特征/> 定义为：
S38.将经过加权平均密集聚合，得到大小为H×W×C的二阶池化卷积注意力子网络的深层特征输出/>其中对于给定空间位置(i，j)的深层特征输出/>可定义为：
其中m表示给定空间位置(i，j)周围局部窗口内的深层特征相对该位置在横坐标上的偏移量，n表示给定空间位置(i，j)周围局部窗口内的深层特征相对该位置在纵坐标上的偏移量，YΔi+m，j+n表示空间位置(i+m，j+n)上的深层特征。
作为优选，步骤S4所述的不确定性语义增强子网络，包括：
S41.令输入的显著性图为s，大小为上采样为H×W×1的显著性图S，令输入的特征图为x，其大小为H×W×C；
S42.对显著性图S计算前景图Sf、背景图Sb和不确定区域图Su的表征向量，计算公式如下：
Sf＝max(S-0.5，0)，Sb＝max(0.5-S，0)，Su＝0.5-|S-0.5|；
S43.对大小为H×W×1的显著性图Sf、Sb和Su做通道连接并重塑为1×HW×3大小的特征图f0；
S44.将特征图x经过1×1卷积进行特征融合，并重塑为1×HW×C大小的特征图f1；
S45.将特征图f1的与特征图f0每个区域图汇总，做矩阵乘法并在通道维度拼接得到大小为1×C×3的特征图f2，汇总过程可定义为：
vf＝Sf⊙f1，vb＝Sb⊙f1，vu＝Su⊙f1，
f2＝concat(vf，vb，vu)，
其中vf、vb和vu分别表示前景区域、背景区域和不确定区域特征向量，⊙表示矩阵乘法；
S46.将特征图f1和f2分别经过1×1卷积进行特征融合，然后做矩阵乘法得到大小为1×HW×3的特征图f3，以计算每个特征向量与输入特征图f1中的每个像素之间的相似度，定义为：
其中表示逐点卷积，rf′、rb′和ru′表示对应特征向量vf、vb、和vu与输入特征图f1中的每个像素之间的相似度，rf、rb和ru表示对应特征向量vf、vb、和vu的相似度得分，
S47.将特征向量vf、vb、和vu经过权重矩阵与相似度得分rf、rb和ru相乘的结果相加，然后通过1×1卷积得到上下文特征图R如下：
其中ω为权重矩阵；
S48.将上下文特征图R和输入特征图x相对于通道方向进行拼接，并进行逐点卷积得到大小为H×W×C的不确定性语义增强子网络输出特征图u。
作为优选，步骤S4所述的显著性引导过程，包括：
S41.令医学图像P的大小为W×H×C，其中W、H和C分别是图像的宽度、高度和通道数；
S42.将医学图像P输入到PVT网络，通过卷积层得到大小为的T1，卷积核大小为3×3×C，步长为2，输出通道数为/>其中L是特征图T3的通道数。将T1通过卷积层得到大小为/>的T2，将T2通过卷积层得到大小为/>的T3，两个卷积层都将图像的高和宽变为原来的一半，通道数变为原来的两倍。将T3通过卷积层得到大小为的显著性图s1。
S43.将T1输入SPA网络模块得到大小为的Y1；将T2输入SPA网络模块得到大小为/>的Y2；将T3输入SPA网络模块得到大小为/>的Y3；
S44.将s1经过2倍线性上采样得到大小为的S1，将S1通过不确定性语义增强子网络引导特征图Y3得到u3，并通过逐点相加引导u3得到大小为/>显著性图s2；
S45.将s2经过2倍线性上采样得到大小为的S2，将S2通过不确定性语义增强子网络引导特征图Y2得到u2，并通过逐点相加引导u2得到大小为/>显著性图s3；
S46.将s3经过2倍线性上采样得到大小为的S3，将S3通过不确定性语义增强子网络引导特征图Y1得到u1，并通过逐点相加引导u1得到大小为/>显著性图s4。
与现有技术相比，本发明具有如下优点：
本发明提供的基于显著性图引导和不确定性语义增强的息肉分割方法，该算法首先通过二阶池化卷积注意力网络(SPA)学习更高阶的特征表示以增强非线性建模能力，进一步地将显著性检测编码网络生成的显著图通过不确定性语义增强子网络(UAA)引导网络关注目标区域特征的学习，同时增强网络对不确定分类区域和复杂边界的表征能力，以提升网络在不同模态医学图像语义分割任务中的分割性能。相比于其他对比算法，此算法在目标息肉数据集图像分割任务中取得了更好的分割性能。
附图说明
图1为本发明的基于显著性图引导和不确定性语义增强网络的架构图；
图2为本发明二阶池化注意力子网络结构图；
图3为本发明不确定性语义增强子网络结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本发明。
其中一个实施例中，提供了一种基于显著性图引导和不确定性语义增强的息肉分割方法，该方法通过对目标区域的显著性和不确定性计算，来引导网络关注目标区域特征的学习，同时对与边界信息高度相关的显著图进行不确定性区域增强，以进一步提升网络在多种复杂场景下的分割性能，增强网络的泛化能力和鲁棒性。
具体的，如图1所示，本实施例中的基于显著性图引导和不确定性语义增强的息肉分割方法，包括以下步骤：
步骤S1、获取待分割的医学图像P。
步骤S2、将图像P输入到PVT主干编码子网络中，提取出三个特征图T1、T2、T3和一个显著性图s1。
步骤S3、将特征图T1、T2、T3分别输入到二阶池化卷积注意力子网络SPA中得到图像Y1、Y2、Y3。
如图2所示，本实施例中的二阶池化卷积注意力子网络模块具体如下：
S31.令输入的特征图为X，其大小为H×W×C，其中H、W和C分别是特征图X的高度、宽度和通道数；
S32.将X通过Linear和Unfold两个线性层投影成大小为H×W×C的特征V，对于给定空间位置(i，j)，令表示以空间位置(i，j)为中心的大小为K×K×C的局部窗口内像素值的集合，/>可定义为：
其中K表示正方形局部窗口的边长，p表示局部窗口内像素值相对空间位置(i，j)在横坐标上的偏移量，q表示局部窗口内像素值相对空间位置(i，j)在纵坐标上的偏移量，Vi+p，j+q表示局部窗口内某一点的像素值；
S34.将X输入到二阶池化模块中，对X使用1×1卷积将通道数缩减到c；
S35.计算两两通道相关性，得到一个具备明确物理意义的协方差矩阵c×c，即第i行表示第i通道与所有通道间的统计相关性；
S36.将协方差矩阵进行逐行卷积，得到一个(K2×K2)×1的权值向量，再通过线性投影成大小为H×W×K4的权值A，对于给定空间位置(i，j)，是大小为K2×K2的局部窗口内的权值；
S37.将经过Softmax操作后与/>做多头自注意力操作得到局部窗口的深层特征/> 定义为：
S38.将经过加权平均密集聚合，得到大小为H×W×C的二阶池化卷积注意力子网络的深层特征输出/>其中对于给定空间位置(i\，j)的深层特征输出/>可定义为：
其中m表示给定空间位置(i，j)周围局部窗口内的深层特征相对该位置在横坐标上的偏移量，n表示给定空间位置(i，j)周围局部窗口内的深层特征相对该位置在纵坐标上的偏移量，YΔi+m，j+n表示空间位置(i+m，j+n)上的深层特征。
本实例即为提出的一个新颖的注意力模型，将特征表示从较低层引入到较高层，以在整个网络中利用整体图像信息。具体地，通过卷积局部先验引入，并聚焦细粒度全局依赖建模，二阶池化卷积注意力模型旨在更高效的将细粒度特征和全局上下文信息编码到特征表征中。进一步，通过全局相关性建模，捕获长距离统计信息并使用注意力权值丰富原数据的表征能力。
步骤S4、显著性图s1通过不确定性语义增强子网络UAA引导特征图Y3得到u3，并通过逐点相加引导u3得到显著性图s2；显著性图s2通过不确定性语义增强子网络引导特征图Y2得到u2，并通过逐点相加引导u2得到显著性图s3；显著性图s3通过不确定性语义增强子网络引导特征图Y1得到u1，并通过逐点相加引导u1得到显著性图s4。
如图3所示，本实施例中的不确定性语义增强子网络具体如下：
S41.令输入的显著性图为s，大小为上采样为H×W×1的显著性图S，令输入的特征图为x，其大小为H×W×C；
S42.对显著性图S计算前景图Sf、背景图Sb和不确定区域图Su的表征向量，计算公式如下：
Sf＝max(S-0.5，0)，Sb＝max(0.5-S，0)，Su＝0.5-|S-0.5|；
S43.对大小为H×W×1的显著性图Sf、Sb和Su做通道连接并重塑为1×HW×3大小的特征图f0；
S44.将特征图x经过1×1卷积进行特征融合，并重塑为1×HW×C大小的特征图f1；
S45.将特征图f1的与特征图f0每个区域图汇总，做矩阵乘法并在通道维度拼接得到大小为1×C×3的特征图f2，汇总过程可定义为：
vf＝Sf⊙f1，vb＝Sb⊙f1，vu＝Su⊙f1，
f2＝concat(vf，vb，vu)，
其中vf、vb和vu分别表示前景区域、背景区域和不确定区域特征向量，⊙表示矩阵乘法；
S46.将特征图f1和f2分别经过1×1卷积进行特征融合，然后做矩阵乘法得到大小为1×HW×3的特征图f3，以计算每个特征向量与输入特征图f1中的每个像素之间的相似度，定义为：
其中表示逐点卷积，rf′、rb′和ru′表示对应特征向量vf、vb、和vu与输入特征图f1中的每个像素之间的相似度，rf、rb和ru表示对应特征向量vf、vb、和vu的相似度得分，
S47.将特征向量vf、vb、和vu经过权重矩阵与相似度得分rf、rb和ru相乘的结果相加，然后通过1×1卷积得到上下文特征图R如下：
其中ω为权重矩阵；
S48.将上下文特征图R和输入特征图x相对于通道方向进行拼接，并进行逐点卷积得到大小为H×W×C的不确定性语义增强子网络输出特征图u。
本实施例中的显著性引导过程具体如下：
S41.令医学图像P的大小为W×H×C，其中W、H和C分别是图像的宽度、高度和通道数；
S42.将医学图像P输入到PVT网络，通过卷积层得到大小为的T1，卷积核大小为3×3×C，步长为2，输出通道数为/>其中L是特征图T3的通道数。将T1通过卷积层得到大小为/>的T2，将T2通过卷积层得到大小为/>的T3，两个卷积层都将图像的高和宽变为原来的一半，通道数变为原来的两倍。将T3通过卷积层得到大小为的显著性图s1。
S43.将T1输入SPA网络模块得到大小为的Y1；将T2输入SPA网络模块得到大小为/>的Y2；将T3输入SPA网络模块得到大小为/>的Y3；
S44.将s1经过2倍线性上采样得到大小为的S1，将S1通过不确定性语义增强子网络引导特征图Y3得到u3，并通过逐点相加引导u3得到大小为/>显著性图s2；
S45.将s2经过2倍线性上采样得到大小为的S2，将S2通过不确定性语义增强子网络引导特征图Y2得到u2，并通过逐点相加引导u2得到大小为/>显著性图s3；
S46.将s3经过2倍线性上采样得到大小为的S3，将S3通过不确定性语义增强子网络引导特征图Y1得到u1，并通过逐点相加引导u1得到大小为/>显著性图s4。
通过研究显著性图和反向显著性图的反向注意力，发现显著性分数模糊的地方通常有边界区域。换言之，边界区域与显著性分数约为0.5倍的高度相关。基于此，假设显著性图和反向显著性图的边缘信息量相似，因此提出不确定性语义增强模块来排除不确定区域的丰富语义特征，即使没有额外的边缘指导。本节使用最大运算来计算前景和背景图，以便从彼此之间以及不确定的区域图中获取信息。因为不确定的区域图已经代表了它们的联合区域，因此这些信息是多余的，可能会削弱不确定性的作用。
步骤S5、将显著性图s4经过2倍双线性插值上采样和Sigmoid函数得到医学图像P的最终预测分割结果P0。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (3)

1.一种基于显著性图引导和不确定性语义增强的息肉分割方法，其特征在于，包括以下步骤：
步骤S1、获取待分割的医学图像P；
步骤S2、将图像P输入到PVT主干编码子网络中，提取出三个特征图T1、T2、T3和一个显著性图s1；
步骤S3、将特征图T1、T2、T3分别输入到二阶池化卷积注意力子网络SPA中得到图像Y1、Y2、Y3；
步骤S4、显著性图s1通过不确定性语义增强子网络UAA引导特征图Y3得到u3，并通过逐点相加引导u3得到显著性图s2；显著性图s2通过不确定性语义增强子网络引导特征图Y2得到u2，并通过逐点相加引导u2得到显著性图s3；显著性图s3通过不确定性语义增强子网络引导特征图Y1得到u1，并通过逐点相加引导u1得到显著性图s4；
步骤S5、将显著性图s4经过2倍双线性插值上采样和Sigmoid函数得到医学图像P的最终预测分割结果P0。
2.如权利要求1的基于显著性图引导和不确定性语义增强的息肉分割方法，其特征在于：步骤S3中，二阶池化卷积注意力子网络SPA，包括：
S31.令输入的特征图为X，其大小为H×W×C，其中H、W和C分别是特征图X的高度、宽度和通道数；
S32.将X通过Linear和Unfold两个线性层投影成大小为H×W×C的特征V，对于给定空间位置(i,j)，令表示以空间位置(i,j)为中心的大小为K×K×C的局部窗口内像素值的集合，/>可定义为：
其中K表示正方形局部窗口的边长，p表示局部窗口内像素值相对空间位置(i,j)在横坐标上的偏移量，q表示局部窗口内像素值相对空间位置(i,j)在纵坐标上的偏移量，Vi+p,j+q表示局部窗口内某一点的像素值；
S34.将X输入到二阶池化模块中，对X使用1×1卷积将通道数缩减到c；
S35.计算两两通道相关性，得到一个具备明确物理意义的协方差矩阵c×c，即第i行表示第i通道与所有通道间的统计相关性；
S36.将协方差矩阵进行逐行卷积，得到一个(K2×K2)×1的权值向量，再通过线性投影成大小为H×W×K4的权值A，对于给定空间位置(i,j)，是大小为K2×K2的局部窗口内的权值；
S37.将经过Softmax操作后与/>做多头自注意力操作得到局部窗口的深层特征 定义为：
S38.将经过加权平均密集聚合，得到大小为H×W×C的二阶池化卷积注意力子网络的深层特征输出/>其中对于给定空间位置(i,j)的深层特征输出/>可定义为：
其中m表示给定空间位置(i,j)周围局部窗口内的深层特征相对该位置在横坐标上的偏移量，n表示给定空间位置(i,j)周围局部窗口内的深层特征相对该位置在纵坐标上的偏移量，YΔi+m,j+n表示空间位置(i+m,j+n)上的深层特征。
3.如权利要求1的基于显著性图引导和不确定性语义增强的息肉分割方法，其特征在于：步骤S4中，所述的不确定性语义增强子网络，包括：
S41.令输入的显著性图为s，大小为上采样为H×W×1的显著性图S，令输入的特征图为x,其大小为H×W×C；
S42.对显著性图S计算前景图Sf、背景图Sb和不确定区域图Su的表征向量,计算公式如下：
Sf＝max(S-0.5,0),Sb＝max(0.5-S,0),Su＝0.5-|S-0.5|；
S43.对大小为H×W×1的显著性图Sf、Sb和Su做通道连接并重塑为1×HW×3大小的特征图f0；
S44.将特征图x经过1×1卷积进行特征融合，并重塑为1×HW×C大小的特征图f1；
S45.将特征图f1的与特征图f0每个区域图汇总，做矩阵乘法并在通道维度拼接得到大小为1×C×3的特征图f2，汇总过程可定义为：
vf＝Sf⊙f1,vb＝Sb⊙f1,vu＝Su⊙f1，
f2＝concat(vf,vb,vu)，
其中vf、vb和vu分别表示前景区域、背景区域和不确定区域特征向量，⊙表示矩阵乘法；
S46.将特征图f1和f2分别经过1×1卷积进行特征融合，然后做矩阵乘法得到大小为1×HW×3的特征图f3，以计算每个特征向量与输入特征图f1中的每个像素之间的相似度，定义为：
其中表示逐点卷积，rf′、rb′和ru′表示对应特征向量vf、vb、和vu与输入特征图f1中的每个像素之间的相似度，rf、rb和ru表示对应特征向量vf、vb、和vu的相似度得分，
S47.将特征向量vf、vb、和vu经过权重矩阵与相似度得分rf、rb和ru相乘的结果相加，然后通过1×1卷积得到上下文特征图R如下：
其中ω为权重矩阵；
S48.将上下文特征图R和输入特征图x相对于通道方向进行拼接，并进行逐点卷积得到大小为H×W×C的不确定性语义增强子网络输出特征图u。
CN202310490844.8A 2023-05-05 2023-05-05 一种基于显著性图引导和不确定性语义增强的息肉分割方法 Pending CN116630245A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310490844.8A CN116630245A (zh) 2023-05-05 2023-05-05 一种基于显著性图引导和不确定性语义增强的息肉分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310490844.8A CN116630245A (zh) 2023-05-05 2023-05-05 一种基于显著性图引导和不确定性语义增强的息肉分割方法

Publications (1)

Publication Number Publication Date
CN116630245A true CN116630245A (zh) 2023-08-22

Family

ID=87609094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310490844.8A Pending CN116630245A (zh) 2023-05-05 2023-05-05 一种基于显著性图引导和不确定性语义增强的息肉分割方法

Country Status (1)

Country Link
CN (1) CN116630245A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117132774A (zh) * 2023-08-29 2023-11-28 河北师范大学 一种基于pvt的多尺度息肉分割方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117132774A (zh) * 2023-08-29 2023-11-28 河北师范大学 一种基于pvt的多尺度息肉分割方法及系统
CN117132774B (zh) * 2023-08-29 2024-03-01 河北师范大学 一种基于pvt的多尺度息肉分割方法及系统

Similar Documents

Publication Publication Date Title
CN113240580B (zh) 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法
CN109299274B (zh) 一种基于全卷积神经网络的自然场景文本检测方法
US7187811B2 (en) Method for image resolution enhancement
CN109753913B (zh) 计算高效的多模式视频语义分割方法
CN113674140B (zh) 一种物理对抗样本生成方法及系统
CN111563418A (zh) 一种基于注意力机制的非对称多模态融合显著性检测方法
CN112906631B (zh) 一种基于视频的危险驾驶行为检测方法和检测系统
CN113554032B (zh) 基于高度感知的多路并行网络的遥感图像分割方法
CN111931857B (zh) 一种基于mscff的低照度目标检测方法
CN113066089B (zh) 一种基于注意力引导机制的实时图像语义分割方法
CN109657538B (zh) 基于上下文信息指导的场景分割方法和系统
KR102162451B1 (ko) 학습네트워크 기반의 비디오 보간 방법 및 비디오 보외 방법
CN116630245A (zh) 一种基于显著性图引导和不确定性语义增强的息肉分割方法
CN113936235A (zh) 一种基于质量评估的视频显著性目标检测方法
CN116524307A (zh) 一种基于扩散模型的自监督预训练方法
CN116596966A (zh) 一种基于注意力和特征融合的分割与跟踪方法
CN109508639B (zh) 基于多尺度带孔卷积神经网络的道路场景语义分割方法
Zhou et al. Ristra: Recursive image super-resolution transformer with relativistic assessment
CN110532868B (zh) 一种预测自由空间语义边界的方法
CN112463999A (zh) 视觉位置识别方法及装置、计算机设备及可读存储介质
CN117456330A (zh) 一种基于MSFAF-Net的低照度目标检测方法
CN112348762A (zh) 一种基于多尺度融合生成对抗网络的单幅图像去雨方法
CN113450313B (zh) 一种基于区域对比学习的图像显著性可视化方法
CN112927250B (zh) 一种基于多粒度注意力分层网络的边缘检测系统和方法
CN113780305A (zh) 一种基于两种线索交互的显著性目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination