CN114972155B - 一种基于上下文信息和反向注意力的息肉图像分割方法 - Google Patents

Abstract

本发明涉及基于上下文信息和反向注意力的息肉图像分割方法。本发明首先输入息肉图像集中的图像，提取其显著区域的边缘特征和全局特征进行特征融合，得到含边缘信息的不同尺度特征图；其次，通过采用不同扩张率的多分支卷积和并行轴向注意对不同尺度特征图进行特征编码，得到息肉图像显著区域的上下文信息；然后，基于提取到的全局特征和息肉图像显著区域的上下文信息，通过定义的反向注意模块，得到息肉图像非显著区域的反向注意图和显著区域的注意图；最后，结合息肉显著区域的注意图和非显著区域的反向注意图进行解码优化，通过消除错误预测，得到最终的分割结果。本发明可以有效用于息肉图像分割，具有较高的分割效率和准确性。

Description

一种基于上下文信息和反向注意力的息肉图像分割方法

技术领域

本发明涉及一种基于上下文信息和反向注意力的息肉图像分割方法，属于计算机视觉、模式识别及医学图像应用领域。

背景技术

随着医学影像技术的发展，医学影像数据成为医疗诊断与病理分析的重要依据。而医学图像分割作为医学影像分析的重要手段，成为了必不可少的研究内容。然而由于医学图像本身具有较高的复杂性、图像对比度低、噪声变化较大、分割目标形态不规则等特点，加之隐私性导致医学图像数据集小、人工标注困难等问题，导致医学图像自动分割在效率和精度上仍然存在不足。

公知方法通常基于Unet，FCN，ResNet，transformer等网络进行改进，例如Unet++，Double Unet等，但这些方法由于未考虑息肉图像本身形态大小各异，存在多个小息肉不易分割等特点，导致会遗漏不同大小息肉，且分割结果产生破碎等问题。鉴于此，公知的息肉分割方法进行了改进，例如Debesh(<IEEE Journal of Biomedical and HealthInformatics>,2021,2029-2040)在ResUNet主干的基础上添加了残差块、SE块、ASPP块和注意力模块，能够较好地检测出较小的扁平息肉，解决息肉遗漏的问题。Wang(<ISBI>,2021,1319-1323)利用通道注意力机制融合不同分支的上下文特征，利用空间注意力机制计算相应分支的上下文权重，以实现对分割图像的上下文指导，解决息肉形态各异的问题。但是这两个公知方法都没有考虑背景中的前景信息。专利CN112907530A基于残差分支和不同卷积核的分支进行纹理增强，将纹理增强后的特征图和反向注意力处理后的特征图进行拼接融合，从而将背景信息加入特征图中，实现对伪装物体的检测。该方法是对通用图像进行分割，在息肉分割中效果并不理想。专利CN113343995A提出了反向注意模块，利用单位矩阵减去输入的逆运算来挖掘互补区域的细节，探索边界信息。该方法虽然考虑到了背景信息，但未考虑特征图中假阳性和假阴性的干扰。同时也没有充分利用浅层特征中的边缘信息。因此本发明将提取的浅层特征融合，通过边缘监督函数得到边缘特征图，以补充深层特征中缺失的边缘信息；在反向注意模块中加入显著区域向量和非显著区域向量，通过计算显著区域向量、非显著区域向量与全局特征中每个像素的相似度加权值得到显著区域注意图和非显著注意图，从而聚焦于息肉的显著区域和非显著区域；在解码优化过程中，引入上下文分支来获取显著区域注意图中的非显著信息和非显著区域注意图中的显著信息，从而发现并消除特征图中假阳性和假阴性错误预测，得到更准确的分割预测图。

发明内容

本发明提供了一种基于上下文信息和反向注意力的息肉图像分割方法，以用于有效地分割息肉图像，从而满足目前医学图像分割对精确性和复杂性的要求。

本发明的技术方案是：一种基于上下文信息和反向注意力的息肉图像分割方法：所述方法包括如下步骤：

Step1、输入息肉图像集中的图像，提取其显著区域的边缘特征和全局特征进行特征融合，得到含边缘信息的不同尺度特征图；

Step2、通过采用不同扩张率的多分支卷积和并行轴向注意对不同尺度特征图进行特征编码，得到息肉图像显著区域的上下文信息；

Step3、基于提取到的全局特征和息肉图像显著区域的上下文信息，通过定义的反向注意模块，得到息肉图像非显著区域的反向注意图和显著区域的注意图；

Step4、结合息肉图像显著区域的注意图和非显著区域的反向注意图进行解码优化，通过消除错误预测，得到最终的分割结果。

所述Step1具体如下：

首先采用Res2Net提取输入息肉图像集H＝{H₁,H₂,...H_n}五个不同层次的特征{h₁,h₂,h₃,h₄,h₅}，将特征按不同尺度分为浅层特征{h₁,h₂}和深层特征{h₃,h₄,h₅}，通过部分解码器PD＝p_d(h₃,h₄,h₅)得到全局特征G_a，其中n表示息肉图像数量。

其次，对浅层特征h₁和h₂利用公式

进行特征融合操作得到全局关系加权图X_k，其中A_J,J＝j₁,j₂,...,j_c表示全局平均池化后的特征映射，

表示广播像素乘法，φ表示sigmoid函数，ω( )表示1×1卷积和ReLU函数，b表示相关学习参数。

然后，对全局关系加权图X_k进行卷积得到边缘特征图，通过标准二元交叉熵损失函数测量特征图X_k中的边缘与Ground Truth导出的边缘之间的差异性，得到边缘特征图H_e。

最后，将边缘特征图H_e与深层特征通道连接进行卷积操作后得到含边缘信息的不同尺度特征图X_Ee，其中e＝3,4,5。

所述Step3、Step4具体如下：

首先，基于全局特征G_a和由Step2得到的不同尺度上下文信息

其中l＝3,4,5，对第l层上下文信息进行处理。当l＝4,5时全局特征为上一层的预测分割图，令M_a＝1-G_a表示非显著区域图M_a，通过

计算得到非显著区域向量

与全局特征G_a的每个像素的相似度，通过

计算得到显著区域向量

与全局特征G_a的每个像素的相似度，其中ρ( ),θ( )表示逐点卷积，

表示

的s个像素。

其次，对计算得到的相似度

和

通过

和

计算得到加权后的非显著区域反向注意图

和显著区域注意图

其中

分别表示相应的相似度加权值。

然后，基于得到的加权后的非显著区域反向注意图

和显著区域注意图

通过包含不同卷积核的卷积和扩张卷积的上下文分支、卷积、归一化和ReLu提取显著区域注意图中的非显著信息和非显著区域注意图中的显著信息，对上一层预测分割结果，利用元素减法得到去除了显著区域注意图中非显著信息的特征图

利用元素加法得到增强了非显著区域注意图中显著信息的特征图

最后，将得到的两个特征图

进行融合，得到第l层预测分割结果即全局特征，每一层重复上述过程，得到最终分割结果。

本发明的有益效果是：

1、公知的边缘特征提取方法仅处理图像浅层特征的第二层，未利用其他的浅层特征，导致边缘特征图信息不全，具有局限性。本发明通过提取息肉图像显著区域的边缘特征和全局特征进行特征融合，能够获得更加准确的边缘特征图。

2、公知的分割方法大多数通过提取深层特征，而不是利用浅层特征中的边缘特征获得息肉上下文信息，导致分割结果中出现部分息肉的遗漏。本发明融合深层特征和边缘特征，得到包含更多边缘信息的息肉上下文信息，提高后续息肉分割的准确率。

3、公知的分割方法通常只对显著区域采用注意力机制，提取分割目标显著特征，未考虑特征图中假阳性和假阴性的干扰。本发明通过结合显著注意力图和非显著注意力图，发现并消除特征图中假阳性和假阴性错误预测，得到最终的分割结果，解决了假阳性和假阴性对分割结果的干扰问题，使得分割结果具有较高的准确率。

附图说明

图1为本发明的流程图；

图2为本发明的含边缘信息的不同尺度特征提取示例图；

图3为本发明的注意结果实例图；

图4为本发明的解码及优化结果实例图；

图5为本发明的分割结果实例图。

具体实施方式

实施例1：如图1-图5所示，一种基于上下文信息和反向注意力的息肉图像分割方法，包括如下步骤：

Step1、输入息肉图像集中的图像，提取其显著区域的边缘特征和全局特征进行特征融合，得到含边缘信息的不同尺度特征图；

Step2、通过采用不同扩张率的多分支卷积和并行轴向注意对不同尺度特征图进行特征编码，得到息肉图像显著区域的上下文信息；

Step3、基于提取到的全局特征和息肉图像显著区域的上下文信息，通过定义的反向注意模块，得到息肉图像非显著区域的反向注意图和显著区域的注意图；

Step4、结合息肉图像显著区域的注意图和非显著区域的反向注意图进行解码优化，通过消除错误预测，得到最终的分割结果。

进一步地，可设置，所述Step1具体如下：

首先采用Res2Net提取输入息肉图像集H＝{H₁,H₂,...H_n}五个不同层次的特征{h₁,h₂,h₃,h₄,h₅}，将特征按不同尺度分为浅层特征{h₁,h₂}和深层特征{h₃,h₄,h₅}，通过部分解码器PD＝p_d(h₃,h₄,h₅)得到全局特征G_a，其中n表示息肉图像数量。

其次，对浅层特征h₁和h₂利用公式

进行特征融合操作得到全局关系加权图X_k，其中A_J,J＝j₁,j₂,...,j_c表示全局平均池化后的特征映射，

表示广播像素乘法，φ表示sigmoid函数，ω( )表示1×1卷积和ReLU函数，b表示相关学习参数。

然后，对全局关系加权图X_k进行卷积得到边缘特征图，通过标准二元交叉熵损失函数测量特征图X_k中的边缘与Ground Truth导出的边缘之间的差异性，得到边缘特征图H_e。

最后，将边缘特征图H_e与深层特征通道连接进行卷积操作后得到含边缘信息的不同尺度特征图X_Ee，其中e＝3,4,5。

进一步地，可设置，所述Step3、Step4具体如下：

首先，基于全局特征G_a和由Step2得到的不同尺度上下文信息

，其中l＝3,4,5，对第l层上下文信息进行处理。当l＝4,5时全局特征为上一层的预测分割图，令M_a＝1-G_a表示非显著区域图M_a，通过

计算得到非显著区域向量

与全局特征G_a的每个像素的相似度，通过

计算得到显著区域向量

与全局特征G_a的每个像素的相似度，其中ρ( ),θ( )表示逐点卷积，

表示

的s个像素。

其次，对计算得到的相似度

和

通过

和

计算得到加权后的非显著区域反向注意图

和显著区域注意图

其中

分别表示相应的相似度加权值。

然后，基于得到的加权后的非显著区域反向注意图

和显著区域注意图

通过包含不同卷积核的卷积和扩张卷积的上下文分支、卷积、归一化和ReLu提取显著区域注意图中的非显著信息和非显著区域注意图中的显著信息，对上一层预测分割结果，利用元素减法得到去除了显著区域注意图中非显著信息的特征图

利用元素加法得到增强了非显著区域注意图中显著信息的特征图

最后，将得到的两个特征图

进行融合，得到第l层预测分割结果即全局特征，每一层重复上述过程，得到最终分割结果。

实施例2：如图1-图5所示，一种基于上下文信息和反向注意力的息肉图像分割方法，包括：

Step1、如图2所示，输入息肉图像集H＝{H₁,H₂,...H_n}中的一幅原始图像(a1)；采用Res2Net提取五个不同层次的特征{h₁,h₂,h₃,h₄,h₅}，将特征按不同尺度分为浅层特征{h₁,h₂}，深层特征{h₃,h₄,h₅}，深层特征可视化结果以特征h₅为例，见图2(a3)，通过部分解码器PD＝p_d(h₃,h₄,h₅)得到全局特征图G_a，其中n表示息肉图像数量。

其次，如图2中(a1)～(a2)所示，对浅层特征h₁和h₂利用公式

进行特征融合操作得到全局关系加权图X_k，其中A_J,J＝j₁,j₂,...,j_c表示全局平均池化后的特征映射，

表示广播像素乘法，φ表示sigmoid函数，ω( )表示1×1卷积和ReLU函数，b表示相关学习参数。

然后，对全局关系加权图X_k进行1×1卷积得到边缘特征图，通过标准二元交叉熵损失函数测量特征图X_k中的边缘与Ground Truth(即真实值)导出的边缘之间的差异性，定义损失函数的公式为：

其中L_edge表示边缘损失函数，(x,y)表示预测的边缘特征图和边缘真实值中每个像素的坐标，G_e表示Ground Truth导出的边缘图，如图2中(a4)所示，S_e表示预测边缘图。利用该损失函数监督加权图X_k，得到边缘特征图H_e，结果如图2(a2)所示。

最后，将边缘特征图H_e与深层特征通道连接进行二维卷积操作后得到含边缘信息的不同尺度特征图X_Ee，见图2(a5)，其中e＝3,4,5。

经过Step1后，可以得到含边缘信息的不同尺度特征图(a5)。具体流程图如图2所示。本实例的数据集选自公开数据集CVC-300，CVC-ClinicDB，CVC-ColonDB，ETIS-LaribPolypDB，Kvasir中的息肉图像，经过水平和垂直轴上的随机翻转，图像从0.75到1.25的随机缩放和0度到359度进行随机旋转，其中80％用于训练，10％用于验证，10％用于测试，利用Pytorch进行实验，Step1实验结果如图2(a5)所示。

Step2、首先通过多分支卷积层和膨胀卷积层得到每个尺度特征图X_Ee的三个不同尺度信息，其中多分支卷积层包括四个分支，一个分支是1×1卷积层，另外三个分支提取不同尺度的信息，用1×r加r×1代替r×r卷积层，r＝[3,5,7]，三个分支后连接的膨胀卷积层的核大小为3×3，扩张率分别为3，5，7。

然后在三个分支后分别连接一个轴向注意网络，以提取不同尺度的全局信息，得到每个特征图X_Ee细化的不同尺度信息。

最后将细化的不同尺度信息通过一个3×3卷积和一个1×1卷积进行融合，得到不同尺度的息肉图像显著区域的上下文信息。

Step3-Step4、首先，基于由Step1得到的全局特征G_a和由Step2得到的不同尺度上下文信息

其中l＝3,4,5，对第l层上下文信息进行处理。当l＝4,5时全局特征为上一层的预测分割图，令M_a＝1-G_a表示非显著区域图M_a，通过

计算得到非显著区域向量

与全局特征G_a的每个像素的相似度，通过

计算得到显著区域向量

与全局特征G_a的每个像素的相似度，其中ρ( ),θ( )表示逐点卷积，

表示

的s个像素。

其次，如图3所示，对计算得到的相似度

和

通过

和

计算得到加权后的非显著区域反向注意图

(图3(b2)～(d2))和显著区域注意图

(图3(b1)～(d1)),其中

分别表示相应的相似度加权值。

然后，基于得到的加权后的非显著区域反向注意图

和显著区域注意图

分别通过四个上下文分支，每个分支包括一个用于信道缩减的3×3卷积，一个用于局部特征提取的c_q×c_q卷积和一个具有上下文感知能力的不同扩张率的3×3扩张卷积；在每次卷积之后进行归一化和ReLU非线性操作，同时第q个分支的输出馈入第(q+1)个分支；将四个分支的输出通过3×3卷积进行级联和融合，得到显著区域注意图中的非显著信息(图4(b3)～(d3))和非显著区域注意图中的显著信息(图4(b4)～(d4))，其中q表示第q个分支，q∈{1,2,3,4}时，c_q∈{1,3,5,7}，扩张率分别为1，2，4，8。

如图4中(b5)～(d5)所示，对上一层预测分割结果，利用元素减法得到去除了显著区域注意图中非显著信息的特征图

如图4(b6)～(d6)所示,利用元素加法得到增强了非显著区域注意图中显著信息的特征图

最后，如图5所示，将得到的两个特征图

进行融合，得到第l层预测分割结果即全局特征，每一层重复上述过程，得到最终分割结果。

将本发明与其他公知方法，如U-Net、PraNet在CVC-ClinicDB数据集下进行对比，比较结果见表1，其中mean IOU(mIOU)表示平均交并比，mIOU是预测真实值和预测分割图两个集合的交集和并集之比。其计算方法如下：

其中TP表示预测正确，预测结果正确；FN表示预测错误，预测结果错误；FP表示预测错误，预测结果错误；FN表示预测正确，预测结果错误。mean Dice(mDice)计算方法如下：

表1为本发明与现有方法性能比较结果

方法	Mean IOU	Mean Dice
			U-Net	0.746	0.818
PraNet	0.849	0.899
			本发明方法	0.864	0.913

从表1可以看出采用本发明的分割方法的mean IOU和mean Dice比其他几种方法高，即分割效果相对较好。

如表2所示，将本发明方法与公知方法，如U-Net、PraNet在分割时间上进行对比。从表2可以看出采用本发明的分割方法的分割时间比其他几种方法少，即分割效率相对较高。

表2为本发明与现有方法分割时间对比结果

综上，本发明方法较相关的公知的方法来说，具有较高的分割准确率和效率。

上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (2)

1.一种基于上下文信息和反向注意力的息肉图像分割方法，其特征在于：包括如下步骤：

Step1、输入息肉图像集中的图像，提取其显著区域的边缘特征和全局特征进行特征融合，得到含边缘信息的不同尺度特征图；

Step2、通过采用不同扩张率的多分支卷积和并行轴向注意对不同尺度特征图进行特征编码，得到息肉图像显著区域的上下文信息；

Step3、基于提取到的全局特征和息肉图像显著区域的上下文信息，通过定义的反向注意模块，得到息肉图像非显著区域的反向注意图和显著区域的注意图；

Step4、结合息肉图像显著区域的注意图和非显著区域的反向注意图进行解码优化，通过消除错误预测，得到最终的分割结果；

所述Step3和Step4具体过程如下：

首先，基于全局特征G_a和由Step2得到的不同尺度上下文信息

其中l＝3,4,5，对第l层上下文信息进行处理；当l＝4,5时全局特征为上一层的预测分割图，令M_a＝1-G_a表示非显著区域图M_a，通过

计算得到非显著区域向量

与全局特征G_a的每个像素的相似度，通过

计算得到显著区域向量

与全局特征G_a的每个像素的相似度，其中ρ( ),θ( )表示逐点卷积，

表示

的s个像素；

其次，对计算得到的相似度

和

通过

和

计算得到加权后的非显著区域反向注意图

和显著区域注意图

其中

分别表示相应的相似度加权值；

然后，基于得到的加权后的非显著区域反向注意图

和显著区域注意图

通过包含不同卷积核的卷积和扩张卷积的上下文分支、卷积、归一化和ReLu提取显著区域注意图中的非显著信息和非显著区域注意图中的显著信息，对上一层预测分割结果利用元素减法得到去除了显著区域注意图中非显著信息的特征图

利用元素加法得到增强了非显著区域注意图中显著信息的特征图

最后，将得到的两个特征图

进行融合，得到第l层预测分割结果即全局特征，每一层重复上述过程，得到最终分割结果。

2.根据权利要求1所述的基于上下文信息和反向注意力的息肉图像分割方法，其特征在于：所述Step1具体过程如下：

首先采用Res2Net提取输入息肉图像集H＝{H₁,H₂,...H_n}五个不同层次特征{h₁,h₂,h₃,h₄,h₅}，将特征按不同尺度分为浅层特征{h₁,h₂}和深层特征{h₃,h₄,h₅}，通过部分解码器PD＝p_d(h₃,h₄,h₅)得到全局特征G_a，其中n表示息肉图像数量；

其次，对浅层特征h₁和h₂利用公式

进行特征融合操作，得到全局关系加权图X_k，其中A_J,J＝j₁,j₂,...,j_c表示全局平均池化后的特征映射，

表示广播像素乘法，φ表示sigmoid函数，ω( )表示1×1卷积和ReLU函数，b表示相关学习参数；

然后，对全局关系加权图X_k进行卷积得到边缘特征图，通过标准二元交叉熵损失函数测量全局关系加权图X_k中的边缘与Ground Truth导出的边缘之间的差异性，得到边缘特征图H_e；

最后，将边缘特征图H_e与深层特征通道连接进行卷积操作后得到含边缘信息的不同尺度特征图X_Ee，其中e＝3,4,5。

Images