CN116935051A - 一种息肉分割网络方法、系统、电子设备及存储介质 - Google Patents

Abstract

本发明提供一种息肉分割网络方法、系统、电子设备及存储介质，所述方法包括：S1获取目标图像，基于PVTv2骨干网络得到所述目标图像的四层金字塔特征；S2将所述四层金字塔特征输入到解码器中生成目标图像粗略图；S3在对所述四层金字塔特征输入到多尺度特征融合模块中进行卷积降维得到四个输出特征；S4基于息肉边缘和前景信息再恢复模块和四个输出特征得到分割结果。本发明提出充分利用高分辨率的分割粗略图和低分辨率的分割图的空间信息，通过相减操作挖掘息肉边界的解决方案可以精准挖掘息肉边界信息，减小对背景的关注，实现结肠镜图像中结直肠息肉的准确分割。

Description

一种息肉分割网络方法、系统、电子设备及存储介质

技术领域

本发明属于图像处理领域、计算机辅助疾病诊断领域，具体涉及一种息肉分割网络方法、系统、电子设备及存储介质。

背景技术

在早期阶段发现并切除结直肠息肉对预防、诊断和治疗结直肠癌非常关键。结肠镜检查是一种有效的结直肠癌筛查和诊断技术，因为它可以提供结直肠息肉的位置和外观信息，使医生能够在其发展成为结直肠癌之前将其切除。因此，结肠镜图像中结直肠息肉的准确分割对临床诊断和治疗都有非常重要的意义。

随着计算机视觉方法越来越广泛地应用于医学图像处理，其中的息肉分割方法也进展迅速。在各种息肉分割方法中，传统的息肉分割方法依赖于手工提取的特征，如纹理、颜色、形状、外观或这些特征的组合。然而，这些方法往往分割性能低下，泛化能力较差，且设计过程耗时耗力。深度学习克服了手工设计特征的短板，近年来在医学图像领域得到了十足的发展，在息肉分割上的技术也不断在发展。但是准确的息肉分割是一项具有挑战性的任务，现有的深度学习网络模型仍然存在一些不足和缺陷/有很大的提升空间。具体来说，息肉分割面对的主要挑战有：1)息肉边缘信息失真，以往的模型往往可以准确分割息肉内部区域，但难以分割息肉边缘。2)息肉与其周围正常组织的质地、纹理十分相似，这使得息肉和周围组织边界不清晰，缺乏语义分割所需要的高对比度。3)息肉大小差异大。

因此，需要一种高性能的息肉分割方法。

发明内容

本发明针对结肠镜图像中的息肉分割问题，基于多阶段信息融合策略提出了一种高性能的息肉分割网络方法，旨在通过精确的息肉分割方法辅助内窥镜医师准确快速的完成息肉筛查及诊断操作。

本发明技术方案如下：

一种息肉分割网络方法，所述方法包括：

S1获取目标图像，基于PVTv2骨干网络得到所述目标图像的四层金字塔特征；

S2将所述四层金字塔特征输入到解码器中生成目标图像粗略图；

S3在对所述四层金字塔特征输入到多尺度特征融合模块中进行卷积降维得到四个输出特征；

S4基于息肉边缘和前景信息再恢复模块和四个输出特征得到分割结果。

进一步的，生成目标图像粗略图的方法具体为：

对所述四层金字塔特征X1,X2,X3,X4进行1×1的卷积操作降维，然后对于降维后的X1先上采样到原来两倍后用3×3的卷积提取特征，后与降维后的X2相拼接，拼接之后进行两倍上采样再通过一个3×3的卷积，将这个卷积结果和降维后的X3相拼接，之后将拼接结果上采样两倍再通过一个3×3卷积，将这个卷积结果和降维后的X4相拼接，最后这个拼接结果通过一个1×1的卷积降维至1维，得到目标图像粗略图

进一步的，所述S3具体为：

用注意力机制将所述四层金字塔特征融合，再经过卷积降维，最终得到具有丰富多尺度信息的输出特征F_i,i∈{1,2,3,4}，其中， F_i为融合后的特征，这样分别得到了四个输出F1,F2,F3,F4。

进一步的，所述S4具体为：

将融合后的特征、上一层基于息肉边缘和前景信息再恢复模块的输出特征和输出图输入到当前层基于息肉边缘和前景信息再恢复模块中，首先对融合后的特征分别做三次1×1卷积得到三个结果向量，然后将S2得到的目标图像粗略与其中一个结果向量逐元素相乘，其余两个结果向量均和输出图相乘，然后将与目标图像粗略图相乘得到的结果和与输出图相乘得到的其中一个结果做差，将差值和剩下那个与输出图相乘得到的结果进行拼接；接着将拼接结果经过一个CBR的操作，将得到的结果记为CBR_1；同时，所述输出特征也会经过一个CBR的操作，将这个CBR操作得到的结果记为CBR_2；将CBR_1和CBR_2相加，相加之后还会进行一个CBR操作，最终得到第一输出结果fi_i，再经过一个1×1卷积降低维数到1就得到了第二输出结果m_i，将第二输出结果m_i经过双线性插值上采样4倍后再经过sigmoid函数得到最终的息肉分割结果。

进一步的，所述方法采用损失函数做训练，所述损失函数为：

loss＝wBCE+wIoU，其中wBCE为带有权重的交叉熵损失函数，wIoU为带权重的IOU损失函数。

一种息肉分割网络系统，所述系统包括：PVTv2骨干网络、多尺度特征融合模块、息肉边缘和前景信息再恢复模块和解码器；所述PVTv2骨干网络用于得到目标图像的四层金字塔特征；所述解码器中用于生成目标图像粗略图；所述多尺度特征融合模块AMFM用于对输出特征进行卷积降维；所述息肉边缘和前景信息再恢复模块IRM用于生成分割结果。

进一步的，其特征在于，所述多尺度特征融合模块由上、中、下三个分支组成，分别接受三个输入。

本发明还提供一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据上述的息肉分割网络方法。

本发明还提供一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现上述的息肉分割网络。

本发明的技术效果：

本发明提出充分利用高分辨率的分割粗略图和低分辨率的分割图的空间信息，通过相减操作挖掘息肉边界的解决方案可以精准挖掘息肉边界信息，减小对背景的关注，实现结肠镜图像中结直肠息肉的准确分割。

附图说明

附图大体上通过举例而不是限制的方式示出各种实施例，并且与说明书以及权利要求书一起用于对所发明的实施例进行说明。在适当的时候，在所有附图中使用相同的附图标记指代同一或相似的部分。这样的实施例是例证性的，而并非旨在作为本装置或方法的穷尽或排他实施例。

图1示出了本发明的网络整体框架示意图；

图2示出了本发明的解码器结构示意图；

图3示出了本发明的基于注意力机制的多尺度特征融合模块示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

本发明提供一种息肉分割网络方法，所述方法包括：

S1获取目标图像，基于PVTv2骨干网络得到所述目标图像的四层金字塔特征；

S2将所述四层金字塔特征输入到解码器中生成目标图像粗略图；

S3在对所述四层金字塔特征输入到多尺度特征融合模块AMFM中进行卷积降维得到四个输出特征；

S4基于息肉边缘和前景信息再恢复模块IRM和四个输出特征得到分割结果。

首先，本发明采用在ImageNet数据集上已预训练好的PVTv2网络作为本发明的基础网络，并移除该网络的全连接层，保留前四层作为本发明的骨干网络用于特征提取。对于一张结肠镜图像I∈R^H×W×3，先将其输入到基于视觉Transformer的骨干网络PVTv2中得到四层金字塔特征其中i∈{1，2，3，4}，C_i∈{64，128，320，512}表示的是通道维度。

然后将四层特征X₁，X₂，X₃，X₄输入到解码器D中生成一张粗略图接着将相邻三层的特征输入到每一层的AMFM中，即将第i，i∈{1，2，3}层的特征X_i、低层特征X_i-1、高层特征X_i+1输入到第i层的AMFM模块中。具体来说，在AMFM中用注意力机制将X_i-1和X_i+1融合进X_i，再经过卷积降维，最终得到具有丰富多尺度信息的输出特征F_i，i∈{1，2，3，4}有F_i的维度都为64维。至于X4，本发明采用X4直接卷积(如图1的CBR)的方法处理X4，这样分别得到了四个输出F1，F2，F3，F4，其中/> 称F_i为融合后的特征。接着将融合后的特征F_i、上一层IRM的输出f_i+1，m_i+1一起输入到当前层的IRM中。由于第四层的IRM没有上一层的输出f_i+1和m_i+1，因此令f₅＝F4，/>即将F4作为上一层输出特征，并用一个卷积得到分割图作为m₅。在训练过程中，在CM，m₄，m₃，m₂，m₁这五张图加入监督，m₁经过双线性插值上采样4倍后再经过sigmoid函数得到最终的息肉分割结果。

系统网络总体结构如图1所示，本发明提出的分割网络包括三大部分：PVTv2骨干网络，基于注意力机制的多尺度特征融合模块(AMFM)，息肉边缘和前景信息再恢复模块(IRM)，解码器D。

1.PVTv2骨干网络

不同于PraNet等息肉分割网络使用卷积神经网络(CNN)作为其编码器，本发明的模型使用视觉Transformer编码器更丰富地提取结肠镜图像特征以进行息肉分割。PVT是一个金字塔结构的视觉Transformer，它通过具有空间缩减的自注意力操作计算，从而能够减少计算资源损耗。PVT旨在将金字塔结构嵌入到Transformer结构用于生成多尺度特征，PVT包含四个阶段(stage)用于生成不同尺度的特征，所有阶段(stage)都是由patchembedding和若干Transformer encoder组成的。在第一个阶段，给定结肠镜图像I∈R^H×W×3作为输入，以4x4像素大小为一个patch，即每个patch为R^4×4×3，这样就将原始输入图像变成了大小的张量，接着将其送入线性投影层把通道维调整到所需要的通道数C，得到的张量，最后将位置信息嵌入到张量中，送入到若干Transformer encoder最终得到/>的X1特征。采用类似的方式，PVTv2的前一阶段的输出作为后一阶段的输入，稍不同于第一个阶段(stage)，第二三四个阶段(stage)以前一个阶段输出图像的2x2像素大小为一个patch，这样第二三四个阶段(stage)都是下采样两倍，最终即可得到剩下的X₂，X₃，X₄。具体来说，本模型使用了PVTv2，PVTv2是PVT的改进版本，它具有更强大的特征提取能力。为了将PVTv2适用于息肉分割任务，本文去掉了PVTv2最后一层分类层，并在不同阶段(stage)生成的特征X₁，X₂，X₃，X₄之上设计了一个息肉分割头。

2.解码器D部分

从PVTv2骨干网络提取出的X1，X2，X3，X4特征会送入一个解码器D中生成一张高分辨率的息肉粗略图CM，这张粗略分割图会加入深监督中，也将会用于IRM模块中用于提取息肉的前景信息和边缘信息。解码器D结构如图2，具体来说，它先将四个特征X1，X2，X3，X4进行1×1的卷积操作降维，然后对于降维后的X1先上采样到原来两倍后用3×3的卷积提取特征，后与降维后的X2相拼接，拼接之后进行两倍上采样再通过一个3×3的卷积，将这个卷积结果和降维后的X3相拼接，之后将拼接结果上采样两倍再通过一个3×3卷积，将这个卷积结果和降维后的X4相拼接，最后这个拼接结果通过一个1×1的卷积降维至1维，就得到解码器的粗分割图

3.基于注意力机制的多尺度特征融合模块Attention-based Multi-scaleFeature Fusion Module(AMFM)

如图3是本发明的AMFM结构图，用AMFM_i，i∈{1，2，3}表示第i层的AMFM。AMFM由上、中、下三个分支组成，分别接受三个输入。对于AMFM_i，i∈{2，3}的上、中、下分支分别接收第i-1、i、i+1层的特征输出F_i-1、F_i、F_i+1作为输入；具体为：对于上分支，X_i+1先上采样到原分辨率的两倍，然后经过一个3×3的卷积和1×1的卷积来改变通道数，得到的结果记为x_i+1，注意此时x_i+1和X_i的大小是一致的。由于高层特征信息本发明更需要保留的是通道方向上的信息，因此，对于x_i+1本发明沿着空间维度做全局平均池化操作，得到分辨率大小为1×1而通道数不变的张量，然后将这个张量输入一个全连接层，再经过sigmoid函数，得到上分支的注意力权重，最后将这个注意力权重与x_i+1进行逐元素相乘，得到上分支的计算结果。同理，对于下分支，X_i-1下采样到原分辨率的一半，然后依次经过一个3×3的卷积和1×1的卷积改变通道数，得到的结果记为x_i-1，x_i-1和X_i的大小是一致的，然后对x_i-1沿着通道维度分别做平均池化和最大池化操作，得到两个通道数为1，分辨率不变的张量，然后将这两个张量沿着通道维度拼接，再经过一个1×1卷积操作变回通道数为1的张量，最后经过sigmoid操作得到下分支的注意力权重，最后将这个注意力权重与x_i-1进行逐元素相乘，得到上分支的计算结果。对于中间那个分支，本发明将X_i输入，对其分别做空洞率为3和空洞率为5的空洞卷积得到中间分支的计算结果。最后，本发明将三个分支得到的结果相加，然后经过一个1×1卷积操作得到AMFM_i，i∈{2，3}的最终输出为F_i，i∈{2，3}。而对于AMFM₁，本发明将X₁、x₁、X₂分别作为AMFM₁上、中、下分支的输入。注意的是，AMFM₁下分支中X₁作为输入，那么X₁将不再需要上采样和3×3卷积、1×1卷积的操作了。其余的操作和前面提到的AMFM_i，i∈{2，3}中的操作是一致的，AMFM₁得到的结果记为Y₁。最后，对于X₄的处理，本发明直接将其经过一个CBR(如图1中右上角所示)得到结果Y₄。

4.息肉边缘和前景信息再恢复模块Information Recovery Module(IRM)

为了弥补从高语义低分辨率的分割图上采样至高分辨率时息肉边缘的失真，并且专注于息肉区域而非周围正常组织区域，本发明提出一个有效提取出息肉的边缘和前景信息的信息再恢复模块。

本发明的IRM如图1中的右半部分所示，IRM接收三个不同的输入。用IRM_i，i∈{1，2，3，4}表示第i层的IRM。其中IRM_i，i∈{1，2，3}分别接受来自当前层AMFM_i的输出F_i、下一层即第i+1层的IRM_i+1的输出特征(f_i+1)和输出图(m_i+1)作为输入，生成当前层的输出特征f_i和输出图m_i。当i＝4时，由于IRM₄没有来自下一层的输出f_i+1和m_i+1，因此令f₅＝F4，m₅则由F4经过一个1×1的卷积得到，IRM₄的输出则为f₄和m₄。对于IRM_i，i∈{1，2，3，4}，其具体流程为：首先对输入F_i分别做三次1×1卷积得到三个结果向量，然后将前面得到的粗分割图CM与其中一个结果向量逐元素相乘，其余两个结果向量均和输入m_i+1相乘，然后将与粗分割图CM相乘得到的结果和与输入m_i+1相乘得到的其中一个结果做差，将这个差值和剩下那个与输入m_i+1相乘得到的结果进行拼接；接着将拼接结果经过一个CBR的操作(CBR操作如图1右上角所示)，本发明将得到的结果记为CBR_1。同时，由于f_i+1也是IRM_i的输入，f_i+1会经过一个CBR的操作，将这个CBR操作得到的结果记为CBR_2。然后，本发明将CBR_1和CBR_2相加，相加之后还会进行一个CBR操作，最终得到IRM_i的其中一个输出结果f_i，f_i再经过一个1×1卷积降低维数到1就得到了IRM_i的另一个输出结果m_i。至此，IRM_i，i∈{1，2，3，4}的过程就结束了，IRM_i，i∈{1，2，3，4}总共有四个输入分别是F_i、f_i+1、m_i+1和CM，总共有两个输出f_i和m_i。最终，本发明会将IRM₁的输出结果m₁经过双线性插值上采样4倍后再经过sigmoid函数得到最终的息肉分割结果。

5.损失函数

本发明的网络在训练过程中使用的损失函数为loss＝wBCE+wIoU，其中wBCE为带有权重的交叉熵损失函数，wIoU为带权重的IoU损失函数。带有权重的交叉熵损失函数更加关注息肉区域，使得损失值主要由息肉区域的预测值和真值主导，因此对于不同大小的息肉，即便使很小的息肉，模型依然可以有效学习息肉的特征。而带权重的IoU损失函数更加关注难以处理的像素。

为了更好的提高网络的性能，本发明采用深监督学习的方式训练模型，具体来说，整个网络有五张预测图加入监督，它们分别是CM，m₄，m₃，m₂，m₁，其中m₁和而真实值GT∈R^H×W×1，因此五张图都要经过双线性插值上采样至和GT相同大小再和GT计算损失值。最终整个网络的损失函数可以用以下式子表示：

loss1＝loss(CM，GT)#(1)

loss2＝loss(upsample(m₄)，GT)#(2)

loss3＝loss(upsample(m₃)，GT)#(3)

loss4＝loss(upsample(m₂)，GT)#(4)

loss5＝loss(upsample(m₁)，GT)#(5)

Loss_total＝loss1+loss2+loss3+loss4+loss5#(6)

其中Loss_total表示总损失；loss₁，loss₂，loss₃，loss₄，loss₅分别表示CM，m₄，m₃，m₂，m₁产生的损失值；GT表示原图对应的二值化真值图。

实施例1

实验设置

本部分主要介绍在训练阶段损失函数、batchsize大小、epoch大小、数据集划分的比例等参数的设置。

本发明设计的结直肠息肉分割网络采用的数据划分方式为常用的随机划分训练集：测试集＝8：2，将batchsize设置为16，epoch设置为50，学习率为1e-4，每50epoch将学习率减小到原来的十分之一。在此，本发明采用dice similarity coefficient(Dice)，IoUof polyp(IoUp)，Smeasure(S_α)和accuracy(ACC)4个常用的评估指标作为衡量网络性能的指标。Dice，IoUp，S_α，ACC越大表示性能越好。

本发明采用Kvasir息肉数据集作为本发明的实验数据集，该数据集由1000张高分辨率白光图像组成，图像分辨率大小从332×482到1920×1072不等，为统一尺寸，本发明在训练和测试阶段将图片大小重置为352×352。

实验结果

本发明提出的网络将会与经典的息肉分割网络PraNet做对比，其中在Kvasir-SEG数据集上的测试结果如表1所示。从表1中本发明可以看出，本发明的网络在各个指标中均表现最优。

表1实验结果

	Dice	IoUp	Sα	ACC
					Our	0.919	0.871	0.924	0.977
PraNet	0.897	0.841	0.917	0.967

以上所述，仅为本发明优选的具体实施方式，但本发明的保护范围不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种息肉分割网络方法，其特征在于，所述方法包括：

S1获取目标图像，基于PVTv2骨干网络得到所述目标图像的四层金字塔特征；

S2将所述四层金字塔特征输入到解码器中生成目标图像粗略图；

S3在对所述四层金字塔特征输入到多尺度特征融合模块中进行卷积降维得到四个输出特征；

S4基于息肉边缘和前景信息再恢复模块和四个输出特征得到分割结果。

2.根据权利要求1所述的息肉分割网络方法，其特征在于，生成目标图像粗略图的方法具体为：

对所述四层金字塔特征X1,X2,X3,X4进行1×1的卷积操作降维，然后对于降维后的X1先上采样到原来两倍后用3×3的卷积提取特征，后与降维后的X2相拼接，拼接之后进行两倍上采样再通过一个3×3的卷积，将这个卷积结果和降维后的X3相拼接，之后将拼接结果上采样两倍再通过一个3×3卷积，将这个卷积结果和降维后的X4相拼接，最后这个拼接结果通过一个1×1的卷积降维至1维，得到目标图像粗略图

3.根据权利要求1所述的息肉分割网络方法，其特征在于，所述S3具体为：

用注意力机制将所述四层金字塔特征融合，再经过卷积降维，最终得到具有丰富多尺度信息的输出特征F_i,i∈{1,2,3,4}，其中， F_i为融合后的特征，这样分别得到了四个输出F1,F2,F3,F4。

4.根据权利要求1所述的息肉分割网络方法，其特征在于，所述S4具体为：

将融合后的特征、上一层基于息肉边缘和前景信息再恢复模块的输出特征和输出图输入到当前层基于息肉边缘和前景信息再恢复模块中，首先对融合后的特征分别做三次1×1卷积得到三个结果向量，然后将S2得到的目标图像粗略与其中一个结果向量逐元素相乘，其余两个结果向量均和输出图相乘，然后将与目标图像粗略图相乘得到的结果和与输出图相乘得到的其中一个结果做差，将差值和剩下那个与输出图相乘得到的结果进行拼接；接着将拼接结果经过一个CBR的操作，将得到的结果记为CBR_1；同时，所述输出特征也会经过一个CBR的操作，将这个CBR操作得到的结果记为CBR_2；将CBR_1和CBR_2相加，相加之后还会进行一个CBR操作，最终得到第一输出结果f_i，再经过一个1×1卷积降低维数到1就得到了第二输出结果m_i，将第二输出结果m_i经过双线性插值上采样4倍后再经过sigmoid函数得到最终的息肉分割结果。

5.根据权利要求1所述的息肉分割网络方法，其特征在于，所述方法采用损失函数做训练，所述损失函数为：

loss＝wBCE+wIoU，其中wBCE为带有权重的交叉熵损失函数，wIoU为带权重的IoU损失函数。

6.一种息肉分割网络系统，其特征在于，所述系统包括：PVTv2骨干网络、多尺度特征融合模块AMFM、息肉边缘和前景信息再恢复模块IRM和解码器；所述PVTv2骨干网络用于得到目标图像的四层金字塔特征；所述解码器中用于生成目标图像粗略图；所述多尺度特征融合模块AMFM用于对输出特征进行卷积降维；所述息肉边缘和前景信息再恢复模块IRM用于生成分割结果。

7.根据权利要求5所述的息肉分割网络系统，其特征在于，所述多尺度特征融合模块AMFM，由上、中、下三个分支组成，分别接受三个输入。

8.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据权利要求1-5中所述的息肉分割网络方法。

9.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-5中所述的息肉分割网络。