CN116958535B - 一种基于多尺度残差推理的息肉分割系统及方法 - Google Patents

Abstract

本发明涉及一种基于多尺度残差推理的息肉分割系统及方法，包括：数据获取模块，用于获取息肉分割数据，基于所述息肉分割数据构建息肉分割数据集，并对所述息肉分割数据集进行处理；模型构建模块，用于结合多尺度残差推理构建息肉分割网络模型，并基于所述息肉分割数据集对所述息肉分割网络模型进行训练和测试；预测模块，用于基于训练和测试后的所述息肉分割网络模型获取息肉分割的预测结果。本发明针对息肉与其周围环境对比度低以及大小形状不一的情况，提高了息肉分割性能，以及预测结果的准确性。

Description

一种基于多尺度残差推理的息肉分割系统及方法

技术领域

本发明涉及医学图像分割技术领域，特别是涉及一种基于多尺度残差推理的息肉分割系统及方法。

背景技术

结肠息肉是第三大常见的癌症，它被认为是死亡率第二高的癌症，占癌症总死亡人数的9.4％。患结直肠癌的绝大多数原因都是生长在结肠或直肠内壁的息肉。早期发现可以避免癌症的发生，从而降低癌症死亡率。并且还可以通过限制癌症向其他器官扩散。目前结肠镜检查是筛查癌症的主要检查方式。然而由于息肉的形状、大小、光照和质地等不可预测因素，会造成结肠息肉的漏检和误检。此外，息肉检查的结果还取决于一些人为因素，比如医生的医学经验和疲劳程度。因此需要一个自动的计算机辅助息肉分割系统来在医生进行手术过程中帮助医生检测息肉，从而提高息肉检测率。

息肉的病变严重程度和大小会影响漏检率，在常规的息肉检查时彩色的冰晶也可能会导致某些息肉漏检。准确的息肉分割是一项非常具有挑战的任务，主要原因时同一类型的息肉具有不同的大小、颜色和纹理，息肉与其周围粘膜之间的边界不明显，很难分割出完整且准确的息肉目标。因此采用计算机视觉方法来辅助医生进行临床诊断具有很大的社会价值。

目前已经开发了很多用于息肉分割任务的各种技术，主要分为两类：1)手工制作的基于特征的方法和2)基于深度学习的方法。在神经网络盛行之前，息肉分割任务主要依赖于手工制作其特征，如大小、颜色、纹理和形状。然而由于手工制作的息肉特征表示能力低，这些方法速度慢，漏检错检率高。在基于一些深度学习的模型取得巨大成功之后，研究人员开始使用神经网络进行息肉检测和分割。受早期工作的影响，其中FCN与预先训练的模型一起用于分割息肉。U-Net网络是一种主要的方法，但由于息肉与其周围环境边界不明显且结构复杂，U-Net网络的分割效果不是很好。U-Net变体U-Net++、ResUNet、ResUNet++和ACSNet通过使用U型编码器-解码器在息肉分割上取得了令人满意的结果。虽然上述模型都用采用池化的方法来增强多尺度语义特征，但是也导致空间信息的丢失。对于与其周围粘膜对比度比较低的息肉来说，识别/分割出目标还是是十分困难的。SFANet考虑了区域边界约束以及额外的边缘监管，它取得了良好的效果但是缺乏能力。PraNet应用区域和边界线索反向关注息肉边界区域。网络中的高级特征聚合和边界关注块有助于校准一些未对齐的预测，并提高分割精度。然而这增加了模型的复杂性，可能会对测试样本的泛化能力产生不利的影响。

发明内容

本发明的目的是针对临床上结肠镜检测过程很难发现形状很小的息肉,存在漏检问题,提出一种基于多尺度残差推理的息肉分割系统及方法，提高了分割性能，以及预测结果的准确性。

为实现上述目的，本发明提供了如下方案：

一种基于多尺度残差推理的息肉分割系统,包括：

数据获取模块，用于获取息肉分割数据，基于所述息肉分割数据构建息肉分割数据集，并对所述息肉分割数据集进行处理；

模型构建模块，用于结合多尺度残差推理构建息肉分割网络模型，并基于所述息肉分割数据集对所述息肉分割网络模型进行训练和测试；

预测模块，用于基于训练和测试后的所述息肉分割网络模型获取息肉分割的预测结果。

进一步地，对所述息肉分割数据集进行处理包括：

对所述息肉分割数据集进行数据增强处理，所述数据增强处理包括随机翻转、随机缩放、添加随机膨胀和侵蚀。

进一步地，构建所述息肉分割网络模型包括：

基于主干网络对图像进行特征提取，对所提取的特征进行处理，将处理后的特征输入通道注意力模块和空间注意力模块，获取目标息肉的定位，利用聚焦模块对所述目标息肉生成初始预测图；

将所述初始预测图细化处理后输入感受野阻滞模块，用于进一步特征提取，将进一步提取的特征输入多尺度残差推理模块，获取息肉分割的检测结果。

进一步地，所述主干网络采用Res2Net-50，所述主干网络用于提取多层次特征，所述多层次特征包括低级特征和高级特征。

进一步地，所述通道注意力模块的工作过程包括：将所提取的特征作为第一输入特征，基于所述通道注意力模块对所述第一输入特征进行变换、转置、矩阵乘法、特征重塑、识别映射处理，获取第一输出特征；

所述空间注意力模块的工作过程包括：将所述第一输出特征输入所述空间注意力模块，基于所述空间注意力模块对所述第一输出特征进行卷积重塑、矩阵乘法、特征重塑处理，获取第二输出特征。

进一步地，所述聚焦模块的工作过程包括：

将所述第一输入特征和所述第二输出特征作为输入，对输入的所述第二输出特征进行上采样和归一化处理，生成前景关注特征和背景关注特征，将所述前景关注特征和背景关注特征输入并行上下文探索模块进行上下文推理，获取假阳性干扰；

对输入的所述第一输入特征进行卷积、归一化、ReLU和上采样处理，生成第三输出特征，对所述假阳性干扰和所述第三输出特征进行处理，获取细化特征。

进一步地，所述并行上下文探索模块包括若干上下文探索单元，每个上下文探索单元包括若干卷积层，每个卷积之后连接批归一化层和ReLU非线性操作，基于感受野阻滞模块对每个上下文探索单元的输出进行处理，并对处理后的结果进行卷积拼接、函数激活，获取所述假阳性干扰。

进一步地，所述多尺度残差推理模块包括卷积层和多尺度残余块，所述多尺度残差推理模块用于检测局部和多尺度特征，实现旁路之间地信息彼此共享。

进一步地，所述多尺度残余块包括多尺度特征融合单元和局部残差学习单元，所述多尺度残余块用于对所述多尺度特征融合单元和局部残差学习单元的输出进行拼接、X级联操作后输入卷积层，获取融合的多尺度特征，基于所述融合的多尺度特征生成息肉分割的检测结果。

为进一步优化技术方案，本发明还提供了一种基于多尺度残差推理的息肉分割方法，包括：

构建息肉分割数据集，对所述数据集进行处理；

结合多尺度残差推理构建息肉分割网络模型，基于所述数据集对所述息肉分割网络模型进行训练和测试；

利用训练和测试后的息肉分割网络模型完成息肉分割的预测。

本发明的有益效果为：

本发明受生物视觉启发，设计一种“识别-聚焦”以及多特征融合推理的模型算法框架，将主干网络得到的最高层特征利用一个通道注意力模块和一个空间注意力模块来粗略“识别”息肉目标位置，然后利用聚焦模块来对模糊区域逐步细化粗略预测；将粗略预测的结果充当注意力图引导细化浅层特征，然后通过一个多尺度残差推理预测模块获得融合的多尺度信息得到最终的预测结果；针对息肉与其周围环境对比度低以及大小形状不一的情况，提高了息肉分割性能，以及预测结果的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的息肉分割算法模型的网络结构图；

图2为本发明实施例的通道注意力CA模块结构图；

图3为本发明实施例的空间注意力SA模块结构图；

图4为本发明实施例的聚焦FM模块结构图；

图5为本发明实施例的上下文探索CE模块结构图；

图6为本发明实施例的感受野阻滞FBR模块结构图；

图7为本发明实施例的多尺度残差推理MSFR模块结构图；

图8为本发明实施例的多尺度残差块MRBs的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本实施例提供了一种基于多尺度残差推理的息肉分割系统，包括：

数据获取模块，用于获取息肉分割数据，基于息肉分割数据构建息肉分割数据集，并对息肉分割数据集进行处理；

模型构建模块，用于结合多尺度残差推理构建息肉分割网络模型，并基于息肉分割数据集对息肉分割网络模型进行训练和测试；

预测模块，用于基于训练和测试后的息肉分割网络模型获取息肉分割的预测结果。

为进一步优化技术方案，本实施例还提供了一种基于多尺度残差推理的息肉分割方法，包括：

S1.数据集的构建与整理

整理基于Kvasir，CVC-ClinicDB，ETIS，CVC-ColonDB和CVC-300的五个息肉分割数据集如表1所示，进行训练集和测试集的划分如表2所示。

表1

表2

S2.对数据集进行数据增强

对数据集进行数据增强，在水平轴和垂直轴上的随机翻转，从0.75到1.25的随机图像缩放；进行0-359度的随机翻转，因为结肠镜检查图像可能会在检查期间发生旋转；对真值图像标签添加额外的随机膨胀和侵蚀，以增强其泛化能力。

S3.息肉分割网络模型的设计

息肉分割网络模型的设计主要包括两个部分：

(1)受生物视觉的启发，模拟其发现目标的过程，首先识别目标，以全局角度定位目标对象，然后聚焦模糊区域来逐步细化粗略预测。在高级特征上应用定位模块来定位潜在的目标，然后利用两个聚焦模块逐步发现并消除真错误目标和假正确目标，以准确识别目标息肉，生成初步粗略的预测图f_D。

(2)将初步预测到的结果f_D作为注意力图送入到底层特征用来引导其特征融合，然后经过设计出的新的MSFR模块，利用融合后的多层特征信息预测出最终的分割结果。

息肉分割算法模型的网络结构如图1所示，采用Res2Net-50作为骨干网络来提取特征，表示为f_i，i＝1，2，...，5，在本模型中，提取的特征分为两组，即低级特征Q_l＝{f₁，f₂，f₃}和高级特征Q_h＝{f₃，f₄，f₅}。给定单个RGB图像，首先将其输入到ResNet主干中，以提取多层次特征。然后将高级特征进一步输入到三个卷积层中以减少信道。然后再f₅层特征上利用通道注意力CA模块和空间注意力SA模块来定位潜在的目标对象，然后利用两个聚焦FM模块逐步得到粗略的初始预测图。将其输出的粗略的初始预测图充当注意力图f_D来细化低水平特征，然后将融合后的特征经过感受野阻滞RFB模块扩大感受野，获得更为丰富的特征信息以减少计算。然后将丰富后的特征级联馈送到多尺度残差推理MSFR模块来生成最终的检测结果，该模块可以通过多尺度策略利用低级别特征，从而获得最终的分割结果。

如图2、图3所示，说明了通道注意力CA模块和空间注意力SA模块的详细结构。

给定输入特征F∈R^C×H×W，其中C,H和W分别表示信道数、高度和宽度，将F变换得到Q，K和V，其中{Q,K,V}∈R^C×N,N＝H×W是像素数，在Q和K的转置之间执行矩阵乘法，并应用softmax层来计算信道注意力图X∈R^C×C：

其中，Q_i：表示矩阵Q的第i行，x_ij表示第j个信道对第i个信道的影响。

在X和V之间执行矩阵乘法，并将聚集的注意力特征重塑为R^C×H×W。为了增强容错能力，将结果乘以科学习的尺度参数γ，并执行识别映射操作以获得最终输出F′∈R^C×H×W

其中，γ从初值1逐渐学习权重。最终特征F′对特征图通道之间的长距离语义依赖性进行建模，因此输入特征更具有辨别力。

将通道注意力CA模块的输出特征作为输入馈入到空间注意力SA模块中：首先在输入特征F′上使用三个1×1卷积，并重塑卷积结果以分别生成三个新的特征图Q′，K′和V′，其中和C₁＝C/8,V′∈R^C×N。然后，在Q′和K′的转置之间执行矩阵乘法，并使用softmax归一化来生成空间注意力X′∈R^N×N：

其中，Q′_：i表示矩阵Q′的第i列，X′_ij表示第j个位置对第i个位置的影响。同时，在V′和X′的转置之间进行矩阵乘法，并将结果重塑为R^C×H×W。类似于信道关注块，将结果乘以科学习的尺度参数γ′，并添加一个F′，以获得最终的输出F″∈^RC×H×W：

其中，γ′也初始化为1。在F′的基础上，F″进一步获得了所有位置之间的语义相关性，从而增强了特征的语义表示。最后，可以通过在F″上应用填充为3的7×7卷积来获得目标的初始位置图。

F″和初始位置图将通过以下聚焦FM模块逐步得出，由于息肉于其周围粘膜对比度比较低，因此在分割的过程中会出现假阳性和假阴性预测。聚焦FM模块被设计为首先发现然后去除这些错误预测，它将从主干的高层特征f₃和f₄以及更高级别的预测作为输入，从而输出细化的特征和更准确的预测。

如图4所示，聚焦FM模块首先对更高级别的预测进行上采样，并使用S型层对其进行归一化。然后使用该归一化映射及其反向版本来乘以当前级别特征F_c，以分别生成前景关注特征F_fa和背景关注特征F_ba。最后将这两种类型的特征输入到两个并行上下文探索CE模块中，以执行上下文推理，分别发现假阳性干扰F_fpd和假阳性干扰F_fnd。

高水平特征F_h经过CBR(Conv+BN+ReLU)后再经过上采样得到F_up。

将F_up与F_fpd乘以α的积做逐元素减法运算，将得到的值送入到BR(BN+ReLU)，用来抑制模糊背景得到F_r。将F_r与F_fnd乘以β的积做逐元素加法运算，将得到的值进行BR操作后得到细化后的特征F′_r。

F_up＝U(CBR(F_h))， (5)

F_r＝BR(F_up-αF_fpd)， (6)

F′_r＝BR(F_r+βF_fnd)， (7)

其中，F_h和F′_r分别表示高级特征和输出细化特征；CBR是卷积、批处理归一化(BN)和ReLU的组合；U是双线性上采样；α和β是初始化为1的可学习尺度参数。

如图5所示，上下文探索CE模块由四个上下文探索分支组成，每个分支包括用于信道缩减的3×3卷积、用于局部特征提取的k_i×k_i卷积和用于上下文感知的扩张率为r_i的3×2扩展卷积。将k_i，i∈{1，2，3，4}设置为1，3，5，7，并将r_i，i∈{1，2，3，4}为1，2，4，8。每个卷积之后是批归一化层和ReLU非线性操作。第i，i∈{1，2，3}个上下文探索CE模块分支的输出将被馈送到第(i+1)个分支，以在更大的感受野阻滞RFB模块中进一步处理。然后通过3×3卷积将所有四个分支的输出级联并融合。通过这样的上下文探索CE模块获得了在广泛范围内感知丰富上下文的能力，因此可以用于上下文推理。

如图6所示，感受野阻滞RFB模块结构为：

分支1：输入→1×1卷积；

分支2：输入→1×1卷积→1×3卷积→3×1卷积→3×3卷积(dilation＝3)；

分支3：输入→1×1卷积→1×5卷积→5×1卷积→3×3卷积(dilation＝5)；

分支4：输入→1×1卷积→1×7卷积→7×1卷积→3×3卷积(dilation＝7)；

上述四个分支的输出拼接，然后做3×3卷积，与输入x的1×1卷积结果拼接后再送入激活函数得到输出结果。

如图7所示，多尺度残差推理MSFR模块结构为：

输入→1×1卷积→多尺度残余块MRBs→1×1卷积→多尺度残余块MRBs→1×1卷积。

在MSFR模块中，为了充分利用多尺度信息，加入多尺度残差块MRBs来检测局部和多尺度特征。具体来说就是构建一个双流网络，每个流使用不同卷积核,旁路之间地信息彼此共享。

本实施例提出了一个新的旁路信息共享多尺度残差块MRBs，主要通过引入不同大小的卷积核来自适应地检测不同尺度地图像特征，同时让这些特征相互作用以获得最有效地图像信息。

如图8所示，本实施例提出的新的旁路信息共享多尺度残差块MRBs主要包括两个部分：多尺度特征融合和局部残差学习。旁路信息共享多尺度残差块MRBs在多尺度残差块MRB的基础上将旁路之间地信息彼此共享，从而能检测不同尺度地图像特征。模块利用了残差学习，使得网络更加高效，计算复杂度大大降低。具体结构如下：

分支1：输入特征X→3×3卷积→正则归一化→ReLU激活函数→X₁；

分支2：输入特征X→5×5卷积→正则归一化→ReLU激活函数→X₂；

X₁与X₂执行拼接操作→3×3反卷积→正则归一化→ReLU激活函数→F₁；

X₁与X₂执行拼接操作→5×5反卷积→正则归一化→ReLU激活函数→F₂；

将上述两个分支的输出F₁与F₂进行拼接操作，然后与输入特征X级联后馈送到3×3卷积中去，以获得融合的多尺度特征表示。

S4.网络模型的训练、测试和评估

使用Kvasir-SEG和CVC-ClinicDB两个数据集的训练集对模型进行训练得到训练权重。

使用五个数据集对训练好的模型进行测试，首先在Kvasir-SEG和CVC-ClinicDB数据集的测试集上进行测试，来评估模型的性能；然后在ETIS,CVC-ColonDB和CVC-300三个未知的数据集上进行测试，来评估模型的泛化性。

本发明受生物视觉启发，设计一种“识别-聚焦”以及多特征融合推理的模型算法框架，将主干网络得到的最高层特征利用一个通道注意力模块和一个空间注意力模块来粗略“识别”息肉目标位置，然后利用聚焦模块来对模糊区域逐步细化粗略预测；将粗略预测的结果充当注意力图引导细化浅层特征，然后通过一个多尺度残差推理预测模块获得融合的多尺度信息得到最终的预测结果；针对息肉与其周围环境对比度低以及大小形状不一的情况，提高了息肉分割性能，以及预测结果的准确性。

以上所述的实施例仅是对本发明优选方式进行的描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (8)

1.一种基于多尺度残差推理的息肉分割系统，其特征在于，包括：

数据获取模块，用于获取息肉分割数据，基于所述息肉分割数据构建息肉分割数据集，并对所述息肉分割数据集进行处理；

对所述息肉分割数据集进行处理包括：

对所述息肉分割数据集进行数据增强处理，所述数据增强处理包括随机翻转、随机缩放、添加随机膨胀和侵蚀；

模型构建模块，用于结合多尺度残差推理构建息肉分割网络模型，并基于所述息肉分割数据集对所述息肉分割网络模型进行训练和测试；

构建所述息肉分割网络模型包括：

基于主干网络对图像进行特征提取，对所提取的特征进行处理，将处理后的特征输入通道注意力模块和空间注意力模块，获取目标息肉的定位，利用聚焦模块对所述目标息肉生成初始预测图；

将所述初始预测图细化处理后输入感受野阻滞模块，用于进一步特征提取，将进一步提取的特征输入多尺度残差推理模块，获取息肉分割的检测结果；

预测模块，用于基于训练和测试后的所述息肉分割网络模型获取息肉分割的预测结果。

2.根据权利要求1所述的基于多尺度残差推理的息肉分割系统，其特征在于，所述主干网络采用Res2Net-50，所述主干网络用于提取多层次特征，所述多层次特征包括低级特征和高级特征。

3.根据权利要求1所述的基于多尺度残差推理的息肉分割系统，其特征在于，所述通道注意力模块的工作过程包括：将所提取的特征作为第一输入特征，基于所述通道注意力模块对所述第一输入特征进行变换、转置、矩阵乘法、特征重塑、识别映射处理，获取第一输出特征；

所述空间注意力模块的工作过程包括：将所述第一输出特征输入所述空间注意力模块，基于所述空间注意力模块对所述第一输出特征进行卷积重塑、矩阵乘法、特征重塑处理，获取第二输出特征。

4.根据权利要求3所述的基于多尺度残差推理的息肉分割系统，其特征在于，所述聚焦模块的工作过程包括：

将所述第一输入特征和所述第二输出特征作为输入，对输入的所述第二输出特征进行上采样和归一化处理，生成前景关注特征和背景关注特征，将所述前景关注特征和背景关注特征输入并行上下文探索模块进行上下文推理，获取假阳性干扰；

对输入的所述第一输入特征进行卷积、归一化、ReLU和上采样处理，生成第三输出特征，对所述假阳性干扰和所述第三输出特征进行处理，获取细化特征。

5.根据权利要求4所述的基于多尺度残差推理的息肉分割系统，其特征在于，所述并行上下文探索模块包括若干上下文探索单元，每个上下文探索单元包括若干卷积层，每个卷积之后连接批归一化层和ReLU非线性操作，基于感受野阻滞模块对每个上下文探索单元的输出进行处理，并对处理后的结果进行卷积拼接、函数激活，获取所述假阳性干扰。

6.根据权利要求5所述的基于多尺度残差推理的息肉分割系统，其特征在于，所述多尺度残差推理模块包括卷积层和多尺度残余块，所述多尺度残差推理模块用于检测局部和多尺度特征，实现旁路之间地信息彼此共享。

7.根据权利要求6所述的基于多尺度残差推理的息肉分割系统，其特征在于，所述多尺度残余块包括多尺度特征融合单元和局部残差学习单元，所述多尺度残余块用于对所述多尺度特征融合单元和局部残差学习单元的输出进行拼接、级联操作后输入卷积层，获取融合的多尺度特征，基于所述融合的多尺度特征生成息肉分割的检测结果。

8.一种根据权利要求1-7任一项所述的基于多尺度残差推理的息肉分割系统的分割方法，其特征在于，包括：

构建息肉分割数据集，对所述数据集进行处理；

结合多尺度残差推理构建息肉分割网络模型，基于所述数据集对所述息肉分割网络模型进行训练和测试；

利用训练和测试后的息肉分割网络模型完成息肉分割的预测。