CN112712528A - 一种多尺度u型残差编码器与整体反向注意机制结合的肠道病灶分割方法 - Google Patents

Abstract

一种多尺度U型残差编码器与整体反向注意机制结合的肠道病灶分割方法，多尺度U型残差编码器作为主干网络对输入肠道病灶图像提取特征，并引入一种提高分割可靠性的多尺度残差块产生初始预测图，主干网络每级填充的U型残差块在保持高分辨率特征图与降低内存和计算成本的情况下，可以直接逐步提取多尺度特征；使用有助于分割整个显著肠道病灶并细化更精确的边界的整体注意机制来增强浅层特征得到增强的初始预测图；引入建立区域与边界线索之间关系的反向注意机制来挖掘更多边界线索和弥补整体注意机制细化边界可能存在的错误部分。本发明达到了更优的肠道病灶分割精度。

Description

一种多尺度U型残差编码器与整体反向注意机制结合的肠道 病灶分割方法

技术领域

本发明涉及医学图像处理技术领域，具体涉及一种多尺度U型残差编码器与整体反向注意机制结合的肠道病灶分割方法的肠道病灶分割方法。

背景技术

医学图像分割是对图像中特定组织或区域进行精确提取的不可或缺的手段，将肠道病灶图像分割用于对肠道患病区域定量的分析与研究，有利于辅助医生精确的诊断。传统的手动分割是费时的、不准确的，所以对肠道病灶自动分割具有很大的价值。早期基于学习的方法依赖于提取的手工特征，这些方法通常被训练成一个分类器来区分病灶和它周围的环境，然而，这些方法的漏检率很高。近年来，深度学习方法在图像识别和检测任务中取得了巨大成功。全卷积神经网络FCN引领了将图像分割纳入端到端密集预测学习框架的趋势，进一步产生了应用医学图像分割的U-Net与U-Net++网络并获得了较好的性能。

现有的肠道病灶分割方法通常侧重于充分利用现有主干网络提取深层特征，这些深层特征往往缺乏局部细节和全局对比度信息；其次，现有主干网络通常通过牺牲高分辨率的特征图来实现更深层次的架构，然而，高分辨率在分割中也起到着重要作用。

发明内容

为了克服现有主干网络提取深层特征存在的局部细节与全局对比度信息缺乏、特征图分辨率低的问题，为了解决以上问题并总体上达到更优的肠道病灶分割精度，本发明提出了一种多尺度U型残差编码器与整体反向注意机制结合的肠道病灶分割方法的肠道病灶分割方法。首先，提出一种多尺度U型残差编码器作为主干网络对输入肠道病灶图像提取特征，并引入一种提高分割可靠性的多尺度残差块(Multi-Scale Residual Block，MSR)产生初始预测图。本发明所提出的主干网络每级填充的U型残差块(Residual U-blocks，RSU)在保持高分辨率特征图与降低内存和计算成本的情况下，可以直接逐步提取多尺度特征，相比现有主干网络，可以提取更多局部细节和全局对比度信息；其次，提出将一种有助于分割整个显著肠道病灶并细化更精确的边界的整体注意机制(Holistic Attention，HA)用来增强浅层特征得到增强的初始预测图。最后，引入一种建立区域与边界线索之间关系的反向注意机制(Reverse Attention，RA)来挖掘更多边界线索和弥补HA细化边界可能存在的错误部分，从而进一步地提高肠道病灶分割精度。

为了解决上述技术问题，本发明采用如下的技术方案：

一种多尺度U型残差编码器与整体反向注意机制结合的肠道病灶分割方法的肠道病灶分割方法，包括以下步骤：

步骤1输入数据集X＝{x₁,x₂,...,x_n}，其中，X表示数据集中输入的样本，x_n∈R^{352 ×352}，n表示样本数量，将多尺度U型残差编码器作为主干网络对输入肠道病灶图像提取特征，然后引入MSR显著性检测深层特征，产生一个单通道初始预测图，过程如下：

1.1为了提取肠道病灶图像更丰富的局部和全局特征，将多尺度U型残差编码器作为主干网络对图像进行编码，提取各级特征X_i(i＝1,2,3,4,5)，该主干网络M级(M＝1，2，3，4，5)，其中第1、2级为低级层，第3、4、5级为高级层，该主干网络每级填充的RSU可以从逐步下采样的特征图中提取多尺度特征，并通过逐级上采样、级联和卷积将多尺度特征编码成高分辨率的特征图，该过程减轻了由大尺度的直接上采样造成的精细细节的损失，RSU随着深度L参数越高，将会有更多的池化操作，更大范围的接受域和更丰富的局部和全局特征；

1.2多尺度U型残差编码器每级实现特征提取后通过下采样操作进入下一级网络；

1.3为了解决肠道病灶图像深度特征显著性检测的多尺度问题，使用MSR显著性检测最高级层(M＝5)的多尺度特征X₅，产生一个可靠的单通道初始预测图N_m，所使用的MSR不需要嵌入在单独的池化层之后，该模块由三个平行分支组成，每个分支共享相同的残差结构，但是膨胀率不同，并且每个分支都以迭代次数为N₁的循环方式来实现增加感受野，从而在减少参数数量的同时产生可靠的初始预测结果；

步骤2，为了分割整个显著的肠道病灶区域并细化更精确的边界，在考虑到浅层特征为构建肠道病灶区域边界保留了空间细节的基础上，使用HA增强浅层特征F₂，从而产生一个单通道增强的初始预测图N_p。相对于未加入注意机制和加入其他注意机制具有更精确的边界的效果，并且消除了无关特征；

步骤3，为了更进一步的挖掘边界信息和弥补HA细化边界可能存在的错误部分，达到更高的分割精度，将增强的初始预测图N_p馈送到可建模边界的RA，同时由高级层的侧输出特征X_i(i＝3,4,5)自适应学习RA，产生三个侧输出N_i(i＝3,4,5)，将其中的侧输出N₃馈送到Sigmoid函数产生最终预测图N_o，并且采用mask真实图对三个侧输出N_i(i＝3,4,5)和增强的初始预测图N_p进行深度监督；

步骤4，输入设定数量的给定像素的肠道病灶图像对模型训练得到训练参数，再用训练的参数，输入分割数据集图像进行测试得到最终的分割结果。

本发明以肠道病灶中息肉为例进行实验，输入1450张384×288像素的息肉图像对本发明模型训练得到训练参数，再用训练的参数，输入常用的息肉分割数据集图像进行测试得到最终的分割结果。

本发明的有益效果表现在：

1.本发明所提出的将多尺度U型残差编码器作为主干网络，其每级网络均可以提取任意分辨率多尺度的高分辨率特征图，减轻了由大尺度的直接上采样造成的精细细节的损失，相比现有主干网路，可以提取更丰富的局部和全局特征；

2.本发明所提出的使用HA增强浅层特征可以产生边界更精确的初始预测图，并且本发明引入RA进一步挖掘边界线索和弥补HA细化边界可能存在的错误部分，从而产生更加精确的分割效果；

3.本发明方法相对于现有的肠道病灶分割方法具有更优的分割效果，并且具有更好的实际工程应用价值。

附图说明

图1是本发明方法的整体流程图；

图2是多尺度U型残差编码器；

图3是RSU-L模块(a)和RSU模块(b)；

图4是MSR模块；

图5是RA模块；

图6是本发明与其他肠道病灶分割方法结果的对比图。

具体实施方式

为了阐明本发明的目的、技术方案和优点，以下结合具体实施例及附图，对本发明做进一步详细说明。

参照图1～图6，一种基于多尺度U型残差编码器与整体反向注意机制结合的肠道病灶分割方法，包括以下步骤：

步骤1，输入数据集X＝{x₁,x₂,...,x_n}，其中，X表示数据集中输入的样本，x_n∈R^{352 ×352}，n表示样本数量，将多尺度U型残差编码器作为主干网络对输入肠道病灶图像进行编码，提取图像特征。该主干网络每级都填充RSU，通过配置RSU的深度L参数可以从输入特征图中提取任意空间分辨率的多尺度特征，RSU从逐步下采样的特征图中提取多尺度特征，并通过逐级上采样、级联和卷积将多尺度特征编码成高分辨率的特征图，该过程减轻了由大尺度的直接上采样造成的精细细节的损失。相比现有主干网络，可以提取更多局部细节和全局对比度信息，过程如下：

1.1为了提取肠道病灶图像更丰富的局部和全局特征，使用多尺度U型残差编码器作为主干网络对图像进行编码，提取各级特征X_i(i＝1,2,3,4,5)，该主干网络有M级(M＝1，2，3，4，5)，其中第1、2级为低级层，第3、4、5级为高级层，该主干网络每级处理特征过程分为三个阶段：第一阶段，主干网络每级填充的RSU的输入卷积层对输入特征图x转换成一个中间特征图F_i(x)；第二阶段，以中间特征图F_i(x)为输入，学习提取和编码多尺度上下文信息得到U(F_i(x))；第三阶段，求和融合局部特征和多尺度特征：

x＝F_i(x)+U(F_i(x)) (1)

1.2多尺度U型残差编码器每级实现特征提取后通过下采样操作进入其下一级网络；

1.3为了解决肠道病灶图像深度特征显著性检测的多尺度问题，使用MSR显著性检测最高级层(M＝5)的多尺度特征F₅，产生一个可靠的单通道初始预测图N_m，所使用的MSR不需要嵌入在单独的池化层之后，该模块由三个平行分支组成，每个分支共享相同的残差结构，但是膨胀率不同，并且每个分支都以迭代次数为N₁的循环方式来实现增加感受野，从而在减少参数数量的同时产生可靠的初始预测结果，过程如下：

将主干网络最高级层提取的特征X₅作为输入，经过MSR的三个残差块分支，其中三个残差块分支均由三个内核大小为1×1，3×3，1×1的卷积层组成，但每个分支的3×3卷积层的膨胀率各不相同，将所有分支的特征进行融合，然后馈送入一个3×3的卷积层产生一个单通道的可靠的初始预测结果N_m；

步骤2，为了分割整个显著的肠道病灶并细化更精确的边界，提出使用HA增强浅层特征X₂，获得一个单通道增强的初始预测图N_p，HA旨在扩大初始预测图的覆盖范围，提高初始预测图的有效性，消除无关特征的干扰；由于浅层特征为构建对象边界保留了空间细节，所以使用HA增强主干网络第二级提取的特征X₂，获得增强后的初始预测图，与不使用注意机制和其他注意机制相比，HA有助于分割整个显著的肠道病灶并细化更精确的边界，该过程表示为：

N_p＝MAX(f_min-max(Conv_g(F₂,k)),N_m) (2)

其中

是具有高斯核k和零偏差的卷积运算，

是使模糊特征图在[0,1]范围中的归一化，

是倾向于增加显著区域权重系数的最大函数，这里k＝32，标准差取值为4；

步骤3，为了更进一步的挖掘边界信息和弥补HA细化边界可能存在的错误部分，将增强的初始预测图N_p馈送到可建模边界的RA，同时高级层的侧输出特征F₃ F₄F₅自适应学习RA，产生三个侧输出N_i(i＝3,4,5)，将其中的侧输出N₃馈送到Sigmoid函数产生最终预测图N_o，RA从主干网络高级层侧输出特征中删除现有的估计病灶区域来顺序挖掘互补区域和细节，最终将不精确的估计细化为精确和完整的预测图，过程如下：

3.1将高级层的侧输出特征X_i(i＝3,4,5)与反向注意权值A_i进行相乘，各自产生一个输出特征R_i，该过程表示为：

3.2反向注意权值Ai经过一系列操作得到的，该过程表示为：

A_i＝ε(Θ(σ(ρ(N_i+1)))) (4)

其中

是上采样操作，

是一个Sigmoid激活函数，

是从元素都为1的矩阵E中减去输入的逆运算，ε是将单通道特征扩展到64个重复张量；

3.3侧输出N₃馈送到Sigmoid函数产生最终预测图N_o，该过程表示为：

N_o＝sigmoid(N₃) (5)

3.4采用mask真实分割图对主干网络高级层的侧输出N_i(i＝3,4,5)与增强的初始预测图N_o进行深度监督；

步骤4，以肠道病灶中息肉为例进行实验，输入1450张384×288像素的息肉图像对本发明模型训练得到训练参数，再用训练的参数，输入常用的息肉分割数据集图像进行测试得到最终的分割结果。

本发明的效果可通过以下仿真实验进一步说明。

1)仿真条件

本发明所有架构均用PyTorch框架作为后端实现。实验所用操作系统为Ubuntu18.04.4 LTS，软件PyCharm(2020.2.3)，处理器为Intel(R)Xeon(R)Silver 4210 CPU@2.20GHz，内存64GB，Cuda版本为10.2.89，训练过程由NVIDIA RTX 2080 Super GPU加速。

2)仿真结果

本发明的肠道病灶分割方法与经典的U-Net、U-Net++方法以及最近的U²-Net、PraNet方法在使用相同的训练集情况下，在肠道病灶分割真实数据集上进行对比实验。为了进一步验证本发明的肠道病灶分割方法在真实数据集上的性能，使用常用的息肉分割数据集CVC-ClinicDB进行测试实验，采用常用的F-Sorce、S_α、

以及MAE指标评价息肉分割结果，其中F-Sorce是Precision和Recall的调和平均值；S_α用于度量预测图与真实图mask之间结构相似性；

用于度量两个二进制图之间的局部和全局相似性；

是加权Dice，被用来修正Dice中的同等重要缺陷；MAE是平均绝对误差，用来评估像素级精度。

表1为在息肉分割数据集CVC-ClinicDB上的测试结果：

表1

从上表以看出，本发明方法相对于现有的一些肠道病灶分割方法具有更优的分割结果，具有更好的实际工程应用价值。

本说明书的实施例所述的内容仅仅是对发明构思的实现形式的列举，仅作说明用途。本发明的保护范围不应当被视为仅限于本实施例所陈述的具体形式，本发明的保护范围也及于本领域的普通技术人员根据本发明构思所能想到的等同技术手段。

Claims (4)

1.一种多尺度U型残差编码器与整体反向注意机制结合的肠道病灶分割方法，其特征在于，所述方法包括以下步骤：

步骤1输入数据集X＝{x₁,x₂,...,x_n}，其中，X表示数据集中输入的样本，x_n∈R^352×352，n表示样本数量，将多尺度U型残差编码器作为主干网络对输入肠道病灶图像提取特征，然后引入MSR显著性检测深层特征，产生一个单通道初始预测图，过程如下：

1.1为了提取肠道病灶图像更丰富的局部和全局特征，将多尺度U型残差编码器作为主干网络对图像进行编码，提取各级特征X_i(i＝1,2,3,4,5)，该主干网络M级(M＝1,2,3,4,5)，其中第1、2级为低级层，第3、4、5级为高级层，该主干网络每级填充的RSU可以从逐步下采样的特征图中提取多尺度特征，并通过逐级上采样、级联和卷积将多尺度特征编码成高分辨率的特征图；

1.2多尺度U型残差编码器每级实现特征提取后通过下采样操作进入下一级网络；

1.3使用MSR显著性检测最高级层(M＝5)的多尺度特征X₅，产生一个可靠的单通道初始预测图N_m，所使用的MSR不需要嵌入在单独的池化层之后，该模块由三个平行分支组成，每个分支共享相同的残差结构，但是膨胀率不同，并且每个分支都以迭代次数为N₁的循环方式来实现增加感受野，从而在减少参数数量的同时产生可靠的初始预测结果；

步骤2，为了分割整个显著的肠道病灶区域并细化更精确的边界，在考虑到浅层特征为构建肠道病灶区域边界保留了空间细节的基础上，使用HA增强浅层特征F₂，从而产生一个单通道增强的初始预测图N_p；

步骤3，将增强的初始预测图N_p馈送到可建模边界的RA，同时由高级层的侧输出特征X_i(i＝3,4,5)自适应学习RA，产生三个侧输出N_i(i＝3,4,5)，将其中的侧输出N₃馈送到Sigmoid函数产生最终预测图N_o，并且采用mask真实图对三个侧输出N_i(i＝3,4,5)和增强的初始预测图N_p进行深度监督；

步骤4，输入设定数量的给定像素的肠道病灶图像对模型训练得到训练参数，再用训练的参数，输入分割数据集图像进行测试得到最终的分割结果。

2.如权利要求1所述的多尺度U型残差编码器与整体反向注意机制结合的肠道病灶分割方法，其特征在于，所述1.1中，主干网络每级处理特征过程分为三个阶段：第一阶段，主干网络每级填充的RSU的输入卷积层对输入特征图x转换成一个中间特征图F_i(x)；第二阶段，以中间特征图F_i(x)为输入，学习提取和编码多尺度上下文信息得到U(F_i(x))；第三阶段，求和融合局部特征和多尺度特征：

x＝F_i(x)+U(F_i(x)) (1)

3.如权利要求2所述的多尺度U型残差编码器与整体反向注意机制结合的肠道病灶分割方法，其特征在于，所述步骤2中，使用HA增强主干网络第二级提取的特征X₂，获得增强后的初始预测图，该过程表示为：

N_p＝MAX(f_min-max(Conv_g(F₂,k)),N_m) (2)

其中

是具有高斯核k和零偏差的卷积运算，

是使模糊特征图在[0,1]范围中的归一化，

是倾向于增加显著区域权重系数的最大函数。

4.如权利要求3所述的多尺度U型残差编码器与整体反向注意机制结合的肠道病灶分割方法，其特征在于，所述步骤3的过程如下：

3.1将高级层的侧输出特征X_i(i＝3,4,5)与反向注意权值A_i进行相乘，各自产生一个输出特征R_i，该过程表示为：

3.2反向注意权值Ai经过一系列操作得到的，该过程表示为：

A_i＝ε(Θ(σ(ρ(N_i+1)))) (4)

其中

是上采样操作，

是一个Sigmoid激活函数，

是从元素都为1的矩阵E中减去输入的逆运算，ε是将单通道特征扩展到64个重复张量；

3.3侧输出N₃馈送到Sigmoid函数产生最终预测图N_o，该过程表示为：

N_o＝sigmoid(N₃) (5)

3.4采用mask真实分割图对主干网络高级层的侧输出N_i(i＝3,4,5)与增强的初始预测图N_o进行深度监督。

Images