CN115965630A - 一种基于内窥镜图像的深度融合的肠息肉分割方法及装置 - Google Patents

Abstract

本发明公开了一种基于内窥镜图像的深度融合的肠息肉分割方法及装置，所述方法包括：采集内窥镜下肠息肉图像并进行预处理得到训练集和测试集；利用门控轴向注意力机制模块和滑动窗口注意力机制模块构建深度特征融合模块；利用门控轴向注意力机制模块、深度特征融合模块以及注意力门控模块构建肠息肉图像分割模型；利用训练集训练肠息肉图像分割模型得到最优的肠息肉图像分割模型；将实时采集的内窥镜下肠息肉图像输入最优的肠息肉图像分割模型得到预测分割图像；本发明的优点在于：解决了由于缺乏大量带有标签数据的问题，训练成本和训练难度较低。

Description

一种基于内窥镜图像的深度融合的肠息肉分割方法及装置

技术领域

本发明涉及深度学习、计算机视觉、医学图像处理领域，更具体涉及基于内窥镜图像的深度融合的肠息肉分割方法及装置。

背景技术

在当今社会，癌症是一个非常重要的健康问题。不久前，国际癌症机构公布的一份报告，肠癌是全球第三大流行、常见的消化道肿瘤疾病和最致命的肿瘤，晚期的肠癌确诊的5年内生存率仅约为14％，因此，准确的结肠息肉分割在早期诊断和治疗起着至关重要的作用。目前，内窥镜检查已经广泛应用于临床，并成为肠癌诊断的重要标准方法之一。有很多用于肠癌诊断的临床结局方案，其中，内窥镜图像是肠息肉检测的主要方式之一。然而，肠息肉的大小、颜色等个体之间的差异很大，而且许多肠息肉并不能够从周围黏膜之中突出，因此，对肠息肉的准确分割任是一项困难的挑战。

在早期的研究中，肠息肉分割主要依赖于具有丰富临床经验的专业医生手工分割，容易受主观因素以及异质肠息肉和样本之间相似性较高等因素干扰，导致分割准确精度不高。目前，基于深度学习的分割方法在一定程度上提高了对肠息肉分割的精度并且节省了大量的人力和物力，尤其是基于Transformer的方法广泛应用于计算机视觉任务之中，取得了令人满意的性能。然而，这严重依赖于大量带有标签的数据，在医学图像处理领域中是难以满足的。此外，由于肠息肉结构的高度复杂性，使得内窥镜图像中存在实例不平衡的情况，区分有无病变体变得困难，甚至会影响治疗决策。

中国专利公开号CN107146229A，公开了一种基于元胞自动机模型的结肠息肉图像分割方法，主要解决现有结肠息肉图像分割技术中分割效率低、可重复性差、分割精度低的问题。技术方案为：(1)读入一幅含有息肉的结肠镜彩色图像；(2)修复图像中的高光区域；(3)初步检测图像中的息肉区域；(4)标记种子像素；(5)构建元胞自动机模型；(6)初始化元胞自动机模型；(7)进行图像分割；(8)输出分割后的图像。利用息肉形状近似椭圆的先验知识，自动标记种子像素，构建元胞自动机模型，通过制定的局部转化规则进行图像分割，充分利用了图像的局部信息，具有分割效率、准确率高的优点，可用于结肠息肉图像的自动分割。但是该专利申请为了提高分割精度，同样需要提取大量的带有标签的数据，难度比较高。

发明内容

本发明所要解决的技术问题在于现有技术肠息肉图像分割方法的训练依赖大量的带有标签的数据，训练成本和训练难度较高，从而难以得到较为准确的分割模型。

本发明通过以下技术手段实现解决上述技术问题的：一种基于内窥镜图像的深度融合的肠息肉分割方法，所述方法包括：

步骤一：采集内窥镜下肠息肉图像并进行预处理得到训练集和测试集；

步骤二：利用门控轴向注意力机制模块和滑动窗口注意力机制模块构建深度特征融合模块；

步骤三：利用门控轴向注意力机制模块、深度特征融合模块以及注意力门控模块构建肠息肉图像分割模型；

步骤四：利用训练集训练肠息肉图像分割模型得到最优的肠息肉图像分割模型；

步骤五：将实时采集的内窥镜下肠息肉图像输入最优的肠息肉图像分割模型得到预测分割图像。

本发明设计门控轴向注意力机制模块和基于滑动窗口的注意力机制模块相结合的融合机制，构成局部-全局学习策略，使用浅层的全局分支和深层的局部分支来对肠息肉图像块进行特征学习，解决了由于缺乏大量带有标签数据的问题，训练成本和训练难度较低，同时，获取更丰富的特征信息，减少了空间信息的损失，改善分割网络的鲁棒性，提升模型精度。

进一步地，所述步骤一包括：

S11、采集内窥镜下肠息肉图像；

S12、利用线性插值方法将所有获取的图像分辨率调整为224×224；

S13、对数据图像通过随机水平旋转、随机垂直旋转、随机变形、随机对比度和随机亮度变化以及0.70～1.20倍随机多尺度缩放，采用形态学中的高低帽变换增强肠息肉与背景的对比度，高低帽变换的公式为：

f_{b_hat}＝f－(f·b)＝f－f_d，

f_enchance＝f_{t_hat}－f_{b_hat},

式中，f表示肠息肉图像，f_op表示开运算，f_d表示闭运算，b表示形态学中的结构元素，f_enchance表示增强后内窥镜下肠息肉图像；

S14、利用自适应阈值的方法提取上述经过处理的图像中肠息肉所在的区域，并对调整后的图像按5:1划分为训练集和测试集两个部分。

更进一步地，所述步骤二包括：

S21、构建门控轴向注意力机制模块：将原始的自注意力机制模块拆分为两个模块，一个模块在高度轴上进行自注意力计算，另一个模块在宽度轴上进行计算，计算公式如下

其中，W表示宽度，H表示高度，q、k分别表示查询向量、键向量，q_i,j表示在i∈{1,...H},j∈{1,...W}中任意位置的查询向量，k_i,W、u_i,w表示在某一宽轴上i∈{1,...H}中的任意位置的健向量与值向量，

和

表示查询向量、健向量和值向量所对应的位置偏置，

利用门控机制来控制位置信息的权重，更新高度轴上自注意力计算公式，即：

其中，G_q,G_k,

均是控制参数；

S22、构建基于窗口的注意力机制模块，基于滑动窗口注意力机制模块表示为：

Z′_i＝W_MSA(Norm(Z_i-1))+Z_i-1

Z_i＝FFN(Norm(Z`i))+Z′_i

Z′_i+1＝SW_MSA(Norm(Z_i))+Z_i

Z_i+1＝FFN(Norm(Z`i))+Z′_i+1

其中，W_MSA表示输入特征通过的基于窗口的注意力模块，SW_MSA表示基于滑动窗口注意力机制模块，Z_i-1表示第i层中W_MSA的输入特征，Z′_i表示第i层中W_MSA的输出特征，也为第i层中SW_MSA的输入特征；Norm表示归一化，i为某中间块标识符，FFN表示为一个隐藏层的全连接网络；

S23、构建深度特征融合模块：门控轴向注意力机制模块和滑动窗口注意力机制模块的输出经过重塑得到特征图，利用卷积操作调整特征图尺寸，通过特征拼接融合各路特征图，再通过卷积操作得到融合特征

更进一步地，所述步骤三包括：

将内窥镜图像肠息肉特征输入至第一卷积层以及多个门控轴向注意力机制模块，获取不同深度特征，门控轴向注意力机制模块的输出分别与一个第二卷积层连接，第一卷积层与所有的第二卷积层顺次级联，第一卷积层以及前n-1个第二卷积层的输出端均分别连接一个深度特征融合模块，n≥2，第n个第二卷积层的输出端连接一个第三卷积层，每个深度特征融合模块的输出端均分别连接一个注意力门控模块，每个注意力门控模块的输出端分别连接一个第四卷积层，所述第三卷积层以及所有的第四卷积层顺次级联，最后一个第四卷积层输出图像分割结果，完成深度融合的神经网络的构建，将该神经网络作为肠息肉图像分割模型。

更进一步地，所述注意力门控模块包括：

使用卷积核为1×1卷积操作对输入张量进行线性变换，然后依次使用PReLU非线性激活函数和Sigmoid激活函数作为两组注意系数，最后调整特征维度联合输入特征融合得到关注特征。

更进一步地，所述步骤四包括：

S41、训练集输入肠息肉图像分割模型，利用Adam优化器对肠息肉图像分割模型进行优化，训练epoch默认为200，初始学习率设置为0.001；

S42、设定损失函数为：L_total＝αL_BCE+βL_blob，

L_BCE(p_i,g_i)＝L＝{l₁,…,l_N}^T,

l_N＝-w_n[g_nlogp_n+(1-g_n)log(1-p_n)]

其中，α和β均表示约束权重，N表示实例数，p_n,g_n分别表示第n个实例下为肠息肉预测输出值和肠息肉图像的真实结果，L_BCE(p_i,g_i)表示二分类交叉熵损失，p_i,g_i分别表示为输出结果中的预测和标签，l_N表示第n个样本对应的loss，w_n表示设置的超参数，Ω表示图像域，Ω_n表示第n个实例下的图像域；

S43、不断更新训练参数，当损失函数值最小时，停止训练得到最优的肠息肉图像分割模型。

更进一步地，所述步骤四之后还包括：

将测试集输入最优的肠息肉图像分割模型，得到肠息肉分割结果图；

将肠息肉分割结果图与对应标签进行对比，评估肠息肉图像分割模型的分割性能。

本发明还提供一种基于内窥镜图像的深度融合的肠息肉分割系统，所述系统包括：

图像预处理设备，用于采集内窥镜下肠息肉图像并进行预处理得到训练集和测试集；

特征融合设备，用于利用门控轴向注意力机制模块和滑动窗口注意力机制模块构建深度特征融合模块；

模型构建设备，用于利用门控轴向注意力机制模块、深度特征融合模块以及注意力门控模块构建肠息肉图像分割模型；

模型训练设备，用于利用训练集训练肠息肉图像分割模型得到最优的肠息肉图像分割模型；

结果输出设备，用于将实时采集的内窥镜下肠息肉图像输入最优的肠息肉图像分割模型得到预测分割图像。

进一步地，所述图像预处理设备还用于：

S11、采集内窥镜下肠息肉图像；

S12、利用线性插值方法将所有获取的图像分辨率调整为224×224；

S13、对数据图像通过随机水平旋转、随机垂直旋转、随机变形、随机对比度和随机亮度变化以及0.70～1.20倍随机多尺度缩放，采用形态学中的高低帽变换增强肠息肉与背景的对比度，高低帽变换的公式为：

f_{b_hat}＝f－(f·b)＝f－f_d，

f_enchance＝f_{t_hat}－f_{b_hat},

式中，f表示肠息肉图像，f_op表示开运算，f_d表示闭运算，b表示形态学中的结构元素，f_enchance表示增强后内窥镜下肠息肉图像；

S14、利用自适应阈值的方法提取上述经过处理的图像中肠息肉所在的区域，并对调整后的图像按5:1划分为训练集和测试集两个部分。

更进一步地，所述特征融合设备还用于：

S21、构建门控轴向注意力机制模块：将原始的自注意力机制模块拆分为两个模块，一个模块在高度轴上进行自注意力计算，另一个模块在宽度轴上进行计算，计算公式如下

其中，W表示宽度，H表示高度，q、k分别表示查询向量、键向量，q_i,j表示在i∈{1,...H},j∈{1,...W}中任意位置的查询向量，k_i,W、u_i,w表示在某一宽轴上i∈{1,...H}中的任意位置的健向量与值向量，

和

表示查询向量、健向量和值向量所对应的位置偏置，

利用门控机制来控制位置信息的权重，更新高度轴上自注意力计算公式，即：

其中，G_q,G_k,

均是控制参数；

S22、构建基于窗口的注意力机制模块，基于滑动窗口注意力机制模块表示为：

Z′_i＝W_MSA(Norm(Z_i-1))+Z_i-1

Z_i＝FFN(Norm(Z`i))+Z′_i

Z′_i+1＝SW_MSA(Norm(Z_i))+Z_i

Z_i+1＝FFN(Norm(Z`i))+Z′_i+1

其中，W_MSA表示输入特征通过的基于窗口的注意力模块，SW_MSA表示基于滑动窗口注意力机制模块，Z_i-1表示第i层中W_MSA的输入特征，Z′_i表示第i层中W_MSA的输出特征，也为第i层中SW_MSA的输入特征；Norm表示归一化，i为某中间块标识符，FFN表示为一个隐藏层的全连接网络；

S23、构建深度特征融合模块：门控轴向注意力机制模块和滑动窗口注意力机制模块的输出经过重塑得到特征图，利用卷积操作调整特征图尺寸，通过特征拼接融合各路特征图，再通过卷积操作得到融合特征

更进一步地，所述模型构建设备还用于：

将内窥镜图像肠息肉特征输入至第一卷积层以及多个门控轴向注意力机制模块，获取不同深度特征，门控轴向注意力机制模块的输出分别与一个第二卷积层连接，第一卷积层与所有的第二卷积层顺次级联，第一卷积层以及前n-1个第二卷积层的输出端均分别连接一个深度特征融合模块，n≥2，第n个第二卷积层的输出端连接一个第三卷积层，每个深度特征融合模块的输出端均分别连接一个注意力门控模块，每个注意力门控模块的输出端分别连接一个第四卷积层，所述第三卷积层以及所有的第四卷积层顺次级联，最后一个第四卷积层输出图像分割结果，完成深度融合的神经网络的构建，将该神经网络作为肠息肉图像分割模型。

更进一步地，所述注意力门控模块包括：

使用卷积核为1×1卷积操作对输入张量进行线性变换，然后依次使用PReLU非线性激活函数和Sigmoid激活函数作为两组注意系数，最后调整特征维度联合输入特征融合得到关注特征。

更进一步地，所述模型训练设备还用于：

S41、训练集输入肠息肉图像分割模型，利用Adam优化器对肠息肉图像分割模型进行优化，训练epoch默认为200，初始学习率设置为0.001；

S42、设定损失函数为：L_total＝αL_BCE+βL_blob，

L_BCE(p_i,g_i)＝L＝{l₁,…,l_N}^T,

l_N＝-w_n[g_nlogp_n+(1-g_n)log(1-p_n)]

其中，α和β均表示约束权重，N表示实例数，p_n,g_n分别表示第n个实例下为肠息肉预测输出值和肠息肉图像的真实结果，L_BCE(p_i,g_i)表示二分类交叉熵损失，p_i,g_i分别表示为输出结果中的预测和标签，l_N表示第n个样本对应的loss，w_n表示设置的超参数，Ω表示图像域，Ω_n表示第n个实例下的图像域；

S43、不断更新训练参数，当损失函数值最小时，停止训练得到最优的肠息肉图像分割模型。

更进一步地，所述模型训练设备之后还包括：

将测试集输入最优的肠息肉图像分割模型，得到肠息肉分割结果图；

将肠息肉分割结果图与对应标签进行对比，评估肠息肉图像分割模型的分割性能。

本发明的优点在于：

(1)本发明设计门控轴向注意力机制模块和基于滑动窗口的注意力机制模块相结合的融合机制，构成局部-全局学习策略，使用浅层的全局分支和深层的局部分支来对肠息肉图像块进行特征学习，解决了由于缺乏大量带有标签数据的问题，训练成本和训练难度较低，同时，获取更丰富的特征信息，减少了空间信息的损失，改善分割网络的鲁棒性，提升模型精度。

(2)本发明对内窥镜肠息肉图像进行一定的预处理，包括数据增强方式，通过加入肠息肉图像的变化，提高所述分割模型的鲁棒性，减少过拟合，采用形态学中的高低帽变换增强肠息肉目标与背景的对比度，利用自适应阈值的方法提取内窥镜图像中肠息肉所在的区域以挖掘肠息肉边界信息。

(3)本发明利用联合损失函数引导分割模型增强学习肠息肉形态和纹理特征，并利用训练样本训练所述神经网络得到最佳分割模型来分割肠息肉图像，使用测试集来对多模型预测结果进行优化，得到最终的肠息肉分割结果，实现了良好的分割性能。

(4)本发明构建注意力门控模块动态隐式生成目标区域，突显对肠息肉特征有用的特征，从而抑制无关联的特征响应，引导模型更关注目标特征的提取。

附图说明

图1为本发明实施例1所公开的一种基于内窥镜图像的深度融合的肠息肉分割方法的流程图；

图2为本发明实施例1所公开的一种基于内窥镜图像的深度融合的肠息肉分割方法中肠息肉分割模型示意图；

图3为本发明实施例1所公开的一种基于内窥镜图像的深度融合的肠息肉分割方法中门空轴向注意力机制模型示意图；

图4为本发明实施例1所公开的一种基于内窥镜图像的深度融合的肠息肉分割方法中基于滑动窗口的注意力机制模块示意图；

图5为本发明实施例1所公开的一种基于内窥镜图像的深度融合的肠息肉分割方法中注意力门控模块示意图；

图6为本发明实施例1所公开的一种基于内窥镜图像的深度融合的肠息肉分割方法中深度特征融合模块示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

如图1所示，一种基于内窥镜图像的深度融合的肠息肉分割方法，所述方法包括：

S1：采集内窥镜下肠息肉图像并进行预处理得到训练集和测试集；具体过程为：

S11、收集多种模态的腹部器官图像，采集内窥镜下肠息肉图像；

S12、利用线性插值方法将所有获取的图像分辨率调整为224×224；

S13、对数据图像通过随机水平旋转、随机垂直旋转、随机变形、随机对比度和随机亮度变化以及0.70～1.20倍随机多尺度缩放，采用形态学中的高低帽变换增强肠息肉与背景的对比度，高低帽变换的公式为：

f_{b_hat}＝f－(f·b)＝f－f_d，

f_enchance＝f_{t_hat}－f_{b_hat},

式中，f表示肠息肉图像，f_op表示开运算，f_d表示闭运算，b表示形态学中的结构元素，f_enchance表示增强后内窥镜下肠息肉图像；

S14、利用自适应阈值的方法提取上述经过处理的图像中肠息肉所在的区域，并对调整后的图像按5:1划分为训练集和测试集两个部分。

S2：利用门控轴向注意力机制模块和滑动窗口注意力机制模块构建深度特征融合模块；具体过程为：

S21、构建门控轴向注意力机制模块：如图3所示，将原始的自注意力机制模块拆分为两个模块，一个模块在高度轴上进行自注意力计算，另一个模块在宽度轴上进行计算，有效地模拟原始自注意力机制模块工作机制。同时，为了使模块对位置信息具有敏感度，添加了一个相对位置编码，计算公式如下

其中，W表示宽度，H表示高度，q、k分别表示查询向量、键向量，q_i,j表示在i∈{1,...H},j∈{1,...W}中任意位置的查询向量，k_i,W、u_i,w表示在某一宽轴上i∈{1,...H}中的任意位置的健向量与值向量，

和

表示查询向量、健向量和值向量所对应的位置偏置，

此外，为了能够在低尺度的特征图能够有效的学习标准的位置信息，利用门控机制来控制位置信息的权重，控制位置偏置在非局部上下文编码中产生的影响，故利用门控机制来控制位置信息的权重，更新高度轴上自注意力计算公式，即：

其中，G_q,G_k,

均是控制参数；

S22、构建基于窗口注意力机制模块：如图4所示，基于滑动窗口注意力机制模块主要利用两个连续的注意力机制模块和前馈网络模块组成。其中，两个连续的注意力机制模块均为基于窗口的多头注意力机制模块和基于窗口的多头注意力机制模块，基于滑动窗口注意力机制模块表示为：

Z′_i＝W_MSA(Norm(Z_i-1))+Z_i-1

Z_i＝FFN(Norm(Z`i))+Z′_i

Z′_i+1＝SW_MSA(Norm(Z_i))+Z_i

Z_i+1＝FFN(Norm(Z`i))+Z′_i+1

其中，W_MSA表示输入特征通过的基于窗口的注意力模块，SW_MSA表示基于滑动窗口注意力机制模块，Z_i-1表示第i层中W_MSA的输入特征，Z′_i表示第i层中W_MSA的输出特征，也为第i层中SW_MSA的输入特征，Norm表示归一化，i为某中间块标识符，FFN表示为一个隐藏层的全连接网络；

S23、构建深度特征融合模块：如图6所示，该模块包括上述门控轴向注意力机制模块和滑动窗口注意力机制模块以及分割骨干卷积模块以及后处理模块。在深度特征融合模块中，门控轴向注意力模块和Swin Transformer模块(滑动窗口注意力机制模块)的输出经过重塑得到特征图，利用卷积操作来调整特征图尺寸，以匹配输入深度融合模块的特征图，通过特征拼接融合门控轴向注意力机制模块和滑动窗口注意力机制模块以及分割骨干卷积模块输出的三路特征，通过卷积操作得到所需融合特征

S3：利用门控轴向注意力机制模块、深度特征融合模块以及注意力门控模块构建肠息肉图像分割模型；如图2所示，将内窥镜图像肠息肉特征输入至第一卷积层以及多个门控轴向注意力机制模块，获取不同深度特征，门控轴向注意力机制模块的输出分别与一个第二卷积层连接，第一卷积层与所有的第二卷积层顺次级联，第一卷积层以及前n-1个第二卷积层的输出端均分别连接一个深度特征融合模块，n≥2，第n个第二卷积层的输出端连接一个第三卷积层，每个深度特征融合模块的输出端均分别连接一个注意力门控模块，每个注意力门控模块的输出端分别连接一个第四卷积层，所述第三卷积层以及所有的第四卷积层顺次级联，最后一个第四卷积层输出图像分割结果，完成深度融合的神经网络的构建，将该神经网络作为肠息肉图像分割模型。以下详细介绍肠息肉图像分割模型的构建过程：

步骤S31：如图2所示，使用Unet分割框架作为肠息肉特征提取的骨干网络，通过编码器下采样提取初步特征，利用解码器融合学习得到的特征并恢复原始尺寸，上述第一卷积层、第二卷积层就是编码器中的卷积层，而第三卷积层和第四卷积层是解码器中的卷积层。所述编码器主要由多个卷积层和池化层组成，编码器中每个卷积层包括2个卷积核大小为2×2的卷积块，卷积块的公式如下

其中，N表示第l层特征图的数量，

表示从第l层的第n个特征图映射到第(l+1)层的第m个特征图的权重矩阵，*表示为2D的卷积操作，

表示第l层的第n个特征图，

表示为相应的偏置量，相应的

表示为第(l+1)层的第m个特征图，所述卷积块后加入一个批归一化函数池化块(BatchNormalization)和一个非线性激活函数ReLU，池化块包含一个池化窗口大小为2×2的最大池化层；

其中，n和m表示池化窗口所覆盖的区域。

所述解码器主要由上采样和跳跃连接组成，也即第三卷积层以及第四卷积层的图2所示的连接方式，利用上采样的卷积层和跳跃连接，逐步恢复初始像素。

步骤S32：构建多尺度输入模块，将输入数据输送至多个门控轴向注意力机制模块，获取不同深度特征，提高对图像全局和局部语义信息提取的完整性和丰富性。同时，使分割网络更具有鲁棒性和泛化性，也在一定程度上缓解大量数据缺乏的问题。如图2所示，将输入图片输入至不同层次的门控轴向注意力机制模块。×3、×6、×9、×12模块的输出分别作为编码器中第一卷积层和第二卷积层的一个分支输入。

步骤S33：在编码器提取的特征输出方向分为四个分支。三个分支输入至所述深度特征融合模块，第一分支作为门控轴向注意力机制模块的输入，第二分支作为滑动窗口注意力机制模块的输入，第三分支的特征将与第一、第二分支模块输出进行融合，得到新的特征表示并输送至解码器完成解码的过程，第四分支将继续进行编码学习目标特征。

步骤S34：利用注意力门控模块动态隐式生成目标区域，突显对肠息肉特征有用的特征，从而抑制无关联的特征响应。如图5所示，注意力方式是采用向量级联的方式，使用卷积核为1×1卷积操作对输入张量进行线性变换，两组级联特征线性映射到高纬度中，使用PReLU非线性激活函数和Sigmoid激活函数作为两组注意系数，最后调整特征维度联合输入特征融合得到关注特征。可以表示为：

其中，

表示注意系数,

表示每个像素矢量。

通过四次跳跃连接与解码器上采样获取特征进行融合和，特征图逐步恢复初始像素大小。

其中，

表示经过i th层注意力门控模块所得到的特征图，

表示(i-1th)层上采样后得到的特征图，

表示i th跳跃连接后得到的特征图。

利用Sigmoid激活函数得到最终的输出

S(x)＝1/(1+e^-x)

x是输入到Sigmoid激活函数中的特征图。

S4：利用训练集训练肠息肉图像分割模型得到最优的肠息肉图像分割模型；具体过程为：

S41、训练集输入肠息肉图像分割模型，利用Adam优化器对肠息肉图像分割模型进行优化，训练epoch默认为200，初始学习率设置为0.001；

S42、设定损失函数设定损失函数改善内窥镜图像中存在实例不平衡的情况，损失函数为：L_total＝αL_BCE+βL_blob，

L_BCE(p_i,g_i)＝L＝{l₁,…,l_N}^T,

l_N＝-w_n[g_nlogp_n+(1-g_n)log(1-p_n)]

其中，α和β均表示约束权重，N表示实例数，p_n,g_n分别表示第n个实例下为肠息肉预测输出值和肠息肉图像的真实结果，L_BCE(p_i,g_i)表示二分类交叉熵损失，p_i,g_i分别表示为输出结果中的预测和标签，l_N表示第n个样本对应的loss，w_n表示设置的超参数，Ω表示图像域，Ω_n表示第n个实例下的图像域；

S43、不断更新训练参数，当损失函数值最小时，停止训练得到最优的肠息肉图像分割模型。

之后利用测试集对训练好的肠息肉图像分割模型进行测试，具体过程如下：

将测试集输入最优的肠息肉图像分割模型，得到肠息肉分割结果图；

利用水平集方法优化融合模型分割图像；

将肠息肉分割结果图与对应标签进行对比，评估肠息肉图像分割模型的分割性能。

S5：将实时采集的内窥镜下肠息肉图像输入最优的肠息肉图像分割模型得到预测分割图像。

通过以上技术方案，传统的Transformer结构缺少一些CNN先天的归纳偏置(卷积结构带来的先验经验)，比如平移不变性和包含局部关系，因此在规模不足的数据集上表现没有那么好。于是，本发明通过加入卷积块，设计门控轴向注意力机制模块和基于滑动窗口的注意力机制模块相结合的融合机制，构成局部-全局学习策略，使用浅层的全局分支和深层的局部分支来对肠息肉图像块进行特征学习，解决了由于缺乏大量带有标签数据的问题，训练成本和训练难度较低，同时，获取更丰富的特征信息，减少了空间信息的损失，改善分割网络的鲁棒性，提升模型精度。

实施例2

基于实施例1，本发明实施例2还提供一种基于内窥镜图像的深度融合的肠息肉分割系统，所述系统包括：

图像预处理设备，用于采集内窥镜下肠息肉图像并进行预处理得到训练集和测试集；

特征融合设备，用于利用门控轴向注意力机制模块和滑动窗口注意力机制模块构建深度特征融合模块；

模型构建设备，用于利用门控轴向注意力机制模块、深度特征融合模块以及注意力门控模块构建肠息肉图像分割模型；

模型训练设备，用于利用训练集训练肠息肉图像分割模型得到最优的肠息肉图像分割模型；

结果输出设备，用于将实时采集的内窥镜下肠息肉图像输入最优的肠息肉图像分割模型得到预测分割图像。

具体的，所述图像预处理设备还用于：

S11、采集内窥镜下肠息肉图像；

S12、利用线性插值方法将所有获取的图像分辨率调整为224×224；

S13、对数据图像通过随机水平旋转、随机垂直旋转、随机变形、随机对比度和随机亮度变化以及0.70～1.20倍随机多尺度缩放，采用形态学中的高低帽变换增强肠息肉与背景的对比度，高低帽变换的公式为：

f_{b_hat}＝f－(f·b)＝f－f_d，

f_rnchance＝f_{t_hat}－f_{b_hat},

式中，f表示肠息肉图像，f_op表示开运算，f_d表示闭运算，b表示形态学中的结构元素，f_enchance表示增强后内窥镜下肠息肉图像；

S14、利用自适应阈值的方法提取上述经过处理的图像中肠息肉所在的区域，并对调整后的图像按5:1划分为训练集和测试集两个部分。

更具体的，所述特征融合设备还用于：

S21、构建门控轴向注意力机制模块：将原始的自注意力机制模块拆分为两个模块，一个模块在高度轴上进行自注意力计算，另一个模块在宽度轴上进行计算，计算公式如下

其中，W表示宽度，H表示高度，q、k分别表示查询向量、键向量，q_i,j表示在i∈{1,...H},j∈{1,...W}中任意位置的查询向量，k_i,W、u_i,w表示在某一宽轴上i∈{1,...H}中的任意位置的健向量与值向量，

和

表示查询向量、健向量和值向量所对应的位置偏置，

利用门控机制来控制位置信息的权重，更新高度轴上自注意力计算公式，即：

其中，G_q,G_k,

均是控制参数；

S22、构建基于窗口注意力机制模块，基于滑动窗口注意力机制模块表示为：

Z′_i＝W_MSA(Norm(Z_i-1))+Z_i-1

Z_i＝FFN(Norm(Z`i))+Z′_i

Z′_i+1＝SW_MSA(Norm(Z_i))+Z_i

Z_i+1＝FFN(Norm(Z`i))+Z′_i+1

其中，W_MSA表示输入特征通过的基于窗口的注意力模块，SW_MSA表示基于滑动窗口注意力机制模块，Z_i-1表示第i层中W_MSA的输入特征，Z′_i表示第i层中W_MSA的输出特征，也为第i层中SW_MSA的输入特征；Norm表示归一化，i为某中间块标识符，FFN表示为一个隐藏层的全连接网络；

S23、构建深度特征融合模块：门控轴向注意力机制模块和滑动窗口注意力机制模块的输出经过重塑得到特征图，利用卷积操作调整特征图尺寸，通过特征拼接融合各路特征图，再通过卷积操作得到融合特征

更具体的，所述模型构建设备还用于：

将内窥镜图像肠息肉特征输入至第一卷积层以及多个门控轴向注意力机制模块，获取不同深度特征，门控轴向注意力机制模块的输出分别与一个第二卷积层连接，第一卷积层与所有的第二卷积层顺次级联，第一卷积层以及前n-1个第二卷积层的输出端均分别连接一个深度特征融合模块，n≥2，第n个第二卷积层的输出端连接一个第三卷积层，每个深度特征融合模块的输出端均分别连接一个注意力门控模块，每个注意力门控模块的输出端分别连接一个第四卷积层，所述第三卷积层以及所有的第四卷积层顺次级联，最后一个第四卷积层输出图像分割结果，完成深度融合的神经网络的构建，将该神经网络作为肠息肉图像分割模型。

更具体的，所述注意力门控模块包括：

使用卷积核为1×1卷积操作对输入张量进行线性变换，然后依次使用PReLU非线性激活函数和Sigmoid激活函数作为两组注意系数，最后调整特征维度联合输入特征融合得到关注特征。

更具体的，所述模型训练设备还用于：

S41、训练集输入肠息肉图像分割模型，利用Adam优化器对肠息肉图像分割模型进行优化，训练epoch默认为200，初始学习率设置为0.001；

S42、设定损失函数为：L_total＝αL_BCE+βL_blob，

L_BCE(p_i,g_i)＝L＝{l₁,…,l_N}^T,

l_N＝-w_n[g_nlogp_n+(1-g_n)log(1-p_n)]

其中，α和β均表示约束权重，N表示实例数，p_n,g_n分别表示第n个实例下为肠息肉预测输出值和肠息肉图像的真实结果，L_BCE(p_i,g_i)表示二分类交叉熵损失，p_i,g_i分别表示为输出结果中的预测和标签，l_N表示第n个样本对应的loss，w_n表示设置的超参数，Ω表示图像域，Ω_n表示第n个实例下的图像域；

S43、不断更新训练参数，当损失函数值最小时，停止训练得到最优的肠息肉图像分割模型。

更具体的，所述模型训练设备之后还包括：

将测试集输入最优的肠息肉图像分割模型，得到肠息肉分割结果图；

将肠息肉分割结果图与对应标签进行对比，评估肠息肉图像分割模型的分割性能。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于内窥镜图像的深度融合的肠息肉分割方法，其特征在于，所述方法包括：

步骤一：采集内窥镜下肠息肉图像并进行预处理得到训练集和测试集；

步骤二：利用门控轴向注意力机制模块和滑动窗口注意力机制模块构建深度特征融合模块；

步骤三：利用门控轴向注意力机制模块、深度特征融合模块以及注意力门控模块构建肠息肉图像分割模型；

步骤四：利用训练集训练肠息肉图像分割模型得到最优的肠息肉图像分割模型；

步骤五：将实时采集的内窥镜下肠息肉图像输入最优的肠息肉图像分割模型得到预测分割图像。

2.根据权利要求1所述的一种基于内窥镜图像的深度融合的肠息肉分割方法，其特征在于，所述步骤一包括：

S11、采集内窥镜下肠息肉图像；

S12、利用线性插值方法将所有获取的图像分辨率调整为224×224；

S13、对数据图像通过随机水平旋转、随机垂直旋转、随机变形、随机对比度和随机亮度变化以及0.70～1.20倍随机多尺度缩放，采用形态学中的高低帽变换增强肠息肉与背景的对比度，高低帽变换的公式为：

f_{b_hat}＝f-(f·b)＝f-f_d，

f_enchance＝f_t-hat-f_{b_hat}，

式中，f表示肠息肉图像，f_op表示开运算，f_d表示闭运算，b表示形态学中的结构元素，f_enchance表示增强后内窥镜下肠息肉图像；

S14、利用自适应阈值的方法提取上述经过处理的图像中肠息肉所在的区域，并对调整后的图像按5∶1划分为训练集和测试集两个部分。

3.根据权利要求2所述的一种基于内窥镜图像的深度融合的肠息肉分割方法，其特征在于，所述步骤二包括：

S21、构建门控轴向注意力机制模块：将原始的自注意力机制模块拆分为两个模块，一个模块在高度轴上进行自注意力计算，另一个模块在宽度轴上进行计算，计算公式如下

其中，W表示宽度，H表示高度，q、k分别表示查询向量、键向量，q_i，j表示在i∈{1，...H}，j∈{1，...W}中任意位置的查询向量，k_i，W、u_i，w表示在某一宽轴上i∈{1，...H}中的任意位置的健向量与值向量，

和

表示查询向量、健向量和值向量所对应的位置偏置；利用门控机制来控制位置信息的权重，更新高度轴上自注意力计算公式，即：

其中，G_q，G_k，

均是控制参数；

S22、构建基于窗口的注意力机制模块，基于滑动窗口注意力机制模块表示为：

Z′_i＝W_MSA(Norm(Z_i-1))+Z_i-1

Z_i＝FFN(Norm(Z`_i))+Z′_i

Z′_i+1＝SW_MSA(Norm(Z_i))+Z_i

Z_i+1＝FFN(Norm(Z`i))+Z′_i+1

其中，W_MSA表示输入特征通过的基于窗口的注意力模块，SW_MSA表示基于滑动窗口注意力机制模块，Z_i-1表示第i层中W_MSA的输入特征，Z′_i表示第i层中W_MSA的输出特征，也为第i层中SW_MSA的输入特征；Norm表示归一化，i为某中间块标识符，FFN表示为一个隐藏层的全连接网络；

S23、构建深度特征融合模块：门控轴向注意力机制模块和滑动窗口注意力机制模块的输出经过重塑得到特征图，利用卷积操作调整特征图尺寸，通过特征拼接融合各路特征图，再通过卷积操作得到融合特征

4.根据权利要求3所述的一种基于内窥镜图像的深度融合的肠息肉分割方法，其特征在于，所述步骤三包括：

将内窥镜图像肠息肉特征输入至第一卷积层以及多个门控轴向注意力机制模块，获取不同深度特征，门控轴向注意力机制模块的输出分别与一个第二卷积层连接，第一卷积层与所有的第二卷积层顺次级联，第一卷积层以及前n-1个第二卷积层的输出端均分别连接一个深度特征融合模块，n≥2，第n个第二卷积层的输出端连接一个第三卷积层，每个深度特征融合模块的输出端均分别连接一个注意力门控模块，每个注意力门控模块的输出端分别连接一个第四卷积层，所述第三卷积层以及所有的第四卷积层顺次级联，最后一个第四卷积层输出图像分割结果，完成深度融合的神经网络的构建，将该神经网络作为肠息肉图像分割模型。

5.根据权利要求4所述的一种基于内窥镜图像的深度融合的肠息肉分割方法，其特征在于，所述注意力门控模块包括：

使用卷积核为1×1卷积操作对输入张量进行线性变换，然后依次使用PReLU非线性激活函数和Sigmoid激活函数作为两组注意系数，最后调整特征维度联合输入特征融合得到关注特征。

6.根据权利要求4所述的一种基于内窥镜图像的深度融合的肠息肉分割方法，其特征在于，所述步骤四包括：

S41、训练集输入肠息肉图像分割模型，利用Adam优化器对肠息肉图像分割模型进行优化，训练epoch默认为200，初始学习率设置为0.001；

S42、设定损失函数为：L_total＝αL_BCE+βL_blob，

L_BCE(p_i，g_i)＝L＝{l₁，...，l_N}^T，

l_N＝--w_n[g_n logp_n+(1-g_n)log(1-p_n)]

其中，α和β均表示约束权重，N表示实例数，p_n，g_n分别表示第n个实例下为肠息肉预测输出值和肠息肉图像的真实结果，L_BCE(p_i，g_i)表示二分类交叉熵损失，p_i，g_i分别表示为输出结果中的预测和标签，l_N表示第n个样本对应的loss，w_n表示设置的超参数，Ω表示图像域，Ω_n表示第n个实例下的图像域；

S43、不断更新训练参数，当损失函数值最小时，停止训练得到最优的肠息肉图像分割模型。

7.根据权利要求6所述的一种基于内窥镜图像的深度融合的肠息肉分割方法，其特征在于，所述步骤四之后还包括：

将测试集输入最优的肠息肉图像分割模型，得到肠息肉分割结果图；

将肠息肉分割结果图与对应标签进行对比，评估肠息肉图像分割模型的分割性能。

8.一种基于内窥镜图像的深度融合的肠息肉分割系统，其特征在于，所述系统包括：

图像预处理设备，用于采集内窥镜下肠息肉图像并进行预处理得到训练集和测试集；

特征融合设备，用于利用门控轴向注意力机制模块和滑动窗口注意力机制模块构建深度特征融合模块；

模型构建设备，用于利用门控轴向注意力机制模块、深度特征融合模块以及注意力门控模块构建肠息肉图像分割模型；

模型训练设备，用于利用训练集训练肠息肉图像分割模型得到最优的肠息肉图像分割模型；

结果输出设备，用于将实时采集的内窥镜下肠息肉图像输入最优的肠息肉图像分割模型得到预测分割图像。

9.根据权利要求8所述的一种基于内窥镜图像的深度融合的肠息肉分割系统，其特征在于，所述图像预处理设备还用于：

S11、采集内窥镜下肠息肉图像；

S12、利用线性插值方法将所有获取的图像分辨率调整为224×224；

S13、对数据图像通过随机水平旋转、随机垂直旋转、随机变形、随机对比度和随机亮度变化以及0.70～1.20倍随机多尺度缩放，采用形态学中的高低帽变换增强肠息肉与背景的对比度，高低帽变换的公式为：

f_{b_hat}＝f-(f·b)＝f-f_d，

f_enchance＝f_{t_hat}-f_{b_hat}，

式中，f表示肠息肉图像，f_op表示开运算，f_d表示闭运算，b表示形态学中的结构元素，f_enchance表示增强后内窥镜下肠息肉图像；

S14、利用自适应阈值的方法提取上述经过处理的图像中肠息肉所在的区域，并对调整后的图像按5∶1划分为训练集和测试集两个部分。

10.根据权利要求9所述的一种基于内窥镜图像的深度融合的肠息肉分割系统，其特征在于，所述特征融合设备还用于：

S21、构建门控轴向注意力机制模块：将原始的自注意力机制模块拆分为两个模块，一个模块在高度轴上进行自注意力计算，另一个模块在宽度轴上进行计算，计算公式如下

其中，W表示宽度，H表示高度，q、k分别表示查询向量、键向量，q_i，j表示在i∈{1，...H}，j∈{1，...W}中任意位置的查询向量，k_i，W、u_i，w表示在某一宽轴上i∈{1，...H}中的任意位置的健向量与值向量，

和

表示查询向量、健向量和值向量所对应的位置偏置；利用门控机制来控制位置信息的权重，更新高度轴上自注意力计算公式，即：

其中，G_q，G_k，

均是控制参数；

S22、构建基于窗口的注意力机制模块，基于滑动窗口注意力机制模块表示为：

Z′_i＝W_MSA(Norm(Z_i-1))+Z_i-1

Z_i＝FFN(Norm(Z`i))+Z′_i

Z′_i+1＝SW_MSA(Norm(Z_i))+Z_i

Z_i+1＝FFN(Norm(Z`i))+Z′_i+1

其中，W_MSA表示输入特征通过的基于窗口的注意力模块，SW_MSA表示基于滑动窗口注意力机制模块，Z_i-1表示第i层中W_MSA的输入特征，Z′_i表示第i层中W_MSA的输出特征，也为第i层中SW_MSA的输入特征；Norm表示归一化，i为某中间块标识符，FFN表示为一个隐藏层的全连接网络；

S23、构建深度特征融合模块：门控轴向注意力机制模块和滑动窗口注意力机制模块的输出经过重塑得到特征图，利用卷积操作调整特征图尺寸，通过特征拼接融合各路特征图，再通过卷积操作得到融合特征

Images