CN114511508A - 融合卷积与多层感知机神经网络的结直肠息肉分割方法 - Google Patents

Abstract

本发明公开了一种融合卷积与多层感知机神经网络的结直肠息肉分割方法，包括：1)收集多种类型内窥镜下结直肠息肉图像，并通过图像随机水平翻转、随机对比度增强、0.75～1.25倍随机多尺度放大缩小和0～360度随机旋转等方法进行图像增强，组成训练样本；2)构建融合卷积与多层感知机神经网络，其中包含卷积与多层感知机编码器、平行自注意力模块、级联语义特征聚合模块和通道引导分组逆向注意力模块；3)利用训练样本训练所述神经网络，优化网络参数，确定网络参数后与神经网络共同组成模型；4)应用时，采集内窥镜下结直肠图像，并输入至模型中，经计算输出结直肠息肉分割图像。该方法提升结直肠息肉的分割效果。

Description

融合卷积与多层感知机神经网络的结直肠息肉分割方法

技术领域

本发明涉及数字图像领域、图像分割、计算机视觉以及深度学习领域，具体涉及一种基于融合卷积与多层感知机神经网络的结直肠息肉分割方法。

背景技术

结直肠癌(Colorectal Cancer,CRC)是一种常见的消化道恶性肿瘤,是全球第三大癌症。大多数结直肠癌由腺瘤性息肉演变而来,因此结直肠癌的早期诊断对提高结直肠癌患者的生存率至关重要,事实上,处于第一阶段的结直肠癌的生存率超过95％,而处于第四和第五阶段,则下降到35％以下.目前,结肠镜检查已广泛应用于临床之中,并已成为筛查结直肠癌的标准方法.在临床实践之中,结肠镜检查在很大程度上依赖于医生的经验,并且由于息肉具有不同大小、形态、颜色、纹理以及和周围组织粘膜高度相似、异常组织边界不清,所处环境在边界处的对比度较低等特点导致漏诊率很高。

在早期的研究中，基于学习的方法主要依赖手工提取的特征例如：颜色、形状、纹理、外观或其组合。这类方法通常训练一个分类器来从结肠镜图像中分离出息肉。然而,由于手工提取特征在描述异质息肉以及息肉与难样本之间的相似性时表征能力有限,所以通常存在检测精度低的问题，不利于临床的诊断，因此高精度地分割结直肠息肉就具有十分重要的意义。

发明内容

基于上述，本发明的目的是提供一种基于融合卷积与多层感知机神经网络的结直肠息肉分割方法，解决息肉具有不同大小、形态、颜色、纹理以及和周围组织粘膜高度相似、异常组织边界不清所造成的分割精度不高的问题。

为实现上述发明目的，本发明提供以下技术方案：

一种融合卷积与多层感知机神经网络的结直肠息肉分割方法，其特征在于，包括以下步骤：

1)收集多种类型内窥镜下结直肠息肉图像，并进行图像增强，组成训练样本；

2)构建包含卷积与多层感知机的神经网络，其中包含多层感知机编码器、平行自注意力模块、级联语义特征聚合模块和通道引导分组逆向注意力模块；

3)利用训练样本训练所述神经网络，优化网络参数，确定网络参数后与神经网络共同组成模型；

4)应用时，采集内窥镜下结直肠图像，并输入至模型中，经计算输出结直肠息肉分割图像。

所述的融合卷积与多层感知机神经网络的结直肠息肉分割方法，其特征在于，步骤1)具体过程如下：

步骤1.1)收集内窥镜下结直肠息肉图像数据集；

步骤1.2)通过线性插值方法对图像分辨率进行调整，并将数据集分为训练数据和测试数据两部分；

步骤1.3)对训练数据中的图像进行随机水平翻转、随机对比度增强、0.75～1.25倍随机多尺度放大缩小和0～360度随机旋转。

进一步的，所述的融合卷积与多层感知机神经网络的结直肠息肉分割方法，其特征在于，步骤2)中多层感知机编码器、平行自注意力模块、级联语义特征聚合模块和通道引导分组逆向注意力模块的构建具体过程如下：

步骤2.1)构建多层感知机编码器：先构建一个纯卷积层，包含一个1×1卷积、3×3卷积、1×1卷积，重复该序列；再构建卷积与多层感知机混合层，依次包含通道感知机、3×3深度可分离卷积、通道感知机，分别重复该序列，以此构成3个卷积、感知机混合层；

步骤2.2)构建平行注意力模块：平行自注意力模块包含通道注意力分支和空间注意力分支，其中通道注意力分支可以描述为

A_tt ^ch(X)＝M_z(σ₁(M_v(X))×δ(σ₂(M_q(X))))

是实数域，M_v,M_q和M_z是1×1卷积，σ₁,σ₂是整形操作，δ是sofmax操作；最后通道注意力分支的输出是

⊙是Hadamard乘积；再构建空间注意力分支：

C表示卷积通道数，H表示特征图的高度，W表示特征图的宽度；σ₁,σ₂和σ₃为整形操作，M_v,M_q是1×1卷积，ρ是全局平均池化操作,δ是sofmax操作。空间注意力分支的最终输出是

最后整个模块输出是

步骤2.3)构建级联语义特征聚合模块：先将高级特征H₃和H₂进行矩阵相乘后和低级特征H₁进行通道相加，同时高级特征H₁和低级特征L₁进行矩阵相乘后将和高级特征H₃和H₂融合后的结果进行通道相加；最后经过3×3和1×1卷积操作将通道维度降低；最后模块的输出为G:

G＝M₁M₃(Concat(M₃M₃(Concat(M₃(H₃)×M₃(H₂))M₃(H₁))(M₃(L₁)×M₃(H₁))))

是1×1卷积,M₃是3×3卷积,Concat是通道相加操作；

步骤2.4)构建通道引导分组逆向注意力模块：首先来自级联语义特征聚合模块的全局特征图通过sigmoid操作形成一个显著性特征图；然后通过逆向注意力操作得到反向注意力引导图R：

R＝φ[σ(μ(S)),E]

μ是双线性插值操作，σ(x)＝1/(1+e^-x)是sigmoid函数，φ是逆向注意力操作，E是全1矩阵。

然后高级特征H₁,H₂,H₃会在通道维度被分成多个组，组别数分别为1，8，32；这个过程可以描述为:

F^s(H_i)＝{H_i,1,...,H_i,m}

然后反向注意力引导图R循环插入到各个分组中。这个过程可以描述为:

Y_i＝F^c({H_i,1,R}...,{H_i,m,R})

其中i表示高级特征的序号，与分组通道数m一一对应，F^s代表通道分离操作,F^c代表通道相加，最后通过H_i和Y_i得到最后模块的输出图。

进一步的，所述的融合卷积与多层感知机神经网络的结直肠息肉分割方法，其特征在于，步骤3)具体过程如下：

步骤3.1)构建融合卷积与多层感知机神经网络的结直肠息肉分割模型，采用Adam权重递减优化器结合多项式学习率递减策略进行优化，初始学习率设置为0.0002，网络的损失函数L设置为：

L＝L_BCE+L_IoU

其中，i表示每一个在图像中的像素，y表示息肉标签图像，

表示网络预测输出图像；

步骤3.2)微调模型，通过加载在测试集中精度最高的模型，得到息肉分割图像结果；

步骤3.3)测试训练后模型的分割性能，使用测试集验验证训练后模型的分割效果；通过和原始的标签图进行对比，从主观视觉效果及客观评价指标上对模型的分割效果进行评估。

与现有技术相比，本发明具有的有益效果至少包括：

本发明提供的基于融合卷积与多层感知机神经网络的结直肠息肉分割方法，所述卷积与多层感知机编码器能够提取到更加全面且具有鲁棒性的息肉特征。所述平行注意力模块能够在低级特征中将更多注意力集中在息肉区域，并且减少无关特征干扰。所述级联语义特征聚合模块有够有效聚合高级语义特征和低级边缘信息特征。所述通道引导分组逆向注意力模块能够建立图像中息肉区域和边界区域联系，从而更好地分割小息肉。

附图说明

图1是本发明实施例提供的融合卷积与多层感知机神经网络示意图；

图2是本发明实施例提供的卷积与多层感知机编码器结构示意图；

图3是本发明实施例提供的平行注意力模块的结构示意图；

图4是本发明实施例提供的级联语义特征聚合模块结构示意图；

图5是本发明实施例提供的通道引导分组逆向注意力模块结构示意图；

图6是本发明实施例提供的息肉分割模型对息肉分割的结果图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

本发明实施例提供了一种融合卷积与多层感知机神经网络的结直肠息肉分割示意图，具体步骤如下：

步骤1：收集多种类型内窥镜下结直肠息肉图像，并通过图像随机水平翻转、随机对比度增强、0.75～1.25倍随机多尺度放大缩小和0～360度随机旋转等方法进行图像增强，组成训练样本。

具体过程为：

步骤1.1：收集内窥镜下结直肠息肉图像数据集；

步骤1.2：通过线性插值插值方法将图像分辨率调整为352×352，并将数据集分为训练数据和测试数据两部分；

步骤1.3：对训练数据中的图像进行随机水平翻转、随机对比度增强、0.75～1.25倍随机多尺度放大缩小和0～360度随机旋转。

步骤2：构建融合卷积与多层感知机神经网络，其中包含卷积与多层感知机编码器、平行自注意力模块、级联语义特征聚合模块和通道引导分组逆向注意力模块。

如图1所示，使用卷积与多层感知机编码器作为特征提取骨干网络初步提取息肉图像特征,得到的低级特征通过平行注意力模块得到更多边缘细节信息。高级特征童年过卷积层重新调整通道数量后，和低级特征一起送入级联语义聚合模块得到全局特征图。之后各个高级特征会和全局特征图送入通道引导分组逆向注意力模块，得到3个预测图，3个预测图经过对阶段优化后，最后经过sigmoid函数得到最终的预测图。

网络的具体构建过程为：

步骤2.1：构建卷积与多层感知机编码器：如图2所示，先构建一个纯卷积层，包含一个1×1卷积、3×3卷积、1×1卷积，重复该序列3次。再构建卷积与多层感知机混合层，依次包含通道感知机、3×3深度可分离卷积、通道感知机，分别重复该序列4次，8次，3次，以此构成3个卷积、感知机混合层。其中在每一层中的感知机中隐藏层的缩放比率为3；

步骤2.2：构建平行自注意力模块：如图3所示，平行自注意力模块包含通道注意力分支和空间注意力分支，其中通道注意力分支可以描述为

A_tt ^ch(X)＝M_z(σ₁(M_v(X))×δ(σ₂(M_q(X))))

是实数域，M_v,M_q和M_z是1×1卷积，σ₁,σ₂是整形操作，δ是sofmax操作。最后通道注意力分支的输出是

⊙is Hadamard乘积。再构建空间注意力分支：

σ₁,σ₂和σ₃为整形操作，M_v,M_q是1×1卷积，ρ是全局平均池化操作,δ是softmax操作。空间注意力分支的最终输出是

最后整个模块输出是

步骤2.3：构建级联语义特征聚合模块：如图4所示，先将高级特征H₃和H₂进行矩阵相乘后和低级特征H₁进行通道相加，同时高级特征H₁和低级特征L₁进行矩阵相乘后将和高级特征H₃和H₂融合后的结果进行通道相加。最后经过3×3和1×1卷积操作将通道维度降低到64.最后模块的输出为G:

G＝M₁M₃(Concat(M₃M₃(Concat(M₃(H₃)×M₃(H₂))M₃(H₁))(M₃(L₁)×M₃(H₁))))

是1×1卷积,M₃是3×3卷积,Concat是通道相加操作；

步骤2.4：构建通道引导分组逆向注意力模块：如图5所示，首先来自级联语义特征聚合模块的全局特征图通过sigmoid操作形成一个显著性特征图。然后通过逆向注意力操作得到反向注意力引导图R：

R＝φ[σ(μ(S)),E]

μ是双线性插值操作，σ(x)＝1/(1+e^-x)是sigmoid函数，φ是逆向注意力操作，E是全1矩阵。

然后高级特征H₁,H₂,H₃会在通道维度被分成多个组，组别数分别为1，8，32。这个过程可以描述为：

F^s(H_i)＝{H_i,1,...,H_i,m}

然后R循环插入到各个分组中.这个过程可以描述为：

Y_i＝F^c({H_i,1,R}...,{H_i,m,R})

其中i∈{1,2,3},m∈{1,8,32}，F^s代表通道分离操作,F^c代表通道相加。最后通过H_i和Y_i得到最后模块的输出图。

步骤3：利用训练样本训练所述神经网络，优化网络参数，确定网络参数后与神经网络共同组成模型。

具体过程为：

步骤3.1：构建融合卷积与多层感知机神经网络的结直肠息肉分割模型，采用Adam权重递减优化器结合多项式学习率递减策略进行优化，初始学习率设置为0.0002，网络的损失函数L设置为：

L＝L_BCE+L_IoU

其中，i表示每一个在图像中的像素，y表示息肉标签图像，

表示网络预测输出图像。

步骤3.2：微调模型，通过加载在测试集中精度最高的模型，得到息肉分割图像结果。

步骤3.3：测试训练后模型的分割性能，使用测试集验(未在训练集中出现)验证训练后模型的分割效果；通过和原始的标签图进行对比，从主观视觉效果及客观评价指标上对模型的分割效果进行评估。

步骤4，应用时，采集内窥镜下结直肠图像，并输入至模型中，经计算输出结直肠息肉分割图像。

具体实施例：

1)选取实验数据

实验中选择的数据集来自CVC-300、CVC-ClinicDB、CVC-ColonDB、Kvasir和ETIS，均为开源数据集。从Kvasir和CVC-ClinicDB中分别提取900张和550张,总共1450张图片作为训练集,其余数据作为测试集

2)实验结果

按照上述融合卷积与多层感知机神经网络的结直肠息肉分割方法中步骤训练网络，构造完模型后，通过加载训练模型中精度最高的模型，然后用测试集中的图片对模型性能进行验证，得到息肉分割结果。如图6所示。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种融合卷积与多层感知机神经网络的结直肠息肉分割方法，其特征在于，包括以下步骤：

1)收集多种类型内窥镜下结直肠息肉图像，并进行图像增强，组成训练样本；

2)构建包含卷积与多层感知机的神经网络，其中包含多层感知机编码器、平行自注意力模块、级联语义特征聚合模块和通道引导分组逆向注意力模块；

3)利用训练样本训练所述神经网络，优化网络参数，确定网络参数后与神经网络共同组成模型；

4)应用时，采集内窥镜下结直肠图像，并输入至模型中，经计算输出结直肠息肉分割图像。

2.如权利要求1所述的一种融合卷积与多层感知机神经网络的结直肠息肉分割方法，其特征在于，步骤1)具体过程如下：

步骤1.1)收集内窥镜下结直肠息肉图像数据集；

步骤1.2)通过线性插值方法对图像分辨率进行调整，并将数据集分为训练数据和测试数据两部分；

步骤1.3)对训练数据中的图像进行随机水平翻转、随机对比度增强、0.75～1.25倍随机多尺度放大缩小和0～360度随机旋转。

3.如权利要求1所述的一种融合卷积与多层感知机神经网络的结直肠息肉分割方法，其特征在于，步骤2)中卷积与多层感知机编码器、平行自注意力模块、级联语义特征聚合模块和通道引导分组逆向注意力模块的构建具体过程如下：

步骤2.1)构建卷积与多层感知机编码器：先构建一个纯卷积层，包含一个1×1卷积、3×3卷积、1×1卷积，重复该序列；再构建卷积与多层感知机混合层，依次包含通道感知机、3×3深度可分离卷积、通道感知机，分别重复该序列，以此构成3个卷积、感知机混合层；

步骤2.2)构建平行自注意力模块：平行自注意力模块包含通道注意力分支和空间注意力分支，其中通道注意力分支描述为

A_tt ^ch(X)＝M_z(σ₁(M_v(X))×δ(σ₂(M_q(X))))

是实数域，M_v,M_q和M_z是1×1卷积，σ₁,σ₂是整形操作，δ是sofmax操作；最后通道注意力分支的输出是

⊙是Hadamard乘积；再构建空间注意力分支：

C表示卷积通道数，H表示特征图的高度，W表示特征图的宽度；σ₁,σ₂和σ₃为整形操作，M_v,M_q是1×1卷积，ρ是全局平均池化操作,δ是sofmax操作；空间注意力分支的最终输出是

最后整个模块输出是

步骤2.3)构建级联语义特征聚合模块：先将高级特征H₃和H₂进行矩阵相乘后和低级特征H₁进行通道相加，同时高级特征H₁和低级特征L₁进行矩阵相乘后将和高级特征H₃和H₂融合后的结果进行通道相加；最后经过3×3和1×1卷积操作将通道维度降低；最后模块的输出为G:

G＝M₁M₃(Concat(M₃M₃(Concat(M₃(H₃)×M₃(H₂))M₃(H₁))(M₃(L₁)×M₃(H₁))))

M₁是1×1卷积，M₃是3×3卷积，Concat是通道相加操作；

步骤2.4)构建通道引导分组逆向注意力模块：首先来自级联语义特征聚合模块的全局特征图通过sigmoid操作形成一个显著性特征图；然后通过逆向注意力操作得到反向注意力引导图R：

R＝φ[σ(μ(S)),E]

μ是双线性插值操作，σ(x)＝1/(1+e^-x)是sigmoid函数，φ是逆向注意力操作，E是全1矩阵；

然后高级特征H₁,H₂,H₃会在通道维度被分成多个组；这个过程可以描述为:

F^s(H_i)＝{H_i,1,...,H_i,m}

然后将反向注意力引导图R循环插入到各个分组中，这个过程可以描述为:

Y_i＝F^c({H_i,1,R}...,{H_i,m,R})

其中i表示高级特征的序号，与分组通道数m一一对应；F^s代表通道分离操作,F^c代表通道相加；最后通过H_i和Y_i得到最后模块的输出图。

4.如权利要求1所述的一种融合卷积与多层感知机神经网络的结直肠息肉分割方法，其特征在于，步骤3)具体过程如下：

步骤3.1)构建融合多种注意力机制神经网络的结直肠息肉分割模型，采用Adam权重递减优化器结合多项式学习率递减策略进行优化，设置初始学习率，网络的损失函数L设置为：

L＝L_BCE+L_IoU

其中，i表示每一个在图像中的像素，y表示息肉标签图像，

表示网络预测输出图像；

步骤3.2)微调模型，通过加载在测试集中精度最高的模型，得到息肉分割图像结果；

步骤3.3)测试训练后模型的分割性能，使用测试集验验证训练后模型的分割效果；通过和原始的标签图进行对比，从主观视觉效果及客观评价指标上对模型的分割效果进行评估。

Images