CN115661820A - 一种基于密集特征反向融合的图像语义分割方法及系统 - Google Patents

Abstract

本发明公开了一种基于密集特征反向融合的图像语义分割方法及系统，该方法包括：对待检测的医学图像进行图像预处理，得到预处理后的图像；将预处理后的图像输入至特征编码器进行编码处理，得到具有粗略特征的图像；将具有粗略特征的图像输入至密集特征反向融合解码器进行解码处理，得到图像语义分割结果。该模块包括：预处理模块、编码模块和解码模块。通过使用本发明，能够提高密集特征反向融合网络的特征表达能力以及语义分割输出结果的准确性。本发明作为一种基于密集特征反向融合的图像语义分割方法及系统，可广泛应用于语义分割图像处理技术领域。

Description

一种基于密集特征反向融合的图像语义分割方法及系统

技术领域

本发明涉及语义分割图像处理技术领域，尤其涉及一种基于密集特征反向融合的图像语义分割方法及系统。

背景技术

近些年来医学成像技术、计算机技术和深度学习算法等都有较大的进步，利用深度学习算法进行医学图像分析已经成为非常热点的研究方向，这对临床疾病诊断和治疗提供了新的技术手段，如何进一步提升深度学习网络的效果成为了大家所共同探讨的一个问题，现有的图像识别技术是由基于ESFPNet的语义分割网络架构进行实现的，ESFPNet的实现流程为，对于一张输入的医疗图像，首先通过现有的Mix Transformer特征编码器进行处理用于初步提取图像的粗略特征，然后再将提取出的由低到高四种不同等级的粗略特征同时放入ESFPNet网络设计的特征解码器中进一步优化特征，而ESFPNet设计的解码器，首先是将四种不同等级的粗略特征都各自使用称为Linear Prediction的全连接层用于汇聚Mix Transformer编码器生成特征图的离散注意力，提高特征图质量，随后，由高等级特征图上采样两倍大小后与低一级特征进行通道拼接，再放入Linear Prediction全连接层进行进一步特征优化，重复这种方式共三次，逐步将高等级特征以一种渐进的方式与低等级特征反向融合，最后再将处理后的四个阶段特征用一层Linear Prediction全连接层进行特征融合，输出预测的医学图像语义分割最终结果，但是，基于Mix Transformer编码器输出的特征图存在注意力离散甚至崩溃的问题，虽然ESFPNet设计的解码器第一层有用于对粗略特征离散注意力进行汇聚的Linear Prediction模块，但因为其仅仅是一层全连接层，所能达到的汇聚离散注意力的能力极度有限。

发明内容

为了解决上述技术问题，本发明的目的是提供一种基于密集特征反向融合的图像语义分割方法及系统，能够提高密集特征反向融合网络的特征表达能力以及语义分割输出结果的准确性。

本发明所采用的第一技术方案是：一种基于密集特征反向融合的图像语义分割方法，包括以下步骤：

对待检测的医学图像进行图像预处理，得到预处理后的图像；

将预处理后的图像输入至特征编码器进行编码处理，得到具有粗略特征的图像；

将具有粗略特征的图像输入至密集特征反向融合解码器进行解码处理，得到图像语义分割结果。

进一步，所述对待检测的医学图像进行图像预处理，得到预处理后的图像这一步骤，其具体包括：

通过医疗检测设备获取待检测的医疗图像；

对待检测的医疗图像进行尺寸变换处理，得到预处理后的图像。

进一步，所述将预处理后的图像输入至特征编码器进行编码处理，得到具有粗略特征的图像这一步骤，其具体包括：

基于特征编码器，对预处理后的图像进行区域划分处理，得到具有多个划分区域图像；

对具有多个划分区域图像的每个区域进行自注意力值计算，得到带有自注意力特征的图像；

对带有自注意力特征的图像进行Mix-FFN计算，得到图像的Mix-FFN输出值；

根据图像的Mix-FFN输出值对具有多个划分区域图像进行合并处理，得到第一具有粗略特征的图像；

将第一具有粗略特征的图像作为特征编码器的输入图像，循环上述划分步骤、自注意力值计算步骤、Mix-FFN计算步骤和合并处理步骤，直至所述循环次数满足预设次数，输出具有粗略特征的图像，所述具有粗略特征的图像包括第一具有粗略特征的图像、第二具有粗略特征的图像、第三具有粗略特征的图像和第四具有粗略特征的图像。

进一步，所述将具有粗略特征的图像输入至密集特征反向融合解码器进行解码处理，得到图像语义分割结果这一步骤，其具体包括：

将具有粗略特征的图像输入至密集特征反向融合解码器，所述密集特征反向融合解码器包括局部特征强化模块、融合模块和全连接层；

基于局部特征强化模块，对具有粗略特征的图像进行特征强化处理，得到具有强化特征的不同等级图像；

基于融合模块，对具有强化特征的不同等级图像进行融合处理，得到融合后的不同阶段图像；

基于全连接层，对融合后的不同阶段图像特征进行整合和空间映射处理，得到图像语义分割结果。

进一步，所述基于局部特征强化模块，对具有粗略特征的图像进行特征强化处理，得到具有强化特征的图像这一步骤，其具体包括：

将具有粗略特征的图像输入至局部特征强化模块，所述局部特征强化模块包括全连接层、卷积层、激活函数和注意力门；

基于全连接层对具有粗略特征的图像进行标记处理，得到特征增强的特征图像；

基于卷积层和激活函数对特征增强的特征图像进行卷积处理，得到第一特征图像；

基于注意力门对具有标记的特征图像和第一特征图像进行自注意力处理，得到第二特征图像；

将第一特征图像与第二特征图像进行相加处理，得到具有强化特征的图像。

进一步，所述基于注意力门对具有标记的特征图像和第一特征图像进行自注意力处理，得到第二特征图像这一步骤，其具体包括：

将具有标记的特征图像和第一特征图像输入至注意力门，所述注意力门包括卷积层、激活函数和重采样层；

基于卷积层与激活函数对具有标记的特征图像和第一特征图像进行二次卷积相加处理，得到相加后的特征图；

基于重采样层对相加后的特征图进行重采样处理，得到重采样特征图；

将重采样特征图与具有标记的特征图像进行相乘处理，得到第二特征图像。

进一步，所述基于融合模块，对具有强化特征的图像进行融合处理，得到融合后的图像这一步骤，其具体包括：

对具有强化特征的图像进行上采样放大处理，得到放大后的图像；

基于融合模块，对放大后的图像与具有强化特征的图像进行融合处理，得到初步的融合特征图像；

将初步的融合特征图像输入至全连接层进行全连接处理，得到连接图像；

将初步的融合特征图像与连接图像进行融合处理，得到融合后的图像。

进一步，还包括对所述具有强化特征的图像进行融合处理这一步骤进行循环三次，得到第一融合后的图像、第二融合后的图像和第三融合后的图像。

进一步，所述基于全连接层，对融合后的图像进行拼接与放大处理，得到图像语义分割结果这一步骤，其具体包括：

基于全连接层，对第一融合后的图像、第二融合后的图像和第三融合后的图像进行拼接融合处理，得到预测结果图像；

对预测结果图像进行上采样放大处理，得到图像语义分割结果。

本发明所采用的第二技术方案是：一种基于密集特征反向融合的图像语义分割系统，包括：

预处理模块，用于对待检测的医学图像进行图像预处理，得到预处理后的图像；

编码模块，用于将预处理后的图像输入至特征编码器进行编码处理，得到具有粗略特征的图像；

解码模块，用于将具有粗略特征的图像输入至密集特征反向融合解码器进行解码处理，得到图像语义分割结果。

本发明方法及系统的有益效果是：本发明通过对待检测的医学图像进行图像预处理，对待检测的图像数据进行增强，进一步提升网络的泛化能力，进一步通过特征编码器对增强后的图像进行编码处理，提取图像的粗略特征信息，基于密集特征反向融合解码器对图像进行解码，对粗略特征离散注意力进行汇聚，可以更为有效地强化网络局部特征识别能力，本发明的密集特征反向融合解码器中的局部特征强化模块，在进行全连接层处理后，还经过了连续两层卷积以及Relu激活函数，并使用注意门进行残差连接，每个高层的特征都会直接连接低层特征，依次将高层和低层的特征直接进行密集地反向融合，能够提高密集特征反向融合网络的特征表达能力以及语义分割输出结果的准确性。

附图说明

图1是本发明一种基于密集特征反向融合的图像语义分割方法的步骤流程图；

图2是本发明一种基于密集特征反向融合的图像语义分割系统的结构框图；

图3是本发明的密集特征反向融合网络结构示意图；

图4是本发明注意力门的结构示意图；

图5是应用本发明方法与应用现有技术得到的图像语义分割结果对比图；

图6是本发明全连接层的结构示意图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

参照图1，本发明提供了一种基于密集特征反向融合的图像语义分割方法，该方法包括以下步骤：

S1、对待检测的医学图像进行图像预处理，得到预处理后的图像；

具体地，由于数据集内的医疗图像存在着尺寸不一样的情况，原始图像需要先统一尺寸为(3×352×352)，即长和宽都为352的RGB图像，在网络训练过程中进一步使用随机翻转，噪声扰动这两个常见的图像数据增强方法。

S2、将预处理后的图像输入至特征编码器进行编码处理，得到具有粗略特征的图像；

具体地，经过步骤S1预处理后的图像直接输入到特征编码器中，特征编码器也是Mix Transformer，同时特征编码器也使用了在ImageNet-1K上预先训练好的权重，经过特征编码器会生成四种不同等级的浅层到高层的粗略特征将用于输入到本文设计的密集特征反向融合解码器网络中，其具体实现过程如下所示为：

将输入图像划分成一个个区域，对每个图像区域进行自注意力的计算，生成带有自注意力的特征，所述自注意力的计算公式如下所示：

上式中，Q、V表示训练好的与输入图像尺寸一样的向量，K表示输入的特征图像，d_head表示输入的图像维度，Softmax(·)表示激活函数；

将经过自注意力计算的特征再放入Mix-FFN进行计算，得到输出，所述Mix-FFN计算公式如下所示：

x_out＝MLP(GELU(Conv_3×3(MLP(x_in))))+x_in

上式中，x_in表示上述计算得到的自注意力特征，Conv_3×3表示使用3×3的卷积，MLP(·)表示全连接层，GELU(·)表示激活函数；

将划分出来的区域进行重新合并，得到输出的粗略特征F₁，再将粗略特征F₁作为输入图像输入至特征编码器进行编码处理，循环上述步骤三次，共得到低级到高级的四种粗略编码特征F₁、F₂、F₃和F₄。

S3、将具有粗略特征的图像输入至密集特征反向融合解码器进行解码处理，得到图像语义分割结果。

S31、基于局部特征强化模块，对具有粗略特征的图像进行特征强化处理；

具体地，参照图3，密集特征反向融合解码器网络中的局部特征强化模块首先是对步骤S2输出的每级编码器特征都用一层全连接层处理，输出特征图记作F_x，将特征图F_x通过连续两个3X3的卷积和Relu激活函数处理后，输出特征图记作F_g，将特征图F_g与特征图F_x输入到注意力门，如图4所示，输入的F_x和F_g经过1x1卷积后，会输出两个通道数为1的特征图，将两个特征图直接相加，并且用Relu函数激活输出特征图，再使用1X1的卷积进一步处理1中的特征图，经过Sigmoid激活函数处理后，重采样使得特征图尺寸与F_x一致，输出特征图记作F_r(相加)，最后特征图F_x与特征图F_r相乘输出结果，记作特征图F_c，将上述步骤中得到的特征图F_c与上述步骤特征图F_g进行直接相加输出，即为模块处理后的结果。

S32、基于融合模块，对具有强化特征的图像进行融合处理，得到融合后的图像；

具体地，经过步骤S31处理后的最高层特征图像需要先上采样2倍大小后与次高层特征使用融合模块处理，融合模块是先拼接两组特征图，再通过连续两个1x1的卷积以及残差连接输出融合后的特征图，融合模块输出的特征图经过一层全连接层处理后，与上一层的高层特征进行特征拼接，得到当前阶段输出特征图S3，再将特征图S3用于下一层特征融合。以迭代形式重复以上a，b和c过程共三次，分别依次得到特征图S3，S2，S1。

S33、基于全连接层，对融合后的图像进行拼接与放大处理，得到图像语义分割结果，

具体地，将通过密集特征反向融合网络后得到的S1和S2特征图拼接后，输出到一层全连接层得到尺寸为(1×88×88)的预测结果图，再将上述输出的预测结果图上采样4倍大小，最终转换为(1×352×352)的图像大小，即长和宽都为352的单通道语义分割结果预测图，所述全连接层，是每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来，实现如图6所示，其中，通过Relu激活函数去实现非线性变换，全连接层计算公式如下：

a₁＝W₁₁*x₁+W₁₂*x₂+W₁₃*x₃+b₁

a₂＝W₂₁*x₁+W₂₂*x₂+W₂₃*x₃+b₂

上式中，a∈(a₁，a₂，…)表示全连接层输出结果，b∈(b₁，b₂，…)表示偏置系数，x∈(x₁，x₂，…)表示数据特征，W∈(W₁₁，W₁₂，…)表示全连接层的权重系数；

参照图2，一种基于密集特征反向融合的图像语义分割系统，包括：

预处理模块，用于对待检测的医学图像进行图像预处理，得到预处理后的图像；

编码模块，用于将预处理后的图像输入至特征编码器进行编码处理，得到具有粗略特征的图像；

解码模块，用于将具有粗略特征的图像输入至密集特征反向融合解码器进行解码处理，得到图像语义分割结果。

更进一步的，本发明的仿真模拟实验如下所示：

参照图5，为本发明的模型与现有的其他的模型的图像语义分割结果对比图，本发明设计的网络与其他网络在CVC-ClinicDB和Kvasir数据集的对比结果如表1所示：

表1不同网络定量分析结果数据表

其中mDice和mIoU是语义分割中常用来评估网络输出结果与真实标签的差异，越高表示网络输出结果与真实标签越接近，说明网络效果更好，而本文基于密集特征反向融合的网络在所有对比网络中在定量分析实验中达到了最好的效果；

本文基于密集特征反向融合的医学图像语义分割方法，相较于其他常见医学分割网络有着特别快的推理速度，推速度结果如表2所示：

表2各网络的运算速度FLOPs对比情况数据表

网络	Unet	Unet++	Deeplabv3+	UperNet	CaraNet	ESFPNet	本发明网络
								FLOPs↓	105.77	256.49	83.36	111.91	21.7	16.01	18.62

相较于ESFPNet在本文精度有明显提高的情况下，推理速度并没有增加多少，运算速度仍然特别快，对设备的运算能力要求不高；其中FLOPs，FLOPs是每秒浮点运算次数，是考量一个网络网络的计算量的标准，越小代表网络训练及推理结果更快，本文的网络在对比的医学语义分割网络中达到了最高的精度，而并没有提高太多的网络复杂度，推理速度仅略慢于ESFPNet，但远快于其他医学语义分割网络，表明了本文基于密集特征反向融合的医学图像语义分割方法的优异性，此网络特别快的推理速度也表现了对设备运算能力要求低，展现了未来可在移动端部署的潜力，有很强的应用前景和实用性。

上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种基于密集特征反向融合的图像语义分割方法，其特征在于，包括以下步骤：

对待检测的医学图像进行图像预处理，得到预处理后的图像；

将预处理后的图像输入至特征编码器进行编码处理，得到具有粗略特征的图像；

将具有粗略特征的图像输入至密集特征反向融合解码器进行解码处理，得到图像语义分割结果。

2.根据权利要求1所述一种基于密集特征反向融合的图像语义分割方法，其特征在于，所述对待检测的医学图像进行图像预处理，得到预处理后的图像这一步骤，其具体包括：

通过医疗检测设备获取待检测的医疗图像；

对待检测的医疗图像进行尺寸变换处理，得到预处理后的图像。

3.根据权利要求2所述一种基于密集特征反向融合的图像语义分割方法，其特征在于，所述将预处理后的图像输入至特征编码器进行编码处理，得到具有粗略特征的图像这一步骤，其具体包括：

基于特征编码器，对预处理后的图像进行区域划分处理，得到具有多个划分区域图像；

对具有多个划分区域图像的每个区域进行自注意力值计算，得到带有自注意力特征的图像；

对带有自注意力特征的图像进行Mix-FFN计算，得到图像的Mix-FFN输出值；

根据图像的Mix-FFN输出值对具有多个划分区域图像进行合并处理，得到第一具有粗略特征的图像；

将第一具有粗略特征的图像作为特征编码器的输入图像，循环上述划分步骤、自注意力值计算步骤、Mix-FFN计算步骤和合并处理步骤，直至所述循环次数满足预设次数，输出具有粗略特征的图像，所述具有粗略特征的图像包括第一具有粗略特征的图像、第二具有粗略特征的图像、第三具有粗略特征的图像和第四具有粗略特征的图像。

4.根据权利要求3所述一种基于密集特征反向融合的图像语义分割方法，其特征在于，所述将具有粗略特征的图像输入至密集特征反向融合解码器进行解码处理，得到图像语义分割结果这一步骤，其具体包括：

将具有粗略特征的图像输入至密集特征反向融合解码器，所述密集特征反向融合解码器包括局部特征强化模块、融合模块和全连接层；

基于局部特征强化模块，对具有粗略特征的图像进行特征强化处理，得到具有强化特征的不同等级图像；

基于融合模块，对具有强化特征的不同等级图像进行融合处理，得到融合后的不同阶段图像；

基于全连接层，对融合后的不同阶段图像特征进行整合和空间映射处理，得到图像语义分割结果。

5.根据权利要求4所述一种基于密集特征反向融合的图像语义分割方法，其特征在于，所述基于局部特征强化模块，对具有粗略特征的图像进行特征强化处理，得到具有强化特征的图像这一步骤，其具体包括：

将具有粗略特征的图像输入至局部特征强化模块，所述局部特征强化模块包括全连接层、卷积层、激活函数和注意力门；

基于全连接层对具有粗略特征的图像进行标记处理，得到特征增强的特征图像；

基于卷积层和激活函数对特征增强的特征图像进行卷积处理，得到第一特征图像；

基于注意力门对具有标记的特征图像和第一特征图像进行自注意力处理，得到第二特征图像；

将第一特征图像与第二特征图像进行相加处理，得到具有强化特征的图像。

6.根据权利要求5所述一种基于密集特征反向融合的图像语义分割方法，其特征在于，所述基于注意力门对具有标记的特征图像和第一特征图像进行自注意力处理，得到第二特征图像这一步骤，其具体包括：

将具有标记的特征图像和第一特征图像输入至注意力门，所述注意力门包括卷积层、激活函数和重采样层；

基于卷积层与激活函数对具有标记的特征图像和第一特征图像进行二次卷积相加处理，得到相加后的特征图；

基于重采样层对相加后的特征图进行重采样处理，得到重采样特征图；

将重采样特征图与具有标记的特征图像进行相乘处理，得到第二特征图像。

7.根据权利要求6所述一种基于密集特征反向融合的图像语义分割方法，其特征在于，所述基于融合模块，对具有强化特征的图像进行融合处理，得到融合后的图像这一步骤，其具体包括：

对具有强化特征的图像进行上采样放大处理，得到放大后的图像；

基于融合模块，对放大后的图像与具有强化特征的图像进行融合处理，得到初步的融合特征图像；

将初步的融合特征图像输入至全连接层进行全连接处理，得到连接图像；

将初步的融合特征图像与连接图像进行融合处理，得到融合后的图像。

8.根据权利要求7所述一种基于密集特征反向融合的图像语义分割方法，其特征在于，还包括对所述具有强化特征的图像进行融合处理这一步骤进行循环三次，得到第一融合后的图像、第二融合后的图像和第三融合后的图像。

9.根据权利要求8所述一种基于密集特征反向融合的图像语义分割方法，其特征在于，所述基于全连接层，对融合后的图像进行拼接与放大处理，得到图像语义分割结果这一步骤，其具体包括：

基于全连接层，对第一融合后的图像、第二融合后的图像和第三融合后的图像进行拼接融合处理，得到预测结果图像；

对预测结果图像进行上采样放大处理，得到图像语义分割结果。

10.一种基于密集特征反向融合的图像语义分割系统，其特征在于，包括以下模块：

预处理模块，用于对待检测的医学图像进行图像预处理，得到预处理后的图像；

编码模块，用于将预处理后的图像输入至特征编码器进行编码处理，得到具有粗略特征的图像；

解码模块，用于将具有粗略特征的图像输入至密集特征反向融合解码器进行解码处理，得到图像语义分割结果。

Images