CN115035299B - 一种基于深度学习的改进型城市街景图像分割方法 - Google Patents

Abstract

本发明公开一种基于深度学习的改进型城市街景图像分割方法，包括：基于深度学习的改进型城市街景图像分割模型DEEPLS：使用编码解码的框架和ResNet101作为骨干网络，在ASPP模块中新增一层膨胀率为3的空洞卷积，合并之后的6层用并行的3×3卷积处理之后再用1×1卷积调整通道数，得到的特征图先2倍上采样，输入到CBAM注意力机制再2倍上采样，最后和经过CBAM注意力机制的浅层特征拼接融合得到预测图；基于改进型城市街景图像分割模型DEEPLS对城市街景图像进行分割。本发明能获取更精细的前景细节信息，提升城市街景图像分割效果。

Description

一种基于深度学习的改进型城市街景图像分割方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于深度学习的改进型城市街景图像分割方法。

背景技术

城市街景图像分割是将一幅城市街景图像按照一定的标准分割成不同区域的过程。作为计算机视觉领域的一个重要分支，已经取得了一定的进展。城市街景图像分割主要分为传统的城市街景分割方法和基于深度学习的城市街景分割方法。

传统的城市街景分割方法实现简单计算量小，基于阈值的分割方法，实质是利用城市街景图像的不同灰度阈值将前景物体和背景分离出来，但对于复杂图像，阈值分割效果不佳。基于区域的分割方法，其基本思想是将具有相似特征的像素组合起来形成区域，从而将城市街景图像分割成若干不同区域，但容易造成图像的过度分割。基于边缘检测的分割方法，由于边缘像素点的相邻像素灰度值差别较大或颜色不连续，将边缘像素点连接起来，可以形成边缘轮廓达到分割的目的，但其无法得到较好的区域结构。基于聚类的分割方法是基于事物之间的相似性作为划分标准，即将具有相似特征的像素点聚集在同一区域完成分割，但对噪声和灰度不均匀敏感。随着深度学习的不断发展，传统的语义分割效果明显不如基于深度学习的语义分割效果。

深度学习的出现为城市街景分割方法带来了新的思路，FCN将全连接层改为全卷积层，全卷积层可以取任意大小的城市街景图像作为输入，并使用上采样来解决卷积核池对图像大小的影响，但训练过程复杂且得到的结果还不够精细。U-Net模型在FCN的基础上增加了跳转链接，在医学图像分割方面具有优势，但其冗余太大且分类准确度和定位精度不可兼得。SegNet是一种基于编码和解码的图像分割网络，其创新之处在于解码部分对低分辨率特征图像进行上采样操作，避免了FCN中上采样的消耗，但并未充分考虑像素与像素之间的关系。PSPNet主要使用金字塔池模块来聚合不同区域的上下文信息，提高了全局信息的提取能力，但没有利用整体的场景信息。DeepLab模型提出了空洞卷积，使得多尺度分割对象得到更好的分割效果。DeepLab V3+是在对之前的模型进行优化的基础上，包括编码和解码部分，使用空洞卷积来平衡精度和运行时间，并使用Xception模型作为骨干网来实现更快、更准确的结果。

但DeepLab V3+随着网络层数加深，特征图的分辨率也在减小，而空洞空间金字塔池化(ASPP)模块中膨胀率较大的空洞卷积并不利于分割较低分辨率的特征图，同时在其解码器部分中，直接4倍上采样与高分辨率低级特征图拼接融合，造成了特征图中重要像素信息的丢失，导致城市街景图像的预测结果不够精细。

发明内容

针对城市街景图像信息丢失和细节分割不准确的问题，本发明提出了一种基于深度学习的改进型城市街景图像分割方法，在空洞空间金字塔池化(ASPP)模块中新增一层膨胀率为3的空洞卷积，有效提取低分辨率的特征图信息，同时将ASPP模块之后的特征提取改为双通道特征提取，扩大特征提取能力；并且将4倍上采样改为2倍上采样，输入到CBAM注意力机制中，得到的特征图再进行2倍上采样，减少直接4倍上采样带来的不连续性；除此之外，对于浅层特征提取之后，也输入到CBAM注意力机制中，再和深层特征提取的特征图拼接在一起，能获取更精细的前景细节信息，提升城市街景图像分割效果。

为了实现上述目的，本发明采用以下技术方案：

一种基于深度学习的改进型城市街景图像分割方法，包括：

步骤1，基于深度学习构建改进型城市街景图像分割模型DEEPLS：使用编码解码的框架和ResNet101作为骨干网络，在空洞空间金字塔池化(ASPP)模块中新增一层膨胀率为3的空洞卷积，合并之后的6层用并行的3×3卷积处理之后再用1×1卷积调整通道数，得到的特征图先2倍上采样，输入到CBAM注意力机制再2倍上采样，最后和经过CBAM注意力机制的浅层特征拼接融合得到预测图；

步骤2，基于改进型城市街景图像分割模型DEEPLS对城市街景图像进行分割。

进一步地，改进后的空洞空间金字塔池化(ASPP)模块的处理流程如下：

首先将经过骨干网络ResNet-101得到通道数为2048的特征图，分别进行1×1卷积，空洞率分别为{3,6,12,18}的空洞卷积以及全局平均池化，得到6个通道数为256的特征图，将得到的6个特征图在通道维度上拼接融合后，获得改进后的空洞空间金字塔池化(ASPP)模块产生的特征图。

进一步地，所述步骤1还包括：空洞空间金字塔池化(ASPP)模块后加入双通道以获取城市街景图像细节信息，其中第一通道为一个3×3卷积，第二通道为两个3×3卷积。

进一步地，按照如下方式基于双通道获取图像细节信息：

将改进后的空洞空间金字塔池化(ASPP)模块中得到的6层拼接特征图作为输入，分为两个通道进行特征提取，第一通道中的3×3卷积将1536通道数直接调整为256，第二通道中的第一个3×3卷积将通道数1536调整为512，再送入第二通道中的第二个3×3卷积中，继续卷积调整为256，得到的两层特征图拼接后，进行1×1卷积。

进一步地，所述步骤1还包括：

将经过骨干网络特征提取后的变为原图1/4大小的特征图直接输入到解码器部分，变为原图1/16大小的特征图先进行空洞卷积操作再输入到解码器部分；

在解码器部分，将变为原图1/4大小的特征图先输入到CBAM注意力机制中，再传入到空间注意力机制中进行学习，经过注意力机制处理的特征图再进行1×1卷积；将变为原图1/16大小的特征图先进行2倍上采样，得到原图1/8大小的特征图，之后输入到CBAM注意力机制再进行2倍上采样，扩大到原图1/4大小，同时在两次上采样中间添加注意力机制。

进一步地，所述步骤2包括：

步骤2.1，将固定大小的城市街景图像输入到改进型城市街景图像分割模型DEEPLS中；

步骤2.2，ResNet101网络对该图像进行预处理，提取图像有用信息生成特征图像，再分别传输给改进后的空洞空间金字塔池化(ASPP)模块和解码器部分；

步骤2.3，进入改进后的空洞空间金字塔池化(ASPP)模块中的特征图分为6部分进行空洞卷积、全局平均池化操作提取特征，并将提取的6层特征拼接后输入双通道，分流继续提取深层特征信息，最后经过1×1卷积进行多尺度融合，得到原始城市街景图像1/16大小的特征图，并输入到解码器部分；

步骤2.4，将步骤2.2中进入解码器部分的特征图输入到CBAM注意力机制，再进行1×1卷积提取浅层特征，得到原始城市街景图像1/4大小的浅层特征图；

步骤2.5，经过编码器结构处理的特征图通过双线性插值进行2倍上采样操作，输入到CBAM注意力机制之后再进行2倍上采样，得到原始城市街景图像1/4大小的特征图，之后和步骤2.4中浅层特征图拼接融合，获得融合后的特征图；

步骤2.6，对融合后的特征图4倍上采样恢复到原始城市街景图像大小，输出预测图，完成图像分割。

与现有技术相比，本发明具有的有益效果：

本发明的一种基于深度学习的改进型城市街景图像分割方法，在空洞空间金字塔池化(ASPP)模块中新增一层膨胀率为3的空洞卷积，有效提取低分辨率的特征图信息，同时将ASPP模块之后的特征提取改为双通道特征提取，扩大特征提取能力；并且将4倍上采样改为2倍上采样，输入到CBAM注意力机制中，得到的特征图再进行2倍上采样，减少直接4倍上采样带来的不连续性；除此之外，对于浅层特征提取之后，也输入到CBAM注意力机制中，再和深层特征提取的特征图拼接在一起，能获取更精细的前景细节信息，提升城市街景图像分割效果。

附图说明

图1为本发明实施例一种基于深度学习的改进型城市街景图像分割方法的基本流程图；

图2为本发明实施例DEEPLS城市街景图像分割模型网络架构图；

图3为本发明实施例双通道特征提取结构图。

具体实施方式

下面结合附图和具体的实施例对本发明做进一步的解释说明：

如图1所示，一种基于深度学习的改进型城市街景图像分割方法，包括：

步骤1，基于深度学习的改进型城市街景图像分割模型DEEPLS：使用编码解码的框架和ResNet101作为骨干网络，在空洞空间金字塔池化(ASPP)模块中新增一层膨胀率为3的空洞卷积，合并之后的6层用并行的3×3卷积处理之后再用1×1卷积调整通道数，得到的特征图先2倍上采样，输入到CBAM注意力机制再2倍上采样，最后和经过CBAM注意力机制的浅层特征拼接融合得到预测图；

步骤2，基于改进型城市街景图像分割模型DEEPLS对城市街景图像进行分割。

改进型城市街景图像分割模型DEEPLS网络结构如图2所示。

进一步地，改进后的空洞空间金字塔池化(ASPP)模块的处理流程如下：

首先将经过骨干网络ResNet-101得到通道数为2048的特征图，分别进行1×1卷积，空洞率分别为{3,6,12,18}的空洞卷积以及全局平均池化，得到6个通道数为256的特征图，将得到的6个特征图在通道维度上拼接融合后，获得改进后的空洞空间金字塔池化(ASPP)模块产生的特征图。

具体地，在编码器中，将DeepLab V3+原ASPP模块中膨胀率为{6,12,18}的空洞卷积改为{3,6,12,18}的空洞卷积，随着骨干网络对城市街景图像特征的提取，特征图的分辨率也在变小。卷积是为了保留数据中少量关键特征，以降低学习和训练成本。3×3卷积进行膨胀率为6的空洞卷积，膨胀为13×13的卷积核。较大的卷积核，有利于分割大目标；较小的卷积核，有利于分割小目标。本模型新增一层膨胀率为3的空洞卷积，使网络可以具有多尺度卷积核，进而增加模型分割不同大小物体的能力。另外，设计膨胀率较小的空洞卷积对提取低分辨率的特征图信息会更加有效。

改进后的ASPP模块中，首先经过骨干网络ResNet-101得到通道数为2048的特征图，分别进行1×1卷积，空洞率分别为{3,6,12,18}的空洞卷积以及全局平均池化，得到6个通道数为256的特征图，将得到的6个特征图在通道维度上拼接融合后，获得改进后的ASPP模块产生的特征图。假设输入图像F，卷积核大小为k，步长s，空洞卷积率为d，Avgpool(F)表示平均池化，改进后的ASPP模块特征图的数学表达式如式1所示。

进一步地，所述步骤1还包括：在空洞空间金字塔池化(ASPP)模块后加入双通道以获取城市街景图像细节信息，其中第一通道为一个3×3卷积，第二通道为两个3×3卷积。

进一步地，按照如下方式基于双通道获取图像细节信息：

将改进后的空洞空间金字塔池化(ASPP)模块中得到的6层拼接特征图作为输入，分为两个通道进行特征提取，第一通道中的3×3卷积将1536通道数直接调整为256，第二通道中的第一个3×3卷积将通道数1536调整为512，再送入第二通道中的第二个3×3卷积中，继续卷积调整为256，得到的两层特征图拼接后，进行1×1卷积。

具体地，特征提取是在城市街景图像中提取有用信息生成特征图像，为了提取到更加丰富的特征信息，提高目标区域分割精度，本发明模型加入了双通道获取图像细节信息，双通道结构如图3所示。相较于原模型的单一1×1卷积，3×3卷积扩大了感受野，增加了局部上下文信息，从而达到更精准的分割效果，同时改进的3×3卷积采用并行的结构进行特征提取，产生的参数量和计算量可以忽略不计。

该模块将将改进后的ASPP模块中得到6层拼接特征图作为输入，分为两个通道进行特征提取。①中的3×3卷积将1536通道数直接为调整256，②中的3×3卷积将通道数1536调整为512，再送入③中的3×3卷积，继续卷积调整为256。得到的两层特征图拼接后，进行1×1卷积。采用双通道对输入图像进行两次特征提取，提取的信息更加充分。由于新增一层空洞卷积会带来参数量和计算量的增加，仅加入空洞卷积并不会带来分割能力的提升，并行的3×3卷积能够扩大特征提取通道，提高特征提取能力，并减少新增空洞卷积产生的计算量和参数量。

进一步地，所述步骤1还包括：

将经过骨干网络特征提取后的变为原图1/4大小的特征图直接输入到解码器部分，变为原图1/16大小的特征图先进行空洞卷积操作再输入到解码器部分；

在解码器部分，将变为原图1/4大小的特征图先输入到CBAM注意力机制中进行学习，经过注意力机制处理的特征图再进行1×1卷积；将变为原图1/16大小的特征图先进行2倍上采样，得到原图1/8大小的特征图，之后输入到CBAM注意力机制再进行2倍上采样，扩大到原图1/4大小，即在两次上采样中间添加注意力机制。

具体地，为了方便模型训练，一般都会将输入的城市街景图像先进行压缩操作，在编码器部分，输入的街景图像首先会经过骨干网络提取特征信息，图像依次变为原图的1/4、1/8、1/16大小，之后将变为原图1/4大小的特征图直接输入到解码器部分，变为原图1/16大小的特征图先进行空洞卷积操作再输入到解码器部分。

在解码器部分，本模型将变为原图1/4大小的特征图先输入到CBAM注意力机制中，通道注意力机制关注有意义的局部信息，再传入到空间注意力机制中进行学习。通道和空间注意力同时作用，可以获取到更多需要关注的细节信息，抑制其他无用信息。对于多数图像而言，背景都不需要过度关注的，加入注意力机制后，图像中的物体等细节内容会突显出来，提升图像分割效果。经过注意力机制处理的特征图再进行1×1卷积。

另外，本模型将变为原图1/16大小的特征图先进行2倍上采样，得到原图1/8大小的特征图，之后输入到CBAM注意力机制再进行2倍上采样，扩大到原图1/4大小。相当于将原来DeepLab V3+模型中直接4倍上采样替换为两次2倍上采样，同时在两次上采样中间添加注意力机制。上采样幅度小的话会使得到的图像中像素的连续性更强，还原出来的像素值更加逼近特征图下采样之前的像素值，使得DEEPLS网络的预测结果更加精确。

进一步地，所述步骤2包括：

步骤2.1，将固定大小的城市街景图像输入到改进型城市街景图像分割模型DEEPLS中；

步骤2.2，ResNet101网络对该图像进行预处理，提取图像有用信息生成特征图像，再分别传输给改进后的ASPP模块和解码器部分；

步骤2.3，进入改进后的ASPP模块中的特征图分为6部分进行空洞卷积、全局平均池化操作提取特征，并将提取的6层特征拼接后输入双通道，分流继续提取深层特征信息，最后经过1×1卷积进行多尺度融合，得到原始城市街景图像1/16大小的特征图，并输入到解码器部分；

步骤2.4，将步骤2.2中进入解码器部分的特征图输入到CBAM注意力机制，再进行1×1卷积提取浅层特征，得到原始城市街景图像1/4大小的浅层特征图；

步骤2.5，经过编码器结构处理的特征图通过双线性插值进行2倍上采样操作，输入到CBAM注意力机制之后再进行2倍上采样，得到原始城市街景图像1/4大小的特征图，之后和步骤2.4中浅层特征图拼接融合，获得融合后的特征图；

步骤2.6，对融合后的特征图4倍上采样恢复到原始城市街景图像大小，输出预测图，完成图像分割。

综上，本发明的一种基于深度学习的改进型城市街景图像分割方法，在空洞空间金字塔池化(ASPP)模块中新增一层膨胀率为3的空洞卷积，有效提取低分辨率的特征图信息，同时将ASPP模块之后的特征提取改为双通道特征提取，扩大特征提取能力；并且将4倍上采样改为2倍上采样，输入到CBAM注意力机制中，得到的特征图再进行2倍上采样，减少直接4倍上采样带来的不连续性；除此之外，对于浅层特征提取之后，也输入到CBAM注意力机制中，再和深层特征提取的特征图拼接在一起，能获取更精细的前景细节信息，提升城市街景图像分割效果。

以上所示仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (3)

1.一种基于深度学习的改进型城市街景图像分割方法，其特征在于，包括：

步骤1，基于深度学习构建改进型城市街景图像分割模型DEEPLS：使用编码解码的框架和ResNet101作为骨干网络，在空洞空间金字塔池化模块中新增一层膨胀率为3的空洞卷积，合并之后的6层用并行的3×3卷积处理之后再用1×1卷积调整通道数，得到的特征图先2倍上采样，输入到CBAM注意力机制再2倍上采样，最后和经过CBAM注意力机制的浅层特征拼接融合得到预测图；

所述步骤1还包括：在空洞空间金字塔池化模块后加入双通道以获取城市街景图像细节信息，其中第一通道为一个3×3卷积，第二通道为两个3×3卷积；

按照如下方式基于双通道获取图像细节信息：

将改进后的空洞空间金字塔池化模块中得到的6层拼接特征图作为输入，分为两个通道进行特征提取，第一通道中的3×3卷积将1536通道数直接调整为256，第二通道中的第一个3×3卷积将通道数1536调整为512，再送入第二通道中的第二个3×3卷积中，继续卷积调整为256，得到的两层特征图拼接后，进行1×1卷积；

步骤2，基于改进型城市街景图像分割模型DEEPLS对城市街景图像进行分割；

所述步骤2包括：

步骤2.1，将固定大小的城市街景图像输入到改进型城市街景图像分割模型DEEPLS中；

步骤2.2，ResNet101网络对该图像进行预处理，提取图像有用信息生成特征图像，再分别传输给改进后的空洞空间金字塔池化模块和解码器部分；

步骤2.3，进入改进后的空洞空间金字塔池化模块中的特征图分为6部分进行空洞卷积、全局平均池化操作提取特征，并将提取的6层特征拼接后输入双通道，分流继续提取深层特征信息，最后经过1×1卷积进行多尺度融合，得到原始城市街景图像1/16大小的特征图，并输入到解码器部分；

步骤2.4，将步骤2.2中进入解码器部分的特征图输入到CBAM注意力机制，再进行1×1卷积提取浅层特征，得到原始城市街景图像1/4大小的浅层特征图；

步骤2.5，经过编码器结构处理的特征图通过双线性插值进行2倍上采样操作，输入到CBAM注意力机制之后再进行2倍上采样，得到原始城市街景图像1/4大小的特征图，之后和步骤2.4中浅层特征图拼接融合，获得融合后的特征图；

步骤2.6，对融合后的特征图4倍上采样恢复到原始城市街景图像大小，输出预测图，完成图像分割。

2.根据权利要求1所述的一种基于深度学习的改进型城市街景图像分割方法，其特征在于，改进后的空洞空间金字塔池化模块的处理流程如下：

首先将经过骨干网络 ResNet-101得到通道数为 2048的特征图，分别进行 1×1卷积，空洞率分别为{3,6,12,18}的空洞卷积以及全局平均池化，得到 6个通道数为 256的特征图，将得到的 6个特征图在通道维度上拼接融合后，获得改进后的空洞空间金字塔池化模块产生的特征图。

3.根据权利要求1所述的一种基于深度学习的改进型城市街景图像分割方法，其特征在于，所述步骤1还包括：

将经过骨干网络特征提取后的变为原图1/4大小的特征图直接输入到解码器部分，变为原图1/16大小的特征图先进行空洞卷积操作再输入到解码器部分；

在解码器部分，将变为原图1/4大小的特征图先输入到CBAM注意力机制中，再传入到空间注意力机制中进行学习，经过注意力机制处理的特征图再进行1×1卷积；将变为原图1/16大小的特征图先进行2倍上采样，得到原图1/8大小的特征图，之后输入到CBAM注意力机制再进行2倍上采样，扩大到原图1/4大小，同时在两次上采样中间添加注意力机制。

Images