CN113392840B - 基于多尺度分割融合的实时语义分割方法 - Google Patents

Abstract

本发明提供了一种基于多尺度分割融合的实时语义分割方法，涉及机器视觉技术领域，该方法包括：建立并训练自适应多尺度分割融合网络模型；自适应多尺度分割融合网络包括主干网络、分类层、对齐模块和融合模块；将待处理图像送入主干网络进行特征提取，并输出多个尺度的特征图；使用分类层对输出的各个尺度的特征图进行像素级分类，得到不同尺度的分割图；使用对齐模块将所述不同尺度的分割图统一到相同的分辨率，得到相同大小的分割图；将相同大小的分割图送入融合模块，基于特定目标类别融合不同层次的分割上下文信息，得到融合的分割图；使用卷积操作对融合的分割图进行一次细化，得到最终的分割结果，实现了高效快速的实时图像语义分割。

Description

基于多尺度分割融合的实时语义分割方法

技术领域

本发明涉及计算机视觉技术领域，尤其是涉及一种基于多尺度分割融合的实时语义分割方法。

背景技术

图像语义分割是计算机视觉领域基础任务之一，最近几年因为深度学习的扩展得到了广泛的发展。然而，现有高精度方法基于较深的网络设计和复杂的特征重用，难以达到实时应用的目的。实时语义分割期望在速度和性能上同时得到优异的表现，实现在实时场景下的应用。

当前，实时图像语义分割方法主要通过轻量化主干网络设计、简化解码器结构降低模型复杂度以实现快速分割框架。这些方法期望用一个简单的框架获得速度和性能的权衡。

然而这样的做法难以恢复在下采样过程中丢失的空间细节信息，导致这些方法往往无法取得精确的分割结果。另一方面，过度的下采样成为提高实时语义分割算法推理速度的一种常用范式，但这样的做法使得最终的特征图的分辨率过低，又进一步增加了模型恢复空间信息的难度。

发明内容

有鉴于此，本发明提出一种基于多尺度分割融合的实时语义分割方法，使用多尺度分割融合的方法，基于特定目标类别融合不同层次的分割上下文信息。通过在网络深层的分割图中融合网络低层分割图的丰富的空间细节，实现了高效快速的图像语义分割。

为此，本发明提供了以下技术方案：

本发明提供了一种基于多尺度分割融合的实时语义分割方法，所述方法包括以下步骤：

建立并训练自适应多尺度分割融合网络模型；所述自适应多尺度分割融合网络包括主干网络、分类层、对齐模块和自适应多尺度分割融合模块；所述主干网络以残差网络ResNet-34为基础网络，删除ResNet-34中的全连接层将网络改造为全卷积神经网络的形式；使用带步长的卷积层代替ResNet-34中的池化层；将最后一个阶段的下采样提前到第一个阶段并缩减整个网络的通道数目；在最后一个阶段添加扩张率为2的扩张卷积；在ResNet的每个阶段的输出中添加一个分裂头，以获得每个阶段的输出；

将待处理图像送入所述主干网络进行特征提取，并输出多个尺度的特征图；

使用所述分类层对输出的各个尺度的特征图进行像素级分类，得到不同尺度的分割图；

使用所述对齐模块将所述不同尺度的分割图统一到相同的分辨率，得到相同大小的分割图；

将所述相同大小的分割图送入所述自适应多尺度分割融合模块，基于特定目标类别融合不同层次的分割上下文信息，得到融合的分割图；

使用卷积操作对融合的分割图进行一次细化，得到最终的分割结果。

进一步地，所述对齐模块使用基于引导上采样的方式将不同尺度大小的分割图调整到相同的尺寸。

进一步地，所述自适应多尺度分割融合模块，基于注意力机制，通过抽取全局特征以实现自适应权值计算，实现基于特定目标类别融合不同层次的分割上下文。

进一步地，所述自适应多尺度分割融合模块，基于注意力机制，通过抽取全局特征以实现自适应权值计算，实现基于特定目标类别融合不同层次的分割上下文，包括：

所述自适应多尺度分割融合模块使用元素级别的加法对所述相同大小的分割图初始融合；

基于初始融合得到的分割图，抽取全局信息，计算各个通道在不同尺度上的权重因子；

使用softmax求取权重因子的概率后，将其拆分为n个向量；n为尺度数量；

将拆分后的n个向量分别加权至所述相同大小的分割图，得到融合的分割图。

进一步地，训练自适应多尺度分割融合网络模型，包括：

原始图像和标注图像组成“图像-真值标签”；

将图像经过自适应多尺度分割融合网络模型处理后得到的分割结果和真值标签使用交叉熵损失函数计算损失；

使用Adam优化器训练网络并保存最优模型。

本发明上述技术方案中，基于ResNet-34神经网络设计了一个快速全卷积FCN-Res-34主干网络用于实现快速特征提取和待融合的多尺度分割图的获得。在整个网络中，设计的主干网络在快速提取特征的同时会输出每个阶段的分割图用于后续的自适应多尺度分割融合模块，自适应多尺度分割融合模块基于注意力机制融合主干网络不同阶段的分割图替代特征融合。本发明基于特定目标类别融合不同层次的分割上下文信息并用于生成更为准确的分割结果。从而在保证网络实时计算的前提下取得更为精准的分割性能。

本发明以与现有技术相当的速度取得了更好的分割结果，尤其在物体边缘和对小物体的分割上。这对于实时图像语义分割算法在真实应用场景上是很有意义的。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中自适应多尺度分割融合网络模型的模型框架图；

图2为本发明实施例中的对齐模块的框架图；

图3为本发明实施例中的自适应多尺度分割模块的框架图；

图4为本发明实施例中模型在Cityscapes数据集上的可视化分割结果。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

图1为本发明实施例中自适应多尺度分割融合网络模型的模型框架图。该自适应多尺度分割融合网络包括主干网络、分类层、对齐模块和自适应多尺度分割融合模块；所述主干网络以残差网络ResNet-34为基础网络，删除ResNet-34中的全连接层将网络改造为全卷积神经网络的形式；使用带步长的卷积层代替ResNet-34中的池化层；将最后一个阶段的下采样提前到第一个阶段并缩减整个网络的通道数目；在最后一个阶段添加扩张率为2的扩张卷积；在ResNet的每个阶段的输出中添加一个分裂头，以获得每个阶段的输出。利用该自适应多尺度分割融合网络模型进行实时语义分割时，首先，将图片输入主干网络提取特征，得到相应的特征表示Stage_i；然后，将各个阶段的特征表示Stage_i经过分类层进行像素级分类，得到各个阶段的的分割结果Seg_i；接着使用对齐模块将各个阶段的分割结果统一到同一个尺度上；对齐后的分割结果会被输入到自适应多尺度分割融合模块中。至此，完成图像语义分割。其具体包括以下技术环节：

1.输入数据的处理：

对于输入为单张图像的场合，可以直接将其作为网络的输入，也可以对其进行尺度变化操作改变其大小后作为网络的输入。如果输入为视频，将视频拆为图像帧后将每个图像帧作为网络的输入。

2.多尺度分割结果的获取：

对于网络的输入图像，经过主干网络后输出各个下采样阶段的特征图：

然后使用分类层对每个特征求得多个尺度的分割结果：

接着使用对齐模块将这些不同尺度的分割结果的尺寸调整到相同的大小：

式中的Align为图2所示的本发明实施例中使用的对齐模块，该模块使用基于引导上采样的方式将主干网络不同尺度大小的分割图调整到相同的尺寸。

3.自适应多尺度分割融合：

将经过对齐模块的多尺度分割结果送入自适应多尺度分割融合模块，得到融合后的分割图：

上式中，ASF为图3所示的本发明实施例中使用的自适应多尺度分割融合模块，该模块将多尺度分割结果作为输入，首先使用元素级别的加法进行初始融合：

得到的初始融合的分割图Seg′_fusion进一步用来抽取全局信息计算各个通道在不同尺度上的权重因子：

其中表示全局平均池化，/>表示全连接层接批归一化(batch normalization)，ReLU的操作序列。

最后，使用softmax求取概率后将其拆为n个向量s_i并加权到得到输出：

s→{s₁,s₂,...，s_i}；

上式中，表示reshape操作；s_i表示第i个分割图/>被分配的权重。

4.最终分割结果：

自适应多尺度分割融合模块输出经过最后的一层卷积层细化后得到整个网络最终的输出：

网络训练：

原始图像和标注图像组成“图像-真值标签”。将图像经过自适应多尺度分割融合网络模型处理后得到的分割结果Seg_out和真值标签使用交叉熵损失函数计算loss。使用Adam优化器训练网络并保存最优模型。

测试过程：

使用训练过程中保存的最优模型，将待分割图像经过训练后的自适应多尺度分割融合网络模型处理，得到分割结果。经过可视化后得到最后的图像语义分割结果。至此，图像语义分割完成。

本发明实施例中，基于ResNet-34神经网络设计了一个快速全卷积FCN-Res-34主干网络用于实现快速特征提取和待融合的多尺度分割图的获得。在整个网络中，设计的主干网络在快速提取特征的同时会输出每个阶段的分割图用于后续的自适应多尺度分割融合模块，自适应多尺度分割融合模块基于注意力机制融合主干网络不同阶段的分割图替代特征融合。本发明基于特定目标类别融合不同层次的分割上下文信息并用于生成更为准确的分割结果。从而在保证网络实时计算的前提下取得更为精准的分割性能。

本发明实施例中的方案以与现有技术相当的速度取得了更好的分割结果，尤其在物体边缘和对小物体的分割上。

图4展示了本发明实施例提出的自适应多尺度分割融合网络在Cityscapes数据集上的识别效果。从左到右分别为原始输入图像、可视化的标注图像、主干网络的可视化分割结果、本发明实施例的自适应多尺度分割融合网络的可视化分割结果。

本发明的有益本发明的有益效果可以通过以下实验进一步说明。

首先对本发明实施例中出现的参数和字符进行解释说明：

其中，mIoU表示平均交并比，是由对各类别的IoU求均值得到，IoU表示交并比，由以下公式计算得到：

其中，TP代表真阳样本数，FN代表假阳样本数，FN代表假阴样本数。

实验环境为Ubuntu18.04系统，程序语言为Python,硬件配置为Intel(R)Core(TM)i9-9900X，主频3.50GHz CPU，内存为64GB,显卡为1块NVIDIA GeForce RTX 2080Ti。采用的数据集为Cityscapes和CamVid。

具体实施步骤为：

在训练阶段：

步骤1：将Cityscapes数据集和CamVid数据集中的图像进行数据增强，数据增强包括左右翻转，随机裁剪，尺度变换等。将经过数据增强后的图像固定到1024×1024大小作为输入数据inputs。同时对每幅图像的标注图像做同样的操作，作为输出后的目标图像targets。

步骤2：使用步骤1得到的inputs和targets组成图像-真值标签对，训练本发明设计的FCN-ResNet-34。训练过程中使用Adam优化器，初始学习率设置为0.0005，训练次数设置为400轮并保存最优模型。

步骤3：使用步骤2训练的FCN-ResNet-34的最优模型初始化自适应多尺度分割融合网络的主干网络部分。继续使用步骤1中得到的inputs和targets组成图像-真值标签对训练网络模型。训练过程中使用Adam优化器，初始学习率设置为0.0005，训练次数设置为600轮并保存最优模型。

至此，完成自适应多尺度分割融合网络的训练阶段。

测试阶段：

步骤4：将Cityscapes数据集和CamVid数据集的图像不经任何数据增强处理，直接送入训练完成的自适应多尺度分割融合网络模型。依次经过主干网络，分类层，对齐模块，自适应多尺度分割融合模块后，得到最终的语义分割结果。

至此，图像语义分割完成。

以下为本发明在Cityscapes数据集上的测试结果：

以下为本发明在CamVid数据集上的测试结果：

模型	参数	GFLPOs	速度(FPS)	Mean IoU
					ARFNet	5.38M	5.07	220	68.0

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (2)

1.一种基于多尺度分割融合的实时语义分割方法，其特征在于，所述方法包括以下步骤：

建立并训练自适应多尺度分割融合网络模型；所述自适应多尺度分割融合网络包括主干网络、分类层、对齐模块和自适应多尺度分割融合模块；所述主干网络以残差网络ResNet-34为基础网络，删除ResNet-34中的全连接层将网络改造为全卷积神经网络的形式；使用带步长的卷积层代替ResNet-34中的池化层；将最后一个阶段的下采样提前到第一个阶段并缩减整个网络的通道数目；在最后一个阶段添加扩张率为2的扩张卷积；在ResNet的每个阶段的输出中添加一个分裂头，以获得每个阶段的输出；

将待处理图像送入所述主干网络进行特征提取，并输出多个尺度的特征图；

使用所述分类层对输出的各个尺度的特征图进行像素级分类，得到不同尺度的分割图；

使用所述对齐模块将所述不同尺度的分割图统一到相同的分辨率，得到相同大小的分割图；

将所述相同大小的分割图送入所述自适应多尺度分割融合模块，基于特定目标类别融合不同层次的分割上下文信息，得到融合的分割图；

使用卷积操作对融合的分割图进行一次细化，得到最终的分割结果；所述对齐模块使用基于引导上采样的方式将不同尺度大小的分割图调整到相同的尺寸；所述自适应多尺度分割融合模块，基于注意力机制，通过抽取全局特征以实现自适应权值计算，实现基于特定目标类别融合不同层次的分割上下文；包括：

所述自适应多尺度分割融合模块使用元素级别的加法对所述相同大小的分割图初始融合；

基于初始融合得到的分割图，抽取全局信息，计算各个通道在不同尺度上的权重因子；

使用softmax求取权重因子的概率后，将其拆分为n个向量；n为尺度数量；

将拆分后的n个向量分别加权至所述相同大小的分割图，得到融合的分割图。

2.根据权利要求1所述的基于多尺度分割融合的实时语义分割方法，其特征在于，训练自适应多尺度分割融合网络模型，包括：

原始图像和标注图像组成“图像-真值标签”；

将图像经过自适应多尺度分割融合网络模型处理后得到的分割结果和真值标签使用交叉熵损失函数计算损失；

使用Adam优化器训练网络并保存最优模型。