CN111401436A - 一种融合网络和双通道注意力机制的街景图像分割方法 - Google Patents

Abstract

本发明公布了一种融合网络和双通道注意力机制的街景图像分割方法，包括训练阶段和测试阶段；训练阶段构建基于高分辨率融合网络和双通道注意力机制的图像分割卷积神经网络模型并训练模型，模型包括输入层、隐层和输出层；隐层包括以密集采样方式堆叠的四个扩张卷积块、高分辨率融合网络和双通道注意力机制；测试阶段对待进行分割的街景图像进行预测，得到预测语义分割图像，即实现基于高分辨率融合网络和双通道注意力机制的图像语义分割。本发明方法分割精度高，鲁棒性更好。

Description

一种融合网络和双通道注意力机制的街景图像分割方法

技术领域

本发明属于图像语义分割技术领域，涉及一种基于深度学习的语义分割技术，具体涉及一种基于高分辨率融合网络和双通道注意力机制的街景图像语义分割方法。

背景技术

深度学习是人工神经网络的一个分支，具有深度网络结构的人工神经网络是深度学习最早的网络模型。最初，深度学习的应用主要是在图像和语音领域。自2006年以来，深度学习在学术界持续升温，深度学习和神经网络在语义分割、计算机视觉、语音识别、跟踪方面都有极广泛的应用，其极强的高效性也使得它在实时应用等各方面具有巨大的潜力。

卷积神经网络在图像的分类、定位以及场景理解等方面取得了成功。随着增强现实和自动驾驶车辆等任务的激增，许多研究人员将注意力转移到场景理解上，其中一个主要步骤就是语义分割，即对所给定图像中的每个像素点做分类。语义分割在移动和机器人相关应用中具有重要意义。

语义分割问题在很多应用场景中都有着十分重要的作用，例如图片理解、自动驾驶等，所以近年来，语义分割问题在学术界和工业界得到了广泛的关注。经典的语义分割方法有全连接网络(Full Connected Network,FCN)和卷积神经网络SegNet等，这些方法在道路场景分割数据库上的像素精度、均像素精度和均交并比均有不错的表现。但是，FCN的一个不足之处在于，由于池化层的存在，导致响应张量的大小(长和宽)越来越小，而FCN的设计初衷则需要与输入大小一致的输出，因此FCN做了上采样，但是，上采样并不能将丢失的信息全部无损的找回来；卷积神经网络SegNet是在FCN的基础上构建的网络模型，然而其并没有很好地控制信息丢失这个问题。因此，这些方法因信息丢失影响了图像语义分割的精确度，方法的鲁棒性也较低。

发明内容

为了克服上述现有技术的不足，本发明提供一种基于高分辨率融合网络和双通道注意力机制的街景图像语义分割方法，其分割精度高，鲁棒性更好。

本发明解决上述技术问题所采用的技术方案为：

一种基于高分辨率融合网络和双通道注意力机制的街景图像语义分割方法，其特征在于包括训练阶段和测试阶段两个过程，包括如下步骤：

1)选取图像训练集，包括原始图像及相应的真实语义分割图像；并分别将训练集中的每幅原始街景图像对应的真实语义分割图像处理成独热编码图像；

选取M幅原始的街景图像及每幅原始的街景图像对应的真实语义分割图像，并构成训练集，将训练集中的第m幅原始的街景图像记为{I^m(i,j)}，将训练集中与{I^m(i,j)}对应的真实语义分割图像记为

其中原始街景图像为RGB彩色图像，M为正整数；M≥100；m为正整数，1≤m≤M；(i,j)为图像中像素点的坐标位置；1≤i≤W，1≤j≤H，W表示{I^m(i,j)}的宽度，H表示{I^m(i,j)}的高度，I^m(i,j)表示{I^m(i,j)}中坐标位置为(i,j)的像素点的像素值，

表示

中坐标位置为(i,j)的像素点的像素值；

然后采用独热编码技术将训练集中的每幅原始街景图像对应的真实语义分割图像处理成多幅独热编码图像；具体实施时，对街景图像物体类别分为了19类，将与原始街景图像对应的真实语义分割图像{I_r ^m(i,j)}处理成19幅独热编码图像，构成的集合记为

2)构建基于高分辨率融合网络和双通道注意力机制的图像分割卷积神经网络模型并训练模型：卷积神经网络包括输入层、隐层和输出层；隐层由3部分组成：以密集采样方式堆叠的四个扩张卷积块、高分辨率融合网络和双通道注意力机制；第一部分(以密集采样方式堆叠的四个扩张卷积块)具体由四个卷积核大小均为3×3，扩张率分别为6，12，18，24的卷积块以密集采样方式堆叠构成。

2_1)卷积神经网络的输入层用于接收原始输入图像的R、G、B三通道分量并输出给隐层；

对于输入层，输入层的输入端接收一幅宽度为W，高度为H的原始输入图像的R、G、B三通道分量，输入层的输出端输出原始输入图像的R、G、B三通道分量给隐层；

2_2)隐层第一部分包括以密集连接方式堆叠的四个扩张卷积块，通过4个扩张卷积块按序生成多幅特征图；

对于隐层第一部分，隐层第一部分一共有4个扩张卷积块以密集形式构成，每个扩张卷积块由带有Batch Normalization层(BN层)、Relu层和扩张卷积层构成，第1个扩张卷积块输入端接收输入层的输出端输出的原始输入图像的R通道分量、G通道分量和B通道分量，扩张率为3，输出端输出32幅特征图，将32幅特征图构成的集合记为R₁；第2个扩张卷积块输入端接收输入层的输出端输出的原始输入图像的所有通道分量和R₁，扩张率为6，输出端输出64幅特征图，将64幅特征图构成的集合记为R₂；第3个扩张卷积块输入端接收输入层的输出端输出的原始输入图像的所有通道分量、R₁和R₂，扩张率为12，输出端输出128幅特征图，将128幅特征图构成的集合记为R₃；第4个扩张卷积块输入端接收输入层的输出端输出的原始输入图像的所有通道分量、R₁、R₂和R₃，扩张率为18，输出端输出64幅特征图，将64幅特征图构成的集合记为R₄；其中，R₄中的每幅特征图的宽度为W，高度为H；

2_3)通过三个阶段构成隐层第二部分(高分辨率融合网络)；隐层第二部分中利用残差网络中的残差基本块(Basic block)作为网络搭建的基本块，使用Basic block作为网络搭建的基本块可以调节特征层数，达到降维的效果，还可以降低整个网络的参数量。隐层第二部分的每个阶段都比前一阶段多增加一条输入分支，即多获得一种分辨率的特征图层，在隐层第二部分的网络的每个阶段之间进行分辨率特征图层的相互融合，在空间上保留了原始图像更多的特征信息，具有很好的语义表达能力。具体步骤为：

第一阶段生成两个并行网络S₁和S₂，S₁由3个残差基本块串联构成，本发明中的Basic block均由一个BN层、一个Relu层和一个3×3卷积核、步长为1、填充为1的卷积层构成。每个Basic block的输入特征层与输出特征层的宽和高一致，S₁输入端接收R₄中所有的特征图，S₁的输出端输出36幅特征图，将36幅特征图构成的集合记为R₆，其中，R₆中的每幅特征图的宽度为W，高度为H；R₄集合所有特征层通过卷积得到64幅特征层集合R₅，其中，R₅中的每幅特征图的宽度为W/2，高度为H/2；S₂由3个残差基本块串联构成，每个Basic block的输入特征层与输出特征层宽高一致，S₂输入端接收R₅中所有的特征图，S₂输出端输出36幅特征图，将36幅特征图集合记为R₇，其中，R₇中的每幅特征图的宽度为W/2，高度为H/2；R₆特征集合通过下采样得到宽度为W/2、高度为H/2的36幅特征图层集合R₈；通过下采样得到宽度为W/4、H/4的36幅特征图层集合R₉。R₇特征图层集合通过上采样得到宽度为W、高度为H的36幅特征图层集合R₁₀；通过下采样得到宽度为W/4、H/4的36幅特征图层集合R₁₁。

第二阶段生成三个并行网络S₃、S₄和S₅，其中，S₃由3个残差基本块串联构成，每个Basic block的输入特征层与输出特征层宽高一致，S₃输入端接收R₆与R₁₀中所有的特征图，S₃的输出端输出72幅特征图，将72幅特征图构成的集合记为R₁₂，其中，R₁₂中的每幅特征图的宽度为W，高度为H；S₄由3个残差基本块串联构成，每个Basic block的输入特征层与输出特征层宽高一致，S₄输入端接收R₇与R₈中所有的特征图，S₄的输出端输出72幅特征图，将72幅特征图构成的集合记为R₁₃，其中，R₁₃中的每幅特征图的宽度为W/2，高度为H/2；S₅由3个残差基本块串联构成，每个Basic block的输入特征层与输出特征层宽高一致，S₅输入端接收R₉与R₁₁中所有的特征图，S₅的输出端输出72幅特征图构成的集合记为R₁₄，其中，R₁₄中的每幅特征图的宽度为W/4，高度为H/4。在S₃、S₄和S₅的输出端，R₁₂特征集合通过下采样得到宽度为W/2、H/2的72幅特征图层集合R₁₅；通过下采样得到宽度为W/4、H/4的72幅特征图层集合R₁₆；通过下采样得到宽度为W/8、H/8的72幅特征图层集合R₁₇。R₁₃特征集合通过上采样得到宽度为W、H的72幅特征图层集合R₁₈；通过下采样得到宽度为W/4、H/4的72幅特征图层集合R₁₉；通过下采样得到宽度为W/8、H/8的72幅特征图层集合R₂₀。R₁₄特征集合通过上采样得到宽度为W、H的72幅特征图层集合R₂₁；通过上采样得到宽度为W/2、H/2的72幅特征图层集合R₂₂；通过下采样得到宽度为W/8、H/8的72幅特征图层集合R₂₃。

第三阶段生成四个并行网络S₆、S₇、S₈和S₉，其中，S₆由3个残差基本块串联构成，每个Basic block的输入特征层与输出特征层宽高一致，S₆输入端接收R₁₂、R₁₈与R₂₁中所有的特征图，S₆的输出端输出144幅特征图，将144幅特征图构成的集合记为R₂₄，其中，R₂₄中的每幅特征图的宽度为W，高度为H；S₇由3个残差基本块串联构成，每个Basic block的输入特征层与输出特征层宽高一致，S₇输入端接收R₁₃、R₁₅与R₂₂中所有的特征图，S₇的输出端输出144幅特征图，将144幅特征图构成的集合记为R₂₅，其中，R₂₅中的每幅特征图的宽度为W/2，高度为H/2；S₈由3个残差基本块串联构成，每个Basic block的输入特征层与输出特征层宽高一致，S₈输入端接收R₁₄、R₁₆与R₁₉中所有的特征图，S₈的输出端输出144幅特征图，将144幅特征图构成的集合记为R₂₆，其中，R₂₆中的每幅特征图的宽度为W/4，高度为H/4；S₉由3个残差基本块串联构成，每个Residual block的输入特征层与输出特征层宽高一致，S₉输入端接收R₁₇、R₂₀与R₂₃中所有的特征图，S₉的输出端输出144幅特征图，将144幅特征图构成的集合记为R₂₇，其中，R₂₇中的每幅特征图的宽度为W/8，高度为H/8。R₂₅特征集合通过上采样得到宽度为W、H的144幅特征图层集合R₂₈；R₂₆特征集合通过上采样得到宽度为W、H的144幅特征图层集合R₂₉；R₂₇特征集合通过上采样得到宽度为W、H的144幅特征图层集合R₃₀。

2_4)由位置注意力机制与通道注意力机制两个并行注意力机制网络构成隐层第三部分；

对于隐层第三部分，隐层第三部分通过位置注意力机制与通道注意力机制两个并行注意力机制网络构成，具体步骤为：

将特征图集合R₂₄、R₂₈、R₂₉和R₃₀合并为新的特征图集合R₃₁，将特征图集合R₃₁经过一个带有BN层和Relu层的1×1卷积层，输出一个宽度为W，高度为H的36幅特征图集合R₃₂。

位置注意力机制网络输入端输入

表示通道数为36，宽度为W，高度为H的特征图集合R₃₂，在这里记为特征图集合A∈R₃₂。然后经过一个带有BN层和ReLU层的卷积操作得到两个新的特征C,D,其中{C,D}∈R^36×H×W，然后将这两个特征重新定义形状为R^{36 ×N}，其中N＝H×W，然后在C和D的转置矩阵上应用一次矩阵乘法，之后应用softmax层计算位置映射图S∈R^N×N，softmax层计算如公式1：

其中，S_ij表示第i个位置影响第j个位置的位置映射图，两个位置的特征越相似对S_ij值的影响越大。同时将特征图集合A输入到一个带有BN层和ReLU层的卷积层产生另外一个特征图集合

重新定义形状为R^36×N，然后对E和S的转置应用一次矩阵乘法，重新定义形状为

然后乘上一个因子α，α是可随网络自动调节的参数，初始化为0。与经过重新定义形状后的特征A∈R^36×N进行一个逐元素的相加操作得到最终的输出

计算如公式2：

F_j∈R^36×N，j＝1,2,...,36，这里的F_j表示的是所有位置与原始位置加权和之后的特征结果，将输出F_j重新定义形状即得到最终位置注意力网络输出的特征图F∈R^36×H×W。

通道注意力机制网络输入端输入

将

进行reshape操作生成特征图集合

然后在

与

的转置上应用一次矩阵乘法，最终应用一个softmax层以获得通道注意力图

X的计算公式见公式3：

其中，x_ji表示了第i个通道对第j个通道的影响。之后对X的转置和

进行一次矩阵乘法然后reshape到R^36×H×W，然后乘上一个因子β，然后与原始特征A进行一个逐元素的加和操作得到最终的特征图G∈R^36×H×W，具体地见公式4:

G_J表示将所有通道特征和原始通道特征加权和知乎得到的通道特征结果，将输出G_j重新定义形状即得到最终位置注意力网络输出的特征图G∈R^36×H×W。将特征图集合F和G合并，然后经过一个带有BN层和Relu层的1×1卷积层之后得到新的特征图集合R₃₆。

对于输出层，其由1个卷积层组成，输出层的输入端接收由特征图集合F和G合并之后的新特征图集合R₃₆，输出层的输出端输出19幅与原始输入图像对应的语义分割预测图；其中，每幅语义分割预测图的宽度为W、高度为H。

2_5)将训练集中的每幅原始的街景图像作为原始输入图像，输入到步骤2)构建的卷积神经网络模型中进行训练，得到训练集中的每幅原始的街景图像对应的19幅语义分割预测图，将每幅原始的街景图像{I^m(i,j)}对应的19幅语义分割预测图构成的集合记为

2_6)计算训练集中的每幅原始的街景图像对应的19幅语义分割预测图构成的集合

与对应的真实语义分割图像处理成的独热编码图像集合

之间的损失函数值，将

与

之间的损失函数值记为

具体实施时，采用分类交叉熵获得

与

之间的损失函数值。

2_7)重复执行步骤2_5)和步骤2_6)共N次，得到卷积神经网络分类训练模型，并共得到M×N个损失函数值；然后从M×N个损失函数值中找出值最小的损失函数值；其中，N＞1；接着将值最小的损失函数值对应的权值矢量和偏置项作为卷积神经网络分类训练模型对应的最优权值矢量和最优偏置项，对应记为W^best和b^best；即完成卷积神经网络分类模型的训练，得到训练好的基于高分辨率融合网络和双通道注意力机制的图像分割卷积神经网络模型。

二、测试阶段过程的具体步骤为：

3_1)令

表示待语义分割的道路场景图像；其中，1≤i'≤W'，1≤j'≤H'，W'表示

的宽度，H'表示

的高度，

表示

中坐标位置为(i,j)的像素点的像素值；

3_2)将

的R通道分量、G通道分量和B通道分量输入到训练好的卷积神经网络分类模型中，利用W^best和b^best进行预测，得到

对应的预测语义分割图像，记为

其中，

表示

中坐标位置为(i',j')的像素点的像素值。

通过上述步骤，即实现基于高分辨率融合网络和双通道注意力机制的图像语义分割。

与现有技术相比，本发明的优点在于：

1)本发明方法在构建卷积神经网络的过程中，隐层第一部分采用了密集连接方式(Dense)的ASPP模块(DenseASPP)，DenseASPP模块的设置增大了对原始输入图像中特征信息的提取能力，充分结合了多扩张率、多尺度的扩张卷积方式，从而提高了训练得到的卷积神经网络分类训练模型的预测准确度。

2)本发明方法构建的卷积神经网络，采用了高分辨率融合并行网络来降低了特征图像在整个网络中损失的特征信息，通过整个过程中高分辨率不变并融合低分辨率特征图信息，在极大程度上保留了有效的深度信息，使得训练阶段的到的语义分割预测图和测试阶段得到的预测语义分割图像的分辨率高，边界精确。

3)本发明方法构建的卷积神经网络，隐层第三阶段引入了双通道注意力机制来自适应地集成局部特征和全局依赖，有助于得到更精确的分割结果。

附图说明

图1为本发明方法的流程框图。

图2为本发明方法构建的神经网络模型的组成结构框图。

图3为本发明实施例采用的待语义分割的街景图像、对应的真实语义分割图像及进行预测得到的预测语义分割图像；

其中，(a)为选取的一幅待语义分割的街景图像；(b)为(a)所示的待语义分割的街景图像对应的真实语义分割图像；(c)为利用本发明方法对(a)所示的待语义分割的街景图像进行预测得到的预测语义分割图像。

具体实施方式

以下结合附图，通过实施例对本发明作进一步详细描述，但不以任何方式限制本发明的范围。

本发明提出的一种基于高分辨率融合网络和双通道注意力机制的街景图像语义分割方法，其总体实现框图如图1所示，其包括训练阶段和测试阶段两个过程。

所述的训练阶段过程的具体步骤为：

1_1选取M幅原始的街景图像及每幅原始的街景图像对应的真实语义分割图像，并构成训练集，将训练集中的第m幅原始的街景图像记为{I^m(i,j)}，将训练集中与{I^m(i,j)}对应的真实语义分割图像记为

然后采用独热编码技术(one-hot)将训练集中的每幅原始街景图像对应的真实语义分割图像处理成19幅独热编码图像，将

处理成的19幅独热编码图像构成的集合记为

其中原始街景图像为RGB彩色图像，M为正整数，M≥100，如取500，m为正整数，1≤m≤M，1≤i≤W，1≤j≤H，W表示{I^m(i,j)}的宽度，H表示{I^m(i,j)}的高度，如取W＝1024、H＝512，I^m(i,j)表示{I^m(i,j)}中坐标位置为(i,j)的像素点的像素值，

表示

中坐标位置为(i,j)的像素点的像素值；在此，原始的街景图像直接选用城市景观数据集，即Cityscapes公共数据集中的训练数据集共2975张图像。

2构建卷积神经网络：卷积神经网络包括输入层、隐层和输出层；隐层由3部分组成：第一部分由四个卷积核大小均为3×3，扩张率分别为6，12，18，24的卷积块以密集采样方式堆叠构成，第二部分由高分辨率融合网络构成，第三部分由双通道注意力机制构成。

2_1对于输入层，输入层的输入端接收一副原始输入图像的R、G、B三通道分量，输入层的输出端输出原始输入图像的R通道分量、G通道分量和B通道分量给隐层；其中，要求输入层的输入端接收的原始输入图像的宽度为W，高度为H；

2_2对于隐层第一部分，隐层第一部分一共有4个扩张卷积块以密集形式构成，每个扩张卷积块由带有Batch Normalization层(BN层)、Relu层和扩张卷积层构成，第1个扩张卷积块输入端接收输入层的输出端输出的原始输入图像的R通道分量、G通道分量和B通道分量，扩张率为3，输出端输出32幅特征图，将32幅特征图构成的集合记为R₁；第2个扩张卷积块输入端接收输入层的输出端输出的原始输入图像的所有通道分量和R₁，扩张率为6，输出端输出64幅特征图，将64幅特征图构成的集合记为R₂；第3个扩张卷积块输入端接收输入层的输出端输出的原始输入图像的所有通道分量、R₁和R₂，扩张率为12，输出端输出128幅特征图，将128幅特征图构成的集合记为R₃；第4个扩张卷积块输入端接收输入层的输出端输出的原始输入图像的所有通道分量、R₁、R₂和R₃，扩张率为18，输出端输出64幅特征图，将64幅特征图构成的集合记为R₄；其中，R₄中的每幅特征图的宽度为W，高度为H；

2_3对于隐层第二部分，隐层第二部分通过三个阶段构成，具体步骤为：

第一阶段生成两个并行网络S₁和S₂，S₁由3个残差基本块串联构成，每个Residualblock的输入特征层与输出特征层宽高一致，S₁输入端接收R₄中所有的特征图，S₁的输出端输出36幅特征图，将36幅特征图构成的集合记为R₆，其中，R₆中的每幅特征图的宽度为W，高度为H；R₄集合所有特征层通过卷积得到64幅特征层集合R₅，其中，R₅中的每幅特征图的宽度为W/2，高度为H/2；S₂由3个残差基本块串联构成，每个Residual block的输入特征层与输出特征层宽高一致，S₂输入端接收R₅中所有的特征图，S₂输出端输出36幅特征图，将36幅特征图集合记为R₇，其中，R₇中的每幅特征图的宽度为W/2，高度为H/2；R₆特征集合通过下采样得到宽度为W/2、高度为H/2的36幅特征图层集合R₈；通过下采样得到宽度为W/4、H/4的36幅特征图层集合R₉。R₇特征图层集合通过上采样得到宽度为W、高度为H的36幅特征图层集合R₁₀；通过下采样得到宽度为W/4、H/4的36幅特征图层集合R₁₁。

第二阶段生成三个并行网络S₃、S₄和S₅，其中，S₃由3个残差基本块串联构成，每个Residual block的输入特征层与输出特征层宽高一致，S₃输入端接收R₆与R₁₀中所有的特征图，S₃的输出端输出72幅特征图，将72幅特征图构成的集合记为R₁₂，其中，R₁₂中的每幅特征图的宽度为W，高度为H；S₄由3个残差基本块串联构成，每个Residual block的输入特征层与输出特征层宽高一致，S₄输入端接收R₇与R₈中所有的特征图，S₄的输出端输出72幅特征图，将72幅特征图构成的集合记为R₁₃，其中，R₁₃中的每幅特征图的宽度为W/2，高度为H/2；S₅由3个残差基本块串联构成，每个Residual block的输入特征层与输出特征层宽高一致，S₅输入端接收R₉与R₁₁中所有的特征图，S₅的输出端输出72幅特征图构成的集合记为R₁₄，其中，R₁₄中的每幅特征图的宽度为W/4，高度为H/4。在S₃、S₄和S₅的输出端，R₁₂特征集合通过下采样得到宽度为W/2、H/2的72幅特征图层集合R₁₅；通过下采样得到宽度为W/4、H/4的72幅特征图层集合R₁₆；通过下采样得到宽度为W/8、H/8的72幅特征图层集合R₁₇。R₁₃特征集合通过上采样得到宽度为W、H的72幅特征图层集合R₁₈；通过下采样得到宽度为W/4、H/4的72幅特征图层集合R₁₉；通过下采样得到宽度为W/8、H/8的72幅特征图层集合R₂₀。R₁₄特征集合通过上采样得到宽度为W、H的72幅特征图层集合R₂₁；通过上采样得到宽度为W/2、H/2的72幅特征图层集合R₂₂；通过下采样得到宽度为W/8、H/8的72幅特征图层集合R₂₃。

第三阶段生成四个并行网络S₆、S₇、S₈和S₉，其中，S₆由3个残差基本块串联构成，每个Residual block的输入特征层与输出特征层宽高一致，S₆输入端接收R₁₂、R₁₈与R₂₁中所有的特征图，S₆的输出端输出144幅特征图，将144幅特征图构成的集合记为R₂₄，其中，R₂₄中的每幅特征图的宽度为W，高度为H；S₇由3个残差基本块串联构成，每个Residual block的输入特征层与输出特征层宽高一致，S₇输入端接收R₁₃、R₁₅与R₂₂中所有的特征图，S₇的输出端输出144幅特征图，将144幅特征图构成的集合记为R₂₅，其中，R₂₅中的每幅特征图的宽度为W/2，高度为H/2；S₈由3个残差基本块串联构成，每个Residual block的输入特征层与输出特征层宽高一致，S₈输入端接收R₁₄、R₁₆与R₁₉中所有的特征图，S₈的输出端输出144幅特征图，将144幅特征图构成的集合记为R₂₆，其中，R₂₆中的每幅特征图的宽度为W/4，高度为H/4；S₉由3个残差基本块串联构成，每个Residual block的输入特征层与输出特征层宽高一致，S₉输入端接收R₁₇、R₂₀与R₂₃中所有的特征图，S₉的输出端输出144幅特征图，将144幅特征图构成的集合记为R₂₇，其中，R₂₇中的每幅特征图的宽度为W/8，高度为H/8。R₂₅特征集合通过上采样得到宽度为W、H的144幅特征图层集合R₂₈；R₂₆特征集合通过上采样得到宽度为W、H的144幅特征图层集合R₂₉；R₂₇特征集合通过上采样得到宽度为W、H的144幅特征图层集合R₃₀。

2_4对于隐层第三部分，隐层第三部分通过位置注意力机制与通道注意力机制两个并行注意力机制网络构成，具体步骤为：

将特征图集合R₂₄、R₂₈、R₂₉和R₃₀合并为新的特征图集合R₃₁，将特征图集合R₃₁经过一个带有BN层和Relu层的1×1卷积层，输出一个宽度为W，高度为H的36幅特征图集合R₃₂。

位置注意力机制网络输入端输入

表示通道数为36，宽度为W，高度为H的特征图集合R₃₂。然后经过一个带有BN层和ReLU层的卷积操作得到两个新的特征C,D,其中{C,D}∈R^36×H×W，然后将这两个特征重新定义形状为R^36×N，其中N＝H×W，然后在C和D的转置上应用一次矩阵乘法，之后应用softmax层计算位置映射图S∈R^N×N，softmax层计算如公式1：

其中S_ij表示第i个位置对第j个位置的影响，两个位置的特征越相似对这个值的影响越大。同时将特征图集合

输入到一个带有BN层和ReLU层的卷积层产生另外一个特征图集合

重新定义形状为R^36×N，然后对D和S的转置应用一次矩阵乘法，重新定义形状为

然后乘上一个因子α，α是可随网络自动调节的参数，初始化为0。与特征A进行一个逐元素的相加操作得到最终的输出F_j，重新定义形状得到

计算如公式2：

通道注意力机制网络输入端输入

将

进行reshape操作生成特征图集合

然后在

与

的转置上应用一次矩阵乘法，最终应用一个softmax层以获得通道注意力图

X的计算公式见公式3：

其中x_ji表示了第i个通道对第j个通道的影响。之后对X的转置和

进行一次矩阵乘法然后reshape到R^36×H×W，然后乘上一个因子β，然后与原始特征A进行一个逐元素的加和操作得到输出G_j并重新定义形状得到最终的特征图G∈R^36×H×W，具体地见公式4:

将特征图集合F和G合并，然后经过一个带有BN层和Relu层的1×1卷积层之后得到新的特征图集合R₃₆。

对于输出层，其由1个卷积层组成，输出层的输入端接收由特征图集合F和G合并之后的新特征图集合R₃₆，输出层的输出端输出19幅与原始输入图像对应的语义分割预测图；其中，每幅语义分割预测图的宽度为W、高度为H。

2_5将训练集中的每幅原始的街景图像作为原始输入图像，输入到神经网络中进行训练，得到训练集中的每幅原始的街景图像对应的19幅语义分割预测图，将{I^m(i,j)}对应的19幅语义分割预测图构成的集合记为

2_6计算训练集中的每幅原始的街景图像对应的19幅语义分割预测图构成的集合与对应的真实语义分割图像处理成的灰度图像集合之间的损失函数值，将

与

之间的损失函数值记为

采用分类交叉熵(categoricalcrossentropy)获得。

2_7重复执行步骤2_5和步骤2_6共N次，得到卷积神经网络分类训练模型，并共得到M×N个损失函数值；然后从M×N个损失函数值中找出值最小的损失函数值；接着将值最小的损失函数值对应的权值矢量和偏置项对应作为卷积神经网络分类训练模型的最优权值矢量和最优偏置项，对应记为W^best和b^best；其中，N＞1；在本实例中N＝484。

所述的测试阶段过程的具体步骤为：

3_1令

表示待语义分割的道路场景图像；其中，1≤i'≤W'，1≤j'≤H'，W'表示

的宽度，H'表示

的高度，

表示

中坐标位置为(i,j)的像素点的像素值；

3_2将

的R通道分量、G通道分量和B通道分量输入到卷积神经网络分类模型中，并利用W^best和b^best进行预测，得到

对应的预测语义分割图像，记为

其中，

表示

中坐标位置为(i',j')的像素点的像素值。

为了进一步验证本发明方法的可行性和有效性，进行试验。

使用基于python的深度学习库pytorch0.4.0搭建卷积神经网络的架构。采用Cityscapes测试集来分析利用本发明方法预测得到的街景图像的分割效果如何。这里，利用评估语义分割方法的3个常用客观参量作为评价指标，即像素精度(Pixel Accuracy,PA)、均像素精度(Mean Pixel Accuracy,MPA)、均交并比(Mean Intersection overUnion,MIoU)来评比预测语义分割图像的分割性能。

利用本发明方法对Cityscapes测试集中的每幅街景图像进行预测，得到每幅街景图像对应的预测语义分割图像，反应本发明方法的语义分割效果的像素精度PA、均像素精度MPA、均交并比MIoU如表1所示，像素精度PA、均像素精度MPA、均交并比MIoU的值越高，说明有效性和预测准确率越高。从表1所列的数据可知，按本发明方法得到的街景图像的分割效果是较好的，表明利用本发明方法来获取街景图像对应的预测语义分割图像是具有可行性且有效的。

表1利用本发明方法在测试集上的评测结果

图3a给出了选取的一幅待语义分割的街景图像；图3b给出了图3a所示的待语义分割的街景图像对应的真实语义分割图像；图3c给出了利用本发明方法对图3a所示的待语义分割的街景图像进行预测，得到的预测语义分割图像。对比图3b和图3c，可以看出利用本发明方法得到的预测语义分割图像的分割精度较高，接近真实语义分割图像。

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (10)

1.一种融合网络和双通道注意力机制的街景图像分割方法，包括训练阶段和测试阶段，其特征是：

一、训练阶段：构建基于高分辨率融合网络和双通道注意力机制的图像分割卷积神经网络模型并训练模型；包括如下步骤：

1)选取图像训练集，包括原始图像及相应的真实语义分割图像；并分别将训练集中的每幅原始街景图像对应的真实语义分割图像处理成独热编码图像；

选取M幅原始的街景图像及每幅原始的街景图像对应的真实语义分割图像，并构成训练集，将训练集中的第m幅原始的街景图像记为{I^m(i,j)}，将训练集中与{I^m(i,j)}对应的真实语义分割图像记为

M为正整数；M≥100；m为正整数，1≤m≤M；(i,j)为图像中像素点的坐标位置；1≤i≤W，1≤j≤H，W表示{I^m(i,j)}的宽度，H表示{I^m(i,j)}的高度；I^m(i,j)表示{I^m(i,j)}中坐标位置为(i,j)的像素点的像素值，

表示

中坐标位置为(i,j)的像素点的像素值；

将训练集中的每幅原始街景图像对应的真实语义分割图像处理成多幅独热编码图像，构成的集合记为

2)构建基于高分辨率融合网络和双通道注意力机制的图像分割卷积神经网络模型并训练：

基于高分辨率融合网络和双通道注意力机制的图像分割卷积神经网络模型包括输入层、隐层和输出层；隐层包括以密集采样方式堆叠的四个扩张卷积块、高分辨率融合网络和双通道注意力机制；

2A)输入层用于接收原始输入图像的R、G、B三通道分量并输出给隐层；

输入层的输入端接收一幅宽度为W，高度为H的原始输入图像的R、G、B三通道分量，输入层的输出端输出原始输入图像的R、G、B三通道分量给隐层；

2B)通过隐层中的以密集连接方式堆叠的四个扩张卷积块按序生成多幅特征图；

隐层中的密集连接方式堆叠的四个扩张卷积块中，每个扩张卷积块由带有BN层、Relu层和扩张卷积层构成；

第1个扩张卷积块输入端接收输入层的输出端输出的原始输入图像的R通道分量、G通道分量和B通道分量，扩张率为3，输出端输出32幅特征图，将32幅特征图构成的集合记为R₁；

第2个扩张卷积块输入端接收输入层的输出端输出的原始输入图像的所有通道分量和R₁，扩张率为6，输出端输出64幅特征图，将64幅特征图构成的集合记为R₂；

第3个扩张卷积块输入端接收输入层的输出端输出的原始输入图像的所有通道分量、R₁和R₂，扩张率为12，输出端输出128幅特征图，将128幅特征图构成的集合记为R₃；

第4个扩张卷积块输入端接收输入层的输出端输出的原始输入图像的所有通道分量、R₁、R₂和R₃，扩张率为18，输出端输出64幅特征图，将64幅特征图构成的集合记为R₄；其中，R₄中每幅特征图的宽度为W，高度为H；

2C)通过三个阶段构建隐层中的高分辨率融合网络：

利用残差网络中的残差基本块作为网络搭建的基本块；每个阶段均比前一阶段多增加一条输入分支，即多获得一种分辨率的特征图层；每个阶段之间进行分辨率特征图层的相互融合，在空间上保留原始图像更多的特征信息；具体包括：

第一阶段生成两个并行网络S₁和S₂：

S₁由3个残差基本块串联构成；每个残差基本块的输入特征层与输出特征层的宽和高一致，S₁输入端接收R₄中所有的特征图，S₁的输出端输出36幅特征图，将36幅特征图构成的集合记为R₆，其中，R₆中的每幅特征图的宽度为W，高度为H；R₄集合所有特征层通过卷积得到64幅特征层集合R₅，其中，R₅中的每幅特征图的宽度为W/2，高度为H/2；

S₂由3个残差基本块串联构成，每个残差基本块的输入特征层与输出特征层宽高一致，S₂输入端接收R₅中所有的特征图，S₂输出端输出36幅特征图，将36幅特征图集合记为R₇，其中，R₇中的每幅特征图的宽度为W/2，高度为H/2；R₆特征集合通过下采样得到宽度为W/2、高度为H/2的36幅特征图层集合R₈；通过下采样得到宽度为W/4、H/4的36幅特征图层集合R₉；R₇特征图层集合通过上采样得到宽度为W、高度为H的36幅特征图层集合R₁₀；通过下采样得到宽度为W/4、H/4的36幅特征图层集合R₁₁；

第二阶段生成三个并行网络S₃、S₄和S₅：

S₃由3个残差基本块串联构成，每个残差基本块的输入特征层与输出特征层宽高一致，S₃输入端接收R₆与R₁₀中所有的特征图，S₃的输出端输出72幅特征图，将72幅特征图构成的集合记为R₁₂，其中，R₁₂中的每幅特征图的宽度为W，高度为H；

S₄由3个残差基本块串联构成，每个残差基本块的输入特征层与输出特征层宽高一致，S₄输入端接收R₇与R₈中所有的特征图，S₄的输出端输出72幅特征图，将72幅特征图构成的集合记为R₁₃，其中，R₁₃中的每幅特征图的宽度为W/2，高度为H/2；

S₅由3个残差基本块串联构成，每个残差基本块的输入特征层与输出特征层宽高一致，S₅输入端接收R₉与R₁₁中所有的特征图，S₅的输出端输出72幅特征图构成的集合记为R₁₄，其中，R₁₄中的每幅特征图的宽度为W/4，高度为H/4；

在S₃、S₄和S₅的输出端，R₁₂特征集合通过下采样得到宽度为W/2、H/2的72幅特征图层集合R₁₅；通过下采样得到宽度为W/4、H/4的72幅特征图层集合R₁₆；通过下采样得到宽度为W/8、H/8的72幅特征图层集合R₁₇；R₁₃特征集合通过上采样得到宽度为W、H的72幅特征图层集合R₁₈；通过下采样得到宽度为W/4、H/4的72幅特征图层集合R₁₉；通过下采样得到宽度为W/8、H/8的72幅特征图层集合R₂₀；R₁₄特征集合通过上采样得到宽度为W、H的72幅特征图层集合R₂₁；通过上采样得到宽度为W/2、H/2的72幅特征图层集合R₂₂；通过下采样得到宽度为W/8、H/8的72幅特征图层集合R₂₃；

第三阶段生成四个并行网络S₆、S₇、S₈和S₉，其中：

S₆由3个残差基本块串联构成，每个残差基本块的输入特征层与输出特征层宽高一致，S₆输入端接收R₁₂、R₁₈与R₂₁中所有的特征图，S₆的输出端输出144幅特征图，将144幅特征图构成的集合记为R₂₄，其中，R₂₄中的每幅特征图的宽度为W，高度为H；

S₇由3个残差基本块串联构成，每个残差基本块的输入特征层与输出特征层宽高一致，S₇输入端接收R₁₃、R₁₅与R₂₂中所有的特征图，S₇的输出端输出144幅特征图，将144幅特征图构成的集合记为R₂₅，其中，R₂₅中的每幅特征图的宽度为W/2，高度为H/2；

S₈由3个残差基本块串联构成，每个残差基本块的输入特征层与输出特征层宽高一致，S₈输入端接收R₁₄、R₁₆与R₁₉中所有的特征图，S₈的输出端输出144幅特征图，将144幅特征图构成的集合记为R₂₆，其中，R₂₆中的每幅特征图的宽度为W/4，高度为H/4；

S₉由3个残差基本块串联构成，每个残差基本块的输入特征层与输出特征层宽高一致，S₉输入端接收R₁₇、R₂₀与R₂₃中所有的特征图，S₉的输出端输出144幅特征图，将144幅特征图构成的集合记为R₂₇，其中，R₂₇中的每幅特征图的宽度为W/8，高度为H/8；R₂₅特征集合通过上采样得到宽度为W、H的144幅特征图层集合R₂₈；R₂₆特征集合通过上采样得到宽度为W、H的144幅特征图层集合R₂₉；R₂₇特征集合通过上采样得到宽度为W、H的144幅特征图层集合R₃₀；

2D)由位置注意力机制与通道注意力机制两个并行注意力机制网络构成隐层的双通道注意力机制；具体为：

2D1)将特征图集合R₂₄、R₂₈、R₂₉和R₃₀合并为新的特征图集合R₃₁，将特征图集合R₃₁经过一个带有BN层和Relu层的1×1卷积层，输出一个宽度为W，高度为H的36幅特征图集合R₃₂；

2D2)位置注意力机制网络输入端的输入为

表示通道数为36，宽度为W，高度为H的特征图集合；通过带有BN层和ReLU层的卷积操作，得到两个新的特征C、D，其中{C,D}∈R^36×H×W；

2D3)将特征C、D重新定义形状为R^36×N，其中N＝H×W；在特征C和D的转置矩阵上应用矩阵乘法，再应用softmax层计算位置映射图S∈R^N×N；

2D4)同时将特征图集合

输入到一个带有BN层和ReLU层的卷积层，产生另一个特征图集合

重新定义形状为R^36×N；

2D5)然后对D和S的转置矩阵应用矩阵乘法，重新定义形状为

然后乘上因子α，α是可随网络自动调节的参数；与特征A进行逐元素的相加操作，得到最终的输出

2D6)通道注意力机制网络输入端的输入

将

进行reshape操作生成特征图集合

然后在

与

的转置上应用矩阵乘法，再应用softmax层获得通道注意力图

2D7)之后对X的转置和

进行一次矩阵乘法，然后reshape到R^36×H×W，再乘上因子β，与原始特征A进行逐元素的加和操作，得到最终的特征图G∈R^36×H×W；

2D8)将2D5)的特征图集合F和步骤2D7)的特征图集合G合并，然后通过带有BN层和Relu层的1×1卷积层之后，即得到新的特征图集合R₃₆；

2D9)输出层由1个卷积层组成；输出层的输入端接收新特征图集合R₃₆，输出层的输出端输出与原始输入图像对应的语义分割预测图；其中，每幅语义分割预测图的宽度为W、高度为H；

2E)将训练集中的每幅原始的街景图像作为原始输入图像，输入到步骤2)构建的卷积神经网络模型中进行训练，得到训练集中的每幅原始的街景图像对应的多幅语义分割预测图，将每幅原始的街景图像{I^m(i,j)}对应的语义分割预测图构成的集合记为

2F)计算训练集中的每幅原始的街景图像对应的多幅语义分割预测图构成的集合

与对应的真实语义分割图像处理成的独热编码图像集合

之间的损失函数值，将

与

之间的损失函数值记为

2G)重复执行步骤2E)和步骤2F)共N次，得到卷积神经网络分类训练模型，并共得到M×N个损失函数值；然后从M×N个损失函数值中找出值最小的损失函数值；其中，N＞1；接着将值最小的损失函数值对应的权值矢量和偏置项作为卷积神经网络分类训练模型对应的最优权值矢量和最优偏置项，对应记为W^best和b^best；即完成卷积神经网络分类模型的训练，得到训练好的基于高分辨率融合网络和双通道注意力机制的图像分割卷积神经网络模型；

二、测试阶段，包括如下步骤：

3A)令

表示待语义分割的道路场景图像；其中，1≤i'≤W'，1≤j'≤H'，W'表示

的宽度，H'表示

的高度，

表示

中坐标位置为(i,j)的像素点的像素值；

3B)将

的R通道分量、G通道分量和B通道分量输入到训练好的卷积神经网络分类模型中，利用W^best和b^best进行预测，得到

对应的预测语义分割图像，记为

其中，

表示

中坐标位置为(i',j')的像素点的像素值；

通过上述步骤，即实现基于高分辨率融合网络和双通道注意力机制的图像语义分割。

2.如权利要求1所述的融合网络和双通道注意力机制的街景图像分割方法，其特征是，原始街景图像为RGB彩色图像。

3.如权利要求1所述的融合网络和双通道注意力机制的街景图像分割方法，其特征是，采用独热编码技术将训练集中的每幅原始街景图像对应的真实语义分割图像处理成多幅独热编码图像。

4.如权利要求3所述的融合网络和双通道注意力机制的街景图像分割方法，其特征是，对街景图像物体类别分为19类，将与原始街景图像对应的真实语义分割图像

处理成19幅独热编码图像。

5.如权利要求1所述的融合网络和双通道注意力机制的街景图像分割方法，其特征是，步骤2)构建基于高分辨率融合网络和双通道注意力机制的图像分割卷积神经网络模型，其中隐层包括的以密集采样方式堆叠的四个扩张卷积块具体是：由四个卷积核大小均为3×3，扩张率分别为6，12，18，24的卷积块以密集采样方式堆叠构成。

6.如权利要求1所述的融合网络和双通道注意力机制的街景图像分割方法，其特征是，残差基本块均由一个BN层、一个Relu层和一个3×3卷积核、步长为1、填充为1的卷积层构成。

7.如权利要求3所述的融合网络和双通道注意力机制的街景图像分割方法，其特征是，步骤2F)具体采用分类交叉熵获得

与

之间的损失函数值

8.如权利要求1所述的融合网络和双通道注意力机制的街景图像分割方法，其特征是，步骤2D3)具体通过式1应用softmax层计算位置映射图S∈R^N×N：

其中，S_ij表示第i个位置影响第j个位置的位置映射图。

9.如权利要求8所述的融合网络和双通道注意力机制的街景图像分割方法，其特征是，步骤2D5)得到输出

的计算过程表示为式2：

其中，F_j表示所有位置与原始位置加权和之后的特征结果。

10.如权利要求8所述的融合网络和双通道注意力机制的街景图像分割方法，其特征是，步骤2D6)获得通道注意力图

的计算过程表示为式3：

其中，x_ji的下标表示第i个通道对第j个通道的影响；

步骤2D7)得到最终的特征图G∈R^36×H×W的计算过程表示为式4:

其中，G_j表示所有通道特征和原始通道特征加权和知乎得到的通道特征结果。

Images