CN115115831A - 基于注意力引导的多尺度上下文信息交互的语义分割方法 - Google Patents

Abstract

本发明公开了一种基于注意力引导的多尺度上下文信息交互的语义分割方法，首先将公共数据集CamVid中所有图像数据划分为训练集、验证集及测试集，然后对训练集的所有图像数据进行数据增强和预处理操作；使用残差结构构造ResNet50网络模型；使用注意力机制和深度可分离卷积构造注意力引导模块，使用全局平均池化构造池化单元；将城市场景图像上采样二倍和下采样二倍，然后使用ResNet50模型提取深度特征，最后提取图像的多尺度特征；最终输出语义分割的结果。本发明解决了现有技术中存在的街道场景语义分割中的多尺度分割受限和单一的串行连接导致的类内分割不一致问题。

Description

基于注意力引导的多尺度上下文信息交互的语义分割方法

技术领域

本发明属于数字图像处理技术领域，具体涉及一种基于注意力引导的多尺度上下文信息交互的语义分割方法。

背景技术

图像语义分割的研究目标是获取图像中的每个像素的类别标签，它是场景理解的先验任务，而场景理解则是基于分割，获取图像内所有像素的类别标签。面向街道场景的图像语义分割在智能驾驶、智慧交管等领域都表现出极其重要的应用价值。基于深度学习的语义分割只需要输入数据，就可以通过输入和输出的非线性映射与反向传播机制自动提取图像中的各层特征，通过网络学习到的特征表达能力更强。图像中从底层特征到高层特征的所有特征都利于语义分割，但是深度学习方法受限于模型深度，因此同时提取边缘信息和强结构信息比较困难，提取特征时难免顾此失彼，尤其使在面向街道场景的语义分割中出现小尺度目标丢失、相似性目标难以精准分割的问题。

发明内容

本发明的目的是提供一种基于注意力引导的多尺度上下文信息交互的语义分割方法，解决了现有技术中存在的街道场景语义分割中的多尺度分割受限和单一的串行连接导致的类内分割不一致问题。

本发明所采用的技术方案是，基于注意力引导的多尺度上下文信息交互的语义分割方法，具体按照以下步骤实施：

步骤1、将公共数据集CamVid中所有图像数据划分为训练集、验证集及测试集，然后对训练集的所有图像数据进行数据增强和预处理操作；

步骤2、使用残差结构构造ResNet50网络模型；使用注意力机制和深度可分离卷积构造注意力引导模块，使用全局平均池化构造池化单元；

步骤3、首先将城市场景图像S₁上采样二倍和下采样二倍，得到图像S₂和S₃，然后使用ResNet50模型提取S₁，S₂，S₃的深度特征，记为S₁′，S₂′，S₃′，提取S₁的第三层特征记为S_l，最后使用基于注意力引导的多尺度交互编码网络提取图像的多尺度特征F_S；

步骤4、将多尺度特征F_S与S₁的第三层特S_l依次进行拼接、卷积和四倍上采样积操作，逐渐恢复图像分辨率，最终输出语义分割的结果；

步骤5、使用训练集和验证集对模型进行训练，在测试集上验证模型的分割效果。

本发明的特点还在于，

步骤1具体按照以下步骤实施：

步骤1.1、将CamVid数据集的图像数据按照4∶1∶3的比例划分为训练集、验证集及测试集；

步骤1.2、对于验证集和测试集的所有图像数据首先使用随机裁剪和随机旋转的方法进行数据增强，然后缩使用双线性插值对图像预处理，将图像缩放到513×513像素。

步骤2具体按照以下步骤实施：

步骤2.1、构造残差模块：首先使用64个1×1的卷积和ReLU函数降维，然后使用3×3的卷积和ReLU函数提取特征，最后使用256个1×1的卷积和ReLU函数恢复维度；

步骤2.2、ResNet50的结构表，首先使用64个7×7、步长为2的卷积提取特征，然后使用16个残差模块，其中残差结构使特征矩阵隔层相加；

步骤2.3、使用深度卷积单元和注意力头单元构造注意力引导模块，深度卷积单元首先使用全局平均池化层提取ResNet50输出特征图x的通道维的平均值x'，然后使用两组深度可分离卷积单元提取x'的深度特征x”，深度可分离卷积单元的组成依次为3×3逐深度卷积层、批归一化层、ReLU激活层、3×3逐点卷积层、批归一化层、ReLU激活层，最后对x”使用二倍上采样得到特征x”'；

步骤2.4、注意力引导模块中的注意力头单元首先使用两组注意模块计算x'的通道注意力图y，注意模块组成为3×3卷积层、批归一化层、ReLU激活层，然后对通道注意力图y使用1×1卷积和Sigmoid激活得到特征y'，最后将特征y'和步骤2.3中的特征x”逐元素相乘得到注意力引导模块的输出特征；

步骤2.5、构造池化单元，对输入的特征图x依次使用全局平均池化、1×1卷积、批归一化、ReLU激活得到输出特征图x_g。

步骤2.1、2.3、2.4、2.5中，ReLU激活函数的定义如公式(1)所示：

ReLU(x)＝max(0,x) (1)

其中，x表示输入数据，max()函数返回输入数据中的最大值；

步骤2.4中Sigmoid激活函数定义如式(2)

其中，x表示输入数据。

步骤3具体如下：

步骤3.1、首先将城市场景图像S₁上采样二倍和下采样二倍，得到图像S₂和S₃；然后使用ResNet50模型提取S₁,S₂,S₃的深度特征，记为S'₁,S'₂,S'₃，提取S₁的第三层特征记为S_l；最后对深度特征S'₁使用池化单元得到特征S_g；

步骤3.2、将深度特征S'₁,S'₂,S'₃分别使用所述步骤2的注意力引导模块计算通道注意力权重，得到特征S”₁,S”₂,S”₃；然后将特征S_g与特征S”₃逐元素相加得到特征S_{3_1}，将特征S_{3_1}与特征S”₁逐元素相加得到特征S_{1_1}，最后将S_{1_1}与S”₂逐元素相加得到多尺度特征F_S。

步骤4具体如下：

首先将多尺度特征F_S与城市场景图像S₁的第三层特征S_l按照通道维度拼接得到特征F_s'，然后对特征F_s'使用3×3卷积和四倍上采样得到语义分割的结果。

步骤5具体如下：

使用CamVid数据集的训练集的图像数据训练模型，共训练110100次，每训练367次使用平均交并比mIoU评估验证集的精度；训练模型使用交叉熵损失函数L_ce，初始学习率设置为0.0005，采用多项式衰减策略。经过训练，本方法在Cityscapes测试集上的平均交并比为74.02％。

步骤5中，交叉熵损失函数L_ce的定义如式(3)：

其中，N表示类别总数12；n表示当前类别，n∈{0,1,...,11}；p是当前像素每种类别的模型输出的概率值；

代表当前像素的真实标签值；

使用的平均交并比mIoU的定义如(4)：

其中，k是除背景外其余类别个数，p_ij表示类别i但被推断为类别j的像素数量，k＝11，i,j∈{0,1,...,k}。

本发明的有益效果是，基于注意力引导的多尺度上下文信息交互的语义分割方法，通过一种链式连接结构使网络关注于相邻尺度特征的相对注意力，而不是同时计算所有尺度的注意力，这样可以减轻训练时的负担，便于模型收敛；本发明方法使用了一种注意力引导模块在不同尺度上对像素特征编码，有利于多尺度对象分段，通过捕获远距离的依赖从而提高类内一致性，该模块可以视为小型编码解码结构增加网络深度，提高模型学习能力。因此，本发明方法可以有效解决街道场景图像中多尺度对象难以分割和同一类别内部分割不一致的问题。

附图说明

图1是本发明注意力引导的非对称语义分割方法的流程图；

图2是本发明注意力引导的非对称语义分割方法中使用的注意力引导模块结构的示意图；

图3是本发明注意力引导的非对称语义分割方法中使用的注意力头单元的实现细节；

图4是本发明注意力引导的非对称语义分割方法中使用的池化单元的示意图；

图5本发明实施例中测试集中随机取得的第一幅原图像和第二幅原图像与分割结果的对比图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明基于注意力引导的多尺度上下文信息交互的语义分割方法，流程图如图1所示，具体按照以下步骤实施：

步骤1、将公共数据集CamVid中所有图像数据划分为训练集、验证集及测试集，然后对训练集的所有图像数据进行数据增强和预处理操作；

步骤1具体按照以下步骤实施：

步骤1.1、将CamVid数据集的图像数据按照4∶1∶3的比例划分为训练集、验证集及测试集；

步骤1.2、对于验证集和测试集的所有图像数据首先使用随机裁剪和随机旋转的方法进行数据增强，然后缩使用双线性插值对图像预处理，将图像缩放到513×513像素。

步骤2、使用残差结构构造ResNet50网络模型；使用注意力机制和深度可分离卷积构造注意力引导模块，使用全局平均池化构造池化单元；

结合图2～图4，步骤2具体按照以下步骤实施：

步骤2.1、构造残差模块：首先使用64个1×1的卷积和ReLU函数降维，然后使用3×3的卷积和ReLU函数提取特征，最后使用256个1×1的卷积和ReLU函数恢复维度；

步骤2.2、ResNet50的结构表，如表1所示，首先使用64个7×7、步长为2的卷积提取特征，然后使用16个残差模块，其中残差结构使特征矩阵隔层相加；是一种短路连接。

表1 ResNet50的结构信息表

步骤2.3、使用深度卷积单元和注意力头单元构造注意力引导模块，深度卷积单元首先使用全局平均池化层提取ResNet50输出特征图x的通道维的平均值x'，然后使用两组深度可分离卷积单元提取x'的深度特征x”，深度可分离卷积单元的组成依次为3×3逐深度卷积层、批归一化层、ReLU激活层、3×3逐点卷积层、批归一化层、ReLU激活层，最后对x”使用二倍上采样得到特征x”'；

步骤2.4、注意力引导模块中的注意力头单元首先使用两组注意模块计算x'的通道注意力图y，注意模块组成为3×3卷积层、批归一化层、ReLU激活层，然后对通道注意力图y使用1×1卷积和Sigmoid激活得到特征y'，最后将特征y'和步骤2.3中的特征x”逐元素相乘得到注意力引导模块的输出特征；

步骤2.5、构造池化单元，对输入的特征图x依次使用全局平均池化、1×1卷积、批归一化、ReLU激活得到输出特征图x_g。

步骤2.1、2.3、2.4、2.5中，ReLU激活函数的定义如公式(1)所示：

ReLU(x)＝max(0,x) (5)

其中，x表示输入数据，max()函数返回输入数据中的最大值；

步骤2.4中Sigmoid激活函数定义如式(2)

其中，x表示输入数据。

步骤3、首先将城市场景图像S₁上采样二倍和下采样二倍，得到图像S₂和S₃，然后使用ResNet50模型提取S₁,S₂,S₃的深度特征，记为S₁',S₂',S₃'，提取S₁的第三层特征记为S_l，最后使用基于注意力引导的多尺度交互编码网络提取图像的多尺度特征F_S；

步骤3具体如下：

步骤3.1、首先将城市场景图像S₁上采样二倍和下采样二倍，得到图像S₂和S₃；然后使用ResNet50模型提取S₁,S₂,S₃的深度特征，记为S'₁,S'₂,S'₃，提取S₁的第三层特征记为S_l；最后对深度特征S'₁使用池化单元得到特征S_g；

步骤3.2、将深度特征S'₁,S'₂,S'₃分别使用所述步骤2的注意力引导模块计算通道注意力权重，得到特征S”₁,S”₂,S”₃；然后将特征S_g与特征S”₃逐元素相加得到特征S_{3_1}，将特征S_{3_1}与特征S”₁逐元素相加得到特征S_{1_1}，最后将S_{1_1}与S”₂逐元素相加得到多尺度特征F_S。

步骤4、将多尺度特征F_S与S₁的第三层特S_l依次进行拼接、卷积和四倍上采样积操作，逐渐恢复图像分辨率，最终输出语义分割的结果；

步骤4具体如下：

首先将多尺度特征F_S与城市场景图像S₁的第三层特征S_l按照通道维度拼接得到特征F_s'，然后对特征F_s'使用3×3卷积和四倍上采样得到语义分割的结果。

步骤5、使用训练集和验证集对模型进行训练，在测试集上验证模型的分割效果。

步骤5具体如下：

使用CamVid数据集的训练集的图像数据训练模型，共训练110100次，每训练367次使用平均交并比mIoU评估验证集的精度；训练模型使用交叉熵损失函数L_ce，初始学习率设置为0.0005，采用多项式衰减策略。经过训练，本方法在Cityscapes测试集上的平均交并比为74.02％。

步骤5中，交叉熵损失函数L_ce的定义如式(3)：

其中，N表示类别总数12；n表示当前类别，n∈{0,1,...,11}；p是当前像素每种类别的模型输出的概率值；

代表当前像素的真实标签值；

使用的平均交并比mIoU的定义如(4)：

其中，k是除背景外其余类别个数，p_ij表示类别i但被推断为类别j的像素数量，k＝11，i,j∈{0,1,...,k}。

图5是本方法在公开数据集CamVid的测试集上的语义分割结果。从场景1中可以看出，本方法实现了目标的精细分割，例如分割结果图像的车身轮廓边缘与轮胎边缘分割地较为精准；场景2中可以看出本方法实现了小目标的细节准确预测，例如完整地分割了路灯杆的细节与远处车辆的结构。

Claims (8)

1.基于注意力引导的多尺度上下文信息交互的语义分割方法，其特征在于，具体按照以下步骤实施：

步骤1、将公共数据集CamVid中所有图像数据划分为训练集、验证集及测试集，然后对训练集的所有图像数据进行数据增强和预处理操作；

步骤2、使用残差结构构造ResNet50网络模型；使用注意力机制和深度可分离卷积构造注意力引导模块，使用全局平均池化构造池化单元；

步骤3、首先将城市场景图像S₁上采样二倍和下采样二倍，得到图像S₂和S₃，然后使用ResNet50模型提取S₁,S₂,S₃的深度特征，记为S₁',S₂',S₃'，提取S₁的第三层特征记为S_l，最后使用基于注意力引导的多尺度交互编码网络提取图像的多尺度特征F_S；

步骤4、将多尺度特征F_S与S₁的第三层特S_l依次进行拼接、卷积和四倍上采样积操作，逐渐恢复图像分辨率，最终输出语义分割的结果；

步骤5、使用训练集和验证集对模型进行训练，在测试集上验证模型的分割效果。

2.根据权利要求1所述的基于注意力引导的多尺度上下文信息交互的语义分割方法，其特征在于，所述步骤1具体按照以下步骤实施：

步骤1.1、将CamVid数据集的图像数据按照4:1:3的比例划分为训练集、验证集及测试集；

步骤1.2、对于验证集和测试集的所有图像数据首先使用随机裁剪和随机旋转的方法进行数据增强，然后缩使用双线性插值对图像预处理，将图像缩放到513×513像素。

3.根据权利要求2所述的基于注意力引导的多尺度上下文信息交互的语义分割方法，其特征在于，所述步骤2具体按照以下步骤实施：

步骤2.1、构造残差模块：首先使用64个1×1的卷积和ReLU函数降维，然后使用3×3的卷积和ReLU函数提取特征，最后使用256个1×1的卷积和ReLU函数恢复维度；

步骤2.2、ResNet50的结构表，首先使用64个7×7、步长为2的卷积提取特征，然后使用16个残差模块，其中残差结构使特征矩阵隔层相加；

步骤2.3、使用深度卷积单元和注意力头单元构造注意力引导模块，深度卷积单元首先使用全局平均池化层提取ResNet50输出特征图x的通道维的平均值x'，然后使用两组深度可分离卷积单元提取x'的深度特征x”，深度可分离卷积单元的组成依次为3×3逐深度卷积层、批归一化层、ReLU激活层、3×3逐点卷积层、批归一化层、ReLU激活层，最后对x”使用二倍上采样得到特征x”'；

步骤2.4、注意力引导模块中的注意力头单元首先使用两组注意模块计算x'的通道注意力图y，注意模块组成为3×3卷积层、批归一化层、ReLU激活层，然后对通道注意力图y使用1×1卷积和Sigmoid激活得到特征y'，最后将特征y'和步骤2.3中的特征x”逐元素相乘得到注意力引导模块的输出特征；

步骤2.5、构造池化单元，对输入的特征图x依次使用全局平均池化、1×1卷积、批归一化、ReLU激活得到输出特征图x_g。

4.根据权利要求3所述的基于注意力引导的多尺度上下文信息交互的语义分割方法，其特征在于，所述步骤2.1、2.3、2.4、2.5中，ReLU激活函数的定义如公式(1)所示：

ReLU(x)＝max(0,x) (1)

其中，x表示输入数据，max()函数返回输入数据中的最大值；

步骤2.4中Sigmoid激活函数定义如式(2)

其中，x表示输入数据。

5.根据权利要求4所述的基于注意力引导的多尺度上下文信息交互的语义分割方法，其特征在于，所述步骤3具体如下：

步骤3.1、首先将城市场景图像S₁上采样二倍和下采样二倍，得到图像S₂和S₃；然后使用ResNet50模型提取S₁,S₂,S₃的深度特征，记为S'₁,S'₂,S'₃，提取S₁的第三层特征记为S_l；最后对深度特征S'₁使用池化单元得到特征S_g；

步骤3.2、将深度特征S'₁,S'₂,S'₃分别使用所述步骤2的注意力引导模块计算通道注意力权重，得到特征S”₁,S”₂,S”₃；然后将特征S_g与特征S”₃逐元素相加得到特征S_{3_1}，将特征S_{3_1}与特征S”₁逐元素相加得到特征S_{1_1}，最后将S_{1_1}与S”₂逐元素相加得到多尺度特征F_S。

6.根据权利要求5所述的基于注意力引导的多尺度上下文信息交互的语义分割方法，其特征在于，所述步骤4具体如下：

首先将多尺度特征F_S与城市场景图像S₁的第三层特征S_l按照通道维度拼接得到特征F_s'，然后对特征F_s'使用3×3卷积和四倍上采样得到语义分割的结果。

7.根据权利要求6所述的基于注意力引导的多尺度上下文信息交互的语义分割方法，其特征在于，所述步骤5具体如下：

使用CamVid数据集的训练集的图像数据训练模型，共训练110100次，每训练367次使用平均交并比mIoU评估验证集的精度；训练模型使用交叉熵损失函数L_ce，初始学习率设置为0.0005，采用多项式衰减策略，经过训练，本方法在Cityscapes测试集上的平均交并比为74.02％。

8.根据权利要求7所述的基于注意力引导的多尺度上下文信息交互的语义分割方法，其特征在于，所述步骤5中，交叉熵损失函数L_ce的定义如式(3)：

其中，N表示类别总数12；n表示当前类别，n∈{0,1,...,11}；p是当前像素每种类别的模型输出的概率值；

代表当前像素的真实标签值；

使用的平均交并比mIoU的定义如(4)：

其中，k是除背景外其余类别个数，p_ij表示类别i但被推断为类别j的像素数量，k＝11，i,j∈{0,1,...,k}。

Images