CN114299286A - 一种异常天气下基于类别分组的道路场景语义分割方法 - Google Patents

Abstract

本发明公开了一种异常天气下基于类别分组的道路场景语义分割方法，步骤如下：（1）准备数据；（2）将道路场景类别根据对异常天气下自动驾驶安全的重要性进行分组，保证重要类别与非重要类别分开，依据分组结果构建道路场景语义分割模型；（21）将类别根据对异常天气下自动驾驶安全的重要性进行分组；（22）依据类别分组结果构建模型；（3）输入数据到模型中，得到分割结果；（31）输入数据，提取数据特征；（32）获取全类别特征；（33）使用全类别特征编码类别关系，获取类别关系特征；（34）完成类别关系特征解码，获得分割结果；（4）模型迭代训练；（5）模型测试。本发明可保证在异常天气下重要分组的分割效果，最大程度的保证自动驾驶任务的安全进行。同时可以在异常程度较小的条件下，获得和正常模型相当的整体分割效果。

Description

一种异常天气下基于类别分组的道路场景语义分割方法

技术领域

本发明涉及计算机视觉图像分割技术领域，具体是一种异常天气下基于类别分组的道路场景语义分割方法。

背景技术

针对自动驾驶任务，现有的道路场景语义分割方法大部分都是基于正常天气条件下进行研究的，未考虑难度更大、较常见的异常天气条件。而且由于异常天气下数据采集和标注的困难，导致各种相关数据集的缺乏。因此一般的语义分割模型只能处理正常天气条件下的场景，在异常天气条件下难以发挥作用，分割效果很差，无法应用在异常天气下的道路场景语义分割任务中。考虑到在异常天气下，自动驾驶任务最需要保证的是驾驶安全问题，而道路场景语义分割任务中的某些类别对自动驾驶任务的安全性无关紧要，相对的，某些类别必须保证一定的分割效果。因此在异常天气条件下可以舍弃无关紧要类别的精度，转为保证对安全驾驶更重要的类别的分割效果。

近年来出现了一些方法来解决异常天气条件下的各种问题。首先，为了解决道路场景数据集主要是在正常天气条件下采集的问题，不但出现了多种生成异常天气数据的方法，而且还提出了多个异常天气条件下的真实场景数据集。例如，雨和雾的合成数据集、BDD100k数据集和ACDC数据集。这些方法和数据集的提出，一定程度上解决了数据缺失的问题，但由于数据标注困难，标注数据不足的问题仍待解决，并且随着天气条件的异常程度增加，这个问题越发严重。在计算机视觉领域，为了解决标注数据不足的问题，出现了一些方法：半监督学习，弱监督学习，转移学习。在成熟的语义分割模型基础上，利用上述的各种方法，提出了一些只使用有限数据解决异常天气条件下道路场景语义分割的优秀方法：一种异常天气下在异常天气条件下使用自监督学习进行道路场景分割的新方法、一种异常天气下解决了基于合成数据的语义模糊场景理解问题的半监督方法。其次是如何处理异常天气条件下，正常语义分割模型分割效果差的问题。一种异常天气下新的课程模型自适应方法被提出，该方法分多个步骤逐步将语义分割模型从光合成雾自适应到稠密的真实雾，通过逐步适应异常数据，分多个阶段训练，以低异常程度的模型预测高异常程度的数据，逐步完善模型。这些方法在一定程度上解决了部分异常天气条件下的道路场景问题，但仍存在问题：所有类别同等考虑，不考虑类别对任务的重要性。以上的各种方法在分割时未考虑类别对任务的重要性，而且在异常天气条件下，保证所有类别的分割效果是无法完成的，并且保证一些无关紧要类别的分割精度也是没有意义的。

发明内容

本发明针对异常天气条件下的道路场景语义分割难题，提出了一种异常天气下基于类别分组的新方法，保证了重要类别的分割效果。

实现本发明目的的技术解决方案为：一种异常天气下基于类别分组的道路场景语义分割方法，包括以下步骤：

1)准备数据，包括异常天气下的模拟数据集和真实场景数据集，用于方法的训练和测试；

2)将道路场景类别根据对异常天气下自动驾驶安全的重要性进行分组，保证重要类别与非重要类别分开，依据分组结果构建道路场景语义分割模型；

3)输入数据到模型中，获得分组分割结果；

4)训练模型，将数据集的训练集数据输入到构建的模型中，通过损失函数训练模型，得到训练完成的模型；

5)测试模型，将数据集的测试集数据输入到训练完成的模型中，测试模型的整体效果。

所述步骤1)具体实现如下：

通过雨和雾的生成方法在Cityscapes数据集上生成雨天和雾天的数据，同时获取两个异常天气下的真实场景数据集：ACDC数据集和BDD100K数据集，将这个4个数据集用于模型的训练和测试。

所述步骤2)将类别根据对异常天气下自动驾驶安全的重要性进行分组；具体实现如下：

21)将道路场景数据集的类别根据对异常天气下自动驾驶安全的重要性进行分组，以Cityscapes数据集的类别作为标准，19个类别根据重要性分为4组：(1)road,person,car；(2)rider,truck,bus,train,motorcycle,bicycle；(3)sidewalk,pole,trafficlight,traffic sign；(4)building,wall,fence,vegetation,terrain,sky；

22)依据类别分组结果构建模型；具体实现如下:

依据分组结果构建道路场景语义分割模型，模型包括使用膨胀ResNet50构建的特征提取模块，使用协方差通道注意力构建的类别关系编码模块以及根据类别分组情况，使用卷积层和上采样层构建的多头解码器模块。

所述步骤3)输入数据到模型中，获得分割结果，包括以下步骤：

(31)输入异常天气下的模拟数据和真实场景数据，提取数据特征；

(32)获取全类别特征；

(33)使用全类别特征编码类别关系，获取类别关系特征；

(34)完成类别关系特征解码，获得分割结果。

所述步骤31)具体实现如下：

使用在ImageNet数据集上预训练过的膨胀ResNet50网络提取输入数据的特征F∈R^C×h×w，其中C表示特征的通道数，h,w表示特征图的长和宽。

所述步骤32)具体实现如下：

对提取的特征F∈R^C×h×w使用1×1的卷积操作，获得通道数和总类别数相同的全类别特征F_N；模型训练时，通过数据的真实标签对F_N进行监督训练，保证全类别特征拥有所有类别的有效信息，损失函数公式表示为：

其中T表示像素点总数目，Y_i表示真实标签，P_i表示全类别的预测值。

所述步骤33)具体实现如下：

在全类别特征F_N上使用协方差通道注意力编码类别关系，首先在F_N上使用两个1×1卷积生成两个原始的特征F₁∈R^W×H×N,F₂∈R^W×H×N，再通过图像协方差公式得到两个方向上的协方差矩阵Cov^W和Cov^H，经过标准化得到两个方向上的协方差注意力R_i,j ^W和R_i,j ^H，与两个原始的特征F₁,F₂相乘，再加上全类别特征F_N得到编码类别关系信息的类别关系特征F_C。

所述步骤34)具体实现如下：

使用卷积层和上采样层构成的多头解码器解码类别关系特征F_C，得到各个分组的分割结果；不同分组的分割结果表示为P_i∈R^w×h×k,i∈[1,4]，真实标签信息表示为Y_i∈R^{w ×h×1},i∈[1,4]，利用加权的交叉熵损失对模型进行学习和优化，具体的损失函数公式如下：

其中T表示像素点总数目，h,w表示特征图的长和宽，η_i表示第i个分组的权重。

所述步骤4)具体实现如下：

训练模型时，使用异常天气数据集训练集的数据，将图像输入到模型中，得到不同类别分组的分割结果，根据定义的损失函数进行学习和优化，更新模型的参数；训练时需要将真实标签根据类别分组进行处理，通过将真实标签属中属于该分组的类别保留，其他分组类别的置为-1，获得了各个分组的真实标签数据，之后依据重要性进行加权训练，总的损失包括两部分：全类别特征损失以及最终的分割损失，具体公式为：

所述步骤5)具体实现如下：

将数据集测试集数据输入到训练好的模型中，得到各个分组的分割结果和通过组合方法得到的整体分割结果，通过真实标签数据计算每个分割结果的平均交并比，得出各组分割和整体分割的效果。

本发明与现有技术相比，其显著优点：1)本发明提出了类别分组的新思想，主要考虑到不同类别对于自动驾驶任务而言重要性不同，因此应该将更多的注意力投入到重要类别上。在异常天气条件下，由于数据更难处理，保证重要类别分割效果的思想更有意义，重要类别的分割效果好，可以最大程度的保证自动驾驶任务的安全性。具体实现是将类别根据重要性进行分组，之后每组通过独立的解码器进行解码分割，得到各自的分割结果。为了强调不同分组的重要性程度不同，在训练时通过加权的损失函数对重要类别分组施以更大的权重，保证训练时更偏向重要分组，从而保证重要类别的效果；2)本发明提出了类别关系编码模块，编码类别关系进特征中，保证后序分组分割任务的不同分组提前将关系融入特征中，从而使得特征中编码进了类别关系信息，一定程度上提升模型的结果。

附图说明

图1是异常天气下基于类别分组的道路场景语义分割方法流程图。

图2是异常天气下数据的展示。

图3是本发明使用的类别分组。

图4是本发明的模型整体结构图。

图5是本发明的特征提取模块。

图6是本发明的类别关系编码模块。

图7是本发明的解码器模块。

具体实施方法

本发明的整体操作流程如图1所示。以下结合说明书4的附图说明，对本发明做详细说明：

步骤1：准备数据；准备异常天气下的数据，作为训练集和测试集。使用雨天和雾天模拟生成的方法在Cityscapes数据集上生成雨雾天气数据，同时获取两个异常天气下的真实场景数据集：BDD100K数据集和ACDC数据集。图2所示是一些数据的展示，生成数据集包括4种强度的雨天数据和4种不同能见度的雾天数据。

步骤2：将道路场景类别根据对异常天气下自动驾驶安全的重要性进行分组，保证重要类别与非重要类别分开，依据分组结果构建道路场景语义分割模型；

步骤21：将道路场景类别根据对异常天气下自动驾驶安全的重要性进行分组；以Cityscapes数据集的类别作为标准，19个类别根据重要性分为4组，并设置相应的重要性系数，具体的分组情况如图3所示。

步骤22：依据类别分组的情况，构建道路场景语义分割模型，整体的模型架构如图4所示。使用膨胀ResNet50网络构建特征提取模块，使用协方差通道注意力构建类别关系编码模块以及根据类别分组情况，使用卷积层和上采样层构建多头的解码器模块。

步骤3：输入数据到模型中，获得分割结果；

步骤31：使用在ImageNet数据集上预训练过的膨胀ResNet50网络来提取输入数据的特征F∈R^C×h×w，其中C表示特征的通道数，一般为2048，h,w表示特征图的长和宽，具体的特征提取网络结构如图5所示。

步骤32：在提取的特征F∈R^C×h×w上使用1×1的卷积操作获得全类别特征F_N，它的通道数和总体的类别数相同。通过数据的真实标签对F_N进行监督训练，保证全类别特征拥有所有类别的有效信息。使用常用的交叉熵损失完成全类别特征的监督学习和优化，损失函数公式表示为：

其中T表示像素点总数目，Y_i表示真实标签，P_i表示全类别的预测值。

步骤33：在全类别特征F_N上编码类别关系，类别关系模块如图6所示，具体操作如下：首先，在全类别特征F_N上使用两个1×1的卷积生成两个原始的特征F₁∈R^W×H×N,F₂∈R^{W ×H×N}，用于两个方向上图像协方差矩阵的求解，其中N是全类别的数量，W,H分别是特征的长和宽。之后固定F₁,F₂的通道维度，将F₁按照行分解，F₂按照列进行分解，计算协方差矩阵，最后求平均值得到两个方向上的协方差注意力。分解后F₁可以表示为F₁＝(P¹,P²,P³,...,P^W)，F₂表示为F₂＝(Q¹,Q²,Q³,...,Q^H)，其中Pⁱ∈R^H×N,Qⁱ∈R^W×N。根据协方差矩阵的定义，两个图像协方差矩阵可以表示为：

其中

Cov^W∈R^N×N,Cov^H∈R^N×N。得到了两个方向上的协方差注意力后，进行标准化处理，通过softmax函数将值映射到(0，1)上：

R_i,j ^W，R_i,j ^H表示第i类和第j类的相关系数，即表示类别关系的注意力矩阵。将原始特征F₁，F₂与类别关系注意力矩阵相乘即可得到融合了类别关系的特征。最终，将融合了两个方向上类别关系的特征通过简单的相加得到类别关系特征F_C：

其中

表示F_C中第j个类别特征通过通道协方差矩阵映射后的特征，γ是一个可训练的标量。得到的特征F_C，称为类别关系特征，建模了全类别的关系。

步骤34：使用解码器完成类别关系特征F_C的解码，得到分割结果。依据分组的结果使用卷积层以及上采样层构建多头的解码器模块，对类别关系特征F_C进行解码，得到高质量的分割结果，具体的解码器结构如图7所示。不同分组的分割结果表示为P_i∈R^w×h×k,i∈[1,4]，真实标签信息表示为Y_i∈R^w×h×1,i∈[1,4]，利用加权的交叉熵损失对模型进行学习和优化。根据不同分组的重要性，进行损失计算时，对不同分组进行不同程度的加权，以保证训练时偏向重要性高的分组，使得重要性高的分组的分割效果更好。损失函数的具体公式如下：

其中T表示像素点总数目，h,w表示特征图的长和宽，η_i表示第i个分组的权重。

步骤4：训练模型；训练模型时，使用异常天气数据集训练集的数据，将图像输入到模型中，得到不同类别分组的分割结果，根据定义的损失函数进行学习和优化，更新模型的参数。训练时需要将真实标签根据类别分组进行处理，通过将真实标签属中属于该分组的类别保留，其他分组类别的置为-，获得了各个分组的真实标签数据，之后依据重要性进行加权训练，总的损失包括两部分：全类别特征损失以及最终的分割损失，具体公式为：

步骤5：测试模型；将准备的数据集测试集输入到训练好的模型中，得到各个分组的分割结果，之后使用组合方法得到整体分割结果，通过真实标签数据计算每个分割结果的平均交并比，得出分割的效果。

Claims (10)

1.一种异常天气下基于类别分组的道路场景语义分割方法，其特征在于包括以下步骤：

1)准备数据，包括异常天气下的模拟数据集和真实场景数据集，用于方法的训练和测试；

2)将道路场景类别根据对异常天气下自动驾驶安全的重要性进行分组，保证重要类别与非重要类别分开，依据分组结果构建道路场景语义分割模型；

3)输入数据到模型中，获得分组分割结果；

4)训练模型，将数据集的训练集数据输入到构建的模型中，通过损失函数训练模型，得到训练完成的模型；

5)测试模型，将数据集的测试集数据输入到训练完成的模型中，测试模型的整体效果。

2.根据权利要求1所述的基于类别分组的道路场景语义分割方法，其特征在于，所述步骤1)具体实现如下：

通过雨和雾的生成方法在Cityscapes数据集上生成雨天和雾天的数据，同时获取两个异常天气下的真实场景数据集：ACDC数据集和BDD100K数据集，将这个4个数据集用于模型的训练和测试。

3.根据权利要求1所述的基于类别分组的道路场景语义分割方法，其特征在于，所述步骤2)将类别根据对异常天气下自动驾驶安全的重要性进行分组；具体实现如下：

21)将道路场景数据集的类别根据对异常天气下自动驾驶安全的重要性进行分组，以Cityscapes数据集的类别作为标准，19个类别根据重要性分为4组：(1)road,person,car；(2)rider,truck,bus,train,motorcycle,bicycle；(3)sidewalk,pole,traffic light,traffic sign；(4)building,wall,fence,vegetation,terrain,sky；

22)依据类别分组结果构建模型；具体实现如下:

依据分组结果构建道路场景语义分割模型，模型包括使用膨胀ResNet50构建的特征提取模块，使用协方差通道注意力构建的类别关系编码模块以及根据类别分组情况，使用卷积层和上采样层构建的多头解码器模块。

4.根据权利要求1所述的基于类别分组的道路场景语义分割方法，其特征在于，所述步骤3)输入数据到模型中，获得分割结果，包括以下步骤：

(31)输入异常天气下的模拟数据和真实场景数据，提取数据特征；

(32)获取全类别特征；

(33)使用全类别特征编码类别关系，获取类别关系特征；

(34)完成类别关系特征解码，获得分割结果。

5.根据权利要求4所述的基于类别分组的道路场景语义分割方法，其特征在于，所述步骤31)具体实现如下：

使用在ImageNet数据集上预训练过的膨胀ResNet50网络提取输入数据的特征F∈R^{C ×h×w}，其中C表示特征的通道数，h，w表示特征图的长和宽。

6.根据权利要求4所述的基于类别分组的道路场景语义分割方法，其特征在于，所述步骤32)具体实现如下：

对提取的特征F∈R^C×h×w使用1×1的卷积操作，获得通道数和总类别数相同的全类别特征F_N；模型训练时，通过数据的真实标签对F_N进行监督训练，保证全类别特征拥有所有类别的有效信息，损失函数公式表示为：

其中T表示像素点总数目，Y_i表示真实标签，P_i表示全类别的预测值。

7.根据权利要求4所述的基于类别分组的道路场景语义分割方法，其特征在于，所述步骤33)具体实现如下：

在全类别特征F_N上使用协方差通道注意力编码类别关系，首先在F_N上使用两个1×1卷积生成两个原始的特征F₁∈R^W×H×N，F₂∈R^W×H×N，再通过图像协方差公式得到两个方向上的协方差矩阵Cov^W和Cov^H，经过标准化得到两个方向上的协方差注意力R_i，j ^W和R_i，j ^H，与两个原始的特征F₁，F₂相乘，再加上全类别特征F_N得到编码类别关系信息的类别关系特征F_C。

8.根据权利要求4所述的基于类别分组的道路场景语义分割方法，其特征在于，所述步骤34)具体实现如下：

使用卷积层和上采样层构成的多头解码器解码类别关系特征F_C，得到各个分组的分割结果；不同分组的分割结果表示为P_i∈R^w×h×k，i∈[1，4]，真实标签信息表示为Y_i∈R^w×h×1，i∈[1，4]，利用加权的交叉熵损失对模型进行学习和优化，具体的损失函数公式如下：

其中T表示像素点总数目，h,w表示特征图的长和宽，η_i表示第i个分组的权重。

9.根据权利要求1所述的基于类别分组的道路场景语义分割方法，其特征在于，所述步骤4)具体实现如下：

训练模型时，使用异常天气数据集训练集的数据，将图像输入到模型中，得到不同类别分组的分割结果，根据定义的损失函数进行学习和优化，更新模型的参数；训练时需要将真实标签根据类别分组进行处理，通过将真实标签属中属于该分组的类别保留，其他分组类别的置为-1，获得了各个分组的真实标签数据，之后依据重要性进行加权训练，总的损失包括两部分：全类别特征损失以及最终的分割损失，具体公式为：

10.根据权利要求1所述的基于类别分组的道路场景语义分割方法，其特征在于，所述步骤5)具体实现如下：

将数据集测试集数据输入到训练好的模型中，得到各个分组的分割结果和通过组合方法得到的整体分割结果，通过真实标签数据计算每个分割结果的平均交并比，得出各组分割和整体分割的效果。

Images