CN114926819A - 一种复杂场景的未知异常障碍物识别方法及系统 - Google Patents

Abstract

本发明涉及一种复杂场景的未知异常障碍物识别方法及系统，该系统包括：特征编码器模块：用以将输入图片编码为高维特征张量，提取输入特征；未知注意力生成模块，用以生成未知注意力权重图，该注意力图对不确定性高区域生成高权重，反之注意力图较低；注意力信息提示模块，用以对注意力高区域给予真值提示；语义分割结果预测模块，用以预测像素为各类别的概率。本发明通过训练模型将有效注意力放在不确定性区域高的区域来以此根据模型注意力权重值来预测是否为未知异常障碍物。与现有技术相比本发明具有应用性强、计算量小、普适性强等优点。

Description

一种复杂场景的未知异常障碍物识别方法及系统

技术领域

本发明涉及机器视觉中的语义分割领域，尤其是涉及一种复杂场景的未知异常障碍物识别方法及系统。

背景技术

在陆上或者海上自动驾驶中，识别未知异常障碍物的能力对系统安全极为重要。现有的基于深度学习的语义分割算法过分依赖训练数据集的规模及质量，在这种情况下，模型只能将物体识别为自己学过的类别中的某一类，对于训练集中不存在的训练类别(未知异常类)，模型则会作出错误的判断：将其强行归类为已知类的一种，而不是承认对其未知。这种强烈依赖训练数据的方法这在实际应用中会引发一系列的安全问题：如以自动驾驶场景举例，现有的方法在使用一足够规模的数据集全监督进行训练时，已经可以达到很高的检测精度，数据集中所包含的目标种类常常是常见目标如行人、车辆、路灯等，但当道路上出现如猫狗、垃圾车遗落下的箱子、甚至椅子、玩具等不存在于用来训练模型的数据集中的障碍物时，检测器强行将其归类为已知类的一种，这会引发一系列的安全隐患。而收集一个可以包含所有可能实例的数据集是不现实的,这大大限制了其在现实世界的应用。使模型具有识别未知异常障碍物的能力同时可以使得系统更为高效的学习。当接收到新的视觉信息时，人类的好奇心常常驱使人们去更关注自己未知的事物，这使得相比于机器，人具有更为高效的学习能力。识别未知异常障碍物并对异常障碍物给予更高的注意力可以帮助神经网络模型更为关注异常类别信息，进而作出更为精准的预测。在此背景下，由于语义分割任务要求需要预测每一像素点的类别，这使得语义分割任务相较于其他视觉任务更为复杂，涉及的相关背景的技术较少,主要集中在两个方面：一是使用含有异常数据的数据集训练或者引入生成器生成异常数据用来训练模型；二是基于一个直觉即异常实例获得的检测分数应比分布内实例的检测分数低，故使用预测分数MSP和maxlogits的负值作为异常分数。然而上述方法存在着过度依赖异常数据质量以及对异常目标检出率低的问题，这大大限制了其实际中的应用。因此，设计一种解决上述问题的未知异常障碍物检测系统及方法是必要的。

发明内容

本发明的目的就是为了克服上述现有技术缺陷而提供一种复杂场景的未知异常障碍物识别方法及系统。本发明基于一思路：模型应将有限的注意力放在不确定性高的区域，且对于高注意力区域模型应给予相比于低注意力区域更多信息，进而使得模型预测一未知注意力矩阵，进而通过注意力矩阵判别不确定性区域，以达到未知异常障碍物识别的目的。为了训练模型对不确定区域生成较高的注意力值，本发明使用提示方法，真值信息不仅用于计算损失函数，还用于在前向传播过程中给予模型一定的提示，以此来引导模型对不确定区域输出较高注意力权重来使损失函数降低，达到发明目的。

一种复杂场景未知异常障碍物识别方法，包括以下步骤：

步骤1:收集所应用场景的数据集，获得场景数据，并建立神经网络模型；

步骤2:确定特征提取网络结构，用于从场景数据中提取并生成用于解码器网络语义分割结果的高维特征，再由高维特征得到特征矩阵F；

步骤3:确定未知注意力生成矩阵网络结构，根据所述特征矩阵F生成注意力权重矩阵，并根据所述注意力权重矩阵与输入特征加权，生成用于预测像素类别的注意力加权特征矩阵；

步骤4:确认特征解码器模块神经网络，对所述注意力加权特征矩阵生成预测结果；

步骤5：根据所述注意力权重矩阵生成真值提示矩阵；

步骤6:将生成的真值提示矩阵输入给语义分割结果输出解码器网络模型，得到加入提示后的预测结果；

步骤7:计算神经网络模型的maxlogit得分，根据得分与注意力权重矩阵一起预测未知异常障碍物区域，获得语义分割输出；

步骤8:确定损失函数，利用损失函数反向传播训练神经网络模型；

步骤9:神经网络模型训练完成后，进行障碍物识别并输出障碍物识别结果。

可选的，

所述特征矩阵F∈R^N×H’×W’，

其中，N代表高维特征通道数，W’、H’代表特征矩阵宽与高。

可选的，步骤3的具体步骤包括：

采用平均池化层加卷积层的方式生成与输入特征相同宽高的注意力图；

将注意力图沿宽高展平为(W*H)张量输入softmax中以获得和为1的注意力得分，即∑_h,wm_h,w＝1；其中W、H代表输入图片的宽与高；

将注意力权重矩阵M与特征矩阵F结合为F_att作为注意力加权特征矩阵，传入解码器用于预测像素类别。

可选的，注意力加权特征矩阵F_att的生成公式为：

F_att＝F×M+F。

可选的，根据所述注意力权重矩阵生成真值提示矩阵，具体包括：

假设真值为G∈R^H×W，通过将其对应位置的类别序号g_h,w编码为one-hot向量，将其拓展为G’∈R^C×H×W，进而得到真值提示矩阵H₁＝G’×M，其中H₁∈R^C×H×W。

可选的，加入提示后的预测结果为P为：

P＝P’+θH₁

其中，θ为权重系数，P’为步骤四生成的预测结果。

可选的，所述步骤8中损失函数为：

l＝l_s+αl_a

其中l_s为分割损失函数，l_a为注意力损失函数，其中α为权重系数；

计算预测正确像素所对应未知权重均值a，则注意力损失函数公式为：

其中β为权重系数,m_c,w,h与p_c,w,h分别代表对应位置注意力系数和预测输出概率。

基于上述方法，提出一种复杂场景的未知异常障碍物识别方法及系统，包括：

特征编码器模块：用于对输入图片进行特征编码，获取图片中的特征信息，并建立神经网络模型；

未知注意力生成模块：用于网络结合所述特征信息生成相同大小的未知注意力矩阵，未知注意力矩阵所有值之和为1；

注意力信息提示模块：用于根据所述未知注意力矩阵给予注意力得分高的像素以一定的数据集真值信息作为提示；

语义分割结果预测模块：用于解码神经网络模型的特征输出像素为某一类别的概率，并结合概率得分以及注意力值判断异常障碍物区域。

与现有技术相比，本发明具有以下优点：

1.不同于以往使用模型预测概率分数作为未知异常障碍物的评判标准，本发明使用注意力矩阵中的注意力权重作为不确定性预测辅助评判指标，有效提高未知异常障碍物的检出指标。为了训练模型关注未知信息，本发明采用一种基于注意力的提示方法，对模型注意力图上的不确定区域给予提示，以引导模型对不确定区域延迟作出预测。

2.对未知实例给予高的注意力并在训练模型过程中对其不确定性高区域给予一定的提示的师-生模式使得模型的训练过程更符合人类认知规律，有效提高模型学习效率。本发明不需要额外收集含有异常数据的数据集，由于在实际应用中无法完美模拟现实出现的各类异常情况，所以本发明的训练方法更符合实际应用场景。

3.本发明所采用的注意力模块简单且参数量较小，可作为一种即插即用的组件插入现有各类深度学习模型中，即可达到检测场景中未知异常的目的，同时未知注意力机制的加入可提高模型本身检测指标。尤其对于复杂场景中的语义分割任务，模型训练更为困难且不允许引入过多网络参数，这使得需要额外大量训练的异常检测方法不适用，而本发明可直接应用于该类场景。

附图说明

以下结合附图的描述可以进一步理解本发明。

图1是本发明实施例中一种复杂场景的未知异常障碍物识别方法的流程图；

图2是本发明实施例中一种复杂场景的未知异常障碍物识别系统的功能模块示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

第一方面，本申请实施例还提供了一种复杂场景未知异常障碍物识别方法，如图1所示，该方法包括以下步骤：

步骤1:收集所应用场景的数据集，以获得尽可能高质量的场景数据。

为获得尽可能丰富的图像数据，所述的数据增强手段包括但不限于图片清晰度增强、图片背景前景融合、生成对抗网络生成虚拟图像等。

步骤2:确定特征提取网络结构，本实施例采用ResNet101作为骨干的DeepLabV3+作为特征提取网络，用于从输入数据中提取并生成高维特征用于解码器网络预语义分割结果。网络输出一特征矩阵F，其中F∈R^{N×H’×W’}，N代表高维特征通道数，W’、H’代表特征矩阵宽与高。

步骤3:确定未知注意力生成矩阵网络结构，该网络根据上一步骤得到的特征矩阵F生成注意力权重矩阵M∈R^H×W，W、H代表输入图片的宽与高。

优选地，采用平均池化层加卷积层的方式生成与输入特征相同宽高的注意力图。最后，将注意力图沿宽高展平为(W*H)张量输入softmax中以获得和为1的注意力得分，即∑_h,wm_h,w＝1，以确保注意力是有限的，强迫模型在有限注意力内最大限度获得更多有用信息。最后，将M与F结合为F_att作为最终特征矩阵传入解码器用于预测像素类别。

优选地，F_att的生成公式为：

F_att＝F×M+F

步骤4:确认特征解码器模块神经网络结果，用于根据上述所获得的F_att生成预测结果P’∈R^C×H×W，其中C∈{1,.....,c}代表数据集中所含的实例类别如车、人、路灯等。

步骤5：根据注意力权重矩阵生成真值提示矩阵H₁∈R^C×H×W。

优选地，假设真值为G∈R^H×W，通过将其对应位置的类别序号g_h,w编码为one-hot向量，将其拓展为G’∈R^C×H×W，进而H₁＝G’×M。

步骤6:将生成的真值提示矩阵输入给模型，其目的是给予模型高注意力区域以提示。通过这种机制使得模型学会分辨不确定性区域。

优选地，加入提示后的预测结果P为：

P＝P’+θH₁

其中，θ为权重系数。

为了防止模型选择延迟的学习注意力将注意力权重学为相同值无法分辨，只对每一训练周期的40％训练样本给予提示，这样的设置目的是为了使得模型错误预测有机会不加提示的被输出用于计算损失，强迫模型学习决策边界。

步骤7:计算模型maxlogit得分S_core∈R^C×H×W，S_core＝maxP_c,h,w，根据S_core与注意力权重矩阵M一起预测未知异常障碍物区域，获得语义分割输出，预测输出为:

Y＝argmaxP_c,h,w。

步骤8:确认损失函数，利用损失函数反向传播训练网络，所使用的损失函数为：

l＝l_s+αl_a

其中l_s为分割损失函数，本实施例采用交叉熵损失，l_a为注意力损失函数，其中α为权重系数。计算预测正确像素所对应未知权重均值a，则注意力损失函数公式为：

其中β为权重系数,m_c,w,h与p_c,w,h分别代表对应位置注意力系数和预测输出概率。

步骤9:保存训练好的系统模型。

第二方面，如图2所示，本申请实施例提供了一种复杂场景的未知异常障碍物识别系统，包括：特征编码器模块，未知注意力生成模块，注意力信息提示模块及语义分割结果预测模块：

所述特征编码器模块，用于使用神经网络对输入图片进行特征编码，使得神经网络模型获取图片中的特征信息；

所述未知注意力生成模块，用于网络结合上述特征编码器生成的特征数组生成相同大小的未知注意力矩阵，未知注意力矩阵所有值之和为1，数值越高代表网络对该区域的注意力越高，即该区域越有可能为未知异常区域；

所述注意力信息提示模块，用于根据注意力图给予注意力得分高的像素以一定的数据集真值信息作为提示。该模块的目的在于使得网络对预测准确自信心不足的区域学习低信心值(高注意力值)，进而用于分割异常障碍物区域；

所述语义分割结果预测模块，用于解码网络特征输出像素为某一类别的概率，并结合概率得分以及注意力值判断异常障碍物区域。

特别说明地，所述未知异常类是指已有的对网络进行训练的图像数据中所没有的类别，即没有输入神经网络模型的障碍物类别。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围。

Claims (8)

1.一种复杂场景未知异常障碍物识别方法，其特征在于，包括以下步骤：

步骤1：收集所应用场景的数据集，获得场景数据，并建立神经网络模型；

步骤2：确定特征提取网络结构，用于从场景数据中提取并生成用于解码器网络语义分割结果的高维特征，再由高维特征得到特征矩阵F；

步骤3：确定未知注意力生成矩阵网络结构，根据所述特征矩阵F生成注意力权重矩阵，并根据所述注意力权重矩阵与输入特征加权，生成用于预测像素类别的注意力加权特征矩阵；

步骤4：确认特征解码器模块神经网络，对所述注意力加权特征矩阵生成预测结果；

步骤5：根据所述注意力权重矩阵生成真值提示矩阵；

步骤6：将生成的真值提示矩阵输入给语义分割结果输出解码器网络模型，得到加入提示后的预测结果；

步骤7：计算神经网络模型的maxlogit得分，根据得分与注意力权重矩阵一起预测未知异常障碍物区域，获得语义分割输出；

步骤8：确定损失函数，利用损失函数反向传播训练神经网络模型；

步骤9：神经网络模型训练完成后，进行障碍物识别并输出障碍物识别结果。

2.根据权利要求1所述的一种复杂场景未知异常障碍物识别方法，其特征在于，

所述特征矩阵F∈R^{N×H′×W′}，

其中，N代表高维特征通道数，W′、H′代表特征矩阵宽与高。

3.根据权利要求1所述的一种复杂场景未知异常障碍物识别方法，其特征在于，步骤3的具体步骤包括：

采用平均池化层加卷积层的方式生成与输入特征相同宽高的注意力图；

将注意力图沿宽高展平为(W*H)张量输入softmax中以获得和为1的注意力得分，即∑_h，wm_h，w＝1；其中W、H代表输入图片的宽与高；

将注意力权重矩阵M与特征矩阵F结合为F_att作为注意力加权特征矩阵，传入解码器用于预测像素类别。

4.根据权利要求3所述的一种复杂场景未知异常障碍物识别方法，其特征在于，注意力加权特征矩阵F_att的生成公式为：

F_att＝F×M+F。

5.根据权利要求1所述的一种复杂场景未知异常障碍物识别方法，其特征在于，根据所述注意力权重矩阵生成真值提示矩阵，具体包括：

假设真值为G∈R^H×W，通过将其对应位置的类别序号g_h，w编码为one-hot向量，将其拓展为G′∈R^C×H×W，进而得到真值提示矩阵H₁＝G’×M，其中H₁∈R^C×H×W。

6.根据权利要求5所述的一种复杂场景未知异常障碍物识别方法，其特征在于，加入提示后的预测结果为P为：

P＝P’+θH₁

其中，θ为权重系数，P’为步骤四生成的预测结果。

7.根据权利要求1所述的一种复杂场景未知异常障碍物识别方法，其特征在于，所述步骤8中损失函数为：

l＝l_s+αl_a

其中l_s为分割损失函数，l_a为注意力损失函数，其中α为权重系数；

计算预测正确像素所对应未知权重均值a，则注意力损失函数公式为：

其中β为权重系数，m_c，w，h与p_c，w，h分别代表对应位置注意力系数和预测输出概率。

8.一种复杂场景的未知异常障碍物识别系统，其特征在于，包括：

特征编码器模块：用于对输入图片进行特征编码，获取图片中的特征信息，并建立神经网络模型；

未知注意力生成模块：用于网络结合所述特征信息生成相同大小的未知注意力矩阵，未知注意力矩阵所有值之和为1；

注意力信息提示模块：用于根据所述未知注意力矩阵给予注意力得分高的像素以一定的数据集真值信息作为提示；

语义分割结果预测模块：用于解码神经网络模型的特征输出像素为某一类别的概率，并结合概率得分以及注意力值判断异常障碍物区域。

Images