CN115240163A - 一种基于一阶段检测网络的交通标志检测方法及系统 - Google Patents

Abstract

本发明提供了一种基于一阶段检测网络的交通标志检测方法及系统，通过给定输入图像，确定交通标志的位置和类别。基于修改后的检测网络，提取后三块的特征信息；基于多尺度注意力增强机制关注不同位置不同通道信息的特征，有偏重的加权组合通道及水平方向信息；通过将重新组合后的特征送入特征增强网络以及改进的特征金字塔网络中，使得特征同时具有丰富的语义信息和更细节的空间信息，之后将融合后的特征送入预测分支中进行分类和回归；根据分类和回归的结果，得出目标的类别和位置。本发明通过结合多尺度注意力增强机制和改进的特征金字塔网络，有效的处理目标尺度过小以及遮挡严重的情况，大大提高了检测方法的准确性和鲁棒性。

Description

一种基于一阶段检测网络的交通标志检测方法及系统

技术领域

本发明涉及计算机视觉技术领域，尤其是一种基于一阶段检测网络的交通标志检测方法及系统。

背景技术

随着智能交通网络的发达以及车辆数量的增加，交通标志为车辆和行人提供指示、禁止和警告等信息，交通标志的准确检测与识别成为迫切需要解决的问题。交通标志的准确识别可以极大地减少交通事故的发生，减少交通拥堵。然而，交通标志检测并不是一项简单的任务，对于计算机视觉系统来说，照明变化、天气状况、遮挡、变形等因素都会阻碍交通标志的有效检测和识别。因此，准确、快速地定位和分类交通标志仍然是一个具有挑战性的现实问题。通常，用于交通标志检测的传统方法首先会根据底层特征，包括颜色、纹理等基本特征进行特征提取，最后在特征提取后，对候选区域提取出的特征进行分类判定。但传统的检测算法存在时间复杂度高、窗口冗余、鲁棒性弱等缺点，不能很有效地检测交通标志类别。深度学习的蓬勃发展给交通标志的检测与识别带来了新的方向。用于交通标志检测与识别的深度学习目标检测算法主要分为两大类，分别是基于候选区域的方法和无候选区域的方法。基于候选区域的方法主要包括R-CNN、Fast R-CNN、Faster R-CNN等。而无候选区域的方法主要包括YOLO和SSD等单阶段检测器。无候选区域的方法是不需要产生候选框的，直接将目标框定位的问题转化为回归问题处理。对于上述两种方式，基于候选区域的方法在检测准确率和定位精度上占优，无候选区域的方法速度上占优。相对于R-CNN系列的候选框提取和分类，YOLO只需要一步到位。总之，目前来说，基于候选区域的方法依然有一定的精度优势，而无候选区域的方法在速度上优势明显。在主流的目标检测算法中，待检测的物体都比较显眼，占据整张图片的大半部分。但对于交通标志检测来说，因为待检测的对象是用于自动驾驶环境中的交通标志，其在整个检测图片中占比较小，深度神经网络能提取的特征信息并不充足。在真实的场景中，拍摄的图像往往充满复杂的背景，通常会存在光照剧烈变化，目标遮挡以及天气变化等问题，而这些因素对小目标检测的准确度是十分致命的，因此也进一步加大了小目标检测的难度。

经过长期的研究，尽管现有的交通标志检测方法取得了良好的成绩，但检测过程中常出现目标发生较大遮挡、光照剧烈变化、目标尺度较小以及发生形变等不利情况，给交通标志检测带来了巨大挑战，因此提出一种可以应对上述各种挑战具有较高准确性和鲁棒性的交通标志检测方法，仍是一个尚待解决的问题。

发明内容

针对上述现有技术的不足，本发明提供一种基于一阶段检测网络的交通标志检测方法及系统。其目的在于解决检测过程中出现的大面积遮挡，以及光照剧烈变化、目标尺度较小的问题，提升检测方法的精度和鲁棒性。

为了实现上述目的，本发明提供了一种基于一阶段检测网络的交通标志检测方法及系统，包括以下步骤：

S1、构建检测网络模型；

S2、获取交通标志图像的特征图；

S3、提取交通标志的外观信息和语义信息；

S4、通过多尺度注意力特征增强机制重新组合特征信息；

S5、将组合后的特征送入到后续进行特征增强的网络模块中；

S6、将增强后的特征送入到改进的特征金字塔结构中进行特征融合；

S7、将融合后的特征送入检测分支中，进行分类和回归，得出目标在当前场景中的类别和准确位置。

本发明提供了一种基于一阶段检测网络的交通标志检测方法。与现有技术相比，具备以下有益效果：

本发明从两个角度提升检测方法的性能，一方面，通过多尺度注意力增强机制对提取的特征进行筛选，经过一系列的卷积获得不同位置不同通道特征的权重，然后将获得的权重作用于输入特征上，使得网络更关注有利于分类和回归的信息；另一方面该方法使用改进的特征金字塔网络对处理后的浅层和深层特征分别进行分类和回归，浅层特征包含更多外观信息，深层特征包含更多语义信息，结合两次分类和回归的结果，得出目标在当前图像中的准确位置，大大提高了检测的准确性及鲁棒性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例中一种基于一阶段检测网络的交通标志检测方法流程图。

图2是本发明实例中多尺度注意力增强机制的示意图。

图3是本发明实例中改进的特征金字塔中的空间信息聚合器示意图。

图4是本发明提供的模型与其它现有算法在德国交通标志数据集上的实验数据比较。

图5是本发明提供的模型与其它现有算法在中国交通标志数据集上的实验数据比较。

图6是本发明提供的模型与其它现有算法在“TT100K”交通标志数据集上的实验数据比较。

图7是本发明提供的模型在德国交通标志数据集上的检测结果。左边是德国交通标志数据集的一些例子，右边是本发明提供模型的检测结果。

图8是本发明提供的模型在中国交通标志数据集上的检测结果。左边是中国交通标志数据集的一些例子，右边是本发明提供模型的检测结果。

图9是本发明提供的模型在“TT100K”交通标志数据集上的检测结果。左边是“TT100K”交通标志数据集的一些例子，右边是本发明提供模型的检测结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

下面结合说明书附图以及具体的实施方式对本发明作详细说明。如图1所示，一种基于一阶段检测网络的交通标志检测方法包括步骤S1～S7：

S1、构建检测网络模型；

S2、获取交通标志图像的特征图；

S3、提取交通标志的外观信息和语义信息；

S4、通过多尺度注意力特征增强机制重新组合特征信息；

S5、将组合后的特征送入到后续进行特征增强的网络模块中；

S6、将增强后的特征送入到改进的特征金字塔网络中进行特征融合；

S7、将融合后的特征送入检测分支中，进行分类和回归，得出目标在当前场景中的类别和准确位置。

下面对各个步骤进行详细描述。

在步骤S1中，如图1所示的构建一种基于一阶段检测网络的交通标志检测方法流程图。其步骤具体为：

S101、该检测网络由四部分组成；分别为骨干网络部分、多尺度注意力特征增强机制部分、改进的特征金字塔部分以及预测分支部分。

S102、骨干网络是修改后的Darknet53网络，使用的特征是提取到的第三层、第四层和第五层的特征信息。

S103、多尺度注意力特征增强机制部分，主要是对特征信息进行分解，然后获得特征在水平方向以及空间方向的权重，有选择的重新组合特征信息。

S104、改进的特征金字塔网络，通过在原来的金字塔网络中构建一条自下而上的路径，并在该路径中加入两个空间信息聚合器，嵌入不同层的空间细粒度特征信息。

S105、将嵌入了空间细粒度信息和丰富语义信息的特征送入到预测分支中。最后根据两次分类和回归的结果，得出目标的分类置信度和准确位置。

在步骤S2中，获取特征图。其步骤具体为：

S201、特征图的获取是在检测任务的开始阶段，通过一些卷积和激活函数等过滤器的输出激活。

在步骤S3中，提取交通标注的外观信息和语义信息。其具体步骤为：

S301、在该方法中使用的骨干网络是修改后的Darknet53网络，提取到的有五层特征信息，我们选择第三层、第四层和第五层特征进行使用。

S302、第三层和第四层的特征经历的卷积层数较少，包含的更多是外观信息，其中只有少量的语义信息。

S303、依次获取输入图像的特征图，改变特征的通道数，丰富了特征信息，X是初始输入的特征层，Φ₃(X),Φ₄(X),Φ₅(X)是提取到的第三层、第四层和第五层特征，

分别是由一个CBL和8、4个残差组件构成。其表达式如下：

在步骤S4中，如图2所示的多尺度注意力增强机制，通过注意力机制重新组合特征信息。其步骤具体为：

S401、将提取获得的外观信息和语义信息作为输入，送入多尺度注意力特征增强机制中进行处理。add是并行的连接操作，X_i,Y_i分别为更底层、更高层的输入特征在第i通道的信息。M_i是第c通道激励后的结果:

M_i＝add(X_i,Y_i)，i＝1,2,...,c, (4)

S402、将连接后的特征信息作为输入，M_c(i,j)为输入特征在位置i,j处的第c通道的信息。H,W表示沿水平方向和空间方向的激励，U_c是第c通道激励后的结果:

接下来，为了获得通道之间的相关性，我们做了以下工作：

K＝PWconv2(Relu(PWconv1(U))) (6)

其中PWconv1、PWconv2分别对应于Point-wise Conv1和Point-wise Conv2，表示逐点卷积。局部上下文信息由Point-wise Conv1聚合，起到降维作用，用于控制通道的数量，这使得操作尽可能的轻便。Relu被用于非线性操作。之后，进行1*1的逐点卷积，得到与输入特征相同的维度。K是激活后的结果。

S403、保留通道信息相关性，并通过激活函数得到的注意权重如下：

Z₁＝XSigmoid(K)+Y(1-Sigmoid(K)), (7)

其中获得的权重被应用于原始输入特征。通过Sigmoid(K)和1-Sigmoid(K)获得权重。值得注意的是，Sigmoid(K)的值在0和1之间，1-Sigmoid(K)也是如此。这使得网络能够在X和Y之间进行加权平均。Z₁是按照一定规则融合后的特征图。

S404、提取的局部细节信息如下所示：

K^*＝BN(PWconv2(Relu(BN(PWconv1(M))))), (8)

其中，局部上下文信息由PWconv1汇总，改变输入特征的通道数。M是经过公式(4)得到的特征图。BN表示批量归一化，其作用是加快网络训练速度，防止过拟合。PWconv2是一个增量维度层，1*1的逐点卷积将特征图恢复到与输入特征相同的维度。

S405、接下来，由激活函数得到的权重与输入特征相结合，具体如下。其表示如下：

Z₂＝XSigmoid(K^*)+Y(1-Sigmoid(K^*)), (9)

其中获得的权重被应用于不同大小的输入特征。Z₂是按照一定规则融合后的特征图，它在输入特征的基础上增加了局部细节信息。

S406、最后，将全局上下文信息和局部细节信息结合起来，如下所示：

Z＝add(Z₁,Z₂), (10)

在步骤S5中，将组合后的特征送入到后续进行特征增强的网络模块中增强特征表征能力。其步骤具体为：

S501、将经过多尺度注意力特征增强机制进行编码的浅层外观信息送入后续的特征增强网络中来提高特征表征能力，特征增强网络由多个卷积、批量归一化以及非线性激活函数组成。

在步骤S6中，如图3所示是嵌入到金字塔网络中的空间信息聚合器，丰富特征的空间细粒度信息。其步骤具体为：

S601、改进的特征金字塔网络，在原来的基础上构建了一条自底向上的路径，路径上加入两个空间信息聚合器，嵌入了丰富的空间细粒度信息，确保在后续的操作中，空间信息不被稀释掉。在空间信息聚合器中，我们首先使用全局平均池化来获得通道层面的全局特征。之后，我们通过激励来学习通道之间的非线性关系，捕捉通道之间的关系。如下所示：

X是特征提取网络中的第三层特征层，X_c(i,j)为输入信息在位置i,j处的第c通道的信息。H,W表示沿水平方向和空间方向的激励，X_c是第c通道激励后的结果。

S602、将激励后的特征层输入到特征作用层中，之后，我们通过激励来学习通道之间的非线性关系，并抓住通道之间的关系。其表达式如下:

V＝XSigmoid(L_i(X)), (12)

其中X是包含全局信息的特征图，紧接着是Li(.)(即大小为1*1的卷积核)和一个Sigmoid激活函数，它们被称为特征重要性作用层。这里的作用是强调特征的重要性。通过强调每个特征图的重要性，可以学到一些有用的信息，并输出一个重要性向量。接下来，这些学到的重要性向量被作用于原来的输入特征图，然后被作用的特征再一次被添加到输入特征图中，称为重新作用的特征图。最大的优势在于原始特征图和重新作用的特征图之间引入了一个额外的跳跃连接。

S603、为了提高效率，选择层Ls(.)(即1×1的conv层)被应用于重新反应的特征图。其表达式如下所示：

Y＝L_s(V). (13)

V是上述经过重新作用后的特征图，这样做是为了有选择地保留重要的特征图，去除无用的特征图以减少通道。将上述聚合的空间信息用于特征金字塔的颈部部分。这增强了底层特征图的重要性。

在步骤S7中，联合分类和回归的结果，得到目标在图像中的类别和准确位置。其步骤具体为：

S701、整个方法的损失由候选区域的分类和回归损失构成。

S702、计算整个方法的损失，i指的是是索引为i的锚框。c_i是检测器的预测值，

是真实值,λ是回归部分所占的权重，这里是0.6。其表达式如下:

S703、根据最小损失，输出目标在当前图片中的类别和准确位置。

本发明实施例在以往一阶段交通标志检测方法上添加了多尺度注意力增强机制以及在金字塔中嵌入两个空间信息聚合器，增强了特征的表示，有效的利用了浅层的外观信息和深层的语义信息，从而提高了检测方法的准确性和鲁棒性。为实际应用中的交通标志检测等工作提供更为高效的框架。

本发明还提出了一种基于一阶段检测网络的交通标志检测系统，包括：

构建检测网络模型；

获取交通标志图像的特征图；

提取交通标志的外观信息和语义信息；

通过多尺度注意力特征增强机制重新组合特征信息；

将组合后的特征送入到后续进行特征增强的网络模块中；

将增强后的特征送入到改进的特征金字塔网络中进行特征融合；

将融合后的特征送入检测分支中，进行分类和回归，得出目标在当前场景中的类别置信度和准确位置。

本发明还提出一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述所述方法的步骤。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (8)

1.一种基于一阶段检测网络的交通标志检测方法，其特征在于，所述方法由计算机执行，包括以下步骤：

S1、构建检测网络模型；

S2、获取交通标志图像的特征图；

S3、提取交通标志的外观信息和语义信息；

S4、通过多尺度注意力特征增强机制重新组合特征信息；

S5、将组合后的特征送入到后续进行特征增强的网络模块中；

S6、将增强后的特征送入改进的特征金字塔网络中进行特征融合；

S7、将融合后的特征送入检测分支中，进行分类和回归，得出目标在当前场景中的类别和准确位置。

2.如权利要求1所述的一种基于一阶段检测网络的交通标志检测方法，其特征在于，S1的具体实现过程如下：

S101、该检测网络由四部分组成；分别为骨干网络部分、多尺度注意力特征增强机制部分、改进的特征金字塔部分以及预测分支部分。

S102、骨干网络是修改后的Darknet53网络，使用的特征是提取到的第三层、第四层和第五层的特征信息。

S103、多尺度注意力特征增强机制部分，主要是对特征信息进行分解，然后获得特征在水平方向以及空间方向的权重，有选择的重新组合特征信息。

S104、改进的特征金字塔网络，通过在原来的金字塔网络中构建一条自下而上的路径，并在该路径中加入两个空间信息聚合器，嵌入不同层的空间细粒度特征信息。

S105、将嵌入了空间细粒度信息和丰富语义信息的特征送入到预测分支中。最后根据两次分类和回归的结果，得出目标的类别和准确位置。

3.如权利要求1所述的一种基于一阶段检测网络的交通标志检测方法，其特征在于，S2的具体实现过程如下：

S201、特征图的获取是在检测任务的开始阶段，通过一些卷积和激活函数等过滤器的输出激活，称之为特征图。

4.如权利要求1所述的一种基于一阶段检测网络的交通标志检测方法，其特征在于，S3的具体实现过程如下：

S301、在该方法中使用的骨干网络是修改后的Darknet53网络，提取到的有五层特征信息，我们选择第三层、第四层和第五层特征进行使用。

S302、第三层和第四层的特征经历的卷积层数较少，包含的更多是外观信息，其中只有少量的语义信息。

S303、依次获取输入图像的特征图，改变特征的通道数，丰富了特征信息，X是初始输入的特征层，Φ₃(X),Φ₄(X),Φ₅(X)是提取到的第三层、第四层和第五层特征，

分别是由一个CBL和8、4个残差组件构成。其表达式如下：

5.如权利要求1所述的一种基于一阶段检测网络的交通标志检测方法，其特征在于，S4的具体实现如下：

S401、将提取获得的外观信息和语义信息作为输入，送入多尺度注意力特征增强机制中进行处理。add是并行的连接操作，X_i,Y_i分别为更底层、更高层的输入特征在第i通道的信息。M_i是第c通道激励后的结果:

M_i＝add(X_i,Y_i)，i＝1,2,...,c, (4)

S402、将连接后的特征信息作为输入，M_c(i,j)为输入特征在位置i,j处的第c通道的信息。H,W表示沿水平方向和空间方向的激励，U_c是第c通道激励后的结果:

接下来，为了获得通道之间的相关性，我们做了以下工作：

K＝PWconv2(Relu(PWconv1(U))) (6)

其中PWconv1、PWconv2分别对应于Point-wise Conv1和Point-wise Conv2，表示逐点卷积。局部细节信息由Point-wise Conv1聚合，起到降维作用，用于控制通道的数量，这使得操作尽可能的轻便。Relu被用于非线性操作。之后，进行1*1的逐点卷积，得到与输入特征相同的维度。K是激活后的结果。

S403、保留通道信息相关性，并通过激活函数得到的注意权重如下：

Z₁＝XSigmoid(K)+Y(1-Sigmoid(K)), (7)

其中获得的权重被应用于原始输入特征。X和Y是初始输入的特征层。通过Sigmoid(K)和1-Sigmoid(K)获得权重。值得注意的是，Sigmoid(K)的值在0和1之间，1-Sigmoid(K)也是如此。这使得网络能够在X和Y之间进行加权平均。Z₁是按照一定规则融合后的特征图。

S404、提取的局部细节信息如下所示：

K^*＝BN(PWconv2(Relu(BN(PWconv1(M))))), (8)

其中，局部细节信息由PWconv1汇总，改变输入特征的通道数。M是经过公式(4)得到的特征图。BN表示批量归一化，其作用是加快网络训练速度，防止过拟合。Relu被用于非线性操作。PWconv2是一个增量维度层，1*1的逐点卷积将特征图恢复到与输入特征相同的维度。

S405、接下来，由激活函数得到的权重与输入特征相结合，具体如下。其表示如下：

Z₂＝XSigmoid(K^*)+Y(1-Sigmoid(K^*)), (9)

其中获得的权重被应用于不同大小的输入特征。X和Y是初始输入的特征层。Z₂是按照一定规则融合后的特征图，它在输入特征的基础上增加了局部细节信息。

S406、最后，将全局上下文信息和局部细节信息结合起来，Z是融合后的特征图。如下所示：

Z＝add(Z₁,Z₂), (10) 。

6.如权利要求1所述的一种基于一阶段检测网络的交通标志检测方法，其特征在于，S5的具体实现过程如下：

S501、将经过多尺度注意力特征增强机制进行编码的浅层外观信息送入后续的特征增强网络中来提高特征表征能力，特征增强网络由多个卷积、批量归一化以及非线性激活函数组成。

7.如权利要求1所述的一种基于一阶段检测网络的交通标志检测方法，其特征在于，S6的具体实现过程如下：

S601、改进的特征金字塔网络，在原来的基础上构建了一条自底向上的路径，路径上加入两个空间信息聚合器，嵌入了丰富的空间细粒度信息，确保在后续的操作中，空间信息不被稀释掉。在空间信息聚合器中，我们首先使用全局平均池化来获得通道层面的全局特征。之后，我们通过激励来学习通道之间的非线性关系，捕捉通道之间的关系。如下所示：

X_c(i,j)为输入信息在位置i,j处的第c通道的信息。H,W表示沿水平方向和空间方向的激励，F_c是第c通道激励后的结果。

S602、将激励后的特征层输入到特征作用层中，之后，我们通过激励来学习通道之间的非线性关系，并抓住通道之间的关系。其表达式如下:

V＝XSigmoid(L_i(X)), (12)

其中X是初始输入的特征层，紧接着是Li(.)(即大小为1*1的卷积核)和一个Sigmoid激活函数，它们被称为特征重要性作用层。这里的作用是强调特征的重要性。通过强调每个特征图的重要性，可以学到一些有用的信息，并输出一个重要性向量。接下来，这些学到的重要性向量被作用于原来的输入特征图，然后被作用的特征再一次被添加到输入特征图中，称为重新作用的特征图。最大的优势在于原始特征图和重新作用的特征图之间引入了一个额外的跳跃连接。

S603、为了提高效率，选择层Ls(.)(即1×1的conv层)被应用于重新反应的特征图。其表达式如下所示：

Y＝L_s(V). (13)

V是上述经过重新作用后的特征图，这样做是为了有选择地保留重要的特征图，去除无用的特征图以减少通道。将上述聚合的空间信息用于特征金字塔的颈部部分。这增强了底层特征图的重要性。

8.如权利要求1所述的一种基于一阶段检测网络的交通标志检测方法，其特征在于，S7的具体实现过程如下：

S701、整个方法的损失由候选区域的分类和回归损失构成。

S702、计算整个方法的损失，i指的是是索引为i的锚框。c_i是检测器的预测值，

是真实值,λ是回归部分所占的权重，这里是0.6。其表达式如下:

S703、根据最小损失，输出目标在当前图片中的类别和准确位置。

Images