CN111310615A - 基于多尺度信息和残差网络的小目标交通标志检测方法 - Google Patents

Abstract

本发明涉及一种基于多尺度信息和残差网络的小目标交通标志检测方法，包括下列步骤：准备包含不同种类交通标志的数据集；网络搭建，包括特征提取网络、区域生成网络、兴趣区域池化层和全连接层；训练所搭建的网络，得到网络模型：使用gradual warmup的方法优化学习率，在训练的过程中，学习率从0开始逐渐增大到设置值；在训练过程中，每次迭代，将随机选取的训练集图片输入所搭建的网络，得到图片中交通标志的类别预测值和边界框预测值，计算预测值和json文件中真实值的误差得到损失函数，采用随机梯度下降SGD更新网络参数，不断重复此过程直至误差不再减小，从而得到用于检测小目标交通标志的网络模型。

Description

基于多尺度信息和残差网络的小目标交通标志检测方法

技术领域

本方法涉及目标检测领域，特别涉及自动驾驶汽车中的辅助驾驶系统。

背景技术

伴随着汽车的大范围普及，我国交通安全事故发生率也随之逐年上升。使车辆能够自动检测并识别交通标志、获取路面情况可以在很大程度上减轻驾驶员的精神负担、缓解疲劳，保障安全驾驶。

交通标志检测是指根据实时图片中交通标志的颜色、形状等特征，定位交通标志的位置，并且对图片中的交通标志进行分类识别，获取交通标志的含义，规范车辆的行驶。交通标志检测是辅助驾驶系统中的核心任务，对小目标交通标志检测的研究具有重要的现实意义。

由于国内外大部分交通标志具有规则的形状和易于区分的颜色，所以早期国内外学者多采用图像处理的方法来解决交通标志检测问题。后来随着机器学习的兴起，HOG特征结合SVM分类器等交通标志检测算法不断涌现。而近年来随着神经网络的不断研究和创新，深度学习的方法越来越多地应用到交通标志检测领域，并占据了重要地位。在近年来公布的众多论文、专利中，交通标志检测算法基本都基于深度神经网络。Zang等[1]提出了一种基于级联卷积神经网络(CNN)的交通标志检测方法。首先，结合特征检测器和AdaBoost分类器提取感兴趣区域；其次，采用级联卷积神经网络来筛选感兴趣区域，实现交通标志检测。Zhu等[2]提出了一个包含深度学习的新框架，整个框架包含两个深度神经网络，一个是全卷积网络(FCN)，用以产生交通标志的候选区域；另一个是卷积神经网络，用于分类。ZhangJ等[3]提出了一种基于卷积神经网络的浅层网络结构，该网络仅由三个卷积层进行特征提取，并采用逆向优化的方法进行学习，使用激活函数ReLU来提高计算效率，该方法在德国交通标志识别数据集(GTSRB)上获得了高准确率。(CN201910365006.1)提出一种基于注意力机制的交通标志检测方法，此方法通过贪心策略算法对待检测图像进行切片，得到目标检测区域，通过检测模型获取与每个目标检测区域对应的预测结果，提高了交通标志检测的精度值和效率。(CN201910440872.2)将交通标志图像进行模糊化处理，虚化交通标志因为光线、提取范围等原因而产生的不光滑的轮廓表面，然后建立卷积神经网络识别图像，在一定程度上减少了噪声的干扰。(CN201910552184.5)设计了一种改进的神经网络模型，模型使用PW卷积、DW卷积以降低参数量、提升检测速度，并改进交叉熵损失，在损失函数中对易分类样本进行抑制，使模型在训练过程中更加注重难分类样本。(CN201910474058.2)提出了一种基于F-RCNN的远距离交通标志检测识别方法，利用F-RCNN和极限学习机网络，实现了较高的识别准确率。

现有的目标检测方法，主要是针对通用目标数据集来设计的解决方案，应用于交通标志检测中时，对于小目标交通标志来说，检测效果不是很理想。此外，小目标本身包含信息少，且经过多次卷积之后信息容易被丢失，给检测带来困难。

[1]D.Zang,J.Zhang,D.Zhang,M.Bao,J.Cheng and K.Tang,"Traffic signdetection based on cascaded convolutional neural networks"201617th IEEE/ACISInternational Conference on Software Engineering,Artificial Intelligence,Networking and Parallel/Distributed Computing(SNPD),Shanghai,2016,pp.201-206.

[2]Zhu Y,Zhang C,Zhou D,et al.Traffic sign detection and recognitionusing fully convolutional network guided proposals[J].Neurocomputing,2016,214:758-766.

[3]Zhang J,Huang Q,Wu H,et al.A Shallow Network with Combined Poolingfor Fast Traffic Sign Recognition[J].Information,2017,8(2):45.

发明内容

利用交通标志图像的多尺度信息可以有效提高小目标交通标志的检测准确率，本发明提出了一种基于多尺度信息和残差网络的小目标交通标志检测方法，从感受野入手获取交通标志图像的多尺度信息，以提高检测性能。技术方案如下：

一种基于多尺度信息和残差网络的小目标交通标志检测方法，包括下列步骤：

第一步，准备包含不同种类交通标志的数据集，划分训练集和测试集。

第二步，网络搭建，包括特征提取网络、区域生成网络、兴趣区域池化层和全连接层，具体搭建方法如下：

(1)使用ResNet101作为特征提取网络的骨干：为获取图片的多尺度信息，在特征提取网络中添加3个使用空洞卷积的卷积层并行分支，且这三个卷积层只有空洞卷积的膨胀率不同，共享其他参数，将训练集图片输入特征提取网络，在3个并行分支上生成3个包含不同尺度信息的特征图，将这3个特征图在通道维度上进行连接；

(2)将上述特征图输入到区域生成网络RPN中，对于每个分支的特征图，RPN生成不同的提议区域；

(3)将特征提取网络生成的特征图和RPN生成的提议区域共同输入兴趣区域池化层，兴趣区域池化层首先将提议区域映射到特征图上，然后进行最大值池化操作，最终输出各个提议区域对应的特征；

(4)将兴趣区域池化层输出的特征输入到全连接层，全连接层对输入图片的类别和边界框进行预测。

第三步，训练所搭建的网络，得到网络模型：使用gradual warmup的方法优化学习率，在训练的过程中，学习率从0开始逐渐增大到设置值；在训练过程中，每次迭代，将随机选取的训练集图片输入所搭建的网络，得到图片中交通标志的类别预测值和边界框预测值，计算预测值和json文件中真实值的误差得到损失函数，采用随机梯度下降SGD更新网络参数，不断重复此过程直至误差不再减小，从而得到用于检测小目标交通标志的网络模型。

本发明利用多尺度信息和残差网络来实现对小目标交通标志的检测，并在区域生成网络RPN中加入尺度过滤来提高网络的检测性能。由于参数共享，网络没有添加额外的参数，并且使用了gradual warmup方法来优化学习率，使网络能够稳定收敛。此外，网络通过使用软化非极大值抑制算法，有效降低了小目标交通标志的漏检率。与现有技术相比，这种方法充分利用多尺度信息，能够有效提升对小目标交通标志检测的准确率。

附图说明

图1基于多尺度信息和残差网络的小目标交通标志检测方法的网络整体结构图

图2特征提取网络结构图

图3 3个并行分支结构图(d表示空洞卷积的膨胀率)

图4兴趣区域池化层池化示意图

图5检测结果示意图，左图和右图分别为两个识别结果图。

具体实施方式

为使本发明的技术方案更加清楚，下面结合附图对本发明做进一步阐述。本发明提出了一种基于多尺度信息和残差网络的小目标交通标志检测方法，按以下步骤具体实现：

第一步，准备数据集。

(1)裁剪训练集中的图片。

原始数据集是清华腾讯100K数据集，简称为TT100K。其中，训练集共有6105张图片，测试集共有3071张图片，训练集和测试集中每张图片的宽高均为2048×2048。为了便于网络训练和学习交通标志的特征，将所有训练集图片裁剪为768×768的图片。

(2)生成COCO数据集格式的json文件。

程序需要通过COCO数据集格式的json文件获取必要的图片信息，比如图片中交通标志的类别、边界框等，所以需要利用已经裁剪好的图片以及TT100K数据集中的图片信息文件生成COCO数据集格式的json文件。

第二步，网络搭建。本发明的网络结构主要包括特征提取网络、区域生成网络、兴趣区域池化层和全连接层，下面将结合附图，对本发明搭建的网络结构进行详细的介绍说明。

(1)以ResNet101作为特征提取网络的骨干网络，如附图2所示。ResNet101的基本结构单元是残差块。对于一个残差块，首先将输入特征依次通过串联的1×1卷积、3×3卷积、1×1卷积之后得到输出的特征，然后将输出的特征和此残差块的输入特征进行元素相加，得到最终的输出，这个最终的输出将作为下一个残差块的输入。ResNet101主要分为四个阶段，第一个阶段包含一个7×7的卷积层、一个最大池化层和3个残差块，输入图片经过第一个阶段后，其输出特征的宽高变为原图片的1/4，通道数变为64；第二个阶段包含4个残差块，它将输入特征的宽高减半、通道数变为512；第三个阶段包含23个残差块，它将输入特征的宽高减半、通道数变为1024；第四个阶段包含3个残差块，它将输入特征的宽高减半、通道数变为2048。

本发明的特征提取网络主要对ResNet101第三个阶段的最后一个残差块进行改动。对于这个残差块，将其改为3个并行的卷积层，这3个卷积层使用膨胀率分别为1、2、3的空洞卷积，并且共享其他权重参数。所以，对于此并行卷积层的输入，将生成3个不同的特征图，这三个特征图具有不同的感受野，膨胀率为1的卷积层分支感受野小，更利于检测小目标交通标志；膨胀率为2的卷积层分支感受野稍大，更利于检测中等大小的交通标志；膨胀率为3的卷积层分支感受野最大，更利于检测大目标交通标志。然后将这3个不同的特征图在通道维度上连接，作为ResNet101第四个阶段的输入，如附图3所示。

(2)将上述特征提取网络输出的特征图输入到区域生成网络RPN中。对于3个具有不同感受野的分支，为了充分发挥3个分支感受野的作用，即让感受野小的分支专注于检测小目标，让感受野大的分支专注于检测大目标，减小每个分支训练样本的尺度差异，RPN利用软化非极大值抑制算法，分别为三个分支生成若干个有效的提议区域，有效提议区域的大小由下面的公式决定：

公式中，w和h分别代表提议区域的宽和高，l_i和u_i分别为设置的阈值，对于空洞卷积膨胀率为1的分支，l_i＝0、u_i＝50；对于空洞卷积膨胀率为2的分支，l_i＝30、u_i＝100；对于空洞卷积膨胀率为3的分支，l_i＝50、u_i＝320。RPN为每个分支只生成某些尺度的提议区域，即尺度过滤。

(3)将RPN输出的提议区域和特征提取网络输出的特征图共同作为兴趣区域池化层的输入。兴趣区域池化层首先将提议区域映射到特征图上，然后进行最大值池化操作。如附图4所示，兴趣区域池化层对每个区域的输出形状是可以直接指定的，它可从形状各异的提议区域中得到形状相同的特征。

(4)兴趣区域池化层输出的特征作为全连接层的输入，全连接层的输出即是对输入图片中交通标志的类别预测和边界框预测，如附图1所示。

第三步，训练所搭建的网络。

(1)设置参数。设置学习率为0.0001，使用gradual warmup的方法优化学习率，在训练的过程中，学习率从0开始逐渐增大，在经过15000次迭代后，学习率增大到设置值0.0001。在训练过程中，所有训练样本完成一次训练叫做一个epoch，本次训练设置30个epoch。设置非极大值抑制算法中的阈值为0.7。

(2)训练网络。每次迭代，将随机选取的3张训练集中的图片输入特征提取网络，输出的特征图经过RPN获得提议区域，兴趣区域池化层利用提议区域从特征图得到形状形同的特征，这些特征通过全连接层得到图片中交通标志的类别预测值和边界框预测值。计算类别预测值与json文件中真实类别的误差，使用softmax loss作为类别损失函数；计算边界框预测值与json文件中真实边界框的误差，使用soomth L1 loss作为回归损失函数，这两个损失函数共同作为最终的损失函数。该损失函数由输出层向隐藏层逐层反向传播，采用随机梯度下降SGD更新网络参数直至输入层。不断迭代直至损失函数不再减小，将训练好的网络参数保存为模型。

第四步，测试网络的检测效果

(1)测试时，加载训练好的模型，然后输入待检测的交通标志图像，最终输出检测完毕的图像，输出图像中标出检测到的交通标志的类别、边界框和置信度，如附图5所示。

(2)本发明采用mAP(mean Average Precision)作为评价指标。为了评价本发明对小目标交通标志的检测性能，对于图片中的交通标志，定义尺寸小于32×32的交通标志为小目标交通标志，用平均准确率来评价对小目标交通标志的检测性能，记为AP_small。使用本发明所提出的网络对测试集中的3071张图片进行检测与评价，得到mAP＝93.9％，AP_small＝74.1％。

Claims (1)

1.一种基于多尺度信息和残差网络的小目标交通标志检测方法，包括下列步骤：

第一步，准备包含不同种类交通标志的数据集，划分训练集和测试集。

第二步，网络搭建，包括特征提取网络、区域生成网络、兴趣区域池化层和全连接层，具体搭建方法如下：

(1)使用ResNet101作为特征提取网络的骨干：为获取图片的多尺度信息，在特征提取网络中添加3个使用空洞卷积的卷积层并行分支，且这三个卷积层只有空洞卷积的膨胀率不同，共享其他参数，将训练集图片输入特征提取网络，在3个并行分支上生成3个包含不同尺度信息的特征图，将这3个特征图在通道维度上进行连接；

(2)将上述特征图输入到区域生成网络RPN中，对于每个分支的特征图，RPN生成不同的提议区域；

(3)将特征提取网络生成的特征图和RPN生成的提议区域共同输入兴趣区域池化层，兴趣区域池化层首先将提议区域映射到特征图上，然后进行最大值池化操作，最终输出各个提议区域对应的特征；

(4)将兴趣区域池化层输出的特征输入到全连接层，全连接层对输入图片的类别和边界框进行预测。

第三步，训练所搭建的网络，得到网络模型：使用gradual warmup的方法优化学习率，在训练的过程中，学习率从0开始逐渐增大到设置值；在训练过程中，每次迭代，将随机选取的训练集图片输入所搭建的网络，得到图片中交通标志的类别预测值和边界框预测值，计算预测值和json文件中真实值的误差得到损失函数，采用随机梯度下降SGD更新网络参数，不断重复此过程直至误差不再减小，从而得到用于检测小目标交通标志的网络模型。

Images