CN111401410A

CN111401410A - 一种基于改进级联神经网络的交通标志检测方法

Info

Publication number: CN111401410A
Application number: CN202010124046.XA
Authority: CN
Inventors: 王海; 王宽; 蔡英凤; 李祎承; 刘擎超; 刘明亮; 张田田; 李洋
Original assignee: Jiangsu University
Current assignee: Jiangsu University
Priority date: 2020-02-27
Filing date: 2020-02-27
Publication date: 2020-07-10
Anticipated expiration: 2040-02-27
Also published as: CN111401410B

Abstract

本发明公开了一种基于改进级联神经网络的交通标志检测方法，首先，采集交通标志图片，制作交通标志数据集，其次设计改进的级联神经网络模型，然后利用交通标志数据集对神经网络模型进行训练，将保存的模型参数导入改进的神经网络模型中，最后对图片中的交通标志进行检测。针对交通标志这类小目标特殊任务，本发明在原有级联神经网络基础上将FPN模块的深层特征信息融合进浅层特征层，同时本发明改进了目标检测任务中的评价指标IoU，设计了目标检测任务的直接评价指标GIoU指导定位任务，提高了检测精度。进一步，所述图片中的交通标志进行实时检测时，图片中的每个目标存在多个预测边界框，使用软化非极大值抑制剔除多余的预测边界框。

Description

一种基于改进级联神经网络的交通标志检测方法

技术领域

本发明属于汽车环境感知目标检测技术领域，具体涉及一种基于级联神经网络的交通标志检测方法。

背景技术

交通标志检测是图像识别领域的一个重要方向，基于深度学习的计算机视觉算法作为计算机视觉领域的后期之秀，随着近几年来数据量的不断提升和硬件水平的突飞猛进，在各类计算机视觉任务中都取得了巨大的成功，例如目标分类，目标检测，语义分割等。其中，针对目标检测，目前已经有大量效果出众，同时又能有良好的实时性表现的算法。这些算法根据是否使用了区域候选网络(RPN)先进行一次正样本的检测框回归，归分为单阶段阶段和二阶段检测算法。单阶段目标检测算法有yolov3，SSD，Retinanet等，双阶段检测算法有RCNN，RFCN,Fasterrcnn，Cascadercnn等。在目标检测领域中，交通标志检测是一个十分重要的方向，研究交通标志检测算法对于交通安全十分重要。在自动驾驶场景中，交通标志的检测和识别起着非常重要的作用。精确的检测对后续的识别、辅助定位和导航起着决定性的作用。传统的交通标志检测方法是图像处理后进行模板匹配，基于颜色信息、形状信息或基于两者结合对其进行检测，再用模板匹配法实现识别功能，然而这种检测方法在真实自然环境中的光照、旋转、遮挡、扭曲等情况下受影响严重。与上述方法相比，本发明使用基于级联神经网络的方法检测交通标志的方法受环境、天气影响更低，检测精度更高。

发明内容

本发明的目的是为了解决现有的交通标志检测对于天气、环境要求较高以及检测精度准确度较差的问题，提出一种基于改进级联神经网络的交通标志检测方法，能够更好的适应各种天气、环境，并且能够获取较精确的交通标志检测信息、提高驾驶过程中的安全性。首先，采集交通标志图片，制作交通标志数据集，其次设计改进的级联神经网络模型，然后利用交通标志数据集对神经网络模型进行训练，将保存的模型参数导入改进的神经网络模型中，最后对图片中的交通标志进行检测。

针对交通标志这类小目标特殊任务，网络的检测效果提升不明显，在原有级联神经网络基础上将FPN模块的深层特征信息融合进浅层特征层，同时本发明改进了目标检测任务中的评价指标IoU，设计了目标检测任务的直接评价指标GIoU指导定位任务，提高了检测精度。进一步，所述图片中的交通标志进行实时检测时，图片中的每个目标存在多个预测边界框，使用软化非极大值抑制剔除多余的预测边界框。

本发明的有益效果：

1、针对交通标志这类小目标特殊任务，本发明在原有级联神经网络基础上将FPN模块的深层特征信息融合进浅层特征层，同时本发明改进了目标检测任务中的评价指标IoU，设计了目标检测任务的直接评价指标GIoU指导定位任务，提高了检测精度。

2、图片中的交通标志进行实时检测时，图片中的每个目标存在多个预测边界框，本发明使用软化非极大值抑制剔除多余的预测边界框。

附图说明

图1是本发明方法流程图

图2是级联神经网络结构

图3是FPN特征金字塔

图4是检测效果图

具体实施方式

下面结合附图对本发明作进一步说明。

如图1所示，一种基于改进级联神经网络的交通标志检测方法包括以下步骤:

Step1数据集制作

采集包含各种场景下(包括不同道路、天气、不同角度拍摄)的交通标志，并利用标注工具对图片中的交通标志进行标注，得到交通标志数据集；并将标注后的交通标志整理成VOC数据集格式，VOC数据集包括三个文件夹，分别是JPEGImages文件、Annotations文件以及Imagesets文件，这三个文件夹中，JPEGImages存放训练集以及测试集图片，Annotations文件夹存储xml类型的标注文件，Imagesets文件夹存放txt文本，txt文本每一行对应一个图片的名称，改进后的级联神经网络模型根据txt文本读取文件名，再到JPEGImages和annotations文件夹中寻找对应的图片和标注信息，在寻找到的图片标注中提取交通标志的标注信息，获取标注信息的边框参数。接下来将图片随机地分成不同的批次，在送入改进的级联神经网络模型前，对图片进行随机的旋转、裁剪、平移变换、翻转变换、噪声扰动等数据增强方式，扩充图片场景多样性，并将图片尺寸统一调整为1360*800。

Step2设计级联神经网络

本发明采用采用ResNet-101的基础模型，共有101个可共享的卷积层或全连接层，还有一个1×1的卷积层用来对齐卷积通道，网络共分为三个部分：特征提取网络，ROI生成，样本分类与边框回归。基础的级联神经网络将多个不同的检测器根据IoU的值串联起来，设定了IoU分别是0.5，0.6和0.7的三个级联检测器,每个检测器的输入源自上一层检测器边界框回归后的结果。通过这种设定，网络可以充分利用各类正样本的图像信息，一定程度上可以减少正样本的浪费和流失，使得检测网络适应各种目标的检测情况，提高网络的检测精度。采用的级联神经网络如图2示，神经网络总体流程如下：首先初始化搭建的卷积神经网络模型参数，其中卷积层参数是利用ImageNet图像数据集预先训练的Resnet101得到，其他层的参数都是采用随机方式初始化；为了获得图像的多尺度特征表达，利用卷积神经网络提取层次特征，进而建立特征金字塔；然后根据RPN网络生成目标候选区域，在特征金字塔各个层级中找到对应的目标区域，从而提取出目标的多尺度特征；最后，将池化后的特征在Concat层进行特征融合。

Step3设计辅助卷积层

采用如图3示的FPN特征金字塔模块，将自底向上和自顶向下的路径进行横向信息融合，通过对高层特征上采样和底层信息进行3X3卷积操作融合，可充分利用原来最低层特征图的语义信息，并得到有丰富的特征信息和高分辨率的特征图，对小目标有很好的检测率，且生成的特征图满足后续的处理。同时这种连接几乎不会增加网络额外的时间和计算量，只是在基础网络上增加了跨层连接，这样就实现了从单尺度的单张输入图像，快速构建在三个尺度上都具有强语义信息的特征金字塔，同时不产生明显的时间代价。

Step4，设计目标检测任务中的评价指标损失函数

目标检测领域中对象检测基准中最常用的评估指标是IOU，在最终评价模型性能时使用预测框与真实框的交并比来判断是否进行了正确的检测。然而IoU作为度量和损失都有两个主要问题:(1)如果两个对象不重叠，IoU值将为零，并且不能反映两个形状之间的距离。在非重叠对象的情况下，如果使用IoU作为损失，则梯度为零，无法优化；(2)IoU不能正确区分两个对象的不同对齐。对于两个具有相同交点水平的不同方向重叠的对象，IoU将是完全相等的，因此，IoU函数的值并不能反映两个对象是如何重叠的。所以基于此问题，本发明提出了一种新的度量预测框与真实框拟合程度的方法，将GIOU作为一种损失函数引入到2D目标检测中。

其中IoU和GIoU的计算公式如下：

其中：A表示预测框，B表示真实框，C表示两者的最小闭包(包含A、B的最小包围框)

本发明设计的GIoU的详细计算方法如下所示：

输入:预测框B^P＝(x₁ ^p,y₁ ^p,x₂ ^p,y₂ ^p),真实框B^G＝(x₁ ^g,y₁ ^g,x₂ ^g,y₂ ^g)

x₁ ^p,y₁ ^p,x₂ ^p,y₂ ^p为预测框各顶点坐标，x₁ ^g,y₁ ^g,x₂ ^g,y₂ ^g为真实框各顶点的坐标；

输出IOU、GIOU损失函数LossIoU，,LossGIoU

(1)计算x₁ ^p＝min(x₁ ^p，x₂ ^p),

x₂ ^p＝max(x₁ ^p，x₂ ^p)，y₁ ^p＝min(y₁ ^p，y₂ ^p),y₂ ^p＝max(y₁ ^p，y₂ ^p)。

(2)计算真实框框的面积:Area^g＝(x₂ ^g-x₁ ^g)*(y₂ ^g-y₁ ^g)；预测框的面积:Area^p＝(x₂ ^p-x₁ ^p)*(y₂ ^p-y₁ ^p)

(3)计算预测框和标签框的交集:x₁ ^I＝max(x₁ ^p,x₁ ^g),x₂ ^I＝min(x₂ ^p,x₂ ^g)，y₁ ^I＝max(y₁ ^p,y₁ ^g),y₂ ^I＝min(y₂ ^p,y₂ ^g)；x₁ ^I、x₂ ^I、y₁ ^I、y₂ ^I为预测框与真实框的顶点坐标最大值或最小值；

当x₂ ^I>x₁ ^I,y₂ ^I>y₁ ^I时，交集I＝(x₂ ^I-x₁ ^I)*(y₂ ^I-y₁ ^I),

最小封闭图形C的坐标记做Box^C:x₁ ^C＝min(x₁ ^p，x₁ ^g)，

x₂ ^C＝min(x₂ ^p，x₂ ^g)y₁ ^C＝min(y₁ ^p，y₁ ^g)，y₂ ^C＝max(y₂ ^p，y₂ ^g)；x₁ ^C、x₂ ^C、y₁ ^C、y₂ ^C为最小封闭图形C的各个顶点坐标；

(4)IOU＝I/U,其中U＝Area^p+Area^g-I，GIoU＝IoU-(Area^c-U)/Area^c；I为预测框与真实框的交集面积；Area^c为最小封闭图形C的面积。

(5)LossIoU＝1-Iou

(6)LossGIoU＝1-GIoU。

本发明将GIOU作为一种新的评价指标损失函数替代原有评价指标IoU引入到了级联RCNN中，由LossGIoU计算公式可以得知，LossGIoU能保证损失函数目标检测框回归不仅具有尺度不变性，同时使得检测框的优化目标和损失函数保持一致。在交通标志识别中，由于正样本和负样本之间存在显著的不平衡，这使得训练边界框得分更加困难，使用GIoU可以有进一步改进的机会。

Step5改进的级联神经网络模型利用步骤4预测边界框的回归损失函数GIOU进行损失计算，为了使损失越来越小，每一批次测试图片送入改进的神经网络模型进行训练，都会更新模型权重，直到损失值收敛，每迭代一万次保存一次模型参数。

Step6停止训练，将步骤5中保存的模型参数导入改进的级联神经网络模型中，测试图片送入改进的级联神经网络模型，输出预测的边界框信息及类别概率。

Step7此时图片中的交通标志目标有多个预测边界框，传统的非极大值抑制将检测框按得分排序，然后保留得分最高的框，同时删除与该框重叠面积大于一定比例的其它框，这样做容易造成目标的漏检，因此本发明为了降低模型的漏检率，使用软化非极大值，不再粗鲁地删除所有IOU大于阈值的框，而是降低其置信度，指定一个置信度阈值，然后最后得分大于该阈值的检测框得以保留在剩下的预测边界框中循环此步骤，最终得到每个交通标志对应的一个预测边界框。

Step8利用opencv对检测图片进行可视化，如图4所示。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技术所创的等效方式或变更均应包含在本发明的保护范围之内。

Claims

1.一种基于改进级联神经网络的交通标志检测方法，其特征在于，包括如下步骤：

步骤1，采集交通标志图片，制作交通标志数据集；

步骤2，设计级联神经网络；

步骤3，设计辅助卷积层；

步骤4，设计目标检测任务中的评价指标损失函数；

步骤5，改进的级联神经网络模型利用步骤4预测边界框的回归损失函数GIOU进行损失计算；

步骤6，停止训练，输出预测的边界框信息及类别概率；

步骤7，得到交通标志对应的预测边界框；

步骤8，对检测的图片进行可视化显示。

2.根据权利要求1所述的一种基于改进级联神经网络的交通标志检测方法，其特征在于，所述步骤1具体为：采集包含各种场景下的交通标志，并利用标注工具对图片中的交通标志进行标注，得到交通标志数据集；并将标注后的交通标志整理成VOC数据集格式。

3.根据权利要求2所述的一种基于改进级联神经网络的交通标志检测方法，其特征在于，所述VOC数据集包括三个文件夹，分别是JPEGImages文件、Annotations文件以及Imagesets文件；这三个文件夹中，JPEGImages用于存放训练集以及测试集图片，Annotations文件夹用于存储xml类型的标注文件，Imagesets文件用于夹存放txt文本，txt文本每一行对应一个图片的名称；改进后的级联神经网络模型根据txt文本读取文件名，再到JPEGImages和annotations文件夹中寻找对应的图片和标注信息，在寻找到的图片标注中提取交通标志的标注信息，获取标注信息的边框参数。

4.根据权利要求2所述的一种基于改进级联神经网络的交通标志检测方法，其特征在于，所述交通标志图片在输入改进的级联神经网络模型前，对图片进行随机的旋转、裁剪、平移变换、翻转变换、噪声扰动等数据增强方式，扩充图片场景多样性，并将图片尺寸统一调整为1360*800。

5.根据权利要求1所述的一种基于改进级联神经网络的交通标志检测方法，其特征在于，所述步骤2设计级联神经网络模型的方法：采用ResNet-101的基础模型，共有101个卷积层或全连接层，还有一个1×1的卷积层用来对齐卷积通道；网络模型包含三个部分：特征提取网络、ROI生成、样本分类与边框回归；所述级联神经网络模型将若干个不同的检测器根据IoU的值串联起来，设定了IoU分别是0.5，0.6和0.7的三个级联检测器，每个检测器的输入源自上一层检测器边界框回归后的结果；

其设计方法包括：首先初始化搭建的卷积神经网络模型参数，其中卷积层参数是利用ImageNet图像数据集预先训练的Resnet101得到，其他层的参数均采用随机方式初始化；为了获得图像的多尺度特征表达，利用卷积神经网络提取层次特征，建立特征金字塔；然后根据RPN网络生成目标候选区域，在特征金字塔各个层级中找到对应的目标区域，提取出目标的多尺度特征；最后，将池化后的特征在Concat层进行特征融合。

6.根据权利要求1所述的一种基于改进级联神经网络的交通标志检测方法，其特征在于，所述步骤3设计辅助卷积层的方法如下：

将自底向上和自顶向下的路径进行横向信息融合，通过对高层特征上采样和底层信息进行3X3卷积操作融合，充分利用原来最低层特征图的语义信息，得到包含有丰富的特征信息和高分辨率的特征图。

7.根据权利要求1所述的一种基于改进级联神经网络的交通标志检测方法，其特征在于，所述步骤4设计目标检测任务中的评价指标损失函数时采用一种新的度量预测框与真实框拟合程度的方法，将GIOU作为损失函数引入到2D目标检测中；其具体设计方法如下：

IoU和GIoU的计算公式如下：

其中，GIoU的详细计算方法如下：

输入：预测框B^P＝(x₁ ^p，y₁ ^p，x₂ ^p，y₂ ^p)，B^G＝(x₁ ^g，y₁ ^g，x₂ ^g，y₂ ^g)

输出：LossIoU，，LossGIoU

(1)计算x₁ ^p＝min(x₁ ^p，x₂ ^p)，

x₂ ^p＝max(x₁ ^p，x₂ ^p)，y₁ ^p＝min(y₁ ^p，y₂ ^p)，y₂ ^p＝max(y₁ ^p，y₂ ^p)。

(2)计算真实框的面积：Area^g＝(x₂ ^g-x₁ ^g)*(y₂ ^g-y₁ ^g)；预测框的面积：Area^p＝(x₂ ^p-x₁ ^p)*(y₂ ^p-y₁ ^p)

(3)计算预测框和标签框的交集：x₁ ^I＝max(x₁ ^p，x₁ ^g)，x₂ ^I＝min(x₂ ^p，x₂ ^g)，y₁ ^I＝max(y₁ ^p，y₁ ^g)，y₂ ^I＝min(y₂ ^p，y₂ ^g)

(4)当x₂ ^I＞x₁ ^I，y₂ ^I＞y₁ ^I时，交集I＝(x₂ ^I-x₁ ^I)*(y₂ ^I-y₁ ^I)，最小封闭图形C的坐标记做Box^C：x₁ ^C＝min(x₁ ^p，x₁ ^g)，x₂ ^C＝min(x₂ ^p，x₂ ^g)y₁ ^C＝min(y₁ ^p，y₁ ^g)，y₂ ^C＝max(y₂ ^p，y₂ ^g)

(5)IOU＝I/U，其中U＝Area^p+Area^g-I，GIoU＝IoU-(Area^c-U)/Area^c

(6)LossIoU＝1-Iou

LossGIoU＝1-GIoU。

8.根据权利要求1所述的一种基于改进级联神经网络的交通标志检测方法，其特征在于，所述步骤5在进行损失计算时还包括：每一批次测试图片送入改进的神经网络模型进行训练，均更新模型权重，直到损失值收敛，每迭代一万次保存一次模型参数。

9.根据权利要求1所述的一种基于改进级联神经网络的交通标志检测方法，其特征在于，所述步骤7的方法包括：采用软化非极大值，降低置信度，即指定一个置信度阈值，最后得分大于该阈值的检测框得以保留在剩下的预测边界框中循环此方法，最终得到每个交通标志对应的一个预测边界框。

10.根据权利要求1所述的一种基于改进级联神经网络的交通标志检测方法，其特征在于，所述步骤8对检测的图片进行可视化显示时利用opencv。