CN109753949A - 一种基于深度学习的多视窗交通标志检测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的多视窗交通标志检测方法，首先通过仿射变换在不同的照明条件和方向上提供其他交通标志图片，然后利用扩充的数据集训练基于YOLO框架的交通标志检测模型，最后利用多视窗YOLO模型对输入图像进行分区域操作，对每个区域分别检测，并将检测结果进行融合，得到最终检测结果。本发明保证了需要进行交通标志检测的应用领域在进行交通标志检测时的准确性，不仅能提高交通安全性，同时也保证了交通运行效率，具有较高的研究意义。

Description

一种基于深度学习的多视窗交通标志检测方法

技术领域

本发明涉及一种基于端到端深度学习的多视窗交通标志检测方法，属于计算机视觉领域。

背景技术

交通标志识别是模式识别中的一个研究热点，其通过采集图像对目标区域进行检测与识别，得到交通标志的类型，其应用不仅能提高交通安全性，同时也保证了交通运行效率。日本早在1987年就对交通标志识别相关领域进行了研究，当时比较主流的方法是利用阈值分割算法对交通标志进行检测，然后利用模板匹配方法进行识别。从20世纪90年代初，西方各国学者相继投人到交通标志识别研究中。2011年德国以交通标志数据库为基础举办了交通标志检测与识别大赛，标志着交通标志与识别受到了全世界的高度关注，这也促进了交通标志检测与识别的研究进展。从2009年开始，国家自然科学基金委员会提出重大的研究计划“视听觉信息的认知计算”。同时“中国智能车未来挑战赛”也开始举办，其中交通标志的识别是无人驾驶汽车平台环境感知部分的重要测试项目。该项赛事的举办在一定程度上促进了国内交通标志的研究进展。近几年，机器学习与深度学习愈渐火热，深度学习可以成为复杂检测任务的髙效解决方案，在多目标检测实时性方面，可以达到髙精度检测。

基于深度学习的交通标志检测模型，由于深度神经网络能够自主学习不同层级的特征，相比于传统手工设计特征，学习的特征更丰富，特征表达能力更强。目前，基于深度学习的目标检测方法主要分为两类：基于区域候选的模型和基于回归的模型。基于区域候选的深度学习交通标志检测模型建立在区域候选的思想上，首先对检测区域提取候选区域，为后续特征提取和分类做准备，典型代表为：R-CNN、SPP-net、Fast R-CNN、Faster R-CNN、R-FCN。基于回归的深度学习目标检测模型则采用回归的思想，需要预先按照一定方式划定默认框，从而建立起预测框、默认框、物体框的关系以进行训练，典型代表为：YOLO V3(YouOnly Look Once)、SSD(Single Shot multibox Detector)。在上述几种算法中，YOLO V3的检测性能相对较好，具有以下优点：1、YOLO V3的速度非常快。在Titan X GPU上的速度是45FPS(Frames Per Second)，加速版的YOLO V3差不多是150FPS。2、YOLO V3是基于图像的全局信息进行预测的。这一点和基于滑动窗口以及候选区域等检测算法不一样。与Fast R-CNN相比，YOLO V3在误检测方面的错误率能降低一半多。3、YOLO V3的泛化能力强。4、准确率高。因此本发明将改进基于YOLO V3框架在交通标志识别上的不足。

YOLO V3算法首先把输入图像划分成S*S的格子，然后对每个格子都预测B个候选区域，每个候选区域都包含5个预测值：X,Y,W,H和Confidence(预测值)。X,Y就是候选区域的中心坐标，与Grid Cell(网格)对齐，使得范围变成0到1；W,H是图像的宽与高，W和H进行归一化(分别除以图像的W和H，这样最后的W和H就在0到1范围)。另外每个格子都预测C个假定类别的概率。每个候选区域都对应一个Confidence Score，如果Grid Cell里面没有物体，Confidence就是0，如果有，则Confidence Score等于预测的Box和Ground Truth的IOU(Intersection Over Union)值。每个Grid Cell都预测C个类别概率，表示一个Grid Cell在包含目标的条件下属于某个类别的概率。网络方面主要采用GoogLeNet，卷积层主要用来提取特征，全连接层主要用来预测类别概率和坐标。损失函数由3部分组成：坐标误差、交并比(Intersection Over Union，IOU)误差和分类误差。在卷积神经网络中，需要引入非线性函数作为激活函数。引入激活函数可以增加神经网络模型的非线性，使神经网络模型具有更好的表达能力。在卷积神经网络中，常用的激活函数有Sigmod函数、tanh函数、ReLU函数等。YOLO V3网络采用了leaky ReLU函数作为激活函数，这样可以有效地避免在训练阶段Sigmod、ReLU等函数出现的梯度消失问题。另外YOLO V3算法具有以下缺点：1、位置精确性差，对于小目标物体以及物体比较密集的也检测不好。2、YOLO V3虽然可以降低将背景检测为物体的概率，但同时导致召回率较低。

发明内容

发明目的：为了克服现有技术中存在的不足，本发明提供一种基于深度学习的多视窗交通标志检测方法，主要用于解决基于端到端的深度学习交通标志识别的准确率问题，该方法可以提供一种安全、准确、高效的交通标志检测和标记服务。在利用端到端的深度学习方法对交通标志进行检测时，主要存在以下两个难点：难点一：端到端的深度学习方法(例如YOLO V3)在进行目标检测时具有位置精确性差、小目标物体(例如交通标志这样的小目标)的检测不敏感等问题。难点二：交通标志种类繁多，且在数据集中每类图像的数量不平衡，这意味着模型可能会偏向于代表性过高的种类，特别是当它的预测无法确定时。本发明提出一种将输入图像中感兴趣区域进行分区域放大的多视窗算法，以解决难点一；并应用仿射变换来增强图像，以扩展数据集，来解决难点二。保证了需要进行交通标志检测的应用领域在进行交通标志检测时的准确性，不仅能提高交通安全性，同时也保证了交通运行效率，具有较高的研究意义。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种基于深度学习的多视窗交通标志检测方法，首先通过仿射变换在不同的照明条件和方向上提供其他交通标志图片，然后利用扩充的数据集训练基于YOLO框架的交通标志检测模型，最后利用多视窗YOLO模型对输入图像进行分区域操作，对每个区域分别检测，并将检测结果进行融合，得到最终检测结果，可显著减少交通标志检测的误报，降低交通标志检测的漏检率。

具体包括以下步骤：

步骤1、准备数据集，通过仿射变换来对数据集中的图像进行增强，在不同的照明条件和方向上提供其他图片，对数据集进行扩展，得到扩充数据集；

步骤2、将步骤1得到的扩充数据集作为基于YOLO框架的交通标志检测模型训练所需的数据集；

步骤3，根据位置利用多视窗YOLO模型将输入图像等分为左上、右上、左下、右下四个区域；同时，在此基础上加上中部区域，中部区域为与输入图像同中心，并在水平、垂直方向上各截取一段的区域；进而通过多路基于YOLO框架的交通标志检测模型对这五个区域分别进行检测，检测过程中，划分的每一个区域经检测后都得到一组检测结果，最后得到多组检测目标集；

步骤4，在切分的左上、右上、左下、右下四个区域中将根据相邻检测区域中的同类别物体框，是否相邻水平、垂直轴线，并结合相邻边界线重合程度判断是否为同一个目标，对于同一个目标需要进行融合拼接；

采用边界线重合程度评价相邻边界线重合程度，其定义如下：

L_overlap＝(L₁∩L₂)/(L₁∪L₂)

式中：L_overlap表示边界线重合程度；L₁代表某视窗检测出的目标框水平/垂直轴线附近的边界线；L₂代表前一视窗相邻视窗检测出的目标框水平/垂直轴线附近的边界线；

步骤5，将步骤4融合得到的拼接结果结合中部区域的检测结果共同采用最大值抑制方法进行物体框选择；

首先初始化物体框索引集P，覆盖率阈值O_threshold和覆盖率最大值O_max；然后将第一阶段得到的候选物体框B根据坐标进行升序排序，得到排序后候选物体框索引集I，在候选物体框索引集I不为空的前提下，循环进行候选物体框索引集I中最后一个索引i指向的物体框B(i)与其他物体框B(j)的覆盖率的计算，i＝I[last]，在满足覆盖率阈值的条件下添加当前物体框索引至压制索引集S，并判断覆盖率是否大于覆盖率最大值，若满足该条件，覆盖率最大值更新为当前覆盖率，同时，进一步进行候选物体框索引集I中最后一个索引指向的物体框A(i)与当前物体框的面积A(j)的计算，若A(j)大于或等于A(i)，则从物体框索引集P中移除最后一个索引值，添加索引值j，从候选物体框索引集I中移除压制索引集S，进入下一个循环，直至候选物体框索引集I为空，最终得到物体框索引集P，根据物体框索引集P映射到候选物体框B，得到的物体框作为最后的检测结果。

优选的：扩充数据集中包括训练数据和验证数据，训练数据用来训练基于YOLO框架的交通标志检测模型，验证数据用来调整基于YOLO框架的交通标志检测模型；训练数据和验证数据都包括：交通标志的图片和交通标志的标签。

优选的：仿射变换是一种二维坐标(x,y)到二维坐标(u,v)的线性变换，表达式如下：

对应的齐次坐标矩阵表示形式为：

参数a_i、b_i反映了图像旋转、缩放等变化，c_i表示平移量(i＝1、2)。优选的：中部区域为在水平、垂直方向上各截取1/2的区域。

优选的：步骤4中若计算得到的边界线重合程度L_overlap满足所设定边界线重合程度阈值，则融合被切割在相邻区域的同一物体，融合之后的物体框种类得分取两者较高分。

优选的：步骤4中融合拼接过程先做某一方向上区域融合拼接，将融合结果加入到检测物体框集合中，并剔除之前进行融合拼接的物体框，然后再在新物体框集合中做另一方向上区域融合拼接

本发明相比现有技术，具有以下有益效果：

1.通过仿射变换在不同的照明条件和方向上提供其他交通标志图片，然后利用扩充的数据集训练基于YOLO框架的交通标志检测模型，可以有效解决交通标志数据集存在的交通标志种类繁多、图像数量不平衡带来的问题。

2.针对端到端的深度学习方法，在进行目标检测时对小目标物体检测不敏感的局限性，通过将输入图像进行分区域操作的方法，以提取更多小目标的信息，可以显著减少交通标志这样的小目标检测的漏检率，交通标志检测的准确性得到了提升。

3.交通标志是车辆在行驶过程中出现安全问题的重要隐患之一，通过改善交通标志检测算法，不仅能提高交通安全性，同时也保证了交通运行效率

附图说明

图1仿射变换效果图，

图2多视窗YOLO交通标志检测模型图，

图3多视窗融合拼接示意图。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

一种基于深度学习的多视窗交通标志检测方法，主要用于解决交通安全问题。因为交通标志数据集存在交通标志种类繁多、图像数量不平衡的问题，提出通过仿射变换在不同的照明条件和方向上提供其他交通标志图片的方法，然后利用扩充的数据集训练基于YOLO框架的交通标志检测模型。又由于基于端到端的深度学习方法在进行目标检测时对小目标物体检测不敏感的局限性，提出这样一种方法：根据位置将输入图像等分为左上、右上、左下、右下四个区域，同时，考虑到中心区域有效信息一般较多，在此基础上加上中部区域，中部区域为与输入图像同中心，并在水平、垂直方向上各截取1/2的区域，分别检测每个区域，并将检测结果进行融合，得到最终检测结果。通过以上两种方法，能够有效提高基于端到端的深度学习交通标志检测的准确率。检测时分两个阶段来检测交通标志：第一阶段，在切分的四个区域中将根据相邻检测区域中的交通标志进行融合拼接。第二阶段，将第一阶段的融合拼接结果结合中部区域的检测结果共同采用最大值抑制方法进行交通标志框选择。数据集方面通过仿射变换来增强图像，这样可以在不同的照明条件和方向上提供其他图片，达到了扩展数据集的目的。

一、准备数据集

通过仿射变换来增强图像，在不同的照明条件和方向上提供其他图片，以达到扩展数据集的目的，效果如图1所示。

仿射变换的原理如下：

仿射变换是一种二维坐标(x,y)到二维坐标(u,v)的线性变换，其数学表达式形式如下：

对应的齐次坐标矩阵表示形式为：

仿射变换保持了二维图形的“平直性”(直线经仿射变换后依然为直线)和“平行性”(直线之间的相对位置关系保持不变，平行线经仿射变换后依然为平行线，且直线上点的位置顺序不会发生变化)。非共线的三对对应点确定一个唯一的仿射变换。

二、训练基于YOLO框架的交通标志检测模型

训练基于YOLO框架的交通标志检测模型步骤如下：

A.YOLO的安装。

B.数据集的准备，将上文所述的扩充数据集作为训练所需的数据集，数据集中包括训练数据和验证数据，训练数据用来训练模型，验证数据用来调整模型。训练数据和验证数据都包括：交通标志的图片和交通标志的标签。

C.修改配置文件：设置物体框的注解、训练图片和验证图片的路径以及训练的类别数等参数。

D.下载预训练文件，以在其他数据集上预训练的模型做为初值。

E.训练：在Darknet文件夹路径下运行命令进行训练，系统默认会迭代45000次，训练完成后，保存模型。

三、多视窗YOLO模型的建立：利用多视窗YOLO模型对输入图像进行分区域操作，每一个区域被视为一个视窗，检测时将其放大，以提取更多有效信息。

多视窗YOLO检测模型如图2所示，其工作流程如下：当一张图片进入模型后，首先经过多视窗模块，多视窗模块是根据位置将输入图像等分为左上、右上、左下、右下四个区域。同时，考虑到中心区域有效信息一般较多，在此基础上加上中部区域，中部区域为与输入图像同中心，并在水平、垂直方向上各截取1/2的区域。进而通过多路检测模型进行分别检测，检测过程中，划分的每一个区域经检测后都得到一组检测结果，最后得到多组检测目标集。由于原图被切割，必然造成检测结果中存在被切割的现象，需在后端接一个融合模块，负责将每一块区域检测结果融合，并得到最终检测结果。

融合模块的融合过程主要分为两个阶段。

第一阶段，在切分的四个区域中将根据相邻检测区域中的同类别物体框，是否相邻水平、垂直轴线，并结合相邻边界线重合程度判断是否为同一个目标，对于同一个目标需要进行融合拼接。

评价相邻边界线重合程度L_overlap，采用边界线重合程度进行判断，其定义如下：

L_overlap＝(L₁∩L₂)/(L₁∪L₂)

式中：L₁代表某视窗检测出的目标框水平(垂直)轴线附近的边界线；L₂代表前一视窗相邻视窗检测出的目标框水平(垂直)轴线附近的边界线，如图3所示。

如图3所示，视窗V1与视窗V2共同检测出交通信号灯，其L₁、L₂、L₁∩L₂、L₁∪L₂均在图中进行了标定。计算L_overlap，若满足所设定L_overlap阈值(一般可设置为10像素)，融合被切割在相邻区域的同一物体，融合之后的物体框种类得分取两者较高分。

具体地，融合拼接过程先做某一方向(如水平轴线)上区域融合拼接，将融合结果加入到检测物体框集合中，并剔除之前进行融合拼接的物体框，然后再在新物体框集合中做另一方向(如垂直轴线)上区域融合拼接。

第二阶段，将第一阶段的融合拼接结果结合中部区域的检测结果共同采用最大值抑制方法进行物体框选择。算法的具体操作如下：

首先初始化物体框索引集P，覆盖率阈值O_threshold和覆盖率最大值O_max。然后将第一阶段得到的候选物体框B根据坐标进行升序排序，得到排序后候选物体框索引集I，在I不为空的前提下，循环进行I中最后一个索引i(i＝I[last])指向的物体框B(i)与其他物体框B(j)的覆盖率的计算，在满足覆盖率阈值的条件下添加当前物体框索引至压制索引集S，并判断覆盖率是否大于覆盖率最大值，若满足该条件，覆盖率最大值更新为当前覆盖率，同时，进一步进行I中最后一个索引指向的物体框与当前物体框的面积的计算，若A(j)大于或等于A(i)，则从P中移除最后一个索引值，添加索引值j，从I中移除S，进入下一个循环，直至I为空，最终得到物体框索引集P，根据P映射到候选物体框B，得到的物体框作为最后的检测结果。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种基于深度学习的多视窗交通标志检测方法，其特征在于：首先通过仿射变换在不同的照明条件和方向上提供其他交通标志图片，然后利用扩充的数据集训练基于YOLO框架的交通标志检测模型，最后利用多视窗YOLO模型对输入图像进行分区域操作，对每个区域分别检测，并将检测结果进行融合，得到最终检测结果。

2.根据权利要求1所述基于深度学习的多视窗交通标志检测方法，其特征在于，包括以下步骤：

步骤1、准备数据集，通过仿射变换来对数据集中的图像进行增强，在不同的照明条件和方向上提供其他图片，对数据集进行扩展，得到扩充数据集；

步骤2、将步骤1得到的扩充数据集作为基于YOLO框架的交通标志检测模型训练所需的数据集；

步骤3，根据位置利用多视窗YOLO模型将输入图像等分为左上、右上、左下、右下四个区域；同时，在此基础上加上中部区域，中部区域为与输入图像同中心，并在水平、垂直方向上各截取一段的区域；进而通过多路基于YOLO框架的交通标志检测模型对这五个区域分别进行检测，检测过程中，划分的每一个区域经检测后都得到一组检测结果，最后得到多组检测目标集；

步骤4，在切分的左上、右上、左下、右下四个区域中将根据相邻检测区域中的同类别物体框，是否相邻水平、垂直轴线，并结合相邻边界线重合程度判断是否为同一个目标，对于同一个目标需要进行融合拼接；

采用边界线重合程度评价相邻边界线重合程度，其定义如下：

L_overlap＝(L₁∩L₂)/(L₁∪L₂)

式中：L_overlap表示边界线重合程度；L₁代表某视窗检测出的目标框水平/垂直轴线附近的边界线；L₂代表前一视窗相邻视窗检测出的目标框水平/垂直轴线附近的边界线；

步骤5，将步骤4融合得到的拼接结果结合中部区域的检测结果共同采用最大值抑制方法进行物体框选择；

首先初始化物体框索引集P，覆盖率阈值O_threshold和覆盖率最大值O_max；然后将第一阶段得到的候选物体框B根据坐标进行升序排序，得到排序后候选物体框索引集I，在候选物体框索引集I不为空的前提下，循环进行候选物体框索引集I中最后一个索引i指向的物体框B(i)与其他物体框B(j)的覆盖率的计算，i＝I[last]，在满足覆盖率阈值的条件下添加当前物体框索引至压制索引集S，并判断覆盖率是否大于覆盖率最大值，若满足该条件，覆盖率最大值更新为当前覆盖率，同时，进一步进行候选物体框索引集I中最后一个索引指向的物体框A(i)与当前物体框的面积A(j)的计算，若A(j)大于或等于A(i)，则从物体框索引集P中移除最后一个索引值，添加索引值j，从候选物体框索引集I中移除压制索引集S，进入下一个循环，直至候选物体框索引集I为空，最终得到物体框索引集P，根据物体框索引集P映射到候选物体框B，得到的物体框作为最后的检测结果。

3.根据权利要求2所述基于深度学习的多视窗交通标志检测方法，其特征在于：扩充数据集中包括训练数据和验证数据，训练数据用来训练基于YOLO框架的交通标志检测模型，验证数据用来调整基于YOLO框架的交通标志检测模型；训练数据和验证数据都包括：交通标志的图片和交通标志的标签。

4.根据权利要求3所述基于深度学习的多视窗交通标志检测方法，其特征在于：仿射变换是一种二维坐标(x,y)到二维坐标(u,v)的线性变换，表达式如下：

对应的齐次坐标矩阵表示形式为：

其中，a_i、b_i表示图像旋转、缩放变化，c_i表示平移量，i＝1、2。

5.根据权利要求4所述基于深度学习的多视窗交通标志检测方法，其特征在于：中部区域为在水平、垂直方向上各截取1/2的区域。

6.根据权利要求5所述基于深度学习的多视窗交通标志检测方法，其特征在于：步骤4中若计算得到的边界线重合程度L_overlap满足所设定边界线重合程度阈值，则融合被切割在相邻区域的同一物体，融合之后的物体框种类得分取两者较高分。

7.根据权利要求6所述基于深度学习的多视窗交通标志检测方法，其特征在于：步骤4中融合拼接过程先做某一方向上区域融合拼接，将融合结果加入到检测物体框集合中，并剔除之前进行融合拼接的物体框，然后再在新物体框集合中做另一方向上区域融合拼接。