CN108363957A - 基于级联网络的交通标志检测与识别方法 - Google Patents

基于级联网络的交通标志检测与识别方法 Download PDF

Info

Publication number
CN108363957A
CN108363957A CN201810053591.7A CN201810053591A CN108363957A CN 108363957 A CN108363957 A CN 108363957A CN 201810053591 A CN201810053591 A CN 201810053591A CN 108363957 A CN108363957 A CN 108363957A
Authority
CN
China
Prior art keywords
window
traffic sign
target object
traffic
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810053591.7A
Other languages
English (en)
Inventor
邵杰
刘震
张东阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Koala Technology Co Ltd
Original Assignee
Chengdu Koala Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Koala Technology Co Ltd filed Critical Chengdu Koala Technology Co Ltd
Priority to CN201810053591.7A priority Critical patent/CN108363957A/zh
Publication of CN108363957A publication Critical patent/CN108363957A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于级联网络的交通标志检测与识别方法，涉及图像处理和标志识别技术领域，包括如下步骤：S1：采集原始图像；S2：对原始图像进行检测，得到可能包含交通标志或交通灯的候选区域；所述检测过程为采用训练后的三阶级联网络进行检测，三阶级联网络由12‑net、24‑net、48‑net三个子网络组成；S3：对候选区域进行识别，消去不包含交通标志或交通灯的候选区域，得到交通标志和交通灯的具体类别。本发明可以同时检测交通标志和交通灯，并且解决了现有的交通标志检测与识别技术中颜色空间容易收到光照的影响造成漏检、交通标志与背景环境差别不大时造成漏检、多个交通标志相连容易造成漏检的问题。

Description

基于级联网络的交通标志检测与识别方法
技术领域
本发明涉及图像处理和标志识别技术领域，尤其涉及一种基于级联网络的交通标志检测与识别方法。
背景技术
在当下，自动驾驶技术不断发展。计算机视觉在自动驾驶技术中占有重要的地位。交通标志和交通灯的检测与识别是视觉识别中的重要一环。以前的方法分别集中在交通标志或交通灯的检测，我们提出了一个新的框架可以同时检测交通灯与交通标志。检测的难点在于待检测物体在图片中所占的比例很小，加大了检测的难度，待检测物体的背景环境的复杂。现有的交通标志检测与识别技术有三种方法。
第一种方法，专利公开号为CN105787475A的发明专利申请公开了，一种复杂环境下的交通标志检测与识别方法：首先通过RGB颜色空间，设定相应的阈值提取中红黄蓝颜色区域。接下来对提取出来的区域进行形态学处理，也就是根据长度和长宽比舍去一些后换区域，轮廓的长度范围为[120,350],长宽比范围为 [0.526,1.9]。接下来进行轮廓的凸壳处理，使得提取出来区域的轮廓更圆滑，更接近圆形，三角形和矩形。提取傅里叶系数，与标准轮廓进行欧氏距离比较，舍去形状不规则的候选区域。对剩余的候选区域提取HOG特征，使用SVM分类器得到最终结果。该方案的方法通过RGB颜色空间进行区域提取，会造成区域提取不准确，漏检。RGB颜色空间提取区域方法容易受到光照，环境因素的影响。在光线明亮与灰暗两种情况下都不能有效的提取区域。如果我们需要的区域与背景环境颜色相似，这会将背景区域一起作为候选区域，造成区域提取不准确，同时在接下来的步骤中，会造成不符合条件而舍去。第二步中，通过形态学处理步骤，造成最终的结果只能限定在固定的长度和长宽比中，使用范围不准确。如果有多个交通标志紧密相连是，会将多个交通标志提取在一个候选中，在第二部舍去，造成大量漏检。
第二种方法，专利公开号为CN105809121A的发明专利申请公开了一种在专利多特征协同的交通标志检测与识别方法：通过交通标志样本图像建立各个颜色类别交通标志的颜色概率模型，选择各个颜色类别交通标志的代表颜色,计算得到各个代表颜色的概率查找表,训练得到各个形状类别交通标志的形状分类器以及识别模型。对于待检测交通图像,先使用各个代表颜色的概率查找表得到待检测交通图像的概率图,然后转换为灰度图,利用MSER算法检测各灰度图中的灰度变化稳定区域,将符合预设高宽比范围的区域作为候选窗口,将各候选窗口采用各交通标志形状分类器判定是否存在交通标志,对存在交通标志的候选窗口,采用对应形状的识别模型进行识别。对于待检测交通图像，得到待检测交通图像在每个代表颜色下的概率图,然后转换为灰度图。利用MSER算法检测各灰度图中的灰度变化稳定区域,去除稳定区域中高宽比在预设高宽比范围以外的区域,剩余的稳定区域作为候选窗口。将候选窗口尺寸调整至形状分类器输入尺寸,提取每个候选窗口对应图像块的HOG特征,输入各个交通标志形状分类器,判断该候选窗口是否为交通标志的形状类别,如果是,则说明该候选窗口存在交通标志,交通标志的形状即为对应形状分类器所进行判定的形状,否则不存在交通标志。本方案的方法将颜色模型转化为概率模型，但没有解决当背景环境与交通标志颜色相似情况下的检测问题。一块颜色与形状与交通标志相似的无关区域，会被该方法归为交通标志。该方法没有解决多个交通标志紧密相连的情况下的检测，通过概率图提取候选区域，同样会将多个相连的标志作为一个候选窗口，将会不符合预设的高宽比，在接下来的形状分类器中同样会将这种候选窗口舍去。
第三种方法，专利公开号为CN104598912A的发明专利申请公开了一种基于 CPU与GPU协同计算的交通灯检测识别方法：1)采集原始图像,降低原始图像的分辨率,在原始图像中对交通信号灯定位,得到感兴趣区域；2)将得到的感兴趣区域映射到原始图像中,对其进行颜色分割,得到候选区域图像；3)对候选区域图像进行预处理,包括形态学处理、几何特征过滤；4)为每类交通信号灯构造样本库, 对候选区域进行特征提取,通过模板匹配识别候选区域,从而识别交通灯；5)将步骤1)至步骤4)在协同异构计算平台上进行并行化加速。该方法先用颜色信息，后用形状信息来进行交通灯的检测，缺点是基于颜色信息的提取并不稳定，在佳通灯的检测上容易受到光照的影响，同样也容易受到环境的影响，比如汽车尾灯。
综上所述，现有的交通标志检测与识别技术中颜色空间容易收到光照的影响造成漏检、交通标志与背景环境差别不大时造成漏检、多个交通标志相连容易造成漏检的问题。
发明内容
本发明的目的在于：提出一种新的检测方法可以同时检测交通标志和交通灯，同时解决现有的交通标志检测与识别技术中颜色空间容易收到光照的影响造成漏检、交通标志与背景环境差别不大时造成漏检、多个交通标志相连容易造成漏检的问题，本发明提供一种基于级联网络的交通标志检测与识别方法。
本发明的技术方案如下：
基于级联网络的交通标志检测与识别方法，包括如下步骤：
S1：采集原始图像；
S2：对原始图像进行检测，得到可能包含交通标志或交通灯的候选区域；所述检测过程为采用训练后的三阶级联网络进行检测，三阶级联网络分别为 12-net，24-net，48-net；
S3：对候选区域进行识别，消去不包含交通标志或交通灯的候选区域，得到交通标志和交通灯的具体类别。
具体地，所述S2中，对三阶级联网络进行训练的过程为：
S21：在训练12-net时，在原始图像中目标物体窗口附近随机生成12x12 大小的窗口，所述目标物体为交通标志或交通灯，然后将12x12的窗口与目标物体窗口计算IOU，IOU大于上限阈值的窗口作为正样本，下限阈值到中间阈值之间的是部分正样本，小于下限阈值的是负样本；正样本和负样本在网络中用于是否为目标物体的分类,正样本代表是为目标物体，负样本代表不是目标物体；部分正样本和负样本用于边界框回归；
S22：在训练24-net时，在原始图像中目标物体窗口附近随机生成24x24 大小的窗口，所述目标物体为交通标志或交通灯，然后将24x24的窗口与目标物体窗口计算IOU，，IOU大于上限阈值的窗口作为正样本，下限阈值到中间阈值之间的是部分正样本，小于下限阈值的是负样本；正样本和负样本在网络中用于是否为目标物体的分类，正样本代表是为目标物体，负样本代表不是目标物体，目标物体为交通标志和交通灯；部分正样本和负样本用于边界框回归；
S23：在训练48-net时，在原始图像中目标物体窗口附近随机生成48x48 大小的窗口，所述目标物体为交通标志或交通灯，然后将48x48的窗口与目标物体窗口计算IOU，IOU大于上限阈值的窗口作为正样本，下限阈值到中间阈值之间的是部分正样本，小于下限阈值的是负样本；正样本和负样本在网络中用于是否为目标物体的分类，目标物体为交通标志和交通灯，正样本代表是为目标物体，负样本代表不是目标物体；部分正样本和负样本用于边界框回归。
具体地，所述S2的检测具体步骤为：
S23：将待识别图片缩放成不同尺寸的图片，建立一个图像金字塔；
S24：将图像金字塔输入到12-net网络中，得到一系列可能为交通标志的候选窗口，通过非极大值抑制合并重合度大于0.7的窗口；
S25：将经过S25后剩下的候选窗后输入到相对复杂的24-net中，舍弃一些不包含交通标志的候选窗口，再通过非极大值抑制处理，合并重合度大于0.7 的窗口；
S26:再将经过S26后剩下的候选窗口输入到最复杂的48-net中，舍去大量不包含交通标志和交通灯的窗口，得到最终可能为交通标志或交通灯的候选窗口，同样通过非极大值抑制处理，合并重合度大于0.7的窗口。
具体地，所述三阶级联网络使用的损失函数为：
Li＝-(yilog(pi)+(1-yi)(1-log(pi))
其中，pi为经过检测网络得到的是是否为交通标志或交通灯的概率，yi为真实标签；
其中l'i,t'i,h'i,w'i分别为真实的bounding box的最左边坐标，最上边坐标，长，宽；li,ti,hi,wi分别为经过检测网络得到的bounding box的最左边坐标，最上边坐标，长，宽。
进一步地，所述S3的具体步骤为：
S31：通过S26得到的候选窗口分为包含目标物体的候选窗后和不包含目标物体的候选窗后两部分，目标物体为交通标志和交通灯；
S32：将不包含目标的候选窗口作为一个类别，命名为‘other’类，然后将‘other’类与交通标志和交通灯的类别样本，放入识别网络中训练；识别网络是一个包含两个denseblock的神经网络，dense block是一种新的卷积网络连接方式，表现为每一层的输入来自于前面所有层的输出；在测试时，如果候选窗口经过识别网络得到的结果为‘other’类，则表明该窗口内不包含交通标志和交通灯，舍去该窗口；否则表明该窗口内为交通标志或交通灯，输出得到具体的交通标志或交通灯的类别。
采用上述方案后，本发明的有益效果如下：
(1)本发明的方法相比以前的基于颜色空间的交通标志和交通灯检测方法，采用基于深度卷积网络的方法，能够在复杂环境下以及同时进行交通标志和交通灯检测与识别，检测出交通标志与交通灯，不会受到光照条件和具体背景颜色的影响，能够极大减少光照因素带来的漏检。
(2)本发明采用三阶级联网络进行检测，三阶级联网络通过三个网络层数逐渐加深的网络，功能不断加强，可以不断的优化检测效果，是一个由粗到精的过程，相比于单个网络，其结果更加精确，更加适合小物体的检测，在检测交通标志的召回率上目前达到世界最优。
(3)本发明对标记的识别过程采用了dense block网络来进行识别，相对于通用的cnn网络，减少了训练过程中造成的梯度消失问题；加强了特征传递；减少了参数数量，加快速度，在最终的识别阶段，可以获得更好的效果。
附图说明
图1为本发明的整体流程图；
图2为本发明的检测网络的结构图；
图3为本发明的识别网络结构图。
具体实施方式
下面，下面将结合本发明实施例中的附图，对本实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种基于级联网络的交通标志检测与识别方法，涉及图像处理技术和标志识别领域，该方法可以同时检测交通标志和交通灯，同时解决了颜色空间容易收到光照影响造成漏检的问题，能够精确的检测与是被出交通标志的交通灯，解决了交通标志与背景环境颜色相似造成漏检的问题，解决了多个交通标志相连的在颜色空间检测算法下的漏检问题。
如图1所示，本发明的基于级联网络的交通标志检测与识别方法，包括如下步骤：
S1：采集原始图像；
S2：对原始图像进行检测，得到可能包含交通标志或交通灯的候选区域；所述检测过程为采用训练后的三阶级联网络进行检测，三阶级联网络分别为 12-net，24-net，48-net；
S3：对候选区域进行识别，消去不包含交通标志或交通灯的候选区域，得到交通标志和交通灯的具体类别。
从背景技术中我们可以看出，原有的检测交通标志的方法都是先基于颜色空间(RGB，HSV等)提取区域，然后再对提取的区域形状进行判断是否为交通标志(三角形，圆形，长方形)。在用颜色空间提取区域时，当受到光照而导致标志的颜色变化时，就不能将该标志所在的区域有效的检测出来。环境的影响为：比如当检测的是一个红色的圆形标志，单背景一个不规则的红色形状，先用颜色来提取区域就会得到这个包含标志的红色背景形状，不属于三种形状的任意一种，在形状判断阶段该区域就会被舍去，导致这个标志没有被检测到。同样当两个标志相连接是，颜色提取后的区域不属于三个形状的任意一种，在形状检测阶段被舍去。
本发明的方法通过级联网络，即通过深度学习的方法，通过深度神经网络的构架在对图像进行检测的时候，提取到的特征中包含了形状、颜色、纹理等多个特征，避免了上述的漏检的问题。
S2中检测部分的三阶级联神经网络的具体构架如图2所示，S2中，对三阶级联网络进行训练的过程为：
S21：在训练12-net时，在原始图像中目标物体窗口附近随机生成12x12 大小的窗口，所述目标物体为交通标志或交通灯，然后将12x12的窗口与目标物体窗口计算IOU，IOU大于上限阈值的窗口作为正样本，下限阈值到中间阈值之间的是部分正样本，小于下限阈值的是负样本；正样本和负样本在网络中用于是否为目标物体的分类,正样本代表是为目标物体，负样本代表不是目标物体；部分正样本和负样本用于边界框回归。
本实施例中，上限阈值取值为0.7，下限阈值取值为0.4，中间阈值为0.65。
S22：在训练24-net时，在原始图像中目标物体窗口附近随机生成24x24 大小的窗口，所述目标物体为交通标志或交通灯，然后将24x24的窗口与目标物体窗口计算IOU，IOU大于上限阈值的窗口作为正样本，下限阈值到中间阈值之间的是部分正样本，小于下限阈值的是负样本；正样本和负样本在网络中用于是否为目标物体的分类，正样本代表是为目标物体，负样本代表不是目标物体，目标物体为交通标志和交通灯；部分正样本和负样本用于边界框回归。
S23：在训练48-net时，在原始图像中目标物体窗口附近随机生成48x48 大小的窗口，所述目标物体为交通标志或交通灯，然后将48x48的窗口与目标物体窗口计算IOU，IOU大于上限阈值的窗口作为正样本，下限阈值到中间阈值之间的是部分正样本，小于下限阈值的是负样本；正样本和负样本在网络中用于是否为目标物体的分类，目标物体为交通标志和交通灯，正样本代表是为目标物体，负样本代表不是目标物体；部分正样本和负样本用于边界框回归。
图2中，本实施例的级联网络的具体参数如下：
Conv-1:3x3x10
Conv-2:3x3x10
Conv-3:3x3x32
Conv-4:3x3x28
Conv-5:3x3x48
Conv-6:2x2x64
Conv-7:3x3x32
Conv-8:3x3x64
Conv-9:3x3x64
MP-1:2x2
MP-2:3x3
MP-3:3x3
MP-4:3x3
MP-5:3x3
Mp-6:2x2
值得说明的是，S2中所有的上限阈值、中间阈值和下限阈值根据用户的需要自行调整。
所述S2的检测具体步骤为：
S23：将待识别图片缩放成不同尺寸的图片，建立一个图像金字塔；
S24：将图像金字塔输入到12-net网络中，得到一系列可能为交通标志的候选窗口，通过非极大值抑制合并重合度大于0.7的窗口；
S25：将经过S25后剩下的候选窗后输入到相对复杂的24-net中，舍弃一些不包含交通标志的候选窗口，再通过非极大值抑制处理，合并重合度大于0.7 的窗口；
S26:再将经过S26后剩下的候选窗口输入到最复杂的48-net中，舍去大量不包含交通标志和交通灯的窗口，得到最终可能为交通标志或交通灯的候选窗口，同样通过非极大值抑制处理，合并重合度大于0.7的窗口。
所述三阶级联网络使用的损失函数均为：
Lk＝-(yklog(pk)+(1-yk)(1-log(pk))
其中，pk为经过检测网络得到的是是否为交通标志或交通灯的概率，yk为真实标签；
其中l'i,t'i,h'i,w'i分别为真实的bounding box的最左边坐标，最上边坐标，长，宽；li,ti,hi,wi分别为经过检测网络得到的bounding box的最左边坐标，最上边坐标，长，宽。
在现有的方案中，常见的基于神经网络的物体检测算法有R-CNN，Fast R-CNN，Faster R-CNN。
这三种方法的思路分别为：1.R-CNN；(1)在图像中确定约1000-2000个候选框(使用选择性搜索)；(2)每个候选框内图像块缩放至相同大小，并输入到 CNN内进行特征提取；(3)对候选框中提取出的特征，使用分类器判别是否属于一个特定类；(4)对于属于某一特征的候选框，用回归器进一步调整其位置。 2.Fast R-CNN；(1)在图像中确定约1000-2000个候选框(使用选择性搜索)； (2)对整张图片输进CNN特征提取，得到特征图；(3)找到每个候选框在特征图上的映射斑点，将此斑点作为每个候选框的卷积特征输入到SPP layer和之后的层；(4)对候选框中提取出的特征，使用分类器判别是否属于一个特定类；(5) 对于属于某一特征的候选框，用回归器进一步调整其位置。3.Faster R-CNN；(1) 对整张图片输进CNN，得到特征图；(2)卷积特征输入到RPN网络，得到候选框的特征信息；(3)对候选框中提取出的特征，使用分类器判别是否属于一个特定类；(4)对于属于某一特征的候选框，用回归器进一步调整其位置。
从以上三种方法中可以看出，基于R-CNN和Fast R-CNN的检测都是基于先在图像中生成候选区域，使用的算法为选择性搜索，但是这种方法在检测小物体方面不能很好的工作。经过实验，检测性搜索算法检测交通标志的平均召回率为 0.7，从数据可以得出R-CNN，Fast R-CNN不适合交通标志检测。基于Faster R-CNN 的检测使用的是先通过一个CNN得到特征图，再经过一个RPN网络得到候选框，在CNN层经过4个pooling层后，但原始图像中的信息得到了损失，在损失后的图像信息中不利于得到小物体的候选框，相对在大物体的检测上结果差了许多。
在实验对比中，分为交通标志与交通灯两个部分。在交通标志部分，采用本实施例的检测方法后，取得的召回率和正确率分别为0.931和0.842，而采用基于Fast R-CNN的检测方法后，召回率和正确率为0.568和0.504，基于Fast R-CNN 的检测方法后，召回率和正确率为0.832和0.664。由此可见，传统的基于卷积神经网络的检测方法不能很好的用于该问题，我们的方法具有更好的效果。同时对比了目前世界上效果最好的方法，在论文Traffic-Sign Detect ion and Classification in the Wild中，检测交通标志的召回率和正确率为0.912和 0.883，图片大小为2048x2048大小时耗费的时间为每张8.23秒,而该发明使用的方法为每张2.37秒，与世界最优的方法相比，该发明在召回率和速度上更加具有优势。
对比传统的交通标志检测方法，以前的交通标志检测方法都是基于颜色空间进行目标窗口提取，再辅以形状检测，最后再通过分类器进行分类。光照的影响会导致在第一步基于颜色空间提取区域的时候出现问题。目标物体颜色与背景相似，多个目标物体相连时在第二步形状检测出现问题。传统的检测方法并不能很好的解决该问题。
在交通灯的实验对比是，Traffic lights detection and recognition basedon multi-feature fusion是一篇检测交通灯的论文，论文中的方法是目前效果最好的，是使用的方法是RGB+HSV+SVM的方法来检测，论文的识别方法取得的召回率和正确率分别为0.912,0.833；而采用本实施例的检测方法后，取得召回率和准确率分别为0.931和0.842。
所述S3的具体步骤为：
S31：通过S26得到的候选窗口分为包含目标物体和不包含目标物体两部分；
S32：将不包含目标的候选窗口作为一个类别，命名为‘other’类，与包含标志的窗口放入识别网络中训练；识别网络是一个包含两个dense block的神经网络；在测试时，如果候选窗口经过识别网络得到的结果为‘other’类，则表明该窗口内不包含交通标志和交通灯，舍去该窗口；否则表明该窗口内为交通标志或交通灯，输出得到具体的交通标志或交通灯的类别。
如图3所示，为本发明的识别网络的具体结构图，它包含了两个dense block 的神经网络，具体而言，识别网络的具体参数如下：
Convolution1:1x1x32
Dense block1:
Convolution1:1x1x32
Pooling 1:2x2
Dense block2:
Pooling 2:2x2
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (5)

1.基于级联网络的交通标志检测与识别方法，其特征在于，包括如下步骤：
S1：采集原始图像；
S2：对原始图像进行检测，得到可能包含交通标志或交通灯的候选区域；所述检测过程为采用训练后的三阶级联网络进行检测，三阶级联网络分别为12-net，24-net，48-net；
S3：对候选区域进行识别，消去不包含交通标志或交通灯的候选区域，得到交通标志和交通灯的具体类别。
2.根据权利要求1所述的基于级联网络的交通标志检测与识别方法，其特征在于，所述S2中，对三阶级联网络进行训练的过程为：
S21：在训练12-net时，在原始图像中目标物体窗口附近随机生成大小为12x12的窗口，所述目标物体为交通标志或交通灯，然后将12x12的窗口与目标物体窗口计算IOU，IOU大于上限阈值的窗口作为正样本，下限阈值到中间阈值之间的是部分正样本，小于下限阈值的是负样本；正样本和负样本在网络中用于是否为目标物体的分类,正样本代表是为目标物体，负样本代表不是目标物体；部分正样本和负样本用于边界框回归；
S22：在训练24-net时，在原始图像中目标物体窗口附近随机生成24x24大小的窗口，所述目标物体为交通标志或交通灯，然后将24x24的窗口与目标物体窗口计算IOU，IOU大于上限阈值的窗口作为正样本，下限阈值到中间阈值之间的是部分正样本，小于下限阈值的是负样本；正样本和负样本在网络中用于是否为目标物体的分类，正样本代表是为目标物体，负样本代表不是目标物体，目标物体为交通标志和交通灯；部分正样本和负样本用于边界框回归；
S23：在训练48-net时，在原始图像中目标物体窗口附近随机生成48x48大小的窗口，所述目标物体为交通标志或交通灯，然后将48x48的窗口与目标物体窗口计算IOU，IOU大于上限阈值的窗口作为正样本，下限阈值到中间阈值之间的是部分正样本，小于下限阈值的是负样本；正样本和负样本在网络中用于是否为目标物体的分类，目标物体为交通标志和交通灯，正样本代表是为目标物体，负样本代表不是目标物体；部分正样本和负样本用于边界框回归。
3.根据权利要求1或2所述的基于级联网络的交通标志检测与识别方法，其特征在于，所述S2的检测具体步骤为：
S23：将待识别图片缩放成不同尺寸的图片，建立一个图像金字塔；
S24：将图像金字塔输入到12-net网络中，得到一系列可能为交通标志的候选窗口，通过非极大值抑制合并重合度大于0.7的窗口；
S25：将经过S25后剩下的候选窗后输入到相对复杂的24-net中，舍弃一些不包含交通标志的候选窗口，再通过非极大值抑制处理，合并重合度大于0.7的窗口；
S26:再将经过S26后剩下的候选窗口输入到最复杂的48-net中，舍去大量不包含交通标志和交通灯的窗口，得到最终可能为交通标志或交通灯的候选窗口，同样通过非极大值抑制处理，合并重合度大于0.7的窗口。
4.根据权利要求1所述的基于级联网络的交通标志检测与识别方法，其特征在于，所述三阶级联网络使用的损失函数为：
Li＝-(yilog(pi)+(1-yi)(1-log(pi))
其中，pi为经过检测网络得到的是是否为交通标志或交通灯的概率，yi为真实标签；
其中l′i,t′i,h′i,w′i分别为真实的bounding box的最左边坐标，最上边坐标，长，宽；li,ti,hi,wi分别为经过检测网络得到的bounding box的最左边坐标，最上边坐标，长，宽。
5.根据权利要求3所述的基于级联网络的交通标志检测与识别方法，其特征在于，所述S3的具体步骤为：
S31：通过S26得到的候选窗口分为包含目标物体的候选窗后和不包含目标物体的候选窗后两部分，目标物体为交通标志和交通灯；
S32：将不包含目标的候选窗口作为一个类别，命名为‘other’类，然后将‘other’类与交通标志和交通灯的类别样本，放入识别网络中训练；识别网络是一个包含两个denseblock的神经网络，dense block是一种新的卷积网络连接方式，表现为每一层的输入来自于前面所有层的输出；在测试时，如果候选窗口经过识别网络得到的结果为‘other’类，则表明该窗口内不包含交通标志和交通灯，舍去该窗口；否则表明该窗口内为交通标志或交通灯，输出得到具体的交通标志或交通灯的类别。
CN201810053591.7A 2018-01-19 2018-01-19 基于级联网络的交通标志检测与识别方法 Pending CN108363957A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810053591.7A CN108363957A (zh) 2018-01-19 2018-01-19 基于级联网络的交通标志检测与识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810053591.7A CN108363957A (zh) 2018-01-19 2018-01-19 基于级联网络的交通标志检测与识别方法

Publications (1)

Publication Number Publication Date
CN108363957A true CN108363957A (zh) 2018-08-03

Family

ID=63006691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810053591.7A Pending CN108363957A (zh) 2018-01-19 2018-01-19 基于级联网络的交通标志检测与识别方法

Country Status (1)

Country Link
CN (1) CN108363957A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109446984A (zh) * 2018-10-26 2019-03-08 重庆大学 自然场景中道路交通标志识别方法
CN109753949A (zh) * 2019-01-31 2019-05-14 南京邮电大学 一种基于深度学习的多视窗交通标志检测方法
CN109766864A (zh) * 2019-01-21 2019-05-17 开易（北京）科技有限公司 图像检测方法、图像检测装置以及计算机可读存储介质
CN110119725A (zh) * 2019-05-20 2019-08-13 百度在线网络技术（北京）有限公司 用于检测信号灯的方法及装置
CN110147790A (zh) * 2019-05-13 2019-08-20 中国科学院自动化研究所 基于自适应阈值的场景图像商标检测方法、系统、装置
CN110472728A (zh) * 2019-07-30 2019-11-19 腾讯科技（深圳）有限公司 目标信息确定方法、目标信息确定装置、介质及电子设备
CN110472655A (zh) * 2019-07-03 2019-11-19 特斯联（北京）科技有限公司 一种用于跨境旅游的标志物机器学习识别系统及方法
WO2020048265A1 (zh) * 2018-09-06 2020-03-12 北京市商汤科技开发有限公司 多级目标分类及交通标志检测方法和装置、设备、介质
CN111079563A (zh) * 2019-11-27 2020-04-28 北京三快在线科技有限公司 交通信号灯识别方法、装置、电子设备和存储介质
CN113361643A (zh) * 2021-07-02 2021-09-07 人民中科(济南)智能技术有限公司 基于深度学习的通用标志识别方法、系统、设备及存储介质
CN113469302A (zh) * 2021-09-06 2021-10-01 南昌工学院 一种视频图像的多圆形目标识别方法和系统
CN113963329A (zh) * 2021-10-11 2022-01-21 浙江大学 一种基于双阶段卷积神经网络的数字类交通标志检测识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140087749A1 (en) * 2012-09-21 2014-03-27 Yuan Ze University Three layer cascade adaptive neural fuzzy inference system (anfis) based intelligent controller scheme and device
CN106874868A (zh) * 2017-02-14 2017-06-20 北京飞搜科技有限公司 一种基于三级卷积神经网络的人脸检测方法及系统
CN107194346A (zh) * 2017-05-19 2017-09-22 福建师范大学 一种汽车疲劳驾驶预测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140087749A1 (en) * 2012-09-21 2014-03-27 Yuan Ze University Three layer cascade adaptive neural fuzzy inference system (anfis) based intelligent controller scheme and device
CN106874868A (zh) * 2017-02-14 2017-06-20 北京飞搜科技有限公司 一种基于三级卷积神经网络的人脸检测方法及系统
CN107194346A (zh) * 2017-05-19 2017-09-22 福建师范大学 一种汽车疲劳驾驶预测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
AI之路: "DenseNet算法详解", 《HTTPS://BLOG.CSDN.NET/U014380165/ARTICLE/DETAILS/75142664》 *
HAOXIANG LI等: "A convolutional neural network cascade for face detection", 《2015 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
KAIPENG ZHANG等: "Joint Face Detection and Alignment Using Multitask Cascaded Convolutional Networks", 《IEEE SIGNAL PROCESSING LETTERS》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020048265A1 (zh) * 2018-09-06 2020-03-12 北京市商汤科技开发有限公司 多级目标分类及交通标志检测方法和装置、设备、介质
CN110879950A (zh) * 2018-09-06 2020-03-13 北京市商汤科技开发有限公司 多级目标分类及交通标志检测方法和装置、设备、介质
CN109446984A (zh) * 2018-10-26 2019-03-08 重庆大学 自然场景中道路交通标志识别方法
CN109766864A (zh) * 2019-01-21 2019-05-17 开易（北京）科技有限公司 图像检测方法、图像检测装置以及计算机可读存储介质
CN109753949A (zh) * 2019-01-31 2019-05-14 南京邮电大学 一种基于深度学习的多视窗交通标志检测方法
CN109753949B (zh) * 2019-01-31 2022-08-12 南京邮电大学 一种基于深度学习的多视窗交通标志检测方法
CN110147790A (zh) * 2019-05-13 2019-08-20 中国科学院自动化研究所 基于自适应阈值的场景图像商标检测方法、系统、装置
CN110147790B (zh) * 2019-05-13 2022-04-15 中国科学院自动化研究所 基于自适应阈值的场景图像商标检测方法、系统、装置
CN110119725A (zh) * 2019-05-20 2019-08-13 百度在线网络技术（北京）有限公司 用于检测信号灯的方法及装置
CN110472655A (zh) * 2019-07-03 2019-11-19 特斯联（北京）科技有限公司 一种用于跨境旅游的标志物机器学习识别系统及方法
CN110472655B (zh) * 2019-07-03 2020-09-11 特斯联（北京）科技有限公司 一种用于跨境旅游的标志物机器学习识别系统及方法
CN110472728A (zh) * 2019-07-30 2019-11-19 腾讯科技（深圳）有限公司 目标信息确定方法、目标信息确定装置、介质及电子设备
CN111079563A (zh) * 2019-11-27 2020-04-28 北京三快在线科技有限公司 交通信号灯识别方法、装置、电子设备和存储介质
CN113361643A (zh) * 2021-07-02 2021-09-07 人民中科(济南)智能技术有限公司 基于深度学习的通用标志识别方法、系统、设备及存储介质
CN113469302A (zh) * 2021-09-06 2021-10-01 南昌工学院 一种视频图像的多圆形目标识别方法和系统
CN113963329A (zh) * 2021-10-11 2022-01-21 浙江大学 一种基于双阶段卷积神经网络的数字类交通标志检测识别方法

Similar Documents

Publication Publication Date Title
CN108363957A (zh) 基于级联网络的交通标志检测与识别方法
CN106709568B (zh) 基于深层卷积网络的rgb-d图像的物体检测和语义分割方法
CN106980852B (zh) 基于角点检测与匹配的药品识别系统及其识别方法
CN104834898B (zh) 一种人物摄影图像的质量分类方法
CN104182763B (zh) 一种基于花朵特征的植物种类识别系统
CN106599854B (zh) 基于多特征融合的人脸表情自动识别方法
CN110110715A (zh) 文本检测模型训练方法、文本区域、内容确定方法和装置
CN109684959B (zh) 基于肤色检测和深度学习的视频手势的识别方法及装置
CN108304873A (zh) 基于高分辨率光学卫星遥感影像的目标检测方法及其系统
CN109344693A (zh) 一种基于深度学习的人脸多区域融合表情识别方法
CN109584248A (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN108229458A (zh) 一种基于运动检测和多特征提取的火焰智能识别方法
CN106778835A (zh) 融合场景信息和深度特征的遥感图像机场目标识别方法
CN105740910A (zh) 一种车辆物件检测方法及装置
KR20160143494A (ko) 현저성 정보 취득 장치 및 현저성 정보 취득 방법
CN107145845A (zh) 基于深度学习及多特征点融合的行人检测方法
CN103971126A (zh) 一种交通标志识别方法和装置
CN104484658A (zh) 一种基于多通道卷积神经网络的人脸性别识别方法及装置
CN109446922B (zh) 一种实时鲁棒的人脸检测方法
CN108830199A (zh) 识别交通灯信号的方法、装置、可读介质及电子设备
CN109543632A (zh) 一种基于浅层特征融合引导的深层网络行人检测方法
CN110569782A (zh) 一种基于深度学习目标检测方法
CN106407951B (zh) 一种基于单目视觉的夜间前方车辆检测方法
CN107066916A (zh) 基于反卷积神经网络的场景语义分割方法
CN107705301A (zh) 一种基于无人机航拍公路图像的公路标线破损检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180803