CN107273828A - 一种基于区域的全卷积神经网络的路牌检测方法 - Google Patents

一种基于区域的全卷积神经网络的路牌检测方法 Download PDF

Info

Publication number
CN107273828A
CN107273828A CN201710407339.7A CN201710407339A CN107273828A CN 107273828 A CN107273828 A CN 107273828A CN 201710407339 A CN201710407339 A CN 201710407339A CN 107273828 A CN107273828 A CN 107273828A
Authority
CN
China
Prior art keywords
region
candidate region
neural networks
guideboard
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710407339.7A
Other languages
English (en)
Inventor
熊继平
王妃
叶童
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Normal University CJNU
Original Assignee
Zhejiang Normal University CJNU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Normal University CJNU filed Critical Zhejiang Normal University CJNU
Priority to CN201710407339.7A priority Critical patent/CN107273828A/zh
Publication of CN107273828A publication Critical patent/CN107273828A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于区域的全卷积神经网络的路牌检测方法，利用全卷积神经网络和区域建议网络，对路牌进行检测，提高了路牌检测的鲁棒性。该方法包括：第一步是利用卷基层对图像进行特征提取；第二步是利用区域建议网络提取候选区域；第三步是利用基于区域的全卷积神经网络对候选区域进行分类；最后输出路牌的检测结果。

Description

一种基于区域的全卷积神经网络的路牌检测方法
技术领域
本发明涉及基于计算机的图像处理技术，尤其涉及一种基于区域的全卷积神经网络的路牌识别方法。
背景技术
在日常的交通行驶中，交通路牌起着很大的作用，正确地自动检测交通路牌具有潜在应用价值。物体检测的深度网络按感兴趣区域(RoI)池化层分为两大主流：共享计算的全卷积子网络(每个子网络与RoI无关)和不共享计算的作用于各自RoI的子网络。工程分类结构(如Alexnet和VGG Nets)导致这样的分流，而工程上的图像分类结构被设计为两个子网络——1个后缀、1个空间池化层的卷积子网络和多个全连接层。因此，图像分类网络中最后的空间池化层自然变成了路牌检测网络中的RoI池化层。
深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习的概念由Hinton等人于2006年提出。基于深度置信网络(DBN)提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。此外Hubel等人提出的卷积神经网络是第一个真正多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。
近年来，诸如残差网络和GoogLeNets等先进的图像分类网络为全卷积网络。类似地，自然会将全卷积神经网络用于路牌检测中(隐藏层不包含作用于RoI的子网络)。然而，物体检测工作中的经验表明，这种解决方案的检测效果远差于该网络的分类效果。然而，更快地R-CNN检测器不自然地在两卷积层间插入RoI池化层，这样更深的作用于各RoI的子网络虽精度更高，但各个RoI计算不共享所以速度慢。
现有的方法中，基于全卷积神经网络方法的检测精度不高，基于RoI的R-CNN的检测速度慢，因此，本发明公开了一种基于区域的全卷积神经网络的路牌检测方法，本发明采用流行的物体检测策略，第一步是利用卷基层对图像进行特征提取；第二步是利用区域建议网络提取候选区域；第二步是利用基于区域的全卷积神经网络对候选区域进行分类；最后输出路牌的检测结果。
发明内容
本发明所要解决的技术问题是增强路牌检测的鲁棒性，提高路牌检测的正确率。
为了解决上述技术问题，本发明提供了一种基于区域的全卷积神经网络的路牌检测方法，用于路牌检测上；该方法包括：
利用卷基层对图像进行特征提取；
利用区域建议网络提取候选区域；
用基于区域的全卷积神经网络对候选区域进行分类；
输出路牌的检测结果。
其中，根据所述训练样本获得所述的图像特征，包括：
将整幅图像输入卷积层；
卷积层进行卷积计算；
输出计算结果的特征图。
其中，根据所述训练样本获得候选区域，包括：
架构区域建议网络；
区域建议网络根据特征图进行计算；
区域建议网络产生候选区域。
其中，将对全卷积神经网络的结构进行构造，包括：
采用经典的深度残差神经网络-101；
设置100个卷积层；
设置1个全局平均池化层；
设置1个1000类的全连接层。
其中，使用全卷积神经网络对候选区域进行分类，包括：
对候选区域的每类所有相对空间位置的分数进行平均池化，利用分类器进行分类；
再经过卷积层进行定位，标出边界框；
计算每个候选区域的交叉熵和边界框回归损失的和作为损失函数，用于确定正确的边界框；
分类后，将候选区域进行可视化输出。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1为本申请实施例的基于区域的全卷积神经网络的路牌检测方法的流程示意图。
图2为本申请实施例中获得图像特征的流程示意图。
图3为本申请实施例获得候选区域的流程示意图。
图4为本申请实施例获得全卷积神经网络的结构流程示意图。
图5为全卷积神经网络全卷积神经网络的结构示意图。
图6为本申请实施例述及的对候选区域进行分类流程示意图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。
本申请实施例的基于区域的全卷积神经网络的路牌检测方法，用于路牌的识别。本申请实施例所述的路牌检测，主要是指运用全卷积神经网络进行路牌检测。
本申请的实施例可以利用区域建议网络提取候选区域，利用基于区域的全卷积神经网络对候选区域进行分类，对GTSDB数据集中的路牌图像进行识别。
如图1所示，本申请实施例的基于区域的全卷积神经网络的路牌检测方法，主要包括如下步骤：
步骤S110，利用卷基层对图像进行特征提取；
步骤S120，利用区域建议网络提取候选区域；
步骤S130，用基于区域的全卷积神经网络对候选区域进行分类；
步骤S140，输出路牌的检测结果。
本申请实施例中，根据所述训练样本获得所述的图像特征。图2表示出了提取所述基于卷积层的图像特征的主要步骤。
步骤S210，将整幅图像输入卷积层；
步骤S220，卷积层进行卷积计算；
步骤S230，输出计算结果的特征图。
本申请实施例中，根据所述训练样本获得候选区域。图3示出了获得候选区域的主要步骤。
步骤S310，架构区域建议网络；
区域建议网络为全卷积网络，用于提取候选区域，与基于区域的全卷积神经网络共享特征值。
步骤S320，区域建议网络根据特征图进行计算。
步骤S330，区域建议网络产生候选区域。
本申请实施例中，将对全卷积神经网络的结构进行构造。图4示出了将对全卷积神经网络的结构进行构造的主要步骤。
步骤S410，采用经典的残差神经网络-101。
深度残差网络是在标准的前馈卷积网络上，加一个跳跃绕过一些层的连接。每绕过一层就产生一个残差块(residual block)，卷积层预测加输入张量的残差。残差神经网络由于存在快捷连接，网络间的数据流通更为顺畅，不会由于梯度消失而形成欠拟合。
形式上，把作为所需的基本映射，让堆叠的非线性层适合另一个映射。那么原映射便转化成：。假设优化剩余的映射，比优化原来的未引用映射更容易。如果身份映射是最佳的，那么将剩余的映射推为零，就比用一堆非线性层来适应身份映射更容易。公式可以通过“快捷连接”的前馈神经网络实现。快捷连接是指跳过一层或更多层进行连接。快捷连接简单的执行身份映射，并将它们的输出添加到叠加层输出。身份快捷连接添加既不产生额外的参数，也不会增加额外的计算量。通过反向传播收敛随机梯度下降，整个网络仍可以训练成终端到终端，并且可以在无修改器的情况下很容易使用公共图书馆(如caffe)。图5为为全卷积神经网络全卷积神经网络的结构示意图。
步骤S420，设置100个卷积层。
步骤S430，设置1个全局平均池化层。
对基于区域的全卷积神经网络(R-FCN)的卷积响应图像按区域建议网络(RPN)的结果分割出来感兴趣区域，对单通道的感兴趣区域分成个网格，每个网格平均池化，然后所有通道再平均池化。
对1个大小为的候选区域(RoI)，1个bin的大小为，最后1个卷积层为每类产生个分数图。对第个bin，定义1个位置敏感RoI池化操作：
其中，为第类第个箱子的池化响应，为个分数图中的输出，为候选区域的左上角坐标，为bin里的像素总数，且为网络的参数。
步骤S440，设置1个1000类的全连接层。
本申请实施例中，使用全卷积神经网络对候选区域进行分类。图6为本申请实施例述及的softmax分类器示意图。
步骤S610，对候选区域的每类所有相对空间位置的分数进行平均池化，利用分类器进行分类。
对该候选区域的每类所有相对空间位置的分数平均池化(或投票)：
平均池化后，用Softmax进行回归分类。
步骤S620，再经过卷积层进行定位，标出边界框。
维的卷积层后，增加1个维的卷积层来回归边界框。每个候选区域产生的维向量经平均投票后，得到1个4维向量，即为边界框。
步骤S630，计算每个候选区域的交叉熵和边界框回归损失的和作为损失函数，用于确定正确的边界框。
每个候选区域的损失函数为交叉熵损失与边界框回归损失的和：
其中，说明候选区域的真实标签为背景。RPN产生的区域建议当RoI与真实边框的损失函数超过0.5时，标定正确的边界框。
步骤S630，分类后，将候选区域进行可视化输出。
经过基于区域的全卷积神经网络的最后1个卷积层后产生9个相对空间位置的分数图，对每类的每个相对空间位置通道内的候选区域的bin平均池化得到3×3的池化分数，投票后送入分类器判断类别。当分类正确时，该类通道的位置敏感分数图(中间)的大多数橙色实线网格内的响应在整个RoI位置范围内最强。
本申请实施例提出了一种基于区域的全卷积神经网络的路牌检测方法，利用全卷积神经网络和区域建议网络，对路牌进行检测，提高了路牌检测的鲁棒性。该方法包括：本发明采用流行的物体检测策略，第一步是利用卷基层对图像进行特征提取；第二步是利用区域建议网络提取候选区域；第三步是利用基于区域的全卷积神经网络对候选区域进行分类；最后输出路牌的检测结果。从结果看，本发明提高了路牌检测的精确度。

Claims (5)

1.一种鲁棒的路牌检测方法，用于对路牌图像的检测；其特征在于，该方法包括：
利用卷基层对图像进行特征提取；
利用区域建议网络提取候选区域；
用基于区域的全卷积神经网络对候选区域进行分类；
输出路牌的检测结果。
2.根据权利要求1所述的方法，其特征在于，根据所述训练样本获得所述的图像特征，包括：
将整幅图像输入卷积层；
卷积层进行卷积计算；
输出计算结果的特征图。
3.根据权利要求1所述的方法，其特征在于，根据所述训练样本获得候选区域，包括：
架构区域建议网络；
区域建议网络根据特征图进行计算；
区域建议网络产生候选区域。
4.根据权利要求1所述的方法，其特征在于，将对全卷积神经网络的结构进行构造，包括：
采用经典的深度残差神经网络-101；
设置100个卷积层；
设置1个全局平均池化层；
设置1个1000类的全连接层。
5.根据权利要求1所述的方法，其特征在于，使用全卷积神经网络对候选区域进行分类，包括：
对候选区域的每类所有相对空间位置的分数进行平均池化，利用分类器进行分类；
再经过卷积层进行定位，标出边界框；
计算每个候选区域的交叉熵和边界框回归损失的和作为损失函数，用于确定正确的边界框；
分类后，将候选区域进行可视化输出。
CN201710407339.7A 2017-05-29 2017-05-29 一种基于区域的全卷积神经网络的路牌检测方法 Pending CN107273828A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710407339.7A CN107273828A (zh) 2017-05-29 2017-05-29 一种基于区域的全卷积神经网络的路牌检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710407339.7A CN107273828A (zh) 2017-05-29 2017-05-29 一种基于区域的全卷积神经网络的路牌检测方法

Publications (1)

Publication Number Publication Date
CN107273828A true CN107273828A (zh) 2017-10-20

Family

ID=60064954

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710407339.7A Pending CN107273828A (zh) 2017-05-29 2017-05-29 一种基于区域的全卷积神经网络的路牌检测方法

Country Status (1)

Country Link
CN (1) CN107273828A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107808376A (zh) * 2017-10-31 2018-03-16 上海交通大学 一种基于深度学习的举手检测方法
CN107909021A (zh) * 2017-11-07 2018-04-13 浙江师范大学 一种基于单个深层卷积神经网络的路牌检测方法
CN107993228A (zh) * 2017-12-15 2018-05-04 中国人民解放军总医院 一种基于心血管oct影像的易损斑块自动检测方法和装置
CN108052909A (zh) * 2017-12-15 2018-05-18 中国人民解放军总医院 一种基于心血管oct影像的薄纤维帽斑块自动检测方法和装置
CN108733909A (zh) * 2018-05-16 2018-11-02 中国科学院遥感与数字地球研究所 一种冰盖融化区探测方法
CN108876791A (zh) * 2017-10-23 2018-11-23 北京旷视科技有限公司 图像处理方法、装置和系统及存储介质
CN109117894A (zh) * 2018-08-29 2019-01-01 汕头大学 一种基于全卷积神经网络的大尺度遥感图像楼房分类方法
CN109271906A (zh) * 2018-09-03 2019-01-25 五邑大学 一种基于深度卷积神经网络的烟雾检测方法及其装置
CN109544537A (zh) * 2018-11-26 2019-03-29 中国科学技术大学 髋关节x光图像快速自动分析方法
CN109978870A (zh) * 2019-03-29 2019-07-05 北京百度网讯科技有限公司 用于输出信息的方法和装置
CN110084234A (zh) * 2019-03-27 2019-08-02 东南大学 一种基于实例分割的声呐图像目标识别方法
CN110135307A (zh) * 2019-04-30 2019-08-16 北京邮电大学 基于注意力机制的交通标志检测方法和装置
WO2019169816A1 (zh) * 2018-03-09 2019-09-12 中山大学 一种用于精细化识别车辆属性的深度神经网络及训练方法
CN110974214A (zh) * 2019-12-20 2020-04-10 华中科技大学 一种基于深度学习的自动心电图分类方法、系统及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105931255A (zh) * 2016-05-18 2016-09-07 天津工业大学 基于显著性和深度卷积神经网络的图像中目标定位方法
CN106650699A (zh) * 2016-12-30 2017-05-10 中国科学院深圳先进技术研究院 一种基于卷积神经网络的人脸检测方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105931255A (zh) * 2016-05-18 2016-09-07 天津工业大学 基于显著性和深度卷积神经网络的图像中目标定位方法
CN106650699A (zh) * 2016-12-30 2017-05-10 中国科学院深圳先进技术研究院 一种基于卷积神经网络的人脸检测方法及装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
JIFENG DAI ET AL.: "R-FCN:Object Detection via Region-based Fully Convolutional Networks", 《ARXIV:1605.06409V2》 *
KAIMING HE ET AL.: "Deep Residual Learning for Image Recognition", 《ARXIV:1512.03385V1》 *
RONGQIANG QIAN ET AL.: "Road Surface Traffic Sign Detection with Hybrid Region Proposal and Fast R-CNN", 《2016 12TH INTERNATIONAL CONFERENCE ON NATURAL COMPUTATION, FUZZY SYSTEMS AND KNOWLEDGE DISCOVERY》 *
SHAOQING REN ET AL.: "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Network", 《ARXIV:1506.01497V3》 *
李海龙 等: "基于区域卷积神经网络的行人检测", 《通信技术》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108876791A (zh) * 2017-10-23 2018-11-23 北京旷视科技有限公司 图像处理方法、装置和系统及存储介质
CN107808376A (zh) * 2017-10-31 2018-03-16 上海交通大学 一种基于深度学习的举手检测方法
CN107808376B (zh) * 2017-10-31 2022-03-11 上海交通大学 一种基于深度学习的举手检测方法
CN107909021A (zh) * 2017-11-07 2018-04-13 浙江师范大学 一种基于单个深层卷积神经网络的路牌检测方法
CN107993228A (zh) * 2017-12-15 2018-05-04 中国人民解放军总医院 一种基于心血管oct影像的易损斑块自动检测方法和装置
CN108052909A (zh) * 2017-12-15 2018-05-18 中国人民解放军总医院 一种基于心血管oct影像的薄纤维帽斑块自动检测方法和装置
WO2019169816A1 (zh) * 2018-03-09 2019-09-12 中山大学 一种用于精细化识别车辆属性的深度神经网络及训练方法
CN108733909A (zh) * 2018-05-16 2018-11-02 中国科学院遥感与数字地球研究所 一种冰盖融化区探测方法
CN109117894A (zh) * 2018-08-29 2019-01-01 汕头大学 一种基于全卷积神经网络的大尺度遥感图像楼房分类方法
CN109117894B (zh) * 2018-08-29 2022-05-27 汕头大学 一种基于全卷积神经网络的大尺度遥感图像楼房分类方法
CN109271906A (zh) * 2018-09-03 2019-01-25 五邑大学 一种基于深度卷积神经网络的烟雾检测方法及其装置
CN109544537A (zh) * 2018-11-26 2019-03-29 中国科学技术大学 髋关节x光图像快速自动分析方法
CN110084234A (zh) * 2019-03-27 2019-08-02 东南大学 一种基于实例分割的声呐图像目标识别方法
CN109978870A (zh) * 2019-03-29 2019-07-05 北京百度网讯科技有限公司 用于输出信息的方法和装置
CN110135307A (zh) * 2019-04-30 2019-08-16 北京邮电大学 基于注意力机制的交通标志检测方法和装置
CN110974214A (zh) * 2019-12-20 2020-04-10 华中科技大学 一种基于深度学习的自动心电图分类方法、系统及设备

Similar Documents

Publication Publication Date Title
CN107273828A (zh) 一种基于区域的全卷积神经网络的路牌检测方法
Liu et al. Change detection using deep learning approach with object-based image analysis
CN104537647B (zh) 一种目标检测方法及装置
CN108009509A (zh) 车辆目标检测方法
CN109961049A (zh) 一种复杂场景下香烟品牌识别方法
CN104463199A (zh) 基于多特征及分割再校正的矿岩块度分类方法
CN104331714B (zh) 基于图像数据提取和神经网络建模的铂浮选品位估算方法
CN109583340A (zh) 一种基于深度学习的视频目标检测方法
CN106650690A (zh) 基于深度卷积‑反卷积神经网络的夜视图像场景识别方法
CN107092870A (zh) 一种高分辨率影像语意信息提取方法及系统
CN107220603A (zh) 基于深度学习的车辆检测方法及装置
JP2009525800A5 (zh)
CN109215034A (zh) 一种基于空间金字塔掩盖池化的弱监督图像语义分割方法
CN110533022B (zh) 一种目标检测方法、系统、装置及存储介质
CN109785344A (zh) 基于特征重标定的双通路残差网络的遥感图像分割方法
CN107808138A (zh) 一种基于FasterR‑CNN的通信信号识别方法
CN110751644B (zh) 道路表面裂纹检测方法
CN106650823A (zh) 一种基于概率极限学习机集成的泡沫镍表面缺陷分类方法
CN103198479A (zh) 基于语义信息分类的sar图像分割方法
CN106997463A (zh) 一种基于压缩感知域和卷积神经网络的路牌识别方法
CN112818871B (zh) 一种基于半分组卷积的全融合神经网络的目标检测方法
CN107016366A (zh) 一种基于自适应滑动窗口和卷积神经网络的路牌检测方法
CN113298024A (zh) 一种基于轻量化神经网络的无人机对地小目标识别方法
CN111833353B (zh) 一种基于图像分割的高光谱目标检测方法
CN111414931A (zh) 一种基于图像深度的多分支多尺度小目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171020