CN107909021A - 一种基于单个深层卷积神经网络的路牌检测方法 - Google Patents

一种基于单个深层卷积神经网络的路牌检测方法 Download PDF

Info

Publication number
CN107909021A
CN107909021A CN201711102779.8A CN201711102779A CN107909021A CN 107909021 A CN107909021 A CN 107909021A CN 201711102779 A CN201711102779 A CN 201711102779A CN 107909021 A CN107909021 A CN 107909021A
Authority
CN
China
Prior art keywords
guideboard
convolutional neural
neural networks
frame
deep layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711102779.8A
Other languages
English (en)
Inventor
熊继平
王妃
叶童
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Normal University CJNU
Original Assignee
Zhejiang Normal University CJNU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Normal University CJNU filed Critical Zhejiang Normal University CJNU
Priority to CN201711102779.8A priority Critical patent/CN107909021A/zh
Publication of CN107909021A publication Critical patent/CN107909021A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Abstract

本发明公开了一种基于单个深层卷积神经网络(SSD)的路牌检测方法，利用单个深层卷积神经网络，对路牌进行检测，提高了路牌检测的鲁棒性。该方法包括：第一步是构建前向传播的卷积神经网络；第二步是对路牌数据进行数据增广；第三步是对单个深层卷积神经网络进行训练；第四步是检测时利用极大值抑制进行预测；最后输出检测结果。

Description

一种基于单个深层卷积神经网络的路牌检测方法
技术领域
本发明涉及基于计算机的图像处理技术，尤其涉及一种基于单个深层卷积神经网络的路牌识别方法。
背景技术
在过去的几十年里，人们对汽车的使用越来越频繁，同时也导致很多的安全问题。包括激光测距仪、GPS和计算机视觉在内的感测技术在驾驶辅助系统和自动驾驶车辆中发挥了很大的作用。在安全驾驶中，能正确识别交通信息是非常重要的环节。为了能使驾驶者注意到路牌，采用了鲜艳的颜色和简单的形状。然而，这并不能解决问题，驾驶者非常容易忽略道路两旁的路牌。因此，路牌的检测算法的到了发展，在很大程度上解决了问题。现在，基于深度学习的路牌检测算法是研究热点之一。
深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习的概念由Hinton等人于2006年提出。基于深度置信网络(DBN)提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。此外Hubel等人提出的卷积神经网络是第一个真正多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。
检测算法一直是学者研究的一个热点。自从2014年基于卷积神经网络特征的区域检测算法的提出，检测算法得到了迅速地发展。许多基于深度学习的检测算法被提出，这些算法都获得很高的精度，但是其网络结构相当复杂，且计算速度慢。基于单个深层卷积神经网络的路牌识别方法，其网络结构简单，运算速度快，且检测精度。
现有的方法中，基于全卷积神经网络方法的检测精度不高，基于区域建议网络(RoI)的区域卷积神经网络(R-CNN)的检测速度慢，因此，本发明公开了一种基于单个深层卷积神经网络(SSD)的路牌检测方法，利用单个深层卷积神经网络，对路牌进行检测，提高了路牌检测的鲁棒性。该方法包括：第一步是构建前向传播的卷积神经网络；第二步是对路牌数据进行数据增广；第三步是对单个深层卷积神经网络进行训练；第四步是检测时利用极大值抑制进行预测；最后输出检测结果。
发明内容
本发明所要解决的技术问题是增强路牌检测的鲁棒性，提高路牌检测的正确率。
为了解决上述技术问题，本发明提供一种基于单个深层卷积神经网络的路牌检测方法，用于路牌检测上；该方法包括：
构建前向传播的卷积神经网络；
将产生的默认框与目标框进行匹配；
对单个深层卷积神经网络进行训练；
测试时利用非极大值抑制算法进行预测；
输出路牌的检测结果。
其中，根据所述对路牌数据进行数据增广，包括：
随机采样一个路径；
路径的大小为原始图像的[0.1，1]，纵横比为[0.5，1]；
目标框的中心在路径范围内，则保留重叠部分；
将每个采样的路径设置为相同大小，并以0.5的概率对其进行水平翻转。
其中，根据所述构造单个深层卷积神经网络，包括：
采用VGG-16图像分类模型作为基础网络；
添加逐渐减小的5层卷积层；
设置1层池化层。
其中，将对单个深层卷积神经网络进行训练，包括：
利用最佳杰卡德重叠将目标框和默认框进行匹配；
将负样本按照置信度进行排序；
计算总的目标损失函数；
计算默认框的大小以及纵横比；
每个目标框与唯一一个默认框配对。
其中，利用极大值抑制对路牌进行检测，包括：
将目标框和默认框进行匹配；
当损失函数的值小于设定的阈值时，网络输出特征图；
计算默认框的宽度、高度和中心点；
利用极大值抑制算法进行路牌检测。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1为本申请实施例的基于单个深层卷积神经网络的路牌检测方法的流程示意图。
图2为本申请实施例对路牌数据进行数据增广的流程示意图。
图3为本申请实施例构造单个深层卷积神经网络的流程示意图。
图4为单个深层卷积神经网络的结构示意图。
图5为本申请实施例对单个深层卷积神经网络进行训练的流程示意图。
图6为本申请实施例利用极大值抑制对路牌进行检测的流程示意图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。
本申请实施例的基于单个深层卷积神经网络的路牌检测方法，用于路牌的识别。本申请实施例所述的路牌检测，主要是指运用单个深层卷积神经网络进行路牌检测。
本申请的实施例可以利用前向传播网络架构单个深层卷积神经网络，并输出一系列的默认框，之后利用非极大值抑制对GTSDB数据集中的路牌图像进行检测。
如图1所示，本申请实施例的基于单个深层卷积神经网络的路牌检测方法，主要包括如下步骤：
步骤S110，构建前向传播的卷积神经网络。
步骤S120，将产生的默认框与目标框进行匹配。
步骤S130，对单个深层卷积神经网络进行训练。
步骤S140，测试时利用非极大值抑制算法进行预测。
步骤S150，输出路牌的检测结果。
本申请实施例中，根据所述路牌数据进行数据增广。图2表示出了路牌数据进行数据增广主要步骤。
步骤S210，随机采样一个路径；
步骤S220，路径的大小为原始图像的[0.1，1]，纵横比为[0.5，1]。
步骤S230，目标框的中心在路径范围内，则保留重叠部分。
步骤S240，将每个采样的路径设置为相同大小，并以0.5的概率对其进行水平翻转。
本申请实施例中，根据所述训练样本获得单个深层卷积神经网络。图3示出了构造单个深层卷积神经网络的主要步骤。
步骤S310，采用VGG-16图像分类模型作为基础网络。
VGG-16是一种经典的卷积神经网络结构，该结构有13个卷积层，3个全连接层，一共16层。
步骤S320，添加逐渐减小的5层卷积层。
步骤S330，最后设置1层池化层。
图4为单个深层卷积神经网络的结构示意图。
本申请实施例中，对单个深层卷积神经网络进行训练。图4示出了对单个深层卷积神经网络进行训练的主要步骤。
步骤S510，利用最佳杰卡德重叠将目标框和默认框进行匹配。
将每个目标框与具有最佳杰卡德重叠的默认框进行匹配，保证每个目标框都有对应的默认框。当每个默认框与目标框进行配对时，只要两者的杰卡德重叠大于某一设定的阈值，即为配对成功，所以一个目标框可能对应多个默认框。
步骤S520，将负样本按照置信度进行排序。
经过匹配之后，许多默认框是负样本，这将导致正样本、负样本不均衡，训练难以收敛。因此，将负样本根据置信度进行排序，选取最高的几个负样本，并且保证负样本、正样本比例为3∶1。
步骤S530，计算总的目标损失函数。
总的损失函数是局部损失函数和置信损失函数的加权和：
局部损失函数：
其中，
置信损失函数：
其中，(gcx，gcy，gw，gh)表示目标框，(dcx，dcy，dw，dh)表示默认框，(lcx，lcy，lw，lh)表示预测的目标框相对于默认框的偏移量。
步骤S540，计算默认框的大小以及纵横比。
默认框不需要和每一层的感受野相对应，特定的特征图负责处理图像中特定尺度的物体。在每个特征图上，默认框的尺度计算如下：
其中，smin＝0.2，smax＝0.9
默认框的纵横比有：{1，2，3，1/2，1/3}，当纵横比为1时，额外增加一个默认框，该默认框的尺度为
步骤S550，每个目标框与唯一一个默认框配对。
本申请实施例中，使用利用极大值抑制对路牌进行检测。图6为本申请实施例述及的利用极大值抑制对路牌进行检测的示意图。
步骤S610，将目标框和默认框进行匹配；
步骤S620，当损失函数的值小于设定的阈值时，网络输出特征图；
步骤S630，计算默认框的宽度、高度和中心点。
每个默认框的宽度、高度、中心的计算如下：
步骤S640，利用极大值抑制算法进行路牌检测。
本申请实施例提出了一种基于区域的全卷积神经网络的路牌检测方法，利用单个深层卷积神经网络，对路牌进行检测，提高了路牌检测的鲁棒性。该方法包括：第一步是构建前向传播的卷积神经网络；第二步是对路牌数据进行数据增广；第三步是对单个深层卷积神经网络进行训练；第四步是检测时利用极大值抑制进行预测；最后输出检测结果。

Claims (5)

1.一种鲁棒的路牌检测方法，用于对路牌图像的检测；其特征在于，该方法包括：
构建前向传播的卷积神经网络；
将产生的默认框与目标框进行匹配；
对单个深层卷积神经网络进行训练；
测试时利用非极大值抑制算法进行预测；
输出路牌的检测结果。
2.根据权利要求1所述的方法，其特征在于，根据所述对路牌数据进行数据增广，包括：
随机采样一个路径；
路径的大小为原始图像的[0.1，1]，纵横比为[0.5，1]；
目标框的中心在路径范围内，则保留重叠部分；
将每个采样的路径设置为相同大小，并以0.5的概率对其进行水平翻转。
3.根据权利要求1所述的方法，其特征在于，根据所述构造单个深层卷积神经网络，包括：
采用VGG-16图像分类模型作为基础网络；
添加逐渐减小的5层卷积层；
设置1层池化层。
4.根据权利要求1所述的方法，其特征在于，将对单个深层卷积神经网络进行训练，包括：
设置杰卡德阈值；
利用最佳杰卡德重叠将目标框和默认框进行匹配；
将负样本按照置信度进行排序；
计算总的目标损失函数；
计算默认框的大小以及纵横比；
每个目标框与唯一一个默认框配对。
5.根据权利要求1所述的方法，其特征在于，利用极大值抑制对路牌进行检测，包括：
将目标框和默认框进行匹配；
当损失函数的值小于设定的阈值时，网络输出特征图；
计算默认框的宽度、高度和中心点；
利用极大值抑制算法进行路牌检测。
CN201711102779.8A 2017-11-07 2017-11-07 一种基于单个深层卷积神经网络的路牌检测方法 Pending CN107909021A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711102779.8A CN107909021A (zh) 2017-11-07 2017-11-07 一种基于单个深层卷积神经网络的路牌检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711102779.8A CN107909021A (zh) 2017-11-07 2017-11-07 一种基于单个深层卷积神经网络的路牌检测方法

Publications (1)

Publication Number Publication Date
CN107909021A true CN107909021A (zh) 2018-04-13

Family

ID=61844557

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711102779.8A Pending CN107909021A (zh) 2017-11-07 2017-11-07 一种基于单个深层卷积神经网络的路牌检测方法

Country Status (1)

Country Link
CN (1) CN107909021A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108710897A (zh) * 2018-04-24 2018-10-26 江苏科海智能系统有限公司 一种基于ssd-t的远端在线通用目标检测系统
CN108960198A (zh) * 2018-07-28 2018-12-07 天津大学 一种基于残差ssd模型的交通标志检测与识别方法
CN109447156A (zh) * 2018-10-30 2019-03-08 北京字节跳动网络技术有限公司 用于生成模型的方法和装置
CN110210513A (zh) * 2019-04-23 2019-09-06 深圳信息职业技术学院 数据分类方法、装置及终端设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104809443A (zh) * 2015-05-05 2015-07-29 上海交通大学 基于卷积神经网络的车牌检测方法及系统
CN106022237A (zh) * 2016-05-13 2016-10-12 电子科技大学 一种端到端的卷积神经网络的行人检测方法
CN106599939A (zh) * 2016-12-30 2017-04-26 深圳市唯特视科技有限公司 一种基于区域卷积神经网络的实时目标检测方法
CN106611162A (zh) * 2016-12-20 2017-05-03 西安电子科技大学 基于深度学习ssd框架的道路车辆实时检测方法
CN106682569A (zh) * 2016-09-28 2017-05-17 天津工业大学 一种基于卷积神经网络的快速交通标识牌识别方法
CN106909886A (zh) * 2017-01-20 2017-06-30 中国石油大学(华东) 一种基于深度学习的高精度交通标志检测方法及系统
CN106997463A (zh) * 2017-03-29 2017-08-01 浙江师范大学 一种基于压缩感知域和卷积神经网络的路牌识别方法
CN107016366A (zh) * 2017-03-29 2017-08-04 浙江师范大学 一种基于自适应滑动窗口和卷积神经网络的路牌检测方法
CN107273828A (zh) * 2017-05-29 2017-10-20 浙江师范大学 一种基于区域的全卷积神经网络的路牌检测方法
CN107316001A (zh) * 2017-05-31 2017-11-03 天津大学 一种自动驾驶场景中小且密集的交通标志检测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104809443A (zh) * 2015-05-05 2015-07-29 上海交通大学 基于卷积神经网络的车牌检测方法及系统
CN106022237A (zh) * 2016-05-13 2016-10-12 电子科技大学 一种端到端的卷积神经网络的行人检测方法
CN106682569A (zh) * 2016-09-28 2017-05-17 天津工业大学 一种基于卷积神经网络的快速交通标识牌识别方法
CN106611162A (zh) * 2016-12-20 2017-05-03 西安电子科技大学 基于深度学习ssd框架的道路车辆实时检测方法
CN106599939A (zh) * 2016-12-30 2017-04-26 深圳市唯特视科技有限公司 一种基于区域卷积神经网络的实时目标检测方法
CN106909886A (zh) * 2017-01-20 2017-06-30 中国石油大学(华东) 一种基于深度学习的高精度交通标志检测方法及系统
CN106997463A (zh) * 2017-03-29 2017-08-01 浙江师范大学 一种基于压缩感知域和卷积神经网络的路牌识别方法
CN107016366A (zh) * 2017-03-29 2017-08-04 浙江师范大学 一种基于自适应滑动窗口和卷积神经网络的路牌检测方法
CN107273828A (zh) * 2017-05-29 2017-10-20 浙江师范大学 一种基于区域的全卷积神经网络的路牌检测方法
CN107316001A (zh) * 2017-05-31 2017-11-03 天津大学 一种自动驾驶场景中小且密集的交通标志检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHENGCHENG NING 等: "INCEPTION SINGLE SHOT MULTIBOX DETECTOR FOR OBJECT DETECTION", 《PROCEEDINGS OF THE IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO WORKSHOPS (ICMEW) 2017》 *
WEI LIU 等: "SSD: Single Shot MultiBox Detector", 《ECCV 2016》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108710897A (zh) * 2018-04-24 2018-10-26 江苏科海智能系统有限公司 一种基于ssd-t的远端在线通用目标检测系统
CN108960198A (zh) * 2018-07-28 2018-12-07 天津大学 一种基于残差ssd模型的交通标志检测与识别方法
CN109447156A (zh) * 2018-10-30 2019-03-08 北京字节跳动网络技术有限公司 用于生成模型的方法和装置
CN109447156B (zh) * 2018-10-30 2022-05-17 北京字节跳动网络技术有限公司 用于生成模型的方法和装置
CN110210513A (zh) * 2019-04-23 2019-09-06 深圳信息职业技术学院 数据分类方法、装置及终端设备

Similar Documents

Publication Publication Date Title
CN108229580B (zh) 一种基于注意力机制及特征融合的眼底图中糖网特征分级装置
CN107909021A (zh) 一种基于单个深层卷积神经网络的路牌检测方法
CN113688723B (zh) 一种基于改进YOLOv5的红外图像行人目标检测方法
CN108985269A (zh) 基于卷积和空洞卷积结构的融合网络驾驶环境感知模型
CN113569667B (zh) 基于轻量级神经网络模型的内河船舶目标识别方法及系统
CN105654067A (zh) 一种车辆检测方法及装置
CN105740910A (zh) 一种车辆物件检测方法及装置
CN105528638A (zh) 灰色关联分析法确定卷积神经网络隐层特征图个数的方法
CN110135446B (zh) 文本检测方法及计算机存储介质
CN111950515B (zh) 一种基于语义特征金字塔网络的小人脸检测方法
CN109543632A (zh) 一种基于浅层特征融合引导的深层网络行人检测方法
CN113283529B (zh) 一种面向多模态图像能见度检测的神经网络构建方法
CN113326735B (zh) 一种基于YOLOv5的多模态小目标检测方法
CN106198551A (zh) 一种输电线路缺陷的检测方法及装置
CN111914924A (zh) 一种快速舰船目标检测方法、存储介质及计算设备
CN112818871B (zh) 一种基于半分组卷积的全融合神经网络的目标检测方法
CN114612769A (zh) 一种融入局部结构信息的集成感知红外成像舰船检测方法
CN111539456B (zh) 一种目标识别方法及设备
CN116110022A (zh) 基于响应知识蒸馏的轻量化交通标志检测方法及系统
CN109165658A (zh) 一种基于Faster-RCNN的强负样本水下目标检测方法
CN108509949A (zh) 基于注意力地图的目标检测方法
CN113902044B (zh) 一种基于轻量级yolov3的图像目标提取方法
CN111626186A (zh) 一种司机分心检测方法
CN109960990B (zh) 障碍物侦测可信度评估方法
CN116052149A (zh) 一种基于CS-ABCNet的电力塔牌检测识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180413