CN113076788A - 一种基于改进的yolov3-tiny网络的交通标识检测方法 - Google Patents

一种基于改进的yolov3-tiny网络的交通标识检测方法 Download PDF

Info

Publication number
CN113076788A
CN113076788A CN202010010170.3A CN202010010170A CN113076788A CN 113076788 A CN113076788 A CN 113076788A CN 202010010170 A CN202010010170 A CN 202010010170A CN 113076788 A CN113076788 A CN 113076788A
Authority
CN
China
Prior art keywords
network
tiny
yolov3
target detection
layers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010010170.3A
Other languages
English (en)
Inventor
卿粼波
俞辰
滕奇志
何小海
胡亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202010010170.3A priority Critical patent/CN113076788A/zh
Publication of CN113076788A publication Critical patent/CN113076788A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于改进的yolov3‑tiny网络的交通标识检测方法，提高了yolov3‑tiny检测交通标识的准确率，同时减少了参数量，可以达到在嵌入式平台上实时检测交通标识的效果。该方法包括数据集预处理，yolov3‑tiny的网络结构的改进，以及改进后网络模型的测试。本发明的网络检测模型在测试集上的检测精度mAP达到93.53％，比yolov3‑tiny提高了4.17％，recall达到了94.49％，比yolov3‑tiny提高了2.63％，参数量只有5.7M，比yolov3‑tiny减少了83.6％，在嵌入式平台上检测交通标识时性能优良。本发明可以应用于交通标识检测领域。

Description

一种基于改进的yolov3-tiny网络的交通标识检测方法
技术领域
本发明属于交通标识检测领域，具体涉及一种基于改进的yolov3-tiny网络的交通标识检测方法。
背景技术
交通标识识别是高速公路养护，驾驶员辅助系统和智能汽车及城市建设很重要的一部分。交通标识包含丰富的道路交通信息，为驾驶员提供警示、辅助等道路信息，对减轻驾驶员的驾驶压力、降低道路的交通压力，减少交通事故的发生率起着重要的辅助作用，所以交通标识识别是实现智能交通很重要的一部分。在过去，交通标志检测的主流方法是基于传统的目标检测算法，传统的检测算法大部分是基于机器视觉的检测算法，基于形状和颜色进行检测等等，这种交通标志检测一般采用手动提取特征目标区域，然后结合分类器过滤出负面信息，但人为提取特征存在一定的主观性，所以传统检测方法有一定的局限性。目前，深度卷积网络应用于图像识别和目标检测，其速度和精度越来越高。卷积神经网络(CNN)无需预处理就可以从大量样本中学习特征，避免了手动提取特征的困难，学习了更多的广义特征。
随着深度学习的不断发展，基于深度学习的目标检测算法也越来越多。RCNN(Regions withCNN)通过提取多个候选区域，将所有候选区域分别输入CNN网络，再将CNN的输出输入SVM进行类别的判定；Fast RCNN(Fast Regions with CNN)直接将整张图像输入到卷积层，得到候选区域的特征图，最后得到相对位置的回归和类别的判定；Faster RCNN(Faster Regions with CNN)将Fast RCNN中的提取候选区域的部分采用区域候选神经网RPN(Region Proposal Network)来完成；SSD(SingleShot MultiBox Detector)是在不同层级的特征图下进行分类识别。
上述这些算法都在CPU+GPU的异构平台上实现，模型都较大。而要在嵌入式平台上实现，网络需要具有模型小，实时性较高的特性，在所有检测算法中，Tiny-YOLO系列网络由于实时性高、参数量较小，在在嵌入式平台上更易实现。
发明内容
本发明的目的是提高yolov3-tiny检测交通标识的准确度的同时减少网络的参数量，以便移植到嵌入式平台上运行。本发明针对自动驾驶中的实际需求，可以达到在嵌入式平台上实时检测交通标识。
为实现上述目的，按照本发明的一个方面，提供了一种基于改进的yolov3-tiny网络的交通标识检测方法，包括数据集预处理，改进yolov3-tiny的网络结构，以及改进后网络模型的测试。其中改进yolov3-tiny的网络结构包括修改初始候选框的个数，卷积层及目标检测层的增添及对网络进行密集连接。
其中，数据集预处理，对于数据集图像，由于图像是从不同的设备上获取的，所以图像的大小并不统一，比如1000*300、1024*768和1280*720。此外，由于缩放变换，部分图像被更改为513*999和641*936。所使用数据集为长沙交通数据集CCTSDB的部分图片。考虑到YOLO算法所需输入的固定大小，我们将不同尺度的图像调整为608*608的均匀尺寸。同时，为了训练的有效性，训练集为上述数据集中随机的3500张，测试集为上述数据集中的随机的1000张，验证集为上述数据集中的随机500张。
改进yolov3-tiny的网络结构包括修改初始候选框的个数，卷积层及目标检测层的增添及对网络进行密集连接三个步骤。
具体地，修改候选框个数，并且用Kmeans方法重置初始候选框的宽和高，将原来的6个候选框修改成了9个，并使用Kmeans方法重新聚类候选框的宽和高，最终对应9个anchors的宽和高分别为(15,15),(19,19),(24,24),(16,41.6),(32,31),(46,44),(28.5,74.1),(70,73),(126,144)。
具体地，卷积层的增添的目的是为了后续能增添目标检测层，目标检测层的增添是利用输出的16倍降采样特征图与经过2倍上采样的32倍降采样特征图进行拼接，建立输出为16倍降采样的特征融合目标检测层。原有的两个目标检测层增添到三个目标检测层。
具体地，对网络进行密集连接是对部分卷积层进行了密集连接，将增添目标检测层后的网络的部分卷积层两两都进行了连接，使得密集连接网络中每一层都接受它前面所有层的特征作为输入，同时对检测层也进行了密集连接,使每个检测层都接受它前面所有检测层的特征作为输入，并用训练集训练改进后的yolov3-tiny网络。
网络模型的测试，将测试集数据集输入训练好的网络模型,同时与其他模型训练测试该数据集进行对比。
附图说明
图1是本发明提供的基于改进yolov3-tiny的交通标识检测的方法图。
图2是本发明中yolov3-tiny网络结构图。
图3是本发明中的卷积尺度对比图。
图4是本发明中的改进后的Improved-yolov3-tiny网络结构图。
图5是本发明中的DenseNet网络结构示意图。
图6是本发明PR曲线对比图。
图7是本发明与原算法结果对比图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本发明，并不用于限定本发明，所属领域技术熟悉人员根据上述发明内容，对本发明做出一些非本质的改进和调整进行具体实施，应仍属于本发明的保护范围。
图1中，一种基于改进的yolov3-tiny网络的交通标识检测方法，包括以下步骤：
(1)数据集预处理，选取CCTSDB数据集的部分图片，随机分配训练集数据、测试集数据、验证集数据；
(2)改进yolov3-tiny的网络结构，并将训练集数据输入改进后的yolov3-tiny(Improved-yolov3-tiny)进行训练；
(3)将测试集数据的随机图片输入训练好的Improved-yolov3-tiny网络，以进行交通标识的检测。
其中，步骤(2)又分为以下几个步骤：
(1)修改初始候选框的个数，同时使用Kmeans方法重置初始候选框的宽和高。
(2)卷积层及目标检测层的增添，在yolov3-tiny的网络结构第二个卷积层后面增添了两个不同卷积核数的卷积层,并且在原有的目标检测层的基础上添加了一个新的目标检测层，利用输出的16倍降采样特征图与经过2倍上采样的32倍降采样特征图进行拼接，建立输出为16倍降采样的特征融合目标检测层。原有的两个目标检测层增添到三个目标检测层。
(3)对网络进行密集连接，对网络中采用部分密集连接。将增添目标检测层后的网络的部分卷积层两两都进行了连接，使得密集连接网络中每一层都接受它前面所有层的特征作为输入，同时对检测层也进行了密集连接,使每个检测层都接受它前面所有检测层的特征作为输入。
具体地，所述步骤(1)中，所述CCTSDB部分数据集共包含5000张图像，将标注后的5000张图像随机分成训练集，测试集及验证集，数据量比为7:2:1，并且将不同尺度的图像调整为608*608的均匀尺寸。
所述步骤(2)中，yolov3-tiny的网络结构图如图2所示，包含13个卷积层，6个池化层，对输入图片进行了6次降采样，并分别在最后2次降采样中对目标进行预测。最后2次降采样包含了2个尺度目标检测的特征图。小特征图提供深层次的语义信息，大特征图则提供目标的位置信息，小特征图经过上采样与大特征图融合。但是，对于很小的交通标识，该网络结构还存在不足，于是，增添了卷积层和目标检测层来提高对较小目标检测的精确度，卷积尺度图如图3所示，19*19以及38*38的卷积尺度是yolov3-tiny原有的结构，76*76的卷积尺度是增添的尺度，可以从卷积尺度图看出对于小目标的检测是更加精确的。改进后的网络结构图(Improved-yolov3-tiny)如图4所示，具体实现为增加输出为16倍降采样特征融合目标检测层对小目标进行检测，增添了目标检测层后，可以获取到更多的小目标位置信息。增利用输出的16倍降采样特征图与经过2倍上采样的32倍降采样特征图进行拼接，建立输出为16倍降采样的特征融合目标检测层，对小目标进行检测。
具体的，所述步骤(3)中，为了降低网络的参数量，使其更好的部署在嵌入式平台上，对网络中的部分卷积层进行密集连接，相应减少其他部分的卷积核数目，对目标检测层前的卷积层也进行了密集连接。密集连接网络主要拥有以下两个特性：(1)一定程度上减轻在训练过程中梯度消散的问题。从图5我们可以看出，在反传时每一层都会接受其后所有层的梯度信号，所以不会出现随着网络深度的增加，靠近输入层的梯度会变得越来越小的情况。(2)由于大量的特征被复用，使得使用少量的卷积核就可以生成大量的特征，最终模型的尺寸也比较小。在较浅的网络结构中，在相同精度下，使用了DenseNet(密集连接网络)后，参数量和计算量都会减少。
密集连接前后的网络参数表如表1，表2所示，[Convolution]的卷积层为进行了密集连接的密集块。
表1密集连接前网络参数
Figure BDA0002356857590000041
Figure BDA0002356857590000051
表2密集连接后网络参数
Figure BDA0002356857590000052
Figure BDA0002356857590000061
对比两个表的参数数量，可以计算出表1中卷积层的参数数量为26523832，表2中卷积层的参数数量为1416120，参数量几乎减少为原来的1/2，所以密集连接后可以大量减少参数量。
本发明的实验环境配置如下：Intel(R)Core(TM)i7-6700 3.4GHz处理器；显卡为显存12GB的NVIDIA Titan X；Ubuntu 16.04 64位操作系统；深度学习框架为Darknet。Yolov3-tiny，Improved-yolov3-tiny及yolov3的网络参数配置如下：训练框架为darknet，动量为0.9，权重衰减为0.0005，迭代次数为10000，学习率设置为0.001，Tiny-YOLOv3，Improved-yolov3-tiny的预训练模型为Tiny-YOLOv3.conv15，YOLOv3的预训练模型为darknet53.conv.74。采用预训练模型作为训练时网络的初始参数，这样可以使训练时间大大缩短。
为了证明本发明算法的有效性，以及评估交通标识模型的性能，我们用其他主流网络模型与本发明做了对比。最终模型检测的性能指标选择了平均精确度均值mAP,召回率recall以及网络参数量Parameters，将yolov3-tiny与本发明的PR曲线图做了对比，如图6所示该曲线下的面积为该模型的mAP。我们的目标是在保证检测精度和召回率的前提下尽量减少参数。其对比结果如表3所示：
表3本发明算法与其他模型算法性能比较
Figure BDA0002356857590000062
本发明网络模型已移植到Nvidia TX2，与原网络模型对比效果如图7所示，左边为原算法结果，右边为本发明结果。左边图漏检的标识在右边图中都可以看到，可以说明本算法的有效性。

Claims (4)

1.一种基于改进的yolov3-tiny网络的交通标识检测方法，其特征在于主要包括以下步骤：
(1)数据集及网络模型预处理，选取CCTSDB数据集的部分图片，随机分配训练集数据、测试集数据、验证集数据，修改初始候选框的个数，同时使用Kmeans方法重置初始候选框(anchors)的宽和高；
(2)卷积层及目标检测层的增添，在yolov3-tiny的网络结构第二个卷积层后面增添了两个不同卷积核数的卷积层,并且在原有的目标检测层的基础上添加了一个新的目标检测层，增添到了三个目标检测层；
(3)对网络进行密集连接，对网络中的卷积层采用部分密集连接，对于密集连接的卷积层减少了卷积核的个数；
(4)将训练集数据输入改进后的yolov3-tiny(Improved-yolov3-tiny)进行训练，将测试集的随机图片输入训练好的Improved-yolov3-tiny网络，以进行交通标识的检测。
2.如权利要求1所述的基于改进的yolov3-tiny网络的交通标识检测方法，其特征在于步骤(1)中网络模型预处理，网络模型预处理将原有anchors的个数由6个改为9个，所述9个anchors宽和高的值由Kmeans方法重新聚类得到。
3.如权利要求1所述的基于改进的yolov3-tiny网络的交通标识检测方法，其特征在于步骤(2)中目标检测层的增添，利用输出的16倍降采样特征图与经过2倍上采样的32倍降采样特征图进行拼接，建立输出为16倍降采样的特征融合目标检测层，原有的两个目标检测层增添到三个目标检测层。
4.如权利要求1所述的基于改进的yolov3-tiny网络的交通标识检测方法，其特征在于步骤(3)中对网络进行密集连接，将增添目标检测层后的网络的部分卷积层两两都进行了连接，使得密集连接网络中每一层都接受它前面所有层的特征作为输入，同时对检测层也进行了密集连接,使每个检测层都接受它前面所有检测层的特征作为输入。
CN202010010170.3A 2020-01-06 2020-01-06 一种基于改进的yolov3-tiny网络的交通标识检测方法 Pending CN113076788A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010010170.3A CN113076788A (zh) 2020-01-06 2020-01-06 一种基于改进的yolov3-tiny网络的交通标识检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010010170.3A CN113076788A (zh) 2020-01-06 2020-01-06 一种基于改进的yolov3-tiny网络的交通标识检测方法

Publications (1)

Publication Number Publication Date
CN113076788A true CN113076788A (zh) 2021-07-06

Family

ID=76609061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010010170.3A Pending CN113076788A (zh) 2020-01-06 2020-01-06 一种基于改进的yolov3-tiny网络的交通标识检测方法

Country Status (1)

Country Link
CN (1) CN113076788A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102226851A (zh) * 2011-05-27 2011-10-26 四川大学 透射光源下提升图像对比度的光学系统与图像采集装置
CN108509978A (zh) * 2018-02-28 2018-09-07 中南大学 基于cnn的多级特征融合的多类目标检测方法及模型
CN109685152A (zh) * 2018-12-29 2019-04-26 北京化工大学 一种基于dc-spp-yolo的图像目标检测方法
CN110059674A (zh) * 2019-05-24 2019-07-26 天津科技大学 基于深度学习的标准着装检测方法
CN110210621A (zh) * 2019-06-06 2019-09-06 大连理工大学 一种基于残差网络改进的目标检测方法
CN110223349A (zh) * 2019-05-05 2019-09-10 华南农业大学 一种采摘点定位方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102226851A (zh) * 2011-05-27 2011-10-26 四川大学 透射光源下提升图像对比度的光学系统与图像采集装置
CN108509978A (zh) * 2018-02-28 2018-09-07 中南大学 基于cnn的多级特征融合的多类目标检测方法及模型
CN109685152A (zh) * 2018-12-29 2019-04-26 北京化工大学 一种基于dc-spp-yolo的图像目标检测方法
CN110223349A (zh) * 2019-05-05 2019-09-10 华南农业大学 一种采摘点定位方法
CN110059674A (zh) * 2019-05-24 2019-07-26 天津科技大学 基于深度学习的标准着装检测方法
CN110210621A (zh) * 2019-06-06 2019-09-06 大连理工大学 一种基于残差网络改进的目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨晋生，等: "基于深度可分离卷积的交通标志识别算法", 《液晶与显示》 *

Similar Documents

Publication Publication Date Title
CN109977793B (zh) 基于变尺度多特征融合卷积网络的路侧图像行人分割方法
CN110163187B (zh) 基于f-rcnn的远距离交通标志检测识别方法
WO2022083784A1 (zh) 一种基于车联网的道路检测方法
CN111695448B (zh) 一种基于视觉传感器的路侧车辆识别方法
CN110766098A (zh) 基于改进YOLOv3的交通场景小目标检测方法
CN111274980B (zh) 基于yolov3和非对称卷积的小尺寸交通标志识别方法
CN109508715A (zh) 一种基于深度学习的车牌定位和识别方法
CN111160249A (zh) 基于跨尺度特征融合的光学遥感图像多类目标检测方法
CN111008632B (zh) 一种基于深度学习的车牌字符分割方法
CN109034024B (zh) 基于图像目标检测的物流车辆车型分类识别方法
CN112633149B (zh) 一种域自适应雾天图像目标检测方法和装置
CN110599497A (zh) 一种基于深度神经网络的可行驶区域分割方法
CN113780132A (zh) 一种基于卷积神经网络的车道线检测方法
CN112232351A (zh) 一种基于深度神经网络的车牌识别系统
CN111582339A (zh) 一种基于深度学习的车辆检测与识别的方法
CN111882620A (zh) 一种基于多尺度信息道路可行驶区域分割方法
CN112084890A (zh) 基于gmm和cqfl的多尺度识别交通信号标志的方法
CN111950583B (zh) 一种基于gmm聚类的多尺度识别交通信号标志的方法
CN114782949B (zh) 一种边界引导上下文聚合的交通场景语义分割方法
CN116503336A (zh) 一种基于深度学习的路面裂缝检测方法
CN114612883A (zh) 一种基于级联ssd和单目深度估计的前向车辆距离检测方法
CN114973199A (zh) 一种基于卷积神经网络的轨道交通列车障碍物检测方法
CN111199255A (zh) 基于darknet53网络的小目标检测网络模型及检测方法
CN114639067A (zh) 一种基于注意力机制的多尺度全场景监控目标检测方法
CN112597996B (zh) 基于任务驱动的自然场景中交通标志显著性检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210706