CN113269161A - 一种基于深度学习的交通标识牌检测方法 - Google Patents

一种基于深度学习的交通标识牌检测方法 Download PDF

Info

Publication number
CN113269161A
CN113269161A CN202110803552.6A CN202110803552A CN113269161A CN 113269161 A CN113269161 A CN 113269161A CN 202110803552 A CN202110803552 A CN 202110803552A CN 113269161 A CN113269161 A CN 113269161A
Authority
CN
China
Prior art keywords
model
data
feature
picture
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110803552.6A
Other languages
English (en)
Inventor
申莲莲
吴彩萍
邓承刚
高鹏飞
叶琳
龚绍杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Jiutong Zhilu Technology Co ltd
Original Assignee
Sichuan Jiutong Zhilu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Jiutong Zhilu Technology Co ltd filed Critical Sichuan Jiutong Zhilu Technology Co ltd
Priority to CN202110803552.6A priority Critical patent/CN113269161A/zh
Publication of CN113269161A publication Critical patent/CN113269161A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于深度学习的交通标识牌检测方法，属于计算机视觉图像处理技术领域，其特征在于，包括以下步骤：a、采集多种天气和光照情况下道路上的交通标识牌的图片并进行目标检测和分类的标签标注；b、通过图像处理模块对图像进行数据预处理；c、数据预处理后，采用目标检测中的YOLOv3模型作为检测网络，依次进行模型搭建、模型训练和模型调优完成训练；d、将待检测的图片输入到训练后的模型中得到当前图片中标志牌位置以及分类标签的预测结果。本发明将YOLOv3模型作为检测网络，依次进行模型搭建、模型训练和模型调优，能够实现全天候场景的交通标志牌的精准识别，具有很好的泛化能力。

Description

一种基于深度学习的交通标识牌检测方法
技术领域
本发明涉及到计算机视觉图像处理技术领域，尤其涉及一种基于深度学习的交通标识牌检测方法。
背景技术
随着现在道路上车辆越来越多，在智慧交通领域尤其是自动驾驶领域中，当车辆在道路上行驶时都会遇到交通标识牌，交通标识牌包含有丰富的道路交通信息，为驾驶员提供警示及指示辅助信息，对减轻驾驶员的驾驶压力及降低道路的交通压力起着重要的辅助作用。 因此如果能够准确地识别出交通标识牌的话，对于交通安全具有非常重要的意义。在传统的交通标识牌识别检测任务中，主要采用的方法是基于边缘检测加上霍夫变换的方式来提取标志牌上的信息，其中图像的边缘是指图像局部区域亮度变化显著的部分，该区域的灰度剖面一般可以看作是一个阶跃，即从一个灰度值在很小的缓冲区域内急剧变化到另一个灰度相差较大的灰度值，图像的边缘部分集中了图像的大部分信息。而霍夫变换则是利用点与点的对偶性，将原始图像空间中给定的曲线通过曲线表达形式变为参数空间的一个点，这样就把原始图形给定曲线的检测问题转换为了检测参数空间的峰值问题，也就是把检测整体特性转换为检测局部特性，比如直线、椭圆、圆形或弧线。但是往往现实生活中的图像受到光照在内的多种天气影响，这会使得传统算法的整个效果比较差，在检测效果上存在延迟和预测精度较低的情况。
公开号为CN 110032935A，公开日为2019年07月19日的中国专利文献公开了一种基于深度学习级联网络的交通信号标识检测识别方法，其特征在于：本方法首先对训练数据集进行预处理，然后进行模型训练，把训练的交通标识识别模型输出，然后把测试图片输入进行测试，把识别出的目标扣出进行进一步的分类过滤，然后把过滤后的信息融合返还到原图，最后输出信息文件；把准备好的训练样本进行预处理，对训练数据中标定的目标框调整，调整标定目标的名称的错误标定以及目标框在图片边界时位置调整，因为训练时处理数据会出现错误，标定目标的名称会影响目标准确识别；输入训练数据用调整的网络进行初次训练；
(1)训练阶段：A)把对练数据进行预处理，主要是对标记好的目标框进行调整：一是调整框的标签名同一类的大小写格式完全相同；二是调整目标在图片边界处时框的位置，因为在训练时边界上的框处理时会出现loss为nan的现象；B)把处理好的数据输入进行模型训练并进行调参训练，并输出初次检测模型；C)对标定的目标进行抠出，对抠出的目标细致分类过滤的二次模型进行训练，并输出二次分类检测模型；D)编写脚本把两个模型进行两个模型的链接，使测试时测试数据能够没有中间操作，一次性的得出测试结果；
(2)测试阶段：A)输入需要检测的数据，进行初次的检测分类；B)根据初次分类的检测结果数据在图片上抠出对应的位置，连同初次分类结果信息一并输入二次分类模型；C)把抠出的图片放入二次分类模型进行细致的分类，并得到细致的分类检测结果；D)把两次的检测分类结果进行信息融合保存并将融合后的目标标签以及目标的坐标位置返还图片中，显示最终的图片并输出最终识别信息。
该专利文献公开的基于深度学习级联网络的交通信号标识检测识别方法，虽然能够对交通道路场景中的交通信号标识有很好的识别效果，可以很好的识别多尺度目标及特征极为相似的目标。但是，由于是基于级联网络来学习的，无法实现全天候场景的交通标志牌的精准识别，泛化能力较差。
发明内容
本发明为了克服上述现有技术的缺陷，提供一种基于深度学习的交通标识牌检测方法，本发明将YOLOv3模型作为检测网络，依次进行模型搭建、模型训练和模型调优，能够实现全天候场景的交通标志牌的精准识别，具有很好的泛化能力。
本发明通过下述技术方案实现：
一种基于深度学习的交通标识牌检测方法，其特征在于，包括以下步骤：
a、采用中国交通标志检测数据集作为基础数据集，采集多种天气和光照情况下道路上的交通标识牌的图片并进行目标检测和分类的标签标注，用于扩充样本数据集；
b、通过图像处理模块对图像进行数据预处理，数据预处理包括随机裁切、左右翻转、上下翻转、对比度变换、色调变换、饱和度变换和Mosaic图像增强；
c、数据预处理后，采用目标检测中的YOLOv3模型作为检测网络，依次进行模型搭建、模型训练和模型调优完成训练；
d、将待检测的图片输入到训练后的模型中得到当前图片中标志牌位置以及分类标签的预测结果。
所述步骤b中，随机裁切是指在原始大小为608×608的图片上以区域随机的方式对图片进行裁切，根据YOLOv3模型将裁切后的图片尺寸固定在416×416上。
所述步骤b中，左右翻转是指在原始图片上以图片纵向中心线为基础进行翻转，上下翻转是指在原始图片上以图片横向中心线为基础进行翻转。
所述步骤b中，对比度变换是指在原始图片的HSV颜色空间中对亮度以随机的方式进行数值调整，色调变换是指在原始图片的HSV颜色空间中对色调以随机的方式进行数值调整，饱和度变换是指在原始图片的HSV颜色空间中对饱和度以随机的方式进行数值调整。
所述步骤b中，Mosaic图像增强是指每次读取4张图片，进行翻转、缩放以及色域变化处理，并且按照上下左右的位置摆放好，然后将这4张图片拼在一起。
所述步骤c中，模型搭建是指采用YOLOv3模型中的Darknet53首先进行一次卷积核大小为3×3和步长为2的卷积，通过卷积压缩输入进来的特征层的宽和高，获得一个特征层，再对特征层进行一次1×1的卷积和一次3×3的卷积，并把这个结果加上前一层的特征层，构成残差结构，最后通过不断的叠加1×1卷积和3×3卷积以及残差边的叠加加深网络。
所述卷积时进行L2正则化，通过式1进行L2正则化；
Figure 416930DEST_PATH_IMAGE001
式1
其中，
Figure 848524DEST_PATH_IMAGE002
是正则化参数，取值范围在
Figure 561265DEST_PATH_IMAGE003
之间，根据模型的损失函数进行调整；
Figure 485359DEST_PATH_IMAGE004
是神经网络的参数个数；
Figure 791707DEST_PATH_IMAGE005
是第
Figure 154555DEST_PATH_IMAGE006
个网络参数。
所述卷积后进行BatchNormalization标准化和LeakyReLU，对于一个batch的图片数据
Figure 862748DEST_PATH_IMAGE007
进行求解，其公式如下：
Figure 957743DEST_PATH_IMAGE008
式2
Figure 876020DEST_PATH_IMAGE009
式3
Figure 652346DEST_PATH_IMAGE010
式4
Figure 339680DEST_PATH_IMAGE011
式5
通过LeakyReLU给所有负值赋予一个非零斜率，表示为式6；
Figure 871155DEST_PATH_IMAGE012
式6
其中，B是图片数据；
Figure 886516DEST_PATH_IMAGE013
是传入到模型进行训练的数据；
Figure 856746DEST_PATH_IMAGE014
是这一个batch数据的均值；
Figure 273952DEST_PATH_IMAGE015
是传入到模型进行训练的数据与其均值的方差；
Figure 976328DEST_PATH_IMAGE016
是经过运算之后得到的新数据；
Figure 603619DEST_PATH_IMAGE017
是在新的数据上经过线性变换进行微调的数据，用于传入神经网络中新一层的神经元；
Figure 987327DEST_PATH_IMAGE018
是如果；
Figure 586935DEST_PATH_IMAGE019
是误差；
Figure 256951DEST_PATH_IMAGE020
是权重；
Figure 512483DEST_PATH_IMAGE021
是常数；m是数据个数；
Figure 496620DEST_PATH_IMAGE022
是从一个均匀分布
Figure 278631DEST_PATH_IMAGE023
中随机抽取的数值，
Figure 991984DEST_PATH_IMAGE024
且l,u∈[0,1）；
构建特征金字塔进行加强特征提取，通过YoloV3提取三个特征层进行目标检测，三个特征层位于Darknet53的中间层、中下层和底层，三个特征层的shape分别为(52, 52,256)、(26, 26, 512)和(13, 13, 1024)，再进行特征金字塔层的构建，构建方式为：
13×13×1024的特征层进行5次卷积处理，处理完后利用YoloHead获得预测结果，一部分用于进行上采样UmSampling2d后与26×26×512特征层进行结合，结合特征层的shape为(26,26,768)，结合特征层再次进行5次卷积处理，处理完后再次利用YoloHead获得预测结果，一部分用于进行上采样UmSampling2d后与52×52×256特征层进行结合，结合特征层的shape为(52,52,384)，特征金字塔将不同shape的特征层进行特征融合。
所述步骤c中，模型训练是指将数据分别传输到模型当中进行训练，其中数据经过Darknet53之后得到三个特征层，其中的形状为：(N, 13, 13, 13, 255)、(N, 26, 26,255)以及(N, 52, 52, 255)，其中N是每个batch中包含的数据量，N取值为128，经Darknet53训练得到三种不同尺寸的特征图后，再将特征图通过特征金字塔分别进行多次卷积和上采样处理，将提取的特征与Darknet53提取到的特征进行融合，最终得到与Darknet53提取的特征尺寸相同的预测输出数据。
所述步骤c中，模型调优是指采用SGD优化器进行优化，通过式7进行运算；
Figure 797129DEST_PATH_IMAGE025
式7
其中，
Figure 381695DEST_PATH_IMAGE026
是神经网络中的权重参数；
Figure 893578DEST_PATH_IMAGE027
是学习率，控制着模型更新权重参数的步伐是多大，选择的范围是在[0.01，0.1]之间，间隔选择0.01；
Figure 108659DEST_PATH_IMAGE028
是对损失函数进行求导得到的导数，
Figure 932259DEST_PATH_IMAGE029
是数据，
Figure 461460DEST_PATH_IMAGE030
是数据对应的标签，
Figure 890167DEST_PATH_IMAGE006
是第
Figure 72887DEST_PATH_IMAGE006
个数据，
Figure 790307DEST_PATH_IMAGE031
是每个batch包含的数据量；
所述SGD优化器进行优化时，采用学习率衰减进行调整，通过式8进行；
Figure 716675DEST_PATH_IMAGE032
式8
其中，learning_rate是当前学习率，learning_rate_base是基础学习率，decay_rate是衰减系数，global_epoch是整个模型要训练的次数。
所述步骤d，具体是指通过图像检测模块对数据预处理后的图像采用目标检测网络检测出交通标识牌图像，并将交通标识牌图像提取出来，再通过图像分类模块对检测出的交通标识牌图像进行类别分辨。
本发明所述shape是指图片形状。
本发明所述UmSampling2d是指一种上采样方式。
本发明所述YoloHead是指yolo的头部结构。
本发明所述batch是指数据分成的批次。
本发明所述BatchNormalization是指批标准化。
本发明所述LeakyReLU是指激活函数。
本发明所述YOLOv3模型是指一种网络结构。
本发明所述Darknet53是指YOLOv3所使用的主干特征提取网络。
本发明所述Mosaic是指一种图像增强方式。
本发明所述HSV颜色空间是指一种代表颜色的模型。
本发明所述SGD优化器是指随机梯度下降优化器。
本发明所述中国交通标志检测数据集是由长沙理工大学综合交通运输大数据智能处理湖南省重点实验室张建明老师团队制作完成。该数据集目前的上传图像有15734张，其中数据集除了包含有目标检测的标签，也即标注框的长宽和中心坐标点之外，还包含有三类分别标签，分别是：指示标志、禁止标志和警告标志。
本发明的有益效果主要表现在以下方面：
1、本发明，a、采用中国交通标志检测数据集作为基础数据集，采集多种天气和光照情况下道路上的交通标识牌的图片并进行目标检测和分类的标签标注，用于扩充样本数据集；b、通过图像处理模块对图像进行数据预处理，数据预处理包括随机裁切、左右翻转、上下翻转、对比度变换、色调变换、饱和度变换和Mosaic图像增强；c、数据预处理后，采用目标检测中的YOLOv3模型作为检测网络，依次进行模型搭建、模型训练和模型调优完成训练；d、将待检测的图片输入到训练后的模型中得到当前图片中标志牌位置以及分类标签的预测结果；作为一个完整的技术方案，较现有技术而言，YOLOv3模型可移植性强，YOLOv3模型在检测到相应的目标之后会对该目标进行分类，通过YOLOv3模型能够将检测与分类的任务集于一体，因而只需要训练一个网络即可完成两个任务，将YOLOv3模型作为检测网络，依次进行模型搭建、模型训练和模型调优，能够实现全天候场景的交通标志牌的精准识别，具有很好的泛化能力。
2、本发明，步骤b中，Mosaic图像增强是指每次读取4张图片，进行翻转、缩放以及色域变化处理，并且按照上下左右的位置摆放好，然后将这4张图片拼在一起，随机使用4张图片，随机缩放，再随机分布进行拼接，大大丰富了检测数据集，特别是随机缩放增加了很多小目标，而小目标的检测在目标检测类项目中一直都是一个难点，因此增加小目标的数目来进行网络训练，能够让网络的泛化能力更好；由于是直接计算4张图片的数据，使得每个batch的大小并不需要很大，一个GPU就可以达到比较好的效果，能够有效减少GPU数量，降低成本。
3、本发明，步骤c中，模型搭建是指采用YOLOv3模型中的Darknet53首先进行一次卷积核大小为3×3和步长为2的卷积，通过卷积压缩输入进来的特征层的宽和高，获得一个特征层，再对特征层进行一次1×1的卷积和一次3×3的卷积，并把这个结果加上前一层的特征层，构成残差结构，最后通过不断的叠加1×1卷积和3×3卷积以及残差边的叠加加深网络，残差网络的特点是容易优化，并且能够通过增加相当的深度来提高准确率，其内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题。
4、本发明，卷积时进行L2正则化，通过增加L2正则化能够有效的防止由于模型过于复杂以及模型参数过多情况下导致的泛化能力较弱的问题，利于提高泛化能力。
5、本发明，步骤c中，模型训练是指将数据分别传输到模型当中进行训练，其中数据经过Darknet53之后得到三个特征层，其中的形状为：(N, 13, 13, 13, 255)、(N, 26,26, 255)以及(N, 52, 52, 255)，其中N是每个batch中包含的数据量，N取值为128，特定的将N取值为128，在GPU上进行训练时，能够有效提高效率。
6、本发明，基于深度学习中的目标检测方式，能应对各种不同的道路上交通标志牌的检测和分类，大大覆盖了各种天气和光照情况下交通标志牌需要准确识别的场景，普适性强。
7、本发明，基于深度学习中的目标检测方式，能够有较高的检测分类精度，并且在模型训练完毕之后不需要再进行训练，可直接用于预测使用，保证了在使用阶段的计算量很小，预测精度和效率更高。
8、本发明，基于深度学习，在处理交通标识牌准确识别的问题上有很好的泛化能力，针对各种不同的道路场景都能够很好的进行结果预测，与现有技术相比，受到拍摄图片的影响更小。
附图说明
下面将结合说明书附图和具体实施方式对本发明作进一步的具体说明：
图1为本发明的逻辑框图。
具体实施方式
实施例1
参见图1，一种基于深度学习的交通标识牌检测方法，包括以下步骤：
a、采用中国交通标志检测数据集作为基础数据集，采集多种天气和光照情况下道路上的交通标识牌的图片并进行目标检测和分类的标签标注，用于扩充样本数据集；
b、通过图像处理模块对图像进行数据预处理，数据预处理包括随机裁切、左右翻转、上下翻转、对比度变换、色调变换、饱和度变换和Mosaic图像增强；
c、数据预处理后，采用目标检测中的YOLOv3模型作为检测网络，依次进行模型搭建、模型训练和模型调优完成训练；
d、将待检测的图片输入到训练后的模型中得到当前图片中标志牌位置以及分类标签的预测结果。
本实施例为最基本的实施方式，作为一个完整的技术方案，较现有技术而言，YOLOv3模型可移植性强，YOLOv3模型在检测到相应的目标之后会对该目标进行分类，通过YOLOv3模型能够将检测与分类的任务集于一体，因而只需要训练一个网络即可完成两个任务，将YOLOv3模型作为检测网络，依次进行模型搭建、模型训练和模型调优，能够实现全天候场景的交通标志牌的精准识别，具有很好的泛化能力。
实施例2
参见图1，一种基于深度学习的交通标识牌检测方法，包括以下步骤：
a、采用中国交通标志检测数据集作为基础数据集，采集多种天气和光照情况下道路上的交通标识牌的图片并进行目标检测和分类的标签标注，用于扩充样本数据集；
b、通过图像处理模块对图像进行数据预处理，数据预处理包括随机裁切、左右翻转、上下翻转、对比度变换、色调变换、饱和度变换和Mosaic图像增强；
c、数据预处理后，采用目标检测中的YOLOv3模型作为检测网络，依次进行模型搭建、模型训练和模型调优完成训练；
d、将待检测的图片输入到训练后的模型中得到当前图片中标志牌位置以及分类标签的预测结果。
所述步骤b中，随机裁切是指在原始大小为608×608的图片上以区域随机的方式对图片进行裁切，根据YOLOv3模型将裁切后的图片尺寸固定在416×416上。
所述步骤b中，左右翻转是指在原始图片上以图片纵向中心线为基础进行翻转，上下翻转是指在原始图片上以图片横向中心线为基础进行翻转。
所述步骤b中，对比度变换是指在原始图片的HSV颜色空间中对亮度以随机的方式进行数值调整，色调变换是指在原始图片的HSV颜色空间中对色调以随机的方式进行数值调整，饱和度变换是指在原始图片的HSV颜色空间中对饱和度以随机的方式进行数值调整。
所述步骤b中，Mosaic图像增强是指每次读取4张图片，进行翻转、缩放以及色域变化处理，并且按照上下左右的位置摆放好，然后将这4张图片拼在一起。
本实施例为一较佳实施方式，步骤b中，Mosaic图像增强是指每次读取4张图片，进行翻转、缩放以及色域变化处理，并且按照上下左右的位置摆放好，然后将这4张图片拼在一起，随机使用4张图片，随机缩放，再随机分布进行拼接，大大丰富了检测数据集，特别是随机缩放增加了很多小目标，而小目标的检测在目标检测类项目中一直都是一个难点，因此增加小目标的数目来进行网络训练，能够让网络的泛化能力更好；由于是直接计算4张图片的数据，使得每个batch的大小并不需要很大，一个GPU就可以达到比较好的效果，能够有效减少GPU数量，降低成本。
实施例3
参见图1，一种基于深度学习的交通标识牌检测方法，包括以下步骤：
a、采用中国交通标志检测数据集作为基础数据集，采集多种天气和光照情况下道路上的交通标识牌的图片并进行目标检测和分类的标签标注，用于扩充样本数据集；
b、通过图像处理模块对图像进行数据预处理，数据预处理包括随机裁切、左右翻转、上下翻转、对比度变换、色调变换、饱和度变换和Mosaic图像增强；
c、数据预处理后，采用目标检测中的YOLOv3模型作为检测网络，依次进行模型搭建、模型训练和模型调优完成训练；
d、将待检测的图片输入到训练后的模型中得到当前图片中标志牌位置以及分类标签的预测结果。
所述步骤b中，随机裁切是指在原始大小为608×608的图片上以区域随机的方式对图片进行裁切，根据YOLOv3模型将裁切后的图片尺寸固定在416×416上。
所述步骤b中，左右翻转是指在原始图片上以图片纵向中心线为基础进行翻转，上下翻转是指在原始图片上以图片横向中心线为基础进行翻转。
所述步骤b中，对比度变换是指在原始图片的HSV颜色空间中对亮度以随机的方式进行数值调整，色调变换是指在原始图片的HSV颜色空间中对色调以随机的方式进行数值调整，饱和度变换是指在原始图片的HSV颜色空间中对饱和度以随机的方式进行数值调整。
所述步骤b中，Mosaic图像增强是指每次读取4张图片，进行翻转、缩放以及色域变化处理，并且按照上下左右的位置摆放好，然后将这4张图片拼在一起。
所述步骤c中，模型搭建是指采用YOLOv3模型中的Darknet53首先进行一次卷积核大小为3×3和步长为2的卷积，通过卷积压缩输入进来的特征层的宽和高，获得一个特征层，再对特征层进行一次1×1的卷积和一次3×3的卷积，并把这个结果加上前一层的特征层，构成残差结构，最后通过不断的叠加1×1卷积和3×3卷积以及残差边的叠加加深网络。
所述卷积时进行L2正则化，通过式1进行L2正则化；
Figure 999889DEST_PATH_IMAGE033
式1
其中，
Figure 760034DEST_PATH_IMAGE002
是正则化参数，取值范围在
Figure 761488DEST_PATH_IMAGE003
之间，根据模型的损失函数进行调整；
Figure 491547DEST_PATH_IMAGE004
是神经网络的参数个数；
Figure 566951DEST_PATH_IMAGE005
是第
Figure 357052DEST_PATH_IMAGE006
个网络参数。
本实施例为又一较佳实施方式，步骤c中，模型搭建是指采用YOLOv3模型中的Darknet53首先进行一次卷积核大小为3×3和步长为2的卷积，通过卷积压缩输入进来的特征层的宽和高，获得一个特征层，再对特征层进行一次1×1的卷积和一次3×3的卷积，并把这个结果加上前一层的特征层，构成残差结构，最后通过不断的叠加1×1卷积和3×3卷积以及残差边的叠加加深网络，残差网络的特点是容易优化，并且能够通过增加相当的深度来提高准确率，其内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题。
卷积时进行L2正则化，通过增加L2正则化能够有效的防止由于模型过于复杂以及模型参数过多情况下导致的泛化能力较弱的问题，利于提高泛化能力。
实施例4
参见图1，一种基于深度学习的交通标识牌检测方法，包括以下步骤：
a、采用中国交通标志检测数据集作为基础数据集，采集多种天气和光照情况下道路上的交通标识牌的图片并进行目标检测和分类的标签标注，用于扩充样本数据集；
b、通过图像处理模块对图像进行数据预处理，数据预处理包括随机裁切、左右翻转、上下翻转、对比度变换、色调变换、饱和度变换和Mosaic图像增强；
c、数据预处理后，采用目标检测中的YOLOv3模型作为检测网络，依次进行模型搭建、模型训练和模型调优完成训练；
d、将待检测的图片输入到训练后的模型中得到当前图片中标志牌位置以及分类标签的预测结果。
所述步骤b中，随机裁切是指在原始大小为608×608的图片上以区域随机的方式对图片进行裁切，根据YOLOv3模型将裁切后的图片尺寸固定在416×416上。
所述步骤b中，左右翻转是指在原始图片上以图片纵向中心线为基础进行翻转，上下翻转是指在原始图片上以图片横向中心线为基础进行翻转。
所述步骤b中，对比度变换是指在原始图片的HSV颜色空间中对亮度以随机的方式进行数值调整，色调变换是指在原始图片的HSV颜色空间中对色调以随机的方式进行数值调整，饱和度变换是指在原始图片的HSV颜色空间中对饱和度以随机的方式进行数值调整。
所述步骤b中，Mosaic图像增强是指每次读取4张图片，进行翻转、缩放以及色域变化处理，并且按照上下左右的位置摆放好，然后将这4张图片拼在一起。
所述步骤c中，模型搭建是指采用YOLOv3模型中的Darknet53首先进行一次卷积核大小为3×3和步长为2的卷积，通过卷积压缩输入进来的特征层的宽和高，获得一个特征层，再对特征层进行一次1×1的卷积和一次3×3的卷积，并把这个结果加上前一层的特征层，构成残差结构，最后通过不断的叠加1×1卷积和3×3卷积以及残差边的叠加加深网络。
所述卷积时进行L2正则化，通过式1进行L2正则化；
Figure 845802DEST_PATH_IMAGE033
式1
其中，
Figure 254918DEST_PATH_IMAGE002
是正则化参数，取值范围在
Figure 309462DEST_PATH_IMAGE003
之间，根据模型的损失函数进行调整；
Figure 473727DEST_PATH_IMAGE004
是神经网络的参数个数；
Figure 121877DEST_PATH_IMAGE005
是第
Figure 397000DEST_PATH_IMAGE006
个网络参数。
所述卷积后进行BatchNormalization标准化和LeakyReLU，对于一个batch的图片数据
Figure 571630DEST_PATH_IMAGE034
进行求解，其公式如下：
Figure 575970DEST_PATH_IMAGE008
式2
Figure 836050DEST_PATH_IMAGE035
式3
Figure 649286DEST_PATH_IMAGE010
式4
Figure 429154DEST_PATH_IMAGE036
式5
通过LeakyReLU给所有负值赋予一个非零斜率，表示为式6；
Figure 872905DEST_PATH_IMAGE012
式6
其中，B是图片数据；
Figure 292385DEST_PATH_IMAGE013
是传入到模型进行训练的数据；
Figure 706048DEST_PATH_IMAGE014
是这一个batch数据的均值；
Figure 465057DEST_PATH_IMAGE015
是传入到模型进行训练的数据与其均值的方差；
Figure 938764DEST_PATH_IMAGE016
是经过运算之后得到的新数据；
Figure 111119DEST_PATH_IMAGE017
是在新的数据上经过线性变换进行微调的数据，用于传入神经网络中新一层的神经元；
Figure 203840DEST_PATH_IMAGE018
是如果；
Figure 207568DEST_PATH_IMAGE019
是误差；
Figure 789859DEST_PATH_IMAGE020
是权重；
Figure 118685DEST_PATH_IMAGE021
是常数；m是数据个数；
Figure 139730DEST_PATH_IMAGE022
是从一个均匀分布
Figure 873331DEST_PATH_IMAGE023
中随机抽取的数值，
Figure 892103DEST_PATH_IMAGE024
且l,u∈[0,1）；
构建特征金字塔进行加强特征提取，通过YoloV3提取三个特征层进行目标检测，三个特征层位于Darknet53的中间层、中下层和底层，三个特征层的shape分别为(52, 52,256)、(26, 26, 512)和(13, 13, 1024)，再进行特征金字塔层的构建，构建方式为：
13×13×1024的特征层进行5次卷积处理，处理完后利用YoloHead获得预测结果，一部分用于进行上采样UmSampling2d后与26×26×512特征层进行结合，结合特征层的shape为(26,26,768)，结合特征层再次进行5次卷积处理，处理完后再次利用YoloHead获得预测结果，一部分用于进行上采样UmSampling2d后与52×52×256特征层进行结合，结合特征层的shape为(52,52,384)，特征金字塔将不同shape的特征层进行特征融合。
所述步骤c中，模型训练是指将数据分别传输到模型当中进行训练，其中数据经过Darknet53之后得到三个特征层，其中的形状为：(N, 13, 13, 13, 255)、(N, 26, 26,255)以及(N, 52, 52, 255)，其中N是每个batch中包含的数据量，N取值为128，经Darknet53训练得到三种不同尺寸的特征图后，再将特征图通过特征金字塔分别进行多次卷积和上采样处理，将提取的特征与Darknet53提取到的特征进行融合，最终得到与Darknet53提取的特征尺寸相同的预测输出数据。
本实施例为又一较佳实施方式，步骤c中，模型训练是指将数据分别传输到模型当中进行训练，其中数据经过Darknet53之后得到三个特征层，其中的形状为：(N, 13, 13,13, 255)、(N, 26, 26, 255)以及(N, 52, 52, 255)，其中N是每个batch中包含的数据量，N取值为128，特定的将N取值为128，在GPU上进行训练时，能够有效提高效率。
实施例5
参见图1，一种基于深度学习的交通标识牌检测方法，包括以下步骤：
a、采用中国交通标志检测数据集作为基础数据集，采集多种天气和光照情况下道路上的交通标识牌的图片并进行目标检测和分类的标签标注，用于扩充样本数据集；
b、通过图像处理模块对图像进行数据预处理，数据预处理包括随机裁切、左右翻转、上下翻转、对比度变换、色调变换、饱和度变换和Mosaic图像增强；
c、数据预处理后，采用目标检测中的YOLOv3模型作为检测网络，依次进行模型搭建、模型训练和模型调优完成训练；
d、将待检测的图片输入到训练后的模型中得到当前图片中标志牌位置以及分类标签的预测结果。
所述步骤b中，随机裁切是指在原始大小为608×608的图片上以区域随机的方式对图片进行裁切，根据YOLOv3模型将裁切后的图片尺寸固定在416×416上。
所述步骤b中，左右翻转是指在原始图片上以图片纵向中心线为基础进行翻转，上下翻转是指在原始图片上以图片横向中心线为基础进行翻转。
所述步骤b中，对比度变换是指在原始图片的HSV颜色空间中对亮度以随机的方式进行数值调整，色调变换是指在原始图片的HSV颜色空间中对色调以随机的方式进行数值调整，饱和度变换是指在原始图片的HSV颜色空间中对饱和度以随机的方式进行数值调整。
所述步骤b中，Mosaic图像增强是指每次读取4张图片，进行翻转、缩放以及色域变化处理，并且按照上下左右的位置摆放好，然后将这4张图片拼在一起。
所述步骤c中，模型搭建是指采用YOLOv3模型中的Darknet53首先进行一次卷积核大小为3×3和步长为2的卷积，通过卷积压缩输入进来的特征层的宽和高，获得一个特征层，再对特征层进行一次1×1的卷积和一次3×3的卷积，并把这个结果加上前一层的特征层，构成残差结构，最后通过不断的叠加1×1卷积和3×3卷积以及残差边的叠加加深网络。
所述卷积时进行L2正则化，通过式1进行L2正则化；
Figure 101367DEST_PATH_IMAGE033
式1
其中，
Figure 270312DEST_PATH_IMAGE002
是正则化参数，取值范围在
Figure 186315DEST_PATH_IMAGE003
之间，根据模型的损失函数进行调整；
Figure 172726DEST_PATH_IMAGE004
是神经网络的参数个数；
Figure 744652DEST_PATH_IMAGE005
是第
Figure 841921DEST_PATH_IMAGE006
个网络参数。
所述卷积后进行BatchNormalization标准化和LeakyReLU，对于一个batch的图片数据
Figure 612431DEST_PATH_IMAGE007
进行求解，其公式如下：
Figure 910689DEST_PATH_IMAGE008
式2
Figure 828966DEST_PATH_IMAGE009
式3
Figure 667609DEST_PATH_IMAGE010
式4
Figure 495888DEST_PATH_IMAGE037
式5
通过LeakyReLU给所有负值赋予一个非零斜率，表示为式6；
Figure 824101DEST_PATH_IMAGE012
式6
其中，B是图片数据；
Figure 167358DEST_PATH_IMAGE013
是传入到模型进行训练的数据；
Figure 747375DEST_PATH_IMAGE014
是这一个batch数据的均值；
Figure 554794DEST_PATH_IMAGE015
是传入到模型进行训练的数据与其均值的方差；
Figure 257170DEST_PATH_IMAGE016
是经过运算之后得到的新数据；
Figure 759827DEST_PATH_IMAGE017
是在新的数据上经过线性变换进行微调的数据，用于传入神经网络中新一层的神经元；
Figure 2589DEST_PATH_IMAGE018
是如果；
Figure 867777DEST_PATH_IMAGE019
是误差；
Figure 410230DEST_PATH_IMAGE020
是权重；
Figure 790395DEST_PATH_IMAGE021
是常数；m是数据个数；
Figure 446636DEST_PATH_IMAGE022
是从一个均匀分布
Figure 166330DEST_PATH_IMAGE023
中随机抽取的数值，
Figure 272826DEST_PATH_IMAGE024
且l,u∈[0,1）；
构建特征金字塔进行加强特征提取，通过YoloV3提取三个特征层进行目标检测，三个特征层位于Darknet53的中间层、中下层和底层，三个特征层的shape分别为(52, 52,256)、(26, 26, 512)和(13, 13, 1024)，再进行特征金字塔层的构建，构建方式为：
13×13×1024的特征层进行5次卷积处理，处理完后利用YoloHead获得预测结果，一部分用于进行上采样UmSampling2d后与26×26×512特征层进行结合，结合特征层的shape为(26,26,768)，结合特征层再次进行5次卷积处理，处理完后再次利用YoloHead获得预测结果，一部分用于进行上采样UmSampling2d后与52×52×256特征层进行结合，结合特征层的shape为(52,52,384)，特征金字塔将不同shape的特征层进行特征融合。
所述步骤c中，模型训练是指将数据分别传输到模型当中进行训练，其中数据经过Darknet53之后得到三个特征层，其中的形状为：(N, 13, 13, 13, 255)、(N, 26, 26,255)以及(N, 52, 52, 255)，其中N是每个batch中包含的数据量，N取值为128，经Darknet53训练得到三种不同尺寸的特征图后，再将特征图通过特征金字塔分别进行多次卷积和上采样处理，将提取的特征与Darknet53提取到的特征进行融合，最终得到与Darknet53提取的特征尺寸相同的预测输出数据。
所述步骤c中，模型调优是指采用SGD优化器进行优化，通过式7进行运算；
Figure 750075DEST_PATH_IMAGE038
式7
其中，
Figure 537903DEST_PATH_IMAGE026
是神经网络中的权重参数；
Figure 908841DEST_PATH_IMAGE027
是学习率，控制着模型更新权重参数的步伐是多大，选择的范围是在[0.01，0.1]之间，间隔选择0.01；
Figure 61605DEST_PATH_IMAGE028
是对损失函数进行求导得到的导数，
Figure 88467DEST_PATH_IMAGE029
是数据，
Figure 476723DEST_PATH_IMAGE030
是数据对应的标签，
Figure 843113DEST_PATH_IMAGE006
是第
Figure 229095DEST_PATH_IMAGE006
个数据，
Figure 71149DEST_PATH_IMAGE031
是每个batch包含的数据量；
所述SGD优化器进行优化时，采用学习率衰减进行调整，通过式8进行；
Figure 872883DEST_PATH_IMAGE032
式8
其中，learning_rate是当前学习率，learning_rate_base是基础学习率，decay_rate是衰减系数，global_epoch是整个模型要训练的次数。
所述步骤d，具体是指通过图像检测模块对数据预处理后的图像采用目标检测网络检测出交通标识牌图像，并将交通标识牌图像提取出来，再通过图像分类模块对检测出的交通标识牌图像进行类别分辨。
本实施例为最佳实施方式，基于深度学习中的目标检测方式，能应对各种不同的道路上交通标志牌的检测和分类，大大覆盖了各种天气和光照情况下交通标志牌需要准确识别的场景，普适性强。
基于深度学习中的目标检测方式，能够有较高的检测分类精度，并且在模型训练完毕之后不需要再进行训练，可直接用于预测使用，保证了在使用阶段的计算量很小，预测精度和效率更高。
基于深度学习，在处理交通标识牌准确识别的问题上有很好的泛化能力，针对各种不同的道路场景都能够很好的进行结果预测，与现有技术相比，受到拍摄图片的影响更小。

Claims (10)

1.一种基于深度学习的交通标识牌检测方法，其特征在于，包括以下步骤：
a、采用中国交通标志检测数据集作为基础数据集，采集多种天气和光照情况下道路上的交通标识牌的图片并进行目标检测和分类的标签标注，用于扩充样本数据集；
b、通过图像处理模块对图像进行数据预处理，数据预处理包括随机裁切、左右翻转、上下翻转、对比度变换、色调变换、饱和度变换和Mosaic图像增强；
c、数据预处理后，采用目标检测中的YOLOv3模型作为检测网络，依次进行模型搭建、模型训练和模型调优完成训练；
d、将待检测的图片输入到训练后的模型中得到当前图片中标志牌位置以及分类标签的预测结果。
2.根据权利要求1所述的一种基于深度学习的交通标识牌检测方法，其特征在于：所述步骤b中，随机裁切是指在原始大小为608×608的图片上以区域随机的方式对图片进行裁切，根据YOLOv3模型将裁切后的图片尺寸固定在416×416上。
3.根据权利要求1所述的一种基于深度学习的交通标识牌检测方法，其特征在于：所述步骤b中，左右翻转是指在原始图片上以图片纵向中心线为基础进行翻转，上下翻转是指在原始图片上以图片横向中心线为基础进行翻转。
4.根据权利要求1所述的一种基于深度学习的交通标识牌检测方法，其特征在于：所述步骤b中，对比度变换是指在原始图片的HSV颜色空间中对亮度以随机的方式进行数值调整，色调变换是指在原始图片的HSV颜色空间中对色调以随机的方式进行数值调整，饱和度变换是指在原始图片的HSV颜色空间中对饱和度以随机的方式进行数值调整。
5.根据权利要求1所述的一种基于深度学习的交通标识牌检测方法，其特征在于：所述步骤b中，Mosaic图像增强是指每次读取4张图片，进行翻转、缩放以及色域变化处理，并且按照上下左右的位置摆放好，然后将这4张图片拼在一起。
6.根据权利要求1所述的一种基于深度学习的交通标识牌检测方法，其特征在于：所述步骤c中，模型搭建是指采用YOLOv3模型中的Darknet53首先进行一次卷积核大小为3×3和步长为2的卷积，通过卷积压缩输入进来的特征层的宽和高，获得一个特征层，再对特征层进行一次1×1的卷积和一次3×3的卷积，并把这个结果加上前一层的特征层，构成残差结构，最后通过不断的叠加1×1卷积和3×3卷积以及残差边的叠加加深网络。
7.根据权利要求6所述的一种基于深度学习的交通标识牌检测方法，其特征在于：所述卷积时进行L2正则化，通过式1进行L2正则化；
Figure 631787DEST_PATH_IMAGE001
式1
其中，
Figure 96397DEST_PATH_IMAGE002
是正则化参数，取值范围在
Figure 407293DEST_PATH_IMAGE003
之间，根据模型的损失函数进行调整；
Figure 536923DEST_PATH_IMAGE004
是神经网络的参数个数；
Figure 148033DEST_PATH_IMAGE005
是第
Figure 501654DEST_PATH_IMAGE006
个网络参数。
8.根据权利要求6所述的一种基于深度学习的交通标识牌检测方法，其特征在于：所述卷积后进行BatchNormalization标准化和LeakyReLU，对于一个batch的图片数据
Figure 503108DEST_PATH_IMAGE007
进行求解，其公式如下：
Figure 249478DEST_PATH_IMAGE008
式2
Figure 652777DEST_PATH_IMAGE009
式3
Figure 177300DEST_PATH_IMAGE010
式4
Figure 728367DEST_PATH_IMAGE011
式5
通过LeakyReLU给所有负值赋予一个非零斜率，表示为式6；
Figure 199799DEST_PATH_IMAGE012
式6
其中，B是图片数据；
Figure 519922DEST_PATH_IMAGE013
是传入到模型进行训练的数据；
Figure 252165DEST_PATH_IMAGE014
是这一个batch数据的均值；
Figure 228211DEST_PATH_IMAGE015
是传入到模型进行训练的数据与其均值的方差；
Figure 34493DEST_PATH_IMAGE016
是经过运算之后得到的新数据；
Figure 474702DEST_PATH_IMAGE017
是在新的数据上经过线性变换进行微调的数据，用于传入神经网络中新一层的神经元；
Figure 544289DEST_PATH_IMAGE018
是如果；
Figure 804369DEST_PATH_IMAGE019
是误差；
Figure 430654DEST_PATH_IMAGE020
是权重；
Figure 663052DEST_PATH_IMAGE021
是常数；m是数据个数；
Figure 965857DEST_PATH_IMAGE022
是从一个均匀分布
Figure 713234DEST_PATH_IMAGE023
中随机抽取的数值，
Figure 330160DEST_PATH_IMAGE024
且l,u∈[0,1）；
构建特征金字塔进行加强特征提取，通过YoloV3提取三个特征层进行目标检测，三个特征层位于Darknet53的中间层、中下层和底层，三个特征层的shape分别为(52, 52,256)、(26, 26, 512)和(13, 13, 1024)，再进行特征金字塔层的构建，构建方式为：
13×13×1024的特征层进行5次卷积处理，处理完后利用YoloHead获得预测结果，一部分用于进行上采样UmSampling2d后与26×26×512特征层进行结合，结合特征层的shape为(26,26,768)，结合特征层再次进行5次卷积处理，处理完后再次利用YoloHead获得预测结果，一部分用于进行上采样UmSampling2d后与52×52×256特征层进行结合，结合特征层的shape为(52,52,384)，特征金字塔将不同shape的特征层进行特征融合。
9.根据权利要求1所述的一种基于深度学习的交通标识牌检测方法，其特征在于：所述步骤c中，模型训练是指将数据分别传输到模型当中进行训练，其中数据经过Darknet53之后得到三个特征层，其中的形状为：(N, 13, 13, 13, 255)、(N, 26, 26, 255)以及(N,52, 52, 255)，其中N是每个batch中包含的数据量，N取值为128，经Darknet53训练得到三种不同尺寸的特征图后，再将特征图通过特征金字塔分别进行多次卷积和上采样处理，将提取的特征与Darknet53提取到的特征进行融合，最终得到与Darknet53提取的特征尺寸相同的预测输出数据。
10.根据权利要求1所述的一种基于深度学习的交通标识牌检测方法，其特征在于：所述步骤c中，模型调优是指采用SGD优化器进行优化，通过式7进行运算；
Figure 213802DEST_PATH_IMAGE025
式7
其中，
Figure 703820DEST_PATH_IMAGE026
是神经网络中的权重参数；
Figure 876176DEST_PATH_IMAGE027
是学习率，控制着模型更新权重参数的步伐是多大，选择的范围是在[0.01，0.1]之间，间隔选择0.01；
Figure 827951DEST_PATH_IMAGE028
是对损失函数进行求导得到的导数，
Figure 97259DEST_PATH_IMAGE029
是数据，
Figure 945129DEST_PATH_IMAGE030
是数据对应的标签，
Figure 401518DEST_PATH_IMAGE006
是第
Figure 173296DEST_PATH_IMAGE006
个数据，
Figure 969214DEST_PATH_IMAGE031
是每个batch包含的数据量；
所述SGD优化器进行优化时，采用学习率衰减进行调整，通过式8进行；
Figure 581461DEST_PATH_IMAGE032
式8
其中，learning_rate是当前学习率，learning_rate_base是基础学习率，decay_rate是衰减系数，global_epoch是整个模型要训练的次数。
CN202110803552.6A 2021-07-16 2021-07-16 一种基于深度学习的交通标识牌检测方法 Pending CN113269161A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110803552.6A CN113269161A (zh) 2021-07-16 2021-07-16 一种基于深度学习的交通标识牌检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110803552.6A CN113269161A (zh) 2021-07-16 2021-07-16 一种基于深度学习的交通标识牌检测方法

Publications (1)

Publication Number Publication Date
CN113269161A true CN113269161A (zh) 2021-08-17

Family

ID=77236558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110803552.6A Pending CN113269161A (zh) 2021-07-16 2021-07-16 一种基于深度学习的交通标识牌检测方法

Country Status (1)

Country Link
CN (1) CN113269161A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113723377A (zh) * 2021-11-02 2021-11-30 南京信息工程大学 一种基于ld-ssd网络的交通标志检测方法
CN113724223A (zh) * 2021-08-27 2021-11-30 江南大学 基于光学显微镜的YOLOv3数据集制作方法及系统
CN114399720A (zh) * 2021-12-27 2022-04-26 华南智能机器人创新研究院 一种生产线上物品完整性检测方法及装置
CN114973207A (zh) * 2022-08-01 2022-08-30 成都航空职业技术学院 一种基于目标检测的路标识别方法
CN116824511A (zh) * 2023-08-03 2023-09-29 行为科技(北京)有限公司 一种基于深度学习和颜色空间的工装识别方法和装置
TWI832642B (zh) * 2022-12-28 2024-02-11 國立中央大學 應用於穩定性招牌之偵測與辨識之影像處理方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190205668A1 (en) * 2017-11-22 2019-07-04 Kabushiki Kaisha Toshiba Object detecting apparatus, object detecting method, and computer program product
CN110210362A (zh) * 2019-05-27 2019-09-06 中国科学技术大学 一种基于卷积神经网络的交通标志检测方法
CN110929593A (zh) * 2019-11-06 2020-03-27 哈尔滨工业大学（威海） 一种基于细节辨别区别的实时显著性行人检测方法
CN111191608A (zh) * 2019-12-30 2020-05-22 浙江工业大学 基于YOLOv3改进的交通标志检测与识别方法
CN111428550A (zh) * 2019-11-29 2020-07-17 长沙理工大学 一种基于改进YOLOv3的车辆检测方法
CN111489325A (zh) * 2019-12-16 2020-08-04 杭州电子科技大学 一种甲亢疾病即时鉴定装置及其控制方法
US20200265591A1 (en) * 2019-04-23 2020-08-20 Jiangnan University Visual Multi-Object Tracking based on Multi-Bernoulli Filter with YOLOv3 Detection
CN112364721A (zh) * 2020-10-23 2021-02-12 西安科锐盛创新科技有限公司 一种道面异物检测方法
CN112560918A (zh) * 2020-12-07 2021-03-26 杭州电子科技大学 一种基于改进YOLO v3的菜品识别方法
CN112686172A (zh) * 2020-12-31 2021-04-20 上海微波技术研究所（中国电子科技集团公司第五十研究所） 机场跑道异物检测方法、装置及存储介质
CN112699900A (zh) * 2021-01-05 2021-04-23 东北林业大学 一种改进YOLOv4的交通标志识别方法
US20210166129A1 (en) * 2019-12-02 2021-06-03 International Business Machines Corporation Multi-scale object detection with a trained neural network
CN113096126A (zh) * 2021-06-03 2021-07-09 四川九通智路科技有限公司 基于图像识别深度学习的道路病害检测系统及方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190205668A1 (en) * 2017-11-22 2019-07-04 Kabushiki Kaisha Toshiba Object detecting apparatus, object detecting method, and computer program product
US20200265591A1 (en) * 2019-04-23 2020-08-20 Jiangnan University Visual Multi-Object Tracking based on Multi-Bernoulli Filter with YOLOv3 Detection
CN110210362A (zh) * 2019-05-27 2019-09-06 中国科学技术大学 一种基于卷积神经网络的交通标志检测方法
CN110929593A (zh) * 2019-11-06 2020-03-27 哈尔滨工业大学（威海） 一种基于细节辨别区别的实时显著性行人检测方法
CN111428550A (zh) * 2019-11-29 2020-07-17 长沙理工大学 一种基于改进YOLOv3的车辆检测方法
US20210166129A1 (en) * 2019-12-02 2021-06-03 International Business Machines Corporation Multi-scale object detection with a trained neural network
CN111489325A (zh) * 2019-12-16 2020-08-04 杭州电子科技大学 一种甲亢疾病即时鉴定装置及其控制方法
CN111191608A (zh) * 2019-12-30 2020-05-22 浙江工业大学 基于YOLOv3改进的交通标志检测与识别方法
CN112364721A (zh) * 2020-10-23 2021-02-12 西安科锐盛创新科技有限公司 一种道面异物检测方法
CN112560918A (zh) * 2020-12-07 2021-03-26 杭州电子科技大学 一种基于改进YOLO v3的菜品识别方法
CN112686172A (zh) * 2020-12-31 2021-04-20 上海微波技术研究所（中国电子科技集团公司第五十研究所） 机场跑道异物检测方法、装置及存储介质
CN112699900A (zh) * 2021-01-05 2021-04-23 东北林业大学 一种改进YOLOv4的交通标志识别方法
CN113096126A (zh) * 2021-06-03 2021-07-09 四川九通智路科技有限公司 基于图像识别深度学习的道路病害检测系统及方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JOSEPH REDMON等: "YOLOv3: An Incremental Improvement", 《ARXIV:1804.02767V1》 *
丁立顺: "基于卷积神经网络的图像复杂度研究与应用", 《中国优秀博硕士学位论文全文数据库（硕士）_信息科技辑》 *
王艺皓等: "复杂场景下基于改进YOLOv3的口罩佩戴检测算法", 《计算机工程》 *
白士磊: "基于深度学习的交通标志检测与识别算法研究", 《中国优秀博硕士学位论文全文数据库（硕士）_工程科技Ⅱ辑》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113724223A (zh) * 2021-08-27 2021-11-30 江南大学 基于光学显微镜的YOLOv3数据集制作方法及系统
CN113723377A (zh) * 2021-11-02 2021-11-30 南京信息工程大学 一种基于ld-ssd网络的交通标志检测方法
CN114399720A (zh) * 2021-12-27 2022-04-26 华南智能机器人创新研究院 一种生产线上物品完整性检测方法及装置
CN114399720B (zh) * 2021-12-27 2024-10-15 华南智能机器人创新研究院 一种生产线上物品完整性检测方法及装置
CN114973207A (zh) * 2022-08-01 2022-08-30 成都航空职业技术学院 一种基于目标检测的路标识别方法
CN114973207B (zh) * 2022-08-01 2022-10-21 成都航空职业技术学院 一种基于目标检测的路标识别方法
TWI832642B (zh) * 2022-12-28 2024-02-11 國立中央大學 應用於穩定性招牌之偵測與辨識之影像處理方法
CN116824511A (zh) * 2023-08-03 2023-09-29 行为科技(北京)有限公司 一种基于深度学习和颜色空间的工装识别方法和装置

Similar Documents

Publication Publication Date Title
CN113269161A (zh) 一种基于深度学习的交通标识牌检测方法
CN109977812B (zh) 一种基于深度学习的车载视频目标检测方法
CN105809138B (zh) 一种基于分块识别的道路警告标志检测与识别方法
CN105046196B (zh) 基于级联卷积神经网络的前车车辆信息结构化输出方法
CN105373794B (zh) 一种车牌识别方法
CN103824081B (zh) 一种室外恶劣光照条件下的快速鲁棒交通标志检测方法
CN106326858A (zh) 一种基于深度学习的公路交通标志自动识别与管理系统
CN108009518A (zh) 一种基于快速二分卷积神经网络的层次化交通标识识别方法
CN106651872A (zh) 基于Prewitt算子的路面裂缝识别方法及系统
CN102867417B (zh) 一种出租车防伪系统及方法
CN105844257A (zh) 基于机器视觉雾天行车错失道路标志牌的预警系统及方法
CN108875608A (zh) 一种基于深度学习的机动车交通信号识别方法
CN105678285A (zh) 一种自适应的道路鸟瞰图变换方法和道路车道检测方法
CN106650731A (zh) 一种鲁棒的车牌、车标识别方法
CN108304785A (zh) 基于自建神经网络的交通标志检测与识别方法
CN104598885A (zh) 街景图像中的文字标牌检测与定位方法
CN106919910B (zh) 一种基于hog-cth组合特征的交通标志识别方法
CN113158768A (zh) 基于ResNeSt和自注意力蒸馏的智能车辆车道线检测方法
CN111160205A (zh) 一种交通场景嵌入式多类目标端对端统一检测方法
CN110032935A (zh) 一种基于深度学习级联网络的交通信号标识检测识别方法
CN107066972A (zh) 基于多通道极值区域的自然场景文本检测方法
CN111488854A (zh) 一种道路交通标志自动识别与分类方法
CN111860509A (zh) 一种由粗到精的两阶段非约束车牌区域精准提取方法
CN111160328A (zh) 一种基于语义分割技术的交通标线自动提取的方法
CN115063785B (zh) 高速公路场景使用目标识别模型定位车牌的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210817

RJ01 Rejection of invention patent application after publication