CN111444821A - 一种城市道路标志自动识别方法 - Google Patents

一种城市道路标志自动识别方法 Download PDF

Info

Publication number
CN111444821A
CN111444821A CN202010215253.6A CN202010215253A CN111444821A CN 111444821 A CN111444821 A CN 111444821A CN 202010215253 A CN202010215253 A CN 202010215253A CN 111444821 A CN111444821 A CN 111444821A
Authority
CN
China
Prior art keywords
network
training
coef
image
confidence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010215253.6A
Other languages
English (en)
Other versions
CN111444821B (zh
Inventor
聂烜
张衡
何大海
胡凯
任聪豪
蒋刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202010215253.6A priority Critical patent/CN111444821B/zh
Publication of CN111444821A publication Critical patent/CN111444821A/zh
Application granted granted Critical
Publication of CN111444821B publication Critical patent/CN111444821B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种城市道路标志自动识别方法，首先进行数据集准备，构建Coef YOLO网络并训练Coef YOLO网络，然后对图像中的道路标志进行检测，筛选出最终的检测目标。本发明在YOLO网络的基础上，引入并构建了基于边框回归训练的Coef YOLO网络，针对传统YOLO网络训练收敛慢和对小目标检测率低的现状，引入了基于批量标准化的网络优化，提升网络的训练速度和检测性能；提出了基于样本自适应改进的损失函数Coef loss，根据样本检测难度不同，损失函数自适应地调节权重，改进了网络在目标检测时对小目标检测准确度低的问题。

Description

一种城市道路标志自动识别方法
技术领域
本发明涉及计算机视觉领域，尤其是一种基于端到端深度学习的道路标志检测方法。
背景技术
道路标志识别是智能交通系统中的热点问题，其通过采集图像对目标区域进行检测与识别，得到道路标志的类型，其应用不仅能提高交通安全性，同时也保证了交通运行效率。当前，机器视觉是人工智能领域中紧跟时代步伐的一支新秀，其发展速度非常快，它在理论科学与工程应用方面有着广泛的应用前景，为了适应时代的发展，对于机器视觉的研究也是极富挑战性的，具有极其重要的研究价值。机器视觉系统深入地研究了目标检测、图像特征提取和行为识别等几个关键问题，并在医学动态影像、图像检索、多媒体信息处理与通信、指纹和人脸识别、图像处理与预处理、自然界生物种类识别、交通安全等各个研究领域都得到广泛应用。1993年，美国学者Kehtarnavaz利用交通标志的颜色和形状信息研发出针对“停车”标志牌的识别系统ADIS，该系统能够正确识别出测试数据集上所有的“停车”标志。但它识别速度慢，难以用于真实环境。2011年德国以交通标志数据库为基础举办了交通标志检测与识别大赛，标志着交通标志与识别受到了全世界的高度关注，同时促进了交通标志检测与识别的研究进展。从2009年开始，国家自然科学基金委员会提出重大的研究计划“视听觉信息的认知计算”。2013年，互联网巨头公司百度成立无人驾驶项目，其中交通标志的识别是无人驾驶汽车平台环境感知部分的重要测试项目，运用深度学习技术通过成百上千层的深度网络使得智能交通识别系统的识别率大大提高，已经超出人工对交通标志的识别准确率。目前，百度的无人车已经进入了测试上路阶段，随着技术的进一步发展，智能交通有望真正融入到我们平常的生活当中。近几年，机器学习与深度学习愈渐火热，深度学习可以成为复杂检测任务的髙效解决方案，在多目标检测实时性方面，可以达到髙精度检测。
基于深度学习的交通标志检测模型，由于深度神经网络能够自主学习不同层级的特征，相比于传统手工设计特征，学习的特征更丰富，特征表达能力更强。目前，基于深度学习的目标检测方法主要分为两类：基于区域候选的模型和基于回归的模型。基于区域候选的深度学习交通标志检测模型建立在区域候选的思想上，首先对检测区域提取候选区域，为后续特征提取和分类做准备，典型代表为：R-CNN、SPP-net、Fast R-CNN、Faster R-CNN、R-FCN。基于回归的深度学习目标检测模型则采用回归的思想，需要预先按照一定方式划定默认框，从而建立起预测框、默认框、物体框的关系以进行训练，典型代表为：YOLO(YouOnlyLook Once)、SSD(Single Shot multibox Detector)。在上述几种算法中，YOLO的检测性能相对较好，具有以下优点：1)目标检测的速度非常快。受益于端对端网络设计，输入图像只需要在网络中走过一遍便能得到被检测目标的位置和分类。YOLO网络在泰坦图形卡上能达到45FPS，大幅领先于Faster R-CNN等算法的检测速度。2)对背景Error有很好的抗性，背景Error指的是将非目标位置(即背景)错误地检测为目标。由于其它的检测网络采用区域推荐，分类器无法得到图像全局信息，更容易产生背景Error。得益于YOLO网络的特性，更容易得到图像的整体信息，从在目标检测时不容易产生背景Error。因此本发明将改进基于YOLO框架在交通标志识别上的不足。
YOLO算法首先把输入图像划分成S*S的格子，然后对每个格子都预测B个候选区域，每个候选区域都包含5个预测值：X,Y,W,H和Confidence(预测值)。X,Y就是候选区域的中心坐标，与Grid Cell(网格)对齐，使得范围变成0到1；W,H是图像的宽与高，W和H进行归一化(分别除以图像的W和H，这样最后的W和H就在0到1范围)。另外每个格子都预测C个假定类别的概率。每个候选区域都对应一个Confidence Score，如果Grid Cell里面没有物体，Confidence就是0，如果有，则Confidence Score等于预测的Box和Ground Truth的IOU(Intersection Over Union)值。每个Grid Cell都预测C个类别概率，表示一个Grid Cell在包含目标的条件下属于某个类别的概率。网络方面主要采用GoogLeNet，卷积层主要用来提取特征，全连接层主要用来预测类别概率和坐标。损失函数由3部分组成：坐标误差、交并比(Intersection Over Union，IOU)误差和分类误差。在卷积神经网络中，需要引入非线性函数作为激活函数。引入激活函数可以增加神经网络模型的非线性，使神经网络模型具有更好的表达能力。在卷积神经网络中，常用的激活函数有Sigmod函数、tanh函数、ReLU函数等。YOLO网络采用了leaky ReLU函数作为激活函数，这样可以有效地避免在训练阶段Sigmod、ReLU等函数出现的梯度消失问题。另外YOLO算法具有以下缺点：1)目标检测精度低于同期其他目标检测网络，如Faster R-CNN。2)当出现多个小目标时，检测效果不佳。
快速、实时、鲁棒的交通标志识别和道路检测系统，可以辅助司机判断周围道路状况，减轻他的负担，显著提高驾驶的安全性和舒适性。另外，道路交通标志识别和道路检测系统的研究，对于无人驾驶车辆的发展也是非常重要的，可以促进无人车更早的进入民用领域。因此，开发出一款高效、准确、实时、可靠的道路交通标志识别和道路检测系统是非常有意义的。
发明内容
为了克服现有技术的不足，本发明提供一种城市道路标志自动识别方法。对于道路标志自动识别技术，传统的卷积神经网络只能完成目标识别分类任务，无法做到目标检测，并且检测效率和精确度都相对较低，会限制智能车辆的行驶速度和行驶安全性。本发明采用基于深度学习方法解决多种道路标志的检测与识别的效率与准确率问题，该方法可以提供一种安全、准确、高效的道路标志自动检测服务。在利用端到端的深度学习方法对道路标志进行检测时，主要存在以下两个难点：难点一：端到端的深度学习方法(例如YOLO)在进行目标检测时具有定位精确度低、对小目标物体(例如交通标志这样的小目标)的检测不敏感(容易漏检)等问题。难点二：现有的道路标志数据集不足，且数据集中每类图像的数量不平衡，这意味着训练出的模型预测精度较低。对于难点一，本发明提出基于样本自适应改进的损失函数Coef loss，将YOLO改进为Coef YOLO，可以根据目标检测难度来自适应地调节权重，改善了原网络对小目标检测准确度低的问题，其次通过引入批量标准化进行了网络优化。对于难点二：在公共数据集基础上，通过人工采集获得了不同条件下的11类含城市道路标志的实景图像，交通目标数据，并提出随机裁剪和高斯噪声相结合的方法对数据集增强。本发明保证了快速准确地检测交通监控中的车辆，具有较高速率、准确率和召回率。
本发明解决其技术问题所采用的技术方案的详细步骤如下：
步骤一：数据集准备
获取交通路口拍摄的高清照片构建相关数据集，使用VOC2007的格式进行分类与标注，生成其对应输出的7×7×30张量类别标签；采用基于随机裁剪的数据集增强方法，对“交通目标数据集”进行增强；
随机裁剪(Crop)是指从原始图像中随机裁剪一个正方形，边长范围为[0.3*min,min]，min为长与宽中的较小值，然后将剪裁部分的大小调整为原始图像的大小，采用resize函数，保持图像通道数不变，将裁剪后的图像的长宽调整为原图像的长宽大小；
步骤二：构建Coef YOLO网络
在YOLO网络(YouOnlyLookOnce,目标检测模型)基础上，由21个卷积层和5个最大池化层组成Coef YOLO网络，网络各层依次为：卷积层，池化层，卷积层，池化层，卷积层，卷积层，卷积层，卷积层，池化层，卷积层，卷积层，卷积层，卷积层，池化层，卷积层，卷积层，卷积层，卷积层，池化层，卷积层，卷积层，卷积层，卷积层，卷积层，卷积层，卷积层；除最后一层外，在每一个卷积层后添加批量标准化层(batch normalization)和线性整流激活函数RELU；
步骤三：训练Coef YOLO网络
将训练样本输入所述的Coef YOLO的端到端道路标志检测网络模型中进行训练，当训练达到所要求的最大迭代次数或者损失函数(LOSS)曲线不再下降且精度不再提高为止，将训练好的模型保存；
训练的具体步骤如下：
(1)第一次预训练：使用公共图像数据库ImageNet中的道路标志图像对设计的Coef YOLO网络进行第一次预训练。分别使用前12、20层，接入新的输出为1000维向量的全连接输出层，使用softmax激活函数，对ImageNet自然图像数据集上1000类数据进行分类；
(2)第二次预训练：固定前20层预训练所得到的参数，使用步骤一中准备的VOC2007格式的道路标志图像数据集对后6层进行训练，输出层使用sigmoid激活函数。
(3)正式训练：对于两次预训练后得到的网络，解除对前20层网络参数的固定，使用步骤一中准备的VOC 2007格式的道路标志图像数据集继续训练，对整个网络的参数进行微调直至网络收敛，收敛即为达到最大迭代次数或损失函数不再下降且精度不再提高；
在YOLO的损失函数基础上，提出基于目标自适应优化改进的损失函数Coef loss函数(Coefficient Adaptive Loss function)如公式(1)所示：
Figure BDA0002424175570000041
其中，
Figure BDA0002424175570000042
表示遍历网格，s2表示网格数，本发明是7×7；coordError表示坐标误差(Coordinate Error)；iouError表示交并比误差(IOU Error)；classError表示分类损失(Classify Error)；
Coef loss函数中的自适应模块(Adaptive Modular)如公式(2)所示，作用在YOLO损失函数中的坐标误差中：
Adcaptive Modular＝＝Sigmoid(θ) (2)
其中
Figure BDA0002424175570000051
xi，yi，wi，hi为网络预测值，
Figure BDA0002424175570000052
为标注值，使用Sigmoid函数将θ归一化到[0.5,1]之间，如图2所示，
Figure BDA0002424175570000053
和
Figure BDA0002424175570000054
表示预测的边界框中心点和实际中心点位置的差值，
Figure BDA0002424175570000055
和
Figure BDA0002424175570000056
表示边界框宽高的预测和实际值的差值；
步骤四：图像中的道路标志检测
Coef YOLO网络的输出为7×7×30大小的张量：Coef YOLO网络将输入图像分割为7×7的网格，每个网格预测2个边界框和20个类别概率；
(1)边界框预测；边界框预测具有5个分量：(x，y，w，h，置信度)，x、y表示预测当前被检测目标中心位置的坐标；w、h表示边界框的宽和高，置信度表示边界框包含一个物体的概率，计算如公式(3)所示：
Figure BDA0002424175570000057
其中pr(Object)表示如果有人工标记的物体(Ground True Box)落在一个GridCell里，即边界框包含物体，则pr(Object)＝1；否则pr(Object)＝0；
Figure BDA0002424175570000058
表示预测的边界框和实际的Ground Truth Box之间的“交并比”(Intersection over Union，IOU)值，即两者的交集；
(2)类别预测；每个网格预测的20个类别概率和边界框预测的置信度相乘，得到每个边界框的类别置信度评分，计算如公式(4)所示：
scoreij＝pr(Classi|Object)×Confidencej (4)
其中pr(Classi|Object)表示每个网格预测的类别概率；对7×7×2＝98个边界框分别计算类别置信度评分；
(3)筛选出最终的检测目标；首先预处理，对类别置信度评分低于设定阈值的边界框进行过滤，过滤掉得分低于0.2的边界框；再对过滤后保留的边界框进行非抑制极大值处理：首先进行第一轮用bbox_max代表评分最高的候选框，将类别置信度评分最高的候选框与其他候选框bbox_cur进行比较，如果bbox_max和bbox_cur的重叠率超过0.5，即IOU(bbox_max，bbox_cur)>0.5，将候选框bbox_cur的分数置为0；然后进行第二轮，将分数第二大的边界框设为bbox_max，第三大的设为bbox_cur，重复第一轮的操作计算两个边界框的IOU值，若大于0.5则将bbox_cur分数置为0，多次循环后，只剩少数几个分数不为零的边界框，每个边界框对应着图像中一个道路标志的检出，即为检测的最终结果。
所述步骤二中构建基于Coef YOLO网络的端到端道路标志检测网络模型，构建流程为：
(1)将大小resize为448×448的RGB图像分割得到7×7的网格(Grid Cell)，一个物体的中心落在某网格内，则相应网格负责检测该物体；
(2)使用Coef YOLO中的前24层(包含19个卷积层和5个池化层)对输入图像进行特征提取。
(3)在每个卷积层后添加实用化层：批量标准化层(batch normalization)。
(4)使用Coef YOLO网络中的两层全卷积层取代YOLO中的两层全连接层，一层预测边界框的坐标位置和是否含有物体的Confidence，一层预测目标所属种类的类别置信度。
(5)通过reshape层(深度学习框架Caffe中的reshape层)使得Coef YOLO输出维度和YOLO的输出维度相同，为7×7×30大小的张量。
本发明的有益效果在于在YOLO网络的基础上，本发明引入并构建了基于边框回归训练的Coef YOLO网络，针对传统YOLO网络训练收敛慢和对小目标检测率低的现状，本发明引入了基于批量标准化的网络优化，提升网络的训练速度和检测性能；提出了基于样本自适应改进的损失函数Coef loss，根据样本检测难度不同，损失函数自适应地调节权重，改进了网络在目标检测时对小目标检测准确度低的问题。
附图说明
图1是本发明Coef YOLO网络构成图。
图2是本发明Adaptive Modular函数图像示意图。
图3是本发明边界框过滤方法图。
图4是本发明不同环境下的“限高标志”图像。
图5是本发明漏检比较图，其中图5(a)、(c)是原网络，图5(b)、(d)是改进网络。
图6是本发明检测准确度对比图，其中图6(a)、(c)是原网络，图6(b)、(d)是改进网络。
图7是本发明检测置信度对比图，图7(a)是原网络置信度为0.64，图7(b)是改进后置信度为0.8，图7(c)是原网络置信度为0.73，图7(d)是改进后置信度为0.88。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
步骤一：数据集准备
获取交通路口拍摄的高清照片构建相关数据集，使用VOC2007的格式进行分类与标注，生成其对应输出的7×7×30张量类别标签；此外，为解决数据集不足的问题，本发明采用基于随机裁剪的数据集增强方法，对“交通目标数据集”进行增强。
随机裁剪(Crop)是指从原始图像中随机裁剪一个正方形，边长范围为[0.3*min,min]，min为长与宽中的较小值，然后将剪裁部分的大小调整为原始图像的大小，采用resize函数，保持图像通道数不变，将裁剪后的图像的长宽调整为原图像的长宽大小。
步骤二：构建Coef YOLO网络
在YOLO网络(YouOnlyLookOnce,目标检测模型)基础上，本发明由21个卷积层和5个最大池化层组成Coef YOLO网络，如图1所示，网络各层依次为：卷积层，池化层，卷积层，池化层，卷积层，卷积层，卷积层，卷积层，池化层，卷积层，卷积层，卷积层，卷积层，池化层，卷积层，卷积层，卷积层，卷积层，池化层，卷积层，卷积层，卷积层，卷积层，卷积层，卷积层，卷积层；除最后一层外，在每一个卷积层后添加批量标准化层(batch normalization)和线性整流激活函数RELU。
构建基于Coef YOLO网络的端到端道路标志检测网络模型，构建流程为：
(1)将大小resize为448×448的RGB图像分割得到7×7的网格(Grid Cell)，一个物体的中心落在某网格内，则相应网格负责检测该物体；
(2)使用Coef YOLO中的前24层(包含19个卷积层和5个池化层)对输入图像进行特征提取。
(3)在每个卷积层后添加实用化层：批量标准化层(batch normalization)。
(4)使用Coef YOLO网络中的两层全卷积层取代YOLO中的两层全连接层，一层预测边界框的坐标位置和是否含有物体的Confidence，一层预测目标所属种类的类别置信度。
(5)通过reshape层(深度学习框架Caffe中的reshape层)使得Coef YOLO输出维度和YOLO的输出维度相同，为7×7×30大小的张量。
步骤三：训练Coef YOLO网络
将训练样本输入所述的Coef YOLO的端到端道路标志检测网络模型中进行训练，当训练达到所要求的最大迭代次数或者损失函数(LOSS)曲线不再下降且精度不再提高为止，将训练好的模型保存。
在复杂深度网络结构的训练中，若不设置模型初值，直接对网络进行训练，常常会由于梯度消失、陷入局部极小值等原因，导致网络收敛困难，无法达到预期效果，所以，对于这类网络的训练，在正式训练之前，通常会使用逐步预训练的方式来对网络参数进行初始化。训练的具体步骤如下：
(1)第一次预训练：使用公共图像数据库ImageNet中的道路标志图像对设计的Coef YOLO网络进行第一次预训练。分别使用前12、20层，接入新的输出为1000维向量的全连接输出层，使用softmax激活函数，对ImageNet自然图像数据集上1000类数据进行分类；
(2)第二次预训练：固定前20层预训练所得到的参数，使用步骤一中准备的VOC2007格式的道路标志图像数据集对后6层进行训练，输出层使用sigmoid激活函数。
(3)正式训练：对于两次预训练后得到的网络，解除对前20层网络参数的固定，使用步骤一中准备的VOC 2007格式的道路标志图像数据集继续训练，对整个网络的参数进行微调直至网络收敛。(收敛即为达到最大迭代次数或损失函数不再下降且精度不再提高)
进一步地，在YOLO的损失函数基础上，提出基于目标自适应优化改进的损失函数Coef loss函数(Coefficient Adaptive Loss function)如公式(1)所示：
Figure BDA0002424175570000081
其中，
Figure BDA0002424175570000082
表示遍历网格，s2表示网格数，本发明是7×7；coordError表示坐标误差(Coordinate Error)；iouError表示交并比误差(IOU Error)；classError表示分类损失(Classify Error)；
Coef loss函数中的自适应模块(Adaptive Modular)如公式(2)所示，作用在YOLO损失函数中的坐标误差中：
Adaptive Modulcar＝＝Sigmoid(θ) (2)
其中
Figure BDA0002424175570000091
xi，yi，wi，hi为网络预测值，
Figure BDA0002424175570000092
为标注值，使用Sigmoid函数将θ归一化到[0.5,1]之间，如图2所示，
Figure BDA0002424175570000093
和
Figure BDA0002424175570000094
表示预测的边界框中心点和实际中心点位置的差值，
Figure BDA0002424175570000095
和
Figure BDA0002424175570000096
表示边界框宽高的预测和实际值的差值；
Coef YOLO网络提出的基于目标自适应优化改进的损失函数Coef loss函数，通过增加自适应模块(对YOLO的损失函数进行改进，即在YOLO的损失函数中加入自适应模块，使其损失函数变为Coef Loss。损失函数在网络训练的过程中不断更新，当损失函数不再下降且精度不再提高时表示网络已收敛)来降低易分类样本的权重，使得模型在训练时更专注于难分类的样本，有效改善了原YOLO网络对小目标和难检测目标的检测精度不高，容易发生错误检测、漏检等问题；
步骤四：图像中的道路标志检测
Coef YOLO网络的输出为7×7×30大小的张量：Coef YOLO网络将输入图像分割为7×7的网格，每个网格预测2个边界框和20个类别概率。(一个网格对应2×5+20维向量)
(1)边界框预测；边界框预测具有5个分量：(x，y，w，h，置信度)，x、y表示预测当前被检测目标中心位置的坐标；w、h表示边界框的宽和高，置信度表示边界框包含一个物体的概率，计算如公式(3)所示：
Figure BDA0002424175570000097
其中pr(Object)表示如果有人工标记的物体(Ground True Box)落在一个GridCell里，即边界框包含物体，则pr(Object)＝1；否则pr(Object)＝0；
Figure BDA0002424175570000098
表示预测的边界框和实际的Ground Truth Box之间的“交并比”(Intersection over Union，IOU)值，即两者的交集；
(2)类别预测；每个网格预测的20个类别概率和边界框预测的置信度相乘，得到每个边界框的类别置信度评分，计算如公式(4)所示：
scoreij＝pr(Classi|Object)×Confidencej (4)
其中pr(Classi|Object)表示每个网格预测的类别概率；对7×7×2＝98个边界框分别计算类别置信度评分；
(3)筛选出最终的检测目标。首先预处理，对类别置信度评分低于设定阈值的边界框进行过滤，如图3所示，过滤掉得分低于0.2的边界框；再对过滤后保留的边界框进行非抑制极大值处理：首先进行第一轮用bbox_max代表评分最高的候选框，将类别置信度评分最高的候选框与其他候选框bbox_cur进行比较，如果bbox_max和bbox_cur的重叠率超过0.5，即IOU(bbox_max，bbox_cur)>0.5，将候选框bbox_cur的分数置为0；然后进行第二轮，将分数第二大的边界框设为bbox_max，第三大的设为bbox_cur，重复第一轮的操作计算两个边界框的IOU值，若大于0.5则将bbox_cur分数置为0，多次循环后，只剩少数几个分数不为零的边界框，每个边界框对应着图像中一个道路标志的检出，即为检测的最终结果。
实施例如下：
Step1：获取道路标志拍摄的高清图像构建交通目标数据集，提出基于随机裁剪和高斯噪声相结合的数据集增强方法，对交通目标数据集进行增强。再对交通场景图像进行分类和标注，生成相应的类别标签，并划分训练集和测试集，用于后续的网络训练及测试；被检测目标根据采集时的光照天气不同，呈现出灰暗、明亮、反观、角度倾斜等不同的效果，丰富了数据集的多样性与鲁棒性。如图4所示，为“限高标志”在不同环境下的图像，从左到右依次是明亮、阴影、反光和遮挡情况下的图像。
Step2：设计Coef YOLO网络：1)输入输出：输入一幅图像，分割成7×7的网格，每个网格预测2个边界框，而且每个边界框有x,y,w,h和confidence，5个参数，最后每个网格预测出属于20个类别概率值。那么将上面这些信息全部放在一个向量里面表示就是一个30维的列向量(2×5+20)，对于每一个网格都有一个1×30维的向量，一共有7x7个这样的向量，就组成了最后的输出。2)对每个卷积层进行批量标准化(batch normalization)，规范化网络，学习速度更快，而且有正则化效果，无需再进行dropout。
Step3：损失函数目标自适应化改进：YOLO损失函数的不同部分对函数的贡献不同，因此需要设定坐标误差的系数为5对坐标误差进行修成，通过提高系数提高坐标误差对函数的贡献比重。基本思路是根据当前“检测值和真实值的差值”均衡损失函数：当前检测目标为易检测目标时，差值较小，将损失函数权重适当降低；当检测目标不容易检测时，差值较大，使损失函数的权重处于较大的权重，通过平衡不同检测状态下的损失函数权重改进网络，使得模型在训练时更专注于难分类的样本。
由公式1知，Coef loss函数使用自适应模块降低易分类样本的权重，使得模型在训练时更专注于难分类的样本。将本发明提出的Coef loss会根据当前检测目标的检测难度主动地调节损失函数中坐标误差损失的权重，均衡不同样本，通过调整不同样本下损失函数的比重使模型在训练时更专注于难分类的样本，从而提高对难检测物体的检测能力。
Step4：网络训练：第一次预训练：使用公共图像数据库ImageNet中的道路标志图像对设计的Coef YOLO网络进行第一次预训练。分别使用前12、20层，接入新的输出为1000维向量的全连接输出层，使用softmax激活函数，对ImageNet自然图像数据集上1000类数据进行分类。第二次预训练：固定前20层预训练所得到的参数，使用步骤一中准备的VOC 2007格式的道路标志图像数据集对后6层进行训练，输出层使用sigmoid激活函数。正式训练：对于两次预训练后得到的网络，解除对前20层网络参数的固定，使用步骤一中准备的VOC2007格式的道路标志图像数据集继续训练，对整个网络的参数进行微调直至网络收敛。(收敛即为达到最大迭代次数或损失函数不再下降且精度不再提高)
Step5：图像的道路标志检测：将待检测图像输入训练好的Coef YOLO网络，将输出一个7×7×30的张量来表示图片中所有网格包含的对象(概率)以及该对象可能的2个位置(bounding box)和可信程度(置信度)。为了从中提取出最有可能的那些对象和位置，CoefYOLO采用NMS(Non-maximal suppression，非极大值抑制)算法。具体计算方法如下：CoefYOLO网络输出的7×7×30的张量，在每一个网格中，对象Ci位于第j个边界框的得分为：
Scoreij＝P(Ci|Obejct)×Confidencej
(7)
它代表着某个对象Ci存在于第j个边界框的可能性。NMS步骤如下：
1)设置一个Score的阈值，低于该阈值的候选对象排除掉(将该Score设为0)
2)遍历每一个对象类别
2.1)遍历该对象的98个Score
2.1.1)找到Score最大的那个对象及其边界框，添加到输出列表
2.1.2)对每个Score不为0的候选对象，计算其与上面2.1.1输出对象的边界框的IOU
2.1.3)根据预先设置的IOU阈值，所有高于该阈值(重叠度较高)的候选对象排除掉(将Score设为0)
2.1.4)如果所有边界框要么在输出列表中，要么Score＝0，则该对象类别的NMS完成，返回步骤2处理下一种对象
3)输出列表即为预测的对象。
为了评估本网络的性能，本发明选择进行基于YOLO和Coef YOLO的道路交通目标检测对比实验。首先分别对YOLO网络模型和Coef YOLO网络模型进行了充分的训练，保证了两个网络在完全相同的实验条件下，包括同样的软硬件配置，同样的训练时间等，测试的数据也完全相同。
图5展示两组对照，图5(a)、(c)为YOLO模型检测效果，图5(b)、(d)为改进后的CoefYOLO检测效果。因为目标较小，属于难检测目标，在YOLO网络未检出目标时，改进后的CoefYOLO网络改善了YOLO网络识别精度不高，容易漏检的问题，成功检测出道路标志。
图6展示了改进后的模型比原模型的目标检测精准程度上的进步。在图6(a)、(b)中，待检测目标是图像正中间的“掉头”标志，YOLO网络虽然检测出了目标，但是因为目标较小，并没有做到完全定位，只是检测出了目标的一部分；在图(c)、(d)中，YOLO网络过度检测，将目标以及周围像素全部框入，没有做到精确地检测出目标，而改进后的Coef YOLO网络完整地将目标框起来同时几乎没有过度检测，对目标的定位能力明显提高。
图7展示了改进后的模型比原模型的目标检测置信度上的进步。在图7(a)YOLO网络检测置信度为0.64，在(b)中改进后的Coef YOLO网络检测置信度为0.83，比原网络提高了0.19；在图(c)中YOLO网络置信度为0.73，在图(d)中改进后的Coef YOLO网络置信度为0.88，比原网络提高了0.15，证明改进后的模型具有更好的目标置信度。
实验测试平均来说，Coef YOLO相对于原YOLO网络，准确度提高了22.34％；精准度提高了1.92％；召回率提高了20.06％；置信度提高了12.03％。
使用Coef YOLO模型检测测试集，检测评价如表1所示。
表1分别列出了对每一类目标的检测性能和整体检测性能，Coef YOLO模型在道路交通标志测试集上的平均准确度：76.83％；平均精准度：86.79％；平均召回率：67.55％；平均置信度：67.64％，平均检检测时间为0.29秒。
表1 Coef YOLO在道路交通标志测试集上的性能评价
Figure BDA0002424175570000131
准确度、精准度、召回率这三点是说明网络对目标的检测能力的关键，影响着有没有将道路交通目标信息检测出来；检测时间说明了网络对目标的识别速度。通过实验验证，相较于现有方法，在这两点上Coef YOLO模型都具有更好效果。

Claims (2)

1.一种城市道路标志自动识别方法，其特征在于包括下述步骤：
步骤一：数据集准备
获取交通路口拍摄的高清照片构建相关数据集，使用VOC2007的格式进行分类与标注，生成其对应输出的7×7×30张量类别标签；采用基于随机裁剪的数据集增强方法，对“交通目标数据集”进行增强；
随机裁剪(Crop)是指从原始图像中随机裁剪一个正方形，边长范围为[0.3*min,min]，min为长与宽中的较小值，然后将剪裁部分的大小调整为原始图像的大小，采用resize函数，保持图像通道数不变，将裁剪后的图像的长宽调整为原图像的长宽大小；
步骤二：构建Coef YOLO网络
在YOLO网络基础上，由21个卷积层和5个最大池化层组成Coef YOLO网络，网络各层依次为：卷积层，池化层，卷积层，池化层，卷积层，卷积层，卷积层，卷积层，池化层，卷积层，卷积层，卷积层，卷积层，池化层，卷积层，卷积层，卷积层，卷积层，池化层，卷积层，卷积层，卷积层，卷积层，卷积层，卷积层，卷积层；除最后一层外，在每一个卷积层后添加批量标准化层和线性整流激活函数RELU；
步骤三：训练Coef YOLO网络
将训练样本输入所述的Coef YOLO的端到端道路标志检测网络模型中进行训练，当训练达到所要求的最大迭代次数或者损失函数曲线不再下降且精度不再提高为止，将训练好的模型保存；
训练的具体步骤如下：
(1)第一次预训练：使用公共图像数据库ImageNet中的道路标志图像对设计的CoefYOLO网络进行第一次预训练，分别使用前12、20层，接入新的输出为1000维向量的全连接输出层，使用softmax激活函数，对ImageNet自然图像数据集上1000类数据进行分类；
(2)第二次预训练：固定前20层预训练所得到的参数，使用步骤一中准备的VOC2007格式的道路标志图像数据集对后6层进行训练，输出层使用sigmoid激活函数；
(3)正式训练：对于两次预训练后得到的网络，解除对前20层网络参数的固定，使用步骤一中准备的VOC 2007格式的道路标志图像数据集继续训练，对整个网络的参数进行微调直至网络收敛，收敛即为达到最大迭代次数或损失函数不再下降且精度不再提高；
在YOLO的损失函数基础上，提出基于目标自适应优化改进的损失函数Cosef loss函数(Coefficient Adaptive Loss function)如公式(1)所示：
Figure FDA0002424175560000021
其中，
Figure FDA0002424175560000022
表示遍历网格，s2表示网格数，本发明是7×7；coordError表示坐标误差；iouError表示交并比误差；classError表示分类损失；
Soef loss函数中的自适应模块如公式(2)所示，作用在YOLO损失函数中的坐标误差中：
AdaptiveModular＝＝Signoid(θ) (2)
其中
Figure FDA0002424175560000023
xi，yi，wi，hi为网络预测值，
Figure FDA0002424175560000024
为标注值，使用Sigmoid函数将θ归一化到[0.5,1]之间，如图2所示，
Figure FDA0002424175560000025
和
Figure FDA0002424175560000026
表示预测的边界框中心点和实际中心点位置的差值，
Figure FDA0002424175560000027
和
Figure FDA0002424175560000028
表示边界框宽高的预测和实际值的差值；
步骤四：图像中的道路标志检测
Coef YOLO网络的输出为7×7×30大小的张量：Coef YOLO网络将输入图像分割为7×7的网格，每个网格预测2个边界框和20个类别概率；
(1)边界框预测；边界框预测具有5个分量：(x，y，w，h，置信度)，x、y表示预测当前被检测目标中心位置的坐标；w、h表示边界框的宽和高，置信度表示边界框包含一个物体的概率，计算如公式(3)所示：
Figure FDA0002424175560000029
其中pr(Object)表示如果有人工标记的物体(Ground True Box)落在一个Grid Cell里，即边界框包含物体，则pr(Object)＝1；否则pr(Object)＝0；
Figure FDA00024241755600000210
表示预测的边界框和实际的Ground Truth Box之间的“交并比”值，即两者的交集；
(2)类别预测；每个网格预测的20个类别概率和边界框预测的置信度相乘，得到每个边界框的类别置信度评分，计算如公式(4)所示：
scoreij＝pr(Classi|Object)×Confidencej (4)
其中pr(Classi|Object)表示每个网格预测的类别概率；对7×7×2＝98个边界框分别计算类别置信度评分；
(3)筛选出最终的检测目标；首先预处理，对类别置信度评分低于设定阈值的边界框进行过滤，过滤掉得分低于0.2的边界框；再对过滤后保留的边界框进行非抑制极大值处理：首先进行第一轮用bbox_max代表评分最高的候选框，将类别置信度评分最高的候选框与其他候选框bbox_cur进行比较，如果bbox_max和bbox_cur的重叠率超过0.5，即IOU(bbox_max，bbox_cur)>0.5，将候选框bbox_cur的分数置为0；然后进行第二轮，将分数第二大的边界框设为bbox_max，第三大的设为bbox_cur，重复第一轮的操作计算两个边界框的IOU值，若大于0.5则将bbox_cur分数置为0，多次循环后，只剩少数几个分数不为零的边界框，每个边界框对应着图像中一个道路标志的检出，即为检测的最终结果。
2.根据权利要求1所述的一种城市道路标志自动识别方法，其特征在于：
所述步骤二中构建基于Coef YOLO网络的端到端道路标志检测网络模型，构建流程为：
(1)将大小resize为448×448的RGB图像分割得到7×7的网格，一个物体的中心落在某网格内，则相应网格负责检测该物体；
(2)使用Coef YOLO中的前24层对输入图像进行特征提取；
(3)在每个卷积层后添加实用化层：批量标准化层；
(4)使用Coef YOLO网络中的两层全卷积层取代YOLO中的两层全连接层，一层预测边界框的坐标位置和是否含有物体的Confidence，一层预测目标所属种类的类别置信度；
(5)通过reshape层(深度学习框架Caffe中的reshape层)使得Coef YOLO输出维度和YOLO的输出维度相同，为7×7×30大小的张量。
CN202010215253.6A 2020-03-24 2020-03-24 一种城市道路标志自动识别方法 Active CN111444821B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010215253.6A CN111444821B (zh) 2020-03-24 2020-03-24 一种城市道路标志自动识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010215253.6A CN111444821B (zh) 2020-03-24 2020-03-24 一种城市道路标志自动识别方法

Publications (2)

Publication Number Publication Date
CN111444821A true CN111444821A (zh) 2020-07-24
CN111444821B CN111444821B (zh) 2022-03-25

Family

ID=71654374

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010215253.6A Active CN111444821B (zh) 2020-03-24 2020-03-24 一种城市道路标志自动识别方法

Country Status (1)

Country Link
CN (1) CN111444821B (zh)

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931767A (zh) * 2020-08-05 2020-11-13 哈尔滨工业大学（深圳） 一种基于图片信息度的多模型目标检测方法、装置、系统及存储介质
CN112069971A (zh) * 2020-09-01 2020-12-11 浙江省机电设计研究院有限公司 一种基于视频的高速公路标志标线识别方法及识别系统
CN112215128A (zh) * 2020-10-09 2021-01-12 武汉理工大学 融合fcos的r-cnn城市道路环境识别方法及装置
CN112487916A (zh) * 2020-11-25 2021-03-12 上海电力大学 一种电力设备双目三维立体识别系统
CN112507896A (zh) * 2020-12-14 2021-03-16 大连大学 一种采用改进的yolo-v4模型对樱桃果实进行检测的方法
CN112560933A (zh) * 2020-12-10 2021-03-26 中邮信息科技(北京)有限公司 一种模型训练方法、装置、电子设备和介质
CN112633299A (zh) * 2020-12-30 2021-04-09 深圳市优必选科技股份有限公司 一种目标检测方法、网络、装置、终端设备及存储介质
CN112712133A (zh) * 2021-01-15 2021-04-27 北京华捷艾米科技有限公司 深度学习网络模型的训练方法、相关装置及存储介质
CN112836745A (zh) * 2021-02-02 2021-05-25 歌尔股份有限公司 一种目标检测方法和装置
CN113076800A (zh) * 2021-03-03 2021-07-06 惠州市博实结科技有限公司 一种道路标志牌检测方法及装置
CN113095164A (zh) * 2021-03-22 2021-07-09 西北工业大学 基于强化学习和标志点表征的车道线检测定位方法
CN114500102A (zh) * 2022-03-09 2022-05-13 绍兴文理学院 一种基于抽样的边缘计算架构物联网入侵检测系统及方法
US11403069B2 (en) 2017-07-24 2022-08-02 Tesla, Inc. Accelerated mathematical engine
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11487288B2 (en) 2017-03-23 2022-11-01 Tesla, Inc. Data synthesis for autonomous control systems
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11665108B2 (en) 2018-10-25 2023-05-30 Tesla, Inc. QoS manager for system on a chip communications
US11681649B2 (en) 2017-07-24 2023-06-20 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11734562B2 (en) 2018-06-20 2023-08-22 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11748620B2 (en) 2019-02-01 2023-09-05 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11790664B2 (en) 2019-02-19 2023-10-17 Tesla, Inc. Estimating object properties using visual image data
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11841434B2 (en) 2018-07-20 2023-12-12 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11893774B2 (en) 2018-10-11 2024-02-06 Tesla, Inc. Systems and methods for training machine models with augmented data
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US12014553B2 (en) 2019-02-01 2024-06-18 Tesla, Inc. Predicting three-dimensional features for autonomous driving

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108304787A (zh) * 2018-01-17 2018-07-20 河南工业大学 基于卷积神经网络的道路目标检测方法
CN108734143A (zh) * 2018-05-28 2018-11-02 江苏迪伦智能科技有限公司 一种巡检机器人的基于双目视觉的输电线路在线检测方法
CN109241814A (zh) * 2018-06-26 2019-01-18 武汉科技大学 基于yolo神经网络的行人检测方法
CN109447034A (zh) * 2018-11-14 2019-03-08 北京信息科技大学 基于YOLOv3网络的自动驾驶中交通标识检测方法
CN109858349A (zh) * 2018-12-25 2019-06-07 五邑大学 一种基于改进yolo模型的交通标志识别方法及其装置
CN109948444A (zh) * 2019-02-19 2019-06-28 重庆理工大学 基于cnn的果实与障碍物的同步识别方法、系统与机器人
CN110147807A (zh) * 2019-01-04 2019-08-20 上海海事大学 一种船舶智能识别跟踪方法
CN110210362A (zh) * 2019-05-27 2019-09-06 中国科学技术大学 一种基于卷积神经网络的交通标志检测方法
KR102030628B1 (ko) * 2019-04-04 2019-10-10 (주)아이엠시티 Cnn 기반 차량 번호판 인식 방법 및 시스템
CN110826691A (zh) * 2019-10-14 2020-02-21 中国地质大学（武汉） 基于yolo和lstm的地震速度谱智能拾取方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108304787A (zh) * 2018-01-17 2018-07-20 河南工业大学 基于卷积神经网络的道路目标检测方法
CN108734143A (zh) * 2018-05-28 2018-11-02 江苏迪伦智能科技有限公司 一种巡检机器人的基于双目视觉的输电线路在线检测方法
CN109241814A (zh) * 2018-06-26 2019-01-18 武汉科技大学 基于yolo神经网络的行人检测方法
CN109447034A (zh) * 2018-11-14 2019-03-08 北京信息科技大学 基于YOLOv3网络的自动驾驶中交通标识检测方法
CN109858349A (zh) * 2018-12-25 2019-06-07 五邑大学 一种基于改进yolo模型的交通标志识别方法及其装置
CN110147807A (zh) * 2019-01-04 2019-08-20 上海海事大学 一种船舶智能识别跟踪方法
CN109948444A (zh) * 2019-02-19 2019-06-28 重庆理工大学 基于cnn的果实与障碍物的同步识别方法、系统与机器人
KR102030628B1 (ko) * 2019-04-04 2019-10-10 (주)아이엠시티 Cnn 기반 차량 번호판 인식 방법 및 시스템
CN110210362A (zh) * 2019-05-27 2019-09-06 中国科学技术大学 一种基于卷积神经网络的交通标志检测方法
CN110826691A (zh) * 2019-10-14 2020-02-21 中国地质大学（武汉） 基于yolo和lstm的地震速度谱智能拾取方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JOSEPH REDMON 等: "You Only Look Once:Unified, Real-Time Object Detection", 《ARXIV:1506.02640V5》 *
PENG YUN 等: "Focal Loss in 3D Object Detection", 《ARXIV:1809.06065V3》 *
潘卫国 等: "基于 YOLO v3 的交通标志牌检测识别", 《传感器与微系统》 *
范红超 等: "基于Anchor-free的交通标志检测", 《地球信息科学学报》 *

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11487288B2 (en) 2017-03-23 2022-11-01 Tesla, Inc. Data synthesis for autonomous control systems
US12020476B2 (en) 2017-03-23 2024-06-25 Tesla, Inc. Data synthesis for autonomous control systems
US11403069B2 (en) 2017-07-24 2022-08-02 Tesla, Inc. Accelerated mathematical engine
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11681649B2 (en) 2017-07-24 2023-06-20 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11797304B2 (en) 2018-02-01 2023-10-24 Tesla, Inc. Instruction set architecture for a vector computational unit
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11734562B2 (en) 2018-06-20 2023-08-22 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11841434B2 (en) 2018-07-20 2023-12-12 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11983630B2 (en) 2018-09-03 2024-05-14 Tesla, Inc. Neural networks for embedded devices
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
US11893774B2 (en) 2018-10-11 2024-02-06 Tesla, Inc. Systems and methods for training machine models with augmented data
US11665108B2 (en) 2018-10-25 2023-05-30 Tesla, Inc. QoS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11908171B2 (en) 2018-12-04 2024-02-20 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US12014553B2 (en) 2019-02-01 2024-06-18 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US11748620B2 (en) 2019-02-01 2023-09-05 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US11790664B2 (en) 2019-02-19 2023-10-17 Tesla, Inc. Estimating object properties using visual image data
CN111931767A (zh) * 2020-08-05 2020-11-13 哈尔滨工业大学（深圳） 一种基于图片信息度的多模型目标检测方法、装置、系统及存储介质
CN111931767B (zh) * 2020-08-05 2023-09-15 哈尔滨工业大学（深圳） 一种基于图片信息度的多模型目标检测方法、装置、系统及存储介质
CN112069971A (zh) * 2020-09-01 2020-12-11 浙江省机电设计研究院有限公司 一种基于视频的高速公路标志标线识别方法及识别系统
CN112215128A (zh) * 2020-10-09 2021-01-12 武汉理工大学 融合fcos的r-cnn城市道路环境识别方法及装置
CN112215128B (zh) * 2020-10-09 2024-04-05 武汉理工大学 融合fcos的r-cnn城市道路环境识别方法及装置
CN112487916A (zh) * 2020-11-25 2021-03-12 上海电力大学 一种电力设备双目三维立体识别系统
CN112560933A (zh) * 2020-12-10 2021-03-26 中邮信息科技(北京)有限公司 一种模型训练方法、装置、电子设备和介质
CN112507896A (zh) * 2020-12-14 2021-03-16 大连大学 一种采用改进的yolo-v4模型对樱桃果实进行检测的方法
CN112507896B (zh) * 2020-12-14 2023-11-07 大连大学 一种采用改进的yolo-v4模型对樱桃果实进行检测的方法
CN112633299A (zh) * 2020-12-30 2021-04-09 深圳市优必选科技股份有限公司 一种目标检测方法、网络、装置、终端设备及存储介质
CN112633299B (zh) * 2020-12-30 2024-01-16 深圳市优必选科技股份有限公司 一种目标检测方法、网络、装置、终端设备及存储介质
CN112712133A (zh) * 2021-01-15 2021-04-27 北京华捷艾米科技有限公司 深度学习网络模型的训练方法、相关装置及存储介质
CN112836745A (zh) * 2021-02-02 2021-05-25 歌尔股份有限公司 一种目标检测方法和装置
CN112836745B (zh) * 2021-02-02 2022-12-09 歌尔股份有限公司 一种目标检测方法和装置
CN113076800A (zh) * 2021-03-03 2021-07-06 惠州市博实结科技有限公司 一种道路标志牌检测方法及装置
CN113095164A (zh) * 2021-03-22 2021-07-09 西北工业大学 基于强化学习和标志点表征的车道线检测定位方法
CN114500102B (zh) * 2022-03-09 2024-02-13 绍兴文理学院 一种基于抽样的边缘计算架构物联网入侵检测系统及方法
CN114500102A (zh) * 2022-03-09 2022-05-13 绍兴文理学院 一种基于抽样的边缘计算架构物联网入侵检测系统及方法

Also Published As

Publication number Publication date
CN111444821B (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
CN111444821B (zh) 一种城市道路标志自动识别方法
CN111553387B (zh) 一种基于Yolov3的人员目标检测方法
CN107563372B (zh) 一种基于深度学习ssd框架的车牌定位方法
CN110796168A (zh) 一种基于改进YOLOv3的车辆检测方法
CN112464911A (zh) 基于改进YOLOv3-tiny的交通标志检测与识别方法
CN110796186A (zh) 基于改进的YOLOv3网络的干湿垃圾识别分类方法
CN108038846A (zh) 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统
CN109902806A (zh) 基于卷积神经网络的噪声图像目标边界框确定方法
CN113420607A (zh) 无人机多尺度目标检测识别方法
CN112232371B (zh) 一种基于YOLOv3与文本识别的美式车牌识别方法
CN112560675B (zh) Yolo与旋转-融合策略相结合的鸟类视觉目标检测方法
CN111274886B (zh) 一种基于深度学习的行人闯红灯违法行为分析方法及系统
CN112528845B (zh) 一种基于深度学习的物理电路图识别方法及其应用
CN110659601B (zh) 基于中心点的深度全卷积网络遥感图像密集车辆检测方法
Zheng et al. Improvement of grayscale image 2D maximum entropy threshold segmentation method
CN114255403A (zh) 基于深度学习的光学遥感图像数据处理方法及系统
CN102867183A (zh) 一种车辆遗撒物检测方法、装置及智能交通监控系统
CN114049572A (zh) 识别小目标的检测方法
CN111540203B (zh) 基于Faster-RCNN调节绿灯通行时间的方法
CN112949510A (zh) 基于Faster R-CNN热红外影像人物探测方法
CN114627437A (zh) 一种交通目标识别方法及系统
CN113128476A (zh) 一种基于计算机视觉目标检测的低功耗实时头盔检测方法
CN115019039A (zh) 一种结合自监督和全局信息增强的实例分割方法及系统
Wu et al. Traffic sign detection based on SSD combined with receptive field module and path aggregation network
CN106548195A (zh) 一种基于改进型hog‑ulbp特征算子的目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant