CN106650647A - 基于传统算法和深度学习算法级联的车辆检测方法及系统 - Google Patents

基于传统算法和深度学习算法级联的车辆检测方法及系统 Download PDF

Info

Publication number
CN106650647A
CN106650647A CN201611129798.5A CN201611129798A CN106650647A CN 106650647 A CN106650647 A CN 106650647A CN 201611129798 A CN201611129798 A CN 201611129798A CN 106650647 A CN106650647 A CN 106650647A
Authority
CN
China
Prior art keywords
algorithm
vehicle
deep learning
learning algorithm
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611129798.5A
Other languages
English (en)
Inventor
刘鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kai Yi (shenzhen) Technology Co Ltd
Original Assignee
Kai Yi (shenzhen) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kai Yi (shenzhen) Technology Co Ltd filed Critical Kai Yi (shenzhen) Technology Co Ltd
Priority to CN201611129798.5A priority Critical patent/CN106650647A/zh
Publication of CN106650647A publication Critical patent/CN106650647A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Abstract

本发明提供了一种基于传统算法和深度学习算法级联的车辆检测方法及系统，该车辆检测方法包括：第一级处理步骤：通过第一级的机器学习算法进行车辆检测，得到备选目标窗口；第二级处理步骤：通过第二级的深度学习算法，对提取到的备选目标窗口进行分类。本发明的有益效果是：本发明提出的两层级联框架，在实际测试中，能够做到很高的车辆检测召回率和准确率，并能在各种平台下实时运行。

Description

基于传统算法和深度学习算法级联的车辆检测方法及系统
技术领域
本发明涉及车辆检测技术领域，尤其涉及基于传统算法和深度学习算法级联的车辆检测方法及系统。
背景技术
随着深度学习算法的兴起，与图像相关的人脸识别、目标检测分类等问题得到了很好的解决，相对传统的机器学习算法，深度学习极大的提升了图像算法的性能，使得之前很多解决起来有挑战的问题看到了解决的希望，拓展了图像在我们生活场景中的应用边界。无人车作为下一个从科幻步入现实的问题，成为了我们需要解决的难题和挑战。ADAS算法在无人车中扮演着关键的角色。
车辆检测作为ADAS主要功能之一，需要对视频图像中的车辆目标进行实时分析，通过定位前方车辆的位置，测算距离本车的安全距离，来及时的给司机提供预警。
车辆检测算法可以分为基于传统机器学习的方法和基于深度学习的方法两大类：
1)传统机器学习算法的车辆检测
基于滑动窗口的，通过固定的窗口来图像上进行遍历扫描，基于手工设计的特征和分类器来判定当前的窗口目标是否包含车辆目标；
2)基于深度学习的车辆检测算法
基于深度学习的检测算法，也细分为两类：
一种是与传统的目标检测算法类似，基于滑动窗口的算法，在图像上按固定的窗口进行扫描，提取窗口目标的CNN特征进行判定该目标是否为车辆，相对传统机器学习来说，仅仅是将特征由手工设计的特征变成了表征能力更为强大的CNN；
另一种是先提取粗糙的备选目标窗口，再对备选的目标进行更为精细的分类，特别是在精细分类上，利用了CNN作为特征。这一脉算法以RCNN[1]，fast RCNN[2]，fasterRCNN[3]为代表进行演化，在GPU上做到了10fps以上的速度和很高的目标检测性能。在这样的两级架构下，为了进一步提速，出现了更加高级的深度学习架构，通过将前后两级架构进一步融合，得到了端到端的深度学习目标检测框架，以SSD[4]、YOLO[5]等算法为代表。
基于传统机器学习算法进行车辆检测，受限于手工设计的特征不够强大，导致检测性能不够好。并且为了进一步的提升检测性能，需要进行大量的实验，来进行特征的设计。
而基于深度学习的算法，虽然可以做到很高的性能指标，但是需要GPU资源，限制了深度学习在更加广泛的嵌入式、手机等设备上的应用。由于GPU的功耗相对较高，嵌入式或手机上没有或很少有GPU资源可以调用。并且网络的深度也导致模型的大小增加，需要调用更多的内存资源，这对于手持设备来说，资源消耗太大。现阶段专用的低功耗神经网络芯片已经在研制中，但是距离落地还有很长的路。如何在现阶段将深度学习在嵌入式设备上进行落地，是一个很大的挑战。
发明内容
本发明提供了一种基于传统算法和深度学习算法级联的车辆检测方法，包括如下步骤：
第一级处理步骤：通过第一级的机器学习算法进行车辆检测，得到备选目标窗口；
第二级处理步骤：通过第二级的深度学习算法，对提取到的备选目标窗口进行分类。
作为本发明的进一步改进，所述机器学习算法为ACF算法。
作为本发明的进一步改进，在所述第一级处理步骤中首先输入图像、然后划窗、聚和通道特征、关键层金字塔其它层插值，然后采用Adaboost算法进行分类，最后输出检测结果。
作为本发明的进一步改进，第二级的深度学习算法包括CNN算法，并且采用CNN网络架构。
作为本发明的进一步改进，所述CNN网络架构包括8层，从第1层至第8层分别为：输入的32x32图像层、5x5步长为1的32个卷积核层、2x2的pooling层、3x3步长为1的64个卷积核层、2x2的pooling层、512维的FC全连接层、dropout层和最后的FC全连接输出层，FC全连接输出层给出当前的分类目标是否是车辆。
本发明还提供了一种基于传统算法和深度学习算法级联的车辆检测系统，包括：
第一级处理模块：用于通过第一级的机器学习算法进行车辆检测，得到备选目标窗口；
第二级处理模块：用于通过第二级的深度学习算法，对提取到的备选目标窗口进行分类。
作为本发明的进一步改进，所述机器学习算法为ACF算法。
作为本发明的进一步改进，在所述第一级处理模块中首先输入图像、然后划窗、聚和通道特征、关键层金字塔其它层插值，然后采用Adaboost算法进行分类，最后输出检测结果。
作为本发明的进一步改进，第二级的深度学习算法包括CNN算法，并且采用CNN网络架构。
作为本发明的进一步改进，所述CNN网络架构包括8层，从第1层至第8层分别为：输入的32x32图像层、5x5步长为1的32个卷积核层、2x2的pooling层、3x3步长为1的64个卷积核层、2x2的pooling层、512维的FC全连接层、dropout层和最后的FC全连接输出层，FC全连接输出层给出当前的分类目标是否是车辆。
本发明的有益效果是：本发明提出的两层级联框架，在实际测试中，能够做到很高的车辆检测召回率和准确率，并能在各种平台下实时运行。
附图说明
图1是本发明的级联框架图；
图2是本发明的检测算法流程图。
具体实施方式
传统的机器学习虽然性能差，但是速度快，不太受限于计算资源，可以在不同的平台上部署。深度学习算法性能好的很大一部分原因，是因为利用了很深的神经网络架构，这也是导致计算速度慢的主要原因。而如果利用较浅层的网络架构，对于车辆检测来说，该网络架构所提取的特征已经足够强大，也会大大节省计算资源和内存开销，保证了实时性和很好的准确率。
为了结合传统算法和深度学习的优势，弥补两者的缺陷，本发明提出了一种基于传统算法和深度学习算法级联的车辆检测方法，不仅能保证检测的实时性，还能保证很高的准确率。
本发明的级联框架如图1所示，本发明的整体思路是，通过第一级的传统机器学习算法进行粗检测，来得到可能包含车辆的备选目标窗口，保证高召回率和检测速度；再通过第二级的深度学习算法，对提取到的备选目标进行精细分类，保证高准确率。这样的一套框架，不仅能大大提升车辆检测性能，而且由于采用了较小的深度网络架构，使得算法能不借用GPU也能实时运算。该方法不仅可以再跨平台上运行，特别是在嵌入式上，能够做到实时处理和很高的检测性能。
下面详细介绍整体框架的两级处理流程：
第一级处理步骤，即第一级基于传统机器学习的ACF算法：
基于传统机器学习的检测算法有很多，本发明选用当前速度很快的ACF[6]算法来进行说明，当然不仅仅限于这一种算法。
在第一级处理步骤中，利用聚合通道特征算法(ACF,Aggregated ChannelFeatures)进行车辆检测。该算法具有如下几大优势，1)速度较快，易于并行；2)目标为刚性物体，能得到比较稳定且准确的矩形框；3)抽取的特征易于拓展到路牌，行人等目标检测。该算法在嵌入式上能达到实时而且鲁棒的性能。
ACF算法的检测流程如图2所示。
第二级处理步骤，即第二级基于深度学习的CNN算法：
第二级基于深度学习的CNN算法，是当前使用很广泛的一类DNN架构。为了在计算资源、内存开销和检测性能上进行折中，本发明选用了一个浅层的CNN网络架构，所述CNN网络架构包括8层，从第1层至第8层分别为：输入的32x32图像层、5x5步长为1的32个卷积核层、2x2的pooling层、3x3步长为1的64个卷积核层、2x2的pooling层、512维的FC全连接层、dropout层和最后的FC全连接输出层，FC全连接输出层给出当前的分类目标是否是车辆。
本发明提出的这种两层级联框架，在实际测试中，能够做到很高的车辆检测召回率和准确率，并能在各种平台下实时运行，特别是嵌入式系统。
本发明的框架是第一级利用快速的传统机器学习检测算法，第二级是基于CNN的分类算法。第一级利用ACF算法进行备选车辆窗口的提取，但不仅仅限于该算法，有很多类似的快速传统检测算法都可以利用。第二级设计了模型大小比较适中的CNN网络架构，但不仅仅限于本发明提出的这8层架构，还可以设计各种各样参数的CNN网络架构。
ADAS：Advanced Driving Assistant System高级辅助驾驶系统；
ACF：Aggregate Channel Features聚合通道特征；
Adaboost：Adaptive Boosting自适应增强算法；
DNN：Deep Neural Network深度神经元网络；
CNN：Convolutional Neural Network卷积神经网络。
[1]Girshick,Ross,et al."Rich feature hierarchies for accurate objectdetection and semantic segmentation."Proceedings of the IEEE conference oncomputer vision and pattern recognition.2014.
[2]Girshick,Ross."Fast r-cnn."Proceedings of the IEEE InternationalConference on Computer Vision.2015.
[3]Ren,Shaoqing,et al."Faster R-CNN:Towards real-time objectdetection with region proposal networks."Advances in neural informationprocessing systems.2015.
[4]Liu,Wei,et al."SSD:Single Shot MultiBox Detector."arXiv preprintarXiv:1512.02325(2015).
[5]Redmon,Joseph,et al."You only look once:Unified,real-time objectdetection."arXiv preprint arXiv:1506.02640(2015).
[6]Dollar P,Appel R,Belongie S.Fast Feature Pyramids for ObjectDetection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2014,36(8):1532-1545.
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于传统算法和深度学习算法级联的车辆检测方法，其特征在于，包括如下步骤：
第一级处理步骤：通过第一级的机器学习算法进行车辆检测，得到备选目标窗口；
第二级处理步骤：通过第二级的深度学习算法，对提取到的备选目标窗口进行分类。
2.根据权利要求1所述的车辆检测方法，其特征在于，所述机器学习算法为ACF算法。
3.根据权利要求2所述的车辆检测方法，其特征在于，在所述第一级处理步骤中首先输入图像、然后划窗、聚和通道特征、关键层金字塔其它层插值，然后采用Adaboost算法分类，最后输出检测结果。
4.根据权利要求1至3任一项所述的车辆检测方法，其特征在于，第二级的深度学习算法包括CNN算法，并且采用CNN网络架构。
5.根据权利要求4所述的车辆检测方法，其特征在于，所述CNN网络架构包括8层，从第1层至第8层分别为：输入的32x32图像层、5x5步长为1的32个卷积核层、2x2的pooling层、3x3步长为1的64个卷积核层、2x2的pooling层、512维的FC全连接层、dropout层和最后的FC全连接输出层，FC全连接输出层给出当前的分类目标是否是车辆。
6.一种基于传统算法和深度学习算法级联的车辆检测系统，其特征在于，包括：
第一级处理模块：用于通过第一级的机器学习算法进行车辆检测，得到备选目标窗口；
第二级处理模块：用于通过第二级的深度学习算法，对提取到的备选目标窗口进行分类。
7.根据权利要求6所述的车辆检测系统，其特征在于，所述机器学习算法为ACF算法。
8.根据权利要求7所述的车辆检测系统，其特征在于，在所述第一级处理模块中首先输入图像、然后划窗、聚和通道特征、关键层金字塔其它层插值，然后采用Adaboost算法进行分类，最后输出检测结果。
9.根据权利要求6至8任一项所述的车辆检测系统，其特征在于，第二级的深度学习算法包括CNN算法，并且采用CNN网络架构。
10.根据权利要求9所述的车辆检测系统，其特征在于，所述CNN网络架构包括8层，从第1层至第8层分别为：输入的32x32图像层、5x5步长为1的32个卷积核层、2x2的pooling层、3x3步长为1的64个卷积核层、2x2的pooling层、512维的FC全连接层、dropout层和最后的FC全连接输出层，FC全连接输出层给出当前的分类目标是否是车辆。
CN201611129798.5A 2016-12-09 2016-12-09 基于传统算法和深度学习算法级联的车辆检测方法及系统 Pending CN106650647A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611129798.5A CN106650647A (zh) 2016-12-09 2016-12-09 基于传统算法和深度学习算法级联的车辆检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611129798.5A CN106650647A (zh) 2016-12-09 2016-12-09 基于传统算法和深度学习算法级联的车辆检测方法及系统

Publications (1)

Publication Number Publication Date
CN106650647A true CN106650647A (zh) 2017-05-10

Family

ID=58825424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611129798.5A Pending CN106650647A (zh) 2016-12-09 2016-12-09 基于传统算法和深度学习算法级联的车辆检测方法及系统

Country Status (1)

Country Link
CN (1) CN106650647A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107633199A (zh) * 2017-08-07 2018-01-26 浙江工业大学 一种基于深度学习的苹果采摘机器人果实目标检测方法
CN108021891A (zh) * 2017-12-05 2018-05-11 广州大学 基于深度学习与传统算法结合的车辆环境识别方法和系统
CN109283924A (zh) * 2017-07-19 2019-01-29 通用汽车环球科技运作有限责任公司 分类方法及系统
CN109784198A (zh) * 2018-12-21 2019-05-21 北方工业大学 机场遥感图像飞机辨识方法及装置
CN110307982A (zh) * 2019-06-19 2019-10-08 电子科技大学 基于CNN和Adaboost的轴承故障分类方法
CN110853389A (zh) * 2019-11-21 2020-02-28 白犀牛智达(北京)科技有限公司 一种适用于无人物流车的路测监控系统
US11282389B2 (en) 2018-02-20 2022-03-22 Nortek Security & Control Llc Pedestrian detection for vehicle driving assistance

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105631440A (zh) * 2016-02-22 2016-06-01 清华大学 一种易受伤害道路使用者的联合检测方法
CN105678231A (zh) * 2015-12-30 2016-06-15 中通服公众信息产业股份有限公司 一种基于稀疏编码和神经网络的行人图片检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678231A (zh) * 2015-12-30 2016-06-15 中通服公众信息产业股份有限公司 一种基于稀疏编码和神经网络的行人图片检测方法
CN105631440A (zh) * 2016-02-22 2016-06-01 清华大学 一种易受伤害道路使用者的联合检测方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109283924A (zh) * 2017-07-19 2019-01-29 通用汽车环球科技运作有限责任公司 分类方法及系统
CN107633199A (zh) * 2017-08-07 2018-01-26 浙江工业大学 一种基于深度学习的苹果采摘机器人果实目标检测方法
CN108021891A (zh) * 2017-12-05 2018-05-11 广州大学 基于深度学习与传统算法结合的车辆环境识别方法和系统
CN108021891B (zh) * 2017-12-05 2020-04-14 广州大学 基于深度学习与传统算法结合的车辆环境识别方法和系统
US11282389B2 (en) 2018-02-20 2022-03-22 Nortek Security & Control Llc Pedestrian detection for vehicle driving assistance
CN109784198A (zh) * 2018-12-21 2019-05-21 北方工业大学 机场遥感图像飞机辨识方法及装置
CN110307982A (zh) * 2019-06-19 2019-10-08 电子科技大学 基于CNN和Adaboost的轴承故障分类方法
CN110307982B (zh) * 2019-06-19 2021-01-26 电子科技大学 基于CNN和Adaboost的轴承故障分类方法
CN110853389A (zh) * 2019-11-21 2020-02-28 白犀牛智达(北京)科技有限公司 一种适用于无人物流车的路测监控系统
CN110853389B (zh) * 2019-11-21 2022-03-18 白犀牛智达(北京)科技有限公司 一种适用于无人物流车的路测监控系统

Similar Documents

Publication Publication Date Title
CN106650647A (zh) 基于传统算法和深度学习算法级联的车辆检测方法及系统
CN108876780B (zh) 一种复杂背景下桥梁裂缝图像裂缝检测方法
CN111126472B (zh) 一种基于ssd改进的目标检测方法
Wei et al. Enhanced object detection with deep convolutional neural networks for advanced driving assistance
WO2021238019A1 (zh) 基于Ghost卷积特征融合神经网络实时车流量检测系统及方法
CN101271514B (zh) 一种快速目标检测和目标输出的图像检测方法及装置
CN107844785B (zh) 一种基于尺度估计的人脸检测方法
CN110991444A (zh) 面向复杂场景的车牌识别方法及装置
CN111079739A (zh) 一种多尺度注意力特征检测方法
Zhang et al. ReYOLO: A traffic sign detector based on network reparameterization and features adaptive weighting
US11816881B2 (en) Multiple object detection method and apparatus
CN107704797B (zh) 基于安防视频中行人和车辆的实时检测方法和系统及设备
Wu et al. UAV imagery based potential safety hazard evaluation for high-speed railroad using Real-time instance segmentation
CN105184278A (zh) 一种人脸检测方法和装置
CN109543617A (zh) 基于yolo目标检测技术的智能车辆运动路况信息的检测方法
Wang et al. Railway insulator detection based on adaptive cascaded convolutional neural network
Wu et al. Automatic railroad track components inspection using hybrid deep learning framework
Zhou et al. A lightweight network for crack detection with split exchange convolution and multi-scale features fusion
Putra et al. Convolutional neural network for person detection using yolo framework
Zhu et al. Crack detection using enhanced hierarchical convolutional neural networks
Youssef et al. Real-time Egyptian License Plate Detection and Recognition using YOLO
CN110427920B (zh) 一种面向监控环境的实时行人解析方法
Dou et al. A fast traffic sign detection algorithm based on modified YOLOv3
Kinattukara et al. Clustering based neural network approach for classification of road images
Ai et al. Improve SegNet with feature pyramid for road scene parsing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170510

RJ01 Rejection of invention patent application after publication