CN109829469A - 一种基于深度学习的车辆检测方法 - Google Patents

一种基于深度学习的车辆检测方法 Download PDF

Info

Publication number
CN109829469A
CN109829469A CN201811322079.4A CN201811322079A CN109829469A CN 109829469 A CN109829469 A CN 109829469A CN 201811322079 A CN201811322079 A CN 201811322079A CN 109829469 A CN109829469 A CN 109829469A
Authority
CN
China
Prior art keywords
vehicle
deep learning
method based
checking method
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811322079.4A
Other languages
English (en)
Inventor
漆进
史鹏
张通
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201811322079.4A priority Critical patent/CN109829469A/zh
Publication of CN109829469A publication Critical patent/CN109829469A/zh
Pending legal-status Critical Current

Links

Abstract

本发明提供了一种基于深度学习的车辆检测方法。该方法包括:构建训练集与验证集；对训练集进行数据扩增；构造车辆检测网络；对车辆检测网络进行训练与预测。本发明的基于深度学习的车辆检测方法充分考虑了应用场景天气的多样性和车型的复杂性，使用基于resnet101的faster‑rcnn网络，因此，既保证了车辆检测的速度也提高了车辆检测准确度。

Description

一种基于深度学习的车辆检测方法
技术领域
本发明涉及计算机视觉技术领域，准确的说是一种基于深度学习的车辆检测方法。
背景技术
随着城市的快速发展，车辆越来越多，改善城市交通拥挤是城市一个重要的发展方向。智慧交通系统是未来城市交通管理的热门研究方向，而车辆检测则是智能交通系统的重要组成部分，一种能应对各种环境、各种气候变化，适应各种车型的车辆检测方法对于完善智能交通系统有着重要的意义。
对于车辆检测这一问题，也就是在图片中精准的找到车辆的位置，在目前专利系统中能查到的方法主要有多子区域图像特征自动学习、Kalman滤波的传统图像技术、基于HOG特征和Adaboost特征的机器学习方法，但这些方法需要大量的先验知识和巨大的计算量，对复杂场景和气候下的车辆检测鲁棒性不好，因此导致检测精度不够、检测速度不快，不能在工程中应用。
深度学习技术如火如荼，产生了R-CNN网络、YOLO、SSD等网络。R-CNN网络虽然保证了检测的精度，但是存在训练过程麻烦、训练时间久的问题。YOl0和SSD网络，虽然预测快，耗时少，但是存在检测精度不够的问题，因此上述提到的方法工程中应用较少。
发明内容
鉴于以上所述过往技术的缺点，本发明提供一种基于深度学习的车辆检测方法，以提高车辆检测的准确度和速度，
为了实现上述目的，本发明包括以下步骤：
步骤1)获取过去所搜集到的车辆数据，并做好人工标注，按照9:1的比例划分为检测模型的训练集和验证集；
步骤2)对上述训练集进行数据扩增，形成新的训练集；
步骤3)构造基于resnet101的faster-rcnn检测网络，主要包括特征提取网络、rpn网络、ROI Pooling层；
步骤4)将上述检测网络使用训练集进行模型训练，并选出在验证集表现最优的模型；
步骤5)将待测图像送入上述选出的模型进行预测，得到车辆对应的位置和概率。
上述步骤1)中所述的车辆数据主要包括：互联网上的车辆数据、特定设备采集到的道路车辆数据，需要各种天气情况下的各种车型数据。
上述步骤1)中所述的人工标注是指：将每一张图片中的车辆都用矩形框框出，对应产生一个xml文件，xml文件中记录下图中每一辆车的坐标，记录格式为[左上角x坐标，左上角y坐标，车辆宽度w，车辆高度h]，同时删掉车辆模糊或者难以标注的图片。
上述步骤2)中所述的数据扩增是指：将已经标注好的图片，做HSL变换、或者做一定角度旋转或者加白噪声模拟雾天情况，再经过人工筛选出合理的图片，构造成新的训练集。
上述步骤3)中所述特征提取网络是指：由101层卷积层构成的特征提取层，对应resnet101分类网络去掉最后的全连接和Pooling层，输出记为feature-map。
上述步骤3)中所述的rpn网络构成是：一个卷积核为3*3、stride＝1、输出channels 数量为256的卷积层，再并行接2个卷积核为1*1卷积层分别构成分类层和回归层，它们的输出channels数量分别是18和36。
上述步骤3)中所述的ROI Pooling层是：对于得到的rpn网络的一个输出框，将其区域在feature-map上抠出，然后再将抠出区域分成7*7的块，每一个块内用max-pooling取出最大值，对于ROI Pooling层输出尺寸便是7*7。
上述步骤4)中所述的在验证集中选出表现最优的模型是指：在训练过程，每经过半个 epoch存储一次模型，并在验证集上测试，根据车辆的误检率和漏检率两个指标选择出最优的模型。
上述步骤5)中所述的预测过程是指：将每一张待预测图像，首先保持长宽比不变，将短边缩放为600个像素，输入到模型中，设定一定的概率阈值，然后会得到带预测图像中的车辆检测框以及属于车辆概率。
附图说明
图1为待检测的车辆图像
图2为基于深度学习的车辆检测结果
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请参阅图一与图二，本发明的基于深度学习的车辆检测方法包括数据的标定、训练数据增强、网络的构造、检测模型训练、预测。
包括以下步骤：
步骤1)获取过去所搜集到的车辆数据，并做好人工标注，按照9:1的比例划分为检测模型的训练集和验证集；
步骤2)对上述训练集进行数据扩增，形成新的训练集；
步骤3)构造基于resnet101的faster-rcnn检测网络，主要包括特征提取网络、rpn网络、ROI Pooling层；
步骤4)将上述检测网络使用训练集进行模型训练，并选出在验证集表现最优的模型；
步骤5)将待测图像送入上述选出的模型进行预测，得到车辆对应的位置和概率。
上述步骤1)中所述的车辆数据主要包括：互联网上的车辆数据、特定设备采集到的道路车辆数据，需要各种天气情况下的各种车型数据。
上述步骤1)中所述的人工标注是指：将每一张图片中的车辆都用矩形框框出，对应产生一个xml文件，xml文件中记录下图中每一辆车的坐标，记录格式为[左上角x坐标，左上角y坐标，车辆宽度w，车辆高度h]，同时删掉车辆模糊或者难以标注的图片。
上述步骤2)中所述的数据扩增是指：将已经标注好的图片，做HSL变换、或者做一定角度旋转或者加白噪声模拟雾天情况，再经过人工筛选出合理的图片，构造成新的训练集。
上述步骤3)中所述特征提取网络是指：由101层卷积层构成的特征提取层，对应resnet101分类网络去掉最后的全连接和Pooling层，输出记为feature-map。
上述步骤3)中所述的rpn网络构成是：一个卷积核为3*3、stride＝1、输出channels 数量为256的卷积层，再并行接2个卷积核为1*1卷积层分别构成分类层和回归层，它们的输出channels数量分别是18和36。
上述步骤3)中所述的ROI Pooling层是：对于得到的rpn网络的一个输出框，将其区域在feature-map上抠出，然后再将抠出区域分成7*7的块，每一个块内用max-pooling取出最大值，对于ROI Pooling层输出尺寸便是7*7。
上述步骤4)中所述的在验证集中选出表现最优的模型是指：在训练过程，每经过半个 epoch存储一次模型，并在验证集上测试，根据车辆的误检率和漏检率两个指标选择出最优的模型。
上述步骤5)中所述的预测过程是指：将每一张待预测图像，首先保持长宽比不变，将短边缩放为600个像素，输入到模型中，设定一定的概率阈值，然后会得到带预测图像中的车辆检测框以及属于车辆概率。
本发明的基于深度学习的车辆检测方法充分考虑了应用场景天气的多样性和车型的复杂性，使用基于resnet101的faster-rcnn网络，得到准确的车辆检测模型，从而可以准确地进行车辆位置检测。
以上对本发明所提供的方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种基于深度学习的车辆检测方法，其特征在于，包括以下步骤：
步骤1)获取过去所搜集到的车辆数据，并做好人工标注，按照9:1的比例划分为检测模型的训练集和验证集；
步骤2)对上述训练集进行数据扩增，形成新的训练集；
步骤3)构造基于resnet101的faster-rcnn检测网络，主要包括特征提取网络、rpn网络、ROI Pooling层；
步骤4)将上述检测网络使用训练集进行模型训练，并选出在验证集表现最优的模型；
步骤5)将待测图像送入上述选出的模型进行预测，得到车辆对应的位置和概率。
2.根据权利要求1所述的一种基于深度学习的车辆检测方法，其特征是，在步骤1)中所述的车辆数据主要包括：互联网上的车辆数据、特定设备采集到的道路车辆数据，需要各种天气情况下的各种车型数据。
3.根据权利要求1所述的一种基于深度学习的车辆检测方法，其特征是，在步骤1)中所述的人工标注是指：将每一张图片中的车辆都用矩形框框出，对应产生一个xml文件，xml文件中记录下图中每一辆车的坐标，记录格式为[左上角x坐标，左上角y坐标，车辆宽度w，车辆高度h]，同时删掉车辆模糊或者难以标注的图片。
4.根据权利要求1所述的一种基于深度学习的车辆检测方法，其特征是，在步骤2)中所述的数据扩增是指：将已经标注好的图片，做HSL变换、或者做一定角度旋转或者加白噪声模拟雾天情况，再经过人工筛选出合理的图片，构造成新的训练集。
5.根据权利要求1所述的一种基于深度学习的车辆检测方法，其特征是，在步骤3)中所述特征提取网络是指：由101层卷积层构成的特征提取层，对应resnet101分类网络去掉最后的全连接和Pooling层，输出记为feature-map。
6.根据权利要求1所述的一种基于深度学习的车辆检测方法，其特征是，在步骤3)中所述的rpn网络构成是：一个卷积核为3*3、stride＝1、输出channels数量为256的卷积层，再并行接2个卷积核为1*1卷积层分别构成分类层和回归层，它们的输出channels数量分别是18和36。
7.根据权利要求1所述的一种基于深度学习的车辆检测方法，其特征是，在步骤3)中所述的ROI Pooling层是：对于得到的rpn网络的一个输出框，将其区域在feature-map上抠出，然后再将抠出区域分成7*7的块，每一个块内用max-pooling取出最大值，对于ROIPooling层输出尺寸便是7*7。
8.根据权利要求1所述的一种基于深度学习的车辆检测方法，其特征是，在步骤4)中所述的在验证集中选出表现最优的模型是指：在训练过程，每经过半个epoch存储一次模型，并在验证集上测试，根据车辆的误检率和漏检率两个指标选择出最优的模型。
9.根据权利要求1所述的一种基于深度学习的车辆检测方法，其特征是，在步骤5)中所述的预测过程是指：将每一张待预测图像，首先保持长宽比不变，将短边缩放为600个像素，输入到模型中，设定一定的概率阈值，然后会得到带预测图像中的车辆检测框以及属于车辆概率。
CN201811322079.4A 2018-11-08 2018-11-08 一种基于深度学习的车辆检测方法 Pending CN109829469A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811322079.4A CN109829469A (zh) 2018-11-08 2018-11-08 一种基于深度学习的车辆检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811322079.4A CN109829469A (zh) 2018-11-08 2018-11-08 一种基于深度学习的车辆检测方法

Publications (1)

Publication Number Publication Date
CN109829469A true CN109829469A (zh) 2019-05-31

Family

ID=66859087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811322079.4A Pending CN109829469A (zh) 2018-11-08 2018-11-08 一种基于深度学习的车辆检测方法

Country Status (1)

Country Link
CN (1) CN109829469A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111027415A (zh) * 2019-11-21 2020-04-17 杭州凌像科技有限公司 一种基于偏振图像的车辆检测方法
CN111274930A (zh) * 2020-04-02 2020-06-12 成都鼎安华智慧物联网股份有限公司 一种基于深度学习的安全帽佩戴以及吸烟行为识别方法
CN113591959A (zh) * 2021-07-21 2021-11-02 特瓦特能源科技有限公司 一种车辆检测方法及相关设备
CN114787886A (zh) * 2019-12-18 2022-07-22 索尼集团公司 信息处理装置、信息处理方法、程序和可移动对象

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105975941A (zh) * 2016-05-31 2016-09-28 电子科技大学 一种基于深度学习的多方向车型检测识别系统
CN107563372A (zh) * 2017-07-20 2018-01-09 济南中维世纪科技有限公司 一种基于深度学习ssd框架的车牌定位方法
CN108009509A (zh) * 2017-12-12 2018-05-08 河南工业大学 车辆目标检测方法
CN108009526A (zh) * 2017-12-25 2018-05-08 西北工业大学 一种基于卷积神经网络的车辆识别与检测方法
CN108596053A (zh) * 2018-04-09 2018-09-28 华中科技大学 一种基于ssd和车辆姿态分类的车辆检测方法和系统
CN108629279A (zh) * 2018-03-27 2018-10-09 哈尔滨理工大学 一种基于卷积神经网络的车辆目标检测的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105975941A (zh) * 2016-05-31 2016-09-28 电子科技大学 一种基于深度学习的多方向车型检测识别系统
CN107563372A (zh) * 2017-07-20 2018-01-09 济南中维世纪科技有限公司 一种基于深度学习ssd框架的车牌定位方法
CN108009509A (zh) * 2017-12-12 2018-05-08 河南工业大学 车辆目标检测方法
CN108009526A (zh) * 2017-12-25 2018-05-08 西北工业大学 一种基于卷积神经网络的车辆识别与检测方法
CN108629279A (zh) * 2018-03-27 2018-10-09 哈尔滨理工大学 一种基于卷积神经网络的车辆目标检测的方法
CN108596053A (zh) * 2018-04-09 2018-09-28 华中科技大学 一种基于ssd和车辆姿态分类的车辆检测方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
朱茂桃等: "基于 ＲCNN 的车辆检测方法研究", 《机电工程》 *
王林等: "Faster_R-CNN模型在车辆检测中的应用", 《计算机应用》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111027415A (zh) * 2019-11-21 2020-04-17 杭州凌像科技有限公司 一种基于偏振图像的车辆检测方法
CN114787886A (zh) * 2019-12-18 2022-07-22 索尼集团公司 信息处理装置、信息处理方法、程序和可移动对象
CN111274930A (zh) * 2020-04-02 2020-06-12 成都鼎安华智慧物联网股份有限公司 一种基于深度学习的安全帽佩戴以及吸烟行为识别方法
CN113591959A (zh) * 2021-07-21 2021-11-02 特瓦特能源科技有限公司 一种车辆检测方法及相关设备

Similar Documents

Publication Publication Date Title
CN111091105B (zh) 基于新的边框回归损失函数的遥感图像目标检测方法
CN109711288B (zh) 基于特征金字塔和距离约束fcn的遥感船舶检测方法
CN111640125B (zh) 基于Mask R-CNN的航拍图建筑物检测和分割方法及装置
CN109087510B (zh) 交通监测方法及装置
CN109829469A (zh) 一种基于深度学习的车辆检测方法
CN111126472A (zh) 一种基于ssd改进的目标检测方法
CN110276264B (zh) 一种基于前景分割图的人群密度估计方法
CN113076871B (zh) 一种基于目标遮挡补偿的鱼群自动检测方法
CN109492596B (zh) 一种基于K-means聚类和区域推荐网络的行人检测方法及系统
CN111461212B (zh) 一种用于点云目标检测模型的压缩方法
CN111488873B (zh) 一种基于弱监督学习的字符级场景文字检测方法和装置
CN110796048A (zh) 一种基于深度神经网络的船舰目标实时检测方法
KR20200091331A (ko) 다중 카메라 혹은 서라운드 뷰 모니터링에 이용되기 위해, 타겟 객체 통합 네트워크 및 타겟 영역 예측 네트워크를 이용하여 핵심성과지표와 같은 사용자 요구 사항에 적응 가능한 cnn 기반 객체 검출기를 학습하는 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치
CN112001411B (zh) 一种基于fpn结构的大坝裂缝检测算法
CN102087790B (zh) 一种低空对地车辆检测与运动分析的方法和系统
CN106780727B (zh) 一种车头检测模型重建方法及装置
CN114648665A (zh) 一种弱监督目标检测方法及系统
CN109948637A (zh) 对象检测装置、对象检测方法及计算机可读介质
CN115409069A (zh) 村镇建筑的识别方法、分类方法、装置、电子设备和介质
CN111126278A (zh) 针对少类别场景的目标检测模型优化与加速的方法
CN111353580A (zh) 目标检测网络的训练方法、电子设备及存储介质
CN110738132A (zh) 一种具备判别性感知能力的目标检测质量盲评价方法
CN114677501A (zh) 一种基于二维高斯边界框重叠度度量的车牌检测方法
CN111368634B (zh) 基于神经网络的人头检测方法、系统及存储介质
CN106845458A (zh) 一种基于核超限学习机的快速交通标识检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190531