CN109829400A - 一种快速车辆检测方法 - Google Patents

一种快速车辆检测方法 Download PDF

Info

Publication number
CN109829400A
CN109829400A CN201910047520.0A CN201910047520A CN109829400A CN 109829400 A CN109829400 A CN 109829400A CN 201910047520 A CN201910047520 A CN 201910047520A CN 109829400 A CN109829400 A CN 109829400A
Authority
CN
China
Prior art keywords
scale
layer
vehicle
feature
under
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910047520.0A
Other languages
English (en)
Other versions
CN109829400B (zh
Inventor
王国栋
王亮亮
潘振宽
徐洁
王岩杰
李宁孝
胡诗语
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao University
Original Assignee
Qingdao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao University filed Critical Qingdao University
Priority to CN201910047520.0A priority Critical patent/CN109829400B/zh
Publication of CN109829400A publication Critical patent/CN109829400A/zh
Application granted granted Critical
Publication of CN109829400B publication Critical patent/CN109829400B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明属于深度学习中的视频检测技术领域,具体涉及一种基于车窗特征的快速车辆检测方法,提出以车窗代替车体作为目标物进行检测,结合ResNet网络的残差模块和SSD算法的多尺度特征提取方法,借鉴YOLOv3的网络结构,构建了只有24个卷积层的全卷积检测方法;在车流量较大的情况下,批量测试时,平均检测精度接近100%,平均检出率达到90%,检测速度达到22毫秒/帧,实现对道路高清监控视频中车辆的实时检测,有效的提高较大车流量中车辆的检出率,具有重要的应用价值。

Description

一种快速车辆检测方法
技术领域:
本发明属于深度学习中的视频检测技术领域,具体涉及一种基于车窗特征的快速车辆检测方法,特别是一种能快速实现对运动车辆状态检测的方法。
背景技术:
目前,基于卷积神经网络(Convolutional Neural Networks,CNN)的深度学习算法发展迅猛,依靠其强大的特征提取能力,在目标检测识别方面取得了很高的精度。但目前的基于深度学习的检测算法有一大缺点,就是速度问题,如Faster R-CNN等带有regionproposal(提前选取感兴趣区域,然后进一步做检测)步骤的算法,检测精度很高,如中国专利CN2018106089322公开了一种大型施工车辆扬臂检测算法,收集图片,采用Faster RCNN算法检测,计算车身面积与整个车辆面积的比,达到更好的检测准确率。但Faster R-CNN的检测速度却不能达到多目标高清视频实时检测的要求。深度学习领域以速度著称的YOLO(You Only Look Once)将物体检测作为回归问题求解,基于一个单独的端到端的网络,完成从原始图像的输入到物体位置和类别的输出,没有显式的提取region proposal的过程,大大的提高了检测速度,使得YOLOv1在较小图片的检测速度上达到了45FPS,其简化版本达到了155FPS,满足了高清视频实时检测所需的检测速度,但它却牺牲了很多精度。YOLOv3的出现,使得检测精度大大提高,速度降低了一些,对于目标物较少的低像素视频还可以达到实时检测的要求,但面对多目标物的高清监控视频,YOLOv3的速度就难以达到实时检测的要求。
现有技术中,在道路监控设备中需要嵌入检测系统,用来实时生成道路状况,或者统计车流量。这时,监控视野范围内的车辆数量很多,单帧视频生成的图像中经常会出现20个目标物,且高清监控视频单帧图片的像素值较大,此时YOLOv3速度上是达不到实时检测的要求。如中国专利CN2016105281180公开了基于局部特征分析的车辆排队长度快速检测算法,将视频检测区域从整幅图像优化到图像的局部特征,在检测车辆排队长度这一交通信息中仅选取包含车道画面的三列像素值,在加权重构的基础上形成一维特征数组进行分析,运算速率快准确率高,单帧处理耗时10ms。此外还存在的一个问题是,车辆较多时,存在前后车辆之间的相互遮挡,此时视野中车辆的整体特征点不完全,两辆车特征点相互融合,在用非极大值抑制处理时,经常造成将多辆车框在一起,识别为一辆车的情况,这样就会大大降低对车辆的检测识别精度,这也是车辆检测中的一个难点。
发明内容:
本发明的目的在于克服现有技术存在的不足,寻求设计一种快速车辆检测方法,基于车窗特征作为被检测对象,结合ResNet(残差连接网络)的残差模块和SSD(SingleShot Detector)算法的多尺度特征提取工艺,借鉴YOLOv3的网络结构,构建只有24个卷积层的全卷积检测方法,更好的解决道路上运动车辆检测中相互遮挡车辆难以准确检出的问题和现有基于深度学习的检测算法不能实时对监控视频中的车辆做检测的问题。
为了实现上述目的,本发明提供的快速车辆检测方法,其工艺过程包括以下步骤:
(1)采集数据:从对道路中的车辆进行实时交通监控视频中截取不同条件下的大量图片,图片大小为1920px×1080px,将此作为数据;
(2)数据标注:基于车窗特征对步骤(1)中采集的图片做数据标注,采用labelimg标注工具在图片中用矩形框分别将车辆的前车窗和后车窗作为目标物框起来,并附带车辆的类别标签进行标注,将画出的每个矩形框在图片上的像素点坐标信息以xml数据格式保存在.xml文件中,生成包含有图片中车辆的前后车窗位置信息和车辆的类别信息的.xml文件,以供训练和测试时使用;
(3)构建基础网络:在步骤(2)数据标注方式下,使用ResNet网络的残差连接,按照特征层尺度像素大小对输入图片逐层进行特征点提取,依次形成特征层尺度分别为208px×208px、104px×104px、52px×52px、26px×26px的四个部分,将同一尺度的不同特征层的信息融合,构建13层的全卷积小型基础网络;
(4)构建检测方法:借鉴SSD的多尺度特征提取方法,在步骤(3)构建的基础网络的基础上利用多层特征提取技术,分别从基础网络中尺度为104px×104px、52px×52px、26px×26px的残差连接层(Residual)提取特征层信息并融合到检测网络,与检测网络中相对应的特征层经过上采样后的特征信息融合;然后用1×1卷积生成与检测目标物种类数相对应的张量,即:
(26×26+52×52+104×104)×(3×(4+1+C))维张量;再经过sigmoid函数和0.5阈值的筛选,选取最高置信度的种类作为预测种类;经过对多个预测框进行NMS(非极大值抑制)得到最终预测框;再得到预测目标车辆的类别和位置信息,构成检测方法,实现对道路运动中车辆的快速检测;
(5)训练数据:将步骤(2)中标注好的大量图片选取80%作为训练数据,剩余20%作为测试图片;利用步骤(4)中检测方法对训练数据进行训练,当loss值小于设定的值时停止训练;得到一个“.weights”为后缀的权重模型;
(6)应用测试:步骤(4)中的检测方法将以步骤(5)中生成的权重模型为标准,对测试图片做预测,查看测试精度和测试速度;当测试精度和速度符合要求时,此时构建的检测方法便达到了要求;然后利用构建好的检测方法和训练好的权重模型对带有目标车辆的图片或者道路交通视频做检测,实时识别出车辆,完成对运动车辆的检测。
其中,本发明步骤(1)采集数据中,为了使检测方法能够适用于各种不同的道路场景,从交通监控视频中截取图片时,所述不同条件指不同路段、不同道路状况、不同天气或不同时间。
其中,本发明步骤(2)数据标注中,所述车辆的类别标签分为“bus”和“car”两类,其中“bus”类包括公交车与大巴车,“car”类包括小型汽车与SUV车型。
其中,本发明步骤(3)构建基础网络中,特征层尺度为208px×208px部分的形成过程为:首先将图片像素大小调整为416px×416px作为数据输入到网络中,使用16个3×3大小的卷积,步幅为1对特征层进行加深和特征提取;然后使用32个3×3大小的卷积,步幅为2对特征层进一步加深,降低该层特征图尺度到208px×208px大小,并进行特征提取,得到208px×208px尺度下的第一层;接着再用1×1卷积,步幅为1融合提取的特征,得到208px×208px尺度下的第二层;用3×3卷积,步幅为1增加特征层深度到32张208px×208px大小的特征图,得到208px×208px尺度下的第三层;最后借鉴ResNet网络的残差连接,将208px×208px尺度下的第一层与208px×208px尺度下的第三层的特征残差连接,形成特征图为208px×208px尺度下的残差连接层。
其中,本发明步骤(3)构建基础网络中,特征层尺度为104px×104px部分的形成过程为:对208px×208px尺度下的残差连接层的特征图用64个3×3的卷积,步幅为2进行特征提取,降低该层特征图尺度到104px×104px大小,并进行特征提取,得到104px×104px尺度下的第一层;接着使用1×1卷积,步幅为1融合提取的特征,得到104px×104px尺度下的第二层;再用3×3卷积,步幅为1再次加深特征层至64张104px×104px大小的特征图,得到104px×104px尺度下的第三层;将104px×104px尺度下的第一层与104px×104px尺度下的第三层的特征进行残差连接,形成特征图为104px×104px尺度下的残差连接层。
其中,本发明步骤(3)构建基础网络中,特征层尺度为52px×52px部分的形成过程为:对104px×104px尺度下的残差连接层的特征图用128个3×3的卷积,步幅为2进行特征提取,降低该层特征图尺度到52px×52px大小,并进行特征提取,得到52px×52px尺度下的第一层;接着使用1×1卷积,步幅为1融合提取的特征,得到52px×52px尺度下的第二层;再用3×3卷积,步幅为1再次加深特征层至128张52px×52px大小的特征图,得到52px×52px尺度下的第三层;将52px×52px尺度下的第一层与52px×52px尺度下的第三层的特征进行残差连接,形成特征图为52px×52px的残差连接层。
其中,本发明步骤(3)构建基础网络中,特征层尺度为26px×26px部分的形成过程为:对52px×52px尺度下的残差连接层的特征图用256个3×3的卷积,步幅为2进行特征提取,降低该层特征图尺度到26px×26px大小,并进行特征提取,得到26px×26px尺度下的第一层;接着使用1×1卷积,步幅为1融合特征,得到26px×26px尺度下的第二层;再用3×3卷积,步幅为1再次加深特征层至256张26px×26px大小的特征图,得到26px×26px尺度下的第三层;将26px×26px尺度下的第一层与26px×26px尺度下的第三层的特征进行残差连接,形成特征图为26px×26px的残差连接层。
其中,本发明步骤(3)中,所述构建的基础网络的具体结构为:
本发明中,基于车窗特征的数据标注方式下,车窗特性比较简单,特征比较明显,所以不需要构建太多的特征提取层,只需要少量的边缘特征和区域特征即可,根据这点设计了轻量级的车窗检测基础网络,依次形成特征层尺度分别为208px×208px、104px×104px、52px×52px、26px×26px的四个部分,特征图逐层加深,特征点逐层提取,单位特征点对应感受野逐层增大;在每部分的第一层与该部分第三层直连,将同一尺度的不同特征层的信息融合,保证训练时更容易取得最优结果,有效防止出现梯度消失问题,由此构建13层的全卷积小型基础网络。尺度为104px×104px的残差连接层保留更多细粒度特征,有利于检测局部特征点;尺度为26px×26px的残差连接层的特征高度抽象,可以获得大的感受野,便于检测整体性特征。
本发明中将尺度为104px×104px、52px×52px、26px×26px的残差连接层的特征融合到检测网络,与检测网络中相对应的特征层经过上采样后的特征信息融合,增强目标车辆特征点信息;提高检测精度。
本发明提供的检测方法由C++写成,依赖环境少,方便地嵌入到道路视频监控设备系统中,或者以插件的形式安装在客户端,实现对道路交通视频中车辆的实时检测与统计。
本发明技术方案的实现过程是:由道路视频监控设备监测车辆行驶状况和驾驶人的状态,道路视频监控设备的摄像头能拍摄到所有车辆的前挡风玻璃,同时也能看到后挡风玻璃;将车辆的前后车窗代替整个车辆作为被检测对象,不同车窗的特征差异较小,使得被检测目标物的特征较稳定,有利于检测识别;车窗的特征点数量远少于整个车辆的特征点数量,由此构建一个小型检测方法,在保障精度的前提下,提升检测速度,使得检测方法达到对高清监控视频实时检测的要求;再结合残差连接网络(ResNet)的残差模块和SSD算法的多尺度特征提取方法,借鉴YOLOv3的网络结构,构建有24个卷积层的全卷积检测方法,实现对运动车辆的实时快速检测。
本发明与现有技术相比,具有以下优点和显著进步:对道路高清监控视频中存在不同程度遮挡的不同尺寸的目标物的检测中获得良好的效果;经测试,在车流量较大的情况下,每张图片包含的车辆数均在25辆以上,检出率最高达到95%,检测精度接近100%,检测速度达到了22毫秒/帧(45FPS);批量测试中,保证检测精度接近100%的情况下,平均检出率接近90%,做到对道路高清监控视频中车辆的实时检测识别,有效的提高较大车流量中车辆的检出率,具有重要的应用价值。
附图说明:
图1是本发明涉及的检测方法的整体构建结构原理示意图。
图2是在双向车道的较高位置的监控设备拍摄的视频截图,其中图2.(a)为原图,图2.(b)为Faster R-CNN检测算法识别效果图,图2.(c)为本发明的检测方法识别效果图。
图3是较近距离的监控拍摄截图,其中图3.(a)为原图,图3.(b)为Faster R-CNN检测算法识别效果图,图3.(c)为本发明的检测方法识别效果图。
图4是某十字路口的常规监控视频截图,其中图4.(a)为原图,图4.(b)为FasterR-CNN检测算法识别效果图,图4.(c)为本发明的检测方法识别效果图。
具体实施方式:
下面结合附图对本发明的具体实施方式作进一步说明。
实施例1:
本实施例涉及一种快速车辆检测方法及其应用测试,其具体工艺过程包括以下步骤:
(1)采集数据:因各种复杂的交通路况、天气状况、不同时间段,会对监控视频的目标车辆数量及分布状态、明暗度、色彩饱和度造成的不同影响;为了使检测方法能够适用于各种不同的道路场景,采集训练数据时选择从交通监控视频中截取不同路段、不同道路状况、不同天气、不同时间条件下的大量图片,图片中车流量较大,每张图片包含的车辆数均在25辆以上,图片大小为1920px×1080px,将此作为数据;
(2)数据标注:对步骤(1)中采集的图片做数据标注,基于车窗特征的检测方法将车辆的前车窗和后车窗分别作为目标物进行识别;用labelimg标注工具对图片中车辆的前车窗和后车窗分别进行标注,生成包含有图片中车辆前后车窗位置信息和车辆类别信息的xml数据格式的.xml文件;
针对道路中交通监控视频,车辆的类别信息标注为“bus”和“car”两类,“bus”类包含公交车与大巴车,“car”类包含小型汽车与SUV车型;
(3)构建基础网络:在步骤(2)数据标注方式下,被检测目标车辆的特征点大幅减少,每层卷积中使用的卷积核数量较少,促成其网络结构的精简;基础网络借鉴ResNet网络的残差模块(residual blocks),首先将图片像素大小调整为416px×416px作为数据输入到网络中,使用16个3×3大小的卷积,步幅为1对特征层进行加深和特征提取;然后使用32个3×3大小的卷积,步幅为2对特征层进一步加深,降低该层特征图尺度到208px×208px大小,并进行特征提取,得到208px×208px尺度下的第一层;接着再用1×1卷积融合提取的特征,得到208px×208px尺度下的第二层;用3×3卷积增加特征层深度到32张208px×208px大小的特征图,得到208px×208px尺度下的第三层;最后借鉴ResNet网络的残差连接,将208px×208px尺度下的第一层与208px×208px尺度下的第三层的特征进行残差连接,形成特征图为208px×208px尺度下的残差连接层;
接着对208px×208px尺度下的残差连接层的特征图用64个3×3的卷积进行特征提取,降低该层特征图尺度到104px×104px大小,并进行特征提取,得到104px×104px尺度下的第一层;接着使用1×1卷积融合提取的特征,得到104px×104px尺度下的第二层;再用3×3卷积再次加深特征层至64张104px×104px大小的特征图,得到104px×104px尺度下的第三层;将104px×104px尺度下的第一层与104px×104px尺度下的第三层的特征进行残差连接,形成特征图为104px×104px尺度下的残差连接层;
接着对104px×104px尺度下的残差连接层的特征图用128个3×3的卷积进行特征提取,降低该层特征图尺度到52px×52px大小,并进行特征提取,得到52px×52px尺度下的第一层;接着使用1×1卷积融合提取的特征,得到52px×52px尺度下的第二层;再用3×3卷积再次加深特征层至128张52px×52px大小的特征图,得到52px×52px尺度下的第三层;将52px×52px尺度下的第一层与52px×52px尺度下的第三层的特征进行残差连接,形成特征图为52px×52px的残差连接层;
接着对52px×52px尺度下的残差连接层的特征图用256个3×3的卷积进行特征提取,降低该层特征图尺度到26px×26px大小,并进行特征提取,得到26px×26px尺度下的第一层;接着使用1×1卷积融合特征,得到26px×26px尺度下的第二层;再用3×3卷积再次加深特征层至256张26px×26px大小的特征图,得到26px×26px尺度下的第三层;将26px×26px尺度下的第一层与26px×26px尺度下的第三层的特征进行残差连接,形成特征图为26px×26px的残差连接层;
由此形成特征图尺度像素大小为208px×208px、104px×104px、52px×52px、26px×26px的四部分,特征图逐层加深,特征点逐层提取,单位特征点对应感受野逐层增大;在每部分的最后一层与该部分第一层直连,将同一尺度的不同特征层的信息融合,保证训练时更容易取得最优结果,有效防止梯度消失问题的出现,由此构建13层的全卷积小型基础网络,其具体的网络结构为:
(4)构建检测方法:借鉴SSD的多尺度特征提取方法,在步骤(3)构建的基础网络的基础上利用多层特征提取技术,分别从基础网络中尺度为104px×104px、52px×52px、26px×26px的残差连接层(Residual)提取特征图信息,以获得三个不同尺度的特征图;再在尺度为26px×26px的残差连接层获得大的感受野,便于检测较大目标车辆;在尺度为104px×104px的残差连接层保留更多细粒度特征,有利于检测小尺寸的目标车辆;将这三个尺度下的特征融合到检测网络,与检测网络中相对应的特征层经过上采样后的特征信息融合;然后用1×1卷积生成与检测目标物种类数相对应的张量,即:
(26×26+52×52+104×104)×(3×(4+1+C))维张量;再经过sigmoid函数和0.5阈值的筛选,选取最高置信度的种类作为预测种类;经过对多个预测框进行NMS(非极大值抑制)得到最终预测框;再得到预测目标车辆的类别和位置信息,构成检测方法,实现对道路运动中车辆的快速检测,如图1;
(5)训练数据:将步骤(2)中标注好的大量图片选取80%作为训练数据,剩余20%作为测试图片;利用步骤(4)中检测方法对数据集进行训练,当loss值小于设定的值时停止训练;得到一个“.weights”为后缀的权重模型;
(6)应用测试:步骤(4)中的检测方法将以步骤(5)中生成的权重模型为标准,对测试图片做预测,查看测试精度和测试速度;当测试精度和速度符合要求时,此时构建的检测方法便达到了要求;然后利用构建好的检测方法和训练好的权重模型对带有目标车辆的图片或者道路交通视频做检测,实时识别出车辆,完成对运动车辆的检测。
实施例2:
本实施例选取双向车道的较高位置的视频监控设备拍摄的视频截图,将本发明的检测方法与Faster R-CNN检测算法对比,见图2;其中,图2.(a)中可以看出,在道路左侧有三辆停靠在路边的车,被树枝遮挡,道路中车辆较多,且存在相互遮挡;图2.(b)可以看出,Faster R-CNN检测算法识别效果不理想,检出率为55%,检测精度即检测正确率为100%,有较近车辆未检出的情况,也有因车辆间相互遮挡而导致的将两个车辆识别为一个车辆的情况,这样对车流的统计会有很大的影响,且其检测速度较本检测方法的检测速度更慢;图2.(c)可以看出,本发明的检测方法有较好的表现,近距离内相互遮挡的车辆都被检出,检出率达到95%,检测精度为100%。
实施例3:
本实施例选取较近距离的视频监控拍摄,车流量较大,镜头中的区域车辆之间相互遮挡严重,如图3(a);将本发明的检测方法与Faster R-CNN检测算法对比,图3.(b)可以看出,Faster R-CNN对这种存在严重遮挡问题的车辆检出率为57%,检测精度为85%,普遍存在将多辆车识别为一个车辆的情况,且其IOU(Intersection over Union)误差较大;图3.(c)可以看出,本方法检测效果优于现有技术,检出率为79%,检测精度为100%,边界上的车辆存在没检出的情况,其余相互遮挡的车辆都很清晰明了的检出并标注。
实施例4:
本实施例选取某十字路口的常规监控视频截图,如图4,图中有“bus”类;图4.(b)可以看出,对于没有相互遮挡的车辆Faster R-CNN还是可以较为准确的检测出的,但在车辆密集处便会出错,此图检出率为60%,检测精度为92%;图4.(c)看出,本发明的检测方法表现较好,此图检出率为93%,检测精度为100%,优于现有技术。
在NVIDIA Tesla K80显卡下,YOLOv3检测速度为111毫秒每帧,实施例2-4中,本发明的检测方法达到了22毫秒每帧的速度(45FPS)。

Claims (10)

1.一种快速车辆检测方法,其特征在于,所述快速车辆检测方法包括以下步骤:
(1)采集数据:从对道路中的车辆进行实时交通监控视频中截取不同条件下的大量图片,图片大小为1920px×1080px,将此作为数据;
(2)数据标注:基于车窗特征对步骤(1)中采集的图片做数据标注,采用labelimg标注工具在图片中用矩形框分别将车辆的前车窗和后车窗作为目标物框起来,并附带车辆的类别标签进行标注,将画出的每个矩形框在图片上的像素点坐标信息以xml数据格式保存在.xml文件中,生成包含有图片中车辆的前后车窗位置信息和车辆的类别信息的.xml文件,以供训练和测试时使用;
(3)构建基础网络:在步骤(2)数据标注方式下,使用ResNet网络的残差连接,按照特征层尺度像素大小对输入图片逐层进行特征点提取,依次形成特征层尺度分别为208px×208px、104px×104px、52px×52px、26px×26px的四个部分,将同一尺度的不同特征层的信息融合,构建13层的全卷积小型基础网络;
(4)构建检测方法:借鉴SSD的多尺度特征提取方法,在步骤(3)构建的基础网络的基础上利用多层特征提取技术,分别从基础网络中尺度为104px×104px、52px×52px、26px×26px的残差连接层提取特征层信息并融合到检测网络,与检测网络中相对应的特征层经过上采样后的特征信息融合;然后用1×1卷积生成与检测目标物种类数相对应的张量,即:(26×26+52×52+104×104)×(3×(4+1+C))维张量;再经过sigmoid函数和0.5阈值的筛选,选取最高置信度的种类作为预测种类;经过对多个预测框进行非极大值抑制得到最终预测框;再得到预测目标车辆的类别和位置信息,构成检测方法;
(5)训练数据;
(6)应用测试。
2.根据权利要求1所述的一种快速车辆检测方法,其特征在于,步骤(1)中所述不同条件指不同路段、不同道路状况、不同天气或不同时间;步骤(2)中所述车辆的类别标签分为“bus”和“car”两类,其中“bus”类包括公交车与大巴车,“car”类包括小型汽车与SUV车型的汽车。
3.根据权利要求1-2所述的一种快速车辆检测方法,其特征在于,步骤(3)中所述特征层尺度为208px×208px部分的形成过程为:首先将图片像素大小调整为416px×416px作为数据输入到网络中,使用16个3×3大小的卷积,步幅为1对特征层进行加深和特征提取;然后使用32个3×3大小的卷积,步幅为2对特征层进一步加深,降低该层特征图尺度到208px×208px大小,并进行特征提取,得到208px×208px尺度下的第一层;接着再用1×1卷积,步幅为1融合提取的特征,得到208px×208px尺度下的第二层;用3×3卷积,步幅为1增加特征层深度到32张208px×208px大小的特征图,得到208px×208px尺度下的第三层;最后借鉴ResNet网络的残差连接,将208px×208px尺度下的第一层与208px×208px尺度下的第三层的特征残差连接,形成特征图为208px×208px尺度下的残差连接层。
4.根据权利要求1-2所述的一种快速车辆检测方法,其特征在于,步骤(3)中所述特征层尺度为104px×104px部分的形成过程为:对208px×208px尺度下的残差连接层的特征图用64个3×3的卷积,步幅为2进行特征提取,降低该层特征图尺度到104px×104px大小,并进行特征提取,得到104px×104px尺度下的第一层;接着使用1×1卷积,步幅为1融合提取的特征,得到104px×104px尺度下的第二层;再用3×3卷积,步幅为1再次加深特征层至64张104px×104px大小的特征图,得到104px×104px尺度下的第三层;将104px×104px尺度下的第一层与104px×104px尺度下的第三层的特征进行残差连接,形成特征图为104px×104px尺度下的残差连接层。
5.根据权利要求1-2所述的一种快速车辆检测方法,其特征在于,步骤(3)中所述特征层尺度为52px×52px部分的形成过程为:对104px×104px尺度下的残差连接层的特征图用128个3×3的卷积,步幅为2进行特征提取,降低该层特征图尺度到52px×52px大小,并进行特征提取,得到52px×52px尺度下的第一层;接着使用1×1卷积,步幅为1融合提取的特征,得到52px×52px尺度下的第二层;再用3×3卷积,步幅为1再次加深特征层至128张52px×52px大小的特征图,得到52px×52px尺度下的第三层;将52px×52px尺度下的第一层与52px×52px尺度下的第三层的特征进行残差连接,形成特征图为52px×52px的残差连接层。
6.根据权利要求1-2所述的一种快速车辆检测方法,其特征在于,步骤(3)中所述特征层尺度为26px×26px部分的形成过程为:对52px×52px尺度下的残差连接层的特征图用256个3×3的卷积,步幅为2进行特征提取,降低该层特征图尺度到26px×26px大小,并进行特征提取,得到26px×26px尺度下的第一层;接着使用1×1卷积,步幅为1融合特征,得到26px×26px尺度下的第二层;再用3×3卷积,步幅为1再次加深特征层至256张26px×26px大小的特征图,得到26px×26px尺度下的第三层;将26px×26px尺度下的第一层与26px×26px尺度下的第三层的特征进行残差连接,形成特征图为26px×26px的残差连接层。
7.根据权利要求1-2所述的一种快速车辆检测方法,其特征在于,步骤(3)中所述13层的全卷积小型基础网络的具体结构为:
8.根据权利要求1所述的一种快速车辆检测方法,其特征在于,步骤(5)中所述训练数据的操作过程为:将步骤(2)中标注好的大量图片选取80%作为训练数据,剩余20%作为测试图片;利用步骤(4)中检测方法对训练数据进行训练,当loss值小于设定的值时停止训练;得到一个“.weights”为后缀的权重模型。
9.根据权利要求1所述的一种快速车辆检测方法,其特征在于,步骤(6)中所述应用测试的操作过程为:步骤(4)中的检测方法将以步骤(5)中生成的权重模型为标准,对测试图片做预测,查看测试精度和测试速度;当测试精度和速度符合要求时,此时构建的检测方法便达到了要求;然后利用构建好的检测方法和训练好的权重模型对带有目标车辆的图片或者道路交通视频做检测,实时识别出车辆,完成对运动车辆的检测。
10.权利要求1-9任一所述的一种快速车辆检测方法在道路高清监控视频中车辆的实时检测中的应用,其特征在于,所述快速车辆检测方法的平均检测精度接近100%,平均检出率达到90%,检测速度达到22毫秒/帧。
CN201910047520.0A 2019-01-18 2019-01-18 一种快速车辆检测方法 Active CN109829400B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910047520.0A CN109829400B (zh) 2019-01-18 2019-01-18 一种快速车辆检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910047520.0A CN109829400B (zh) 2019-01-18 2019-01-18 一种快速车辆检测方法

Publications (2)

Publication Number Publication Date
CN109829400A true CN109829400A (zh) 2019-05-31
CN109829400B CN109829400B (zh) 2023-06-30

Family

ID=66861735

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910047520.0A Active CN109829400B (zh) 2019-01-18 2019-01-18 一种快速车辆检测方法

Country Status (1)

Country Link
CN (1) CN109829400B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263679A (zh) * 2019-06-03 2019-09-20 西安交通大学 一种基于深度神经网络的细粒度车辆检测方法
CN110472467A (zh) * 2019-04-08 2019-11-19 江西理工大学 基于YOLO v3的针对交通枢纽关键物体的检测方法
CN110580505A (zh) * 2019-08-29 2019-12-17 杭州火小二科技有限公司 一种基于餐盘识别的智慧收银方法
CN110838112A (zh) * 2019-11-08 2020-02-25 上海电机学院 一种基于霍夫变换和YOLOv3网络的绝缘子缺损检测方法
CN110852358A (zh) * 2019-10-29 2020-02-28 中国科学院上海微系统与信息技术研究所 一种基于深度学习的车辆类型判别方法
CN110929632A (zh) * 2019-11-19 2020-03-27 复旦大学 面向复杂场景的车辆目标检测方法及装置
CN110991337A (zh) * 2019-12-02 2020-04-10 山东浪潮人工智能研究院有限公司 一种基于自适应双路检测网络的车辆检测方法
CN111461083A (zh) * 2020-05-26 2020-07-28 青岛大学 基于深度学习的快速车辆检测方法
CN111523558A (zh) * 2019-12-27 2020-08-11 珠海大横琴科技发展有限公司 一种基于电子围网的船只遮挡检测方法、装置及电子设备
CN111598154A (zh) * 2020-05-14 2020-08-28 汇鼎数据科技(上海)有限公司 一种基于ai分析技术的车辆识别感知方法
CN111695514A (zh) * 2020-06-12 2020-09-22 长安大学 一种基于深度学习的雾天下车辆检测方法
CN113537169A (zh) * 2021-09-16 2021-10-22 深圳市信润富联数字科技有限公司 手势识别方法、设备、存储介质和计算机程序产品
CN114005105A (zh) * 2021-12-30 2022-02-01 青岛以萨数据技术有限公司 驾驶行为检测方法、装置以及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160375904A1 (en) * 2015-06-29 2016-12-29 The Regents Of The University Of California Multiple-parts based vehicle detection integrated with lane detection for improved computational efficiency and robustness
CN106611162A (zh) * 2016-12-20 2017-05-03 西安电子科技大学 基于深度学习ssd框架的道路车辆实时检测方法
US20180068429A1 (en) * 2015-04-15 2018-03-08 Institute Of Automation Chinese Academy Of Sciences Image Steganalysis Based on Deep Learning
CN108491827A (zh) * 2018-04-13 2018-09-04 腾讯科技(深圳)有限公司 一种车辆检测方法、装置及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180068429A1 (en) * 2015-04-15 2018-03-08 Institute Of Automation Chinese Academy Of Sciences Image Steganalysis Based on Deep Learning
US20160375904A1 (en) * 2015-06-29 2016-12-29 The Regents Of The University Of California Multiple-parts based vehicle detection integrated with lane detection for improved computational efficiency and robustness
CN106611162A (zh) * 2016-12-20 2017-05-03 西安电子科技大学 基于深度学习ssd框架的道路车辆实时检测方法
CN108491827A (zh) * 2018-04-13 2018-09-04 腾讯科技(深圳)有限公司 一种车辆检测方法、装置及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHIMEI ZHANG,ET AL: "Vision-based vehicle detecting and counting for traffic flow analysis", 2016 INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS, pages 2267 - 2273 *
曹诗雨;刘跃虎;李辛昭: "基于Fast R-CNN的车辆目标检测", 中国图象图形学报, vol. 22, no. 5, pages 671 - 677 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110472467A (zh) * 2019-04-08 2019-11-19 江西理工大学 基于YOLO v3的针对交通枢纽关键物体的检测方法
CN110263679A (zh) * 2019-06-03 2019-09-20 西安交通大学 一种基于深度神经网络的细粒度车辆检测方法
CN110580505A (zh) * 2019-08-29 2019-12-17 杭州火小二科技有限公司 一种基于餐盘识别的智慧收银方法
CN110852358A (zh) * 2019-10-29 2020-02-28 中国科学院上海微系统与信息技术研究所 一种基于深度学习的车辆类型判别方法
CN110838112A (zh) * 2019-11-08 2020-02-25 上海电机学院 一种基于霍夫变换和YOLOv3网络的绝缘子缺损检测方法
CN110929632A (zh) * 2019-11-19 2020-03-27 复旦大学 面向复杂场景的车辆目标检测方法及装置
CN110991337A (zh) * 2019-12-02 2020-04-10 山东浪潮人工智能研究院有限公司 一种基于自适应双路检测网络的车辆检测方法
CN110991337B (zh) * 2019-12-02 2023-08-25 山东浪潮科学研究院有限公司 一种基于自适应双路检测网络的车辆检测方法
CN111523558A (zh) * 2019-12-27 2020-08-11 珠海大横琴科技发展有限公司 一种基于电子围网的船只遮挡检测方法、装置及电子设备
CN111598154A (zh) * 2020-05-14 2020-08-28 汇鼎数据科技(上海)有限公司 一种基于ai分析技术的车辆识别感知方法
CN111461083A (zh) * 2020-05-26 2020-07-28 青岛大学 基于深度学习的快速车辆检测方法
CN111695514A (zh) * 2020-06-12 2020-09-22 长安大学 一种基于深度学习的雾天下车辆检测方法
CN111695514B (zh) * 2020-06-12 2023-04-18 长安大学 一种基于深度学习的雾天下车辆检测方法
CN113537169A (zh) * 2021-09-16 2021-10-22 深圳市信润富联数字科技有限公司 手势识别方法、设备、存储介质和计算机程序产品
CN113537169B (zh) * 2021-09-16 2022-02-15 深圳市信润富联数字科技有限公司 手势识别方法、设备、存储介质和计算机程序产品
CN114005105A (zh) * 2021-12-30 2022-02-01 青岛以萨数据技术有限公司 驾驶行为检测方法、装置以及电子设备

Also Published As

Publication number Publication date
CN109829400B (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
CN109829400A (zh) 一种快速车辆检测方法
CN110147763A (zh) 基于卷积神经网络的视频语义分割方法
Zhang et al. CDNet: A real-time and robust crosswalk detection network on Jetson nano based on YOLOv5
CN110619279B (zh) 一种基于跟踪的路面交通标志实例分割方法
CN111461083A (zh) 基于深度学习的快速车辆检测方法
CN108288047A (zh) 一种行人/车辆检测方法
CN113723377B (zh) 一种基于ld-ssd网络的交通标志检测方法
CN109086668A (zh) 基于多尺度生成对抗网络的无人机遥感影像道路信息提取方法
CN108399403B (zh) 一种基于车牌尺寸计算的车距检测方法
CN109033950A (zh) 基于多特征融合级联深度模型的车辆违停检测方法
CN109886147A (zh) 一种基于单网络多任务学习的车辆多属性检测方法
US20220315243A1 (en) Method for identification and recognition of aircraft take-off and landing runway based on pspnet network
CN111582339A (zh) 一种基于深度学习的车辆检测与识别的方法
CN110516633A (zh) 一种基于深度学习的车道线检测方法及系统
CN106980855A (zh) 交通标志快速识别定位系统及方法
CN106778540A (zh) 停车检测准确的基于双层背景的停车事件检测方法
CN113436210B (zh) 一种融合上下文逐级采样的道路图像分割方法
CN108960175A (zh) 一种基于深度学习的车牌识别方法
CN113361528B (zh) 一种多尺度目标检测方法及系统
CN109766775A (zh) 一种基于深度卷积神经网络的车辆检测系统
CN109977862A (zh) 一种车位限位器的识别方法
CN111881914B (zh) 一种基于自学习阈值的车牌字符分割方法及系统
CN117218855A (zh) 一种评价侧撞事故风险的方法及系统
Molina-Cabello et al. Vehicle type detection by convolutional neural networks
CN116935361A (zh) 一种基于深度学习的驾驶员分心行为检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant