CN109063630A - 一种基于可分离卷积技术和帧差补偿策略的快速车辆检测方法 - Google Patents

一种基于可分离卷积技术和帧差补偿策略的快速车辆检测方法 Download PDF

Info

Publication number
CN109063630A
CN109063630A CN201810845012.2A CN201810845012A CN109063630A CN 109063630 A CN109063630 A CN 109063630A CN 201810845012 A CN201810845012 A CN 201810845012A CN 109063630 A CN109063630 A CN 109063630A
Authority
CN
China
Prior art keywords
yolo
frame difference
target
detection
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810845012.2A
Other languages
English (en)
Other versions
CN109063630B (zh
Inventor
刘圭圭
李凡平
石柱国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Isa Data Technology Co Ltd
Beijing Yisa Technology Co Ltd
Original Assignee
Qingdao Isa Data Technology Co Ltd
Beijing Yisa Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Isa Data Technology Co Ltd, Beijing Yisa Technology Co Ltd filed Critical Qingdao Isa Data Technology Co Ltd
Priority to CN201810845012.2A priority Critical patent/CN109063630B/zh
Publication of CN109063630A publication Critical patent/CN109063630A/zh
Application granted granted Critical
Publication of CN109063630B publication Critical patent/CN109063630B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/065—Traffic control systems for road vehicles by counting the vehicles in a section of the road or in a parking area, i.e. comparing incoming count with outgoing count
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Abstract

本发明公开了一种基于可分离卷积技术和帧差补偿策略的快速车辆检测方法，包括以下步骤：卷积：预先在darknet框架基础上通过img2col+GEMM+group方案实现可分离卷积YOLO，确定目标检测加速；场景确定：通过连续帧差技术进行场景动静状态的信息采集，以及运动目标的信息采集；可分离卷积YOLO采集：在运动场景中通过可分离卷积YOLO进行目标的信息采集。本发明：通过可分离卷积方案替换传统卷积，使得目标检测前向传播过程速度提升了2倍，有效地解决了多路实时视频检测难题。同时本发明通过帧差技术和二次判定算法对YOLO漏检的目标进行了补偿，大幅降低了视频流目标检测的误检和漏检。

Description

一种基于可分离卷积技术和帧差补偿策略的快速车辆检测 方法
技术领域
本发明涉及计算机视觉技术领域，具体来说，涉及一种基于可分离卷积技术和帧差补偿策略的快速车辆检测方法。
背景技术
近年来随着车辆的增多，交通道路的拥堵情况越来越严重，因此交通部门对能够实时检测各条道路上的行驶车辆数量的技术需求显得愈加强烈。传统上采用的人工检测的方式既消耗人力又缺乏准确率。并且当前的主流的基于机器视觉的车辆检测方法仅在静态图片中有较好的性能表现，而在动态视频中的性能表现不能够满足技术需求。现有的车辆检测方法主要有以下几种：
1、HOG特征检测：HOG检测法特征是一种在计算机视觉和图像处理中用来进行车辆检测的特征描述。它通过计算和统计图像局部区域的梯度方向直方图来构成特征，然后将HOG特征与SVM分类器相结合进行车辆检测。HOG特征检测具有较高的检测速率，但HOG特征检测对环境噪声较为敏感，鲁棒性较差。
2、卷积神经网络：卷积神经网络主要由多个卷积层、池化层和全连接层组成，其中，卷积层用于提取图片中车辆的特征；池化层用于降低维度，减小运算量；全连接层用于特征分类。卷积神经网络的训练样本需要标注类型信息才能用于训练。卷积神经网络法具有较高的识别率以及较强的鲁棒性。由于卷积神经网络主要用于物体识别任务，因此通常需要结合滑动窗口才能完成检测任务。而为了保证检测任务的召回率，滑动窗口步数通常较小，从而降低了卷积神经网络在检测任务中的检测速度。
3、YOLO神经网络：YOLO神经网络的主体部分也是卷积神经网络，但YOLO神经网络可以直接完成车辆检测任务。YOLO神经网络的训练样本不光需要标注图片中样本的类别信息还要标注位置信息。在检测过程中，将图片分割成若干网格，然后每个网格直接预测车辆所在位置的边界框和物体为车辆的概率。YOLO神经网络法具有很快的检测速率，满足视频检测的速率要求。但检测结果的召回率通常不如卷积神经网络，主要表现为容易漏检视频中的小物体。
由此可见，车辆检测技术在静态图片中具较好地表现。但受检测速率、准确率以及召回率的影响，现有方法在视频方面仍存在着很多技术难题。因而基于视频的车辆检测技术仍是国内外一些科研机构重要的研究课题。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题，本发明提出一种基于可分离卷积技术和帧差补偿策略的快速车辆检测方法，以克服现有相关技术所存在的上述技术问题。
本发明的技术方案是这样实现的：
一种基于可分离卷积技术和帧差补偿策略的快速车辆检测方法，包括以下步骤：
卷积：预先在darknet框架基础上通过img2col+GEMM+group方案实现可分离卷积YOLO，确定目标检测加速；
场景确定：通过连续帧差技术进行场景动静状态的信息采集，以及运动目标的信息采集；
可分离卷积YOLO采集：在运动场景中通过可分离卷积YOLO进行目标的信息采集；
检测采集：通过采用IOU进行两次捕捉结果的筛选，高于阈值的采用YOLO确定目标信息，小于阈值的作为漏检的目标，进行目标补偿。
进一步的，所述可分离卷积YOLO确定目标检测加速包括以下步骤：
通过改进YOLO的网络结果，将YOLO中的卷积层用分离卷积代替，提高YOLO的检测速度；
通过利用帧差法对视频每一帧进行判别，若有运动目标则调用改进的YOLO检测算法检测车辆，若没有运动目标，则继续用帧差法检测下一帧。
进一步的，所述漏检，包括以下步骤：
通过将YOLO算法检测出的边界框作为基准边界框，帧差法检测出的边界框作为补充边界框；
将帧差法检测出的边界框逐一与YOLO检测出的边界框进行比较，计算IOU；
当IOU大于0.7时，可以认为这是同一物体，当IOU小于0.7时，可以认为这是YOLO算法漏检的物体，将此物体的边界框添加至基准边界框。
进一步的，所述帧差法检测车辆边界框，包括以下步骤：
预先通过对帧差结果进行闭运算，填充目标体内细小空洞；
通过提取轮廓并进行凸包检测，得到车辆大致几何形状；
最后根据车辆的边界坐标绘制矩形框。
本发明的有益效果：通过可分离卷积方案替换传统卷积，使得目标检测前向传播过程速度提升了2倍，有效地解决了多路实时视频检测难题。同时本发明通过帧差技术和二次判定算法对YOLO漏检的目标进行了补偿，大幅降低了视频流目标检测的误检和漏检。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种基于可分离卷积技术和帧差补偿策略的快速车辆检测方法的结构示意图；
图2是根据本发明实施例的一种基于可分离卷积技术和帧差补偿策略的快速车辆检测方法的YOLO的网络示意图；
图3是根据本发明实施例的一种基于可分离卷积技术和帧差补偿策略的快速车辆检测方法的可分离卷积的网络示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
根据本发明的实施例，提供了一种基于可分离卷积技术和帧差补偿策略的快速车辆检测方法。
如图1-3所示，根据本发明实施例的基于可分离卷积技术和帧差补偿策略的快速车辆检测方法，包括以下步骤：
步骤S101，卷积：预先在darknet框架基础上通过img2col+GEMM+group方案实现可分离卷积YOLO，确定目标检测加速；
步骤S103，场景确定：通过连续帧差技术进行场景动静状态的信息采集，以及运动目标的信息采集；
步骤S105，可分离卷积YOLO采集：在运动场景中通过可分离卷积YOLO进行目标的信息采集；
步骤S107，检测采集：通过采用IOU进行两次捕捉结果的筛选，高于阈值的采用YOLO确定目标信息，小于阈值的作为漏检的目标，进行目标补偿。
另外，在一个实施例中，所述可分离卷积YOLO确定目标检测加速包括以下步骤：
通过改进YOLO的网络结果，将YOLO中的卷积层用分离卷积代替，提高YOLO的检测速度；
通过利用帧差法对视频每一帧进行判别，若有运动目标则调用改进的YOLO检测算法检测车辆，若没有运动目标，则继续用帧差法检测下一帧。
另外，在一个实施例中，所述漏检，包括以下步骤：
通过将YOLO算法检测出的边界框作为基准边界框，帧差法检测出的边界框作为补充边界框；
将帧差法检测出的边界框逐一与YOLO检测出的边界框进行比较，计算IOU；
当IOU大于0.7时，可以认为这是同一物体，当IOU小于0.7时，可以认为这是YOLO算法漏检的物体，将此物体的边界框添加至基准边界框。
另外，在一个实施例中，所述帧差法检测车辆边界框，包括以下步骤：
预先通过对帧差结果进行闭运算，填充目标体内细小空洞；
通过提取轮廓并进行凸包检测，得到车辆大致几何形状；
最后根据车辆的边界坐标绘制矩形框。
另外，在一个实施例中，对于上述可分离卷积YOLO确定目标检测加速，其计算公式如下：
其中，BoundingBox为最终检测出的车辆的边界框，为改进的YOLO算法检测出的车辆的边界框与帧差法检测出的边界框的融合函数，为改善的YOLO检测函数，为帧差函数，img为当前帧图片。
另外，在一个实施例中，可分离卷积的YOLO检测算法，针对前一层获取的featuremap的每一个通道进行各自的卷积操作，有多少个通道就有多少个过滤器。得到新的通道feature maps之后，在对新的通道feature maps进行1×1卷积操作，降低维度和特征融合。对比传统卷积操作，可分离卷积方案可将参数量降低到其九分之一。此外，可分离卷积前后一般不加入非线性单元相比于加入ReLU或ELU激活函数，可以使模型的训练过程加速8倍，同时可以维持模型的原有精度。
综上所述，借助于本发明的上述技术方案，通过可分离卷积方案替换传统卷积，使得目标检测前向传播过程速度提升了2倍，有效地解决了多路实时视频检测难题。同时本发明通过帧差技术和二次判定算法对YOLO漏检的目标进行了补偿，大幅降低了视频流目标检测的误检和漏检。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于可分离卷积技术和帧差补偿策略的快速车辆检测方法，其特征在于，包括以下步骤：
卷积：预先在darknet框架基础上通过img2col+GEMM+group方案实现可分离卷积YOLO，确定目标检测加速；
场景确定：通过连续帧差技术进行场景动静状态的信息采集，以及运动目标的信息采集；
可分离卷积YOLO采集：在运动场景中通过可分离卷积YOLO进行目标的信息采集；
检测采集：通过采用IOU进行两次捕捉结果的筛选，高于阈值的采用YOLO确定目标信息，小于阈值的作为漏检的目标，进行目标补偿。
2.根据权利要求1所述的基于可分离卷积技术和帧差补偿策略的快速车辆检测方法，其特征在于，所述可分离卷积YOLO确定目标检测加速包括以下步骤：
通过改进YOLO的网络结果，将YOLO中的卷积层用分离卷积代替，提高YOLO的检测速度；
通过利用帧差法对视频每一帧进行判别，若有运动目标则调用改进的YOLO检测算法检测车辆，若没有运动目标，则继续用帧差法检测下一帧。
3.根据权利要求1所述的基于可分离卷积技术和帧差补偿策略的快速车辆检测方法，其特征在于，所述漏检，包括以下步骤：
通过将YOLO算法检测出的边界框作为基准边界框，帧差法检测出的边界框作为补充边界框；
将帧差法检测出的边界框逐一与YOLO检测出的边界框进行比较，计算IOU；
当IOU大于0.7时，可以认为这是同一物体，当IOU小于0.7时，可以认为这是YOLO算法漏检的物体，将此物体的边界框添加至基准边界框。
4.根据权利要求3所述的基于可分离卷积技术和帧差补偿策略的快速车辆检测方法，其特征在于，所述帧差法检测车辆边界框，包括以下步骤：
预先通过对帧差结果进行闭运算，填充目标体内细小空洞；
通过提取轮廓并进行凸包检测，得到车辆大致几何形状；
最后根据车辆的边界坐标绘制矩形框。
CN201810845012.2A 2018-07-27 2018-07-27 一种基于可分离卷积技术和帧差补偿策略的快速车辆检测方法 Active CN109063630B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810845012.2A CN109063630B (zh) 2018-07-27 2018-07-27 一种基于可分离卷积技术和帧差补偿策略的快速车辆检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810845012.2A CN109063630B (zh) 2018-07-27 2018-07-27 一种基于可分离卷积技术和帧差补偿策略的快速车辆检测方法

Publications (2)

Publication Number Publication Date
CN109063630A true CN109063630A (zh) 2018-12-21
CN109063630B CN109063630B (zh) 2022-04-26

Family

ID=64835887

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810845012.2A Active CN109063630B (zh) 2018-07-27 2018-07-27 一种基于可分离卷积技术和帧差补偿策略的快速车辆检测方法

Country Status (1)

Country Link
CN (1) CN109063630B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109817009A (zh) * 2018-12-31 2019-05-28 天合光能股份有限公司 一种获取无人驾驶所需动态交通信息的方法
CN109886147A (zh) * 2019-01-29 2019-06-14 电子科技大学 一种基于单网络多任务学习的车辆多属性检测方法
CN113705423A (zh) * 2021-08-25 2021-11-26 西安电子科技大学 基于改进YOLOv3算法的红外车辆快速检测方法
CN114663841A (zh) * 2022-05-23 2022-06-24 安徽送变电工程有限公司 基于深度学习的移动目标识别方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102006462A (zh) * 2010-11-27 2011-04-06 南京理工大学 利用运动信息的快速监控视频增强方法及其实现装置
CN102184552A (zh) * 2011-05-11 2011-09-14 上海理工大学 一种基于差分融合与图像边缘信息的运动目标检测方法
JP2016143071A (ja) * 2015-01-29 2016-08-08 アイホン株式会社 特定動作検出装置
CN106778650A (zh) * 2016-12-26 2017-05-31 深圳极视角科技有限公司 基于多类型信息融合的场景自适应行人检测方法和系统
CN106991668A (zh) * 2017-03-09 2017-07-28 南京邮电大学 一种天网摄像头拍摄画面的评价方法
CN107273435A (zh) * 2017-05-23 2017-10-20 北京环境特性研究所 基于MapReduce的视频人员模糊检索并行化方法
CN107507225A (zh) * 2017-09-05 2017-12-22 明见（厦门）技术有限公司 运动目标检测方法、装置、介质及计算设备
CN108229319A (zh) * 2017-11-29 2018-06-29 南京大学 基于帧间差异与卷积神经网络融合的船舶视频检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102006462A (zh) * 2010-11-27 2011-04-06 南京理工大学 利用运动信息的快速监控视频增强方法及其实现装置
CN102184552A (zh) * 2011-05-11 2011-09-14 上海理工大学 一种基于差分融合与图像边缘信息的运动目标检测方法
JP2016143071A (ja) * 2015-01-29 2016-08-08 アイホン株式会社 特定動作検出装置
CN106778650A (zh) * 2016-12-26 2017-05-31 深圳极视角科技有限公司 基于多类型信息融合的场景自适应行人检测方法和系统
CN106991668A (zh) * 2017-03-09 2017-07-28 南京邮电大学 一种天网摄像头拍摄画面的评价方法
CN107273435A (zh) * 2017-05-23 2017-10-20 北京环境特性研究所 基于MapReduce的视频人员模糊检索并行化方法
CN107507225A (zh) * 2017-09-05 2017-12-22 明见（厦门）技术有限公司 运动目标检测方法、装置、介质及计算设备
CN108229319A (zh) * 2017-11-29 2018-06-29 南京大学 基于帧间差异与卷积神经网络融合的船舶视频检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ARKA PRAVA JANA 等: ""YOLO based Detection and Classification of Objects in video records"", 《2018 3RD IEEE INTERNATIONAL CONFERENCE ON RECENT TRENDS IN ELECTRONICS》 *
俞汝劼 等: ""基于深度卷积神经网络的航空器检测与识别"", 《计算机应用》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109817009A (zh) * 2018-12-31 2019-05-28 天合光能股份有限公司 一种获取无人驾驶所需动态交通信息的方法
CN109886147A (zh) * 2019-01-29 2019-06-14 电子科技大学 一种基于单网络多任务学习的车辆多属性检测方法
CN113705423A (zh) * 2021-08-25 2021-11-26 西安电子科技大学 基于改进YOLOv3算法的红外车辆快速检测方法
CN114663841A (zh) * 2022-05-23 2022-06-24 安徽送变电工程有限公司 基于深度学习的移动目标识别方法及系统

Also Published As

Publication number Publication date
CN109063630B (zh) 2022-04-26

Similar Documents

Publication Publication Date Title
CN109063630A (zh) 一种基于可分离卷积技术和帧差补偿策略的快速车辆检测方法
CN107134144B (zh) 一种用于交通监控的车辆检测方法
WO2020181685A1 (zh) 一种基于深度学习的车载视频目标检测方法
CN108009518A (zh) 一种基于快速二分卷积神经网络的层次化交通标识识别方法
CN103198493B (zh) 一种基于多特征自适应融合和在线学习的目标跟踪方法
CN109447033A (zh) 基于yolo的车辆前方障碍物检测方法
CN104268596B (zh) 一种车牌识别器及其车牌检测方法与系统
CN108520219A (zh) 一种卷积神经网络特征融合的多尺度快速人脸检测方法
CN102043953A (zh) 一种实时鲁棒的针对特定场景的行人检测方法
CN104992148A (zh) 基于随机森林的atm终端部分遮挡人脸关键点检测方法
CN104504377B (zh) 一种公交车乘客拥挤程度识别系统及方法
CN104978567B (zh) 基于场景分类的车辆检测方法
CN103871077B (zh) 一种道路车辆监控视频中的关键帧提取方法
CN110675415B (zh) 一种基于深度学习增强实例分割的道路积水区域检测方法
CN105608431A (zh) 一种基于车辆数目与车流速度的高速公路拥堵检测方法
CN102254428B (zh) 一种基于视频处理的交通拥塞检测方法
CN107491762A (zh) 一种行人检测方法
CN109145708A (zh) 一种基于rgb和d信息融合的人流量统计方法
CN106897681A (zh) 一种遥感图像对比分析方法及系统
CN110263666A (zh) 一种基于非对称多流的动作检测方法
CN104182769B (zh) 一种车牌检测方法及系统
CN104463138A (zh) 基于视觉结构属性的文本定位方法及系统
CN106548131A (zh) 一种基于行人检测的施工人员安全帽实时检测方法
CN105184229A (zh) 一种动态场景下基于在线学习的实时行人检测方法
CN113361354A (zh) 轨道部件巡检方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 266500 No. 77, Lingyan Road, LINGSHANWEI sub district office, Huangdao District, Qingdao City, Shandong Province

Applicant after: Issa Technology Co.,Ltd.

Applicant after: QINGDAO YISA DATA TECHNOLOGY Co.,Ltd.

Address before: 108, 102 / F, building 17, yard 6, Jingshun East Street, Chaoyang District, Beijing

Applicant before: BEIJING YISA TECHNOLOGY Co.,Ltd.

Applicant before: QINGDAO YISA DATA TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
CB02 Change of applicant information

Address after: 266500 business premises, No. 77, Lingyan Road, LINGSHANWEI sub district office, Huangdao District, Qingdao City, Shandong Province

Applicant after: Issa Technology Co.,Ltd.

Applicant after: Qingdao Issa Data Technology Co., Ltd

Address before: 266500 No. 77, Lingyan Road, LINGSHANWEI sub district office, Huangdao District, Qingdao City, Shandong Province

Applicant before: Issa Technology Co.,Ltd.

Applicant before: Qingdao Issa Data Technology Co., Ltd

GR01 Patent grant
GR01 Patent grant