CN110136453A - 基于lk局部差分光流法的车流量检测方法 - Google Patents

基于lk局部差分光流法的车流量检测方法 Download PDF

Info

Publication number
CN110136453A
CN110136453A CN201910515536.XA CN201910515536A CN110136453A CN 110136453 A CN110136453 A CN 110136453A CN 201910515536 A CN201910515536 A CN 201910515536A CN 110136453 A CN110136453 A CN 110136453A
Authority
CN
China
Prior art keywords
vehicle
image
foreground
optical flow
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910515536.XA
Other languages
English (en)
Inventor
韩建峰
张鸿阳
张妍
赵志伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inner Mongolia University of Technology
Original Assignee
Inner Mongolia University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inner Mongolia University of Technology filed Critical Inner Mongolia University of Technology
Priority to CN201910515536.XA priority Critical patent/CN110136453A/zh
Publication of CN110136453A publication Critical patent/CN110136453A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/065—Traffic control systems for road vehicles by counting the vehicles in a section of the road or in a parking area, i.e. comparing incoming count with outgoing count
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种基于LK局部差分光流法的车流量检测方法，包括以下步骤：车辆前景提取、车辆前景提取包括图像灰度化、图像去噪、光流法生成车辆前景图、形态学修补；粘连车辆分割；车流量统计。本发明的有益效果是：对现有的光流法进行改进，结合分水岭算法与卡尔曼滤波器实现对车流量检测；通过改进的分水岭算法，对各种实际存在的车辆粘连情况，本发明都有较好的分割处理效果；采用的LK局部差分光流法对于不同道路视频图像片段均有较好的检测效果，且提高了检测的准确率。

Description

基于LK局部差分光流法的车流量检测方法
技术领域
本发明涉及车流量检测技术领域，具体的说是基于LK局部差分光流法的车流量检测方法。
背景技术
1985年，Adelson与Heeher建立能量光流法的基本理论。基本思想是认为与运动物体有关的所有非零功率均处于一个通过频率空间原点的平面上。本发明提到的基于光流法的道路视频车流量检测，在原理上就是通过光流法对运动目标进行检测。光流法因其可控性与较强的抗干扰能力在视频检测中得到快速发展，成为目前主要的运动目标检测方法之一。
谢红等人提出一种通过使用光流法获得运动目标区域，然后使用三帧差分法进行阈值分割，最后把阈值分割结果与区域分割结果相结合的办法，运动目标检测结果得到了提升，但同时增大了计算量，提升了算法的时间复杂度。王佳等人将光流特征与3D Harris时空兴趣点结合起来，采用积分视频的方式对运动区域进行估计，一定程度上抑制背景干扰，但在复杂的背景下引入了大量噪声，使得计算量较大。在不同种类的光流法当中，基于区域的方法运算速度快、计算量较少，但是计算精度较差；基于能量的方法抗干扰能力强、有较好的生物合理性，但其运算量极大，无法实时处理问题。基于差分的方法相对于其他种类光流法计算量适中、所得光流较为稠密。所以本发明提出了基于LK局部差分光流法的检测方法，提高运动目标的检测正确率。
发明内容
针对上述现有技术不足，本发明提供一种基于LK局部差分光流法的车流量检测方法，对车流量统计时使用的道路视频的特点，为保证车流量检测的正确率，不增加算法的时间复杂度，采用LK局部差分光流法对车辆前景提取，然后针对出现的车辆粘连与车流量统计时因噪声导致重复计数问题，进行了相应研究，最终实现高正确率低复杂度的车流量检测。
本发明提供的基于LK局部差分光流法的车流量检测方法是通过以下技术方案实现的：
一种基于LK局部差分光流法的车流量检测方法，包括以下步骤：
（1）车辆前景提取
车辆前景提取包括图像灰度化、图像去噪、光流法生成车辆前景图、形态学修补，其中：
图像灰度化：摄像机采集的图像为RGB图像，在图像处理中，为减少处理的数据量，提高算法速度，会把RGB图像转变成灰度图像进行后续处理，采用的灰度化方法是利用加权平均法对图像进行灰度化处理；
图像去噪：为保证道路图像中车辆边缘信息的完整性，采用高斯滤波器对灰度化的图像进行去噪处理，以避免边缘信息的缺失；
光流法生成车辆前景图：根据道路视频特点，结合算法时间复杂度，选择LK局部差分光流法对图像进行处理后，光流数据通过滤波和筛选，生成二值车辆前景图；
形态学修补：生成的二值车辆前景图内部存在断层与孔洞，采用形态学方法中的线形元素对断层进行修补结合孔洞填充对图像进行填充，得到效果完整的二值车辆前景图；
（2）粘连车辆分割
光流法生成的车辆前景图中，因车距过近时车辆前景图产生粘连，直接对前景图像进行连通域检测，计算车辆数量，会导致多辆车辆被检测成一辆；对于前景图像中出现的车辆粘连的状况，使用欧氏距离筛选出车辆中每辆车的位置后，根据筛选位置构建注水口及集水盆地后，使用分水岭算法进行分割；分割的结果表明，粘连车辆使用改进的算法进行分割后，粘连车辆分割充分，车辆的位置准确无变化，且能够对多种情况的粘连车辆进行处理；
（3）车流量统计
在实际过程中，一方面车辆从进入道路视频到驶出道路视频，车辆的大小在视频图像中是由小变大的，这种问题可能导致车辆刚刚驶入道路视频时目标过小，生成的前景图像中车辆区域太小以至于在进行车辆检测时不能被稳定检测；而车辆驶出图像区域时，图像中无法完整显示车辆轮廓，从而导致检测时出现误差；另一方面在实际中，拍摄视频图像的摄像机受外界震动或者天气影响，可能会出现抖动和噪声污染的现象，而差分光流法是依靠不同图像中像素梯度进行运算的方法，过大的抖动和噪声可能会导致车辆前景无法正常形成，造成车辆误检和漏检。
针对道路视频特点出现的车辆检测时不能被稳定检测，以及出现的出现抖动和噪声污染的现象，本发明一方面设定检测区域与车道，对在检测范围内的车辆目标进行检测，避免车辆在道路视频边缘位置导致的车辆判断不准确的问题；另一方面，针对视频噪声与抖动的问题，使用卡尔曼滤波器，选取前景图像中的车辆外接矩形框的中心作为原始数据，当视频中存在被检测到的车辆时，使用车辆数据对卡尔曼滤波器进行更新，当视频中车辆因摄像头抖动或噪声污染短暂消失时，使用卡尔曼滤波器对车辆位置进行修正，得到正确的车流量数据。
本发明的有益效果是：对现有的光流法进行改进，结合分水岭算法与卡尔曼滤波器实现对车流量检测；通过改进的分水岭算法，对各种实际存在的车辆粘连情况，本发明都有较好的分割处理效果；采用的LK局部差分光流法对于不同道路视频图像片段均有较好的检测效果，且提高了检测的准确率。
附图说明
图1：本发明的总体流程图；
图2：截取的原始视频的三帧具有代表性图像a,b,c；
图3：图2中图像对应生成的光流图a,b,c；
图4：图2中图像的生成的对应原始前景图a,b,c；
图5：图2中图像利用传统光流法进行车辆检测实验结果图；
图6：图2中图像利用本发明方法进行车辆检测实验结果图；
图7：不同检测方法对多段视频的车流量检测正确率。
具体实施方式
下面将通过实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参考图1，对本发明的整体流程及原理进行进一步说明：一种基于LK局部差分光流法的车流量检测方法，包括以下步骤：
1、图像预处理：在对道路视频图像进行车流量统计前，首先采集道路视频，对采集的道路视频图像进行预处理，处理的内容主要包括图像灰度化及去噪处理；
2、光流法处理：视频图像在经过图像预处理后，对其进行光流法处理，光流法的选择为LK局部差分光流法。进行光流法处理后，光流数据通过滤波和筛选，生成车辆轮廓的大体数据（二值车辆前景图）；
3、形态学处理：经过处理后，光流法虽然生成车辆轮廓的大体数据，但此时的车辆轮廓还存在断层与孔洞，采用形态学方法对断层与孔洞进行修补，修补后车辆前景图中，车辆轮廓基本完整，车辆位置保持不变。但在某些前景图中存在车辆粘连的问题；
4、车辆前景分割：在生成车辆前景图后，对车辆前景进行车辆选取，并通过与车辆大小阈值的比较，判断车辆前景图中是否发生车辆前景粘连。对于发生车辆前景粘连的图像，本发明使用基于欧氏距离的分水岭方法进行车辆分割；
5、卡尔曼滤波器：在实际道路视频图像中，往往会出现车辆前景目标短暂丢失的问题，这种问题会导致后续车辆检测时出现重复检测的情况。为避免这种情况的发生，本发明采用卡尔曼滤波器对车辆位置进行修正，当车辆出现前景目标短暂丢失时，使用卡尔曼滤波器对车辆位置进行预测；车辆能被检测到时，使用车辆位置对卡尔曼滤波器参数进行更新；
6、车辆检测：根据实际情况及光流处理中出现的问题，本发明在视频图像中划定检测车道及虚拟检测线，对进入检测区域内的车辆进行统计，计算当前检测区域内车辆的数量；
7、车流量统计：在系统初始时设定当前车辆总量为0，判断检测区域内的车辆数目。当检测区域存在新进入的车辆时，将车辆总数加上新进入的车辆数量，否则车辆总量不变。
对本发明的具体实施方法及实验结果进行以下说明：
首先将采集的视频进行截取，得到具有代表性的三帧图像，附图2。
根据所提的光流法原理，分别生成对应的光流图，附图3。
生成对应的车辆前景图，并进行像素的转置，得到高像素的车辆前景图，附图4。
利用传统的LK光流法和本发明中使用的方法对采集的视频进行车流量的检测，得到检测结果，附图5、6。
利用传统LK光流法和本发明采用的方法对采集的四段视频进行车流量检测，附图7，结果表明，本发明的方法对车流量检测正确率有了很大程度的提升。
以上所述实施例仅表示本发明的实施方式，其描述较为具体和详细，但并不能理解为对本发明范围的限制。应当指出的是，对于本领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明保护范围。

Claims (3)

1.一种基于LK局部差分光流法的车流量检测方法，其特征在于，包括以下步骤：
（1）车辆前景提取
车辆前景提取包括图像灰度化、图像去噪、光流法生成车辆前景图、形态学修补，其中：
图像灰度化：摄像机采集的图像为RGB图像，在图像处理中，为减少处理的数据量，提高算法速度，会把RGB图像转变成灰度图像进行后续处理图像去噪：为保证道路图像中车辆边缘信息的完整性，采用高斯滤波器对灰度化的图像进行去噪处理，以避免边缘信息的缺失；
光流法生成车辆前景图：选择LK局部差分光流法对图像进行处理后，光流数据通过滤波和筛选，生成二值车辆前景图；
形态学修补：生成的二值车辆前景图内部存在断层与孔洞，采用形态学方法中的线形元素对断层进行修补结合孔洞填充对图像进行填充，得到完整的二值车辆前景图；
（2）粘连车辆分割
光流法生成的车辆前景图中，因车距过近时车辆前景图产生粘连，直接对前景图像进行连通域检测，计算车辆数量，会导致多辆车辆被检测成一辆；筛选出粘连区域后，利用改进的分水岭算法计算前景到背景的最小距离；然后计算粘连区域的质心，在粘连区域内筛选出可以代表车辆目标的区域,使用欧氏距离筛选出车辆中每辆车的位置后，根据筛选位置构建注水口及集水盆地后，使用分水岭算法进行分割；分割的结果表明，粘连车辆使用改进的算法进行分割后，粘连车辆分割充分，车辆的位置准确无变化，且能够对多种情况的粘连车辆进行处理；
（3）车流量统计
一方面设定检测区域与车道，对在检测范围内的车辆目标进行检测，避免车辆在道路视频边缘位置导致的车辆判断不准确的问题；另一方面，针对视频噪声与抖动的问题，使用卡尔曼滤波器，选取前景图像中的车辆外接矩形框的中心作为原始数据，当视频中存在被检测到的车辆时，使用车辆数据对卡尔曼滤波器进行更新，当视频中车辆因摄像头抖动或噪声干扰短暂消失时，使用卡尔曼滤波器对车辆位置进行修正，得到正确的车流量数据。
2.根据权利要求1所述的一种基于LK局部差分光流法的车流量检测方法，其特征在于:所述步骤（1）中，采用的灰度化方法是利用加权平均法对图像进行灰度化处理。
3.根据权利要求1所述的一种基于LK局部差分光流法的车流量检测方法，其特征在于:所述步骤（3）中，在系统初始时设定当前车辆总量为0，判断检测区域内的车辆数目，当检测区域存在新进入的车辆时，将车辆总数加上新进入的车辆数量，否则车辆总量不变。
CN201910515536.XA 2019-06-14 2019-06-14 基于lk局部差分光流法的车流量检测方法 Pending CN110136453A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910515536.XA CN110136453A (zh) 2019-06-14 2019-06-14 基于lk局部差分光流法的车流量检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910515536.XA CN110136453A (zh) 2019-06-14 2019-06-14 基于lk局部差分光流法的车流量检测方法

Publications (1)

Publication Number Publication Date
CN110136453A true CN110136453A (zh) 2019-08-16

Family

ID=67577451

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910515536.XA Pending CN110136453A (zh) 2019-06-14 2019-06-14 基于lk局部差分光流法的车流量检测方法

Country Status (1)

Country Link
CN (1) CN110136453A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111882861A (zh) * 2020-06-06 2020-11-03 浙江工业大学 一种基于边云融合的在线交通事件感知系统
CN114937358A (zh) * 2022-05-20 2022-08-23 内蒙古工业大学 一种高速公路多车道车流量统计方法
CN116847515A (zh) * 2023-09-01 2023-10-03 深圳市朝阳辉电气设备有限公司 一种智能路灯节能控制系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101587646A (zh) * 2008-05-21 2009-11-25 上海新联纬讯科技发展有限公司 基于视频识别技术的车流量检测方法及系统
CN102202164A (zh) * 2011-05-20 2011-09-28 长安大学 基于运动估计的道路视频稳定方法
CN102629418A (zh) * 2012-04-09 2012-08-08 浙江工业大学 基于模糊卡尔曼滤波的交通流参数预测方法
CN102867416A (zh) * 2012-09-13 2013-01-09 中国科学院自动化研究所 一种基于车辆部位特征的车辆检测与跟踪方法
CN107103292A (zh) * 2017-04-12 2017-08-29 湖南源信光电科技股份有限公司 一种基于运动车辆跟踪的车流量统计方法
CN107122758A (zh) * 2017-05-11 2017-09-01 南宁市正祥科技有限公司 一种车型识别和车流量检测方法
CN107766821A (zh) * 2017-10-23 2018-03-06 江苏鸿信系统集成有限公司 基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101587646A (zh) * 2008-05-21 2009-11-25 上海新联纬讯科技发展有限公司 基于视频识别技术的车流量检测方法及系统
CN102202164A (zh) * 2011-05-20 2011-09-28 长安大学 基于运动估计的道路视频稳定方法
CN102629418A (zh) * 2012-04-09 2012-08-08 浙江工业大学 基于模糊卡尔曼滤波的交通流参数预测方法
CN102867416A (zh) * 2012-09-13 2013-01-09 中国科学院自动化研究所 一种基于车辆部位特征的车辆检测与跟踪方法
CN107103292A (zh) * 2017-04-12 2017-08-29 湖南源信光电科技股份有限公司 一种基于运动车辆跟踪的车流量统计方法
CN107122758A (zh) * 2017-05-11 2017-09-01 南宁市正祥科技有限公司 一种车型识别和车流量检测方法
CN107766821A (zh) * 2017-10-23 2018-03-06 江苏鸿信系统集成有限公司 基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张鸿阳 等: "基于改进LK光流法的车流量检测", 《内蒙古工业大学学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111882861A (zh) * 2020-06-06 2020-11-03 浙江工业大学 一种基于边云融合的在线交通事件感知系统
CN114937358A (zh) * 2022-05-20 2022-08-23 内蒙古工业大学 一种高速公路多车道车流量统计方法
CN114937358B (zh) * 2022-05-20 2023-04-21 内蒙古工业大学 一种高速公路多车道车流量统计方法
CN116847515A (zh) * 2023-09-01 2023-10-03 深圳市朝阳辉电气设备有限公司 一种智能路灯节能控制系统及方法
CN116847515B (zh) * 2023-09-01 2023-11-07 深圳市朝阳辉电气设备有限公司 一种智能路灯节能控制系统及方法

Similar Documents

Publication Publication Date Title
Meyer et al. Deep learning based 3d object detection for automotive radar and camera
CN106846359B (zh) 基于视频序列的运动目标快速检测方法
CN105225482B (zh) 基于双目立体视觉的车辆检测系统和方法
CN106910242B (zh) 基于深度相机进行室内完整场景三维重建的方法及系统
Barnum et al. Analysis of rain and snow in frequency space
CN110136453A (zh) 基于lk局部差分光流法的车流量检测方法
CN104183127B (zh) 交通监控视频检测方法和装置
CN109919008A (zh) 运动目标检测方法、装置、计算机设备及存储介质
CN103455984A (zh) 一种Kinect深度图像获取方法与装置
CN104134222A (zh) 基于多特征融合的车流监控图像检测和跟踪系统及方法
CN102073852B (zh) 基于最优阈值和随机标号法的多车辆分割方法
CN109800770A (zh) 一种实时目标检测的方法、系统及装置
CN109033972A (zh) 一种目标检测方法、装置、设备及存储介质
CN104484868B (zh) 一种结合模板匹配和图像轮廓的运动目标航拍跟踪方法
CN105404857A (zh) 一种基于红外的夜间智能车前方行人检测方法
CN110717863B (zh) 一种基于生成对抗网络的单图像去雪方法
CN103971524B (zh) 一种基于机器视觉的交通流量检测方法
CN107133610B (zh) 一种复杂路况下行车流量视觉检测与计数方法
CN106056557B (zh) 一种基于改进大气散射模型的单幅图像快速去雾方法
CN105469428B (zh) 一种基于形态学滤波和svd的弱小目标检测方法
CN103279961A (zh) 基于深度恢复和运动估计的视频分割方法
Patil et al. Motion saliency based generative adversarial network for underwater moving object segmentation
CN103971377A (zh) 基于先验形状水平集分割的建筑物提取方法
CN106780390A (zh) 基于边缘分类加权融合的单幅图像去雾方法
Shen et al. Depth map enhancement method based on joint bilateral filter

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190816

RJ01 Rejection of invention patent application after publication