CN107274678A - 一种基于Kinect的夜间车流量统计及车型识别方法 - Google Patents

一种基于Kinect的夜间车流量统计及车型识别方法 Download PDF

Info

Publication number
CN107274678A
CN107274678A CN201710691057.4A CN201710691057A CN107274678A CN 107274678 A CN107274678 A CN 107274678A CN 201710691057 A CN201710691057 A CN 201710691057A CN 107274678 A CN107274678 A CN 107274678A
Authority
CN
China
Prior art keywords
mrow
signal
vehicle
mtd
empty
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710691057.4A
Other languages
English (en)
Other versions
CN107274678B (zh
Inventor
胡钊政
张汝峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN201710691057.4A priority Critical patent/CN107274678B/zh
Publication of CN107274678A publication Critical patent/CN107274678A/zh
Application granted granted Critical
Publication of CN107274678B publication Critical patent/CN107274678B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/065—Traffic control systems for road vehicles by counting the vehicles in a section of the road or in a parking area, i.e. comparing incoming count with outgoing count
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种基于Kinect的夜间车流量统计及车型识别方法，该方法将Kinect深度图像和虚拟线圈算法相结合，首先对Kinect深度图像进行预处理，分别获得运动目标深度图与空洞深度图，然后设置虚拟线圈，在虚拟线圈范围内利用积分图像分别生成对应的一维信号，对一维信号进行加权合成获得车辆运动特征的表达并进行计数，最后在合成的计数信号范围内通过运动目标深度图与空洞深度图计算出车辆目标的几何特征，通过SVM对大小车型进行有效识别。本发明能够更好的检测车辆和统计车流量，避免了现有技术中利用彩色图像在夜间特征较少而出现的统计不准确的问题，避免了复杂的特征提取与跟踪，减少了运算时间，具有成本低、易维护、实时性较好等特点。

Description

一种基于Kinect的夜间车流量统计及车型识别方法
技术领域
本发明涉及一种夜间车流量统计方法，具体地说是一种基于Kinect的夜间车流量统计及车型识别方法。
背景技术
智能交通系统的快速发展为改善交通状况和提高城市现代化管理水平，起到了关键性的作用。车流量检测和车型分类是智能交通系统的重要组成部分。车辆的实时流量和路况信息，为交通部门运营管理道路提供了合理的指导，当车流过大时，及时采取应急措施，可以有效的缓解交通拥堵，也可以指导人们合理选择道路，方便行驶，减少交通拥挤，从而降低交通事故发生率。车流信息是道路基础设施设计与改造的重要依据，也是打造车联网、路联网的重要基础。
车流量统计传统上采用埋在地下的电磁感应线圈，但成本高、难维护，且安装时需要破坏路面，逐渐被基于视频检测技术所代替。基于摄像机的白天车流量统计，已经取得良好的效果，但在夜间光照不足、能见度较低、彩色图像特征较少，很难准确地检测车流量，车型分类更是很难达到。
CN103177587A公开了一种基于机器视觉的夜间车流量检测方法；CN103208185A公开了一种基于车灯识别的夜间车辆检测方法及系统；CN103914701A公开了一种基于图像的夜间车辆检测方法；从目前公开的有关车流量统计和车辆检测的文献来看，较多的利用车灯作为显著特征，把车灯作为检测的主要特征，在夜间易受到周围环境的影响，路灯、沿街商铺灯光以及灯光照射在车辆上产生的反光，都会对车灯检测产生严重的干扰，车灯损坏或者不开车灯，会出现车辆的漏检，车灯照在地面上出现强反射光，会造成车辆的错检。对于夜间车辆计数主要利用目标跟踪的方法，对于目标跟踪，主要利用车辆的形状特征、颜色特征以及运动规律等，由于本身图像特征信息较少，所以跟踪难度较大，易产生跟踪丢失等情况，且跟踪算法的实时性较差。
发明内容
针对现有技术的不足，本发明所要解决的技术问题是：提供了一种基于Kinect的夜间车流量统计及车型识别方法，该方法采用Kinect深度图像和虚拟线圈算法，实现车流量统计和大小车型的分类，通过Kinect获取二维图像所丢失的深度数据，获取的深度数据具有稳定度高、能够还原真实场景等特点，相对彩色图像来说获取的信息更加丰富，能够更好的检测车辆和统计车流量，避免了现有技术中利用彩色图像在夜间特征较少而出现的统计不准确的问题，采用虚拟线圈算法，利用车辆目标的连续性产生连续的计数信号，避免了复杂的特征提取与跟踪，减少了运算时间，具有成本低、易维护、实时性较好等特点。
本发明解决该技术问题所采用的技术方案是：提供一种基于Kinect的夜间车流量统计及车型识别方法，该方法的具体步骤如下：
第一步，深度图像采集：
在待统计的单车道或双车道对应的天桥或监控立杆上垂直安装Kinect传感器，设定车流量统计时间为T，采用OpenNI驱动同时获取分辨率为320×240～640×480的深度图像Z(x,y)和彩色图像，帧率为14pfs～30pfs；
第二步，深度图像预处理：
通过对深度图像进行阈值分割获得运动目标深度图，然后对运动目标深度图进行形态学开操作消除噪声；同时对深度图像进行空洞检测获得空洞深度图，然后对空洞深度图进行形态学腐蚀操作消除噪声；得到去噪前后的运动目标深度图和空洞深度图；
第三步，设置虚拟线圈：
在第一步采集的深度图像中相对空洞数量最少的位置设置虚拟线圈，虚拟线圈在去噪前后的运动目标深度图和空洞深度图中的位置相同，所述虚拟线圈的长度为车道宽度，虚拟线圈的宽度设置为10～50像素；
第四步，生成强度信号、空洞信号、计数信号、宽度特征信号和高度特征信号：
利用去噪后的运动目标深度图，在虚拟线圈内计算积分，提取每一帧虚拟线圈内的强度总和为强度信号，同时利用去噪后的空洞深度图，在虚拟线圈内计算积分，提取每一帧虚拟线圈内的空洞个数为空洞信号，分别对强度信号和空洞信号进行归一化处理，然后进行加权融合获得计数信号；获得计数信号后，在计数信号不为0时，在虚拟线圈内计算车辆宽度特征信号W(t)和车辆高度特征信号H(t)；
车辆宽度特征信号W(t)的计算方法是：利用去噪前的运动目标深度图和空洞深度图，在去噪前的运动目标深度图的虚拟线圈内检测车辆的信息区域Ψa，在去噪前的空洞深度图的虚拟线圈内检测车辆的空洞信息区域Ψb，把车辆的信息区域Ψa和空洞信息区域Ψb进行融合，得到车辆的潜在区域Φ＝Ψa∪Ψb，然后进行形态学运算和连通域检测，设Φmin为车辆区域面积最小值，在车辆潜在区域Φ内找到不小于车辆面积最小值Φmin的区域，该区域即为车辆目标区域Φ′，即Φ′≥Φmin，利用车辆目标区域Φ′求出车辆区域的外接矩形，外接矩形的长为该帧的车辆宽度特征，从而得到每一帧的车辆宽度特征信号W(t)；
车辆高度特征信号H(t)的计算方法是：设定车辆距离Kinect传感器的最大和最小距离分别为dmax和dmin，对第一步采集的深度图像Z(x,y)按照式(1)进行阈值处理，去除不符合实际距离的点，得到有效深度图像D(x,y)；
在有效深度图像D(x,y)中所对应的虚拟线圈内提取距离Kinect传感器最近的n个深度点，n不少于5且不大于20，根据式(2)取n个深度点的平均值，把该平均值定义为该帧的车辆高度特征，即得到每一帧的车辆高度特征信号H(t)：
其中Ji(t)为t帧时虚拟线圈内距离Kinect传感器最近的n个深度点；
第五步，计数信号去噪、分段和车流量统计：
首先对第四步的计数信号，利用空间滤波器进行去噪，然后利用零信号对去噪后的计数信号进行分段，即有非零信号的情况下，连续出现5个以上个数的零信号就进行分段，分段后，再判断每段内去噪后计数信号连续出现的个数是否不小于3，如果不小于3，则该段计为一台车，如果小于3，则为噪声信号，不进行计数；最后得到在车流量统计时间T内，单车道的车流量，完成单车道车流量统计工作；
第六步，车辆特征获取和车型识别：
在一辆车的计数信号时段内，设t1为信号段起始帧，t2为信号段终帧，取车辆宽度特征信号的最大值为该辆车的宽度特征，即取车辆高度特征信号的最小值为该辆车的高度特征，即利用事先离线训练好的SVM分类器对大车和小车进行分类；SVM分类器的输入特征向量为训练数据集每辆车的宽度特征和高度特征，输出为大车和小车的类型标签；将检测到的该辆车的宽度特征和高度特征输入到SVM分类器，完成车型识别。
与现有技术相比，本发明的有益效果是：
本发明的突出的实质性特点如下：
(1)利用价格低廉的Kinect传感器，提出深度虚拟线圈方法，即利用深度图像产生运动目标深度图和空洞深度图，结合虚拟线圈，并且巧妙的运用Kinect不能识别的空洞点，获得以强度信号为主，空洞信号为辅的一维计数信号，解决夜间车流量检测问题。
(2)准确检测车辆是否换道或跨车道线行驶，减少车辆统计的误差，如果车道线为虚线(车道分界线)，在保证安全的情况下，允许车辆越线变换车道行驶，如果车道线为实线(道路中心线、机动车非机动车分界线)则不允许车辆跨越行驶，因此该系统可以对车辆的违法跨车道行驶行为进行检测。
(3)利用深度数据来获取车辆的宽度特征和高度特征，并利用SVM实现夜间车型的初步分类。
本发明的显著进步如下：
(1)本发明在夜间彩色图像信息较少的情况下，通过Kinect获取二维图像所丢失的深度数据，获取的深度数据具有稳定度高、能够还原真实场景等特点，相对图像来说获取的信息更加丰富，能够更好地检测车辆和统计车流量。
(2)本发明采用虚拟线圈算法结合深度图像，利用车辆目标的连续性产生连续的计数信号，避免了复杂的特征提取与跟踪，减少了运算时间，具有成本低、易维护、实时性较好等特点。
(3)本发明计数精确度高，能够准确检测车辆是否换道或跨车道线行驶，减少车辆统计的误差，算法复杂度低，装置价格低廉，不易受场景的光照变化、阴影及闭塞等影响。
(4)本发明为夜间环境下的车辆检测、计数与识别提出一种快速、准确、低成本的解决思路，具有较好的工程应用价值。
附图说明
图1为本发明方法的步骤流程示意框图。
图2为本发明方法的深度图像采集示意图。
图3为Kinect传感器采集的原始深度图像及其生成的去噪后的运动目标深度图和空洞深度图；图3(a)为原始深度图像，图3(b)为去噪后运动目标深度图，图3(c)为去噪后空洞深度图。
图4为虚拟线圈与车道的相对设置示意图，图4(a)为单车道虚拟线圈设置示意图，
图4(b)为双车道虚拟线圈设置示意图。
图5为实施例中得到的某一辆车的强度信号、空洞信号和计数信号的示意图，其中图5(a)强度信号、图5(b)为空洞信号、图5(c)为计数信号。
图6为实施例1中单车道某120帧连续行驶的四辆车的计数信号示意图。
图7为本发明方法的车辆宽度特征计算示意图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。但并不以此作为对本申请权利要求保护范围的限定。
本发明基于Kinect的夜间车流量统计及车型识别方法，该方法将Kinect深度图像和虚拟线圈算法相结合，首先对Kinect深度图像进行预处理，分别获得运动目标深度图(Motion Depth Map，简称MDM)与空洞深度图(Hole Depth Map，简称HDM)，然后设置虚拟线圈，在虚拟线圈范围内利用积分图像分别生成对应的一维信号，对一维信号进行加权合成获得车辆运动特征的表达并进行计数，最后在合成的计数信号范围内通过运动目标深度图空洞深度图计算出车辆目标的几何特征，通过SVM对大小车型进行有效识别，具体步骤如下：
第一步，深度图像采集：
在待统计的单车道或双车道对应的天桥或监控立杆上垂直安装Kinect传感器，设定车流量统计时间为T，采用OpenNI驱动同时获取分辨率为320×240～640×480的深度图像Z(x,y)和彩色图像，帧率为14pfs～30pfs；
第二步，深度图像预处理：
通过对深度图像进行阈值分割获得运动目标深度图，然后对运动目标深度图进行形态学开操作消除噪声；同时对深度图像进行空洞检测获得空洞深度图，然后对空洞深度图进行形态学腐蚀操作消除噪声；得到去噪前后的运动目标深度图和空洞深度图；
第三步，设置虚拟线圈：
为减少噪声的影响，在第一步采集的深度图像中相对空洞数量最少的位置设置虚拟线圈，虚拟线圈在去噪前后的运动目标深度图和空洞深度图中的位置相同，所述虚拟线圈的长度为车道宽度，能够覆盖整个车道；所述车道宽度是指在深度图像中呈现的车道宽度，虚拟线圈的宽度和车辆在虚拟线圈内停留的时间关系为：ts＝(Vl+M*)/v，其中ts为停留时间(计数信号宽度)，Vl为车辆长度，M*为虚拟线圈在真实场景的宽度，v为车辆行驶的速度，根据虚拟线圈的宽度和车辆在虚拟线圈内停留的时间关系可知虚拟线圈的宽度越宽，车辆在虚拟线圈内停留的时间越长，计数信号的宽度也会越宽，漏检率减少，但是也越容易受到地面车灯反射光的影响，造成系统的错检，且计算量会越大，虚拟线圈的宽度越窄，车辆在虚拟线圈内停留的时间越短，越容易使连续行驶的两辆车分开，但计数信号宽度越窄，在车辆速度较快时，易产生漏检的情况，虚拟线圈宽度一般设置为10～50像素，它需要根据实际环境的不同来调整；
第四步，生成强度信号、空洞信号、计数信号、宽度特征信号和高度特征信号：
利用去噪后的运动目标深度图，在虚拟线圈内计算积分，提取每一帧虚拟线圈内的强度总和为强度信号，同时利用去噪后的空洞深度图，在虚拟线圈内计算积分，提取每一帧虚拟线圈内的空洞个数为空洞信号，分别对强度信号和空洞信号进行归一化处理，然后进行加权融合获得计数信号；获得计数信号后，在计数信号不为0时，在虚拟线圈内计算车辆宽度特征信号W(t)和车辆高度特征信号H(t)；
车辆宽度特征信号W(t)的计算方法是：利用去噪前的运动目标深度图和空洞深度图，在去噪前的运动目标深度图的虚拟线圈内检测车辆的信息区域Ψa，在去噪前的空洞深度图的虚拟线圈内检测车辆的空洞信息区域Ψb，把车辆的信息区域Ψa和空洞信息区域Ψb进行融合，得到车辆的潜在区域Φ＝Ψa∪Ψb，然后进行形态学运算和连通域检测，设Φmin为车辆区域面积最小值，在车辆潜在区域Φ内找到不小于车辆面积最小值Φmin的区域，该区域即为车辆目标区域Φ′，即Φ′≥Φmin，利用车辆目标区域Φ′求出车辆区域的外接矩形，外接矩形的长为该帧的车辆宽度特征，从而得到每一帧的车辆宽度特征信号W(t)；
车辆高度特征信号H(t)的计算方法是：设定车辆距离Kinect传感器的最大和最小距离分别为dmax和dmin，对第一步采集的深度图像Z(x,y)按照式(1)进行阈值处理，去除不符合实际距离的点，得到有效深度图像D(x,y)；
在有效深度图像D(x,y)中所对应的虚拟线圈内提取距离Kinect传感器最近的n个深度点，n不少于5且不大于20，根据式(2)取n个深度点的平均值，把该平均值定义为该帧的车辆高度特征，即得到每一帧的车辆高度特征信号H(t)：
其中Ji(t)为t帧时虚拟线圈内距离Kinect传感器最近的n个深度点；
第五步，计数信号去噪、分段和车流量统计：
由于计数信号会存在一定的噪声，首先对第四步的计数信号，利用空间滤波器进行去噪，然后利用零信号对去噪后的计数信号进行分段，即有非零信号的情况下，连续出现5个以上个数的零信号就进行分段，分段后，再判断每段内去噪后计数信号连续出现的个数是否不小于3，如果不小于3，则该段计为一台车，如果小于3，则为噪声信号，不进行计数；最后得到在车流量统计时间T内，单车道的车流量，完成单车道车流量统计工作；
第六步，车辆特征获取和车型识别
在一辆车的计数信号时段内，设t1为信号段起始帧，t2为信号段终帧，取车辆宽度特征信号的最大值为该辆车的宽度特征，即取车辆高度特征信号的最小值为该辆车的高度特征，即利用事先离线训练好的SVM分类器对大车和小车进行分类；SVM分类器的输入特征向量为训练数据集每辆车的宽度特征和高度特征，输出为大车和小车的类型标签；将检测到的该辆车的宽度特征和高度特征输入到SVM分类器，完成车型识别。本申请中考虑到车辆类型的巨大差异，将通行车辆主要分为两个大类，即大型车辆与小型车辆。其中小型车辆主要为7座及7座以下的轿车和面包车，货车、卡车及超过7座的公交车和客车等统一归为大型车辆。
本发明方法的进一步特征在于所述Kinect传感器在进行单车道检测时安装在单车道的中线正上方，在进行双车道检测时，Kinect传感器安装在两个相邻车道的中线正上方，两个单车道共用一个Kinect传感器进行检测。
本发明方法的进一步特征在于，在需要对相邻的两个单车道进行车流量统计时，在单车道进行一次计数时后，需要进行跨车道线检测，跨车道线检测的判断条件为：
一、两个单车道的虚拟线圈同时产生信号，且同时结束信号：
即设G1(t)、G2(t)分别为两个单车道的虚拟线圈的计数信号，ta、tb分别为信号段内连续信号的起始帧和终止帧，则在帧数[ta,tb]内满足：[ta,tb]＝{t|(G1(t)＞0,G2(t)＞0,t∈[ta,tb])∪(G1(t)＝0,G2(t)＝0,t∈[ta,tb])}；
二、两个单车道的虚拟线圈中车辆对应的外接矩形均接近两个单车道的虚拟线圈的交界线：
即设相邻两个外接矩形的左上角坐标分别为(x1,y1)和(x2,y2)，外接矩形的宽分别为W1和W2，则满足：|(x1+W1)-x2|≤μ，其中μ为常数(0或1)；
三、在单一虚拟线圈中检测的每一帧的车辆宽度特征均不大于单车道宽度阈值且相邻两个虚拟线圈检测的每一帧的车辆宽度特征之和小于双车道宽度阈值η，即满足：W1+W2≤η，其中和η为常数，取车道虚拟线圈宽度的85-95％，η取双车道虚拟线圈宽度和的60-70％；
若为双车道时，在车辆跨车道线时两个虚拟线圈都会计数，会产生误差，需对跨车道线行为进行检测，在两个单车道的车流量统计总结果上减去跨车道的车辆数目，去除计数误差，得到两个相邻单车道车流量统计数据。
本发明方法的进一步特征在于，所述第二步中的深度图像预处理的具体方法是：按照式(3)对深度图像Z(x,y)进行阈值分割获得运动目标深度图M(x,y)，
其中τ为深度阈值，用以消除场景的背景信息；
然后按照式(4)对运动目标深度图进行形态学开操作，剔除零散的噪声点，获得更好的运动特征表达，得到去噪后运动目标深度图M′(x,y)，
其中SM为形态学结构单元，为开操作；
按照式(5)对深度图像进行空洞检测获得空洞深度图H(x,y)，然后按照式(6)对空洞深度图进行形态学腐蚀操作，剔除空洞深度图中车灯光照射在地面而产生的噪声以及非车辆影响而产生的零散噪声点或者区块，得到去噪后的空洞深度图H′(x,y)，
H′(x,y)＝H(x,y)ΘSH (6)，
其中SH为形态学结构单元，Θ为腐蚀操作。
本发明方法的进一步特征在于，所述第四步中的强度信号、空洞信号和计数信号生成的方法如下：虚拟线圈内的强度信号为
其中Ω为深度图像中的虚拟线圈；
虚拟线圈内的空洞信号为
利用归一化系数对强度信号和空洞信号进行归一化处理，强度信号归一化系数为μ0＝1/(M×N×C)，空洞信号归一化系数为η0＝1/(M×N)，其中N和M分别为虚拟线圈Ω的长和宽，C为原始深度图像的像素最大值，归一化后的强度信号和空洞信号为：p′(t)＝μ0p(t)和q′(t)＝η0q(t)，
利用加权融合获得计数信号：g(t)＝αp′(t)+βq′(t)，
其中α和β分别为强度信号和空洞信号的权重。
本发明方法的进一步特征在于，第五步中所述的空间滤波器的表达式为式(7)，
其中i＝-2,-1,0,1,2；g(t)为t帧的计数信号，g(t+i)为g(t)在t帧对应的邻域的计数信号，G(t)为对应的滤波后信号；
设计数信号段的帧数范围为[t1,t2]，则连续计数信号的宽度计数准则为：在计数信号段内如果有一定数量的连续计数信号就进行计数即Kw≥Kmin，其中Kmin定义为车辆计数所需连续计数信号的最小宽度。
图1所示实施例表明，本发明方法的步骤流程是：深度图像采集→深度图像预处理→设置虚拟线圈→生成强度信号、空洞信号、计数信号、宽度特征信号和高度特征信号→计数信号去噪、分段和车流量统计→车辆特征获取和车型识别。
图2所示实施例表明，垂直安装Kinect传感器采集深度图像的模型，图中黑色为垂直安装的Kinect传感器，下面是正在通过的车辆。
图7所示实施例表明，车辆检测过程和车辆宽度特征获取过程，利用去噪前的运动目标深度图(如图7中(a))和空洞深度图(如图7中(b))，在去噪前的运动目标深度图的虚拟线圈内检测车辆的信息区域Ψa(如图7中(c))，在去噪前的空洞深度图的虚拟线圈内检测车辆的空洞信息区域Ψb(如图7中(d))，把车辆的信息区域Ψa和空洞信息区域Ψb进行融合，得到车辆的潜在区域Φ＝Ψa∪Ψb(如图7中(e))，然后进行形态学运算和连通域检测，利用目标的大小进行限制得到车辆区域Φ′(如图7中(f))，最后求车辆区域的外接矩形(如图7中(g))。
实施例1
本实施例基于Kinect的夜间车流量统计及车型识别方法，同时统计单车道的车流量和相邻两个单车道(双车道)的实际车流量，具体步骤是：
第一步，深度图像采集：
把Kinect传感器垂直安装在武汉市友谊大道武汉理工大学二桥上，车流量数据采集时段为晚上19点到22点之间，Kinect传感器的有效成像范围在0.8m～4m之间，最大为10m，而现实中大部分天桥和监控立杆的高度约为4m～6m，考虑到被检测车辆会有一定的高度，因此可以将其安装在绝大部分天桥或现有的监控立杆上，实现对车辆的深度数据采集，对于Kinect传感器的摄像头安装的高度大约为5.6m，且安装在两个相邻车道的中线正上方，两个单车道共用一个Kinect传感器进行检测。分别针对单车道和双车道的车流量进行检测与计数，采用OpenNI驱动同时获取分辨率为640×480的深度图像和彩色图像，最大帧率为30pfs，算法利用C/C++语言和OpenCV库实现；
第二步，深度图像预处理：
由于Kinect传感器通过发射红外线来获取深度信息，导致Kinect传感器针对吸收红外线的材料、不能反射激光散斑的特殊结构以及成像范围之外的场景不能有效进行深度成像，从而在深度图中会形成空洞现象(即该区域对应的深度值为0)，由于Kinect传感器的成像特性，在检测车辆时，会在如下情况下产生空洞情况：①黑颜色车辆、②车辆前后挡风玻璃以及玻璃天窗、④强烈光照和⑤噪声，其中黑颜色的车体对Kinect发射的红外线进行吸收，不能产生足够的反射信号完成对深度的感知，Kinect发射红外线到玻璃表面，会产生强烈的折射现象，同样也不能有效地反射激光散斑实现深度感知。强烈的光照(如车灯的照射)作用在Kinect感知区域会对Kinect产生的红外信号产生严重干扰，也不能正常进行深度成像，此外由于噪声产生的空洞也广泛存在于深度图中，对车辆检测将会产生强烈的干扰，特别是在夜间环境中，以上情况严重影响了车辆的深度感知，需要针对这些空洞情况进行特别处理，从而实现对车辆的有效感知与计数。
按照式(3)对深度图像Z(x,y)进行阈值分割获得运动目标深度图M(x,y)，
其中τ为深度阈值，用以消除场景的背景信息，深度阈值选择为5400mm；
然后按照式(4)对运动目标深度图进行形态学开操作，剔除零散的噪声点，获得更好的运动特征表达，得到去噪后运动目标深度图M′(x,y)，
其中SM为形态学结构单元，为开操作；
除运动特征外，空洞信息也是车辆检测提供重要的依据，如黑车对应的深度图中无法有效检测出深度信息，强烈依赖空洞信息实现检测，按照式(5)对深度图像进行空洞检测获得空洞深度图H(x,y)，然后按照式(6)对空洞深度图进行形态学腐蚀操作，剔除空洞深度图中车灯光照射在地面而产生的噪声以及非车辆影响而产生的零散噪声点或者区块，得到去噪后的空洞深度图H′(x,y)，
H′(x,y)＝H(x,y)ΘSH(6)，
其中SH为形态学结构单元，Θ为腐蚀操作。
第三步，设置虚拟线圈：
在去噪前后的运动目标深度图和空洞深度图中的同一个位置设置虚拟线圈，为了减少噪声的影响需要在第一步采集的深度图像中空洞数量最少的位置设置虚拟线圈，虚拟线圈的长度为车道宽度，能够覆盖整个车道，确保不会出现漏检，双车道虚拟线圈长度设置为270像素，宽度设置为20像素；
第四步，生成强度信号、空洞信号、计数信号、宽度特征信号和高度特征信号：
虚拟线圈内的强度信号为其中Ω为深度图像中的虚拟线圈，虚拟线圈内的空洞信号为利用归一化系数对强度信号和空洞信号进行归一化处理，强度信号归一化系数为μ0＝1/(M×N×255)，空洞信号归一化系数为η0＝1/(M×N)，其中N和M分别为虚拟线圈Ω的长和宽，归一化后的强度信号和空洞信号为：p′(t)＝μ0p(t)和q′(t)＝η0q(t)，利用加权融合获得计数信号：
g(t)＝αp′(t)+βq′(t)，其中α和β分别为强度信号和空洞信号的权重，强度信号权值α为360，空洞信号权值β为240；其中某一辆车的强度信号、空洞信号及计数信号分别如图5中所示。
获得计数信号后，在计数信号不为0时，在虚拟线圈内计算车辆宽度特征信号W(t)和车辆高度特征信号H(t)；
车辆宽度特征信号W(t)的计算方法是：利用去噪前的运动目标深度图和空洞深度图，在去噪前的运动目标深度图的虚拟线圈内检测车辆的信息区域Ψa，在去噪前的空洞深度图的虚拟线圈内检测车辆的空洞信息区域Ψb，把车辆的信息区域Ψa和空洞信息区域Ψb进行融合，得到车辆的潜在区域Φ＝Ψa∪Ψb，然后进行形态学运算和连通域检测，设Φmin为车辆区域面积最小值，在车辆潜在区域Φ内找到不小于车辆面积最小值Φmin的区域，该区域即为车辆目标区域Φ′，即Φ′≥Φmin，利用车辆目标区域Φ′求出车辆区域的外接矩形，
外接矩形的长为车辆的宽度，从而得到每一帧的车辆宽度特征信号W(t)；
车辆高度特征信号H(t)的计算方法是：设定车辆距离Kinect传感器的最大和最小距离分别为dmax和dmin，对第一步采集的深度图像Z(x,y)按照式(1)进行阈值处理，去除不符合实际距离的点，得到有效深度图像D(x,y)：
在有效深度图像D(x,y)中所对应的虚拟线圈内提取距离Kinect传感器最近的5个深度点，根据式(2)取5个深度点的平均值，把该平均值定义为车辆的高度特征，即得到每一帧的车辆高度特征信号H(t)：
其中Ji(t)为t帧时虚拟线圈内距离Kinect传感器最近的5个深度点；
第五步，计数信号去噪、分段和车流量统计：
由于计数信号会存在一定的噪声，首先对第四步的计数信号，利用空间滤波器进行去噪，然后利用零信号对去噪后的计数信号进行分段，即有非零信号的情况下，连续出现5个零信号就进行分段；
所述空间滤波器对计数信号进行噪声消除的表达式为式(7)，
其中i＝-2,-1,0,1,2；g(t)为t帧的计数信号，g(t+i)为g(t)在t帧对应的邻域的计数信号，G(t)为对应的滤波后信号；
然后对进行车流计数，设计数信号段的帧数范围为[t1,t2]，则连续计数信号的宽度计数准则为：在计数信号段内如果有一定数量的连续计数信号就进行计数即Kw≥Kmin，其中Kmin定义为车辆计数所需连续计数信号的最小宽度，Kmin取3；如果不小于3，则该段计为一台车，如果小于3，则为噪声信号，不进行计数；图6为在单车道中某120帧多个计数信号段内的计数信号情况，从图中可以看出按照上述的方式通过分段可以获得每一辆车的计数信号。
最后得到在车流量统计时间T内，单车道的车流量，完成单车道车流量统计工作；
第六步，车辆特征获取和车型识别：
在一辆车的计数信号时段内，设t1为信号段起始帧，t2为信号段终帧，取车辆宽度特征信号的最大值为该辆车的宽度特征，即取车辆高度特征信号的最小值为该辆车的高度特征，即利用事先离线训练好的SVM分类器对大车和小车进行分类；SVM分类器的输入特征向量为训练数据集每辆车的宽度特征和高度特征，输出为大车和小车的类型标签；将检测到的该辆车的宽度特征和车辆的高度特征输入到SVM分类器，完成车型识别。
统计相邻的两个单车道的车流量时，在单车道进行一次计数时后，需要进行跨车道线检测，跨车道线检测的判断条件为：
一、两个单车道的虚拟线圈同时产生信号，且同时结束信号：
即设G1(t)、G2(t)分别为两个单车道的虚拟线圈的计数信号，ta、tb分别为信号段内连续信号的起始帧和终止帧，则在帧数[ta,tb]内满足：[ta,tb]＝{t|(G1(t)＞0,G2(t)＞0,t∈[ta,tb])∪(G1(t)＝0,G2(t)＝0,t∈[ta,tb])}；
二、两个单车道的虚拟线圈中车辆对应的外接矩形均接近两个单车大的虚拟线圈的交界线：
即设相邻两个外接矩形的左上角坐标分别为(x1,y1)和(x2,y2)，外接矩形的宽分别为W1和W2，则满足：|(x1+W1)-x2|≤μ，其中μ为常数1；
三、在单一虚拟线圈中检测的每一帧的车辆宽度特征均不大于单车道宽度阈值且相邻两个虚拟线圈检测的每一帧的车辆宽度特征之和小于双车道宽度阈值η，即满足：W1+W2≤η，其中和η为常数，和η分别取250像素和350像素；
在统计双车道车流量时，两个虚拟线圈都会计数，会产生误差，因此在两个单车道的车流量统计总结果上减去跨车道的车辆数目，去除计数误差，得到两个相邻单车道车流量统计数据。
本实施例以武汉市友谊大道武汉理工大学二桥下为试验场景，车流量数据采集时段为晚上19点到22点之间，采集20分钟视频。对双车道数据用本方法实现车辆检测、车辆计数以及跨车道线检测。对于单车道与双车道的车流量计数正确率分别高达99.51％与99.25％，且能够全部识别试验时间段内的车辆换道行为。
实施例2
本实施例基于Kinect的夜间车流量统计及车型识别方法具体步骤同实施例1，不同之处在于本实施例专门针对一个单车道进行车流量统计，在第一步深度图像采集时，将Kinect传感器垂直安装在武汉市友谊大道武汉理工大学二桥上，对于Kinect传感器的摄像头安装的高度大约为5.5m，且安装在待统计的单车道的中线正上方；在第三步设置虚拟线圈时，单车道虚拟线圈长度设置为310像素，宽度设置为20像素。完成第六步车辆特征获取和车型识别后就完成了整个车流量统计及车型识别过程。本实施例不进行跨车道线检测。
以武汉市友谊大道武汉理工大学二桥下为试验场景，车流量数据采集时段为晚上19点到22点之间，采集100分钟视频。对单车道数据用本实施例方法实现车辆检测、车辆计数以及车型识别，单车道车流量计数正确率高达99.75％，大小车型分类正确率可达99.80％，处理单张图片的平均时间约为7ms。
上述实施例证明本发明所采用的基于Kinect深度图像和虚拟线圈的统计方法，实现了精准的车流量统计，为夜间环境下的车辆检测、计数与识别提出一种快速、准确、低成本的解决思路，具有较好的工程应用价值。
本发明未述及之处适用于现有技术。

Claims (6)

1.一种基于Kinect的夜间车流量统计及车型识别方法，该方法的具体步骤如下：
第一步，深度图像采集：
在待统计的单车道或双车道对应的天桥或监控立杆上垂直安装Kinect传感器，设定车流量统计时间为T，采用OpenNI驱动同时获取分辨率为320×240～640×480的深度图像Z(x,y)和彩色图像，帧率为14pfs～30pfs；
第二步，深度图像预处理：
通过对深度图像进行阈值分割获得运动目标深度图，然后对运动目标深度图进行形态学开操作消除噪声；同时对深度图像进行空洞检测获得空洞深度图，然后对空洞深度图进行形态学腐蚀操作消除噪声；得到去噪前后的运动目标深度图和空洞深度图；
第三步，设置虚拟线圈：
在第一步采集的深度图像中相对空洞数量最少的位置设置虚拟线圈，虚拟线圈在去噪前后的运动目标深度图和空洞深度图中的位置相同，所述虚拟线圈的长度为深度图像中车道宽度，虚拟线圈的宽度设置为10～50像素；
第四步，生成强度信号、空洞信号、计数信号、宽度特征信号和高度特征信号：
利用去噪后的运动目标深度图，在虚拟线圈内计算积分，提取每一帧虚拟线圈内的强度总和为强度信号，同时利用去噪后的空洞深度图，在虚拟线圈内计算积分，提取每一帧虚拟线圈内的空洞个数为空洞信号，分别对强度信号和空洞信号进行归一化处理，然后进行加权融合获得计数信号；获得计数信号后，在计数信号不为0时，在虚拟线圈内计算车辆宽度特征信号W(t)和车辆高度特征信号H(t)；
车辆宽度特征信号W(t)的计算方法是：利用去噪前的运动目标深度图和空洞深度图，在去噪前的运动目标深度图的虚拟线圈内检测车辆的信息区域Ψa，在去噪前的空洞深度图的虚拟线圈内检测车辆的空洞信息区域Ψb，把车辆的信息区域Ψa和空洞信息区域Ψb进行融合，得到车辆的潜在区域Φ＝Ψa∪Ψb，然后进行形态学运算和连通域检测，设Φmin为车辆区域面积最小值，在车辆潜在区域Φ内找到不小于车辆面积最小值Φmin的区域，该区域即为车辆目标区域Φ′，即Φ′≥Φmin，利用车辆目标区域Φ′求出车辆区域的外接矩形，外接矩形的长为该帧的车辆宽度特征，从而得到每一帧的车辆宽度特征信号W(t)；
车辆高度特征信号H(t)的计算方法是：设定车辆距离Kinect传感器的最大和最小距离分别为dmax和dmin，对第一步采集的深度图像Z(x,y)按照式(1)进行阈值处理，去除不符合实际距离的点，得到有效深度图像D(x,y)；
<mrow> <mi>D</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>Z</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>Z</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&amp;Element;</mo> <mo>&amp;lsqb;</mo> <msub> <mi>d</mi> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> </msub> <mo>,</mo> <msub> <mi>d</mi> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> </msub> <mo>&amp;rsqb;</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mn>0</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>Z</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&amp;NotElement;</mo> <mo>&amp;lsqb;</mo> <msub> <mi>d</mi> <mi>min</mi> </msub> <mo>,</mo> <msub> <mi>d</mi> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> </msub> <mo>&amp;rsqb;</mo> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>,</mo> </mrow>
在有效深度图像D(x,y)中所对应的虚拟线圈内提取距离Kinect传感器最近的n个深度点，n不少于5且不大于20，根据式(2)取n个深度点的平均值，把该平均值定义为该帧的车辆高度特征，即得到每一帧的车辆高度特征信号H(t)：
<mrow> <mi>H</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <mi>n</mi> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <msub> <mi>J</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>/</mo> <mi>n</mi> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> <mo>,</mo> </mrow>
其中Ji(t)为t帧时虚拟线圈内距离Kinect传感器最近的n个深度点；
第五步，计数信号去噪、分段和车流量统计：
首先对第四步的计数信号，利用空间滤波器进行去噪，然后利用零信号对去噪后的计数信号进行分段，即有非零信号的情况下，连续出现5个以上个数的零信号就进行分段，分段后，再判断每段内去噪后计数信号连续出现的个数是否不小于3，如果不小于3，则该段计为一台车，如果小于3，则为噪声信号，不进行计数；最后得到在车流量统计时间T内，单车道的车流量，完成单车道车流量统计工作；
第六步，车辆特征获取和车型识别：
在一辆车的计数信号时段内，设t1为信号段起始帧，t2为信号段终帧，取车辆宽度特征信号的最大值为该辆车的宽度特征，即取车辆高度特征信号的最小值为该辆车的高度特征，即利用事先离线训练好的SVM分类器对大车和小车进行分类；SVM分类器的输入特征向量为训练数据集每辆车的宽度特征和高度特征，输出为大车和小车的类型标签；将检测到的该辆车的宽度特征和高度特征输入到SVM分类器，完成车型识别。
2.根据权利要求1所述的基于Kinect的夜间车流量统计及车型识别方法，其特征在于所述Kinect传感器在进行单车道检测时安装在单车道的中线正上方，在进行双车道检测时，Kinect传感器安装在两个相邻车道的中线正上方，两个单车道共用一个Kinect传感器进行检测。
3.根据权利要求1所述的基于Kinect的夜间车流量统计及车型识别方法，其特征在于在需要对相邻的两个单车道进行车流量统计时，在单车道进行一次计数时后，需要进行跨车道线检测，跨车道线检测的判断条件为：
一、两个单车道的虚拟线圈同时产生信号，且同时结束信号：
即设G1(t)、G2(t)分别为两个单车道的虚拟线圈的计数信号，ta、tb分别为信号段内连续信号的起始帧和终止帧，则在帧数[ta,tb]内满足：[ta,tb]＝{t|(G1(t)＞0,G2(t)＞0,t∈[ta,tb])∪(G1(t)＝0,G2(t)＝0,t∈[ta,tb])}；
二、两个单车道的虚拟线圈中车辆对应的外接矩形均接近两个单车道的虚拟线圈的交界线：
即设相邻两个外接矩形的左上角坐标分别为(x1,y1)和(x2,y2)，外接矩形的宽分别为W1和W2，则满足：|(x1+W1)-x2|≤μ，其中μ为常数；
三、在单一虚拟线圈中检测的每一帧的车辆宽度特征均不大于单车道宽度阈值且相邻两个虚拟线圈检测的每一帧的车辆宽度特征之和小于双车道宽度阈值η，即满足：W1+W2≤η，其中和η为常数，取车道虚拟线圈宽度的85-95％，η取双车道虚拟线圈宽度和的60-70％；
若为双车道时，在两个单车道的车流量统计总结果上减去跨车道的车辆数目，得到两个相邻单车道车流量统计数据。
4.根据权利要求1所述的基于Kinect的夜间车流量统计及车型识别方法，其特征在于所述第二步中的深度图像预处理的具体方法是：
按照式(3)对深度图像Z(x,y)进行阈值分割获得运动目标深度图M(x,y)，
<mrow> <mi>M</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mn>0</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>Z</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&gt;</mo> <mi>&amp;tau;</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>Z</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>Z</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&amp;le;</mo> <mi>&amp;tau;</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> <mo>,</mo> </mrow>
其中τ为深度阈值，用以消除场景的背景信息；
然后按照式(4)对运动目标深度图进行形态学开操作，剔除零散的噪声点，得到去噪后运动目标深度图M′(x,y)，
<mrow> <msup> <mi>M</mi> <mo>&amp;prime;</mo> </msup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>M</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&amp;CircleTimes;</mo> <msub> <mi>S</mi> <mi>M</mi> </msub> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> <mo>,</mo> </mrow>
其中SM为形态学结构单元，为开操作；
按照式(5)对深度图像进行空洞检测获得空洞深度图H(x,y)，然后按照式(6)对空洞深度图进行形态学腐蚀操作，得到去噪后的空洞深度图H′(x,y)，
<mrow> <mi>H</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mn>1</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>Z</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mn>0</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mn>0</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>Z</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&amp;NotEqual;</mo> <mn>0</mn> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> <mo>,</mo> </mrow>
H′(x,y)＝H(x,y)ΘSH(6)，
其中SH为形态学结构单元，Θ为腐蚀操作。
5.根据权利要求4所述的基于Kinect的夜间车流量统计及车型识别方法，其特征在于所述第四步中的强度信号、空洞信号和计数信号生成的方法如下：
虚拟线圈内的强度信号为
其中Ω为深度图像中的虚拟线圈；
虚拟线圈内的空洞信号为
利用归一化系数对强度信号和空洞信号进行归一化处理，强度信号归一化系数为μ0＝1/(M×N×C)，空洞信号归一化系数为η0＝1/(M×N)，其中N和M分别为虚拟线圈Ω的长和宽，C为原始深度图像的像素最大值，归一化后的强度信号和空洞信号为：p′(t)＝μ0p(t)和q′(t)＝η0q(t)，
利用加权融合获得计数信号：g(t)＝αp′(t)+βq′(t)，
其中α和β分别为强度信号和空洞信号的权重。
6.根据权利要求1所述的基于Kinect的夜间车流量统计及车型识别方法，其特征在于第五步中所述的空间滤波器的表达式为式(7)，
<mrow> <mi>G</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mo>-</mo> <mn>2</mn> </mrow> <mn>2</mn> </munderover> <mi>g</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>+</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>/</mo> <mn>5</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>g</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>=</mo> <mn>0</mn> <mo>&amp;cap;</mo> <mi>g</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>+</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>&amp;NotEqual;</mo> <mn>0</mn> <mo>,</mo> <mi>i</mi> <mo>&amp;NotEqual;</mo> <mn>0</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mn>0</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>g</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>&amp;NotEqual;</mo> <mn>0</mn> <mo>&amp;cap;</mo> <mi>g</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>+</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>=</mo> <mn>0</mn> <mo>,</mo> <mi>i</mi> <mo>&amp;NotEqual;</mo> <mn>0</mn> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>7</mn> <mo>)</mo> </mrow> <mo>,</mo> </mrow>
其中i＝-2,-1,0,1,2；g(t)为t帧的计数信号，g(t+i)为g(t)在t帧对应的邻域的计数信号，G(t)为对应的滤波后信号。
CN201710691057.4A 2017-08-14 2017-08-14 一种基于Kinect的夜间车流量统计及车型识别方法 Expired - Fee Related CN107274678B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710691057.4A CN107274678B (zh) 2017-08-14 2017-08-14 一种基于Kinect的夜间车流量统计及车型识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710691057.4A CN107274678B (zh) 2017-08-14 2017-08-14 一种基于Kinect的夜间车流量统计及车型识别方法

Publications (2)

Publication Number Publication Date
CN107274678A true CN107274678A (zh) 2017-10-20
CN107274678B CN107274678B (zh) 2019-05-03

Family

ID=60080278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710691057.4A Expired - Fee Related CN107274678B (zh) 2017-08-14 2017-08-14 一种基于Kinect的夜间车流量统计及车型识别方法

Country Status (1)

Country Link
CN (1) CN107274678B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596938A (zh) * 2018-04-25 2018-09-28 杭州光珀智能科技有限公司 一种客流统计方法及装置
CN108734971A (zh) * 2018-01-30 2018-11-02 南京理工大学 一种基于激光散斑图像处理的车速测量方法及装置
CN109522840A (zh) * 2018-11-16 2019-03-26 孙睿 一种高速路车流密度监测计算系统及方法
CN110008834A (zh) * 2019-02-28 2019-07-12 中电海康集团有限公司 一种基于视觉的方向盘干预检测与统计方法
CN111738995A (zh) * 2020-06-10 2020-10-02 苏宁云计算有限公司 一种基于rgbd图像的目标检测方法、装置及计算机设备
CN112069224A (zh) * 2020-09-11 2020-12-11 重庆紫光华山智安科技有限公司 一种过车数量存储方法、装置、终端及计算机存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001291187A (ja) * 2000-04-06 2001-10-19 Toshiba Corp 車両監視システム
KR20020070927A (ko) * 2002-08-07 2002-09-11 정인준 교통흐름 측정 모듈
CN1725266A (zh) * 2004-07-21 2006-01-25 上海高德威智能交通系统有限公司 基于视频触发和测速的车辆智能监测记录系统和方法
CN102708687A (zh) * 2012-06-01 2012-10-03 辽宁机电职业技术学院 无线感应型道路车辆流量检测装置
CN103150903A (zh) * 2013-02-07 2013-06-12 中国科学院自动化研究所 一种自适应学习的视频车辆检测方法
CN103310638A (zh) * 2013-05-24 2013-09-18 江苏引跑网络科技有限公司 基于虚拟线圈技术的视频车流量统计技术
CN106355903A (zh) * 2016-09-13 2017-01-25 枣庄学院 基于视频分析的多车道车流量检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001291187A (ja) * 2000-04-06 2001-10-19 Toshiba Corp 車両監視システム
KR20020070927A (ko) * 2002-08-07 2002-09-11 정인준 교통흐름 측정 모듈
CN1725266A (zh) * 2004-07-21 2006-01-25 上海高德威智能交通系统有限公司 基于视频触发和测速的车辆智能监测记录系统和方法
CN102708687A (zh) * 2012-06-01 2012-10-03 辽宁机电职业技术学院 无线感应型道路车辆流量检测装置
CN103150903A (zh) * 2013-02-07 2013-06-12 中国科学院自动化研究所 一种自适应学习的视频车辆检测方法
CN103310638A (zh) * 2013-05-24 2013-09-18 江苏引跑网络科技有限公司 基于虚拟线圈技术的视频车流量统计技术
CN106355903A (zh) * 2016-09-13 2017-01-25 枣庄学院 基于视频分析的多车道车流量检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ALISSM ET.AL: ""A Simple multiple loop sensor configuration for vehicle detection in an undisciplined traffic"", 《INTERNATIONAL CONFERENCE ON SENSING TECHNOLOGY，NEW ZEALAND：IEEE》 *
甘玲 等: "基于自适应虚拟线圈的多车道车流量检测算法", 《计算机应用》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734971A (zh) * 2018-01-30 2018-11-02 南京理工大学 一种基于激光散斑图像处理的车速测量方法及装置
CN108734971B (zh) * 2018-01-30 2020-08-25 南京理工大学 一种基于激光散斑图像处理的车速测量方法及装置
CN108596938A (zh) * 2018-04-25 2018-09-28 杭州光珀智能科技有限公司 一种客流统计方法及装置
CN109522840A (zh) * 2018-11-16 2019-03-26 孙睿 一种高速路车流密度监测计算系统及方法
CN109522840B (zh) * 2018-11-16 2023-05-30 孙睿 一种高速路车流密度监测计算系统及方法
CN110008834A (zh) * 2019-02-28 2019-07-12 中电海康集团有限公司 一种基于视觉的方向盘干预检测与统计方法
CN111738995A (zh) * 2020-06-10 2020-10-02 苏宁云计算有限公司 一种基于rgbd图像的目标检测方法、装置及计算机设备
CN111738995B (zh) * 2020-06-10 2023-04-14 苏宁云计算有限公司 一种基于rgbd图像的目标检测方法、装置及计算机设备
CN112069224A (zh) * 2020-09-11 2020-12-11 重庆紫光华山智安科技有限公司 一种过车数量存储方法、装置、终端及计算机存储介质
CN112069224B (zh) * 2020-09-11 2023-11-17 重庆紫光华山智安科技有限公司 一种过车数量存储方法、装置、终端及计算机存储介质

Also Published As

Publication number Publication date
CN107274678B (zh) 2019-05-03

Similar Documents

Publication Publication Date Title
CN107274678B (zh) 一种基于Kinect的夜间车流量统计及车型识别方法
WO2021259344A1 (zh) 车辆检测方法、装置、车辆和存储介质
CN105005771B (zh) 一种基于光流点轨迹统计的车道线实线的检测方法
CN101750049B (zh) 基于道路和车辆自身信息的单目视觉车距测量方法
CN101881615B (zh) 用于驾驶安全的视觉障碍物检测方法
CN101608924B (zh) 一种基于灰度估计和级联霍夫变换的车道线检测方法
CN105426864B (zh) 一种基于等距边缘点匹配的多车道线检测方法
CN103854320B (zh) 基于激光雷达的车型自动识别方法
CN103593649B (zh) 一种用于车道偏离预警的车道线检测方法
CN101739829B (zh) 一种基于视频的车辆超速监控方法及系统
CN105632186A (zh) 检测车辆加塞行为的方法和装置
CN105216792A (zh) 对周围环境中的障碍物目标进行识别跟踪的方法和设备
CN110065494A (zh) 一种基于车轮检测的车辆防碰撞方法
CN103129468A (zh) 基于激光成像技术的车载路障识别系统和方法
CN103050008B (zh) 夜间复杂交通视频中车辆检测方法
CN109522847A (zh) 一种基于深度图的轨道和道路障碍物检测方法
WO2017145605A1 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
EP2813973B1 (en) Method and system for processing video image
CN114415171A (zh) 一种基于4d毫米波雷达的汽车可行驶区域检测方法
CN102496281A (zh) 一种基于跟踪与虚拟线圈结合的车辆闯红灯检测方法
Wu et al. Adjacent lane detection and lateral vehicle distance measurement using vision-based neuro-fuzzy approaches
CN105118305A (zh) 室外停车场出口车辆管理平台
CN104537649A (zh) 一种基于图像模糊度比较的车辆转向判断方法及系统
CN103164958A (zh) 车辆监控方法及系统
CN106961583A (zh) 双摄像头实景智能行车方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190503