CN107766821A - 基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法及系统 - Google Patents

基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法及系统 Download PDF

Info

Publication number
CN107766821A
CN107766821A CN201710992090.0A CN201710992090A CN107766821A CN 107766821 A CN107766821 A CN 107766821A CN 201710992090 A CN201710992090 A CN 201710992090A CN 107766821 A CN107766821 A CN 107766821A
Authority
CN
China
Prior art keywords
vehicle
target
frame
car
car light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710992090.0A
Other languages
English (en)
Other versions
CN107766821B (zh
Inventor
车少帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CLP Hongxin Information Technology Co.,Ltd.
Original Assignee
JIANGSU HONGXIN SYSTEM INTEGRATION CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JIANGSU HONGXIN SYSTEM INTEGRATION CO Ltd filed Critical JIANGSU HONGXIN SYSTEM INTEGRATION CO Ltd
Priority to CN201710992090.0A priority Critical patent/CN107766821B/zh
Publication of CN107766821A publication Critical patent/CN107766821A/zh
Application granted granted Critical
Publication of CN107766821B publication Critical patent/CN107766821B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/192Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194References adjustable by an adaptive method, e.g. learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法,该方法首先离线训练深度学习CNN模型,建立车辆白天、夜间红外分类器。其次,系统采集一帧图像,检测车辆:白天用动静目标检测方法获得运动、静止目标,用白天分类器分出车辆;夜间用车灯方法检测车灯位置,用夜间分类器检测车辆位置。然后,为检测到每个车辆目标初始化卡尔曼滤波器。接着下一帧,检测当前帧的车辆位置,使用上一帧车辆目标的卡尔曼滤波器预测位置;对比检测位置与预测位置,接着将上一帧图的车辆目标与当前帧图的车辆的位置连接起来,获取车辆的跟踪路径。最后,系统在视频中画出车辆的连续帧路径。

Description

基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方 法及系统
技术领域
本发明属于图像识别、视频分析、车辆识别领域,尤其涉及一种基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法及系统。
背景技术
随着社会的发展、人们生活水平的不断提高,汽车逐渐得到普及。但随之而来的是交通事故,尤其是恶性交通事故趋势不断上升。近年来,车辆的增长速度已经远远高于道路和其他交通设施的增长速度,因此,交通事故不断发生,人员伤亡与日俱增、财产损失严重。造成交通事故的原因主要有超速行驶、占道行驶、酒后驾驶、疲劳驾驶等。因此,对于交通管理部门,通过视频监控对车辆运行状态进行监督,并加大处罚力度;同时对于驾驶员如果能提前观察到前方车辆,那么可以避免绝大多数的事故。基于上面,车辆检测跟踪技术具有重要的应用价值和发展前景。
智能交通视频监控算法主要包含车辆检测、车辆跟踪和车辆行为分析三个步骤。车辆检测实现初始交通场景中车辆目标的提取;车辆跟踪对提取的车辆目标进行实时的运动描述,并生成各自的运动轨迹;行为分析基于产生的运动轨迹的规律来判断车辆是否发生违章行为或处于异常状态。
常见跟踪算法可归为以下四类。
(1)基于区域的跟踪算法
基于区域的跟踪算法基本思想是:将目标初始所在区域的图像块作为目标模板,将目标模板与候选图像中所有可能的位置进行相关匹配,匹配度最高的地方即为目标所在的位置。最常用的相关匹配准则是差的平方和准则,(Sum of Square Difference,SSD)。
(2)基于特征的跟踪方法
基于特征的目标跟踪算法通常是利用目标的一些显著特征表示目标,并通过特征匹配在图像序列中跟踪目标。该类算法不考虑目标的整体特征,因此当目标被部分遮挡时,仍然可以利用另一部分可见特征完成跟踪任务,但是该算法不能有效处理全遮挡、重叠等问题。
(3)基于轮廓的跟踪方法
基于轮廓的目标跟踪方法需要在视频第一帧中指定目标轮廓的位置,之后由微分方程递归求解,直到轮廓收敛到能量函数的局部极小值,其中,能量函数通常与图像特征和轮廓光滑度有关。与基于区域的跟踪方法相比,基于轮廓的跟踪方法的计算复杂度小,对目标的部分遮挡鲁棒。但这种方法在跟踪开始时需要初始化目标轮廓,因此对初始位置比较敏感,跟踪精度也被限制在轮廓级。
(4)基于模型的跟踪方法
在实际应用中,我们需要跟踪的往往是一些特定的我们事先具有认识的目标,因此,基于模型的跟踪方法首先根据自己的先验知识离线的建立该目标的3D或2D几何模型,然后,通过匹配待选区域模型与目标模型实现目标跟踪,进而在跟踪过程中,根据场景中图像的特征,确定运动目标的各个尺寸参数、姿态参数以及运动参数。
专利CN201220337489“基于图像处理的智能交通管控装置”是基于运动检测的方法,当车辆停止后,车辆就会融入背景,运动方法无法检测车辆,则无法跟踪;同时,没有描述夜间检测的情况。
专利CN201210357874“一种车辆跟踪方法及系统”是基于特征检测的方法,该方法从整个图像或者局部图像进行遍历,搜索策略计算量较大,而且目标特征不能及时得到更新,姿态变化易导致跟丢,同时由于遮挡、错误消去等原因造成的短暂丢失的目标无法继续跟踪;同时,没有描述夜间检测的情况。
发明内容
为了克服现有技术中的不足,本发明提供了一种基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法及系统。该方法首先离线训练深度学习CNN模型,建立车辆白天、夜间红外分类器。其次,系统采集一帧图像,检测车辆:白天用动静目标检测方法获得运动、静止目标,用白天分类器分出车辆;夜间用车灯方法检测车灯位置,用夜间分类器检测车辆位置。然后,为检测到每个车辆目标初始化卡尔曼滤波器。接着下一帧,检测当前帧的车辆位置,使用上一帧车辆目标的卡尔曼滤波器预测位置;对比检测位置与预测位置,如果相同,则目标前后帧连接;如果预测位置没检测到目标,则使用车辆分类器判断车辆是否停止;如果检测位置不在预测位置,则判断是否是新产生,从而综合更新当前帧数据;将上一帧图的车辆目标与当前帧图的车辆的位置连接起来,获取车辆的跟踪路径。最后,系统在视频中画出车辆的连续帧路径。
本发明采取的技术方案是:一种基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法,其包括以下步骤:
步骤1:采用深度学习的方法,建立夜间、白天车辆图像样本库,采用CAFFE框架,离线训练深度学习CNN模型,并建立白天车辆分类器、夜间红外分类器;
步骤2:从视频源中采集一帧图像,判断当前时间是白天还是夜间,白天进入步骤3,夜间进入步骤4;
步骤3:白天,使用动静目标检测方法获得当前帧的运动、静止目标,使用白天车辆分类器分出车辆目标,即使用背景差分方法检测运动区域,遍历非运动区域使用车辆分类器进行检测静止目标;
步骤4:夜间,使用基于车灯方法检测出车灯位置,使用夜间红外分类器检测车辆位置;
步骤5:判断是否为视频源的第一帧;如果是第一帧,则为当前车辆目标建立卡尔曼滤波器,对卡尔曼滤波器进行初始化,否则进入下一帧,回到步骤2;
步骤6:获取步骤3或者步骤4在当前帧图中车辆目标的检测位置数据;使用上一帧每一个车辆目标的卡尔曼滤波器预测该目标在当前帧的位置;
步骤7:综合对比检测位置与预测位置,如果相同,则目标前后帧连接;如果预测位置没检测到目标,则使用车辆分类器判断车辆是否停止;如果检测位置不在预测位置,则判断是否是新产生,从而综合更新当前帧图数据;
步骤8:更新全部车辆目标状态,更新车辆目标的卡尔曼滤波器的参数,将上一帧图的车辆目标与当前帧图的车辆目标的位置连接起来,再进入下一帧,回到步骤2,从而获取车辆目标的跟踪路径。
优选的,所述的步骤1包括以下步骤:
(a)获取白天车辆截图、白天背景截图各一万张,建立白天车辆分类器的训练库、验证库以及图像路径标签TXT;获取夜间车辆截图、夜间背景截图各一万张,建立夜间车辆分类器的训练库、验证库以及图像路径标签TXT;
(b)选择CAFFE深度学习框架,部署运行,依次将白天、夜间的训练库图像转化成LMDB格式;
(c)选择其GoogLeNet的CNN模型,并配置文件白天与夜间的train_val_googlenet.prototxt的参数:训练LMDB路径、验证LMDB路径以及输出类型数目;
(d)配置白天与夜间的solver_googlenet.prototxt文件参数,执行训练命令,进行训练。
优选的,所述的步骤3包括以下步骤:
(a)首先计算出监控场景的当前时刻的图像背景模型,采集当前帧的前N帧视频图像序列,将视频图像序列转换为灰度图,进行图像滤波,滤除噪声;提取该连续N帧图的每一点的灰度值,计算N帧图上每个点的灰度值的平均值,将每个点的灰度值的平均值作为与当前帧图相对应的图像背景模型的像素点,从而得到当前帧的背景模型,其中N为自然数;
(b)将视频图像序列的当前帧图与其相对应的当前图像背景模型进行图像差分,得到前景灰度图;
(c)将前景灰度图分为M个相同大小的子区域,M为自然数,分别计算每个子区域的全部像素值的平均值E、均方值P和标准差Q,并计算出每个子区域的灰度阈值T,公式如下:T=a*E+b*P+c*Q,其中a,b,c均为自由参数,根据每个子区域灰度阈值T对每个子区域进行全局二值化处理,得到前景二值图;
(d)采用区域生长算法标记前景二值图中全部连通域,获得当前帧图中的全部目标,使用车辆分类器从检测的全部目标中分类出车辆目标,从而获得当前帧图中的车辆目标数据;
(e)对其他非运动区域,使用白天车辆分类器进行遍历,从而检测出静止的车辆目标。
优选的,所述的步骤4包括以下步骤:
夜间基于车灯的车辆检测方法五部分组成:帧图预处理、车灯提取、车灯配对、车灯配对检验以及基于车灯检测车辆位置;其中:
(a)帧图预处理,车头灯为白光,在RGB模式下三通道值几乎都为255,车尾灯很明显为红灯,在RGB模式下R通道的数值较其他两个通道明显很大,把RGB图像转化成HSV图像,再提取S和V两个通道值,通过图像的GRB和HSV两种颜色模式,把车头灯和车尾灯分割出来;
(b)车灯提取,首先选取感兴趣区域ROI,然后在ROI内选取合适阈值对帧图进行二值化,数学形态学处理,用7×7结构单元对二值图像进行Tophat形态学处理,得到更符合车灯原型的前景,进行过滤掉不符的车灯;
(c)车灯配对,确定哪些车灯是属于同一辆车准则:(1)同属一辆车的两个车灯的纵坐标和横坐标之差都应在某一范围之内;(2)同属一辆车的车灯大小相似;对这些情况进行综合考虑,确定算法如下:
①计算当前帧中两两车灯之间的横坐标之差distance_X[i*NUM+j]和纵坐标之差distance_Y[i*NUM+j]。其中NUM为本帧车灯的数量;
②若两个车灯i和j之间的满足准则(1)和(2),则他们可能属于同一辆车;
③若与本车灯可能同属一辆车的车灯数为1,那么匹配成功;否则根据距离和车灯大小在其中选取最佳匹配车灯;
④对于落单的车灯,进行单独标定,车灯匹配之后,就可知道哪几个车灯是属于同一辆车,就可以对车辆进行准确计数;
(d)车灯配对检验,对已经配好的车灯对进行检验,排除不符灯对,合并同一辆车的灯对:
①两个车灯对有共同的左端点或右端点,可以判断这里有一辆车,排除倾斜度大的一对,另一对肯定是;
②另个灯对平行在同一辆车上,可以判断这里有一辆车,排除上方的一对,另一对肯定是;
③两个灯对左右相连,当其中一对确定是正确的时,可以判断另一对一定不是;
④三个灯左右相连或离得很近,中间的一对一定不是车灯对,两边的可能是,可能不是;
(e)最终确定车辆的车灯位置,在其周围使用夜间分类器,检测出车辆位置。
优选的,所述的步骤5对卡尔曼滤波器进行初始化中的初始化参数包括车辆目标的速度和方向,所述的车辆目标的卡尔曼滤波器的参数包括车辆目标的速度和方向。
优选的,所述的步骤6包括以下步骤:
(a)由于相邻两个帧图之间时间非常短,假定车辆目标在当前帧图中进行匀速直线运动;
(b)由步骤5建立的卡尔曼滤波器根据上一帧图中的车辆目标的位置预测出当前帧图中的车辆目标的位置。
优选的,所述的步骤7包括以下步骤:
(a)如果在上一帧图的预测位置上没有检测到车辆目标时,若车辆目标靠近视野边缘,则判断车辆目标消失,删除车辆目标,若目标距离视野边缘很远,则将上一帧图使用步骤1的车辆分类器进行检测,若成功检测到车辆目标,则判断车辆目标停止,若没有检测到车辆目标,则判断车辆目标消失;
(b)如果当前帧的检测位置不在上一帧全部目标的预测位置,则当前帧图内产生了新的车辆目标,为新的车辆目标建立卡尔曼滤波器,并对卡尔曼滤波器进行初始化;
(c)当上一帧图的车辆目标的预测位置与当前帧图的车辆目标的预测位置相同时,则判断为相同的车辆目标。
本发明的有益效果如下:
(1)在无人驾驶或辅助驾驶中,车辆摄像头实时检测并跟踪前方的车辆,获取车辆的位置、大小、速度。
(2)在城市交通卡口中,通过该方法,检测到车辆状态:车辆是否压线、是否随意变道、是否闯红灯、是否超速,同时为车辆牌照识别提供初始位置。
(3)园区监控,能检测车辆出入,跟踪车辆路径。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
图1是本发明的流程示意图。
图2是车灯对有共同的左端点或右端点示意图。
图3是灯对平行在同一辆车上示意图。
图4是两个灯对左右相连示意图。
图5、图6是三个灯左右相连或离得很近示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
一种基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法及系统,包括以下步骤:
步骤1:采用深度学习的方法,建立夜间、白天车辆图像样本库,采用CAFFE框架,离线训练深度学习CNN模型,并建立白天车辆分类器、夜间红外分类器;
步骤2:从视频源中采集一帧图像,判断当前时间是白天还是夜间,白天进入步骤3,夜间进入步骤4;
步骤3:白天,使用动静目标检测方法获得当前帧的运动、静止目标,使用白天分类器分出车辆目标,即使用背景差分方法检测运动区域,遍历非运动区域使用车辆分类器进行检测静止目标;
步骤4:夜间,使用基于车灯方法检测出车灯位置,使用夜间红外分类器检测车辆位置;
步骤5:判断是否视频源的第一帧;如果是第一帧,则为当前车辆目标建立卡尔曼滤波器,对卡尔曼滤波器进行初始化,否则进入下一帧,回到步骤2;
步骤6:获取步骤3或者步骤4在当前帧图中车辆目标的检测位置数据;使用上一帧每一个车辆目标的卡尔曼滤波器预测该目标在当前帧的位置;
步骤7:综合对比检测位置与预测位置,如果相同,则目标前后帧连接;如果预测位置没检测到目标,则使用车辆分类器判断车辆是否停止;如果检测位置不在预测位置,则判断是否是新产生,从而综合更新当前帧图数据。
步骤8:更新全部车辆目标状态,更新车辆目标的卡尔曼滤波器的参数,将上一帧图的车辆目标与当前帧图的车辆目标的位置连接起来,再进入下一帧,回到步骤2,从而获取车辆目标的跟踪路径。
优选的,所述的步骤1包括以下步骤:
(a)获取白天车辆截图、白天背景截图各一万张,建立白天车辆分类器的训练库、验证库以及图像路径标签TXT;获取夜间车辆截图、夜间背景截图各一万张,建立夜间车辆分类器的训练库、验证库以及图像路径标签TXT;
(b)选择CAFFE深度学习框架,部署运行,依次将白天、夜间的训练库图像转化成LMDB格式;
(c)选择其GoogLeNet的CNN模型,并配置文件白天与夜间的train_val_googlenet.prototxt的参数:训练LMDB路径、验证LMDB路径以及输出类型数目;
(d)配置白天与夜间的solver_googlenet.prototxt文件参数,执行训练命令,进行训练。
优选的,所述的步骤3包括以下步骤:
(a)首先计算出监控场景的当前时刻的图像背景模型。采集当前帧的前N帧视频图像序列,将视频图像序列转换为灰度图,进行图像滤波,滤除噪声;提取该连续N帧图的每一点的灰度值,计算N帧图上每个点的灰度值的平均值,将每个点的灰度值的平均值作为与当前帧图相对应的图像背景模型的像素点,从而得到当前帧的背景模型,其中N为自然数。
(b)将视频图像序列的当前帧图与其相对应的当前图像背景模型进行图像差分,得到前景灰度图;
(c)将前景灰度图分为M个相同大小的子区域,M为自然数,分别计算每个子区域的全部像素值的平均值E、均方值P和标准差Q,并计算出每个子区域的灰度阈值T,公式如下:T=a*E+b*P+c*Q,其中a,b,c均为自由参数,根据每个子区域灰度阈值T对每个子区域进行全局二值化处理,得到前景二值图;
(d)采用区域生长算法标记前景二值图中全部连通域,获得当前帧图中的全部目标,使用车辆分类器从检测的全部目标中分类出车辆目标,从而获得当前帧图中的车辆目标数据。
(e)对其他非运动区域,使用白天车辆分类器进行遍历,从而检测出静止的车辆目标。
优选的,所述的步骤4包括以下步骤:
夜间基于车灯的车辆检测方法五部分组成:帧图预处理、车灯提取、车灯配对、车灯配对检验以及基于车灯检测车辆位置。
(a)帧图预处理,车头灯为白光,在RGB模式下三通道值几乎都为255,车尾灯很明显为红灯,在RGB模式下R通道的数值较其他两个通道明显很大,把RGB图像转化成HSV图像,再提取S和V两个通道值,通过图像的GRB和HSV两种颜色模式,把车头灯和车尾灯分割出来。
(b)车灯提取,首先选取感兴趣区域(ROI),然后在ROI内选取合适阈值对帧图进行二值化,数学形态学处理,用7×7结构单元对二值图像进行Tophat形态学处理,得到更符合车灯原型的前景,进行过滤掉不符的车灯。
(c)车灯配对,确定哪些车灯是属于同一辆车准则:(1)同属一辆车的两个车灯的纵坐标和横坐标之差都应在某一范围之内;(2)同属一辆车的车灯大小相似。对这些情况进行综合考虑,确定算法如下:
①计算当前帧中两两车灯之间的横坐标之差distance_X[i*NUM+j]和纵坐标之差distance_Y[i*NUM+j]。其中NUM为本帧车灯的数量。
②若两个车灯i和j之间的满足准则(1)和(2),则他们可能属于同一辆车。
③若与本车灯可能同属一辆车的车灯数为1,那么匹配成功。否则根据距离和车灯大小在其中选取最佳匹配车灯。
④对于落单的车灯,进行单独标定。车灯匹配之后,我们就知道哪几个车灯是属于同一辆车,就可以对车辆进行准确计数。
(d)车灯配对检验,对已经配好的车灯对进行检验,排除不符灯对,合并同一辆车的灯对:
①两个车灯对有共同的左端点或右端点,如附图2,可以判断这里有一辆车,排除倾斜度大的一对,另一对肯定是。
②另个灯对平行在同一辆车上,如附图3,可以判断这里有一辆车,排除上方的一对,另一对肯定是。
③两个灯对左右相连,如附图4,当其中一对确定是正确的时,可以判断另一对一定不是。
④三个灯左右相连或离得很近,如附图5、附图6,中间的一对一定不是车灯对,两边的可能是,可能不是。
(e)最终确定车辆的车灯位置,在其周围使用夜间分类器,检测出车辆位置。
优选的,所述的步骤5对卡尔曼滤波器进行初始化中的初始化参数包括车辆目标的速度和方向,所述的车辆目标的卡尔曼滤波器的参数包括车辆目标的速度和方向。
优选的,所述的步骤6包括以下步骤:
(a)由于相邻两个帧图之间时间非常短,假定车辆目标在当前帧图中进行匀速直线运动;
(b)由步骤5建立的卡尔曼滤波器根据上一帧图中的车辆目标的位置预测出当前帧图中的车辆目标的位置。
优选的,所述的步骤7包括以下步骤:
(a)如果在上一帧图的预测位置上没有检测到车辆目标时,若车辆目标靠近视野边缘,则判断车辆目标消失,删除车辆目标,若目标距离视野边缘很远,则将上一帧图使用步骤1的车辆分类器进行检测,若成功检测到车辆目标,则判断车辆目标停止,若没有检测到车辆目标,则判断车辆目标消失;
(b)如果当前帧的检测位置不在上一帧全部目标的预测位置,则
当前帧图内产生了新的车辆目标,为新的车辆目标建立卡尔曼滤波器,并对卡尔曼滤波器进行初始化;
(c)当上一帧图的车辆目标的预测位置与当前帧图的车辆目标的预测位置相同时,则判断为相同的车辆目标。
以上所述,仅是本发明的较佳实施例而已,并非对本发明作任何形式上的限制,虽然本发明已以较佳实施例揭露如上,然而并非用以限定本发明,任何熟悉本专业的技术人员,在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案内容,依据本发明的技术实质,在本发明的精神和原则之内,对以上实施例所作的任何简单的修改、等同替换与改进等,均仍属于本发明技术方案的保护范围之内。

Claims (7)

1.一种基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法,其特征在于包括以下步骤:
步骤1:采用深度学习的方法,建立夜间、白天车辆图像样本库,采用CAFFE框架,离线训练深度学习CNN模型,并建立白天车辆分类器、夜间红外分类器;
步骤2:从视频源中采集一帧图像,判断当前时间是白天还是夜间,白天进入步骤3,夜间进入步骤4;
步骤3:白天,使用动静目标检测方法获得当前帧的运动、静止目标,使用白天车辆分类器分出车辆目标,即使用背景差分方法检测运动区域,遍历非运动区域使用车辆分类器进行检测静止目标;
步骤4:夜间,使用基于车灯方法检测出车灯位置,使用夜间红外分类器检测车辆位置;
步骤5:判断是否为视频源的第一帧;如果是第一帧,则为当前车辆目标建立卡尔曼滤波器,对卡尔曼滤波器进行初始化,否则进入下一帧,回到步骤2;
步骤6:获取步骤3或者步骤4在当前帧图中车辆目标的检测位置数据;使用上一帧每一个车辆目标的卡尔曼滤波器预测该目标在当前帧的位置;
步骤7:综合对比检测位置与预测位置,如果相同,则目标前后帧连接;如果预测位置没检测到目标,则使用车辆分类器判断车辆是否停止;如果检测位置不在预测位置,则判断是否是新产生,从而综合更新当前帧图数据;
步骤8:更新全部车辆目标状态,更新车辆目标的卡尔曼滤波器的参数,将上一帧图的车辆目标与当前帧图的车辆目标的位置连接起来,再进入下一帧,回到步骤2,从而获取车辆目标的跟踪路径。
2.根据权利要求1所述的一种基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法,其特征在于:所述的步骤1包括以下步骤:
(a)获取白天车辆截图、白天背景截图各一万张,建立白天车辆分类器的训练库、验证库以及图像路径标签TXT;获取夜间车辆截图、夜间背景截图各一万张,建立夜间车辆分类器的训练库、验证库以及图像路径标签TXT;
(b)选择CAFFE深度学习框架,部署运行,依次将白天、夜间的训练库图像转化成LMDB格式;
(c)选择其GoogLeNet的CNN模型,并配置文件白天与夜间的train_val_googlenet.prototxt的参数:训练LMDB路径、验证LMDB路径以及输出类型数目;
(d)配置白天与夜间的solver_googlenet.prototxt文件参数,执行训练命令,进行训练。
3.根据权利要求1所述的一种基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法,其特征在于:所述的步骤3包括以下步骤:
(a)首先计算出监控场景的当前时刻的图像背景模型,采集当前帧的前N帧视频图像序列,将视频图像序列转换为灰度图,进行图像滤波,滤除噪声;提取该连续N帧图的每一点的灰度值,计算N帧图上每个点的灰度值的平均值,将每个点的灰度值的平均值作为与当前帧图相对应的图像背景模型的像素点,从而得到当前帧的背景模型,其中N为自然数;
(b)将视频图像序列的当前帧图与其相对应的当前图像背景模型进行图像差分,得到前景灰度图;
(c)将前景灰度图分为M个相同大小的子区域,M为自然数,分别计算每个子区域的全部像素值的平均值E、均方值P和标准差Q,并计算出每个子区域的灰度阈值T,公式如下:T=a*E+b*P+c*Q,其中a,b,c均为自由参数,根据每个子区域灰度阈值T对每个子区域进行全局二值化处理,得到前景二值图;
(d)采用区域生长算法标记前景二值图中全部连通域,获得当前帧图中的全部目标,使用车辆分类器从检测的全部目标中分类出车辆目标,从而获得当前帧图中的车辆目标数据;
(e)对其他非运动区域,使用白天车辆分类器进行遍历,从而检测出静止的车辆目标。
4.根据权利要求1所述的一种基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法,其特征在于:所述的步骤4包括以下步骤:
夜间基于车灯的车辆检测方法五部分组成:帧图预处理、车灯提取、车灯配对、车灯配对检验以及基于车灯检测车辆位置;其中:
(a)帧图预处理,车头灯为白光,在RGB模式下三通道值几乎都为255,车尾灯很明显为红灯,在RGB模式下R通道的数值较其他两个通道明显很大,把RGB图像转化成HSV图像,再提取S和V两个通道值,通过图像的GRB和HSV两种颜色模式,把车头灯和车尾灯分割出来;
(b)车灯提取,首先选取感兴趣区域ROI,然后在ROI内选取合适阈值对帧图进行二值化,数学形态学处理,用7×7结构单元对二值图像进行Tophat形态学处理,得到更符合车灯原型的前景,进行过滤掉不符的车灯;
(c)车灯配对,确定哪些车灯是属于同一辆车准则:(1)同属一辆车的两个车灯的纵坐标和横坐标之差都应在某一范围之内;(2)同属一辆车的车灯大小相似;对这些情况进行综合考虑,确定算法如下:
①计算当前帧中两两车灯之间的横坐标之差distance_X[i*NUM+j]和纵坐标之差distance_Y[i*NUM+j]。其中NUM为本帧车灯的数量;
②若两个车灯i和j之间的满足准则(1)和(2),则他们可能属于同一辆车;
③若与本车灯可能同属一辆车的车灯数为1,那么匹配成功;否则根据距离和车灯大小在其中选取最佳匹配车灯;
④对于落单的车灯,进行单独标定,车灯匹配之后,就可知道哪几个车灯是属于同一辆车,就可以对车辆进行准确计数;
(d)车灯配对检验,对已经配好的车灯对进行检验,排除不符灯对,合并同一辆车的灯对:
①两个车灯对有共同的左端点或右端点,可以判断这里有一辆车,排除倾斜度大的一对,另一对肯定是;
②另个灯对平行在同一辆车上,可以判断这里有一辆车,排除上方的一对,另一对肯定是;
③两个灯对左右相连,当其中一对确定是正确的时,可以判断另一对一定不是;
④三个灯左右相连或离得很近,中间的一对一定不是车灯对,两边的可能是,可能不是;
(e)最终确定车辆的车灯位置,在其周围使用夜间分类器,检测出车辆位置。
5.根据权利要求1所述的一种基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法,其特征在于:所述的步骤5对卡尔曼滤波器进行初始化中的初始化参数包括车辆目标的速度和方向,所述的车辆目标的卡尔曼滤波器的参数包括车辆目标的速度和方向。
6.根据权利要求1所述的一种基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法,其特征在于:所述的步骤6包括以下步骤:
(a)由于相邻两个帧图之间时间非常短,假定车辆目标在当前帧图中进行匀速直线运动;
(b)由步骤5建立的卡尔曼滤波器根据上一帧图中的车辆目标的位置预测出当前帧图中的车辆目标的位置。
7.根据权利要求1所述的一种基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法,其特征在于:所述的步骤7包括以下步骤:
(a)如果在上一帧图的预测位置上没有检测到车辆目标时,若车辆目标靠近视野边缘,则判断车辆目标消失,删除车辆目标,若目标距离视野边缘很远,则将上一帧图使用步骤1的车辆分类器进行检测,若成功检测到车辆目标,则判断车辆目标停止,若没有检测到车辆目标,则判断车辆目标消失;
(b)如果当前帧的检测位置不在上一帧全部目标的预测位置,则当前帧图内产生了新的车辆目标,为新的车辆目标建立卡尔曼滤波器,并对卡尔曼滤波器进行初始化;
(c)当上一帧图的车辆目标的预测位置与当前帧图的车辆目标的预测位置相同时,则判断为相同的车辆目标。
CN201710992090.0A 2017-10-23 2017-10-23 基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法及系统 Active CN107766821B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710992090.0A CN107766821B (zh) 2017-10-23 2017-10-23 基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710992090.0A CN107766821B (zh) 2017-10-23 2017-10-23 基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法及系统

Publications (2)

Publication Number Publication Date
CN107766821A true CN107766821A (zh) 2018-03-06
CN107766821B CN107766821B (zh) 2020-08-04

Family

ID=61269847

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710992090.0A Active CN107766821B (zh) 2017-10-23 2017-10-23 基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法及系统

Country Status (1)

Country Link
CN (1) CN107766821B (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564787A (zh) * 2018-05-31 2018-09-21 北京理工大学 基于浮动车法的交通观测方法、系统及设备
CN109118523A (zh) * 2018-09-20 2019-01-01 电子科技大学 一种基于yolo的图像目标跟踪方法
CN109117702A (zh) * 2018-06-12 2019-01-01 深圳中兴网信科技有限公司 目标车辆的检测与跟踪计数方法及系统
CN109145836A (zh) * 2018-08-28 2019-01-04 武汉大学 基于深度学习网络和卡尔曼滤波的船只目标视频检测方法
CN109165600A (zh) * 2018-08-27 2019-01-08 浙江大丰实业股份有限公司 舞台演出人员智能搜索平台
CN109658442A (zh) * 2018-12-21 2019-04-19 广东工业大学 多目标跟踪方法、装置、设备及计算机可读存储介质
CN109948436A (zh) * 2019-02-01 2019-06-28 深兰科技(上海)有限公司 一种监控道路上车辆的方法及装置
CN110110356A (zh) * 2019-03-26 2019-08-09 江西理工大学 泰奥杨森机构足式运动机器人的制作方法及系统
CN110136453A (zh) * 2019-06-14 2019-08-16 内蒙古工业大学 基于lk局部差分光流法的车流量检测方法
CN110135377A (zh) * 2019-05-21 2019-08-16 北京百度网讯科技有限公司 物体运动状态检测方法、装置、服务器和计算机可读介质
CN110176022A (zh) * 2019-05-23 2019-08-27 广西交通科学研究院有限公司 一种基于视频检测的隧道全景监控系统及方法
CN110866943A (zh) * 2019-11-21 2020-03-06 无锡中科水质环境技术有限公司 用于水质监测的鱼类位置跟踪方法
CN112287808A (zh) * 2020-10-27 2021-01-29 江苏云从曦和人工智能有限公司 运动轨迹分析告警方法、装置、系统及存储介质
CN112444311A (zh) * 2020-11-22 2021-03-05 同济大学 一种桥梁车辆时空荷载监控方法
CN113723304A (zh) * 2021-08-31 2021-11-30 上海商汤临港智能科技有限公司 车灯检测方法、装置、电子设备及存储介质
CN113763425A (zh) * 2021-08-30 2021-12-07 青岛海信网络科技股份有限公司 道路区域标定方法及电子设备
WO2022217630A1 (zh) * 2021-04-15 2022-10-20 华北电力大学扬中智能电气研究中心 一种车速确定方法、装置、设备和介质
CN116189116A (zh) * 2023-04-24 2023-05-30 江西方兴科技股份有限公司 一种交通状态感知方法及系统
CN116863124A (zh) * 2023-09-04 2023-10-10 所托(山东)大数据服务有限责任公司 车辆姿态确定方法、控制器及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5761326A (en) * 1993-12-08 1998-06-02 Minnesota Mining And Manufacturing Company Method and apparatus for machine vision classification and tracking
CN105069472A (zh) * 2015-08-03 2015-11-18 电子科技大学 一种基于卷积神经网络自适应的车辆检测方法
CN105678214A (zh) * 2015-12-21 2016-06-15 中国石油大学(华东) 云环境下基于卷积神经网络车型识别的车流量统计方法
CN106056628A (zh) * 2016-05-30 2016-10-26 中国科学院计算技术研究所 基于深度卷积神经网络特征融合的目标跟踪方法及系统
CN106919902A (zh) * 2017-01-19 2017-07-04 南京邮电大学盐城大数据研究院有限公司 一种基于cnn的车辆识别和轨迹追踪方法
CN107274433A (zh) * 2017-06-21 2017-10-20 吉林大学 基于深度学习的目标跟踪方法、装置及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5761326A (en) * 1993-12-08 1998-06-02 Minnesota Mining And Manufacturing Company Method and apparatus for machine vision classification and tracking
CN105069472A (zh) * 2015-08-03 2015-11-18 电子科技大学 一种基于卷积神经网络自适应的车辆检测方法
CN105678214A (zh) * 2015-12-21 2016-06-15 中国石油大学(华东) 云环境下基于卷积神经网络车型识别的车流量统计方法
CN106056628A (zh) * 2016-05-30 2016-10-26 中国科学院计算技术研究所 基于深度卷积神经网络特征融合的目标跟踪方法及系统
CN106919902A (zh) * 2017-01-19 2017-07-04 南京邮电大学盐城大数据研究院有限公司 一种基于cnn的车辆识别和轨迹追踪方法
CN107274433A (zh) * 2017-06-21 2017-10-20 吉林大学 基于深度学习的目标跟踪方法、装置及存储介质

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564787A (zh) * 2018-05-31 2018-09-21 北京理工大学 基于浮动车法的交通观测方法、系统及设备
CN109117702A (zh) * 2018-06-12 2019-01-01 深圳中兴网信科技有限公司 目标车辆的检测与跟踪计数方法及系统
CN109117702B (zh) * 2018-06-12 2022-01-25 深圳中兴网信科技有限公司 目标车辆的检测与跟踪计数方法及系统
CN109165600A (zh) * 2018-08-27 2019-01-08 浙江大丰实业股份有限公司 舞台演出人员智能搜索平台
CN109165600B (zh) * 2018-08-27 2021-11-26 浙江大丰实业股份有限公司 舞台演出人员智能搜索平台
CN109145836B (zh) * 2018-08-28 2021-04-16 武汉大学 基于深度学习网络和卡尔曼滤波的船只目标视频检测方法
CN109145836A (zh) * 2018-08-28 2019-01-04 武汉大学 基于深度学习网络和卡尔曼滤波的船只目标视频检测方法
CN109118523A (zh) * 2018-09-20 2019-01-01 电子科技大学 一种基于yolo的图像目标跟踪方法
CN109118523B (zh) * 2018-09-20 2022-04-22 电子科技大学 一种基于yolo的图像目标跟踪方法
CN109658442A (zh) * 2018-12-21 2019-04-19 广东工业大学 多目标跟踪方法、装置、设备及计算机可读存储介质
CN109658442B (zh) * 2018-12-21 2023-09-12 广东工业大学 多目标跟踪方法、装置、设备及计算机可读存储介质
CN109948436A (zh) * 2019-02-01 2019-06-28 深兰科技(上海)有限公司 一种监控道路上车辆的方法及装置
CN110110356A (zh) * 2019-03-26 2019-08-09 江西理工大学 泰奥杨森机构足式运动机器人的制作方法及系统
CN110135377A (zh) * 2019-05-21 2019-08-16 北京百度网讯科技有限公司 物体运动状态检测方法、装置、服务器和计算机可读介质
CN110176022B (zh) * 2019-05-23 2023-03-28 广西交通科学研究院有限公司 一种基于视频检测的隧道全景监控系统及方法
CN110176022A (zh) * 2019-05-23 2019-08-27 广西交通科学研究院有限公司 一种基于视频检测的隧道全景监控系统及方法
CN110136453A (zh) * 2019-06-14 2019-08-16 内蒙古工业大学 基于lk局部差分光流法的车流量检测方法
CN110866943B (zh) * 2019-11-21 2022-06-14 无锡中科水质环境技术有限公司 用于水质监测的鱼类位置跟踪方法
CN110866943A (zh) * 2019-11-21 2020-03-06 无锡中科水质环境技术有限公司 用于水质监测的鱼类位置跟踪方法
CN112287808A (zh) * 2020-10-27 2021-01-29 江苏云从曦和人工智能有限公司 运动轨迹分析告警方法、装置、系统及存储介质
CN112444311A (zh) * 2020-11-22 2021-03-05 同济大学 一种桥梁车辆时空荷载监控方法
WO2022217630A1 (zh) * 2021-04-15 2022-10-20 华北电力大学扬中智能电气研究中心 一种车速确定方法、装置、设备和介质
CN113763425A (zh) * 2021-08-30 2021-12-07 青岛海信网络科技股份有限公司 道路区域标定方法及电子设备
CN113723304A (zh) * 2021-08-31 2021-11-30 上海商汤临港智能科技有限公司 车灯检测方法、装置、电子设备及存储介质
CN116189116A (zh) * 2023-04-24 2023-05-30 江西方兴科技股份有限公司 一种交通状态感知方法及系统
CN116189116B (zh) * 2023-04-24 2024-02-23 江西方兴科技股份有限公司 一种交通状态感知方法及系统
CN116863124A (zh) * 2023-09-04 2023-10-10 所托(山东)大数据服务有限责任公司 车辆姿态确定方法、控制器及存储介质
CN116863124B (zh) * 2023-09-04 2023-11-21 所托(山东)大数据服务有限责任公司 车辆姿态确定方法、控制器及存储介质

Also Published As

Publication number Publication date
CN107766821B (zh) 2020-08-04

Similar Documents

Publication Publication Date Title
CN107766821A (zh) 基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法及系统
CN109829403B (zh) 一种基于深度学习的车辆防碰撞预警方法及系统
CN105260699B (zh) 一种车道线数据的处理方法及装置
CN107492251B (zh) 一种基于机器学习与深度学习的驾驶员身份识别与驾驶状态监测方法
CN103797529B (zh) 三维物体检测装置
CN103522970B (zh) 基于机器视觉的车辆行驶安全检测方法和系统
CN104751634B (zh) 高速公路隧道行车图像采集信息的综合应用方法
CN104246821B (zh) 三维物体检测装置和三维物体检测方法
CN109460709A (zh) 基于rgb和d信息融合的rtg视觉障碍物检测的方法
CN100544446C (zh) 用于视频监控的实时运动检测方法
CN106096531A (zh) 一种基于深度学习的交通图像多类型车辆检测方法
CN108243623A (zh) 基于双目立体视觉的汽车防碰撞预警方法和系统
CN109190523A (zh) 一种基于视觉的车辆检测跟踪预警方法
CN101639983B (zh) 一种基于图像信息熵的多车道车流量检测方法
CN106022243B (zh) 一种基于图像处理的机动车道车辆逆行识别方法
CN109389046A (zh) 用于自动驾驶的全天候物体识别与车道线检测方法
CN105913041A (zh) 一种基于预先标定的信号灯识别方法
CN103927548B (zh) 一种新的避免车辆碰撞的刹车行为检测方法
CN104182756A (zh) 一种基于单目视觉的车辆前方障碍物检测方法
CN107886034A (zh) 行车提醒方法、装置及车辆
CN107909012A (zh) 一种基于视差图的实时车辆跟踪检测方法与装置
CN106679633A (zh) 一种车载测距系统及方法
CN107886043A (zh) 视觉感知的汽车前视车辆和行人防碰撞预警系统及方法
CN108416316A (zh) 一种黑烟车的检测方法及系统
Park et al. Real-time signal light detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 210029 No. 268, Hanzhoung Road, Nanjing, Jiangsu

Patentee after: CLP Hongxin Information Technology Co.,Ltd.

Address before: 210029 No. 268, Hanzhoung Road, Nanjing, Jiangsu

Patentee before: JIANGSU HONGXIN SYSTEM INTEGRATION Co.,Ltd.

CP01 Change in the name or title of a patent holder