CN107766821B - 基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法及系统 - Google Patents

Abstract

本发明提供了一种基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法，该方法首先离线训练深度学习CNN模型，建立车辆白天、夜间红外分类器。其次，系统采集一帧图像，检测车辆：白天用动静目标检测方法获得运动、静止目标，用白天分类器分出车辆；夜间用车灯方法检测车灯位置，用夜间分类器检测车辆位置。然后，为检测到每个车辆目标初始化卡尔曼滤波器。接着下一帧，检测当前帧的车辆位置，使用上一帧车辆目标的卡尔曼滤波器预测位置；对比检测位置与预测位置，接着将上一帧图的车辆目标与当前帧图的车辆的位置连接起来，获取车辆的跟踪路径。最后，系统在视频中画出车辆的连续帧路径。

Description

基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方 法及系统

技术领域

本发明属于图像识别、视频分析、车辆识别领域，尤其涉及一种基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法及系统。

背景技术

随着社会的发展、人们生活水平的不断提高，汽车逐渐得到普及。但随之而来的是交通事故，尤其是恶性交通事故趋势不断上升。近年来，车辆的增长速度已经远远高于道路和其他交通设施的增长速度，因此，交通事故不断发生，人员伤亡与日俱增、财产损失严重。造成交通事故的原因主要有超速行驶、占道行驶、酒后驾驶、疲劳驾驶等。因此，对于交通管理部门，通过视频监控对车辆运行状态进行监督，并加大处罚力度；同时对于驾驶员如果能提前观察到前方车辆，那么可以避免绝大多数的事故。基于上面，车辆检测跟踪技术具有重要的应用价值和发展前景。

智能交通视频监控算法主要包含车辆检测、车辆跟踪和车辆行为分析三个步骤。车辆检测实现初始交通场景中车辆目标的提取；车辆跟踪对提取的车辆目标进行实时的运动描述，并生成各自的运动轨迹；行为分析基于产生的运动轨迹的规律来判断车辆是否发生违章行为或处于异常状态。

常见跟踪算法可归为以下四类。

(1)基于区域的跟踪算法

基于区域的跟踪算法基本思想是：将目标初始所在区域的图像块作为目标模板，将目标模板与候选图像中所有可能的位置进行相关匹配，匹配度最高的地方即为目标所在的位置。最常用的相关匹配准则是差的平方和准则，(Sum of Square Difference，SSD)。

(2)基于特征的跟踪方法

基于特征的目标跟踪算法通常是利用目标的一些显著特征表示目标，并通过特征匹配在图像序列中跟踪目标。该类算法不考虑目标的整体特征，因此当目标被部分遮挡时，仍然可以利用另一部分可见特征完成跟踪任务，但是该算法不能有效处理全遮挡、重叠等问题。

(3)基于轮廓的跟踪方法

基于轮廓的目标跟踪方法需要在视频第一帧中指定目标轮廓的位置，之后由微分方程递归求解，直到轮廓收敛到能量函数的局部极小值，其中，能量函数通常与图像特征和轮廓光滑度有关。与基于区域的跟踪方法相比，基于轮廓的跟踪方法的计算复杂度小，对目标的部分遮挡鲁棒。但这种方法在跟踪开始时需要初始化目标轮廓，因此对初始位置比较敏感，跟踪精度也被限制在轮廓级。

(4)基于模型的跟踪方法

在实际应用中，我们需要跟踪的往往是一些特定的我们事先具有认识的目标，因此，基于模型的跟踪方法首先根据自己的先验知识离线的建立该目标的3D或2D几何模型，然后，通过匹配待选区域模型与目标模型实现目标跟踪，进而在跟踪过程中，根据场景中图像的特征，确定运动目标的各个尺寸参数、姿态参数以及运动参数。

专利CN201220337489“基于图像处理的智能交通管控装置”是基于运动检测的方法，当车辆停止后，车辆就会融入背景，运动方法无法检测车辆，则无法跟踪；同时，没有描述夜间检测的情况。

专利CN201210357874“一种车辆跟踪方法及系统”是基于特征检测的方法，该方法从整个图像或者局部图像进行遍历，搜索策略计算量较大，而且目标特征不能及时得到更新，姿态变化易导致跟丢，同时由于遮挡、错误消去等原因造成的短暂丢失的目标无法继续跟踪；同时，没有描述夜间检测的情况。

发明内容

为了克服现有技术中的不足，本发明提供了一种基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法及系统。该方法首先离线训练深度学习CNN模型，建立车辆白天、夜间红外分类器。其次，系统采集一帧图像，检测车辆：白天用动静目标检测方法获得运动、静止目标，用白天分类器分出车辆；夜间用车灯方法检测车灯位置，用夜间分类器检测车辆位置。然后，为检测到每个车辆目标初始化卡尔曼滤波器。接着下一帧，检测当前帧的车辆位置，使用上一帧车辆目标的卡尔曼滤波器预测位置；对比检测位置与预测位置，如果相同，则目标前后帧连接；如果预测位置没检测到目标，则使用车辆分类器判断车辆是否停止；如果检测位置不在预测位置，则判断是否是新产生，从而综合更新当前帧数据；将上一帧图的车辆目标与当前帧图的车辆的位置连接起来，获取车辆的跟踪路径。最后，系统在视频中画出车辆的连续帧路径。

本发明采取的技术方案是：一种基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法，其包括以下步骤：

步骤1：采用深度学习的方法，建立夜间、白天车辆图像样本库，采用CAFFE框架，离线训练深度学习CNN模型，并建立白天车辆分类器、夜间红外分类器；

步骤2：从视频源中采集一帧图像，判断当前时间是白天还是夜间，白天进入步骤3，夜间进入步骤4；

步骤3：白天，使用动静目标检测方法获得当前帧的运动、静止目标，使用白天车辆分类器分出车辆目标，即使用背景差分方法检测运动区域，遍历非运动区域使用车辆分类器进行检测静止目标；

步骤4：夜间，使用基于车灯方法检测出车灯位置，使用夜间红外分类器检测车辆位置；

步骤5：判断是否为视频源的第一帧；如果是第一帧，则为当前车辆目标建立卡尔曼滤波器，对卡尔曼滤波器进行初始化，否则进入下一帧，回到步骤2；

步骤6：获取步骤3或者步骤4在当前帧图中车辆目标的检测位置数据；使用上一帧每一个车辆目标的卡尔曼滤波器预测该目标在当前帧的位置；

步骤7：综合对比检测位置与预测位置，如果相同，则目标前后帧连接；如果预测位置没检测到目标，则使用车辆分类器判断车辆是否停止；如果检测位置不在预测位置，则判断是否是新产生，从而综合更新当前帧图数据；

步骤8：更新全部车辆目标状态，更新车辆目标的卡尔曼滤波器的参数，将上一帧图的车辆目标与当前帧图的车辆目标的位置连接起来，再进入下一帧，回到步骤2，从而获取车辆目标的跟踪路径。

优选的，所述的步骤1包括以下步骤：

(a)获取白天车辆截图、白天背景截图各一万张，建立白天车辆分类器的训练库、验证库以及图像路径标签TXT；获取夜间车辆截图、夜间背景截图各一万张，建立夜间车辆分类器的训练库、验证库以及图像路径标签TXT；

(b)选择CAFFE深度学习框架，部署运行，依次将白天、夜间的训练库图像转化成LMDB格式；

(c)选择其GoogLeNet的CNN模型，并配置文件白天与夜间的train_val_googlenet.prototxt的参数：训练LMDB路径、验证LMDB路径以及输出类型数目；

(d)配置白天与夜间的solver_googlenet.prototxt文件参数，执行训练命令，进行训练。

优选的，所述的步骤3包括以下步骤：

(a)首先计算出监控场景的当前时刻的图像背景模型，采集当前帧的前N帧视频图像序列，将视频图像序列转换为灰度图，进行图像滤波，滤除噪声；提取该连续N帧图的每一点的灰度值，计算N帧图上每个点的灰度值的平均值，将每个点的灰度值的平均值作为与当前帧图相对应的图像背景模型的像素点，从而得到当前帧的背景模型，其中N为自然数；

(b)将视频图像序列的当前帧图与其相对应的当前图像背景模型进行图像差分，得到前景灰度图；

(c)将前景灰度图分为M个相同大小的子区域，M为自然数，分别计算每个子区域的全部像素值的平均值E、均方值P和标准差Q，并计算出每个子区域的灰度阈值T，公式如下：T＝a*E+b*P+c*Q,其中a,b,c均为自由参数，根据每个子区域灰度阈值T对每个子区域进行全局二值化处理，得到前景二值图；

(d)采用区域生长算法标记前景二值图中全部连通域，获得当前帧图中的全部目标，使用车辆分类器从检测的全部目标中分类出车辆目标，从而获得当前帧图中的车辆目标数据；

(e)对其他非运动区域，使用白天车辆分类器进行遍历，从而检测出静止的车辆目标。

优选的，所述的步骤4包括以下步骤：

夜间基于车灯的车辆检测方法五部分组成：帧图预处理、车灯提取、车灯配对、车灯配对检验以及基于车灯检测车辆位置；其中：

(a)帧图预处理，车头灯为白光，在RGB模式下三通道值几乎都为255，车尾灯很明显为红灯，在RGB模式下R通道的数值较其他两个通道明显很大，把RGB图像转化成HSV图像，再提取S和V两个通道值，通过图像的GRB和HSV两种颜色模式，把车头灯和车尾灯分割出来；

(b)车灯提取，首先选取感兴趣区域ROI，然后在ROI内选取合适阈值对帧图进行二值化，数学形态学处理，用7×7结构单元对二值图像进行Tophat形态学处理，得到更符合车灯原型的前景,进行过滤掉不符的车灯；

(c)车灯配对，确定哪些车灯是属于同一辆车准则：(1)同属一辆车的两个车灯的纵坐标和横坐标之差都应在某一范围之内；(2)同属一辆车的车灯大小相似；对这些情况进行综合考虑，确定算法如下：

①计算当前帧中两两车灯之间的横坐标之差distance_X[i*NUM+j]和纵坐标之差distance_Y[i*NUM+j]。其中NUM为本帧车灯的数量；

②若两个车灯i和j之间的满足准则(1)和(2)，则他们可能属于同一辆车；

③若与本车灯可能同属一辆车的车灯数为1，那么匹配成功；否则根据距离和车灯大小在其中选取最佳匹配车灯；

④对于落单的车灯，进行单独标定，车灯匹配之后，就可知道哪几个车灯是属于同一辆车，就可以对车辆进行准确计数；

(d)车灯配对检验，对已经配好的车灯对进行检验，排除不符灯对，合并同一辆车的灯对：

①两个车灯对有共同的左端点或右端点，可以判断这里有一辆车，排除倾斜度大的一对，另一对肯定是；

②另个灯对平行在同一辆车上，可以判断这里有一辆车，排除上方的一对，另一对肯定是；

③两个灯对左右相连，当其中一对确定是正确的时，可以判断另一对一定不是；

④三个灯左右相连或离得很近，中间的一对一定不是车灯对，两边的可能是，可能不是；

(e)最终确定车辆的车灯位置，在其周围使用夜间分类器，检测出车辆位置。

优选的，所述的步骤5对卡尔曼滤波器进行初始化中的初始化参数包括车辆目标的速度和方向，所述的车辆目标的卡尔曼滤波器的参数包括车辆目标的速度和方向。

优选的，所述的步骤6包括以下步骤：

(a)由于相邻两个帧图之间时间非常短，假定车辆目标在当前帧图中进行匀速直线运动；

(b)由步骤5建立的卡尔曼滤波器根据上一帧图中的车辆目标的位置预测出当前帧图中的车辆目标的位置。

优选的，所述的步骤7包括以下步骤：

(a)如果在上一帧图的预测位置上没有检测到车辆目标时，若车辆目标靠近视野边缘，则判断车辆目标消失，删除车辆目标，若目标距离视野边缘很远，则将上一帧图使用步骤1的车辆分类器进行检测，若成功检测到车辆目标，则判断车辆目标停止，若没有检测到车辆目标，则判断车辆目标消失；

(b)如果当前帧的检测位置不在上一帧全部目标的预测位置，则当前帧图内产生了新的车辆目标，为新的车辆目标建立卡尔曼滤波器，并对卡尔曼滤波器进行初始化；

(c)当上一帧图的车辆目标的预测位置与当前帧图的车辆目标的预测位置相同时，则判断为相同的车辆目标。

本发明的有益效果如下：

(1)在无人驾驶或辅助驾驶中，车辆摄像头实时检测并跟踪前方的车辆，获取车辆的位置、大小、速度。

(2)在城市交通卡口中，通过该方法，检测到车辆状态：车辆是否压线、是否随意变道、是否闯红灯、是否超速，同时为车辆牌照识别提供初始位置。

(3)园区监控，能检测车辆出入，跟踪车辆路径。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

图1是本发明的流程示意图。

图2是车灯对有共同的左端点或右端点示意图。

图3是灯对平行在同一辆车上示意图。

图4是两个灯对左右相连示意图。

图5、图6是三个灯左右相连或离得很近示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

一种基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法及系统，包括以下步骤：

步骤1：采用深度学习的方法，建立夜间、白天车辆图像样本库，采用CAFFE框架，离线训练深度学习CNN模型，并建立白天车辆分类器、夜间红外分类器；

步骤2：从视频源中采集一帧图像，判断当前时间是白天还是夜间，白天进入步骤3，夜间进入步骤4；

步骤3：白天，使用动静目标检测方法获得当前帧的运动、静止目标，使用白天分类器分出车辆目标，即使用背景差分方法检测运动区域，遍历非运动区域使用车辆分类器进行检测静止目标；

步骤4：夜间，使用基于车灯方法检测出车灯位置，使用夜间红外分类器检测车辆位置；

步骤5：判断是否视频源的第一帧；如果是第一帧，则为当前车辆目标建立卡尔曼滤波器，对卡尔曼滤波器进行初始化，否则进入下一帧，回到步骤2；

步骤6：获取步骤3或者步骤4在当前帧图中车辆目标的检测位置数据；使用上一帧每一个车辆目标的卡尔曼滤波器预测该目标在当前帧的位置；

步骤7：综合对比检测位置与预测位置，如果相同，则目标前后帧连接；如果预测位置没检测到目标，则使用车辆分类器判断车辆是否停止；如果检测位置不在预测位置，则判断是否是新产生，从而综合更新当前帧图数据。

步骤8：更新全部车辆目标状态，更新车辆目标的卡尔曼滤波器的参数，将上一帧图的车辆目标与当前帧图的车辆目标的位置连接起来，再进入下一帧，回到步骤2，从而获取车辆目标的跟踪路径。

优选的，所述的步骤1包括以下步骤：

(a)获取白天车辆截图、白天背景截图各一万张，建立白天车辆分类器的训练库、验证库以及图像路径标签TXT；获取夜间车辆截图、夜间背景截图各一万张，建立夜间车辆分类器的训练库、验证库以及图像路径标签TXT；

(b)选择CAFFE深度学习框架，部署运行，依次将白天、夜间的训练库图像转化成LMDB格式；

(c)选择其GoogLeNet的CNN模型，并配置文件白天与夜间的train_val_googlenet.prototxt的参数：训练LMDB路径、验证LMDB路径以及输出类型数目；

(d)配置白天与夜间的solver_googlenet.prototxt文件参数，执行训练命令，进行训练。

优选的，所述的步骤3包括以下步骤：

(a)首先计算出监控场景的当前时刻的图像背景模型。采集当前帧的前N帧视频图像序列，将视频图像序列转换为灰度图，进行图像滤波，滤除噪声；提取该连续N帧图的每一点的灰度值，计算N帧图上每个点的灰度值的平均值，将每个点的灰度值的平均值作为与当前帧图相对应的图像背景模型的像素点，从而得到当前帧的背景模型，其中N为自然数。

(b)将视频图像序列的当前帧图与其相对应的当前图像背景模型进行图像差分，得到前景灰度图；

(c)将前景灰度图分为M个相同大小的子区域，M为自然数，分别计算每个子区域的全部像素值的平均值E、均方值P和标准差Q，并计算出每个子区域的灰度阈值T，公式如下：T＝a*E+b*P+c*Q,其中a,b,c均为自由参数，根据每个子区域灰度阈值T对每个子区域进行全局二值化处理，得到前景二值图；

(d)采用区域生长算法标记前景二值图中全部连通域，获得当前帧图中的全部目标，使用车辆分类器从检测的全部目标中分类出车辆目标，从而获得当前帧图中的车辆目标数据。

(e)对其他非运动区域，使用白天车辆分类器进行遍历，从而检测出静止的车辆目标。

优选的，所述的步骤4包括以下步骤：

夜间基于车灯的车辆检测方法五部分组成：帧图预处理、车灯提取、车灯配对、车灯配对检验以及基于车灯检测车辆位置。

(a)帧图预处理，车头灯为白光，在RGB模式下三通道值几乎都为255，车尾灯很明显为红灯，在RGB模式下R通道的数值较其他两个通道明显很大，把RGB图像转化成HSV图像，再提取S和V两个通道值，通过图像的GRB和HSV两种颜色模式，把车头灯和车尾灯分割出来。

(b)车灯提取，首先选取感兴趣区域(ROI)，然后在ROI内选取合适阈值对帧图进行二值化，数学形态学处理，用7×7结构单元对二值图像进行Tophat形态学处理，得到更符合车灯原型的前景,进行过滤掉不符的车灯。

(c)车灯配对，确定哪些车灯是属于同一辆车准则：(1)同属一辆车的两个车灯的纵坐标和横坐标之差都应在某一范围之内；(2)同属一辆车的车灯大小相似。对这些情况进行综合考虑，确定算法如下：

①计算当前帧中两两车灯之间的横坐标之差distance_X[i*NUM+j]和纵坐标之差distance_Y[i*NUM+j]。其中NUM为本帧车灯的数量。

②若两个车灯i和j之间的满足准则(1)和(2)，则他们可能属于同一辆车。

③若与本车灯可能同属一辆车的车灯数为1，那么匹配成功。否则根据距离和车灯大小在其中选取最佳匹配车灯。

④对于落单的车灯，进行单独标定。车灯匹配之后，我们就知道哪几个车灯是属于同一辆车，就可以对车辆进行准确计数。

(d)车灯配对检验，对已经配好的车灯对进行检验，排除不符灯对，合并同一辆车的灯对：

①两个车灯对有共同的左端点或右端点，如附图2，可以判断这里有一辆车，排除倾斜度大的一对，另一对肯定是。

②另个灯对平行在同一辆车上，如附图3，可以判断这里有一辆车，排除上方的一对，另一对肯定是。

③两个灯对左右相连，如附图4，当其中一对确定是正确的时，可以判断另一对一定不是。

④三个灯左右相连或离得很近，如附图5、附图6，中间的一对一定不是车灯对，两边的可能是，可能不是。

(e)最终确定车辆的车灯位置，在其周围使用夜间分类器，检测出车辆位置。

优选的，所述的步骤5对卡尔曼滤波器进行初始化中的初始化参数包括车辆目标的速度和方向，所述的车辆目标的卡尔曼滤波器的参数包括车辆目标的速度和方向。

优选的，所述的步骤6包括以下步骤：

(a)由于相邻两个帧图之间时间非常短，假定车辆目标在当前帧图中进行匀速直线运动；

(b)由步骤5建立的卡尔曼滤波器根据上一帧图中的车辆目标的位置预测出当前帧图中的车辆目标的位置。

优选的，所述的步骤7包括以下步骤：

(a)如果在上一帧图的预测位置上没有检测到车辆目标时，若车辆目标靠近视野边缘，则判断车辆目标消失，删除车辆目标，若目标距离视野边缘很远，则将上一帧图使用步骤1的车辆分类器进行检测，若成功检测到车辆目标，则判断车辆目标停止，若没有检测到车辆目标，则判断车辆目标消失；

(b)如果当前帧的检测位置不在上一帧全部目标的预测位置，则

当前帧图内产生了新的车辆目标，为新的车辆目标建立卡尔曼滤波器，并对卡尔曼滤波器进行初始化；

(c)当上一帧图的车辆目标的预测位置与当前帧图的车辆目标的预测位置相同时，则判断为相同的车辆目标。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。

Claims (7)

1.一种基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法，其特征在于包括以下步骤：

步骤1：采用深度学习的方法，建立夜间、白天车辆图像样本库，采用CAFFE框架，离线训练深度学习CNN模型，并建立车辆分类器，所述车辆分类器包括白天车辆分类器、夜间红外分类器；

步骤2：从视频源中采集一帧图像，判断当前时间是白天还是夜间，白天进入步骤3，夜间进入步骤4；

步骤3：白天，使用动静目标检测方法获得当前帧的运动、静止目标，使用白天车辆分类器分出车辆目标，即使用背景差分方法检测运动区域，遍历非运动区域使用白天车辆分类器进行检测静止目标；

步骤4：夜间，使用基于车灯方法检测出车灯位置，使用夜间红外分类器检测车辆位置；

步骤5：判断是否为视频源的第一帧；如果是第一帧，则为当前车辆目标建立卡尔曼滤波器，对卡尔曼滤波器进行初始化，否则进入下一帧，回到步骤2；

步骤6：获取步骤3或者步骤4在当前帧图中车辆目标的检测位置数据；使用上一帧每一个车辆目标的卡尔曼滤波器预测该目标在当前帧的位置；

步骤7：综合对比检测位置与预测位置，如果相同，则目标前后帧连接；如果预测位置没检测到目标，则使用车辆分类器判断车辆是否停止；如果检测位置不在预测位置，则判断是否是新产生，从而综合更新当前帧图数据；

步骤8：更新全部车辆目标状态，更新车辆目标的卡尔曼滤波器的参数，将上一帧图的车辆目标与当前帧图的车辆目标的位置连接起来，再进入下一帧，回到步骤2，从而获取车辆目标的跟踪路径。

2.根据权利要求1所述的一种基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法，其特征在于：所述的步骤1包括以下步骤：

(a)获取白天车辆截图、白天背景截图各一万张，建立白天车辆分类器的训练库、验证库以及图像路径标签TXT；获取夜间车辆截图、夜间背景截图各一万张，建立夜间红外分类器的训练库、验证库以及图像路径标签TXT；

(b)选择CAFFE深度学习框架，部署运行，依次将白天、夜间的训练库图像转化成LMDB格式；

(c)选择其GoogLeNet的CNN模型，并配置文件白天与夜间的train_val_googlenet.prototxt的参数：训练LMDB路径、验证LMDB路径以及输出类型数目；

(d)配置白天与夜间的solver_googlenet.prototxt文件参数，执行训练命令，进行训练。

3.根据权利要求1所述的一种基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法，其特征在于：所述的步骤3包括以下步骤：

(a)首先计算出监控场景的当前时刻的图像背景模型，采集当前帧的前N帧视频图像序列，将视频图像序列转换为灰度图，进行图像滤波，滤除噪声；提取该N帧图的每一点的灰度值，计算N帧图上每个点的灰度值的平均值，将每个点的灰度值的平均值作为与当前帧图相对应的图像背景模型的像素点，从而得到当前帧的背景模型，其中N为自然数；

(b)将视频图像序列的当前帧图与其相对应的当前图像背景模型进行图像差分，得到前景灰度图；

(c)将前景灰度图分为M个相同大小的子区域，M为自然数，分别计算每个子区域的全部像素值的平均值E、均方值P和标准差Q，并计算出每个子区域的灰度阈值T，公式如下：T＝a*E+b*P+c*Q,其中a,b,c均为自由参数，根据每个子区域灰度阈值T对每个子区域进行全局二值化处理，得到前景二值图；

(d)采用区域生长算法标记前景二值图中全部连通域，获得当前帧图中的全部目标，使用白天车辆分类器从检测的全部目标中分类出车辆目标，从而获得当前帧图中的车辆目标数据；

(e)对其他非运动区域，使用白天车辆分类器进行遍历，从而检测出静止的车辆目标。

4.根据权利要求1所述的一种基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法，其特征在于：所述的步骤4包括以下步骤：

夜间基于车灯的车辆检测方法五部分组成：帧图预处理、车灯提取、车灯配对、车灯配对检验以及基于车灯检测车辆位置；其中：

(a)帧图预处理，车头灯为白光，在RGB模式下三通道值几乎都为255，车尾灯很明显为红灯，在RGB模式下R通道的数值较其他两个通道明显很大，把RGB图像转化成HSV图像，再提取S和V两个通道值，通过图像的GRB和HSV两种颜色模式，把车头灯和车尾灯分割出来；

(b)车灯提取，首先选取感兴趣区域ROI，然后在ROI内选取合适阈值对帧图进行二值化，数学形态学处理，用7×7结构单元对二值图像进行Tophat形态学处理，得到更符合车灯原型的前景,进行过滤掉不符的车灯；

(c)车灯配对，确定哪些车灯是属于同一辆车准则：(1)同属一辆车的两个车灯的纵坐标和横坐标之差都应在某一范围之内；(2)同属一辆车的车灯大小相似；对这些情况进行综合考虑，确定算法如下：

①计算当前帧中两两车灯之间的横坐标之差distance_X[i*NUM+j]和纵坐标之差distance_Y[i*NUM+j]，其中NUM为本帧车灯的数量；

②若两个车灯i和j之间的满足准则(1)和(2)，则他们可能属于同一辆车；

③若与本车灯可能同属一辆车的车灯数为1，那么匹配成功；否则根据距离和车灯大小在其中选取最佳匹配车灯；

④对于落单的车灯，进行单独标定，车灯匹配之后，就可知道哪几个车灯是属于同一辆车，就可以对车辆进行准确计数；

(d)车灯配对检验，对已经配好的车灯对进行检验，排除不符灯对，合并同一辆车的灯对：

①两个车灯对有共同的左端点或右端点，可以判断这里有一辆车，排除倾斜度大的一对，另一对肯定是；

②另个灯对平行在同一辆车上，可以判断这里有一辆车，排除上方的一对，另一对肯定是；

③两个灯对左右相连，当其中一对确定是正确的时，可以判断另一对一定不是；

④三个灯左右相连或离得很近，中间的一对一定不是车灯对，两边的可能是，可能不是；

(e)最终确定车辆的车灯位置，在其周围使用夜间红外分类器，检测出车辆位置。

5.根据权利要求1所述的一种基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法，其特征在于：所述的步骤5对卡尔曼滤波器进行初始化中的初始化参数包括车辆目标的速度和方向，所述的车辆目标的卡尔曼滤波器的参数包括车辆目标的速度和方向。

6.根据权利要求1所述的一种基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法，其特征在于：所述的步骤6包括以下步骤：

(a)由于相邻两个帧图之间时间非常短，假定车辆目标在当前帧图中进行匀速直线运动；

(b)由步骤5建立的卡尔曼滤波器根据上一帧图中的车辆目标的位置预测出当前帧图中的车辆目标的位置。

7.根据权利要求1所述的一种基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法，其特征在于：所述的步骤7包括以下步骤：

(a)如果在上一帧图的预测位置上没有检测到车辆目标时，若车辆目标靠近视野边缘，则判断车辆目标消失，删除车辆目标，若目标距离视野边缘很远，则将上一帧图使用步骤1的车辆分类器进行检测，若成功检测到车辆目标，则判断车辆目标停止，若没有检测到车辆目标，则判断车辆目标消失；

(b)如果当前帧的检测位置不在上一帧全部目标的预测位置，则当前帧图内产生了新的车辆目标，为新的车辆目标建立卡尔曼滤波器，并对卡尔曼滤波器进行初始化；

(c)当上一帧图的车辆目标的预测位置与当前帧图的车辆目标的预测位置相同时，则判断为相同的车辆目标。

Images