CN107622494A

CN107622494A - 面向交通视频的夜间车辆检测与跟踪方法

Info

Publication number: CN107622494A
Application number: CN201710747249.2A
Authority: CN
Inventors: 董天阳; 朱浩楠; 范菁; 王浩
Original assignee: Zhejiang University of Technology ZJUT
Current assignee: Zhejiang University of Technology ZJUT
Priority date: 2017-08-28
Filing date: 2017-08-28
Publication date: 2018-01-23
Anticipated expiration: 2037-08-28
Also published as: CN107622494B

Abstract

面向交通视频的夜间车辆检测与跟踪方法，步骤如下：步骤1.提取车灯；步骤2.过滤非车灯；步骤3.车灯匹配；步骤4.车辆跟踪。本发明针对夜间道路上的光照条件非常复杂，不仅车体上的各种车灯种类多样，而且路面也会有车灯的光线反射，再加上道路两边的护栏反光、路灯等问题，使用OSTU与一维最大熵阈值分割算法结合实现车灯的提取，剔除非车灯光源，准确提取出车前灯；此外，本发明利用车灯的时空特性，使用匹配算法对提取的车灯进行配对，解决了一车多灯和并排同速车辆的问题；利用Kalman滤波器对车辆运动信息进行预测，实现车辆的跟踪。

Description

面向交通视频的夜间车辆检测与跟踪方法

技术领域

本发明涉及动态车辆的检测和跟踪方法。

背景技术

从上世纪八十年代开始，人们就已经开始将图像和视频处理技术应用于动态车辆的检测和跟踪算法中。国内外学者对于视频检测技术已经做了广泛而深入的研究，各种算法的交叉融合也越来越多。但在这些研究中，大多数的算法都是针对白天而且光照正常条件之下的应用研究，也有少数算法是针对特殊条件比如有雾，雨雪，多云等天气情况下的处理，但针对夜间条件的研究却少之又少。

主要原因是图像识别算法对周围环境很敏感，而夜间道路上的光照条件非常复杂，不仅车体上的各种车灯种类多样，而且路面也会有车灯的光线反射，再加上道路两边的护栏反光、路灯等等，各种因素相互交织干扰，使得夜间对车辆的图像检测和识别难度大增，所以多数应用在白天天气良好等交通环境下视频检测算法在夜间均不适用。

例如背景差分法检测运动目标速度快，检测准确，易于实现。白天使用背景差法提取运动的车辆并且对车辆进行跟踪，但是应用在夜间却存在很多问题，首先夜间移动的车影会被认为是前景，当车辆停止了就被认为是背景，一旦车辆再次运动又被再次检测到；然后是车辆合并与分离问题，两辆车辆并排前进的时候可能会被认为是同一辆车；除此之外夜间灯光微弱，分离前景和背景也非常困难。所以背景差分法，帧间差分算法很难应用在夜间车辆检测。

发明内容

本发明要克服现有技术的缺点，提供一种能够准确提取车前灯、实现车辆的跟踪的面向交通视频的夜间车辆检测与跟踪方法。

本发明针对夜间高速光照条件差，车灯种类多样，各种因素相互交织干扰导致的车辆难以检测的问题，通过车灯的提取和预测跟踪来实现对夜间车辆的跟踪。本发明通过车灯的提取和预测跟踪来完成对夜间车辆的跟踪。

1.面向交通视频的夜间车辆检测与跟踪方法，步骤如下：

步骤1.提取车灯；

夜间交通场景中，无论城市交通还是高速公路，车头灯是车辆最明显的特征,所以提出了在夜间提取了车灯的办法，提取了车灯就意味着提取了车辆；提取车灯的办法是通过图像计算出整幅图的分割阈值，进行图像分割，分割出包括车灯的亮光区域；首先使用OTSU求得初始自适应阈值，然后只考虑大于自适应阈值部分的像素，计算最大熵求出最终的图像分割阈值；

11)计算夜间交通视频图像的灰度直方图，提取灰度直方图的双峰特征，其实车灯直方图对应接近255的地方，有明显的峰值；其实在峰值的不仅只有车灯，地面反光和道路护栏的反光亮度值也很高，而场景中其他部分的亮度值则很小；通过计算视频图像像素点周围区域的加权平均，然后减去一个常数来求出初始自适应阈值t；

12)只考虑大于t部分的像素，用来计算最大熵；图像的熵是一种特征的统计形式，它反映了图像中平均信息量的多少；图像的一维熵表示图像中灰度分布的聚集特征所包含的信息量，假设灰度分布为0到L，F(t)表示图像中灰度值为t的像素所占的比例，则灰度图像的一元灰度熵H如式(1)所示：

H(F(t))＝-F(t)ln F(t)-(1-F(t))ln(1-F(t)) (1)

通过熵的计算，求出最大熵maxH(F(t))对应的阈值Tr，使用Tr将图像进行分割，分割出场景中的车灯，同时分割出了地面的反光和道路护栏的反光；

步骤2.过滤非车灯；

计算阈值分割出场景中的车灯后，由于地面和护栏反光亮度也比较高，地面的反光和道路护栏的反光也被分割出来；为了过滤场景中非车辆光源；过滤非车灯的噪声的步骤如下：

21)对每一帧设置了感兴趣区域(ROI)，只对ROI区域的车辆进行提取，车辆用V表示；使用矩形包围盒B_i代表明亮区域；W(B_i)表示B_i的宽度，H(B_i)表示B_i的高度，阈值TR_L和TR_H分别设置为0.8和1.25，对于第i车辆V_i的车前灯VH_i必须满足以下条件：

T_RL≤W(B_i)/H(B_i)≤T_RH (2)

22)ROI区域车等面积相差很小，用下面的公式将面积相差过多的B_i剔除：

TA_Ln≤A(B_i)_n≤TA_Hn (3)

23)将ROI区域在垂直方向上分为三个部分，在三个区域选出大中小型车辆，分别计算其面积值；其中A(B_i)_n表示B_i在第n区域的面积大小，TA_Ln表示第n区域面积最小值A_Ln的0.8倍，TA_Hn表示第n区域面积最小值A_Hn的1.25倍；

24)对于检测到的明亮块，不断的跟踪，在连续的多帧图像中如果明亮块的圆形度值变化量大于指定的范围，一般取0.85，则认为该明亮块是噪声，将其进行过滤；圆形度是图像处理中一个重要概念，它表示图像与圆的相似程度；用e表示圆形度，S表示图像的面积，C表示图像的周长，其计算公式如(4)所示：

步骤3.车灯匹配；

为了提取出具体的车辆，必须将车灯进行配对，将属于同一辆车的车灯归为一类；任何车辆的车灯在空间上存在一定的关系，由于同属于一辆车，所以它们一般成对出现，但是也存在一车多灯和两车并排的情况；一般情况下，车辆的车灯是同速同向移动，而且面积、长宽比等参数相似；利用车灯之间的空间信息对车灯进行匹配,步骤如下：

31)将在同一水平方向的车灯作为一个集合S_y，将S_y中车灯分为不同的组(k表示帧数，i表示车灯组索引)，对于没有配对成功的车灯单独作为一组；

32)将属于同一辆车的多个车灯匹配到一组,A(B_i)，A(B_j)分别表示B_i，B_j的面积，阈值TA_Lr和TA_Hr设置为0.8和1.25,车灯配对要满足距离和大小的限制，对于同一辆车的多个车灯B_i的坐标相近，面积大小相差很小，所以B_i和B_j应该满足如下条件则配对,车灯面积要满足下式：

TA_Lr≤A(B_i)/A(B_j)≤TA_Hr (5)

车灯的垂直方向差值要满足下式：

|B_i(y)-B_j(y)|≤0.5×min[H(B_i),H(B_j)] (6)

式中B_i(y)表示B_i中心的垂直方向坐标，H(B_i)表示B_i的高度；车灯B_i，B_j满足(5)、(6)则将车灯B_i，B_j分配到集合S_y中,可以使得场景中车辆的车灯简单的匹配，计算匹配后的车灯对的质心即可得到车辆的中心；

33)计算车灯的水平距离，计算两个车灯的水平距离；水平距离大于T_hb(T_hb根据摄像头的角度和高度来确定)，则两个车灯不属同一辆车；

34)如果车灯距离小于T_hb，多个车灯相邻,计算连续的车灯间的总距离即公式7中f(x)的值，B_i,B_j表示任何两个车灯，B_i(x)，B_j(x)是车灯的水平坐标；

f(x)＝∑[B_i(x)-B_j(x)]² (7)

比较所有f(x)的值，f(x)值最小的匹配方式，即为最优化匹配；

35)经过计算得到当前帧的所有车灯对，计算车灯对中心，任何两个满足(8)和(9)的车灯对所包含的车灯都属于同一辆车，是车灯对BP_i和BP_j的水平方向坐标，是车灯对BP_i和BP_j中心点的水平均值，和是车灯对BP_i和BP_j的垂直坐标,和是车灯对BP_i和BP_j的高度；

步骤4.车辆跟踪；

夜间交通场景中车辆跟踪的实现是通过车灯的跟踪来完成的，由于场景中一般都会有多辆车，所以车辆的跟踪本质上是多目标跟踪问题；对于多目标的跟踪，通过先假设动态模型的运动信息，使用这些信息与跟踪对象匹配，所以车辆的跟踪满足先匹配模型，然后修正模型的参数，再进行预测新的位置，不断地迭代，直到车辆退出视频；目标参数匹配在连续的帧间进行，首先将当前帧中车灯对的特征参数保存到集合S＝{BP_i，i＝1,2,3,……N，N是自然数}中，然后将已知的车灯对BP_i与当前帧中车灯进行匹配，根据相似度判断出最相似的目标，更新已知的目标集合S，根据视频序列逐帧执行上述过程完成参数匹配；为了有效地定位已知目标在当前帧中的位置，并且对目标暂时丢失情况的跟踪，采用Kalman滤波来预测目标在下一时刻的位置，将参数匹配和Kalman滤波结合起来实现目标跟踪步骤如下：

41)从视频的第i帧开始，提取场景中的目标作为初始值，使用Kalman滤波预测目标在下一帧中的位置；

42)若BP_i满足下式，则在下一帧中将车辆BP_i从集合S中删除；

BP_i(y)＞ROI(y)-T (10)

其中ROI(y)表示感兴趣区域垂直方向的最大值，T设置为是车灯对BP_i高度的一半H(BP_i)/2；对当前帧中提取的目标与预测值进行对比，如果匹配成功则转步骤44)，不成功则转步骤43)；

43)如果集合中没有找到与该目标匹配的车灯，则将该车灯作为新目标加入集合；预测集合中数据BP_i在连续的15帧中没有匹配的车灯，则从集合S中将BP_i删除；

44)第t帧中存在车灯组i是自然数，K是车灯组的取值；该集合的预测值中存在并且在t帧中存在与之匹配，则将添加至转步骤42)。

本发明的优点是：

1、本发明针对夜间道路上的光照条件非常复杂，不仅车体上的各种车灯种类多样，而且路面也会有车灯的光线反射，再加上道路两边的护栏反光、路灯等问题，使用OSTU与一维最大熵阈值分割算法结合实现车灯的提取，剔除非车灯光源，准确提取出车前灯。

2、利用车灯的时空特性，使用匹配算法对提取的车灯进行配对，解决了一车多灯和并排同速车辆的问题；利用Kalman滤波器对车辆运动信息进行预测，实现车辆的跟踪。

附图说明

图1是本发明的方法流程图。

具体实施方式

下面结合附图进一步说明本发明的技术方案。

本发明的面向交通视频的夜间车辆检测与跟踪方法的主要步骤如图1所示。

步骤1.提取车灯；

夜间交通场景中，无论城市交通还是高速公路，车头灯是车辆最明显的特征,所以本专利提出了在夜间提取了车灯的办法，提取了车灯就意味着提取了车辆。提取车灯的办法是通过图像计算出整幅图的分割阈值，进行图像分割，分割出包括车灯的亮光区域。首先使用OTSU求得初始自适应阈值，然后只考虑大于自适应阈值部分的像素，计算最大熵求出最终的图像分割阈值。

1)计算夜间交通视频图像的灰度直方图，提取灰度直方图的双峰特征，其实车灯直方图对应接近255的地方，有明显的峰值。其实在峰值的不仅只有车灯，地面反光和道路护栏的反光亮度值也很高，而场景中其他部分的亮度值则很小。通过计算视频图像像素点周围区域的加权平均，然后减去一个常数来求出初始自适应阈值t。

2)只考虑大于t部分的像素，用来计算最大熵。图像的熵是一种特征的统计形式，它反映了图像中平均信息量的多少。图像的一维熵表示图像中灰度分布的聚集特征所包含的信息量，假设灰度分布为0到L，F(t)表示图像中灰度值为t的像素所占的比例，则灰度图像的一元灰度熵H如式(1)所示：

H(F(t))＝-F(t)ln F(t)-(1-F(t))ln(1-F(t)) (1)

通过熵的计算，求出最大熵maxH(F(t))对应的阈值Tr，使用Tr将图像进行分割，分割出场景中的车灯，同时分割出了地面的反光和道路护栏的反光。

步骤2.过滤非车灯；

计算阈值分割出场景中的车灯后，由于地面和护栏反光亮度也比较高，地面的反光和道路护栏的反光也被分割出来。为了过滤场景中非车辆光源，例如路灯，车辆顶部装饰灯，道路反光等光源。过滤非车灯的噪声步骤的如下：

1)对每一帧设置了感兴趣区域(ROI)，只对ROI区域的车辆进行提取，车辆用V表示。使用矩形包围盒B_i代表明亮区域。W(B_i)表示B_i的宽度，H(B_i)表示B_i的高度，阈值TR_L和TR_H分别设置为0.8和1.25，对于第i车辆V_i的车前灯VH_i必须满足以下条件：

T_RL≤W(B_i)/H(B_i)≤T_RH (2)

2)ROI区域车等面积相差很小，用下面的公式将面积相差过多的B_i剔除：

TA_Ln≤A(B_i)_n≤TA_Hn (3)

3)将ROI区域在垂直方向上分为三个部分，在三个区域选出大中小型车辆，分别计算其面积值。其中A(B_i)_n表示B_i在第n区域的面积大小，TA_Ln表示第n区域面积最小值A_Ln的0.8倍，TA_Hn表示第n区域面积最小值A_Hn的1.25倍。

4)对于检测到的明亮块，不断的跟踪，在连续的多帧图像中如果明亮块的圆形度值变化量大于指定的范围，一般取0.85，则认为该明亮块是噪声，将其进行过滤。圆形度是图像处理中一个重要概念，它表示图像与圆的相似程度。用e表示圆形度，S表示图像的面积，C表示图像的周长，其计算公式如(4)所示：

步骤3.车灯匹配；

为了提取出具体的车辆，必须将车灯进行配对，将属于同一辆车的车灯归为一类。任何车辆的车灯在空间上存在一定的关系，由于同属于一辆车，所以它们一般成对出现，但是也存在一车多灯和两车并排的情况。一般情况下，车辆的车灯是同速同向移动，而且面积、长宽比等参数相似。利用车灯之间的空间信息对车灯进行匹配,步骤如下：

1)将在同一水平方向的车灯作为一个集合S_y，将S_y中车灯分为不同的组(k表示帧数，i表示车灯组索引)，对于没有配对成功的车灯单独作为一组。

2)将属于同一辆车的多个车灯匹配到一组,A(B_i)，A(B_j)分别表示B_i，B_j的面积，阈值TA_Lr和TA_Hr设置为0.8和1.25,车灯配对要满足距离和大小的限制，对于同一辆车的多个车灯B_i的坐标相近，面积大小相差很小，所以B_i和B_j应该满足如下条件则配对,车灯面积要满足下式：

TA_Lr≤A(B_i)/A(B_j)≤TA_Hr (5)

车灯的垂直方向差值要满足下式：

|B_i(y)-B_j(y)|≤0.5×min[H(B_i),H(B_j)] (6)

式中B_i(y)表示B_i中心的垂直方向坐标，H(B_i)表示B_i的高度。车灯B_i，B_j满足(5)、(6)则将车灯B_i，B_j分配到集合S_y中,可以使得场景中车辆的车灯简单的匹配，计算匹配后的车灯对的质心即可得到车辆的中心。

3)计算车灯的水平距离，计算两个车灯的水平距离。水平距离大于T_hb(T_hb根据摄像头的角度和高度来确定)，则两个车灯不属同一辆车。

4)如果车灯距离小于T_hb，多个车灯相邻,计算连续的车灯间的总距离即公式7中f(x)的值，B_i,B_j表示任何两个车灯，B_i(x)，B_j(x)是车灯的水平坐标。

f(x)＝∑[B_i(x)-B_j(x)]² (7)

比较所有f(x)的值，f(x)值最小的匹配方式，即为最优化匹配。

5)经过计算得到当前帧的所有车灯对，计算车灯对中心，任何两个满足(8)和(9)的车灯对所包含的车灯都属于同一辆车，是车灯对BP_i和BP_j的水平方向坐标，是车灯对BP_i和BP_j中心点的水平均值，和是车灯对BP_i和BP_j的垂直坐标,和是车灯对BP_i和BP_j的高度。

步骤4.车辆跟踪；

夜间交通场景中车辆跟踪的实现是通过车灯的跟踪来完成的，由于场景中一般都会有多辆车，所以车辆的跟踪本质上是多目标跟踪问题。对于多目标的跟踪，通过先假设动态模型的运动信息，使用这些信息与跟踪对象匹配，所以车辆的跟踪满足先匹配模型，然后修正模型的参数，再进行预测新的位置，不断地迭代，直到车辆退出视频。目标参数匹配在连续的帧间进行，首先将当前帧中车灯对的特征参数保存到集合S＝{BP_i，i＝1,2,3,……N，N是自然数}中，然后将已知的车灯对BP_i与当前帧中车灯进行匹配，根据相似度判断出最相似的目标，更新已知的目标集合S，根据视频序列逐帧执行上述过程完成参数匹配。为了有效地定位已知目标在当前帧中的位置，并且对目标暂时丢失情况的跟踪，采用Kalman滤波来预测目标在下一时刻的位置，将参数匹配和Kalman滤波结合起来实现目标跟踪步骤如下：

1)从视频的第i帧开始，提取场景中的目标作为初始值，使用Kalman滤波预测目标在下一帧中的位置。

2)若BP_i满足下式，则在下一帧中将车辆BP_i从集合S中删除。

BP_i(y)＞ROI(y)-T (10)

其中ROI(y)表示感兴趣区域垂直方向的最大值，T设置为是车灯对BP_i高度的一半H(BP_i)/2。对当前帧中提取的目标与预测值进行对比，如果匹配成功则转步骤4)，不成功则转步骤3)。

3)如果集合中没有找到与该目标匹配的车灯，则将该车灯作为新目标加入集合。预测集合中数据BP_i在连续的15帧中没有匹配的车灯，则从集合S中将BP_i删除。

4)第t帧中存在车灯组i是自然数，K是车灯组的取值。该集合的预测值中存在并且在t帧中存在与之匹配，则将添加至转步骤2)。

Claims

1.面向交通视频的夜间车辆检测与跟踪方法，步骤如下：

步骤1.提取车灯；

H(F(t))＝-F(t)ln F(t)-(1-F(t))ln(1-F(t)) (1)

步骤2.过滤非车灯；

T_RL≤W(B_i)/H(B_i)≤T_RH (2)

TA_Ln≤A(B_i)_n≤TA_Hn (3)

步骤3.车灯匹配；

TA_Lr≤A(B_i)/A(B_j)≤TA_Hr (5)

车灯的垂直方向差值要满足下式：

|B_i(y)-B_j(y)|≤0.5×min[H(B_i),H(B_j)](6)

f(x)＝∑[B_i(x)-B_j(x)]² (7)

步骤4.车辆跟踪；

42)若BP_i满足下式，则在下一帧中将车辆BP_i从集合S中删除；

BP_i(y)＞ROI(y)-T (10)