CN106557754A - 一种夜间车辆检测和状态判断方法 - Google Patents

Abstract

本发明公开了一种夜间车辆检测和状态判断方法，包括以下步骤：S1：采集夜间视频图像，进行预处理；S2：使用尾灯图像分割方法得到疑似车灯对象；S3：对疑似车灯对象进行多帧的跟踪，得到可信度较高的稳定车灯对象，通过两个跟踪队列来区分过滤车灯对象和非车灯对象；S4：对稳定车灯对象进行匹配，得到车辆对象识别的结果；S5：对同一车辆的两个车灯的历史信息变化进行持续监测，通过历史3帧的车灯亮度以及颜色的累积变化程度来判断前车状态。

Description

一种夜间车辆检测和状态判断方法

技术领域

本发明具体涉及一种夜间车辆检测和状态判断方法。

背景技术

夜间车辆检测可以被应用于自动驾驶汽车，预警系统等。夜间车辆识别是基于计算机视觉，以安装在车辆前部的单目摄像头的实时图像或者视频作为输入，对前方车辆进行识别，并判断车辆状态。

夜间车辆检测算法还有许多应用。例如，司机在夜间由于受到法规的限制，或者出于保护行人和非机动车的安全的考虑，在很多时候不能开启远光灯，而且一些路段照明条件较差，司机的视野受到了限制。此时，算法可以根据实时图像识别前方车辆和车辆状态，并将这些预警信息反馈给驾驶员。夜间车辆检测能够改善道路安全问题层出的现状，使得驾驶更安全。

纵观过去十几年，研究人员对白天车辆识别问题上有很大突破，奇思妙想且行之有效的方法层出不穷。但是，夜间车辆检测一直以来都是困扰学者们的难题，主要是以下几方面原因：

(1)夜间场景可视度低，缺乏图像细节。由于夜间场景没有自然光照，环境光照不稳定，很难观察到前方很远的车辆全貌或者局部细节，通常清晰可见的只有车尾灯，这是夜间车辆检测最主要的难点。

(2)车灯的特征描述困难。车灯有着各种形态，不同的形状和颜色，难以找到一个能够准确描述车灯本质的特征去描述车灯。同时，车灯与环境中其他的偏黄色和红色的灯光差异不大，很难找到一种方法能有效地区分车灯和非车灯对象。

(3)算法的适应性不高和时间复杂度问题。现有的车辆检测算法普遍存在着局限性问题。而采用机器学习的检测方法缺乏有效性和实时性。现行的对夜间车辆或者尾灯采用的机器学习算法还在探索阶段，还没出现一种特别适合尾灯检测的特征。而且，现有的基于机器学习的检测算法，普遍存在复杂度过高的问题，难以投入到实际应用中去。

发明内容

本发明要解决的技术问题是提供一种夜间车辆检测和状态判断方法。

一种夜间车辆检测和状态判断方法，包括以下步骤：

S1：采集夜间视频图像，进行预处理；

S2：使用尾灯图像分割方法得到疑似车灯对象；

S3：对疑似车灯对象进行多帧的跟踪，得到可信度较高的稳定车灯对象，通过两个跟踪队列来区分过滤车灯对象和非车灯对象；

S4：对稳定车灯对象进行匹配，得到车辆对象识别的结果；

S5：对同一车辆的两个车灯的历史信息变化进行持续监测，通过历史3帧的车灯亮度以及颜色的累积变化程度来判断前车状态。

进一步的，使用尾灯图像分割方法得到疑似车灯对象具体步骤如下：

S2-1：图像预处理过程，

首先，通过感兴趣区域分割划定检测范围；

接着，通过大量采样统计得到车尾灯的RGB值满足以下宽泛阈值约束不等式组，

G≤1.5*R-60

B≤1.5*R-60

R,G,B≥0

R,G,B≤255

根据以上宽泛阈值约束不等式组，进行初步过滤；

S2-2：假设产生过程，

首先，基于Blooming现象，通过阈值过滤提取白色区域，对过滤之后的点进行连通区域的计算；

接着，对白色区域进行边界提取和外接矩形计算，记为内矩形，去除明显不满足要求的疑似车灯对象，从而得到尾灯假设；

S2-3：假设验证过程，

首先，以内矩形的中心为固定点，在水平方向上，将内矩形向左和向右分别拉伸一个内矩形的宽度，在垂直方向上，将内矩形向上和向下分别拉伸一个内矩形的高度，得到外矩形，外矩形能够包含不同距离下车灯光晕的主要部分，因此得到光晕区域的大致范围；

接着，根据不同的车灯大小，以白色区域的边界为起点，确定拓展层数，向外层层拓展，每次拓展1个像素宽的距离，较精确地覆盖疑似对象的光晕区域，对疑似对象的光晕区域采用8方向验证算法进行验证，从而得到可信度较高的疑似车灯对象。

进一步的，其特征在于，所述步骤S2-1中采样方法如下：通过不同摄像头拍摄不同场景下的10段视频，对这10段视频中的车灯光晕的像素点进行采样，采样时，每一段视频上都分别采集了1000个左右的车灯光晕的像素点，记录了RGB信息，10段视频总计采样9968个。

进一步的，步骤S2-3中拓展层数layersNum由以下公式决定：

layersNum＝min(垂直间距，水平间距，14)，其中，垂直间距和水平间距分别表示内矩形到外矩形的垂直距离和水平距离。

进一步的，步骤S2-3中拓展的主要方法如下：

1)对位于内矩形和外矩形之间的点作迭代，计算点到白色区域的最短距离，判断距离值是否为非负数，非负数表示该点位于白色区域内部(正数)或者白色区域边界上(0)，进入下一次迭代；

2)如果为负数，则根据距离值以1为间隔分别将他们分类到对应的层中，距离值位于区间[-1,0)的点分类到第0层，[-2,-1)的点分类到第1层，[-3,-2)的点分类到第2层，以此类推，层数不能超过或者等于layersNum上限。

进一步的，所述8方向验证算法用伪代码描述如下：

1)初始化，清空SearchSet，将白色区域的点加入的SearchSet；

2)搜索第i层，将min点，即8领域内的最小值点交于SearchSet验证，如果minP∈SearchSet，则当前点验证失败，否则该点验证通过，通过计数加一；在该层的点都验证之后，将layeri上的点都加入SearchSet，反复执行步骤2)，直至最后一层，前进至步骤3)；

3)是否已经搜索完最后一层，若不是则返回步骤2)，否则算法结束。

进一步的，所述车灯对象匹配方法具体如下：

S4-1：Cars(车辆)表的每一个条目分别向listST(稳定队列)查询该车的两个车灯的最新状态，如果两个车灯对象都查询成功，Cars表中该条目的两个对象进行数据和状态的更新，该车辆对象整体的数据也进行更新，查询失败时，无论是一个车灯对象消失，还是两个车灯对象都listST中消失，该车辆的条目都将从Cars表中删除；

S4-2：对于没有被Cars表查询过的listST中的其余条目，算法将进行匹配的尝试，对于所有可能的组合，如果通过匹配条件则产生新的Car条目并初始化，算法结束；

S4-3：对于两个待匹配的车灯，需要通过下述条件才能被认为是属于同一辆车；

1)用width1和width2分别表示两个待匹配车灯的宽，用height1和height2分别表示两个带匹配的车灯的高，则必须满足以下公式：

50％*width1≤width2≤150％*width1；

两个对象的高度必须满足以下公式：

50％*height1≤height2≤150％*height1；

2)两个车灯整体宽高比不能超过20:1，不能低于2:1；

3)两个车灯在Y轴投影上必须有交集，重叠区域必须占这对车灯总投影区域的30％以上。

进一步的，判断刹车灯的算法如下：

1)判断亮度值是否小于阈值，是则说明不可能是刹车灯，给出否定结论，算法结束，否则到步骤2)；

2)判断是否处于刹车灯状态，是转到步骤4)，否则转到步骤3)；

3)计算3帧的累计亮度变化和颜色变化，如果亮度增幅达到阈值50，同时Hue值变化小于阈值15°，则认为刹车发生，给出肯定结论，否则认为没有产生刹车，算法结束；

4)计算3帧的累计亮度变化，如果亮度减少超过阈值-50，则认为刹车事件结束，否则认为刹车状态持续，算法结束。

进一步的，转向灯判断算法如下：

1)判断Hue值是否小于阈值，是则说明不可能是转向灯，给出否定结论，算法结束，否则到步骤2)；

2)判断是否处于转向灯状态，是转到步骤4)，否则转到步骤3)；

3)计算3帧的累计亮度变化和颜色变化，如果亮度增幅达到阈值50，同时Hue值增幅也达到阈值15°，则认为刹车发生，给出肯定结论，否则认为没有产生刹车，算法结束；

4)计算3帧的累计颜色变化，如果Hue减少超过阈值-15，则认为转向事件结束，否则认为转向状态持续，算法结束。

本发明的有益效果是：

1)在夜间前车尾灯提取上，本发明算法在尾灯颜色和形状适应性方面更优，并且有着更高的检测率；

2)在夜间车辆检测和状态判断上，本发明提出使用多个较宽松的匹配条件结合的方式匹配，并且匹配一次以兼容单个车灯变化，最终得到车辆检测结果；在状态判断步骤中，本发明同时利用亮度和颜色两种特征，通过历史3帧的车灯亮度以及颜色的累积变化程度来判断前车状态，以达到较好的状态判断效果；匹配算法能够很好地兼容异常车灯且有更大的可检测范围和角度，车辆检测算法整体在检测率和适应性上相比现有方案有不小的提升；状态判断算法在正常检测车辆的情况下能够准确判断前车状态，具备了准确性，适应性和实时性。

具体实施方式

以下具体实施例对本发明作进一步阐述，但不作为对本发明的限定。

实验1不同场景前车尾灯提取实验

各测试视频的帧尺寸，片段长度等信息如表1所示。视频帧尺寸为ROI划分之前的大小。统计检测率时，对3个视频进行抽样。

表1测试视频信息

场景	帧尺寸	片段长度	抽样帧数
				高速公路a	1104*622	2000	100
高速公路b	800*480	600	60
				城市道路	960*540	2000	100

高速公路a场景中，车辆会频繁变换车道，中途车辆更是位移到屏幕右侧边缘难以检测的位置，较难检测。

高速公路场景b的录制场景是收费站，干扰灯光较多，检测难度更大，且片段开始时前方需要检测的车距离较远，几乎超出可检测范围的车辆。场景b中，宿主车辆需要经过几个减速带，车体会发生剧烈震动，导致画面模糊，对检测颇具挑战。

城市道路片段的场景是繁华商业街，虽然没有十分拥挤的车流，但是具有较多城市灯光，如广告牌等，路上的车辆不仅有轿车，也有电动车等。在上述场景下，车灯的检测情况如表2所示。

表2夜间各场景车灯识别情况统计

其中的车灯总数指整个片段出现车灯总量，误检框指的是假阳性误检框的数量。从表2中可以看出，本发明提出的算法无论在高速场景还是城市场景，都有较高的检测率，证明了算法有一定的适应性。

与基于RGB阈值统计过滤的传统尾灯提取方法进行对比，对比方法的阈值范围直接从这三个视频中采样，以达到最好的检测效果。用于测试抽样的帧与本发明算法所用的完全相同。经过测试，对比组和本发明数据的对比如表3所示。

表3对比组的尾灯检测数据

对比检测数据可见，虽然本发明算法有较多的假阳性误检，在检测率上本发明的算法比传统算法高。原因是本发明的算法需要在尾灯提取这一步尽量地保留尾灯，假阳性误检通过后续的步骤还可以进一步去除，但是漏检的尾灯几乎不可能在后续步骤中弥补。

实验2夜间场景单个车灯跟踪实验

各个场景下的跟踪前后的检测率等统计如表4所示。

表4夜间场景各视频段的车辆跟踪结果统计

实验3夜间场景前车检测实验

选取了3段视频，统计全部2600帧的车辆检测率，如表5所示。

表5夜间车辆检测率

与现有的夜间车辆检测方法进行了比较。对比方法使用HSV阈值提取车灯，并使用Kalman跟踪检测到的车辆对象。使用同样的视频进行测试，对比算法的检测率统计与本发明的对比如表6所示。

表6与传统算法夜间车辆检测率对比

从表6的数据上可以看到，本发明算法有更高的检测率。

实验4夜间场景前车状态判断实验

对本发明的车辆状态判断算法的效果进行验证，状态判断正确率等数据如表7所示。

表7夜间车辆状态判断正确率

从表7中可以看到，本发明的状态判断算法有着较高的检测率，无论是转向灯还是刹车灯都能够正常检测。

Claims (9)

1.一种夜间车辆检测和状态判断方法，其特征在于，包括以下步骤：

S1：采集夜间视频图像，进行预处理；

S2：使用尾灯图像分割方法得到疑似车灯对象；

S3：对疑似车灯对象进行多帧的跟踪，得到可信度较高的稳定车灯对象，通过两个跟踪队列来区分过滤车灯对象和非车灯对象；

S4：对稳定车灯对象进行匹配，得到车辆对象识别的结果；

S5：对同一车辆的两个车灯的历史信息变化进行持续监测，通过历史3帧的车灯亮度以及颜色的累积变化程度来判断前车状态。

2.根据权利要求1所述的车辆检测和状态判断方法，其特征在于，使用尾灯图像分割方法得到疑似车灯对象具体步骤如下：

S2-1：图像预处理过程，

首先，通过感兴趣区域分割划定检测范围；

接着，通过大量采样统计得到车尾灯的RGB值满足以下宽泛阈值约束不等式组，

G≤1.5*R-60

B≤1.5*R-60

R,G,B≥0

R,G,B≤255

根据以上宽泛阈值约束不等式组，进行初步过滤；

S2-2：假设产生过程，

首先，基于Blooming现象，通过阈值过滤提取白色区域，对过滤之后的点进行连通区域的计算；

接着，对白色区域进行边界提取和外接矩形计算，记为内矩形，去除明显不满足要求的疑似车灯对象，从而得到尾灯假设；

S2-3：假设验证过程，

首先，以内矩形的中心为固定点，在水平方向上，将内矩形向左和向右分别拉伸一个内矩形的宽度，在垂直方向上，将内矩形向上和向下分别拉伸一个内矩形的高度，得到外矩形，外矩形能够包含不同距离下车灯光晕的主要部分，因此得到光晕区域的大致范围；

接着，根据不同的车灯大小，以白色区域的边界为起点，确定拓展层数，向外层层拓展，每次拓展1个像素宽的距离，较精确地覆盖疑似对象的光晕区域，对疑似对象的光晕区域采用8方向验证算法进行验证，从而得到可信度较高的疑似车灯对象。

3.根据权利要求1所述的车辆检测和状态判断方法，其特征在于，所述步骤S2-1中采样方法如下：通过不同摄像头拍摄不同场景下的10段视频，对这10段视频中的车灯光晕的像素点进行采样，采样时，每一段视频上都分别采集了1000个左右的车灯光晕的像素点，记录了RGB信息，10段视频总计采样9968个。

4.根据权利要求1所述的车辆检测和状态判断方法，其特征在于，步骤S2-3中拓展层数layersNum由以下公式决定：

layersNum＝min(垂直间距，水平间距，14)，其中，垂直间距和水平间距分别表示内矩形到外矩形的垂直距离和水平距离。

5.根据权利要求1所述的车辆检测和状态判断方法，其特征在于，步骤S2-3中拓展的主要方法如下：

1)对位于内矩形和外矩形之间的点作迭代，计算点到白色区域的最短距离，判断距离值是否为非负数，非负数表示该点位于白色区域内部(正数)或者白色区域边界上(0)，进入下一次迭代；

2)如果为负数，则根据距离值以1为间隔分别将他们分类到对应的层中，距离值位于区间[-1,0)的点分类到第0层，[-2,-1)的点分类到第1层，[-3,-2)的点分类到第2层，以此类推，层数不能超过或者等于layersNum上限。

6.根据权利要求1所述的车辆检测和状态判断方法，其特征在于，所述8方向验证算法用伪代码描述如下：

1)初始化，清空SearchSet，将白色区域的点加入的SearchSet；

2)搜索第i层，将min点，即8领域内的最小值点交于SearchSet验证，如果minP∈SearchSet，则当前点验证失败，否则该点验证通过，通过计数加一；在该层的点都验证之后，将layeri上的点都加入SearchSet，反复执行步骤2)，直至最后一层，前进至步骤3)；

3)是否已经搜索完最后一层，若不是则返回步骤2)，否则算法结束。

7.根据权利要求1所述的车辆检测和状态判断方法，其特征在于，所述车灯对象匹配方法具体如下：

S4-1：Cars(车辆)表的每一个条目分别向listST(稳定队列)查询该车的两个车灯的最新状态，如果两个车灯对象都查询成功，Cars表中该条目的两个对象进行数据和状态的更新，该车辆对象整体的数据也进行更新，查询失败时，无论是一个车灯对象消失，还是两个车灯对象都listST中消失，该车辆的条目都将从Cars表中删除；

S4-2：对于没有被Cars表查询过的listST中的其余条目，算法将进行匹配的尝试，对于所有可能的组合，如果通过匹配条件则产生新的Car条目并初始化，算法结束；

S4-3：对于两个待匹配的车灯，需要通过下述条件才能被认为是属于同一辆车；

1)用width1和width2分别表示两个待匹配车灯的宽，用height1和height2分别表示两个带匹配的车灯的高，则必须满足以下公式：

50％*width1≤width2≤150％*width1；

两个对象的高度必须满足以下公式：

50％*height1≤height2≤150％*height1；

2)两个车灯整体宽高比不能超过20:1，不能低于2:1；

3)两个车灯在Y轴投影上必须有交集，重叠区域必须占这对车灯总投影区域的30％以上。

8.根据权利要求1所述的车辆检测和状态判断方法，其特征在于，判断刹车灯的算法如下：

1)判断亮度值是否小于阈值，是则说明不可能是刹车灯，给出否定结论，算法结束，否则到步骤2)；

2)判断是否处于刹车灯状态，是转到步骤4)，否则转到步骤3)；

3)计算3帧的累计亮度变化和颜色变化，如果亮度增幅达到阈值50，同时Hue值变化小于阈值15°，则认为刹车发生，给出肯定结论，否则认为没有产生刹车，算法结束；

4)计算3帧的累计亮度变化，如果亮度减少超过阈值-50，则认为刹车事件结束，否则认为刹车状态持续，算法结束。

9.根据权利要求1所述的车辆检测和状态判断方法，其特征在于，转向灯判断算法如下：

1)判断Hue值是否小于阈值，是则说明不可能是转向灯，给出否定结论，算法结束，否则到步骤2)；

2)判断是否处于转向灯状态，是转到步骤4)，否则转到步骤3)；

3)计算3帧的累计亮度变化和颜色变化，如果亮度增幅达到阈值50，同时Hue值增幅也达到阈值15°，则认为刹车发生，给出肯定结论，否则认为没有产生刹车，算法结束；

4)计算3帧的累计颜色变化，如果Hue减少超过阈值-15，则认为转向事件结束，否则认为转向状态持续，算法结束。