CN103927548B - 一种新的避免车辆碰撞的刹车行为检测方法 - Google Patents

Abstract

本发明公开了一种新的避免车辆碰撞的刹车灯行为检测方法，本方法是基于安装在车辆内部挡风玻璃后的移动设备的摄像机获取前方车辆来进行刹车行为检测的，刹车行为检测主要包括两个过程：刹车灯定位和刹车灯行为的判断。本方法首先将摄像机获取的帧图像从RGB到YCrCb颜色空间转换，通过阈值法和水平‑垂直累加峰值交点的方法过滤和定位前方车辆的车尾灯区域；接着对前面定位的车尾灯区域提取6种具有区分性的特征，利用SVM分类器在训练集上进行训练得到一个预测分类模型，然后对获取得到的车尾灯区域进行刹车行为的判别，从而起到避免碰撞的作用。本发明能够进行有效的刹车行为检测，能够满足车载移动设备实时处理的要求。

Description

一种新的避免车辆碰撞的刹车行为检测方法

技术领域

本发明涉及一种新的避免车辆碰撞的刹车行为检测方法，属于图像处理以及模式识别技术领域。

背景技术

现如今，道路上的车辆越来越多，随之而来的车祸也越来越多，有效的车辆检测和刹车行为检测是近年来的一个研究热点。当前关于刹车行为检测的研究以夜间道路环境居多，夜间环境下的尾灯呈现中间白色，边缘红色的特征，借助于夜间环境下车辆的尾灯特点来实现尾灯的检测，继而实现车辆的检测和刹车行为的检测。

现有的研究主要分为基于传感器的方法和基于视觉的方法。基于视觉的方法主要是通过颜色空间上的转换，将帧图像转换成其他的颜色空间上进行处理检测车灯区域，然后利用车灯对的空间关系来最后定位车灯区域。

为了实现车辆检测，现有的研究都是基于车辆尾灯的检测实现的。Kuo等人的研究是基于视觉的夜间环境下的车辆检测，该方法通过车辆尾灯的检测来实现车辆的检测，但是方法中需要设置的约束参数比较多，对于不同的道路环境下的普适性不够理想。为了能够提高车辆检测的有效性和普适性，Gao等人提出了白天环境下的利用颜色和边缘信息来进行车辆检测的方法，避免因过多参数的设置而影响实际的效果，这也为刹车灯区域的定位提供了启发式的实现思路。

发明内容

本发明的目的是为了解决道路车辆辅助驾驶中前方车辆刹车行为的检测问题，通过移动设备（如手机）摄像实时获取的道路数据分析，提出了一种前方车辆的刹车行为检测方法，主要有刹车灯定位和刹车行为判别两个基本过程，具体是基于颜色空间的区域过滤结合水平-垂直颜色值权重累加方法进行刹车灯定位，通过利用SVM进行刹车行为的判别。

本发明提供的刹车灯定位和刹车行为检测的方法具体包括以下几个步骤：

步骤1：将获取的帧图像进行颜色空间的转换。

利用摄像头实时获取的前方车辆的帧图像数据，然后将图像转换到YCrCb颜色空间，在这个颜色空间中，可以利用亮度分量值Y和红色分量值Cr来实现初步的候选车灯区域的生成。

步骤2：利用阈值方法进行候选刹车灯区域的生成。

阈值方法在图像分割中是一个常用的方法。利用经典的Otsu方法来处理步骤1中转换后的Cr颜色通道的图像，得到最佳的分割阈值T，利用这个阈值T生成候选的刹车灯区域，最后阈值T的计算公式如下:

其中，L指的是图像像素的灰度级，w_b和w_o分表表示帧图像中背景和目标的灰度级概率分布，也就是说，w_b是整个帧图像中背景像素所占的比例，w_o是整个帧图像中目标像素所占的比例，u是整个帧图像的像素均值。t表示图像像素灰度级，取值范围在[0，L-1]。

步骤3：弱空间关系过滤。

由步骤2中得到的候选的刹车灯区域仍然存在一些噪声区域，也就是非刹车灯区域，因此要进行空间位置上的过滤，去掉噪声区域。本发明中通过非严格的弱空间关系来过滤部分噪声区域，过滤的准则是：

（1）候选区域的高度或者宽度大于车辆区域图的一半的区域将被过滤掉。

（2）候选区域的面积大于车辆区域图的1/4的区域将被过滤掉。

步骤4：刹车灯区域验证定位。

由步骤3中过滤后的区域可能还会存在一些非刹车灯区域，因此基于Y通道和Cr通道提出一个水平-垂直峰值交叉方法来最终定位刹车灯区域，本方法通过计算水平和垂直方向上的像素的累加值来确定水平和垂直方向上的交点位置，从而结合步骤3中过滤后的区域来最终的定位刹车灯区域。

水平-垂直峰值交叉方法的计算公式如下，

其中，Cr和Y分别是Cr颜色通道和Y颜色通道中的像素值。是水平方向上的像素颜色累加值，是垂直方向上的像素颜色累加值。最终的刹车灯区域确定计算公式如下，

r_L＝{i,i∈R|min(r_{i_centroid}-intersection_L)}

r_R＝{i,i∈R|min(r_{i_centroid}-intersection_R)}

其中，R是所有过滤后的候选刹车灯区域的集合。

步骤5：刹车行为的判别。对步骤4中的确定的刹车灯区域进行特征的提取，然后将提取的特征利用训练好的SVM进行刹车行为的判别并输出结果。

本发明的优点在于：

（1）通过对实际道路环境不同的车辆进行的实验，很好地说明了本发明提出的刹车行为判别的方法对各种类型的车辆具有较好的普适性，能够有效的进行车辆刹车行为的判别；

（2）在天气状况较差的情况下（比如阴天），本发明中的方法不受刹车灯光在车体上的反射光的影响，与其他设置过多阈值的方法相比较能够避免刹车灯区域的错误定位问题；

（3）通过实验发现本发明的平均检测速度不低于为32帧/秒，能够满足实时性处理的要求。

附图说明

图1为本发明的整体流程示意图。

图2为本发明中通过颜色空间转换并利用阈值方法对车辆图像进行分割后得到的候选的刹车灯区域示意图。

图3为本发明中提出的水平-垂直峰值交叉方法的示意图，图示了本方法的实现思路。

图4为本发明中利用图3中提出的水平-垂直峰值交叉方法得到的车辆刹车灯区域定位效果的示意图。

图5为本发明中的刹车灯区域定位方法对于不同的车辆的区域定位效果示意图。

图6为本发明中的刹车行为判断方法对于不同的车辆进行的刹车行为判断的效果示意图。

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。

本发明提出的刹车行为检测方法主要用于白天环境下的车辆的辅助驾驶系统上，目的是对前方车辆的刹车行为进行判断从而提醒驾驶员能够提早预警，避免车辆的碰撞。本发明中 的方法能够满足车载移动设备实时处理的要求。

本发明中提出的方法总体而言主要包括两个步骤：（1）前方车辆的刹车灯区域定位；（2）根据定位后的刹车灯区域提取特征，进行刹车行为的判别，同时更新保存的历史信息。其中步骤（1）主要用于进行前方车辆区域图像进行颜色空间的转换，生成候选的刹车灯区域，并结合水平-垂直峰值交叉方法进行最终的刹车区域的准确定位；步骤（2）主要用于判别刹车灯的刹车行为，通过对步骤（1）中定位的刹车灯区域提取特征进行判别，从而进行预警。

本发明中提出的刹车灯定位和刹车行为判断的方法不是针对特定类型的车辆，而是对不同类型的车辆都具有普适性。

本发明提出的刹车行为的检测方法的具体的实现如图1所以，包括以下步骤：

步骤1：将获取的帧图像进行颜色空间的转换。

利用摄像头实时获取的前方车辆的帧图像数据，然后将图像转换到YCrCb颜色空间，在这个颜色空间中，利用亮度分量值Y和红色分量值Cr来实现初步的候选车灯区域的生成.

将图像转换到YCrCb颜色空间具体的转换公式如下，

Y＝0.299×R+0.587×G+0.114×B

Cr＝0.499×R-0.418×G-0.0813×B+128

Cb＝-0.169×R-0.331×G+0.499×B+128

其中，R,G,B表示在RGB颜色空间中图像某一坐标点的R通道，G通道和B通道的颜色分量值，也即像素值。Y,Cr,Cb表示由RGB颜色空间变换到YCrCb颜色空间后对应坐标点的Y通道，Cr通道和Cb通道的颜色分量值。

步骤2：利用阈值方法进行候选刹车灯区域的生成。

阈值方法在图像分割中是一个常用的方法。利用经典的Otsu方法来处理步骤1中转换后的Cr颜色通道的图像，得到最佳的分割阈值T，利用这个阈值T生成候选的刹车灯区域，最后阈值T的计算公式如下:

其中，L表示图像像素的灰度级，w_b和w_o分表表示帧图像中背景和目标的灰度级概率分布，也就是说，w_b是整个帧图像中背景像素所占的比例，w_o是整个帧图像中目标像素所占的比例，u是整个帧图像的像素均值，t表示图像像素灰度级，取值范围在[0，L-1]。

步骤3：弱空间关系过滤。

由步骤2中得到的候选的刹车灯区域仍然存在噪声区域，也就是非刹车灯区域，因此要进行空间位置上的过滤，去掉噪声区域。

本发明中通过非严格的弱空间关系来过滤部分噪声区域，过滤的准则是：

（1）候选区域的高度或者宽度大于车辆区域图的一半的区域将被过滤掉。

（2）候选区域的面积大于车辆区域图的1/4的区域将被过滤掉。

在本步骤中，之所以采用弱空间关系过滤，是因为现有的一些研究方法大都采用设定很多阈值的方法来验证，最后定位刹车灯对。但是对于不同的道路环境，不同的车辆类型，这样设定的阈值参数不具有普适性，会造成刹车灯区域的定位不准确，继而会影响到后面的刹车行为的判别准确性。

步骤4：刹车灯区域验证定位。

由步骤3中过滤后的区域可能还会存在一些非刹车灯区域，因此基于Y颜色通道和Cr颜色通道提出一个水平-垂直峰值交叉方法来最终定位刹车灯区域，本方法通过计算水平和垂直方向上的像素的累加值来确定水平和垂直方向上的交点位置，从而结合步骤3中过滤后的区域来最终的定位刹车灯区域。

水平-垂直峰值交叉方法的计算公式如下，

其中，Cr和Y分别是Cr颜色通道和Y颜色通道中的像素值，(xi,y_j)是图像的坐标点表示。 是水平方向上的像素颜色累加值，是垂直方向上的像素颜色累加值。W和H分别代表图像的宽度值和高度值。

最终的刹车灯区域确定计算公式如下，

r_L＝{i,i∈R|min(r_{i_centroid}-intersection_L)}

r_R＝{i,i∈R|min(r_{i_centroid}-intersection_R)}

其中，R是所有过滤后的候选刹车灯区域的集合。intersection_L和intersection_R分别表示 由水平-垂直峰值交叉方法得到的刹车灯区域的交点位置。r_{i_centroid}表示所有步骤3中得到的候选车灯区域的中心点坐标，r_L和r_R分别表示的是最终计算确定的左刹车灯和右刹车灯区域中心点坐标，继而确定最终的刹车灯区域。

本方法可以有效的去除在天气状况较差的情况下（比如阴天），刹车灯光的在车体上的反射光的影响，避免刹车灯区域的错误定位。

步骤5：刹车行为的判断。

对步骤4中的确定的刹车灯区域进行特征的提取，然后将提取的特征利用训练好的SVM进行刹车行为的判断，从而给出相应的预警。

这一过程中提取的刹车灯区域的特征主要包括以下六种类型的特征：

（1）Y_max:刹车灯区域在Y颜色通道中的亮度最大值；

（2）Cr_max:刹车灯区域在Cr颜色通道中的亮度最大值；

（3）Y_mean:刹车灯区域在Y颜色通道中的亮度均值；

（4）Cr_mean:刹车灯区域在Cr颜色通道中的红色分量均值；

（5）Y_prop:刹车灯区域中像素值大于Y_mean的像素所占比例；

（6）Cr_prop:刹车灯区域中像素值大于Cr_mean的像素所占比例；

本过程中，首先手工选择出存在刹车行为的车辆图片和没有刹车行为的车辆图片，然后对车辆中的刹车灯区域进行抠图，得到存在刹车行为的车灯区域图片作为SVM训练的正样本训练集，没有刹车行为的车灯区域图片作为SVM训练的负样本训练集。本过程中正负样本分别提取前面的6类特征，采用线性SVM对正负样本进行训练得到刹车行为判别的分类器，用于对步骤4后得到的车灯区域进行刹车行为的判别。

本过程中根据刹车行为的判别，结合刹车行为检测的历史信息，作出相应的预警。本过程中定义了三个刹车行为的预警：无刹车行为，有刹车行为，结束刹车行为。本过程中的k设置为5，即SVM连续5帧判别出的相同的结果。

（1）如果利用SVM判别为没有刹车，保存的在历史信息也为无刹车行为，则当前输出结果为无刹车行为，并更新历史信息；

（2）如果利用SVM判别为有刹车，则输出结果为有刹车行为，并更新历史信息为有刹 车状态；

（3）如果利用SVM判别为没有刹车，保存的历史信息为有刹车行为，则当前输出结果为结束刹车行为，并更新历史信息为无刹车行为。

本发明的方法针对的是前方车辆的刹车行为的检测预警问题，为了充分验证本发明方法的效果性能，在实际的道路环境上的视频数据进行了测试。在试验中，采集了共69部不同车型车辆的实际道路刹车情形，视频片段囊括多于30000帧的连续图像，主要评价了刹车灯定位的准确率和刹车行为判别的准确率与误判率。最后得到的实验准确率统计如下表1和2所示。

表1车辆刹车行为检测结果

车辆	刹车行为准确率	刹车行为错误率
			69	90.37%	2.29%

表2刹车灯区域定位结果

车辆	准确率
		69	94%

表1中的刹车行为准确率表示前方车辆确实存在刹车行为，本发明方法也将其检测为刹车行为。刹车行为错误率表示前方车辆没有存在刹车行为，但是本发明方法却误判为刹车行为。表2中的准确率表示在定位车辆的刹车灯区域时的定位准确率。

图2表示利用Otsu阈值方法对不同的输入车辆区域图像进行阈值分割后的候选刹车灯效果示意图。（b）和（d）分别是（a）和（c）经过阈值分割后的二值化图像。从图2中可以看出，经过阈值分割后虽然能够获得车辆的刹车灯区域，但是同时也存在非刹车灯的噪声区域。

图3表示理想情况下的水平-垂直峰值交叉方法的实现思路。（a）表示的是一个输入的待检测车辆的原始图片，（b）表示的是经过阈值过滤后的理想的二值化图像，能够将车辆的刹车灯区域和其余区域明显的区分开。由图（b）得出图（c）和图（d）计算的假设，就是，在水平方向上的像素累加值必定存在一个峰值位置，同样在垂直方向上的像素累加值会存在左右两个峰值位置。（c）表示的沿着水平方向按照亮度分量Y和红色分量Cr进行像素权重累加得到的曲线图，从（c）中可以看出，在60刻度左右处达到一个最大值。（d）表示是沿着垂直方向上的Y和Cr分量的像素权重累加得到的曲线图，从（d）中可以看出，在20和100刻度左右处分别都存在一个峰值。则由这三个峰值可以得到两个交点，这两个交点位置结合得到的候选车灯区域就可以最终定位车辆的刹车灯区域。

图4和图5表示利用本发明中方法对于实际的车辆图像进行刹车灯区域定位的效果展现，从效果图中可以看出，本发明方法对于不同的车型，不同形状的刹车灯具有较好的普适性。图4给出的是4个不同的车辆的刹车灯区域定位效果，其中，图（a），图（b）和图（c）是前方车辆在较远距离下的刹车灯区域定位效果。图（d）中下方的明亮点是刹车灯在当前车辆上的反射灯光，从图中的区域定位效果来看，利用本发明方法可以有效的消除灯光反射的影响。图5中给出了更多车辆的刹车灯区域定位效果显示。其中，第二行的第三个效果图和第四个效果图说明了本发明方法能够有效的定位刹车灯区域不明显的情况。第二行的第五个效果图说明对于车灯不对称，不明显的情况下，本发明方法仍然能够有效的定位车灯区域。

图6表示的是刹车行为判别的效果。图中每一行表示的是同一车辆不同时刻的图像，黑色矩形框框出的车灯区域表示当前没有刹车行为，例如图（a）和（b）中的第一个图像，图（c）的第三个图像。白色矩形框框出的车灯区域表示当前存在刹车行为，例如图（a）和他（b）中的第二个和第三个图像，图（c）中的第一个和第二个图像。（a）和（b）表示的从没有刹车行为到有刹车行为的判别。（c）表示的是存在刹车行为到结束刹车行为的判别。

Claims (5)

1.一种新的避免车辆碰撞的刹车行为检测方法，包括以下步骤：

步骤1：将获取的帧图像进行颜色空间的转换；

利用摄像头实时获取的前方车辆的帧图像数据，然后将图像转换到YCrCb颜色空间；

步骤2：利用阈值方法进行候选刹车灯区域的生成；

利用Otsu方法处理步骤1中转换后的Cr颜色通道图像，得到最佳的分割阈值T，利用阈值T生成候选的刹车灯区域；

步骤3：弱空间关系过滤；

采用弱空间关系过滤步骤2中得到候选的刹车灯区域，得到过滤后的刹车灯区域；

其中过滤的准则为：

(1)候选区域的高度或者宽度大于车辆区域图的一半的区域将被过滤掉；

(2)候选区域的面积大于车辆区域图的1/4的区域将被过滤掉；

步骤4：刹车灯区域验证定位；

针对步骤3得到的过滤后的刹车灯区域，采用水平-垂直峰值交叉方法进行处理，获取最终的刹车灯区域；

水平-垂直峰值交叉方法的计算公式如下：

$f_{h_j}=\underset{i=1}{\overset{W}{\Σ}}0.9*Cr(x_i,y_j)+0.1*Y(x_i,y_j)$

$f_{v_i}=\underset{j=1}{\overset{H}{\Σ}}0.9*Cr(x_i,y_j)+0.1*Y(x_i,y_j)$

其中，Cr和Y分别是Cr颜色通道和Y颜色通道中的像素值，(x_i,y_j)是图像的坐标点表示；是水平方向上的像素颜色累加值，是垂直方向上的像素颜色累加值；W和H分别代表图像的宽度值和高度值；i和j分别表示水平方向和垂直方向相应的坐标序号；

最终的刹车灯区域确定计算公式如下：

r_L＝{i,i∈R|min(r_{i_centroid}-intersection_L)}

r_R＝{i,i∈R|min(r_{i_centroid}-intersection_R)}

其中，R是所有过滤后的候选刹车灯区域的集合；intersection_L和intersection_R分别表示由水平-垂直峰值交叉方法得到的刹车灯区域的交点位置；r_{i_centroid}表示所有步骤3中得到的候选车灯区域的中心点坐标，r_L和r_R分别表示的是最终计算确定的左刹车灯和右刹车灯区域中心点坐标，继而确定最终的刹车灯区域；

步骤5：刹车行为的判断；

对步骤4中的确定的刹车灯区域进行特征的提取，刹车灯区域的特征包括：

(1)Y_max:刹车灯区域在Y颜色通道中的亮度最大值；

(2)Cr_max:刹车灯区域在Cr颜色通道中的亮度最大值；

(3)Y_mean:刹车灯区域在Y颜色通道中的亮度均值；

(4)Cr_mean:刹车灯区域在Cr颜色通道中的红色分量均值；

(5)Y_prop:刹车灯区域中像素值大于Y_mean的像素所占比例；

(6)Cr_prop:刹车灯区域中像素值大于Cr_mean的像素所占比例；

然后将提取的特征利用SVM进行刹车行为的判断，根据刹车行为的判别，结合刹车行为检测的历史信息，作出预警。

2.根据权利要求1所述的一种新的避免车辆碰撞的刹车行为检测方法，步骤1中，将图像转换到YCrCb颜色空间具体的转换公式为：

Y＝0.299×R+0.587×G+0.114×B

Cr＝0.499×R-0.418×G-0.0813×B+128

Cb＝-0.169×R-0.331×G+0.499×B+128

其中，R,G,B表示在RGB颜色空间中图像某一坐标点的R通道，G通道和B通道的颜色分量值，也即像素值，Y,Cr,Cb表示由RGB颜色空间变换到YCrCb颜色空间后对应坐标点的Y通道，Cr通道和Cb通道的颜色分量值。

3.根据权利要求1所述的一种新的避免车辆碰撞的刹车行为检测方法，步骤2中，阈值T的计算公式如下:

$T=\underset{0\≤t\≤L-1}{max}\{w_b*{(u_b-u)}^2+w_o*{(u_o-u)}^2\}$

其中，L表示图像像素的灰度级，w_b是整个帧图像中背景像素所占的比例，w_o是整个帧图像中目标像素所占的比例，u是整个帧图像的像素均值，u_b是整个帧图像的背景像素均值，u_o是整个帧图像的目标像素均值，t表示图像像素灰度级，取值范围在[0，L-1]。

4.根据权利要求1所述的一种新的避免车辆碰撞的刹车行为检测方法，步骤5中：

SVM的训练过程为：预先手工选择出存在刹车行为的车辆图片和没有刹车行为的车辆图片，然后对车辆中的刹车灯区域进行抠图，得到存在刹车行为的车灯区域图片作为SVM训练的正样本训练集，没有刹车行为的车灯区域图片作为SVM训练的负样本训练集，正负样本分别提取刹车灯区域的6类特征，采用线性SVM对正负样本进行训练，得到刹车行为判别的SVM。

5.根据权利要求1所述的一种新的避免车辆碰撞的刹车行为检测方法，步骤5中，根据刹车行为的判别，结合刹车行为检测的历史信息，作出预警，具体为：

设定阈值k，即SVM连续K帧判别出的结果相同，则认为结果为SVM的输出结果；

设有三个刹车行为的预警：无刹车行为，有刹车行为，结束刹车行为：

(1)如果利用SVM判别为没有刹车，保存的在历史信息也为无刹车行为，则当前输出结果为无刹车行为，并更新历史信息；

(2)如果利用SVM判别为有刹车，则输出结果为有刹车行为，并更新历史信息为有刹车状态；

(3)如果利用SVM判别为没有刹车，保存的历史信息为有刹车行为，则当前输出结果为结束刹车行为，并更新历史信息为无刹车行为。