CN104021379B - 一种车辆辅助驾驶中车辆间距的计算方法 - Google Patents

Abstract

本发明公开了一种车辆辅助驾驶中车辆间距的计算方法，包括步骤1：训练模型；步骤2：车辆检测；步骤3：对识别为车辆尾部的窗口进行车辆边缘的定位；步骤4：计算前方车辆间距；本发明对摄像头摆放的角度没有特殊要求，使用本发明提出的方法不需要对摄像头的位置进行精细地调试；本发明仅使用一个摄像头，可以应用于所有具有单目摄像头的设备上。

Description

一种车辆辅助驾驶中车辆间距的计算方法

技术领域

本发明涉及一种车辆辅助驾驶中车辆间距的计算方法，属于图像处理技术领域。

背景技术

随着现代生活节奏的加快，疲劳驾驶日益成为交通事故发生的主要因素，如何减少因疲劳驾驶引发的交通事故成为了倍受关注的问题。人们研发了车辆驾驶辅助系统，帮助减小因驾驶员注意力下降而发生交通事故的几率。其中关键技术是车辆驾驶中车辆间距的计算方法。

在以色列Mobileye公司出产的Mobileye智能行车预警系统中，车辆间距利用“远近法原理”计算得到。这种方法需要首先进行车辆检测，依照对三个特征的检测，分别是车辆后部的矩形检测、后轮检测和两个尾灯的检测。用车辆检测的结果找到车辆轮胎与地面接触点，进而进行车辆距离计算。原理如图1所示，摄像头距离地面高度为H，由车辆与地面接触点在摄像头内部传感器上的成像位置可以计算车辆距离，假设成像位置与传感器中心点距离为y，摄像头的焦距为f，那么车辆距离Z可由下式计算得到：

这种方法对摄像头摆放的俯仰角度有非常高的要求，需要经过精细的调试。

在日本斯巴鲁重工业开发的Eyesight行车安全辅助系统中，车辆间距的计算利用了两个相距36厘米的摄像头，使用图像处理技术得到车辆在两个摄像头中的视差，进而进行车辆间距的计算。这种方法与使用单眼摄像头的方法相比，可以检测的距离更远。但是，这种方法对摄像头的摆放同样具有很高的精确度要求，而且比起单眼摄像头，这种方法的成本也更高。

发明内容

本发明的目的是为了解决车辆辅助驾驶中前方车辆距离计算的问题，通过移动设备采样获取的道路情况，提出了基于图像处理技术的一种车辆辅助驾驶中车辆间距的计算方法，该方法利用摄像头水平视角和车辆边缘定位的结果对车辆间距进行计算。

本发明方法包含了车辆检测、车辆边缘定位和车辆间距计算三个过程，车辆检测使用滑动窗口检测的方法；车辆的边缘定位综合了轮胎和车灯的边缘检测的结果，轮胎的边缘利用模板法进行检测，车灯的边缘利用红色通道与蓝色、绿色通道的差值进行定位；车辆间距利用摄像头水平视角和边缘定位结果进行计算得到。

一种车辆辅助驾驶中车辆间距的计算方法，包括以下几个步骤：

步骤1：训练模型；

采集路况信息图像，从采集的路况信息图像中截取正样本和负样本，正样本为包含车辆尾部的图像，车辆尾部面积约占整个正样本面积的85％～90％，左右留有背景信息，负样本为不包含车辆尾部的图像，将正样本和负样本标准化为36×36像素的图像，从正样本和负样本中提取Haar-like特征，对从样本中提取的Haar-like特征用Adaboost算法进行训练，得到Haar-like特征组合成的强分类器组，强分类器组的输入为36×36像素的窗口图像，分类结果分为两种，一种是窗口为车辆尾部窗口，另一种是窗口不为车辆尾部窗口；

步骤2：车辆检测；

通过摄像头进行路况信息采集，对采集的图像进行车辆检测；

采用快速多尺度滑动窗口检测方法进行车辆检测，具体为：

设置滑动窗口大小为36×36像素；

首先用双线性内插法将图像缩小为多级不同尺度的图像，图像缩小的比例系数为0.9，将图像按尺度从小到大排序，从第一个尺度开始检测，每一个窗口都用强分类器组进行分类，如果分类结果为车辆尾部窗口则记录窗口信息，接着窗口滑向下一个位置，滑动的步长为一个像素，采用强分类器组对当前的窗口进行分类，当最小尺度的图像被检测完后，继续用滑动窗口对第二个尺度的图像进行检测，如果在较小尺度的图像中检测到了车辆，根据记录的窗口位置，在较大尺度的图像中对此区域不采用强分类器组进行检测，当一帧图像检测完成后，记录检测到车辆的窗口位置以及检测到车辆时的图像尺度，在对下一帧图像进行检测的时候，检测的区域为上一帧中检测到车辆的窗口位置向四周扩大两倍的区域，检测从记录的图像尺度开始，如果上一帧在第k个尺度中检测到车辆，则这一帧从第k个尺度开始检测，如果检测到车辆，则检测结束，如果没有检测到车辆，则按照k-1、k+1、k-2、k+2…的顺序依次对各尺度进行车辆检测，如果在这一帧中检测到车辆，那么下一帧的检测中继续按照这一帧的处理方法进行检测，否则按照从小到大的顺序重新检测整个图像的所有尺度；

步骤3：对识别为车辆尾部的窗口进行车辆边缘的定位；

针对识别为车辆尾部的窗口，将车辆尾部窗口划分为3×3的9个子窗口；

对车灯边缘进行检测时使用第二行左右两个子窗口，所述的两个子窗口为三通道的彩色窗口，首先将三个通道的窗口转换为单通道窗口，转换的等式为R_e＝2R-B-G，其中R、G和B分别表示原窗口中的红色通道、绿色通道和蓝色通道，R_e表示转换过后的单通道窗口的像素值；然后，将转换后的窗口二值化，阈值设为25，大于阈值的点二值化为1，否则二值化为0；二值化完成后，对像素值为1的点进行过滤，过滤的标准为：如果在该像素的四邻域中，像素值为0的点的个数大于或者等于3个，则该像素被过滤掉，其像素点值被置为0；最后，在左侧的子窗口中，取像素点值为1且最靠左的点作为左侧车灯的边缘点，右侧的子窗口中取像素点值为1且最靠右的点作为右侧车灯的边缘点；

对轮胎边缘进行检测时使用第三行左右两个子窗口，先对子窗口灰度化，设定6×6像素的掩模，

对左边轮胎边缘定位时，掩模具体是，掩模右上3×3像素位置设为黑色，采用掩模对左边的子窗口滑动检测，将掩模白色部分覆盖的像素点值的总和减去黑色部分覆盖的像素点值总和的3倍得到特征值Val，白色部分覆盖的像素点值的总和记为Whi，黑色部分覆盖的像素点值的总和记为Bla，当Val＞200并且Bla×3＜Whi时，将掩模黑色部分左下角覆盖的像素点作为左轮胎边缘候选像素点，对子窗口检测结束后，得到左轮胎边缘候选像素点的集合，将左轮胎边缘候选像素点中最靠近左下的像素点作为左侧轮胎的边缘像素点；

对右边轮胎边缘定位时，掩模具体是，掩模左上3×3像素位置设为黑色，针对右边的子窗口，也采用上述方法进行处理，其中，右轮胎边缘候选像素点选择模版黑色部分右下角的像素点，最终的边缘点选择右轮胎边缘候选像素点候选点集合中最靠近右下的像素点作为右轮胎边缘像素点；

通过左右轮胎边缘和左右车灯边缘，得到最终的车辆左右边缘位置，具体是：

针对车辆左边缘：对左侧轮胎边缘位置和左侧车灯边缘位置进行比较，如果车灯边缘与车胎边缘在水平方向的差值大于或者等于窗口边长的1/4，则认为靠右的边缘是不正确的边缘，将靠左的边缘确定为最终的边缘；如果车灯边缘与车胎边缘在水平方向的差值小于窗口边长的1/4，则将靠右的边缘确定为最终的边缘；

针对车辆右边缘：对右侧轮胎边缘位置和右侧车灯边缘位置进行比较，如果车灯边缘与车胎边缘在水平方向的差值大于或者等于窗口边长的1/4，则认为靠左的边缘是不正确的边缘，将靠右的边缘确定为最终的边缘；如果车灯边缘与车胎边缘在水平方向的差值小于窗口边长的1/4，则将靠左的边缘确定为最终的边缘；

最终，得到车辆左右两侧的边缘后，根据边缘的位置计算出车辆在图像中的宽度D；

步骤4：计算前方车辆间距；

根据下式计算前方车辆间距：

其中：Z表示车辆间距，W_c表示车辆的真实宽度，D表示图像中车辆的宽度，L表示图像的总宽度，P表示移动设备摄像头的水平视角。

本发明的优点在于：

(1)本发明对摄像头摆放的角度没有特殊要求，使用本发明提出的方法不需要对摄像头的位置进行精细地调试；

(2)仅使用一个摄像头，可以将本发明提出的方法应用于所有具有单目摄像头的设备上。

附图说明

图1是现有技术中，Mobileye行车辅助系统中车辆间距计算的示意图。

图2是本发明的整体步骤示意图

图3是本发明中车辆检测部分用到的7类Haar-like特征，其中(a)和(b)是Haar-like边缘特征，(c)、(d)、(e)和(f)是Haar-like线特征，(g)是Haar-like对角特征。

图4是快速车辆检测的示意图。

图5是车辆边缘定位示意图，车灯边缘定位用到第二行中的第一列与第三列两个子窗口，车胎边缘定位用到第三行中的第一列与第三列两个子窗口。

图6是车胎边缘定位掩模的示意图，(a)用于左侧轮胎边缘定位，(b)用于右侧轮胎边缘定位，掩模大小都是6×6。

图7是本发明中提出的车辆间距计算方法的示意图。

图8车辆边缘正确定位的示意图。

图9是车辆间距计算公式的验证实验，(a)和(b)分别是距离15米和距离30米时拍摄的图片。

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。

本发明提出的计算车辆间距的方法主要用于白天环境下前方车辆的间距计算，目的是将前方车辆距离以及本车速度相结合，估计本车行驶过程中的安全程度，在安全程度较低时对驾驶员进行提醒，避免可能发生的不必要的交通事故。

本发明中提出的计算车辆间距的方法主要包括三个过程：(1)使用滑动窗口对采集的前方路况信息进行车辆检测；(2)利用车灯的信息和车辆尾部轮胎信息对车辆的边缘进行定位；(3)利用定位得到的车辆边缘、图像宽度以及摄像头水平视角等信息计算前方车辆间距。

本发明提出的前方车辆间距计算的具体实现流程如图2所示，包括以下几个步骤：

步骤1：训练模型。

用移动设备进行路况信息图像采集，采集的目的是获得车辆尾部的样本用于分类器的训练。从采集的路况信息中截取正样本和负样本，正样本是包含车辆尾部的样本，车辆尾部面积约占整个正样本面积的85％～90％，左右都留下一些背景信息，因为使用的是Haar-like特征(矩形特征)，这样做能使训练得到的分类器具有更好的分类效果；负样本不包含车辆尾部。将正样本和负样本标准化为36×36像素的尺寸，从正样本和负样本中提取Haar-like特征，如图3所示，总共使用了7类Haar-like特征(其中(a)和(b)是Haar-like边缘特征，(c)、(d)、(e)和(f)是Haar-like线特征，(g)是Haar-like对角特征。)。对从样本中提取的Haar-like特征用Adaboost(自适应增强)算法进行训练，得到分类效果最佳的Haar-like特征组合成强分类器组。强分类器组的输入是36×36像素的窗口图像，分类结果有两种情况，一种是窗口为车辆尾部窗口，另一种是窗口不为车辆尾部窗口。

步骤2：车辆检测。

调用移动设备摄像头进行路况信息采集，对采集的图像进行车辆检测；

步骤2采用快速多尺度滑动窗口检测的方法。滑动窗口大小为36×36像素，首先用双线性内插法将图像缩小为多级不同尺度的图像，图像缩小的比例系数为0.9，即每一级图像长度和宽度都缩小到上一级图像的0.9。将图像按尺度从小到大排序，从第一个尺度开始检测，每一个窗口都用步骤1得到的强分类器组进行分类，如果分类结果为车辆尾部窗口则记录窗口信息。接着窗口滑向下一个位置(滑动的步长为一个像素)，仍然用分类器对当前的窗口进行分类。当最小尺度的图像被检测完后，继续用滑动窗口的方法对第二个尺度的图像进行检测。如果在较小尺度的图像中检测到了车辆，根据记录的窗口位置，在较大尺度的图像中对这个区域就不再用分类器进行检测，这样做可以避免在较大尺度的图像中对车辆去与做重复的检测。当一帧图像检测完成后，记录车辆窗口位置以及检测到车辆时的图像尺度，在对下一帧图像进行检测的时候，检测的区域不再是整个图像，而改为上一帧中车辆窗口位置向四周扩大两倍的区域，检测从记录的图像尺度开始，如图4所示，如果上一帧在第k个尺度中检测到车辆，那么这一帧从第k个尺度开始检测，如果检测到车辆，则这一帧的检测结束，如果没有检测到车辆，则按照k-1、k+1、k-2、k+2…的顺序依次对各尺度进行车辆检测如果在这一帧中检测到车辆，那么下一帧的检测中继续使用这样的方法，否则按照从小到大的顺序重新检测整个图像的所有尺度。

步骤3：对识别为车辆尾部的窗口进行车辆边缘的定位；

定位用到了车灯信息和车辆尾部轮胎信息。如图5所示，将车辆尾部窗口划分为3×3的9个子窗口。

对车灯边缘进行检测时用到了第二行左右两个子窗口，这两个子窗口是三通道的彩色窗口，首先将三个通道的窗口转换为单通道窗口，转换的等式为R_e＝2R-B-G，其中R、G和B分别表示原窗口中的红色通道、绿色通道和蓝色通道，R_e表示转换过后的单通道窗口的像素值。接着将转换后的窗口二值化，阈值设为25，大于阈值的点二值化为1，否则二值化为0。二值化完成后，对像素值为1的点进行过滤，过滤的标准为：如果在该像素的四邻域中，像素值为0的点的个数大于或者等于3个，则该像素被过滤掉，其像素点值被置为0。最后，在左侧的子窗口中，取像素点值为1且最靠左的点作为左侧车灯的边缘点，右侧的子窗口中取像素点值为1且最靠右的点作为右侧车灯的边缘点。

对轮胎边缘进行检测时用到了第三行左右两个子窗口，先对子窗口灰度化。

定位用到了一个6×6像素的掩模，如图6所示，(a)表示是对车辆尾部左侧轮胎进行边缘定位时用到的掩模，(b)表示是对车辆尾部右侧轮胎进行边缘定位时用到的掩模。对左边轮胎边缘定位用到的模版如(a)所示，模版黑色部分为3×3像素(位于模版右上)。用模版对子窗口滑动检测，将模版白色部分覆盖的像素点值的总和减去黑色部分覆盖的像素点值总和的3倍得到特征值Val，白色部分覆盖的像素点值的总和记为Whi，黑色部分覆盖的像素点值的总和记为Bla，判断模版覆盖了边缘点的标准为Val＞200并且Bla×3＜Whi，符合标准时，将模版黑色部分左下角覆盖的像素点作为左轮胎边缘候选像素点，对子窗口检测结束后，会得到候选像素点的集合，将候选点中最靠近左下的像素点作为左侧轮胎的边缘像素点。使用同样的方法可以得到右边轮胎边缘(与得到左边轮胎边缘不同的是，候选点选择模版黑色部分右下角的像素点，最终的边缘点选择候选点集合中最靠近右下的像素点)。

现在已经得到了左右轮胎边缘和左右车灯边缘，进一步综合比较的到最终的车辆左右边缘位置。对左(右)侧轮胎边缘位置和左(右)侧车灯边缘位置进行比较，如果车灯边缘与车胎边缘在水平方向的差值大于或者等于窗口边长的1/4，则认为靠右(左)的边缘是不正确的边缘，将靠左(右)的边缘确定为最终的边缘；如果车灯边缘与车胎边缘在水平方向的差值小于窗口边长的1/4，则将靠右(左)的边缘确定为最终的边缘，这样做的原因是，在分别确定左(右)车灯边缘和左(右)车胎边缘时，优先选择的是靠左(右)的点，如果在图像中有干扰点的出现会导致边缘点偏左(右)，所以在这里选择靠右(左)的边缘点作为最终的边缘点。

最终，得到车辆左右两侧的边缘后，根据边缘的位置可以算出车辆在图像中的宽度，这个宽度就是步骤4中计算车辆间距时使用的参数D。

步骤4：计算前方车辆间距。

利用步骤3中得到了车辆边缘的结果，计算出车辆在图像中的宽度，结合整帧图像的宽度和移动设备摄像头水平视角的大小，计算车辆间距。如图7所示，本车与前方车辆的之间的间距用Z表示，W_c表示车辆的真实宽度，P表示移动设备摄像头水平视角。假设车辆在图像中的宽度为D，整帧图像的宽度为L。显然有所以由图7所示的几何关系可以得到将带入得到进而得到最终计算车辆间距的公式为：

其中Z表示车辆间距，W_c表示车辆的真实宽度(车辆宽度为1.6米-1.8米，可以取车辆宽度为1.7米)，D表示图像中车辆的宽度，L表示图像的总宽度，P表示移动设备摄像头的水平视角。

为了验证本发明方法的效果性能，对步骤3和步骤4中用到的方法进行了实验验证。

对于步骤3中提出的边缘定位的方法，不同光照条件下的车辆尾部窗口图片进行了测试，测试的图片总共929张，都是从道路上拍摄的路况图片中截取出来的。测试的结果有839张车辆尾部图片正确标定了边缘，正确率为90.2％。如图8所示，为车辆边缘正确定位的实验结果，定位用到了车灯和车辆尾部轮胎两个部分的信息。

对于步骤4中提出的车辆间距的计算方法，做了实验验证了该方法的正确性。如表1所示，实验所用的移动设备摄像头的水平视角为1.107弧度，车宽为假设的1.7米，拍摄的图像总宽度为3200像素，从5米到60米，每隔5米拍摄一组图像，一共12组图像。表1中P表示摄像头水平视角，W_c是车辆的实际宽度，D/L是图像中车辆的宽度和图像总宽度的比值，Z'是用公式计算出来的车辆间距，Z是测量的车辆间距。从实验的绝对误差可以看出这个方法是正确可行的。

表1 车辆间距计算实验数据

如图9所示，为步骤4所用方法进行验证所采集的图片数据的示例，(a)是车辆间距为15米时拍摄的图片，(b)是车辆间距为30米时拍摄的图片。

Claims (1)

1.一种车辆辅助驾驶中车辆间距的计算方法，包括以下几个步骤：

步骤1：训练模型；

采集路况信息图像，从采集的路况信息图像中截取正样本和负样本，正样本为包含车辆尾部的图像，车辆尾部面积约占整个正样本面积的85％～90％，左右留有背景信息，负样本为不包含车辆尾部的图像，将正样本和负样本标准化为36×36像素的图像，从正样本和负样本中提取Haar-like特征，对从样本中提取的Haar-like特征用Adaboost算法进行训练，得到Haar-like特征组合成的强分类器组，强分类器组的输入为36×36像素的窗口图像，分类结果分为两种，一种是窗口为车辆尾部窗口，另一种是窗口不为车辆尾部窗口；

步骤2：车辆检测；

通过摄像头进行路况信息采集，对采集的图像进行车辆检测；

采用快速多尺度滑动窗口检测方法进行车辆检测，具体为：

设置滑动窗口大小为36×36像素；

首先用双线性内插法将图像缩小为多级不同尺度的图像，图像缩小的比例系数为0.9，将图像按尺度从小到大排序，从第一个尺度开始检测，每一个窗口都用强分类器组进行分类，如果分类结果为车辆尾部窗口则记录窗口信息，接着窗口滑向下一个位置，滑动的步长为一个像素，采用强分类器组对当前的窗口进行分类，当最小尺度的图像被检测完后，继续用滑动窗口对第二个尺度的图像进行检测，如果在较小尺度的图像中检测到了车辆，根据记录的窗口位置，在较大尺度的图像中对此区域不采用强分类器组进行检测，当一帧图像检测完成后，记录检测到车辆的窗口位置以及检测到车辆时的图像尺度，在对下一帧图像进行检测的时候，检测的区域为上一帧中检测到车辆的窗口位置向四周扩大两倍的区域，检测从记录的图像尺度开始，如果上一帧在第k个尺度中检测到车辆，则这一帧从第k个尺度开始检测，如果检测到车辆，则检测结束，如果没有检测到车辆，则按照k-1、k+1、k-2、k+2…的顺序依次对各尺度进行车辆检测，如果在这一帧中检测到车辆，那么下一帧的检测中继续按照这一帧的处理方法进行检测，否则按照从小到大的顺序重新检测整个图像的所有尺度；

步骤3：对识别为车辆尾部的窗口进行车辆边缘的定位；

针对识别为车辆尾部的窗口，将车辆尾部窗口划分为3×3的9个子窗口；

对车灯边缘进行检测时使用第二行左右两个子窗口，所述的两个子窗口为三通道的彩色窗口，首先将三个通道的窗口转换为单通道窗口，转换的等式为R_e＝2R-B-G，其中R、G和B分别表示原窗口中的红色通道、绿色通道和蓝色通道的像素值，R_e表示转换过后的单通道窗口的像素值；然后，将转换后的窗口二值化，阈值设为25，大于阈值的点二值化为1，否则二值化为0；二值化完成后，对像素值为1的点进行过滤，过滤的标准为：如果在该像素的四邻域中，像素值为0的点的个数大于或者等于3个，则该像素被过滤掉，其像素点值被置为0；最后，在左侧的子窗口中，取像素点值为1且最靠左的点作为左侧车灯的边缘点，右侧的子窗口中取像素点值为1且最靠右的点作为右侧车灯的边缘点；

对轮胎边缘进行检测时使用第三行左右两个子窗口，先对子窗口灰度化，设定6×6像素的掩模，

对左边轮胎边缘定位时，掩模具体是，掩模右上3×3像素位置设为黑色，采用掩模对左边的子窗口滑动检测，将掩模白色部分覆盖的像素点值的总和减去黑色部分覆盖的像素点值总和的3倍得到特征值Val，白色部分覆盖的像素点值的总和记为Whi，黑色部分覆盖的像素点值的总和记为Bla，当Val＞200并且Bla×3＜Whi时，将掩模黑色部分左下角覆盖的像素点作为左轮胎边缘候选像素点，对子窗口检测结束后，得到左轮胎边缘候选像素点的集合，将左轮胎边缘候选像素点中最靠近左下的像素点作为左侧轮胎的边缘像素点；

对右边轮胎边缘定位时，掩模具体是，掩模左上3×3像素位置设为黑色，针对右边的子窗口，也采用上述方法进行处理，其中，右轮胎边缘候选像素点选择模版黑色部分右下角的像素点，最终的边缘点选择右轮胎边缘候选像素点候选点集合中最靠近右下的像素点作为右轮胎边缘像素点；

通过左右轮胎边缘和左右车灯边缘，得到最终的车辆左右边缘位置，具体是：

针对车辆左边缘：对左侧轮胎边缘位置和左侧车灯边缘位置进行比较，如果车灯边缘与车胎边缘在水平方向的差值大于或者等于窗口边长的1/4，则认为靠右的边缘是不正确的边缘，将靠左的边缘确定为最终的边缘；如果车灯边缘与车胎边缘在水平方向的差值小于窗口边长的1/4，则将靠右的边缘确定为最终的边缘；

针对车辆右边缘：对右侧轮胎边缘位置和右侧车灯边缘位置进行比较，如果车灯边缘与车胎边缘在水平方向的差值大于或者等于窗口边长的1/4，则认为靠左的边缘是不正确的边缘，将靠右的边缘确定为最终的边缘；如果车灯边缘与车胎边缘在水平方向的差值小于窗口边长的1/4，则将靠左的边缘确定为最终的边缘；

最终，得到车辆左右两侧的边缘后，根据边缘的位置计算出车辆在图像中的宽度D；

步骤4：计算前方车辆间距；

根据下式计算前方车辆间距：

$Z=\frac{W_{c}L}{2D\tan \frac{P}{2}}$

其中：Z表示车辆间距，W_c表示车辆的真实宽度，D表示图像中车辆的宽度，L表示图像的总宽度，P表示移动设备摄像头的水平视角。