CN102682455A - 一种基于单目视觉的前方车辆检测方法 - Google Patents

Abstract

本发明属于智能交通技术领域，涉及一种基于单目视觉的前方车辆检测方法，包括：采集车辆前方路况原始图像，截取子图像，对其进行直方图均衡化，提取车辆前方路面平均灰度阈值；采用改进的OTSU法得到灰度阈值；计算二值化阈值；对二值化结果进行评估，根据评估结果进行目标分割和增强；滤波处理；获取代表同一车辆车底阴影位置的最底部线条的关键位置线条，对其进行线条融合，继而再提取图像的目标信息，作为当前帧的目标结果；将当前帧的目标结果与上一帧目标结果及跟踪目标结果的信息进行匹配，根据匹配结果对当前帧的目标结果进行分类判决，并确定当前帧前方车辆的最终检测结果。本发明具有实时性好、检测准确率高、鲁棒性好的特点。

Description

一种基于单目视觉的前方车辆检测方法

技术领域

本发明属于图像处理领域，具体涉及一种在高速公路或快速公路场景下，能够实时识别汽车前方行驶车辆的检测方法，主要适用于智能交通领域中的智能车辆辅助驾驶系统，属于汽车主动安全技术领域。

背景技术

对交通事故的统计分析显示，汽车追尾在交通事故中占到了30％-40％，而追尾事故所造成的财产损失和人员伤亡更是占到了总损失的60％。驾驶员所面临的主要危险是路面前方的车辆。根据美国的一项研究结果显示，只要给驾驶者增加0.555秒的反应时间，就能够减少60％的交叉路口汽车碰撞事故和30％的汽车追尾事故。另一项研究表明，仅提前1秒就可以防止90％的汽车追尾事故和60％的汽车正面对撞事故。因此，作为智能车辆系统的关键技术之一，前方车辆检测以及在其基础上发展起来的车距预警系统已经成为相关科研机构以及汽车生产公司研发的焦点。

目前，智能车辆辅助驾驶系统中车辆检测的技术主要分为两类：一类是基于雷达传感器的超声波检测、微波检测、红外线检测、激光检测等。这类传感器虽然能够较好的完成对实体目标的检测，但无法准确的判断目标的类别，而且普遍价格较高；另一类是基于视觉传感器的单目视觉检测、双目视觉检测等。相对于基于雷达传感器的检测系统，视觉传感系统具有信息获取量大、直观、通用性强等诸多优点，特别是近十多年以来，随着计算机硬件设备的处理速度、存储容量大大提高及价格相对低廉，基于机器视觉的智能车辆技术成为了一种主流趋势。

相较于基于双目视觉的检测方法，基于单目视觉的检测方法具有成本低廉、对硬件设备安装以及系统参数的要求较低、通用性强、算法复杂度低、计算量小、运算速度快等优点，在车辆高速行驶的条件下，可以达到较高的实时性，为保证行车安全争取更多的宝贵时间。

目前基于单目视觉的车辆检测方法主要有基于运动分析的方法、基于模型的方法和基于特征的方法。基于运动分析的方法通过分析图像序列中的相邻帧并计算光流场，利用被检车辆运动造成的光流场与摄像机运动造成的背景光流场的不一致确定被检车辆的位置。这种方法被证实并不适用于动态背景下的车辆检测。基于模型的方法则建立车辆的2维或3维模型，与待检测图像进行匹配从而达到车辆检测的目的。这种方法被证明是有效的，但是其不足的地方也很明显。首先，由于汽车车型的多样性，形状特征和长宽比信息变化范围很大，建立的车辆模型很难兼顾所有车型；其次，由于视角的原因，车辆的外形轮廓会发生畸变，车辆的一些特征被破坏，模型匹配算法的计算量往往很大，大大降低了检测方法的实时性，所以在实际应用中还有很多局限性。在基于特征的方法中，利用图像中前方车辆的一些显著特征来将车辆从背景中分割出来，常用的特征有阴影、边缘等。

发明内容

本发明的目的在于针对上述技术或检测方法的不足，提供一种基于单目视觉、实时性好、检测准确率高、鲁棒性好的前方车辆检测方法。该方法能够检测出车辆前方对行车安全构成威胁的车辆。本发明采用的技术方案如下：

一种基于单目视觉的前方车辆检测方法，包括下列步骤：

步骤1：采集车辆前方路况原始图像I，截取作为当前帧的原始图像I中包括两侧边界的下部区域，得到子图像Ipart，并复制子图像Ipart得到图像Ipart1；

步骤2：对子图像Ipart进行直方图均衡化；

步骤3：从经过直方图均衡化的子图像Ipart中获取车辆前方路面平均灰度阈值Tr；

步骤4：采用OTSU法对经过直方图均衡化的子图像Ipart提取灰度阈值t，从而将整个灰度范围划分为两部分[0，t]和[t，255]，然后在[0，t]的灰度范围内，再次使用OTSU法，得到灰度阈值To；

步骤5：设H为图像竖直方向的分辨率，f(i，j)为第i行第j列的像素点的灰度值，Th_i为第i行二值化阈值，计算Th_i＝α×To+β×Tr，其中，α＝i/H，β＝(H-i)/H；

步骤6：对二值化结果进行评估，由评估结果判决最终用于提取目标的图像分割阈值，步骤如下：

7)将子图像Ipart划分为Ifar、Inear两个区域，Ifar区域位于Inear区域的上面，设Ifar区域的二值化评估上限值为EvaluFarUp、下限值为EvaluFarLow，Inear区域的二值化评估限值为EvaluNear：

8)分别求出区域Ifar、Inear中满足f(i，j)＜Th_i的像素点，即分割为目标的像素点的个数NumFar和NumNear

9)对于车辆前方路面平均灰度阈值Tr和灰度阈值To，定义计算各自的预备阈值的方法如下：

③如果上一帧的阈值小于当前帧阈值，则采用上一帧阈值作为预备阈值；

④如果上一帧阈值大于或等于当前帧阈值，则减小当前帧分割阈值，作为预备阈值；

10)如果NumFar＞EvaluFarUp，则利用车辆前方路面平均灰度阈值Tr和灰度阈值To的预备阈值替代相应的当前帧阈值，并重新计算Th_i；

11)如果NumFar＜EvaluFarUp并且NumNear＞EvaluNear，则计算车辆前方路面平均灰度阈值Tr和灰度阈值To的预备阈值，利用各自预备阈值重新计算Th_i；

12)如果NumFar＜EvaluFarLow并且NumNear＜EvaluNear，则对路面平均灰度阈值Tr做一定程度的调整，扩大分割范围。

步骤7：根据步骤6的判决结果对经过直方图均衡化的图像进行二值化，实现目标分割，得到二值图像Ibinary；

如果NumFar＜EvaluFarUp或者NumFar＜EvaluFarLow，则对区域Ifar中，目标点之间小于h×w的背景区域予以填充，实现目标的增强处理，h代表垂直方向像素点个数，w代表水平方向像素点个数；

步骤8：在图像Ipart1上，设定模值检测阈值G，以给定步长St移动窗口(St×St)，计算窗口中的图像的灰度梯度向量模，并将灰度梯度模值大于或等于G的窗口中的像素点的灰度值全部置为255，将灰度梯度模值小于G的窗口中的像素点的灰度值全部置为0；

步骤9：将二值图像Ibinary与经过步骤8处理后的图像Ipart1做与运算，得到二值图像Icalibration；

步骤10：对二值图像Icalibration，对应每一行像素各设定一个滤波范围R_t＝[Wlow，WHigh]，逐行对满足滤波条件的目标像素予以保留，对于不满足滤波条件的目标像素予以滤除；

步骤11：获取代表同一车辆车底阴影位置的最底部线条的关键位置线条，对其进行线条融合，继而再提取图像的目标信息，作为当前帧的目标结果；

步骤12：将当前帧的目标结果与上一帧目标结果及跟踪目标结果的信息进行匹配，根据匹配结果对当前帧的目标结果进行分类判决，方法如下：

1)当前帧的目标结果与上一帧目标结果及跟踪目标结果均匹配失败，则判决为伪目标；

2)当前帧的目标结果与上一帧目标结果匹配成功，但与跟踪目标结果匹配失败，则判决为新目标；

3)当前帧的目标结果与上一帧目标结果匹配失败，但与跟踪目标结果匹配成功，或者，当前帧的目标结果与二者均匹配成功，则判决为跟踪目标；

4)对于在较长一段时间稳定跟踪的目标，如果当前帧没有检测到，则将该目标上一帧的检测结果判决为跟踪目标；

步骤13：根据分类判决结果，确定当前帧前方车辆的最终检测结果。

作为优选实施方式，步骤3的方法如下：在子图像Ipart中截取一小块矩形区域Iroad，矩形区域Iroad的垂直中线与子图像Ipart的垂直中线重合，并且矩形区域Iroad的底部边界线与Ipart的底部边界重合，提取Iroad的平均灰度值，将其作为车辆前方路面平均灰度阈值Tr。

步骤11中获取代表同一车辆车底阴影位置的最底部线条的关键位置线条，对其进行线条融合的方法可以如下：

由下向上逐列扫描，当遇到目标像素点p(i，j)时，继续由点p(i-1，j)向上扫描，若在检测到下一个目标像素点p(i-d，j)时，两目标间的距离大于δd，则点p(i，j)和点p(i-d，j)均作为位置线条保留，当前列其他点像素值均置为0，从而获取关键位置线条，即代表同一车辆车底阴影位置的最底部的线条；

再由右向左逐行扫描，当遍历到位置线条的左端点p(i，j)，并且位置线条满足一定长度δL，即点p(i，j)到点p(i，j-δL)的像素值均为255时，继续向左遍历，如果点p(i-1，j-δL-c)或点p(i+1，j-δL-c)的像素值为255，则将点p(i，j-δL-c)的像素值置为255，然后将点p(i-1，j-δL-c)和点p(i+1，j-δL-c)的像素值置为0，对该条位置线条的融合处理，直至点p(i，j-δL-c)、p(i-1，j-δL-c)、p(i+1，j-δL-c)的像素值均为0为止，c＝(1，2，3，...)，由此将同一个目标位于不同像素行的位置线条融合为一行。

本发明具有如下的技术效果：

1.实时性好，平均9毫秒处理1帧。本发明只利用单目视觉，灰度图像信息而不利用多目视觉、彩色信息，采用基于车辆底部阴影和灰度梯度特征相结合的有效检测方法，目标的验证也只是利用目标车辆在视频序列中连续出现的位置特征，而没有采用常用的算法复杂、计算量大的基于模型的方法，很好的保证了算法的实时性。

2.可靠性高，车辆检测平均准确率可达99％以上。本发明利用路面灰度特征和OTSU法提取的阈值，结合二值化结果评估，在不同的天气、光线条件下，具有较好的通用性，可以更加精确地分割出目标车辆。根据空间视觉特点滤除与车辆特征不相符的噪声后，本发明利用目标车辆在视频序列中连续出现的位置特征进一步去除剩余噪声对车辆检测的影响，并且能够有效的解决漏检问题，从而提高前方车辆检测系统的鲁棒性。

附图说明

图1：本发明的总流程图；

图2：采集实时车辆前方路况视频的工业相机安装实例结构示意图；(a)为俯视图，(b)为正视图。

图3：实时采集一帧车辆前方路况的灰度图像；

图4：子图像Ipart直方图均衡化后的灰度图像；

图5：子图像Ipart的二值化果图Ibinary；

图6：子图像Ipar1经过灰度梯度模窗口判决处理后得到的图像；

图7：图6与图5进行与运算的结果图Icalibration；

图8：图像7经过噪声滤波后的结果图像；

图9：由图像8得到的位置线条结果图像；

图10：由图像9得到的位置线条融合结果图像；

图11：对图像10再次做噪声滤波处理后的结果图像；

图12：区域D在子图像Ipart上的示意图；

图13：图9中的目标经过区域D筛选后的结果；

图14：当前帧目标检测结果输出示意图；

图15：目标跟踪调试图；

图16：目标跟踪调试图。

具体实施方式

本发明基于单目视觉的前方车辆检测方法总流程图如图1所示，首先对车辆前方路况的灰度图像进行预处理，从中分割出车辆底部阴影，然后通过车辆底部阴影的位置和几何特征滤除伪车辆，最后通过目标跟踪判决滤除不稳定目标，得到最终车辆检测结果。下面结合附图，对本发明的实施过程做进一步详述。

1.图像采集及预处理

(1)原始图像采集

使用CMOS黑白工业相机实时采集灰度图像。设置工业相机参数使拍摄的视频的帧率达到25frames/s，采集到的灰度图像分辨率为640×480。参照图2，把工业相机安装在汽车内部前挡风玻璃后，位于中控台正中央使d1＝d2，朝向正前方使角α＝0度，水平高度h约1.2m，俯角β约15度。图3为采集到的一帧原始图像。

(2)图像预处理

由图3可知：采集到的原始图像分辨率较高且包含车辆信息的像素点全部集中在图像的下部，直接对整幅做处理会增加计算量，影响实时性，并且图像的灰度范围较小，不容易对图像进行处理。

针对以上问题，对原始图像做以下处理：

①截取原始图像I中包含车辆底部信息的区域，即截取原始图像I中，包含其两侧边界的下部1/3区域得到子图像Ipart，复制子图像Ipart得到图像Ipart1；

②用直方图均衡化的方法把子图像Ipart的灰度值拉伸到256个灰度范围，结果如图4所示。

2.图像分割

将预处理后的图像分割为背景和目标(车辆底部阴影)。由于车辆底部阴影处的像素值要小于周围像素点的像素值，因此可通过一个适当的阈值将车辆底部阴影从背景中分离出来。低于阈值的像素确定为车辆底部阴影，高于阈值的像素确定为背景。本专利采用以下方法获得阈值对经过直方图均衡化的图像进行分割。

(1)分割阈值的获取

首先，在子图像Ipart中截取的一小块矩形区域Iroad中，提取路面的平均灰度值。其中，矩形区域Iroad的垂直中线与子图像Ipart的垂直中线重合，并且矩形区域Iroad的底部边界线与Ipart的底部边界重合。结合本专利中工业相机的固定方法，根据采集到的大量图像所得到的实验结论证明，车前的一定范围区域内，即区域Iroad中一般不存在车辆、行人等障碍物，因此，只需去除灰度值较高的车道线的影响，就可以从该区域中提取出路面的灰度。

计算路面的平均灰度值的步骤如下：

①计算得到Iroad内所有点的平均灰度值Ta；

②将Iroad内所有点分为两类[0，Ta]和[Ta，255]；

③计算在[0，Ta]范围内的点的平均灰度值，作为路面灰度平均灰度值Tr。

然后，对子图像Ipart采用改进的OTSU法提取灰度阈值，即对经过灰度直方图均衡化的子图像Ipart采用传统的大津法(OTSU)提取临时灰度阈值t，从而将整个灰度范围划分为两部分[0，t]和[t，255]，然后在[t，255]的灰度范围内，再次使用大津法，得到灰度阈值To；具体方法如下：

设灰度图像的像素点数为N，有L个灰度级，灰度级为i的像素点数为n_i，那么

直方图表示为概率密度分布。

$P_i=\frac{n_i}{N},$ $\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}{P}_i=1,$ P_i≥0

记t为前景与背景的分割阈值，前景点数占图像比例为ω₀，平均灰度为μ₀；背景点数占图像比例为ω₁，平均灰度为μ₁。用阈值t将灰度级划分为两类：C₀＝(0，1，...，t)和C₁＝(t+1，t+2，...，L-1)。C₀和C₁的出现概率及均值分别为：

${\mathrm{\ω}}_0=\underset{i=0}{\overset{t}{\mathrm{\Σ}}}{P}_i=\mathrm{\ω}\left(t\right)$

${\mathrm{\ω}}_1=\underset{i=t+1}{\overset{256-t}{\mathrm{\Σ}}}{P}_i=1-\mathrm{\ω}\left(t\right)$

${\mathrm{\μ}}_0=\underset{i=0}{\overset{t}{\mathrm{\Σ}}}{\mathrm{iP}}_i/{\mathrm{\ω}}_0=\mathrm{\μ}\left(t\right)/\mathrm{\ω}\left(t\right)$

${\mathrm{\μ}}_1=\underset{i=t+1}{\overset{256-t}{\mathrm{\Σ}}}{\mathrm{iP}}_i/{\mathrm{\ω}}_1=\frac{{\mathrm{\μ}}_T\left(t\right)-\mathrm{\μ}\left(t\right)}{1-\mathrm{\ω}\left(t\right)}$

其中

$\mathrm{\ω}\left(t\right)=\underset{i=0}{\overset{t}{\mathrm{\Σ}}}{\mathrm{iP}}_i$

${\mathrm{\μ}}_T\left(t\right)=\underset{i=0}{\overset{255}{\mathrm{\Σ}}}{\mathrm{iP}}_i$

类间方差为：

${\mathrm{\σ}}_B^2={\mathrm{\ω}}_0{({\mathrm{\μ}}_0-{\mathrm{\μ}}_T)}^2+{\mathrm{\ω}}_1{({\mathrm{\μ}}_1-{\mathrm{\μ}}_T)}^2={\mathrm{\ω}}_0{\mathrm{\ω}}_1{({\mathrm{\μ}}_1-{\mathrm{\μ}}_0)}^2$

则阈值t可以通过求

的最大值而得到，即

${\mathrm{\σ}}_B^2\left(\mathrm{thre}\right)=\underset{0\≤t\≤255}{\max }\left\{{\mathrm{\σ}}_B^2\left(t\right)\right\}$

对子图像Ipart采用上述方法，即OTSU法提取灰度阈值从而将整个灰度范围划分为两部分[0，t]和[t，255]，然后在[0，t]的灰度范围内，再次使用OTSU法，得到灰度阈值To。

最后，采用双阈值线性二值化的方法得到当前帧二值化阈值，方法如下：

Tr和To分别为路面平均灰度值和使用OTSU方法得到的阈值，设H为图像竖直方向的分辨率，f(i，j)为第i行第j列的像素点的灰度值，Th_i为第i行的二值化阈值。

Th_i＝α×To+β×Tr

其中，α＝i/H，β＝(H-i)/H；

如果f(i，j)＜Th_i，则分割为目标；否则分割为背景。

(2)二值化结果评估

根据空间视觉的特点，距视点较远处的目标，在图像中所占的像素区域较小，距视点较近处的目标在图像中所占的像素区域较大，因此一般较远处被分割出的目标所占的像素点数较少，而较近处的目标所占的像素点数则相对较多，所以首先将子图像Ipart划分为Ifar、Inear两个区域，Ifar为对应较远处公路的图像区域，即包括子图像Ipart两侧边界的上半部分区域，Inear为对应较近处公路的图像区域，即包括子图像Ipart两侧边界的下半部分区域；

设p(i，j)为第i行第j列的像素点的灰度值，Th_i为第i行的二值化阈值，对应区域Ifar的二值化评估上限值为EvaluFarUp、下限值为EvaluFarLow，对应较近处公路的图像区域Inear的二值化评估限值为EvaluNear，以上二值化评估限值均为经验常数；

①分别求出区域Ifar、Inear中满足p(i，j)＜Th_i的像素点的个数NumFar和NumNear；

②如果NumFar＞EvaluFarUp，说明当前帧阈值偏大，分割结果噪声过多，此时采用预备阈值对当前帧进行分割；

③如果NumFar＜EvaluFarUp并且NumNear＞EvaluNear，说明区域Inear中，分割结果噪声过多，则采用预备阈值对当前帧进行分割，并且对区域Ifar中的目标做增强处理；

④如果NumFar＜EvaluFarUp并且NumNear＜EvaluNear，则采用当前帧阈值对当前帧进行分割，并且对区域Ifar中的目标做增强处理；

⑤如果NumFar＜EvaluFarLow并且NumNear＜EvaluNear，说明分割为目标的像素点过少，可能会造成目标丢失。此时，对路面平均灰度阈值做一定程度的调整，扩大分割范围至Tr+δt，

调整值δt为经验常数，并且对区域Ifar中的目标做增强处理。

其中，预备阈值的获取方法如下：

⑤如果上一帧阈值Tp小于当前帧阈值Tc，则采用上一帧阈值Tp作为预备阈值；

⑥如果上一帧阈值Tp大于或等于当前帧阈值Tc，则减小当前帧分割阈值至Tc-δt作为预备阈值；

Tr和To的预备阈值均由上述方法得到。

(3)图像分割及增强处理

采用二值化结果评估判决的阈值Tr和To，应用双阈值线性二值化的方法对经过直方图均衡化的图像进行分割。对应第i行像素的分割阈值Th_i， $f(i,j)=\left\{\begin{array}{cc}0& f(i,j)\&GreaterEqual;{\mathrm{Th}}_i\\ 255& f(i,j)<{\mathrm{Th}}_i\end{array}\right.,$ f(i，j)为子图像Ipart中第i行第j列的像素灰度值。然后根据判决结果对区域Ifar中的目标做增强处理，即对目标进行竖直和水平两个方向的增强处理，处理步骤如下：

①对目标像素点p(i，j)沿第j列向下遍历到点p′(i+h，j)，遍历过程中如果遇到目标，即表示目标的像素点设为p″(i+h′，j)，其中1≤h′≤h，则像素点p(i，f)与p″(i+h′j)之间的点的像素值均置为255；

②原理同上，对目标像素点p(i，j)沿第i行向左遍历到点p′(i，j-w)，遍历过程中如果遇到目标，即表示目标的像素点设为p″(i，j-w′)，其中1≤w′≤w，则像素点p(i，j)与p″(i，j-w′)之间的点的像素值均置为255，其中w＝a×i+b，a、b为经验常数。

图5为二值结果图Ibinary。

3.获取当前帧目标信息

(1)噪声滤波

存在于路面的车辆区域，其灰度梯度向量模值往往较大，利用这一特征可以将图像中可能存在车辆的区域提取出来，具体方法如下：

在图像Ipart1上以St为步长移动St×St的窗口W，计算窗口中的图像的灰度梯度向量模；梯度的模为 $|\&dtri;f(x,y)|={[{(\&PartialD;f/\&PartialD;x)}^2+{(\&PartialD;f/\&PartialD;y)}^2]}^{\frac{1}{2}}$

用差分代替微分，则梯度模的近似表达式为

$|\&dtri;f(x,y)|={\{{[f(x,y)-f(x+1,y)]}^2+{[f(x,y)-f(x,y+1)]}^2\}}^{\frac{1}{2}}$

对于位于窗口W中的像素点计算其灰度梯度向量模的和Gw

$\mathrm{Gw}=\underset{(x,y)\&Element;w}{\mathrm{\&Sigma;}}{\{{[f_w(x,y)-f_w(x+1,y)]}^2+{[f_w(x,y)-f_w(x,y+1)]}^2\}}^{\frac{1}{2}}$

则此时窗口W中所有像素点的灰度值

$f(x,y)=\left\{\begin{array}{cc}255& |\&dtri;f(x,y)|\&GreaterEqual;G\\ 0& |\&dtri;f(x,y)|<G\end{array}\right.$

其中模值检测阈值G为经验常数。图6为经过此方法处理后的图像Ipart1。

将由此方法处理后的图像Ipart1与二值图像Ibinary做与运算，得到二值图像Icalibration，如图7所示，方法如下：

1)在两幅图像上横纵坐标相同的两点f₁(i，j)、f₂(i，j)；

利用空间视觉特点，结合本实施例中工业相机的固定方法和参数设置，采用逐行扫描的方式进行滤波。设第i行的滤波范围为R_i＝[Wlow，WHigh]，其中WLow＝a×i，WHigh＝b×i+c，a、b、c均为经验常数，逐行扫描对满足滤波条件的目标像素予以保留，对于不满足滤波条件的目标像素予以滤除，即将该点像素值置为0。图8为图7经过噪声滤波后得到的效果图。

(2)获取位置线条

由下向上逐列扫描，当遇到目标像素点p(i，j)时，继续由点p(i-1，j)向上扫描，若在检测到下一个目标像素点p(i-d，j)时，两目标间的距离大于δd(δd为结合本实施例中工业相机的固定方法和参数设置的实验结果总结得到的常数)，则点p(i，j)和点p(i-d，j)均作为位置线条保留，当前列其他点像素值均置为0。图9为图8的位置线条结果图。

(3)线条融合

由右向左逐行扫描，当遍历到位置线条的左端点p(i，j)，并且位置线条满足一定长度δL，即点p(i，j)到点p(i，j-δL)的像素值均为255时，

c＝(1，2，3，...)，之后将点p(i-1，j-δL-c)和点p(i+1，j-δL-c)的像素值置为0，对该条位置线条的融合处理，直至点p(i，j-δL-c)、p(i-1，j-δL-c)、p(i+1，j-δL-c)的像素值均为0为止。由此达到将同一个目标位于不同像素行的位置线条融合为一行的目的。其中δL为经验常数。图10为图9的线条融合结果图。对线条融合处理后的子图像Ipart再次做噪声滤波处理，得到结果图11。

(4)获取目标信息

根据《中华人民共和国道路交通安全法》中规定的安全车距，以及结合本实施例中工业相机的固定方法和参数设置的实验总结，可以得到位于前方公路上对本车行车安全构成威胁的车辆在视频图像上的位置线条均集中在区域D中。如图12所示，区域D为在子图像Iprat上截取的，包含Ipart上下边界的梯形区域。因此，只将位置线条的中点位于区域D中的位置线条的长度，位置等信息作为当前帧目标检测结果CurResult留做后续处理。图13为经过区域D筛选后的结果，图14为CurResult在原图上的结果显示。

4.目标跟踪判决

目标跟踪判决，在本发明基于单目视觉的前方车辆检测方法中的目的在于滤除突然出现的单帧伪目标，以及对于在较长一段时间稳定跟踪的目标，跟踪期间发生漏检的弥补，从而提高前方车辆检测系统的鲁棒性。

(1)目标信息匹配

目标间的匹配方法如下：

设L为目标位置线条的长度，Pt_le为目标位置线条的左端点，Pt_ri为目标位置线条的右端点，i为当前帧的候选目标位置线条所在行，

δX＝|Pt_le.x-Pt_ri.x|

δY＝|Pt_le.y-Pt_ri.y|

δL＝|L₁-L₂|

δX的限值为：

mX＝a×i+b

δY的限值为：

mY＝c×i+d

δL的限值为：

mL＝e

其中，a、b、c、d、e均为经验常数。

当同时满足δX≤mX，δY≤mY，δL≤mL时，则目标位置及尺寸匹配成功。然后计算目标与候选目标直方图的相似度，相似度满足要求的目标即为当前帧的目标结果CurResult。

(2)目标分类判决

将当前帧的目标结果CurResult与上一帧目标结果PrevResult及跟踪目标结果TrackResult进行匹配，根据匹配结果对当前帧的目标结果进行分类判决，其步骤如下：

①CurResult与PrevResult和TrackResult均匹配失败，则该CurResult为首次出现的新目标，保留其信息输送到PrevResult集合中，但本帧不作为车辆检测结果输出显示，如果与下一帧匹配也失败则判决为单帧伪目标FalseResult予以剔除；

②CurResult与PrevResult匹配成功，但CurResult与TrackResult匹配失败，则该CurResult判决为新出现的目标NewResult，其信息作为车辆检测结果予以输出显示，然后将NewResult加入TrackResult集合中；

③CurResult与PrevResult和TrackResult均匹配成功，则该CurResult判决为稳定跟踪的目标TrackResult，其信息作为车辆检测结果予以输出显示，并且更新TrackResult的信息，其可靠度QR增加δq，δq为常数；

④CurResult与PrevResult匹配失败，但CurResult与TrackResult匹配成功，则该CurResult判决为跟踪的目标TrackResult，其信息作为车辆检测结果予以输出显示，并且更新TrackResult的信息；

⑤对于TrackResult集合中与CurResult匹配失败，但可靠度QR≥α，并且其位置线条中点与区域D的边界线的最近距离不小于δr的目标，判决为次等跟踪目标结果InfResult，其信息作为车辆检测结果予以输出显示，然后其可靠度QR减少δq，若其后t帧依旧没有匹配成功，或其位置线条中点与区域D的边界线的最近距离小于δr，则将该目标信息从TrackResult集合中剔除，其中δr、α、t为经验常数。

如图15、图16为经过目标跟踪判决处理后的调试图像，调试图像上部1/3以黑色为背景的图像，是覆盖于灰度结果图上的Ipart车辆位置线条二值结果图。图15中方框中的目标C经跟踪分类判决为伪目标FalseResult，图16中目标A为次等跟踪目标结果InfResult，目标D是新出现的目标NewResult，目标B是稳定跟踪目标TrackResult。

图15、图16中灰度图像部分予以画线标注的目标即为本发明基于单目视觉的前方车辆检测方法的最终检测结果。

本发明所采用的前方车辆检测方法，充分利用车辆底部的阴影特征、车辆的灰度梯度特征和目标车辆在视频序列中连续出现的位置特征等，从而实现了能够准确地检测出车辆前方对行车安全构成威胁的车辆的检测方法。

Claims (3)

1.一种基于单目视觉的前方车辆检测方法，包括下列步骤：

步骤1：采集车辆前方路况原始图像I，截取作为当前帧的原始图像I中包括两侧边界的下部区域，得到子图像Ipart，并复制子图像Ipart得到图像Ipart1；

步骤2：对子图像Ipart进行直方图均衡化；

步骤3：从经过直方图均衡化的子图像Ipart中获取车辆前方路面平均灰度阈值Tr；

步骤4：采用OTSU法对经过直方图均衡化的子图像Ipart提取灰度阈值t，从而将整个灰度范围划分为两部分[0，t]和[t，255]，然后在[0，t]的灰度范围内，再次使用OTSU法，得到灰度阈值To；

步骤5：设H为图像竖直方向的分辨率，f(i，j)为第i行第j列的像素点的灰度值，Th_i为第i行二值化阈值，计算Th_i＝α×To+β×Tr，其中，α＝i/H，β＝(H-i)/H；

步骤6：对二值化结果进行评估，由评估结果判决最终用于提取目标的图像分割阈值，步骤如下：

1)将子图像Ipart划分为Ifar、Inear两个区域，Ifar区域位于Inear区域的上面，设Ifar区域的二值化评估上限值为EvaluFarUp、下限值为EvaluFarLow，Inear区域的二值化评估限值为EvaluNear；

2)分别求出区域Ifar、Inear中满足f(i，j)＜Th_i的像素点，即分割为目标的像素点的个数NumFar和NumNear；

3)对于车辆前方路面平均灰度阈值Tr和灰度阈值To，定义计算各自的预备阈值的方法如下：

①如果上一帧的阈值小于当前帧阈值，则采用上一帧阈值作为预备阈值；

②如果上一帧阈值大于或等于当前帧阈值，则减小当前帧分割阈值，作为预备阈值；

4)如果NumFar＞EvaluFarUp，则利用车辆前方路面平均灰度阈值Tr和灰度阈值To的预备阈值替代相应的当前帧阈值，并重新计算Th_i；

5)如果NumFar＜EvaluFarUp并且NumNear＞EvaluNear，则计算车辆前方路面平均灰度阈值Tr和灰度阈值To的预备阈值，利用各自预备阈值重新计算Th_i；

6)如果NumFar＜EvaluFarLow并且NumNear＜EvaluNear，则对路面平均灰度阈值Tr做一定程度的调整，扩大分割范围；

步骤7：根据步骤6的判决结果对经过直方图均衡化的图像进行二值化，实现目标分割，得到二值图像Ibinary；

如果NumFar＜EvaluFarUp或者NumFar＜EvaluFarLow，则对区域Ifar中，目标点之间小于h×w的背景区域予以填充，实现目标的增强处理，h代表垂直方向像素点个数，w代表水平方向像素点个数；

步骤8：在图像Ipart1上，设定检测阈值G，以给定步长St移动窗口(St×St)，计算窗口中的图像的灰度梯度向量模，并将灰度梯度模值大于或等于G的窗口中的像素点的灰度值全部置为255，将灰度梯度模值小于G的窗口中的像素点的灰度值全部置为0；

步骤9：将二值图像Ibinary与经过步骤8处理后的图像Ipart1做与运算，得到二值图像Icalibration

步骤10：对二值图像Icalibration，对应每一行像素各设定一个滤波范围R_i＝[Wlow，WHigh]，逐行对满足滤波条件的目标像素予以保留，对于不满足滤波条件的目标像素予以滤除；

步骤11：获取代表同一车辆车底阴影位置的最底部线条的关键位置线条，对其进行线条融合，继而再提取图像的目标信息，作为当前帧的目标结果；

步骤12：将当前帧的目标结果与上一帧目标结果及跟踪目标结果的信息进行匹配，根据匹配结果对当前帧的目标结果进行分类判决：

1)当前帧的目标结果与上一帧目标结果及跟踪目标结果均匹配失败，则判决为伪目标；

2)当前帧的目标结果与上一帧目标结果匹配成功，但与跟踪目标结果匹配失败，则判决为新目标；

3)当前帧的目标结果与上一帧目标结果匹配失败，但与跟踪目标结果匹配成功，或者，当前帧的目标结果与二者均匹配成功，则判决为跟踪目标；

4)对于在较长一段时间稳定跟踪的目标，如果当前帧没有检测到，则将该目标上一帧的检测结果判决为跟踪目标；

步骤13：根据分类判决结果，确定当前帧前方车辆的最终检测结果。

2.根据权利要求1所述的前方车辆检测方法，其特征在于：步骤(3)的方法如下：在子图像Ipart中截取一小块矩形区域Iroad，矩形区域Iroad的垂直中线与子图像Ipart的垂直中线重合，并且矩形区域Iroad的底部边界线与Ipart的底部边界重合，提取Iroad的平均灰度值，将其作为车辆前方路面平均灰度阈值Tr。

3.根据权利要求1所述的前方车辆检测方法，其特征在于：步骤(11)中获取代表同一车辆车底阴影位置的最底部线条的关键位置线条，对其进行线条融合的方法如下：

由下向上逐列扫描，当遇到目标像素点p(i，j)时，继续由点p(i-1，j)向上扫描，若在检测到下一个目标像素点p(i-d，j)时，两目标间的距离大于δd，则点p(i，j)和点p(i-d，j)均作为位置线条保留，当前列其他点像素值均置为0，从而获取关键位置线条，即代表同一车辆车底阴影位置的最底部的线条；

再由右向左逐行扫描，当遍历到位置线条的左端点p(i，j)，并且位置线条满足一定长度δL，即点p(i，j)到点p(i，j-δL)的像素值均为255时，继续向左遍历，如果点p(i-1，j-δL-c)或点p(i+1，j-δL-c)的像素值为255，则将点p(i，j-δL-c)的像素值置为255，然后将点p(i-1，j-δL-c)和点p(i+1，j-δL-c)的像素值置为0，对该条位置线条的融合处理，直至点p(i，j-δL-c)、p(i-1，j-δL-c)、p(i+1，j-δL-c)的像素值均为0为止，c＝(1，2，3，...)，由此将同一个目标位于不同像素行的位置线条融合为一行。

Images