CN104182756B - 一种基于单目视觉的车辆前方障碍物检测方法 - Google Patents

Abstract

本发明公开了一种基于单目视觉的车辆前方障碍物检测方法，将车辆前方环境划分为影响车辆安全行驶的障碍物和车辆能够安全行驶的自由驾驶空间两类，考虑到障碍物的多样性和相应检测算法的复杂性，首先将特征相对明显，更易于检测的自由驾驶空间作为重点检测对象，然后从非自由驾驶空间中进行车辆类障碍物和非车辆类障碍物的检测。本发明首先将环境分为四种情况，然后根据相应的情况选择合适的检测算法，增加了算法的环境适应性，能够适应不同光照条件的自由驾驶空间检测和车前障碍物检测，并且具有较高的实时性和准确性。

Description

一种基于单目视觉的车辆前方障碍物检测方法

技术领域

本发明属于汽车安全辅助驾驶领域，涉及到一种车辆前方障碍物检测的方法，特别涉及到一种基于单目视觉系统，并能够适应不同光照条件的车辆前方障碍物检测方法。

背景技术

汽车安全辅助驾驶技术作为提高车辆行驶安全性的有效途径，已经成为汽车安全领域的研究重点。在面向车辆前方环境信息获取的汽车安全辅助驾驶领域，主要通过各种传感器获得车辆前方的环境信息，并反馈给智能系统或者驾驶员，以辅助驾驶或者提供警报。而计算机视觉以其探测信息量大、应用范围广、智能化集成度高、易于安装等优点成为了该领域研究的重点。

在基于视觉的车辆前方环境信息获取方面，单目视觉技术具有成本低、结构简单、探测范围广等优点，可被用于前方车辆、行人、道路边界等影响行车安全的目标的检测，涉及到的方法包括模板匹配、分类器训练、运动检测等。在现有的方法中，多数方法只针对环境中的某一单一目标进行二分类识别，如行人或非行人、车辆或非车辆等，无法适应车辆前方环境的多样性。此外，由于视觉传感器受光照变化的影响很大，许多方法只适用于光照条件良好、干扰因素较少的道路，针对复杂的道路状况适应性差。针对上述问题，需要整体考虑车辆前方环境的特点，提高算法对不同障碍物的适应能力，并分析光照变化对图像处理算法的影响，开发适应性高的车辆前方障碍物检测方法。

发明内容

为解决现有技术存在的上述问题，本发明要设计一种可以整体考虑车辆前方环境的特点，提高算法对不同障碍物的适应能力，并分析光照变化对图像处理算法的影响，开发适应性高的基于单目视觉的车辆前方车辆和障碍物检测方法。

为了实现上述目的，本发明的技术方案如下：一种基于单目视觉的车辆前方障碍物检测方法，将车辆前方环境划分为影响车辆安全行驶的障碍物和车辆能够安全行驶的自由驾驶空间两类，考虑到障碍物的多样性和相应检测算法的复杂性，首先将特征相对明显，更易于检测的自由驾驶空间作为重点检测对象，然后从非自由驾驶空间中进行车辆类障碍物和非车辆类障碍物的检测。具体包括以下步骤：

A、图像采集与行驶工况分类

A1、将CCD图像传感器采集的原始彩色图像f₀转换为像素为320×240的灰度图像f₁；

A2、截取图像f₁的上部图像、中部图像和下部图像三个部分，分别记为ENVT、ENVM、ENVB；

A3、求取下部图像ENVB的像素均值P_bottom和方差V_bottom，求取上部图像ENVT的像素均值P_top和中部图像ENVM的像素均值P_middle。综合考虑P_bottom、P_top和P_middle对行驶工况进行划分，将行驶工况分为强光照、正常光照、弱光照和夜间四种工况。

B、自由驾驶空间检测

B1、对图像f₁进行Canny边缘提取得到边缘图像f₂，针对不同行驶工况，采用的canny边缘提取的上下阈值参数如表1所示；

表1canny边缘提取上下值选取表

光照情况	低阈值	高阈值
			强光照	50	100
正常光照	40	80
			弱光照	30	60
夜间	30	60

B2、对边缘提取后的图像f₂进行形态学闭运算得到图像f₃；

B3、将形态学闭运算后的图像f₃与图像f₁叠加得到图像f₄；

B4、选择图像f₄底部中央为种子点，判断其是否与周围像素相似，若不相似，左右移动。根据种子点对图像f₄进行区域增长，得到图像f₅；

B5、自由驾驶空间检测，对区域增长后的图像f₅进行孤立区域剔除得到图像f₆，图像f₆中像素为零的区域即为完整的自由驾驶空间。

C、车辆类障碍物检测

C1、截取灰度图像f₁下半区域构成图像f₇，根据自由驾驶空间信息确定图像f₇的感兴趣区域，计算感兴趣区域内像素熵的均值T_D；

C2、根据步骤C1计算出的像素熵的均值T_D计算更加准确的分割阈值T2，然后根据T2和步骤B5得到的自由驾驶空间，对图像f₁进行阴影分割，得到初始分割图像f₈；

C3、对阴影分割图像f₈首先进行形态学闭运算，消除较小的分割干扰，然后进行形态学开运算，恢复面积较大的候选区域，形成图像f₉；

C4、采用轮廓跟踪算法从图像f₉中提取并标记各个轮廓，获取各轮廓的参数，所述的参数包括轮廓面积S，区域外接矩形的四个顶点坐标(x_i,y_i)、i＝1、2、3、4，区域外接矩形的长L、宽W和周长C，根据车辆的尺寸约束、面积比约束和对称性约束，将车底阴影与不同类型的干扰区分出来，标记出车辆，形成图像f₁₀。

D、非车辆类障碍物检测

D1、提取图像f₁₀中已标记车辆在图像f₇中的位置信息。

D2、对图像f₇，排除其中自由驾驶空间和车辆，对剩余的非自由驾驶空间进行标记；

D3、引入尺寸约束和面积比约束，区分非车辆类障碍物和路面干扰，如标识符、车道线等。

本发明的效果和益处是：

在基于单目视觉的检测算法中，图像像素是检测的基础，而天气会对图像像素值产生明显的影响，由于不同光照下的图像像素值分布会有明显的不同，进而会影响像素阈值的选取。如在强光照下，图像像素值主要集中在高像素值，则此时要选择相对较高的阈值；在弱光照时图像像素主要集中在低像素值，在这种情况下就要选择较低阈值；而在正常光照下，图像像素值主要集中在两端，正常光照下的阈值就要选择的较高一些；在夜间，像素值主要集中在低像素值，并且极低像素值偏多，所以在夜间选择更低的阈值比较合适。所以本发明首先将环境分为四种情况，然后根据相应的情况选择合适的检测算法，增加了算法的环境适应性，能够适应不同光照条件的自由驾驶空间检测和车前障碍物检测，并且具有较高的实时性和准确性。

附图说明

图1为本发明的整体流程图。

图2为工况划分图。

图3为canny边缘提取的结果图。

图4为形态学闭运算的结果图。

图5为与灰度图像f₁叠加后的结果图。

图6为区域增长后的结果图。

图7为自由驾驶空间检测结果图。

图8为灰度图像f₁下半区域示意图。

图9为梯度分割算法示意图。

图10为原始图像对应的阴影分割结果示意图。

图11为形态学闭操作示意图

图12为形态学开操作示意图

图13为车辆检测结果示意图。

图14为非车辆障碍物监测结果示意图。

具体实施方式

以下结合技术方案和附图详细叙述本发明的具体实施方式。

实施例

本发明自适应车辆检测算法总体流程图如图1所示，首先对采集的图像进行行驶工况分类，然后使用自由行驶空间检测算法检测车辆的自由行驶空间；之后根据自由行驶空间的检测结果得到感兴趣区域，进而根据多约束进行车辆检测；最后根据车辆检测的结果进行非车辆障碍物监测。下面结合附图，对本发明的实现方法做进一步阐述。

A.图像采集与行驶工况分类

A1.使用CCD图像传感器采集车辆前方路况原始图片f₀，并将原始彩色图像f₀转换为像素为320×240的彩色图像，并且备份为f_d，处理原始图像f₀为灰度图像f₁。

A2.将预处理后图片f₁截取为分为上、中、下三部分，分别保存为图像ENVT、ENVM、ENVB。

A3.分别计算ENVT、ENVM、ENVB的像素均值和底部像素的方差值。根据式(1)计算底部图像ENVB像素均值，并根据式(2)计算底部像素方差值。

其中P_bottom为底部像素平均值，H_bottom为获取底部像素点的高度，W_bottom为获取底部像素点的宽度；P_v为底部像素方差值。中部图像ENVB像素均值计算公式如式(3)所示，

其中P_middle为底部像素平均值，H_middle为获取底部像素点的高度，W_middle为获取底部像素点的宽度。最后，本发明通过式(4)计算顶部图像ENVT像素均值，

其中P_top为底部像素平均值，H_top为获取底部像素点的高度，W_top为获取底部像素点的宽度。

本发明所使用的基于像素均值和像素方差的行驶环境判断算法主要是设定合适的像素阈值，根据计算出的像素均值和方差加以判断区分行驶环境，判断过程如图2所示。

A31.强光照判断

首先判断底部像素均值P_bottom是否满足条件P_bottom>100，设为条件1，如果满足条件1则继续判断顶部像素均值P_top是否满足条件P_top≤60，如果满足条件，则为夜间情况，如果不满足就为强光照。

A32.正常光照判断

如果底部像素均值P_bottom不满足条件1，则继续判断底部像素均值是否满足60≤P_bottom≤100，设为条件2，如果满足条件，则继续判断顶部像素均值P_top是否满足条件P_top≤60，如果满足条件，如果不满足就为强光照。

A33.低光照判断

如果底部像素均值P_bottom不满足条件1和条件2，则继续判断顶部像素均值P_top是否满足条件P_top≤100，如果满足则为弱光照，如果不满足就为夜间情况。

B.自由驾驶空间检测

将灰度图像f₁分割为自由驾驶空间和背景(路面区域和背景)。因为车辆底部的阴影全部都集中在自由驾驶空间，与背景无关。因此可以采用合适的方法将自由驾驶空间与背景分离，缩小检测范围，提高算法效率。本发明采用以下方法进行自由驾驶空间检测。

B1.Canny边缘提取

针对不同光照类型图像，希望边缘提取能够提取出目标的有效边缘，并对噪声进行抑制，所以选择了Canny边缘提取算法，并根据表1选取相应的边缘提取阈值，得到边缘图像f₂，图3为canny边缘提取的结果图。

B2.对边缘提取后图像进行形态学闭运算

对图像先进性膨胀，在进行腐蚀的过程称为形态学闭运算，形态学闭运算能够填充物体内细小空洞、连接邻近物体、平滑其边界的同时并不明显改变其面积。基于形态学闭运算的特点，本发明使用8×6结构元对边缘图像f₂进行形态学闭操作，填补临近边缘点之间的空隙，凸现目标实体，并且并不会改变目标的位置，通过该步骤，将填充一部分边缘信息丰富的非路面区域，得到结果图f₃，图4为形态学闭运算的结果图。

B3.与原图叠加

从形态学闭运算处理结果图f₀可以看出，图中的黑色区域并不完全属于路面，还包括图中边缘信息不丰富的区域，为了凸显原始图像中路面和非路面的边界，避免由于路面边界不清晰导致的过增长现象，将形态学处理后图像f₃和灰度图f₁叠加。如果P_bottom>125，用灰度图f₁减去形态学处理后图像f₃，如果P_bottom<125，用灰度图f₁加上形态学处理后图像f₃。设与原图叠加后的图像为f₄，图5为叠加后的结果图。

B4.区域增长

对叠加后的图像f₄进行区域增长，区域增长的目的是填充某个连续的区域。本发明采用以下步骤对图像进行区域增长。

B41.初步选取区域增长的种子点图像底部的中间位置；

B42.判断种子点像素值是否位于P_bottom±P_v的范围内，如果在该范围内，即认为种子点选择在路面上。否则，认为种子点不在道路上，则向右逐步跳出重新选择种子点；

B43.对图像进行区域增长，当邻近像素点位于给定的范围内或在种子像素点像素值范围之内时，该像素点将被填充。直到图像中所有与种子像素点具有相同特征的像素区域将被填充为一整块区域。将区域增长后得到的结果图命名为f₅，如图6所示。

B44.自由驾驶空间检测

在区域增长后的图像f₅中，存在很多孤立的较小的区域，这些区域与主体自由驾驶空间分离，会影响最终自由空间检测结果，所以本发明对这些孤立区域进行剔除，得到完整自由驾驶空间，最后在与灰度图像f₁进行叠加，得到自由驾驶空间图像f₆，图像如图7所示。

C.自适应日间车辆检测过程：

从图1中看出，本发明提出的日间车辆检测算法首先获得自由行驶空间，确定感兴趣区域，然后对感兴趣区域进行分割阈值计算，根据分割阈值从感兴趣区域中分割出阴影，并对分割出的阴影进行预处理，最后从预处理的阴影中得到候选阴影区域，并根据多约束条件最终确定真正车辆阴影，标记出车辆。下面具体介绍算法实施过程。

C1.分割阈值计算

因为本发明提出的日间车辆检测算法基于阴影分割，所以分割阈值的选取是整个算法的关键，本发明计算分割阈值的步骤如下。

C11.截取灰度图像f₁下半区域构成图像f₇，如图8所示；

C12.从自由行驶空间图像f₆中获得自由行驶空间的坐标信息，确定感兴趣区域；

C13.设在感兴趣区域中像素值为p的像素点时出现的概率为f_p，则图像的熵H为：

图像的最大熵H_Max为

式中T_d图像的分割阈值，当求出图像的最大熵后，即确定像素熵的均值T_d。

C2.车底阴影分割

本发明为准确分割出车底阴影，提出一种梯度分割算法主要是将感兴趣区域图像按行划分为多个片段(j＝1,2,3,4……)，如图9示，分别统计个片段区域中像素的最小值m(j)。计算像素熵的均值T_d与最低像素值m(j)之差，如果该差值大于一定的阈值T1，则认为该区域内有非路面的目标，取阴影分割的阈值

T2＝m(j)+(T_d-m(j))/2 (7)

其中，T1随工况而变化，例如，对T1弱光照图像，选择在10～15之间，对强光照图像，T1选择可大于30。如果T_d与m(j)差值小于T1，或者区域内全是路面，即非路面点数目/区域面积小于一定的值，则选择分割阈值T1＝m(j)，即该片段内没有车底阴影。初始分割后的图像为f₈，图10为原始图像对应的阴影分割结果。

C3.形态学闭操作和开操作

为了进一步去除干扰阴影，本发明对初始分割图像f₈进行依次进行形态学闭操作和形态学开操作。形态学闭运算是是对目标图像先做膨胀处理，再用腐蚀处理的方法进行恢复，用来对目标图像分开的区域进行连接及对图像中细小缝隙进行填补，使图像的填补结果具有一定的几何特征。对车底阴影而言，形态学闭运算可以将存在缝隙或间断的车底阴影连通，使其几何特征更为明显，便于识别，图11为形态学闭操作示意图。形态学开运算为先腐蚀后膨胀，可用于剔除噪声和孤立点，形态学开操作示意图如图12所示。形态学操作结束后形成图像f₉。

C4.轮廓跟踪，标记出车辆

对形态学操作后图像f₉使用轮廓跟踪算法从图像f₉中提取各个轮廓，轮廓跟踪技术可获取每条边缘链所代表的轮廓，具体实现步骤如下：

C41.首先按从上到下，从左到右的顺序扫描图像，寻找没有标记跟踪结束记号的第一个边界起始点E0，E0是具有最小行和列值的边界点。定义一个扫描方向变量dir，该变量用于记录上一步中沿着前一个边界点到当前边界点的移动方向，若选择8连通区域，则dir的初始化取值7；

C42.按逆时针方向搜索当前象素的3×3邻域，其起始搜索方向设定为：若dir为奇数取(dir+7)，若dir为偶数取(dir+6)；在3×3邻域中搜索到的第一个与当前像素值相同的像素便为新的边界点En，同时更新变量dir为新的方向值。

C43.如果En等于第二个边界点E1且前一个边界点En-1等于第一个边界点A0，则停止搜索，结束跟踪，否则重复步骤2继续搜索。

C44.由边界点E0、E1、E2、……、En-2构成的边界便是要跟踪的边界。

在找出所有边缘后，既可对各边缘链代表的轮廓区域进行特征统计，获取各轮廓的主要参数，例如区域轮廓、区域面积S、区域外接矩形顶点坐标(x,y)、区域外接矩形的长L、宽W、周长C等，通过设定多约束条件，尺寸约束、面积比约束、对称性约束，可以有效地将车底阴影与不同类型的干扰区分出来，标记出车辆。检测结果如图13所示

D.非车辆类障碍物检测

在自由行驶空间上，除了车辆还有可能存在障碍物，影响车辆的正常行驶，所以本发明一也提出了一种障碍物检测算法。首先从自由驾驶空间中去除与车辆相关的位置，然后对自由驾驶空间的其他轮廓进行标记，并且获取轮廓信息，最后通过引入多约束条件检测出障碍物。算法具体实施过程如下。

D1.从检测出车辆的图片中提取出车辆的坐标位置信息(x,y)，如果图片中没有车辆则置坐标信息为空。

D2.在自由驾驶空间图像f₇中去除检测出的车辆。标记自由驾驶空间中的除车辆意外的其他轮廓，并统计这些轮廓的信息，例如区域面积S、区域外接矩形顶点坐标(x,y)、区域外接矩形的长L、宽W、周长C等。

D3.在检测出的这些轮廓中，很有可能存在来自路面的干扰，如车道线、标识符，所以本发明通过引入尺寸约束、面积比约束、规则约束，区分非车辆类障碍物和路面干扰(标识符、车道线等)，最终检测出障碍物，检测结果如图14所示。

Claims (1)

1.一种基于单目视觉的车辆前方障碍物检测方法，其特征在于：将车辆前方环境划分为影响车辆安全行驶的障碍物和车辆能够安全行驶的自由驾驶空间两类，考虑到障碍物的多样性和相应检测算法的复杂性，首先将特征相对明显，更易于检测的自由驾驶空间作为重点检测对象，然后从非自由驾驶空间中进行车辆类障碍物和非车辆类障碍物的检测；具体包括以下步骤：

A、图像采集与行驶工况分类

A1、将CCD图像传感器采集的原始彩色图像f₀转换为像素为320×240的灰度图像f₁；

A2、截取图像f₁的上部图像、中部图像和下部图像三个部分，分别记为ENVT、ENVM、ENVB；

A3、求取下部图像ENVB的像素均值P_bottom和方差V_bottom，求取上部图像ENVT的像素均值P_top和中部图像ENVM的像素均值P_middle；综合考虑P_bottom、P_top和P_middle对行驶工况进行划分，将行驶工况分为强光照、正常光照、弱光照和夜间四种工况；

B、自由驾驶空间检测

B1、对图像f1进行Canny边缘提取得到边缘图像f2，针对不同行驶工况，采用的canny边缘提取的上下阈值参数如下：

当行驶工况分为强光照时，上阈值为100、下阈值为50；

当行驶工况分为正常光照时，上阈值为80、下阈值为40；

当行驶工况分为弱光照时，上阈值为60、下阈值为30；

当行驶工况分为夜间时，上阈值为60、下阈值为30；

B2、对边缘提取后的图像f₂进行形态学闭运算得到图像f₃；

B3、将形态学闭运算后的图像f₃与图像f₁叠加得到图像f₄；

B4、选择图像f₄底部中央为种子点，判断其是否与周围像素相似，若不相似，左右移动；根据种子点对图像f₄进行区域增长，得到图像f₅；

B5、自由驾驶空间检测，对区域增长后的图像f₅进行孤立区域剔除得到图像f₆，图像f₆中像素为零的区域即为完整的自由驾驶空间；

C、车辆类障碍物检测

C1、截取灰度图像f₁下半区域构成图像f₇，根据自由驾驶空间信息确定图像f₇的感兴趣区域，计算感兴趣区域内像素熵的均值T_D；

C2、根据步骤C1计算出的像素熵的均值T_D计算更加准确的分割阈值T2，然后根据T2和步骤B5得到的自由驾驶空间，对图像f₁进行阴影分割，得到初始分割图像f₈；

C3、对阴影分割图像f₈首先进行形态学闭运算，消除较小的分割干扰，然后进行形态学开运算，恢复面积较大的候选区域，形成图像f₉；

C4、采用轮廓跟踪算法从图像f₉中提取并标记各个轮廓，获取各轮廓的参数，所述的参数包括轮廓面积S，区域外接矩形的四个顶点坐标(x_i,y_i)、i＝1、2、3、4，区域外接矩形的长L、宽W和周长C，根据车辆的尺寸约束、面积比约束和对称性约束，将车底阴影与不同类型的干扰区分出来，标记出车辆，形成图像f₁₀；

D、非车辆类障碍物检测

D1、提取图像f₁₀中已标记车辆在图像f₇中的位置信息；

D2、对图像f₇，排除其中自由驾驶空间和车辆，对剩余的非自由驾驶空间进行标记；

D3、引入尺寸约束和面积比约束，区分非车辆类障碍物和路面干扰。