CN109241855B - 基于立体视觉的智能车辆可行驶区域探测方法 - Google Patents

Abstract

本发明公开了一种基于立体视觉的智能车辆可行驶区域探测方法，以立体视觉技术为基础，计算输入图像视差值，同时引入视差置信度来剔除错误视差值，接着对原图像进行地平线检测以缩小目标搜索空间，然后计算路面障碍物位置概率，最后利用动态规划优化求解方法得到智能车辆可行驶区域。本发明引入了视差置信度来剔除错误视差，设计了像素级别的障碍物位置概率模型，该方法能够满足实时性的要求，能够有效检测出细小和远处的障碍物，大大提高了检测精度，具有良好的环境鲁棒性，适用于复杂交通环境下的可行驶区域探测，具有十分重要的实用价值和工程应用前景。

Description

基于立体视觉的智能车辆可行驶区域探测方法

技术领域

本发明属于智能交通领域，涉及一种基于立体视觉的智能车辆可行驶区域探测方法。

背景技术

随着科学技术的不断进步和发展，交通工具日益增多，交通环境日趋复杂，许多辅助驾驶系统不仅使得人们的驾驶体验变得简单便捷，更保障了人们的交通安全，降低了车祸发生率。近几年来，国内外对于智能车辆的研究十分火热。

智能车辆可行驶区域探测是智能驾驶平台的重要组成部分，具有重要的研究意义与应用价值。

虽然目前大量的科研工作者纷纷投入到智能车辆可行驶区域探测技术的研究中来，但该邻域仍然存在的大量的难题和挑战，这主要是由其特殊的场景所导致的。在交通场景下，存在的主要挑战主要来自：第一是道路路面的影响。在很多交通场景中，道路并非一直平坦或是光滑的，它不仅有上坡、下坡的变化，还存在高低不平的坑洼道路，而许多智能车辆环境感知系统往往假设道路是平坦而光滑的，如此一来，必然会导致感知系统测量的误差和探测精度下降。第二是自然天气的影响。车辆外部自然天气复杂多变，能见度低的极端恶劣的自然天气，比如雨、雾、雪、雾霾等，以及灯光条件不好的黑夜环境，都对传感器尤其是视觉传感器的数据采集工作造成很大的难题。第三是交通场景过于复杂的影响。高速公路下的交通环境较为简单，而城市交通场景中障碍物种类十分复杂，有车辆、行人、建筑、树木、人行道、各种交通指示牌等，这些障碍物大小、高低、长宽十分多变，要将如此众多复杂的障碍物位置准确检测出来，给智能车辆环境感知系统带来极大的挑战。第四是车辆行驶过程中影响。车辆行驶过程中会发生抖动和颠簸，这不仅会改变传感器初始位置，还可能影响传感器的数据采集工作。最后是传感器测量本身的误差。因此，智能车辆可行驶区域探测方法研究依旧任重道远。

在智能车视觉导航系统中，路面障碍物检测技术一直占有着十分重要的作用。所谓路面障碍物检测，指的是智能车辆通过某类或多类传感器采集车辆周围环境信号，经过一定的计算处理得到车辆视野内的障碍物位置。路面障碍物探测，根据传感器的种类不同可以分为主动式和被动式两大类，其中，主动式探测仪器主要包括激光探测仪和雷达探测仪等，被动式主要包括单目、双目、多目视觉传感器。而相对于激光测距仪、微波雷达等主动式方法，基于立体视觉的被动式探测方法由于具有成本低廉、配置方便、信息丰富、隐蔽性好等优点而受到广大研究人员追捧。而在基于立体视觉的路面障碍物探测技术中，有两类算法应用最广，即V视差法探测技术和占据网格类探测技术。

现有的可行驶区域探测方法主要有两大类，基于V视差图的方法和基于占据网格的方法。前者最大优点就是计算简单，容易保证实时性，然而该类方法对于视差图的好坏较为依赖，且当场景过于复杂障碍物较多且形状不规则时，得到的V视差图直线提取较为困难，从而使得得到的障碍物位置发生错误，可行驶区域检测精度下降。后者对环境鲁棒性较高，能够在能见度低的夜晚、雨、雾、雪等恶劣环境有较好的检测效果，但是该类方法存在的最大的问题是左右视图的边缘信息十分复杂，在进行左右视图匹配的时候容易出现误匹配的现象，这导致了该方法在场景障碍物数目过多的情况下存在可行驶区域探测精度较低的问题。

发明内容

本发明的目的在于克服上述现有技术的缺点，提供一种基于立体视觉的智能车辆可行驶区域探测方法

为达到上述目的，本发明采用以下技术方案予以实现：

基于立体视觉的智能车辆可行驶区域探测方法，包括以下步骤：

以立体视觉技术为基础，计算输入图像视差值，同时引入视差置信度来剔除错误视差值，接着对原图像进行地平线检测以缩小目标搜索空间，然后计算路面障碍物位置概率，最后利用动态规划优化求解方法得到智能车辆可行驶区域。

本发明进一步的改进在于：

可行驶区域探测方法的具体步骤如下：

步骤1：由输入的左右图像对计算得到视差图，采用

准则计算视差值的置信度，设置视差置信度阈值T将错误视差值剔除；其中，c为计算视差时的匹配代价，σ表示视差不确定度；

步骤2：采用像素级别的障碍物位置概率模型来求解障碍物与地面的分界线，以此来得到可行驶区域。

视差置信度阈值T取0.2；视差不确定度σ取8。

由输入的左右视差图采用SGM算法计算得到视差图和准则得到视差置信度，地平线检测方法先使用GIST算子得到图像的全局性特征，然后对特征进行线性回归，最后对线性回归器的结果进行非线性拟合。

步骤2具体如下：像素级别的障碍物位置概率模型和优化求解过程；

左右图像经过地平线检测过后确立了可行驶区域的上限v_min，该模型有一个基本的假设：越靠近摄像头的部分越可能是路面，即对于图像的每一列障碍物位置以下为路面区域，以上为障碍物，这样，可行驶区域的检测问题就转化成求图像中每一列的障碍物位置问题；

首先图像中路平面上的像素点会满足道路平面约束方程，即：

d_u,v＝a·v+b (1)

其中，u,v为图像的横坐标和纵坐标，d_u,v为图像u列v行处的像素点按道路平面约束方程计算得到的视差值，a和b是与相机高度和角度因素有关的参数；图像中的每一个像素点都有一个得分Score，该得分由两部分组成，Road部分和Object部分，即：

Score(u,v)＝Road(u,v)+Object(u,v) (2)

其中，用下列式子计算：

其中，c_u,v为像素点(u,v)处的视差置信度；d_o为SGM算法计算得到的视差值；v_max为最大高度，即图像底部纵坐标值；v_min为最小高度，即地平线检测出的上限值；

σ为视差不确定度，取值为8；w(·)为阈值函数，表达式为：

其中，α代指第一个参数，c为视差置信度，阈值参数影响模型的鲁棒性。

采用动态规划的方法来求解每一列的最大匹配得分点；

首先将检测模型计算得到的匹配得分定义为数据项，同时增加平滑项

其定义如下：

其中，v_u表示当前列最大匹配得分的纵坐标值，d_u为当前列最大匹配得分纵坐标值对应的视差，v_u-1为前一列计算得到障碍物位置的纵坐标值，d_u-1为前一列计算得到的障碍物纵坐标对应的视差；

平滑项的含义为，当d_u＜d_u-1-1，当前列的障碍物位置视差小于前一列计算得到的障碍物位置视差，该则区域很可能为可行驶路面，因此设为无穷大；当d_u＝d_u-1-1时，即当前列障碍物位置处视差与前一列视差值相同，则该区域可能为障碍物，因此增加惩罚项Object(u,d_u)项；当d_u＞d_u-1-1时，当前列的障碍物位置视差大于前一列视差，该区域可能为位置更前的障碍物，分界线发生变化，平滑作用减弱，平滑项设为0。

与现有技术相比，本发明具有以下有益效果：

传统的智能车辆可行驶区域探测方法存在环境鲁棒性问题差和细小障碍物无法检测等问题，本发明提出了一种基于立体视觉的智能车辆可行驶区域探测方法，引入了视差置信度来剔除错误视差，设计了像素级别的障碍物位置概率模型，该方法能够满足实时性的要求，能够有效检测出细小和远处的障碍物，大大提高了检测精度，具有良好的环境鲁棒性，适用于复杂交通环境下的可行驶区域探测，具有十分重要的实用价值和工程应用前景。

附图说明

图1是本发明对交通场景的可行驶区域探测流程图；

图2是本发明在交通场景下的智能车辆可行驶区域探测效果。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面结合附图对本发明做进一步详细描述：

参见图1，本发明基于立体视觉的智能车辆可行驶区域探测方法，以立体视觉技术为基础，计算输入图像视差值，同时引入视差置信度来剔除错误视差值，接着对原图像进行地平线检测以缩小目标搜索空间，然后计算路面障碍物位置概率，最后利用动态规划优化求解方法得到智能车辆可行驶区域。可行驶区域探测方法的具体步骤如下：

首先由输入的左右图像对计算得到视差图，由于该视差图存在许多误差点，为不增加时间消耗，采用

准则计算视差值的置信度，设置视差置信度阈值T将错误视差值剔除，为后续的计算保证视差值的准确和可靠性。其次，采用像素级别的障碍物位置概率模型来求解障碍物与地面的分界线，以此来得到可行驶区域；c为计算视差时的匹配代价，σ表示视差不确定度，视差置信度阈值T取0.2，视差不确定度σ取8。

如图1所示，图1为本发明对交通场景的可行驶区域探测流程图：输入左右图像，计算视差和视差置信度，地平线检测，计算障碍物位置概率，求解障碍物地面分界线，输出可行驶区域。

由输入的左右视差图采用SGM算法计算得到视差图和准则得到视差置信度，地平线检测方法我们先使用GIST算子得到图像的全局性特征，然后对特征进行线性回归，最后对线性回归器的结果进行非线性拟合。下面详细介绍像素级别的障碍物位置概率模型和优化求解过程。

左右图像经过地平线检测过后确立了可行驶区域的上限v_min，为得到障碍物的精确位置我们需要进一步的检测。该模型有一个基本的假设：越靠近摄像头的部分越可能是路面，即对于图像的每一列障碍物位置以下为路面区域，以上为障碍物，这样，可行驶区域的检测问题就转化成求图像中每一列的障碍物位置问题。

首先图像中路平面上的像素点会满足道路平面约束方程，即：

d_u,v＝a·v+b (1)

其中，u,v为图像的横坐标和纵坐标，d_u,v为图像u列v行处的像素点按道路平面约束方程计算得到的视差值，a和b是与相机高度和角度等因素有关的参数。为得到障碍物的位置，我们设计一种函数，对图像的每一列，该函数会在障碍物位置处得到最大值。图像中的每一个像素点都有一个得分Score，该得分由两部分组成，Road部分和Object部分，即：

Score(u,v)＝Road(u,v)+Object(u,v) (2)

其中，可以用下列式子计算：

其中，c_u,v为像素点(u，v)处的视差置信度；d_o为SGM算法计算得到的视差值；v_max为最大高度，即图像底部纵坐标值；v_min为最小高度，即地平线检测出的上限值；

σ为视差不确定度，取值为8；w(·)为阈值函数，表达式为：

其中，α代指第一个参数，c为视差置信度，阈值参数影响模型的鲁棒性，多次实验发现T₁＝0.8,T₂＝0.2较为合理。

对于图像上的每一列我们已经可以计算得到该列得分最大的像素点位置，然而当我们独立的求取每一列的最大得分并将其作为障碍物位置时会发生严重的锯齿现象。为了消除锯齿现象和异常点的干扰，我们增加相邻列的障碍物位置信息，当相邻列算得的障碍物位置相差过大，由必要增加一些惩罚项来抑制锯齿现象的发生，具体做法为我们采用动态规划的方法来求解每一列的最大匹配得分点。首先将检测模型计算得到的匹配得分定义为数据项，同时增加平滑项

其定义如下：

其中，v_u表示当前列最大匹配得分的纵坐标值，d_u为当前列最大匹配得分纵坐标值对应的视差，v_u-1为前一列计算得到障碍物位置的纵坐标值，d_u-1为前一列计算得到的障碍物纵坐标对应的视差。

平滑项的含义为，当d_u＜d_u-1-1，当前列的障碍物位置视差小于前一列计算得到的障碍物位置视差，该则区域很可能为可行驶路面，因此设为无穷大；当d_u＝d_u-1-1时，即当前列障碍物位置处视差与前一列视差值相同，则该区域可能为障碍物，因此增加惩罚项Object(u,d_u)项；当d_u＞d_u-1-1时，当前列的障碍物位置视差大于前一列视差，该区域可能为位置更前的障碍物，分界线发生变化，平滑作用减弱，平滑项设为0。

参见图2，本方法在交通场景下的智能车辆可行驶区域探测效果，可以明显看出本方法对于智能车辆在复杂的交通场景下有着非常不错的可行驶区域探测效果。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (4)

1.基于立体视觉的智能车辆可行驶区域探测方法，其特征在于，包括以下步骤：

以立体视觉技术为基础，计算输入图像视差值，同时引入视差置信度来剔除错误视差值，接着对原图像进行地平线检测以缩小目标搜索空间，然后计算路面障碍物位置概率，最后利用动态规划优化求解方法得到智能车辆可行驶区域；

可行驶区域探测方法的具体步骤如下：

步骤1：由输入的左右图像对计算得到视差图，采用

准则计算视差值的置信度，设置视差置信度阈值T将错误视差值剔除；其中，c为计算视差时的匹配代价，σ表示视差不确定度；

步骤2：采用像素级别的障碍物位置概率模型来求解障碍物与地面的分界线，以此来得到可行驶区域；

步骤2具体如下：像素级别的障碍物位置概率模型和优化求解过程；

左右图像经过地平线检测过后确立了可行驶区域的上限v_min，该模型有一个基本的假设：越靠近摄像头的部分越可能是路面，即对于图像的每一列障碍物位置以下为路面区域，以上为障碍物，这样，可行驶区域的检测问题就转化成求图像中每一列的障碍物位置问题；

首先图像中路平面上的像素点会满足道路平面约束方程，即：

d_u,v＝a·v+b (1)

其中，u,v为图像的横坐标和纵坐标，d_u,v为图像u列v行处的像素点按道路平面约束方程计算得到的视差值，a和b是与相机高度和角度因素有关的参数；图像中的每一个像素点都有一个得分Score，该得分由两部分组成，Road部分和Object部分，即：

Score(u,v)＝Road(u,v)+Object(u,v) (2)

其中，用下列式子计算：

其中，c_u,v为像素点(u,v)处的视差置信度；d_o为SGM算法计算得到的视差值；v_max为最大高度，即图像底部纵坐标值；v_min为最小高度，即地平线检测出的上限值；

σ为视差不确定度，取值为8；w(g)为阈值函数，表达式为：

其中，α代指第一个参数，c为视差置信度，阈值参数影响模型的鲁棒性。

2.根据权利要求1所述的基于立体视觉的智能车辆可行驶区域探测方法，其特征在于，视差置信度阈值T取0.2；视差不确定度σ取8。

3.根据权利要求1所述的基于立体视觉的智能车辆可行驶区域探测方法，其特征在于，由输入的左右视差图采用SGM算法计算得到视差图和准则得到视差置信度，地平线检测方法先使用GIST算子得到图像的全局性特征，然后对特征进行线性回归，最后对线性回归器的结果进行非线性拟合。

4.根据权利要求1所述的基于立体视觉的智能车辆可行驶区域探测方法，其特征在于，采用动态规划的方法来求解每一列的最大匹配得分点；

首先将检测模型计算得到的匹配得分定义为数据项，同时增加平滑项

其定义如下：

其中，v_u表示当前列最大匹配得分的纵坐标值，d_u为当前列最大匹配得分纵坐标值对应的视差，v_u-1为前一列计算得到障碍物位置的纵坐标值，d_u-1为前一列计算得到的障碍物纵坐标对应的视差；

平滑项的含义为，当d_u＜d_u-1-1，当前列的障碍物位置视差小于前一列计算得到的障碍物位置视差，则该区域很可能为可行驶路面，因此设为无穷大；当d_u＝d_u-1-1时，即当前列障碍物位置处视差与前一列视差值相同，则该区域可能为障碍物，因此增加惩罚项Object(u,d_u)项；当d_u＞d_u-1-1时，当前列的障碍物位置视差大于前一列视差，该区域可能为位置更前的障碍物，分界线发生变化，平滑作用减弱，平滑项设为0。

Images