CN110197173A - 一种基于双目视觉的路沿检测方法 - Google Patents

Abstract

本发明涉及一种基于双目视觉的路沿检测方法，属于智能交通领域。该方法在通过UV视差图得到感兴趣区域的基础上，提取路沿的外观特征和几何特征，采用大小轮廓滤除法滤除路面干扰；在得到外观特征的基础上，采用霍夫变换提取边缘特征信息，并通过直方图统计得到左右路沿候选位置，并根据路沿的几何特征，进一步滤除干扰点，然后对应到霍夫检测的结果中，筛选出左右路沿；采用卡尔曼滤波对路沿实现跟踪，将跟踪结果反馈至下一帧的检测结果中，从而进一步滤除误检点，提高检测精度，得到最终路沿检测结果。本发明可以充分利用双目立体视觉的优点，结合路沿的多种特征精确稳定地检测路沿。

Description

一种基于双目视觉的路沿检测方法

技术领域

本发明属于智能交通领域，涉及一种基于双目视觉的路沿检测方法。

背景技术

随着社会和技术的发展，行驶在交通道路上的车辆越来越多，道路结构环境越来越复杂。交通的发展在为生活带来便利的同时，随之而来的是交通事故的频繁发生。为了减少交通事故的发生，智能交通系统应运而生。智能车作为智能交通系统中极其关键的一部分，能够辅助驾驶员驾驶，从而减少交通事故的发生。

无人驾驶车作为智能车的一种，是智能交通系统的重要组成部分，行驶在高速公路环境中的无人驾驶车需要对周围复杂的交通环境有很好的感知能力，包括对道路最大行驶边界的感知、对潜在碰撞威胁的检测区分等。可靠的环境感知能力对自主巡航控制、碰撞预警和路径规划起到至关重要的作用。

智能车主动安全研究是智能交通研究中重要一环，而智能车防碰撞系统就是为解决智能车主动安全设计的，在智能车防碰撞系统的应用中，道路路沿检测对于区分潜在的碰撞威胁有很重要的作用，并且由于路沿限制了道路的边界，对于车辆的路径规划和局部感知能够提供更丰富的信息；另外，对于更加复杂的交通环境，可以利用路沿确定的车辆最大行驶横向区域来更好的避让车辆。因此道路路沿的检测在智能车研究，特别是道路安全中具有重要的意义。

现有路沿检测技术主要有两种，一是采用摄像头图像处理的方法采集路沿，单一图像无法提供距离信息且三维信息测量精度较低；二是根据激光点云构建路沿模型，其中，点云包含至少两个离散点信息，所述离散点从激光传感器周围物体表面获取。因此，激光点云数据既包括有用的路沿信息，也包括与路沿有交叠部分的植被、树木或路标信息，由于点云数据的离散性，且没有有效区分噪声和有用路沿信息的方法，使植被、树木或路标等噪声无法滤除，导致目前路沿的检测准确度较低。

基于上述问题，本发明提出一种基于双目视觉的路沿检测方法。

发明内容

有鉴于此，本发明的目的在于提供一种基于双目视觉的路沿检测方法，用于提高路沿的检测精度、稳定性及鲁棒性，并能实时的检测路沿，为智能车提供了更丰富的道路环境感知信息。

为达到上述目的，本发明提供如下技术方案：

一种基于双目视觉的路沿检测方法，如图1所示，该检测方法具体包括以下步骤：

S1：输入两个摄像机获取的道路图像数据，对两个摄像机进行相机标定，对图像进行预处理，采用有效大规模算法获得视差图，基于此确定感兴趣区域；

S2：在感兴趣区域内分别提取路沿的外观特征和几何特征，并分别进行特征融合；

S3：对感兴趣区域进行逆透视变化处理，获得感兴趣区域的鸟瞰图，然后滤除鸟瞰图中的较小的区域，进一步滤除路面以及路旁的干扰；

S4：在外观特征的基础上，提取图中的边缘信息，采用霍夫变换对上述处理后的鸟瞰图进行处理，并采用直方图对靠近车前方区域的像素进行统计，筛选出左右路沿候选区域；根据几何特征进一步滤除干扰点，筛选出左右路沿；

S5：跟踪路沿修正检测结果，得到最终检测结果，完成路沿检测。

进一步，所述步骤S1具体包括以下步骤：

S11：双目摄像机的标定：采用张正友标定法对两个摄像机进行标定，求取摄像机的内部和外部参数；

S12：图像预处理：对双目摄像机采集到的图像进行灰度化处理以及中值滤波去噪；

S13：大规模有效算法获得视差图：通过计算一些支持点组成稀疏视差图，对这些支持点在图像坐标空间进行三角剖分，构建视差的先验值并假设其服从高斯分布；由于支持点可被精确匹配，避免了使用其余点进行匹配造成的匹配模糊；进而通过有效利用视差搜索空间，重建精确的视差图，而不必进行全局优化；

S14：基于视差图像计算U视差和V视差，通过拟合V视差图中最显著的直线粗略获得感兴趣区域；进一步由U视差图获得的采样空间生成改进的V视差图；最后采用随机抽样一致算法拟合得到最终的感兴趣区域。

进一步，所述步骤S2具体包括以下步骤：

S21：用从灰度图像获得的梯度信息和从颜色空间获得的颜色信息来描述路沿图像的外观特征；其中，外观特征包括颜色特征和梯度特征；梯度特征包括由水平梯度、垂直梯度以及梯度的大小组成的三维矢量；颜色特征是通过高斯滤波器得到的局部区域内的RGB颜色空间获得的三维矢量；并基于稀疏表示理论将上述特征融合成外观特征描述符；

S22：通过立体视觉获得的三维信息提取几何特征；其中，几何特征包括高度变化特征和局部法线特征；高度变化特征包括沿着水平方向、垂直方向以及高度图中的变化；并基于稀疏表示理论将上述特征融合成几何特征描述符；

进一步，所述步骤S3具体包括：对感兴趣区域进行逆透视变换处理，获得感兴趣区域的鸟瞰图；然后采用轮廓滤除法，滤除鸟瞰图中的较小的区域，并采用形态学操作，先膨胀再腐蚀，进一步滤除路面以及路旁的草坪、树木等造成的干扰。

进一步，所述步骤S4具体包括以下步骤：

S41：在步骤S21得到外观特征的基础上，通过Canny边缘检测算法提取鸟瞰图中的边缘信息，并用多个线段的形式表示；然后，采用霍夫变换对处理后的鸟瞰图进行线段检测；同时，采用直方图对鸟瞰图的下半部分，即靠近车前方区域的像素进行统计，选取左右两个峰值位置为路沿的候选位置，然后对应到霍夫变换中检测到的线段，得到左右路沿候选区域；

S42：根据步骤S22中得到的几何特征进一步滤除误检点，筛选出左右路沿；将左右路沿分别进行离散，然后将离散后的点集合并，再通过最小二乘法拟合成左右两条路沿线。

进一步，所述步骤S5具体包括以下步骤：

S51：将筛选出的路沿通过逆透视变换转到原图中，求取其对应的消失点，并采用卡尔曼滤波对路沿进行跟踪，采用消失点对跟踪结果进行修正；

S52：将每帧路沿的跟踪结果反馈至下一帧的检测结果中，在检测算法中加入跟踪反馈轨迹，将其进行有效融合，以此迭代循环，从而进一步滤除路沿误检点，得到最终检测结果，完成路沿检测。

本发明的有益效果在于：

(1)本发明能够快速、准确地从图像数据中提取出路沿数据集，并根据路沿数据的外观、几何和基于视差的特性生成16维的特征描述符，克服了传统的特征不足造成检测结果不精确的缺点；

(2)本发明提出采用卡尔曼滤波对路沿进行跟踪，进一步滤除干扰点，提高检测精度，得到路沿检测结果；

(3)本发明充分发挥双目立体视觉的优点，克服了单一摄像头所产生的数据不足、检测误差大的缺点，提高了路沿的检测精度、稳定性及鲁棒性，并能实时的检测路沿。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为本发明所述的路沿检测方法流程示意图；

图2为本发明实施例的检测方法流程图；

图3为本发明实施例的摄像机坐标系设置图；

图4为本发明实施例的整体检测效果图示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

本实施例选用微光摄像机作为图像数据采集传感器，在VS2013环境中编写算法以实现一种无人驾驶车中的路沿检测方法。具体实施方式如图2所示，包括以下步骤：

步骤1：如图3所示，将两个摄像机分别安装在智能车前方车头左右两边，摄像机的朝向与车辆方向相同。对摄像机进行相机标定，在摄像机采集到的图像序列中，对图像进行预处理，采用有效大规模算法获得视差图，基于此确定感兴趣区域。具体包括以下步骤：

(1)采用张正友标定法对两个摄像机进行标定，求取摄像机的内部和外部参数；

(2)对双目相机采集到的图像进行中值滤波去噪；

(3)大规模有效算法获得视差图：通过计算一些支持点组成稀疏视差图，对这些支持点在图像坐标空间进行三角剖分，构建视差的先验值并假设其服从高斯分布。由于支持点可被精确匹配，避免了使用其余点进行匹配造成的匹配模糊。进而可以通过有效利用视差搜索空间，重建精确的视差图，而不必进行全局优化；

(4)基于视差图像计算UV视差，通过拟合V视差图中最显著的直线可以粗略获得感兴趣区域。进一步由U视差图获得的采样空间生成改进的V视差图。最后采用随机抽样一致算法拟合得到最终的感兴趣区域。

步骤2：在上述感兴趣区域内分别提取路沿的外观特征和几何特征，外观特征包括颜色信息和梯度信息，几何特征包括高度特征和局部法线特征，并分别进行特征融合。具体包括以下步骤：

(1)用从灰度图像获得的梯度信息和从颜色空间获得的颜色信息来描述路沿图像的外观特征。梯度特征包括由水平梯度、垂直梯度以及梯度的大小组成的三维矢量。颜色特征是通过高斯滤波器得到的局部区域内的RGB颜色空间获得的三维矢量。并基于稀疏表示理论将上述特征融合成外观特征描述符；

(2)通过立体视觉获得的三维信息提取几何特征。路沿区域通常高于其邻近道路区域，且道路区域的表面法线是垂直的，而路沿法线的部分是水平。因此，本发明采用的几何特征包括高度变化和局部法线两部分。基于立体视觉得到的三维坐标信息，可以计算图像的高度变化特征和局部法线特征。高度变化特征包括沿着水平方向、垂直方向以及高度图中的变化。道路区域大部分是光滑的表面，法向量的方向几乎是垂直的。路沿区域类似于小的垂直平面，因此相应路沿区域中的法向矢量趋于水平。基于此，可以计算出表面法线，得到局部法线特征，并基于稀疏表示理论将上述特征融合成几何特征描述符。

步骤3：对感兴趣区域进行逆透视变化处理，获得感兴趣区域的鸟瞰图，采用轮廓滤除法滤除鸟瞰图中较小的区域，并采用形态学操作，进一步滤除路面干扰。具体包括以下步骤：

(1)对图像进行逆透视变化处理，获得感兴趣区域的鸟瞰图。采用轮廓滤除法，滤除鸟瞰图中的较小的区域，并采用形态学操作，先膨胀再腐蚀，进一步滤除路面以及路旁的草坪，树木等造成的干扰。

步骤4：在外观特征的基础上，提取图中的边缘信息，筛选出左右路沿候选区域；根据几何特征进一步滤除干扰点，筛选出左右路沿。具体包括以下步骤：

(1)在步骤2得到外观特征的基础上，通过Canny边缘检测算法提取鸟瞰图中的边缘信息，并用多个线段的形式表示。然后，采用霍夫变换对上述处理后的鸟瞰图进行线段检测。同时，采用直方图对鸟瞰图的下半部分，即靠近车前方区域的像素进行统计，选取左右两个峰值位置为路沿的候选位置，然后对应到霍夫变换中检测到的线段，得到左右路沿候选区域。

(2)根据步骤2中得到的几何特征进一步滤除误检点，筛选出左右路沿。将左右路沿分别进行离散，然后将离散后的点集合并，再通过最小二乘法拟合成左右两条路沿线。

步骤5：通过逆透视变换转到原图中，求取其对应的消失点，并对路沿进行跟踪，采用消失点对跟踪结果进行修正。如图4所示，将前一帧路沿跟踪结果反馈至下一帧的检测结果中，从而进一步滤除路沿误检点，得到最终检测结果。具体包括以下步骤：

(1)将筛选出的路沿通过逆透视变换转到原图中，然后求取其对应的消失点，并采用卡尔曼滤波对路沿进行跟踪，采用消失点对跟踪结果进行修正；

(2)将每帧路沿的跟踪结果反馈至下一帧的检测结果中，通过跟踪结果去修正下一帧的检测结果，从而进一步滤除路沿误检点，得到最终检测结果。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种基于双目视觉的路沿检测方法，其特征在于，该方法具体包括以下步骤：

S1：输入两个摄像机获取的道路图像数据，对两个摄像机进行相机标定，对图像进行预处理，采用有效大规模算法获得视差图，基于此确定感兴趣区域；

S2：在感兴趣区域内分别提取路沿的外观特征和几何特征，并分别进行特征融合；

S3：对感兴趣区域进行逆透视变化处理，获得感兴趣区域的鸟瞰图，然后滤除鸟瞰图中的较小的区域，进一步滤除路面以及路旁的干扰；

S4：在外观特征的基础上，提取图中的边缘信息，筛选出左右路沿候选区域；根据几何特征进一步滤除干扰点，筛选出左右路沿；

S5：跟踪路沿修正检测结果，得到最终检测结果，完成路沿检测。

2.根据权利要求1所述的一种基于双目视觉的路沿检测方法，其特征在于，所述步骤S1具体包括以下步骤：

S11：双目摄像机的标定：采用张正友标定法对两个摄像机进行标定，求取摄像机的内部和外部参数；

S12：图像预处理：对双目摄像机采集到的图像进行灰度化处理以及中值滤波去噪；

S13：大规模有效算法获得视差图：通过计算一些支持点组成稀疏视差图，对这些支持点在图像坐标空间进行三角剖分，构建视差的先验值并假设其服从高斯分布；进而通过有效利用视差搜索空间，重建精确的视差图；

S14：基于视差图像计算U视差和V视差，通过拟合V视差图中最显著的直线粗略获得感兴趣区域；进一步由U视差图获得的采样空间生成改进的V视差图；最后采用随机抽样一致算法拟合得到最终的感兴趣区域。

3.根据权利要求2所述的一种基于双目视觉的路沿检测方法，其特征在于，所述步骤S2具体包括以下步骤：

S21：用从灰度图像获得的梯度信息和从颜色空间获得的颜色信息来描述路沿图像的外观特征；其中，外观特征包括颜色特征和梯度特征；梯度特征包括由水平梯度、垂直梯度以及梯度的大小组成的三维矢量；颜色特征是通过高斯滤波器得到的局部区域内的RGB颜色空间获得的三维矢量；并基于稀疏表示理论将上述特征融合成外观特征描述符；

S22：通过立体视觉获得的三维信息提取几何特征；其中，几何特征包括高度变化特征和局部法线特征；高度变化特征包括沿着水平方向、垂直方向以及高度图中的变化；并基于稀疏表示理论将上述特征融合成几何特征描述符。

4.根据权利要求3所述的一种基于双目视觉的路沿检测方法，其特征在于，所述步骤S3具体包括：对感兴趣区域进行逆透视变换处理，获得感兴趣区域的鸟瞰图；然后采用轮廓滤除法，滤除鸟瞰图中的较小的区域，并采用形态学操作，先膨胀再腐蚀，进一步滤除路面以及路旁的干扰。

5.根据权利要求4所述的一种基于双目视觉的路沿检测方法，其特征在于，所述步骤S4具体包括以下步骤：

S41：在步骤S21得到外观特征的基础上，通过Canny边缘检测算法提取鸟瞰图中的边缘信息，并用多个线段的形式表示；然后，采用霍夫变换对处理后的鸟瞰图进行线段检测；同时，采用直方图对鸟瞰图的下半部分，即靠近车前方区域的像素进行统计，选取左右两个峰值位置为路沿的候选位置，然后对应到霍夫变换中检测到的线段，得到左右路沿候选区域；

S42：根据步骤S22中得到的几何特征进一步滤除误检点，筛选出左右路沿；将左右路沿分别进行离散，然后将离散后的点集合并，再通过最小二乘法拟合成左右两条路沿线。

6.根据权利要求5所述的一种基于双目视觉的路沿检测方法，其特征在于，所述步骤S5具体包括以下步骤：

S51：将筛选出的路沿通过逆透视变换转到原图中，求取其对应的消失点，并采用卡尔曼滤波对路沿进行跟踪，采用消失点对跟踪结果进行修正；

S52：将每帧路沿的跟踪结果反馈至下一帧的检测结果中，在检测算法中加入跟踪反馈轨迹，将其进行有效融合，以此迭代循环，从而进一步滤除路沿误检点，得到最终检测结果，完成路沿检测。