CN106529417A - 一种视觉激光数据融合的道路检测方法 - Google Patents

Abstract

本发明公开了一种视觉激光数据融合的道路检测方法，其特征在于，包括以下步骤：S1：通过摄像头采集图像数据，采用超像素分割将图像划分；S2：利用Adaboost原理对摄像头采集到的图像数据提取特征向量；S3：采用基于在线学习的方法检测道路区域；S4：使用形态学方法对检测结果进行优化；S5：利用激光与视觉数据的融合，将视觉当中检测结果映射到激光数据中，对检测结果进行校正；S6：在激光数据中构建三维的道路区域，并拟合出三维道路边界。本发明可随环境变化而自更新的分类器能够很好地适应天气、季节、光线等因素的改变，保证了算法的鲁棒性；采用激光与视觉融合技术，实现了道路检测结果与无人驾驶车导航的无缝集成。

Description

一种视觉激光数据融合的道路检测方法

技术领域

本发明具体涉及一种视觉激光数据融合的道路检测方法。

背景技术

作为如今科技发展的一个热点领域，智能技术已经惠及人类的方方面面。机器人技术作为智能技术的杰出代表，更是在经历了五十多年后的发展之后，逐渐成熟并走向商业化。

无人驾驶车一种典型的移动机器人，而道路检测作为无人驾驶车领域的一个研究热点，在过去十年里产生了很多相关成果。尽管有诸多方案的提出，基于模型和基于特征的方法，有监督和无监督的方法，但是有两个关键问题比较核心也颇具挑战性。

(1)非结构化环境存在道路种类较多，特征不稳定，容易因为光线、天气、季节等因素出现较大变化的特点，所以面向非结构化环境的无人驾驶车要具备适应环境变化的能力。

(2)道路检测最常用的传感器是摄像机，因而检测的结果通常是图像中的道路区域，但是图像本身不具备三维特征，所以仅仅只有图像中的区域，结果很难应用于无人驾驶车的实际导航需求中，也有使用激光传感器作为检测手段的算法，检测结果可以直接用于导航和路径规高划，但是激光数据的特征相对较少，因而检测精度和适应性的提高难度较大。

发明内容

本发明要解决的技术问题是提供一种视觉激光数据融合的道路检测方法。

一种视觉激光数据融合的道路检测方法，包括以下步骤：

S1：通过摄像头采集图像数据，采用超像素分割将图像划分为200个特征均匀的子图像；

S2：利用Adaboost原理对摄像头采集到的图像数据提取特征向量；

S3：采用基于在线学习的方法检测道路区域；

S4：使用形态学方法对检测结果进行优化；

S5：利用激光与视觉数据的融合，将视觉与激光坐标系统进行联合标定，从而将视觉当中检测结果映射到激光数据中，再利用激光数据的特征对检测结果进行校正；

S6：在激光数据中构建三维的道路区域，对属于道路区域的激光点，首先找出每条扫描线的两个端点的坐标，将这些端点按照现实中的空间位置关系分为左右两组，然后分别对每一组采用随机采样一致性(RANSAC)算法进行拟合，拟合出三维道路边界。

进一步的，所述超像素分割方法包括以下步骤：

S1-1：指定超像素数目，将图像均匀划分成S*S大小的方块并指定相应的聚类中心，该聚类中心为c_k＝[1_k，a_k，b_k，x_k，y_k]^T；

S1-2：在超像素中心的3×3领域内计算梯度值最小的像素点，将其作为新的超像素中心，对每一个像素点i，设定l(i)＝-1,d(i)＝∞；

S1-3：对每一个聚类中心c_k，在其2S×2S领域内计算每个像素点与c_k的距离，设为D，如果D<d(i)，则d(i)＝D，l(i)＝k，计算新的聚类中心并计算剩余误差E；

S1-4：重复S1-3，直到E小于设定的阈值，结束。

进一步的，利用Adaboost原理对摄像头采集到的图像数据提取特征向量的方法如下：

S2-1：确定候选特征集合如下表所示：

S2-2：针对选取的训练图片提取所有候选的特征，并加入代表其类别的标签信息，构成样本集合{(x₁，y₁)，(x₂，y₂)，…，(x，y_n)}，其中的x_i代表由候选特征构成的特征向量，y_i∈{0,1,2,3,4}为标签，代表该样本的类别，n是总的样本数，将最终的特征集合F初始化为φ，初始化样本的权值为w_i＝1/n，这样就构成来了完整的训练集{(x₁，y₁，w₁)，(x₂，y₂，w₂)，…，(x，y_n，w_n)}，将候选特征集合C初始化为所有五类特征；

S2-3：从候选特征中依次选择每一类与F中的特征共同构成选用的特征，利用Adaboost训练生成一个分类器并进行验证，得到对应的剩余误差ε_j，比较各个剩余误差的大小，并把对应误差最小的特征加入到F中，同时从C中删除这个特征；

S2-4：更新样本的权重为其中的e_i，如果样本分类正确则为0，分类错误则为1；归一化权重，

S2-5：重复S2-3和S2-4直到所有的候选特征都加入到F，结束算法。

进一步的，所述基于在线学习的道路检测方法如下：

S3-1：选择支持向量机(SVM)算法作为分类算法；

S3-2：每一类样本选择20张从互联网获取的图片，分辨率为200*100，训练分类器；

S3-3：分类器在线更新，从拍摄到的图像当中截取部分图像构成新样本，截取区域为中下方大小为160*80像素的区域；建立一个类别，只保存获取的新样本，新样本构成的类当中最多存放20张图片；当图片更新了10张时开始新的分类器训练；

S3-4：分类器数据精简，具体步骤如下：

(1)设最终的特征向量集合为F，初始化F为φ，初始化计数器C＝0；

(2)针对一类图片，依次取出其中的图片，按照不同的尺寸进行子图像划分并计算特征向量，第一个特征向量直接压入到F中，从第二个特征向量开始，利用如下公式：

来计算特征向量V与F中第C个到目前为止F中最后一个特征向量之间的距离，如果满足D≥T，则将V压入到F当中；

(3)更新C＝Sizeof(F)，重复(2)直到所有的类别都提取完毕，结束；

S3-5：利用训练生成的分类器进行分类，分类后的结果，将道路区染成白色，其它区染成黑色，就成了二值图。

进一步的，利用激光数据的特征对检测结果进行校正方法如下：

S5-1：将映射到激光数据里的道路区域定义为候选道路区域，将候选道路区域划分为30cm*30cm的子区域，对于任意子区域S_i(i∈{1,2,...,n})，假设这一区域共包含m个激光点，利用以下公式计算子区域的高程：

其中是子区域的高程，而E_j是每个激光点的高度值；

S5-2：利用以下判定条件判断此区域是否为道路区域：

其中H_max和H_min为给定的道路区域高程的上下界；

S5-3：将S_i中的三维激光点定义为{X_i}＝{(x_i,y_i,z_i)}，(i∈{0,1,2,...,n})，这些点的对称正定协方差矩阵定义为：

λ₀，λ₁，λ₂是矩阵的特征值，其中λ₀≥λ₁≥λ₂，而是对应的特征向量，其中的即是子区域的法向量，将此法向量与垂直向上的方向间的夹角定义为α，可以得到：

其中A_max和A_min为给定的道路区域法向量与竖直向上方向夹角的上下界；当且仅当和都为1时，S_i被最终确定为属于道路区域。

本发明的有益效果是：

(1)本发明在道路检测算法中利用固定样本实时采集到图片生成新的样本，在不间断分类运算的同时实现了分类器的实时在线更新，随环境变化而自更新的分类器能够很好地适应天气、季节、光线等因素的改变，保证了算法的鲁棒性；

(2)本发明采用激光与视觉融合技术，实现了从激光数据到视觉检测结果的实时映射，并利用激光数据的几何信息界定三维激光点云中的道路区域，采用随机采样一致性原理拟合出三维道路边界，实现了道路检测结果与无人驾驶车导航的无缝集成。

具体实施方式

以下具体实施例对本发明作进一步阐述，但不作为对本发明的限定。

一种视觉激光数据融合的道路检测方法，包括以下步骤：

S1：通过摄像头采集图像数据，采用超像素分割将图像划分为200个特征均匀的子图像；超像素分割方法包括以下步骤：

S1-1：指定超像素数目，将图像均匀划分成S*S大小的方块并指定相应的聚类中心，该聚类中心为c_k＝[1_k，a_k，b_k，x_k，y_k]^T；

S1-2：在超像素中心的3×3领域内计算梯度值最小的像素点，将其作为新的超像素中心，对每一个像素点i，设定l(i)＝-1,d(i)＝∞；

S1-3：对每一个聚类中心c_k，在其2S×2S领域内计算每个像素点与c_k的距离，设为D，如果D<d(i)，则d(i)＝D，l(i)＝k，计算新的聚类中心并计算剩余误差E；

S1-4：重复S1-3，直到E小于设定的阈值，结束。

S2：利用Adaboost原理对摄像头采集到的图像数据提取特征向量，方法如下：

S2-1：确定候选特征集合如下表所示：

S2-2：针对选取的训练图片提取所有候选的特征，并加入代表其类别的标签信息，构成样本集合{(x₁，y₁)，(x₂，y₂)，…，(x，y_n)}，其中的x_i代表由候选特征构成的特征向量，y_i∈{0,1,2,3,4}为标签，代表该样本的类别，n是总的样本数，将最终的特征集合F初始化为φ，初始化样本的权值为w_i＝1/n，这样就构成来了完整的训练集{(x₁，y₁，w₁)，(x₂，y₂，w₂)，…，(x，y_n，w_n)}，将候选特征集合C初始化为所有五类特征；

S2-3：从候选特征中依次选择每一类与F中的特征共同构成选用的特征，利用Adaboost训练生成一个分类器并进行验证，得到对应的剩余误差ε_j，比较各个剩余误差的大小，并把对应误差最小的特征加入到F中，同时从C中删除这个特征；

S2-4：更新样本的权重为其中的e_i，如果样本分类正确则为0，分类错误则为1；归一化权重，

S2-5：重复S2-3和S2-4直到所有的候选特征都加入到F，结束算法。

S3：采用基于在线学习的方法检测道路区域，方法如下：

S3-1：选择支持向量机(SVM)算法作为分类算法；

S3-2：每一类样本选择20张从互联网获取的图片，分辨率为200*100，训练分类器；

S3-3：分类器在线更新，从拍摄到的图像当中截取部分图像构成新样本，截取区域为中下方大小为160*80像素的区域；建立一个类别，只保存获取的新样本，新样本构成的类当中最多存放20张图片；当图片更新了10张时开始新的分类器训练；

S3-4：分类器数据精简，具体步骤如下：

(1)设最终的特征向量集合为F，初始化F为φ，初始化计数器C＝0；

(2)针对一类图片，依次取出其中的图片，按照不同的尺寸进行子图像划分并计算特征向量，第一个特征向量直接压入到F中，从第二个特征向量开始，利用如下公式：

来计算特征向量V与F中第C个到目前为止F中最后一个特征向量之间的距离，如果满足D≥T，则将V压入到F当中；

(3)更新C＝Sizeof(F)，重复(2)直到所有的类别都提取完毕，结束；

S3-5：利用训练生成的分类器进行分类，分类后的结果，将道路区染成白色，其它区染成黑色，就成了二值图。

S4：使用形态学方法对检测结果进行优化；

S5：利用激光与视觉数据的融合，将视觉与激光坐标系统进行联合标定，从而将视觉当中检测结果映射到激光数据中，再利用激光数据的特征对检测结果进行校正，校正方法如下：

S5-1：将映射到激光数据里的道路区域定义为候选道路区域，将候选道路区域划分为30cm*30cm的子区域，对于任意子区域S_i(i∈{1,2,...,n})，假设这一区域共包含m个激光点，利用以下公式计算子区域的高程：

其中是子区域的高程，而E_j是每个激光点的高度值；

S5-2：利用以下判定条件判断此区域是否为道路区域：

其中H_max和H_min为给定的道路区域高程的上下界；

S5-3：将S_i中的三维激光点定义为{X_i}＝{(x_i,y_i,z_i)}，(i∈{0,1,2,...,n})，这些点的对称正定协方差矩阵定义为：

λ₀，λ₁，λ₂是矩阵的特征值，其中λ₀≥λ₁≥λ₂，而是对应的特征向量，其中的即是子区域的法向量，将此法向量与垂直向上的方向间的夹角定义为α，可以得到：

其中A_max和A_min为给定的道路区域法向量与竖直向上方向夹角的上下界；当且仅当和都为1时，S_i被最终确定为属于道路区域。

S6：在激光数据中构建三维的道路区域，对属于道路区域的激光点，首先找出每条扫描线的两个端点的坐标，将这些端点按照现实中的空间位置关系分为左右两组，然后分别对每一组采用随机采样一致性(RANSAC)算法进行拟合，拟合出三维道路边界。

Claims (5)

1.一种视觉激光数据融合的道路检测方法，其特征在于，包括以下步骤：

S1：通过摄像头采集图像数据，采用超像素分割将图像划分为200个特征均匀的子图像；

S2：利用Adaboost原理对摄像头采集到的图像数据提取特征向量；

S3：采用基于在线学习的方法检测道路区域；

S4：使用形态学方法对检测结果进行优化；

S5：利用激光与视觉数据的融合，将视觉与激光坐标系统进行联合标定，从而将视觉当中检测结果映射到激光数据中，再利用激光数据的特征对检测结果进行校正；

S6：在激光数据中构建三维的道路区域，对属于道路区域的激光点，首先找出每条扫描线的两个端点的坐标，将这些端点按照现实中的空间位置关系分为左右两组，然后分别对每一组采用随机采样一致性(RANSAC)算法进行拟合，拟合出三维道路边界。

2.根据权利要求1所述的道路检测方法，其特征在于，所述超像素分割方法包括以下步骤：

S1-1：指定超像素数目，将图像均匀划分成S*S大小的方块并指定相应的聚类中心，该聚类中心为c_k＝[1_k，a_k，b_k，x_k，y_k]^T；

S1-2：在超像素中心的3×3领域内计算梯度值最小的像素点，将其作为新的超像素中心，对每一个像素点i，设定l(i)＝-1,d(i)＝∞；

S1-3：对每一个聚类中心c_k，在其2S×2S领域内计算每个像素点与c_k的距离，设为D，如果D<d(i)，则d(i)＝D，l(i)＝k，计算新的聚类中心并计算剩余误差E；

S1-4：重复S1-3，直到E小于设定的阈值，结束。

3.根据权利要求1所述的道路检测方法，其特征在于，利用Adaboost原理对摄像头采集到的图像数据提取特征向量的方法如下：

S2-1：确定候选特征集合如下表所示：

S2-2：针对选取的训练图片提取所有候选的特征，并加入代表其类别的标签信息，构成样本集合{(x₁，y₁)，(x₂，y₂)，…，(x，y_n)}，其中的x_i代表由候选特征构成的特征向量，y_i∈{0,1,2,3,4}为标签，代表该样本的类别，n是总的样本数，将最终的特征集合F初始化为φ，初始化样本的权值为w_i＝1/n，这样就构成来了完整的训练集{(x₁，y₁，w₁)，(x₂，y₂，w₂)，…，(x，y_n，w_n)}，将候选特征集合C初始化为所有五类特征；

S2-3：从候选特征中依次选择每一类与F中的特征共同构成选用的特征，利用Adaboost训练生成一个分类器并进行验证，得到对应的剩余误差ε_j，比较各个剩余误差的大小，并把对应误差最小的特征加入到F中，同时从C中删除这个特征；

S2-4：更新样本的权重为其中的e_i，如果样本分类正确则为0，分类错误则为1；归一化权重，

S2-5：重复S2-3和S2-4直到所有的候选特征都加入到F，结束算法。

4.根据权利要求1所述的道路检测方法，其特征在于，所述基于在线学习的道路检测方法如下：

S3-1：选择支持向量机(SVM)算法作为分类算法；

S3-2：每一类样本选择20张从互联网获取的图片，分辨率为200*100，训练分类器；

S3-3：分类器在线更新，从拍摄到的图像当中截取部分图像构成新样本，截取区域为中下方大小为160*80像素的区域；建立一个类别，只保存获取的新样本，新样本构成的类当中最多存放20张图片；当图片更新了10张时开始新的分类器训练；

S3-4：分类器数据精简，具体步骤如下：

(1)设最终的特征向量集合为F，初始化F为φ，初始化计数器C＝0；

(2)针对一类图片，依次取出其中的图片，按照不同的尺寸进行子图像划分并计算特征向量，第一个特征向量直接压入到F中，从第二个特征向量开始，利用如下公式：

来计算特征向量V与F中第C个到目前为止F中最后一个特征向量之间的距离，如果满足D≥T，则将V压入到F当中；

(3)更新C＝Sizeof(F)，重复(2)直到所有的类别都提取完毕，结束；

S3-5：利用训练生成的分类器进行分类，分类后的结果，将道路区染成白色，其它区染成黑色，就成了二值图。

5.根据权利要求1所述的道路检测方法，其特征在于，利用激光数据的特征对检测结果进行校正方法如下：

S5-1：将映射到激光数据里的道路区域定义为候选道路区域，将候选道路区域划分为30cm*30cm的子区域，对于任意子区域S_i(i∈{1,2,...,n})，假设这一区域共包含m个激光点，利用以下公式计算子区域的高程：

$E_{S_i}=\max \left(E_j\right),j\&Element;\{1,2,...,m\},$

其中是子区域的高程，而E_j是每个激光点的高度值；

S5-2：利用以下判定条件判断此区域是否为道路区域：

其中H_max和H_min为给定的道路区域高程的上下界；

S5-3：将S_i中的三维激光点定义为{X_i}＝{(x_i,y_i,z_i)}，(i∈{0,1,2,...,n})，这些点的对称正定协方差矩阵定义为：

$\frac{1}{N}{\mathrm{\&Sigma;}}_{=1}^N(X_i-\stackrel{\&OverBar;}{X}){(X_i-\stackrel{\&OverBar;}{X})}^T,\stackrel{\&OverBar;}{X}=\frac{1}{N}{\mathrm{\&Sigma;}}_{i=1}^N{X}_i,$

λ₀，λ₁，λ₂是矩阵的特征值，其中λ₀≥λ₁≥λ₂，而是对应的特征向量，其中的即是子区域的法向量，将此法向量与垂直向上的方向间的夹角定义为α，可以得到：

其中A_max和A_min为给定的道路区域法向量与竖直向上方向夹角的上下界；当且仅当和都为1时，S_i被最终确定为属于道路区域。