CN111401150A - 一种基于实例分割和自适应变换算法的多车道线检测方法 - Google Patents

Abstract

本发明公开了一种基于实例分割和自适应变换算法的多车道线检测方法，包括步骤1、选取Culane车道线数据集，作为实例分割网络训练的训练数据集及验证数据集。步骤2、设计分支的多任务实例分割模型，用于车道线的实例分割；步骤3、对步骤2实例分割结果进行自适应透视变换，确定实例分割结果对应的鸟瞰图像；步骤4、在鸟瞰图视图上对车道线像素点进行拟合，并将拟合后的曲线回归到原始图片中，实现多车道线检测。本发明将车道线检测问题转化为车道线实例分割问题，设计的分支多任务网络，既有参数少、提取特征能力强、收敛速度快的优势；出的自适应透视变换模型，可以在摄像机运动下通过运动信息将相机图像精确地转换为鸟瞰图图像。

Description

一种基于实例分割和自适应变换算法的多车道线检测方法

技术领域

本发明属于智能汽车感知领域，具体地指一种基于实例分割和自适应变换算法的多车道线检测检测方法。

背景技术

智能车是一个包括感知、决策及控制的复杂系统，环境感知是路径规划和决策控制的重要前提，基于摄像头的车道线检测是环境感知的关键内容之一，对于车道偏离预警、车道保持等ADAS系统开发以及自主驾驶的路径规划具有重要影响。

传统的车道线检测大体包括两大类，基于车道特征的检测算法，一般利用车道线的颜色、纹理、几何特征，而后区分车道线与其他区域；基于车道模型检测算法，通常对车道线建立先验模型，而后区分车道线与其他区域。

基于深度学习的车道线检测算法则通过神经网络学习对象特征，对车道线的特征有着更加抽象、全面的描述。常采用精确定位的分割算法提取车道线的像素点，并对像素点进行拟合处理。

发明内容

本发明的目的是解决传统车道线检测算法由于道路场景变化导致鲁棒性差，且大多数算法仅限于检测预定义、固定数量的车道线或仅可检测当前车道的左右车道线等问题。提供了一种基于实例分割和自适应变换算法的多车道线检测方法，通过设计的多任务网络对车道线实例分割，对分割结果进行自适用透视变换，使用最小二乘法二阶多项式对车道线像素点拟合，精确实现各类复杂交通场景下的多车道实时检测。为达到以上目的，本发明采用的技术方案是：基于实例分割和自适应变换算法得多车道线检测方法，该方法包括以下步骤：

步骤1、选取Culane车道线数据集，作为实例分割网络训练的训练数据集及验证数据集。

步骤2、设计分支的多任务网络，用于车道线的实例分割。

步骤3、对步骤2实例分割结果进行自适应透视变换，确定实例分割结果对应的鸟瞰图像。

步骤4、在鸟瞰图视图上对车道线像素点进行最小二乘法二阶多项式拟合，并将拟合后的曲线回归到原始图片中，实现多车道线检测。

本发明与现有技术相比，具有如下优点的有益效果：

1.本发明提出的基于实例分割和自适应变换算法的多车道线检测方法，可以直接集成到ROS(Robot Operating Systems)平台，直接对采集的数据实时检测。

2.本发明将车道线检测问题转化为车道线实例分割问题，设计的分支多任务网络，既有参数少、提取特征能力强、收敛速度快的优势。

3.传统的透视变换模型的变换矩阵是固定的，只适合应用在平滑道路上。当在车辆行驶产生运动颠簸时，摄像头俯仰角会产生显著变化，导致图像会运动扭曲，直接影响鸟瞰图的生成。本发明提出的自适应透视变换模型，可以在摄像机运动下通过运动信息将相机图像精确地转换为鸟瞰图图像。

附图说明

图1是车道线实例分割网络的编码-解码结构图；

图2是世界坐标系、摄像头坐标系与图像像素坐标系间的关系图；

图3是自适应透视变换模型的侧视图结构；

图4是自适应透视变换模型的俯视图结构；

图5是基于实例分割和自适应变换算法的多车道线检测方法的流程图；

具体实施方式

下面结合附图对本发明作进一步说明。

本发明提出的一种基于实例分割和自适应变换算法的多车道线检测方法，在应用过程中，通过设计的分支的多任务网络对Culane训练数据集训练，并采用训练好的车道线实例分割模型实现不同车道线像素点检测，通过自适用透视变换模型获得鸟瞰视图的像素点集合，并采用最小二乘法二阶多项式对像素点拟合，实现多车道线的检测。如图5所示，本发明包括如下步骤：

步骤1，选取车道线训练数据集及验证数据集

本发明使用Culane车道线检测数据集，采集的车道线场景有9种：正常、拥挤、夜间、无车道线、阴影遮挡、箭头影响、强光照、弯曲车道线、十字路口。共有88880张图片作为训练集，9675张图片作为验证集。对于车辆或其他阴影遮挡车道线的情况，该数据集能够根据其他信息贯穿障碍物进行标注，保证了最终的训练结果对车辆遮挡或看不见车道线有更好的鲁棒性。在输入实例分割模型之前，将图像尺寸裁剪为512*256。

步骤2.搭建分支的多任务实例分割模型，用于车道线实例分割

实例分割模型由两部分组成，为提高计算速度以及车道线分割准确率，两部分共享前四段编码过程。图1是实例分割模型的深度学习网络的编码-解码结构，具体的模型设计如下：编码网络模型采用VGG16网络结构前四层的卷积层和池化层，输出特征层大小为32*16，维度为512。解码第一部分与第二部分前四层是2x上采样，特征层维度不断下降，因为在编码过程中的语义特征信息较少，车道线位置准确，而解码过程中的语义特征信息比较丰富，车道线位置信息比较粗略，所以在解码时融合其对应编码的信息，最终解码第一部分输出维度为2，确定像素点属于车道线像素点或背景像素点，解码第二部分输出维度为64，确定每个像素点对应的向量值。

第一部分实现车道语义分割以得到车道线的二值图，表示哪些像素点属于车道线，哪些不属于车道线并将这些像素点连接在一起，因此即使车道线被车辆、阴影遮挡或是虚线，都可以准确地预测到车道线的位置。本发明采用标准的交叉熵损失函数进行训练。由于车道线像素点与背景像素点极度不均衡，对车道像素点与背景像素点分别设置权重β，公式如下：

其中，n为车道像素点或背景像素点的个数；m为总的像素点个数。

第二部分实现车道线id分配以确定哪些像素点属于同一条车道线。首先编码器输出每一个像素点对应的向量值，因为同一车道线的像素点的向量距离接近，不同车道线像素点的向量距离较大，根据此特点对像素进行聚类确定哪些像素点属于同一条车道线。损失函数L由L₁和L₂两部分组成，其中L₁的目的是根据嵌入的像素点向量值将属于同一条车道线的像素点往中心点聚类，L₂的目的是根据嵌入的像素点向量值将不属于一条车道线的像素点尽量远离，聚类损失函数：

其中，N为车道线的数量；N_c为每条车道线像素点数量；μ_i和μ_j为不同车道线每个像素点嵌入的向量值；μ为每条车道线所有像素点嵌入的均值向量值。

其次，进行推理：采取DBSCAN聚类算法对每个像素点进行聚类，本发明以簇中心为圆心，半径大小取0.28，域内最少点的数量取180进行聚类，直到将所有的车道线像素分配给对应的车道。所述DBSCAN聚类算法设计如下：

步骤1，将车道线像素点集合表示如下：

D＝{d₁,d₂,…,d_n}

其中d_{i＝{1,2,…,n}}为每个车道线像素点；

步骤2，设置DBSCAN聚类算法的参数，针对输入图像尺寸为640*480，根据经验值，选取给定点在领域内成为核心对象的最小领域点数为180、领域半径为0.28，检测车道线像素点尚未检查过的对象p(即p未归为某个簇或噪声)，则检查其领域，若包含的车道线像素点数大于180，建立车道线像素点新簇C，将其中所有车道线像素点的点加入候选集N；

步骤3，对候选集N中所有尚未被处理的对象q，检查其邻域，若至少包含180车道线像素点，则将这些车道线像素点加入N；如果q未归入任何一个簇，则将q加入C；

步骤4，重复步骤3的步骤，继续检查候选集N中为处理的车道线像素点，直到所有的车道线像素点被处理；

步骤5，重复步骤2-4，直到所有车道线像素点D都归入了某个簇或标记为噪声。

步骤3.对步骤2实例分割结果进行自适应透视变换，确定实例分割结果对应的鸟瞰图像。

本发明提出自适应透视变换模型，可以在摄像机运动下通过运动信息将相机图像精确地转换为鸟瞰图图像。如图2可知，像素点在摄像头坐标系表示为：

其中，c(u)、r(v)为像素点在摄像头坐标系的坐标位置，u、v为像素点在图像坐标系的坐标位置，K为摄像机坐标系与图像像素坐标系与之间转换比例因子；m为图像的宽；n为图像的长。

如图3是自适应透视图的侧视图结构，可得像素点(u、v)在世界坐标系下X坐标轴位置可以写成像素点v、θ₀和θ_b的函数：

X(v,θ_b)＝hcot(θ₀+θ_b+θ(v))

其中，θ₀为摄像机的倾斜角；θ_b为摄像机颠簸运动时俯仰角的变化值；θ(v)为地面像素点v与摄像头之间的角度值；α为摄像头垂直视场角度的一半；f_r为摄像头垂直焦距；h为摄像头坐标系原点与世界坐标系原点垂直距离。

如图4是自适应透视图的俯视图结构，可得像素点(u、v)在世界坐标系下Y(u,v,θ_b)坐标轴位置可表示为：

其中，β为摄像头水平视场角度的一半；f_h为摄像头水平焦距。

假设Z＝0，当在车辆行驶产生运动颠簸时，摄像头俯仰角θ_b变化时，根据世界坐标系、摄像头坐标系与像素点坐标系得到各项参数与世界坐标系下X、Y的关系，可以减少因图像运动扭曲对鸟瞰图像产生的影响，从而获得针对摄像机运动的更加鲁棒的自适应透视变换模型。

步骤4.基于步骤3自适应透视变换模型得到车道线像素点在鸟瞰图视角下的集合，并对该部分车道线像素点拟合。

本发明为了提高检测得精确度，采用最小二乘法二阶多项式拟合，模型表达式为：

y＝a+bx+cx²

其中，a、b、c为二阶多项式的系数，(x,y)表示车道线像素点在鸟瞰图图像中的坐标位置。

完成在鸟瞰图视图得到车道线拟合后，将拟合曲线回归到原始图片上，完成车道线检测。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于实例分割和自适应变换算法的多车道线检测方法，其特征在于，包括如下步骤：

步骤1、设计实例分割网络的训练数据集及验证数据集；

步骤2、设计分支的多任务实例分割模型，用于车道线的实例分割；

步骤3、对步骤2实例分割结果进行自适应透视变换，确定实例分割结果对应的鸟瞰图像；

步骤4、在鸟瞰图视图上对车道线像素点进行拟合，并将拟合后的曲线回归到原始图片中，实现多车道线检测。

2.根据权利要求1所述的一种基于实例分割和自适应变换算法的多车道线检测方法，其特征在于，所述步骤1的具体实现：使用Culane车道线检测数据集，采集的车道线场景包括正常、拥挤、夜间、无车道线、阴影遮挡、箭头影响、强光照、弯曲车道线、十字路口；利用88880张图片作为训练集，9675张图片作为验证集；对于车辆或其他阴影遮挡车道线的情况，该数据集能够根据其他信息贯穿障碍物进行标注。

3.根据权利要求2所述的一种基于实例分割和自适应变换算法的多车道线检测方法，其特征在于，将所述数据集内的图片尺寸设置为512*256。

4.根据权利要求1所述的一种基于实例分割和自适应变换算法的多车道线检测方法，其特征在于，所述步骤2中的多任务实例分割模型包含两部分：第一部分实现车道语义分割以得到车道线的二值图，表示哪些像素点属于车道线，哪些不属于车道线并将这些像素点连接在一起；第二部分实现车道线id分配以确定哪些像素点属于同一条车道线；实例分割模型采用深度学习网络的编码-解码结构。具体的模型设计如下：编码网络模型采用VGG16网络结构前四层的卷积层和池化层，输出特征层大小为32*16，维度为512；解码第一部分与第二部分前四层是2x上采样，特征层维度不断下降，在解码时融合其对应编码的信息，最终解码第一部分输出维度为2，确定像素点属于车道线像素点或背景像素点，解码第二部分输出维度为64，确定每个像素点对应的向量值。

5.根据权利要求4所述的一种基于实例分割和自适应变换算法的多车道线检测方法，其特征在于，针对第一部分，采用标准的交叉熵损失函数进行训练，针对车道线像素点与背景像素点极度不均衡，对车道像素点与背景像素点分别设置权重β，公式如下：

其中，n为车道像素点或背景像素点的个数；m为总的像素点个数。

6.根据权利要求4所述的一种基于实例分割和自适应变换算法的多车道线检测方法，其特征在于，所述实例分割模型的第二部分实现的具体方法为：

首先，编码器输出每一个像素点对应的向量值，针对同一车道线的像素点的向量距离接近、不同车道线像素点的向量距离较大，对像素进行聚类确定哪些像素点属于同一条车道线；损失函数L由L₁和L₂两部分组成，其中L₁用于根据嵌入的像素点向量值将属于同一条车道线的像素点往中心点聚类，L₂用于根据嵌入的像素点向量值将不属于一条车道线的像素点尽量远离，聚类损失函数设计如下：

其中，N为车道线的数量；N_c为每条车道线像素点数量；μ_i和μ_j为不同车道线每个像素点嵌入的向量值；μ为每条车道线所有像素点嵌入的均值向量值；

其次，进行推理：采取DBSCAN聚类算法对每个像素点进行聚类，以簇中心为圆心，半径大小取0.28，域内最少点的数量取180进行聚类，直到将所有的车道线像素分配给对应的车道；所述DBSCAN聚类算法设计如下：

步骤1，将车道线像素点集合表示如下：

D＝{d₁,d₂,…,d_n}

其中d_{i＝{1,2,…,n}}为每个车道线像素点；

步骤2，设置DBSCAN聚类算法的参数，针对输入图像尺寸为640*480，根据经验值，选取给定点在领域内成为核心对象的最小领域点数为180、领域半径为0.28，检测车道线像素点尚未检查过的对象p(即p未归为某个簇或噪声)，则检查其领域，若包含的车道线像素点数大于180，建立车道线像素点新簇C，将其中所有车道线像素点的点加入候选集N；

步骤3，对候选集N中所有尚未被处理的对象q，检查其邻域，若至少包含180车道线像素点，则将这些车道线像素点加入N；如果q未归入任何一个簇，则将q加入C；

步骤4，重复步骤3的步骤，继续检查候选集N中为处理的车道线像素点，直到所有的车道线像素点被处理；

步骤5，重复步骤2-4，直到所有车道线像素点D都归入了某个簇或标记为噪声。

7.根据权利要求1所述的一种基于实例分割和自适应变换算法的多车道线检测方法，其特征在于，所述步骤3中的自适应透视变换的模型如下：

将像素点在摄像头坐标系表示为：

其中，c(u)、r(v)为像素点在摄像头坐标系的坐标位置，u、v为像素点在图像坐标系的坐标位置，K为摄像机坐标系与图像像素坐标系与之间转换比例因子；m为图像的宽；n为图像的长；

根据像素点在摄像头坐标系的公式，将像素点(u、v)在世界坐标系下X坐标轴位置可以写成像素点v、θ₀和θ_b的函数：

X(v,θ_b)＝hcot(θ₀+θ_b+θ(v))

其中，θ₀为摄像机的倾斜角；θ_b为摄像机颠簸运动时俯仰角的变化值；θ(v)为地面像素点v与摄像头之间的角度值；α为摄像头垂直视场角度的一半；f_r为摄像头垂直焦距；h为摄像头坐标系原点与世界坐标系原点垂直距离。

根据像素点在摄像头坐标系的公式以及在世界坐标系下X坐标轴位置的公式，得出像素点(u、v)在世界坐标系下Y(u,v,θ_b)坐标轴位置的表示公式：

其中，β为摄像头水平视场角度的一半；f_h为摄像头水平焦距。

8.根据权利要求7所述的一种基于实例分割和自适应变换算法的多车道线检测方法，其特征在于，基于权利要求7所述的自适应透视变换模型得到车道线像素点在鸟瞰图视角下的集合，所述步骤4中的拟合方法采用最小二乘法二阶多项式拟合，拟合表达式为：y＝a+bx+cx²；

其中，a、b、c为二阶多项式的系数，(x,y)表示车道线像素点在鸟瞰图图像中的坐标位置。

Images