CN107463918A

CN107463918A - 基于激光点云与影像数据融合的车道线提取方法

Info

Publication number: CN107463918A
Application number: CN201710709073.1A
Authority: CN
Inventors: 黄玉春; 范佳; 张丽; 姜文宇; 谢荣昌; 彭淑雯; 张童瑶
Original assignee: Wuhan University WHU
Current assignee: Wuhan University WHU
Priority date: 2017-08-17
Filing date: 2017-08-17
Publication date: 2017-12-12
Anticipated expiration: 2037-08-17
Also published as: CN107463918B

Abstract

本发明涉及一种基于激光点云与影像数据融合的车道线提取方法，包括以下步骤：步骤1，对原始激光点云进行预处理，提取道路面点云，并对原始影像进行预处理，去除噪声、光照等影响；步骤2，从步骤1中提取出的道路面点云中提取道路边界的点云，利用车道线与道路边界的距离是一定的原理，确定车道线的点云位置；步骤3，对步骤2处理之后得到车道线点云与预处理之后的影像进行配准，粗略确定影像上的车道线大致位置；步骤4，在步骤3确定的影像区域内进行精确的车道线检测。本发明充分利用点云数据和影像数据各自的优势，更加精确和鲁棒的提取出车道线。

Description

基于激光点云与影像数据融合的车道线提取方法

技术领域

本发明属于多源数据融合处理与模式识别领域，涉及一种基于激光点云与影像数据融合的车道线提取方法。

背景技术

如今普遍通用的道路级地图数据已经不能满足一些高级驾驶辅助系统(ADAS)和智能车的需要，我们需要使用车道级的信息来辅助路径规划与决策。因而，车道线的提取在高精度地图的制作中就显得尤为重要。

在利用数字图像处理技术来进行车道线的提取这一块，国内外的研究层出不穷，从目前现有的较为成熟的提取方法来看，学者们大多运用基于HIS颜色空间的阈值分割算法和基于改进Hough变换的车道线检测算法，这类方法虽然已经发展地较为成熟，但鉴于实际道路情况的复杂性，车道线出现磨损的情况屡见不鲜，而在磨损的过程中车道线的颜色也非常容易与道路混淆，造成车道线检测率较低、误检、漏检的情况较多。

而在使用激光数据进行车道线检测这一块，已有的研究通常是结合激光点云的回波反射率、扫描角，以及量测距离等特征信息来提取道路标线的属性信息，采用最小二乘线性最优拟合算法对提取的标线点云进行拟合，生成道路标线的CAD轮廓线，实现道路标线的自动化识别，上述方案虽然都有一些初步的特征识别效果，但因其进行车道线检测时所遵循的思路较为单一，或仅关注某些理想条件下的情况，使得算法的通用性、准确性和鲁棒性都远远不够。当应用于实际复杂多变的道路情况，容易受到周围车辆遮挡、车道线磨损等难以避免的情况的干扰，并且单纯使用点云数据可能存在一些因沿途平坦而造成道路无法分离的情况，使得单纯利用激光点云数据往往不能得到较为精细和准确的车道线定位及检测提取效果。

发明内容

本发明的内容是基于多源数据融合的思想，提供了一种结合使用车载激光雷达获取的点云数据和CCD相机获取的影像数据融合处理的方法，来进行车道线的检测与提取，该方法从实际复杂的道路情况出发，综合考虑两种数据的优势与不足，可以更加准确、高效地进行车道线的检测提取，为高精度导航地图的制作提供一种获取更加精细的道路信息的方法，一种基于激光点云与影像数据融合的车道线提取方法，包括以下步骤：

步骤1，对原始激光点云进行预处理，提取道路面点云，对原始影像进行预处理，原始影像预处理包括图像分割、图像去噪和图像增强，去除噪声和光照的影响；

步骤2，从步骤1中提取出的道路面点云中提取道路边界的点云，利用车道线与道路边界的距离是一定的原理，确定车道线的点云位置；

步骤3，对步骤2处理之后得到车道线点云与预处理之后的影像进行配准，粗略确定影像上的车道线大致位置；

步骤4，在步骤3确定的影像区域内进行精确的车道线检测，实现方式如下

(1)步骤3确定的影像区域内进行Kirsch算法边缘检测，提取出影像中的边缘信息；

(2)采用基于HIS颜色空间的彩色图像分割算法对影像进行阈值分割，将提取边缘结果和阈值分割结果进行融合，得到最终二值化道路图像；

(3)采用Hough变换对二值化道路图像进行直线检测，确定车道线的精确位置；

(4)判断车道线的类别，即车道线的虚实属性；

(5)利用HIS颜色空间的彩色图像分割算法判断车道线的颜色属性，所述(4)和(5)的顺序不分先后。

进一步的，所述步骤2中提取道路边界的点云，具体实现如下，

首先定义扫描行上所有点的梯度为|△z|/|△x|，其中△z和△x分别表示激光坐标系下当前点与后一点的z差值和x差值，对梯度设定阈值，将大于该阈值且为非地面点的点保留下来，得到粗略的道路边界点云集合Q；

然后计算当前点与前一点的x坐标差值|△x1|，如果|△x1|小于点间距/2，将当前点放置同一集合类S1内，否则将当前点放于新建一集合类S2内，若当前点已有多个集合类S，则计算当前点与所有集合类S中首点的最小值|△x|_min，如果|△x|_min小于点间距/2，将当前点放置|△x|_min所对应的集合S_min内，否则将当前点放于新建一集合内；对集合Q中的所有点进行相同的操作，最终得到n个集合类S1～Sn，统计每个集合类的点数PTs＿Num，若PTs＿Num＜5，则将该集合类的所有点从集合Q中剔除；对保留下来的集合类进行一次管道滤波，即判断集合类中的当前点与相邻两点的平面夹角，将夹角接近于180°的点进行保留，否则将其从集合Q中剔除，从而得到最终的道路边界点云。

进一步的，所述步骤3的实现方式如下，

步骤3.1，利用张正友的平面标记法对单台面阵CCD相机进行标定；

步骤3.2，将激光点云坐标系转换到惯性坐标系，具体转化如下，

其中，[X2,Y2,Z2]^T为激光点云坐标系下的点坐标，[X3,Y3,Z3]^T为惯性坐标系下的点坐标，R₂₃和C₂₃分别为上述两坐标系相互转换的旋转矩阵和平移变量；

步骤3.3，将惯性坐标系转换到WGS-84坐标系，具体转化如下，

其中，[X3,Y3,Z3]^T为惯性坐标系下的点坐标，[X4,Y4,Z4]^T为WGS-84坐标系下的点坐标，R₃₄和C₃₄分别为上述两坐标系相互转换的旋转矩阵和平移变量；

步骤3.3，再将WGS-84坐标系转化到惯性坐标系，具体转换如下，

其中，[X3,Y3,Z3]^T为惯导坐标系下的点坐标，[X4,Y4,Z4]^T为WGS-84坐标系下的点坐标；R₄₃和C₄₃分别为上述两坐标系相互转换的旋转矩阵和平移变量；

步骤3.4，将惯性坐标系转化到CCD相机所在的相机坐标系，具体转换如下，

其中，[X1,Y1,Z1]^T为像空间辅助坐标系下的点坐标；[X3,Y3,Z3]^T为惯性坐标系下的点坐标；R₃₁和C₃₁分别为上述两坐标系相互转换的旋转矩阵和平移变量；

通过以上变换，车道线点云都有对应的二维坐标，从而粗略确定影像上的车道线大致位置。

进一步的，所述步骤4中判断车道线的类别的实现方式如下，

根据获取的车道线的精确位置，并将其扩展一小段距离作为类别的兴趣区域，对于每个兴趣区域，在影像的y方向建立统计直方图，统计该方向上产生的边缘对：表示单线特征，其中Ns表示单线在统计图中的分段数，Ws,j为相应单线的长度，表示双线特征,Nd表示双线在统计图中的分段数，Wd,j表示相应双线y轴尺度，得出如下特征量，

其中，W是指所有线段的y值的总和；判断车道线类别的规则如下，

根据上述特征量的取值判断出车道线的类别。

本发明从最原始的激光点云数据和CCD相机影像数据入手，经过上述一系列处理步骤后，可以对绝大部分道路的车道线做到快速、高效、准确地检测提取，本发明的技术特点如下：

首次基于多源数据融合的思想，完成了综合利用激光点云数据和影像数据来进行车道线检测提取的任务。由于受数据本身及道路实际条件的影响，单单使用某一种数据来获取准确信息存在很大困难。因此我们将点云与影像进行配准，使两种数据处于统一的坐标系下来结合使用。具体在车道信息提取时，先使用点云来分离道路面，并估计车道宽及车道线等属性。随后通过影像在估计的车道线位置附近进行检测来获取准确的车道线位置，类型等。结合国内外多篇文献中已经有的研究思路与算法，最终形成了一套利用扫描点高程进行点云过滤处理提取道路边线、利用CCD相机影像和全景影像进行车道线检测的算法流程，在提取道路边线的同时大致定位出车道线，利用影像分析进一步获取其精确的位置信息，具有快速、高效、准确、鲁棒等优点。

与现有技术相比，本发明的有益效果：本发明充分利用点云数据和影像数据各自的优势，更加精确和鲁棒的提取出车道线。另外可以同时获取车道线的三维点云坐标和二维影像坐标，用于高精度地图的制作。

附图说明

图1是本发明实施例中激光点云与影像配准流程图。

图2是本发明实施例中激光点云提取道路面及大致定位车道线流程图。

图3是本发明实施例中影像检测车道线流程图。

图4是本发明实施例中车道线检测的总体流程图。

具体实施方式

以下结合附图和实施例详细描述本发明的技术方案。

参见附图4，本发明实施例所提供的基于多源数据融合进行车道线检测的具体实施流程如下：

步骤一：数据预处理，这一步骤包括原始激光点云的预处理(目的是提取道路面点云)和图像的预处理，图像预处理又包括图像分割、图像去噪和图像增强，在图像分割环节需要提取出图像上感兴趣的部分(即车道线)，可以利用lidar数据和照片图像自身的特点来处理。

原始激光点云的预处理：首先，找到每组点云对应的轨迹点，利用轨迹点去除距离道路较远的干扰点，然后对剩余的点云进行网格化，在每个网格内计算高程的最大值和最小值，如果高程差小于给定的阈值0.05米，则认为是路面点，保存下来。总的来说包括两个方面：道路点云的提取(包括道路边上的路灯，路牌，护栏等)和道路面提取(只剩路面)。

图像预处理之图像分割：lidar点云数据可以反应出物体的深度信息，从点云数据中可以方便地分析出道路的边界，因为该处存在明显的高程梯度变化；另外再结合车载图像自身一般都是上半部分是天空背景等颜色的特点，可以限制统计出一个截取范围。在点云中提取出道路面点云之后，将这些点投影到影像上，会确定一个范围，为了防止点云投影到影像上的范围不准确，超出影像上的道路范围，所以也在影像上给出一个大致的范围，两个范围求交集，最终确定道路面在影像上的范围，从而得到所需要的区域图像。

图像预处理之图像去噪：对于采集的图像，容易受到内外环境的干扰，形成噪声信息，这些噪声信息夹杂在图像中，导致图像质量严重下降。因此需要我们对图像进行滤波。对图像进行滤波去噪有很多方法，在车载图像中，干扰主要以椒盐噪声为主。相比于其他滤波手段，中值滤波对于椒盐噪声有很好的滤过性，另外它能够克服边缘模糊的现象，能够较好的保存原图像轮廓信息，而且具有较好的实时性。

图像预处理之图像增强：不同光强对车道影像的影响是很大的。在弱光的情况下，目标和背景对比度不大，导致车道线不够清晰；而在强光的情况下，车道线与路面对比度也严重失衡，有的甚至在道路的尽头出现全白的路面，使得图像的有用信息无法准确地提取出来；为了解决这种图像质量问题，对弱光图像进行灰度拉伸，对强光图像，则采用灰度均衡化的方法。灰度拉伸的常用公式如下：

其中，0-255是指灰度级，x表示某个点的灰度值，x₁,y₁,x₂,y₂是自定义的，根据需要给定灰度值。对于强光灰度均值高的图像，灰度均衡化算法能够把原始图形的直方图变换为均匀分布的形式，这样就增加了像素灰度值的动态范围从而达到了增强整体对比度的效果。设原始图像某像素灰度为i,通过灰度均衡化后的灰度为y，映射函数f(i)定义为：

y＝f(i)＝S(i)*L/(H*W)

其中Nj是指某个灰度值的数量,比如要计算灰度值90的S(90)，则S(90)＝N(0)+…+N(90),N(0)就表示图像中灰度值为0的像素的个数；H为图像高度，W为图像宽度，L是选定的灰度范围，本实施例中灰度范围为[0,255]，则L＝255-0＝255。

步骤二：从步骤1中提取出的道路面点云中提取道路边界的点云，利用车道线与道路边界的距离是一定的原理，确定车道线的点云位置，如图2所示；

首先计算扫描行上所有点的梯度，这里的梯度定义为：|△z|/|△x|，△z和△x分别表示激光坐标系下当前点与后一点的z差值和x差值。对梯度设定阈值，将大于该阈值且为非地面点(地面点的Z值都是近似相等的，所以△z很小，非地面点的△z较大)的点保留下来，得到粗略的道路边界点。为能简化生成路边线，在路肩水平面上只需一个点即可，这就需要对上面保留下来的同一扫描行上的点进行邻域取低点处理，若当前点与其相邻点的|△x|小于0.5m，则剔除高程较大的那个点，依次判断扫描线上的其他点。由于道路一般是固定宽度的，所以路边线点的激光扫描坐标x(相对于车)基本是不变的。

基于这一原理，对上面得到的激光点集合Q(即得到的粗略道路边界点)按激光扫描坐标x进行聚类，具体方法为：计算当前点与前一点的x坐标差值|△x1|，如果|△x1|小于点间距/2，其中，点间距利用欧式距离公式得到，即两点的距离公式进行计算，即将当前点放置同一集合类S1内，否则将该点放于新建一集合类S2内，若当前点已有多个集合类S，要计算当前点与所有集合类S中的首点的|△x|最小值|△x|_min，同理，如果|△x|_min小于点间距/2，将该点放置|△x|_min所对应的集合S_min内，否则将该点放于新建一集合类内。对激光点集合Q中的所有点进行相同的操作，最终得到n个集合类S1～Sn。统计每个集合类的点数PTs＿Num，若PTs＿Num＜5，则将该集合类的所有点从激光点集合Q中剔除，以上即为聚类分析的具体实现过程。对保留下来的集合类再进行一次管道滤波，所谓管道滤波，就是判断集合类中的当前点与相邻两点的平面夹角，只有夹角接近于180°时，才将该点保留，否则将其从激光点集合Q中剔除，经过上述精提取得到的激光点集合Q即为最终的道路边界点。因为车道线与道路边界的距离是一定的，所以找到道路边界之后，可以根据国标中的规定距离，可以确定车道线的点云位置。

步骤三：影像与点云配准，如图1所示，这一步骤具体又分为面阵CCD相机校正、建立激光点云坐标系到CCD相机坐标系下转换。

由于CCD相机为非量测工业相机，其成像存在较大的畸变，因此先利用张正友的平面标记法对单台面阵CCD相机进行标定以获取其内方位元素和畸变参数。具体步骤如下：

(1)对全景相机的每一个镜头，采用平面棋盘格作为标定物，获取不同视角下的多张图像。

(2)利用Harris算子进行影像特征点的提取。

(3)在不考虑径向及切向畸变的情况下，利用旋转矩阵的正交性，求解相机的内参数(f,x0,y0)，其中f是主距，是指摄影机中心到影像的像主点的垂直距离，(x0,y0)就是像主点。

(4)利用最小二乘法估算相机的径向和切向畸变系数(k1,k2,p1,p2)，并利用最大似然估计原则整体优化所有参数，包括相机的内参数和径向、切向畸变系数。

CCD相机的像空间辅助坐标系是以车辆摄像头为坐标原点o，以航向为Y轴的右手直角坐标系。而激光点云坐标系除了是以激光探头为原点之外，其它建立坐标系的方式与CCD相机的建系方式相同。由于车辆上的各个传感器是固定不变的，因此，CCD相机与激光传感器的位置也是相对固定的。由于获取的原始点云本身是激光坐标系中的坐标，需要先将其转化到惯性导航坐标系，然后从惯性导航坐标系转化到WGS-84坐标系，再将WGS-84坐标系转化到CCD相机坐标系下，具体转换关系如下：

因为激光点云坐标系也是自定义坐标系，所以还需要借助车辆惯导坐标系将激光点云坐标系转化为WGS-84坐标系。因为移动测量系统各传感器进行了严格标定，也就是说各传感器的相对位置是固定的，其相互间进行坐标转换的旋转矩阵和平移矩阵是一定的。具体转化如下：

上式为激光点云坐标系到惯性坐标系的转化，其中[X2,Y2,Z2]^T为激光点云坐标系下的点坐标；[X3,Y3,Z3]^T为惯导坐标系下的点坐标；R₂₃和C₂₃分别为上述两坐标系相互转换的旋转矩阵和平移变量。

上式为惯性坐标系到WGS-84坐标系的转化，其中[X3,Y3,Z3]^T为惯导坐标系下的点坐标；[X4,Y4,Z4]^T为WGS-84坐标系下的点坐标；R₃₄和C₃₄分别为上述两坐标系相互转换的旋转矩阵和平移变量。

然后再从WGS-84坐标系转化到惯性导航坐标系，从惯性导航坐标系转化到相机所在的相机坐标系，

上式为WGS-84坐标系到惯性坐标系的转化，其中[X3,Y3,Z3]^T为惯导坐标系下的点坐标；[X4,Y4,Z4]^T为WGS-84坐标系下的点坐标；R₄₃和C₄₃分别为上述两坐标系相互转换的旋转矩阵和平移变量。

其中，[X1,Y1,Z1]^T为像空间辅助坐标系下的点坐标；[X3,Y3,Z3]^T为惯性导航坐标系下的点坐标；R₃₁和C₃₁分别为上述两坐标系相互转换的旋转矩阵和平移变量。

由于车载系统经过严格标定，所以矩阵R₂₃、R₃₄、R₄₃、R₃₁、C₁₂、C₂₃、C₃₄、C₄₃、C₃₁都是已知的，那么这样一来，就可以将WGS-84坐标系转化到CCD相机坐标系下。CCD相片中的物体有了对应的三维点坐标信息，就可以利用这些三维信息来提取出道路、车道边缘等信息，并且可以精准地定位车道线的三维坐标。根据步骤二中车道线点云位置，将车道线的点云投影到预处理之后的影像上，所有的点云都有对应的二维坐标，那么也可以在影像上确定出车道线的大致位置。

步骤四：然后在步骤3确定的影像区域内进行精确的车道线检测，其中精确的车道线检测包括边缘提取、图像二值化处理、确定车道线的虚实属性和颜色属性，如图3所示。

边缘提取、图像二值化处理：在完成了影像的预处理工作之后，需进行边缘提取及图像二值化的工作，提取图像边缘的算法有很多，如Sobel算法、Canny算法、和Kirsch算法。在对实际图像进行处理对比之后，发现Kirsch算法边缘检测效果非常好，能完整的提取出图像中的边缘信息，并抑制非目标特征，图像边缘轮廓清晰。边缘提取之后，再进行道路图像阈值分割，采用基于HIS颜色空间的彩色图像分割算法。HIS颜色空间的彩色图像分割算法实现方式为，首先将RGB彩色图转换到HIS颜色空间，然后单独提取H、I、S分量，建立相应的二维直方图，针对直方图进行操作，最后将三个分量的空间分割结果进行融合处理。算法的具体步骤是首先针对S和I分量建立其直方图信息，结合OTSU阈值分割算法和阈值限定条件，选取OTUS最佳阈值和限定阈值当中的较大的值作为最终图像分割阈值，来获取S和I分量处理图像，并将两个分割结果进行融合处理，以得到图像中的白色线信息(满足I>0.8,S趋近于0)，然后从H和S分量中提取满足条件H(i,j)>30&&I(i,j)<50&&S(i,j)>85的黄色信息，其中i,j指的是某个像素的x,y坐标；该算法相比于单纯的OTSU算法效果更好，可以滤除更多的背景信息，提取出目标信息更加完整，而且对于不同的天气状况和环境条件(a为阴天，b为晴天)更具有自适应性，算法鲁棒性更强。

最后，将边缘提取和阈值分割结果进行融合(对应图4中车道线复原)确定出车道线的精确位置。边缘图像包含丰富的细节但是却容易出现边界信息断裂的情况。因此，先采用膨胀算法，将断裂边界补齐，之后再用填充操作对膨胀后的图像进行处理，处理完成后再进行边缘图像和阈值分割图像的融合，得到最终二值化道路图像(车道线所在的位置赋值255呈白色，其他位置赋值0呈黑色)。

确定车道线的虚实属性和颜色属性：在得到二值化道路图像之后需进行车道线类型检测和颜色提取，在对二值化的图像进行车道线检测时，因为行车线具有较为明显的直线特征，可以采用鲁棒性较好的Hough变换对其进行检测。Hough直线变换简单来说就是指将平面上任意一条直线表达成极坐标(ρ，θ)的形式。如下所示：

ρ＝x cosθ+y sinθ

其中，x和y分别表示影像坐标系下的x,y坐标值，ρ是原点到直线的距离，θ为原点到该直线的垂线和x轴的夹角。

根据环视系统帧率为20帧/秒，所以车道线在每一帧的图像中位置变化不大，根据这一特性以及车道线平行、宽度固定这两个假设下候选直线检查；再进行车道线类型识别得过程中，根据获取的车道线的精确位置，并将其扩展一小段距离作为类别的兴趣区域。对于每个兴趣区域，在图像的y方向建立统计直方图，统计该方向上产生的边缘对表示单线特征(Ns为单线在统计图中的分段数，Ws,j为相应单线的长度)，表示双线特征,Nd表示双线在统计图中的分段数，Wd,j表示相应双线y轴尺度，可以得出如下几个重要的特征量：

其中，W是指所有线段的y值的总和，根据上述的几个特征量便可进行车线分析。若为单实线，Rs应当接近1，Rd为0；若是虚线，Rs和Rd应大于一定的阈值；若f过大，则可能受到噪声的干扰。具体规则如下：

检验出车道线所在的位置后，对于车道的颜色信息，可以根据前面基于HIS颜色空间分割算法所推导出的条件，即可分辨出车道线是黄色还是白色。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims

1.一种基于激光点云与影像数据的车道线提取方法，其特征在于，包括如下步骤：

(4)判断车道线的类别，即车道线的虚实属性；

2.如权利要求1所述的一种基于激光点云与影像数据的车道线提取方法，其特征在于：所述步骤2中提取道路边界的点云，具体实现如下，

3.如权利要求2所述的一种基于激光点云与影像数据的车道线提取方法，其特征在于：所述步骤3的实现方式如下，

步骤3.3，将惯性坐标系转换到WGS-84坐标系，具体转化如下，

4.如权利要求3所述的一种基于激光点云与影像数据的车道线提取方法，其特征在于：所述步骤4中判断车道线的类别的实现方式如下，

<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>R</mi> <mi>s</mi> <mo>=</mo> <mfrac> <mrow> <msubsup> <mi>&Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mrow> <mi>N</mi> <mi>s</mi> </mrow> </msubsup> <mi>W</mi> <mi>s</mi> <mo>,</mo> <mi>j</mi> </mrow> <mi>W</mi> </mfrac> </mrow> </mtd> <mtd> <mrow> <mi>R</mi> <mi>d</mi> <mo>=</mo> <mfrac> <mrow> <msubsup> <mi>&Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mrow> <mi>N</mi> <mi>d</mi> </mrow> </msubsup> <mi>W</mi> <mi>d</mi> <mo>,</mo> <mi>j</mi> </mrow> <mi>W</mi> </mfrac> </mrow> </mtd> <mtd> <mrow> <mi>f</mi> <mo>=</mo> <mi>N</mi> <mi>s</mi> <mo>+</mo> <mi>N</mi> <mi>d</mi> </mrow> </mtd> </mtr> </mtable> </mfenced>

根据上述特征量的取值判断出车道线的类别。