CN117496467A - 基于单目相机和3d lidar融合的异形车道线检测方法 - Google Patents

Abstract

本发明公开了一种基于单目相机和激光雷达融合的异形车道线检测方法，包括：S1，对相机和雷达进行联合标定，建立点云坐标系和图像坐标系之间的转化矩阵；S2，利用点云分割方法确认点云强度值并校准，将校准后的点云强度值投影到S1建立的转化矩阵中，得到强度特征图像，通过检测所述强度特征图像的不同灰度值提取异形车道线；S3，基于YOLOV5的图像分割：将RGB图像输入YOLOv5检测框架，检测车道线；S4，通过S1建立的所述对应关系，将S3得到的点云映射到S2得到的图像上，利用大津法进行目标细化，实现基于单目相机和激光雷达融合的异形车道线检测。该方法对数据集的依赖性较低，其鲁棒性和检测准确度高。

Description

基于单目相机和3D LIDAR融合的异形车道线检测方法

技术领域

本发明涉及异形车道线检测领域，具体涉及一种基于单目相机和3D LIDAR融合的异形车道线检测方法。

背景技术

自动驾驶汽车(AVs)的精确定位对公共驾驶安全至关重要。自动驾驶汽车可能会发生一系列定位和路线规划操作不准确的灾难性行为，如在道路对面行驶或非法改变车道。为了帮助这些自主机器人精确地感知世界并实现可靠的环境感知，自动驾驶通常使用多个传感器，包括相机、无线电检测和测距雷达等。

传统车道线检测一般采用照相机和激光雷达传感器来识别道路的信息。照相机与激光雷达相比成本更低，并且能够获得各种类型的信息，包括道路信息。然而，照相机容易受到光照条件的影响，难以获得准确的度量信息。由于激光雷达传感器通过反射光来测量距离，因此传感器能够测量与物体的精确距离。但是，激光雷达并不能准确地测量表面的强度值。一般来说，激光雷达通过反射光的量来计算强度值，这取决于实际的表面反射率值、与表面的距离和入射角。因此，采用激光雷达和图像融合的方法可以提高检测的正确率。

目前的车道线检测方法可分为深度学习的方法与传统方法两大类。基于深度学习的车道线检测方法大多依赖于复杂的结构设计及海量的训练数据。而使用传统方法检测车道线时，针对较复杂的曲线，容易出现漏检情况。因此，现有的方法实现鲁棒的异形车道线检测仍然是一个具有挑战性的问题。

发明内容

为了克服上述现有技术的不足，本发明提供一种基于单目相机和3D LIDAR融合的车道线检测方法。

为此，本发明采用以下技术方案：

一种基于单目相机和激光雷达融合的异形车道线检测方法，包括以下步骤：

S1，对相机和雷达进行联合标定，建立点云坐标系和图像坐标系之间的转化矩阵M；

S2，基于点云强度的异形车道线提取：利用点云分割方法确认点云强度值并校准，将校准后的点云强度值投影到S1建立的转化矩阵M中，得到强度特征图像，通过检测所述强度特征图像的不同灰度值提取异形车道线；

S3，基于YOLOV5的图像分割：将RGB图像输入YOLOv5检测框架，检测车道线；

S4，通过S1建立的所述对应关系，将S3得到的点云映射到S2得到的图像上，利用大津法进行目标细化，实现基于单目相机和激光雷达融合的异形车道线检测。

上述步骤S1的具体方法为：

利用相机和激光雷达采集不同姿态下定标板的平面数据，分别提取对应的同一姿态下定标板平面的像素数据和激光点云数据，其中，相机采集的像素数据用二维点(u,v)表示，激光雷达采集的激光点云数据用三维点(x,y,z)表示，将所述三维点(x,y,z)映射到对应的二维点(u,v)，将一系列对应的(u,v)和(x,y,z)点集转换为如下矩阵方程：

其中，(f_u,f_v,u₀,v₀)是相机参数，f_u、f_v分别是X轴和Y轴方向的尺度因子；(u₀,v₀)是像平面的中心点坐标，R为旋转矩阵，t为平移矢量；

收集足够的(u,v)和(x,y,z)点集，求解下述矩阵方程，获得m₁₁、m₁₂、m₁₃、m₁₄、m₂₁、m₂₂、m₂₃、m₂₄、m₃₁、m₃₂、m₃₃、m₃₄的解，从而得到点云坐标系和图像坐标系之间的转化矩阵M：

上述的步骤S2具体包括以下分步骤：

S21，确认点云强度值：

三维激光雷达传感器的强度值I_id随入射角i和传感器与反射率为ρ的表面之间的距离d而变化，将强度值建模为入射角和距离d的函数f(i,d)，有：

对于相同入射角和距离下的两个表面，强度比应与其实际反射率比相同，如果已知每个入射角和距离的参考面I_ref的强度特征，则可以使用强度值为I_id的特征来估计反射率ρ，将该估计的反射率作为校准的强度值：

S22，点云强度值校准：

将参考面的ρ_ref设置为恒定值；将具有恒定表面的建筑外墙作为所述参考面，从建筑外墙获得三维激光雷达数据，并通过估算每个点的表面法线来计算入射角，通过计算每个入射角i和与表面距离d对应的强度的平均值和标准差σ_id，并生成基于LUT的模型，其中：

式中，N为每个表元素所对应的数据值；

用LUT的平均值作为参考面I_ref的强度值，通过校准后的反射率值和公式(6)计算出强度值I_id、入射角和到表面的距离；

校准后，远处道路标记的亮度与附近道路标记相似，在距离较远、入射角较大的区域，道路标记和沥青的强度值差异较小，其中，传感器强度值的误差、距离测量中错误计算入射角和传感器误差会引起噪声；

对于具有倾斜角度的三维激光雷达系统，以不同的角度和距离多次测量一个面积，使用校准后的强度值和每个点的标准偏差来进行体素滤波：

式中，n是属于一个单体素的点数，使用校准的强度值和标准值计算每个体素的强度值和标准偏差，每个体素中的点的偏差计算参照等式(6)和(7)；

S23，对点云强度值进行校准以后，再基于点云强度值提取异形车道线：

将点云强度值投影到M行C列的网格中，整个点云区域中，最大最小X,Y坐标分别为Xmax,Xmin,Ymax,Ymin，将这些坐标构成的矩形投影到XOY平面，在像素大小为N的M行C列的网格中，落在每个网格内所有的扫描点的平均强度值为该格的灰度值，最后将所述灰度值归一化，在0～255像素之间，得到强度特征图像，

通过检测图像的不同灰度值，提取道路标线边缘，进一步确定道路标线的具体位置。

优选的是，步骤S22中所述LUT的入射角i的分辨率为1度，表面距离d的分辨率为1cm。

优选的是，S23还包括：通过使用sobel算子对得到的图像卷积得到梯度图像，利用一维最大熵算法计算阈值，提取图像边缘，对边缘图像进行连通区域分析，将彼此连通的像素标记为一个连通区域，每个连通区域对应一条图像边缘。

优选的是，S22中所述的恒定值为15。

S4中利用大津法进行目标细化的方法为：从YOLOv5输出的候选道路标线像素中检索候选道路标线点云，将点云进行分割，利用欧氏聚类方法，通过连接组件分析将融合的点云进一步分割为孤立的对象；对点数小于阈值的连通分量进行过滤，针对每个孤立的道路标线点云，根据点云强度应用Otsu大津阈值法，并保持点云具有较高的强度值，以提炼出道路标线，并消除地理参考图像的锯齿效应；所述阈值根据平均点间距计算得出：

其中假设G为阈值，_PRM和_PRS分别为道路标线和路面点云的概率，而μ_RM和μ_RS分别为其对应的平均值。

此外，为了尽量减少噪声点的影响，采用离群点滤波器去除几何离群点。

与现有技术相比，本发明具有以下有益效果：

1.相比于完全依赖于神经网络的车道线检测方法，本发明的方法对数据集的依赖性相对较低。

2.相比于传统的车道线检测方法，本发明的方法对于检测复杂情况下的曲线道路具有更高的鲁棒性。

3.相比于单纯依赖图像的车道线检测方法，本发明的方法减小了光照条件对检测结果的影响程度。

4.相比于单纯依赖激光雷达的车道线检测方法，本发的方法明提高了检测的准确度。

附图说明

图1为本发明中车辆传感器安装位置示意图；

图2为本发明的异形车道线检测方法的流程图。

具体实施方式

本发明的基于单目相机和3D LIDAR融合的车道线检测方法，首先对相机与3DLIDAR进行联合标定，建立点云坐标系和图像坐标系之间的对应关系；然后利用基于强度值的点云分割方法提取异形车道线，并采用基于yolov5的图像分割方法提取异形车道线；最后通过联合标定获取的对应关系将点云映射到图像上，利用大津法进行目标细化，实现基于单目相机和激光雷达融合的异形车道线检测。

以下结合附图和具体实例对该方法进行详细说明。

本发明以长4米、宽1.6米、高1.5米的普通轿车为例，采用单目相机、3D LIDAR并将其安装在集卡车辆的前方，如图1所示。传感器参数如下：

1.激光雷达：型号为RPLIDAR S2；扫描频率为10HZ；角度分辨率为0.12°；系统误差为±30mm；测距分辨力为13mm

2.单目相机：型号为Drift Ghost XL；主摄像头像素为1200万；分辨率为1080P；最大广角角度为140。

参见图2，本发明的基于单目相机和3D LIDAR融合的车道线检测方法包括以下步骤：

S1，对相机和3D LIDAR进行联合标定，建立点云坐标系和图像坐标系之间的对应关系，即转化矩阵M，具体如下：

利用相机和激光雷达采集不同姿态下定标板的平面数据，从中分别提取对应的同一姿态下定标板平面的像素数据和激光点云数据，其中，相机捕获的图像数据用(u,v)表示，激光雷达捕获的三维点阵云用(x,y,z)表示。将所述三维点(x,y,z)映射到对应的二维点(u,v)，将一系列对应的(u,v)和(x,y,z)点集可转换为以下矩阵方程：

其中，(f_u,f_v,u₀,v₀)是相机参数，f_u、f_v是XY轴方向尺度因子，即水平方向和垂直方向的有效焦距；u₀,v₀是像平面的中心点，又称主点坐标；R为旋转矩阵，t为平移矢量。

收集足够的(u,v)和(x,y,z)点集，以可求解下述矩阵方程，得到m₁₁、m₁₂、m₁₃、m₁₄、m₂₁、m₂₂、m₂₃、m₂₄、m₃₁、m₃₂、m₃₃、m₃₄的解，从而得到点云坐标系和图像坐标系之间的转化矩阵M：

S2，基于点云强度的异形车道线提取：利用点云分割方法确认点云强度值并校准，将校准后的点云强度值投影到转化矩阵M中得到强度特征图像，通过检测强度特征图像的不同灰度值提取异形车道线边缘。具体如下：

S21，确定点云强度值：

三维激光雷达传感器的强度值I_id随入射角i和传感器与反射率为ρ的表面的距离d而变化，其中反射率具有反射率值，将三维激光雷达传感器的点云强度值建模为入射角i和距离d的函数f(i,d)，有：

在相同入射角和距离下的两个表面的强度比应与两个表面的实际反射率比相同，因此，如果已知每个入射角i和距离d条件下的参考面的强度值I_ref，则可以使用强度值I_id的特征来估计表面的反射率ρ，将该估计的反射率ρ作为校准的强度值：

S22，点云强度值校准：

为了进行校准，需要测量参考面的反射率，其中参考面的真实反射率未知，因此，将参考面的反射率ρ_ref设置为恒定值(例如ρ_ref＝15)。

根据入射角i和距离d，需要一个由恒定曲面组成的宽平面来获得参考面的强度特性，本发明采用具有恒定表面的建筑外墙作为所述宽平面，从外墙中获得三维激光雷达数据，并通过估算每个点的表面法线来计算入射角。利用存储的数据，通过计算每个入射角i和与表面距离d对应的宽平面(参考面)强度的平均值和标准差σ_id，生成基于查找表(LUT，Lookup Table)的模型。参考面强度的平均值/>和标准差σ_id的计算公式如下：

其中，LUT中入射角i的分辨率为1度，表面距离d的分辨率为1cm；N为每个表元素所对应的数据值；如果距离d和入射角i较小，得到的强度值越大，标准差越大；随着距离的增加，强度值减小，标准差减小。如果校准后在同一位置有几个点，则可以用标准差来衡量高度可靠的校准值。

用LUT中参考面强度的平均值作为参考面的强度值I_ref，结合校准后的强度值(反射率值)，可以通过公式(6)计算出点云的强度值I_id，并获知入射角和到表面的距离。

校准后，远处道路标记的亮度与附近道路标记相似。在距离较远、入射角较大的区域，道路标记和沥青的强度值差异较小，其中，传感器强度值的误差、距离测量中错误计算入射角和传感器误差可能引起噪声。

对于具有倾斜的三维激光雷达系统，以不同的角度和距离多次测量一个面。从而可以使用校准后的强度值和每个点的标准偏差来进行体素滤波。

这里，n是属于一个单体素的点数。使用校准的强度和标准值计算每个体素的强度值和标准偏差，每个体素中的点的偏差计算参照等式(6)和(7)。

S23，对点云强度值进行校准以后，基于点云强度值提取异形车道线。

将点云投影到M行C列的网格中。整个点云区域中，最大最小X,Y坐标分别为Xmax,Xmin,Ymax,Ymin，将这些坐标构成的矩形投影到XOY平面，生成的像素大小为N(格网间隔为N)的M行C列的网格中，落在每个网格内所有的扫描点的平均强度值作为该格的灰度值(像素值)，最后将灰度值归一化到0和255之间，得到强度特征图像。

通过检测图的不同灰度值，提取道路标线边缘，进一步确定道路标线的具体位置。

通过使用sobel算子对图像卷积，得到梯度图像；利用一维最大熵算法计算阈值，提取图像边缘，对所述边缘图像进行连通区域分析，将彼此连通的像素标记为一个连通区域，每个连通区域对应一条图像边缘。

S3，基于YOLOV5的图像分割：

将单目相机采集的RGB图像输入YOLOv5检测框架，检测车道线，从YOLOv5输出的候选道路标线像素中检索候选道路标线点云，将点云进行分割，利用欧氏聚类方法，通过连接组件分析(CCA)将融合的点云进一步分割为孤立的对象。

S4，通过S1建立的所述对应关系，将S3得到的点云映射到S2得到的图像上，利用大津法进行目标细化，实现基于单目相机和激光雷达融合的异形车道线检测。

上述步骤S4中，利用大津法进行目标细化的方法为：

对S3分割的对象中点数小于阈值的连通分量进行过滤；针对每个孤立的道路标线点云，根据点云强度应用Otsu大津阈值法，并保持点云具有较高的强度值，以提炼出道路标线，并消除地理参考图像的锯齿效应。

所述阈值根据平均点间距计算得出，阈值计算如下：

其中G为阈值；_PRM和_PRS分别为道路标线和路面点云的概率，μ_RM和μ_RS分别为对应的平均值。

此外，为了尽量减少噪声点的影响，采用离群点滤波器(SOR)(Radu，Steve，2011)去除几何离群点。

Claims (8)

1.一种基于单目相机和激光雷达融合的异形车道线检测方法，其特征在于，包括以下步骤：

S1，对相机和雷达进行联合标定，建立点云坐标系和图像坐标系之间的转化矩阵M；

S2，基于点云强度的异形车道线提取：利用点云分割方法确认点云强度值并校准，将校准后的点云强度值投影到S1建立的转化矩阵M中，得到强度特征图像，通过检测所述强度特征图像的不同灰度值提取异形车道线；

S3，基于YOLOV5的图像分割：将RGB图像输入YOLOv5检测框架，检测车道线；

S4，通过S1建立的所述对应关系，将S3得到的点云映射到S2得到的图像上，利用大津法进行目标细化，实现基于单目相机和激光雷达融合的异形车道线检测。

2.根据权利要求1所述的异形车道线检测方法，其特征在于，步骤S1的具体方法为：

利用相机和激光雷达采集不同姿态下定标板的平面数据，分别提取对应的同一姿态下定标板平面的像素数据和激光点云数据，其中，相机采集的像素数据用二维点(u,v)表示，激光雷达采集的激光点云数据用三维点(x,y,z)表示，将所述三维点(x,y,z)映射到对应的二维点(u,v)，将一系列对应的(u,v)和(x,y,z)点集转换为如下矩阵方程：

其中，(f_u,f_v,u₀,v₀)是相机参数，f_u、f_v分别是X轴和Y轴方向的尺度因子；(u₀,v₀)是像平面的中心点坐标，R为旋转矩阵，t为平移矢量；

收集足够的(u,v)和(x,y,z)点集，求解下述矩阵方程，获得m₁₁、m₁₂、m₁₃、m₁₄、m₂₁、m₂₂、m₂₃、m₂₄、m₃₁、m₃₂、m₃₃、m₃₄的解，从而得到点云坐标系和图像坐标系之间的转化矩阵M：

3.根据权利要求1所述的异形车道线提取方法，其特征在于，步骤S2包括以下分步骤：

S21，确认点云强度值：

三维激光雷达传感器的强度值I_id随入射角i和传感器与反射率为ρ的表面之间的距离d而变化，将强度值建模为入射角和距离d的函数f(i,d)，有：

对于相同入射角和距离下的两个表面，强度比应与其实际反射率比相同，如果已知每个入射角和距离的参考面I_ref的强度特征，则可以使用强度值为I_id的特征来估计反射率ρ，将该估计的反射率作为校准的强度值：

S22，点云强度值校准：

将参考面的ρ_ref设置为恒定值；将具有恒定表面的建筑外墙作为所述参考面，从建筑外墙获得三维激光雷达数据，并通过估算每个点的表面法线来计算入射角，通过计算每个入射角i和与表面距离d对应的强度的平均值和标准差σ_id，并生成基于LUT的模型，其中：

式中，N为每个表元素所对应的数据值；

用LUT的平均值作为参考面I_ref的强度值，通过校准后的反射率值和公式(6)计算出强度值I_id、入射角和到表面的距离；

校准后，远处道路标记的亮度与附近道路标记相似，在距离较远、入射角较大的区域，道路标记和沥青的强度值差异较小，其中，传感器强度值的误差、距离测量中错误计算入射角和传感器误差会引起噪声；

对于具有倾斜角度的三维激光雷达系统，以不同的角度和距离多次测量一个面积，使用校准后的强度值和每个点的标准偏差来进行体素滤波：

式中，n是属于一个单体素的点数，使用校准的强度值和标准值计算每个体素的强度值和标准偏差，每个体素中的点的偏差计算参照等式(6)和(7)；

S23，对点云强度值进行校准以后，再基于点云强度值提取异形车道线：

将点云强度值投影到M行C列的网格中，整个点云区域中，最大最小X,Y坐标分别为Xmax,Xmin,Ymax,Ymin，将这些坐标构成的矩形投影到XOY平面，在像素大小为N的M行C列的网格中，落在每个网格内所有的扫描点的平均强度值为该格的灰度值，最后将所述灰度值归一化，在0～255像素之间，得到强度特征图像，

通过检测图像的不同灰度值，提取道路标线边缘，进一步确定道路标线的具体位置。

4.根据权利要求3所述的异形车道线检测方法，其特征在于：S22中，所述LUT入射角i的分辨率为1度，表面距离d的分辨率为1cm。

5.根据权利要求3所述的异形车道线检测方法，其特征在于，S23还包括：通过使用sobel算子对得到的图像卷积得到梯度图像，利用一维最大熵算法计算阈值，提取图像边缘，对边缘图像进行连通区域分析，将彼此连通的像素标记为一个连通区域，每个连通区域对应一条图像边缘。

6.根据权利要求3所述的异形车道线检测方法，其特征在于，S22中所述的恒定值为15。

7.根据权利要求1所述的异形车道线检测方法，其特征在于，S4中利用大津法进行目标细化的方法为：从YOLOv5输出的候选道路标线像素中检索候选道路标线点云，将点云进行分割，利用欧氏聚类方法，通过连接组件分析将融合的点云进一步分割为孤立的对象；对点数小于阈值的连通分量进行过滤，针对每个孤立的道路标线点云，根据点云强度应用Otsu大津阈值法，并保持点云具有较高的强度值，以提炼出道路标线，并消除地理参考图像的锯齿效应；所述阈值根据平均点间距计算得出：

其中假设G为阈值，_PRM和_PRS分别为道路标线和路面点云的概率，而μ_RM和μ_RS分别为其对应的平均值。

8.根据权利要求7所述的异形车道线检测方法，其特征在于，进一步采用离群点滤波器去除几何离群点。