CN109300162A - 一种基于精细化雷达扫描边缘点的多线激光雷达和相机联合标定方法 - Google Patents

Abstract

一种基于精细化雷达扫描边缘点的多线激光雷达和相机联合标定方法，主要涉及机器人视觉、多传感器融合等技术领域。由于激光雷达分辨率的影响，往往提取的扫描边缘点都不够精准，导致标定结果也不够准确。本发明根据激光雷达点在边缘处距离突变的特性，多次寻找比较，取更靠近边缘的点作为标定点。通过对相机图像和雷达边缘点中的圆的检测，根据针孔相机模型计算相机和激光雷达间的平移。在得到的平移向量的邻域空间内搜索标定参数C，以找到使投影误差最小化的标定结果。本发明能够高精度地提取激光雷达扫在物体边缘的点，避免了由于激光雷达分辨率低导致的精度不够问题，从而提高了标定精度。

Description

一种基于精细化雷达扫描边缘点的多线激光雷达和相机联合 标定方法

技术领域

本发明涉及机器人视觉、多传感器融合等技术领域，具体涉及一种面向点云边缘细化的多线激光雷达和相机联合标定方法。

背景技术

激光雷达和相机的融合被广泛应用于机器人视觉中的三维重建、自主导航和定位以及无人机等领域。单个传感器具有局限性，如相机易受光照、模糊外界环境影响，激光雷达数据点稀疏，而二者的融合可以弥补各自缺陷。

为了融合激光雷达和相机获取的信息，进行两者之间的联合标定是必不可少的。通过标定确定两个传感器空间坐标系之间的相互转换关系，从而使不同传感器获得的信息融合到统一坐标系下。目前多线激光雷达和相机间联合标定的方法大多使用一些具有空间几何特征的标定物，利用激光雷达在边缘处点的深度不连续性，提取距离突变的点作为边缘点，以用作标定的特征点，并和图像中提取的边缘信息进行配准。但由于激光雷达分辨率的影响，距离突变的点不是刚好准确位于物体边缘的点，因此获取的标定边缘点并不准确，从而影响标定结果的准确性。

因此，如何设计一种激光雷达和相机的联合标定方法，使激光雷达能过获取准确的边缘点用作标定，是实现激光雷达和相机精细标定需要解决的问题。

发明内容

为了解决现有激光雷达获取边缘标定点不准确的不足，本发明提供一种提高获取边缘标定点准确性的基于精细化雷达扫描边缘点的激光雷达和相机联合标定的方法，

为了解决上述技术问题，本发明提供如下的技术方案：

一种基于精细化雷达扫描边缘点的多线激光雷达和相机联合标定方法，包括以下步骤：

1)对相机进行内参标定得到相机的内参矩阵

其中f为相机焦距，[O_x，O_y]为主光轴点；

设计具有空间几何特征的标定物，上面有四个半径相同、圆心距离相同的镂空的圆，将其放置在相机和激光雷达能够同时获取到的位置；

2)第n帧获取的3D激光雷达点云Pⁿ中，第i个点与同一扫描线上相邻两点到激光雷达距离差的最大值表示为

其中表示第n帧3D点云中第i个点到激光雷达的距离；提取距离差X_i值大于阈值R的点，得到边缘点，R的取值略小于标定板和背景墙之间的距离差d；得到的边缘点包括两个部分，扫在背景墙上的最靠近标定板边缘的背景边缘点，以及落在标定点板边缘的前景边缘点；保留背景部分的边缘点Bⁿ，前景标定板上的边缘点为Fⁿ；

3)获取新的一帧点云，寻找最靠近边缘的距离突变的点为前景边缘点，即获取第n+1帧激光雷达点云Pⁿ⁺¹，遍历参考帧中的每个点计算n+1帧中与同一扫描线上的点和的距离差RangeDiff

若距离差RangeDiff大于阈值R，则将点存入点云Kⁿ⁺¹中，即位于标定板上的前景点，对前景点Kⁿ⁺¹中的每个点计算与的水平角度差，选择水平角度差最小的点，作为相对点选定的前景边缘点S_i；

若对于背景边缘点第n+1帧不存在RangeDiff大于阈值R的前景边缘点与之对应，则保留第n帧中对应的前景边缘点为得到的精确边缘点S_i；

4)继续获取下一帧点云，寻找最靠近边缘的距离突变的点，并与上一帧得到的前景边缘点比较，取更靠近边缘的距离突变点为前景边缘点；

即获取第n+2帧激光雷达点云Pⁿ⁺²，重复步骤3)得到n+2帧中与同一扫描线上的点和的距离差RangeDiff，并选取与水平角度差最小的点作为新一次找到的边缘点S′_i，比较S_i与的水平角度差，以及S′_i与的水平角度差，选取水平角度差较小的点，即和最邻近的前景边缘点，作为新的前景边缘点S_i；

5)继续获取第n+3，n+4，n+5，···帧，重复步骤4)，直到第n+k帧，k为找精确点的循环次数，得到最终的精确边缘点S_i，获取该帧的时刻记为t_i；

6)对t_i时刻得到的精准边缘点用RANSAC算法去除直线，并拟合圆，计算出圆的半径r_3d和圆心坐标[X，Y，z]，同时对t_i时刻获取的图像利用Hough变换检测圆，求出圆的半径r_2a和圆心坐标[u，v]，利用相机模型计算相机和激光雷达坐标系之间的平移变换；

其中[x，y，w]^T表示相机坐标系下点的坐标，[X，Y，z，1]^T表示3D激光雷达坐标系下点的坐标，P为相机内参矩阵，C为要求的标定矩阵，这里只考虑平移变换，令

其中[t_x，t_y，t_z]表示平移向量，假设标定物平面是竖直的，通过针孔相机模型得到传感器之间的深度差t_z：

其中z是圆心的深度坐标，根据公式(6.1)、(6.4)得t_y，t_z：

对四个圆分别计算的平移结果求平均，得到最终的平移向量[t_x，t_y，t_z]；

7)用步骤6)中得到的平移量初始化标定参数C[t_x，t_y，t_z，0，0，0]，这里用0初始化旋转参数r_x，r_y，r_z，根据激光雷达点云的距离信息，用Otsu阈值分割将雷达点云分割为前景和背景；通过自适应阈值分割将相机图像也分为前景和背景，使用标定参数C和内参矩阵P将t_i时刻的激光雷达点云投影到图像平面，投影误差P_E的值用错误投影点E的数量(即投影在背景段上的前景点，反之亦然)除以点云中的点的总数P来计算：

密集搜索标定参数C的邻域空间，选择使投影误差P_E最小的标定参数C作为最终结果。

本发明的技术构思为：对激光雷达提取点云进行边缘检测，提取背景部分边缘点，通过激光雷达点的深度差寻找每个背景边缘点对应的前景边缘点，通过多次寻找比较得到更接近边缘的前景边缘点。分别提取激光雷达边缘点云和同一时刻相机获取边缘图像中的圆的圆心和半径，通过针孔相机模型计算相机和激光雷达间的平移。在得到的平移向量的邻域空间内搜索标定参数C，以找到使投影误差最小化的标定结果。

本发明的有益效果主要表现在：能够高精度地提取激光雷达扫在物体边缘的点，避免了由于激光雷达分辨率低导致的精度不够问题。通过得到的精确边缘点，能够得到更准确的标定结果。

附图说明

图1是具有空间几何特征的标定物示例图。

图2是多线激光雷达和相机联合标定实例图。

图3是激光雷达扫描到边缘时的示意图。

图4是基于精细化雷达扫描边缘点的多线激光雷达和相机联合标定流程图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图4，一种精细化雷达扫描边缘点的多线激光雷达和相机联合标定方法，包括如下步骤：

1)对相机进行内参标定得到相机的内参矩阵

其中f为相机焦距，[O_x，O_y]为主光轴点，如图1所示，设计具有空间几何特征的标定物，上面有四个半径r相同、圆心距离l相同的镂空的圆。将其放置在相机和激光雷达能够同时获取到的位置，如图2所示，激光雷达和相机的位置相对固定，标定板到激光雷达的距离为L，背景墙与标定板之间距离为d。

2)第n帧获取的3D激光雷达点云Pⁿ中，第i个点与同一扫描线上相邻两点到激光雷达距离差的最大值表示为

其中表示第n帧3D点云中第i个点到激光雷达的距离。提取距离差X_i值大于阈值R的点，得到边缘点，R的取值略小于标定板和背景墙之间的距离差d。得到的边缘点包括两个部分，扫在背景墙上的最靠近标定板边缘的背景边缘点，以及落在标点板边缘的前景边缘点。保留背景部分的边缘点Bⁿ，前景标定板上的边缘点为Fⁿ。

如图3所示，l₂表示俯视角度下的标定板平面，l₁表示背景墙，由于激光雷达的分辨率有限，同一扫描线上相邻两点P₁和P₂间存在一定的角度限制，导致前景部分提取到的边缘点P2不一定刚好扫描到标定板的边缘，由此给边缘提取带来误差。为了提取更精准的标定板边缘点，本发明将Bⁿ作为参考帧，以寻找更靠近标定板边缘的前景边缘点。

3)获取新的一帧点云，寻找其中最靠近边缘的距离突变的点为前景边缘点，由于激光雷达扫描精度不稳定，同一扫描线上相邻两点间的水平角度差不是完全一样的，因此可能存在图3所示情况，P₁和P₂为第n次扫描分别提取的背景边缘点和前景边缘点，在n+1次扫描中，在P₁和P₂之间可能有多个扫描点Q₁，Q₂，Q₃。因此需对每个距离突变的点比较其与背景点的水平角度差，取最靠近边缘的点。

即对第n+1帧激光雷达点云Pⁿ⁺¹，遍历参考帧中的每个点计算n+1帧中与同一扫描线上的点和的距离差RangeDiff

若距离差RangeDiff大于阈值R，则将点存入点云Kⁿ⁺¹中，即位于标定板上的前景点。对前景点Kⁿ⁺¹中的每个点计算与的水平角度差

其中表示点的水平角度。选择水平角度差angleDiff最小的点，作为相对点选定的前景边缘点S_i。

若对于背景边缘点第n+1帧不存在angleDiff大于阈值R的前景边缘点与之对应，则保留第n帧中对应的前景边缘点为得到的精确边缘点S_i。

4)继续获取下一帧点云，寻找最靠近边缘的距离突变的点，并与上一帧得到的前景边缘点比较，取更靠近边缘的距离突变点为前景边缘点。

即获取第n+2帧激光雷达点云Pⁿ⁺²，重复步骤3)得到n+2帧中与同一扫描线上的点和的距离差RangeDiff，并选取与水平角度差最小的点作为新一次找到的边缘点S′_i。比较S_i与的水平角度差，以及S′_i与的水平角度差，选取水平角度差较小的点，即和最邻近的前景边缘点，作为新的前景边缘点Si。

5)继续获取第n+3，n+4，n+5，···帧，重复步骤4)，直到第n+k帧(k为精确找点循环次数)，得到最终的精确边缘点S_i，获取该帧的时刻记为t_i。

6)对t_i时刻得到的精准边缘点用RANSAC算法去除直线，即标定板两边的直线边缘。通过RANSAC算法求得点云中标定平面和球的交点即圆，得到圆的半径r_3a和圆心坐标[X，Y，z]。同时对t_i时刻获取的图像利用Hough变换检测圆，求出圆的半径r_2d和圆心坐标[u，v]。利用相机模型计算相机和激光雷达坐标系之间的平移变换。

其中[x，y，w]^T表示相机坐标系下点的坐标，[X，Y，z，1]^T表示3D激光雷达坐标系下点的坐标，P为相机内参矩阵，C为要求的标定矩阵。这里只考虑平移变换，令

其中[t_x，t_y，t_z]表示平移向量。假设标定物平面是竖直的，通过针孔相机模型可以得到z方向的平移

根据公式(11.1)(11.4)可得t_y，t_z

对四个圆计算的平移结果求平均，得到最终的平移向量[t_x，t_y，t_z]。

7)用步骤6)得到的平移量初始化标定参数C[t_x，t_y，t_z，0，0，0]。这里用0初始化旋转参数r_x，r_y，r_z。根据激光雷达点云的距离信息，用Otsu阈值分割将雷达点云分割为前景和背景；通过自适应阈值分割将相机图像也分为前景和背景。使用标定参数C和内参矩阵P将t_i时刻的激光雷达点云投影到图像平面。投影误差P_E的值用错误投影点E的数量(即投影在背景段上的前景点，反之亦然)除以点云中的点的总数P来计算：

密集搜索标定参数C的邻域空间，选择使投影误差P_E最小的标定参数C作为最终结果。

Claims (1)

1.一种基于精细化雷达扫描边缘点的多线激光雷达和相机联合标定方法，其特征在于，所述方法包括以下步骤：

1)对相机进行内参标定得到相机的内参矩阵

其中f为相机焦距，[O_x,O_y]为主光轴点；

设计具有空间几何特征的标定物，上面有四个半径相同、圆心距离相同的镂空的圆，将其放置在相机和激光雷达能够同时获取到的位置；

2)第n帧获取的3D激光雷达点云Pⁿ中，第i个点与同一扫描线上相邻两点到激光雷达距离差的最大值表示为

其中表示第n帧3D点云中第i个点到激光雷达的距离；提取距离差X_i值大于阈值R的点，得到边缘点，R的取值略小于标定板和背景墙之间的距离差d；得到的边缘点包括两个部分，扫在背景墙上的最靠近标定板边缘的背景边缘点，以及落在标定点板边缘的前景边缘点；保留背景部分的边缘点Bⁿ，前景标定板上的边缘点为Fⁿ；

3)获取新的一帧点云，寻找最靠近边缘的距离突变的点为前景边缘点，即获取第n+1帧激光雷达点云Pⁿ⁺¹，遍历参考帧中的每个点计算n+1帧中与同一扫描线上的点和的距离差RangeDiff

若距离差RangeDiff大于阈值R，则将点存入点云Kⁿ⁺¹中，即位于标定板上的前景点，对前景点Kⁿ⁺¹中的每个点计算与的水平角度差，选择水平角度差最小的点，作为相对点选定的前景边缘点S_i；

若对于背景边缘点第n+1帧不存在RangeDiff大于阈值R的前景边缘点与之对应，则保留第n帧中对应的前景边缘点为得到的精确边缘点S_i；

4)继续获取下一帧点云，寻找最靠近边缘的距离突变的点，并与上一帧得到的前景边缘点比较，取更靠近边缘的距离突变点为前景边缘点；

即获取第n+2帧激光雷达点云Pⁿ⁺²，重复步骤3)得到n+2帧中与同一扫描线上的点和的距离差RangeDiff，并选取与水平角度差最小的点作为新一次找到的边缘点S_i′，比较S_i与的水平角度差，以及S_i′与的水平角度差，选取水平角度差较小的点，即和最邻近的前景边缘点，作为新的前景边缘点S_i；

5)继续获取第n+3，n+4，n+5,···帧，重复步骤4)，直到第n+k帧，k为找精确点的循环次数，得到最终的精确边缘点S_i，获取该帧的时刻记为t_i；

6)对t_i时刻得到的精准边缘点用RANSAC算法去除直线，并拟合圆，计算出圆的半径r_3d和圆心坐标[X,Y,Z]，同时对t_i时刻获取的图像利用Hough变换检测圆，求出圆的半径r_2d和圆心坐标[u,v]，利用相机模型计算相机和激光雷达坐标系之间的平移变换；

其中[x,y,w]^T表示相机坐标系下点的坐标，[X,Y,Z,1]^T表示3D激光雷达坐标系下点的坐标，P为相机内参矩阵，C为要求的标定矩阵，这里只考虑平移变换，令

其中[t_x,t_y,t_z]表示平移向量，假设标定物平面是竖直的，通过针孔相机模型得到传感器之间的深度差t_z：

其中Z是圆心的深度坐标，根据公式(6.1)、(6.4)得t_y,t_z：

对四个圆分别计算的平移结果求平均，得到最终的平移向量[t_x,t_y,t_z]；

7)用步骤6)中得到的平移量初始化标定参数C[t_x,t_y,t_z,0,0,0]，这里用0初始化旋转参数r_x,r_y,r_z，根据激光雷达点云的距离信息，用Otsu阈值分割将雷达点云分割为前景和背景；通过自适应阈值分割将相机图像也分为前景和背景，使用标定参数C和内参矩阵P将t_i时刻的激光雷达点云投影到图像平面，投影误差P_E的值用错误投影点E的数量除以点云中的点的总数P来计算：

密集搜索标定参数C的邻域空间，选择使投影误差P_E最小的标定参数C作为最终结果。