CN114078163A - 激光雷达与可见光相机的精确标定方法 - Google Patents

Abstract

本发明公开了一种激光雷达与可见光相机的精确标定方法，其采用远近两个靶标作为标定工具，其中近处的靶标为棋盘格，置于相机的视野中，用于估计相机的位姿；其中远处的靶标为结构化场景中的三面体，置于激光雷达的视野中，用于估计激光雷达的位姿。标定过程中，保持三面体与棋盘格的空间相对位置不变，通过调整激光雷达与相机(LiDAR‑Camera)装置的位姿，采集多组观测数据，通过求解手眼标定方程求取激光雷达与相机的相对位姿。本发明通过引入远近双靶标分别估计激光雷达与相机的位姿，规避了单靶标标定中跨模态数据特征提取匹配误差较大的问题，有着更高的标定精度。

Description

激光雷达与可见光相机的精确标定方法

技术领域

本发明属于空间环境感知技术领域，涉及到三维激光雷达与视觉系统之间的跨模态数据融合，特别涉及到激光雷达与可见光相机之间的高精度联合标定方法。

背景技术

激光雷达能够快速，精确地获取环境中的距离信息，对弱纹理区域具有较高的鲁棒性。摄像机能够获得致密丰富的纹理信息，但无法获取深度。两类数据具有较好的互补性(稀疏vs.稠密，几何vs.纹理)，融合两种模态的数据，可以对周围环境进行更全面的感知。近年来，随着激光雷达设备成本的日趋平民化，获取三维点云的技术门槛逐年降低，融合可见光图像及雷达深度数据的设备，已被广泛应用于自动驾驶、工业机器人导航、企业数字孪生、航拍测量等相关领域。基于雷达及可见光相机设备进行环境感知的一个关键核心技术问题，即两种设备之间的高精度联合标定。从技术的角度来看，激光雷达获取的点云数据与摄像机获取的可见光图像属于不同模态的数据，由于雷达点云数据的稀疏性且具有一定的系统测量误差，(导航定位场景中的激光雷达测量误差范围在厘米量级)，寻找两类数据之间的可观察的且可靠的几何特征对应关系并非易事，激光雷达与相机的联合标定是国内外科技工作者着力探索一个研究方向。

现有的激光雷达与可见光相机的联合标定方法，根据靶标形态的差异，大致可分为以下两类：二维靶标定法、三维靶标定法。通常使用的二维靶标为棋盘格，通过在点云中拟合棋盘格的边缘、角点或者平面特征，来寻找三维激光雷达与相机间的特征对应关系。文献(Y.Park,S.Yun,C.S.Won,K.Cho,K.Um,and S.Sim.Calibration between color cameraand 3d lidar instruments with a polygonal planar board.Sensors,14(3):5333–5353,2014.)提出棋盘格中的黑白色差会污染激光雷达中的点云数据，影响距离测量的精度。Zoltan Pusztai等在文献(Pusztai Z and Hajder L.Accurate calibration ofLidar-camera systems using ordinary boxes.In:2017international conference oncomputer vision,Venice,Italy,22 October 2017–29October 2017,pp.394–402.IEEE.)中，采用尺寸已知的纸箱作为三维靶标，从点云中检测纸箱平面，进一步完成雷达与相机之间的校准。此类方法共有的不足在于：跨模态数据的特征提取匹配，标定结果难以做到高精度；靶标与LiDAR-Camera装置的距离难以协调(为了提高相机的标定精度，靶标应置于相机视场中较近的位置，而为了抑制激光雷达的系统噪声，靶标应置于激光雷达视场中较远的位置)。

发明内容

本发明的主要目的在于提供一种本发明提出一种激光雷达与可见光相机的精确标定方法，以克服现有技术中的不足。

为实现前述发明目的，本发明采用的技术方案包括：

本发明实施例提供了一种激光雷达与可见光相机的标定方法，该标定方法包括以下步骤：

设定作为标定工具的第一标靶、第二标靶，并使第一标靶比第二标靶距离待标定LiDAR-Camera装置更远，所述第一靶标为结构化场景中的三面体，置于所述LiDAR-Camera装置中激光雷达的视野中，并用于估计激光雷达的位姿，所述第二靶标为棋盘格，置于所述LiDAR-Camera装置中相机的视野中，并用于估计相机的位姿；

对所述LiDAR-Camera装置进行标定，在标定过程中保持所述第一标靶与第二标靶的空间相对位置不变，通过调整所述LiDAR-Camera装置的位姿，采集多组观测数据；以及

通过求解手眼标定方程求取所述激光雷达与相机的相对位姿。

与现有技术相比，本发明的优点包括：在激光雷达与可见光相机的标定问题中，规避了跨模态数据特征提取及匹配难题。通过引入远近双靶标，将此联合标定问题转换为基于棋盘格的相机位姿估计及基于结构化场景中三面体的激光雷达位姿估计问题。通过求解经典的手眼标定方程求取激光雷达与相机的相对位姿，且可以获得更高的标定精度。

附图说明

图1是激光雷达与相机安装位置示意图；

图2是结构化场景中的三面体示例；

图3是结构化场景中的三面体点云拟合平面示意图；

图4是棋盘格估计相机位姿示意图；

图5是远近双靶标标定原理示意图

具体实施方式

鉴于现有技术中的不足，本案发明人经长期研究和大量实践，得以提出本发明的技术方案。如下将对该技术方案、其实施过程及原理等作进一步的解释说明。

本发明实施例提供了一种激光雷达与可见光相机的标定方法，该标定方法包括以下步骤：

设定作为标定工具的第一标靶、第二标靶，并使第一标靶比第二标靶距离待标定LiDAR-Camera装置更远，所述第一靶标为结构化场景中的三面体，置于所述LiDAR-Camera装置中激光雷达的视野中，并用于估计激光雷达的位姿，所述第二靶标为棋盘格，置于所述LiDAR-Camera装置中相机的视野中，并用于估计相机的位姿；

对所述LiDAR-Camera装置进行标定，在标定过程中保持所述第一标靶与第二标靶的空间相对位置不变，通过调整所述LiDAR-Camera装置的位姿，采集多组观测数据；以及

通过求解手眼标定方程求取所述激光雷达与相机的相对位姿。

进一步的，所述方法还包括以下步骤：

1)估计所述相机的内参；

2)在结构化场景中选择一个三面体作为第一标靶，调整所述激光雷达的位置及观测角度，使得所述三面体置于所述激光雷达的视野中，并采集所述激光雷达的一帧点云数据，通过平面拟合算法求取所述三面体的三个平面方程，计算所述三个平面的交点坐标，作为世界坐标系的原点O_W，并进一步计算激光雷达的位姿

3)将作为第二靶标的棋盘格置于相机视野中，并采集所述棋盘格在相机中的一帧图像，计算相机的位姿

4)保持所述三面体与棋盘格的空间相对位置不变，通过调整所述LiDAR-Camera装置的位姿，重复执行第2)步至第3)步，采集到N组观测数据，其中N≥2；

5)计算所述LiDAR-Camera装置的相对位姿R_LC,T_LC；

6)通过求解手眼标定方程求取所述激光雷达与相机的相对位姿。

进一步的，所述步骤1)中采用张正友标定算法估计所述相机的内参。

进一步的，所述结构化场景为室内场景，所述三面体为两面互相垂直的墙面及地板。

进一步的，所述三面体与激光雷达的距离大于5米。

进一步的，所述LiDAR-Camera装置中包含一个激光雷达及一对立体相机，其中激光雷达与相机之间的夹角范围为60-90度。

进一步的，所述步骤6)包括：基于OpenCV的calibrateHandeye()函数求解手眼标定方程。所述calibrateHandeye()函数为基于OpenCV的标准库函数求解手眼标定方程。

进一步的，所述步骤5)具体包括：

定义世界坐标系原点为三面体的交点，p_W为世界坐标系中的一点。LiDAR-Camera装置在位姿1时，存在式(1)关系：

LiDAR-Camera装置在位姿2时，存在式(2)关系：

由式(1)和(2)可得式(3)：

式(3)中，当p_W为3×1的列向量时，

为同维度的列向量，而当p_W为3×3的矩阵时，

为同维度的矩阵，分别记为

其中

类同；

当p_W为

时，式(3)被简化为：

当p_W为

时，式(3)被简化为：

将式(4)和(5)各自展开并相减，得：

将式(6)所示等式的左、右侧分别乘

乘

得：

将式(7)简化为AX＝XB问题进行求解，进一步将已知的R_LC代入式(4)，求解出T_LC。

进一步的，所述相机为可见光相机。

进一步的，所述方法还包括通过平面拟合算法求取三面体的平面方程。

如下将结合附图对该技术方案、其实施过程及原理等作进一步的解释说明。

如图1所示，本实施例待标定LiDAR-Camera装置中包含一个激光雷达及一对立体相机，其中激光雷达与相机成90度夹角。本发明所涉标定方法中不涉及立体相机，引入立体相机的目的是为了对标定结果进行量化评估；激光雷达与相机的夹角非必须为90度，可以根据场景中选择的三面体及棋盘格的摆放位置，进行灵活的调整。

具体实施步骤如下：

1)利用张正友标定算法估计可见光相机的内参，

其中u₀，v₀为相机感光板中心在像素坐标系下的坐标，α，β为在两个图像轴上的尺度因子，γ为两个图像轴的偏度；

2)在结构化场景中选择一个三面体，以室内场景为例，三面体可以是两面互相垂直的墙面及地板，如图2所示。调整激光雷达的位置及观测角度，使得三面体置于激光雷达的视野中。导航定位场景中的激光雷达具有厘米级的测量误差，为了减小系统测量误差对标定精度的影响，三面体与激光雷达的距离大于5米。采集激光雷达的一帧点云数据，通过平面拟合算法求取三面体的三个平面方程，如图3所示。计算三个平面的交点坐标，作为世界坐标系的原点O_W，并进一步计算激光雷达的位姿

3)将棋盘格作为第二个靶标，置于相机视野中，采集棋盘格在相机中的一帧图像，如图4所示，计算相机的位姿

4)标定过程中，保持三面体与棋盘格的空间相对位置不变。通过调整LiDAR-Camera装置的位姿，重新执行第2)步至第3)步，采集N(N≥2)组观测数据。

5)通过求解手眼标定方程求取激光雷达与相机的相对位姿，具体求解过程中可参照OpenCV的calibrateHandeye()函数。

应当理解，上述实施例仅为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种激光雷达与可见光相机的标定方法，其特征在于包括：

设定作为标定工具的第一标靶、第二标靶，并使第一标靶比第二标靶距离待标定LiDAR-Camera装置更远，所述第一靶标为结构化场景中的三面体，置于所述LiDAR-Camera装置中激光雷达的视野中，并用于估计激光雷达的位姿，所述第二靶标为棋盘格，置于所述LiDAR-Camera装置中相机的视野中，并用于估计相机的位姿；

对所述LiDAR-Camera装置进行标定，在标定过程中保持所述第一标靶与第二标靶的空间相对位置不变，通过调整所述LiDAR-Camera装置的位姿，采集多组观测数据；以及

通过求解手眼标定方程求取所述激光雷达与相机的相对位姿。

2.根据权利要求1所述的标定方法，其特征在于包括以下步骤：

1)估计所述相机的内参；

2)在结构化场景中选择一个三面体作为第一标靶，调整所述激光雷达的位置及观测角度，使得所述三面体置于所述激光雷达的视野中，并采集所述激光雷达的一帧点云数据，通过平面拟合算法求取所述三面体的三个平面方程，计算所述三个平面的交点坐标，作为世界坐标系的原点O_W，并进一步计算激光雷达的位姿

3)将作为第二靶标的棋盘格置于相机视野中，并采集所述棋盘格在相机中的一帧图像，计算相机的位姿

4)保持所述三面体与棋盘格的空间相对位置不变，通过调整所述LiDAR-Camera装置的位姿，重复执行第2)步至第3)步，采集到N组观测数据，其中N≥2；

5)计算所述LiDAR-Camera装置的相对位姿R_LC,T_LC；

6)通过求解手眼标定方程求取所述激光雷达与相机的相对位姿。

3.根据权利要求2所述的方法，其特征在于，步骤1)包括：采用张正友标定算法估计所述相机的内参。

4.根据权利要求1或2所述的方法，其特征在于：所述结构化场景为室内场景，所述三面体为两面互相垂直的墙面及地板。

5.根据权利要求1或2所述的方法，其特征在于：所述三面体与激光雷达的距离大于5米。

6.根据权利要求1所述的方法，其特征在于：所述LiDAR-Camera装置中包含一个激光雷达及一对立体相机，其中激光雷达与相机之间的夹角范围为60-90度。

7.根据权利要求1所述的方法，其特征在于，步骤6)包括：基于OpenCV的calibrateHandeye()函数求解手眼标定方程。

8.根据权利要求2所述的方法，其特征在于，步骤5)具体包括：

定义世界坐标系原点为三面体的交点，p_W为世界坐标系中的一点，LiDAR-Camera装置在位姿1时，存在式(1)关系：

LiDAR-Camera装置在位姿2时，存在式(2)关系：

由式(1)和(2)可得式(3)：

式(3)中，当p_W为3×1的列向量时，

T_LC、

为同维度的列向量，而当p_W为3×3的矩阵时，

T_LC、

为同维度的矩阵，分别记为

其中

类同；

当p_W为

时，式(3)被简化为：

当p_W为

时，式(3)被简化为：

将式(4)和(5)各自展开并相减，得：

将式(6)所示等式的左、右侧分别乘

乘

得：

将式(7)简化为AX＝XB问题进行求解，进一步将已知的R_LC代入式(4)，求解出T_LC。

9.根据权利要求1所述的方法，其特征在于：所述相机为可见光相机。

10.根据权利要求所述的方法，其特征在于：所述方法还包括通过平面拟合算法求取三面体的平面方程。

Images