CN112365545B - 基于大平面复合靶标的激光雷达与可见光相机的标定方法 - Google Patents

Abstract

本发明涉及一种基于大平面复合靶标的激光雷达与可见光相机的标定方法，采用大平面复合靶标作为标定工具，靶标同时位于可见光相机与激光雷达视场中。通过调整大平面复合靶标位姿，采集至少三组法向量不共线的观测数据，根据靶标平面在激光雷达坐标系和可见光相机坐标系中法向量的对应性求解旋转矩阵，根据三个不同靶标平面的交点的对应性估计平移向量。本发明采用的大平面复合靶标面积大，表面反射模式简单，能有效降低激光雷达测量误差及普通棋盘格黑白相间对激光雷达测量的干扰，制作简单，标定的位姿精度高。

Description

基于大平面复合靶标的激光雷达与可见光相机的标定方法

技术领域

本发明属于空间环境感知技术领域，涉及到三维激光雷达与视觉系统之间的跨模态数据融合，特别涉及到激光雷达与可见光相机之间的高精度联合标定方法。

背景技术

激光雷达能够精确地获得目标场景的深度信息，并且不依赖环境的光照条件，但获得点云存在着稀疏、分布不均匀的缺点；可见光相机能够获得目标场景致密的颜色纹理信息，与激光雷达具有很好的互补性。近年来，受自动驾驶、室内外三维实景重建、航拍测量等需求驱动，激光雷达设备价格逐年降低，测量精度不断提高，越来越轻量化小型化。激光雷达及可见光相机设备进行环境感知的一个关键核心技术问题，即两种设备之间的高精度联合标定。激光雷达获取的点云数据与可见光相机获取的可见光图像属于不同模态的数据，由于雷达点云数据的稀疏性且具有一定的系统测量误差(导航定位场景中的激光雷达测量误差范围在厘米量级)，寻找两类数据之间的可观察的且可靠的几何特征对应关系并非易事，激光雷达与相机的联合标定是国内外科技工作者着力探索一个研究方向。

按照依赖的特征分类，现有的激光雷达与可见光相机的高精度联合标定方法可分为三类，分别为依赖点特征，依赖线特征，依赖面特征。文献(Ankit Dhall，Kunal Chelani，Vishnu Radhakrishnan，K.Madhava Krishna.LiDAR-Camera Calibration using 3D-3DPoint correspondences.ArXiv e-prints，1705.09785，2017.)尝试用3D点到2D点及3D点到3D点的对应关系求解相机与激光雷达相对位姿。文献(Lipu Zhou and Zimo Li andMichael Kaess.Automatic Extrinsic Calibration of a Camera and a 3D LiDARusing Line and Plane Correspondences.Proceedings of IEEE/RSJ Intl.Conf.onIntelligent Robots and Systems.IROS，2018)提出使用3D线和面的对应关系求解相机与激光雷达相对位姿。此类方法共有的不足在于：由于激光雷达测量的稀疏性，不均匀性及本身精度的限制，难以从点云中精确地提取点，线特征。因而本发明着眼于用面特征完成激光雷达与可见光相机的联合标定。采用面特征标定相机与激光雷达的难点有二：一方面，普通靶标与LiDAR-Camera装置的距离难以协调(为了提高相机坐标系下提取平面的精度，靶标应置于相机视场中较近的位置；为了抑制激光雷达的系统噪声，靶标应置于激光雷达视场中较远的位置，且靶标面积尽量大)。另一方面，文献(Y.Park，S.Yun，C.S.Won，K.Cho，K.Um，and S.Sim.Calibration between color camera and 3d lidar instruments with apolygonal planar board.Sensors，14(3)：5333-5353，2014.)提出棋盘格中的黑白色差会污染激光雷达中的点云数据，影响距离测量的精度。

发明内容

为了解决以上现有技术存在的缺陷，本发明提出一种基于大平面复合靶标的激光雷达与可见光相机精确标定方法。

本发明的技术方案是这样实现的：

一种基于大平面复合靶标的激光雷达与可见光相机的标定方法，其特征在于包括以下步骤：

制作大平面复合靶标，将大平面复合靶标置于激光雷达与可见光相机共同视场中；

调整大平面复合靶标位姿，采集至少3组法向量不共线的观测数据，并对观测数据进行平面特征提取；

根据靶标平面在激光雷达坐标系和可见光相机坐标系中法向量的对应性求解相机坐标系相对于激光雷达坐标系的旋转矩阵；

在激光雷达坐标系与可见光相机坐标系中，根据靶标平面的法向量方向，遵循同组平面法向量方向相近，不同组平面法向量趋于正交的原则，分别将靶标平面分为三组，从每组中任意选取一个靶标平面，计算选取的三个靶标平面的交点，根据三个靶标平面的交点的对应性和相机坐标系相对于激光雷达坐标系的旋转矩阵估计平移向量。

与现有采用棋盘格靶标进行标定的方法相比，本发明采用的大平面复合靶标面积大，表面反射模式简单，能有效降低激光雷达测量误差及普通棋盘格黑白相间对激光雷达测量的干扰。大平面复合靶标的制作利用了高分辨率立体相机测量靶标上角点距离，保证了靶标制作的精度，减少了对可见光相机位姿估计精度的影响。本发明在标定过程中只需要一个二维大平面复合靶标，大平面复合靶标制作简单，标定的位姿精度高。

附图说明

图1实际场景中的一种大平面复合靶标及立体相机示意图；

图2计算大平面复合靶标角点坐标过程示意图；

图3大平面复合靶标标定原理示意图。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

(一)大平面复合靶标的制作

1)如图1，使用两个高分辨率相机组成一个宽基线立体相机，并标定内外参。在实际场景中选择一个平整的平面(如墙面)作为靶标平面。打印若干角点图案贴于靶标平面上。

2)如图2，在靶标平面上任意选择不共线的三个角点，记为A，B，C，使用立体相机可测得BC＝a，AC＝b，AB＝c，设∠A＝θ，根据三角形余弦定理可求得θ值。以A为坐标系原点，AB所在直线为极轴，顺时针方向为旋转正方向，建立极坐标系，则可求得A，B，C三点极坐标，分别为A(0，0)，B(c，0)，C(b，θ)。

再以A为坐标系原点，极轴为X轴，Y轴向下，则A，B，C三点极坐标系坐标可转换为直角坐标系坐标，分别记为A(0，0)，B(x_b，y_b)，C(x_c，y_c)。设D为靶标平面上不同于A，B，C的任意一角点，其直角坐标设为(x_d，y_d)。已知A，B，C三点直角坐标，且由立体相机可测得DA＝l₁，DB＝l₂，DC＝l₃则有

解以上二元二次方程组，取实数域上解，则可得D点坐标。以此类推，可求得靶标平面上其它角点的直角坐标。默认靶标平面处于Z＝0的平面上，则可得所有角点的三维直角坐标系坐标，大平面复合靶标制作完成。

(二)估计可见光相机相对于激光雷达的位姿

1)标定数据采集。如图3，将大平面复合靶标置于激光雷达与可见光相机共同视场中。调整靶标位姿，激光雷达与可见光相机同步采集数据，至少采集三次。采集的数据尽量遵循以下两个原则：

·靶标平面法向量两两正交

·每三个法向量不同的平面的交点接近激光雷达与可见光共同视场中心

2)平面特征提取。对于激光雷达点云数据，用最小二乘法估计靶标平面点云在激光雷达坐标系下的平面方程，不断重复，直至处理完所有点云数据；对于可见光相机图像数据，首先利用张正友标定法标定内参，然后提取每组图像数据中对应大平面复合靶标上的二维角点，最后利用P3P算法估计每帧图像对应的可见光相机相对于复合靶标的位姿并计算复合靶标平面在相机坐标系下的平面方程。

3)分别在激光雷达坐标系与可见光相机坐标系中，根据靶标平面的法向量方向，将所有平面分为三组并计算三平面交点。分组遵循同组平面法向量方向相近，不同组平面法向量趋于正交的原则。从每组中选取一个平面，计算选取的三个平面的交点，枚举所有三平面组合并计算对应交点。激光雷达坐标系下和相机坐标系下三个不同靶标平面的交点集合分别记为

与

分别为同一靶标平面交点在激光雷达坐标系和可见光相机坐标系中的坐标，具有一一对应关系，可用来求解位姿中的平移向量。

4)估计旋转矩阵R。已知激光雷达和相机坐标系下对应的靶标平面的法向量集合，分别记为

根据以下优化目标函数计算旋转矩阵R：

展开关于R的误差项，得

注意到第一项和R无关，第二项由于R^TR＝I，也和R无关。因此，实际上优化目标函数为

其中tr(M)表示求矩阵M的迹，即M的对角线元素之和。

可通过SVD求解上述问题中的R。为求解R，先定义矩阵：

对W进行SVD分解，得

W＝U∑V^T (6)

其中，∑为奇异值组成的对角矩阵，对角线元素从大到小排列，而U，V为对角矩阵。当W满秩时，R为

R＝UV^T (7)

如果此时R的行列式为负，则取-R作为最优值。

5)估计平移向量t。激光雷达坐标系下和相机坐标系下三个不同靶标平面的交点集合分别记为

则可根据下式求解平移向量t

其中，R为已求得的旋转矩阵，

设P^L为激光雷达坐标系中一点的坐标，该点在相机坐标系中坐标为P^C，则P^L，P^C满足

P^C＝RP^L+t (9)

P^L＝R^-1(P^C-t) (10)

(R，t)代表两坐标系中点的坐标变换关系，激光雷达与相机的位姿标定完成。

Claims (5)

1.一种基于大平面复合靶标的激光雷达与可见光相机的标定方法，其特征在于包括以下步骤：

制作大平面复合靶标，包括以下步骤：

1)使用两个高分辨率相机组成一个宽基线立体相机，并标定内外参；

2)在实际场景中选择一个平整的平面作为靶标平面，打印若干黑白格子角点图案贴于靶标平面上；

3)在靶标平面上任意选择不共线的三个角点，记为A，B，C，使用立体相机测得BC＝a，AC＝b，AB＝c，设∠A＝θ，根据三角形余弦定理求得θ值；以A为坐标系原点，AB所在直线为极轴，顺时针方向为旋转正方向，求得A，B，C三点极坐标，分别为A(0，0)，B(c，0)，C(b，θ)；

4)再以A为坐标系原点，极轴为X轴，Y轴向下，将A，B，C三点极坐标系坐标转换为直角坐标系坐标，分别记为A(0，0)，B(x_b，y_b)，C(x_c，y_c)；设D为靶标平面上不同于A，B，C的任意一角点，其直角坐标设为(x_d，y_d)；已知A，B，C三点直角坐标，由立体相机测得DA＝l₁，DB＝l₂，DC＝l₃，则有

5)解以上二元二次方程组，取实数域上解，得到D点坐标；以此类推，求得靶标平面上其它角点的直角坐标；默认靶标平面处于Z＝0的平面上，得到所有角点的三维直角坐标系坐标，大平面复合靶标制作完成；

将所述大平面复合靶标置于激光雷达与可见光相机共同视场中；

调整大平面复合靶标位姿，采集至少3组法向量不共线的观测数据，并对观测数据进行平面特征提取；

根据靶标平面在激光雷达坐标系和可见光相机坐标系中法向量的对应性求解相机坐标系相对于激光雷达坐标系的旋转矩阵；

在激光雷达坐标系与可见光相机坐标系中，根据靶标平面的法向量方向，遵循同组平面法向量方向相近，不同组平面法向量趋于正交的原则，分别将靶标平面分为三组，从每组中任意选取一个靶标平面，计算选取的三个靶标平面的交点，根据三个靶标平面的交点的对应性和相机坐标系相对于激光雷达坐标系的旋转矩阵估计平移向量。

2.如权利要求1所述的基于大平面复合靶标的激光雷达与可见光相机的标定方法，其特征在于对观测数据进行平面特征提取方法如下：

对于激光雷达点云数据，用最小二乘法估计靶标平面点云在激光雷达坐标系下的平面方程，不断重复，直至处理完所有点云数据；

对于可见光相机图像数据，首先利用张正友标定法标定相机内参，然后提取每组图像数据中大平面复合靶标上的二维角点，最后利用P3P算法估计每帧图像对应的可见光相机相对于大平面复合靶标的位姿并计算复合靶标平面在相机坐标系下的平面方程。

3.如权利要求1所述的基于大平面复合靶标的激光雷达与可见光相机的标定方法，其特征在于求解旋转矩阵方法如下：

已知激光雷达和相机坐标系下对应的靶标平面的法向量集合，分别记为

根据以下优化目标函数计算旋转矩阵R：

R为相机坐标系相对于激光雷达坐标系的旋转矩阵，展开关于R的误差项：

注意到第一项和R无关，第二项由于R^TR＝I，也和R无关，因此，实际上优化目标函数为

其中tr( )表示求括号中矩阵的迹，即矩阵的对角线元素之和；

通过SVD求解上述问题中的R，先定义矩阵：

对W进行SVD分解，得

W＝U∑V^T (6)

其中，∑为奇异值组成的对角矩阵，对角线元素从大到小排列，而U，V为对角矩阵；当W满秩时，R为

R＝UV^T (7)

如果此时R的行列式为负，则取-R作为最优值。

4.如权利要求1所述的基于大平面复合靶标的激光雷达与可见光相机的标定方法，其特征在于估计平移向量的方法如下：

激光雷达坐标系下和相机坐标系下三个不同靶标平面的交点集合分别记为

根据下式求解平移向量t

其中，R为已求得的相机坐标系相对于激光雷达坐标系的旋转矩阵，

5.如权利要求1所述的基于大平面复合靶标的激光雷达与可见光相机的标定方法，其特征在于采集观测数据遵循以下两个原则：

(1)靶标平面法向量两两正交；

(2)每三个法向量不同的平面的交点接近激光雷达与可见光共同视场中心。

Images