CN112819903B - 基于l型标定板的相机和激光雷达联合标定的方法 - Google Patents

Abstract

本发明涉及一种基于L型标定板的相机和激光雷达联合标定的方法。首先，将相机与激光雷达安装在待标定设备上；其次，把L型标定板置于待标定设备视场内的地面上；开启相机与激光雷达，进行数据采集，获取包含L型标定板的图像与点云数据；对图像数据进行角点检测，得到L型标定板两个平面上特征角点的像素坐标；对点云数据进行平面分割与拟合，得到L型标定板两个平面的方程，并通过几何信息进而得到平面上的特征角点在激光雷达坐标系下的坐标；最后，基于所检测角点的像素坐标与在激光雷达坐标系下的坐标，计算得到所述相机与激光雷达的位姿变化。本发明可以准确获取角点特征在点云数据中的位置，极大提升了相机和激光雷达联合标定的准确率。

Description

基于L型标定板的相机和激光雷达联合标定的方法

技术领域

本发明涉及标定领域中的相机和激光雷达联合标定，特别涉及一种基于L型标定板的相机和激光雷达联合标定的方法。

背景技术

自动驾驶汽车使用各种传感器来感知环境，为了实现复杂环境中的高质量感知，需要融合多种不同的传感数据来实现更全面的感知。在自动驾驶系统中，最为普遍使用的传感器是RGB相机和多线激光雷达。RGB相机能够获取高分辨率的颜色和纹理信息，但无法从图像数据中得到高精度的深度信息。激光雷根据发射和接受激光的时间差，提供被探测点准确的距离与方位等信息，在夜间也能很好地工作，然而，激光雷达不提供检测点的颜色信息，而且高线束的激光雷达设备价格昂贵，低线束的激光雷达设备只能获得有限的稀疏点云。

相机和激光雷达在数据层面是互补的，稠密的场景信息与稀疏的点云信息融合可以提升自动驾驶的性能。为了实现高质量的传感融合，相机和激光雷达的外参标定是重要的一环，外参标定也称为位姿变换的求解，只有得到了相机和激光雷达之间准确的坐标系变换关系，才能将相机图像数据和激光雷达点云数据进行精确的匹配，从而实现二者数据的融合。

相机和激光雷达联合标定通常依赖于标定板，标定板能提供精确的几何尺寸信息，相机和激光雷达先获取标定板中的多个特征点坐标，利用相机坐标系和激光雷达坐标系中匹配的特征来计算二者的外参。然而，对于低线束激光雷达，由于点云的稀疏性，其无法准确得到标定板的特征点在空间中的具体位置，造成图像中的特征点和空间中对应点的匹配误差增加，从而降低了相机和激光雷达外参标定的精度。

发明内容

本发明的目的在于提供一种基于L型标定板的相机和激光雷达联合标定的方法，该方法克服现有标定存在的问题，其原理简单、效率高，可以在低线束的激光雷达下实现准确的标定，能满足自动驾驶领域中相机和激光雷达的联合标定。

为实现上述目的，本发明的技术方案是：一种基于L型标定板的相机和激光雷达联合标定的方法，包括：

将相机与激光雷达安装在待标定设备上；

将L型标定板置于待标定相机与激光雷达设备的视场内的地面上；

开启相机与激光雷达，进行数据采集，从相机获取包括L型标定板的图像数据，从激光雷达获取包括L型标定板的点云数据；

对获取的图像数据进行角点检测，得到L型标定板两个平面上的棋盘格角点在像素坐标系下的坐标；

对获取的点云数据进行平面分割与拟合，得到L型标定板两个平面的方程，通过几何信息，进而得到L型标定板两个平面上的棋盘格角点在激光雷达坐标系下的坐标；

基于L型标定板的角点在像素坐标系下的坐标，与L型标定板的角点在激光雷达坐标系下的坐标，计算得到相机与激光雷达的位姿变化。

在本发明一实施例中，所述将L型标定板置于待标定相机与激光雷达设备的视场内的地面上的具体实现步骤如下：

获取两个尺寸已知的棋盘平面标定板，两个棋盘平面标定板的标定平面上设置有角点数量不同的棋盘格作为标定特征；

将两个棋盘平面标定板的边缘拼接，组成L型标定板，两个棋盘平面互相垂直，定义为平面π₁与平面π₂。

在本发明一实施例中，所述开启相机与激光雷达，进行数据采集的具体实现步骤如下：

预设数据采集的时间间隔，待相机与激光雷达运行稳定后，对L型标定板进行数据采集；

移动待标定设备，采集得到N组同步的图像数据与点云数据，在采集过程中要确保L型标定板在相机与激光雷达的视场内。

在本发明一实施例中，所述对获取的图像数据进行角点检测，得到L型标定板两个平面上的棋盘格角点在像素坐标系下的坐标的具体实现步骤如下：

根据L型标定板中平面π₁的角点数量，检测得到该平面角点在像素坐标系下的坐标；

根据L型标定板中平面π₂的角点数量，检测得到该平面角点在像素坐标系下的坐标。

在本发明一实施例中，所述对获取的点云数据进行平面分割与拟合，得到L型标定板两个平面的方程，通过几何信息，进而得到L型标定板两个平面上的棋盘格角点在激光雷达坐标系下的坐标的具体实现步骤如下：

基于L型标定板的尺寸与位置对点云进行初步分割，分割得到的点云数据包括L型标定板与邻近地面的点云数据；

基于邻近信息对点云数据信息再次分割，分割得到三部分点云数据，分别为L型标定板中平面π₁、L型标定板中平面π₂、地面π₃的点云数据；

利用RANSAC和最小二乘法进行平面拟合，平面的一般方程为aX+bY+cZ+d＝0，其中a、b、c、d为平面参数，得到L型标定板两个平面与地面的方程：

a₁X+b₁Y+c₁Z+d₁＝0

a₂X+b₂Y+c₂Z+d₂＝0

a₃X+b₃Y+c₃Z+d₃＝0

其中，第一个方程代表L型标定板的平面π₁，第二个方程代表L型板的平面π₂，第三个方程代表地面π₃；三个平面π₁、π₂、π₃的法向量分别为

联立三个平面π₁、π₂、π₃的法向量方程，计算得到三个平面的交点在激光雷达坐标系下的坐标(x₀,y₀,z₀)；

将三个平面的法向量两两进行叉乘，计算得到平面π₁与平面π₂的交线方向l₁₂，平面π₁与平面π₃的交线方向l₁₃，平面π₂与平面π₃的交线方向l₂₃；

L型标定板的尺寸已知，L型标定板的原点定义为三个平面的交点，L型标定板中平面π₁与π₂上的角点坐标可以用交线方向分别计算得到，

其中，i代表第i行角点，j代表第j列角点，L型标定板上每个棋盘格的尺寸为D；根据公式计算得到L型标定板上的所有角点在激光雷达坐标系下的坐标。

在本发明一实施例中，所述基于L型标定板的角点在像素坐标系下的坐标，与L型标定板的角点在激光雷达坐标系下的坐标，计算得到相机与激光雷达的位姿变化的具体实现步骤如下：

定义空间中的一点在像素坐标系下的坐标为[u,v]^T，在激光雷达坐标系下的坐标为^Lp＝[^Lp_x,^Lp_y,^Lp_z]^T，在相机坐标系下的坐标为^Cp＝[^Cp_x，^Cp_y，^Cp_z]^T；

给定相机的内参矩阵K，相机坐标系下的点^Cp投影到像素坐标系得到对应点[u,v]^T，它们之间存在变换关系如下：

定义和^Ct_L是从激光雷达坐标系到相机坐标系的旋转矩阵和平移向量，对于像素坐标系下的点与激光雷达坐标系下的点的变换关系如下：

其中，为内外参数联合变换矩阵，大小为3×4，有12个未知参数；

基于L型标定板的角点在像素坐标系下的坐标，以及在激光雷达坐标系下的坐标，求解得到M矩阵，已知相机的内参矩阵K，分解M矩阵得到激光雷达坐标系到相机坐标系的旋转矩阵和平移向量^Ct_L，为相机与激光雷达的位姿变化。

相较于现有技术，本发明具有以下有益效果：本发明方法克服现有标定存在的问题，其原理简单、效率高，可以在低线束的激光雷达下实现准确的标定，能满足自动驾驶领域中相机和激光雷达的联合标定。

附图说明

图1为本发明实施例的结构框图。

图2为本发明实施例中L型标定板示意图。

图3为本发明实施例中平面交线与交点的示意图。

图4为本发明实施例中像素坐标系、相机坐标系与激光雷达坐标系的示意图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如图1所示，本实施例提供了基于L型标定板的相机和激光雷达联合标定的方法，包括以下步骤：

步骤S1：将相机与激光雷达安装在待标定设备上。

步骤S2：将L型标定板置于待标定相机与激光雷达设备的视场内的地面上。

步骤S3：开启相机与激光雷达，进行数据采集，从相机获取包含所述L型标定板的图像数据，从激光雷达获取包含所述L型标定板的点云数据。

步骤S4：对获取的图像数据进行角点检测，得到L型标定板两个平面上的棋盘格角点在像素坐标系下的坐标。

步骤S5：对获取的点云数据进行平面分割与拟合，得到L型标定板两个平面的方程，通过几何信息，进而得到L型标定板两个平面上的棋盘格角点在激光雷达坐标系下的坐标。

步骤S6：基于所述S4中L型标定板的角点在像素坐标系下的坐标，与所述S5中L型标定板的角点在激光雷达坐标系下的坐标，计算得到所述相机与所述激光雷达的位姿变化。

在本实施例中，所述步骤S2具体包括以下步骤：

步骤S21：获取两个尺寸已知的棋盘平面标定板，两个标定平面上设置有角点数量不同的棋盘格作为标定特征。

步骤S22：将上述两个棋盘平面标定板的边缘拼接，组成L型标定板，两个棋盘平面互相垂直，定义为平面π₁与平面π₂，如图2所示。

在本实施例中，所述步骤S3具体包括以下步骤：

步骤S31：预设数据采集的时间间隔，待相机与激光雷达运行稳定后，对L型标定板进行数据采集。

步骤S32：移动待标定设备，采集得到N组同步的图像数据与点云数据，在采集过程中要确保L型标定板在相机与激光雷达的视场内。

在本实施例中，所述步骤S4具体包括以下步骤：

步骤S41：根据L型标定板平面π₁的角点数量，检测得到该平面角点在像素坐标系下的坐标。

步骤S42：根据L型标定板平面π₂的角点数量，检测得到该平面角点在像素坐标系下的坐标。

在本实施例中，所述步骤S5具体包括以下步骤：

步骤S51：基于L型板的尺寸与位置对点云进行初步分割，分割得到的点云数据包含L型标定板与邻近地面的点云数据。

步骤S52：基于邻近信息对点云数据信息再次分割，分割得到三部分点云数据，分别为L型标定板平面π₁、L型标定板平面π₂、地面π₃的点云数据。

步骤S53：利用RANSAC和最小二乘法进行平面拟合，平面的一般方程为aX+bY+cZ+d＝0，其中a、b、c、d为平面参数，得到L型板两个平面与地面的方程：

a₁X+b₁Y+c₁Z+d₁＝0

a₂X+b₂Y+c₂Z+d₂＝0

a₃X+b₃Y+c₃Z+d₃＝0

其中第一个方程代表L型板的平面π₁，第二个方程代表L型板的平面π₂，第三个方程代表地面π₃。三个平面π₁、π₂、π₃的法向量分别为

步骤S54：联立三个方程，计算得到三个平面的交点在激光雷达坐标系下的坐标(x₀,y₀,z₀)。

步骤S55：将三个平面的法向量两两进行叉乘，计算得到平面π₁与平面π₂的交线方向l₁₂，平面π₁与平面π₃的交线方向l₁₃，平面π₂与平面π₃的交线方向l₂₃，如图3所示。

步骤S56：标定板的尺寸已知，L型标定板的原点定义为三个平面的交点，标定板平面π₁与π₂上的角点坐标可以用交线方向分别计算得到，

其中i代表第i行角点，j代表第j列角点，标定板上每个棋盘格的尺寸为D。根据公式计算得到L型标定板上的所有角点在激光雷达坐标系下的坐标。

如图4所示，在本实施例中，所述步骤S6具体包括以下步骤：

步骤S61：定义空间中的一点在像素坐标系下的坐标为[u,v]^T，在激光雷达坐标系下的坐标为^Lp＝[^Lp_x,^Lp_y,^Lp_z]^T，在相机坐标系下的坐标为^Cp＝[^Cp_x,^Cp_y,^cp_z]^T。

步骤S62：给定相机的内参矩阵K，相机坐标系下的点^Cp投影到像素坐标系得到对应点[u,v]^T，它们之间存在变换关系如下：

定义和^Ct_L是从激光雷达坐标系到相机坐标系的旋转矩阵和平移向量，对于像素坐标系下的点与激光雷达坐标系下的点的变换关系如下：

其中为内外参数联合变换矩阵，大小为3×4，有12个未知参数。

步骤S63：基于L型标定板的角点在像素坐标系下的坐标，以及在激光雷达坐标系下的坐标，求解得到M矩阵，已知相机的内参矩阵K，分解M矩阵得到激光雷达坐标系到相机坐标系的旋转矩阵和平移向量^Ct_L，为所述相机与所述激光雷达的位姿变化。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (5)

1.一种基于L型标定板的相机和激光雷达联合标定的方法，其特征在于，包括：

将相机与激光雷达安装在待标定设备上；

将L型标定板置于待标定相机与激光雷达设备的视场内的地面上；

开启相机与激光雷达，进行数据采集，从相机获取包括L型标定板的图像数据，从激光雷达获取包括L型标定板的点云数据；

对获取的图像数据进行角点检测，得到L型标定板两个平面上的棋盘格角点在像素坐标系下的坐标；

对获取的点云数据进行平面分割与拟合，得到L型标定板两个平面的方程，通过几何信息，进而得到L型标定板两个平面上的棋盘格角点在激光雷达坐标系下的坐标；

基于L型标定板的角点在像素坐标系下的坐标，与L型标定板的角点在激光雷达坐标系下的坐标，计算得到相机与激光雷达的位姿变化；

所述对获取的点云数据进行平面分割与拟合，得到L型标定板两个平面的方程，通过几何信息，进而得到L型标定板两个平面上的棋盘格角点在激光雷达坐标系下的坐标的具体实现步骤如下：

基于L型标定板的尺寸与位置对点云进行初步分割，分割得到的点云数据包括L型标定板与邻近地面的点云数据；

基于邻近信息对点云数据信息再次分割，分割得到三部分点云数据，分别为L型标定板中平面π₁、L型标定板中平面π₂、地面π₃的点云数据；

利用RANSAC和最小二乘法进行平面拟合，平面的一般方程为aX+bY+cZ+d＝0，其中a、b、c、d为平面参数，得到L型标定板两个平面与地面的方程：

a₁X+b₁Y+c₁Z+d₁＝0

a₂X+b₂Y+c₂Z+d₂＝0

a₃X+b₃Y+c₃Z+d₃＝0

其中，第一个方程代表L型标定板的平面π₁，第二个方程代表L型板的平面π₂，第三个方程代表地面π₃；三个平面π₁、π₂、π₃的法向量分别为

联立三个方程，计算得到三个平面的交点在激光雷达坐标系下的坐标(x₀,y₀,z₀)；

将三个平面的法向量两两进行叉乘，计算得到平面π₁与平面π₂的交线方向l₁₂，平面π₁与平面π₃的交线方向l₁₃，平面π₂与平面π₃的交线方向l₂₃；

L型标定板的尺寸已知，L型标定板的原点定义为三个平面的交点，L型标定板中平面π₁与π₂上的角点坐标可以用交线方向分别计算得到，

π₁：

π₂：

其中，i代表第i行角点，j代表第j列角点，L型标定板上每个棋盘格的尺寸为D；根据公式计算得到L型标定板上的所有角点在激光雷达坐标系下的坐标。

2.根据权利要求1所述的基于L型标定板的相机和激光雷达联合标定的方法，其特征在于，所述将L型标定板置于待标定相机与激光雷达设备的视场内的地面上的具体实现步骤如下：

获取两个尺寸已知的棋盘平面标定板，两个棋盘平面标定板的标定平面上设置有角点数量不同的棋盘格作为标定特征；

将两个棋盘平面标定板的边缘拼接，组成L型标定板，两个棋盘平面互相垂直，定义为平面π₁与平面π₂。

3.根据权利要求1所述的基于L型标定板的相机和激光雷达联合标定的方法，其特征在于，所述开启相机与激光雷达，进行数据采集的具体实现步骤如下：

预设数据采集的时间间隔，待相机与激光雷达运行稳定后，对L型标定板进行数据采集；

移动待标定设备，采集得到N组同步的图像数据与点云数据，在采集过程中要确保L型标定板在相机与激光雷达的视场内。

4.根据权利要求1所述的基于L型标定板的相机和激光雷达联合标定的方法，其特征在于，所述对获取的图像数据进行角点检测，得到L型标定板两个平面上的棋盘格角点在像素坐标系下的坐标的具体实现步骤如下：

根据L型标定板中平面π₁的角点数量，检测得到该平面角点在像素坐标系下的坐标；

根据L型标定板中平面π₂的角点数量，检测得到该平面角点在像素坐标系下的坐标。

5.根据权利要求1所述的基于L型标定板的相机和激光雷达联合标定的方法，其特征在于，所述基于L型标定板的角点在像素坐标系下的坐标，与L型标定板的角点在激光雷达坐标系下的坐标，计算得到相机与激光雷达的位姿变化的具体实现步骤如下：

定义空间中的一点在像素坐标系下的坐标为[u,v]^T，在激光雷达坐标系下的坐标为^Lp＝[^Lp_x,^Lp_y,^Lp_z]^T，在相机坐标系下的坐标为^Cp＝[^Cp_x,^Cp_y,^Cp_z]^T；

给定相机的内参矩阵K，相机坐标系下的点^Cp投影到像素坐标系得到对应点[u,v]^T，它们之间存在变换关系如下：

定义和^Ct_L是从激光雷达坐标系到相机坐标系的旋转矩阵和平移向量，对于像素坐标系下的点与激光雷达坐标系下的点的变换关系如下：

其中，为内外参数联合变换矩阵，大小为3×4，有12个未知参数；

基于L型标定板的角点在像素坐标系下的坐标，以及在激光雷达坐标系下的坐标，求解得到M矩阵，已知相机的内参矩阵K，分解M矩阵得到激光雷达坐标系到相机坐标系的旋转矩阵和平移向量^Ct_L，为相机与激光雷达的位姿变化。