CN116402904A - 一种基于激光雷达间和单目相机的联合标定方法 - Google Patents

Abstract

本发明提供了一种基于激光雷达间和单目相机的联合标定方法，包括以下步骤：步骤1，进行图像预处理；步骤2，进行点云预处理；步骤3，进行激光雷达相机联合标定。本发明采用黑白格标定板，基于标定板顶点信息在二维图像数据与三维点云数据中的特征不变性得到激光雷达和相机之间的旋转矩阵和平移矩阵，进而可以实现通过该旋转平移矩阵对激光雷达和相机的数据的联合标定。

Description

一种基于激光雷达间和单目相机的联合标定方法

技术领域

本发明属于高级辅助驾驶领域(ADAS)，特别涉及一种基于激光雷达间和单目相机的联合标定方法。

背景技术

实现ADAS的技术主要有三类，分别是基于视觉传感器、毫米波雷达和激光雷达。

激光雷达和相机作为广泛使用的传感器，有各自的优势和不足。激光雷达可以直接获得较高精度的距离信息，但无法感知物体表面纹理色彩；相机可以提供丰富的纹理色彩信息，易于识别分割，但是无法直接感知物体的空间位置。融合两者的信息、取长补短，是当前研究的重要内容。

激光雷达与相机的联合标定，其本质上是获取足够的位于二维像素坐标系中像点坐标和与之对应的三维激光雷达坐标系下的点云坐标，建立约束关系，优化求解的过程，也被可称为PNP(perspective-n-point)问题。现阶段对于自动驾驶的激光雷达与相机联合标定可分为离线标定和在线标定。在线标定是指，自动驾驶车辆运行的过程中根据参照物实时对自身的传感器进行外参矩阵的校准，用以修正运行过程中因车辆颠簸等缘由出现的累计偏差，Heidarsson H K等人提出一种在线标定的方法，包括从航空影像中定位环境中合适的标定地点，导航到这些地点，收集标定数据并从数据中估计所需的参数。

-GARAVITO等人提出了一种两个传感器之间进行相互校准的算法，仅需要一个用于俯仰和滚动校准的平坦表面，并且对于两个传感器而言都可以看到一个障碍物来确定偏航角，不需要任何特定形状来将其定位在车辆的前方。

但在实际情况中，其往往需要获取一个运算的初始值来获得更快的收敛效果，而初始值常常是由离线标定获得的。因此需要一种准确的，稳定的离线标定方法来完成激光雷达与相机的联合标定。

发明内容

发明目的：本发明的目的在于克服现有技术的缺陷，提出激光雷达和相机间的联合标定方法，通过黑白标定板二维灰度特征提取和三维平面拟合和法线计算，本发明可以实现激光雷达和相机间的快速准确的标定。

为了解决上述技术问题，本发明包括如下步骤：

步骤1，进行图像预处理；

步骤2，进行点云预处理；

步骤3，进行激光雷达相机联合标定。

步骤1包括如下步骤：

步骤1-1，对图像进行二值化，转变为灰度图；

步骤1-2，使用sobel边缘检测算法获得标定板的特征，sobel卷积算子从x轴y轴两个方向计算灰度图的新灰度值G，公式如下：

其中，G_x、G_y分别为像素点在x轴方向上的卷积核和y轴方向上的卷积核；

步骤1-3，根据标定板边缘信息，通过最小二乘法拟合平面的平移向量t旋转矩阵R，再计算出相机坐标系下的空间法线N_c，计算公式为：

其中的R₃表示为旋转矩阵R的第三列向量，T表示矩阵转置。

步骤2包括如下步骤：

步骤2-1，对场景点云进行体素质心滤波操作：对场景中存在的噪点进行去噪，

步骤2-2，通过欧式聚类算法进行自动拟合处理，获得准确含标定板的点云图；

步骤2-3，根据标定板实际尺寸、标定板每行每列黑白方块个数，通过随机采样一致性算法计算出标定板标定板的平面方程Ax+By+Cz+D＝0，通过空间几何关系计算出空间法线向量N_L为：

步骤2-1包括如下步骤：

步骤2-1-1，依据点云数据集合，求取x轴方向的最大值x_max、x轴方向的最小值x_min、y轴方向的最大值y_max、y轴方向的最小值y_min、z轴方向的最大值z_max、z轴方向的最小值z_min，并求得点云最小包围盒的边长，点云最小包围盒的边长在x轴、y轴、z轴分别记为：I_x、I_y、I_z；

步骤2-1-2，设置体素栅格边长r；

步骤2-1-3，计算体素网格在x轴、y轴、z轴尺寸长度D_x、D_y、D_z：

步骤2-1-4，计算点云中每一个点在体素栅格中的索引h：

其中，x、y、z分别表示点云数据在x轴方向的坐标、点云数据在y轴方向的坐标、点云数据在z轴方向的坐标；h_x、h_y、h_z分别表示点云数据在x轴方向的索引、点云数据在y轴方向的索引、点云数据在z轴方向的索引；

步骤2-1-5，将h中的元素按从大到小排序计算每个栅格中的质心，并用距离质心最近的点代替栅格内所有的点。

步骤2-2包括：对点云中的一点P，搜索其邻域点集合Q直至与P点距离大于设定阈值，该阈值一般由点云的实际物理尺寸设定，对Q中的所有点重复此步骤直至不再增加，此时集合Q中的数目如果满足大于预先设置的最小值，表示聚类成功。

步骤3包括如下步骤：

步骤3-1，在空旷且光线良好的标定场地使用激光雷达与相机采集不同位姿的起算数据；

步骤3-2，根据相机的内参和外参和步骤1的方法求取标定板的空间法线N_C；

步骤3-3，使用步骤2的方法计算出标定板平面并求取标定板的空间法线向量N_L；

步骤3-4，按照如下约束函数求取从激光雷达坐标到相机坐标的旋转矩阵R和平移向量T的初始解：

‖N_L‖-‖N_C‖＝TN_L

步骤3-5，依据LM(Levenberg–Marquardt)梯度优化函数对R和T进行迭代优化，求取最优解。

本发明还提供了一种存储介质，存储有计算机程序或指令，当所述计算机程序或指令被运行时，实现所述一种基于激光雷达间和单目相机的联合标定方法。

本发明中采用单目相机标定技术，建立相机参数模型，为了空间物点坐标到图像像素坐标的转换，采用单应性矩阵的数值解求取参数初始值，利用非线性最小二乘法全局优化参数，考虑相机畸变模型，选择LM(Levenberg-Marquarelt)算法对参数模型进行整体优化迭代求取最优解。

本发明中采用了LM优化算法技术，LM优化算法是一种经过多次验证，可以有效解决非线性最小二乘函数的经典算法。该算法集成了高斯牛顿法和梯度下降法2种算法各自的优势，通过控制改变阻尼因子变量的值，即通过调节每次算法迭代的步长，有效提升迭代优化效率，实现对目标函数最小二乘法优化，求出最佳的旋转平移矩阵。

本发明中采用了点云相机联合标定技术，三维空间的激光点云坐标系(X_L，Y_L，Z_L)与二维平面的像素坐标系(X_C，Y_C，Z_C)之间点的几何关系存在着对应的线性关系：

联合标定即是要计算出旋转矩阵R和平移向量T的数值；通过平面拟合算法得到标定板平面方程：

Z＝aX+bY+cZ

从平面方程中分别选取两条过相机坐标系原点和激光雷达坐标系原点的空间法线，分别为N_C与N_L，N_C的模长度等于相机原点与标定板平面的距离，N_L的模长度等于激光雷达原点与标定板平面的距离，通过构建N_C，N_L，R，T的约束方程：

‖N_L‖-‖N_C‖＝TN_L

可得到R，T的初始解，再采用LM算法对解进行迭代优化计算出标定方程解。

本发明的有益效果包括：本发明采用黑白格标定板，基于标定板顶点信息在二维图像数据与三维点云数据中的特征不变性得到激光雷达和相机之间的旋转矩阵和平移矩阵，进而可以实现通过该旋转平移矩阵对激光雷达和相机的数据的联合标定。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1是激光雷达、相机、标定板几何关系示意图。

图2是图像预处理流程图。

图3是点云预处理流程图。

图4是激光雷达相机联合标定流程图。

具体实施方式

本发明提供了一种基于激光雷达间和单目相机的联合标定方法，包括以下步骤：

步骤1，进行图像预处理；

步骤2，进行点云预处理；

步骤3，进行激光雷达相机联合标定。

步骤1包括如下步骤：

步骤1-1，对图像进行二值化，转变为灰度图；

步骤1-2，使用sobel边缘检测算法获得标定板的特征，sobel卷积算子从x轴y轴两个方向计算灰度图的新灰度值G，公式如下：

其中，G_x、G_y分别为像素点在x轴方向上的卷积核和y轴方向上的卷积核；

步骤1-3，根据标定板边缘信息，通过最小二乘法拟合平面的平移向量t旋转矩阵R，再计算出相机坐标系下的空间法线N_C，计算公式为：

其中的R₃表示为旋转矩阵R的第三列向量，T表示矩阵转置。

步骤2包括如下步骤：

步骤2-1，对场景点云进行体素质心滤波操作：对场景中存在的噪点进行去噪，

步骤2-2，通过欧式聚类算法进行自动拟合处理，获得准确含标定板的点云图；

步骤2-3，根据标定板实际尺寸、标定板每行每列黑白方块个数，通过随机采样一致性算法计算出标定板标定板的平面方程Ax+By+Cz+D＝0，通过空间几何关系计算出空间法线向量N_L为：

步骤2-1包括如下步骤：

步骤2-1-1，依据点云数据集合，求取x轴方向的最大值x_max、x轴方向的最小值x_min、y轴方向的最大值y_max、y轴方向的最小值y_min、z轴方向的最大值z_max、z轴方向的最小值z_min，并求得点云最小包围盒的边长，点云最小包围盒的边长在x轴、y轴、z轴分别记为：I_x、I_y、I_z；

步骤2-1-2，设置体素栅格边长r；

步骤2-1-3，计算体素网格在x轴、y轴、z轴尺寸长度D_x、D_y、D_z：

步骤2-1-4，计算点云中每一个点在体素栅格中的索引h：

其中，x、y、z分别表示点云数据在x轴方向的坐标、点云数据在y轴方向的坐标、点云数据在z轴方向的坐标；h_x、h_y、h_z分别表示点云数据在x轴方向的索引、点云数据在y轴方向的索引、点云数据在z轴方向的索引；

步骤2-1-5，将h中的元素按从大到小排序计算每个栅格中的质心，并用距离质心最近的点代替栅格内所有的点。

步骤2-2包括：对点云中的一点P，搜索其邻域点集合Q直至与P点距离大于设定阈值，该阈值一般由点云的实际物理尺寸设定，对Q中的所有点重复此步骤直至不再增加，此时集合Q中的数目如果满足大于预先设置的最小值，表示聚类成功。

步骤3包括如下步骤：

步骤3-1，在空旷且光线良好的标定场地使用激光雷达与相机采集不同位姿的起算数据；

步骤3-2，根据相机的内参和外参和步骤1的方法求取标定板的空间法线N_C；

步骤3-3，使用步骤2的方法计算出标定板平面并求取标定板的空间法线向量N_L；

步骤3-4，按照如下约束函数求取从激光雷达坐标到相机坐标的旋转矩阵R和平移向量T的初始解：

‖N_L‖-‖N_C‖＝TN_L

步骤3-5，依据LM(Levenberg–Marquardt)梯度优化函数对R和T进行迭代优化，求取最优解。

本发明还提供了一种存储介质，存储有计算机程序或指令，当所述计算机程序或指令被运行时，实现所述一种基于激光雷达间和单目相机的联合标定方法。

实施例

图1是三维空间的激光点云坐标系与二维平面的像素坐标系之间点的几何关系示意图。其中设激光雷达坐标系为O-(X_L，Y_L，Z_L)，相机图像坐标系为O-(X_C，Y_C，Z_C)，坐标系之间的联合标定即是求解旋转矩阵R和平移向量T。

图2是图像预处理流程图，在相机获取到图像后，进行以下流程：步骤1，对图像进行二值化，转变为灰度图；步骤2，使用sobel边缘检测算法获得标定板的特征；步骤3，根据标定板边缘信息，计算出相机坐标系下的空间法线N_C。

图3是点云预处理流程图，在获取到原始点云后，进行以下流程：步骤1，对场景点云进行滤波操作，对场景中存在的噪点进行去噪；步骤2，通过聚类算法(kmeans、欧式)进行自动拟合处理，获得准确含标定板的点云图；步骤3，根据标定板实际尺寸、标定板每行每列黑白方块个数，计算出标定板各个角点的点云坐标和空间法线向量N_L。

图4是激光雷达相机联合标定流程图，步骤如下：步骤1，在合适的标定场地使用激光雷达与相机采集不同位姿的起算数据；步骤2，根据相机的内参和外参和上述图像预处理技术求取标定板的N_C；步骤3，使用上述点云预处理技术计算出标定板平面并求取法向量的N_L；步骤4，按照约束函数：

‖N_L‖-‖N_C‖＝TN_L

求取初始解；步骤5，依据LM优化函数进行迭代优化，求取最优解。

本发明提供了一种基于激光雷达间和单目相机的联合标定方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (7)

1.一种基于激光雷达间和单目相机的联合标定方法，其特征在于，包括以下步骤：

步骤1，进行图像预处理；

步骤2，进行点云预处理；

步骤3，进行激光雷达相机联合标定。

2.根据权利要求1所述的方法，其特征在于，步骤1包括如下步骤：

步骤1-1，对图像进行二值化，转变为灰度图；

步骤1-2，使用sobel边缘检测算法获得标定板的特征，sobel卷积算子从x轴y轴两个方向计算灰度图的新灰度值G，公式如下：

其中，G_x、G_y分别为像素点在x轴方向上的卷积核和y轴方向上的卷积核；

步骤1-3，根据标定板边缘信息，通过最小二乘法拟合平面的平移向量t旋转矩阵R，再计算出相机坐标系下的空间法线N_C，计算公式为：

其中的R₃表示为旋转矩阵R的第三列向量，T表示矩阵转置。

3.根据权利要求2所述的方法，其特征在于，步骤2包括如下步骤：

步骤2-1，对场景点云进行体素质心滤波操作：对场景中存在的噪点进行去噪，

步骤2-2，通过欧式聚类算法进行自动拟合处理，获得准确含标定板的点云图；

步骤2-3，根据标定板实际尺寸、标定板每行每列黑白方块个数，通过随机采样一致性算法计算出标定板标定板的平面方程Ax+By+Cz+D＝0，通过空间几何关系计算出空间法线向量N_L为：

4.根据权利要求3所述的方法，其特征在于，步骤2-1包括如下步骤：

步骤2-1-1，依据点云数据集合，求取x轴方向的最大值x_max、x轴方向的最小值x_min、y轴方向的最大值y_max、y轴方向的最小值y_min、z轴方向的最大值z_max、z轴方向的最小值z_min，并求得点云最小包围盒的边长，点云最小包围盒的边长在x轴、y轴、z轴分别记为：I_x、I_y、I_z；

步骤2-1-2，设置体素栅格边长r；

步骤2-1-3，计算体素网格在x轴、y轴、z轴尺寸长度D_x、D_y、D_z：

步骤2-1-4，计算点云中每一个点在体素栅格中的索引h：

其中，x、y、z分别表示点云数据在x轴方向的坐标、点云数据在y轴方向的坐标、点云数据在z轴方向的坐标；h_x、h_y、h_z分别表示点云数据在x轴方向的索引、点云数据在y轴方向的索引、点云数据在z轴方向的索引；

步骤2-1-5，将h中的元素按从大到小排序计算每个栅格中的质心，并用距离质心最近的点代替栅格内所有的点。

5.根据权利要求4所述的方法，其特征在于，步骤2-2包括：对点云中的一点P，搜索其邻域点集合Q直至与P点距离大于设定阈值，该阈值一般由点云的实际物理尺寸设定，对Q中的所有点重复此步骤直至不再增加，此时集合Q中的数目如果满足大于预先设置的最小值，表示聚类成功。

6.根据权利要求5所述的方法，其特征在于，步骤3包括如下步骤：

步骤3-1，在空旷且光线良好的标定场地使用激光雷达与相机采集不同位姿的起算数据；

步骤3-2，根据相机的内参和外参和步骤1的方法求取标定板的空间法线N_C；

步骤3-3，使用步骤2的方法计算出标定板平面并求取标定板的空间法线向量N_L；

步骤3-4，按照如下约束函数求取从激光雷达坐标到相机坐标的旋转矩阵R和平移向量T的初始解：

‖N_L‖-‖N_C‖＝TN_L

步骤3-5，依据LM(Levenberg–Marquardt)梯度优化函数对R和T进行迭代优化，求取最优解。

7.一种存储介质，其特征在于，存储有计算机程序或指令，当所述计算机程序或指令被运行时，实现如权利要求1至6中任一项所述的方法。

Images