CN112669393B - 一种激光雷达与相机联合标定方法 - Google Patents

Abstract

本发明公开了一种激光雷达与相机联合标定方法，所使用的激光雷达扫描方式为非重复扫描，即激光雷达每次扫描轨迹都不相同，静止采集数秒，视野内点云覆盖率趋近100%。本发明根据此种激光雷达非重复扫描特点，将自制大型棋盘格标定板依次放置于激光雷达与相机重合视野中不同位置，相机采集一帧图像的同时激光雷达采集较长时间三维点云数据，将得到的三维点云数据根据点云强度转化为二维归一化灰度图，再对归一化灰度图及相机图像进行角点检测，得到对应的二维灰度图与相机图像角点对，然后根据二维灰度图中的角点回溯找到精确的三维点云角点坐标，最终根据对应的三维点云角点与相机图像角点坐标得到联合标定结果，与传统方法相比，具有更高的精度。

Description

一种激光雷达与相机联合标定方法

技术领域

本发明属于多传感器数据融合领域，具体涉及一种激光雷达与相机联合标定方法。

背景技术

激光雷达与相机被广泛应用于无人驾驶、智能机器人等领域。

激光雷达的优势在于可以准确地反映出环境的空间三维信息，但却在细节描述方面有所欠缺，相机虽然无法反映出环境的空间三维信息，但却在细节及颜色描述方面具有突出的效果。因此，在一个无人系统中，需要对激光雷达与相机进行融合使用，发挥各自的优点。然而，融合的前提是需要对其进行联合标定，进行空间上的坐标统一。现有的激光雷达与相机联合标定方法大多是基于多线重复扫描激光雷达，由于产品问世较晚，非重复扫描激光雷达方面鲜有人涉及。

开源自动驾驶框架Autoware提供了一种激光雷达与相机联合标定方法，并将其封装于Autoware_Camera_Lidar_Calibrator工具包中。该方法需要手动圈出标定板在三维点云中的位置来确定标定板所在的平面及距离，从而通过激光雷达相对于这个面的角度推算出激光雷达姿态，再和相机对比，最终得到激光雷达与相机联合标定结果。但此种方法存在着手动圈点不精确导致无法准确确定标定板在三维点云中的平面及距离的问题，导致了标定结果的不准确。

201910498286.3公开了《一种多相机系统和激光雷达联合系统及其联合标定方法》，该方法通过标定软件在点云数据中选择打在棋盘格标定板上的点云，选择完点云后，将点云投影到相机坐标系中，观测所选点云是否位于标定板中心，调整所选的点云，使得所选点云投影后都在棋盘格标定板的中心，都调整好后点击标定，输出激光雷达标定结果。该方法主要依赖手动选取打在标定板中心位置的点云，人眼判断存在误差，且样本数量较少，联合标定结果很难精确。

发明内容

本发明的目的在于提供一种激光雷达与相机联合标定方法，基于非重复扫描激光雷达扫描积分时间越长点云覆盖率越高的特点，以解决传统联合标定方法所带来的精度低问题。

实现本发明目的的技术解决方案为：一种激光雷达与相机联合标定方法，标定步骤如下：

步骤一：将激光雷达与相机固定在同一个底座上，保持激光雷达与相机相对位置不变，保证激光雷达与相机重合视野部分占到相机视野的50％以上，转入步骤二。

步骤二：对相机进行标定，得到相机内参

f_x、f_y表示相机焦距，c_x，c_y表示相机光轴在图像坐标系上的偏移量，转入步骤三。

步骤三：将棋盘格标定板依次放置于激光雷达与相机重合视野中的不同位置进行相机与激光雷达的数据采集，在每个位置处，相机采集一帧图像数据，激光雷达采集20～30秒三维点云数据，转入步骤四。

步骤四：对每个位置上采集到的激光雷达三维点云数据与相机图像数据进行筛选，若存在无法全面且清晰反映出棋盘格标定板的数据，则舍弃该数据，并微调棋盘格标定板姿态，重新对该位置进行数据采集，转入步骤五；否则，直接转入步骤五。

步骤五：对采集到的激光雷达三维点云数据进行x轴方向的归一化处理，生成激光雷达二维归一化灰度图，其中，根据激光雷达三维点云数据中的点云强度信息确定二维归一化灰度图中的像素灰度，转入步骤六。

步骤六：对得到的激光雷达二维归一化灰度图与相机图像进行角点检测，分别得到棋盘格角点在激光雷达二维归一化灰度图与相机图像中的坐标，转入步骤七。

步骤七：将每组激光雷达二维归一化灰度图中的角点坐标逆向得到其对应的激光雷达三维点云棋盘格角点坐标，转入步骤八。

步骤八：返回步骤四，遍历每个位置上采集到的激光雷达三维点云与相机图像数据，得到一系列激光雷达三维点云与相机图像棋盘格角点坐标点对，相机图像角点坐标与三维激光点云坐标变换关系为：

[u_c,v_c]＝K(R*P(x,y,z)+T)

式中，[u_c,v_c]为相机图像棋盘格角点坐标，K为相机内参，R为联合标定旋转矩阵，P(x,y,z)为棋盘格角点上的激光雷达三维点云坐标，T为联合标定位移矩阵；输入得到的每组激光雷达三维点云与相机图像棋盘格角点坐标，最终可求得旋转矩阵R与位移矩阵T，完成一种非重复扫描激光雷达与相机的联合标定。

本发明与现有技术相比，其显著优点在于：

(1)现有方法多采用传统多线激光雷达进行与相机的联合标定，传统多线激光雷达扫描轨迹不变，视场中的点云覆盖率低，难以准确反映出标定板信息，影响了联合标定的准确性。本发明所采用的激光雷达扫描方式为非重复扫描，本发明在保持激光雷达静止状态下对棋盘格标定板进行20～30秒数据采集，此时视野中点云覆盖率趋近100％，可以清晰分辨出棋盘格标定板中的角点信息，进而可以提取出准确的角点坐标信息。

(2)不同于现有技术中通过选取打在棋盘格标定板上的三维点云数据来估算棋盘格标定板平面与距离。本发明提出了一种3D-2D-3D方法来精确获得打在棋盘格标定板角点上的三维点云坐标。即先将激光雷达采集到的三维点云数据进行x轴上的归一化处理，建立激光雷达二维归一化灰度图，灰度图像素灰度信息由激光雷达三维点云中每个点的点云强度信息提供，再对激光雷达二维归一化灰度图进行角点检测，得到灰度图中的标定板角点坐标，最后通过检测到的灰度图中的标定板角点坐标回溯找到对应的打在棋盘格标定板角点上的精确激光雷达三维点云坐标，提高了联合标定的精度。

附图说明

图1为本发明的激光雷达与相机联合标定方法流程图。

图2为本发明的所使用的黑白棋盘格标定板示意图。

图3为激光雷达点云坐标系定义示意图。

图4为本发明的结构示意图。

具体实施方式

本发明采用一种非重复扫描激光雷达相机进行联合标定，非重复扫描激光雷达具有每次扫描轨迹不重复的特点，随着扫描时间的增加，所输出的三维点云视野覆盖率不断增大，静止扫描数秒后，视野覆盖率趋近100％，可充分反映出精确的环境细节信息，结合自制的大型棋盘格标定板，使得联合标定精度大幅度提高。

结合图1，本发明所述的一种激光雷达与相机联合标定方法，具体步骤如下：

步骤一：将激光雷达与相机固定在同一个底座上，保持激光雷达与相机相对位置不变，保证激光雷达与相机重合视野部分占到相机视野的50％以上。

所述激光雷达扫描方式为非重复扫描，激光雷达扫描轨迹不重复，静止扫描数秒后，视场覆盖率趋近100％，即视场中几乎所有区域都会覆盖到。

步骤二：对相机进行标定，得到相机内参

f_x、f_y表示相机焦距，c_x，c_y表示相机光轴在图像坐标系上的偏移量。

步骤三：将棋盘格标定板依次放置于激光雷达与相机重合视野中的不同位置(9～20个，视重合视野区域大小而定)进行相机与激光雷达的数据采集，在每个位置处，相机采集一帧图像数据，激光雷达采集20～30秒三维点云数据，这样可以保证视野范围内激光雷达点云覆盖率趋近100％，可以充分反映出棋盘格角点信息。

为了能够充分采集到重合视野中不同位置处的相机图像与激光雷达三维点云数据，在激光雷达与相机能够充分采集到全部棋盘格标定板数据的前提下，棋盘格标定板放置位置要覆盖激光雷达与相机重合视野区域的近处、远处、左右边界及中间位置，相邻位置之间相隔3～5米。

步骤四：对每个位置上采集到的激光雷达三维点云数据与相机图像数据进行筛选，若存在无法全面且清晰反映出棋盘格标定板的数据，则舍弃该数据，并微调棋盘格标定板姿态，重新对该位置进行数据采集，转入步骤五；否则，直接转入步骤五。

步骤五：如图3所示，在激光雷达点云坐标系中，激光雷达正前方为激光雷达点云坐标x轴。因此，为了能够全面反映出视野中棋盘格标定板各个角点信息，需要对采集到的激光雷达三维点云数据进行x轴方向的归一化处理，生成激光雷达二维归一化灰度图，并根据激光雷达三维点云数据中的点云强度信息确定二维归一化灰度图中的像素灰度。

在建立激光雷达归一化灰度图过程中，首先对三维点云坐标进行归一化处理，设激光雷达三维点云数据点P₀(x₀,y₀,z₀,i₀)；其中，i₀为该激光雷达三维点云坐标点的强度信息，该信息由激光雷达直接输出；

对x轴方向进行归一化处理，得到坐标

其次，设置激光雷达二维归一化灰度图分辨率为u₀*v₀，

则增益

由激光雷达三维点云转化而来的激光雷达二维归一化灰度图像素坐标[u,v]＝K₀*P₁(x₁,y₁,z₁)；

同时，统计每个位置处采集到的所有激光雷达三维点云数据中的点云强度最大值i_max，则激光雷达二维归一化灰度图像素坐标[u,v]处的灰度值为

步骤六：对得到的激光雷达二维归一化灰度图与相机图像进行角点检测，分别得到棋盘格角点在激光雷达二维归一化灰度图与相机图像中的坐标。

步骤七：将激光雷达二维归一化灰度图中的角点坐标逆向得到其对应的激光雷达三维点云坐标。

步骤八：返回步骤四，遍历每个位置上采集到的激光雷达三维点云与相机图像数据，得到一系列激光雷达三维点云与相机图像棋盘格角点坐标点对，相机图像角点坐标与三维激光点云坐标变换关系为：

[u_c,v_c]＝K(R*P(x,y,z)+T)

式中，[u_c,v_c]为相机图像棋盘格角点坐标，K为相机内参，R为联合标定旋转矩阵，P(x,y,z)为棋盘格角点上的激光雷达三维点云坐标，T为联合标定位移矩阵；输入得到的每组激光雷达三维点云与相机图像棋盘格角点坐标，最终可求得旋转矩阵R与位移矩阵T，完成一种非重复扫描激光雷达与相机的联合标定。

实施例1

结合图1，一种激光雷达与相机联合标定方法，步骤如下：

步骤一：将激光雷达与相机朝向同一方向并排固定在同一个底座上，激光雷达与相机重合视野部分占到相机视野50％以上。

步骤二：对相机进行标定，得到相机内参

f_x、f_y表示相机焦距，c_x，c_y表示相机光轴在图像坐标系上的偏移量。

步骤三：为了能够充分采集到重合视野中不同位置处的相机图像与激光雷达三维点云数据，此次在重合视野中选取了a、b、c、d、e、f、g、h、i共9个不同位置(如图4，以不同半径的同心圆形式排布)。在每个位置处，相机采集一帧图像数据，激光雷达采集20秒三维点云数据。其中，所使用的棋盘格标定板如图2所示，为了保证相机与激光雷达能够清晰采集到较远处棋盘格标定板数据，棋盘格标定板的每个格子大小设置为20厘米，20个格子五行四列相间排列。

步骤四：对每个位置上采集到的激光雷达三维点云数据与相机图像数据进行筛选，若存在无法全面且清晰反映出棋盘格标定板的数据，则舍弃该数据，并微调棋盘格标定板姿态，重新对该位置进行数据采集，转入步骤五；否则，直接转入步骤五。

步骤五：对采集到的每个位置上的激光雷达三维点云数据进行x轴方向的归一化处理，生成激光雷达二维归一化灰度图。其中，根据激光雷达三维点云数据中点云强度确定二维归一化灰度图中的图像像素灰度。

在建立激光雷达归一化灰度图过程中，首先对三维点云坐标进行归一化处理，设激光雷达三维点云数据点为P₀(x₀,y₀,z₀,i₀)。其中，i₀为该激光雷达三维点云坐标点的强度信息，该信息有激光雷达直接输出。

对x轴方向进行归一化处理，得到坐标

其次，设置激光雷达二维归一化灰度图分辨率为u₀*v₀、增益

由激光雷达三维点云转化而来的激光雷达二维归一化灰度图像素坐标表示为[u,v]＝K₀*P₁(x₁,y₁,z₁)。

同时，统计每个位置处采集到的所有激光雷达三维点云数据中的点云强度最大值i_max，则激光雷达二维归一化灰度图像素坐标[u,v]处的灰度值为

步骤六：对得到的每个位置处激光雷达二维归一化灰度图与相机图像进行角点检测，分别得到棋盘格角点在激光雷达二维归一化灰度图与相机图像中的坐标。

步骤七：将每组激光雷达二维归一化灰度图中的角点坐标逆向得到其对应的激光雷达三维点云坐标，在此过程中，由于本发明所采用的非重复扫描激光雷达每次数据采集时间为20秒，三维点云视野覆盖率趋近100％且三维点云数据量较大，因此逆向寻找激光雷达二维归一化灰度图角点对应的激光雷达三维点云坐标时会出现多个结果，在此我们对所找到的若干个激光雷达三维点云三轴坐标值进行求平均，减少误差。

步骤八：返回步骤四，遍历所有位置处采集到的激光雷达三维点云与相机图像数据，可得到一系列激光雷达三维点云与相机图像角点坐标点对。相机图像角点坐标与三维激光点云坐标变换关系为：

[u_c,v_c]＝K(R*P(x,y,z)+T)

式中，[u_c,v_c]为相机图像棋盘格角点坐标，K为相机内参，R为联合标定旋转矩阵，P(x,y,z)为棋盘格角点上的激光雷达三维点云坐标，T为联合标定位移矩阵。输入得到的每组激光雷达三维点云与相机图像棋盘格角点坐标，最终可求得旋转矩阵R与位移矩阵T，完成一种非重复扫描激光雷达与相机的联合标定。

Claims (5)

1.一种激光雷达与相机联合标定方法，其特征在于，标定步骤如下：

步骤一：将激光雷达与相机固定在同一个底座上，保持激光雷达与相机相对位置不变，保证激光雷达与相机重合视野部分占到相机视野的50％以上，转入步骤二；

步骤二：对相机进行标定，得到相机内参

f_x、f_y表示相机焦距，c_x，c_y表示相机光轴在图像坐标系上的偏移量，转入步骤三；

步骤三：将棋盘格标定板依次放置于激光雷达与相机重合视野中的不同位置进行相机与激光雷达的数据采集，在每个位置处，相机采集一帧图像数据，激光雷达采集20～30秒三维点云数据，转入步骤四；

步骤四：对每个位置上采集到的激光雷达三维点云数据与相机图像数据进行筛选，若存在无法全面且清晰反映出棋盘格标定板的数据，则舍弃该数据，并微调棋盘格标定板姿态，重新对该位置进行数据采集，转入步骤五；否则，直接转入步骤五；

步骤五：对采集到的激光雷达三维点云数据进行x轴方向的归一化处理，生成激光雷达二维归一化灰度图，其中，根据激光雷达三维点云数据中的点云强度信息确定二维归一化灰度图中的像素灰度，转入步骤六；

步骤六：对得到的激光雷达二维归一化灰度图与相机图像进行角点检测，分别得到棋盘格角点在激光雷达二维归一化灰度图与相机图像中的坐标，转入步骤七；

步骤七：将每组激光雷达二维归一化灰度图中的角点坐标逆向得到其对应的激光雷达三维点云棋盘格角点坐标，转入步骤八；

步骤八：返回步骤四，遍历每个位置上采集到的激光雷达三维点云与相机图像数据，得到一系列激光雷达三维点云与相机图像棋盘格角点坐标点对，相机图像角点坐标与三维激光点云坐标变换关系为：

[u_c,v_c]＝K(R*P(x,y,z)+T)

式中，[u_c,v_c]为相机图像棋盘格角点坐标，K为相机内参，R为联合标定旋转矩阵，P(x,y,z)为棋盘格角点上的激光雷达三维点云坐标，T为联合标定位移矩阵；输入得到的每组激光雷达三维点云与相机图像棋盘格角点坐标，最终可求得旋转矩阵R与位移矩阵T，完成一种非重复扫描激光雷达与相机的联合标定。

2.根据权利要求1所述的激光雷达与相机联合标定方法，其特征在于：所述激光雷达扫描方式为非重复扫描，激光雷达扫描轨迹不重复，静止扫描数秒后，视场覆盖率趋近100％。

3.根据权利要求1所述的激光雷达与相机联合标定方法，其特征在于：步骤三中，不同位置数量为9～20个，视重合视野区域大小而定。

4.根据权利要求1所述的激光雷达与相机联合标定方法，其特征在于：步骤三中，为了能够充分采集到重合视野中不同位置处的相机图像与激光雷达三维点云数据，在激光雷达与相机能够充分采集到全部棋盘格标定板数据的前提下，棋盘格标定板放置位置要覆盖激光雷达与相机重合视野区域的近处、远处、左右边界及中间位置，相邻位置之间相隔3～5米。

5.根据权利要求1所述的激光雷达与相机联合标定方法，其特征在于：步骤五中，在建立激光雷达归一化灰度图过程中，首先对三维点云坐标进行归一化处理，设激光雷达三维点云数据点P₀(x₀,y₀,z₀,i₀)；其中，i₀为该激光雷达三维点云坐标点的强度信息，该信息由激光雷达直接输出；

对x轴方向进行归一化处理，得到坐标

其次，设置激光雷达二维归一化灰度图分辨率为u₀*v₀，

则增益

由激光雷达三维点云转化而来的激光雷达二维归一化灰度图像素坐标[u,v]＝K₀*P₁(x₁,y₁,z₁)；

同时，统计每个位置处采集到的所有激光雷达三维点云数据中的点云强度最大值i_max，则激光雷达二维归一化灰度图像素坐标[u,v]处的灰度值为

Images