CN112308928A - 一种无标定装置的相机与激光雷达自动标定方法 - Google Patents

Abstract

本发明公开一种无标定装置的相机与激光雷达自动标定方法：处理激光雷达及与激光雷达的视角重叠的相机采集的图像数据I_i、图像数据I_i+1、一帧点云数据L_i，得到运动补偿后图像数据I_i对象区域的中心2D坐标及误差补偿后人体点云在激光雷达坐标系下中心3D坐标；利用多对2D‑3D点对，用PnP方法对激光雷达坐标系和相机坐标系的转换关系求解，得到初始标定结果；根据图像及点云匹配计算函数和位姿转换的关系计算匹配计算函数对位姿转换的导数，利用梯度下降算法，计算得到位姿转换参数最优解，得到标定结果。本发明使得能够在满足标定结果需求的基础上，使标定流程更为便捷。

Description

一种无标定装置的相机与激光雷达自动标定方法

技术领域

本发明涉及电气图制作技术领域，特别是涉及一种无标定装置的相机与激光雷达自动标定方法。

背景技术

无人驾驶汽车是通过车载传感系统感知道路环境，自动规划行车路线并控制车辆到达预定人体的智能汽车。它利用车载传感器来感知车辆周围环境，并根据感知所获得的道路、车辆位置和障碍物信息，控制车辆的转向和速度，从而使车辆能够安全、可靠地在道路上行驶。

相机和激光雷达是无人车上常用传感器。相机与激光雷达融合是无人驾驶领等机器人域的热门方法。相机传感器通过镜头及感光元件获取周围环境中的色彩等平面图像信息，激光雷达通过发射和接收特定波长的激光获取周围环境的三维几何信息。单一的传感器无法满足感知需求，而传感器融合可以做到优势互补，提高感知结果的鲁棒性，满足应用场景对感知的需求。而进行传感器融合之前需要进行相机与激光雷达的外参标定。

外参标定即通过一系列步骤，获得精确的传感器之间的相对外参。传统基于标定物的标定方法一般需要制作结构复杂的标定装置，并布置复杂的标定场景，甚至需要执行复杂的标定流程，且对标定装置的尺寸要求严格；而无标定装置的标定方法一般需要采集大量的数据进行复杂的计算，且标定结果无法得到保障。

发明内容

本发明的目的是为了克服现有技术中的不足，而提供一种无标定装置的相机与激光雷达自动标定方法，解决了目前标定需要标定装置，标定流程复杂，标定结果无法得到保障的问题，使得能够在满足标定结果需求的基础上，使标定流程更为便捷。

为实现本发明的目的所采用的技术方案是：

一种无标定装置的相机与激光雷达自动标定方法，包括步骤：

S1.处理激光雷达以及与激光雷达的视角有重叠的相机采集的人体的图像数据I_i、和图像数据I_i+1与一帧点云数据L_i，得到运动补偿后的图像数据I_i对象区域的中心2D坐标以及误差补偿后的人体点云在激光雷达坐标系下的中心3D坐标；

S2.利用获得的多对2D-3D点对，使用PnP方法对激光雷达坐标系和相机坐标系的转换关系进行求解，得到初始标定结果T’；

S3.根据建立的图像以及点云匹配计算函数F和位姿转换T的关系计算匹配计算函数F对位姿转换T的导数，并利用梯度下降算法，计算得到位姿转换参数的最优解，得到最终标定结果。

其中，上述的步骤S1.所述补偿后的图像数据I_i对象区域的中心2D坐标的获取步骤如下：

对图像数据I_i和图像数据I_i+1进行人像分割；

分别遍历分割后的图像数据I_i和图像数据I_i+1的各像素点，记录每张图像数据的对象区域像素的坐标和及该对象区域的像素数目，将坐标和除以像素数目，分别得到两张图像数据对象区域的中心坐标(x_i，y_i)和(x_i+1，y_i+1)；

对图像数据I_i中的对象区域的中心坐标插值，进行运动补偿；令：

得到运动补偿后的图像数据Ii中对象区域的中心2D坐标，式中，(x_c，y_c)为中心2D坐标，

分别是图像数据I_i和图像数据I_i+1采集时刻，

为点云数据L_i采集时刻。

其中，上述的步骤S1中，得到误差补偿后的人体点云在激光雷达坐标系下的中心3D坐标的步骤如下：

对点云数据L_i直通滤波，保留对象活动范围的点云，对对象活动范围内的点云执行RANSAC算法，分割出地面部分的点云，保留扫描到的对象的点云，将保留的点3D坐标相加除以保留的点的数目，得到人体点云中心在激光雷达坐标系下的初始3D坐标(x′_l，y′_l，z′_l)；

对人体点云中心坐标进行误差补偿，令：

得到误差补偿后的中心3D坐标，式中，(x_l，y_l，z_l)表示所述中心3D坐标。

其中，上述的步骤S1中，所述匹配计量函数F，由每一帧数据计算出的帧的匹配计量函数F_i求和得到；表示如下：

其中，

为在集合B_i中的某投影点周围的邻近的图像边缘点，n为邻近的图像边缘点的数目，Bi为图像数据I_i中对象区域的边缘点集合，C_i为人体点云的边缘点集合P_i中的边缘点投影到相机平面所得到的投影像素坐标的集合，b.x、a_j.x、b_n.x分别为对应像素点的x坐标，b.y、a_j.y、b_n.y分别对应的像素点的y坐标。

其中，上述的人体点云的边缘点集合P_i的获得步骤如下：

对保留的人体部分点云按照激光雷达扫描线束进行遍历，对于每一条线束，将扫描到的点按照激光的旋转角度进行排序，得到每一条线束打在人体上的最左以及最右两侧的边缘点，该帧所有线束的边缘点形成边缘点集合P_i。

其中，上述的图像数据I_i中对象区域的边缘点集合B_i获得步骤如下

对图像数据I_i分割后的对象区域的图像进行边界提取，遍历图像数据I_i分割后的对象区域的图像的所有像素点，将被标记为对象像素点且其周围8个像素点中包含背景点的像素点标记为边缘点，将图像数据I_i的所有边缘点作为图像数据I_i的边缘点集合B_i，然后边缘点集合B_i中的边缘点修正；

对边缘点集合B_i中的边缘点进行修正的方法如下：

设(u，v)∈B_i，则令

式中，(x_i，y_i)和(x_i+1，y_i+1)分别为图像数据I_i和图像数据I_i+1对象区域的中心坐标。

本发明的无标定装置的相机与激光雷达自动标定方法，解决了目前标定需要标定装置，标定流程复杂，标定结果无法得到保障的问题，使得能够在满足标定结果需求的基础上，使标定流程更为便捷。

附图说明

图1是本发明的无标定装置的相机与激光雷达自动标定方法的流程图；

图2是激光雷达的扫描原理图。

图3是无标定装置的相机与激光雷达自动标定的场景图。

具体实施方式

以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明的无标定装置的相机与激光雷达自动标定方法，包括以下步骤：

步骤1，将需要标定的相机与激光雷达固定到安装位置，保证相机与激光雷达有较大的重叠的视角范围。

步骤2，判断相机与激光雷达视角重叠的大致区域，分配一名人员在区域内随意缓慢行走，观察图像数据和点云数据，保证行走人员大部分身体始终出现在图像以及点云数据中。

步骤3，同时采集图像数据和激光雷达数据；

由于通常情况下相机采集频率较高，假设在

时刻从相机采集到一帧图像数据I_i，如果在下一帧图像数据采集到之前，从激光雷达采集到一帧点云数据L_i，那么将下一帧图像数据I_i+1的采集时刻记为

将该帧点云数据L_i的采集时刻记为

否则将该帧图像数据I_i删除，继续执行步骤3，继续采集。

步骤4，对图像数据I_i及I_i+1进行处理，处理过程分为如下三个子步骤：

步骤4-1，分别对图像数据I_i和I_i+1使用基于UNet网络的人像分割算法，或其他人像分割算法，对相机获得的图像数据进行语义分割，将图像分割为对象区域和背景区域，将对象区域的像素点灰度置为255，将背景区域的像素点灰度值置为0；

步骤4-2，分别遍历分割后的图像数据Ii和图像数据I_i+1的各像素点，记录每张图像的对象区域像素的坐标和(xs，ys)及该区域的像素数目n，并将坐标和除以像素数目，分别得到两张图像对象区域的中心坐标(x_i，y_i)和(x_i+1，y_i+1)；

步骤43，对图像中的对象中心坐标进行插值，令：

步骤5，对点云数据L_i进行处理，处理过程分为如下两个子步骤：

步骤5-1，对点云数据L_i进行执行直通滤波，保留人物大致活动范围的点云，对范围内的点云执行RANSAC算法，分割出地面部分的点云，保留扫描到的人物的点云，将保留的点3D坐标相加除以保留的点的数目，得到人物点云中心在激光雷达坐标系下的初始3D坐标(x′_l，y′_l，z′_l)；

步骤5-2，对人物点云中心坐标进行误差补偿，令：

步骤6，将(x_c，y_c)与(x_l，y_l，z_l)作为2D-3D点对，以及图像数据I_i分割后的对象区域图像及点云数据L_i记录下来，重复执行步骤2-步骤6，记录形成多对2D-3D点对，以及多组图像-点云数据。

步骤7，对2D-3D点对使用PnP方法对激光雷达坐标系和相机坐标系的转换关系进行求解，最终得到初始标定结果T’。

步骤8，对初始标定结果进行优化，具体优化过程分为如下六个子步骤：

步骤8-1，对图像数据I_i分割后的图像进行边界提取，遍历图像数据I_i分割后的图像的所有像素点，将被标记为对象像素点且其周围八个像素点中包含背景点的像素点标记为边缘点，将图像I_i的所有边缘点作为该帧图像的边缘点集合，记为B_i。

步骤82，对B_i中的边缘点进行修正，设(u，v)∈B_i，则令

其中(x_i，y_i)和(x_i+1，y_i+1)分别为图像I_i和图像I_i+1对象区域的中心坐标。

步骤8-3，对保留的人体部分点云按照激光雷达扫描线束进行遍历，对于每一条线束，将扫描到的点按照激光的旋转角度进行排序，得到每一条线束打在人体上的最左以及最右两侧的边缘点，将该帧所有线束的边缘点作为该帧点云的边缘点集合。设第i帧点云的边缘点集合为P_i。

激光雷达工作原理如下图所示，多条激光围绕激光雷达中心旋转扫描，从上到下依次形成多条扫描线束。

步骤8-4，设p∈P_i，利用如下转换公式将点p投影至相机平面，得到投影像素坐标(i_t，j_t)，并将该帧所有投影点的像素坐标集合记为C_i。

其中K为相机内参，T为相机和激光雷达的外参转换矩阵。

(i_t，j_t)＝KTP

步骤8-5，根据如下公式对图像及点云建立匹配计量函数F，由每一帧数据计算出的帧的匹配计量函数F_i求和得到；表示如下：

其中，

为在边缘点集合B_i中的某投影点周围的邻近的图像边缘点，n为邻近的图像边缘点的数目，b.x、a_j.x、b_n.x分别为对应像素点的x坐标，b.y、a_j·y、b_n.y分别对应的像素点的y坐标。

步骤8-6，根据匹配计量函数F、相机和激光雷达的外参转换矩阵T的关系计算匹配计量函数F对相机和激光雷达的外参转换矩阵T的导数，设置初始点为初始标定结果T′，并利用梯度下降算法，计算的到相机和激光雷达的外参转换矩阵参数的最优解，最终得到标定结果。

上述的本发明的步骤，通过计算机进行处理，计算机中安装有相应的处理程序软件，以对相机以及激光雷达采集的人体人体对象的图像数据以及点云数据按上述的步骤进行处理，最终获得最终的标定的结果。

以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.无标定装置的相机与激光雷达自动标定方法，其特征在于，包括步骤：

S1.处理激光雷达以及与激光雷达的视角有重叠的相机采集的人体的图像数据I_i、图像数据I_i+1与一帧点云数据L_i，得到运动补偿后的图像数据I_i对象区域的中心2D坐标以及误差补偿后的人体点云在激光雷达坐标系下的中心3D坐标；

S2.利用获得的多对2D-3D点对，使用PnP方法对激光雷达坐标系和相机坐标系的转换关系进行求解，得到初始标定结果T’；

S3.根据建立的图像以及点云匹配计算函数F和位姿转换T的关系计算匹配计算函数F对位姿转换T的导数，并利用梯度下降算法，计算得到位姿转换参数的最优解，得到最终标定结果。

2.根据权利要求1所述无标定装置的相机与激光雷达自动标定方法，其特征在于，步骤S1.所述补偿后的图像数据I_i对象区域的中心2D坐标的获取步骤如下：

对图像数据I_i和图像数据I_i+1进行人像分割；

分别遍历分割后的图像数据I_i和图像数据I_i+1的各像素点，记录每张图像数据的对象区域像素的坐标和及该对象区域的像素数目，将坐标和除以像素数目，分别得到两张图像数据对象区域的中心坐标(x_i，y_i)和(x_i+1，y_i+1)；

对图像数据I_i中的对象区域的中心坐标插值，进行运动补偿；令：

得到运动补偿后的图像数据I_i中对象区域的中心2D坐标，式中，(x_c，y_c)为中心2D坐标，

分别是图像数据I_i和图像数据I_i+1采集时刻，

为点云数据L_i采集时刻。

3.根据权利要求2所述无标定装置的相机与激光雷达自动标定方法，其特征在于，步骤S1中，得到误差补偿后的人体点云在激光雷达坐标系下的中心3D坐标的步骤如下：

对点云数据L_i直通滤波，保留对象活动范围的点云，对对象活动范围内的点云执行RANSAC算法，分割出地面部分的点云，保留扫描到的对象的点云，将保留的点3D坐标相加除以保留的点的数目，得到人体点云中心在激光雷达坐标系下的初始3D坐标(x′_l，y′_l，z′_l)；

对人体点云中心坐标进行误差补偿，令：

得到误差补偿后的中心3D坐标，式中，(x_l，y_l，z_l)表示所述中心3D坐标。

4.根据权利要求3所述无标定装置的相机与激光雷达自动标定方法，其特征在于，步骤S1中，所述匹配计量函数F，由每一帧数据计算出的帧的匹配计量函数F_i求和得到；表示如下：

F＝∑F_i

其中，

为在边缘点集合B_i中的某投影点周围的邻近的图像边缘点，n为邻近的图像边缘点的数目，B_i为图像数据I_i中对象区域的边缘点集合，C_i为人体点云的边缘点集合P_i中的边缘点投影到相机平面所得到的投影像素坐标的集合，b.x、a_j.x、b_n.x分别为对应像素点的x坐标，b.y、a_j.y、b_n.y分别对应的像素点的y坐标。

5.根据权利要求4所述无标定装置的相机与激光雷达自动标定方法，其特征在于，人体点云的边缘点集合P_i的获得步骤如下：

对保留的人体部分点云按照激光雷达扫描线束进行遍历，对于每一条线束，将扫描到的点按照激光的旋转角度进行排序，得到每一条线束打在人体上的最左以及最右两侧的边缘点，该帧所有线束的边缘点形成边缘点集合P_i。

6.根据权利要求5所述无标定装置的相机与激光雷达自动标定方法，其特征在于，图像数据I_i中对象区域的边缘点集合B_i获得步骤如下

对图像数据I_i分割后的对象区域的图像进行边界提取，遍历图像数据I_i分割后的对象区域的图像的所有像素点，将被标记为对象像素点且其周围8个像素点中包含背景点的像素点标记为边缘点，将图像数据I_i的所有边缘点作为图像数据I_i的边缘点集合B_i，然后边缘点集合B_i中的边缘点修正；

对边缘点集合B_i中的边缘点进行修正的方法如下：

设(u，v)∈B_i，则令

式中，(x_i，y_i)和(x_i+1，y_i+1)分别为图像数据I_i和图像数据I_i+1对象区域的中心坐标。

7.根据权利要求1所述无标定装置的相机与激光雷达自动标定方法，其特征在于，所述的多对2D-3D点对通过重复步骤S1而获得。

Images