CN111754583B - 一种车载三维激光雷达和相机外参联合标定的自动化方法 - Google Patents

Abstract

本发明提供了一种车载三维激光雷达和相机外参联合标定的自动化方法，利用激光雷达和相机对运动的平面靶标进行测量，在测量数据中提取多组属于靶标特征区域的点云、图像数据，对特征区域进行拟合，利用拟合结果对激光雷达和相机外参由粗到精进行标定，粗标定中利用点云和图像拟合的特征区域质心点坐标作为特征点，使用PnP算法得到激光雷达和相机之间的初始转换矩阵；精标定在粗标定的基础上，将点云拟合的特征区域边缘轮廓投影到相机归一化平面，由相机拟合边缘和投影边缘的相似度构建最小二乘优化函数，优化初始转换矩阵，得到高精度的标定关系。本发明仅使用具有特殊特征区域的平面靶标，标定过程无需手动选择，具有较好的标定效率和准确性。

Description

一种车载三维激光雷达和相机外参联合标定的自动化方法

技术领域

本发明属于设备标定技术领域，具体涉及一种车载三维激光雷达和相机外参联合标定的自动化方法。

背景技术

目前智能汽车需要多传感器协同使用才能对环境进行有效的检测，其中三维激光雷达和相机是十分重要的传感器组合。三维激光雷达可以有效的探测三维环境信息，而相机则能够更好地解读环境中的纹理信息。为了结合使用两种传感器的数据，则需要事先对激光雷达和相机进行标定。

目前存在的相机和激光雷达联合标定方法中，一部分使用立体标定板，立体标定板对制作精度要求较高、制作方法复杂、成本高；一部分使用平面靶标的标定方法，但需要在录制好的数据中手动选择特征点在图像像素和激光雷达点云中的位置，手动选点会带来一些人工误差，同时选择较多的特征点需要耗费一定的时间、效率不高。

发明内容

针对现有技术中存在不足，本发明提供了一种车载三维激光雷达和相机外参联合标定的自动化方法，能够从图像和三维点云中自动化提取特征区域和特征点，并利用提取的特征区域和特征点实施由粗到精的标定流程，粗标定为精标定提供了优化初始值，能够实现更好的标定精度。

本发明是通过以下技术手段实现上述技术目的的。

一种车载三维激光雷达和相机外参的联合标定方法，其特征在于，具体包括：

在靶标运动过程中，工控机录制三维激光雷达点云和相机图像的观测数据，并对观测数据进行处理，获取多组时间同步的点云帧和图像帧；

由图像数据获取靶标平面，提取靶标平面特征区域的像素数据和质心坐标{P_C}；

由点云数据获取靶标平面，对靶标平面特征区域的点云数据进行提取，获取特征区域的点云数据和质心坐标{P_L}；

由粗标定到精标定的联合标定方法求解相机和三维激光雷达之间的转换矩阵T，即相机和三维激光雷达之间的标定参数。

进一步，所述图像数据的背景和前景是由ORB特征点的像素坐标是否发生变换进行判定，没有发生变换的为图像数据的背景，发生变换的为图像数据的前景。

进一步，所述靶标平面特征区域的点云数据进行提取，具体为：设定靶标平面点云的平均反射强度为阈值，小于阈值的点是处于靶标特征区域的点。

进一步，所述粗标定具体为：由P_C、P_L构建PnP算法的求解方程sP_C＝(R|t)P_L，求出相机和三维激光雷达之间的初始转换矩阵T^*；其中增广矩阵(R|t)包含三维激光雷达到相机的旋转和平移信息，s为比例常数。

进一步，所述精标定中对特征区域的边缘拟合，所述边缘拟合包括图像数据特征区域的边缘拟合、点云数据特征区域的边缘拟合。

更进一步，所述图像数据特征区域的边缘拟合，直接提取图像黑色像素和白色像素之间的交接处进行拟合。

更进一步，所述点云数据特征区域的边缘拟合，具体为：

在拟合后得到的靶标平面利用两个模板图像进行匹配，构建一个成本函数F(x₁，x₂)＝(d′-d)²+(1-n)²，利用初始转换矩阵T^*，将点云数据拟合的特征区域边缘投影到时间同步后的相机归一化平面上，再与图像数据特征区域拟合的边缘之间的匹配程度构建残差函数f_i，多帧数据得到的多个残差函数求和后，构建最小二乘优化函数T＝argmin_T∑_if_i，并求解，得到转换矩阵T，即相机和三维激光雷达之间的标定参数；其中x₁和x₂分别表示两个模板质心在点云数据中的位置，d′为模板拟合得到两个特征区域质心之间的距离，d为靶标特征区域质心实际距离，n为模板所包围的低反射强度点云数量和理论值之间的比值。

更进一步，所述两个模板分别采用圆形和三角形，所述成本函数F(x₁，x₂)＝(d′-d)²+(1-α)²+(1-n)²，其中α为质心连线与三角形底边的平行度。

更进一步，所述点云数据拟合的特征区域边缘的精度，通过调整模板的位置，求解进行优化。

更进一步，所述残差函数f_i的构建过程为：设在第i帧中，图像特征区域拟合的边缘为三维激光雷达拟合的特征区域边缘投影到相机归一化平面后记为/>在/>中进行采样，选取边缘中的某一个点/>计算/>到/>上的最短距离/>对曲线均匀采样后，得到一系列距离值{τⁱ}，由此构建残差函数/>

本发明的有益效果为：本发明提供的方法相比较传统的相机、激光雷达标定算法，无需手动选择匹配点或者靶标平面，避免人工选点带来的误差，同时实现了自动化标定；在精度上，采用由粗到精的标定方案，粗标定能够为后面的最小二乘优化提供有效的初始值，避免陷入局部最优解；同时相机中对边缘的拟合是亚像素级别的精度，激光雷达对特征区域的边缘拟合利用了靶标本身参数的约束，能够更好地在特征区域的边缘拟合中提高拟合精度。

附图说明

图1为本发明所述车载三维激光雷达和相机外参联合标定的自动化流程图；

图2为本发明所述靶标示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实现一种车载三维激光雷达和相机外参的联合标定方法，包括待标定的三维激光雷达和相机、一块含有特制特征区域的平面靶标以及工控机。工控机用于处理靶标在相机和三维激光雷达重叠视野内运动时的数据、特征区域拟合以及获取相机和三维激光雷达之间的标定参数。平面靶标为一块底色为白色、固定大小的长方形平板，其左半部分含有一个固定大小的黑色圆形特征区域，右半部分含有一个固定大小黑色等边三角形特征区域。圆心和三角形质心距离d已知，且质心连线与靶标底边及三角形底边平行。靶标的特征区域不局限于上述部分，选用的一般准则是特征区域组合无对称性且特征区域易于识别。

如图1所示，一种车载三维激光雷达和相机外参的联合标定方法，具体包括以下步骤：

S1，数据采集

将相机和三维激光雷达安装到车载平台上，并保证相机和三维激光雷达视野范围内有重叠，手持或者采用滑轨使得靶标在相机和三维激光雷达前方2～4m处的重叠视野内进行缓慢运动，从相机视野左侧运动到右侧，运动过程中靶标法线方向指向相机；在靶标运动过程中，工控机录制三维激光雷达点云和相机图像的数据包，然后对数据包中的点云和图像数据按帧数进行分割，并对分割后的每帧点云和图像数据按照时间戳进行时间同步处理，筛选出时间同步后的点云帧和图像帧。

S2，对图像数据进行特征区域拟合

S2.1，首先对每帧图像进行ORB特征点的提取，对相邻两帧图像的特征点利用汉明距离进行匹配；因为相机在世界坐标系中的姿态固定，背景所含有的特征点也是固定的，所以背景图像的特征点像素坐标不会发生变换，前景(靶标平面和带动靶标运动的人或者轨道)中的特征点坐标像素发生变化，提取所有坐标位置发生变换的特征点，特征点覆盖的区域即认为是靶标所处的大致区域；利用OpenCV中的背景去除方法，对获取的靶标大致区域进行背景去除，保留靶标区域的图像信息。

S2.2，为了去除人或者滑轨等其他动态信息，需要对靶标区域进行进一步提取，细化靶标平面：采用霍夫直线变换，得到靶标四周的边线，然后提取最大的长方形区域，作为靶标平面进行保留。

S2.3，靶标基底颜色为白色，特征区域颜色为黑色，为了更好的提取特征区域，对得到的特征区域图像进行二值化处理，在二值化区域中提取像素颜色为黑色的区域，并保留像素最多的两个区域认为属于靶标的特征区域，设为圆形特征区域和三角形特征区域，并提取这两个区域内的像素坐标值。

S2.4，验证提取的特征区域是否正确：分别计算S2.3得到的圆形和三角形特征区域中所有像素坐标值的平均值，作为特征区域的质心点；圆形特征区域记录质心坐标到黑色边缘像素最大和最小距离，均值作为圆形半径像素距离拟合值；三角形区域记录质心坐标到黑色边缘的三个最远距离，作为三角形质心到三个端点之间的像素距离拟合值；因为靶标设计大小已知，且在运动过程中不产生相对于相机坐标系过大的倾斜，所以可以认为这两个质心在相机坐标系中z轴深度大致相同，利用质心像素距离和实际距离的比值，得到靶标区域内像素距离与实际距离之间的尺度关系，利用计算得到的尺度关系以及圆形半径像素距离拟合值和三角形质心到三个端点的像素距离拟合值计算理论实际距离，并和真实的坐标距离进行比较，若距离误差小于一定阈值，则认为正确提取特征区域，保留数据备用，否则提取失败，舍弃该帧。

S2.5，对所有同步后的图像帧按照S2.1-S2.4处理，得到一系列的圆形、三角形特征区域像素数据以及对应提取到的质心像素二维坐标数据{P_C}。

S3，对点云数据进行特征区域拟合

激光雷达水平分辨率一般在0.1°-0.4°，标定过程中，靶标距离激光雷达一般在3-5m左右，所以靶标上点的分辨率约为1cm，同时选用的三角形、圆形特征区域大小已知(边长或直径为30-40cm)，因此可以认为拟合出来的特征区域边缘拥有较高的精度。

S3.1，首先对靶标平面进行提取，利用背景去除方法去除掉激光雷达的背景点云，然后在滤除背景的点云中使用RANSAC算法拟合一个最大的平面，认为是靶标平面，提取这部分点云。

S3.2，对提取到的靶标平面点云进行处理，利用特征区域点云反射强度明显小于靶标基底平面点云反射强度的特征进行特征区域点云数据的提取；计算S3.1中得到靶标平面点云的平均反射强度(设定为阈值)，分别提取所有反射强度小于阈值和大于阈值的点云，反射强度大于阈值的点认为是处于靶标基底上的点，小于阈值的点认为是处于靶标特征区域的点，分别计算它们的均值和方差；如果方差大于设定的阈值，则表示区域内点云反射强度分布不均匀，认为提取失败，需要重新进行平面拟合；若方差小于设定的阈值，则认为提取成功。

S3.3，进行特征区域点云数据筛选，若S3.2认定提取成功，则随机在低反射强度点集中选取一个点，然后利用区域增长算法，找到这个点所属的靶标特征区域(三角形或者圆形中的一个)的所有点，循环多次，将被选取次数最多的点进行保留，这样可以剔除掉偶然被选入特征区域的非特征区域点。

S3.4，筛选完成后，精确提取到分别属于圆形特征区域和三角形特征区域的点云数据，计算两个特征区域点云位置坐标均值，即圆形、三角形特征区域的质心坐标P_L。

S3.5，对所有时间同步后的点云帧重复S3.1-S3.4中的处理方法，提取到一系列属于圆形、三角形特征区域的点云数据以及特征区域的质心三维坐标{P_L}。

S4，由粗到精的联合标定方法，实施步骤如下：

S4.1，通过S2、S3，得到多组靶标圆形和三角形特征区域的质心在相机像素坐标{P_C}以及在三维激光雷达坐标系中的三维坐标{P_L}，粗标定中利用PnP算法求解相机和三维激光雷达之间的转换矩阵T。

S4.2，以S2-S3中求得的其中一个质心点P作为匹配点为例，其在三维激光雷达坐标系中的齐次坐标表示为P_L＝(X，Y，Z，1)^T，在图像归一化平面中坐标表示为P_c＝(u，v，1)^T。

S4.3，构建对应方程sP_c＝(R|t)P_L，其中增广矩阵(R|t)包含三维激光雷达到相机的旋转和平移信息，s为比例常数；令(R|t)＝[t₁ t₂ t₃]^T，通过计算得到：

S4.4，每一个质心点均能得到S4.3中的一组方程，假设S2-S3一共得到了N组质心点，则可以得到关于未知量t的线性方程组，求解该线性方程组，则可以实现初始转换矩阵的求解。

在精标定之前，需要分别对图像和点云中的特征区域进行边缘拟合，由S2和S3分别得到了位于圆形和三角形特征区域的图像像素数据和点云数据，利用这些数据可以对对特征区域的边缘进行拟合。

S4.5，图像数据特征区域边缘的拟合：二值化后的图像边缘比较分明，且精度为亚像素级别，直接提取黑色像素和白色像素之间的交接处进行拟合即可。

S4.6，点云数据特征区域边缘拟合：因为点云在靶标平面上的分辨率在1cm左右，无法有效的直接提取边缘信息，因此，本实施例提出了一种利用优化法进行边缘提取的方法，具体如下：

在特征区域拟合后得到靶标平面利用模板图像进行匹配，模板分别采用圆形和三角形，其大小与靶标实际的圆形和三角形特征区域一致；利用匹配程度构建一个成本函数F(x)：设定由模板拟合出来的边缘，模板拟合得到两个特征区域质心之间的距离为d′，靶标特征区域质心实际距离为d，质心连线与三角形底边的平行度为α，模板所包围的低反射强度点云数量和理论值之间的比值n，则可以构建成本函数F(x₁，x₂)＝(d′-d)²+(1-α)²+(1-n)²，其中x₁和x₂分别表示圆形模板质心和三角形模板质心在点云数据中的位置，模板圆心或三角形质心初始值由S3分割出的特征区域求均值坐标提供，通过调整模板的位置，求解优化由点云数据拟合出来的特征区域边缘的精度。

S4.7，完成特征区域边缘拟合后，利用计算得到初始转换矩阵T^*，将三维激光雷达点云数据中拟合出来的特征区域边缘投影到时间同步后的相机归一化平面上，再与图像数据特征区域拟合的边缘之间的匹配程度构建一个残差函数f。

设在第i帧中，图像特征区域拟合的边缘为三维激光雷达拟合的特征区域边缘投影到相机归一化平面后记为/>在/>中进行采样，选取边缘中的某一个点/>计算/>到/>上的最短距离/>对曲线均匀采样后，得到一系列距离值{τⁱ}，由此构建残差函数/>

每一次投影均可构建一个残差函数，多帧数据得到的多个残差函数求和后，构建一个最小二乘优化函数T＝argmin_T∑_if_i，对相机和三维激光雷达的转换矩阵进行优化；多帧数据共同构建的最小二乘优化函数可以利用高斯牛顿法或Levenberg-Marquardt算法对转换矩阵进行求解，最终可以得到一个精细化的位姿转换矩阵T，这个矩阵就是最终得到的相机和三维激光雷达之间的标定参数。

虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (8)

1.一种车载三维激光雷达和相机外参的联合标定方法，其特征在于，具体包括：

在靶标运动过程中，工控机录制三维激光雷达点云和相机图像的观测数据，并对观测数据进行处理，获取多组时间同步的点云帧和图像帧；

由图像数据获取靶标平面，提取靶标平面特征区域的像素数据和质心坐标{P_C}；

由点云数据获取靶标平面，对靶标平面特征区域的点云数据进行提取，获取特征区域的点云数据和质心坐标(P_L}；

由粗标定到精标定的联合标定方法求解相机和三维激光雷达之间的转换矩阵T，即相机和三维激光雷达之间的标定参数；

所述精标定中对特征区域的边缘拟合，所述边缘拟合包括图像数据特征区域的边缘拟合、点云数据特征区域的边缘拟合；

所述点云数据特征区域的边缘拟合，具体为：在拟合后得到的靶标平面利用两个模板图像进行匹配，构建一个成本函数F(x₁，x₂)＝(d′-d)²+(1-n)²，利用初始转换矩阵T^*，将点云数据拟合的特征区域边缘投影到时间同步后的相机归一化平面上，再与图像数据特征区域拟合的边缘之间的匹配程度构建残差函数f_i，多帧数据得到的多个残差函数求和后，构建最小二乘优化函数T＝argmin_T∑_if_i，并求解，得到转换矩阵T，即相机和三维激光雷达之间的标定参数；其中x₁和x₂分别表示两个模板质心在点云数据中的位置，d′为模板拟合得到两个特征区域质心之间的距离，d为靶标特征区域质心实际距离，n为模板所包围的低反射强度点云数量和理论值之间的比值。

2.根据权利要求1所述的车载三维激光雷达和相机外参的联合标定方法，其特征在于，所述图像数据的背景和前景是由ORB特征点的像素坐标是否发生变换进行判定，没有发生变换的为图像数据的背景，发生变换的为图像数据的前景。

3.根据权利要求1所述的车载三维激光雷达和相机外参的联合标定方法，其特征在于，所述靶标平面特征区域的点云数据进行提取，具体为：设定靶标平面点云的平均反射强度为阈值，小于阈值的点是处于靶标特征区域的点。

4.根据权利要求1所述的车载三维激光雷达和相机外参的联合标定方法，其特征在于，所述粗标定具体为：由P_C、P_L构建PnP算法的求解方程sP_C＝(R|t)P_L，求出相机和三维激光雷达之间的初始转换矩阵T^*；其中增广矩阵(R|t)包含三维激光雷达到相机的旋转和平移信息，s为比例常数。

5.根据权利要求1所述的车载三维激光雷达和相机外参的联合标定方法，其特征在于，所述图像数据特征区域的边缘拟合，直接提取图像黑色像素和白色像素之间的交接处进行拟合。

6.根据权利要求1所述的车载三维激光雷达和相机外参的联合标定方法，其特征在于，所述两个模板分别采用圆形和三角形，所述成本函数F(x₁，x₂)＝(d′-d)²+(1-α)²+(1-n)²，其中α为质心连线与三角形底边的平行度。

7.根据权利要求1所述的车载三维激光雷达和相机外参的联合标定方法，其特征在于，所述点云数据拟合的特征区域边缘的精度，通过调整模板的位置，求解进行优化。

8.根据权利要求1所述的车载三维激光雷达和相机外参的联合标定方法，其特征在于，所述残差函数f_i的构建过程为：设在第i帧中，图像特征区域拟合的边缘为三维激光雷达拟合的特征区域边缘投影到相机归一化平面后记为/>在/>中进行采样，选取边缘中的某一个点/>计算/>到/>上的最短距离/>对曲线均匀采样后，得到一系列距离值{τⁱ}，由此构建残差函数/>