CN114882118A - 一种激光雷达和相机外参的标定方法、装置及电子设备 - Google Patents

Abstract

本发明提供一种激光雷达和相机外参的标定方法、装置及电子设备，涉及设备标定技术领域，以解决现有技术中点云分布不均匀，3D角点特征提取困难的问题。该方法包括：基于粗提取的3D角点，在二维坐标系内构建标准网格，基于迭代优化方法，使标准网格与2D角点上的网格特征对齐，获得标准网格与2D角点的对齐位姿；基于标准网格与2D角点的对齐位姿，将对齐的2D角点从二维坐标系转换到激光雷达坐标系，以获得精提取的3D角点，基于精提取的3D角点和二维图像角点形成3D‑2D匹配点；基于3D‑2D匹配点，利用PnP方法求解激光雷达和相机外参。所述激光雷达和相机外参的标定装置应用于激光雷达和相机外参的标定方法，所述激光雷达和相机外参的标定方法应用于电子设备中。

Description

一种激光雷达和相机外参的标定方法、装置及电子设备

技术领域

本发明涉及设备标定技术领域，尤其涉及一种激光雷达和相机外参的标定方法、装置及电子设备。

背景技术

激光雷达-相机系统常用于自主导航行业，近几十年来，用于商业应用的多传感器融合技术的部署经历了快速增长。自主导航和遥感等许多任务对感知的可靠性提出了很高的要求。多传感器融合在解决这些需求方面具有重要价值，因此受到广泛关注。激光雷达和光学相机的组合是一个备受欢迎的方案，因为其传感器之间具有优势互补的特性。具体来说，一方面激光雷达-相机系统可以从视觉传感器获取场景丰富的强度和纹理信息，另一方面可以通过激光雷达进行光照不变的精准3D感知，实现远距离和高鲁棒性的感知。然而，要充分发挥这些优越特性的潜力，高精度的外参校准是最关键的先决条件。

目前，大多数现有的激光雷达和相机外参校准算法是针对具有重复扫描模式的典型多线机械旋转LiDAR设计的，例如Velodyne VLP-16、HDL-32e和 HDL-64e。这种激光雷达已广泛应用于自动驾驶和摄影测量行业。同时，这些行业的高需求催生一系列具有不规则扫描模式的轻型激光雷达，即非重复扫描模式激光雷达。轻型激光雷达可以通过在时域中累积扫描探测来获得高分辨率的点云。具有代表性的是2019年上市的DJI Livox Mid-40系列激光雷达，以其探测距离远、测距精度高、代价极低等优势，为激光雷达应用带来了新的机遇。

尽管其具有许多优点，但在校准非重复扫描激光雷达多传感器系统的外部参数方面存在挑战。解决LiDAR-Camera外参标定问题可以概括为从2D图像和 3D点提取的特征的对齐。然而，对于非重复扫描模式激光雷达，其得出的场景点云分布不均匀，从中提取3D特征很困难。此外，LiDAR的小视场FoV容易导致对外部参数求解的约束不足，从而得出次优的外参估计。

发明内容

为解决上述技术问题，本发明提供一种激光雷达和相机外参的标定方法、装置及电子设备，通过将标准网格与2D角点上的网格特征对齐，基于标准网格与2D角点的对齐位姿，将对齐的2D角点从二维坐标系转换到激光雷达坐标系，以获得精提取的3D角点，进而形成3D-2D匹配点，基于3D-2D匹配点，利用PnP方法求解激光雷达和相机外参。

本发明提供一种激光雷达和相机外参的标定方法，该方法，包括：

获取激光雷达扫描标定板得到的标定板点云，以及相机拍摄标定板得到的二维图像；对二维图像进行角点提取，获得二维图像角点；对标定板点云上的角点进行粗提取，获得粗提取的3D角点；

在标定板点云所在平面上构建二维坐标系，并在二维坐标系内将标定板点云转换为2D角点；

基于粗提取的3D角点，在二维坐标系内构建标准网格，基于迭代优化方法，使标准网格与2D角点上的网格特征对齐，获得标准网格与2D角点的对齐位姿；

基于标准网格与2D角点的对齐位姿，将对齐的2D角点从二维坐标系转换到激光雷达坐标系，以获得精提取的3D角点，基于精提取的3D角点和二维图像角点形成3D-2D匹配点；

基于3D-2D匹配点，利用PnP方法求解激光雷达和相机外参。

优选地，所述对标定板点云上的角点进行粗提取，获得粗提取的3D角点，包括：

基于平面聚类的方法对标定板点云进行提取，获得初步的标定板原始点云；对初步的标定板原始点云进行基于反射强度的粗提取，获得粗提取的3D 角点。

优选地，所述在标定板点云所在平面上构建二维坐标系，并在二维坐标系内将标定板点云转化为2D角点，包括：

在标定板点云所在平面上构建二维坐标系；

将激光雷达坐标系下的标定板点云转换为二维坐标系下的2D角点，转换矩阵T_bl满足：

其中，T_bl表示标定板点云由激光雷达坐标系到二维坐标系的变换矩阵， R_lb表示对应的旋转矩阵，t_lb表示对应的平移向量,P_m，n表示第m行n列的粗提取3D角点，

表示第m行所有角点拟合直线的方向向量，n_board表示标定板点云拟合平面法向量。

优选地，所述中基于粗提取的3D角点，在二维坐标系内构建标准网格，基于迭代优化方法，使标准网格与2D角点的网格特征对齐，获得标准网格与 2D角点的对齐位姿，包括：

以粗提取的3D角点作为参考，在二维坐标系内构建标准网格；

使标准网格与2D角点的网格特征初步对齐；

以反射强度梯度为代价对标准网格进行拟合，基于迭代优化方法，使标准网格与2D角点的网格特征对齐，获得标准网格与2D角点的对齐位姿。

优选地，所述代价满足：

其中，

γ为常数。

优选地，所述基于标准网格与2D角点的对齐位姿，将对齐的2D角点从二维坐标系转换到激光雷达坐标系，以获得精提取的3D角点，包括：

根据标准网格与2D角点的对齐位姿以及转换矩阵T_bl，将标准网格上对齐的2D角点位置坐标变换反解求出雷达坐标系下的三维坐标，以获得精提取的 3D角点。

优选地，标准网格与2D角点的对齐位姿满足：

其中，ξ为二维转换位姿，t是指标准网格在对齐标定板点云过程中，在二维坐标系下的平移向量，Δx，Δy分别是指在x轴和y周方向的位移，θ是值标准网格围绕z轴旋转的角度。

优选地，所述基于3D-2D匹配点，利用PnP方法求解激光雷达和相机外参，包括：

基于3D-2D匹配点，通过PnP方法获得非线性优化的初始外参；

计算3D-2D匹配点之间的重投影误差；

基于重投影误差，进行迭代优化，获得最优外参。

与现有技术相比，本发明提供的一种激光雷达和相机外参的标定方法具有如下有益效果：首先获取激光雷达扫描标定板得到的标定板点云，以及相机拍摄标定板得到的二维图像；对二维图像进行角点提取，获得二维图像角点；对标定板点云上的角点进行粗提取，获得粗提取的3D角点。然后，在标定板点云所在平面上构建二维坐标系，并在二维坐标系内将标定板点云转换为2D坐标点；基于粗提取的3D角点，在二维坐标系内构建标准网格，基于迭代优化方法，使标准网格与2D角点上的网格特征对齐，获得标准网格与2D角点的对齐位姿。接着，基于标准网格与2D角点的对齐位姿，将对齐的2D角点从二维坐标系转换到激光雷达坐标系，以获得精提取的3D角点，基于精提取的3D 角点和二维图像角点形成3D-2D匹配点。最后，基于3D-2D匹配点，利用PnP 方法求解激光雷达和相机外参。本发明中3D特征易于提取，不受场景约束限制可在室内外环境下使用，通过使用标准网格与实际标定板点云拟合，并以特征点领域内反射率平均强度梯度之差作为拟合代价进行优化，解决了点云不均匀的问题，基于3D-2D匹配点，利用PnP方法可以求解出最优的激光雷达和相机外参。

本发明还提供一种激光雷达和相机外参的标定装置，该装置包括：

3D角点粗提取模块，用于获取激光雷达扫描标定板得到的标定板点云，以及相机拍摄标定板得到的二维图像；对二维图像进行角点提取，获得二维图像角点；对标定板点云上的角点进行粗提取，获得粗提取的3D角点；

转换模块，用于在标定板点云所在平面上构建二维坐标系，并在二维坐标系内将标定板点云转换为2D角点；

对齐位姿获取模块，用于基于粗提取的3D角点，在二维坐标系内构建标准网格，基于迭代优化方法，使标准网格与2D角点上的网格特征对齐，获得标准网格与2D角点的对齐位姿；

3D-2D匹配点模块，用于基于标准网格与2D角点的对齐位姿，将对齐的 2D角点从二维坐标系转换到激光雷达坐标系，以获得精提取的3D角点，基于精提取的3D角点和二维图像角点形成3D-2D匹配点；

外参求解模块，用于基于3D-2D匹配点，利用PnP方法求解激光雷达和相机外参。

与现有技术相比，本发明提供的一种激光雷达和相机外参的标定装置的有益效果与上述技术方案所述一种激光雷达和相机外参的标定方法的有益效果相同，在此不做赘述。

本发明还提供一种电子设备，包括总线、收发器、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述收发器、所述存储器和所述处理器通过所述总线相连，所述计算机程序被所述处理器执行时实现上述任一项所述的一种激光雷达和相机外参的标定方法中的步骤。

与现有技术相比，本发明提供的电子设备的有益效果与上述技术方案所述一种激光雷达和相机外参的标定方法的有益效果相同，在此不做赘述。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例所提供的一种激光雷达和相机外参的标定方法的流程图；

图2示出了本发明实施例所提供的一种激光雷达和相机外参的标定算法全局流程图；

图3示出了本发明实施例所提供的具有发散角的激光雷达单次扫描线测距示意图；

图4(a)示出了本发明实施例所提供的平面分割的原始棋盘点云示意图；

图4(b)示出了本发明实施例所提供的点云投影在拟合平面模型上的示意图；

图4(c)示出了本发明实施例所提供的使用不同灰度区分的分段网格块示意图；

图4(d)示出了本发明实施例所提供的粗略提取的3D角点示意图；

图4(e)示出了本发明实施例所提供的颜色编码的点云反射强度的直方图；

图5示出了本发明实施例所提供的标定板点云转换为2D角点的示意图；

图6示出了本发明实施例所提供的标准网格和2D角点对齐过程的示意图；

图7示出了本发明实施例所提供的将点云通过位姿转换到相机坐标系下, 的远距离场景图；

图8示出了本发明实施例所提供的远程场景中的全局点云和区域点云的示意图；

图9示出了本发明实施例所提供的一种激光雷达和相机外参的标定装置的结构示意图。

具体实施方式

在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

本实施例中提到的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况。“示例性的”或者“例如”等词用于表示作例子、例证或说明，旨在以具体方式呈现相关概念，不应被解释为比其他实施例或设计方案更优选或更具优势。

在介绍本申请实施例之前首先对本申请实施例中涉及到的算法符号定义如下，除非另有说明，本发明实施例中使用大写字母表示3D点或向量，小写字母表示2D点或向量，小写斜体字母表示标量，这些元素的集合将由相应的黑体字母表示。P＝[x，y，z]^T表示三维点，P＝{P₁，P₂，...}表示3D点的集合，即点云。同理，设x_c＝[u，v]^T和X_c＝{x_c1，x_c2，...}分别表示图像上2D像素点及其集合。任意三维点P可以通过透视投影函数

投射到像素坐标中，其中

是对应于P的归一化平面坐标，K是相机内参数矩阵。相应地，

是投影过程的逆映射。为了简化表示，我们使用·|_0：1表示由向量(·)的前两个元素形成的向量。用L表示由方向矢量n_L和一个内点P_L所确定的空间直线，L＝{L₁，L₂，...}表示直线的集合。

是三维点从激光雷达坐标系

到相机坐标系

的变换矩阵，即LiDAR-Camera系统的外参数。R_cl和t_cl分别是对应的旋转矩阵和平移向量量。坐标系之间三维点云刚体变换过程定义为：

类似地，

为2D变换矩阵，二维刚体变换过程定义为：

应理解，求解相机和激光雷达的外参标定可以归纳成视觉特征及雷达特征的对齐位姿求解问题。本质上说，其难点主要在于准确的进行视觉特征及点云特征的提取，同时也是误差的主要来源。视觉特征的提取使用一般的视觉内参数求解过程中所使用的角点提取算法。而点云特征的提取和一般的方法不同的是，本发明利用了点云的第四个维度：反射强度。反射强度在棋盘格的不同颜色区域表现出明显的分布特征，这是一个比较显著的特征信息。标定过程中难点主要有三个：

·如何更为鲁棒地提取出复杂场景下的标定板点云；

·如何更准确地提取标定板点云上的网格特征；

·如何构造与准确位姿相关的重投影误差。

为解决上述挑战，本发明实施例提供一种激光雷达和相机外参的标定方法，如图1所示，该方法包括：

步骤S1：获取激光雷达扫描标定板得到的标定板点云，以及相机拍摄标定板得到的二维图像；对二维图像进行角点提取，获得二维图像角点；对标定板点云上的角点进行粗提取，获得粗提取的3D角点。

需要说明的是，所述步骤S1中对标定板点云上的角点进行粗提取，获得粗提取的3D角点，包括：基于平面聚类的方法对标定板点云进行提取，获得初步的标定板原始点云；对初步的标定板原始点云进行基于反射强度的粗提取，获得粗提取的3D角点。

具体地，本发明设计了图2所述的算法流程。如图2所示，本发明实施例提出的激光雷达相机外参求解利用一个N_h×N_w的棋盘作为标定板。首先进行的是数据采集，为了获取比较稠密的点云信息，需要在一定的时间之内对非扫描式的激光雷达帧进行累积，也就是时间域内的点云积分，之后再对点云上的角点提取，主要分为二维点特征的提取和三维线特征的提取两个部分。二维图像使用opencv中采用的方法进行角点提取，随后使用张氏标定法进行内参的求解。三维线特征的提取首先要将点云通过平面聚类的方法进行提取，再对点云上的角点进行基于反射强度的粗提取。随后利用该粗提取的角点，采用基于非线性优化的方法对棋盘格上的网格线进行精准定位。具体地，三维点云上的角点特征提取分为以下几个步骤：

1.标定板点云聚类

第一步工作是将标定板部分的点云从场景中提取出来，使用平面聚类的方法。由于场景复杂，符合平面特征的点云可能有墙壁、地面以及周边一些杂物，本发明实施例可以设定平面法向量与z轴夹角小于45°，且距离最近的一个平面判定为目标标定板点云，只要在一个相对空旷，距离4～10米的距离设置好标定板，且与中心光轴角度小于45°，经测试，该判断模式使得标定板点云分割的整个过程不需要人工干预，有非常鲁棒的表现，可以得到初步的标定板原始点云并记为P_seg。

2.标定板3D角点粗提取

在介绍3D角点提取方法之前，首先分析和描述传感器的噪声特性。根据 LiDAR的原理，每束激光束都有一定的发散角(Livox Mid-40为0.28°× 0.03°)。因此，每次测量都会受到物体上某个反射点区域的脉冲能量和持续时间的影响，如图3中的激光束所示。

测量偏差通常由两种情况引起：(1)LiDAR扫描到具有不连续结构的物体。当激光扫描到物体边缘时，因为光斑被断层边缘分成不同的深度，回波脉冲的峰值能量会受到影响。(2)LiDAR扫描到低反射强度材料物体。某些材料，例如草和高光吸收黑色材料，由于其对激光反射脉冲能量低，导致回波脉冲的能量峰值不稳定。图3中显示了这两种点云不稳定情况的代表性示例。当光束扫描到标定板边缘处时，部分光脉冲被前景目标反射，而另一部分将被后景物体反射，若前端物体反射将占据主导(即上述(1)的情况)，后景反射脉冲叠加前景脉冲，对该次采集到的深度造成不确定性，使得前景目标边缘处向外膨胀，如图3中的标定板边缘部分，即如图3中A区域所示。基于以上考虑，本发明实施例使用的标定板边缘部分多出一部分空白区域，在一个边缘阈值之内的部分将被舍弃，这样可以减少边缘噪点对标定板的拟合带来的误差。另一方面，棋盘的黑色部分吸收了大部分激光能量，导致反射强度低(即上述(2) 的情况)。相应的点云表现出数值不稳定性，如图3中的B区域所示。因此，本发明实施例倾向于依赖落在棋盘白块上的反射强度较高的点，并且以其作为参考进行平面拟合再对点云进行重投影以减少误差。

为了区分棋盘的黑白块点，需要定义强度阈值I_thd，该阈值需要自适应调节黑色块点云和白色块点云的反射强度界限。由于反射强度的直方图遵循类似于两个高斯分布的混合的双峰分布。因此假设点强度的分布符合两分量高斯混合分布模型(Gaussian MixtureDistribution Model:GMM)。强度的概率密度函数定义为式(1)，表示为高斯密度的加权和：

其中，I是点云的反射强度，p_w和p_b分别是黑白点云的分布比例。白色区域点云反射强度分布

和黑块区域点云反射强度分布

可以通过期望最大化算法(EM)拟合到二分量的混合高斯模型GMM获得。因此，令

作为能粗略区分黑白块点的强度阈值。

在区分黑白区域点云之后，使用平面模型迭代地拟合白块区域点云，通过最小化点到拟合平面的距离之和来获得相应的平面参数。之后将所有的点沿着光轴射线投影到这个平面上，且由于点落在同一平面上，随后的一切点云的处理过程都可以转化为二维点的处理过程。上述所有过程对应于图4中步骤1：边缘切割、平面拟合和射线投影，即由图4(a)到图4(b)的变化。图4(b)到图4(c)记为步骤2：基于GMM的反射强度点云聚类，即通过强度阈值I_thd从P_l中提取棋盘的黑色块区域的点云，然后使用基于欧氏距离的聚类方法对块进行分割，结果如图4(c)所示，不同的分割块用不同的灰度表示。图4(c)到图4(d)记为步骤3：计算区块中心并提取角点，通过计算质心块并进行几何约束，可以粗略地得到3D角点。由于棋盘同一块区域的反射强度可能不均匀，因此粗略计算得到的角点坐标，将作为下节进一步优化的初始值。

步骤S2：在标定板点云所在平面上构建二维坐标系，并在二维坐标系内将标定板点云转换为2D角点。

进一步的，所述步骤S2包括：

在标定板点云所在平面上构建二维坐标系。

需要说明的是，在粗略提取出点云上角点位置之后，要使用非线性优化方法对特征的位置进行进一步优化。经过前面步骤的预处理过程，得到了标定板点云P_l和对应的单位法向量n_board，得到了初始的3D角点，从右上角到右下角的顺序对其进行索引并表示为：

P_corner＝{P_r，c|r＝0，1，...，N_h-1；c＝0，1，...，N_w-1}，

其中N_h和N_w分别为棋盘格上行和列的角点数量。通过对同一行的点进行拟合，可以得到每个网格行和列的单位方向向量：

创建标定板棋盘的坐标系

即在标定板点云所在平面上构建二维坐标系：选择一个靠近中心的的角点P_k，m∈P_corner，以其为原点，以第k行方向向量为x轴，令n_board为z轴，使标定板所在平面为xoy坐标平面。根据正交关系，y轴为

x，y，z的三个轴被归一化并相互正交。

将激光雷达坐标系下的标定板点云转换为二维坐标系下的2D角点，转换矩阵T_bl满足：

如图5所示。P_l从激光雷达坐标系下

到标定板点云所在平面构建的二维坐标系

的变换公式为

其中：

其中，T_bl表示标定板点云由激光雷达坐标系到二维坐标系的变换矩阵，R_lb表示对应的旋转矩阵，t_lb表示对应的平移向量,P_m，n表示第m行n列的粗提取3D角点，

表示第m行所有角点拟合直线的方向向量，n_board表示标定板点云拟合平面法向量。

由于转换后的点云P_b都落在

的xoy平面上，取P_b的x和y坐标来形成一个2D点集P_b，P_l可以被视为2D集p_b。所有后续处理都在此2D点集上进行。

步骤S3：基于粗提取的3D角点，在二维坐标系内构建标准网格，基于迭代优化方法，使标准网格与2D角点上的网格特征对齐，获得标准网格与2D 角点的对齐位姿。

具体地，所述步骤S3包括：

以粗提取的3D角点作为参考，在二维坐标系内构建标准网格。

根据棋盘的实际大小，在

的xoy平面上生成了一个标准网格。

使标准网格与2D角点的网格特征初步对齐。

以反射强度梯度为代价对标准网格进行拟合，基于迭代优化方法，使标准网格与2D角点的网格特征对齐，获得标准网格与2D角点的对齐位姿。

需要说明的是，三维角点的提取可以转化为棋盘上的二维特征网格对齐问题，优化变量是2D姿势变换矩阵：

其中，ξ为二维转换位姿，t是指标准网格在对齐标定板点云过程中，在二维坐标系下的平移向量，Δx，Δy分别是指在x轴和y周方向的位移，θ是值标准网格围绕z轴旋转的角度。

在优化后，可以通过ξ和T_bl的逆变换来求解原始校准点云上的特征线位置。为了准确地将p_b上的网格特征与标准网格对齐，网格周围点云的反射强度特征是关键信息。由于激光的反射特性，白色和黑色块的反射强度差异很大，并且在网格线黑白区块分割部分周围反射强度变化较大，受该特性的启发，本方法通过以反射强度梯度为代价来拟合网格线。

每个标准网格块中水平边的中点定义为

如图6中的圆点表示，相应地，垂直方向的中点定义为

并用三角形表示。图6示出了生成标准网格和点云(显示灰度代表编码的反射强度)对齐过程示意图。行和列网格参考点分别由圆点和三角点表示。用于计算代价的r领域内的点使用灰度进一步加粗显示，灰度值与强度值正比。

如果生成的标准网格可以通过ξ变换完美拟合p_b的特征线，对于任意参考点

左右两侧区域的点云反射强度的差应达到最大值，同时，上下边区域对应的点云反射强度的差应达到最小值，而对于行参考点

则正好相反。因此，将上下左右一定范围内的点云反射强度求和，取上下区域的差值、左右区域的差值作为优化目标，解决网格对齐问题的过程相当于最小化反射强度差异。于是将优化问题构造如下：

由于网格对齐问题是一个迭代优化问题，在每次迭代过程中，都需要对标准网格进行变换(即变换二维参考点p∈p_std来评估当前迭代中ξ的代价。参考点p的二维变换过程定义为：

其中

是变换后的点，ξ^是二维位姿变换矩阵：

代价函数定义为：

其中：

步骤S4：基于标准网格与2D角点的对齐位姿，将对齐的2D角点从二维坐标系转换到激光雷达坐标系，以获得精提取的3D角点，基于精提取的3D 角点和二维图像角点形成3D-2D匹配点。

具体地，所述步骤S4包括：

根据标准网格与2D角点的对齐位姿以及转换矩阵T_bl，将标准网格上对齐的2D角点位置坐标变换反解求出雷达坐标系下的三维坐标，以获得精提取的 3D角点。

简而言之，式(9)中的代价函数衡量了x和y方向上预期强度梯度和实际强度梯度之间的差异，这种在不连续的强度场中通过平均邻域值来估计梯度的思想，与常用于计算图像中像素梯度的方法类似。同样，代价梯度可以通过扩大邻居范围的半径并计算差分值来近似。更具体地说，为了便于计算代价函数在强度场上x和y方向的偏导数，点云搜索半径扩大到

使得计算代价的目标邻点面积单独x和y方向加倍。代价关于x和y方向上的偏导数可以通过以下方式获得：

代价关于2D点p的导数定义为：

根据推导的链式法则，结合式(11)和式(12)，可以得到位姿关于代价的雅可比矩阵：

在得到代价函数式(9)的解析雅可比矩阵式(13)后，利用Gauss-Newton 法并且使用Levenberg-Marquardt(L-M)阻尼策略可以得到可以降低代价的迭代方向及步长。为了解决离散空间中的二维网格对齐姿态，在每次迭代中应用基于KD树的点搜索来更新相邻点。由于我们的算法仅计算相邻点中点的代价，因此它运行高效。

经过二维刚体变换对齐矩阵的优化，得到网格线特征在p_b上的位置。通过应用ξ和T_bl的逆变换，所有特征线都从

转换为

坐标系下，记为L_grid，方便后面在3D-2D对齐过程中使用。

步骤S5：基于3D-2D匹配点，利用PnP方法求解激光雷达和相机外参。

所述步骤S5中基于3D-2D匹配点，利用PnP方法求解激光雷达和相机外参，包括：

基于3D-2D匹配点，通过PnP方法获得非线性优化的初始外参。

继上一步提取到准确的3D的特征点之后，二维图像角点可以与其构成 3D-2D匹配点，再通过PnP的方法来获得非线性优化的初始外参。在本节中，我们将描述外参的计算和优化过程。这个过程可以被认为是在图像和点云上提取的特征的对齐。视觉特征，即图像中的二维角点，表示为x_c。通过应用网格块的实际大小，可以求得网格L_grid上的3D角点，并表示为

然后将标定转换为典型的位姿估计问题，从而可以通过Perspective-n-Point(PnP)算法求解外参。使用PnP求解的位姿结果作为优化的初始值，记为

计算3D-2D匹配点之间的重投影误差。

应理解，只要

和x_c中的点按照预先定义的顺序匹配，就可以使用多帧联合优化以进一步减少误差。对于LiDAR坐标系中的3D角点

相机坐标系上对应的反投影归一化点可以通过相对位姿的转换过程求得：

将投影点

和匹配的2D归一化点

之间的距离定义为残差，称为重投影误差。由于相机中的像素是离散的，重投影误差的大小会受到角点距离的影响，即：棋盘角点越远，测量的重投影误差越不准确。为了减少这种影响，本方法使用归一化重投影误差作为残差，定义为：

其中

表示P_l和x_c是匹配的3D-2D角点对。d_max是

经过T_cl变换后到相机的最远点距离。通过这种方式，可以更多地依赖于由较近的点评估的重投影误差，因为权重与点距离成反比。

基于重投影误差，进行迭代优化，获得最优外参。

需要说明的是，基于重投影误差，优化问题可以写成：

通过再次应用Levenberg-Marquardt算法迭代求解问题，得到最终的最优解外参，记为T_cl。使用本方法在实际操作中进行激光雷达-相机系统的标定，得出激光雷达和相机之间的绝对位姿，可将激光雷达采集的点云进行位姿变换与图像上的像素点进行对应，于是像素点与点云对齐的程度即为标定精度。在远距离场景中，外在误差可能会被放大，从而导致坐标变换和重投影过程中的像素偏移。在我们的实验中，在如图7和图8所示的远距离场景中，图7将点云通过位姿转换到相机坐标系下，投影到图像上，图中A区域的实际距离大于75米，B区域实际距离大于105米；图8远程场景中的彩色点云,通过图像进行点云着色。第一行的图像从两个角度显示了全局点云，第二行图分别显示了区域A、B和C的点云细节。即使点云距离达到75m，它仍然可以在图像中很好地对应。例如，在A区，不反射激光的玻璃和能反射的窗框在重新投影后仍然可以对齐。B区塔顶点云距离约105m左右，可以看出重投影误差能够保持在1个像素以内。

与现有技术相比，本发明实施例提供的一种激光雷达和相机外参的标定方法具有如下有益效果：

1、本发明实施例仅使用印刷棋盘作为校准目标，即仅使用一块纸质打印的标定板即可完成高精度自动化的标定工作，无需制作特殊标定目标(如特俗形状和材料)，制作简单快速，使用方便快捷。

2、在获取时域内累积的标定板稠密点云之后，借助激光反射强度强度的颜色敏感特性，利用激光反射强度特征辅助特征提取。首先将棋盘点云投影到拟合平面上，后利用生成的标准网格通过非线性优化方法迭代拟合二维棋盘点云，从而得出标定板点云上的角点位置。与其它直接提取点云上的3D角点的方法不同，本发明创造性地将网格线提取为棋盘的特征，提出一种全新的线特征非线性优化方法，首次提出使用点云反射强度的偏导数作为代价进行特征提取，相较于其它使用反射强度特征的标定方法，此方法无需对点云进行均匀化操作，而是直接使用领域点云的平均强度差作为代价。在原始数据上进行操作不会引入点云重采样带来的数据偏差，又解决了点云不均匀的问题。而且由于特征易于提取，不受场景约束限制可在室内室外环境下使用。

3、为了求解离散空间中的二维网格对齐位姿，本发明设计迭代最低代价位姿(ILP)算法。并且可以通过Perspective-n-Point(PnP)算法和非线性优化细化来准确地求解外部参数。本标定方法以其便捷性和有效性填补了高精度非重复扫描激光雷达标定方法的空白。

4、此方法从激光雷达的噪声原理方面分析，在标定目标边缘留白并且切除该部分点云以减少边缘噪声的影响；考虑了低反射强度点的不稳定性，仅使用白色区域点云进行平面拟合，并且将点云通过射线投影到拟合平面上进行计算。此方法可以有效减少激光测距误差给标定带来的误差。

5、使用特征点距离对重投影误差进行归一化，以此为代价使用非线性优化的方法进行外参优化，使得代价权重与点距离成反比，更多地依赖于较近的特征点，有效减少特征点距离不同对标定带来的影响。

本发明实施例提供一种激光雷达和相机外参的标定装置，图9示出了本发明实施例所提供的一种激光雷达和相机外参的标定装置的结构示意图。如图9 所示，该装置包括：

3D角点粗提取模块1，用于获取激光雷达扫描标定板得到的标定板点云，以及相机拍摄标定板得到的二维图像；对二维图像进行角点提取，获得二维图像角点；对标定板点云上的角点进行粗提取，获得粗提取的3D角点；

转换模块2，用于在标定板点云所在平面上构建二维坐标系，并在二维坐标系内将标定板点云转换为2D角点；

对齐位姿获取模块3，用于基于粗提取的3D角点，在二维坐标系内构建标准网格，基于迭代优化方法，使标准网格与2D角点上的网格特征对齐，获得标准网格与2D角点的对齐位姿；

3D-2D匹配点模块4，用于基于标准网格与2D角点的对齐位姿，将对齐的 2D角点从二维坐标系转换到激光雷达坐标系，以获得精提取的3D角点，基于精提取的3D角点和二维图像角点形成3D-2D匹配点；

外参求解模块5，用于基于3D-2D匹配点，利用PnP方法求解激光雷达和相机外参。

与现有技术相比，本发明实施例提供的一种激光雷达和相机外参的标定装置的有益效果与上述技术方案所述一种激光雷达和相机外参的标定方法的有益效果相同，在此不做赘述。

此外，本发明实施例还提供了一种电子设备，包括总线、收发器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该收发器、该存储器和处理器分别通过总线相连，计算机程序被处理器执行时实现上述一种激光雷达和相机外参的标定方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

此外，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种激光雷达和相机外参的标定方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

计算机可读存储介质包括：永久性和非永久性、可移动和非可移动媒体，是可以保留和存储供指令执行设备所使用指令的有形设备。计算机可读存储介质包括：电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备以及上述任意合适的组合。计算机可读存储介质包括：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带存储、磁带磁盘存储或其他磁性存储设备、记忆棒、机械编码装置(例如在其上记录有指令的凹槽中的穿孔卡或凸起结构)或任何其他非传输介质、可用于存储可以被计算设备访问的信息。按照本发明实施例中的界定，计算机可读存储介质不包括暂时信号本身，例如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如穿过光纤电缆的光脉冲)或通过导线传输的电信号。

在本申请所提供的几个实施例中，应该理解到，所披露的装置、电子设备和方法，可以通过其他的方式实现。例如，以上描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的、机械的或其他的形式连接。

所述作为分离部件说明的单元可以是或也可以不是物理上分开的，作为单元显示的部件可以是或也可以不是物理单元，既可以位于一个位置，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或全部单元来解决本发明实施例方案要解决的问题。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术作出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(包括：个人计算机、服务器、数据中心或其他网络设备)执行本发明各个实施例所述方法的全部或部分步骤。而上述存储介质包括如前述所列举的各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换的技术方案，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种激光雷达和相机外参的标定方法，其特征在于，包括：

获取激光雷达扫描标定板得到的标定板点云，以及相机拍摄标定板得到的二维图像；对二维图像进行角点提取，获得二维图像角点；对标定板点云上的角点进行粗提取，获得粗提取的3D角点；

在标定板点云所在平面上构建二维坐标系，并在二维坐标系内将标定板点云转换为2D角点；

基于粗提取的3D角点，在二维坐标系内构建标准网格，基于迭代优化方法，使标准网格与2D角点上的网格特征对齐，获得标准网格与2D角点的对齐位姿；

基于标准网格与2D角点的对齐位姿，将对齐的2D角点从二维坐标系转换到激光雷达坐标系，以获得精提取的3D角点，基于精提取的3D角点和二维图像角点形成3D-2D匹配点；

基于3D-2D匹配点，利用PnP方法求解激光雷达和相机外参。

2.根据权利要求1所述的一种激光雷达和相机外参的标定方法，其特征在于，所述对标定板点云上的角点进行粗提取，获得粗提取的3D角点，包括：

基于平面聚类的方法对标定板点云进行提取，获得初步的标定板原始点云；

对初步的标定板原始点云进行基于反射强度的粗提取，获得粗提取的3D角点。

3.根据权利要求1所述的一种激光雷达和相机外参的标定方法，其特征在于，所述在标定板点云所在平面上构建二维坐标系，并在二维坐标系内将标定板点云转化为2D角点，包括：

在标定板点云所在平面上构建二维坐标系；

将激光雷达坐标系下的标定板点云转换为二维坐标系下的2D角点，转换矩阵T_bl满足：

其中，T_bl表示标定板点云由激光雷达坐标系到二维坐标系的变换矩阵，R_lb表示对应的旋转矩阵，t_lb表示对应的平移向量,P_m，n表示第m行n列的粗提取3D角点，

表示第m行所有角点拟合直线的方向向量，n_board表示标定板点云拟合平面法向量。

4.根据权利要求1所述的一种激光雷达和相机外参的标定方法，其特征在于，所述基于粗提取的3D角点，在二维坐标系内构建标准网格，基于迭代优化方法，使标准网格与2D角点的网格特征对齐，获得标准网格与2D角点的对齐位姿，包括：

以粗提取的3D角点作为参考，在二维坐标系内构建标准网格；

使标准网格与2D角点的网格特征初步对齐；

以反射强度梯度为代价对标准网格进行拟合，基于迭代优化方法，使标准网格与2D角点的网格特征对齐，获得标准网格与2D角点的对齐位姿。

5.根据权利要求4所述的一种激光雷达和相机外参的标定方法，其特征在于，所述代价满足：

其中，

γ为常数。

6.根据权利要求4所述的一种激光雷达和相机外参的标定方法，其特征在于，所述基于标准网格与2D角点的对齐位姿，将对齐的2D角点从二维坐标系转换到激光雷达坐标系，以获得精提取的3D角点，包括：

根据标准网格与2D角点的对齐位姿以及转换矩阵T_bl，将标准网格上对齐的2D角点位置坐标变换反解求出雷达坐标系下的三维坐标，以获得精提取的3D角点。

7.根据权利要求6所述的一种激光雷达和相机外参的标定方法，其特征在于，

标准网格与2D角点的对齐位姿满足：

其中，ξ为二维转换位姿，t是指标准网格在对齐标定板点云过程中，在二维坐标系下的平移向量，Δx，Δy分别是指在x轴和y周方向的位移，θ是值标准网格围绕z轴旋转的角度。

8.根据权利要求1所述的一种激光雷达和相机外参的标定方法，其特征在于，所述基于3D-2D匹配点，利用PnP方法求解激光雷达和相机外参，包括：

基于3D-2D匹配点，通过PnP方法获得非线性优化的初始外参；

计算3D-2D匹配点之间的重投影误差；

基于重投影误差，进行迭代优化，获得最优外参。

9.一种激光雷达和相机外参的标定装置，其特征在于，包括：

3D角点粗提取模块，用于获取激光雷达扫描标定板得到的标定板点云，以及相机拍摄标定板得到的二维图像；对二维图像进行角点提取，获得二维图像角点；对标定板点云上的角点进行粗提取，获得粗提取的3D角点；

转换模块，用于在标定板点云所在平面上构建二维坐标系，并在二维坐标系内将标定板点云转换为2D角点；

对齐位姿获取模块，用于基于粗提取的3D角点，在二维坐标系内构建标准网格，基于迭代优化方法，使标准网格与2D角点上的网格特征对齐，获得标准网格与2D角点的对齐位姿；

3D-2D匹配点模块，用于基于标准网格与2D角点的对齐位姿，将对齐的2D角点从二维坐标系转换到激光雷达坐标系，以获得精提取的3D角点，基于精提取的3D角点和二维图像角点形成3D-2D匹配点；

外参求解模块，用于基于3D-2D匹配点，利用PnP方法求解激光雷达和相机外参。

10.一种电子设备，包括总线、收发器、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述收发器、所述存储器和所述处理器通过所述总线相连，其特征在于，所述计算机程序被所述处理器执行时实现如权利要求1-8中任一项所述的一种激光雷达和相机外参的标定方法中的步骤。

Images