CN114494466A - 外参标定方法、装置及设备、存储介质 - Google Patents

Abstract

本申请提供一种外参标定方法、装置及设备、存储介质，涉及自动驾驶技术领域，主要用于场景分析中激光雷达与相机的标定。该方法包括：获取第0帧至第N帧的激光特征点云；将第1帧至第N‑1帧的激光特征点云的激光坐标转换为第N帧的激光特征点云的激光坐标；将具有第N帧的激光坐标的激光特征点云转换为具有相机坐标的激光特征点云后，将具有相机坐标的激光特征点云转换为具有像素坐标的激光特征点云，并以像素坐标显示激光特征点云；当以像素坐标显示的激光特征点云与像素坐标的图像像素点在预设误差内显示重合时，生成激光坐标和像素坐标之间的外参矩阵。本申请的方法可以降低激光雷达和相机的外参标定成本和提高外参标定的精度。

Description

外参标定方法、装置及设备、存储介质

技术领域

本申请涉及自动驾驶技术领域，尤其涉及一种外参标定方法、装置及设备、存储介质，可应用于港口、高速、物流、矿山、封闭园区或城市交通等场景。

背景技术

在自动驾驶、机器人、三维场景重建等领域中，经常需要进行场景分析。场景分析越来越多使用的方案是：采用多相机传感器、多激光传感器捕获同一场景数据后，再融合不同来源的场景数据，通过融合后的场景数据来分析场景，以提升场景分析效果。例如自动驾驶汽车依靠各种传感器来感知环境，该各种传感器中，激光雷达用于进行障碍物测距，相机用于感知障碍物的颜色和纹理等信息，通过将激光雷达和相机进行融合使用可以实现传感器之间的取长补短，提高场景分析效果。

多个传感器的数据融合需要对传感器进行非常精确的外参标定，从而保证传感器对环境的感知数据能够在同一个坐标参考系中进行准确融合。目前非共视的激光雷达与相机外参标定的方案是先搭建标定所需的标定场景并制作先验特征，利用先验特征对不同坐标参考系的感知数据进行处理，以形成激光雷达与相机的共视区域。再利用两者共视区域内的特征配准进行外参标定。

但是这个外参标定的方案是以场景特征为媒介，容易引入间接误差从而影响外参标定的精度，同时搭建特定标定场景所需成本也较高。

发明内容

本申请提供一种外参标定方法、装置及设备、存储介质，用以在自动驾驶、机器人、三维场景重建等领域中，需要对激光雷达和相机进行外参标定时，实现在不搭建标定场景的情况下进行激光雷达和相机的外参标定，以降低外参标定成本和提高外参标定的精度。

一方面，本申请提供一种外参标定方法，包括：

获取第0帧至第N帧的激光特征点云，N为大于零的整数，每帧激光特征点云具有对应的激光坐标；

根据第0帧激光特征点云的激光坐标，将第1帧至第N-1帧的激光特征点云的激光坐标转换为第N帧的激光特征点云的激光坐标；

将具有第N帧的激光特征点云的激光坐标的激光特征点云转换为具有相机坐标的激光特征点云后，将具有所述相机坐标的激光特征点云转换为具有像素坐标的激光特征点云，并以像素坐标显示激光特征点云；其中，所述相机坐标为相机具有的坐标，所述像素坐标为以像素为单位显示图像时的坐标；

当以像素坐标显示的激光特征点云与像素坐标的图像像素点在预设误差内显示重合时，生成所述激光坐标和所述像素坐标之间的外参矩阵，所述外参矩阵用于进行激光雷达和相机的外参标定。

本申请的实施例提供的外参标定方法，将所有历史帧激光特征点云（即第1帧至第N-1帧的激光特征点云）的坐标转换为当前帧激光特征点云坐标，再进行激光坐标和像素坐标之间的转换。等到以像素坐标显示的激光特征点云与像素坐标的图像像素点在预设误差内显示重合时（即形成激光雷达和相机的共视区域时），得到所述激光坐标和所述像素坐标之间的外参矩阵。无需搭建外参标定所需的标定场景和制作先验特征，就可以形成激光雷达与相机的共视区域，进而得到所述激光坐标和所述像素坐标之间的外参矩阵。

因此，本申请的实施例提供的方法降低了激光雷达与相机的外参标定成本，提高了外参标定的精确度。

在一个可选的实施例中，所述根据第0帧激光特征点云的激光坐标，将第1帧至第N-1帧的激光特征点云的激光坐标转换为第N帧的激光特征点云的激光坐标包括：

获取每帧激光特征点云的线特征点云和面特征点云；

基于第M帧的激光特征点云中的线特征点云和面特征点云、第M帧的激光特征点云之前相邻的连续K个激光特征点云中的线特征点云和面特征点云，对所述第M帧的激光特征点云进行位姿估计，得到每帧激光特征点云的激光坐标与第0帧的激光特征点云的激光坐标之间的坐标转换关系；其中，M为大于或等于1，且小于或等于N的整数，K为大于1的整数，所述K个激光特征点云的坐标系为第0帧激光特征点云的坐标系；

根据每帧激光特征点云的激光坐标与第0帧的激光特征点云的激光坐标之间的坐标转换关系，确定第1帧至第N-1帧的激光特征点云的激光坐标与第N帧的激光特征点云的激光坐标之间的坐标转换关系；

根据第1帧至第N-1帧的激光特征点云的激光坐标与第N帧的激光特征点云的激光坐标之间的坐标转换关系，将第1帧至第N-1帧的激光特征点云的激光坐标转换为第N帧的激光特征点云的激光坐标。

在一个可选的实施例中，所述获取每帧激光特征点云的线特征点云和面特征点云，包括：

确定每帧激光特征点云中的每个激光特征点是否为线特征点云或是否面特征点云，获取每帧激光特征点云的线特征点云和面特征点云；

其中，所述确定每帧激光特征点云中的每个激光特征点是否为线特征点云包括：

构建任意一个激光特征点与多个领域点之间的第一向量和第二向量，其中，多个邻域点与任意一个激光特征点处于同一线束；所述第一向量是根据所述任意一个激光特征点与处于第一方向的多个领域点构建，所述第二向量根据所述任意一个激光特征点与处于第二方向的多个领域点构建；所述第一方向和所述第二方向是以所述任意一个激光特征点为起始点，沿线束按照相反方向延伸的两个方向；

根据所述第一向量和所述第二向量，确定所述任意一个激光特征点是否为线特征点；

其中，所述确定每帧激光特征点云中的每个激光特征点是否为面特征点云包括：

对任意一个激光特征点进行最近邻查询，得到任意一个激光特征点的邻点；

以任意一个激光特征点和任意一个激光特征点的邻点，组成局部区域点云集；

对所述局部区域点云集进行主成分分析，得到第一特征值、第二特征值和第三特征值，所述第一特征值大于所述第二特征值；

比较所述第二特征值和所述第三特征值后，确定所述局部区域点云集是否为面特征点云集，且确定任意一个激光特征点是否为面特征点。

在一个可选的实施例中，所述根据所述第一向量和所述第二向量，确定所述任意一个激光特征点是否为线特征点包括：

获取所述第一向量和所述第二向量之间的向量夹角；

当所述向量夹角在预设角度范围内时，确定任意一个激光特征点为线特征点，其中，所述预设角度范围的最大角度小于或等于120°，所述预设角度范围的最小角度大于或等于60°。

在一个可选的实施例中，所述比较所述第二特征值和所述第三特征值后，确定所述局部区域点云集是否为面特征点云集，且确定任意一个激光特征点是否为面特征点，包括：

比较所述第二特征值和所述第三特征值，当所述第二特征值大于三倍的第三特征值时，确定所述局部区域点云集为面特征点云集，且任意一个激光特征点为面特征点。

在一个可选的实施例中，所述将具有第N帧的激光特征点云的激光坐标的激光特征点云转换为具有相机坐标的激光特征点云后，再转换为具有像素坐标的激光特征点云，并以像素坐标显示激光特征点云，包括：

获取第N帧的激光特征点云的激光时间戳；

获取相机收集的每帧图像的图像时间戳；

获取图像时间戳中与所述激光时间戳差值最小的基准图像时间戳，获取与基准图像时间戳对应的图像帧的相机坐标；

将具有第N帧的激光特征点云的激光坐标的激光特征点云转换为具有所述相机坐标的激光特征点云；

将具有所述相机坐标的激光特征点云转换为具有像素坐标的激光特征点云，并以像素坐标显示激光特征点云。

在一个可选的实施例中，所述将具有所述相机坐标的激光特征点云转换为具有像素坐标的激光特征点云包括：

获取相机内参矩阵和畸变系数；

根据所述相机内参矩阵和所述畸变系数，将具有所述相机坐标的激光特征点云转换为具有像素坐标的激光特征点云。

另一方面，本申请提供一种外参标定装置，包括：

获取模块，用于获取第0帧至第N帧的激光特征点云，N为大于零的整数，每帧激光特征点云具有对应的激光坐标；

坐标转换模块，用于根据第0帧激光特征点云的激光坐标，将第1帧至第N-1帧的激光特征点云的激光坐标转换为第N帧的激光特征点云的激光坐标；

所述坐标转换模块还用于将具有第N帧的激光特征点云的激光坐标的激光特征点云转换为具有相机坐标的激光特征点云后，将具有所述相机坐标的激光特征点云转换为具有像素坐标的激光特征点云，并以像素坐标显示激光特征点云；其中，所述相机坐标为相机具有的坐标，所述像素坐标为以像素为单位显示图像时的坐标；

处理模块，用于当以像素坐标显示的激光特征点云与像素坐标的图像像素点在预设误差内显示重合时，生成所述激光坐标和所述像素坐标之间的外参矩阵，所述外参矩阵用于进行激光雷达和相机的外参标定。

另一方面，本申请还提供一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，以实现如一方面所述的外参标定方法。

另一方面，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当所述指令被执行时，使得计算机执行如一方面所述的外参标定方法。

另一方面，本申请还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如以上一方面提供的该外参标定方法。

综上，本申请的实施例提供的外参标定方法，根据激光雷达收集得到的原始帧激光特征电源（即第0帧激光特征点云）、历史帧激光特征点云（即第1帧至第N-1帧的激光特征点云）和当前帧激光特征点云（即第N帧激光特征点云），对激光特征点云的坐标进行动态标定。再将所有历史帧激光特征点云的坐标转换为当前帧激光特征点云坐标，再进行激光坐标和像素坐标之间的转换。等到以像素坐标显示的激光特征点云与像素坐标的图像像素点在预设误差内显示重合时（即形成激光雷达和相机的共视区域时），得到所述激光坐标和所述像素坐标之间的外参矩阵。

本申请的实施例提供的方法无需搭建外参标定所需的标定场景并制作先验特征，就可以形成激光雷达与相机的共视区域，进而得到所述激光坐标和所述像素坐标之间的外参矩阵。在后期进行激光雷达与相机的非共视区域调整为共视区域时，只需要修改得到的外参矩阵中的一些参数（一般为6个维度的参数，包括平移参数和角度参数），就可以形成共视区域。因此，本申请的实施例可以在不搭建标定场景的情况下进行外参标定，降低了激光雷达与相机的外参标定成本，提高了外参标定的精确度。

附图说明

图1为本申请提供的外参标定方法的一种应用场景示意图；

图2为本申请的一个实施例提供的外参标定方法的流程示意图；

图3为本申请的一个实施例提供的激光点阵图像的示意图；

图4为本申请的一个实施例提供的手动调参的示意图；

图5为本申请的一个实施例提供的外参标定装置的示意图；

图6为本申请的一个实施例提供的电子设备的示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在自动驾驶、机器人、三维场景重建等领域中，经常需要进行场景分析。场景分析越来越多使用的方案是：采用多相机传感器、多激光传感器捕获同一场景数据后，再融合不同来源的场景数据，通过融合后的场景数据来分析场景，以提升场景分析效果。例如自动驾驶汽车依靠各种传感器来感知环境，该各种传感器中，激光雷达用于进行障碍物测距，相机用于感知障碍物的颜色和纹理等信息，通过将激光雷达和相机进行融合使用可以实现传感器之间的取长补短，提高场景分析效果。

多个传感器的数据融合需要对传感器进行非常精确的外参标定，从而保证传感器对环境的感知数据能够在同一个坐标参考系中进行准确融合。

目前非共视激光雷达与相机外参标定的方案是先搭建标定所需的标定场景并制作先验特征，利用先验特征对不同坐标参考系的感知数据进行处理，以形成激光雷达与相机的共视区域。再利用两者共视区域内的特征配准进行外参标定。

但是制作先验特征和搭建标定场景的成本很高，每次外参标定都需要再制作先验特征和搭建标定场景，更增加了外参标定的成本。除此之外，这个外参标定的方案是以场景特征为媒介，容易引入间接误差从而影响外参标定的精度。因此，如何在不搭建标定场景的情况下进行外参标定，以降低外参标定成本和提高外参标定的精度，依然是需要解决的问题。

因此，本申请提供一种外参标定方法，获取激光雷达收集的全部帧（包含零帧、历史帧和当前帧）的激光特征点云。再将历史帧的激光特征点云的激光坐标全部转换为当前帧的激光特征点云的激光坐标。再进行激光坐标和像素坐标之间的转换。等到以像素坐标显示的激光特征点云与像素坐标的图像像素点在预设误差内显示重合时（即形成激光雷达和相机的共视区域时），得到该激光坐标和该像素坐标之间的外参矩阵。如此，不需要搭建外参标定所需的标定场景，就可以形成激光雷达与相机的共视区域，进而得到该激光坐标和该像素坐标之间的外参矩阵。降低了激光雷达与相机的外参标定成本，提高了外参标定的精确度。

本申请提供的外参标定方法应用于电子设备，该电子设备例如计算机、服务器等。图1为本申请提供的外参标定方法的应用示意图，图中，该电子设备获取激光雷达收集的N帧激光特征点云，再将除了第0帧以外的N-1个帧的激光特征点云的激光坐标全部转换为像素坐标。以像素坐标显示激光特征点云后，在以像素坐标显示的激光特征点云与像素坐标的图像像素点在预设误差内显示重合时，生成该激光坐标和该像素坐标之间的外参矩阵。

请参见图2，本申请的一个实施例提供一种外参标定方法，包括：

S210，获取第0帧至第N帧的激光特征点云，N为大于零的整数，每帧激光特征点云具有对应的激光坐标。

可选的，获取搭载有激光雷达的车辆停止行驶时，由该激光雷达收集的第0帧至第N帧的激光特征点云。也可以是获取搭载有激光雷达的车辆在行驶过程中，由该激光雷达实时收集的第0帧至第N帧的激光特征点云，其中，第N帧的激光特征点云是当前时刻由该激光雷达收集到的最后一帧激光特征点云，也可以理解为是当前帧激光特征点云。

激光雷达例如是水平视场角81.7°的大疆horizon激光雷达。搭载有激光雷达的车辆可以是自动驾驶车辆，例如物流上用的可以自动识别障碍物，对货物进行自动分发的小车。激光雷达在车辆上的设置位置一般在车辆的前方、后方和侧方，用于对车辆行驶中的障碍物进行测距。

激光雷达工作时会收集多帧的激光特征点云，这些多帧的激光特征点云由车辆上的芯片或车辆外的处理器收集和处理。车辆上还搭载有图像传感器（例如相机），在车辆行驶中，图像传感器会对行驶过程中遇到的场景进行拍摄，同样也会产生多帧的拍摄图像，这些多帧的拍摄图像由车辆上的芯片或车辆外的处理器收集和处理。最终显示车辆行驶中的场景信息时，需要结合激光雷达采集的激光特征点云、相机采集的拍摄图像，对场景信息进行显示，显示时，是以像素坐标的形式显示图像和激光特征点云。

以下简要对激光雷达和激光特征点云进行介绍。

激光雷达会发射多个线束，例如6条线束，每个线束上有很多个激光点，本实施例所描述的激光特征点云是在同一空间参考系下表达目标空间分布和目标表明特性的海量激光点的集合。激光特征点云的属性包括空间分辨率、点位精度、表面法向量等。同一帧的激光特征点云，指的是同一时刻的所有激光点形成的激光特征点云，该所有激光点可能是同一线束上的，也可能是不同线束上的。

每帧激光特征点云都具有对应的激光坐标，如图3所示的激光点阵图像，在车辆行驶时，每帧激光特征点云对应的激光坐标都在动态变化，因此每帧激光特征点云都具有对应的激光坐标。图3还示出了车辆行驶中激光点阵云的动态变化轨迹线。

激光坐标与车辆上相机的相机坐标不同，也与以像素为单位显示时所需的像素坐标不同，因此，需要将激光坐标转换为以像素单位显示时的像素坐标。

S220，根据第0帧激光特征点云的激光坐标，将第1帧至第N-1帧的激光特征点云的激光坐标转换为第N帧的激光特征点云的激光坐标。

第0帧激光特征点云就是车辆还没有开始行驶时的激光特征点云，因为车辆位置固定，所以第0帧激光特征点云的坐标是具有参考性的。因此，在将第1帧至第N-1帧（N-1大于1）的激光特征点云的激光坐标转换为第N帧的激光特征点云的激光坐标时，以第0帧激光特征点云的激光坐标为参考。

将第1帧至第N-1帧的激光特征点云的激光坐标转换为第N帧的激光特征点云的激光坐标的目的是将所有历史帧（第1帧至第N-1帧）的激光特征点云的激光坐标进行统一化，即统一化至当前帧的激光特征点云的激光坐标。不同帧的激光特征点云的激光坐标统一后，更便于进行激光坐标和像素坐标之间的坐标转换。

历史帧的激光特征点云反映了车辆行驶的动态过程，利用历史帧的激光特征点云来求取激光雷达与相机之间的外参矩阵，可以使得最终求取的外参矩阵更贴合车辆的真实行驶状态，提供了最终求取的外参矩阵的真实度和准确度。

以下示例性得说明将第1帧至第N-1帧的激光特征点云的激光坐标转换为第N帧的激光特征点云的激光坐标的一种可选的方案。

在将历史帧（第1帧至第N-1帧）的激光特征点云的激光坐标转换为当前帧（第N帧）的激光特征点云的激光坐标时，需要获取每帧激光特征点云的线特征点云和面特征点云。

再基于第M（M为大于或等于1，且小于或等于N的整数）帧的激光特征点云中的线特征点云和面特征点云、第M帧的激光特征点云之前相邻的连续K个激光特征点云（K为大于1的整数，该K个激光特征点云的坐标系为第0帧激光特征点云的坐标系）中的线特征点云和面特征点云，对该第M帧的激光特征点云进行位姿估计。如此，得到每帧激光特征点云的激光坐标与第0帧的激光特征点云的激光坐标之间的坐标转换关系。

例如，将第M帧激光特征点云与转换至第0帧坐标系下的第M-1帧至M-5帧的激光特征点云进行位姿估计，得到第M帧的激光坐标系与第0帧激光坐标系转换关系。若开始时帧数不足，则有几帧选几帧，例如M=3，则与转换至第0帧坐标系下的第0帧、第1帧和第2帧所有特征点云，再例如M=10，则选取第5帧、第6帧、第7帧、第8帧和第9帧所有特征点云。如此，可以获取每一帧与第0帧坐标变换关系。

根据每帧激光特征点云的激光坐标与第0帧的激光特征点云的激光坐标之间的坐标转换关系，可以确定第1帧至第N-1帧的激光特征点云的激光坐标与第N帧的激光特征点云的激光坐标之间的坐标转换关系。也就是说，根据每一帧与第0帧坐标变换关系，可以间接获取第N帧的激光坐标与第0帧至第N-1帧的激光坐标之间的坐标转换关系。再根据第1帧至第N-1帧的激光特征点云的激光坐标与第N帧的激光特征点云的激光坐标之间的坐标转换关系，将第1帧至第N-1帧的激光特征点云的激光坐标转换为第N帧的激光特征点云的激光坐标。

需要注意的是，第N帧激光特征点云与转换至第0帧坐标系的邻域帧（N-1至N-5帧）特征点云配准。

位姿估计实质是以当前帧激光特征点云中的线特征点云、面特征点云点到第0帧激光特征点云中的线特征点云、面特征点云之间的距离最小化为代价函数解算当前帧激光特征点云的实时里程计。其中，实时里程计可以理解为相对于第0帧的里程数据。结算出实时里程计的过程实质是对当前帧进行位姿估计，以构建当前帧与第0帧之间的约束。

可选的，在进行位姿估计之前，可以将每帧的激光特征点云中属于同线束的激光特征点云的帧补偿至线束尾帧，完成每帧激光特征点云的运动畸变校正。

以下对如何获取每帧激光特征点云的线特征点云和面特征点云进行示例性的描述。

在获取每帧激光特征点云的线特征点云和面特征点云时，需要先确定每帧激光特征点云中的每个激光特征点是否为线特征点云或是否面特征点云，再获取每帧激光特征点云的线特征点云和面特征点云。

在确定任意一个激光特征点是否为线特征点云时，需要构建任意一个激光特征点与多个领域点之间的第一向量和第二向量，其中，该多个领域点与该任意一个激光特征点处于同一线束。该多个领域点包含第一方向的多个领域点和第二方向的多个领域点。该第一方向和该第二方向是以该任意一个激光特征点为起始点，沿线束按照相反方向延伸的两个方向，可以理解为该第一方向是以该任意一个激光特征点为起始点，沿线束向左延伸，该第二方向是以该任意一个激光特征点为起始点，沿线束向右延伸。

根据该第一向量和该第二向量，可以确定该任意一个激光特征点是否为线特征点。具体的，获取该第一向量和该第二向量之间的向量夹角。当该向量夹角在预设角度范围内时，确定任意一个激光特征点为线特征点，其中，该预设角度范围的最大角度小于或等于120°，该预设角度范围的最小角度大于或等于60°。

例如，可以先提取第一方向的5个邻域点或第二方向的5个邻域点，先判断该5个邻域点为线特征点还是面特征点，如果是线特征点，则构建该任意一个激光特征点之间与多个领域点之间的第一向量和第二向量。以右侧邻域点（第二方向的领域点）为例，将右侧5个邻域点的坐标值分别与当前点（即该任意一个激光特征点）的坐标值作差，得到5个坐标差。再将5个坐标差值赋予不同权重后，累加构成一个当前点与右侧邻域点组成的向量，左侧向量同理。

需要说明的是，这右侧5个邻域点中，距离当前点越远的点，其坐标差的权重越大，距离当前点越近的点，其坐标差的权重越小。例如，若1-5分别代表离当前点由近至远，则1-5个邻域点赋予的坐标差的权重分别为：0.1、0.15、0.2、0.25、0.3。

当第一向量和第二向量之间的夹角不在预设角度范围内，例如在165°~180°时，可以确定该任意一个激光特征点具有平面特性，不属于线特征点。

在确定任意一个激光特征点是否为面特征点云时，需要对任意一个激光特征点进行最近邻查询，得到任意一个激光特征点的邻点。以任意一个激光特征点和任意一个激光特征点的邻点，组成局部区域点云集。再对该局部区域点云集进行主成分分析，得到第一特征值、第二特征值和第三特征值，其中，该第一特征值大于该第二特征值。

再比较该第二特征值和该第三特征值后，确定该局部区域点云集是否为面特征点云集，且确定任意一个激光特征点是否为面特征点。可选的，当该第二特征值大于三倍的第三特征值时，确定该局部区域点云集为面特征点云集，且任意一个激光特征点为面特征点。如果激光特征点既不是线特征点，又不是面特征点，即可定义为不规则特征点。

以下简要描述如何对该局部区域点云集进行主成分分析。

局部区域点云集通过主成分分析（Principal Component Analysis，简称PCA）将特征映射到全新的符合正交特征的三维坐标上。PCA就是从输入的局部区域点云集的空间中顺序地找出一组相互正交的坐标轴。该一组相互正交的坐标轴包含3个坐标轴，这3个坐标轴对应3个特征向量，每个特征向量有一个特征值，3个特征向量对应的特征值分别为第一特征值、第二特征值和第三特征值。在找一组相互正交的坐标轴时，选取的第一个坐标轴（对应第一特征值）的方向是以局部区域点云集中激光点云数据方差最大的方向，选取的第二个坐标轴（对应第二特征值）的方向是与第一个坐标轴正交的平面中使得激光点云数据方差最大的方向，选取的第三个坐标轴（对应第三特征值）的方向是与第一个坐标轴和第二个坐标轴均正交的平面中激光点云数据方差最大的方向。

对该局部区域点云集进行主成分分析可以获取该局部区域点云集中点云的空间分布特征。如果三个特征值（第一特征值、第二特征值和第三特征值）的特点是一大两小，则该局部区域点云集中的点云为线特征的点云。如果三个特征值的特点是两大一小，则该局部区域点云集中的点云为面特征的点云。两大一小即以上描述的该第一特征值大于第二特征值，该第二特征值大于三倍的第三特征值。

以上示例性的说明并不对本步骤构成限定，也可以使用其他方式实现本步骤的方案。

S230，将具有第N帧的激光特征点云的激光坐标的激光特征点云转换为具有相机坐标的激光特征点云后，将具有该相机坐标的激光特征点云转换为具有像素坐标的激光特征点云，并以像素坐标显示激光特征点云。其中，该相机坐标为相机具有的坐标，该像素坐标为以像素为单位显示图像时的坐标。

车辆上搭载的相机采集的拍摄图像都是具有相机坐标系的帧图像，而在显示时，需要以像素坐标显示，因此，相机坐标系的帧图像也需要转换为像素坐标显示。该像素坐标可以是该车辆上搭载的相机在显示图像时的像素坐标，也可以是其他显示设备在显示图像时的像素坐标，例如是计算机在显示车辆的行驶图像时的像素坐标。

在将具有第N帧的激光特征点云的激光坐标的激光特征点云转换为具有相机坐标的激光特征点云后，将具有该相机坐标的激光特征点云转换为具有像素坐标的激光特征点云时，需要先选定作为坐标转换参考的相机坐标。

可选的，在选定作为坐标转换参考的相机坐标时，可以是获取第N帧的激光特征点云的激光时间戳，再获取相机收集的每帧图像的图像时间戳。获取图像时间戳中与该激光时间戳差值最小的基准图像时间戳，获取与基准图像时间戳对应的图像帧的相机坐标。

可以理解，激光雷达和相机都是随着车辆行驶而同步行驶的，与该激光时间戳差值最小（时间戳差值最小代表时间间隔最小）的基准图像时间戳，对应的是相机收集的多帧图像中与第N帧激光特征点云最接近的帧图像。

选定了作为坐标转换参考的相机坐标后，再将具有第N帧的激光特征点云的激光坐标的激光特征点云转换为具有该相机坐标的激光特征点云。可选的，可以通过ROS外部调参工具调节激光系至相机系外参，以将激光坐标通过外参矩阵转换为相机坐标。在通过ROS外部调参工具将激光坐标转换为相机坐标时，需要对外参矩阵中6个维度的参数进行调整，该6个维度的参数为3个平移参数和3个角度参数。此处描述的外参矩阵只是初始的假定的外参矩阵，是还没有校准过的外参矩阵，无法用于激光雷达和相机的实际外参标定。

将具有该激光坐标的激光特征点云转换为具有该相机坐标的激光特征点云后，再将具有该相机坐标的激光特征点云转换为具有像素坐标的激光特征点云，并以像素坐标显示激光特征点云。具体的，获取相机内参矩阵和畸变系数，再根据该相机内参矩阵和该畸变系数，将具有该相机坐标的激光特征点云转换为具有像素坐标的激光特征点云。

S240，当以像素坐标显示的激光特征点云与像素坐标的图像像素点在预设误差内显示重合时，生成该激光坐标和该像素坐标之间的外参矩阵，该外参矩阵用于进行激光雷达和相机的外参标定。

在以像素坐标显示激光特征点云后，工作人员可以通过手动调参（调整初始外参矩阵中的6个维度的参数），使得以像素坐标显示的激光特征点云与像素坐标的图像像素点在预设误差内显示重合。手动调参时，是以像素系中激光点云的环境物体边界和环境物体的像素边界的对应关系手动调参。如图4所示，工作人员通过左上的软件界面进行手动调参，调参过程中参考左下以像素显示的图像，以及参考右图中激光点阵图像。

像素坐标的图像像素点是相机拍摄到的图像显示时的图像像素点，当以像素坐标显示的激光特征点云与像素坐标的图像像素点在预设误差内显示重合时，就是达到了激光雷达与相机的非共视区域调整为共视区域的效果。

当该电子设备检测到以像素坐标显示的激光特征点云与像素坐标的图像像素点在预设误差内显示重合时，生成该激光坐标和该像素坐标之间的外参矩阵。此时生成的外参矩阵可以直接用于进行激光雷达和相机的外参标定。通过最终得到的外参矩阵，可以将激光雷达与相机的非共视区域（坐标系不一致导致的无法共视）调整为共视区域。

综上，本实施例提供的方法无需搭建外参标定所需的标定场景并制作先验特征，就可以形成激光雷达与相机的共视区域，进而得到该激光坐标和该像素坐标之间的外参矩阵。在后期进行激光雷达与相机的非共视区域调整为共视区域时，只需要修改得到的外参矩阵中的一些参数（一般为6个维度的参数，包括平移参数和角度参数），就可以形成共视区域。因此，本申请的实施例可以在不搭建标定场景的情况下进行外参标定，降低了激光雷达与相机的外参标定成本，提高了外参标定的精确度。

请参见图5，本申请的一个实施例还提供一种外参标定装置10，包括：

获取模块11，用于获取第0帧至第N帧的激光特征点云，N为大于零的整数，每帧激光特征点云具有对应的激光坐标。

坐标转换模块12，用于根据第0帧激光特征点云的激光坐标，将第1帧至第N-1帧的激光特征点云的激光坐标转换为第N帧的激光特征点云的激光坐标。

该坐标转换模块12还用于将具有第N帧的激光特征点云的激光坐标的激光特征点云转换为具有相机坐标的激光特征点云后，再转换为具有像素坐标的激光特征点云，并以像素坐标显示激光特征点云。其中，该相机坐标为相机具有的坐标，该像素坐标为以像素为单位显示图像时的坐标。

处理模块13，用于当以像素坐标显示的激光特征点云与像素坐标的图像像素点在预设误差内显示重合时，生成该激光坐标和该像素坐标之间的外参矩阵，该外参矩阵用于进行激光雷达和相机的外参标定。

该坐标转换模块12具体用于获取每帧激光特征点云的线特征点云和面特征点云。基于第M帧的激光特征点云中的线特征点云和面特征点云、第M帧的激光特征点云之前相邻的连续K个激光特征点云中的线特征点云和面特征点云，对该第M帧的激光特征点云进行位姿估计，得到每帧激光特征点云的激光坐标与第0帧的激光特征点云的激光坐标之间的坐标转换关系；其中，M为大于或等于1，且小于或等于N的整数，K为大于1的整数，该K个激光特征点云的坐标系为第0帧激光特征点云的坐标系；根据每帧激光特征点云的激光坐标与第0帧的激光特征点云的激光坐标之间的坐标转换关系，确定第1帧至第N-1帧的激光特征点云的激光坐标与第N帧的激光特征点云的激光坐标之间的坐标转换关系；根据第1帧至第N-1帧的激光特征点云的激光坐标与第N帧的激光特征点云的激光坐标之间的坐标转换关系，将第1帧至第N-1帧的激光特征点云的激光坐标转换为第N帧的激光特征点云的激光坐标。

该获取模块11具体用于确定每帧激光特征点云中的每个激光特征点是否为线特征点云或是否面特征点云，获取每帧激光特征点云的线特征点云和面特征点云。

该获取模块11具体用于构建任意一个激光特征点与多个领域点之间的第一向量和第二向量，其中，多个邻域点与任意一个激光特征点处于同一线束；该第一向量是根据该任意一个激光特征点与处于第一方向的多个领域点构建，该第二向量根据该任意一个激光特征点与处于第二方向的多个领域点构建；该第一方向和该第二方向是以该任意一个激光特征点为起始点，沿线束按照相反方向延伸的两个方向。再根据该第一向量和该第二向量，确定该任意一个激光特征点是否为线特征点。

该获取模块11具体用于对任意一个激光特征点进行最近邻查询，得到任意一个激光特征点的邻点。以任意一个激光特征点和任意一个激光特征点的邻点，组成局部区域点云集。对该局部区域点云集进行主成分分析，得到第一特征值、第二特征值和第三特征值，该第一特征值大于该第二特征值。比较该第二特征值和该第三特征值后，确定该局部区域点云集是否为面特征点云集，且确定任意一个激光特征点是否为面特征点。

该获取模块11具体用于获取该第一向量和该第二向量之间的向量夹角；当该向量夹角在预设角度范围内时，确定任意一个激光特征点为线特征点，其中，该预设角度范围的最大角度小于或等于120°，该预设角度范围的最小角度大于或等于60°。

该获取模块11具体用于比较该第二特征值和该第三特征值，当该第二特征值大于三倍的第三特征值时，确定该局部区域点云集为面特征点云集，且任意一个激光特征点为面特征点。

该坐标转换模块12具体用于获取第N帧的激光特征点云的激光时间戳。获取相机收集的每帧图像的图像时间戳。获取图像时间戳中与该激光时间戳差值最小的基准图像时间戳，获取与基准图像时间戳对应的图像帧的相机坐标。将具有第N帧的激光特征点云的激光坐标的激光特征点云转换为具有该相机坐标的激光特征点云。将具有该相机坐标的激光特征点云转换为具有像素坐标的激光特征点云，并以像素坐标显示激光特征点云。

该坐标转换模块12具体用于获取相机内参矩阵和畸变系数。根据该相机内参矩阵和该畸变系数，将具有该相机坐标的激光特征点云转换为具有像素坐标的激光特征点云。

请参见图6，本申请其中一个实施例还提供一种电子设备20，包括处理器21，以及与该处理器通信连接的存储器22。该存储器22存储计算机执行指令。该处理器21执行该存储器22存储的计算机执行指令，以实现如以上任一项实施例提供的外参标定方法。

本申请还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机执行指令，当该指令被执行时，使得计算机执行指令被处理器执行时用于实现如上任一项实施例提供的该外参标定方法。

本申请还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如以上任一项实施例提供的该外参标定方法。

需要说明的是，上述计算机可读存储介质可以是只读存储器（Read Only Memory，ROM）、可编程只读存储器（Programmable Read-Only Memory，PROM）、可擦除可编程只读存储器（Erasable Programmable Read-Only Memory，EPROM）、电可擦除可编程只读存储器（Electrically Erasable Programmable Read-Only Memory，EEPROM）、磁性随机存取存储器（Ferromagnetic Random Access Memory，FRAM）、快闪存储器（Flash Memory）、磁表面存储器、光盘、或只读光盘（Compact Disc Read-Only Memory，CD-ROM）等存储器。也可以是包括上述存储器之一或任意组合的各种电子设备，如移动电话、计算机、平板设备、个人数字助理等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，空调器，或者网络设备等）执行本申请各个实施例所描述的方法。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种外参标定方法，其特征在于，包括：

获取第0帧至第N帧的激光特征点云，N为大于零的整数，每帧激光特征点云具有对应的激光坐标；

根据第0帧激光特征点云的激光坐标，将第1帧至第N-1帧的激光特征点云的激光坐标转换为第N帧的激光特征点云的激光坐标；

将具有第N帧的激光特征点云的激光坐标的激光特征点云转换为具有相机坐标的激光特征点云后，将具有所述相机坐标的激光特征点云转换为具有像素坐标的激光特征点云，并以像素坐标显示激光特征点云；其中，所述相机坐标为相机具有的坐标，所述像素坐标为以像素为单位显示图像时的坐标；

当以像素坐标显示的激光特征点云与像素坐标的图像像素点在预设误差内显示重合时，生成所述激光坐标和所述像素坐标之间的外参矩阵，所述外参矩阵用于进行激光雷达和相机的外参标定。

2.根据权利要求1所述的方法，其特征在于，所述根据第0帧激光特征点云的激光坐标，将第1帧至第N-1帧的激光特征点云的激光坐标转换为第N帧的激光特征点云的激光坐标包括：

获取每帧激光特征点云的线特征点云和面特征点云；

基于第M帧的激光特征点云中的线特征点云和面特征点云、第M帧的激光特征点云之前相邻的连续K个激光特征点云中的线特征点云和面特征点云，对所述第M帧的激光特征点云进行位姿估计，得到每帧激光特征点云的激光坐标与第0帧的激光特征点云的激光坐标之间的坐标转换关系；其中，M为大于或等于1，且小于或等于N的整数，K为大于1的整数，所述K个激光特征点云的坐标系为第0帧激光特征点云的坐标系；

根据每帧激光特征点云的激光坐标与第0帧的激光特征点云的激光坐标之间的坐标转换关系，确定第1帧至第N-1帧的激光特征点云的激光坐标与第N帧的激光特征点云的激光坐标之间的坐标转换关系；

根据第1帧至第N-1帧的激光特征点云的激光坐标与第N帧的激光特征点云的激光坐标之间的坐标转换关系，将第1帧至第N-1帧的激光特征点云的激光坐标转换为第N帧的激光特征点云的激光坐标。

3.根据权利要求2所述的方法，其特征在于，所述获取每帧激光特征点云的线特征点云和面特征点云，包括：

确定每帧激光特征点云中的每个激光特征点是否为线特征点云或是否面特征点云，获取每帧激光特征点云的线特征点云和面特征点云；

其中，所述确定每帧激光特征点云中的每个激光特征点是否为线特征点云包括：

构建任意一个激光特征点与多个领域点之间的第一向量和第二向量，其中，多个邻域点与任意一个激光特征点处于同一线束；所述第一向量是根据所述任意一个激光特征点与处于第一方向的多个领域点构建，所述第二向量根据所述任意一个激光特征点与处于第二方向的多个领域点构建；所述第一方向和所述第二方向是以所述任意一个激光特征点为起始点，沿线束按照相反方向延伸的两个方向；

根据所述第一向量和所述第二向量，确定所述任意一个激光特征点是否为线特征点；

其中，所述确定每帧激光特征点云中的每个激光特征点是否为面特征点云包括：

对任意一个激光特征点进行最近邻查询，得到任意一个激光特征点的邻点；

以任意一个激光特征点和任意一个激光特征点的邻点，组成局部区域点云集；

对所述局部区域点云集进行主成分分析，得到第一特征值、第二特征值和第三特征值，所述第一特征值大于所述第二特征值；

比较所述第二特征值和所述第三特征值后，确定所述局部区域点云集是否为面特征点云集，且确定任意一个激光特征点是否为面特征点。

4.根据权利要求3所述的方法，其特征在于，所述根据所述第一向量和所述第二向量，确定所述任意一个激光特征点是否为线特征点包括：

获取所述第一向量和所述第二向量之间的向量夹角；

当所述向量夹角在预设角度范围内时，确定任意一个激光特征点为线特征点，其中，所述预设角度范围的最大角度小于或等于120°，所述预设角度范围的最小角度大于或等于60°。

5.根据权利要求3所述的方法，其特征在于，所述比较所述第二特征值和所述第三特征值后，确定所述局部区域点云集是否为面特征点云集，且确定任意一个激光特征点是否为面特征点，包括：

比较所述第二特征值和所述第三特征值，当所述第二特征值大于三倍的第三特征值时，确定所述局部区域点云集为面特征点云集，且任意一个激光特征点为面特征点。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述将具有第N帧的激光特征点云的激光坐标的激光特征点云转换为具有相机坐标的激光特征点云后，再转换为具有像素坐标的激光特征点云，并以像素坐标显示激光特征点云，包括：

获取第N帧的激光特征点云的激光时间戳；

获取相机收集的每帧图像的图像时间戳；

获取图像时间戳中与所述激光时间戳差值最小的基准图像时间戳，获取与基准图像时间戳对应的图像帧的相机坐标；

将具有第N帧的激光特征点云的激光坐标的激光特征点云转换为具有所述相机坐标的激光特征点云；

将具有所述相机坐标的激光特征点云转换为具有像素坐标的激光特征点云，并以像素坐标显示激光特征点云。

7.根据权利要求6所述的方法，其特征在于，所述将具有所述相机坐标的激光特征点云转换为具有像素坐标的激光特征点云包括：

获取相机内参矩阵和畸变系数；

根据所述相机内参矩阵和所述畸变系数，将具有所述相机坐标的激光特征点云转换为具有像素坐标的激光特征点云。

8.一种外参标定装置，其特征在于，包括：

获取模块，用于获取第0帧至第N帧的激光特征点云，N为大于零的整数，每帧激光特征点云具有对应的激光坐标；

坐标转换模块，用于根据第0帧激光特征点云的激光坐标，将第1帧至第N-1帧的激光特征点云的激光坐标转换为第N帧的激光特征点云的激光坐标；

所述坐标转换模块还用于将具有第N帧的激光特征点云的激光坐标的激光特征点云转换为具有相机坐标的激光特征点云后，将具有所述相机坐标的激光特征点云转换为具有像素坐标的激光特征点云，并以像素坐标显示激光特征点云；其中，所述相机坐标为相机具有的坐标，所述像素坐标为以像素为单位显示图像时的坐标；

处理模块，用于当以像素坐标显示的激光特征点云与像素坐标的图像像素点在预设误差内显示重合时，生成所述激光坐标和所述像素坐标之间的外参矩阵，所述外参矩阵用于进行激光雷达和相机的外参标定。

9.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1至7中任一项所述的外参标定方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当所述指令被执行时，使得计算机执行如权利要求1-7中任一项所述的外参标定方法。

Images