CN118037857A - 传感器外参标定方法及相关装置 - Google Patents

Abstract

本申请提出一种传感器外参标定方法及相关装置，涉及传感器标定技术领域。该传感器外参标定方法可以包括：通过激光雷达对标定板采集一帧第一点云，以及通过相机对相同标定板采集一帧第一图像；识别第一点云中标定板上的圆洞，并确定圆洞的第一圆心坐标；根据预设约束条件以及第一圆心坐标，得到优化后的第二圆心坐标；根据第二圆心坐标确定二维码图案的三维中心坐标，以及根据第一图像确定二维码图案的二维中心坐标；根据二维码图案的三维中心坐标和二维中心坐标，得到激光雷达与相机之间的外部参数。本申请提供的技术方案能够解决现有技术中的相机与激光雷达之间的外参标定方案存在标定精度低且易失败的问题。

Description

传感器外参标定方法及相关装置

技术领域

本申请涉及传感器标定技术领域，具体地说涉及一种传感器外参标定方法及相关装置。

背景技术

在智能驾驶车辆、智能机器人等一些人工智能设备上，相机和激光雷达是两类重要的传感器，可以用于感知设备周围环境。在一些应用场景下，可以融合两类传感器采集的信息，得到更加准确的环境信息。

其中，相机与激光雷达之间的信息融合，需要基于二者之间的外部参数(即位姿关系)实现。现有技术中，可以通过黑白棋盘格标定板进行相机与激光雷达之间的外参标定。但激光雷达对标定板外缘的识别精度受限，标定精度低，且对于黑白棋盘格标定板，一个角点识别失效后整个棋盘格则会失效，标定易失败。

发明内容

基于上述现有技术的缺陷和不足，本申请提出一种传感器外参标定方法及相关装置，能够解决现有技术的相机与激光雷达之间的外参标定方案存在标定精度低且易失败的问题。

根据本申请实施例的第一方面，提供了一种传感器外参标定方法，所述方法包括：

通过激光雷达对标定板采集一帧第一点云，以及通过相机对相同标定板采集一帧第一图像；其中，所述标定板包括多个二维码图案和多个圆洞，所述多个二维码图案与所述多个圆洞在所述标定板上的排布使得每个所述二维码图案的中心位置能够基于至少两个圆洞的圆心位置确定；

识别所述第一点云中所述标定板上的圆洞，并确定所述圆洞的第一圆心坐标；

根据预设约束条件以及所述第一圆心坐标，得到优化后的第二圆心坐标；其中，所述预设约束条件包括：在第一数值为0的情况下，第二数值最小，所述第一数值为优化后的各圆心坐标之间距离与各圆心之间真实距离的差值，所述第二数值为优化后的圆心坐标与对应的所述第一圆心坐标的距离差值之和；

根据所述第二圆心坐标确定所述二维码图案的三维中心坐标，以及根据所述第一图像确定所述二维码图案的二维中心坐标；

根据所述二维码图案的三维中心坐标和二维中心坐标，得到所述激光雷达与所述相机之间的外部参数。

根据本申请实施例的第二方面，提供了一种传感器外参标定装置，所述装置包括：

数据采集模块，用于通过激光雷达对标定板采集一帧第一点云，以及通过相机对相同标定板采集一帧第一图像；其中，所述标定板包括多个二维码图案和多个圆洞，所述多个二维码图案与所述多个圆洞在所述标定板上的排布使得每个所述二维码图案的中心位置能够基于至少两个圆洞的圆心位置确定；

第一坐标确定模块，用于识别所述第一点云中所述标定板上的圆洞，并确定所述圆洞的第一圆心坐标；

坐标优化模块，用于根据预设约束条件以及所述第一圆心坐标，得到优化后的第二圆心坐标；其中，所述预设约束条件包括：在第一数值为0的情况下，第二数值最小，所述第一数值为优化后的各圆心坐标之间距离与各圆心之间真实距离的差值，所述第二数值为优化后的圆心坐标与对应的所述第一圆心坐标的距离差值之和；

第二坐标确定模块，用于根据所述第二圆心坐标确定所述二维码图案的三维中心坐标，以及根据所述第一图像确定所述二维码图案的二维中心坐标；

外参确定模块，用于根据所述二维码图案的三维中心坐标和二维中心坐标，得到所述激光雷达与所述相机之间的外部参数。

根据本申请实施例的第三方面，提供了一种传感器外参标定系统，包括：处于标定场景中的标定板和目标设备；

所述标定板包括多个二维码图案和多个圆洞，所述多个二维码图案与所述多个圆洞在所述标定板上的排布使得每个所述二维码图案的中心位置能够基于至少两个圆洞的圆心位置确定；

所述目标设备上设置有激光雷达和相机，所述目标设备用于通过如第一方面所述的传感器外参标定方法，标定所述激光雷达与所述相机之间的外部参数。

根据本申请实施例的第四方面，提供了一种车辆，所述车辆用于通过如第一方面所述的传感器外参标定方法，标定自车上的激光雷达与相机之间的外部参数。

根据本申请实施例的第五方面，提供了一种电子设备，包括：存储器和处理器；

所述存储器与所述处理器连接，用于存储程序；

所述处理器用于通过运行所述存储器中的程序，实现如第一方面所述的传感器外参标定方法。

根据本申请实施例的第六方面，提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时，实现如第一方面所述的传感器外参标定方法。

根据本申请实施例的第七方面，提供了一种计算机程序产品或计算机程序，所述计算机程序产品包括计算机程序，所述计算机程序存储在计算机可读存储介质中；所述计算机设备的处理器从所述计算机可读存储介质读取所述计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的传感器外参标定方法中的步骤。

在本申请提供的技术方案中，通过二维码类型的标定图案进行激光雷达与相机之间的外参标定，可以克服棋盘格类型的标定图案存在的一个角点失效后，则整个棋盘格图案失效的问题，有利于提高标定的成功率。此外，在二维码图案的基础上，本申请实施例还结合了圆洞特征进行外参标定，基于圆洞特征可以更加准确的确定二维码图案的中心点坐标，即可以得到更加准确的用于外参标定的特征点坐标，从而提升标定结果的精度。进一步的，本申请实施例中还通过约束条件提高圆心坐标的精度，进而进一步提高二维码图案的中心点坐标的准确性，也即能够进一步提升标定结果的准确性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的一种传感器外参标定方法的流程示意图；

图2为本申请实施例提供的标定板的示意图；

图3为本申请实施例提供的棋盘格标定板的示意图；

图4为本申请实施例提供的激光线束与棋盘格标定板映射关系的示意图；

图5为本申请实施例提供的第一图像的示意图；

图6为本申请实施例提供的一种传感器外参标定装置的框图；

图7为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

申请概述

在智能驾驶车辆、智能机器人等一些人工智能设备上，相机和激光雷达是两类重要的传感器，可以用于感知设备周围环境。激光雷达可以感知周围环境的三维空间信息，相机可以在获取周围环境的二维空间信息的同时，获得颜色和纹理信息。在一些应用场景下，可以融合两类传感器采集的信息，得到更加准确的环境信息。例如，当前一些汽车公司配备有高精度真值车进行道路数据采集，但单纯基于图像的目标检测可能存在漏检或误检的情况，例如，对于附有人物的广告牌，广告牌中的人物可能会被识别为行人，造成误检的情况。为了克服该问题，可以基于激光雷达点云数据，推理获得目标检测的真值，然后将其投影到图像上作为图像目标检测的真值标注，该方式能够极大地降低图像真值标注的成本。

其中，相机与激光雷达之间的信息融合，需要基于二者之间的外部参数(简称外参，也可以称为位姿关系，即位置关系和姿态关系)实现，如相机相对于激光雷达的位姿或激光雷达相对于相机的位姿。激光雷达与相机间的外参标定精度越高，融合得到的信息越准确。

现有技术中，可以通过黑白棋盘格标定板进行相机与激光雷达之间的外参标定。但激光雷达对标定板外缘的识别精度受限，标定精度低，且对于黑白棋盘格标定板，一个角点识别失效后整个棋盘格则会失效，标定易失败。

为了解决前述问题，本申请提供了一种用于标定相机与激光雷达之间外参的技术方案，可应用于设置有激光雷达与相机且对激光雷达与相机采集的信息具有融合需求的目标设备，如智能驾驶车辆、智能机器人、无人机等。本申请具体提供了一种传感器外参标定方法、一种传感器外参标定装置、一种传感器外参标定系统、一种车辆、一种电子设备、一种计算机程序产品以及一种存储介质等。关于本申请提供的技术方案，具体可见下文。

示例性方法

本申请实施例提供了一种传感器外参标定方法，如图1所示，该方法可以包括如下步骤：

步骤101：通过激光雷达对标定板采集一帧第一点云，以及通过相机对相同标定板采集一帧第一图像。

在激光雷达与相机之间的外参标定过程中，可以选择具有平整地面的场景作为标定场景，该标定场景可以是室内也可以是室外。

标定板以及设置有待标定外参的激光雷达和相机的目标设备放置于标定场景中的平整地面。其中，标定板在标定场景中的摆放位置至少满足：在目标设备位置固定的情况下，激光雷达采集的一帧点云中与相机采集的一帧图像中均包括标定板数据。

完成标定板和目标设备摆放的情况下，可以控制激光雷达对标定场景采集一帧点云数据(对应第一点云)，以及控制相机对标定场景采集一帧图像(对应第一图像)。由于标定板的摆放位置可以使激光雷达与相机均能采集到标定板数据，因此，第一点云中包括标定板点云，第一图像中包括标定板图像。可以理解的是，完成标定板和目标设备摆放后，可以控制激光雷达采集多帧点云数据，以及控制相机采集多帧图像，然后从多帧点云数据中选择一帧质量高的点云作为第一点云，以及从多帧图像中选择一帧质量高的图像(如清晰度更高的图像)作为第一图像，该过程可以由目标设备控制激光雷达和相机自动执行。

本申请实施例中的标定板(具体可以是标定板的板面)包括：多个二维码图案和多个圆洞，在标定板竖直摆放的情况下，圆洞在水平方向贯穿标定板。例如，如图2所示，标定板的板面200上包括：四个二维码图案201以及五个圆洞202，圆洞202穿透板面200。可以理解的是，标定板上的圆洞与二维码图案的位置以及数量可根据实际需求设置，并不仅限于图2所示。

其中，多个二维码图案与多个圆洞在标定板上的排布至少满足：每个二维码图案的中心位置可以基于同一标定板上的至少两个圆洞的圆心位置计算得到。例如，如图2所示，板面200的四个角位置和中心位置分别设置有一个圆洞202，对于四个角位置的圆洞202，每两个角位置的圆洞202之间的居中位置设置有一个二维码图案201，两个圆洞202的圆心连线的中点即为二维码图案201的中心位置。

对于棋盘格类型的标定图案，需要识别棋盘格图案中包括的方格的行数和列数，若一个角点识别失效，则无法准确确定方格的行数和列数，因此，整个棋盘格图案则会失效，也即无法依据棋盘格图案进行相机与激光雷达之间的外参标定。而二维码类型的标定图案不同于棋盘格类型的标定图案，不需要确定图案中包括的方格的行数和列数，因此可以克服利用棋盘格图案进行标定存在的问题。其中，棋盘格图案中的角点是指棋盘格内部黑白方格的交点，如图3所示。

可选地，这里所述的二维码图案的形状(即外轮廓)可以是正方形，二维码图案的类型可以是Aruco Marker，也可以是Apriltag，还可以是其他类型。Aruco Marker相比于Apriltag，图案更加简单，更易于被准确识别，因此，本申请实施例中的二维码图案的类型可以优选为Aruco Marker。

可选的，本申请实施例中的所述的激光雷达可以是数据采集角度相对于车辆固定的激光雷达，如固态式激光雷达；也可以是数据采集角度相对于车辆可变的激光列雷达，如可旋转式激光雷达。无论哪种类型的激光雷达，一个数据采集周期内采集的点云数据为一帧点云数据。

步骤102：识别第一点云中标定板上的圆洞，并确定圆洞的第一圆心坐标。

在得到第一点云后，可以在第一点云中识别标定板点云以及标定板点云中的圆洞，确定圆洞的第一圆心坐标。这里所述的第一圆心坐标是指圆洞在激光雷达坐标系中的坐标。

步骤103：根据预设约束条件以及第一圆心坐标，得到优化后的第二圆心坐标。

由于通过激光雷达识别的标定板(即点云中的标定板)与实际标定板可能存在一些偏差，因此，点云中圆洞的圆心坐标也会存在一些偏差，为了减小该偏差，本申请实施例中可以基于约束条件优化圆洞的圆心坐标，得到更加准确地圆心坐标。

这里所述的约束条件(即预设约束条件)可以包括：在第一数值为0的情况下，第二数值最小。其中，第一数值为优化后的各圆心坐标之间距离与各圆心之间真实距离的差值，第二数值为优化后的圆心坐标与对应的第一圆心坐标的距离差值之和。该约束条件表示：在优化过程中，在各圆心坐标之间的距离完全满足真实距离的情况下，使得圆心坐标优化前后之间的差值尽可能小。

其中，前述各圆心之间的距离可以包括任意两个圆心之间的距离。以图2为例，各圆心之间的距离可以包括：圆洞1的圆心到圆洞2的圆心之间的距离、圆洞2的圆心到圆洞3的圆心之间的距离、圆洞3的圆心到圆洞4的圆心之间的距离以及圆洞5的圆心分别到圆洞1、2、3、4的圆心之间的距离。可以理解的是，各圆心之间的距离也可以包括部分圆心之间的距离，以图2为例，各圆心之间的距离可以包括：圆洞A的圆心到圆洞B的圆心之间的距离、圆洞B的圆心到圆洞C的圆心之间的距离、圆洞C的圆心到圆洞D的圆心之间的距离。包括的圆心之间的距离越多，约束越多，优化得到的圆心坐标越准确。

优选地，标定板上包括五个圆洞，其中一个圆洞位于标定板的中心位置，剩余四个圆洞分别位于标定板的四个角位置，处于标定板中心位置的圆洞的圆心到其他四个圆洞的圆心距离相同，在处于标定板四个角位置的圆洞中，任意两个相邻圆洞的圆心距离相同，如图2所示。

步骤104：根据每个圆洞的第二圆心坐标确定二维码图案的三维中心坐标，以及根据第一图像确定二维码图案的二维中心坐标。

前面提到每个二维码图案的中心位置可以基于同一标定板上的至少两个圆洞的圆心位置得到，因此，可以基于步骤103得到的圆洞的第二圆心坐标，计算二维码图案的中心点在激光雷达坐标系中的三维坐标，即三维中心坐标；同时还可以根据第一图像，确定二维码图案的中心点在像素坐标系中的二维坐标，即二维中心坐标，例如，在第一图像中识别出二维码图案，然后根据二维码图案的尺寸信息，以及二维码图案的四个角点(外轮廓的角点)的坐标信息，得到二维码图案的中心点在像素坐标系中的二维坐标。

本申请实施例中，可以将二维码图案的中心点作为外参标定所需的特征点，即用于得到激光雷达与相机之间位姿关系的特征点，因此，需要得到二维码图案的中心点的三维坐标和二维坐标。

步骤105：根据二维码图案的三维中心坐标和二维中心坐标，得到激光雷达与相机之间的外部参数。

最后，可以基于相机模型的投影公式，也即将三维坐标系中的点映射至二维像素坐标系中的点的数学模型，并结合二维码图案的三维中心坐标和二维中心坐标，得到相机与激光雷达之间的位姿关系，也即相机与激光雷达之间的外参。

本申请实施例中，通过二维码类型的标定图案进行激光雷达与相机之间的外参标定，可以克服棋盘格类型的标定图案存在的一个角点失效后，则整个棋盘格图案失效，从而导致标定失败的问题，有利于提高标定成功率。

此外，在二维码图案的基础上，本申请实施例还结合了圆洞特征进行外参标定，具体为基于圆洞特征推导得到用于外参标定的特征点在激光雷达坐标系中的三维坐标，也即二维码图案的中心点在激光雷达坐标系中的三维坐标。而现有技术中，是直接利用标定板的板面尺寸，确定棋盘格图案的中心点在点云中的坐标，但标定板点云与真实标定板存在偏差，例如对于板面与激光线束平行的外缘，该外缘可能处于两条平行激光之间，从而发生未被识别到的风险，如图4所示，图中多条灰色横向的直线表示激光线，由图中可以看出，附有棋盘格图案的标定板的上边缘处于两条激光线之间，未被激光扫描到，从而导致扫描得到的标定板点云与真实标定板之间产生偏差，进而导致基于标定板点云和标定板真实尺寸信息确定的棋盘格图案的中心点坐标存在较大偏差，影响标定结果的准确性。而圆洞特征不存在与激光线束平行的外缘，因此不会发生前述情况，因此基于圆洞特征可以得到更加准确的特征点的三维点云坐标，从而提升标定结果的精度。进一步的，本申请实施例中还可以通过约束条件进一步提高圆洞圆心坐标的精度，从而进一步提升标定结果的准确性。

在一些实施例中，相机与激光雷达之间的外参标定还可以注意以下一些事项：

1、需要至少三个二维码图案。

基于相机模型的投影公式得到相机与激光雷达之间的位姿关系的方式，需要至少三个不同特征点的2D坐标与3D坐标之间的对应关系，且二维码图案的数量越多，得到的标定结果越准确。

为了达到至少三个二维码图案的要求，可以通过至少一个标定板实现，例如，在一个标定板上设置至少三个二维码图案，或是多个标定板上的二维码图案数量之和至少大于或等于3。

此外，为了防止二维码图案识别失败，还可以在标定板上设置冗余二维码图案，以提高标定过程的鲁棒性。

2、标定板的数量为至少一个。

在一个标定板的数量为一个时，标定板上需要设置至少三个二维码图案。

在标定板的数量为多个时，不同标定板与相机之间的距离不同，且不同标定板可以位于相机图像横向方向上的不同等分区域。等分区域的数量可以与标定板的数量相同。

使用多个摆放位置不同且与相机距离不同的标定板进行外参标定，主要有以下几个原因：

数据丰富性：使用不同位置和距离的标定板可以提供更多的数据，有助于更准确的确定激光雷达与相机之间的外参。

减少误差：通过使用不同位置和距离的标定板，可以从多个角度和距离进行观察，可以有效地减少测量误差、镜头畸变、图像处理误差等因素影响。

覆盖更大的视场：使用不同位置和距离的标定板可以覆盖相机的更大视场，有助于理解相机的全局性质(例如，镜头畸变)。

解决非线性问题：外参标定通常涉及到解决非线性优化问题，例如，最小重投影误差。使用不同位置和距离的标定板可以提供更多的约束，有助于找到更优解。

优选地，标定板的数量至少为三个，每个标定板上至少包括一个二维码图案，不同标定板与相机的距离不同，且不同标定板位于相机图像横向方向上的不同等分区域。

使用至少三个摆放位置不同且与相机距离不同的标定板进行外参标定，可以提供更丰富的数据、减少误差、覆盖更大的视场以及解决非线性问题，从而提高标定的准确性和稳定性。

如图5所示，标定板的数量为三个，三个标定板分别位于相机图像横向方向上的左中右三等分区域内，且三个标定板到相机的距离各不相同。其中，图中两条虚线将相机图像划分为左中右三等分区间，三个不同大小的标定板表示标定板到相机的距离不等，其中，位于图像左等分区间的标定板与相机的距离最近，位于图像右等分区间的标定板与相机的距离其次，位于图像中等分区间的标定板与相机的距离最远。

经实验证明，使用大于或等于三个标定板进行外参标定，可以使得标定板的平均重投影误差在1080p的图像上控制在3像素以内。

3、标定板的摆放位置应使得标定板与激光雷达坐标系的x轴或y轴近似平行。

由于标定板的摆放是人为操作的，难以保证绝对平行，因此这里描述为近似平行。

4、标定板应于相机近似等高。

标定板与相机近似等高，可以使得标定板处于第一图像纵向方向的居中区域。由于大多数目标物处于相机中间位置，因此对该区域标定优化，使得标注的效果更好。

在一些实施例中，步骤102：识别第一点云中标定板上的圆洞，并确定圆洞的第一圆心坐标，可以包括：

步骤A1：识别第一点云中的标定板点云。

在识别第一点云中的标定板点云的过程中，可以基于平面特征进行标定板点云的识别，例如，在第一点云中寻找与标定板的板面尺寸相同或相近的平面，该平面大概率为标定板的板面。

步骤A2：根据标定板点云的坐标信息以及标定板的相关尺寸信息，得到标定板上的圆洞在第一点云中的初始圆心坐标。

这里所述的标定板的相关尺寸信息是指与标定板相关且用于确定圆洞的圆心位置的尺寸信息。以如图2所示的标定板为例，标定板的相关尺寸信息可以包括：标定板的板面尺寸、圆洞的直径、二维码图案的尺寸、圆洞周围的黑色正方形的边长(圆洞处于黑色正方形的居中位置)、黑色正方形到板面边缘的距离等。具体地，板面200为正方形，边长为1000.00mm；圆洞201的直径为210.00mm；圆洞201周围的黑色正方形203的边长为300.00mm；二维码图案的尺寸为210.00mm；黑色正方形203到板面200边缘的距离为50.00mm。可以理解的是，标定板的尺寸信息不仅限于前述几类尺寸，只要能够得到圆洞的圆心坐标即可。此外，板面上圆洞周围的黑色正方形，可以使得尺寸测量更加便捷，而板面中也可以没有黑色正方形，此种情况下，可以预先测量圆洞的轮廓到二维码图案边缘的最小距离，以及圆洞的轮廓到板面边缘的最小距离。

本申请实施例中，根据标定板点云的坐标信息以及标定板的相关尺寸信息，可以得到标定板上的圆洞在第一点云中的初始圆心坐标，也即在未识别到点云中圆洞的情况下，根据标定板点云的坐标信息以及标定板的相关尺寸信息，得到标定板上的圆洞在第一点云中的粗略圆心坐标。

其中，初始圆心坐标可以记为：c_iinitial,i＝1,2,…,N，N为大于或大于2的整数。以图2为例，该初始圆心坐标可以记为：c_iinitial,i＝1,2,3,4,5。

步骤A3：在初始圆心坐标的预设范围内，通过第一滑动窗口在标定板点云中进行搜索，将包含点云最少时第一滑动窗口框出的区域确定为标定板点云中的圆洞。

这里所述的第一滑动窗口为圆形，且第一滑动窗口的直径与标定板上的圆洞的直径相同。

在得到圆洞的初始圆心坐标后，可以在初始圆心位置的预设范围内进行滑动窗口搜索，查找窗口中包含点云最少时的第一滑动窗口，此时，第一滑动窗口框出的区域则为标定板点云中的圆洞。基于初始圆心坐标进行圆洞搜索，可以缩小搜索范围，提高搜索效率。

可选地，这里所述的预设范围可以是以初始圆心坐标为中心的正方形区域范围，且该正方形区域范围的边长小于所述圆洞的直径，例如，在圆洞之间为0.2m时，该正方形区域范围的边长可以是0.19m，这样可以进一步缩小搜索范围，提高搜索效率。

步骤A4：将基于标定板点云中的圆洞的坐标信息得到的圆心坐标，确定为第一圆心坐标。

本申请实施例中，在确定点云中标定板上的圆洞时，可以先在点云中识别出标定板点云，然后，基于标定板点云的坐标信息以及标定板的相关尺寸信息，得到圆洞在第一点云中的粗略圆心坐标(即初始圆心坐标)，再然后通过滑动窗口搜索，在该粗略圆心坐标附近一定范围内进行圆洞搜索，最后基于搜索得到的圆洞以及圆洞在点云中的坐标，得到更加准确地的圆心坐标(即第一圆心坐标)。该实施例可以提高圆洞搜索效率和准确性，进而提供圆心坐标的计算效率和准确性。

在第一圆心坐标的基础上，再基于各圆心之间的距离约束，可以对圆心坐标进行进一步优化，得到位置更加精准的第二圆心坐标。再之后，则可以基于第二圆心坐标，更加准确的求得二维码图案的中心点在点云中的三维坐标。

其中，第一圆心坐标可以记为：N为大于或大于2的整数。优化后的第二圆心坐标可以记为：/>求得的二维码图案的三维中心坐标可以记为：/>M为大于或等于3的整数。以图2为例，第一圆心坐标可以记为：/>第二圆心坐标可以记为：/>二维码图案的三维中心坐标可以记为：/>

可选地，步骤A1：识别第一点云中的标定板点云，可以包括：

步骤A11：在第一点云中标识兴趣区域。

为了缩小识别范围，本申请实施例中可以先在第一点云中标识兴趣区域，也可以称为感兴趣区域(Range of Interest，ROI)，该兴趣区域小于第一点云表示的范围且包括标定板点云。具体可以针对每个标定板标识一个兴趣区域。

可选地，本申请实施例中，可以显示第一点云，且标定板与目标设备之间的距离是已知的，根据该已知距离、标定板的尺寸，可以确定标定板的粗略位置范围，该粗略位置范围即可以标识为兴趣区域。还可选地，也可以基于标定板特征在第一点云中标识兴趣区域。

步骤A12：识别兴趣区域中的最大平面。

对兴趣区域内的点云，根据标定板近似平行于激光雷达坐标系的第一坐标轴(即x轴或y轴)，执行随机抽样一致性RANSAC(Random Sample Consensus)算法，进行点云中最大平面的提取。

步骤A13：通过第二滑动窗口在最大平面中搜索，将包含点云最多时第二滑动窗口框出的点云确定为标定板点云。

其中，第二滑动窗口的形状和尺寸与标定板相同。例如，标定板为边长1m的正方形，则第二滑动窗口也为边长1m的正方形。

本申请实施例中，通过标识兴趣区域可以缩小标定板点云的搜索范围，提高搜索效率。

可选地，在步骤A12之后、步骤A13之前，该方法还可以包括：

步骤A14：确定兴趣区域中最大平面的单位法向量，并根据单位法向量，调整最大平面的位置，使最大平面的位置与激光雷达坐标系的第一坐标轴平行。

第一坐标轴为激光雷达坐标系的x轴或y轴，优选为标定场景中标定板与激光雷达坐标系近似平行的坐标轴。

本申请实施例中，可以根据单位法向量，调整最大平面的位置，使最大平面的位置与激光雷达坐标系的第一坐标轴完全平行。

步骤A15：记录最大平面的厚度点云在第二坐标轴上的坐标到第一坐标轴的平均值。

由于标定板具有一定厚度或由于激光扫描误差，步骤A12提取的最大平面可以具有大于0的厚度，此种情况下，可以记录厚度方向的点云(简称厚度点云)在第二坐标轴上的坐标到第一坐标轴的平均值。

其中，在第一坐标轴为激光雷达坐标系中的x轴的情况下，第二坐标轴为激光雷达坐标系中的y轴；反之，在第一坐标轴为激光雷达坐标系中的y轴的情况下，第二坐标轴为激光雷达坐标系中的x轴。

步骤A16：将厚度点云在第二坐标轴上的坐标设置为0。

将厚度点云在第二坐标轴上的坐标设置为0，即将三维点云投影至二维平面。之后，再通过第二滑动窗口在所述最大平面中搜索标定板点云，这样可以使得滑动窗口在二维空间搜索，降低算法的复杂度。

可选地，在圆洞识别过程中，同样可以保持厚度点云在第二坐标轴上的坐标设置为0，在确定第二圆心坐标的二维坐标(可以记为 后，可以根据厚度点云在第二坐标轴上的坐标到第一坐标轴的平均值，以及最大平面的单位法向量，将第二圆心坐标的二维坐标转化回原始点云中的三维圆心坐标，即/>

在一些实施例中，在标定板的数量为多个，且不同标定板位于相机图像横向方向的不同等分区域，以及等分区域的数量与标定板的数量相同的情况下，在根据第一图像确定二维码图案的二维中心坐标的过程中，可以根据标定板的数量，将第一图像进行相同数量的等分，得到相同数量的子图像。如图5所示，标定板为三个，则将第一图像按三等分，分成左1/3图像、中1/3图像和右1/3图像。

之后，对于每个子图像，确定指定二维码图案。该指定二维码图案可以是一个标定板上的所有二维码图案，也可以是一个标定板上的部分二维码图案。例如，如图5所示，每个标定板中包括4个二维码图案，可以将4个二维码图像均作为指定二维码图案。

其中，指定二维码图案可以根据图案标识号(即ID号)确定，每个二维码图案对应一个唯一的标识号，以图5为例，不同标定板上的二维码图案相同，标识号分别为4(对应标定板上方的二维码图案)、11(对应标定板左侧的二维码图案)、12(对应标定板右侧的二维码图案)和9(对应标定板下方的二维码图案)。该标识号可以通过对二维码图案识别得到。

在确定指定二维码图案后，对于每个指定二维码图案的四个角点的坐标，取平均值后可得指定二维码图案的中心点坐标，可以记为：

再之后，可以建立二维码图案的三维中心坐标与二维中心坐标之间的对应关系。因第一图像中的指定二维码图案未必会全部被识别，故需要重新建立起二维码图案的三维中心坐标与二维中心坐标之间的对应关系。

对于对应的二维码标识号，找到其对应的/>(即二维码图案的中心点在激光雷达坐标系中的三维坐标)，并将所有标定板上的指定二维码图案的两种坐标的对应关系整合到一起，可获得对应的/>和表示第一图像中识别到的指定二维码图案的个数。

在建立二维码图案的三维中心坐标与二维中心坐标之间的对应关系之后，可以优化求解激光雷达与相机之间的外参。

其中，可以设置优化目标函数为：

其中，优化目标函数中的f()表示相机模型的投影公式；rvec表示优化外参的旋转向量，其具有优化的初值rvec_initial；tvec表示优化外参的平移向量，其具有优化的初值tvec_initial；intrin为已知的相机内参(不参与优化)。

将二维码图案的中心点在激光雷达坐标系下的三维坐标与像素坐标系下的二维坐标，代入优化目标函数，优化收敛后即可得到激光雷达到相机的外参rvec和tvec。

本申请实施例中，外参优化过程中使用自定义的损失函数(即优化目标函数)，而非直接使用PnP求解外参。通过适应性调整优化函数中的相机模型的投影公式f()，即可适配多种相机模块，如针孔模型、鱼眼KB模型、鱼眼MEI模型等，提高了外参标定的适配性。

在一些实施例中，在得到激光雷达与相机之间的外部参数之后，该方法还可以包括：

根据得到的激光雷达与相机之间的外部参数、相机已知的内部参数以及相机模型的投影公式，将第一点云投影至第一图像上，输出可视投影结果。

其中，该可视投影结果用于判断得到的激光雷达与相机之间的外部参数是否符合要求。

本申请实施例中，在得到激光雷达与相机之间的外部参数后，可以进行点云-图像投影验证，即根据外参rvec和tvec、已知的内参intrin以及投影公式f()，将第一点云投影到第一图像上，进行可视化投影验证，确认标定外参的效果。在外参效果较差时，可以对标定过程进行分析，确定问题所在，并重新进行标定。

以上即为对本申请实施例提供的传感器外参标定方法的描述。

综上所述，在本申请提供的技术方案中，通过二维码类型的标定图案进行激光雷达与相机之间的外参标定，可以克服棋盘格类型的标定图案存在的一个角点失效后，则整个棋盘格图案失效的问题，有利于提高标定的成功率。此外，在二维码图案的基础上，本申请实施例还结合了圆洞特征进行外参标定，基于圆洞特征可以更加准确的确定二维码图案的中心点坐标，即可以得到更加准确的用于外参标定的特征点坐标，从而提升标定结果的精度。进一步的，本申请实施例中还通过约束条件提高圆心坐标的精度，进而进一步提高二维码图案的中心点坐标的准确性，也即能够进一步提升标定结果的准确性。

示例性装置

相应的，本申请实施例还提供了一种传感器外参标定装置，可应用于设置有激光雷达与相机且对激光雷达与相机采集的信息具有融合需求的目标设备，如智能驾驶车辆、智能机器人、无人机等。。

如图6所示，该装置可以包括：

数据采集模块601，用于通过激光雷达对标定板采集一帧第一点云，以及通过相机对相同标定板采集一帧第一图像。

其中，所述标定板包括多个二维码图案和多个圆洞，所述多个二维码图案与所述多个圆洞在所述标定板上的排布使得每个所述二维码图案的中心位置能够基于至少两个圆洞的圆心位置确定。

第一坐标确定模块602，用于识别所述第一点云中所述标定板上的圆洞，并确定所述圆洞的第一圆心坐标。

坐标优化模块603，用于根据预设约束条件以及所述第一圆心坐标，得到优化后的第二圆心坐标。

其中，所述预设约束条件包括：在第一数值为0的情况下，第二数值最小，所述第一数值为优化后的各圆心坐标之间距离与各圆心之间真实距离的差值，所述第二数值为优化后的圆心坐标与对应的所述第一圆心坐标的距离差值之和。

第二坐标确定模块604，用于根据所述第二圆心坐标确定所述二维码图案的三维中心坐标，以及根据所述第一图像确定所述二维码图案的二维中心坐标。

外参确定模块605，用于根据所述二维码图案的三维中心坐标和二维中心坐标，得到所述激光雷达与所述相机之间的外部参数。

可选地，所述第一坐标确定模块602可以包括：

识别单元，用于识别所述第一点云中的标定板点云。

第一坐标确定单元，用于根据所述标定板点云的坐标信息以及所述标定板的相关尺寸信息，得到所述标定板上的圆洞在所述第一点云中的初始圆心坐标。

搜索单元，用于在所述初始圆心坐标的预设范围内，通过第一滑动窗口在所述标定板点云中进行搜索，将包含点云最少时第一滑动窗口框出的区域确定为所述标定板点云中的圆洞。

其中，所述第一滑动窗口为圆形，且直径与所述圆洞的直径相同。

第二坐标确定单元，用于将基于所述标定板点云中的圆洞的坐标信息得到的圆心坐标，确定为所述第一圆心坐标。

可选地，所述预设范围为以所述初始圆心坐标为中心的正方形区域范围，所述正方形区域范围的边长小于所述圆洞的直径。

可选地，所述识别单元可以包括：

标识子单元，用于在所述第一点云中标识兴趣区域。

其中，所述兴趣区域包括所述标定板点云。

识别子单元，用于识别所述兴趣区域中的最大平面。

搜索子单元，用于通过第二滑动窗口在所述最大平面中搜索，将包含点云最多时所述第二滑动窗口框出的点云确定为所述标定板点云。

其中，所述第二滑动窗口的形状和尺寸与所述标定板相同。

可选地，所述装置还可以包括：

校验模块，用于根据得到的所述激光雷达与所述相机之间的外部参数、所述相机已知的内部参数以及相机模型的投影公式，将所述第一点云投影至所述第一图像上，输出可视投影结果；所述可视投影结果用于判断得到的所述激光雷达与所述相机之间的外部参数是否符合要求。

可选地，所述标定板的数量至少为三个，每个所述标定板上至少包括一个所述二维码图案，不同所述标定板与所述相机的距离不同。

本实施例提供的传感器外参标定装置，与本申请上述实施例所提供的传感器外参标定方法属于同一申请构思，可执行本申请上述任意实施例所提供的传感器外参标定方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请上述实施例提供的传感器外参标定方法的具体处理内容，此处不再加以赘述。

示例性系统

本申请实施例还提供了一种传感器外参标定系统，该系统可以包括：处于标定场景中的标定板和目标设备。

所述标定板包括多个二维码图案和多个圆洞，所述多个二维码图案与所述多个圆洞在所述标定板上的排布使得每个所述二维码图案的中心位置能够基于至少两个圆洞的圆心位置确定。

所述目标设备上设置有激光雷达和相机，所述目标设备用于通过上述实施例提供的传感器外参标定方法，标定所述激光雷达与所述相机之间的外部参数。

示例性车辆

本申请实施例还提供了一种车辆，所述车辆用于通过上述实施例提供传感器外参标定方法，标定自车上的激光雷达与相机之间的外部参数。

示例性电子设备

本申请实施例还提供了一种电子设备，如图7所示，该电子设备包括：存储器700和处理器710。

所述存储器700与所述处理器710连接，用于存储程序。

所述处理器710用于通过运行所述存储器700中存储的程序，实现上述实施例中的传感器外参标定方法。

具体的，上述电子设备还可以包括：通信接口720、输入设备730、输出设备740和总线750。

处理器710、存储器700、通信接口720、输入设备730和输出设备740通过总线相互连接。其中：

总线750可包括一通路，在计算机系统各个部件之间传送信息。

处理器710可以是通用处理器，例如通用中央处理器(CPU)、微处理器等，也可以是特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本发明方案程序执行的集成电路。还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

处理器710可包括主处理器，还可包括基带芯片、调制解调器等。

存储器700中保存有执行本发明技术方案的程序，还可以保存有操作系统和其他关键业务。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。更具体的，存储器700可以包括只读存储器(read-only memory，ROM)、可存储静态信息和指令的其他类型的静态存储设备、随机存取存储器(random access memory，RAM)、可存储信息和指令的其他类型的动态存储设备、磁盘存储器、flash等等。

输入设备730可包括接收用户输入的数据和信息的装置，例如键盘、鼠标、摄像头、扫描仪、光笔、语音输入装置、触摸屏、计步器或重力感应器等。

输出设备740可包括允许输出信息给用户的装置，例如显示屏、打印机、扬声器等。

通信接口720可包括使用任何收发器一类的装置，以便与其他设备或通信网络通信，如以太网，无线接入网(RAN)，无线局域网(WLAN)等。

处理器710执行存储器700中所存放的程序，以及调用其他设备，可用于实现本申请上述实施例所提供的传感器外参标定方法的各个步骤。

示例性计算机程序产品和存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本申请实施例中描述的传感器外参标定方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是存储介质，其上存储有计算机程序，计算机程序被处理器执行本申实施例中描述的传感器外参标定方法中的步骤。

对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

需要说明的是，本申请中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请各实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减，各实施例中记载的技术特征可以进行替换或者组合。

本申请各实施例种装置及终端中的模块和子模块可以根据实际需要进行合并、划分和删减。

本申请所提供的几个实施例中，应该理解到，所揭露的终端，装置和方法，可以通过其它的方式实现。例如，以上所描述的终端实施例仅仅是示意性的，例如，模块或子模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个子模块或模块可以结合或者可以集成到另一个模块，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块或子模块可以是或者也可以不是物理上分开的，作为模块或子模块的部件可以是或者也可以不是物理模块或子模块，即可以位于一个地方，或者也可以分布到多个网络模块或子模块上。可以根据实际的需要选择其中的部分或者全部模块或子模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块或子模块可以集成在一个处理模块中，也可以是各个模块或子模块单独物理存在，也可以两个或两个以上模块或子模块集成在一个模块中。上述集成的模块或子模块既可以采用硬件的形式实现，也可以采用软件功能模块或子模块的形式实现。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件单元，或者二者的结合来实施。软件单元可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种传感器外参标定方法，其特征在于，所述方法包括：

通过激光雷达对标定板采集一帧第一点云，以及通过相机对相同标定板采集一帧第一图像；其中，所述标定板包括多个二维码图案和多个圆洞，所述多个二维码图案与所述多个圆洞在所述标定板上的排布使得每个所述二维码图案的中心位置能够基于至少两个圆洞的圆心位置确定；

识别所述第一点云中所述标定板上的圆洞，并确定所述圆洞的第一圆心坐标；

根据预设约束条件以及所述第一圆心坐标，得到优化后的第二圆心坐标；其中，所述预设约束条件包括：在第一数值为0的情况下，第二数值最小，所述第一数值为优化后的各圆心坐标之间距离与各圆心之间真实距离的差值，所述第二数值为优化后的圆心坐标与对应的所述第一圆心坐标的距离差值之和；

根据所述第二圆心坐标确定所述二维码图案的三维中心坐标，以及根据所述第一图像确定所述二维码图案的二维中心坐标；

根据所述二维码图案的三维中心坐标和二维中心坐标，得到所述激光雷达与所述相机之间的外部参数。

2.根据权利要求1所述的传感器外参标定方法，其特征在于，所述识别所述第一点云中所述标定板上的圆洞，并确定所述圆洞的第一圆心坐标包括：

识别所述第一点云中的标定板点云；

根据所述标定板点云的坐标信息以及所述标定板的相关尺寸信息，得到所述标定板上的圆洞在所述第一点云中的初始圆心坐标；

在所述初始圆心坐标的预设范围内，通过第一滑动窗口在所述标定板点云中进行搜索，将包含点云最少时第一滑动窗口框出的区域确定为所述标定板点云中的圆洞；所述第一滑动窗口为圆形，且直径与所述圆洞的直径相同；

将基于所述标定板点云中的圆洞的坐标信息得到的圆心坐标，确定为所述第一圆心坐标。

3.根据权利要求2所述的传感器外参标定方法，其特征在于，所述预设范围为以所述初始圆心坐标为中心的正方形区域范围，所述正方形区域范围的边长小于所述圆洞的直径。

4.根据权利要求2所述的传感器外参标定方法，其特征在于，所述识别所述第一点云中的标定板点云，包括：

在所述第一点云中标识兴趣区域；其中，所述兴趣区域包括所述标定板点云；

识别所述兴趣区域中的最大平面；

通过第二滑动窗口在所述最大平面中搜索，将包含点云最多时所述第二滑动窗口框出的点云确定为所述标定板点云；所述第二滑动窗口的形状和尺寸与所述标定板相同。

5.根据权利要求1所述的传感器外参标定方法，其特征在于，在得到所述激光雷达与所述相机之间的外部参数之后，所述方法还包括：

根据得到的所述激光雷达与所述相机之间的外部参数、所述相机已知的内部参数以及相机模型的投影公式，将所述第一点云投影至所述第一图像上，输出可视投影结果；所述可视投影结果用于判断得到的所述激光雷达与所述相机之间的外部参数是否符合要求。

6.根据权利要求1所述的传感器外参标定方法，其特征在于，所述标定板的数量至少为三个，每个所述标定板上至少包括一个所述二维码图案，不同所述标定板与所述相机的距离不同。

7.一种传感器外参标定装置，其特征在于，所述装置包括：

数据采集模块，用于通过激光雷达对标定板采集一帧第一点云，以及通过相机对相同标定板采集一帧第一图像；其中，所述标定板包括多个二维码图案和多个圆洞，所述多个二维码图案与所述多个圆洞在所述标定板上的排布使得每个所述二维码图案的中心位置能够基于至少两个圆洞的圆心位置确定；

第一坐标确定模块，用于识别所述第一点云中所述标定板上的圆洞，并确定所述圆洞的第一圆心坐标；

坐标优化模块，用于根据预设约束条件以及所述第一圆心坐标，得到优化后的第二圆心坐标；其中，所述预设约束条件包括：在第一数值为0的情况下，第二数值最小，所述第一数值为优化后的各圆心坐标之间距离与各圆心之间真实距离的差值，所述第二数值为优化后的圆心坐标与对应的所述第一圆心坐标的距离差值之和；

第二坐标确定模块，用于根据所述第二圆心坐标确定所述二维码图案的三维中心坐标，以及根据所述第一图像确定所述二维码图案的二维中心坐标；

外参确定模块，用于根据所述二维码图案的三维中心坐标和二维中心坐标，得到所述激光雷达与所述相机之间的外部参数。

8.一种传感器外参标定系统，其特征在于，包括：处于标定场景中的标定板和目标设备；

所述标定板包括多个二维码图案和多个圆洞，所述多个二维码图案与所述多个圆洞在所述标定板上的排布使得每个所述二维码图案的中心位置能够基于至少两个圆洞的圆心位置确定；

所述目标设备上设置有激光雷达和相机，所述目标设备用于通过权利要求1至6任一项所述的传感器外参标定方法，标定所述激光雷达与所述相机之间的外部参数。

9.一种车辆，其特征在于，所述车辆用于通过如权利要求1至6任一项所述的传感器外参标定方法，标定自车上的激光雷达与相机之间的外部参数。

10.一种电子设备，其特征在于，包括：存储器和处理器；

所述存储器与所述处理器连接，用于存储程序；

所述处理器用于通过运行所述存储器中的程序，实现如权利要求1至6任一项所述的传感器外参标定方法。

11.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时，实现如权利要求1至6任一项所述的传感器外参标定方法。