CN114076937A - 激光雷达与相机联合标定方法和装置、服务器、计算机可读存储介质 - Google Patents

Abstract

本申请涉及一种激光雷达与相机联合标定方法和装置、服务器、计算机可读存储介质，包括：获取图像和激光点云数据，根据相机的内参矩阵、激光雷达相对于相机的初始联合标定参数，将激光点云数据对应的点云映射到图像上得到映射点云。计算同一目标在图像上的点云目标框与图像识别目标框之间的重叠面积，点云目标框为基于映射点云在图像上绘制的目标框，图像识别目标框为对图像进行标注所得的目标框。基于重叠面积调整初始联合标定参数，输出调整后的联合标定参数作为激光雷达相对于相机的目标联合标定参数。通过激光雷达与相机进行自标定，不需要使用标定物，避免了浪费人力物力，因为不需要使用标定物就也提高了该联合标定方法的可复用性。

Description

激光雷达与相机联合标定方法和装置、服务器、计算机可读存 储介质

技术领域

本申请涉及相机标定技术领域，特别是涉及一种激光雷达与相机联合标定方法和装置、服务器、计算机可读存储介质。

背景技术

随着自动驾驶或无人驾驶技术的不断发展，自动驾驶或无人驾驶将逐渐步入人们的日常生活中，为人们的生活带来便利。其中，自动驾驶或无人驾驶技术所面临的核心问题是：车辆的视觉感知能力不足，无法形成对整体道路交通坏境的全面感知，使得车辆行驶安全性得不到全面保障。

近些年出现了通过激光雷达与相机一起来提高车辆的视觉感知能力的方案，但是采用传统方法在对激光雷达与相机进行标定时，都需要基于标定物来进行标定，浪费人力物力，且可复用性不强。

发明内容

本申请实施例提供一种激光雷达与相机联合标定方法、装置、服务器、计算机可读存储介质，可以避免浪费人力物力，提高标定过程的可复用性。

一种激光雷达与相机联合标定方法，包括：

获取同一时刻、同一场景下采集的图像和激光点云数据；

根据相机的内参矩阵、激光雷达相对于所述相机的初始联合标定参数，将所述激光点云数据对应的点云映射到所述图像上得到映射点云；

计算同一目标在所述图像上的点云目标框与图像识别目标框之间的重叠面积，所述点云目标框为基于所述映射点云在所述图像上绘制的目标框，所述图像识别目标框为对所述图像进行标注所得的目标框；

基于所述重叠面积调整所述初始联合标定参数直到所述重叠面积大于预设阈值，输出调整后的联合标定参数作为所述激光雷达相对于所述相机的目标联合标定参数。

在其中一个实施例中，所述基于所述重叠面积调整所述初始联合标定参数直到所述重叠面积大于预设阈值，输出调整后的联合标定参数作为所述激光雷达相对于所述相机的目标联合标定参数，包括：

基于所述重叠面积、所述点云目标框与所述图像识别目标框的类别相似度调整所述初始联合标定参数，直到所述重叠面积大于预设阈值、所述类别相似度大于预设阈值，输出调整后的联合标定参数作为所述激光雷达相对于所述相机的目标联合标定参数。

在其中一个实施例中，所述方法还包括：

计算同一目标在所述图像上的点云目标框与图像识别目标框之间的类别相似度。

在其中一个实施例中，所述计算同一目标在所述图像上的点云目标框与图像识别目标框之间的类别相似度，包括：

对所述激光点云数据进行标注，从所述激光点云数据中获取原始点云目标框及所述原始点云目标框对应的第一目标类别；

对所述图像进行标注，从所述图像上获取图像识别目标框及所述图像识别目标框对应的第二目标类别；

计算同一目标对应的第一目标类别及第二目标类别之间的类别相似度，将所述类别相似度作为所述目标在所述图像上的点云目标框与图像识别目标框之间的类别相似度。

在其中一个实施例中，所述根据所述相机的内参矩阵、所述激光雷达相对于所述相机的初始联合标定参数，将所述激光点云数据对应的点云映射到所述图像上得到映射点云，包括：

计算所述相机的内参矩阵、所述相机的畸变系数；

获取所述原始点云目标框在世界坐标系中的坐标；

将所述相机的内参矩阵、所述相机的畸变系数、所述激光雷达相对于所述相机的初始联合标定参数及所述原始点云目标框在世界坐标系中的坐标输入至透射变换矩阵，计算所述原始点云目标框在像素坐标系中的坐标；

从所述图像上提取所述原始点云目标框在像素坐标系中的坐标处的像素点，作为映射点云。

在其中一个实施例中，在所述计算同一目标在所述图像上的点云目标框与图像识别目标框之间的重叠面积之前，还包括：

针对所述图像中的每一个目标，在所述图像上获取所述映射点云的外接框作为点云目标框；

获取同一目标在所述图像上的点云目标框与图像识别目标框。

在其中一个实施例中，所述激光雷达相对于所述相机的初始联合标定参数的计算过程，包括：

获取激光雷达在世界坐标系中的坐标；

将所述相机在相机坐标系中的坐标转换为所述相机在所述世界坐标系中的坐标；

根据所述激光雷达在所述世界坐标系中的坐标、所述相机在所述世界坐标系中的坐标，计算所述激光雷达相对于所述相机的初始联合标定参数。

在其中一个实施例中，所述基于所述重叠面积调整所述初始联合标定参数直到所述重叠面积大于预设阈值，输出调整后的联合标定参数作为所述激光雷达相对于所述相机的目标联合标定参数，包括：

基于所述重叠面积构建第一目标函数，通过所述第一目标函数调整所述初始联合标定参数直到所述第一目标函数的值大于预设阈值，输出调整后的联合标定参数作为所述激光雷达相对于相机的目标联合标定参数。

一种激光雷达与相机联合标定装置，包括：

数据采集模块，用于获取同一时刻、同一场景下采集的图像和激光点云数据；

点云映射模块，用于根据相机的内参矩阵、激光雷达相对于所述相机的初始联合标定参数，将所述激光点云数据对应的点云映射到所述图像上得到映射点云；

重叠面积计算模块，用于计算同一目标在所述图像上的点云目标框与图像识别目标框之间的重叠面积，所述点云目标框为基于所述映射点云在所述图像上绘制的目标框，所述图像识别目标框为对所述图像进行标注所得的目标框；

目标联合标定参数输出模块，用于基于所述重叠面积调整所述初始联合标定参数直到所述重叠面积大于预设阈值，输出调整后的联合标定参数作为所述激光雷达相对于所述相机的目标联合标定参数。

一种服务器，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上方法的步骤。

上述激光雷达与相机联合标定方法、装置、服务器、计算机可读存储介质，获取同一时刻、同一场景下采集的图像和激光点云数据，根据相机的内参矩阵、激光雷达相对于相机的初始联合标定参数，将激光点云数据对应的点云映射到图像上得到映射点云。计算同一目标在图像上的点云目标框与图像识别目标框之间的重叠面积，点云目标框为基于映射点云在图像上绘制的目标框，图像识别目标框为对图像进行标注所得的目标框。基于重叠面积调整初始联合标定参数直到重叠面积大于预设阈值，输出调整后的联合标定参数作为激光雷达相对于相机的目标联合标定参数。通过激光雷达与相机进行自标定，不需要使用标定物，避免了浪费人力物力，因为不需要使用标定物就也提高了该联合标定方法的可复用性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中激光雷达与相机联合标定方法的应用场景图；

图2为一个实施例中激光雷达与相机联合标定方法的流程图；

图3为另一个实施例中激光雷达与相机联合标定方法的流程图；

图4为一个实施例中计算同一目标在图像上的点云目标框与图像识别目标框之间的类别相似度方法的流程图；

图5为一个实施例中得到映射点云方法的流程图；

图6为一个具体的实施例中激光雷达与相机联合标定方法的流程图；

图7为一个实施例中激光雷达与相机联合标定装置的结构框图；

图8为另一个实施例中激光雷达与相机联合标定装置的结构框图；

图9为一个实施例中服务器的内部结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。

图1为一个实施例中激光雷达与相机联合标定方法的应用场景图。如图1所示，该应用环境包括激光雷达120、相机140及服务器160。通过相机采集得到图像，通过激光雷达在同一时刻、同一场景下采集得到激光点云数据。服务器获取同一时刻、同一场景下采集的图像和激光点云数据；根据相机的内参矩阵、激光雷达相对于相机的初始联合标定参数，将激光点云数据对应的点云映射到图像上得到映射点云；计算同一目标在图像上的点云目标框与图像识别目标框之间的重叠面积，点云目标框为基于映射点云在图像上绘制的目标框，图像识别目标框为对图像进行标注所得的目标框；基于重叠面积调整初始联合标定参数直到重叠面积大于预设阈值，输出调整后的联合标定参数作为激光雷达相对于相机的目标联合标定参数。其中，相机在提取目标的特征方面有较大优势，却不能准确获取目标的速度和位置。而激光雷达探测距离近，测量精度高，能够准确获取物体的三维信息和速度信息，但成本高，缺少RGB信息，且在恶劣天气下，如雨天、雾天等无法正常工作。因此，将激光雷达与相机两者进行融合，就可以发挥各自的优势。在融合的基础上，进行信息交互，最大限度地获取周边环境信息。

如图2所示，提供了一种激光雷达与相机联合标定方法，应用于服务器，包括步骤220至步骤280。

步骤220，获取同一时刻、同一场景下采集的图像和激光点云数据。

在对激光雷达与相机进行联合标定时，首先，将激光雷达及相机调整至预设角度，并固定激光雷达及相机之间的相对位置。然后，通过相机拍摄得到图像，通过激光雷达在同一时刻、同一场景下采集得到激光点云数据。最后，服务器从相机所采集到的图像及激光雷达所采集到的激光点云数据中，获取同一时刻对应的图像和与图像对应的激光点云数据，组成一对数据。在对激光雷达与相机进行联合标定时，可以是获取多对这样的数据。其中，同一个目标对应多个激光点云数据。

具体的，分别获取到激光雷达与相机的系统时间戳，分别计算激光雷达与工控机的系统时间差值、相机与工控机的系统时间差值。再通过同一台工控机同时采集激光点云数据和图像对应的数据，基于激光雷达与工控机的系统时间差值、相机与工控机的系统时间差值，将激光点云数据和图像对应的数据的系统时间戳转换到工控机的时间轴上，即可获取时间同步(同一时刻)的激光雷达数据和图像对应的数据。

步骤240，根据相机的内参矩阵、激光雷达相对于相机的初始联合标定参数，将激光点云数据对应的点云映射到图像上得到映射点云。

具体的，相机的内参矩阵

其中，(c_x,c_y)表示图像中心点坐标，f_x，f_y是以像素为单位表示的焦距。

另外，激光雷达本来就位于世界坐标系中，而相机位于相机坐标系，相机所拍摄出的图像位于像素坐标系中。且相机坐标系能够与世界坐标系相互转换，相机坐标系能够与像素坐标系相互转换。因此，服务器在计算激光雷达相对于相机的初始联合标定参数时，可以通过世界坐标系作为桥梁，根据激光雷达在世界坐标系中的坐标、相机在世界坐标系中的坐标，计算激光雷达相对于相机的初始联合标定参数。其中，联合标定参数也可以称之为外参矩阵。

然后，根据相机的内参矩阵、相机的畸变系数、激光雷达相对于相机的初始外参矩阵，通过透射变换矩阵将激光点云数据对应的点云映射到图像上得到映射点云，如此就建立了激光点云与图像上的像素之间的对应关系。

步骤260，计算同一目标在图像上的点云目标框与图像识别目标框之间的重叠面积，点云目标框为基于映射点云在图像上绘制的目标框，图像识别目标框为对图像进行图像识别所得的目标框。

服务器在将激光点云数据对应的点云映射到图像上得到映射点云之后，获取同一目标在图像上的点云目标框与图像识别目标框。计算同一目标在图像上的点云目标框与图像识别目标框之间的重叠面积，基于重叠面积就可以验证出激光雷达相对于相机的初始外参矩阵的准确性。因为重叠面积越大，则说明激光点云数据对应的点云(下称为激光点云)与相机所拍摄的图像在空间上对齐的准确率越高。

步骤280，基于重叠面积调整初始联合标定参数直到重叠面积满足预设阈值，输出调整后的联合标定参数作为激光雷达相对于相机的目标联合标定参数。

因为重叠面积越大，则说明激光点云数据与图像在空间上对齐的准确率越高。所以，服务器就可以基于重叠面积调整初始外参矩阵直到重叠面积满足预设阈值。预设阈值可以是预先根据实际情况设定的。在重叠面积满足预设阈值之后，输出调整后的外参矩阵作为激光雷达相对于相机的目标外参矩阵，完成激光雷达与相机联合标定的过程。

本申请实施例中，服务器将激光点云数据对应的点云映射到图像上得到映射点云。再计算同一目标在图像上的点云目标框与图像识别目标框之间的重叠面积，基于重叠面积调整初始联合标定参数直到重叠面积满足预设阈值，输出调整后的联合标定参数作为激光雷达相对于相机的目标联合标定参数。因为重叠面积越大，则说明激光点云数据与图像在空间上对齐的准确率越高。所以，服务器就可以基于重叠面积调整初始外参矩阵直到重叠面积满足预设阈值。从而实现通过激光雷达与相机进行自标定，不需要使用标定物，避免了浪费人力物力，因为不需要使用标定物就也提高了该联合标定方法的可复用性。

在一个实施例中，如图3所示，提供了一种激光雷达与相机联合标定方法，基于重叠面积调整初始联合标定参数直到重叠面积大于预设阈值，输出调整后的联合标定参数作为激光雷达相对于相机的目标联合标定参数，包括：

步骤290，基于重叠面积、点云目标框与图像识别目标框的类别相似度调整初始联合标定参数，直到重叠面积大于预设阈值、类别相似度大于预设阈值，输出调整后的联合标定参数作为激光雷达相对于相机的目标联合标定参数。

具体的，首先，在上述计算出了重叠面积之后，再计算出重叠面积与点云目标框与图像识别目标框的面积之和的比值，基于各个目标的比值构建第一目标函数。其次，基于点云目标框的目标类别C_L与图像识别目标框的目标类别C_C之间的类别相似度，构建第二目标函数。其中，所构建的第一目标函数L_R如下所示：

所构建的第二目标函数L_C如下所示：

其中，

在公式(1-3)中，若比值Rj为0，或者比值Rj大于0且点云目标框的目标类别C_L与图像识别目标框的目标类别C_C的相似度小于或等于预设阈值，即认为C_L与C_C不相同(C_L≠C_C)，此时得出lc＝1。若比值Rj大于0，且点云目标框的目标类别C_L与图像识别目标框的目标类别C_C的相似度大于预设阈值，即认为C_L与C_C相同(C_L＝C_C)，此时得出lc＝0。

最终所得的目标函数的计算公式为：L＝L_C+L_R (1-4)

最后，通过目标函数L对初始外参矩阵不断调整直到目标函数L的值满足预设阈值，输出调整后的外参矩阵作为激光雷达相对于相机的目标外参矩阵。即通过目标函数L对初始外参矩阵不断调整直到重叠面积大于预设阈值、类别相似度大于预设阈值，输出调整后的联合标定参数作为激光雷达相对于相机的目标联合标定参数。

本申请实施例中，因为同一目标在图像上的点云目标框与图像识别目标框之间存在强相关性，所以通过同一目标在图像上的点云目标框与图像识别目标框之间的重叠面积、类别相似度这两个维度，来构建目标函数。再通过目标函数L对初始外参矩阵不断调整直到重叠面积大于预设阈值、类别相似度大于预设阈值，输出调整后的联合标定参数作为激光雷达相对于相机的目标联合标定参数。如此，根据目标函数所得到的激光雷达与相机的联合标定参数的准确性较高。

在一个实施例中，提供了一种激光雷达与相机联合标定方法，还包括：

计算同一目标在图像上的点云目标框与图像识别目标框之间的类别相似度。

具体的，首先，分别对激光点云数据、图像进行标注，从激光点云数据中获取原始点云目标框及原始点云目标框对应的第一目标类别，从图像上获取图像识别目标框及图像识别目标框对应的第二目标类别。然后，就可以计算出同一目标对应的第一目标类别及第二目标类别之间的类别相似度，将类别相似度作为目标在图像上的点云目标框与图像识别目标框之间的类别相似度。

本申请实施例中，计算同一目标在图像上的点云目标框与图像识别目标框之间的类别相似度，便于后续从类别这个维度对联合标定参数进行调整，提高联合标定的精度。

在一个实施例中，如图4所示，计算同一目标在图像上的点云目标框与图像识别目标框之间的类别相似度，包括：

步骤420，对激光点云数据进行标注，从激光点云数据中获取原始点云目标框及原始点云目标框对应的第一目标类别；

步骤440，对图像进行标注，从图像上获取图像识别目标框及图像识别目标框对应的第二目标类别；

步骤460，计算同一目标对应的第一目标类别及第二目标类别之间的类别相似度，将类别相似度作为目标在图像上的点云目标框与图像识别目标框之间的类别相似度。

具体的，在对激光点云数据进行标注时，可以通过人工或计算机来对激光点云数据进行标注，从激光点云数据中标注出目标所对应的原始点云目标框。进而，对原始点云目标框中的目标类别进行标注，得到第一目标类别。此处所标注出的原始点云目标框为三维立体目标框，一般可以通过获取该目标框的各个顶点(8个顶点)的坐标，完成对该目标框的标注。

在对图像进行标注时，可以通过图像识别算法从图像上获取图像识别目标框，并对图像识别目标框中的目标类别进行标注，得到第二目标类别。例如，目标类别包括车辆、行人、路沿、绿植等，当然，本申请并不对此进行限定。此处图像识别目标框为二维目标框，一般可以通过获取该目标框的各个顶点(4个顶点)的坐标，完成对该目标框的标注。

然后，计算同一目标对应的第一目标类别及第二目标类别之间的类别相似度，将类别相似度作为目标在图像上的点云目标框与图像识别目标框之间的类别相似度。

本申请实施例中，分别对激光点云数据、图像进行标注，从激光点云数据中获取原始点云目标框及原始点云目标框对应的第一目标类别，从图像上获取图像识别目标框及图像识别目标框对应的第二目标类别。因为激光点云数据量太大，通过获取原始点云目标框的方式，从大量的激光点云数据中提取出了有用的数据，减小了数据量、提高了计算效率。且同时得到原始点云目标框对应的第一目标类别、图像识别目标框对应的第二目标类别，计算同一目标对应的第一目标类别及第二目标类别之间的类别相似度，将类别相似度作为目标在图像上的点云目标框与图像识别目标框之间的类别相似度。便于后续从类别这个维度对联合标定参数进行调整，提高联合标定的精度。

在一个实施例中，如图5所示，步骤240，根据相机的内参矩阵、激光雷达相对于相机的初始联合标定参数，将激光点云数据对应的点云映射到图像上得到映射点云，包括：

步骤242，计算相机的内参矩阵、相机的畸变系数。

由相机标定得到相机的内参矩阵及相机的畸变系数。其中，相机的内参矩阵

其中，(c_x,c_y)表示图像中心点坐标，f_x，f_y是以像素为单位表示的焦距。

其中，相机的畸变系数可以划分为径向畸变、切向畸变。

步骤244，获取原始点云目标框在世界坐标系中的坐标。

对于激光雷达，因为激光雷达本来就使用的是世界坐标系，所以直接就获取到了原始点云目标框在世界坐标系中的坐标。其中，世界坐标系由Xw、Yw、Zw构成。

步骤246，将相机的内参矩阵、相机的畸变系数、激光雷达相对于相机的初始联合标定参数及原始点云目标框在世界坐标系中的坐标输入至透射变换矩阵，计算原始点云目标框在像素坐标系中的坐标。

经过上述计算分别得到了相机的内参矩阵A、相机的畸变系数K、激光雷达相对于相机的初始外参矩阵[RT]及原始点云目标框的各个顶点在世界坐标系中的坐标(X_W,Y_W,Z_W)。联合标定参数也可以称之为外参矩阵。其中，透射变换矩阵为：

其中，

将相机的内参矩阵A、相机的畸变系数K、激光雷达相对于相机的初始外参矩阵[RT]及原始点云目标框的各个顶点在世界坐标系中的坐标(X_W,Y_W,Z_W)输入至透射变换矩阵，就可以计算出原始点云目标框的各个顶点在像素坐标系中的坐标(μ,ν)。

计算出原始点云目标框的各个顶点在像素坐标系中的坐标(μ,ν)的过程如下：

x′＝x/z y′＝y/z (1-8)

其中，r²＝x′²+y′²

u＝f_x*x″+c_x v＝f_y*y″+c_y

(1-11)

其中，k₁,k₂,k₃,k₄,k₅,k₆表示径向畸变系数，p₁,p₂表示切向畸变系数。

步骤248，从图像上提取原始点云目标框在像素坐标系中的坐标处的像素点，作为映射点云。

在计算出原始点云目标框的各个顶点在像素坐标系中的坐标(μ,ν)之后，就实现了将原始点云目标框的各个顶点映射到图像上得到映射点云。具体的，从图像上提取原始点云目标框在像素坐标系中的坐标(μ,ν)处的像素点，作为映射点云。

本申请实施例中，首先，获取原始点云目标框在世界坐标系中的坐标。然后，将相机的内参矩阵、相机的畸变系数、激光雷达相对于相机的初始联合标定参数及原始点云目标框在世界坐标系中的坐标输入至透射变换矩阵，计算原始点云目标框在像素坐标系中的坐标。从图像上提取原始点云目标框在像素坐标系中的坐标处的像素点，作为映射点云。实现了将三维的原始点云目标框转换至二维图像上的映射点云，进而实现了将激光点云与相机所拍摄的图像之间在空间上进行匹配，从而，便于后续进行激光雷达与相机联合标定。且通过透射变换矩阵可以对畸变矫正后的图像数据进行计算，也可以对未经过畸变矫正的图像数据进行计算，适用性更广。

在一个实施例中，在计算同一目标在图像上的点云目标框与图像识别目标框之间的重叠面积之前，还包括：

针对图像中的每一个目标，在图像上获取映射点云的外接框作为点云目标框；

获取同一目标在图像上的点云目标框与图像识别目标框。

具体的，三维的原始点云目标框具有8个顶点，因此将这原始点云目标框的8个顶点映射到像素坐标系上，也就得到了8个映射点云。将每一个目标的原始点云目标框，映射到图像上均得到了该目标的映射点云。然后，针对图像中的每一个目标，在图像上获取映射点云的外接框作为二维的点云目标框。此处的外接框可以是矩形、圆形等，本申请对此不做限定。例如，对于目标A的8个映射点云，计算这8个映射点云的最小外接矩形框。

预先对图像进行标注，从图像上获取图像识别目标框。同理，此处的图像识别目标框的形状可以为圆形框，也可以为矩形框，本申请并不对目标框的形状进行限制。示例性的，点云目标框与图像识别目标框最好为同一种形状的目标框，便于比较。

因为相机所拍摄的图像上包含了多个目标，所以，需要从图像上获取同一目标对应的点云目标框与图像识别目标框。即将图像上的点云目标框与图像识别目标框，两两之间进行配对，配对得到同一目标对应的点云目标框与图像识别目标框。

本申请实施例中，针对图像中的每一个目标，在图像上获取映射点云的外接框作为点云目标框。获取同一目标在图像上的点云目标框与图像识别目标框。实现了将取同一目标的激光点云对应的二维的点云目标框，与相机所拍摄的图像上同一目标的图像识别目标框之间在空间上进行匹配，从而，便于后续根据目标框匹配的程度进行激光雷达与相机联合标定。

在一个实施例中，激光雷达相对于相机的初始联合标定参数的计算过程，包括：

获取激光雷达在世界坐标系中的坐标；

将相机在相机坐标系中的坐标转换为相机在世界坐标系中的坐标；

根据激光雷达在世界坐标系中的坐标、相机在世界坐标系中的坐标，计算激光雷达相对于相机的初始联合标定参数。

具体的，对于激光雷达，因为激光雷达本来就使用的是世界坐标系，所以直接就获取到了激光点云在世界坐标系中的坐标。其中，世界坐标系由Xw、Yw、Zw构成。

相机自身的坐标系是相机坐标系，通过相机坐标系与世界坐标系之间的转换公式，将相机在相机坐标系中的坐标转换为相机在世界坐标系中的坐标。其中，相机坐标系可以用(x,y,z)来表示。

在经过上述前两步的计算之后，得到了激光雷达在世界坐标系中的坐标、相机在世界坐标系中的坐标，就可以基于世界坐标系作为中间坐标系来计算激光雷达相对于相机的初始联合标定参数(初始外参矩阵)。其中，联合标定参数也可以称之为外参矩阵。[RT]包括旋转矩阵R_3×3、平移向量T_3×1，具体为：

本申请实施例中，首先，获取激光雷达在世界坐标系中的坐标；其次，将相机在相机坐标系中的坐标转换为相机在世界坐标系中的坐标；最后，就可以基于世界坐标系作为中间坐标系来计算激光雷达相对于相机的初始外参矩阵。借助于世界坐标系作为中间坐标系，就可以准确地计算出激光雷达相对于相机的初始外参矩阵。

在一个实施例中，基于重叠面积调整初始联合标定参数直到重叠面积大于预设阈值，输出调整后的联合标定参数作为激光雷达相对于相机的目标联合标定参数，包括：

基于重叠面积构建第一目标函数，通过第一目标函数调整初始联合标定参数直到第一目标函数的值大于预设阈值，输出调整后的联合标定参数作为激光雷达相对于相机的目标联合标定参数。

具体的，目标函数也称之为损失函数(loss function)或代价函数(costfunction)。服务器在将原始点云目标框的各个顶点映射到图像上得到映射点云之后，获取同一目标在图像上的点云目标框与图像识别目标框。计算同一目标在图像上的点云目标框与图像识别目标框之间的重叠面积，再基于重叠面积构建目标函数，通过目标函数对初始外参矩阵不断调整直到目标函数的值满足预设阈值，输出调整后的外参矩阵作为激光雷达相对于相机的目标外参矩阵。

本申请实施例中，因为重叠面积越大，则说明原始点云目标框与图像上的图像识别目标框在空间上对齐的准确率越高。通过重叠面积所构建的目标函数就可以验证出激光雷达相对于相机的初始联合标定参数的准确性，对激光雷达相对于相机的初始联合标定参数进行不断优化直到目标函数的值满足预设阈值，输出调整后的联合标定参数作为激光雷达相对于相机的目标联合标定参数。实现了通过激光雷达和相机来进行自标定，不需要使用标定物，避免了浪费人力物力。最终提高了标定过程的效率和该联合标定方法的可复用性。

在一个实施例中，基于重叠面积构建目标函数，包括：

计算重叠面积与点云目标框与图像识别目标框的面积之和的比值；

基于各个目标对应的重叠面积与图像识别目标框的面积之和的比值构建目标函数。

具体的，对于同一目标计算在图像上的点云目标框S_L与图像识别目标框S_C之间的重叠面积S_OA，然后，计算该重叠面积与该目标对应的点云目标框与图像识别目标框的面积之和的比值R。例如，假设从图像上共选取了10个目标，则对于每一个目标都计算出了一个重叠面积与该目标对应的点云目标框与图像识别目标框的面积之和的比值R(包括R₁-R₁₀的10个数据)。计算比值R的公式如下所示：

在计算出了比值R之后，就可以基于各个目标的比值R构建目标函数。例如，所构建的第一目标函数如下所示：

本申请实施例中，对于每一帧图像计算图像上每一个目标对应的重叠面积与点云目标框与图像识别目标框的面积之和的比值，再基于各个目标的比值构建第一目标函数。如此，则构建第一目标函数的样本数据较丰富，就在一定程度上提高了所构建的第一目标函数的准确性。

在一个实施例中，通过目标函数调整初始联合标定参数直到目标函数的值满足预设阈值，输出调整后的联合标定参数作为激光雷达相对于相机的目标联合标定参数，包括：

采用梯度下降算法计算目标函数的值；

根据目标函数的值调整初始联合标定参数直到目标函数的值满足预设阈值，输出调整后的联合标定参数作为激光雷达相对于相机的目标联合标定参数。

具体的，最终所得的目标函数如上述公式(1-13)所示，可以同时采用梯度下降算法来计算目标函数的值。其中，梯度下降(gradient descent)算法可以应用到线性回归或非线性回归的问题中，采用梯度下降算法通过迭代找到目标函数的最小值，或者收敛到最小值。

梯度下降是迭代法的一种，可以用于求解最小二乘问题。在求解神经网络的参数时，梯度下降是最常采用的方法之一。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和各项参数的值，也即是步骤501中记载的对该损失函数进行优化，直至该损失函数的值小于该预设阈值。Adam是一种可以替代传统随机梯度下降过程的一阶优化算法，它能基于训练数据迭代地更新神经网络的各项权重，Adam可以为不同的参数设计独立的自适应性学习率。Adam具体公式如下：

其中，其中t表示次数，

为m_t的纠正，

为v_t的纠正，β₁和β₂是常数，控制指数衰减，m_t是梯度的指数移动均值，通过梯度G_k的一阶矩求得。v_t是平方梯度，通过梯度G_k的二阶矩求得，α和∈都是系数。

具体的，采用梯度下降算法计算目标函数的值之后，因为预先对目标函数的值设置了预设阈值，所以，根据目标函数的值调整初始外参矩阵直到目标函数的值满足预设阈值，输出调整后的外参矩阵作为激光雷达相对于相机的目标外参矩阵。其中，联合标定参数也可以称之为外参矩阵。当然，本申请中也可以采用梯度下降算法、自适应学习率算法中的任意一种来计算目标函数的值，或者采用其他的优化算法来计算目标函数的值，本申请对此不做限定。

本申请实施例中，因为同一目标在图像上的点云目标框与图像识别目标框之间存在强相关性，所以通过同一目标在图像上的点云目标框与图像识别目标框之间的重叠面积、类别相似度这两个维度，来构建目标函数。再通过目标函数L对初始外参矩阵不断调整直到重叠面积大于预设阈值、类别相似度大于预设阈值，输出调整后的联合标定参数作为激光雷达相对于相机的目标联合标定参数。如此，根据目标函数所得到的激光雷达与相机的联合标定参数的准确性较高。且同时实现了通过激光雷达和相机来进行自标定，不需要使用标定物，避免了浪费人力物力。

在一个实施例中，提供了一种激光雷达与相机联合标定方法，还包括：将激光雷达及相机调整至预设角度，并固定激光雷达及相机之间的相对位置。

本申请实施例中，在对激光雷达及相机进行标定之前，将激光雷达及相机调整至预设角度，并固定激光雷达及相机之间的相对位置。便于后续将激光雷达的球坐标系通过世界坐标系与相机所在的相机坐标系进行相互转换。且该预设角度指的是激光雷达和相机共同覆盖的重叠区域较多时所对应的角度。例如，将激光雷达水平安装，将相机调整为相对于竖直方向下倾角度在5°-15°之间。当然，本申请并不对此进行限定。

在一个具体的实施例中，如图6所示，提供了一种激光雷达与相机联合标定方法，包括：

步骤602，调整激光雷达和相机到合适角度，组装激光雷达和相机的融合套件；

步骤604，计算激光雷达相对于相机的初始外参矩阵；

步骤606，获取同一时刻、同一场景下采集的图像和与图像对应的激光点云；

步骤608，对激光点云进行标注，从激光点云中获取原始点云目标框及原始点云目标框对应的第一目标类别；

步骤610，对图像进行标注，从图像上获取图像识别目标框及图像识别目标框对应的第二目标类别；

步骤612，根据透射变换矩阵，将原始点云目标框映射到图像上得到映射点云；

步骤614，在图像上获取映射点云的外接框作为点云目标框；

步骤616，计算同一目标在图像上的点云目标框与图像识别目标框之间的重叠面积及类别相似度；

步骤618，基于重叠面积构建第一目标函数；

步骤620，基于类别相似度构建第二目标函数；

步骤622，将第一目标函数与第二目标函数结合，得到最终的目标函数；

步骤624，采用梯度下降算法优化最终的目标函数，输出最优的联合标定参数作为激光雷达相对于相机的目标联合标定参数。

本申请实施例中，因为同一目标在图像上的点云目标框与图像识别目标框之间存在强相关性，所以通过同一目标在图像上的点云目标框与图像识别目标框之间的重叠面积、类别相似度这两个维度，来构建目标函数。再通过目标函数对初始外参矩阵不断调整直到重叠面积大于预设阈值、类别相似度大于预设阈值，输出调整后的联合标定参数作为激光雷达相对于相机的目标联合标定参数。如此，根据目标函数所得到的激光雷达与相机的联合标定参数的准确性较高。且同时实现了通过激光雷达和相机来进行自标定，不需要使用标定物，避免了浪费人力物力。

在一个实施例中，如图7所示，提供了一种激光雷达与相机联合标定装置700，包括：

数据采集模块720，用于获取同一时刻、同一场景下采集的图像和激光点云数据；

点云映射模块740，用于根据相机的内参矩阵、激光雷达相对于相机的初始联合标定参数，将激光点云数据对应的点云映射到图像上得到映射点云；

重叠面积计算模块760，用于计算同一目标在图像上的点云目标框与图像识别目标框之间的重叠面积，点云目标框为基于映射点云在图像上绘制的目标框，图像识别目标框为对图像进行标注所得的目标框；

目标联合标定参数输出模块780，用于基于重叠面积调整初始联合标定参数直到重叠面积大于预设阈值，输出调整后的联合标定参数作为激光雷达相对于相机的目标联合标定参数。

在一个实施例中，目标联合标定参数输出模块780，还用于基于重叠面积、点云目标框与图像识别目标框的类别相似度调整初始联合标定参数，直到重叠面积大于预设阈值、类别相似度大于预设阈值，输出调整后的联合标定参数作为激光雷达相对于相机的目标联合标定参数。

在一个实施例中，如图8所示，提供了一种激光雷达与相机联合标定装置700，还包括：

类别相似度计算模块790，用于计算同一目标在图像上的点云目标框与图像识别目标框之间的类别相似度。

在一个实施例中，类别相似度计算模块790，包括：

第一目标类别标注单元，用于对激光点云数据进行标注，从激光点云数据中获取原始点云目标框及原始点云目标框对应的第一目标类别；

第二目标类别标注单元，用于对图像进行标注，从图像上获取图像识别目标框及图像识别目标框对应的第二目标类别；

类别相似度生成单元，用于计算同一目标对应的第一目标类别及第二目标类别之间的类别相似度，将类别相似度作为目标在图像上的点云目标框与图像识别目标框之间的类别相似度。

在一个实施例中，点云映射模块740，包括：

相机的内参矩阵、畸变系数计算单元，用于计算相机的内参矩阵、相机的畸变系数；

坐标获取单元，用于获取原始点云目标框在世界坐标系中的坐标；

透射变换单元，用于将相机的内参矩阵、相机的畸变系数、激光雷达相对于相机的初始联合标定参数及原始点云目标框在世界坐标系中的坐标输入至透射变换矩阵，计算原始点云目标框在像素坐标系中的坐标；

映射点云获取单元，用于从图像上提取原始点云目标框在像素坐标系中的坐标处的像素点，作为映射点云。

在一个实施例中，提供了一种激光雷达与相机联合标定装置700，还包括：目标框确定模块，用于针对图像中的每一个目标，在图像上获取映射点云的外接框作为点云目标框；获取同一目标在图像上的点云目标框与图像识别目标框。

在一个实施例中，初始联合标定参数计算模块，用于获取激光雷达在世界坐标系中的坐标；将相机在相机坐标系中的坐标转换为相机在世界坐标系中的坐标；根据激光雷达在世界坐标系中的坐标、相机在世界坐标系中的坐标，计算激光雷达相对于相机的初始联合标定参数。

在一个实施例中，目标联合标定参数输出模块780，还用于基于重叠面积构建第一目标函数，通过第一目标函数调整初始联合标定参数直到第一目标函数的值大于预设阈值，输出调整后的联合标定参数作为激光雷达相对于相机的目标联合标定参数。

在一个实施例中，目标联合标定参数输出模块780，还用于采用梯度下降算法计算目标函数的值；根据目标函数的值调整初始联合标定参数直到目标函数的值满足预设阈值，输出调整后的联合标定参数作为激光雷达相对于相机的目标联合标定参数。

在一个实施例中，提供了一种激光雷达与相机联合标定装置700，还包括：激光雷达及相机固定模块，用于将激光雷达及相机调整至预设角度，并固定激光雷达及相机之间的相对位置。

上述激光雷达与相机联合标定装置中各个模块的划分仅用于举例说明，在其他实施例中，可将激光雷达与相机联合标定装置按照需要划分为不同的模块，以完成上述激光雷达与相机联合标定装置的全部或部分功能。

图9为一个实施例中服务器的内部结构示意图。如图9所示，该服务器包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个服务器的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种激光雷达与相机联合标定方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该服务器可以是手机、平板电脑或者个人数字助理或穿戴式设备等。

本申请实施例中提供的激光雷达与相机联合标定装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当计算机可执行指令被一个或多个处理器执行时，使得处理器执行激光雷达与相机联合标定方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行激光雷达与相机联合标定方法。

本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种激光雷达与相机联合标定方法，其特征在于，包括：

获取同一时刻、同一场景下采集的图像和激光点云数据；

根据相机的内参矩阵、激光雷达相对于所述相机的初始联合标定参数，将所述激光点云数据对应的点云映射到所述图像上得到映射点云；

计算同一目标在所述图像上的点云目标框与图像识别目标框之间的重叠面积，所述点云目标框为基于所述映射点云在所述图像上绘制的目标框，所述图像识别目标框为对所述图像进行标注所得的目标框；

基于所述重叠面积调整所述初始联合标定参数直到所述重叠面积大于预设阈值，输出调整后的联合标定参数作为所述激光雷达相对于所述相机的目标联合标定参数。

2.根据权利要求1所述的方法，其特征在于，所述基于所述重叠面积调整所述初始联合标定参数直到所述重叠面积大于预设阈值，输出调整后的联合标定参数作为所述激光雷达相对于所述相机的目标联合标定参数，包括：

基于所述重叠面积、所述点云目标框与所述图像识别目标框的类别相似度调整所述初始联合标定参数，直到所述重叠面积大于预设阈值、所述类别相似度大于预设阈值，输出调整后的联合标定参数作为所述激光雷达相对于所述相机的目标联合标定参数。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

计算同一目标在所述图像上的点云目标框与图像识别目标框之间的类别相似度。

4.根据权利要求3所述的方法，其特征在于，所述计算同一目标在所述图像上的点云目标框与图像识别目标框之间的类别相似度，包括：

对所述激光点云数据进行标注，从所述激光点云数据中获取原始点云目标框及所述原始点云目标框对应的第一目标类别；

对所述图像进行标注，从所述图像上获取图像识别目标框及所述图像识别目标框对应的第二目标类别；

计算同一目标对应的第一目标类别及第二目标类别之间的类别相似度，将所述类别相似度作为所述目标在所述图像上的点云目标框与图像识别目标框之间的类别相似度。

5.根据权利要求4所述的方法，其特征在于，所述根据所述相机的内参矩阵、所述激光雷达相对于所述相机的初始联合标定参数，将所述激光点云数据对应的点云映射到所述图像上得到映射点云，包括：

计算所述相机的内参矩阵、所述相机的畸变系数；

获取所述原始点云目标框在世界坐标系中的坐标；

将所述相机的内参矩阵、所述相机的畸变系数、所述激光雷达相对于所述相机的初始联合标定参数及所述原始点云目标框在世界坐标系中的坐标输入至透射变换矩阵，计算所述原始点云目标框在像素坐标系中的坐标；

从所述图像上提取所述原始点云目标框在像素坐标系中的坐标处的像素点，作为映射点云。

6.根据权利要求5所述的方法，其特征在于，在所述计算同一目标在所述图像上的点云目标框与图像识别目标框之间的重叠面积之前，还包括：

针对所述图像中的每一个目标，在所述图像上获取所述映射点云的外接框作为点云目标框；

获取同一目标在所述图像上的点云目标框与图像识别目标框。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述激光雷达相对于所述相机的初始联合标定参数的计算过程，包括：

获取激光雷达在世界坐标系中的坐标；

将所述相机在相机坐标系中的坐标转换为所述相机在所述世界坐标系中的坐标；

根据所述激光雷达在所述世界坐标系中的坐标、所述相机在所述世界坐标系中的坐标，计算所述激光雷达相对于所述相机的初始联合标定参数。

8.根据权利要求7中所述的方法，其特征在于，所述基于所述重叠面积调整所述初始联合标定参数直到所述重叠面积大于预设阈值，输出调整后的联合标定参数作为所述激光雷达相对于所述相机的目标联合标定参数，包括：

基于所述重叠面积构建第一目标函数，通过所述第一目标函数调整所述初始联合标定参数直到所述第一目标函数的值大于预设阈值，输出调整后的联合标定参数作为所述激光雷达相对于相机的目标联合标定参数。

9.一种激光雷达与相机联合标定装置，其特征在于，包括：

数据采集模块，用于获取同一时刻、同一场景下采集的图像和激光点云数据；

点云映射模块，用于根据相机的内参矩阵、激光雷达相对于所述相机的初始联合标定参数，将所述激光点云数据对应的点云映射到所述图像上得到映射点云；

重叠面积计算模块，用于计算同一目标在所述图像上的点云目标框与图像识别目标框之间的重叠面积，所述点云目标框为基于所述映射点云在所述图像上绘制的目标框，所述图像识别目标框为对所述图像进行标注所得的目标框；

目标联合标定参数输出模块，用于基于所述重叠面积调整所述初始联合标定参数直到所述重叠面积大于预设阈值，输出调整后的联合标定参数作为所述激光雷达相对于所述相机的目标联合标定参数。

10.一种服务器，包括存储器及处理器，所述存储器中储存有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述的激光雷达与相机联合标定方法的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的激光雷达与相机联合标定方法的步骤。

Images