CN115830143A - 联合标定参数调整方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种联合标定参数调整方法、装置、计算机设备和存储介质。该方法包括：根据激光雷达相对于相机的初始联合标定参数，将激光雷达在多个不同时刻采集的各目标的点云数据映射到二维图像中，得到各目标的映射二维数据，根据各目标的映射二维数据和各目标的图像数据，确定各目标的映射二维数据和各目标的图像数据之间的区域重合度，根据各区域重合度以及初始联合标定参数，确定目标联合标定参数；目标联合标定参数用于表征激光雷达相对于相机调整后的联合标定参数；各目标的图像数据为相机在多个不同时刻采集的。该方法中实现了全程标定精度的自动检测和初始联合标定参数的自动调整，提高了确定目标联合标定参数的效率。

Description

联合标定参数调整方法、装置、计算机设备和存储介质

技术领域

本申请涉及数据标定技术领域，特别是涉及一种联合标定参数调整方法、装置、计算机设备和存储介质。

背景技术

融合点云和图像可以有效发挥激光雷达距离信息和彩色摄像机图像颜色信息的互补优势，在融合的基础上，进行信息交互，最大限度地获取周边环境信息。

通常，激光雷达的点云信息与相机的图像信息进行融合之前，需要保证激光雷达与相机的空间同步，完成对激光雷达与相机之间的标定。例如，可以通过计算激光雷达与相机之间的联合标定参数，来实现激光雷达与相机之间的标定。

然而，现有技术中对激光雷达与相机进行标定时，确定联合标定参数的过程存在效率低的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种联合标定参数调整方法、装置、计算机设备和存储介质，在对激光雷达与相机进行标定时，能够提高确定联合标定参数时的效率。

第一方面，本申请提供了一种联合标定参数调整方法，该方法包括：

根据激光雷达相对于相机的初始联合标定参数，将激光雷达在多个不同时刻采集的各目标的点云数据映射到二维图像中，得到各目标的映射二维数据；

根据各目标的映射二维数据和各目标的图像数据，确定各目标的映射二维数据和各目标的图像数据之间的区域重合度；各目标的图像数据为相机在多个不同时刻采集的；各目标的映射二维数据与各目标的图像数据之间存在一一对应关系；

根据各区域重合度以及初始联合标定参数，确定目标联合标定参数；目标联合标定参数用于表征激光雷达相对于相机调整后的联合标定参数。

在其中一个实施例中，根据各目标的映射二维数据和各目标的图像数据，确定各目标的映射二维数据和各目标的图像数据之间的区域重合度，包括：

获取各目标的映射二维数据对应的最小外接矩形框，以及根据各目标的图像数据确定各目标的二维检测框；

将各目标的最小外接矩形框和各目标的二维检测框进行匹配，得到多个匹配对；

根据各匹配对，确定各目标的映射二维数据和各目标的二维检测框之间的区域重合度。

在其中一个实施例中，将各目标的最小外接矩形框和各目标的二维检测框进行匹配，得到多个匹配对，包括：

针对任一采集时刻，获取各最小外接矩形框与各二维检测框之间的距离；

根据各最小外接矩形框与各二维检测框之间的距离，确定多个匹配对。

在其中一个实施例中，根据各匹配对，确定各目标的映射二维数据和各目标的二维检测框之间的区域重合度，包括：

获取每一个匹配对中最小外接矩形框和二维检测框之间的交并比；

将各交并比对应确定为各目标的映射二维数据和各目标的二维检测框之间的区域重合度。

在其中一个实施例中，根据各区域重合度以及初始联合标定参数，确定目标联合标定参数，包括：

根据各区域重合度，确定参考区域重合度；

根据参考区域重合度对初始联合标定参数进行更新，得到更新后的初始联合标定参数；

根据更新后的初始联合标定参数，更新参考区域重合度，直至参考区域重合度满足预设条件，得到目标联合标定参数。

在其中一个实施例中，根据参考区域重合度对初始联合标定参数进行更新，得到更新后的初始联合标定参数，包括：

获取参考区域重合度的梯度；

将初始联合标定参数向梯度的正方向进行修正，得到更新后的初始联合标定参数。

在其中一个实施例中，根据激光雷达相对于相机的初始联合标定参数，将激光雷达在多个不同时刻采集的各目标的点云数据映射到二维图像中，得到各目标的映射二维数据，包括：

获取相机的内参矩阵和畸变系数；

针对任一目标的点云数据，将内参矩阵、畸变系数、初始联合标定参数和目标的点云数据输入至预设的透射变换矩阵中，得到目标的映射二维数据。

第二方面，本申请还提供了一种联合标定参数调整装置，该装置包括：

映射模块，用于根据激光雷达相对于相机的初始联合标定参数，将激光雷达在多个不同时刻采集的各目标的点云数据映射到二维图像中，得到各目标的映射二维数据；

确定模块，用于根据各目标的映射二维数据和各目标的图像数据，确定各目标的映射二维数据和各目标的图像数据之间的区域重合度；各目标的图像数据为相机在多个不同时刻采集的；各目标的映射二维数据与各目标的图像数据之间存在一一对应关系；

调整模块，用于根据各区域重合度以及初始联合标定参数，确定目标联合标定参数；目标联合标定参数用于表征激光雷达相对于相机调整后的联合标定参数。

第三方面，本申请实施例提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，该处理器执行计算机程序时实现上述第一方面中任一实施例提供的方法的步骤。

第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述第一方面中任一实施例提供的方法的步骤。

第五方面，本申请实施例还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述第一方面中任一实施例提供的方法的步骤。

上述联合标定参数调整方法、装置、计算机设备和存储介质，将激光雷达在多个不同时刻采集的各目标的点云数据映射到二维图像中，得到各目标的映射二维数据，根据各目标的映射二维数据和各目标的图像数据，确定各目标的映射二维数据和各目标的图像数据之间的区域重合度，根据各区域重合度以及初始联合标定参数，确定目标联合标定参数；其中，目标联合标定参数用于表征激光雷达相对于相机调整后的联合标定参数，各目标的图像数据为相机在多个不同时刻采集的，且各目标的映射二维数据与各目标的图像数据之间存在一一对应关系。该方法中，通过激光雷达相对于相机的初始联合标定参数将激光雷达采集的各目标的点云数据转换为映射二维数据，并计算各目标的映射二维数据与各目标的图像数据之间的区域重合度，利用区域重合度和初始联合标定参数，确定激光雷达相对于相机调整后的目标联合标定参数，由于各目标的映射二维数据与各目标的图像数据之间存在一一对应关系，利用一一对应的映射二维数据与图像数据之间的区域重合度对标定精度进行评估，以调整初始联合标定参数，在确定目标联合标定参数的过程中，实现全程标定精度的自动检测和初始联合标定参数的自动调整，提高了确定目标联合标定参数的效率；并且，利用区域重合度评估激光雷达与相机的标定精度，实现了激光雷达与相机的精度量化，能够直观的确定激光雷达与相机的标定精度。

附图说明

图1为一个实施例中联合标定参数调整方法的应用环境图；

图2为一个实施例中联合标定参数调整方法的流程示意图；

图3为另一个实施例中联合标定参数调整方法的流程示意图；

图4为一个实施例中最小外接矩形框的区域示意图；

图5为另一个实施例中联合标定参数调整方法的流程示意图；

图6为另一个实施例中联合标定参数调整方法的流程示意图；

图7为另一个实施例中联合标定参数调整方法的流程示意图；

图8为另一个实施例中联合标定参数调整方法的流程示意图；

图9为另一个实施例中联合标定参数调整方法的流程示意图；

图10为另一个实施例中联合标定参数调整方法的流程示意图；

图11为另一个实施例中联合标定参数调整方法的流程示意图；

图12为一个实施例中联合标定参数调整装置的结构框图；

图13为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

如图1所示，图1为本申请实施例中激光雷达与相机联合标定方法的应用环境图，该应用环境包括激光雷达101、相机102及服务器103。

服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

由于单一传感器存在自身局限性，路侧智能感知设备大多采用多传感器融合技术，常用的传感器有激光雷达、视觉摄像机、毫米波雷达等。

而激光雷达探测距离远，测量精度高，能够准确获取物体的三维信息和速度信息，但成本高，缺少RGB信息；视觉摄像机能够获取目标的RGB信息，价格低廉，技术相对成熟，无法获取准确三维信息和速度信息，受环境光限制。因此，通过激光雷达的点云数据与相机的图像数据进行融合，实现信息交互，能够最大限度地获取周边环境信息。

激光雷达和相机数据的融合首先要考虑的就是两种数据在时间和空间上的同步或者对齐。时间同步就是要找到激光雷达数据中的一帧对应彩色图像中同一时刻的一帧，一般是通过数据帧之间的匹配关系来确定对齐关系；而空间同步就是激光雷达和摄像机的标定，包括相机标定和联合标定，相机标定内参矩阵，激光雷达与摄像机联合标定外参矩阵，实现数据在空间上的坐标转换，因此，激光雷达和相机的联合标定精度对于两种数据的融合效果至关重要。

一般情况下，联合标定的精度主要是通过点云边缘和图像边缘的重合度进行评估的。如果两者的重合度较好，证明标定结果的精度高；反之，若出现错位现象，说明标定结果存在误差，需要重新进行标定优化。这种标定方式精度的评估往往需要由人眼判断，容易受主观意识的影响并且效率较低，造成人力物力的浪费。

基于此，本申请提出了一种联合标定参数调整方法、装置、计算机设备和存储介质，在对激光雷达与相机进行标定时，能够提高确定联合标定参数时的效率。

在一个实施例中，如图2所示，提供了一种联合标定参数调整方法，包括以下步骤：

S201，根据激光雷达相对于相机的初始联合标定参数，将激光雷达在多个不同时刻采集的各目标的点云数据映射到二维图像中，得到各目标的映射二维数据。

在对激光雷达与相机进行标定时，可以先获取激光雷达相对于相机的初始联合标定参数，然后对初始联合标定参数进行评估。

对初始联合标定参数进行评估，可以获取激光雷达与相机在多个不同时刻采集的激光雷达数据和相机图像数据，其中，激光雷达数据与相机图像数据时间同步，每个时刻采集一个激光雷达数据和一个相机图像数据。

为了保证评估的准确性，采集场景中可以包括多个目标，目标可以是移动目标，因此，一个激光雷达数据和图像数据均包括多个目标。

在得到激光雷达数据和相机图像数据后，可以根据目标检测算法对激光雷达数据和相机图像数据进行目标检测，得到激光雷达数据中所有目标的点云数据，以及相机图像数据中所有目标的图像数据。

其中，得到的激光雷达数据中所有目标的点云数据即为激光雷达在多个不同时刻采集的各目标的点云数据，得到的相机图像数据中所有目标的图像数据即为相机在多个不同时刻采集的各目标的图像数据。

可选地，对激光雷达数据进行目标检测的方式可以是，利用点云检测算法识别激光雷达数据中的所有目标，得到激光雷达数据中所有目标的点云数据，也可以是根据预设的点云检测模型，将激光雷达数据输入至点云检测模型中，通过点云检测模型对激光雷达数据进行分析，得到激光雷达点云数据中所有目标的点云数据。

在一个实施例中，对相机图像数据进行目标检测的方式可以是，利用图像检测算法识别相机图像数据中的所有目标，得到相机图像数据中所有目标的图像数据。

激光雷达相对于相机的初始联合标定参数包括激光雷达相对于相机的旋转矩阵和平移矩阵。

可选地，激光雷达位于世界坐标系中，激光雷达采集的激光雷达数据为世界坐标系下的坐标数据，相机位于相机坐标系下，相机采集的相机图像数据为相机坐标系下的坐标，则可以根据同一时刻激光雷达采集的激光雷达数据和相机采集的相机图像数据，计算激光雷达相对于相机的初始联合标定参数。

具体地，相机坐标系能够与世界坐标系相互转换，因此，可以将相机坐标系下的相机图像数据转换为在世界坐标系下的相机图像数据，然后通过世界坐标系为桥梁，根据在世界坐标系下的激光雷达数据和相机图像数据，计算激光雷达相对于相机的初始联合标定参数，其中初始联合标定参数也称为外参矩阵和旋转平移6自由度。

根据初始联合标定参数，能够将激光雷达数据映射到二维图像上，得到激光雷达数据对应的二维图像数据，理论上说，二维图像数据与相机图像数据一一对应。

因此，根据激光雷达相对于相机的初始联合标定参数，将激光雷达在多个不同时刻采集的各目标的点云数据映射到二维图像中，得到各目标的映射二维数据。

S202，根据各目标的映射二维数据和各目标的图像数据，确定各目标的映射二维数据和各目标的图像数据之间的区域重合度。

其中，各目标的图像数据为相机在多个不同时刻采集的，各目标的映射二维数据与各目标的图像数据之间存在一一对应关系。

由于各目标的图像数据与激光雷达在多个不同时刻采集的各目标的点云数据一一对应，因此，各目标的图像数据与各目标的映射二维点云数据也存在一一对应的关系。

由于各目标的映射二维数据是由激光雷达在多个不同时刻采集的各目标的点云数据通过初始联合标定参数映射到二维图像的，且初始联合标定参数是激光雷达相对于相机的标定参数，因此，计算各目标的映射二维数据与各目标的图像数据之间的区域重合度能够评估初始联合标定参数的优劣。

确定各目标的映射二维数据和各目标的图像数据之间的区域重合度的方式可以是通过预设的计算模型确定，具体地，将各目标的映射二维数据和各目标的图像数据输入至计算模型中，通过计算模型的分析，得到各目标的映射二维数据和图像数据之间的区域重合度。

S203，根据各区域重合度以及初始联合标定参数，确定目标联合标定参数。

其中，目标联合标定参数用于表征激光雷达相对于相机调整后的联合标定参数。

由于区域重合度是根据初始联合标定参数确定的，区域重合度能够评估激光雷达与相机的标定精度，所以，可以通过得到的区域重合度调整初始联合标定参数，以得到目标联合标定参数。

根据各所述区域重合度以及所述初始联合标定参数，确定目标联合标定参数的方式可以是，通过梯度下降算法和/或Adam自适应学习率算法优化各区域重合度，迭代调整初始联合标定参数，直至区域重合度满足预设条件，将区域重合度满足预设条件对应的初始联合标定参数作为激光雷达相对于相机调整后的联合标定参数。

具体地，通过各区域重合度调整初始联合标定参数，然后基于调整后的初始联合标定参数执行步骤S201和S202，然后得到调整后的初始联合标定参数对应的各目标的区域重合度，判断区域重合度是否满足预设条件，若满足预设条件，则可以确定调整后的初始联合标定参数为激光雷达相对于相机调整后的联合标定参数，若区域重合度不满足预设条件，则重新根据更新后的区域重合度调整初始联合标定参数，直至区域重合度满足预设条件。

可选地，预设条件可以是各目标的区域重合度均大于或等于预设阈值。

上述联合标定参数调整方法，将激光雷达在多个不同时刻采集的各目标的点云数据映射到二维图像中，得到各目标的映射二维数据，根据各目标的映射二维数据和各目标的图像数据，确定各目标的映射二维数据和各目标的图像数据之间的区域重合度，根据各区域重合度以及初始联合标定参数，确定目标联合标定参数；其中，目标联合标定参数用于表征激光雷达相对于相机调整后的联合标定参数，各目标的图像数据为相机在多个不同时刻采集的，且各目标的映射二维数据与各目标的图像数据之间存在一一对应关系。该方法中，通过激光雷达相对于相机的初始联合标定参数将激光雷达采集的各目标的点云数据转换为映射二维数据，并计算各目标的映射二维数据与各目标的图像数据之间的区域重合度，利用区域重合度和初始联合标定参数，确定激光雷达相对于相机调整后的目标联合标定参数，由于各目标的映射二维数据与各目标的图像数据之间存在一一对应关系，利用一一对应的映射二维数据与图像数据之间的区域重合度对标定精度进行评估，以调整初始联合标定参数，在确定目标联合标定参数的过程中，实现全程标定精度的自动检测和初始联合标定参数的自动调整，提高了确定目标联合标定参数的效率；并且，利用区域重合度评估激光雷达与相机的标定精度，实现了激光雷达与相机的精度量化，能够直观的确定激光雷达与相机的标定精度。

下面通过一个实施例对如何确定各目标的映射二维数据和图像数据之间的区域重合度进行说明，在一个实施例中，如图3所示，根据各目标的映射二维数据和各目标的图像数据，确定各目标的映射二维数据和各目标的图像数据之间的区域重合度，包括以下步骤：

S301，获取各目标的映射二维数据对应的最小外接矩形框，以及根据各目标的图像数据确定各目标的二维检测框。

针对任一目标，可以将目标的映射二维数据的横坐标中的最大坐标和最小坐标，以及纵坐标中的最大坐标和最小坐标确定为最小外接矩形框的4个点，且以横纵坐标为方向外接一个矩形框，外接的矩形框即为映射二维坐标对应的最小外接矩形框。

例如，如图4(a)所示，x1和x3为横坐标上的最小和最大坐标，x2和x4为纵坐标中的最小和最大坐标，根据x1、x2、x3和x4这4个点，并以横坐标和纵坐标为方向外接矩形框，得到最小外接矩形框，如图4(b)所示。

根据各目标的图像数据，在图像上绘制目标框，得到各目标的二维检测框。

S302，将各目标的最小外接矩形框和各目标的二维检测框进行匹配，得到多个匹配对。

因采集场景中的目标为多个，因此，激光雷达采集的目标有多个，相机采集的目标也为多个，得到激光雷达采集的各目标的最小外接矩形框和相机采集的各目标的二维检测框后，需要对各目标的最小外接矩形框与各目标的二维检测框进行匹配，确定在同一时刻最小外接矩形框与二维检测框一一对应的关系，即各匹配对中的最小外接矩形框和二维检测框为同一时刻的同一目标。

将各目标的最小外接矩形框和二维检测框进行匹配的方式可以是采用匈牙利匹配算法，将各目标的最小外接矩形框和各目标的二维检测框进行匹配，得到多个匹配对。

在一个实施例中，在将各目标的最小外接矩形框和各目标的二维检测框进行匹配之前，该实施例包括：剔除同一采集时刻中存在交集的最小外接矩形框。

在对激光雷达采集的激光雷达数据进行目标检测后，得到各目标的点云数据，可能会存在误差，导致得到的各目标的最小外接矩形框存在误差，例如，存在有交集的最小外接矩形框，因此，在对各目标的最小外接矩形框和二维检测框匹配之前，需要剔除同一采集时刻最小外接矩形框中存在交集的矩形框。

剔除的方式可以是，如两个最小外接矩形框存在交集，则可以随机剔除一个最小外接矩形框，也可以剔除面积较小的最小外接矩形框，也可以剔除面积较大的最小外接矩形框；剔除存在交集的最小外接矩形框的原则包括尽量保证得到的所有最小外接矩形框均匀分布。

S303，根据各匹配对，确定各目标的映射二维数据和各目标的二维检测框之间的区域重合度。

区域重合度为映射二维数据和二维检测框之间的重叠程度，因此，可以采用交并比(Intersection over Union，IOU)的方式计算各匹配对中映射二维数据和二维检测框之间的区域重合度。

由于最小外接矩形框为映射二维数据外接的矩形框，所以，最小外接矩形框可以表示为各目标的检测框，因此，确定各目标的映射二维数据和二维检测框之间的区域重合度，即为计算各目标的最小外接矩形框和二维检测框之间的区域重合度，因此，在一个实施例中，如图5所示，根据各匹配对，确定各目标的映射二维数据和各目标的二维检测框之间的区域重合度，包括以下步骤：

S501，获取每一个匹配对中最小外接矩形框和二维检测框之间的交并比。

S502，将各交并比对应确定为各目标的映射二维数据和二维检测框之间的区域重合度。

计算每一个匹配对中最小外接矩形框和二维检测框之间的交集与并集的比值，即为每一个匹配对中最小外接矩形框和二维检测框之间的交并比；然后将各交并比确定为各目标的映射二维数据和二维检测框之间的区域重合度。

上述联合标定参数调整方法，获取各目标的映射二维数据对应的最小外接矩形框，以及根据各目标的图像数据确定各目标的二维检测框，将各目标的最小外接矩形框和各目标的二维检测框进行匹配，得到多个匹配对，根据各匹配对，确定各目标的映射二维数据和各目标的二维检测框之间的区域重合度。该方法中，通过各目标的映射二维数据对应的最小外接矩形框和与最小外接矩形框匹配的二维检测框计算各目标的映射二维数据和二维检测框之间的区域重合度，保证了各目标的映射二维数据和二维检测框之间的区域重合度的准确性，提高了后续根据区域重合度调整初始联合标定参数的准确性，提高了计算联合标定参数的效率。

通过获取各最小外接矩形框与各二维检测框之间的距离，确定最小外接矩形框与二维检测框之间的匹配关系，在一个实施例中，如图6所示，将各目标的最小外接矩形框和各目标的二维检测框进行匹配，得到多个匹配对，包括以下步骤：

S601，针对任一采集时刻，获取各最小外接矩形框与各二维检测框之间的距离。

在对各目标的最小外接矩形框和二维检测框进行匹配时，是分别对每个采集时刻中的最小外接矩形框与二维检测框进行匹配的。

在任一采集时刻进行匹配时，获取各最小外接矩形框与各二维检测框之间的距离是获取每一个最小外接矩形框与每一个二维检测框之间的距离，例如，若最小外接矩形框为A和B，二维检测框为C和D，则获取A与C、A与D、B与C，以及B与D之间的距离。

获取最小外接矩形框与二维检测框之间的距离的方式可以是，获取最小外接矩形框和二维检测框的中心点，然后根据两个中心点进行欧式距离的计算，将两个中心点的欧式距离作为最小外接矩形框与二维检测框之间的距离。

S602，根据各最小外接矩形框与各二维检测框之间的距离，确定多个匹配对。

在一个实施例中，根据各最小外接矩形框与各二维检测框之间的距离，确定多个匹配对，包括：针对任一最小外接矩形框，获取与最小外接矩形框距离最小的二维检测框，将最小外接矩形框和距离最小的二维检测框确定为匹配对。

针对任一最小外接矩形框，基于上述实施例中得到的最小外接矩形框与各二维检测框之间的距离，获取最小外接矩形框与各二维检测框中距离最小的二维检测框，然后将最小外接矩形框与距离最小的二维检测框进行匹配，得到匹配对，以此类推，得到多个匹配对。

例如，如果若最小外接矩形框为A和B，二维检测框为C和D，则A与C的距离为3，A与D的距离为5，则将A与C匹配，得到A与C的匹配对。

可选地，可以基于各最小外接矩形框与各二维检测框之间的距离，通过匈牙利算法的思想确定多个匹配对。

上述联合标定参数调整方法，针对任一采集时刻，获取各最小外接矩形框与各二维检测框之间的距离，并根据各最小外接矩形框与各二维检测框之间的距离，确定多个匹配对。该方法中，通过将各最小外接矩形框与各二维检测框进行匹配，保证了后续确定的区域重合度的准确性，提高了计算联合标定参数的效率。

在一个实施例中，如图7所示，根据各区域重合度以及初始联合标定参数，确定目标联合标定参数，包括以下步骤：

S701，根据各区域重合度，确定参考区域重合度。

根据各区域重合度，计算平均区域重合度，将平均区域重合度确定为参考重合度。

也可以计算各区域重合度的加权平均重合度，将加权平均重合度确定为参考重合度；根据各目标的类型，确定各目标对应的区域重合度的权重，根据各区域的权重和重合度，进行加权平均计算，得到参考区域重合度。

也可以将各区域重合度中的最大区域重合度或最小区域重合度作为参考区域重合度。

S702，根据参考区域重合度对初始联合标定参数进行更新，得到更新后的初始联合标定参数。

若参考区域重合度不满足预设的条件，则根据参考区域重合度对初始联合标定参数进行更新，得到更新后的初始联合标定参数。

在一个实施例中，如图8所示，根据参考区域重合度对初始联合标定参数进行更新，得到更新后的初始联合标定参数，包括以下步骤：

S801，获取参考区域重合度的梯度。

S802，将初始联合标定参数向梯度的正方向进行修正，得到更新后的初始联合标定参数。

梯度为代价函数对各个参数的偏导数，偏导数的方向决定了在学习过程中参数下降的方向；其中，代价函数为参考区域重合度，获取参考区域重合度的梯度即为获取参考区域重合度中各个参数的偏导数，参数对应的是初始联合标定参数。

因此，根据参考区域重合度的梯度能够对初始联合标定参数进行调整，更新初始联合标定参数。

由于代价函数沿梯度具有最大的变化率，那么在优化代价函数时，沿着梯度的负方向可以减小函数值，沿着梯度的正方向可以增大函数值，函数值表示的是映射二维数据与图像之间的区域重合度，区域重合度越大，激光雷达与相机的标定精度越高。因此通过参考区域重合度对初始联合标定参数调整时，能够将初始标定参数向梯度的正方向进行修正，以更新初始联合标定参数，得到更新后的初始联合标定参数。

对初始联合标定参数进行调整的方式可以根据公式(1)-(5)所示。

m_t＝β₁m_t-1+(1-β₁)g_t (1)

v_t＝β₂v_t-1+(1-β₂)g_t ² (2)

其中，β₁、β₂为常数，能够控制指数衰减，t表示迭代次数，g_t为第t次迭代时的参考区域重合度的梯度，在迭代开始前，m₀和v₀为常数，公式(1)和公式(2)是对梯度和梯度的平方进行滑动平均，即使得每次的更新均与历史的参考区域重合度有关；公式(3)和公式(4)是对初始滑动平均偏差较大的一个修正，公式(5)为初始联合标定参数更新公式，α为学习率，∈表示系数，为了防止除数为0，w_t表示第t次迭代的初始联合标定参数的值。

可选地，α＝0.001，β₁＝0.9，β₂＝0.999，∈＝1e-8。

S703，根据更新后的初始联合标定参数，更新参考区域重合度，直至参考区域重合度满足预设条件，得到目标联合标定参数。

在一个实施例中，预设条件包括参考区域重合度大于或等于预设阈值；预设阈值可以为0.4。

如果参考区域重合度大于或等于预设阈值，则表示激光雷达与相机空间同步的精度较高，则对应的初始联合标定参数可以作为后续激光雷达采集的数据和相机采集的数据进行融合的联合标定参数；如果参考区域重合度小于预设阈值，则表示激光雷达与相机空间同步精度存在偏差，将参考区域重合度作为代价函数，初始联合标定参数作为优化参数，采用梯度下降法和Adam自适应学习率算法优化代价函数，迭代求出最优的初始联合标定参数，使得参考区域重合度满足预设条件，将参考区域重合度满足预设条件时对应的初始联合标定参数确定为目标联合标定参数。

根据更新后的初始联合标定参数更新参考区域重合度的方式为根据更新后的初始联合标定参数，将激光雷达在多个不同时刻采集的各目标的点云数据映射到二维图像中，得到各目标的映射二维数据，并根据各目标的映射二维数据和各目标的图像数据，确定各目标的映射二维数据和图像数据之间的区域重合度；各目标的图像数据为相机在多个不同时刻采集的；然后根据各区域重合度，确定参考区域重合度。其具体实施方式与上述实施例中的实施方式相同，在此不做赘述。

上述联合标定参数调整方法，根据各区域重合度，确定参考区域重合度，根据参考区域重合度对初始联合标定参数进行更新，得到更新后的初始联合标定参数，然后根据更新后的初始联合标定参数，更新参考区域重合度，直至参考区域重合度满足预设条件，得到目标联合标定参数。该方法中，通过建立激光雷达与相机空间同步精度的自动评估方法，量化空间同步精度，使得参考区域重合度在不满足预设条件时，自适应调整初始联合标定参数，不需要人为评估标定结果，节省了人力物力，且可复用性强。

下面通过一个实施例对如何获取激光雷达相对于相机的初始联合标定参数进行说明，在一个实施例中，如图9所示，该实施例包括以下步骤：

S901，获取激光雷达在世界坐标系中的第一坐标。

激光雷达本身使用的就是世界坐标系，所以可以直接获取激光雷达在世界坐标系中的坐标，该坐标称为第一坐标，其中，世界坐标系由(X_W,Y_W,Z_W)构成。

S902，根据相机在相机坐标系中的坐标，获取相机转换至世界坐标系中的第二坐标。

相机自身的坐标系为相机坐标系，且相机中具有相机坐标系与世界坐标系的转换公式，因此，可根据相机坐标系与世界坐标系的转换公式，直接将相机在相机坐标系中的坐标转换为在世界坐标系中的坐标，该相机在世界坐标系中的坐标称为第二坐标。其中，相机坐标系可用(x,y,z)构成。

S903，根据第一坐标和第二坐标，确定激光雷达相对于相机的初始联合标定参数。

因此，可利用公式(6)计算激光雷达相对于相机的旋转矩阵R和平移矩阵T。

其中，R为3x3旋转矩阵，T为3x1平移矩阵，且

为初始联合标定参数。

其中，初始联合标定参数也可称为初始外参矩阵，联合标定参数也可以称为外参矩阵。

在一个实施例中，选取一个参考坐标系，分别获取激光雷达和相机相对于参考坐标系的初始联合标定参数，然后利用RoboDK软件求解激光雷达相对于相机的初始联合标定参数，其中，联合标定参数也称旋转平移6自由度，参考坐标系可以为世界坐标系。

上述联合标定参数调整方法，获取激光雷达在世界坐标系中的第一坐标；根据相机在相机坐标系中的坐标，获取相机转换至世界坐标系中的第二坐标；根据第一坐标和第二坐标，确定激光雷达相对于相机的初始联合标定参数。该方法借助世界坐标系为中间坐标系，可以准确地计算出激光雷达相对于相机的初始联合标定参数。

基于上述得到的激光雷达相对于相机的初始联合标定参数，能够将激光雷达采集的各目标的点云数据映射到二维图像中，下面通过一个实施例对比进行详细说明，在一个实施例中，如图10所示，根据激光雷达相对于相机的初始联合标定参数，将激光雷达在多个不同时刻采集的各目标的点云数据映射到二维图像中，得到各目标的映射二维数据，包括以下步骤：

S1001，获取相机的内参矩阵和畸变系数。

相机的内参矩阵反映了相机自身的属性，各个相机均不一样，在使用相机前，需要提前标定好，因此，可直接在相机属性中获取相机的内参矩阵。

相机的畸变系数包括径向畸变和切向畸变，径向畸变为沿着透镜半径方向分布的畸变，是由透镜质量引起的，光线在远离透镜中心的地方比靠近中心的地方更加弯曲；切向畸变是由于透镜本身与相机传感器平面(像平面)或图像平面不平行而产生的，切向畸变主要发生在相机传感器和镜头不平行的情况下；因为有夹角，所以光透过镜头传到图像传感器上时，成像位置发生了变化。

能够通过畸变模型和相机标定的方式求解相机的畸变系数。

S1002，针对任一目标的点云数据，将内参矩阵、畸变系数、初始联合标定参数和目标的点云数据输入至预设的透射变换矩阵中，得到目标的映射二维数据。

其中，基于透射变换原理，根据内参矩阵、畸变系数、激光雷达相对于相机的初始联合标定参数，将激光雷达采集的目标的点云数据映射到二维图像上，得到目标的点云数据在二维图像上的二维坐标数据。

其中，透射变换原理可以用公式(7)表示。

其中，s表示尺度因子，

表示相机的内参矩阵，(c_x,c_y)表示图像中心点坐标，f_x、f_y是以像素为单位表示的焦距。(X，Y，Z)为目标点云数据中点的坐标，(u，v)表示目标点云数据对应的映射二维数据。

根据公式(8)计算出激光雷达采集的各目标的点云数据映射的映射二维数据的过程如下：

r²＝x′²+y′² (13)

u＝f_x*x″+c_x，v＝f_y*y″+c_y (14)

其中，k₁、k₂、k₃、k₄、k₅、k₆表示径向畸变系数，p₁、p₂表示切向畸变系数。

因此，基于公式(7)-(14)可知，根据相机的内参矩阵、畸变系数和初始联合标定参数以及目标的点云数据，能够得到目标的映射二维数据。

上述联合标定参数调整方法，获取相机的内参矩阵和畸变系数，针对任一目标的点云数据，将内参矩阵、畸变系数、初始联合标定参数和目标的点云数据输入至预设的透射变换矩阵中，得到目标的映射二维数据。该方法中，实现了将目标的点云数据与相机采集的图像数据之间在空间上进行匹配，从而便于后续进行激光雷达与相机进行联合标定，且通过透射变换矩阵能够对畸变校正后的图像数据进行计算，也可以对未经过畸变校正的图像数据进行计算，适用性更广，适合所有激光雷达与相机的标定内外参矩阵。

本申请中能够通过Adam自适应学习率对每个参与训练的参数(初始联合标定参数)设置不同的学习率并进行迭代计算，自适应调整内外参系数；并且，通过区域重合度量化激光雷达和相机的空间同步精度，并根据量化的空间同步精度自动调节内外参数，并对激光雷达和相机的标定精度进行自动评估，自动调节联合标定参数，而不需要人为调节，对于调整联合标定参数更具有参考性，保证了联合标定参数的准确性。

在一个实施例中，如图11所示，该实施例包括以下步骤：

S1101，获取多个采集时刻的激光雷达数据和图像数据。

其中，采集时刻可以为20个采集时刻，则激光雷达数据和图像数据均为20帧，激光雷达采集20帧激光雷达数据，相机对应采集20帧图像数据，每一帧激光雷达数据与一帧图像数据时间同步；采集场景(视场)内包括多个移动目标。

S1102，通过点云检测算法识别激光雷达数据中目标的目标点云数据。

S1103，通过图像检测算法识别图像数据中的目标，并在图像上绘制目标图像框。

S1104，根据透射变换原理和初始联合标定参数，将目标点云数据映射到图像上，获取各个目标点云数据在图像上的二维坐标；

其中，根据相机的内参矩阵、畸变系数和激光雷达相对于相机的初始联合标定参数确定目标点云数据在图像上的二维坐标；

激光雷达相对于相机的初始联合标定参数的计算过程包括：选取一个参考坐标系，分别计算激光雷达和相机相对于参考坐标系的联合标定参数，利用RoboDK软件求解激光雷达相对于相机的联合标定参数，即初始联合标定参数。

S1105，求解各个目标点云数据对应的二维坐标的最小外接矩形框，并去掉最小外接矩形框中有交集的最小外接矩形框。

S1106，针对任一采集时刻，采用匈牙利匹配算法匹配最小外接矩形框和目标图像框，得到多个匹配对。

S1107，计算多个匹配对中最小外接矩形框和目标图像框之间的交并比，并求出平均交并比。

S1108，判断平均交并比是否大于或等于0.4，则否，则执行步骤S1109，否则，执行步骤S1110；

其中，若平均交并比小于0.4，则表示初始联合标定参数的标定精度较低，需重新进行自适应标定，更新初始联合标定参数。

S1109，采用梯度下降法和adam自适应学习率算法迭代优化，调整初始联合标定参数；

基于调整后的初始联合标定参数通过步骤S1104-S1007，重新计算平均交并比，直至平均交并比大于或等于0.4，执行步骤S1110。

S1110，输出初始联合标定参数，将输出的初始联合标定参数确定为激光雷达相对于相机的联合标定参数。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的联合标定参数调整方法的联合标定参数调整装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个联合标定参数调整装置实施例中的具体限定可以参见上文中对于联合标定参数调整方法的限定，在此不再赘述。

在一个实施例中，如图12所示，提供了一种联合标定参数调整装置，包括：映射模块1201、确定模块1202和调整模块1203，其中：

映射模块1201，用于根据激光雷达相对于相机的初始联合标定参数，将激光雷达在多个不同时刻采集的各目标的点云数据映射到二维图像中，得到各目标的映射二维数据；

确定模块1202，用于根据各目标的映射二维数据和各目标的图像数据，确定各目标的映射二维数据和各目标的图像数据之间的区域重合度；各目标的图像数据为相机在多个不同时刻采集的；各目标的映射二维数据与各目标的图像数据之间存在一一对应关系；

调整模块1203，用于根据各区域重合度以及初始联合标定参数，确定目标联合标定参数；目标联合标定参数用于表征激光雷达相对于相机调整后的联合标定参数。

在一个实施例中，确定模块1202包括：

第一获取单元，用于获取各目标的映射二维数据对应的最小外接矩形框，以及根据各目标的图像数据确定各目标的二维检测框；

匹配单元，用于将各目标的最小外接矩形框和各目标的二维检测框进行匹配，得到多个匹配对；

第一确定单元，用于根据各匹配对，确定各目标的映射二维数据和各目标的二维检测框之间的区域重合度。

在一个实施例中，匹配单元包括：

距离获取子单元，用于针对任一采集时刻，获取各最小外接矩形框与各二维检测框之间的距离；

第一匹配子单元，用于根据各最小外接矩形框与各二维检测框之间的距离，确定多个匹配对。

在一个实施例中，第一确定单元包括：

第一获取子单元，用于获取每一个匹配对中最小外接矩形框和二维检测框之间的交并比；

第一确定子单元，用于将各交并比对应确定为各目标的映射二维数据和各目标的二维检测框之间的区域重合度。

在一个实施例中，调整模块1203包括：

第二确定单元，用于根据各区域重合度，确定参考区域重合度；

第一更新单元，用于根据参考区域重合度对初始联合标定参数进行更新，得到更新后的初始联合标定参数；

第二更新单元，用于根据更新后的初始联合标定参数，更新参考区域重合度，直至参考区域重合度满足预设条件，得到目标联合标定参数。

在一个实施例中，第一更新单元包括：

第二获取子单元，用于获取参考区域重合度的梯度；

修正子单元，用于将初始联合标定参数向梯度的正方向进行修正，得到更新后的初始联合标定参数。

在一个实施例中，映射模块1201包括：

第三获取单元，用于获取相机的内参矩阵和畸变系数；

第四确定单元，用于针对任一目标的点云数据，将内参矩阵、畸变系数、初始联合标定参数和目标的点云数据输入至预设的透射变换矩阵中，得到目标的映射二维数据。

上述联合标定参数调整装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图13所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储确定联合标定参数过程中的数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种联合标定参数调整方法。

本领域技术人员可以理解，图13中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

本实施例中处理器实现的各步骤，其实现原理和技术效果与上述联合标定参数调整方法的原理类似，在此不再赘述。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

本实施例中计算机程序被处理器执行时实现的各步骤，其实现原理和技术效果与上述联合标定参数调整方法的原理类似，在此不再赘述。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

本实施例中计算机程序被处理器执行时实现的各步骤，其实现原理和技术效果与上述联合标定参数调整方法的原理类似，在此不再赘述。

需要说明的是，本申请所涉及的数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种联合标定参数调整方法，其特征在于，所述方法包括：

根据激光雷达相对于相机的初始联合标定参数，将所述激光雷达在多个不同时刻采集的各目标的点云数据映射到二维图像中，得到各所述目标的映射二维数据；

根据各所述目标的映射二维数据和各所述目标的图像数据，确定各所述目标的映射二维数据和各所述目标的图像数据之间的区域重合度；各所述目标的图像数据为所述相机在所述多个不同时刻采集的；各所述目标的映射二维数据与各所述目标的图像数据之间存在一一对应关系；

根据各所述区域重合度以及所述初始联合标定参数，确定目标联合标定参数；所述目标联合标定参数用于表征所述激光雷达相对于所述相机调整后的联合标定参数。

2.根据权利要求1所述的方法，其特征在于，所述根据各所述目标的映射二维数据和各所述目标的图像数据，确定各所述目标的映射二维数据和各所述目标的图像数据之间的区域重合度，包括：

获取各所述目标的映射二维数据对应的最小外接矩形框，以及根据各所述目标的图像数据确定各所述目标的二维检测框；

将各所述目标的最小外接矩形框和各所述目标的二维检测框进行匹配，得到多个匹配对；

根据各所述匹配对，确定各所述目标的映射二维数据和各所述目标的二维检测框之间的区域重合度。

3.根据权利要求2所述的方法，其特征在于，所述将各所述目标的最小外接矩形框和各所述目标的二维检测框进行匹配，得到多个匹配对，包括：

针对任一采集时刻，获取各所述最小外接矩形框与各所述二维检测框之间的距离；

根据各所述最小外接矩形框与各所述二维检测框之间的距离，确定所述多个匹配对。

4.根据权利要求2或3所述的方法，其特征在于，所述根据各所述匹配对，确定各所述目标的映射二维数据和各所述目标的二维检测框之间的区域重合度，包括：

获取每一个匹配对中最小外接矩形框和所述二维检测框之间的交并比；

将各所述交并比对应确定为各所述目标的映射二维数据和各所述目标的二维检测框之间的区域重合度。

5.根据权利要求1-3任一项所述的方法，其特征在于，所述根据各所述区域重合度以及所述初始联合标定参数，确定目标联合标定参数，包括：

根据各所述区域重合度，确定参考区域重合度；

根据所述参考区域重合度对所述初始联合标定参数进行更新，得到更新后的初始联合标定参数；

根据所述更新后的初始联合标定参数，更新所述参考区域重合度，直至所述参考区域重合度满足预设条件，得到所述目标联合标定参数。

6.根据权利要求5所述的方法，其特征在于，所述根据所述参考区域重合度对所述初始联合标定参数进行更新，得到更新后的初始联合标定参数，包括：

获取所述参考区域重合度的梯度；

将所述初始联合标定参数向所述梯度的正方向进行修正，得到所述更新后的初始联合标定参数。

7.根据权利要求1-3任一项所述的方法，其特征在于，所述根据激光雷达相对于相机的初始联合标定参数，将所述激光雷达在多个不同时刻采集的各目标的点云数据映射到二维图像中，得到各所述目标的映射二维数据，包括：

获取所述相机的内参矩阵和畸变系数；

针对任一目标的点云数据，将所述内参矩阵、所述畸变系数、所述初始联合标定参数和所述目标的点云数据输入至预设的透射变换矩阵中，得到所述目标的映射二维数据。

8.一种联合标定参数调整装置，其特征在于，所述装置包括：

映射模块，用于根据激光雷达相对于相机的初始联合标定参数，将所述激光雷达在多个不同时刻采集的各目标的点云数据映射到二维图像中，得到各所述目标的映射二维数据；

确定模块，用于根据各所述目标的映射二维数据和各所述目标的图像数据，确定各所述目标的映射二维数据和各所述目标的图像数据之间的区域重合度；各所述目标的图像数据为所述相机在所述多个不同时刻采集的；各所述目标的映射二维数据与各所述目标的图像数据之间存在一一对应关系；

调整模块，用于根据各所述区域重合度以及所述初始联合标定参数，确定目标联合标定参数；所述目标联合标定参数用于表征所述激光雷达相对于所述相机调整后的联合标定参数。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images