CN114063046A

CN114063046A - 参数标定方法、装置、计算机设备和存储介质

Info

Publication number: CN114063046A
Application number: CN202010778125.2A
Authority: CN
Inventors: 关喜嘉; 王邓江; 马冰; 邓永强
Original assignee: Beijing Wanji Technology Co Ltd
Current assignee: Beijing Wanji Technology Co Ltd
Priority date: 2020-08-05
Filing date: 2020-08-05
Publication date: 2022-02-18

Abstract

本申请涉及一种参数标定方法、装置、计算机设备和存储介质。通过获取第一传感器与故障传感器之间的第一位置信息，以及第一传感器与替换故障传感器的第二传感器之间的第二位置信息后，获取第一位置信息和第二位置信息之间的变化值，并基于变化值对外参信息进行调整，然后基于点云与图像之间的映射关系，对调整后的外参信息进行标定。该方法避免了重新进行整套流程的标定，节省了大量的工作时间，从而提高了传感器设备之间参数的标定效率。

Description

参数标定方法、装置、计算机设备和存储介质

技术领域

本申请涉及数据处理技术领域，特别是涉及一种参数标定方法、装置、计算机设备和存储介质。

背景技术

随着传感器技术、计算机技术的发展，基于各类传感器的同时定位与地图构建解决方案已被广泛应用于机器人自主导航、无人驾驶、移动测量和战场环境构建等领域。

在众多传感器选择中，激光雷达和相机存在巨大优势互补。例如，相机可以获取到目标更完整的纹理、颜色信息以及可以对目标进行更充分的类别判定、颜色定义等；激光雷达可以获取到目标更完整的目位置、尺寸信息，其在坐标定位上更有优势。因此，出现了激光雷达与相机融和提高车辆的视觉感知能力的方案，但激光雷达和相机的融合需要考虑两者之间的内外参标定，且在长期使用过程中，因故障或者受其他客观原因替换了激光雷达或者相机后，需要对激光雷达与相机之间的内外参重新进行整套流程的标定。

但是，上述重新标定工作量较大，浪费时间，使得激光雷达与相机之间的内外参标定存在效率低下的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高激光雷达与相机之间参数标定效率的参数标定方法、装置、计算机设备和存储介质。

第一方面，本申请实施例提供一种参数标定方法，该方法包括：

获取第一传感器与故障传感器之间的第一位置信息，以及第一传感器与第二传感器之间的第二位置信息；第二传感器为替换故障传感器的传感器；

根据第一位置信息与第二位置信息之间的位置信息变化值，对第一传感器与第二传感器之间外参信息进行调整；

基于点云与图像之间的映射关系，对调整后的外参信息进行标定。

在其中一个实施例中，上述位置信息变化值包括：相对角度变化值和相对位置变化值；

则根据第一位置信息和第二位置信息之间的变化值，对第一传感器与第二传感器之间外参信息进行调整，包括：

对外参信息中的旋转矩阵增加相对角度变化值，对外参信息中的平移矩阵增加相对位置变化值。

在其中一个实施例中，上述第一传感器为摄像设备，故障传感器和第二传感器均为激光雷达；

则上述根据点云与图像之间的映射关系，对调整后的外参信息进行标定，包括：

根据点云与图像之间的映射关系和调整后的外参信息，将第二传感器采集的点云数据映射到图像上，得到点云平面图像；

基于点云数据中点云的反射率、点云平面图像中像素点的灰度值，构建与外参信息相关的损失函数；

优化损失函数，直至损失函数满足预设的优化终止条件，得到损失函数优化终止时对应的外参信息。

在其中一个实施例中，上述根据点云与图像之间的映射关系和调整后的外参信息，将第二传感器采集的点云数据映射到图像上，得到点云平面图像，包括：

获取点云数据中的点云点在世界坐标系中的坐标和摄像设备内参信息；

将调整后的外参信息、摄像设备的内参信息、点云数据中的点云点在世界坐标系中的坐标，代入点云与图像之间的映射关系中，计算得到点云数据中的点云点在像素坐标系中的坐标；

根据点云数据中的点云点在像素坐标系中的坐标，得到点云平面图像。

在其中一个实施例中，上述基于点云数据中点云的反射率、点云平面图像中像素点的灰度值，构建与外参信息相关的损失函数，包括：

根据点云数据中点云的反射率构建反射率直方图，根据点云平面图像中像素点的灰度值构建灰度值直方图；

根据反射率直方图和灰度值直方图构建联合直方图；

基于反射率直方图、灰度值直方图和联合直方图构建与外参信息相关的损失函数。

在其中一个实施例中，上述基于反射率直方图、灰度值直方图和联合直方图构建与外参信息相关的损失函数，包括：

根据反射率直方图计算反射率边缘概率分布，根据灰度值直方图计算灰度值边缘概率分布，根据联合直方图计算联合概率分布；

根据反射率边缘概率分布、灰度值边缘概率分布、联合概率分布构建与外参信息相关的损失函数。

在其中一个实施例中，上述优化损失函数，直至损失函数满足预设的优化终止条件，得到损失函数优化终止时对应的外参信息，包括：

采用预设的梯度下降算法调整损失函数的值，直至损失函数的值满足预设的优化终止条件，得到损失函数优化终止时对应的外参信息。

在其中一个实施例中，上述优化终止条件包括：损失函数的值小于预设阈值或者损失函数的值的连续变化率处于预设范围。

第二方面，本申请实施例提供一种参数标定装置，该装置包括：

位置信息获取模块，用于获取第一传感器与故障传感器之间的第一位置信息，以及第一传感器与第二传感器之间的第二位置信息；第二传感器为替换故障传感器的传感器；

变化值获取模块，用于根据第一位置信息与第二位置信息之间的位置信息变化值，对第一传感器与第二传感器之间外参信息进行调整；

标定模块，用于基于点云与图像之间的映射关系，对调整后的外参信息进行标定。

在其中一个实施例中，上述位置信息变化值包括：相对角度变化值和相对位置变化值；则上述变化值获取模块，具体用于对外参信息中的旋转矩阵增加相对角度变化值，对外参信息中的平移矩阵增加相对位置变化值。

则上述标定模块包括：

映射单元，用于根据点云与图像之间的映射关系和调整后的外参信息，将第二传感器采集的点云数据映射到图像上，得到点云平面图像；

构建单元，用于基于点云数据中点云的反射率、点云平面图像中像素点的灰度值，构建与外参信息相关的损失函数；

优化单元，用于优化损失函数，直至损失函数满足预设的优化终止条件，得到损失函数优化终止时对应的外参信息。

在其中一个实施例中，上述映射单元包括：

获取子单元，用于获取点云数据中的点云点在世界坐标系中的坐标和摄像设备内参信息；

计算子单元，用于将调整后的外参信息、摄像设备的内参信息、点云数据中的点云点在世界坐标系中的坐标，代入点云与图像之间的映射关系中，计算得到点云数据中的点云点在像素坐标系中的坐标；

确定子单元，用于根据点云数据中的点云点在像素坐标系中的坐标，得到点云平面图像。

在其中一个实施例中，上述构建单元包括：

直方图子单元，用于根据点云数据中点云的反射率构建反射率直方图，根据点云平面图像中像素点的灰度值构建灰度值直方图；

联合子单元，用于根据反射率直方图和灰度值直方图构建联合直方图；

构建子单元，用于基于反射率直方图、灰度值直方图和联合直方图构建与外参信息相关的损失函数。

在其中一个实施例中，上述构建子单元，具体用于根据反射率直方图计算反射率边缘概率分布，根据灰度值直方图计算灰度值边缘概率分布，根据联合直方图计算联合概率分布；根据反射率边缘概率分布、灰度值边缘概率分布、联合概率分布构建与外参信息相关的损失函数。

在其中一个实施例中，上述优化单元，具体用于采用预设的梯度下降算法调整损失函数的值，直至损失函数的值满足预设的优化终止条件，得到损失函数优化终止时对应的外参信息。

第三方面，本申请实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面实施例提供的任一方法的步骤。

第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面实施例提供的任一方法的步骤。

本申请实施例提供一种参数标定方法、装置、计算机设备和存储介质，通过获取第一传感器与故障传感器之间的第一位置信息，以及第一传感器与替换故障传感器的第二传感器之间的第二位置信息后，获取第一位置信息和第二位置信息之间的变化值，并基于变化值对外参信息进行调整，然后基于点云与图像之间的映射关系，对调整后的外参信息进行标定。该方法中，获取更换前的两个传感器之间的位置关系与更换后的两个传感器之间的位置关系(即传感器设备的先验信息)确定出的变化值后，基于变化值对外参信息先进行调整，然后对调整后外参信息进行标定，这样，直接利用传感器设备的先验信息对外参信息先进行调整，无需重新进行相对位置和角度的测量再调整过程，避免了重新进行整套流程的标定，节省了大量的工作时间，从而提高了传感器设备之间参数的标定效率。

附图说明

图1为一个实施例中参数标定方法的应用环境图；

图1a为一个实施例中激光雷达和摄像设备的位置关系；

图1b为一个实施例中计算机设备的内部结构图；

图2为一个实施例中参数标定方法的流程示意图；

图3为另一个实施例中参数标定方法的流程示意图；

图4为另一个实施例中参数标定方法的流程示意图；

图5为另一个实施例中参数标定方法的流程示意图；

图6为另一个实施例中参数标定方法的流程示意图；

图7为另一个实施例中参数标定方法的示意图；

图8为一个实施例中参数标定装置的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的参数标定方法，可以应用于图1所示的应用环境中，该应用环境包括激光雷达01、摄像设备02及计算机设备03。其中，激光雷达01、摄像设备02和计算机设备三者之间可以通信；激光雷达01包括但不限于是脉冲雷达、连续波雷达、米波雷达、分米波雷达、厘米波雷达等；摄像设备02包括但不限于是专业摄像机、CCD摄像机、网络摄像机、便携式摄像机、黑白摄像机、彩色摄像机、红外线摄像机、X光摄像机、暗访摄像机等；计算机设备03 包括但不限于是服务器、各种终端：个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备等。

其中，激光雷达01和摄像设备02之间的位置相对固定，参见图1a，为一种激光雷达01和摄像设备02的安装示意图；其中，计算机设备03的内部结构图请参见图1b。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储参数标定的相关数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种参数标定方法。

本申请实施例提供一种参数标定方法、装置、计算机设备和存储介质，能够能够提高激光雷达与相机之间参数标定效率。下面将通过实施例并结合附图具体地对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。需要说明的是，本申请提供的一种参数标定方法，图2-图7的执行主体为计算机设备。其中，该图2-图7的执行主体还可以是参数标定装置，该装置可以通过软件、硬件或者软硬件结合的方式实现成为计算机设备的部分或者全部。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。

在一个实施例中，如图2所示，提供了一种参数标定方法，该实施例涉及的是计算机设备根据故障传感器与第一传感器之间的第一位置信息和第二传感器与第一传感器之间的外参信息之间的外参信息的变换值，对外参信息进行标定的具体过程，该实施例包括以下步骤：

S101，获取第一传感器与故障传感器之间的第一位置信息，以及第一传感器与第二传感器之间的第二位置信息；第二传感器为替换故障传感器的传感器。

其中，第一传感器可以是摄像设备或者是激光雷达，若第一传感器是摄像设备，那么故障传感器就是激光雷达，若第一传感器是激光雷达，那么故障传感器就是摄像设备。由于激光雷达与摄像设备融合获取周边环境信息时，激光雷达或者摄像设备或多或少都会出现故障，出现故障的激光雷达或者出现故障的摄像设备就是故障传感器；出现故障自然要更换，将出现故障的激光雷达更换新的激光雷达，或者，将出现故障的摄像设备更换新的摄像设备，那么新的激光雷达或者新的摄像设备就为第二传感器。

相应地，第一位置信息和第二位置信息中的位置信息指的是激光雷达和摄像设备之间的位置信息。其中，位置信息指的是两个传感器设备本体外部的位置关系，例如，激光雷达和摄像设备之间的相对位置、相对角度等。实际应用中，为了使激光雷达与摄像设备全面有效地获取周边环境信息，在安装激光雷达与摄像设备时，两者之间的要有合适的相对位置和相对角度。所以将有故障的传感器更换为第二传感器后，对于第二传感器和第一传感器之间的相对位置和相对角度就需要重新标定，以保证第二传感器和第一传感器之间的相对位置和相对角度可以使激光雷达与摄像设备全面有效地获取周边环境信息。

具体地，以第一传感器是摄像设备，故障传感器是激光雷达，位置信息是激光雷达与摄像设备之间外参信息是两者之间的相对位置、相对角度为例(后续步骤以及实施例均以此为例进行说明)，计算机设备获取摄像设备与故障的激光雷达之间的相对位置和相对角度，以及获取摄像设备与新的激光雷达之间的相对位置和相对角度。需要说明的是，由于故障激光雷达是正常使用过程中出现故障的，所以摄像设备与故障的激光雷达之间的相对位置和相对角度本身就是合适的，满足要求的；而新的激光雷达是替换了故障激光雷达后新安装的，此时新的激光雷达与摄像设备之间的位置还处于调试阶段，所以摄像设备与新的激光雷达之间的相对位置和相对角度不是满足要求的值，需要进一步对其进行调整。

S102，根据第一位置信息与第二位置信息之间的位置信息变化值，对第一传感器与第二传感器之间外参信息进行调整。

获取到了摄像设备与故障的激光雷达之间的相对位置和相对角度(即第一位置信息)，以及摄像设备与新的激光雷达之间的相对位置和相对角度(即外参信息)之后，获取两者之间的变化值，即相对位置变化值和相对角度变化值。例如，摄像设备与故障的激光雷达之间的相对位置为h1，相对角度为α1；摄像设备与新的激光雷达之间的相对位置是h2，相对角度是α2；那么相对位置变化值为h1-h2，相对角度变化值为α1-α2；其中，h1-h2和α1-α2的值可以是正数也可以是负数。

在确定了更换前后摄像设备与激光雷达之间相对位置和相对角度的变化值之后，基于该变化值，对外参信息进行标定。其中外参信息为第一传感器与第二传感器之间的外参信息，也可称为外参矩阵。

S103，基于点云与图像之间的映射关系，对调整后的外参信息进行标定。

其中，点云与图像之间的映射关系表示的是世界坐标系(激光雷达所使用坐标系)与像素坐标系(摄像设备的图像中像素所使用坐标系)之间的关系：

其中，该映射关系中，

为摄像设备的内参矩阵，

为摄像设备的外参矩阵，

为世界坐标系中各点的坐标矩阵，

为像素坐标系中点的坐标矩阵。

根据该点云与图像之间的映射关系，对调整后的外参信息进一步进行标定，以使标定后的外参信息更加精确，采用该标定后的外参信息激光雷达与摄像设备获取周边环境图像后可以更加精确地融合出周边环境信息。

本实施例提供的参数标定方法，通过获取第一传感器与故障传感器之间的第一位置信息，以及第一传感器与替换故障传感器的第二传感器之间的第二位置信息后，获取第一位置信息和第二位置信息之间的变化值，并基于变化值对外参信息进行调整，然后基于点云与图像之间的映射关系，对调整后的外参信息进行标定。该方法中，获取更换前的两个传感器之间的位置关系与更换后的两个传感器之间的位置关系(即传感器设备的先验信息)确定出的变化值后，基于变化值对外参信息先进行调整，然后对调整后外参信息进行标定，这样，直接利用传感器设备的先验信息对外参信息先进行调整，无需重新进行相对位置和角度的测量再调整过程，避免了重新进行整套流程的标定，节省了大量的工作时间，从而提高了传感器设备之间参数的标定效率。

在一个实施例中，上述位置信息变化值包括：相对角度变化值和相对位置变化值；则上述S102包括：对外参信息中的旋转矩阵增加相对角度变化值，对外参信息中的平移矩阵增加相对位置变化值。

本实施例中以第一传感器为摄像设备，故障传感器和第二传感器均为激光雷达，变化值包括相对位置变化值和相对角度变化值为例进行说明。

其中，外参信息包括摄像设备的外参矩阵，外参矩阵可表示为

其中，[RT]包括激光雷达所在的世界坐标系与摄像设备所在的相机坐标系之间，相对旋转的旋转矩阵R(R_3×3)，以及相对位移的平移向量矩阵T(T_3×1)，即R，T反映着摄像设备的位姿信息，所以可以根据更新故障激光雷达前后的相对位置变化值和相对角度变化值，对旋转矩阵R和平移向量矩阵T进行调整：具体地，对旋转矩阵增加相对角度变化值，对平移矩阵增加相对位置变化值。

可以理解的是：根据上述S102步骤中可知，相对位置变化值是h1-h2，相对角度变化值是α1-α2，最终的结果可以是正值也可以是负值，所以，在根据相对位置变化值和相对角度变化值对外参信息进行调整时，直接对二外参信息中的旋转矩阵增加相对角度变化值，对外参信息中的平移矩阵增加相对位置变化值，若变化值是正值，则这里的增加就是正向增加，若变化值是负值，则这里的增加就是减去了变化值。

下面通过一个实施例，对上述基于点云与图像之间的映射关系，对调整后的外参信息进行标定的过程进行说明，如图3所示，上述S103包括以下步骤：

S201，根据点云与图像之间的映射关系和调整后的外参信息，将第二传感器采集的点云数据映射到图像上，得到点云平面图像。

在调整了外参信息后，根据调整后的外参信息，以及点云与图像之间的映射关系映射点云数据到图像上。

调整后的外参信息中包括调整后的外参矩阵，那么基于该映射关系，将第二传感器采集的点云数据映射到图像上时，还需要获取摄像设备的内参矩阵和第二传感器采集的点云数据在世界坐标系中的坐标，基于此，在一个实施例中，如图4所示，根据点云与图像之间的映射关系和调整后的外参信息，将第二传感器采集的点云数据映射到图像上，得到点云平面图像，包括以下步骤：

S301，获取点云数据中的点云点在世界坐标系中的坐标和摄像设备的内参信息。

摄像设备的内参信息即内参矩阵，由于摄像设备的内参矩阵反映的是摄像设备内部的参数，所以更换了故障激光雷达后，摄像设备本身是没有变化的，其内部参数也没有变化，所以可以直接获取摄像设备的内参矩阵。

而对于点云数据中的点云点在世界坐标系中的坐标，由于激光雷达本身使用的就是世界坐标系，所以也可以直接获取激光点云的三维坐标，即为在世界坐标系中的坐标(Xw、Yw、Zw)。

S302，将调整后的外参信息、摄像设备的内参信息、点云数据中的点云点在世界坐标系中的坐标，代入点云与图像之间的映射关系中，计算得到点云数据中的点云点在像素坐标系中的坐标。

在上述步骤中分别得到了调整后的外参信息、摄像设备的内参信息、点云数据中的点云点在世界坐标系中的坐标，即对点云与图像之间的映射关系中的摄像设备内参矩阵

外参矩阵

和世界坐标系点坐标 (X_W,Y_W,Z_W)矩阵，那么，将调整后的外参信息、摄像设备的内参信息、点云数据中的点云点在世界坐标系中的坐标代入点云与图像之间的映射关系中，即可计算得到点云数据中的点云点在像素坐标系中的坐标(μ,ν)。

其中需要说明的是，由于在实际应用中，摄像设备拍摄的图像实际上是存在畸变(所谓畸变，就是指在世界坐标系中的直线转化到其他坐标系不在是直线) 的，从而导致失真，所以在确定点云点在像素坐标系中的坐标时，还需要对相机的内参进行畸变矫正，其中，进行畸变矫正的过程包括：获取摄像设备的畸变系数，然后根据畸变系数对摄像设备的内参信息进行矫正后，得到最终的点云数据中的点云点在像素坐标系中的坐标(μ,ν)。

具体地，畸变系数包括径向畸变系数：k1,k2,k3,k4,k5,k6，切向畸变系数：p 1,p2，通过公式u＝f_x*x″+c_x和v＝f_y*y″+c_y进行校正。

其中该公式中，cx,cy表示图像中心点坐标，fx，fy是以像素为单位表示的焦距；该公式中，

其中，x′＝x/z，y′＝y/z，这里的x,y,z为相机坐标系中各点的坐标，其中，相机坐标系和世界坐标系之间的关系为：

也就是说，先根据世界坐标系和相机坐标系的关系确定出点云点在相机坐标系中的坐标(x,y,z)，根据x,y,z，计算x′和y′，进而计算x″和 y″，最后得到矫正后的(μ,ν)。

S303，根据点云数据中的点云点在像素坐标系中的坐标，得到点云平面图像。

在计算出点云数据对应的点云在像素坐标系中的坐标(μ,ν)之后，就实现了将点云数据对应的点云映射到图像上即可得到点云平面图像。

本实施例中，计算点云数据对应的点云在像素坐标系中的坐标，从图像上提取点云在像素坐标系中的坐标处的像素点，作为点云平面图像，实现了将激光点云与摄像设备所拍摄的图像之间在空间上进行匹配，便于后续进行激光雷达与相机之间参数的标定。

S202，基于点云数据中点云的反射率、点云平面图像中像素点的灰度值，构建与外参信息相关的损失函数。

根据上述S201步骤中的点云平面图像可知，点云平面图像是基于点云数据映射得到的，而点云数据中包含了丰富的信息，包括三维坐标、颜色、分类值、强度值、时间、反射率等，对此不做限定。其中，将投射到目标上被反射的激光功率与投射到目标上的总激光功率之比，称为该目标的反射率，其反映的是激光点云中的每个点云点在其位置中障碍物反射激光光束的量度，所以激光点云的反射率与点云平面图像中点的灰度值之间存在强相关性。

基于此，可以确定出点云数据中点云的反射率、点云平面图像中点的灰度值的概率分布，然后根据概率分布图构建损失函数，构建的该损失函数与外参信息相关。其中，外参信息包括的是外参矩阵(即旋转平移6自由度)，所以建立的是与旋转平移6自由度相关的损失函数。

具体地，将激光点云中的点云点映射到图像上得到点云平面图像中，可以直接获取点云平面图像中各点的像素值，根据该点云平面图像中各点的像素值构建概率分布图，例如，直方图、饼状图或曲线图等，以对点云平面图像中点的灰度值进行统计，可得出点云平面图像中各点的灰度值的分布情况。将激光点云中的点云点的反射率也可以直接，然后根据点云点的反射率构建概率分布图，例如直方图、饼状图或曲线图等，以对点云数据中点云点的反射率进行统计，可得出点云数据中点云点反射率的分布情况。为了考虑到各点云点的全面信息，还可以将点云数据中点云点反射率和点云平面图像中各点的灰度值联合起来，综合确定各点的分布情况。最后根据各点在平面图像中的分布情况、各点云点在点云数据中的分布情况，以及综合的分布情况，构建与外参信息相关的损失函数。

S203，优化损失函数，直至损失函数满足预设的优化终止条件，得到损失函数优化终止时对应的外参信息。

在构建与外参信息相关的损失函数之后，优化该损失函数，当该损失函数优化终止时，获取损失函数优化终止对应的外参信息，该损失函数优化终止对应的外参信息即为摄像设备和新的激光雷达标定后的外参信息。

可选地，优化损失函数时可采用预设的梯度下降算法调整损失函数的值，直至损失函数的值满足预设的优化终止条件，得到损失函数优化终止时对应的外参信息。可选地，优化终止条件包括：损失函数的值小于预设阈值或者损失函数的值的连续变化率处于预设范围。

其中，梯度下降算法是一种求极小值的算法，是通过梯度不断迭代寻找最优可训练参数，例如，首先初始化模型参数，例如，将模型参数设置为0(也可以初始化为其他的数值)，然后一点点的改变该参数的数值，试图让损失函数变小，直到的损失函数的最小值，即在本实施例中，就是直至调整到损失函数的值小于预设阈值或者损失函数的值的连续变化率处于预设范围。

在其中一个实施例中，可以利用自适应学习率算法(又称之为Adam算法) 对梯度下降算法的学习率进行优化，这可以使损失函数值达到更好的收敛性的效果。

一般在选取学习率时，要选择合适的，由于学习速率过小，收敛速度过慢，学习速率太大，会直接忽略某些局部最小值，所以，一般在选取学习率时，要选择合适的学习率，以保证收敛效果。

在采用梯度下降算法计算损失函数的值，直至损失函数的值小于预设阈值或者损失函数的值的连续变化率处于预设范围，得到损失函数优化终止时对应的外参信息。

本实施例中，将激光点云中的点云点映射到图像上，再基于点云数据中点云的反射率、点云平面图像中像素点的灰度值，构建与外参信息相关的损失函数，通过损失函数优化，以获取损失函数优化终止时对应的外参信息。由于点云点的反射率与点云平面图像中点的灰度值之间存在强相关性，所以构建的损失函数可以完整全面地反映各点的变化信息，这样就可以确定到标定后的外参信息，且在全称通过激光雷达与摄像设备自动进行标定，不需要使用标定物，避免了浪费人力物力，提高了标定方法的可复用性。

在一个实施例中，如图5所示，上述S203步骤中“基于点云数据中点云的反射率、点云平面图像中像素点的灰度值，构建与外参信息相关的损失函数” 包括以下步骤：

S401，根据点云数据中点云的反射率构建反射率直方图，根据点云平面图像中像素点的灰度值构建灰度值直方图。

在构建反射率直方图时，获取点云数据中所有点云点的反射率，对点云数据中所有点云点的反射率进行统计，得出每种反射率出现的次数，然后基于每种反射率出现的次数，以反射率的数值为横轴，以该反射率出现的次数为纵轴，得到反射率直方图。在反射率直方图中用x来表示反射率的值，用X来表示反射率的值的数据集，用p_X(x)来表示反射率直方图中反射率x的概率值。

在构建灰度直方图时，获取所有点云平面图像中像素点的灰度值，并对所有点云平面图像中像素点的灰度值进行统计，得出灰度值出现的次数，然后基于每种灰度值出现的次数，以灰度值为横轴，以该灰度值出现的次数为纵轴，得到灰度直方图。在灰度直方图中用y来表示灰度值，用Y来表示反射率的值的数据集，用p_Y(y)来表示灰度直方图中灰度值y的概率值。

S402，根据反射率直方图和灰度值直方图构建联合直方图。

在构建联合直方图时，获取点云数据中所有点云点的反射率，再获取所有点云平面图像中像素点的灰度值。对点云数据中所有点云点的反射率、该点云平面图像中像素点的灰度值进行统计，得出由点云点的反射率x、该像素点的灰度值y所构成的一组数值(x,y)，并统计该组数值(x,y)出现的次数。基于该组数值出现的次数，以该组数值(x,y)为横轴，以该组数值出现的次数为纵轴，得到联合直方图。在联合直方图中用x来表示反射率的值、用y来表示灰度值，用(X,Y)来表示反射率的值的数据集，用p_XY(x,y)来表示联合直方图中该组数值 (x,y)的概率值。

S403，基于反射率直方图、灰度值直方图和联合直方图构建与外参信息相关的损失函数。

在得到了反射率直方图、灰度值直方图和联合直方图后，根据每一个直方图构建概率分布函数。

可选地，如图6所示，在一个实施例中，基于反射率直方图、灰度值直方图和联合直方图构建与外参信息相关的损失函数，包括以下步骤：

S501，根据反射率直方图计算反射率边缘概率分布，根据灰度值直方图计算灰度值边缘概率分布，根据联合直方图计算联合概率分布。

具体的，根据反射率直方图计算出反射率边缘概率分布的公式为:

该公式中，H(X)表示反射率边缘概率分布，pX(x) 来表示反射率直方图中反射率x的概率值。

根据灰度直方图计算出灰度值边缘概率分布的公式为：

该公式中，H(Y)表示灰度值边缘概率分布，pY(y) 来表示反射率直方图中反射率y的概率值。

根据联合直方图计算出联合概率分布的公式如下：

H(X,Y)＝-∑∑p_XY(x,y)logp_XY(x,y)，该公式中，H(XY)表示联合边缘概率分布，pXY(x,y)来表示联合直方图中该组数值(x,y)的概率值。

S502，根据反射率边缘概率分布、灰度值边缘概率分布、联合概率分布构建与外参信息相关的损失函数。

在确定了反射率边缘概率分布、灰度值边缘概率分布、联合概率分布之后，再根据反射率边缘概率分布、灰度值边缘概率分布及联合概率分布得到损失函数。其中，损失函数的公式为

构建损失函数时先根据公式

计算出损失函数中的梯度G，然后再计算出信息熵MI(X,Y)MI(X,Y)＝H(X)+H(Y)-H(X,Y)，然后将梯度G和信息熵MI(X,Y)带入公式Θ_k+1＝Θ_k+λF(MI(X,Y；Θ_k))中，就得到损失函数

本实施例中，基于点云数据中点云点的反射率构建反射率直方图，基于点云平面图像中像素点的灰度值构建灰度直方图，基于反射率直方图及灰度直方图构建联合直方图，然后根据反射率直方图、灰度直方图和联合直方图再分别构建概率分布函数，由于概率分布函数中考虑各点在点云中的反射率，各点在平面图像中的像素值，所以基于概率分布函数构建的损失函数在优化终止时的外参信息为最精确，符合要求的外参信息，从而保证了新的激光雷达和摄像设备之间的外参标定的精确度。

在一个实施例中，如图7所示，提供了一种参数标定方法的实施例，该实施例包括：

S601，更换故障激光雷达，记录故障激光雷达更换前的故障激光雷达和摄像设备之间的相对位置和相对角度；

S602，记录故障激光雷达更换后的新的激光雷达和摄像设备之间的相对位置和相对角度；

S603，根据更换前后相对位置变化值和相对角度变化值调整新的激光雷达和摄像设备之间的外参信息；

S604，通过点云与图像之间的映射关系,利用调整后的新的激光雷达和摄像设备之间的外参信息，将点云数据映射图像中；

S605，建立与新的激光雷达和摄像设备之间的外参信息关联的损失函数；

S606，利用梯度下降算法迭代优化损失函数；

S607，计算损失函数的值是否小于阈值；若是执行S609；

S608，若达到迭代终止条件；

S609，迭代终止，修正新的激光雷达和摄像设备之间的外参信息。

本实施例提供的参数标定方法中各步骤，其实现原理和技术效果与前面各参数标定方法实施例中类似，在此不再赘述。图7实施例中各步骤的实现方式只是一种举例，对各实现方式不作限定，各步骤的顺序在实际应用中可进行调整，只要可以实现各步骤的目的即可。

应该理解的是，虽然图2-7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-7中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图8所示，提供了一种参数标定装置，包括：位置信息获取模块10、变化值获取模块11和标定模块12，其中：

位置信息获取模块10，用于获取第一传感器与故障传感器之间的第一位置信息，以及第一传感器与第二传感器之间的第二位置信息；第二传感器为替换故障传感器的传感器；

变化值获取模块11，用于根据第一位置信息与第二位置信息之间的位置信息变化值，对第一传感器与第二传感器之间外参信息进行调整；

标定模块12，用于基于点云与图像之间的映射关系，对调整后的外参信息进行标定。

在一个实施例中，上述位置信息变化值11包括：相对角度变化值和相对位置变化值；则上述变化值获取模块，具体用于对外参信息中的旋转矩阵增加相对角度变化值，对外参信息中的平移矩阵增加相对位置变化值。

在一个实施例中，上述第一传感器为摄像设备，故障传感器和第二传感器均为激光雷达；则上述标定模块12包括：

在一个实施例中，上述映射单元包括：

在一个实施例中，上述构建单元包括：

在一个实施例中，上述构建子单元，具体用于根据反射率直方图计算反射率边缘概率分布，根据灰度值直方图计算灰度值边缘概率分布，根据联合直方图计算联合概率分布；根据反射率边缘概率分布、灰度值边缘概率分布、联合概率分布构建与外参信息相关的损失函数。

在一个实施例中，上述优化单元，具体用于采用预设的梯度下降算法调整损失函数的值，直至损失函数的值满足预设的优化终止条件，得到损失函数优化终止时对应的外参信息。

在一个实施例中，上述优化终止条件包括：损失函数的值小于预设阈值或者损失函数的值的连续变化率处于预设范围。

关于参数标定装置的具体限定可以参见上文中对于参数标定方法的限定，在此不再赘述。上述参数标定装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图1a所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种参数标定方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图1a中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

根据反射率直方图和灰度值直方图构建联合直方图；

在一个实施例中，处理器执行计算机程序时还实现以下步骤：采用预设的梯度下降算法调整损失函数的值，直至损失函数的值满足预设的优化终止条件，得到损失函数优化终止时对应的外参信息。

上述实施例提供的一种计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

根据反射率直方图和灰度值直方图构建联合直方图；

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：采用预设的梯度下降算法调整损失函数的值，直至损失函数的值满足预设的优化终止条件，得到损失函数优化终止时对应的外参信息。

上述实施例提供的一种计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory， SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims

1.一种参数标定方法，其特征在于，所述方法包括：

获取第一传感器与故障传感器之间的第一位置信息，以及第一传感器与第二传感器之间的第二位置信息；所述第二传感器为替换所述故障传感器的传感器；

根据所述第一位置信息与所述第二位置信息之间的位置信息变化值，对所述第一传感器与所述第二传感器之间外参信息进行调整；

2.根据权利要求1所述的方法，其特征在于，所述位置信息变化值包括：相对角度变化值和相对位置变化值；

则所述根据所述第一位置信息和第二位置信息之间的变化值，对所述第一传感器与所述第二传感器之间外参信息进行调整，包括：

对所述外参信息中的旋转矩阵增加所述相对角度变化值，对所述外参信息中的平移矩阵增加所述相对位置变化值。

3.根据权利要求2所述的方法，其特征在于，所述第一传感器为摄像设备，所述故障传感器和所述第二传感器均为激光雷达；

则所述根据所述点云与图像之间的映射关系，对调整后的外参信息进行标定，包括：

根据点云与图像之间的映射关系和调整后的外参信息，将所述第二传感器采集的点云数据映射到图像上，得到点云平面图像；

基于所述点云数据中点云的反射率、所述点云平面图像中像素点的灰度值，构建与所述外参信息相关的损失函数；

优化所述损失函数，直至所述损失函数满足预设的优化终止条件，得到所述损失函数优化终止时对应的外参信息。

4.根据权利要求3所述的方法，其特征在于，所述根据点云与图像之间的映射关系和调整后的外参信息，将所述第二传感器采集的点云数据映射到图像上，得到点云平面图像，包括：

获取所述点云数据中的点云点在世界坐标系中的坐标和所述摄像设备内参信息；

将所述调整后的外参信息、所述摄像设备的内参信息、所述点云数据中的点云点在世界坐标系中的坐标，代入所述点云与图像之间的映射关系中，计算得到所述点云数据中的点云点在像素坐标系中的坐标；

根据所述点云数据中的点云点在像素坐标系中的坐标，得到所述点云平面图像。

5.根据权利要求3所述的方法，其特征在于，所述基于所述点云数据中点云的反射率、所述点云平面图像中像素点的灰度值，构建与所述外参信息相关的损失函数，包括：

根据所述点云数据中点云的反射率构建反射率直方图，根据所述点云平面图像中像素点的灰度值构建灰度值直方图；

根据所述反射率直方图和所述灰度值直方图构建联合直方图；

基于所述反射率直方图、所述灰度值直方图和所述联合直方图构建与所述外参信息相关的损失函数。

6.根据权利要求5所述的方法，其特征在于，所述基于所述反射率直方图、所述灰度值直方图和所述联合直方图构建与所述外参信息相关的损失函数，包括：

根据所述反射率直方图计算反射率边缘概率分布，根据所述灰度值直方图计算灰度值边缘概率分布，根据所述联合直方图计算联合概率分布；

根据所述反射率边缘概率分布、所述灰度值边缘概率分布、所述联合概率分布构建与所述外参信息相关的损失函数。

7.根据权利要求3所述的方法，其特征在于，所述优化所述损失函数，直至所述损失函数满足预设的优化终止条件，得到所述损失函数优化终止时对应的外参信息，包括：

采用预设的梯度下降算法调整所述损失函数的值，直至所述损失函数的值满足预设的优化终止条件，得到所述损失函数优化终止时对应的外参信息。

8.根据权利要求7所述的方法，其特征在于，所述优化终止条件包括：所述损失函数的值小于预设阈值或者所述损失函数的值的连续变化率处于预设范围。

9.一种参数标定装置，其特征在于，所述装置包括：

位置信息获取模块，用于获取第一传感器与故障传感器之间的第一位置信息，以及第一传感器与第二传感器之间的第二位置信息；所述第二传感器为替换所述故障传感器的传感器；

变化值获取模块，用于根据所述第一位置信息与所述第二位置信息之间的位置信息变化值，对所述第一传感器与所述第二传感器之间外参信息进行调整；

10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。