CN114387352A

CN114387352A - 一种外参标定方法、装置、设备及存储介质

Info

Publication number: CN114387352A
Application number: CN202111643786.5A
Authority: CN
Inventors: 宁作涛; 聂继伟; 冯若梅; 胡骏; 刘威; 袁淮; 曹斌
Original assignee: Neusoft Reach Automotive Technology Shenyang Co Ltd
Current assignee: Neusoft Reach Automotive Technology Shenyang Co Ltd
Priority date: 2021-12-29
Filing date: 2021-12-29
Publication date: 2022-04-22

Abstract

本申请公开了一种外参标定方法、装置、设备及存储介质，包括：获取第一传感器的第一特征信息、第一位姿信息和第二传感器的第二特征信息、第二位姿信息，第一特征信息包括第三特征信息和第四特征信息，第二特征信息包括第五特征信息和第六特征信息；基于第一位姿信息、第二位姿信息以及初始外参确定第一误差参数；当第一误差参数大于第一预设误差参数时，基于第三特征信息和第五特征信息确定标定外参；基于第四特征信息、第六特征信息以及标定外参确定第二误差参数；当第二误差参数小于或等于第二预设误差参数时，输出标定外参。该外参标定方法可以实时获取多传感器的数据，在线监测和标定外参，提高多传感器外参标定的准确性。

Description

一种外参标定方法、装置、设备及存储介质

技术领域

本申请涉及数据处理技术领域，尤其涉及一种外参标定方法、装置、设备及存储介质。

背景技术

自动驾驶技术可以利用多传感器感知和人工智能技术协同完成车辆的规划与控制任务，从而实现在无需驾驶员参与的情况下自动控制车辆。SLAM，即同步定位与建图，关系自动驾驶车辆在特定场景能否安全准确地执行任务，对自动驾驶技术具有较大影响。

相比于SLAM系统中使用的单一传感器，利用多传感器融合定位技术可以使整个SLAM系统具有更好的鲁棒性，而多传感器之间外参标定的准确性直接影响SLAM系统的正常工作。

现存大多数SLAM系统只能完成多传感器外参的离线标定，无法解决传感器在工作过程中产生的位姿偏移等问题，导致标定的多传感器之间的外参具有较低的准确性。

发明内容

本申请实施例提供了一种外参标定方法、装置、设备及存储介质，以便提高外参标定的准确性。

第一方面，本身请实施例提供了一种外参标定方法，所述方法包括：

基于第一传感器的数据和第二传感器的数据，获取所述第一传感器的第一特征信息、第一位姿信息以及所述第二传感器的第二特征信息、第二位姿信息，其中，所述第一特征信息包括第三特征信息和第四特征信息，所述第二特征信息包括第五特征信息和第六特征信息；

基于所述第一位姿信息、所述第二位姿信息以及初始外参，确定第一误差参数；

当所述第一误差参数大于第一预设误差参数时，基于所述第三特征信息和所述第五特征信息，确定标定外参；

基于所述第四特征信息、所述第六特征信息以及所述标定外参，确定第二误差参数；

当所述第二误差参数小于或等于所述第二预设误差参数时，输出所述标定外参。

在一种可能的实现方式中，所述基于所述第三特征信息和所述第五特征信息，确定标定外参包括：

对所述第三特征信息和所述第五特征信息进行特征校验；

当所述第三特征信息满足第一特征校验条件并且所述第五特征信息满足第二特征校验条件时，利用手眼标定的方法确定所述标定外参；

否则，利用互信息MI的方法确定所述标定外参。

在一种可能的实现方式中，所述利用MI的方法确定所述标定外参包括：

基于所述第三特征信息，确定所述第一传感器的灰度概率分布；

基于所述第五特征信息和所述初始外参，确定所述第二传感器的强度概率分布；

基于所述灰度概率分布和所述强度概率分布确定MI，对所述MI进行迭代求解，确定所述MI的最大值；

基于所述MI的最大值确定所述标定外参。

在一种可能的实现方式中，所述基于所述第一位姿信息、所述第二位姿信息以及初始外参，确定第一误差参数包括：

基于所述第一位姿信息和所述第二位姿信息，确定位姿矩阵；

基于所述位姿矩阵和所述初始外参，确定所述第一误差参数。

在一种可能的实现方式中，所述基于所述第四特征信息、所述第六特征信息以及所述标定外参，确定第二误差参数包括：

利用随机抽样一致RANSAC方法将所述第四特征信息和所述第六特征信息组成特征对，其中，所述特征对包括目标第四特征信息和目标第六特征信息；

基于所述目标第四特征信息、所述目标第六特征信息以及所述标定外参，确定所述第二误差参数。

第二方面，本申请实施例提供了一种外参标定装置，所述装置包括：获取模块、第一误差校验模块、外参标定模块、第二误差校验模块以及输出模块；

所述获取模块，用于基于第一传感器的数据和第二传感器的数据，获取所述第一传感器的第一特征信息、第一位姿信息以及所述第二传感器的第二特征信息、第二位姿信息，其中，所述第一特征信息包括第三特征信息和第四特征信息，所述第二特征信息包括第五特征信息和第六特征信息；

所述第一误差校验模块，用于基于所述第一位姿信息、所述第二位姿信息以及初始外参，确定第一误差参数；

所述外参标定模块，用于当所述第一误差参数大于第一预设误差参数时，基于所述第三特征信息和所述第五特征信息，确定标定外参；

所述第二误差校验模块，用于基于所述第四特征信息、所述第六特征信息以及所述标定外参，确定第二误差参数；

所述输出模块，用于当所述第二误差参数小于或等于所述第二预设误差参数时，输出所述标定外参。

在一种可能的实现方式中，所述外参标定模块，具体用于对所述第三特征信息和所述第五特征信息进行特征校验；

否则，利用互信息MI的方法确定所述标定外参。

在一种可能的实现方式中，所述第二误差校验模块，具体用于利用随机抽样一致RANSAC方法将所述第四特征信息和所述第六特征信息组成特征对，其中，所述特征对包括目标第四特征信息和目标第六特征信息；

第三方面，本申请实施例提供了一种外参标定设备，所述设备包括：存储器以及处理器；

所述存储器用于存储相关的程序代码；

所述处理器用于调用所述程序代码，执行上述第一方面任意一种实现方式所述的外参标定方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行上述第一方面任意一种实现方式所述的外参标定方法。

由此可见，本申请实施例具有如下有益效果：

在本申请实施例的上述实现方式中，基于第一传感器的数据和第二传感器的数据，获取第一传感器的第一特征信息、第一位姿信息以及第二传感器的第二特征信息、第二位姿信息，其中，第一特征信息包括第三特征信息和第四特征信息，第二特征信息包括第五特征信息和第六特征信息；基于第一位姿信息、第二位姿信息以及初始外参，确定第一误差参数；当第一误差参数大于第一预设误差参数时，基于第三特征信息和第五特征信息，确定标定外参；基于第四特征信息、第六特征信息以及标定外参，确定第二误差参数；当第二误差参数小于或等于第二预设误差参数时，输出标定外参。本申请实施例所提供的外参标定方法，在自动驾驶车辆工作时，可以实时获取多传感器的数据，并实时在线监测和标定外参，提高多传感器外参标定的准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见，下面描述中的附图仅仅是本申请中提供的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本申请实施例中一种外参标定方法的流程图；

图2为本申请实施例中一种外参标定装置的示意图；

图3为本申请实施例中一种外参标定设备的示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述，所描述的实施例仅为本申请示例性的实施方式，并非全部实现方式。本领域技术人员可以结合本申请的实施例，在不进行创造性劳动的情况下，获得其他的实施例，而这些实施例也在本申请的保护范围之内。

同步定位与建图(Simultaneous Localization And Mapping，SLAM)的问题可以描述为：将一个机器人放入未知环境中的未知位置，是否有办法让机器人一边移动一边逐步描绘出此环境完全的地图，所谓完全的地图是指不受障碍行进到房间可进入的每个角落。即在未知环境中，从一个未知位置开始移动，移动过程中根据位置和地图进行自身定位，同时在自身定位的基础上建造增量式地图，实现自主定位和导航。

多传感器融合SLAM系统进行外参标定时，常用的传感器为相机和激光雷达，相机和激光雷达在返回所采集的数据时都是基于自身自带的坐标系，所以雷达-相机的外参标定问题可以描述成两个坐标系之间的旋转和平移。

位姿代表位置和姿态，任何一个刚体在空间坐标系(O-XYZ)中可以用位置和姿态来唯一表示其位置状态。其中，位置：x、y、z坐标，姿态：刚体与OX轴的夹角rx、与OY轴的夹角ry、与OZ轴的夹角rz。

基于此，本身请实施例提供了一种外参标定方法，以便提高外参标定的准确性。具体实现时，首先基于第一传感器的数据和第二传感器所采集的数据，获取第一传感器的第一特征信息、第一位姿信息以及第二传感器的第二特征信息、第二位姿信息，其中，第一特征信息包括第三特征信息和第四特征信息，第二特征信息包括第五特征信息和第六特征信息；基于第一位姿信息、第二位姿信息以及初始外参，确定第一误差参数；当第一误差参数大于第一预设误差参数时，基于第三特征信息和第五特征信息，确定标定外参；基于第四特征信息、第六特征信息以及标定外参，确定第二误差参数；当第二误差参数小于或等于第二预设误差参数时，输出标定外参。本申请实施例所提供的外参标定方法，在自动驾驶车辆工作时，可以实时获取多传感器的数据，并实时在线监测和标定外参，提高多传感器外参标定的准确性。

下面将结合附图对本申请实施例提供的外参标定方法进行说明。

参见图1，图1为本申请实施例中一种外参标定方法的流程图。

该方法具体包括以下步骤：

S101：基于第一传感器的数据和第二传感器的数据，获取第一传感器的第一特征信息、第一位姿信息以及第二传感器的第二特征信息、第二位姿信息，其中，第一特征信息包括第三特征信息和第四特征信息，第二特征信息包括第五特征信息和第六特征信息。

在本申请实施例中，第一传感器以相机为例，第二传感器以激光雷达为例进行说明。

在一种可能的实现方式中，可以将第一传感器和第二传感器所采集的数据输入到自动驾驶系统的SLAM功能模块中，SLAM功能模块对数据进行处理，获取第一传感器的第一特征信息、第一位姿信息和第二传感器的第二特征信息、第二位姿信息，其中，第一特征信息包括第三特征信息和第四特征信息，第二特征信息包括第五特征信息和第六特征信息。

在本实施例中，第三特征信息和第五特征信息为低级特征信息，第四特征信息和第六特征信息为高级特征信息，第一传感器的第三特征信息包括：特征点(角点)，角点就是极值点，即在某方面属性特别突出的点，第四特征信息包括：结构线特征，即自然环境下建筑或其他物体的边缘轮廓线特征；第二传感器的第五特征信息包括：特征，即由点组成的线或面，第六特征信息包络：结构线特征。

S102：基于第一位姿信息、第二位姿信息以及初始外参，确定第一误差参数。

在一种可能的实现方式中，第一误差校验模块可以基于第一位姿信息、第二位姿信息以及初始外参进行位姿对齐，确定第一误差参数。

具体地，基于第一位姿信息和第二位姿信息，确定位姿矩阵；然后基于位姿矩阵和初始外参，确定第一误差参数。

在本实施例中，以T表示初始外参，以pose_1表示第一位姿信息，可记作

pose_2表示第二位姿信息，可记作

E1表示第一误差参数。本实施例提供一种确定第一误差参数的计算方式，即基于第一位姿信息和第二位姿信息确定位姿矩阵为

然后基于位姿矩阵和初始外参确定第一误差参数

S103：当第一误差参数大于第一预设误差参数时，基于第三特征信息和第五特征信息，确定标定外参。

当第一误差参数小于或等于第一预设误差参数时，表明初始外参在误差允许的范围内，不需要对初始外参重新标定；当第一误差参数大于第一预设误差参数时，需要对初始外参进行重新标定，基于第一传感器的第三特征信息和第二传感器的第五特征信息，确定标定外参。

由于位姿信息中包括位置信息和姿态信息，所以在对第一误差参数进行校验时，可以将误差参数矩阵划分为两个维度，即位移误差和角度误差，分别判断位移误差和角度误差是否超过预设误差值。

在一种可能的实现方式中，对第三特征信息和第五特征信息进行特征校验，当第三特征信息满足第一特征校验条件并且第五特征信息满足第二特征校验条件时，利用手眼标定的方法确定标定外参；否则，利用互信息(Mutual Information，MI)的方法确定标定外参。

具体实现时，将第三特征信息进行量化，判断其量化后的特征点个数是否大于等于每640*480像素图200个特征点，如果是，则第三特征信息满足第一特征校验条件；将第五特征信息进行量化，判断其量化后的特征个数是否大于折合64线束、分辨率为0.2*0.2度的激光雷达中每帧点云所包含的50个特征，如果是，则第五特征信息满足第二特征校验条件。

当第三特征信息满足第一特征校验条件并且第五特征信息满足第二特征校验条件时，利用手眼标定的方法确定标定外参。如果上述两个特征校验条件中至少有一个不满足，则利用基于强度与灰度值的MI方法确定标定外参。

下面将结合具体实施例介绍手眼标定的原理，例如，人的眼睛看到一个东西的时候要让手去抓取，就需要大脑知道眼睛和手的坐标关系。如果把大脑比作B，把眼睛比作A，把手比作C，如果知道A和B的关系，知道B和C的关系，那么就可以知道C和A的关系，即手和眼的坐标关系。

MI是信息论里一种有用的信息度量，可以看成是一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性。

利用MI方法确定标定外参时，首先基于第三特征信息，确定第一传感器的灰度概率分布，即根据图像数据统计其灰度概率分布；基于第五特征信息和初始外参，确定第二传感器的强度概率分布，即通过初始外参将点云数据投影到像素坐标，统计其强度概率分布；基于所得到的灰度概率分布和强度概率分布确定MI的值，并对MI进行迭代求解，从而确定MI的最大值；当MI为最大值时所对应的外参即为标定外参。

需要说明的是，上述实施例方法中所确定的标定外参为一种粗标定方法，下面还需要对粗标定的外参进行误差校验。

S104：基于第四特征信息、第六特征信息以及标定外参，确定第二误差参数。

得到标定外参之后，基于第四特征信息、第六特征信息以及标定外参，确定第二误差参数。

在一种可能的实现方式中，利用随机抽样一致(Random Sample Consensus，RANSAC)方法将第四特征信息和第六特征信息组成特征对，其中，该特征对包括目标第四特征信息和目标第六特征信息；基于目标第四特征信息、目标第六特征信息以及标定外参，确定第二误差参数。

RANSAC方法是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法。

具体地，利用K最近邻分类算法(K-NearestNeighbor，KNN)将第四特征信息和第六特征信息进行分类，并将目标第四特征信息和目标第六特征信息组成特征对。

以E2表示第二误差参数，feature_1表示目标第四特征信息，feature_2表示目标第六特征信息，T_fine表示标定外参，则本实施例中一种计算第二误差参数的方式为：E2＝T_fine*feature_1-feature_2。

S105：当第二误差参数小于或等于第二预设误差参数时，输出标定外参。

当第二误差参数小于或等于第二预设误差参数时，则表明标定参数符合精标定的要求，输出标定外参，如果第二误差参数大于第二预设误差参数，则表明标定外参不符合精标定的要求，则需要重新获取第一传感器和第二传感器的数据，对初始外参重新标定。

本申请实施例所提供的外参标定方法，在自动驾驶车辆工作时，可以实时获取多传感器的数据，并实时在线监测和标定外参，提高多传感器外参标定的准确性和实时性。

虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。应当理解，本申请的方法实施例中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施例可以包括附加的步骤和/或省略执行示出的步骤。本申请的保护范围在此方面不受限制。

基于上述方法实施例，本申请实施例还提供一种外参标定装置，参见图2，图2为本申请实施例中外参标定装置的示意图。

如图2所示，该装置200包括获取模块201、第一误差校验模块202、外参标定模块203、第二误差校验模块204以及输出模块205；

获取模块201，用于基于第一传感器的数据和第二传感器的数据，获取第一传感器的第一特征信息、第一位姿信息以及第二传感器的第二特征信息、第二位姿信息，其中，第一特征信息包括第三特征信息和第四特征信息，第二特征信息包括第五特征信息和第六特征信息；

第一误差校验模块202，用于基于第一位姿信息、第二位姿信息以及初始外参，确定第一误差参数；

外参标定模块203，用于当第一误差参数大于第一预设误差参数时，基于第三特征信息和第五特征信息，确定标定外参；

第二误差校验模块204，用于基于第四特征信息、第六特征信息以及标定外参，确定第二误差参数；

输出模块205，用于当第二误差参数小于或等于第二预设误差参数时，输出标定外参。

第一误差校验模块202，具体用于基于第一位姿信息和第二位姿信息，确定位姿矩阵；基于位姿矩阵和初始外参，确定第一误差参数。

外参标定模块203，具体用于对第三特征信息和第五特征信息进行特征校验；当第三特征信息满足第一特征校验条件并且第五特征信息满足第二特征校验条件时，利用手眼标定的方法确定标定外参；否则，利用互信息MI的方法确定标定外参。

外参标定模块203，具体用于基于第三特征信息，确定第一传感器的灰度概率分布；基于第五特征信息和初始外参，确定第二传感器的强度概率分布；基于灰度概率分布和强度概率分布确定MI，对MI进行迭代求解，确定MI的最大值；基于MI的最大值确定标定外参。

第二误差校验模块204，具体用于利用随机抽样一致RANSAC方法将第四特征信息和第六特征信息组成特征对，其中，特征对包括目标第四特征信息和目标第六特征信息；基于目标第四特征信息、目标第六特征信息以及标定外参，确定第二误差参数。

本申请实施例提供的外参标定装置所具有的有益效果参见上述方法实施例，在此不再赘述。

基于上述方法实施例和装置实施例，本申请实施例还提供一种外参标定设备，参见图3，图3为本申请实施例中一种外参标定设备的示意图，

该设备300包括：存储器301以及处理器302；

存储器301用于存储相关的程序代码；

处理器302用于调用所述程序代码，执行上述方法实施例所述的外参标定方法。

此外，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行上述方法实施例所述的外参标定方法。

需要说明的是，本申请中使用的术语“第一”和“第二”是用于区别类似的对象，而不用于描述特定顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。

描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定。

需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本类似于方法实施例，所以描述得比较简单，相关部分参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元或模块可以是或者也可以不是物理上分开的，作为单元或模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上，可以根据实际需要选择其中的部分或者全部单元或模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅是本申请示例性的实施方式，并非对本申请做任何形式上的限制。对以上实施例所做的等同变化或修改，均属于本申请的保护范围。

Claims

1.一种外参标定方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述第三特征信息和所述第五特征信息，确定标定外参包括：

对所述第三特征信息和所述第五特征信息进行特征校验；

否则，利用互信息MI的方法确定所述标定外参。

3.根据权利要求2所述的方法，其特征在于，所述利用MI的方法确定所述标定外参包括：

基于所述MI的最大值确定所述标定外参。

4.根据权利要求1所述的方法，其特征在于，所述基于所述第一位姿信息、所述第二位姿信息以及初始外参，确定第一误差参数包括：

5.根据权利要求1所述的方法，其特征在于，所述基于所述第四特征信息、所述第六特征信息以及所述标定外参，确定第二误差参数包括：

6.一种外参标定装置，其特征在于，所述装置包括：获取模块、第一误差校验模块、外参标定模块、第二误差校验模块以及输出模块；

7.根据权利要求6所述的装置，其特征在于，所述外参标定模块，具体用于对所述第三特征信息和所述第五特征信息进行特征校验；

否则，利用互信息MI的方法确定所述标定外参。

8.根据权利要求6所述的方法，其特征在于，所述第二误差校验模块，具体用于利用随机抽样一致RANSAC方法将所述第四特征信息和所述第六特征信息组成特征对，其中，所述特征对包括目标第四特征信息和目标第六特征信息；

9.一种外参标定设备，其特征在于，所述设备包括：存储器以及处理器；

所述存储器用于存储相关的程序代码；

所述处理器用于调用所述程序代码，执行权利要求1至5任一项所述的外参标定方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行权利要求1至5任一项所述的外参标定方法。