CN115712111A

CN115712111A - 一种相机雷达联合标定方法、系统、电子装置、计算机设备及存储介质

Info

Publication number: CN115712111A
Application number: CN202211388091.1A
Authority: CN
Inventors: 洪津津; 何贝; 刘鹤云; 张岩
Original assignee: Beijing Sinian Zhijia Technology Co ltd
Current assignee: Beijing Sinian Zhijia Technology Co ltd
Priority date: 2022-11-07
Filing date: 2022-11-07
Publication date: 2023-02-24

Abstract

本申请涉及一种相机雷达标定方法、系统、电子装置、计算机设备及存储介质，方法包括：采集相机和雷达对应标定板不同位姿的数据集合，建立联合标定模型；获取相机的内参和外参，计算得到相机法线；对标定板曲面拟合，获取雷达法线；筛选不同位姿组成一组位姿，计算每组位姿的质量稳定性，挑选同组中质量稳定性最小的位姿；当联合标定模型中所有组位姿完成质量稳定性的挑选，同时将挑选完的标定参数泛化到场景中，即完成相机雷达联合标定。通过客观评价采集的不同位姿数据集合可靠性，定量的计算出每组位姿的优劣，从而摈弃了误差较大的位姿数据，最大可能的满足了整个场景下的标定参数。

Description

一种相机雷达联合标定方法、系统、电子装置、计算机设备及存储介质

技术领域

本申请涉及标定技术领域，特别是涉及一种相机雷达联合标定方法、系统、电子装置、计算机设备及存储介质。

背景技术

激光雷达能够快速，精确地获取环境中的距离信息，对弱纹理区域具有较高的鲁棒性。摄像机能够获得致密丰富的纹理信息，但无法获取深度。两类数据具有较好的互补性(稀疏vs.稠密，几何vs.纹理)，融合两种模态的数据，可以对周围环境进行更全面的感知。近年来，随着激光雷达设备成本的日趋平民化，获取三维点云的技术门槛逐年降低，融合可见光图像及雷达深度数据的设备，已被广泛应用于自动驾驶、工业机器人导航、企业数字孪生、航拍测量等相关领域。基于雷达及可见光相机设备进行环境感知的一个关键核心技术问题，即两种设备之间的高精度联合标定。从技术的角度来看，激光雷达获取的点云数据与摄像机获取的可见光图像属于不同模态的数据，由于雷达点云数据的稀疏性且具有一定的系统测量误差，(导航定位场景中的激光雷达测量误差范围在厘米量级)，寻找两类数据之间的可观察的且可靠的几何特征对应关系并非易事，激光雷达与相机的联合标定是国内外科技工作者着力探索一个研究方向。

目前，相机雷达联合标定的方法主要有在线和离线两种方式，在线标定主要是通过在点云和相机图像中提取特征点的方式进行标定，但是在线标定也是需要较好的初始数值。因此，快捷准确的离线标定极为重要。离线标定常见的是棋盘格标定法，特殊几何形状标定法以及角点检测标定法。

主要缺陷在于：激光点云在标定板边缘容易有较多的噪声，拟合的误差较大，又比较难估计整个场景下的标定参数；同时标定过程中比较复杂，未能客观测量标定流程下输入和输出数据的质量，间接的增加了标定的难度。

发明内容

本申请实施例提供了一种相机雷达联合标定方法，主要是优化标定样本的选择，提出了一个质量可变性的评价标准，自动化选择数据，从而较大限度减少用户采集数据外界因素的影响。该度量标准客观的对每个采集的标定样本计算出相应的得分，加上通过投影整个点云估计得出的校准参数能够满足整个场景，而不仅仅适合单个位姿，从而有效的克服现有标定算法中的过拟合问题，提供较为准确的校准结果。

第一方面，本申请实施例提供了一种相机雷达联合标定方法，包括以下步骤：

采集相机和雷达对应标定板不同位姿的数据集合，建立联合标定模型；

获取相机的内参和外参，计算得到相机法线；

对标定板曲面拟合，获取雷达法线；

筛选不同位姿组成一组位姿，计算每组位姿的质量稳定性，挑选同组中质量稳定性最小的位姿；

当联合标定模型中所有组位姿完成质量稳定性的挑选，同时将挑选完的标定参数泛化到场景中，即完成相机雷达联合标定。

在其中一些实施例中，所述方法还包括以下步骤：

根据相机法线和雷达法线参数计算旋转矩阵，根据旋转矩阵将相机法线和相应的雷达法线对齐。

在其中一些实施例中，所述筛选不同位姿组成一组位姿，具体包括以下步骤：

随机选择使用不同位姿的3个位姿数据进行同组评估。

在其中一些实施例中，所述质量稳定性由旋转参数和平移参数组成。

在其中一些实施例中，所述旋转参数的计算公式如下：

k(N)＝||N^-1N||，其中，k(N)表示为矩阵N的秩；

k_LC＝max{k(N_L)，k(N_C)}，k_LC表示为旋转参数，k(N_L)表示为雷达法线矩阵的秩，k(N_C)表示为相机法线矩阵的秩。

在其中一些实施例中，所述平移参数的计算公式如下：

e_dim表示为位姿的误差，l_L，i表示为标定板计算尺寸，l_M，i表示为标定板实际尺寸；

e_be表示为平移参数，e_dim，j表示为同组位姿的误差。

第二方面，本申请实施例提供了一种相机雷达联合标定系统，包括：

标定模型单元，用于采集相机和雷达对应标定板不同位姿的数据集合，建立联合标定模型；

相机单元，用于获取相机的内参和外参，计算得到相机法线；

雷达单元，用于对标定板曲面拟合，获取雷达法线；

优化单元，用于筛选不同位姿组成一组位姿，计算每组位姿的质量稳定性，挑选同组中质量稳定性最小的位姿；

标定单元，用于当联合标定模型中所有组位姿完成质量稳定性的挑选，同时将挑选完的标定参数泛化到场景中，即完成相机雷达联合标定。

第三方面，本申请实施例提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述第一方面所述的相机雷达标定方法。

第四方面，本申请实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面的相机雷达标定方法。

第五方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面的相机雷达标定的方法的步骤。

相比于相关技术，本申请实施例提供的相机雷达标定的方法，采集相机和雷达对应标定板不同位姿的数据集合，建立联合标定模型；获取相机的内参和外参，计算得到相机法线；对标定板曲面拟合，获取雷达法线；筛选不同位姿组成一组位姿，计算每组位姿的质量稳定性，挑选同组中质量稳定性最小的位姿；当联合标定模型中所有组位姿完成质量稳定性的挑选，同时将挑选完的标定参数泛化到场景中，即完成相机雷达联合标定。通过客观评价采集的不同位姿数据集合可靠性，定量的计算出每组位姿的优劣，从而摈弃了误差较大的位姿数据，同时最大可能的满足了整个场景下的标定参数，并非单一独立的位姿，同时大大减少了标定工作者的难度，提高了标定的速度。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是相关技术的相机雷达标定方法的终端的硬件结构框图；

图2是本实施例的相机雷达标定方法的流程图；

图3是本实施例的相机雷达标定系统的结构示意图；

图4为本实施例的相机雷达标定方法的联合标定参数效果图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

本实施例提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。以运行在终端上为例，图1是本发明实施例的相机雷达标定方法的终端的硬件结构框图。如图1所示，终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限定。例如，终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的相机雷达标定方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括终端10的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

本实施例提供了一种相机雷达标定方法，图2是根据本申请实施例的相机雷达标定方法的流程图，如图2所示，该流程包括如下步骤：

S100：采集相机和雷达对应标定板不同位姿的数据集合，建立联合标定模型；

在步骤S100中，将标定板分别放在地面前倾、后倾、左倾、右倾、正面五个姿态，采集不低于45个位姿。

S200：获取相机的内参和外参，计算得到相机法线；

在步骤S200中，采用张正友标定法获相机的内参和外参。

S300：对标定板曲面拟合，获取雷达法线；

在步骤S300中，使用随机采样法RANSAC对标定板曲线进行拟合获得雷达法线。

S400：筛选不同位姿组成一组位姿，计算每组位姿的质量稳定性，挑选同组中质量稳定性最小的位姿；

S500：当联合标定模型中所有组位姿完成质量稳定性的挑选，同时将挑选完的标定参数泛化到场景中，即完成相机雷达联合标定。

通过上述步骤S100～S500，采集相机和雷达对应标定板不同位姿的数据集合，建立联合标定模型；获取相机的内参和外参，计算得到相机法线；对标定板曲面拟合，获取雷达法线；筛选不同位姿组成一组位姿，计算每组位姿的质量稳定性，挑选同组中质量稳定性最小的位姿；当联合标定模型中所有组位姿完成质量稳定性的挑选，同时将挑选完的标定参数泛化到场景中，即完成相机雷达联合标定。通过客观评价采集的不同位姿数据集合可靠性，定量的计算出每组位姿的优劣，从而摈弃了误差较大的位姿数据，同时最大可能的满足了整个场景下的标定参数，并非单一独立的位姿，同时大大减少了标定工作者的难度，提高了标定的速度。

除上述步骤外，在步骤S300和步骤S400之间，还包括以下步骤：

旋转矩阵的计算方法如下：

N_C表示为相机法线，

N_L表示为雷达法线，

在本实施例中，步骤S400中所述筛选不同位姿组成一组位姿，具体包括以下步骤：

随机选择使用不同位姿的3个位姿数据进行同组评估。

在这项工作中，没有使用多个位姿对单个标定结果，而是选择了使用多个3个位姿集的方法，以获得具有不确定性的标定参数的鲁棒估计。用3构成完全约束式，也使N_L和N_C成为方阵，使用方阵可以对矩阵进行更有意义的分析。

在其中一些实施例中，所述质量稳定性VOQ由旋转参数k_LC和平移参数e_be组成。质量稳定性VOQ的计算公式如下：

VOQ＝k_LC+e_be。

在其中一些实施例中，法向量矩阵若行列式为零时，平行六面体几乎没有意义，因此可通过矩阵的秩判断矩阵的线性相关性。所述旋转参数的计算公式如下：

k(N)＝||N-¹N||，其中，k(N)表示为矩阵N的秩；

在其中一些实施例中，在距离激光雷达距离过近或过远时，棋盘格测量误差较大。为了较好的评估测量的精度，使用标定板实际尺寸和计算尺寸差和表示，即平移参数e_be，所述平移参数e_be的计算公式如下：

_edim表示为位姿的误差，l_L，i表示为标定板计算尺寸，l_M，i表示为标定板实际尺寸；

e_be表示为平移参数，e_dim，j表示为同组位姿的误差。

在本实施例中，对于同一组位姿，较低的质量稳定性VOQ可以更好的标定参数泛化到场景中，标定的可变性也更小。如图4所示，采用了45组VOQ分数较低的所有可能的数据组合，平均投影误差为0.6cm，像素误差1.2pixel。

需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本实施例还提供了一种相机雷达联合标定方法，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图3是根据本申请实施例的相机雷达联合标定系统的结构框图，如图3所示，一种相机雷达联合标定系统，包括：

标定模型单元10，用于采集相机和雷达对应标定板不同位姿的数据集合，建立联合标定模型；

相机单元20，用于获取相机的内参和外参，计算得到相机法线；

雷达单元30，用于对标定板曲面拟合，获取雷达法线；

优化单元40，用于筛选不同位姿组成一组位姿，计算每组位姿的质量稳定性，挑选同组中质量稳定性最小的位姿；

标定单元50，用于当联合标定模型中所有组位姿完成质量稳定性的挑选，同时将挑选完的标定参数泛化到场景中，即完成相机雷达联合标定。

相机雷达联合标定系统，采集相机和雷达对应标定板不同位姿的数据集合，建立联合标定模型；获取相机的内参和外参，计算得到相机法线；对标定板曲面拟合，获取雷达法线；筛选不同位姿组成一组位姿，计算每组位姿的质量稳定性，挑选同组中质量稳定性最小的位姿；当联合标定模型中所有组位姿完成质量稳定性的挑选，同时将挑选完的标定参数泛化到场景中，即完成相机雷达联合标定。通过客观评价采集的不同位姿数据集合可靠性，定量的计算出每组位姿的优劣，从而摈弃了误差较大的位姿数据，同时最大可能的满足了整个场景下的标定参数，并非单一独立的位姿，同时大大减少了标定工作者的难度，提高了标定的速度。

在本实施例中，其中，优化单元的具体内容包括以下步骤：

随机选择使用不同位姿的3个位姿数据进行同组评估；

计算3个位姿的质量稳定性；

挑选同组中质量稳定性最小的位姿。

其中，对于为什么选择3个位姿数据的原因如下：在这项工作中，没有使用多个位姿对单个标定结果，而是选择了使用多个3个位姿集的方法，以获得具有不确定性的标定参数的鲁棒估计。用3构成完全约束式，也使N_L和N_C成为方阵，使用方阵可以对矩阵进行更有意义的分析。

质量稳定性VOQ由旋转参数k_LC和平移参数e_be组成。质量稳定性VOQ的计算公式如下：

VOQ＝k_LC+e_be。

在其中一些实施例中，法向量矩阵若行列式为零时，平行六面体几乎没有意义，因此可通过矩阵的秩判断矩阵的线性相关性。旋转参数的计算公式如下：

k(N)＝||N^-1N||，其中，k(N)表示为矩阵N的秩；

在其中一些实施例中，在距离激光雷达距离过近或过远时，棋盘格测量误差较大。为了较好的评估测量的精度，使用标定板实际尺寸和计算尺寸差和表示，即平移参数e_be，平移参数e_be的计算公式如下：

e_be表示为平移参数，e_dim，j表示为同组位姿的误差。

本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S200：获取相机的内参和外参，计算得到相机法线；

在步骤S200中，采用张正友标定法获相机的内参和外参。

S300：对标定板曲面拟合，获取雷达法线；

旋转矩阵的计算方法如下：

NC表示为相机法线，

N_L表示为雷达法线，

随机选择使用不同位姿的3个位姿数据进行同组评估。

VOQ＝k_LC+e_be。

k(N)＝||N-¹N||，其中，k(N)表示为矩阵N的秩；

edim表示为位姿的误差，l_L，i表示为标定板计算尺寸，l_M，i表示为标定板实际尺寸；

e_be表示为平移参数，e_dim，j表示为同组位姿的误差。

需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种相机雷达标定方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，上述结构仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比上述更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

另外，结合上述实施例中的相机雷达标定方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种相机雷达标定方法。

本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims

1.一种相机雷达联合标定方法，其特征在于，包括以下步骤：

获取相机的内参和外参，计算得到相机法线；

对标定板曲面拟合，获取雷达法线；

2.根据权利要求1所述的相机雷达联合标定方法，其特征在于，所述方法还包括以下步骤：

3.根据权利要求1所述的相机雷达联合标定方法，其特征在于，所述筛选不同位姿组成一组位姿，具体包括以下步骤：

随机选择使用不同位姿的3个位姿数据进行同组评估。

4.根据权利要求1或3所述的相机雷达联合标定方法，其特征在于，所述质量稳定性由旋转参数和平移参数组成。

5.根据权利要求4所述的相机雷达联合标定方法，其特征在于，所述旋转参数的计算公式如下：

k(N)＝||N^-1N||，其中，k(N)表示为矩阵N的秩；

k_LC＝max{k(N_L),k(N_C)}，k_LC表示为旋转参数，k(N_L)表示为雷达法线矩阵的秩，k(N_C)表示为相机法线矩阵的秩。

6.根据权利要求4或5所述的相机雷达联合标定方法，其特征在于，所述平移参数的计算公式如下：

e_dim表示为位姿的误差，l_L,i表示为标定板计算尺寸，l_M,i表示为标定板实际尺寸；

e_be表示为平移参数，e_dim,j表示为同组位姿的误差。

7.一种相机雷达联合标定系统，其特征在于，包括：

雷达单元，用于对标定板曲面拟合，获取雷达法线；

8.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至6中任一项所述的方法。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。