CN115359130A - 雷达和相机的联合标定方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明提供一种雷达和相机的联合标定方法、装置、电子设备及存储介质，涉及多传感器融合技术领域，该方法包括：基于图像帧数据，获取每一目标相机的内参数据；根据目标相机和雷达的相对位置关系对全景点云帧数据进行切分，获取目标点云帧数据；基于目标点云帧数据、图像帧数据和目标相机的内参数据，确定目标相机在雷达坐标系下的第一外参数据。本发明实施例提供的雷达和相机的联合标定方法、装置、电子设备及存储介质，便于解决多个相机与环形激光雷达进行联合标定时由于大量无效数据参与计算导致标定繁琐效率低及由于反复试验造成的外参误差问题，达到降低标定所需数据量，减少无用信息造成的数据冗余，从而提高标定效率和精度。

Description

雷达和相机的联合标定方法、装置、电子设备及存储介质

技术领域

本发明涉及多传感器融合技术领域，尤其涉及一种雷达和相机的联合标定方法、装置、电子设备及存储介质。

背景技术

相机图像传感器与激光雷达是环境感知的两种重要传感器。图像传感器在多年的发展下具有分辨率高精度高的优势，图像传感器易受环境光影响，图像传感器的稳定性和鲁棒性较差。激光雷达相对于图像传感器的分辨率较低，但是点云测距精确度非常高，对室外环境的抗干扰能力也强，因此将两者相结合，把激光雷达的稀疏深度数据和致密的图像深度数据相结合可以形成有效的优势互补，是多传感器融合环境感知技术的主流研究方向与重点。

在使用过程中，目前将图像传感器与雷达的融合技术较差，其重要问题在于受图像传感器视场角限制和数据差异的问题，尤其对环形雷达的数据利用率不高，实际使用部分低于环形雷达360°的数据，在计算过程中存在大量无用的数据冗余。且累计对多个图像传感器与激光雷达分别进行一对一标定时，由于分别标定而造成的精度误差导致在同时使用多个图像传感器时对同一场景的构建过程中存在的误差进一步增大。所以，不但导致联合标定的精度较差，还需要耗费大量的计算成本和时间成本。

发明内容

本发明提供一种雷达和相机的联合标定方法、装置、电子设备及存储介质，用以解决现有技术中由于环形线束激光雷达的数据利用率不高导致标定的执行效率较差的缺陷。

本发明提供一种雷达和相机的联合标定方法，包括：

基于图像帧数据，获取每一目标相机的内参数据；

根据所述目标相机和雷达的相对位置关系对全景点云帧数据进行切分，获取目标点云帧数据；

基于所述目标点云帧数据、所述图像帧数据和所述目标相机的内参数据，确定所述目标相机在雷达坐标系下的第一外参数据；

其中，所述目标相机的数量为一个或者多个；所述图像帧数据是每一所述相机所采集的棋盘格标靶在不同位置、高度、角度的图像数据；所述全景点云帧数据是雷达对棋盘格标靶所处环境所采集的点云数据。

根据本发明提供的一种雷达和相机的联合标定方法，在所述确定所述目标相机在雷达坐标系下的第一外参数据之后，还包括：

依次利用任意两个相邻目标相机的重叠图像帧数据对所述第一外参数据进行优化，获取第二外参数据。

根据本发明提供的一种雷达和相机的联合标定方法，所述基于目标点云帧数据、所述图像帧数据和所述目标相机的内参数据，确定所述目标相机在雷达坐标系下的第一外参数据，包括：

基于所述图像帧数据进行位姿估计，确定第一平面；

从所述目标点云帧数据中抽取出标靶点云集合，确定第二平面；

基于所述第一平面和所述第二平面，确定所述第一外参数据；

其中，所述第一平面包括所述棋盘格标靶在相机坐标系中的空间位置信息；所述第二平面包括所述棋盘格标靶在雷达坐标系中的点云位置信息。

根据本发明提供的一种雷达和相机的联合标定方法，所述基于所述第一平面和所述第二平面，确定所述第一外参数据，包括：

基于第一法向量和第二法向量，确定外参矩阵；

基于所述第二平面和所述外参矩阵进行投影后，结合所述第一平面，确定平面误差；

在所述平面误差小于或者等于预设阈值的情况下，基于与所述平面误差对应单帧图像数据，对所述外参矩阵迭代至最优解，以确定所述第一外参数据；

其中，所述第一法向量是基于所述第一平面确定的；所述第二法向量是基于所述第二平面确定的。

根据本发明提供的一种雷达和相机的联合标定方法，所述根据所述目标相机和雷达的相对位置关系对全景点云帧数据进行切分，获取目标点云帧数据，包括：

基于与每一所述图像帧数据匹配的多组全景点云帧数据，获取目标全景点云帧数据；

基于所述目标相机和雷达的相对位置关系，确定第一函数关系和第二函数关系；

基于所述第一函数关系和所述第二函数关系，确定目标切分区域，以供根据所述目标切分区域从所述目标全景点云帧数据抽取出所述目标点云帧数据。

根据本发明提供的一种雷达和相机的联合标定方法，所述依次利用任意两个相邻目标相机的重叠图像帧数据对所述第一外参数据进行优化，获取第二外参数据，包括：

基于任意两个相邻目标相机的内参数据和所述重叠图像帧数据，确定所述相邻目标相机之间的仿射变换矩阵；

基于所述相邻目标相机之间的仿射变换矩阵和所述第一外参数据，获取所述第二外参数据。

根据本发明提供的一种雷达和相机的联合标定方法，所述棋盘格标靶包括一种或者多种尺寸规格的棋盘格标定板。

本发明还提供一种雷达和相机的联合标定装置，包括：

图像数据获取模块，用于基于图像帧数据，获取每一目标相机的内参数据；

点云数据切分模块，用于根据所述目标相机和雷达的相对位置关系对全景点云帧数据进行切分，获取目标点云帧数据；

初始标定模块，用于基于所述目标点云帧数据、所述图像帧数据和所述目标相机的内参数据，确定所述目标相机在雷达坐标系下的第一外参数据；

其中，所述目标相机的数量为一个或者多个；所述图像帧数据是每一所述相机所采集的棋盘格标靶在不同位置、高度、角度的图像数据；所述全景点云帧数据是雷达对棋盘格标靶所处环境所采集的点云数据。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述雷达和相机的联合标定方法。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述雷达和相机的联合标定方法。

本发明提供的雷达和相机的联合标定方法、装置、电子设备及存储介质，基于相机相对雷达的分布情况，对全景点云帧数据进行切分，利用切分到的目标点云帧数据分别与其对应相机进行联合标定，结合经对应相机的内参数据去畸变后的图像帧数据，得到各相机分别相对激光雷达的第一外参数据。便于解决多个相机与环形激光雷达进行联合标定时由于大量无效数据参与计算导致的标定繁琐效率低及由于反复试验造成的外参误差问题，达到降低标定所需数据量，减少无用信息造成的数据冗余，从而提高标定效率和精度。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的雷达和相机的联合标定方法的流程示意图；

图2是本发明提供的环形线束激光雷达和相机视场角的布设示意图；

图3是本发明提供的雷达和相机的联合标定装置的结构示意图；

图4是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。

应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

图1是本发明提供的雷达和相机的联合标定方法的流程示意图。如图1所示，本发明实施例提供的雷达和相机的联合标定方法，包括：步骤101、基于图像帧数据，获取每一目标相机的内参数据。

其中，目标相机的数量为一个或者多个。图像帧数据是每一相机所采集的棋盘格标靶在不同位置、高度、角度的图像数据。

需要说明的是，本发明实施例提供的雷达和相机的联合标定方法的执行主体是雷达和相机的联合标定装置。

本发明实施例提供的雷达和相机的联合标定方法的应用场景为，在相机与雷达进行联合标定时，对雷达扫描点云图进行切分，抽选出与相机对应的有效数据参与标定计算。

本发明实施例中的计算机视觉环境是根据不同的视觉场景需求的雷达传感器和视觉传感器构成。

其中，计算机视觉环境包括但不限于智能机器人的视觉感知、自动驾驶等。

例如，对于自动驾驶场景，雷达传感器则可以为环形线束激光雷达，能360度全方位地查看车辆周围发生的情况。视觉传感器可以为单目相机，识别车辆周围所存在的对象。则经过联合标定后使车辆的处理芯片能够感知到高精度地图。

可以理解的是，视觉传感器的布设数量可以为一个或者多个，并将其中的每一个单目相机均作为目标相机与雷达进行联合标定。

示例性地，图2是本发明提供的环形线束激光雷达和相机视场角的布设示意图。如图2所示，对于自动驾驶的视觉环境则可以由一个雷达传感器和三个视觉传感器（Cam1、Cam2和Cam3）构成。

需要说明的是，在步骤101之前，需要将棋盘格标靶完整地固定放置于每一相机传感器视野范围内，以获取对应相机采集的图像帧数据。

示例性地，棋盘格标靶可以为一个行列分布为5*7，尺寸大小为40cm*60cm，每一棋盘格尺寸为65mm*65mm的标定板。从排列顺序上的第一个相机的视角边缘开始进行数据采集的过程中，调整棋盘格标靶角度、高度及相机视野内位置。例如，在Cam1的视场角内约15°、45°、75°分别距离 4m、5m、10m共九个位置，每个位置调整棋盘格靶标角度及高度，保证棋盘格靶标始终完整地出现在传感器视野中，能对靶标周围可相对保持空旷以便在点云图像中区分靶标与环境。

具体地，在步骤101中，雷达和相机的联合标定装置根据棋盘格角点在对应相机传感器内不同距离、高度、角度的图像帧数据，由目标相机对棋盘格标定板姿态进行评估，描述图像的集合特征，确定图像集的特征之间的匹配，从而确定相机位置与棋盘格标定板所确定的移位之间的对应关系，得到相机内参，即相机焦距与相机在图像坐标系的光轴偏移量。

步骤102、根据目标相机和雷达的相对位置关系对全景点云帧数据进行切分，获取目标点云帧数据。

其中，全景点云帧数据是雷达对棋盘格标靶所处环境所采集的点云数据。

需要说明的是，在步骤102之前，对每一个位置单一固定的角度及高度采集对应图像帧数据的同时，激光雷达采集周围环境的全景点云帧数据。

具体地，在步骤102中，雷达和相机的联合标定装置根据每一个相机在环形线束激光雷达的探测范围内的相对位置关系，结合对应相机的视场角大小从雷达坐标系下的全景点云帧数据中切分出与该相机对应的目标点云帧数据。

步骤103、基于目标点云帧数据、图像帧数据和目标相机的内参数据，确定目标相机在雷达坐标系下的第一外参数据。

具体地，在步骤103中，雷达和相机的联合标定装置从某一目标相机的图像帧数据中的棋盘格内点确定相机坐标系内的标定板平面，在目标点云帧数据中选取属于标定板平面上的点云数据，以便对相机坐标系与雷达坐标系进行校准与标定。再将图像帧数据与对应目标相机的内参数据进行重计算，利用去畸变后的图像帧数据进行目标相机的外参估计，将预估出的相机外参作为第一外参数据进行存储。

示例性地，可以利用改进的自动驾驶框架autoware.ai中的calibration_toolkit标定工具箱的部分功能进行改进与集成实现多相机与雷达联合标定。在确定某一相机坐标系内的标定板平面后，利用工具箱在目标点云帧数据中选取平面上的点实现与其对应相机进行联合标定。通过联合不同角度不同位置的棋盘格标靶，利用已有标定结果与当前位置相结合，对结果进行优化通过多轮迭代得到符合复现标准的初步外参结果。每一轮根据上轮结果进行优化标定，而非重新根据全部数据推算得到新的外参系数，相比于后者本发明效果更好，所需标定数据量低于直接推算。

本发明实施例基于相机相对雷达的分布情况，对全景点云帧数据进行切分，利用切分到的目标点云帧数据分别与其对应相机进行联合标定，结合经对应相机的内参数据去畸变后的图像帧数据，得到各相机分别相对激光雷达的第一外参数据。便于解决多个相机与环形激光雷达进行联合标定时由于大量无效数据参与计算导致的标定繁琐效率低及由于反复试验造成的外参误差问题，达到降低标定所需数据量，减少无用信息造成的数据冗余，从而提高标定效率和精度。

在上述任一实施例的基础上，在确定目标相机在雷达坐标系下的第一外参数据之后，还包括：依次利用任意两个相邻目标相机的重叠图像帧数据对第一外参数据进行优化，获取第二外参数据。

具体地，在步骤103之后，雷达和相机的联合标定装置调用任意两个相邻相机（例如Cm1和Cm2）所采集的重叠图像帧数据的同时，再次启用雷达传感器，根据重叠图像帧数据的棋盘格角点在图像中的变换以及各个相机互相印证，对相机至雷达的投影外参（即第一外参数据）进行调整，降低相邻相机间投影的误差，得到第二外参数据。

可以理解的是，在进行联合标定时无需结合此前单一相机对应视场角单独的目标点云帧数据，而是重新对全景点云帧数据进行切分，仅提取相邻相机的视角场重叠区域的点云数据，以使得多相机和激光雷达的联合标定效率更高且效果更好。

本发明实施例利用任意两个相邻相机的视场角重叠区域的图像数据，使得两个相机与激光雷达形成传感器回环，通过互相印证对第一外参数据进行调整，得到第二外参数据。能够降低激光雷达固有的随机误差造成的影响，提高标定精度与快捷程度。

在上述任一实施例的基础上，基于目标点云帧数据、图像帧数据和目标相机的内参数据，确定目标相机在雷达坐标系下的第一外参数据，包括：基于图像帧数据进行位姿估计，确定第一平面。

其中，第一平面包括棋盘格标靶在相机坐标系中的空间位置信息。

具体地，在步骤103中，雷达和相机的联合标定装置对每次相机采集过程所获取的图像帧数据中的棋盘格内角点对标定板进行姿态估计，利用窗口函数滑动前后的像素值变化确定棋盘格平面在相机坐标系中的对应位置（即相机像素位置信息），再结合标定板的尺寸规格数据（例如标定板的棋盘格行列分布比例、标定板尺寸或者单一棋盘格尺寸），按照邻近四边形的原理进行判别剔除外角点，将剩余的相机像素位置信息换算成空间位置信息，以整合成第一平面。

从目标点云帧数据中抽取出标靶点云集合，确定第二平面。

其中，第二平面包括棋盘格标靶在雷达坐标系中的点云位置信息。

具体地，雷达和相机的联合标定装置通过现有的标记工具在目标点云帧数据中，选取属于棋盘格标靶的标定板的点云数据作为标靶点云集合，以便对第一平面在点云中的位置进行判断，将标靶点云集合所对应点云位置作为第二平面。

优选地，由于目标点云帧数据中所抽取的标靶点云集合不处于同一平面，所以可以利用最小二乘原则对标靶点云集合进行拟合，以确定第二平面。

本发明实施例对标靶点云集合的选取方法不作具体限定。

示例性地，可以使用KD-tree方法在点云平面几何平面中进行标靶点云集合的选取，对这些选取得到的点使用最小二乘法的平面拟合方法，步骤如下：

假设第二平面方程为：

假设平面过重心，对于标靶点云集合过重心的第二平面有：

其中，

、

和

分别为标靶点云集合中 的点云数据的重心三维坐标。

接着进行去重心处理。为方便计算，令

、

和

， 最后构建最小二乘的目标函数为：

对上述式求导可得：

转换成矩阵形式并令上述导数为0，可得：

对等式左边的3*3对称矩阵进行SVD分解，最小的特征值对应的特征向量即为平面方程系数的解。

基于第一平面和第二平面，确定第一外参数据；

具体地，雷达和相机的联合标定装置利用第二平面中的点云数据，计算雷达坐标系中标定平面方程与平面法向量，以便对第一平面在点云数据中的位置进行判断，并通过改变标定板平面的角度、距离、高度迭代出第一外参数据。

本发明实施例基于图像帧数据确定第一平面后，再从目标点云帧数据确定标靶点云对应的第二平面，进而在标定过程中，联合不同角度、不同位置的第一平面，利用已有标定结果与平面所指示的当前位置相结合，对结果进行优化通过多轮迭代得到第一外参数据，提高标定效率和精度。

在上述任一实施例的基础上，基于第一平面和第二平面，确定第一外参数据，包括：基于第一法向量和第二法向量，确定外参矩阵。

其中，第一法向量是基于第一平面确定的。第二法向量是基于第二平面确定的。

具体地，雷达和相机的联合标定装置利用第一平面内所包含的平面信息进行转换计算，获取垂直于第一平面的第一法向量，再利用第二平面内所包含的平面信息进行转换计算，获取垂直于第二平面的第二法向量。通过计算第二法向量向第一法向量转换所对应的映射关系，得到雷达坐标系相对于相机坐标系的外参矩阵。

基于第二平面和外参矩阵进行投影后，结合第一平面，确定平面误差。

具体地，雷达和相机的联合标定装置利用外参矩阵和第二平面内的点云数据向图像进行投影，将外参变换后的像素点到第一平面内像素点进行对比，通过对比结果可量化出对应的平面误差。

在平面误差小于或者等于预设阈值的情况下，基于与平面误差对应单帧图像数据，对外参矩阵迭代至最优解，以确定第一外参数据。

具体地，雷达和相机的联合标定装置将每一帧图像的对应两个平面之间的平面误差与对应的预设阈值进行对比。

若平面误差小于或者等于预设阈值，则将该误差平面所对应的单帧图像数据加入至数据集计算出仿射矩阵，在根据仿射矩阵对单帧图像数据进行自验证，如果满足验证条件则说明单帧图像数据可以参与到外参的迭代中，其迭代过程为，利用单帧图像数据对应的外参矩阵获取其对应的投影结果，在其投影结果满足预设条件的情况下，将单帧图像数据加入至参与外参迭代的图像数据集中，共同计算一个新的外参矩阵。若利用新的外参矩阵对外参迭代的图像数据集进行计算得到的全集误差，相较于原始外参矩阵对外参迭代的图像数据集进行计算得到的全集误差更优，且能满足其投影误差，即认定当前的迭代优化已达到复现标准，则继续迭代直至全部单帧数据集内任一单帧图像数据均无法减小投影误差为止，得出最优的第一外参数据作为输出结果。

若投影误差大于预设阈值，则认定当前的迭代优化还未达到复现标准，则继续对下一帧进行上述优化迭代过程，直至迭代出第一外参数据。

本发明实施例基于第一平面的第一法向量和第二平面的第二法向量确定外参矩阵，通过外参矩阵将第二平面中点云数据投影至图像，利用外参变换后的像素点到第一平面距离最小优化外参，提高标定效率和精度。

在上述任一实施例的基础上，根据目标相机和雷达的相对位置关系对全景点云帧数据进行切分，获取目标点云帧数据，包括：基于与每一图像帧数据匹配的多组全景点云帧数据，获取目标全景点云帧数据。

具体地，在步骤102中，在对每一个位置单一固定的角度及高度的同时，需将环形线束激光雷达保持3-5秒左右，获取N帧包含标定板的全景点云帧数据，进行配准与堆叠，获得稠密的目标全景点云帧数据。

基于目标相机和雷达的相对位置关系，确定第一函数关系和第二函数关系。

具体地，雷达和相机的联合标定装置根据相机和环形线束激光雷达的相对位置关系，对雷达坐标系下的空间轴进行设定，得到第一函数关系和第二函数关系。

其中，第一函数关系和第二函数关系，分别用于限定在以雷达传感器作为原点的空间坐标系下，目标相机对应的感知区域两侧的边缘界限。

可以理解的是，目标相机对应的感知区域应当完全包含目标相机的视场角。

基于第一函数关系和第二函数关系，确定目标切分区域，以供根据目标切分区域从目标全景点云帧数据抽取出目标点云帧数据。

具体地，雷达和相机的联合标定装置可以利用第一函数关系和第二函数关系的设定，在雷达坐标系中按照第一函数关系和第二函数关系所指示的区域界限进行切分，得到目标切分区域。并依照目标切分区域所指示的范围，从目标全景点云帧数据抽取出与对应相机视场角区域所对应的目标点云帧数据，以保证雷达点云数据保持稳定且与相机图像匹配。

本发明实施例基于多组全景点云帧数据进行迭代，并通过相机相对雷达的分布情况，对迭代出的目标全景点云帧数据进行切分，进而利用得到的目标点云帧数据分别与其对应相机进行联合标定，得到各相机分别相对激光雷达的第一外参数据。能够利用多帧图像数据以概率统计的方式消除激光雷达扫描时的固有随机误差提高扫图精度，实现通过切分点云的方式降低运算数据量，不仅得到雷达与相机对应外参，同时对联合的多个传感器可形成回环对外参进行调整，在同时应用时可提高联合标定的精度。

在上述任一实施例的基础上，依次利用任意两个相邻目标相机的重叠图像帧数据对第一外参数据进行优化，获取第二外参数据，包括：基于任意两个相邻目标相机的内参数据和重叠图像帧数据，确定相邻目标相机之间的仿射变换矩阵。

具体地，雷达和相机的联合标定装置分别利用两个相邻目标相机的内参数据对重叠图像帧数据进行去畸变，在根据去畸变后的重叠图像帧数据，计算重叠区域所涉及的相邻相机之间的仿射变换矩阵。

基于相邻目标相机之间的仿射变换矩阵和第一外参数据，获取第二外参数据。

具体地，雷达和相机的联合标定装置利用相邻两个相机之中的其中一个相机所对应的相机坐标系到雷达坐标系的仿射变换矩阵（即第一外参数据），与两个相邻相机之间的仿射变换矩阵进行矩阵计算，得到第二外参数据。

本发明实施例基于重叠图像帧数据确定相邻相机之间的仿射变换矩阵，通过相邻相机之间的仿射变换矩阵和已标定出的第一外参数据进行联合外参调整。实现对外参误差的校准，使得两个相机图像传感器与激光雷达传感器形成传感器回环互相印证对外参系数进行优化，降低激光雷达固有的随机误差造成的影响。

在上述任一实施例的基础上，棋盘格标靶包括一种或者多种尺寸规格的棋盘格标定板。

具体地，雷达和相机的联合标定装置只需要设置棋盘格行列分布比例、标定板尺寸或者单一棋盘格尺寸，可以在标定过程提供对应的规格的棋盘格标定板作为棋盘格标靶。

若棋盘格标靶仅存在一种规格的棋盘格标定板，则在同一时刻仅需判断标定板所在相机的视场角范围进行标定即可。例如，在Cm1视野内时可对雷达切分出对应的视野部分与Cm1进行联合标定。

若棋盘格标靶存在多种规格的棋盘格标定板，则对于每一视野重叠部分需要分别使用对应规格的标定板数据进行校准，此时需要对标定板尺寸进行重新设置。

本发明实施例的标定过程中所设定的棋盘格标靶，不限于一种或者多种尺寸规格的棋盘格标定板。便于解决多个相机与环形激光雷达进行联合标定时由于大量无效数据参与计算导致的标定繁琐效率低及由于反复试验造成的外参误差问题，达到降低标定所需数据量，减少无用信息造成的数据冗余，从而提高标定效率和精度。

图3是本发明提供的雷达和相机的联合标定装置的结构示意图。如图3所示，在上述任一实施例的基础上，该装置包括图像数据获取模块310、点云数据切分模块320和初始标定模块330，其中：

图像数据获取模块310，用于基于图像帧数据，获取每一目标相机的内参数据。

点云数据切分模块320，用于根据目标相机和雷达的相对位置关系对全景点云帧数据进行切分，获取目标点云帧数据。

初始标定模块330，用于基于目标点云帧数据、图像帧数据和目标相机的内参数据，确定目标相机在雷达坐标系下的第一外参数据。

其中，目标相机的数量为一个或者多个。图像帧数据是每一相机所采集的棋盘格标靶在不同位置、高度、角度的图像数据。全景点云帧数据是雷达对棋盘格标靶所处环境所采集的点云数据。

具体地，图像数据获取模块310、点云数据切分模块320和初始标定模块330顺次电连接。

图像数据获取模块310根据棋盘格角点在对应相机传感器内不同距离、高度、角度的图像帧数据，由相机对棋盘格标定板姿态进行评估，描述图像的集合特征，确定图像集的特征之间的匹配，从而确定相机位置与棋盘格标定板所确定的移位之间的对应关系，得到相机内参，即相机焦距与相机在图像坐标系的光轴偏移量。

点云数据切分模块320根据每一个相机在环形线束激光雷达的探测范围内的相对位置关系，结合对应相机的视场角大小从雷达坐标系下的全景点云帧数据中切分出与该相机对应的目标点云帧数据。

初始标定模块330从某一相机的图像帧数据中的棋盘格内点确定相机坐标系内的标定板平面，在目标点云帧数据中选取属于标定板平面上的点云数据，以便对相机坐标系与雷达坐标系进行校准与标定，结合得到的对应相机的内参数据进行重计算，将该相机相对于环形线束激光雷达的相机外参作为第一外参数据进行存储。

可选地，该装置还包括标定优化模块，其中：

标定优化模块，用于依次利用任意两个相邻目标相机的重叠图像帧数据对第一外参数据进行优化，获取第二外参数据。

可选地，初始标定模块330包括第一平面确定模块、第二平面确定模块和初始标定单元，其中：

第一平面确定模块，用于基于图像帧数据进行位姿估计，确定第一平面。

第二平面确定模块，用于从目标点云帧数据中抽取出标靶点云集合，确定第二平面。

初始标定单元，用于基于第一平面和第二平面，确定第一外参数据。

其中，第一平面包括棋盘格标靶在相机坐标系中的空间位置信息。第二平面包括棋盘格标靶在雷达坐标系中的点云位置信息。

可选地，初始标定单元包括单帧外参确定子单元、单帧外参验证子单元和外参确定子单元，其中：

单帧外参确定子单元，用于基于第一法向量和第二法向量，确定外参矩阵。

单帧外参验证子单元，用于基于第二平面和外参矩阵进行投影后，结合第一平面，确定平面误差。

外参确定子单元，用于在平面误差小于或者等于预设阈值的情况下，基于与平面误差对应单帧图像数据，对外参矩阵迭代至最优解，以确定第一外参数据；

其中，第一法向量是基于第一平面确定的；第二法向量是基于第二平面确定的。

可选地，点云数据切分模块320包括全景点云配准单元、相对位置确定单元和切分单元，其中：

全景点云配准单元，用于基于与每一图像帧数据匹配的多组全景点云帧数据，获取目标全景点云帧数据。

相对位置确定单元，用于基于目标相机和雷达的相对位置关系，确定第一函数关系和第二函数关系。

切分单元，用于基于第一函数关系和第二函数关系，确定目标切分区域，以供根据目标切分区域从目标全景点云帧数据抽取出目标点云帧数据。

可选地，标定优化模块包括相邻相机变换单元和标定优化单元，其中：

相邻相机变换单元，用于基于任意两个相邻目标相机的内参数据和重叠图像帧数据，确定相邻目标相机之间的仿射变换矩阵。

标定优化单元，用于基于相邻目标相机之间的仿射变换矩阵和第一外参数据，获取第二外参数据。

可选地，棋盘格标靶包括一种或者多种尺寸规格的棋盘格标定板。

本发明实施例提供的雷达和相机的联合标定装置，用于执行本发明上述雷达和相机的联合标定方法，其实施方式与本发明提供的雷达和相机的联合标定方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。

本发明实施例基于相机相对雷达的分布情况，对全景点云帧数据进行切分，利用切分到的目标点云帧数据分别与其对应相机进行联合标定，结合经对应相机的内参数据去畸变后的图像帧数据，得到各相机分别相对激光雷达的第一外参数据。便于解决多个相机与环形激光雷达进行联合标定时由于大量无效数据参与计算导致的标定繁琐效率低及由于反复试验造成的外参误差问题，达到降低标定所需数据量，减少无用信息造成的数据冗余，从而提高标定效率和精度。

图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器（processor）410、通信接口（Communications Interface）420、存储器（memory）430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行雷达和相机的联合标定方法，该方法包括：基于图像帧数据，获取每一目标相机的内参数据；根据目标相机和雷达的相对位置关系对全景点云帧数据进行切分，获取目标点云帧数据；基于目标点云帧数据、图像帧数据和目标相机的内参数据，确定目标相机在雷达坐标系下的第一外参数据；其中，目标相机的数量为一个或者多个；图像帧数据是每一相机所采集的棋盘格标靶在不同位置、高度、角度的图像数据；全景点云帧数据是雷达对棋盘格标靶所处环境所采集的点云数据。

此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的雷达和相机的联合标定方法，该方法包括：基于图像帧数据，获取每一目标相机的内参数据；根据目标相机和雷达的相对位置关系对全景点云帧数据进行切分，获取目标点云帧数据；基于目标点云帧数据、图像帧数据和目标相机的内参数据，确定目标相机在雷达坐标系下的第一外参数据；其中，目标相机的数量为一个或者多个；图像帧数据是每一相机所采集的棋盘格标靶在不同位置、高度、角度的图像数据；全景点云帧数据是雷达对棋盘格标靶所处环境所采集的点云数据。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的雷达和相机的联合标定方法，该方法包括：基于图像帧数据，获取每一目标相机的内参数据；根据目标相机和雷达的相对位置关系对全景点云帧数据进行切分，获取目标点云帧数据；基于目标点云帧数据、图像帧数据和目标相机的内参数据，确定目标相机在雷达坐标系下的第一外参数据；其中，目标相机的数量为一个或者多个；图像帧数据是每一相机所采集的棋盘格标靶在不同位置、高度、角度的图像数据；全景点云帧数据是雷达对棋盘格标靶所处环境所采集的点云数据。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种雷达和相机的联合标定方法，其特征在于，包括：

基于图像帧数据，获取每一目标相机的内参数据；

根据所述目标相机和雷达的相对位置关系对全景点云帧数据进行切分，获取目标点云帧数据；

基于所述目标点云帧数据、所述图像帧数据和所述目标相机的内参数据，确定所述目标相机在雷达坐标系下的第一外参数据；

其中，所述目标相机的数量为一个或者多个；所述图像帧数据是所述目标相机所采集的棋盘格标靶在不同位置、高度、角度的图像数据；所述全景点云帧数据是雷达对棋盘格标靶所处环境所采集的点云数据。

2.根据权利要求1所述的雷达和相机的联合标定方法，其特征在于，在所述确定所述目标相机在雷达坐标系下的第一外参数据之后，还包括：

依次利用任意两个相邻目标相机的重叠图像帧数据对所述第一外参数据进行优化，获取第二外参数据。

3.根据权利要求1所述的雷达和相机的联合标定方法，其特征在于，所述基于目标点云帧数据、所述图像帧数据和所述目标相机的内参数据，确定所述目标相机在雷达坐标系下的第一外参数据，包括：

基于所述图像帧数据进行位姿估计，确定第一平面；

从所述目标点云帧数据中抽取出标靶点云集合，确定第二平面；

基于所述第一平面和所述第二平面，确定所述第一外参数据；

其中，所述第一平面包括所述棋盘格标靶在相机坐标系中的空间位置信息；所述第二平面包括所述棋盘格标靶在雷达坐标系中的点云位置信息。

4.根据权利要求3所述的雷达和相机的联合标定方法，其特征在于，所述基于所述第一平面和所述第二平面，确定所述第一外参数据，包括：

基于第一法向量和第二法向量，确定外参矩阵；

基于所述第二平面和所述外参矩阵进行投影后，结合所述第一平面，确定平面误差；

在所述平面误差小于或者等于预设阈值的情况下，基于与所述平面误差对应单帧图像数据，对所述外参矩阵迭代至最优解，以确定所述第一外参数据；

其中，所述第一法向量是基于所述第一平面确定的；所述第二法向量是基于所述第二平面确定的。

5.根据权利要求1所述的雷达和相机的联合标定方法，其特征在于，所述根据所述目标相机和雷达的相对位置关系对全景点云帧数据进行切分，获取目标点云帧数据，包括：

基于与每一所述图像帧数据匹配的多组全景点云帧数据，获取目标全景点云帧数据；

基于所述目标相机和雷达的相对位置关系，确定第一函数关系和第二函数关系；

基于所述第一函数关系和所述第二函数关系，确定目标切分区域，以供根据所述目标切分区域从所述目标全景点云帧数据抽取出所述目标点云帧数据。

6.根据权利要求2所述的雷达和相机的联合标定方法，其特征在于，所述依次利用任意两个相邻目标相机的重叠图像帧数据对所述第一外参数据进行优化，获取第二外参数据，包括：

基于任意两个相邻目标相机的内参数据和所述重叠图像帧数据，确定所述相邻目标相机之间的仿射变换矩阵；

基于所述相邻目标相机之间的仿射变换矩阵和所述第一外参数据，获取所述第二外参数据。

7.根据权利要求1所述的雷达和相机的联合标定方法，其特征在于，所述棋盘格标靶包括一种或者多种尺寸规格的棋盘格标定板。

8.一种雷达和相机的联合标定装置，其特征在于，包括：

图像数据获取模块，用于基于图像帧数据，获取每一目标相机的内参数据；

点云数据切分模块，用于根据所述目标相机和雷达的相对位置关系对全景点云帧数据进行切分，获取目标点云帧数据；

初始标定模块，用于基于所述目标点云帧数据、所述图像帧数据和所述目标相机的内参数据，确定所述目标相机在雷达坐标系下的第一外参数据；

其中，所述目标相机的数量为一个或者多个；所述图像帧数据是每一所述相机所采集的棋盘格标靶在不同位置、高度、角度的图像数据；所述全景点云帧数据是雷达对棋盘格标靶所处环境所采集的点云数据。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述雷达和相机的联合标定方法。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述雷达和相机的联合标定方法。

Images