CN117953082A - 一种激光雷达与相机联合标定方法、系统和电子设备 - Google Patents

Abstract

本申请涉及传感器标定领域，公开了一种激光雷达与相机联合标定方法、系统和电子设备。该方法包括：获取全景相机和激光雷达位于相距目标建筑物的多个不同距离时分别同步扫描目标建筑物所得到的初始图像以及点云数据；从同一距离处扫描的多个初始图像中选取扫描时间为目标时刻的目标图像，提取目标图像的图像特征；提取点云数据中的点云特征；对图像特征和点云特征进行特征关联，计算存在特征关联的图像特征和点云特征之间的最小特征距离，以得到优化后的标定外参。本实施例通过分别对不同距离处扫描得到的点云数据和初始图像进行联合标定，进而消除激光雷达的距离误差，使得标定结果更为精准和可靠。

Description

一种激光雷达与相机联合标定方法、系统和电子设备

技术领域

本申请涉及激光器领域，尤其涉及一种激光雷达与相机联合标定方法、系统和电子设备。

背景技术

随着智能网联汽车技术的发展，出现了多传感器联合标定技术。目前，在激光雷达和相机的联合标定过程中，当前主流的实现标定物在激光雷达与相机之间坐标配对的方法是通过激光雷达多点拟合辅助的方法。例如，标记物为一块标定板，上面印刷有标定图案用于相机图像识别，选取出该标定板在激光雷达中的点云，通过平面拟合的方法拟合出标定板在激光雷达中的方位，然后根据标定图案在标定板上的印刷位置，推算出标定图案在激光雷达中的三维坐标，再与标定图案在相机中的像素坐标配对计算。

然而，采用平面拟合的方法会引入拟合误差，而且特别是对于低线束的激光雷达，由于稀疏的线束密度会导致标定板的拟合误差增大，增大配对误差，从而导致标定精度下降严重。因此，如何提高激光雷达与相机联合标定的精度是个亟需解决的问题。

发明内容

有鉴于此，为了解决现有技术存在的问题，本申请提供了一种激光雷达与相机联合标定方法、装置、系统和电子设备。

第一方面，本申请提供一种激光雷达与相机联合标定方法，包括：

获取全景相机和激光雷达位于相距目标建筑物的多个不同距离时分别同步扫描所述目标建筑物所得到的初始图像以及点云数据；

从同一距离处扫描的多个所述初始图像中选取扫描时间为目标时刻的目标图像，提取所述目标图像的图像特征；

提取所述点云数据中的点云特征；

对所述图像特征和所述点云特征进行特征关联，计算存在特征关联的所述图像特征和所述点云特征之间的最小特征距离，以得到优化后的标定外参。

在可选的实施方式中，所述从同一距离处扫描的多个所述初始图像中选取扫描时间为目标时刻的目标图像，包括：

从位于同一距离处且同一时间段扫描得到的各所述初始图像中选取扫描时间为目标时刻的初始图像，作为当前距离处扫描得到的目标图像；其中，所述目标时刻为所述同一时间段内的中间时刻，或为所述中间时刻至终止时刻的时间段内的任一时刻；

分别获取所述多个不同距离处对应的所述目标图像。

在可选的实施方式中，所述对所述图像特征和所述点云特征进行特征关联，包括：

对所述图像特征和所述点云特征中隶属于同一类型的特征进行特征关联；其中，获取扫描同一距离时对应得到的所述图像特征和所述点云特征；

通过初始标定外参将所述点云特征投影至同一类型的所述图像特征上，以建立同一类型的所述图像特征与所述点云特征之间的特征关联关系；所述类型包括边缘特征、线特征、点特征、面特征、区域特征、纹理特征、颜色特征和空间关系特征中的任一种或多种。

在可选的实施方式中，所述对所述图像特征和所述点云特征进行特征关联，包括：

根据同一类型的所述图像特征和所述点云特征中各个特征点的向量关系，构建外参矩阵和相机内参矩阵；计算所述外参矩阵与所述相机内参矩阵的乘积，得到投影方程，所述投影方程用于指示所述图像特征中各个特征点和所述点云特征中各个特征点之间的映射关系。

在可选的实施方式中，所述计算存在特征关联的所述图像特征和所述点云特征之间的最小特征距离，包括：

采用非线性优化算法来计算存在特征关联的所述图像特征和所述点云特征之间的最小特征距离；其中，所述最小特征距离满足所述图像特征、所述点云特征以及初始标定外参之间的目标线性关系。

在可选的实施方式中，所述提取所述点云数据中的点云特征，包括：

累加位于不同距离时扫描得到的点云数据，得到多帧点云地图；

均匀化采样各所述点云地图，并采用点云提线算法从各所述点云地图中提取目标类型的点云特征。

在可选的实施方式中，所述提取所述目标图像的图像特征，包括：

采用图像特征提取算法从所述目标图像中提取目标图像特征；所述图像特征提取算法包括AI图像分割算法、OpenCV图像特征提取算法、深度学习算法中的任一种或多种；

其中，若所述目标图像特征为边缘图像特征，所述提取所述目标图像的图像特征，包括：

对所述目标图像进行高斯模糊处理，得到高斯图像；

将所述高斯图像转换为灰度图像，计算所述灰度图像在二维空间内对应不同坐标轴方向的梯度值；

线性混合所述不同坐标轴方向的梯度值，得到线性混合图像；其中，所述线性混合图像中各个特征点组合形成所述目标图像的边缘特征。

第二方面，本申请提供一种激光雷达与相机联合标定装置，包括：

获取模块，用于获取全景相机和激光雷达位于相距目标建筑物的多个不同距离时分别同步扫描所述目标建筑物所得到的初始图像以及点云数据；

第一提取模块，用于从同一距离处扫描的多个所述初始图像中选取扫描时间为目标时刻的目标图像，提取所述目标图像的图像特征；

第二提取模块，用于提取所述点云数据中的点云特征；

关联模块，用于对所述图像特征和所述点云特征进行特征关联，计算存在特征关联的所述图像特征和所述点云特征之间的最小特征距离，以得到优化后的标定外参。

第三方面，本申请提供一种激光雷达与相机联合标定系统，包括：

全景相机，用于在相距目标建筑物的多个不同距离处扫描所述目标建筑物，得到初始图像；

激光雷达，包括处理器，用于接收来自所述全景相机的所述初始图像，并执行如前述的激光雷达与相机联合标定方法。

第四方面，本申请提供一种带有激光雷达的电子设备，所述电子设备包括存储器和至少一个处理器，所述存储器存储有计算机程序，所述处理器用于执行所述计算机程序以实施前述的激光雷达与相机联合标定方法。

本申请实施例具有如下有益效果：

本申请实施例提供了一种激光雷达与相机联合标定方法，该方法包括：获取全景相机和激光雷达位于相距目标建筑物的多个不同距离时分别同步扫描目标建筑物所得到的初始图像以及点云数据；从同一距离处扫描的多个初始图像中选取扫描时间为目标时刻的目标图像，提取目标图像的图像特征；提取点云数据中的点云特征；对图像特征和点云特征进行特征关联，计算存在特征关联的图像特征和点云特征之间的最小特征距离，以得到优化后的标定外参。本实施例通过分别对不同距离处扫描得到的点云数据和初始图像进行联合标定，进而消除激光雷达的距离误差，使得标定结果更为精准和可靠。并且，本实施例通过对不同距离处扫描得到的点云数据和初始图像进行预处理后再执行后续的标定参数的优化过程，以保证用于执行标定参数优化的图像和点云数据的可靠性，从而提高联合标定的精度。此外，本实施例可适配应用于自动驾驶、机器人等领域，且无需采用额外的标定设备来辅助标定，节省了成本，进一步扩大了应用场景和应用范围，具有较好的实用性。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对本申请保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。

图1示出了本申请实施例中激光雷达与相机联合标定方法的第一个流程示意图；

图2示出了本申请实施例中激光雷达与相机联合标定方法的第二个流程示意图；

图3示出了本申请实施例中激光雷达与相机联合标定方法的第三个流程示意图；

图4示出了本申请实施例中激光雷达与相机联合标定装置的一个结构示意图。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。

通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

在下文中，可在本申请的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。

此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本申请的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本申请的各种实施例中被清楚地限定。

本申请实施例提供了一种激光雷达与相机联合标定系统；示范性地，该系统包括全景相机和激光雷达，其中，该激光雷达包括处理器，该处理器用于对数据进行相应处理。值得说明的是，该系统及其方法可适用于如三维重建、自动驾驶、机器人等领域或应用场景中，通过建立激光雷达与相机之间 全局特征的几何关系来保证激光雷达与相机在同一坐标系下的坐标配准。

在实际应用场景中，该全景相机和激光雷达绑定在一起，在位于相距目标建筑物的多个不同距离处，同步扫描目标建筑物，以对应获取到同一距离处的图像数据和点云数据，进而后续激光雷达通过处理器对图像数据和点云数据进行处理，以实现全景相机和激光雷达的联合标定。

在一实施方式中，本实施例中的激光雷达与相机联合标定系统还可以包括独立的处理器，该处理器用于获取激光雷达和全景相机扫描得到的图像数据以及点云数据，进而对该图像数据和点云数据进行处理，以实现全景相机和激光雷达的联合标定。

可以理解，该激光雷达可集处理器于一身，进而可仅通过激光雷达来直接对该图像数据和点云数据进行处理，实现激光雷达和全景相机的联合标定；或者，该处理器为单独的设备，基于该独立的处理器来对图像数据和点云数据进行处理。其中，上述处理器的具体设置形式可根据实际需求进行设置，在此不做限定。

具体地，上述激光雷达与相机联合标定系统执行激光雷达与相机联合标定的详细过程可以参考下述激光雷达与相机联合标定方法的实施例。

在一些示例中，请参照图1，在激光雷达与相机联合标定过程中，激光雷达可执行下述步骤：

S10，获取全景相机和激光雷达位于相距目标建筑物的多个不同距离时分别同步扫描目标建筑物所得到的初始图像以及点云数据。

S20，从同一距离处扫描的多个初始图像中选取扫描时间为目标时刻的目标图像，提取目标图像的图像特征。

示范性地，在激光雷达上挂载全景相机，并使得激光雷达和全景相机位于相距目标建筑物的多个不同距离处，以同步扫描目标建筑物，对应得到初始图像和点云数据。其中，本实施例采用全景相机来获取目标建筑物的图像，可获取到完整的全景图像，方便后续从扫描到的图像中提取较多且清晰的图像特征，提高图像特征提取以及联合标定的可靠性。

可以理解，将搭载有全景相机的激光雷达放置于距离目标建筑物的多个不同距离处，在不同距离处分别通过全景相机和激光雷达同步多次扫描该目标建筑物；其中，该目标建筑物可以选取场景较为丰富的建筑物，而不同距离的设置以及在同一距离处的扫描次数具体可根据实际需求进行设置，本实施例对此并不加以限定。

在得到不同距离处扫描的初始图像和点云数据后，分别对该初始图像和点云数据进行预处理。

具体而言，如图2所示，对初始图像的预处理过程包括：

S21，从位于同一距离处且同一时间段扫描得到的各初始图像中选取扫描时间为目标时刻的初始图像，作为当前距离处扫描得到的目标图像。

其中，目标时刻为同一时间段内的中间时刻，或为中间时刻至终止时刻的时间段内的任一时刻。

S22，分别获取多个不同距离处对应的目标图像。

也即是，从同一距离处扫描得到的初始图像中选取扫描时间靠后的图像作为目标图像，实现初始图像的筛选，后续对该目标图像进行处理以实现对激光雷达和相机的联合标定，提高标定可靠性。其中，每次对同一距离处扫描得到的初始图像中选取扫描时间中间或中间靠后的图像，即是为避免扫描前期相机不稳定而导致扫描的图像质量差，进而，获取扫描时间靠后的图像以保证扫描的图像质量稳定，进而后续对该图像进行处理实现激光雷达和全景相机联合标定的准确度和可靠性。

而后，采用图像特征提取算法从目标图像中提取目标图像特征；其中，图像特征提取算法包括AI图像分割算法、OpenCV图像特征提取算法、深度学习算法中的任一种或多种。

其中，本实施例在提取图像特征时，可根据一种或多种图像特征提取算法来提取特征，进而，可得到一种类型或多种类型的图像特征，其中，该图像特征包括边缘特征、线特征、点特征、面特征、区域特征、纹理特征、颜色特征和空间关系特征中的任一种。可选的，可提取目标类型的图像特征作为目标图像特征，该目标类型具体可根据实际需求进行设置，在此不做限定。

示范性地，若从目标图像中提取的是边缘特征时，如图3所示，其具体过程可以包括如下步骤：

S23，对目标图像进行高斯模糊处理，得到高斯图像。

S24，将高斯图像转换为灰度图像，计算灰度图像在二维空间内对应不同坐标轴方向的梯度值。

S25，线性混合不同坐标轴方向的梯度值，得到线性混合图像，其中，线性混合图像中各个特征点组合形成目标图像的边缘特征。

也即是，通过对目标图像进行一系列的高斯模糊、灰度化以及线性混合处理，得到的线性混合图像可用于描述目标图像的边缘特征。

在一实施方式中，对点云数据的预处理过程包括：累加位于不同距离时扫描得到的点云数据，得到多帧点云地图；均匀化采样各点云地图。也即是，对不同距离处扫描得到的点云进行累加，对应形成多帧点云地图，对该点云地图进行均匀化采样，使得点云地图对应的三维空间中分布的各个点云点间隔尽量均匀，避免有的地方点云很密，有的地方点云较稀疏，从而使得点云更加密集，有利于后续提取点云的边缘特征。其中，点云均匀化采样的具体过程本实施例在此并不加以限定。

S30，提取点云数据中的点云特征。

在本实施例中，可采用相应的点云特征提取算法来从预处理后的点云数据中提取点云特征。其中，与提取的图像特征的类型相对应，本实施例在提取点云特征时，可根据一种或多种点云特征提取算法来提取特征，进而，可得到一种类型或多种类型的点云特征，其中，该点云特征包括边缘特征、线特征、点特征、面特征、区域特征、纹理特征、颜色特征和空间关系特征中的任一种。与此同理，可提取与图像特征对应的目标类型的点云特征作为目标点云特征，该目标类型具体可根据实际需求进行设置，在此不做限定。

具体地，采用点云提线算法从累加得到的各点云地图中提取目标类型的点云特征。其中，该点云特征的具体提取过程可根据实际需求进行设置，本实施例对此并不加以限定。

S40，对图像特征和点云特征进行特征关联，计算存在特征关联的图像特征和点云特征之间的最小特征距离，以得到优化后的标定外参。

进一步地，在提取得到图像特征和点云特征后，对该图像特征和点云特征进行特征关联。具体地，对图像特征和点云特征中隶属于同一类型的特征进行特征关联，也即是，若该图像特征和点云特征分别包含不同类型的特征，则从中选取隶属于同一类型的图像特征和点云特征进行关联。

示例的，若该图像特征包括图像边缘特征和图像点特征，点云特征包括点云边缘特征和点云点特征，则对图像边缘特征和点云边缘特征进行特征关联，以及对图像点特征和点云点特征进行特征关联。

值的说明的是，本实施例并不限定进行特征关联的特征类型的数量，也即是，本实施例可对一种相同类型的图像特征和点云特征进行特征关联，或是，对两种或两种以上相同类型的图像特征和点云特征进行特征关联。

可以理解，在提取图像特征和点云特征时，即可预先确定待需提取特征的类型及其类型的数量。示例的，在提取图像特征和点云特征时，可预先规定需提取边缘特征类型的图像特征和点云特征，进而在提取到图像边缘特征（即image_feature_map）和点云边缘特征（即lidar_pointcloud_edges）后，可根据需求来选择提取其他类型或不提取其他类型的特征，后续仅对图像边缘特征和点云边缘特征进行特征关联。

进一步地，获取扫描同一距离时对应得到的图像特征和点云特征；通过初始标定外参将点云特征投影至同一类型的图像特征上，以建立同一类型的图像特征与点云特征之间的特征关联关系。

针对不同距离处得到的图像特征和点云特征对应进行特征关联，也即是，分别对同一距离处扫描得到且隶属于同一类型的图像特征和点云特征对应进行特征关联。

具体地，通过初始标定外参将对同一距离处扫描得到的点云特征投影至同一类型的图像特征上；其中，该标定外参（即T_camera_lidar）即是激光雷达和全景相机所处的空间转换关系；也即是，通过该标定外参可以将激光雷达和全景相机转换到同一个坐标系。可以理解，点云特征投影至相对应的图像特征即是将点云地图上的各个特征点投影至图像特征对应的特征图上。

在将点云特征投影至图像特征时，通过平移和旋转坐标系的转换操作，将点云特征和图像特征转换至同一坐标系下，也即是，通过构建外参矩阵将点云特征对应的特征点转换至相机坐标系中，而后通过构建相机内参矩阵将点云特征投影到图像平面中。具体地，根据同一类型的点云特征和图像特征，构建外参矩阵和相机内参矩阵，计算外参矩阵与相机内参矩阵的乘积，得到投影方程，其中，该投影方程用于指示同一类型的图像特征中各个特征点和点云特征中各个特征点之间的映射关系。

可以理解，分别根据同一类型的图像特征和点云特征中各个特征点的向量关系，构建外参矩阵和相机内参矩阵；计算外参矩阵与相机内参矩阵的乘积，得到投影方程，其中，该投影方程用于指示图像特征的各个特征点和点云特征中各个特征点之间的映射关系；该相机内参矩阵即为用于描述全景相机内在参数的矩阵，该相机内参矩阵可描述全景相机模型的一般属性，相机内参包括相机的焦距、像素大小等属性信息。外参矩阵用于模拟特征点在坐标系之间的坐标转换，该外参矩阵为预设平移向量和用于描述三维空间内三个坐标轴旋转的旋转矩阵之间的组合矩阵。

示例的，若特征关联的类型为边缘特征，则从图像特征中提取出图像边缘特征，以及从点云特征中提取出点云边缘特征，对图像边缘特征和点云边缘特征进行特征关联；其中，根据图像边缘特征和点云边缘特征中各个特征点的向量关系，构建外参矩阵和相机内参矩阵；计算外参矩阵与相机内参矩阵的乘积，得到投影方程。

进一步地，对点云特征以及图像特征进行特征关联后实现两特征之间的映射，再最小化两特征之间的距离，以得到优化后的标定外参。

示例的，点云边缘特征（即lidar_pointcloud_edges）通过初始标定外参（T_camera_lidar）投影到同一类型的图像边缘特征（image_feature_map）上，得到，这样可以使用非线性优化算法最小化已投影到图像边缘特征上的点云边缘特征（即lidar_feature_map）的各特征点与图像边缘特征（image_feature_map）的各特征点的距离，来获取最优的激光雷达到全景相机之间的标定外参，进而实现激光雷达与全景相机的联合标定。

在本实施例中，采用非线性优化算法来计算存在特征关联的图像特征和点云特征之间的最小特征距离；其中，最小特征距离满足图像特征、点云特征以及标定外参之间的目标线性关系。

具体地，采用非线性优化求解器（即Ceres），根据图像特征、点云特征以及初始标定外参之间的目标线性关系来优化图像特征与点云特征之间的最小特征距离，进而得到优化后的标定外参；也即是，通过非线性优化求解器，使得image_feature_map = T_camera_lidar*lidar_feature_map这个等式关系可能成立，进而得到优化后的标定外参（T_camera_lidar）。

在本实施例中，可通过上述步骤分别对不同距离处扫描得到的点云数据和初始图像进行联合标定，进而消除激光雷达的距离误差，使得标定结果更为精准和可靠。其次，本实施例通过对不同距离处扫描得到的点云数据和初始图像进行预处理后再执行后续的标定参数的优化过程，以保证用于执行标定参数优化的图像和点云数据的可靠性，从而提高联合标定的精度。此外，本实施例并不需要采用额外的标定设备，避免激光雷达因重复扫描特性和不可避免的震动使得点云的噪声明显时需要专门定制标定板来辅助标定，即本实施例并不需要专门定制标定板来辅助标定，节省了成本。

如图4所示，本申请实施例提供了一种激光雷达与相机联合标定装置，该装置包括：

获取模块110，用于获取全景相机和激光雷达位于相距目标建筑物的多个不同距离时分别同步扫描所述目标建筑物所得到的初始图像以及点云数据；

第一提取模块120，用于从同一距离处扫描的多个所述初始图像中选取扫描时间为目标时刻的目标图像，提取所述目标图像的图像特征；

第二提取模块130，用于提取所述点云数据中的点云特征；

关联模块140，用于对所述图像特征和所述点云特征进行特征关联，计算存在特征关联的所述图像特征和所述点云特征之间的最小特征距离，以得到优化后的标定外参。

可以理解，本实施例的激光雷达与相机联合标定装置对应于上述实施例的激光雷达与相机联合标定方法，上述实施例中的可选项同样适用于本实施例，故在此不再重复描述。

本申请实施例还提供了一种带有激光雷达的电子设备，该电子设备的存在形式不作限定。示范性地，该电子设备包括处理器和存储器，其中，存储器存储有计算机程序，处理器通过运行所述计算机程序，以使计算机设备执行本申请的激光雷达与相机联合标定方法，其中，该方法包括：获取全景相机和激光雷达位于相距目标建筑物的多个不同距离时分别同步扫描目标建筑物所得到的初始图像以及点云数据；从同一距离处扫描的多个初始图像中选取扫描时间为目标时刻的目标图像，提取目标图像的图像特征；提取点云数据中的点云特征；对图像特征和点云特征进行特征关联，计算存在特征关联的图像特征和点云特征之间的最小特征距离，以得到优化后的标定外参；进而，本实施例分别对不同距离处扫描得到的点云数据和初始图像进行联合标定，进而消除激光雷达的距离误差，使得标定结果更为精准和可靠。此外，本实施例通过对不同距离处扫描得到的点云数据和初始图像进行预处理后再执行后续的标定参数的优化过程，以保证用于执行标定参数优化的图像和点云数据的可靠性，从而提高联合标定的精度。

其中，处理器可以是一种具有信号的处理能力的集成电路芯片。处理器可以是通用处理器，包括中央处理器（Central Processing Unit，CPU）、图形处理器（GraphicsProcessing Unit，GPU）及网络处理器（Network Processor，NP）、数字信号处理器（DSP）、专用集成电路（ASIC）、现成可编程门阵列（FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件中的至少一种。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。

其中，存储器可以是，但不限于，随机存取存储器（Random Access Memory，RAM），只读存储器（Read Only Memory，ROM），可编程只读存储器（Programmable Read-OnlyMemory，PROM），可擦除只读存储器（Erasable Programmable Read-Only Memory，EPROM），电可擦除只读存储器（Electric Erasable Programmable Read-Only Memory，EEPROM）等。其中，存储器用于存储计算机程序，处理器在接收到执行指令后，可相应地执行所述计算机程序。

此外，本申请还提供了一种计算机存储介质，用于储存上述计算机设备中使用的所述计算机程序，其中，所述计算机程序在处理器上执行时，实施上述实施例的激光雷达与相机联合标定方法，该方法包括：获取全景相机和激光雷达位于相距目标建筑物的多个不同距离时分别同步扫描目标建筑物所得到的初始图像以及点云数据；从同一距离处扫描的多个初始图像中选取扫描时间为目标时刻的目标图像，提取目标图像的图像特征；提取点云数据中的点云特征；对图像特征和点云特征进行特征关联，计算存在特征关联的图像特征和点云特征之间的最小特征距离，以得到优化后的标定外参。

可以理解，上述实施例的激光雷达与相机联合标定方法中的可选项同样适用于本实施例，故在此不再重复描述。

上述计算机存储介质可以是非易失性存储介质，也可以是易失性存储介质。例如，该计算机存储介质可包括但不限于为：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是智能手机、个人计算机、服务器、或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种激光雷达与相机联合标定方法，其特征在于，包括：

获取全景相机和激光雷达位于相距目标建筑物的多个不同距离时分别同步扫描所述目标建筑物所得到的初始图像以及点云数据；

从同一距离处扫描的多个所述初始图像中选取扫描时间为目标时刻的目标图像，提取所述目标图像的图像特征；

提取所述点云数据中的点云特征；

对所述图像特征和所述点云特征进行特征关联，计算存在特征关联的所述图像特征和所述点云特征之间的最小特征距离，以得到优化后的标定外参。

2.根据权利要求1所述的激光雷达与相机联合标定方法，其特征在于，所述从同一距离处扫描的多个所述初始图像中选取扫描时间为目标时刻的目标图像，包括：

从位于同一距离处且同一时间段扫描得到的各所述初始图像中选取扫描时间为目标时刻的初始图像，作为当前距离处扫描得到的目标图像；其中，所述目标时刻为所述同一时间段内的中间时刻，或为所述中间时刻至终止时刻的时间段内的任一时刻；

分别获取所述多个不同距离处对应的所述目标图像。

3.根据权利要求1所述的激光雷达与相机联合标定方法，其特征在于，所述对所述图像特征和所述点云特征进行特征关联，包括：

对所述图像特征和所述点云特征中隶属于同一类型的特征进行特征关联；其中，获取扫描同一距离时对应得到的所述图像特征和所述点云特征；

通过初始标定外参将所述点云特征投影至同一类型的所述图像特征上，以建立同一类型的所述图像特征与所述点云特征之间的特征关联关系；所述类型包括边缘特征、线特征、点特征、面特征、区域特征、纹理特征、颜色特征和空间关系特征中的任一种或多种。

4.根据权利要求1-3中任一项所述的激光雷达与相机联合标定方法，其特征在于，所述对所述图像特征和所述点云特征进行特征关联，包括：

根据同一类型的所述图像特征和所述点云特征中各个特征点的向量关系，构建外参矩阵和相机内参矩阵；计算所述外参矩阵与所述相机内参矩阵的乘积，得到投影方程，所述投影方程用于指示所述图像特征中各个特征点和所述点云特征中各个特征点之间的映射关系。

5.根据权利要求1-3中任一项所述的激光雷达与相机联合标定方法，其特征在于，所述计算存在特征关联的所述图像特征和所述点云特征之间的最小特征距离，包括：

采用非线性优化算法来计算存在特征关联的所述图像特征和所述点云特征之间的最小特征距离；其中，所述最小特征距离满足所述图像特征、所述点云特征以及初始标定外参之间的目标线性关系。

6.根据权利要求1-3中任一项所述的激光雷达与相机联合标定方法，其特征在于，所述提取所述点云数据中的点云特征，包括：

累加位于不同距离时扫描得到的点云数据，得到多帧点云地图；

均匀化采样各所述点云地图，并采用点云提线算法从各所述点云地图中提取目标类型的点云特征。

7.根据权利要求1-3中任一项所述的激光雷达与相机联合标定方法，其特征在于，所述提取所述目标图像的图像特征，包括：

采用图像特征提取算法从所述目标图像中提取目标图像特征；所述图像特征提取算法包括AI图像分割算法、OpenCV图像特征提取算法、深度学习算法中的任一种或多种；

其中，若所述目标图像特征为边缘图像特征，所述提取所述目标图像的图像特征，包括：

对所述目标图像进行高斯模糊处理，得到高斯图像；

将所述高斯图像转换为灰度图像，计算所述灰度图像在二维空间内对应不同坐标轴方向的梯度值；

线性混合所述不同坐标轴方向的梯度值，得到线性混合图像；其中，所述线性混合图像中各个特征点组合形成所述目标图像的边缘特征。

8.一种激光雷达与相机联合标定装置，其特征在于，包括：

获取模块，用于获取全景相机和激光雷达位于相距目标建筑物的多个不同距离时分别同步扫描所述目标建筑物所得到的初始图像以及点云数据；

第一提取模块，用于从同一距离处扫描的多个所述初始图像中选取扫描时间为目标时刻的目标图像，提取所述目标图像的图像特征；

第二提取模块，用于提取所述点云数据中的点云特征；

关联模块，用于对所述图像特征和所述点云特征进行特征关联，计算存在特征关联的所述图像特征和所述点云特征之间的最小特征距离，以得到优化后的标定外参。

9.一种激光雷达与相机联合标定系统，其特征在于，包括：

全景相机，用于在相距目标建筑物的多个不同距离处扫描所述目标建筑物，得到初始图像；

激光雷达，包括处理器，用于接收来自所述全景相机的所述初始图像，并执行如权利要求1-7中任一项所述的激光雷达与相机联合标定方法。

10.一种带有激光雷达的电子设备，其特征在于，所述电子设备包括存储器和至少一个处理器，所述存储器存储有计算机程序，所述处理器用于执行所述计算机程序以实施权利要求1-7中任一项所述的激光雷达与相机联合标定方法。