CN117911539A - 基于线性交叉点引导的雷达与相机联合自标定方法及系统 - Google Patents

Abstract

本发明公开了基于线性交叉点引导的雷达与相机联合自标定方法及系统，本发明涉及激光雷达和视觉相机联合标定技术领域，该标定方法在标定过程中首先使用了激光雷达线交叉点与图像线交叉点构建数据关联，可以快速计算出激光雷达和图像的外参初值。基于该外参初值，进一步地构建了雷达线特征与图像线特征进行点‑线投影与点‑线约束构建，提升了联合标定过程中数据关联的准确性，使得标定结果更为精确。本发明直接通过对激光雷达点云进行线特征和线交叉点特征提取，极大地增强了标定过程计算的鲁棒性，并且不依赖额外的视觉SLAM系统同时运行，为标定方法的部署和移植带来了便利性。

Description

基于线性交叉点引导的雷达与相机联合自标定方法及系统

技术领域

本发明涉及激光雷达和视觉相机联合标定技术领域，具体涉及基于线性交叉点引导的雷达与相机联合自标定方法及系统。

背景技术

激光雷达和视觉相机是机器人、自动驾驶等领域中必不可少的核心传感器件，其中激光雷达可以直接获取高精度空间点云信息，但缺乏环境纹理信息，而视觉相机成本具备成本低、功耗小、易集成的特点，且能提供丰富的环境纹理信息，因此在具体应用时，往往会为了提高系统的稳健性，而采用激光雷达和相机联合的多传感器融合方案。

在具体融合时，由于雷达和图像两种数据来自不同的传感器，因此需要在使用前进行激光雷达和视觉相机的联合标定处理。目前的标定校准方法中在很大程度上依赖于事先准备的特定外部参照物（标定板），这便使得标定过程更为繁琐，并且让标定结果受限于标定参照物的精度。

发明内容

基于所述背景技术所以提出的问题，本发明的目的在于提供基于线性交叉点引导的雷达与相机联合自标定方法及系统，通过研究在无外部参照物环境中的激光雷达和视觉相机联合标定技术，旨在通过融合与对齐图像数据中的线性交叉点信息，和激光数据中的线性交叉点信息，以完成激光雷达和视觉相机的标定任务，并得到高精度联合标定结果。本发明可以高效地解决现有技术中标定过程繁琐且标定结果受限于标定参照物的精度的问题。

本发明通过下述技术方案实现：

本发明第一方面提供了基于线性交叉点引导的雷达与相机联合自标定方法，包括如下步骤：

采用旋转式激光雷达采集激光雷达点云数据，对所述激光雷达点云数据进行稠密化预处理，得到激光雷达稠密点云；

提取所述激光雷达稠密点云的线性边缘特征，得到激光雷达线特征，并基于所述雷达线特征进行空间点线性拟合，并计算得到激光点云的线性交叉点；

获取相机图像数据，提取所述相机图像数据的线性边缘特征，得到图像线特征，并基于所述图像线特征进行平面点线性拟合，并计算得到图像特征的线性交叉点；

构建外部参数，根据所述外部参数将激光点云的线性交叉点变换投影至图像平面，得到投影交叉点；

基于所述投影交叉点构建所述激光点云的线性交叉点与所述图像特征的线性交叉点的线性交叉点匹配关联方程；

对所述线性交叉点匹配关联方程进行优化求解，得到激光雷达与视觉相机联合首次标定结果；

基于所述首次标定结果，将激光雷达线特征变换投影至图像平面，得到线特征像素点；

基于所述线特征像素点构建所述激光雷达线特征与所述图像线特征的线特征匹配关联方程；

对所述线特征匹配关联方程进行求解，得到高精度激光雷达与视觉相机联合标定结果。

在上述技术方案中，采用旋转式激光雷达采集环境点云数据，并对点云数据进行稠密化预处理，使得预处理后的点云数据稠密度可以满足提取场景结构线性边缘特征的要求。同时，稠密化预处理操作解决了由于旋转式激光雷达在固定场景中扫描所得数据量小，而引起的激光雷达与视觉图像数据关联不足的问题。

本发明分别提取激光雷达稠密点云的线性边缘特征以及相机图像数据的线性边缘特征，构建外部参数，根据外部参数完成激光雷达点向图像像素点的投影过程，以此构建激光雷达和相机的线特征匹配关联方程。通过引入激光雷达点云线特征和图像数据线特征，解决了一般标定过程中存在的标定过程繁琐、依赖外部标定目标、标定精度普遍较低等问题。

基于激光雷达和相机的线交叉特征关联方程，优化求解后可得雷达-相机外参初值，基于该外参初值，本发明进一步构建激光雷达和相机的线性关联数据。最终的雷达-相机外参结果是基于雷达和图像数据的线特征匹配关联方式计算得到的，使得本方案在一般人工结构化场景内无需准备外部标定目标，极大的提高了标定方法的便利性和标定结果的准确性。

在一种可选的实施例中，采用旋转式激光雷达采集激光雷达点云数据，对所述激光雷达点云数据进行稠密化预处理，得到激光雷达稠密点云包括如下步骤：

保持旋转雷达中心点稳定，令旋转式激光雷达绕俯仰角往复轻微旋转采集多帧激光雷达点云数据；

将第一帧激光雷达点云数据的雷达系作为世界系，并将多帧激光雷达点云数据变换至世界系下，得到激光雷达稠密点云。

在一种可选的实施例中，提取所述激光雷达稠密点云的线性边缘特征，得到激光雷达线特征包括如下步骤：

将所述激光雷达稠密点云进行空间体素划分，得到旋转雷达体素点云图；

将所述旋转雷达体素点云图中每一个独立的旋转雷达体素进行平面拟合，并通过拟合后各旋转雷达体素内的相交平面提取线特征，得到激光雷达线特征。

在一种可选的实施例中，获取相机图像数据，提取所述相机图像数据的线性边缘特征，得到图像线特征包括如下步骤：采用LSD算法，将相机图像数据中局部区域内具有相同梯度方向的像素进行合并，得到图像线特征。

在一种可选的实施例中，构建外部参数，根据所述外部参数将激光雷达线特征变换投影至图像平面，得到线特征像素点包括如下步骤：

基于相机和激光雷达的刚性固连结构构建外部参数；

通过所述外部参数将激光雷达线特征的特征点变换至相机系，得到相机系空间点；

利用相机小孔成像原理将相机系空间点投影至图像平面，得到线特征像素点。

在一种可选的实施例中，构建外部参数之前还包括：对所述图像线特征进行KD树构建。

在一种可选的实施例中，基于所述线特征像素点构建所述激光雷达线特征与所述图像线特征的线特征匹配关联方程包括如下步骤：

计算激光雷达线特征的特征点变换投影至图像平面后在图像平面的误差点；

通过所述误差点在KD树上进行查询，得到与误差点最近的一组特征点；

将所述一组特征点进行分类组合，将属于同一线段的特征点进行组合形成一条线段，得到多条线段；

构建误差点到多条线段的点线距离，并以最小的点线距离作为残差，以所述残差构建含有外部参数变换的最小二乘优化方程。

在一种可选的实施例中，所述优化求解为采用LM算法对最小二乘优化方程进行求解。

本发明第二方面提供了基于线性交叉点引导的雷达与相机联合自标定系统，包括：

激光雷达预处理模块，所述激光雷达预处理模块用于采用旋转式激光雷达采集激光雷达点云数据，对所述激光雷达点云数据进行稠密化预处理，得到激光雷达稠密点云；

激光雷达线交叉特征提取模块，所述激光雷达交叉线特征提取模块用于提取所述激光雷达稠密点云的线性边缘特征，得到激光雷达线特征，并基于所述雷达线特征进行空间点线性拟合，并计算得到激光点云的线性交叉点；

图像线交叉特征提取模块，所述图像线交叉特征提取模块用于获取相机图像数据，提取所述相机图像数据的线性边缘特征，得到图像线特征，并基于所述图像线特征进行平面点线性拟合，并计算得到图像特征的线性交叉点；

雷达交叉点投影计算模块，所述雷达交叉点投影计算模块用于构建外部参数，根据所述外部参数将激光点云的线性交叉点变换投影至图像平面，得到投影交叉点；

匹配关联模块，所述匹配关联模块用于基于所述投影交叉点构建所述激光点云的线性交叉点与所述图像特征的线性交叉点的线性交叉点匹配关联方程；

交叉点优化求解模块，所述交叉点优化求解模块用于对所述线性交叉点匹配关联方程进行优化求解，得到激光雷达与视觉相机联合首次标定结果；

投影变换模块，所述投影变换模块用于基于所述首次标定结果，将激光雷达线特征变换投影至图像平面，得到线特征像素点；

线特征匹配关联模块，所述线特征匹配关联模块用于基于所述线特征像素点构建所述激光雷达线特征与所述图像线特征的线特征匹配关联方程；

线性点优化求解模块，所述线性点优化求解模块用于对所述线特征匹配关联方程进行求解，得到高精度激光雷达与视觉相机联合标定结果。

在一种可选的实施例中，所述匹配关联模块包括：

误差点计算单元，所述误差点计算单元用于计算激光雷达线特征的特征点变换投影至图像平面后在图像平面的误差点；

特征点查询单元，所述特征点查询单元用于通过所述误差点在KD树上进行查询，得到与误差点最近的一组特征点；

线段组合单元，所述线段组合单元用于将所述一组特征点进行分类组合，将属于同一线段的特征点进行组合形成一条线段，得到多条线段；

优化方程构建单元，所述优化方程构建单元用于构建误差点到多条线段的点线距离，并以最小的点线距离作为残差，以所述残差构建含有外部参数变换的最小二乘优化方程。

本发明与现有技术相比，具有如下的优点和有益效果：

本发明通过引入激光雷达点云线特征和图像数据线特征，解决了一般标定过程中存在的标定过程繁琐、依赖外部标定目标、标定精度普遍较低等问题。本发明中采用了对激光雷达点云数据进行点云稠密化处理，解决了一般标定过程雷达点云数据量不足的问题，并且基于雷达和图像数据的线特征匹配关联方式，使得本发明在一般人工结构化场景内（如人工建筑）无需准备外部标定目标，极大的提高了标定方法的便利性和标定结果的准确性。

附图说明

为了更清楚地说明本发明示例性实施方式的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。在附图中：

图1为本发明实施例1提供的基于线性交叉点引导的雷达与相机联合自标定方法的流程示意图；

图2为本发明实施例1提供的雷达点云线特征与图像线特征的数据关联模型；

图3为本发明实施例1提供的点-线残差模型。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例1提供了基于线性交叉点引导的雷达与相机联合自标定方法，如图1所示，基于线性交叉点引导的雷达与相机联合自标定方法包括如下步骤：

采用旋转式激光雷达采集激光雷达点云数据，对所述激光雷达点云数据进行稠密化预处理，得到激光雷达稠密点云；

提取所述激光雷达稠密点云的线性边缘特征，得到激光雷达线特征，并基于所述雷达线特征进行空间点线性拟合，并计算得到激光点云的线性交叉点；

获取相机图像数据，提取所述相机图像数据的线性边缘特征，得到图像线特征，并基于所述图像线特征进行平面点线性拟合，并计算得到图像特征的线性交叉点；

构建外部参数，根据所述外部参数将激光点云的线性交叉点变换投影至图像平面，得到投影交叉点；

基于所述投影交叉点构建所述激光点云的线性交叉点与所述图像特征的线性交叉点的线性交叉点匹配关联方程；

对所述线性交叉点匹配关联方程进行优化求解，得到激光雷达与视觉相机联合首次标定结果；

基于所述首次标定结果，将激光雷达线特征变换投影至图像平面，得到线特征像素点；

基于所述线特征像素点构建所述激光雷达线特征与所述图像线特征的线特征匹配关联方程；

对所述线特征匹配关联方程进行求解，得到高精度激光雷达与视觉相机联合标定结果。

需要注意的是，在现有技术中，CamVox基于ORB-SLAM2视觉SLAM系统，采用单独的RGBD输入预处理和非受控场景下的自动标定方法。该框架利用激光雷达辅助的视觉关键帧来生成局部构图，并且由于在不同级别的捆集调整（BA）优化和ORB-SLAM2的回环闭合进行了后端轻量级位姿图优化，因此具有很高的鲁棒性。在原始ORB-SLAM2中，关键点分为近点和远点两类，其中近点是深度上具有高度确定性的点，可用于缩放、平移和旋转估计，而远点仅用于旋转估计，因此信息量较少。CamVox则采用激光雷达用以获得更精确的远距离点信息。因此，相机（用于大范围探测和跟踪的高角度分辨率）和激光雷达（远距离和精确深度测量）的优点可以以紧密耦合的方式加以利用。

CamVox进行标定处理时，该方法共分为三步：

（1）预处理：基于时间同步方法，用IMU数据来校正雷达点云畸变，并将点云转换为深度帧数据；

（2）融合：将相机获取的图像图像和雷达得到的深度帧数据进行融合；

（3）自动标定：利用Livox固态激光雷达的非重复扫描特性，在非受控场景下对相机和激光雷达进行自动校准。

但是，使用CamVox方法进行标定时，需先将激光雷达数据投射为深度帧数据，才可进行深度帧数据与图像帧数据的融合标准。此时如果激光雷达出现深度遮挡时，则会导致深度帧和图像帧的关联数据不足，引起标定精度降低甚至标定失败。并且CamVox运行时依赖一个完整的ORB-SLAM2视觉系统，给标定方法的部署与移植也带来了困难。

基于所述技术缺陷，本发明提供了基于线性交叉点引导的雷达与相机联合自标定方法，该方法采用旋转式激光雷达采集激光雷达点云数据，并对激光雷达点云数据进行稠密化预处理，使得预处理后的激光雷达点云数据可以满足提取场景结构线性边缘特征的要求。同时，稠密化预处理操作解决了由于旋转式激光雷达在固定场景中扫描所得数据量小，而引起的激光雷达与视觉图像数据关联不足的问题。

分别提取激光雷达稠密点云的线性边缘特征以及相机图像数据的线性边缘特征，构建外部参数，根据外部参数完成激光雷达点向图像像素点的投影过程，以此构建激光雷达和相机的线特征匹配关联方程。通过引入激光雷达点云线特征和图像数据线特征，解决了一般标定过程中存在的标定过程繁琐、依赖外部标定目标、标定精度普遍较低等问题。

最后基于激光雷达和相机的线特征关联方程进行优化求解，得到最终的雷达-相机外参结果。最终的雷达-相机外参结果是基于雷达和图像数据的线特征匹配关联方式计算得到的，使得本方案在一般人工结构化场景内（如人工建筑）无需准备外部标定目标，极大的提高了标定方法的便利性和标定结果的准确性。

在一种可选的实施例中，采用旋转式激光雷达采集激光雷达点云数据，对所述激光雷达点云数据进行稠密化预处理，得到激光雷达稠密点云包括如下步骤：

保持旋转雷达中心点稳定，令旋转式激光雷达绕俯仰角往复轻微旋转采集多帧激光雷达点云数据；

将第一帧激光雷达点云数据的雷达系作为世界系，并将多帧激光雷达点云数据变换至世界系下，得到激光雷达稠密点云。

需要说明的是，本发明所使用的旋转式激光雷达采用重复式旋转扫描方式，当激光雷达静止时，其生成的激光雷达点云数据具有稀疏性，尤其是激光线束间存在明显间隔，这将直接造成无法成功提取场景结构的线性边缘特征。

为使参与标定的激光雷达点云数据达到提取线性边缘特征的稠密要求，将在保持旋转雷达中心点尽量不变的情况下，令旋转式激光雷达绕俯仰角往复轻微旋转，以填充静止时激光线束中间的间隔。

而由于旋转式激光雷达在往复旋转过程中，每一帧雷达点云对应的雷达坐标系位姿均已发生改变，而进行标定时是计算一个雷达系与一个相机系之间的外部变换关系，因此这里需要将所有的点云均变换至同一个雷达系下。

具体的，在本发明实施例1中采用LOAM激光SLAM算法，将首帧激光雷达作为世界系，得到所有激光点云在世界系下的位置，由此完成点云数据的稠密化处理。

需要强调的是，后续进行雷达-相机标定时，计算的雷达系即此处准备时的首帧雷达系，也即SLAM算法的世界系。

在一种可选的实施例中，提取所述激光雷达稠密点云的线性边缘特征，得到激光雷达线特征包括如下步骤：

将所述激光雷达稠密点云进行空间体素划分，得到旋转雷达体素点云图；

将所述旋转雷达体素点云图中每一个独立的旋转雷达体素进行平面拟合，并通过拟合后各旋转雷达体素内的相交平面提取线特征，得到激光雷达线特征。

需要说明的是，为防止深度不连续的点云对后续边缘的误匹配，本发明在进行点云边缘提取时，主要基于对连续点云进行平面拟合，然后通过相交平面得到交线，完成点云线特征提取。

具体的，在本发明实施例1中，首先将对稠密点云进行空间体素划分，得到体素点云图。基于体素点云图，可以很好的将提取线性边缘特征操作限制在单一体素范围内，减小由于大范围点云中更为频繁的点云深度不连续，造成的误差。

因此，对于每一个独立体素，实验中均将对其进行平面拟合操作，并通过体素内的相交平面得到线特征。

在一种可选的实施例中，获取相机图像数据，提取所述相机图像数据的线性边缘特征，得到图像线特征包括如下步骤：采用LSD算法，将相机图像数据中局部区域内具有相同梯度方向的像素进行合并，得到图像线特征。

需要说明的是，为充分提取图像中所拍摄环境的边缘线性约束，本发明对相机拍摄图像进行线段提取操作。

具体的，在本发明实施例1中，检测算法采用LSD（Line Segment Detector）算法，LSD算法是一种基于梯度信息的直线检测方法，具有检测速度快、参数自适应、精度可达到亚像素级的特点。其主要思想是将局部区域内具有相同梯度方向的像素进行合并，以达到直线检测的目的。

在一种可选的实施例中，得到图像线特征之后还包括：对所述图像线特征进行KD树构建。

需要说明的是，为方便进行图像线特征点的管理，以配合点云线特征进行匹配操作，在发明实施例1中将进一步地对图像线特征点进行KD树构建，后续便可通过KD树搜索得到与激光雷达线特征对应的图像线特征。

在一种可选的实施例中，构建外部参数，根据所述外部参数将激光雷达线特征变换投影至图像平面，得到线特征像素点包括如下步骤：

基于相机和激光雷达的刚性固连结构构建外部参数；

通过所述外部参数将激光雷达线特征的特征点变换至相机系，得到相机系空间点；

利用相机小孔成像原理将相机系空间点投影至图像平面，得到线特征像素点。

具体的，在本发明实施例1中，基于相机和激光雷达的刚性固连结构，构建两者间的当前估计外参：

上式中，L表示Lidar，C表示Camera，表示激光雷达相对于相机的4x4变换矩阵，/>指实数域，/>表明矩阵数域空间维度为4x4。

该初始的外部参数由本领域技术人员根据实际情况进行设置，在后来优化的过程中随之改变以至收敛。

通过所述外部参数将激光雷达线特征的特征点变换至相机系，得到相机系空间点/>：

此时，便可进一步地利用相机小孔成像原理完成相机系空间点到图像像素点的投影等式：

上式中，为相机坐标系下的点相对于雷达坐标系进行投影的投影函数。

其中，投影函数内含焦距、畸变系数等相机内部参数，参数的确定由相机预标定所得。

由此便可得到由激光雷达线特征点变换投影至图像平面的线特征像素点/>，通过该像素点可以进行后续激光雷达线特征与图像线特征的匹配过程。

在一种可选的实施例中，基于所述线特征像素点构建所述激光雷达线特征与所述图像线特征的线特征匹配关联方程包括如下步骤：

计算激光雷达线特征的特征点变换投影至图像平面后在图像平面的误差点；

通过所述误差点在KD树上进行查询，得到与误差点最近的一组特征点；

将所述一组特征点进行分类组合，将属于同一线段的特征点进行组合形成一条线段，得到多条线段；

构建误差点到多条线段的点线距离，并以最小的点线距离作为残差，以所述残差构建含有外部参数变换的最小二乘优化方程。

在一种可选的实施例中，所述优化求解采用LM算法。

需要注意的是，在本发明实施例1中为构建激光雷达-图像的线特征数据关联方程，首先对两者间的线特征对应关系进行可视化，可视化结果如图2所示，通过对图2的分析可以得到，激光雷达线特征点投影至图像平面可以得到图像像素点，若激光雷达扫描场景与图像拍摄场景均对应至同一物理结构环境，则当物理环境中的存在一条实际线性边缘时，在激光雷达数据和图像数据中应有该线性边缘的对应响应数据，并体现在两者所提取的线特征上。

具体地，如图2左侧点所示的激光雷达线特征所组成的线段，与图2右侧点所示的图像线特征所组成的线段，应对应于空间中的同一直线。

则在投影过程中存在当激光雷达与相机的外部参数准确无误时，激光雷达线特征变换至图像平面后，所得理想投影点/>应位于图像边缘线特征所组成的线段之上。

因外部参数即为标定实验所求状态量，因此初始时仅为设定的一个估计值，因此无法令激光雷达线特征点准确变换投影为/>，而是得到一个误差点/>，如图2所示。

综上可知，基于误差点和理想投影点/>的几何误差，便可构建含外参变换/>的最小二乘优化问题，通过不断优化迭代，缩小两点几何误差，最终得到收敛外参变换/>。

然而在实际应用的过程中由于无法以类似于图像特征匹配的方式建立准确的数据关联，即得到激光雷达线特征点在图像上的准确理想投影点/>（也即匹配点），使得所述方法所述点-点几何残差无法构建。

针对实际应用的过程所存在的缺陷，本发明实施例1引入了一种点-线残差，在完成构建最小二乘问题的基础上，进一步提高了标定精度。

具体的，在本发明实施例1中，先计算激光雷达线特征的特征点变换投影至图像平面后在图像平面的误差点。即令激光雷达线特征点基于估计外参变换投影后，在图像平面得到误差点/>。

由于在得到图像线特征之后还对图像线特征进行KD树构建，因此通过在KD树上进行检索，可以得到与/>最近的一组图像线特征点。通过该组图像线特征点进行分类组合，将属于同一条线段的点组成一条线段，即可得到如图3所示的/>的线段。

此时，构建至/>的点-线距离，并以最小点-线距离作为残差，则可以该残差构建含外参变换/>的最小二乘优化问题，并通过对优化问题进行LM算法求解，不断缩小对应点-线几何误差，最终得到收敛外参变换/>。

完成对此处优化问题的求解后，即可得到本发明中所求激光雷达与视觉相机的联合标定参数结果。

实施例2提供了基于线性交叉点引导的雷达与相机联合自标定系统，包括：

激光雷达预处理模块，所述激光雷达预处理模块用于采用旋转式激光雷达采集激光雷达点云数据，对所述激光雷达点云数据进行稠密化预处理，得到激光雷达稠密点云；

激光雷达线交叉特征提取模块，所述激光雷达交叉线特征提取模块用于提取所述激光雷达稠密点云的线性边缘特征，得到激光雷达线特征，并基于所述雷达线特征进行空间点线性拟合，并计算得到激光点云的线性交叉点；

图像线交叉特征提取模块，所述图像线交叉特征提取模块用于获取相机图像数据，提取所述相机图像数据的线性边缘特征，得到图像线特征，并基于所述图像线特征进行平面点线性拟合，并计算得到图像特征的线性交叉点；

雷达交叉点投影计算模块，所述雷达交叉点投影计算模块用于构建外部参数，根据所述外部参数将激光点云的线性交叉点变换投影至图像平面，得到投影交叉点；

匹配关联模块，所述匹配关联模块用于基于所述投影交叉点构建所述激光点云的线性交叉点与所述图像特征的线性交叉点的线性交叉点匹配关联方程；

交叉点优化求解模块，所述交叉点优化求解模块用于对所述线性交叉点匹配关联方程进行优化求解，得到激光雷达与视觉相机联合首次标定结果；

投影变换模块，所述投影变换模块用于基于所述首次标定结果，将激光雷达线特征变换投影至图像平面，得到线特征像素点；

线特征匹配关联模块，所述线特征匹配关联模块用于基于所述线特征像素点构建所述激光雷达线特征与所述图像线特征的线特征匹配关联方程；

线性点优化求解模块，所述线性点优化求解模块用于对所述线特征匹配关联方程进行求解，得到高精度激光雷达与视觉相机联合标定结果。在一种可选的实施例中，上述匹配关联模块包括：

误差点计算单元，上述误差点计算单元用于计算激光雷达线特征的特征点变换投影至图像平面后在图像平面的误差点；

特征点查询单元，上述特征点查询单元用于通过上述误差点在KD树上进行查询，得到与误差点最近的一组特征点；

线段组合单元，上述线段组合单元用于将上述一组特征点进行分类组合，将属于同一线段的特征点进行组合形成一条线段，得到多条线段；

优化方程构建单元，上述优化方程构建单元用于构建误差点到多条线段的点线距离，并以最小的点线距离作为残差，以上述残差构建含有外部参数变换的最小二乘优化方程。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于线性交叉点引导的雷达与相机联合自标定方法，其特征在于，包括如下步骤：

采用旋转式激光雷达采集激光雷达点云数据，对所述激光雷达点云数据进行稠密化预处理，得到激光雷达稠密点云；

提取所述激光雷达稠密点云的线性边缘特征，得到激光雷达线特征，并基于所述雷达线特征进行空间点线性拟合，并计算得到激光点云的线性交叉点；

获取相机图像数据，提取所述相机图像数据的线性边缘特征，得到图像线特征，并基于所述图像线特征进行平面点线性拟合，并计算得到图像特征的线性交叉点；

构建外部参数，根据所述外部参数将激光点云的线性交叉点变换投影至图像平面，得到投影交叉点；

基于所述投影交叉点构建所述激光点云的线性交叉点与所述图像特征的线性交叉点的线性交叉点匹配关联方程；

对所述线性交叉点匹配关联方程进行优化求解，得到激光雷达与视觉相机联合首次标定结果；

基于所述首次标定结果，将激光雷达线特征变换投影至图像平面，得到线特征像素点；

基于所述线特征像素点构建所述激光雷达线特征与所述图像线特征的线特征匹配关联方程；

对所述线特征匹配关联方程进行求解，得到高精度激光雷达与视觉相机联合标定结果。

2.根据权利要求1所述的基于线性交叉点引导的雷达与相机联合自标定方法，其特征在于，采用旋转式激光雷达采集激光雷达点云数据，对所述激光雷达点云数据进行稠密化预处理，得到激光雷达稠密点云包括如下步骤：

保持旋转雷达中心点稳定，令旋转式激光雷达绕俯仰角往复轻微旋转采集多帧激光雷达点云数据；

将第一帧激光雷达点云数据的雷达系作为世界系，并将多帧激光雷达点云数据变换至世界系下，得到激光雷达稠密点云。

3.根据权利要求1所述的基于线性交叉点引导的雷达与相机联合自标定方法，其特征在于，提取所述激光雷达稠密点云的线性边缘特征，得到激光雷达线特征包括如下步骤：

将所述激光雷达稠密点云进行空间体素划分，得到旋转雷达体素点云图；

将所述旋转雷达体素点云图中每一个独立的旋转雷达体素进行平面拟合，并通过拟合后各旋转雷达体素内的相交平面提取线特征，得到激光雷达线特征。

4.根据权利要求1所述的基于线性交叉点引导的雷达与相机联合自标定方法，其特征在于，获取相机图像数据，提取所述相机图像数据的线性边缘特征，得到图像线特征包括如下步骤：采用LSD算法，将相机图像数据中局部区域内具有相同梯度方向的像素进行合并，得到图像线特征。

5.根据权利要求1所述的基于线性交叉点引导的雷达与相机联合自标定方法，其特征在于，构建外部参数，根据所述外部参数将激光雷达线特征变换投影至图像平面，得到线特征像素点包括如下步骤：

基于相机和激光雷达的刚性固连结构构建外部参数；

通过所述外部参数将激光雷达线特征的特征点变换至相机系，得到相机系空间点；

利用相机小孔成像原理将相机系空间点投影至图像平面，得到线特征像素点。

6.根据权利要求1所述的基于线性交叉点引导的雷达与相机联合自标定方法，其特征在于，构建外部参数之前还包括：对所述图像线特征进行KD树构建。

7.根据权利要求6所述的基于线性交叉点引导的雷达与相机联合自标定方法，其特征在于，基于所述线特征像素点构建所述激光雷达线特征与所述图像线特征的线特征匹配关联方程包括如下步骤：

计算激光雷达线特征的特征点变换投影至图像平面后在图像平面的误差点；

通过所述误差点在KD树上进行查询，得到与误差点最近的一组特征点；

将所述一组特征点进行分类组合，将属于同一线段的特征点进行组合形成一条线段，得到多条线段；

构建误差点到多条线段的点线距离，并以最小的点线距离作为残差，以所述残差构建含有外部参数变换的最小二乘优化方程。

8.根据权利要求7所述的基于线性交叉点引导的雷达与相机联合自标定方法，其特征在于，所述优化求解为采用LM算法对最小二乘优化方程进行求解。

9.基于线性交叉点引导的雷达与相机联合自标定系统，其特征在于，包括：

激光雷达预处理模块，所述激光雷达预处理模块用于采用旋转式激光雷达采集激光雷达点云数据，对所述激光雷达点云数据进行稠密化预处理，得到激光雷达稠密点云；

激光雷达线交叉特征提取模块，所述激光雷达交叉线特征提取模块用于提取所述激光雷达稠密点云的线性边缘特征，得到激光雷达线特征，并基于所述雷达线特征进行空间点线性拟合，并计算得到激光点云的线性交叉点；

图像线交叉特征提取模块，所述图像线交叉特征提取模块用于获取相机图像数据，提取所述相机图像数据的线性边缘特征，得到图像线特征，并基于所述图像线特征进行平面点线性拟合，并计算得到图像特征的线性交叉点；

雷达交叉点投影计算模块，所述雷达交叉点投影计算模块用于构建外部参数，根据所述外部参数将激光点云的线性交叉点变换投影至图像平面，得到投影交叉点；

匹配关联模块，所述匹配关联模块用于基于所述投影交叉点构建所述激光点云的线性交叉点与所述图像特征的线性交叉点的线性交叉点匹配关联方程；

交叉点优化求解模块，所述交叉点优化求解模块用于对所述线性交叉点匹配关联方程进行优化求解，得到激光雷达与视觉相机联合首次标定结果；

投影变换模块，所述投影变换模块用于基于所述首次标定结果，将激光雷达线特征变换投影至图像平面，得到线特征像素点；

线特征匹配关联模块，所述线特征匹配关联模块用于基于所述线特征像素点构建所述激光雷达线特征与所述图像线特征的线特征匹配关联方程；

线性点优化求解模块，所述线性点优化求解模块用于对所述线特征匹配关联方程进行求解，得到高精度激光雷达与视觉相机联合标定结果。

10.根据权利要求9所述的基于线性交叉点引导的雷达与相机联合自标定系统，其特征在于，所述匹配关联模块包括：

误差点计算单元，所述误差点计算单元用于计算激光雷达线特征的特征点变换投影至图像平面后在图像平面的误差点；

特征点查询单元，所述特征点查询单元用于通过所述误差点在KD树上进行查询，得到与误差点最近的一组特征点；

线段组合单元，所述线段组合单元用于将所述一组特征点进行分类组合，将属于同一线段的特征点进行组合形成一条线段，得到多条线段；

优化方程构建单元，所述优化方程构建单元用于构建误差点到多条线段的点线距离，并以最小的点线距离作为残差，以所述残差构建含有外部参数变换的最小二乘优化方程。