CN116433762A

CN116433762A - 激光雷达与相机标定状态检测方法、校正方法、装置及存储介质

Info

Publication number: CN116433762A
Application number: CN202310238490.8A
Authority: CN
Inventors: 殷国栋; 彭湃; 徐利伟; 庄伟超; 卢彦博
Original assignee: Southeast University
Current assignee: Southeast University
Priority date: 2023-03-14
Filing date: 2023-03-14
Publication date: 2023-07-14

Abstract

本发明公开了一种激光雷达与相机标定状态检测方法、校正方法、装置及存储介质，其中激光雷达与相机标定状态检测方法包括：在标定位置获取不同位姿下同步的激光雷达点云和相机无畸变图像，作为参考数据；当需要判断传感器标定状态时，在标定位置采集一帧同步的激光雷达点云和相机无畸变图像，作为观测数据。估计参考数据到观测数据的变换矩阵，根据其旋转分量偏差，判断标定状态。当确认传感器位姿已发生改变时，估计参考图像到观测图像的变换矩阵，完成外参校正。所提出的激光雷达与相机标定状态自动检测与校正方法无需布置标定环境，能够自动检测当前传感器状态是否需要重新标定，适用于车辆运行现场标定，标定结果精确且鲁棒。

Description

激光雷达与相机标定状态检测方法、校正方法、装置及存储介质

技术领域

本申请涉及智能驾驶环境感知领域，特别涉及一种激光雷达与相机标定状态自动检测与校正方法。

背景技术

智能驾驶车辆通过融合激光雷达和相机信息以全面地感知交通环境，两传感器间的精确外参标定是融合感知的前提。为了保持外参的精度，需要在每次驾驶任务之前重新标定传感器外参，如KITTI数据集采集车每次采集任务之前都重新标定各传感器间的外参，这是因为车辆运行过程中难免因为车身振动导致传感器位姿变化，为消除累积误差需要重新标定。对于激光雷达和相机的外参标定，绝大部分工作都是基于特制标定板展开，依赖人工提取两个模态数据中的共同特征，精度受标定人员标定经验影响较大；且需要布置标定环境，费时费力，标定地点固定，不适用于在车辆运行现场的标定场景。为此，中国发明专利ZL 202110225959.5《相机与激光雷达重标定方法、装置及计算机可读存储介质》以及论文《基于传感器融合里程计的相机与激光雷达自动重标定方法》公开了一种不使用标定板的激光雷达和相机自动标定方法，这种方法通过融合激光雷达和相机的位置变换信息实现传感器漂移后的外参重新标定，能够解决车辆运行现场的自动标定问题。但是，该方法只专注于传感器外参的标定，对传感器是否发生相对位姿变化，即标定状态是否发生了变化，无法进行自动地判断。此外，该方法假设只出现旋转方向上的相对位姿变化，忽略了平移方向上的位移。

总之，现有技术存在的问题是：基于标定板的方法需要布置标定环境，依赖人工经验，不适用于车辆运行现场标定；自动标定方法虽然能够应用在现场标定场景，但是缺乏对传感器标定状态，即是否发生相对位姿变化的自动判断机制。

发明内容

本发明所要解决的技术问题是提供一种简单快捷，能够精确判断传感器标定判断的激光雷达与相机标定状态检测方法、校正方法、装置及存储介质，用于解决智能驾驶车辆的激光雷达和相机的标定状态检测与外参自动校正问题。该方法无需布置标定环境，不依赖人工，能够自动检测当前传感器状态是否需要重新标定，适用于车辆运行现场标定。

为解决上述技术问题，本发明采用的技术方案如下：

本发明首先提供一种激光雷达与相机标定状态检测方法，其特征在于，包括：

多位姿参考数据获取：选择任一地点作为标定位置，在标定位置获取N个位姿的参考数据，每个位姿的参考数据为同步的激光雷达点云P_r,i和相机无畸变图像I_r,i一帧，i＝1,2,...,N；

传感器标定状态判断：当需要判断传感器当前标定状态时，将车辆驾驶至标定位置；在标定位置采集一帧同步的激光雷达点云P_o和相机无畸变图像I_o，作为观测数据；分别通过点云配准和图像配准估计每一帧参考数据到观测数据的变换矩阵，求解每组变换矩阵的旋转分量偏差，根据旋转分量偏差判断当前的标定状态。

本发明还提供一种激光雷达与相机标定状态校正方法，包括：

根据激光雷达与相机标定状态检测方法，检测激光雷达与相机标定状态的标定状态；

对检测为需标定状态的当前状态，进行外参校正，包括：

匹配观测图像I_o中的图像特征点

与对应参考点云P_r,i中的三维点p_c,i，估计参考图像I_r,i到观测图像的变换矩阵/>

求解校正矩阵T_R,i，并将其平均化，求得最终校正后的外参。

相对于现有技术，本发明具有以下有益效果：

1、无需布置标定环境：不需要标定板，不依赖人工，标定地点可任意选择，适用于车辆运行现场的标定场景；

2、能够精确判断传感器标定状态：只需要一帧观测数据，就能够自动判断是否发生传感器相对位姿变化，判定方法简单便捷，并且减少无用的重新标定工作；

3、标定精度和鲁棒性高：定量和定性对比试验证明本方法标定精确且鲁棒。

附图说明

图1是本申请一个实施例提供的激光雷达与相机标定状态自动检测与校正方法的流程图；

图2是本申请一个实施例提供的多位姿参考数据获取示意图；

图3是本申请一个实施例提供的传感器标定状态判断的流程图；

图4是本申请一个实施例提供的不同参考数据帧数N下传感器标定状态判断的正确率图；

图5是本申请一个实施例提供的在10°和20cm以内的随机相对位姿变化下100次试验结果的箱线图；

图6是本申请一个实施例提供的标定后的纹理点云对比结果图；

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

请参考图1，其示出了本申请一个实施例提供的激光雷达与相机标定状态自动检测与校正方法的流程图，该激光雷达与相机标定状态自动检测与校正方法可以应用于智能驾驶车辆系统中。该激光雷达与相机标定状态自动检测与校正方法，可以包括：

步骤101，多位姿参考数据获取：选择任一地点作为标定位置，在标定位置通过移动智能驾驶车辆，变换激光雷达和相机的位置和姿态，每个位姿采集同步的激光雷达点云P_r,i,i＝1,2,...,N和相机无畸变图像I_r,i,i＝1,2,...,N一帧，作为参考数据，其中N为参考数据帧数。

请参考图2，其示出了本申请一个实施例提供的多位姿参考数据获取示意图。

本实施例中，对于标定位置的选取，应使相机和激光雷达视野大部分区域有一定的环境标志物(如车辆、行人、建筑等)，以保证下述步骤中图像和点云的特征提取。

请参考图3，其示出了本申请一个实施例提供的传感器标定状态判断的流程图。

步骤102，传感器标定状态判断：当需要判断传感器当前标定状态时，将车辆驾驶至标定位置。在标定位置采集一帧同步的激光雷达点云P_o和相机无畸变图像I_o，作为观测数据。分别通过点云配准和图像配准估计每一帧参考数据到观测数据的变换矩阵，求解每组变换矩阵的旋转分量偏差，根据偏差判断当前的标定状态。

下面对传感器标定状态判断子流程进行介绍。

步骤1021，点云变换矩阵估计：根据式(1)使用原始外参

将激光雷达坐标系下的点云转换到相机坐标系中：

其中，

和/>

分别表示相机坐标系和激光雷达坐标系下的一个三维点，/>

和/>

分别是原始外参/>

的旋转分量和平移分量。

然后，将参考数据中的多帧点云P_r,i,i＝1,2,...,N分别与观测数据的单帧点云P_o配准，得到参考点云P_r,i到观测点云P_o的变换矩阵

其中，/>

和/>

分别是

的旋转分量和平移分量。

步骤1022，图像变换矩阵估计：

利用图像特征提取算法提取并匹配参考图像I_r,i,i＝1,2,...,N和观测图像I_o间的特征点

基于SIFT、SURF或ORB特征提取算法，检测两幅图像中的关键点，并生成关键点的特征描述子，通过匹配器匹配两幅图像的关键点，得到两图之间的特征点/>

基于八点法由图像特征点

和相机内参K求解参考和观测图像对的本质矩阵

利用奇异值分解(SVD)算法将本质矩阵/>

分解为参考图像I_r,i和观测图像I_o间的变换矩阵/>

其中，/>

和/>

分别是/>

的旋转分量和平移分量；

步骤1023，旋转分量偏差求解：按照下式求解点云、图像变换矩阵的旋转分量的偏差：

并将偏差

转化为欧拉角的形式：

其中，e_ψ,i、e_θ,i和e_φ,i分别表示yaw、pitch和roll方向上的偏差，r_mn表示偏差

中的元素。

步骤1024，位姿变化判定：当任一旋转方向(yaw、pitch、roll)上的偏差(e_ψ,i、e_θ,i、e_φ,i)大于阈值t的数量超过参考数据帧数N的一半时，则说明出现传感器相对位姿变化，原始外参T_l ^c无法精确对齐激光雷达坐标系和相机坐标系，需要进行外参校正；反之，则原始外参T_l ^c精确，无需校正。

本实施例中，根据投影原理，旋转方向对偏差比平移方向更为敏感，很小的旋转偏差都会造成较大的对齐误差，而平移变化对稍远处目标造成的对齐误差较小，且旋转方向上的偏差更普遍，所以使用点云、图像变换矩阵的旋转分量的偏差作为传感器标定状态的判断条件。

本实施例中，为了确定阈值t，统计了偏差e_ψ,i、e_θ,i和e_φ,i的分布直方图，发现在没有出现传感器相对位姿变化时，由于数据噪声和配准误差影响，偏差e_ψ,i、e_θ,i和e_φ,i集中在0.12°之内；此外，当某一旋转方向上的偏差大于0.4°时，肉眼可见明显的对齐误差。综上，为了及时准确发现位姿变化，并避免在没有位姿变化时产生误判，阈值t设置为0.2。

请参考图4，图4中示出了在不同参考数据帧数N下，传感器标定状态判断的正确率，发现在N为5时，得到最大标定状态判断精度99.6％。因此，选择5作为步骤102中的参考数据帧数。

本实施例中，不限定传感器相对位姿变化的方向。

本实施例中，传感器相对位姿变化是指以相机坐标系为参考坐标系，激光雷达坐标系相对于相机坐标系的位置和姿态变化。

步骤103，外参自动校正：当确认传感器位姿已发生改变时，通过匹配观测图像I_o中的图像特征点

i＝1,2,...,N。根据式(4)求解校正矩阵T_R,i，i＝1,2,...,N，并根据式(5)将其平均化，最终校正后的外参由式(6)获得：

其中，q_R,i和t_R,i分别是T_R,i的旋转分量R_R,i的四元数和平移分量，

和/>

分别是平均化校正矩阵T_R的旋转分量和平移分量，/>

是最终校正的外参。

对于参考图像I_r,i到观测图像的变换矩阵

的获取，首先按照式(7)将参考点云P_R,i投影到对应参考图像I_R,i上：

其中，

是点云P_R,i中的某一点p_c,i在像素坐标系中的投影点。

然后，按照式(8)搜索图像特征点

附近的点云投影点/>

其中，t_f表示搜索范围，在本实施例中，t_f为2像素。若图像特征点

附近存在多个点云投影点/>

则匹配最近的三维点p_c,t对应的投影点/>

结合参考图像I_r,i和观测图像I_o之间匹配的特征点，可以建立参考点云P_R,i中的三维点p_c,i与观测图像I_o的特征点

间的匹配关系，使用透视N点投影算法可以求解变换矩阵

i＝1,2,...,N。

图5是在10°和20cm以内的随机相对位姿变化下，100次试验结果的箱线图。和当前比较先进的自动标定算法GMM和MI对比，除了roll方向外，本方法收敛到更一致的结果。实际上GMM方法在roll上的平均绝对误差为0.114°，而本方法的平均绝对误差为0.102°，说明本方法能够有效的校正相对位姿变化。

图6为标定后的纹理点云对比结果图，(a)为外参真值对应的结果图，(b)为本方法标定结果图，(c)为GMM方法标定结果图，(d)为MI方法标定结果图。白色方框圈出了对齐不准的地方。可以看出，本方法的标定结果在视觉上与根据真值生成的纹理点云相当，证明了本方法的有效性。

综上所述，本申请实施例提供的激光雷达与相机标定状态自动检测与校正方法，在标定位置通过移动智能驾驶车辆，变换激光雷达和相机的位置和姿态，每个位姿采集同步的激光雷达点云和相机无畸变图像一帧，作为参考数据。当需要判断传感器当前标定状态时，在标定位置采集一帧同步的激光雷达点云和相机无畸变图像，作为观测数据。分别通过点云配准和图像配准估计每一帧参考数据到观测数据的变换矩阵，求解每组变换矩阵的旋转分量偏差，根据偏差判断当前的标定状态。当确认传感器位姿已发生改变时，通过匹配观测图像中的图像特征点与对应参考点云中的三维点，估计参考图像到观测图像的变换矩阵。求解校正矩阵，并将其平均化，获得最终校正后的外参。所提出的激光雷达与相机标定状态自动检测与校正方法无需布置标定环境，不依赖人工，能够自动检测当前传感器状态是否需要重新标定，适用于车辆运行现场标定，标定结果精确且鲁棒。

本实施例还提供了一种计算机可读存储介质，该计算机可读存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、计算机程序模块或其他数据)的任何方法或技术中实施的易失性或非易失性、可移除或不可移除的介质。计算机可读存储介质包括但不限于RAM(Random Access Memory，随机存取存储器),ROM(Read-Only Memory，只读存储器)，EEPROM(Electrically Erasable Programmable read only memory，带电可擦可编程只读存储器)、闪存或其他存储器技术、CD-ROM(Compact Disc Read-Only Memory，光盘只读存储器)，数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。

本实施例中的计算机可读存储介质可用于存储一个或者多个计算机程序，其存储的一个或者多个计算机程序可被处理器执行，以实现上述实施例中激光雷达与相机标定状态自动检测与校正方法步骤。