CN115097421A - 一种相机-激光雷达外参标定装置及方法 - Google Patents

一种相机-激光雷达外参标定装置及方法 Download PDF

Info

Publication number
CN115097421A
CN115097421A CN202210587160.5A CN202210587160A CN115097421A CN 115097421 A CN115097421 A CN 115097421A CN 202210587160 A CN202210587160 A CN 202210587160A CN 115097421 A CN115097421 A CN 115097421A
Authority
CN
China
Prior art keywords
camera
point cloud
calibration
laser radar
calibration plate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210587160.5A
Other languages
English (en)
Inventor
于英
樊松
张永生
王自全
王涛
戴晨光
李磊
李力
宋亮
张磊
吕可枫
程彬彬
江志鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information Engineering University of PLA Strategic Support Force
Original Assignee
Information Engineering University of PLA Strategic Support Force
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information Engineering University of PLA Strategic Support Force filed Critical Information Engineering University of PLA Strategic Support Force
Priority to CN202210587160.5A priority Critical patent/CN115097421A/zh
Publication of CN115097421A publication Critical patent/CN115097421A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明属于传感器融合处理技术领域，特别涉及一种相机‑激光雷达外参标定装置及方法，将带有相机与激光雷达的传感器组合对所述标定装置进行多方位扫描，得到标定装置球体中心在激光雷达坐标系下的第一坐标及表示标定板边缘的得第一直线方程组，并进一步利用随机抽样一致性算法拟合来获取标定板中心及边缘在相机坐标系下的第二坐标和第二直线方程组；联立第一直线方程组和第二直线方程组获取外参初值估计，并结合第一坐标和第二坐标优化求解激光雷达坐标系到相机坐标系的外参矩阵。本发明能够从多角度多位置观测数据，通过特征提取及参数拟合等步骤，可估计出外参矩阵，具有较高的准确度与鲁棒性，便于实际场景应用。

Description

一种相机-激光雷达外参标定装置及方法
技术领域
本发明属于传感器融合处理技术领域，特别涉及一种相机-激光雷达外参标定装置及方法。
背景技术
随着计算机视觉及深度学习的快速发展，人们为了提高对环境的感知能力，多采用多传感器融合的方案实现全面感知。其中相机与激光雷达作为重要的视觉传感器，将该两具有互补特性的传感器联合起来应用是当今研究的重要方向，而准确地得到相机与激光雷达外部参数是将相机与激光雷达融合的前提，故相机与激光雷达之间外参的鲁棒估计至关重要。自提出相机与激光雷达融合开始，人们对相机-激光雷达外参标定方法的研究就从未停止，相对于无目标标定方法，基于标定装置的方法普遍需要人为操作且自动化程度较低，但精度往往高于无目标标定方法。因此研究设计一种基于特殊标定装置的相机-激光雷达外参标定的方法，为相机与激光雷达的融合提供精确的外参数，是非常必要的前提且具有重要的现实意义。
发明内容
为此，本发明提供一种相机-激光雷达外参标定装置及方法，从多角度多位置观测数据，通过特征提取及参数拟合等步骤，可估计出外参矩阵，具有较高的准确度与鲁棒性，便于实际场景应用。
按照本发明所提供的设计方案，提供一种相机-激光雷达外参标定装置，包含：与移动扫描模块配合工作的立体标定模块，所述移动扫描模块包含：移动机器人，及固定在移动机器人上由相机和激光雷达组成的组合传感器；所述立体标定模块包含：标定球及立体标定板，在立体标定板中心位置设置有中心孔，标定球固定于中心孔内，且中心孔中心与标定球球心重合；在立体标定板上还设置有多个不同ID的ArUco标志。
作为本发明相机-激光雷达外参标定装置，进一步地，所述立体标定板采用正方形结构，且中心孔的孔径大于标定球直径。
作为本发明相机-激光雷达外参标定装置，进一步地，立体标定板上设置有4个不同ID的ArUco标志，且该4个不同ID的ArUco标志分设在立体标定板四个角上。
进一步地，本发明还提供一种相机-激光雷达外参标定方法，包含如下内容：
利用组合传感器对立体标定模块进行多方位扫描，并提取带有时间戳对应帧的激光雷达点云数据与对应帧图像数据；
对点云数据进行预处理，滤除地面点云和离散点云；
针对预处理后的点云数据，使用平面拟合算法获得立体标定板拟合平面及点到立体标定板平面距离小于预设距离阈值的内点，并将内点投影到立体标定板拟合平面上，得到内点到平面的投影坐标，通过点云边缘提取算法来获取立体标定板边缘点云，利用直线拟合算法得到表示立体标定板边缘在激光雷达坐标系下的第一直线方程组；并依据内点的质心坐标来获取标定球球面点云，通过拟合球心坐标与半径获取球形在激光雷达坐标系下的第一坐标；
针对对应帧图像数据，通过识别立体标定板上的ArUco标志来获取立体标定板边缘在相机坐标系下的第二直线方程组；并通过ArUco标志在相机坐标系下的三维姿势获取立体标定板中心点位姿，将该中心点位姿投影到相机坐标系下得到立体标定板中心点在相机坐标系下的第二坐标；
针对第一直线方程组和第二直线方程组，结合空间直线与平面直线的线性变换来获取激光雷达坐标系到相机坐标系的初始外参矩阵；结合第一坐标和第二坐标，利用PnP算法对初始外参矩阵进行优化求解来获取激光雷达坐标系到相机坐标系的优化外参。
作为本发明相机-激光雷达外参标定方法，进一步地，利用组合传感器进行多方位扫描中，通过调整激光雷达与相机之间的间距来获取两者最优的共视区域；并通过移动机器人的移动来获取多角度、多姿势的点云数据与图像数据。
作为本发明相机-激光雷达外参标定方法，进一步地，利用移动机器人获取每个移动位姿下停留预设时间内的非移动状态下点云数据与图像数据；并通过时间戳获取相机和激光雷达最临近的匹配数据作为预处理的激光雷达点云数据。
作为本发明相机-激光雷达外参标定方法，进一步地，对点云数据进行预处理中，依据预设阈值范围来表示标定场景，利用渐进式形态学滤波方法滤除地面上点云，并通过统计滤波器滤除离散点云。
作为本发明相机-激光雷达外参标定方法，进一步地，利用渐进式形态学滤波方法，设置用于表示需滤除地物点云大小的窗口最大值及用于表示是否为地面点云的初始高差阈值和最大高差阈值，通过迭代增大窗口的运算来滤除地面点云。
作为本发明相机-激光雷达外参标定方法，进一步地，采用随机抽样一致性算法拟合分割立体标定板平面来获取点到立体标定板平面距离小于预设距离阈值的内点；并利用Alpha Shapes算法，通过设置的半径参数在平面点云内滚动来获取用于表示立体标定板四条边的边缘点云，并使用随机抽样一致性算法来获取用于组建第一直线方程组的四条空间直线方程。
作为本发明相机-激光雷达外参标定方法，进一步地，利用PnP算法对初始外参矩阵进行优化求解中，将优化求解问题转化为非线性最小二乘优化问题，该非线性最小二乘优化问题表示为：
Figure BDA0003666414630000021
其中，K为相机内参矩阵，n为点云数量，si为比例因子，
Figure BDA0003666414630000031
为第一坐标，
Figure BDA0003666414630000032
为第二坐标，T为直线刚体变换矩阵，Topti为优化求解的相机-激光雷达外参。
本发明的有益效果：
本发明装置结构简单，设计科学、合理，能够实现多角度、多姿势下标定数据扫描；通过立体标定板，能够接收并获取更多的点云数据，降低远处噪声影响；方法中采用点云拟合标定板平面方式，经平面上点云投影到拟合平面来获取拟合边缘直线，依据三维拟合直线与二维拟合直线的对应关系获取相机-激光雷达见的外参初值，通过多角度、多姿态扫描能够稳定、准确提取拟合直线，稳健性更强；通过双阶段的标定方案，先找到2D直线与3D直线的对应，采用直接线性变换来得到变换矩阵初值，在将该初值作为引导，通过点特征进行非线性优化求解，可以快速收敛到优化值，避免陷入局部最优的情况，使获取到的外参数据更具可靠性和鲁棒性。
附图说明：
图1为实施例中立体标定模块结构示意；
图2为实施例中外参标定方法流程示意；
图3为实施例中外参标定算法原理示意；
图4为实施例中仿真模拟中相机与激光雷达传感器所提取的直线与点示意；
图5为实施例中各坐标系关系转换示意。
图中标号，标号1表示立体标定板，标号2表示标定球，标号3表示ArUco标志。
具体实施方式：
为使本发明的目的、技术方案和优点更加清楚、明白，下面结合附图和技术方案对本发明作进一步详细的说明。
本发明实施例，提供一种相机-激光雷达外参标定装置，参见图1所示，包含：与移动扫描模块配合工作的立体标定模块，所述移动扫描模块(图中未画出)包含：移动机器人，及固定在移动机器人上由相机和激光雷达组成的组合传感器；所述立体标定模块包含：标定球2及立体标定板1，在立体标定板1中心位置设置有中心孔，标定球2固定于中心孔内，且中心孔中心与标定球球心重合；在立体标定板1上还设置有多个不同ID的ArUco标志3。结构简单，便于制作，通过立体标定板1，能够接收并获取更多的点云数据，降低远处噪声影响。
相机与激光雷达传感器固定于一个移动机器人上，立体标定模块由于一个标定球体与立体标定板结合而成。进一步地，所述立体标定板1采用正方形结构，且中心孔的孔径大于标定球2直径。立体标定板1上设置有4个不同ID的ArUco标志3，且该4个不同ID的ArUco标志3分设在立体标定板1四个角上。标定球2可采用特质光滑球体，将其固定在一个中心被切割出一个足够大圆形的正方形立体标定板中，把四个不同id的ArUco标志可分设在正方形标定板四个角上，以实现多角度、多姿势下标定数据扫描来获取更多点云数据。
进一步地，基于上述的装置，本发明实施例还提供一种相机-激光雷达外参标定方法，参见图2所示，包含如下内容：
S101、利用组合传感器对立体标定模块进行多方位扫描，并提取带有时间戳对应帧的激光雷达点云数据与对应帧图像数据；
S102、对点云数据进行预处理，滤除地面点云和离散点云；
S103、针对预处理后的点云数据，使用平面拟合算法获得立体标定板拟合平面及点到立体标定板平面距离小于预设距离阈值的内点，并将内点投影到立体标定板拟合平面上，得到内点到平面的投影坐标，通过点云边缘提取算法来获取立体标定板边缘点云，利用直线拟合算法得到表示立体标定板边缘在激光雷达坐标系下的第一直线方程组；并依据内点的质心坐标来获取标定球球面点云，通过拟合球心坐标与半径获取球形在激光雷达坐标系下的第一坐标；
S104、针对对应帧图像数据，通过识别立体标定板上的ArUco标志来获取立体标定板边缘在相机坐标系下的第二直线方程组；并通过ArUco标志在相机坐标系下的三维姿势获取立体标定板中心点位姿，将该中心点位姿投影到相机坐标系下得到立体标定板中心点在相机坐标系下的第二坐标；
S105、针对第一直线方程组和第二直线方程组，结合空间直线与平面直线的线性变换来获取激光雷达坐标系到相机坐标系的初始外参矩阵估计；结合第一坐标和第二坐标，利用PnP算法对初始外参矩阵估计进行优化求解来获取激光雷达坐标系到相机坐标系的优化外参估计。
采用点云拟合标定板平面方式，经平面上点云投影到拟合平面来获取拟合边缘直线，依据三维拟合直线与二维拟合直线的对应关系获取相机-激光雷达见的外参初值，通过多角度、多姿态扫描能够稳定、准确提取拟合直线，稳健性更强。
进一步地，本案实施例中，利用组合传感器进行多方位扫描中，通过调整激光雷达与相机之间的间距来获取两者最优的共视区域；并通过移动机器人的移动来获取多角度、多姿势的点云数据。为了使相机与激光雷达拥有良好的共视区域，将两传感器安装适当的间距，保证两者可以观测到更多相同场景信息。进一步地，利用移动机器人获取每个移动位姿下停留预设时间内的非移动状态下点云数据；并通过时间戳获取相机和激光雷达最临近的匹配数据作为预处理的激光雷达点云数据。启动该两传感器后对标定装置进行扫描，标定装置周围环境尽量宽阔，与此同时移动机器人，从多角度、多姿势对标定装置扫描，每移动一个位姿停留2秒左右。由于相机与激光雷达传感器采集数据频率不同，且实验要求相机和激光雷达的数据来自同一时刻，所以尽量提取静止状态下的数据，并采取寻找两种数据最临近时间戳的方法，将两者作为匹配数据，以保证最大误差为50ms。
进一步地，本案实施例中，对点云数据进行预处理中，依据预设阈值范围来表示标定场景，利用渐进式形态学滤波方法滤除地面上点云，并通过统计滤波器滤除离散点云。进一步地，利用渐进式形态学滤波方法，设置用于表示需滤除地物点云大小的窗口最大值及用于表示是否为地面点云的初始高差阈值和最大高差阈值，通过迭代增大窗口的运算来滤除地面点示。
多线机械式激光雷达是对360°环境进行扫描，而并不是所有范围内点云都要运用的，只需保留带有标定板周围一定范围的点云即可，设置一个阈值范围为(xmax，xmin，ymax，ymin，zmax，zmin)的标定场景。保留后的点云难免会有很多噪声点，而由于大量的地面点云存在，直接滤波会破坏标定板上的点云，因此要先对地面上的点云进行滤除。这里采用一种先腐蚀后膨胀的渐进式形态学滤波方法滤除地面上点云，这里渐进式就是通过不断增大窗口的迭代运算过程对非地面点滤除，最大窗口大小设置为wmax，它取决于场地中要剔除的地物点云大小，为保证标定装置上的点云被完全滤除，可设置初始高差阈值hinit和最大高差阈值hmax对判断是否为地面上的点云，保留被滤除的点云，剩下的即为滤除地面后的点云。对于滤除地面点后的点云，可使用统计滤波器滤除离散点云，处理后的点云记为Ps。
进一步地，采用随机抽样一致性算法拟合分割立体标定板平面来获取点到立体标定板平面距离小于预设距离阈值的内点；并利用Alpha Shapes算法，通过设置的半径参数在平面点云内滚动来获取用于表示立体标定板四条边的边缘点云，并使用随机抽样一致性算法来获取用于组建第一直线方程组的四条空间直线方程。
参见图2所示的算法中，通过数据采集并寻找图像对应帧点云后获取用于确定相机坐标系下空间直线方程及中心点坐标的图像数据，并通过调整目标区域大小进行地面点云和离散点云滤除来获取激光雷达坐标系下的直线方程和中心点坐标。其中，拟合标定板边缘的直线，目的是得到标定板的第一直线方程组
Figure BDA0003666414630000051
采用随机抽样一致性(RANSAC)算法拟合分割标定板平面，输入的点云为Ps，平面方程形式为：ax+by+cz+d＝0，其中a，b，c，d为待拟合的参数，该算法中设置了一个距离阈值δ，将点到平面距离小于δ的点归为内点Pinliers：
pi＝(xi，yi，zi)，pi∈Pinliers
通过如下公式将这些内点将投影到拟合的平面上：
Figure BDA0003666414630000061
Figure BDA0003666414630000062
Figure BDA0003666414630000063
得到内点pi到平面的投影坐标
Figure BDA0003666414630000064
得到投影后的点云
Figure BDA0003666414630000065
后，采用Alpha Shapes算法对其边缘点云提取，通过设置一个α参数，开始以α为半径在平面点云内滚动，其滚动的轨迹即为要得到的标定板边缘点云，这些边缘点云对应着标定板的四条直线边，使用RANSAC直线拟合算法便可得到四条空间直线，即第一直线方程组
Figure BDA0003666414630000066
在获得Pinliers的基础上，可以很容易的获得该点云的质心坐标pbarycenter，由于该标定板与球体间留有一定圆形空隙，为得到球面上的点云，以pbarycenter为中心，以0.17作为距离阈值对Ps点云分割，小于该阈值的点即为球面上的点云Psphere。
既确定了球面上的点云Psphere，可继续采用RANSAC算法拟合球心坐标与半径r，实际上该算法的结果具有随机性，基于此上，使用非线性优化方法继续拟合球心坐标与半径r，建立球面拟合函数：
f(x0，y0，z0，r)＝(xj-x0)2+(yj-y0)2+(zj-z0)2-r2，
(xj，yj，zj)∈Psphere
Figure BDA0003666414630000067
(x0，y0，z0)为拟合后的球心坐标，即第一坐标
Figure BDA0003666414630000068
对于第二直线方程组
Figure BDA0003666414630000069
与第二坐标
Figure BDA00036664146300000610
的获取，主要通过识别标定装置上的ArUco标志来实现。ArUco标志按照id从小到大顺时针固定在标定板的四个角上，通过图像识别即可获取标定板四个角点的像素坐标，进一步得到第二直线方程组
Figure BDA00036664146300000611
由于相机内参数是已知的，因此可以通过PnP方法获取每个ArUco标志在相机坐标系下的3D姿势，进而把四个标志的平均位姿作为标定板的中心点位姿，最后把该中心点位姿投影到像素坐标系下，就得到了图像中标定装置的中心点即第二坐标
Figure BDA0003666414630000071
相机与激光雷达提取的关键信息与转换关系如图4和5所示，在得到激光雷达坐标系下的第一直线方程组
Figure BDA0003666414630000072
和像素坐标系下的第二直线方程组
Figure BDA0003666414630000073
结合空间直线与平面直线求取它们之间的姿势问题称为PnL(Perspective-n-Lines)问题，可采用直接线性变换(DLT)方法求解Tinit。一般可把直线的刚体变化矩阵表示为：
Figure BDA0003666414630000074
其中R为3×3的旋转矩阵，[-t]×表示为平移向量构成的3×3斜对角线向量，则使
Figure BDA0003666414630000075
这里采用普吕克坐标系表示空间直线
Figure BDA0003666414630000076
通过线性推导，可以得到一个线性方程：
Mp＝0
其中M包含了3D空间直线及其2D直线之间的对应关系方程系数，p是变换矩阵T的第一行元素，且p包含了相机坐标系向空间坐标系转换的6个位姿参数。将这个问题看作最小二乘求解，加以对M的奇异值分解，便可估计出p，进而获得初始外参矩阵Tinit。
基于PnP算法对初始外参矩阵进行优化，既得到了初始外参矩阵Tinit以及相对应的第一坐标
Figure BDA0003666414630000077
和第二坐标
Figure BDA0003666414630000078
可以将外参求解转换为一种非线性最小二乘优化问题：
Figure BDA0003666414630000079
其中，K为相机内参矩阵，n为点云数量，si为比例因子。同时将Tinit作为初始值带入，在指导迭代优化的过程中初始值可以影响最终的精度，最后通过LM算法迭代优化，得到相机-激光雷达的外参Topti。
通过以上算法的双阶段的标定方案，先找到2D直线与3D直线的对应，采用直接线性变换来得到变换矩阵初值，在将该初值作为引导，通过点特征进行非线性优化求解，可以快速收敛到优化值，避免陷入局部最优的情况，使获取到的外参数据具有更好的准确度和鲁棒性。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。
基于上述的方法和/或系统，本发明实施例还提供一种服务器，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述的方法。
基于上述的方法和/或系统，本发明实施例还提供一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时实现上述的方法。
在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种相机-激光雷达外参标定装置，包含：与移动扫描模块配合工作的立体标定模块，所述移动扫描模块包含：移动机器人，及固定在移动机器人上由相机和激光雷达组成的组合传感器，其特征在于，所述立体标定模块包含：标定球及立体标定板，在立体标定板中心位置设置有中心孔，标定球固定于中心孔内，且中心孔中心与标定球球心重合；在立体标定板上还设置有多个不同ID的ArUco标志。
2.根据权利要求1所述的相机-激光雷达外参标定装置，其特征在于，所述立体标定板采用正方形结构，且中心孔的孔径大于标定球直径。
3.根据权利要求1或2所述的相机-激光雷达外参标定装置，其特征在于，立体标定板上设置有4个不同ID的ArUco标志，且该4个不同ID的ArUco标志分设在立体标定板四个角上。
4.一种相机-激光雷达外参标定方法，其特征在于，基于权利要求1所述的装置实现，该实现过程包含如下内容：
利用组合传感器对立体标定模块进行多方位扫描，并提取带有时间戳对应帧的激光雷达点云数据与对应帧图像数据；
对点云数据进行预处理，滤除地面点云和离散点云；
针对预处理后的点云数据，使用平面拟合算法获得立体标定板拟合平面及点到立体标定板平面距离小于预设距离阈值的内点，并将内点投影到立体标定板拟合平面上，得到内点到平面的投影坐标，通过点云边缘提取算法来获取立体标定板边缘点云，利用直线拟合算法得到表示立体标定板边缘在激光雷达坐标系下的第一直线方程组；并依据内点的质心坐标来获取标定球球面点云，通过拟合球心坐标与半径获取球形在激光雷达坐标系下的第一坐标；
针对对应帧图像数据，通过识别立体标定板上的ArUco标志来获取立体标定板边缘在相机坐标系下的第二直线方程组；并通过ArUco标志在相机坐标系下的三维姿势获取立体标定板中心点位姿，将该中心点位姿投影到相机坐标系下得到立体标定板中心点在相机坐标系下的第二坐标；
针对第一直线方程组和第二直线方程组，结合空间直线与平面直线的线性变换来获取激光雷达坐标系到相机坐标系的初始外参矩阵；结合第一坐标和第二坐标，利用PnP算法对初始外参矩阵进行优化求解来获取激光雷达坐标系到相机坐标系的优化外参。
5.根据权利要求4所述的相机-激光雷达外参标定方法，其特征在于，利用组合传感器进行多方位扫描中，通过调整激光雷达与相机之间的间距来获取两者最优的共视区域；并通过移动机器人的移动来获取多角度、多姿势的点云数据与图像数据。
6.根据权利要求4或5所述的相机-激光雷达外参标定方法，其特征在于，利用移动机器人获取每个移动位姿下停留预设时间内的非移动状态下点云数据与图像数据；并通过时间戳获取相机和激光雷达最临近的匹配数据作为预处理的激光雷达点云数据。
7.根据权利要求4所述的相机-激光雷达外参标定方法，其特征在于，对点云数据进行预处理中，依据预设阈值范围来表示标定场景，利用渐进式形态学滤波方法滤除地面上点云，并通过统计滤波器滤除离散点云。
8.根据权利要求7所述的相机-激光雷达外参标定方法，其特征在于，利用渐进式形态学滤波方法，设置用于表示需滤除地物点云大小的窗口最大值及用于表示是否为地面点云的初始高差阈值和最大高差阈值，通过迭代增大窗口的运算来滤除地面点云。
9.根据权利要求4所述的相机-激光雷达外参标定方法，其特征在于，采用随机抽样一致性算法拟合分割立体标定板平面来获取点到立体标定板平面距离小于预设距离阈值的内点；并利用Alpha Shapes算法，通过设置的半径参数在平面点云内滚动来获取用于表示立体标定板四条边的边缘点云，并使用随机抽样一致性算法来获取用于组建第一直线方程组的四条空间直线方程。
10.根据权利要求4所述的相机-激光雷达外参标定方法，其特征在于，利用PnP算法对初始外参矩阵进行优化求解中，将优化求解问题转化为非线性最小二乘优化问题，该非线性最小二乘优化问题表示为：
Figure FDA0003666414620000021
其中，K为相机内参矩阵，n为点云数量，si为比例因子，
Figure FDA0003666414620000022
为第一坐标，
Figure FDA0003666414620000023
为第二坐标，T为直线刚体变换矩阵，Topti为优化求解的相机-激光雷达外参。
CN202210587160.5A 2022-05-27 2022-05-27 一种相机-激光雷达外参标定装置及方法 Pending CN115097421A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210587160.5A CN115097421A (zh) 2022-05-27 2022-05-27 一种相机-激光雷达外参标定装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210587160.5A CN115097421A (zh) 2022-05-27 2022-05-27 一种相机-激光雷达外参标定装置及方法

Publications (1)

Publication Number Publication Date
CN115097421A true CN115097421A (zh) 2022-09-23

Family

ID=83289952

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210587160.5A Pending CN115097421A (zh) 2022-05-27 2022-05-27 一种相机-激光雷达外参标定装置及方法

Country Status (1)

Country Link
CN (1) CN115097421A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115994955A (zh) * 2023-03-23 2023-04-21 深圳佑驾创新科技有限公司 相机外参标定方法、装置和车辆
CN116400334A (zh) * 2023-06-01 2023-07-07 未来机器人（深圳）有限公司 激光外参的标定验证方法、装置、电子设备及可存储介质
CN117523105A (zh) * 2023-11-24 2024-02-06 哈工大郑州研究院 激光雷达和多相机数据融合的三维场景重建方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115994955A (zh) * 2023-03-23 2023-04-21 深圳佑驾创新科技有限公司 相机外参标定方法、装置和车辆
CN116400334A (zh) * 2023-06-01 2023-07-07 未来机器人（深圳）有限公司 激光外参的标定验证方法、装置、电子设备及可存储介质
CN116400334B (zh) * 2023-06-01 2023-09-12 未来机器人（深圳）有限公司 激光外参的标定验证方法、装置、电子设备及可存储介质
CN117523105A (zh) * 2023-11-24 2024-02-06 哈工大郑州研究院 激光雷达和多相机数据融合的三维场景重建方法
CN117523105B (zh) * 2023-11-24 2024-05-28 哈工大郑州研究院 激光雷达和多相机数据融合的三维场景重建方法

Similar Documents

Publication Publication Date Title
CN109269430B (zh) 基于深度提取模型的多株立木胸径被动测量方法
CN112396664B (zh) 一种单目摄像机与三维激光雷达联合标定及在线优化方法
Kang et al. Automatic targetless camera–lidar calibration by aligning edge with gaussian mixture model
CN115097421A (zh) 一种相机-激光雷达外参标定装置及方法
CN109579825B (zh) 基于双目视觉和卷积神经网络的机器人定位系统及方法
CN111476841B (zh) 一种基于点云和图像的识别定位方法及系统
CN112132908B (zh) 一种基于智能检测技术的相机外参数标定方法及设备
Muñoz-Bañón et al. Targetless camera-LiDAR calibration in unstructured environments
WO2021195939A1 (zh) 一种双目拍摄装置的外参的标定方法、可移动平台及系统
CN112179357A (zh) 基于单目相机的平面运动目标视觉导航方法及系统
CN116129037B (zh) 视触觉传感器及其三维重建方法、系统、设备及存储介质
CN111429571B (zh) 一种基于时空图像信息联合相关的快速立体匹配方法
CN115685160A (zh) 基于标靶的激光雷达与相机标定方法、系统、电子设备
CN111798453A (zh) 用于无人驾驶辅助定位的点云配准方法及其系统
Xinmei et al. Passive measurement method of tree height and crown diameter using a smartphone
CN114119652A (zh) 用于三维重构的方法和装置以及电子设备
Guo et al. Binocular stereo vision calibration based on accurate ellipse detection algorithm of direct calculation and grating conversion check
Cui et al. ACLC: Automatic Calibration for non-repetitive scanning LiDAR-Camera system based on point cloud noise optimization
CN112767459A (zh) 基于2d-3d转换的无人机激光点云与序列影像配准方法
Goto et al. 3D environment measurement using binocular stereo and motion stereo by mobile robot with omnidirectional stereo camera
Zhao et al. A 3D image processing method for manufacturing process automation
CN115100287A (zh) 外参标定方法及机器人
CN113223163A (zh) 点云地图构建方法及装置、设备、存储介质
Zou et al. An automatic calibration between an omni-directional camera and a laser rangefinder for dynamic scenes reconstruction
Lee et al. Calibration of VLP-16 Lidar Sensor and Vision Cameras Using the Center Coordinates of a Spherical Object

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination