CN113281723B - 一种基于AR tag的3D激光雷达与相机间结构参数的标定方法 - Google Patents

一种基于AR tag的3D激光雷达与相机间结构参数的标定方法 Download PDF

Info

Publication number
CN113281723B
CN113281723B CN202110496622.8A CN202110496622A CN113281723B CN 113281723 B CN113281723 B CN 113281723B CN 202110496622 A CN202110496622 A CN 202110496622A CN 113281723 B CN113281723 B CN 113281723B
Authority
CN
China
Prior art keywords
camera
plane
image
coordinate system
laser
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110496622.8A
Other languages
English (en)
Other versions
CN113281723A (zh
Inventor
沈晓蓉
罗佳欣
赵龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202110496622.8A priority Critical patent/CN113281723B/zh
Publication of CN113281723A publication Critical patent/CN113281723A/zh
Application granted granted Critical
Publication of CN113281723B publication Critical patent/CN113281723B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于ARtag的3D激光雷达与相机间结构参数的标定方法，包括：在相机前视范围内放置多个非共面且含有ARtag的平面标定板；分别利用相机和3D激光雷达静态采集一帧相机图像和一帧激光点云图像；在相机图像中选取像素点，在激光点云图像中选取与像素点对应的激光点，求解PnP问题得到外参粗值；利用ARtag获得相机坐标系下的像平面和像平面上点的3D坐标，在激光点云图像中选取对应的像平面和像平面上点的3D坐标，构建平面约束和点面约束，使用非线性优化方法得到外参的精确值。本发明无需在软件和硬件上进行时间同步，只需利用ARtag标签的实际尺寸信息，仅需一帧测量数据，便可以连续标定多个3D激光雷达与相机间结构参数。

Description

一种基于AR tag的3D激光雷达与相机间结构参数的标定方法
技术领域
本发明涉及多传感器设备之间的外参标定技术领域，更具体的说是涉及一种基于AR tag的3D激光雷达与相机间结构参数的标定方法。
背景技术
随着科技的快速发展，各种传感器技术不断被人们发明并使用，特别是相机和3D激光雷达，被应用在越来越多的无人地面机器人和无人空中机器人中。相机能够捕获镜头前方视场内物体的纹理信息和颜色信息，但是缺乏物体的深度信息，并且物体的成像质量很容易受到光照的影响；3D激光雷达通过发射激光束获取周围环境的结构信息，直接得到物体距离自身的距离，但是在激光运动或者物体运动时，需要去除运动引起的点云畸变。因此，将激光雷达的空间结构信息和相机的图像信息融合能够提高机器人导航、定位与建图的精度，是未来无人机器人研究的发展方向。而实现传感器信息融合的第一步是求解激光雷达坐标系和相机坐标系的变换关系，通常也被称为外参。
目前的3D激光雷达与相机间结构参数标定方法有：
1、直接在图像中提取像素点，在激光点云中提取与像素点对应激光点的3D坐标，构建PnP问题并求解，得到的外参很大程度上取决于图像中像素点和激光点云中对应激光点的坐标精度，并且激光点云在垂直方向分布较稀疏，精度会受到较大限制。
2、使用相机图像和激光点云分别求解运动，根据运动轨迹匹配关系进一步求解外参，由于运动时激光点云存在畸变并且相机图像中不含有深度信息，标定效果会受到较大影响。
3、利用AR tag获得相机坐标系下点的3D坐标，并在激光雷达点云中提取对应点的3D坐标，利用3D-3D点对应关系求解外参，这种方法需要测量数据较多，并且外参的精度取决于相机坐标系下估计的第一个点的3D坐标。
4、通过不断移动相机获取多帧图像，以手动测量值作为粗值，然后根据图像和点云的平面对应关系求解外参，该方法需要不断移动相机来采集足够的数据，并且需要提前手动测量获取初始值，不能连续标定多个激光相机模块，只考虑了点面约束，没有利用平面约束。
5、3D激光雷达的扫描频率一般在5hz到20hz，而相机的图像采集频率在30hz到60hz，如果需要多帧激光点云和相机图像，需要解决不同传感器之间的时间同步问题，确保传感器的数据是在同一时刻采集的，因此部分标定算法需要在硬件和软件上进行特殊设计来保证数据采集时刻对齐，对硬件设计提出了较高的要求。
因此，如何提供一种不需要提前进行手动测量获取初始值，也无需在硬件和软件上设计时间同步，便能实现精确求解外参的基于AR tag的3D激光雷达与相机间结构参数的标定方法是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种基于AR tag的3D激光雷达与相机间结构参数的标定方法，无需在软件和硬件上进行时间同步，只需利用AR tag标签的实际尺寸信息，仅需一帧测量数据，便可以连续标定多个3D激光雷达与相机间结构参数。
为了实现上述目的，本发明采用如下技术方案：
一种基于AR tag的3D激光雷达与相机间结构参数的标定方法，包括以下步骤：
步骤一、将相机和3D激光雷达刚性固定安装，并在相机前视范围内放置多个非共面且含有AR tag的平面标定板；
步骤二、利用相机静态采集一帧相机图像，利用3D激光雷达静态采集一帧激光点云图像；
步骤三、使用相机内参对所述相机图像进行校正，得到相机校正图像和校正后的相机内参数矩阵；
步骤四、在所述相机校正图像中选取像素点，并利用所述相机内参数矩阵得到所选取像素点的2D坐标；在所述激光点云图像中选取与像素点位置对应的激光点及其3D坐标，得到2D-3D点对；利用所述2D-3D点对求解多点透视成像PnP问题，得到3D激光雷达与相机间结构参数的初值；
步骤五、利用所述相机校正图像中AR tag的实际尺寸，获得相机坐标系下的像平面和该像平面上像素点的3D坐标；在所述激光点云图像中选取激光雷达坐标系下对应的像平面和该像平面上激光点的3D坐标；
步骤六、根据像素点的3D坐标和激光点的3D坐标，构建像平面之间和点到像平面之间的约束方程，在所述约束方程的约束下，采用非线性优化方法对所述初值进行优化，得到3D激光雷达与相机间结构参数的精确值。
优选的，在上述一种基于AR tag的3D激光雷达与相机间结构参数的标定方法中，步骤一中，所述平面标定板为包含有April Tag的平面板，或为能够在同一张图像中被区分的任意带图案的平面板；所述平面标定板用于根据April Tag或图案的实际尺寸提供相机坐标系和所述平面标定板坐标系之间的变换关系。
优选的，在上述一种基于AR tag的3D激光雷达与相机间结构参数的标定方法中，步骤一中，所述平面标定板的数量不少于三个，任意两个所述平面标定板呈现不同姿态，且任意两个所述平面标定板之间不存在互相遮挡的情况。
优选的，在上述一种基于AR tag的3D激光雷达与相机间结构参数的标定方法中，步骤四中，所述2D-3D点对是通过选取所述相机校正图像和所述激光点云图像中任意匹配的显著特征点对得到的，任意一个所述2D-3D点对均包含所述相机校正图像中的一个像素点和所述激光点云图像中的一个激光点；在选取2D-3D点对后，利用EPnP算法得到3D激光雷达与相机间结构参数的初值。
优选的，在上述一种基于AR tag的3D激光雷达与相机间结构参数的标定方法中，所述EPnP算法是基于随机采样一致性RANSAC算法改进获得的。
优选的，在上述一种基于AR tag的3D激光雷达与相机间结构参数的标定方法中，步骤四中，所述初值的计算公式为：
Figure BDA0003054674590000041
其中，
Figure BDA0003054674590000042
为在相机校对图像上选取的像素点的2D坐标，
Figure BDA0003054674590000043
为在激光雷达坐标系下选取的与
Figure BDA0003054674590000044
对应的激光点的3D坐标，K为相机图像校正后的相机内参数矩阵，RCL，tCL分别为上式取值最小时的待求解初值的旋转分量和平移分量，SO(3)为三维旋转群，
Figure BDA0003054674590000045
为三维实向量空间，|| ||2为向量
Figure BDA0003054674590000046
Figure BDA0003054674590000047
的二范数。
优选的，在上述一种基于AR tag的3D激光雷达与相机间结构参数的标定方法中，步骤五中，所述相机坐标系下的像平面和像平面上像素点的3D坐标的获得过程为：
利用含有不同AR tag的平面标定板分别对相机坐标系下不同姿态的平面标定板平面进行标记；
获取相机坐标系与平面标定板坐标系之间的变换关系；
随机生成平面标定板坐标系下位于平面标定板平面上的像素点的3D坐标；
利用所述变换关系得到相机坐标系下平面标定板平面上像素点的3D坐标；
利用RANSAC算法对相机坐标系下每个平面标定板平面上的像素点进行平面拟合，得到相机坐标系下的平面参数方程。
优选的，在上述一种基于AR tag的3D激光雷达与相机间结构参数的标定方法中，步骤五中，所述激光雷达坐标系下对应的像平面和该像平面上激光点的3D坐标的获得过程为：
通过手动选点或者点云聚类的方式，提取对应于所述相机校正图像中不同平面标定板平面上的激光点；
利用RANSAC算法对每个平面标定板平面上的激光点进行平面拟合得到激光雷达坐标系下的像平面参数方程。
优选的，在上述一种基于AR tag的3D激光雷达与相机间结构参数的标定方法中，步骤六中的约束方程的表达式为：
Figure BDA0003054674590000051
Figure BDA0003054674590000052
Figure BDA0003054674590000053
Figure BDA0003054674590000054
其中，
Figure BDA0003054674590000055
为位于第i个平面标定板平面上的第n个点在相机坐标系下的3D坐标，
Figure BDA0003054674590000056
为位于第i个标定板平面上的第m个点在激光雷达坐标系下的3D坐标，
Figure BDA0003054674590000057
为第i个标定板平面在相机坐标系下的单位法向量，
Figure BDA0003054674590000058
为相机坐标系下原点到第i个标定板平面的距离，
Figure BDA0003054674590000059
为第i个标定板平面在激光雷达坐标系下的单位法向量，
Figure BDA00030546745900000510
为激光雷达坐标系下原点到第i个平面标定板平面的距离，RCL，tCL分别为待求解初值的旋转分量和平移分量，|| ||2为向量
Figure BDA00030546745900000511
Figure BDA00030546745900000512
的二范数，R-1为矩阵R的逆，RT为矩阵R的转置。
优选的，在上述一种基于AR tag的3D激光雷达与相机间结构参数的标定方法中，步骤六中的非线性优化方法为高斯牛顿GN算法。
经由上述的技术方案可知，与现有技术相比，本发明具有以下有益效果：
1、本发明将2D-3D点对之间的对应关系求解的外参只是作为初值，利用点面约束和平面约束对初值进行优化，得到3D激光雷达与相机间结构参数的精确值。同时，3D激光雷达一直处于静止状态，不存在点云畸变的现象，整个标定过程需要测量的信息只有AR tag的尺寸，提高了系统的可靠性和结果的精确性。
2、通常，3D激光雷达与相机间结构参数标定过程中通常需要采集多帧数据，然后在不同帧的图像和激光点云中寻找匹配的特征点对，多帧数据的采集过程较麻烦，需要不断移动标定板或者传感器，以保证每次采集的数据能够提供不同的约束。本发明通过使用AR tag，它能够在同一帧图像中提供可以区分的多个平面标定板的平面信息，并且可以根据平面标定板中AR标签或图案的实际尺寸提供相机坐标系和标定板坐标系之间的变换关系。因此，在相机前视范围内放置多个非共面且含有增强现实标签AR tag的平面板，整个标定过程中保持相机和3D激光雷达静止，只需要一张相机图像和一帧激光点云图像便可实现整个标定过程，并且可连续标定多个激光相机模块。
3、本发明使用相机图像和激光点云图像中提取的2D-3D点对求解PnP问题，并将RANSAC改进的EPnP算法结果作为初始值，无需在标定过程前手动测量，方便操作，这在激光相机模块已经封装好、不能直接测量获得初始值的场景下有较好的应用。
4、本发明只需要一帧相机图像和一帧点云激光图像，并且标定时保证激光雷达、相机和平面标定板均静止不动，无需时间同步，避免时间同步不准确导致的误差。
5、本发明整个标定过程只需要测量平面标定板的尺寸信息，便可得到相机坐标系下的像平面和像平面上像素点的3D坐标，用于后续的标定工作，减少了其他测量信息引入误差的可能性，并且只要平面标定板大小不改变，该尺寸信息可应用于不同激光相机模块的标定，连续标定多个模块时也只需要一次尺寸测量信息。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1附图为本发明提供的基于AR tag的3D激光雷达与相机间结构参数的标定方法的流程图；
图2附图为本发明提供的3D激光雷达、相机和含有AR tag的平面标定板之间的位置图；
图3附图为本发明提供的相机图像和激光点云图像中2D-3D点对应关系示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1-2所示，本发明实施例公开了一种基于AR tag的3D激光雷达与相机间结构参数的标定方法，包括以下步骤：
步骤一、将相机和3D激光雷达刚性固定安装，并在相机前视范围内放置多个非共面且含有AR tag的平面标定板。具体位置关系如图2所示，相机1和3D激光雷达2保持固定不动，平面标定板3位于相机1和3D激光雷达2的前视区域。AR tag标签能够反映出相机与标签的位姿关系，进而可以反映出场景中物体与相机的参照关系。
含有AR tag的平面标定板是包含有April Tag的平面板或者能够在同一张图像中被区分的任意带图案的平面板，并且该标定板能够根据图案的实际尺寸提供相机坐标系和标定板坐标系之间的变换关系。标定板需要摆放在相机的前视范围内，数量不少于三个，任意两个标定板不共面且标定板呈现不同姿态，以提供不同方向的约束，标定板之间不存在互相遮挡。
步骤二、利用相机静态采集一帧相机图像，利用3D激光雷达静态采集一帧激光点云图像。
在整个标定过程中保持相机和3D激光雷达保持静止，使用相机和3D激光雷达静态采集一帧数据，包括一张含有所有平面标定板的图像和一帧含有周围环境信息的激光点云图像。
步骤三、使用相机内参对相机图像进行校正，得到相机校正图像和校正后的相机内参数矩阵。相机内参数矩阵，用于后续的初值计算、像平面估计和像平面上像素点的坐标估计。
相机标定方法是任意一种可对所使用相机进行标定的方法，其目的是获得相机的内参数矩阵
Figure BDA0003054674590000081
和畸变参数D＝[k1 k2 r1 r2]，其中，fx，fy为相机的等效焦距，cx，cy为相机光心坐标，k1，k2，r1，r2分别模型的径向和切向畸变参数，然后使用标定得到的相机内参对相机图像进行校正，得到校正后的图像和图像校正后的相机内参数矩阵K，该矩阵将用于后续的初值解算、像平面估计和平面上点的坐标估计。
步骤四、在相机校正图像中选取像素点，并利用相机内参数矩阵得到所选取像素点的2D坐标；在激光点云图像中选取与像素点位置对应的激光点及其3D坐标，得到2D-3D点对，如图3所示；利用2D-3D点对求解多点透视成像PnP问题，得到3D激光雷达与相机间结构参数的初值。
该步骤中的2D-3D点对是通过选取图像和激光点云中任意匹配的显著特征点对得到的，任意一个2D-3D点对包含一个相机图像中的像素点和一个激光点云图像中的激光点。在采集数据中选择尽可能多的2D-3D点对，然后利用随机采样一致性RANSAC算法改进的EPnP算法得到3D激光雷达与相机间结构参数的初值，该值会在步骤六中得到进一步优化。
该步骤解算的初值使等式
Figure BDA0003054674590000091
值最小，其中，
Figure BDA0003054674590000092
为在图像上选取的像素点坐标，
Figure BDA0003054674590000093
为激光雷达坐标系下选取的与
Figure BDA0003054674590000094
对应点的3D坐标，K为图像校正后的相机内参数矩阵，RCL，tCL分别为待求解初值的旋转分量和平移分量，SO(3)为三维旋转群，
Figure BDA0003054674590000096
为三维实向量空间，|| ||2为向量
Figure BDA0003054674590000095
的二范数。
步骤五、利用相机校正图像中AR tag的实际尺寸，获得相机坐标系下的像平面和该像平面上像素点的3D坐标；在激光点云图像中选取激光雷达坐标系下对应的像平面和该像平面上激光点的3D坐标。
AR tag可以在一张相机图像中得到相机坐标系下的不同平面标定板像平面和像平面上点的3D坐标。具体为：
利用含有不同AR tag的平面标定板对不同姿态的平面标定板平面进行标记，处理相机图像获取相机坐标系与标定板坐标系之间的变换关系。随机生成位于标定板坐标系下标定板平面上的像素点，利用求解的变换关系可以得到相机坐标系下标定板平面上像素点的3D坐标，最后利用RANSAC算法对标定板平面上的像素点3D坐标进行拟合，得到相机坐标系下的像平面参数方程。
对于3D激光雷达采集的点云数据，通过手动选点或者点云聚类等方式提取对应于相机图像中不同平面标定板上的激光点，然后利用RANSAC算法对每个平面标定板上的激光点进行平面拟合，得到对应的激光雷达坐标系下的像平面参数方程。
步骤六、根据像素点的3D坐标和激光点的3D坐标，构建像平面之间和点到像平面之间的约束方程，在约束方程的约束下，采用非线性优化方法对初值进行优化，得到3D激光雷达与相机间结构参数的精确值。
约束方程的表达式为：
Figure BDA0003054674590000101
Figure BDA0003054674590000102
Figure BDA0003054674590000103
Figure BDA0003054674590000104
其中，
Figure BDA0003054674590000105
为位于第i个平面标定板平面上的第n个点在相机坐标系下的3D坐标，
Figure BDA0003054674590000106
为位于第i个标定板平面上的第m个点在激光雷达坐标系下的3D坐标，
Figure BDA0003054674590000107
为第i个标定板平面在相机坐标系下的单位法向量，
Figure BDA0003054674590000108
为相机坐标系下原点到第i个标定板平面的距离，
Figure BDA0003054674590000109
为第i个标定板平面在激光雷达坐标系下的单位法向量，
Figure BDA00030546745900001010
为激光雷达坐标系下原点到第i个平面标定板平面的距离，RCL，tCL分别为待求解初值的旋转分量和平移分量，|| ||2为向量
Figure BDA00030546745900001011
Figure BDA00030546745900001012
的二范数，R-1为矩阵R的逆，RT为矩阵R的转置。
该步骤使用高斯牛顿GN算法对步骤四中得到的初值进行非线性优化，得到3D激光雷达与相机间结构参数的精确值。
本发明实施例提供的基于AR tag的3D激光雷达与相机间结构参数标定方法，分为粗解算和精优化两个步骤。首先，利用相机图像中的像素点和激光点云图像中对应激光点点的关系得到PnP问题，求解出外参的初值；然后利用AR tag得到相机坐标系下像平面和平面上像素点的3D坐标，与激光点云图像中对应的像平面和平面上激光点的3D坐标构造平面约束和点面约束，经过非线性优化后得到精确的外参。本发明只需要一帧图像和一帧点云数据，无需时间同步，整个标定过程只需要测量AR tag的尺度信息，并且可连续标定多个激光相机模块，对于线束较少的激光雷达，标定效果也较好。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种基于AR tag的3D激光雷达与相机间结构参数的标定方法，其特征在于，包括以下步骤：
步骤一、将相机和3D激光雷达刚性固定安装，并在相机前视范围内放置多个非共面且含有AR tag的平面标定板；
步骤二、利用相机静态采集一帧相机图像，利用3D激光雷达静态采集一帧激光点云图像；
步骤三、使用相机内参对所述相机图像进行校正，得到相机校正图像和校正后的相机内参数矩阵；
步骤四、在所述相机校正图像中选取像素点，并利用所述相机内参数矩阵得到所选取像素点的2D坐标；在所述激光点云图像中选取与像素点位置对应的激光点及其3D坐标，得到2D-3D点对；利用所述2D-3D点对求解多点透视成像PnP问题，得到3D激光雷达与相机间结构参数的初值；
步骤五、利用所述相机校正图像中AR tag的实际尺寸，获得相机坐标系下的像平面和该像平面上像素点的3D坐标；在所述激光点云图像中选取激光雷达坐标系下对应的像平面和该像平面上激光点的3D坐标；
步骤六、根据像素点的3D坐标和激光点的3D坐标，构建像平面之间和点到像平面之间的约束方程，在所述约束方程的约束下，采用非线性优化方法对所述初值进行优化，得到3D激光雷达与相机间结构参数的精确值；
所述约束方程的表达式为：
Figure FDA0003657199350000011
Figure FDA0003657199350000012
Figure FDA0003657199350000013
Figure FDA0003657199350000014
其中，
Figure FDA0003657199350000015
为位于第i个平面标定板平面上的第n个点在相机坐标系下的3D坐标，
Figure FDA0003657199350000016
为位于第i个标定板平面上的第m个点在激光雷达坐标系下的3D坐标，
Figure FDA0003657199350000021
为第i个标定板平面在相机坐标系下的单位法向量，
Figure FDA0003657199350000022
为相机坐标系下原点到第i个标定板平面的距离，
Figure FDA0003657199350000023
为第i个标定板平面在激光雷达坐标系下的单位法向量，
Figure FDA0003657199350000024
为激光雷达坐标系下原点到第i个平面标定板平面的距离，RCL,tCL分别为待求解初值的旋转分量和平移分量，|| ||2为向量
Figure FDA0003657199350000025
Figure FDA0003657199350000026
的二范数，R-1为矩阵R的逆，RT为矩阵R的转置。
2.根据权利要求1所述的一种基于AR tag的3D激光雷达与相机间结构参数的标定方法，其特征在于，步骤一中，所述平面标定板为包含有April Tag的平面板，或为能够在同一张图像中被区分的任意带图案的平面板；所述平面标定板用于根据April Tag或图案的实际尺寸提供相机坐标系和所述平面标定板坐标系之间的变换关系。
3.根据权利要求1所述的一种基于AR tag的3D激光雷达与相机间结构参数的标定方法，其特征在于，步骤一中，所述平面标定板的数量不少于三个，任意两个所述平面标定板呈现不同姿态，且任意两个所述平面标定板之间不存在互相遮挡的情况。
4.根据权利要求1所述的一种基于AR tag的3D激光雷达与相机间结构参数的标定方法，其特征在于，步骤四中，所述2D-3D点对是通过选取所述相机校正图像和所述激光点云图像中任意匹配的显著特征点对得到的，任意一个所述2D-3D点对均包含所述相机校正图像中的一个像素点和所述激光点云图像中的一个激光点；在选取2D-3D点对后，利用EPnP算法得到3D激光雷达与相机间结构参数的初值。
5.根据权利要求4所述的一种基于AR tag的3D激光雷达与相机间结构参数的标定方法，其特征在于，所述EPnP算法是基于随机采样一致性RANSAC算法改进获得的。
6.根据权利要求4所述的一种基于AR tag的3D激光雷达与相机间结构参数的标定方法，其特征在于，步骤四中，所述初值的计算公式为：
Figure FDA0003657199350000031
其中，
Figure FDA0003657199350000032
为在相机校对图像上选取的像素点的2D坐标，
Figure FDA0003657199350000033
为在激光雷达坐标系下选取的与
Figure FDA0003657199350000034
对应的激光点的3D坐标，K为相机图像校正后的相机内参数矩阵，RCL,tCL分别为上式取值最小时的待求解初值的旋转分量和平移分量，SO(3)为三维旋转群，
Figure FDA0003657199350000035
为三维实向量空间，|| ||2为对应向量
Figure FDA0003657199350000036
Figure FDA0003657199350000037
的二范数。
7.根据权利要求1所述的一种基于AR tag的3D激光雷达与相机间结构参数的标定方法，其特征在于，步骤五中，所述相机坐标系下的像平面和像平面上像素点的3D坐标的获得过程为：
利用含有不同AR tag的平面标定板分别对相机坐标系下不同姿态的平面标定板平面进行标记；
获取相机坐标系与平面标定板坐标系之间的变换关系；
随机生成平面标定板坐标系下位于平面标定板平面上的像素点的3D坐标；
利用所述变换关系得到相机坐标系下平面标定板平面上像素点的3D坐标；
利用RANSAC算法对相机坐标系下每个平面标定板平面上的像素点进行平面拟合，得到相机坐标系下的平面参数方程。
8.根据权利要求1所述的一种基于AR tag的3D激光雷达与相机间结构参数的标定方法，其特征在于，步骤五中，所述激光雷达坐标系下对应的像平面和该像平面上激光点的3D坐标的获得过程为：
通过手动选点或者点云聚类的方式，提取对应于所述相机校正图像中不同平面标定板平面上的激光点；
利用RANSAC算法对每个平面标定板平面上的激光点进行平面拟合得到激光雷达坐标系下的像平面参数方程。
9.根据权利要求1所述的一种基于AR tag的3D激光雷达与相机间结构参数的标定方法，其特征在于，步骤六中的非线性优化方法为高斯牛顿算法。
CN202110496622.8A 2021-05-07 2021-05-07 一种基于AR tag的3D激光雷达与相机间结构参数的标定方法 Active CN113281723B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110496622.8A CN113281723B (zh) 2021-05-07 2021-05-07 一种基于AR tag的3D激光雷达与相机间结构参数的标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110496622.8A CN113281723B (zh) 2021-05-07 2021-05-07 一种基于AR tag的3D激光雷达与相机间结构参数的标定方法

Publications (2)

Publication Number Publication Date
CN113281723A CN113281723A (zh) 2021-08-20
CN113281723B true CN113281723B (zh) 2022-07-22

Family

ID=77278121

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110496622.8A Active CN113281723B (zh) 2021-05-07 2021-05-07 一种基于AR tag的3D激光雷达与相机间结构参数的标定方法

Country Status (1)

Country Link
CN (1) CN113281723B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114202588B (zh) * 2021-12-09 2022-09-23 纵目科技（上海）股份有限公司 一种车载环视相机快速自动标定方法和装置
CN114758005B (zh) * 2022-03-23 2023-03-28 中国科学院自动化研究所 激光雷达与相机外参标定方法及装置
CN114782556B (zh) * 2022-06-20 2022-09-09 季华实验室 相机与激光雷达的配准方法、系统及存储介质
CN116839499B (zh) * 2022-11-03 2024-04-30 上海点莘技术有限公司 一种大视野微尺寸2d及3d测量标定方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107976668B (zh) * 2016-10-21 2020-03-31 法法汽车(中国)有限公司 一种确定相机与激光雷达之间的外参数的方法
CN111754578B (zh) * 2019-03-26 2023-09-19 舜宇光学（浙江）研究院有限公司 用于激光雷达和相机的联合标定方法及其系统和电子设备
CN110188696B (zh) * 2019-05-31 2023-04-18 华南理工大学 一种水面无人装备多源感知方法及系统
CN111260735B (zh) * 2020-01-13 2022-07-01 福州大学 一种单次拍摄的lidar与全景相机的外参数标定方法
CN111369630A (zh) * 2020-02-27 2020-07-03 河海大学常州校区 一种多线激光雷达与相机标定的方法
CN111638499B (zh) * 2020-05-08 2024-04-09 上海交通大学 基于激光雷达反射强度点特征的相机-激光雷达相对外参标定方法
CN112070841A (zh) * 2020-07-01 2020-12-11 北京中科原动力科技有限公司 一种毫米波雷达与摄像头快速联合标定方法
CN111815716A (zh) * 2020-07-13 2020-10-23 北京爱笔科技有限公司 一种参数标定方法及相关装置
CN112230204A (zh) * 2020-10-27 2021-01-15 深兰人工智能(深圳)有限公司 激光雷达和相机的联合标定方法及装置
CN112669393B (zh) * 2020-12-31 2021-10-22 中国矿业大学 一种激光雷达与相机联合标定方法

Also Published As

Publication number Publication date
CN113281723A (zh) 2021-08-20

Similar Documents

Publication Publication Date Title
CN113281723B (zh) 一种基于AR tag的3D激光雷达与相机间结构参数的标定方法
CN107976669B (zh) 一种确定相机与激光雷达之间的外参数的装置
CN107976668B (zh) 一种确定相机与激光雷达之间的外参数的方法
US10924729B2 (en) Method and device for calibration
CN112819903B (zh) 基于l型标定板的相机和激光雷达联合标定的方法
CN111563923A (zh) 获得稠密深度图的方法及相关装置
CN111369630A (zh) 一种多线激光雷达与相机标定的方法
CN110555889A (zh) 一种基于CALTag和点云信息的深度相机手眼标定方法
CN107729893B (zh) 一种合模机的视觉定位方法、系统和存储介质
CN111815716A (zh) 一种参数标定方法及相关装置
CN111735439A (zh) 地图构建方法、装置和计算机可读存储介质
Yu et al. A calibration method based on virtual large planar target for cameras with large FOV
CN111707187A (zh) 一种大型零件的测量方法及系统
CN115685160A (zh) 基于标靶的激光雷达与相机标定方法、系统、电子设备
CN114037987A (zh) 一种废钢智能识别方法、装置、介质及设备
CN112419427A (zh) 用于提高飞行时间相机精度的方法
CN112002016A (zh) 基于双目视觉的连续曲面重建方法、系统和装置
CN112833791B (zh) 一种自旋转线结构光扫描系统时空标定方法
CN113808070A (zh) 一种双目数字散斑图像相关的视差测量方法
KR20090022486A (ko) 단일 카메라를 이용한 객체 정보 추정기 및 그 방법
CN108650465B (zh) 摄像机画面增强现实标签的计算方法、装置及电子设备
CN113538510A (zh) 一种生产线上工件实时追踪与定位装置
CN113792645A (zh) 一种融合图像和激光雷达的ai眼球
CN113406604A (zh) 一种激光雷达和摄像机位置标定的装置和方法
CN112985258A (zh) 一种三维测量系统的标定方法及测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant