CN110021046A - 相机与激光雷达组合传感器的外参数标定方法及系统 - Google Patents

相机与激光雷达组合传感器的外参数标定方法及系统 Download PDF

Info

Publication number
CN110021046A
CN110021046A CN201910164594.2A CN201910164594A CN110021046A CN 110021046 A CN110021046 A CN 110021046A CN 201910164594 A CN201910164594 A CN 201910164594A CN 110021046 A CN110021046 A CN 110021046A
Authority
CN
China
Prior art keywords
coordinate
transformation matrix
laser radar
camera
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910164594.2A
Other languages
English (en)
Other versions
CN110021046B (zh
Inventor
刘世策
胡瑜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Computing Technology of CAS
Original Assignee
Institute of Computing Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Computing Technology of CAS filed Critical Institute of Computing Technology of CAS
Priority to CN201910164594.2A priority Critical patent/CN110021046B/zh
Publication of CN110021046A publication Critical patent/CN110021046A/zh
Application granted granted Critical
Publication of CN110021046B publication Critical patent/CN110021046B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明涉及一种相机与激光雷达组合传感器的外参数标定方法,包括:将该组合传感器对准一个标定装置,进行一次扫描,获得该标定装置在激光雷达坐标系中的第一坐标、在图像坐标系中的第二坐标和在相机坐标系中的第三坐标;通过该第一坐标和该第二坐标,获取标定装置坐标系至该激光雷达坐标系的第一变换矩阵;通过第三坐标和该第二坐标,获取该相机坐标系至该标定装置坐标系的第二变换矩阵;通过该第一变换矩阵和该第二变换矩阵,获得该相机坐标系至该激光雷达坐标系的外参数矩阵。本发明操作简便、计算简单,标定设备易获得,提高了结果的精度和方法的可优化性。

Description

相机与激光雷达组合传感器的外参数标定方法及系统
技术领域
本发明涉及相机和激光雷达传感器标定领域,具体涉及一种相机和激光雷达外参数标定系统与方法。
背景技术
相机摄像头,是一种利用光学成像原理形成影像并记录影像的设备。其工作原理是通过镜头将光聚焦在电荷耦合元件(Charge-coupled Device,CCD)或互补金属氧化物半导体(Complementary Metal Oxide Semiconductor,CMOS)上,然后通过CCD或CMOS将光转换成电信号,经过传感器加工,记录在相机的内存上,就可以处理拍摄的图像。
激光雷达,即通过是以发射激光束探测目标的位置、速度等特征量的雷达系统。其工作原理是向目标发射探测信号,即激光束,然后将接收到的从目标反射回来的信号,即目标回波,与发射信号进行比较,作适当处理后,就可获得目标的有关信息,例如目标距离、方位、高度、速度、姿态、甚至形状等参数。激光雷达本身具有非常精确的测距能力,可以获得极高的角度、距离和速度分辨率。
在相机和激光雷达的导航系统当中,我们可以通过相机和激光雷达获得周围的环境。但是因为激光雷达扫描出的点云分布非常稀疏,对周围环境的测量反馈非常有限。而高线数的激光雷达成本非常昂贵,并不经济。因此,将相机与激光雷达进行组合,从而结合稠密的场景信息和低线数激光雷达,是非常有必要的。此时,获取相机和激光雷达之间的位置关系与坐标变换就变得尤为重要,这决定了相机和激光雷达系统能否成功运行。然而,由于激光雷达扫描的空间点云没有颜色和纹理等信息,在利用三维点云标定相机和激光雷达系统的时候,很难对应相机和激光雷达扫描过程当中的对应点,因此这就成为了相机和激光雷达的标定过程当中的难点。
对上述相机和激光雷达系统的标定方法一般采用多块平行标定板以及需要移动标定板或者测量装置进行多次测量,然后拟合出相机和激光雷达之间的坐标变换关系。这种标定方法往往需要较为准确的坐标变换初始值,然后通过精调得到较为准确的结果,且移动标定板或测量装置进行反复测量的过程增加了操作的复杂性。
发明内容
本发明的目的是克服上述现有技术中需要多次测量及多块标定板的缺陷,提出了一种相机与激光雷达组合传感器的外参数标定方法及系统,采用一次测量即可获取相机与激光雷达的外参数矩阵,可以兼顾准确性、简单易用性、高效性和普适性。
具体来说,本发明提出一种相机与激光雷达组合传感器的外参数标定方法,包括:将组合传感器对准标定装置,进行一次扫描,获得该标定装置在激光雷达坐标系中的第一坐标PA i、在图像坐标系中的第二坐标PB i和在相机坐标系中的第三坐标PC i;以该第一坐标PA i和该第二坐标PB i,获取标定装置坐标系至该激光雷达坐标系的第一变换矩阵TA;以第三坐标PC i和该第二坐标PB i,获取该相机坐标系至该标定装置坐标系的第二变换矩阵TC -1;以该第一变换矩阵TA和该第二变换矩阵TC -1,获得该相机坐标系至该激光雷达坐标系的外参数矩阵TE;其中,该标定装置包括三个相互垂直相交设置的标定板。
本发明所述的外参数标定方法,其中获得该变换矩阵TE步骤包括:获取图像坐标系至标定板坐标系的第三变换矩阵TD;分解该第三变换矩阵TD,得到该标定板坐标系至该相机坐标系的第四变换矩阵TC;对该第四变换矩阵TC求逆,获得该第二变换矩阵TC -1;获得该外参数矩阵TE=TA TC -1
本发明所述的外参数标定方法,其中该相机的光轴和该激光雷达的扫射面,与三个该标定板的平面夹角均大于30°。
本发明所述的外参数标定方法,其中该标定板为黑白方格交替设置的标准尺寸棋盘平面标定板。
本发明还提出一种相机与激光雷达组合传感器的外参数标定系统,包括:
坐标获取模块,用于将组合传感器对准标定装置,进行一次扫描,获得该标定装置在激光雷达坐标系中的第一坐标PA i、在图像坐标系中的第二坐标PB i和在相机坐标系中的第三坐标PC i
第一变换矩阵获取模块,用于以该第一坐标PA i和该第二坐标PB i,获取标定装置坐标系至该激光雷达坐标系的第一变换矩阵TA
第二变换矩阵获取模块,用于以第三坐标PC i和该第二坐标PB i,获取该相机坐标系至该标定装置坐标系的第二变换矩阵TC -1
外参数矩阵获取模块,用于以该第一变换矩阵TA和该第二变换矩阵TC -1,获得该相机坐标系至该激光雷达坐标系的外参数矩阵TE
其中,该标定装置包括三个相互垂直相交设置的标定板。
本发明所述的外参数标定系统,其中该外参数矩阵获取模块具体包括:获取图像坐标系至标定板坐标系的第三变换矩阵TD;分解该第三变换矩阵TD,得到该标定板坐标系至该相机坐标系的第四变换矩阵TC;对该第四变换矩阵TC求逆,获得该第二变换矩阵TC -1;获得该外参数矩阵TE=TA TC -1
本发明所述的外参数标定系统,其中调用坐标获取模块时,该相机的光轴和该激光雷达的扫射面,与三个该标定板的平面夹角均大于30°。
本发明所述的外参数标定系统,其中该标定板为黑白方格交替设置的标准尺寸棋盘平面标定板。
本发明还提出一种可读存储介质,存储有可执行指令,该可执行指令用于执行如前述的相机与激光雷达组合传感器的外参数标定方法。
本发明还提出一种数据处理装置,包括如前述的可读存储介质,该数据处理装置调取并执行该可读存储介质中的可执行指令,以进行相机与激光雷达组合传感器的外参数标定。
本发明提出了一种相机与激光雷达组合传感器的外参数标定系统与方法,使用一块拥有标准尺寸的镂空棋盘立体标定板,对相机和激光雷达的待标定系统进行标定。利用采集到的空间点之间的关系,通过求解方程组,获得相机和激光雷达的外参数。该系统与方法获得空间标定点容易,求解过程简单、快速。
附图说明
图1是本发明的相机与激光雷达组合传感器的外参数标定方法流程图。
图2是本发明的棋盘平面标定板示意图。
图3是本发明的镂空棋盘平面标定板示意图。
图4是本发明的定板装置示意图。
图5是本发明的坐标系变换示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图,对本发明提出的相机与激光雷达组合传感器的外参数标定方法及系统进一步详细说明。应当理解,此处所描述的具体实施方法仅仅用以解释本发明,并不用于限定本发明。
本发明提出了一种相机和激光雷达组合传感器的外参数标定系统,包括一个组合传感器(待标定系统)和一个标定装置。
其中,组合传感器包括固定于所需应用设备上的一个相机和一个激光雷达,标定装置为拥有标准尺寸的镂空棋盘立体标定板。
该方法的具体步骤如下:
S1:将相机和激光雷达固定于所需应用设备上,这个相机和激光雷达就组成了一个待标定的相机、激光雷达系统。
S2:固定一个拥有标准尺寸的镂空棋盘立体标定板,使其能够被相机拍摄和激光雷达扫描。
S2.1:获取三个拥有标准尺寸的镂空棋盘平面标定板:首先获得三块棋盘平面标定板,然后去除其中的黑色小方格,即可获得三个镂空棋盘平面标定板;
S2.2:获取一个拥有标准尺寸的镂空棋盘立体标定板:将上述三块镂空棋盘平面标定板延边拼接在一起,保证每两块标定板的平面夹角为90°,三块标定板的交汇点为原点。
S2.3:在制作好该镂空棋盘立体标定板之后,需要将该标准尺寸的镂空棋盘立体标定板固定于相机和激光雷达都可以观测到的位置,并且立体标定板的三个面应与相机的光轴和激光雷达的扫描面保持大于30度的夹角。
S3:开启S1中的待标定系统,对S2中的标定装置进行扫描,从而获取稳定的测量结果。
S3.1:开启待标定系统当中的相机和激光雷达,待运行稳定后,对标定装置进行拍摄和扫描,获得相机对S2中标定板的拍摄结果和激光雷达对S2中标定板的扫描结果。
S3.2:处理相机和激光雷达对S2中标定板上每一个白色小方格的拍摄结果和扫描结果,得到了标定板上每一个白色小方格在图像坐标系中的二维坐标和激光雷达坐标系中的三维坐标。
S4:根据S3中白色小方格在图像坐标系和激光雷达坐标系中的坐标,推算出相机坐标系至激光雷达坐标系的坐标变换TE
S4.1:求解相机坐标系至标定板坐标系的变换矩阵TC -1
S4.1.1:求解图像坐标系至标定板坐标系的变换矩阵TD
通过相机对标定板的观测,可以联立方程组求解TD矩阵的12个自由变量。
S4.1.2:分解图像坐标系至标定板坐标系的变换矩阵TD,得到相机坐标系至图像坐标系变换矩阵TB和标定板坐标系至相机坐标系变换矩阵TC
S4.1.3:对标定板坐标系至相机坐标系的变换矩阵TC求逆,得到相机坐标系至标定板坐标系的变换矩阵TC -1
S4.2:求解标定板坐标系至激光雷达坐标系的变换矩阵TA
通过激光雷达对标定板的观测,可以联立方程组求解TA矩阵的12个自由变量。
S4.3:求解相机坐标系至激光雷达坐标系的变换矩阵TE
S5:完成相机和激光雷达外参数的标定工作。
下面将结合附图和具体实施例对本发明技术方案进行详细的描述,以更进一步了解本发明的目的、方案及功效。
图1是本发明的相机与激光雷达组合传感器的外参数标定方法流程图。如图1所示,本发明的相机与激光雷达组合传感器的外参数标定方法具体包括:
1)安装待标定相机与激光雷达系统。
相机和激光雷达作为重要的环境感知传感器,需要安装在承载设备的合适位置。为了使相机和激光雷达配合良好,安装相机和激光雷达使应当考虑它们的拍摄和扫描范围,使其配合起来能得到更多的环境信息。
因此,相机和激光雷达应当保持合适的间隔,且不宜太远,即在空间的三个维度上有合适的偏移。这样才能保证它们得到的信息尽量覆盖更多有用的区域,并且在对关键区域的观测方面,相机和激光雷达应当都能够获得观测。
2)制作一个拥有标准尺寸的镂空棋盘立体标定板,并固定。
图2是本发明的棋盘平面标定板示意图,图3是本发明的镂空棋盘平面标定板示意图,图4是本发明的定板装置示意图。如图2、3、4所示,首先,获取三个棋盘平面标定板,棋盘平面标定板如图二所示。棋盘的每个小格为正方形,每个小方格的颜色为黑色和白色,且间隔排列,相邻黑色方格或相邻白色方格的中心距离为L厘米,棋盘中白色方格的数量不应少于4个,越多精度越好。其中,考虑到点云扫描的稀疏性,L的值不应太小,保证每个白色的小方格上都会有扫描点;考虑到点云扫描的范围有限,L的值也不应过大,保证每个激光雷达都可以尽量扫描到所有的白色小方格。
然后,将棋盘平面标定板中的黑色棋盘格都挖去,得到如图三所示的镂空棋盘平面标定板,其中灰色的部分为挖掉的部分。获得的三个棋盘平面标定板都要挖去。在挖去时,白色的小方格不能从标定板上掉落,因此挖去的部分应与黑色小方格的边界存在一定的距离,并且该距离应当尽可能的小,较佳为1~2mm。
最后,将获得的三块镂空棋盘平面标定板延边界拼接粘贴在一起。粘贴需要注意每两块镂空棋盘平面标定板的夹角应为90度,三块标定板的交汇点定为镂空棋盘立体标定板的坐标原点,延着相交的三条边依次建立右手坐标系的X轴、Y轴、Z轴,并且获得每一个白色小方格中心的三维坐标。得到的镂空棋盘立体标定板如图四所示。
在制作好该镂空棋盘立体标定板之后,需要将该标定板固定于相机和激光雷达都可以观测到的位置,并且立体标定板的三个面应与相机的光轴和激光雷达的扫描面都保持大于30度的夹角。
3)开启待标定相机和激光雷达系统,对镂空棋盘立体标定板进行扫描,并取得扫描结果。
在固定好镂空棋盘立体标定板之后,就可以开始正式的标定流程。
打开待标定系统中的相机和激光雷达,使相机和激光雷达开始采集周围环境的信息。待相机和激光雷达的拍摄和扫描结果稳定后,在图像和激光雷达的坐标系中,分别确定各个白色小方格中心的坐标。
在图像坐标系中确定白色小方格中心坐标时,首先先获得每个白色小方格的4个顶点在图像中的坐标,然后将这4个点的横纵坐标分别求和,再分别除以4,就得到了那个白色小方格的中心点的横纵坐标值。
在激光雷达坐标系中确定白色小方格中心坐标时,用该激光雷达落在该白色小方格中的所有点云的三维坐标的平均值作为该白色小方格在该激光雷达坐标系中的空间位置。
最后,统计该镂空棋盘立体标定板上各个白色小方格在图像坐标系中的二维坐标和激光雷达坐标系中的三维坐标,并将这些三维坐标应用到接下来的外参数计算当中。其中,为了表示方便,这里使用PA i=[XA i,YA i,ZA i,1]T来表示第i个白色小方格中心在激光雷达坐标系中的三维齐次坐标,其坐标值为[XA i,YA i,ZA i,1]T。使用PB i=[XB i,YB i,1]T来表示第i个白色小方格中心在图像坐标系中的二维齐次坐标,其坐标值为[XB i,YB i,1]T。使用PC i=[XC i,YC i,ZC i]T来表示第i个白色小方格中心在相机坐标系中的三维坐标,其坐标值为[XC i,YC i,ZC i]T
4)利用坐标变换,求解方程组,得到待标定系统的外参数。
这里我们先介绍相机坐标系、激光雷达坐标系、标定板坐标系和图像坐标系及其之间的关系。
图5是本发明的坐标系变换示意图。如图5所示,相机坐标系就是以相机镜头的中心为原点,光轴向外为Z轴正方向,与光轴垂直且水平向右为X轴,与光轴垂直且竖直向下为Y轴。该坐标系可以代表相机当前在空间中的位置。
激光雷达坐标系就是以激光雷达旋转扫描中心为原点,竖直向上为Z轴正方向,水平向左为Y轴,水平向前为X轴。该坐标系可以代表激光雷达在空间中的位置。
标定板坐标系如步骤3中所描述的原点和X、Y、Z三轴。该坐标系可以代表标定板在空间中的位置。
图像坐标系就是以拍摄的图像左上角为原点,水平向右是X轴,竖直向下为Y轴,是一个二维坐标系。该坐标系可以代表图像中各个像素点的坐标值。
待标定相机和激光雷达的外参数,即相机坐标系和激光雷达坐标系之间的空间变换关系TE
首先,在建立镂空棋盘立体标定板的三维坐标系后,可以获得每一个白色小方格中心在标定板坐标系中的位置。为了公式表示方便,这里用pi=[xi,yi,zi,1]T表示第i个白色小方格在标定板坐标系下的三维齐次坐标,其坐标值为[xi,yi,zi,1]T
然后,对于激光雷达,我们可以通过三维空间变换关系,可以推导出由标定板坐标系至激光雷达坐标系的变换关系为:
其中,TA为标定板坐标系至激光雷达坐标系的变换矩阵,其中有12个自由变量,前三列的9个自由变量构成一个旋转正交矩阵,第四列的3个自由变量构成一个平移向量,i为第i个白色小方格。
对于相机,我们可以通过三维空间变换关系,建模由标定板坐标系至相机坐标系的变换关系以及由相机坐标系至图像坐标系的变换关系。
由标定板坐标系至相机坐标系的变换关系又称为相机的外参数,具体表示为:
其中,TC为标定板坐标系至相机坐标系的变换矩阵,其中同样有12个自由变量,前三列的9个自由变量构成一个旋转正交矩阵,第四列的3个自由变量构成一个平移向量,i为第i个白色小方格。
由相机坐标系至图像坐标系的变换关系又称为相机的内参数,可由小孔成像原理建模,如下:
其中,TB为相机坐标系至图像坐标系的变换矩阵,其中同样有5个自由变量,构成了一个上三角矩阵,i为第i个白色小方格。
由于我们需要求得相机坐标系和激光雷达坐标系之间的坐标变换关系
TE,因此我们只需获得相机坐标系至标定板坐标系的变换矩阵TC -1和标定板坐标系至激光雷达坐标系之间的变换矩阵TA
过程1:求解相机坐标系至标定板坐标系的变换矩阵TC -1
先求解图像坐标系至标定板坐标系的变换矩阵TD=TBTC,实际为相机的内、外参数的乘积:
这时我们就可以根据PB i和pi的测量值将TD矩阵求出。具体的,先展开该方程组,得到如下三个方程:
ZC iXB i=d1xi+d2yi+d3zi+d4
ZC iYB i=d5xi+d6yi+d7zi+d8
ZC i=d9xi+d10yi+d11zi+d12
我们根据第三个方程,将前两个方程中的ZC i消元:
d9xiXB i+d10yiXB i+d11ziXB i+d12XB i=d1xi+d2yi+d3zi+d4
d9xiYB i+d10yiYB i+d11ziYB i+d12YB i=d5xi+d6yi+d7zi+d8
这两个方程中,只有d1~d12是未知量,也是所要求的量。因此,将上式写成线性方程组的形式:
Ai[d1 d2 d3 d4 d5 d6 d7 d8 d9 d10 d11 d12]T=0
其中,Ai矩阵如下:
通过联立所有白色小方格的观测方程,我们可以求得d1~d12的值。由于该方程是尺度无关的,会有无穷多解,因此我们需要通过d12的值来确定d1~d11的值,从而得到唯一的解。实际上,d12的值就为标定板坐标系的原点至相机镜头平面的垂直距离,可以通过直尺测量。至此,我们求得了TD矩阵。
分解图像坐标系至标定板坐标系的变换矩阵TD,得到矩阵TB和TC
由于TD的前三列是由TB和TC的前三列通过矩阵相乘得到的,因此我们先分解由TD的前三列构成的子矩阵TD’。具体的分解方法为矩阵的RQ分解,将该子矩阵分解为一个上三角矩阵R和正交矩阵Q的乘积:
TD’=RQ
由RQ分解的唯一性可知,矩阵R就为矩阵TB,矩阵Q就为矩阵TC的前三列,而最后一列的三个元素也可以通过TD=TBTC关系得到。因此,我们求得了矩阵TB和TC,再对TC求逆即得相机坐标系至标定板坐标系的变换矩阵TC -1
过程2:求解标定板坐标系至激光雷达坐标系的变换矩阵TA
同样的,根据观测数据和坐标变换关系,我们可以得到如下三个方程:
XA i=t1xi+t2yi+t3zi+t4
YA i=t5xi+t6yi+t7zi+t8
ZA i=t9xi+t10yi+t11zi+t12
通过联立所有白色小方格的观测方程,我们可以求得t1~t12的值,即得到了矩阵TA
过程3:求解相机坐标系至激光雷达坐标系的变换矩阵TE
由pi=TC -1PC i和PA i=TApi
可得:PA i=TA TC -1PC i
因此,TE=TA TC -1
至此,得到了矩阵TE即为所求。
通过过程1~过程3,我们就得到了相机和激光雷达的外参数TE
本发明实施例还提供一种可读存储介质,以及一种数据处理装置。本发明的可读存储介质存储有计可执行指令,可执行指令被数据处理装置的处理器执行时,实现上述外参数标定方法。本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件(例如处理器)完成,所述程序可以存储于可读存储介质中,如只读存储器、磁盘或光盘等。上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地,上述实施例中的各模块可以采用硬件的形式实现,例如通过集成电路来实现其相应功能,也可以采用软件功能模块的形式实现,例如通过处理器执行存储于存储器中的程序/指令来实现其相应功能。本发明实施例不限制于任何特定形式的硬件和软件的结合。
虽然本发明已以实施例揭露如上,然其并非用以限定本发明,任何所属技术领域中的普通技术人员,在不脱离本发明的精神和范围内,可以做出若干变形和改进,故本发明的保护范围当视后附的申请专利范围所界定者为准。

Claims (10)

1.一种相机与激光雷达组合传感器的外参数标定方法,其特征在于,包括:
步骤1,将该组合传感器对准一个标定装置,进行一次扫描,获得该标定装置在激光雷达坐标系中的第一坐标、在图像坐标系中的第二坐标和在相机坐标系中的第三坐标;
步骤2,通过该第一坐标和该第二坐标,获取标定装置坐标系至该激光雷达坐标系的第一变换矩阵;
步骤3,通过第三坐标和该第二坐标,获取该相机坐标系至该标定装置坐标系的第二变换矩阵;
步骤4,通过该第一变换矩阵和该第二变换矩阵,获得该相机坐标系至该激光雷达坐标系的外参数矩阵。
2.如权利要求1所述的外参数标定方法,其特征在于,步骤4中,获得该外参数矩阵具体包括如下步骤:
步骤21,获取图像坐标系至标定板坐标系的第三变换矩阵;
步骤22,分解该第三变换矩阵,得到该标定板坐标系至该相机坐标系的第四变换矩阵;
步骤23,对该第四变换矩阵求逆,获得该第二变换矩阵;
步骤24,将该第一变换矩阵与第二变换矩阵求积,获得该外参数矩阵。
3.如权利要求1所述的外参数标定方法,其特征在于,该相机的光轴和该激光雷达的扫射面,与三个该标定板的平面夹角均大于30°。
4.如权利要求3所述的外参数标定方法,其特征在于,该标定板为黑白方格交替设置的标准尺寸棋盘平面标定板。
5.一种相机与激光雷达组合传感器的外参数标定系统,其特征在于,包括:
坐标获取模块,用于将组合传感器对准标定装置,进行一次扫描,获得该标定装置在激光雷达坐标系中的第一坐标PA i、在图像坐标系中的第二坐标PB i和在相机坐标系中的第三坐标PC i
第一变换矩阵获取模块,用于以该第一坐标PA i和该第二坐标PB i,获取标定装置坐标系至该激光雷达坐标系的第一变换矩阵TA
第二变换矩阵获取模块,用于以第三坐标PC i和该第二坐标PB i,获取该相机坐标系至该标定装置坐标系的第二变换矩阵TC -1
外参数矩阵获取模块,用于以该第一变换矩阵TA和该第二变换矩阵TC -1,获得该相机坐标系至该激光雷达坐标系的外参数矩阵TE
其中,该标定装置包括三个相互垂直相交设置的标定板。
6.如权利要求5所述的外参数标定系统,其特征在于,该外参数矩阵获取模块具体包括:获取图像坐标系至标定板坐标系的第三变换矩阵TD;分解该第三变换矩阵TD,得到该标定板坐标系至该相机坐标系的第四变换矩阵TC;对该第四变换矩阵TC求逆,获得该第二变换矩阵TC -1;获得该外参数矩阵TE=TA TC -1
7.如权利要求5所述的外参数标定系统,其特征在于,调用坐标获取模块时,该相机的光轴和该激光雷达的扫射面,与三个该标定板的平面夹角均大于30°。
8.如权利要求7所述的外参数标定系统,其特征在于,该标定板为黑白方格交替设置的标准尺寸棋盘平面标定板。
9.一种可读存储介质,存储有可执行指令,该可执行指令用于执行如权利要求1~4任一项所述的相机与激光雷达组合传感器的外参数标定方法。
10.一种数据处理装置,包括如权利要求5-8所述的外参数标定系统。
CN201910164594.2A 2019-03-05 2019-03-05 相机与激光雷达组合传感器的外参数标定方法及系统 Active CN110021046B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910164594.2A CN110021046B (zh) 2019-03-05 2019-03-05 相机与激光雷达组合传感器的外参数标定方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910164594.2A CN110021046B (zh) 2019-03-05 2019-03-05 相机与激光雷达组合传感器的外参数标定方法及系统

Publications (2)

Publication Number Publication Date
CN110021046A true CN110021046A (zh) 2019-07-16
CN110021046B CN110021046B (zh) 2021-11-19

Family

ID=67189231

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910164594.2A Active CN110021046B (zh) 2019-03-05 2019-03-05 相机与激光雷达组合传感器的外参数标定方法及系统

Country Status (1)

Country Link
CN (1) CN110021046B (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110361717A (zh) * 2019-07-31 2019-10-22 苏州玖物互通智能科技有限公司 激光雷达-摄像机联合标定靶和联合标定方法
CN111025250A (zh) * 2020-01-07 2020-04-17 湖南大学 一种车载毫米波雷达在线标定方法
CN111122128A (zh) * 2020-01-03 2020-05-08 浙江大华技术股份有限公司 一种球形摄像机的标定方法及装置
CN111145264A (zh) * 2019-11-12 2020-05-12 深圳前海达闼云端智能科技有限公司 多传感器的标定方法、装置及计算设备
CN111289957A (zh) * 2020-03-10 2020-06-16 上海高仙自动化科技发展有限公司 外参标定方法及装置、智能机器人及计算机可读存储介质
CN111429521A (zh) * 2020-03-05 2020-07-17 深圳市镭神智能系统有限公司 相机与激光雷达的外参标定方法、装置、介质及电子设备
CN111638499A (zh) * 2020-05-08 2020-09-08 上海交通大学 基于激光雷达反射强度点特征的相机-激光雷达相对外参标定方法
CN111708046A (zh) * 2020-04-28 2020-09-25 上海高仙自动化科技发展有限公司 一种障碍物的平面数据的处理方法、装置、电子设备及存储介质
CN112526486A (zh) * 2020-11-23 2021-03-19 哈尔滨工业大学 一种基于轴系误差模型的三维激光雷达空间坐标校准方法
CN112630750A (zh) * 2019-10-08 2021-04-09 华为技术有限公司 传感器标定方法和传感器标定装置
CN112652017A (zh) * 2019-10-11 2021-04-13 中国科学院沈阳自动化研究所 基于相机和动态捕捉设备的外参标定方法
CN112785649A (zh) * 2019-11-11 2021-05-11 北京京邦达贸易有限公司 激光雷达和相机的标定方法、装置、电子设备及介质
CN112819903A (zh) * 2021-03-02 2021-05-18 福州视驰科技有限公司 基于l型标定板的相机和激光雷达联合标定的方法
CN113313767A (zh) * 2021-04-25 2021-08-27 普联国际有限公司 一种多麦克风阵列的标定方法、装置、系统及存储介质
CN113378606A (zh) * 2020-03-10 2021-09-10 杭州海康威视数字技术股份有限公司 一种标注信息确定方法、装置及系统
CN113538591A (zh) * 2021-06-18 2021-10-22 深圳奥锐达科技有限公司 一种距离测量装置与相机融合系统的标定方法及装置
CN113838141A (zh) * 2021-09-02 2021-12-24 中南大学 一种单线激光雷达与可见光相机的外参标定方法及系统
CN116071431A (zh) * 2021-11-03 2023-05-05 北京三快在线科技有限公司 一种标定方法、装置、存储介质及电子设备
CN116091610A (zh) * 2021-11-08 2023-05-09 南京理工大学 一种基于三维塔式棋盘格的雷达与相机的联合标定方法
US11668794B2 (en) 2020-01-07 2023-06-06 Ford Global Technologies, Llc Sensor calibration

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103149556A (zh) * 2013-01-29 2013-06-12 北京理工大学 一种用于特征点标定算法的热像仪与3d激光雷达温控标定靶
CN103837869A (zh) * 2014-02-26 2014-06-04 北京工业大学 基于向量关系的单线激光雷达和ccd相机标定方法
CN105758426A (zh) * 2016-02-19 2016-07-13 深圳杉川科技有限公司 移动机器人的多传感器的联合标定方法
CN206568190U (zh) * 2017-03-03 2017-10-20 梅卡曼德(北京)机器人科技有限公司 一种用于工业机器人抓取领域的深度相机标定装置
CN107976668A (zh) * 2016-10-21 2018-05-01 法乐第(北京)网络科技有限公司 一种确定相机与激光雷达之间的外参数的方法
CN108198223A (zh) * 2018-01-29 2018-06-22 清华大学 一种激光点云与视觉图像映射关系快速精确标定方法
CN108226906A (zh) * 2017-11-29 2018-06-29 深圳市易成自动驾驶技术有限公司 一种标定方法、装置及计算机可读存储介质
CN108828606A (zh) * 2018-03-22 2018-11-16 中国科学院西安光学精密机械研究所 一种基于激光雷达和双目可见光相机联合测量方法
US20180357503A1 (en) * 2017-06-13 2018-12-13 TuSimple Sensor calibration and time system for ground truth static scene sparse flow generation

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103149556A (zh) * 2013-01-29 2013-06-12 北京理工大学 一种用于特征点标定算法的热像仪与3d激光雷达温控标定靶
CN103837869A (zh) * 2014-02-26 2014-06-04 北京工业大学 基于向量关系的单线激光雷达和ccd相机标定方法
CN105758426A (zh) * 2016-02-19 2016-07-13 深圳杉川科技有限公司 移动机器人的多传感器的联合标定方法
CN107976668A (zh) * 2016-10-21 2018-05-01 法乐第(北京)网络科技有限公司 一种确定相机与激光雷达之间的外参数的方法
CN206568190U (zh) * 2017-03-03 2017-10-20 梅卡曼德(北京)机器人科技有限公司 一种用于工业机器人抓取领域的深度相机标定装置
US20180357503A1 (en) * 2017-06-13 2018-12-13 TuSimple Sensor calibration and time system for ground truth static scene sparse flow generation
CN108226906A (zh) * 2017-11-29 2018-06-29 深圳市易成自动驾驶技术有限公司 一种标定方法、装置及计算机可读存储介质
CN108198223A (zh) * 2018-01-29 2018-06-22 清华大学 一种激光点云与视觉图像映射关系快速精确标定方法
CN108828606A (zh) * 2018-03-22 2018-11-16 中国科学院西安光学精密机械研究所 一种基于激光雷达和双目可见光相机联合测量方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
XIAOJIN GONG ET AL.: "3D LIDAR-Camera Extrinsic Calibration Using an Arbitrary Trihedron", 《SENSORS》 *
XIAOJIN GONG ET AL.: "Extrinsic calibration of a 3D LIDAR and a camera using a trihedron", 《OPTICS AND LASERS IN ENGINEERING》 *
焦宏伟 等: "一种脉冲激光雷达与摄像机标定方法的研究", 《中国激光》 *
韩正勇 等: "一种针孔相机与三维激光雷达外参标定方法", 《传感器与微系统》 *

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110361717A (zh) * 2019-07-31 2019-10-22 苏州玖物互通智能科技有限公司 激光雷达-摄像机联合标定靶和联合标定方法
WO2021068723A1 (zh) * 2019-10-08 2021-04-15 华为技术有限公司 传感器标定方法和传感器标定装置
CN112630750A (zh) * 2019-10-08 2021-04-09 华为技术有限公司 传感器标定方法和传感器标定装置
CN112652017B (zh) * 2019-10-11 2024-03-29 中国科学院沈阳自动化研究所 基于相机和动态捕捉设备的外参标定方法
CN112652017A (zh) * 2019-10-11 2021-04-13 中国科学院沈阳自动化研究所 基于相机和动态捕捉设备的外参标定方法
CN112785649A (zh) * 2019-11-11 2021-05-11 北京京邦达贸易有限公司 激光雷达和相机的标定方法、装置、电子设备及介质
CN111145264B (zh) * 2019-11-12 2023-09-08 达闼机器人股份有限公司 多传感器的标定方法、装置及计算设备
CN111145264A (zh) * 2019-11-12 2020-05-12 深圳前海达闼云端智能科技有限公司 多传感器的标定方法、装置及计算设备
CN111122128A (zh) * 2020-01-03 2020-05-08 浙江大华技术股份有限公司 一种球形摄像机的标定方法及装置
CN111122128B (zh) * 2020-01-03 2022-04-19 浙江大华技术股份有限公司 一种球形摄像机的标定方法及装置
CN111025250A (zh) * 2020-01-07 2020-04-17 湖南大学 一种车载毫米波雷达在线标定方法
US11668794B2 (en) 2020-01-07 2023-06-06 Ford Global Technologies, Llc Sensor calibration
CN111429521A (zh) * 2020-03-05 2020-07-17 深圳市镭神智能系统有限公司 相机与激光雷达的外参标定方法、装置、介质及电子设备
CN111429521B (zh) * 2020-03-05 2021-12-21 深圳市镭神智能系统有限公司 相机与激光雷达的外参标定方法、装置、介质及电子设备
CN111289957A (zh) * 2020-03-10 2020-06-16 上海高仙自动化科技发展有限公司 外参标定方法及装置、智能机器人及计算机可读存储介质
CN111289957B (zh) * 2020-03-10 2022-08-16 上海高仙自动化科技发展有限公司 外参标定方法及装置、智能机器人及计算机可读存储介质
CN113378606A (zh) * 2020-03-10 2021-09-10 杭州海康威视数字技术股份有限公司 一种标注信息确定方法、装置及系统
CN111708046A (zh) * 2020-04-28 2020-09-25 上海高仙自动化科技发展有限公司 一种障碍物的平面数据的处理方法、装置、电子设备及存储介质
CN111638499B (zh) * 2020-05-08 2024-04-09 上海交通大学 基于激光雷达反射强度点特征的相机-激光雷达相对外参标定方法
CN111638499A (zh) * 2020-05-08 2020-09-08 上海交通大学 基于激光雷达反射强度点特征的相机-激光雷达相对外参标定方法
CN112526486A (zh) * 2020-11-23 2021-03-19 哈尔滨工业大学 一种基于轴系误差模型的三维激光雷达空间坐标校准方法
CN112526486B (zh) * 2020-11-23 2022-06-14 哈尔滨工业大学 一种基于轴系误差模型的三维激光雷达空间坐标校准方法
CN112819903B (zh) * 2021-03-02 2024-02-20 福州视驰科技有限公司 基于l型标定板的相机和激光雷达联合标定的方法
CN112819903A (zh) * 2021-03-02 2021-05-18 福州视驰科技有限公司 基于l型标定板的相机和激光雷达联合标定的方法
CN113313767A (zh) * 2021-04-25 2021-08-27 普联国际有限公司 一种多麦克风阵列的标定方法、装置、系统及存储介质
CN113538591B (zh) * 2021-06-18 2024-03-12 深圳奥锐达科技有限公司 一种距离测量装置与相机融合系统的标定方法及装置
CN113538591A (zh) * 2021-06-18 2021-10-22 深圳奥锐达科技有限公司 一种距离测量装置与相机融合系统的标定方法及装置
CN113838141A (zh) * 2021-09-02 2021-12-24 中南大学 一种单线激光雷达与可见光相机的外参标定方法及系统
CN116071431A (zh) * 2021-11-03 2023-05-05 北京三快在线科技有限公司 一种标定方法、装置、存储介质及电子设备
CN116091610A (zh) * 2021-11-08 2023-05-09 南京理工大学 一种基于三维塔式棋盘格的雷达与相机的联合标定方法
CN116091610B (zh) * 2021-11-08 2023-11-10 南京理工大学 一种基于三维塔式棋盘格的雷达与相机的联合标定方法

Also Published As

Publication number Publication date
CN110021046B (zh) 2021-11-19

Similar Documents

Publication Publication Date Title
CN110021046A (zh) 相机与激光雷达组合传感器的外参数标定方法及系统
CN105157566B (zh) 三维立体彩色点云扫描的方法
CN110779498B (zh) 基于无人机多视点摄影的浅水河流水深测绘方法及系统
Eltner et al. Analysis of different methods for 3D reconstruction of natural surfaces from parallel‐axes UAV images
CN106959078B (zh) 一种用于三维轮廓测量的轮廓测量方法
CN104616292B (zh) 基于全局单应矩阵的单目视觉测量方法
US9224208B2 (en) Image-based surface tracking
CN107886547B (zh) 一种鱼眼相机标定方法及系统
AU2011312140A1 (en) Rapid 3D modeling
Barazzetti et al. 3D scanning and imaging for quick documentation of crime and accident scenes
CN109581338A (zh) 一种标定多激光雷达外参数的系统及其方法
CN109559349A (zh) 一种用于标定的方法和装置
CN110619663A (zh) 一种基于三维激光点云的视频影像目标定位方法
CN112365545B (zh) 基于大平面复合靶标的激光雷达与可见光相机的标定方法
Abmayr et al. Terrestrial laser scanning: Applications in cultural heritage conservation and civil engineering
Fritsch et al. Multi-sensors and multiray reconstruction for digital preservation
Wang et al. Nonmetric camera calibration for underwater laser scanning system
CN107941241A (zh) 一种用于航空摄影测量质量评价的分辨率板及其使用方法
WO2024098428A1 (zh) 一种配准方法及系统
CN114782556B (zh) 相机与激光雷达的配准方法、系统及存储介质
Wu Photogrammetry: 3-D from imagery
CN113034615A (zh) 一种用于多源数据融合的设备标定方法及相关装置
CN117036506B (zh) 一种双目摄像机标定方法
Jiang et al. Underwater 3D reconstruction based on laser line scanning
Günay et al. True Orthophoto production using Lidar data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant