CN109741402A - 基于激光雷达的小重合视野多摄像机联合标定方法 - Google Patents

基于激光雷达的小重合视野多摄像机联合标定方法 Download PDF

Info

Publication number
CN109741402A
CN109741402A CN201811597361.3A CN201811597361A CN109741402A CN 109741402 A CN109741402 A CN 109741402A CN 201811597361 A CN201811597361 A CN 201811597361A CN 109741402 A CN109741402 A CN 109741402A
Authority
CN
China
Prior art keywords
calibration
lidar
laser radar
vector
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811597361.3A
Other languages
English (en)
Other versions
CN109741402B (zh
Inventor
李颢
杨明
赵恒旺
王春香
王冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiao Tong University
Original Assignee
Shanghai Jiao Tong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiao Tong University filed Critical Shanghai Jiao Tong University
Priority to CN201811597361.3A priority Critical patent/CN109741402B/zh
Publication of CN109741402A publication Critical patent/CN109741402A/zh
Application granted granted Critical
Publication of CN109741402B publication Critical patent/CN109741402B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

一种基于激光雷达的小重合视野多摄像机联合标定方法,根据两台相邻摄像机的视野位置选定激光雷达位置,针对每台摄像机各自手动获取至少十个标定场景的标定点的坐标值,然后利用激光雷达获取该标定场景的标定板在激光雷达坐标系中的测量值,根据坐标值和测量值计算每台摄像机与激光雷达的相对位姿,进而利用相对位姿关系得到相邻的两台摄像机的相对位姿,通过两台摄像机联合标定实现多个摄像机之间的联合标定。本发明方便快捷,无需费时费力地建造专业的车辆传感器标定室。本发明虽需采用一个激光雷达,但激光雷达已是智能车常用设备之一,所以实现本发明没有额外的开销,具有一定的普适性。

Description

基于激光雷达的小重合视野多摄像机联合标定方法
技术领域
本发明涉及的是一种多传感器联合标定领域的技术,具体是一种基于激光雷达的小重合视野多摄像机联合标定方法。
背景技术
在改善交通安全与效率方面,智能车具有巨大的潜力,而车辆感知系统无疑是智能车得以运作的前提。目前,智能车感知系统常常依托于摄像机作为传感器,然而一个摄像机的视野是有限的,无法观测智能车的整个周边环境,针对单个摄像机视野的局限性,解决方法是在一辆智能车上装载多个摄像机,以便形成一种具有环视功能的摄像机组。为了以数量最少的摄像机实现环视功能,要求相邻两个摄像机之间的重合视野尽可能小,高效利用每个摄像机的观测视野。但也正因相邻两个摄像机之间的重合视野小,造成摄像机联合标定十分困难。现有技术是借助具有特殊标定图案的车辆传感器标定室进行标定,然而建造这种专业的车辆传感器标定室,费时、费力又费财,不适宜推广普及。
发明内容
本发明针对现有技术存在的上述不足,提出一种基于激光雷达的小重合视野多摄像机联合标定方法,能方便快捷地对小重合视野的多摄像机之间的相对位姿关系进行联合标定。
本发明是通过以下技术方案实现的:
本发明根据两台相邻摄像机的视野位置选定激光雷达位置,针对每台摄像机各自手动获取至少十个标定场景的标定点的坐标值,然后利用激光雷达获取该标定场景的标定板在激光雷达坐标系中的测量值,根据坐标值和测量值计算每台摄像机与激光雷达的相对位姿,进而利用相对位姿关系得到相邻的两台摄像机的相对位姿,通过两台摄像机联合标定实现多个摄像机之间的联合标定。
所述的选定激光雷达位置是要求激光雷达的测量范围与两台相邻的摄像机的视野均有重合。
所述的标定场景是指:将带有标定点的标定板设置于每台摄像机与激光雷达重合的感知区内的不同位置,标定板每设置于一处位置构成一个标定场景。
所述的坐标值是通过选取一个固定在标定板的平面上的直角坐标系,并手动测量标定点在该坐标系中的坐标而得到的值。
技术效果
与现有技术相比,本发明方便快捷,无需费时费力地建造专业的车辆传感器标定室。本发明虽需采用一个激光雷达,但激光雷达已是智能车常用设备之一,所以实现本发明没有额外的开销,具有一定的普适性。
附图说明
图1为两台摄像机与激光雷达联合标定的示意图;
图2为贴有黑白交错方块图案的标定板的示意图;
图3为手动测量结果与本发明获取结果对两台摄像机图片进行融合后的效果对比图;
图中:a为手动测量的效果图;b为本发明的效果图。
具体实施方式
如图1所示,本实施例以两台摄像机为例,当有多台摄像机联合时,依照下述方法对每相邻两台摄像机采用同样的标定方法,即可得到全部摄像机联合标定的结果,具体步骤如下:
1)选择激光雷达的设置位置:满足使激光雷达的感知范围与两台摄像机的视野均有重合的位置作为激光雷达的设置位置;
2)制作标定板:制作表面贴有图案的标定板,选择图案上的特殊点作为标定点并建立直角坐标系,如图2所示,本实施例制作了一块具有黑白交错方块图案的矩形标定板,并选取黑白方块的角点作为标定点,将矩形标定板的一角作为原点并选与之相连的两条边作为坐标轴,建立直角坐标系,选取一组标定点手动测得其在直角坐标系中的坐标值为(xp1,yp1),(xp2,yp2),……,(xpm,ypm);
3)计算第一摄像机与激光雷达的相对位姿:
3.1)构键一组标定场景:在第一摄像机与激光雷达共同的感知区域内选定十处以上不同的位置作为标定位置,为了更好的标定效果,所选的标定位置最好均匀分布在第一摄像机的有效视野上,将标定板放置在一处标定位置即构成一个标定场景,依次将标定板设置于所选的几处标定位置上,即构成第一摄像机的一组标定场景;
3.2)记录标定点在标定场景的图像坐标值:当有N个标定场景,在场景k中(k=1,2,……,N)记录所有标定点的图像坐标值(u1,k1,v1,k1),(u1,k2,v1,k2),……,(u1,km,v1,km);
3.3)记录标定板在标定场景的激光雷达测量值:当有N个标定场景,在场景k中(k=1,2,……,N)记录标定板在标定场景的激光雷达测量值(x1,k1,y1,k1,z1,k1),(x1,k2,y1,k2,z1,k2),……,(x1,kq,y1,kq,z1,kq);
3.4)通过四个公式计算第一摄像机与激光雷达的相对位姿:
公式(1)L1,kh1,k=0计算h1,k的非零解,即计算最小特征值对应的特征向量,求得:h1,k=[h1,k11 h1,k12 h1,k13 h1,k21 h1,k22 h1,k23 h1,k31 h1,k32 h1,k33]T,其中:h1,k为9×1的向量;为2m×9的矩阵,是矩阵L1,k的转置。
公式(2)其中:A1为第一摄像机的内参数矩阵,R1,pk为3×3的矩阵,T1,pk为3×1的向量,H1,k1=[h1,k11 h1,k21h1,k31]T为3×1的向量,H1,k2=[h1,k12 h1,k22 h1,k32]T为3×1的向量,H1,k3=[h1,k13 h1,k23h1,k33]T为3×1的向量。
公式(3)Lcs1Hcs1=bcs1,其中:Lcs1为qN×9的矩阵,Hcs1为9×1的向量,bcs1为qN×1的向量。求得:Hcs1=(Lcs1 TLcs1)-1Lcs1 Tbcs1e1=[1 0 0]T;e2=[0 1 0]T;e3=[0 0 1]T,其中:表示直积:记Hcs1为Hcs1=[h1,cs11 h1,cs12 h1,cs13 h1,cs21 h1,cs22 h1,cs23 h1,cs31 h1,cs32 h1,cs33]T
公式(4)其中:Hcs1(1)和Hcs1(2)均为3×1的向量,Rcs1为3×3的矩阵,Tcs1为3×1的向量,得到第一摄像机与激光雷达之间的相对位姿关系为{Rcs1,Tcs1};
4)计算第二摄像机与激光雷达的相对位姿:
4.1)构键一组标定场景:在第二摄像机与激光雷达共同的感知区域内选定十处以上不同的位置作为标定位置,为了更好的标定效果,所选的标定位置最好均匀分布在第二摄像机的有效视野上,将标定板放置在一处标定位置即构成一个标定场景,依次将标定板设置于所选的几处标定位置上,即构成第二摄像机的一组标定场景;
4.2)记录标定点在标定场景的图像坐标值:当有N个标定场景,在场景k中(k=1,2,……,N)记录所有标定点的图像坐标值(u2,k1,v2,k1),(u2,k2,v2,k2),……,(u2,km,v2,km);
4.3)记录标定板在标定场景的激光雷达测量值:当有N个标定场景,在场景k中(k=1,2,……,N)记录标定板在标定场景的激光雷达测量值(x2,k1,y2,k1,z2,k1),(x2,k2,y2,k2,z2,k2),……,(x2,kq,y2,kq,z2,kq);
4.4)通过四个公式计算第二摄像机与激光雷达的相对位姿:
公式(5)L2,kh2,k=0计算h2,k的非零解,即计算最小特征值对应的特征向量,求得:h2,k=[h2,k11 h2,k12 h2,k13 h2,k21 h2,k22 h2,k23 h2,k31 h2,k32 h2,k33]T,其中:h2,k为9×1的向量;为2m×9的矩阵,是矩阵L2,k的转置。
公式(6)其中:A2为第二摄像机的内参数矩阵,R2,pk为3×3的矩阵,T2,pk为3×1的向量,H2,k1=[h2,k11h2,k21 h2,k31]T为3×1的向量,H2,k2=[h2,k12 h2,k22 h2,k32]T为3×1的向量,H2,k3=[h2,k13 h2,k23h2,k33]T为3×1的向量。
公式(7)Lcs2Hcs2=bcs2,其中:Lcs2为qN×9的矩阵,Hcs2为9×1的向量,bcs2为qN×1的向量。求得:Hcs2=(Lcs2 TLcs2)-1Lcs2 Tbcs2其中:表示直积:记Hcs2为Hcs2=[h2,cs11 h2,cs12 h2,cs13 h2,cs21 h2,cs22 h2,cs23 h2,cs31 h2,cs32 h2,cs33]T
公式(8)其中:Hcs2(1)和Hcs2(2)均为3×1的向量,Rcs2为3×3的矩阵,Tcs2为3×1的向量,得到第二摄像机与激光雷达之间的相对位姿关系为{Rcs2,Tcs2};
5)推算第一摄像机与第二摄像机之间的相对位姿:利用激光雷达与第一摄像机的相对位姿{Rcs1,Tcs1}和激光雷达与第二摄像机的相对位姿{Rcs2,Tcs2},推算第一摄像机与第二摄像机之间的相对位姿:即完成了第一摄像机与第二摄像机的联合标定。
如图3a所示,为利用手动测量结果对两台摄像机图片进行融合后得到的效果图;如图3b所示,为利用本实施例获取的结果对两台摄像机图片进行融合后得到的效果图。经过对比可以发现:图3a存在明显的分裂与不一致;图3b融合的十分自然。
与现有技术相比本发明的优势在于:本发明方便快捷,无需费时费力地建造专业的车辆传感器标定室。本发明虽需采用一个激光雷达,但激光雷达已是智能车常用设备之一,所以实现本发明没有额外的开销,具有一定的普适性。本发明为相关科技人员提供了一种行之有效的、对小重合视野多摄像机进行联合标定的方法。
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整,本发明的保护范围以权利要求书为准且不由上述具体实施所限,在其范围内的各个实现方案均受本发明之约束。

Claims (7)

1.一种基于激光雷达的小重合视野多摄像机联合标定方法,其特征在于,根据两台相邻摄像机的视野位置选定激光雷达位置,针对每台摄像机各自手动获取至少十个标定场景的标定点的坐标值,然后利用激光雷达获取该标定场景的标定板在激光雷达坐标系中的测量值,根据坐标值和测量值计算每台摄像机与激光雷达的相对位姿,进而利用相对位姿关系得到相邻的两台摄像机的相对位姿,完成两台摄像机之间的联合标定,既而实现多个摄像机之间的联合标定;
所述的选定激光雷达位置是要求激光雷达的测量范围与两台相邻的摄像机的视野均有重合。
2.根据权利要求1所述的方法,其特征是,所述的标定场景是指:将带有标定点的标定板设置于每台摄像机与激光雷达重合的感知区内的不同位置,标定板每设置于一处位置构成一个标定场景。
3.根据权利要求2所述的方法,其特征是,所述的带有标定点的标定板是指:选取一块带有图案的标定板,在图案上选取点作为标定点。
4.根据权利要求2所述的方法,其特征是,所述的不同位置优选以均匀分布的方式选取。
5.根据权利要求1所述的方法,其特征是,所述的坐标值是通过选取一个固定在标定板的平面上的直角坐标系,并手动测量标定点在该坐标系中的坐标而得到的值。
6.根据权利要求1所述的方法,其特征是,所述的计算是通过公式:(1)L1,kh1,k=0计算h1,k的非零解,即计算最小特征值对应的特征向量,求得:h1,k=[h1,k11 h1,k12 h1,k13h1,k21 h1,k22 h1,k23 h1,k31 h1,k32 h1,k33]T,其中:h1,k为9×1的向量;为2m×9的矩阵,是矩阵L1,k的转置;
(2)其中:A1为第一摄像机的内参数矩阵,R1,pk为3×3的矩阵,T1,pk为3×1的向量,H1,k1=[h1,k11 h1,k21 h1,k31]T为3×1的向量,H1,k2=[h1,k12 h1,k22 h1,k32]T为3×1的向量,H1,k3=[h1,k13 h1,k23 h1,k33]T为3×1的向量。
(3)Lcs1Hcs1=bcs1,其中:Lcs1为qN×9的矩阵,Hcs1为9×1的向量,bcs1为qN×1的向量。求得:Hcs1=(Lcs1 TLcs1)-1Lcs1 Tbcs1e1=[1 0 0]T;e2=[0 1 0]T;e3=[0 0 1]T,其中:表示直积:记Hcs1为Hcs1=[h1,cs11 h1,cs12 h1,cs13 h1,cs21 h1,cs22 h1,cs23 h1,cs31 h1,cs32 h1,cs33]T
(4)其中:Hcs1(1)和Hcs1(2)均为3×1的向量,Rcs1为3×3的矩阵,Tcs1为3×1的向量,得到第一摄像机与激光雷达之间的相对位姿关系为{Rcs1,Tcs1},依照上述公式计算第二台摄像机与激光雷达之间的相对位姿关系为{Rcs2,Tcs2}。
7.根据权利要求6所述的方法,其特征是,所述的推算是通过公式计算得到相邻两台摄像机之间的位姿关系{R12,T12}。
CN201811597361.3A 2018-12-26 2018-12-26 基于激光雷达的小重合视野多摄像机联合标定方法 Expired - Fee Related CN109741402B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811597361.3A CN109741402B (zh) 2018-12-26 2018-12-26 基于激光雷达的小重合视野多摄像机联合标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811597361.3A CN109741402B (zh) 2018-12-26 2018-12-26 基于激光雷达的小重合视野多摄像机联合标定方法

Publications (2)

Publication Number Publication Date
CN109741402A true CN109741402A (zh) 2019-05-10
CN109741402B CN109741402B (zh) 2023-04-07

Family

ID=66361255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811597361.3A Expired - Fee Related CN109741402B (zh) 2018-12-26 2018-12-26 基于激光雷达的小重合视野多摄像机联合标定方法

Country Status (1)

Country Link
CN (1) CN109741402B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112365545A (zh) * 2020-10-15 2021-02-12 中国科学院宁波材料技术与工程研究所 基于大平面复合靶标的激光雷达与可见光相机的标定方法
CN112379353A (zh) * 2020-11-10 2021-02-19 上海交通大学 多台目标激光雷达间的联合标定方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101345890A (zh) * 2008-08-28 2009-01-14 上海交通大学 基于激光雷达的摄像头标定方法
CN106228537A (zh) * 2016-07-12 2016-12-14 北京理工大学 一种三维激光雷达与单目摄像机的联合标定方法
CN106530356A (zh) * 2016-10-25 2017-03-22 成都通甲优博科技有限责任公司 一种全景视频摄像机组空间位姿标定方法
CN107977997A (zh) * 2017-11-29 2018-05-01 北京航空航天大学 一种结合激光雷达三维点云数据的相机自标定方法
CN108226906A (zh) * 2017-11-29 2018-06-29 深圳市易成自动驾驶技术有限公司 一种标定方法、装置及计算机可读存储介质
WO2018196391A1 (zh) * 2017-04-28 2018-11-01 华为技术有限公司 一种车载摄像机的外部参数标定方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101345890A (zh) * 2008-08-28 2009-01-14 上海交通大学 基于激光雷达的摄像头标定方法
CN106228537A (zh) * 2016-07-12 2016-12-14 北京理工大学 一种三维激光雷达与单目摄像机的联合标定方法
CN106530356A (zh) * 2016-10-25 2017-03-22 成都通甲优博科技有限责任公司 一种全景视频摄像机组空间位姿标定方法
WO2018196391A1 (zh) * 2017-04-28 2018-11-01 华为技术有限公司 一种车载摄像机的外部参数标定方法及装置
CN107977997A (zh) * 2017-11-29 2018-05-01 北京航空航天大学 一种结合激光雷达三维点云数据的相机自标定方法
CN108226906A (zh) * 2017-11-29 2018-06-29 深圳市易成自动驾驶技术有限公司 一种标定方法、装置及计算机可读存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHAO GAO等: "On-line Calibration of Multiple LIDARs on a Mobile Vehicle Platform", 《IEEE》 *
姚文韬: "一种自适应摄像机与激光雷达联合标定算法", 《控制工程》 *
彭梦等: "一种基于双平行平面的激光雷达和摄像机标定方法", 《中南大学学报(自然科学版)》 *
曾丽娜: "车载视觉系统中障碍物检测与识别方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112365545A (zh) * 2020-10-15 2021-02-12 中国科学院宁波材料技术与工程研究所 基于大平面复合靶标的激光雷达与可见光相机的标定方法
CN112365545B (zh) * 2020-10-15 2023-02-24 中国科学院宁波材料技术与工程研究所 基于大平面复合靶标的激光雷达与可见光相机的标定方法
CN112379353A (zh) * 2020-11-10 2021-02-19 上海交通大学 多台目标激光雷达间的联合标定方法及系统

Also Published As

Publication number Publication date
CN109741402B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN104142157B (zh) 一种标定方法、装置及设备
CN109801302A (zh) 一种基于双目视觉的高压输电线路异物检测方法
CN109903227B (zh) 基于相机几何位置关系的全景影像拼接方法
JP5578844B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN113887641B (zh) 一种基于输电通道的隐患目标确定方法、设备及介质
CN111473739A (zh) 一种基于视频监控的隧道塌方区围岩变形实时监测方法
CN106657910A (zh) 一种电力变电站的全景视频监控方法
CN103729837A (zh) 一种单个路况摄像机的快速标定方法
CN110057295A (zh) 一种免像控的单目视觉平面距离测量方法
CN109658457A (zh) 一种激光与相机任意相对位姿关系的标定方法
CN108613628A (zh) 一种基于双目视觉的架空输电线路弧垂测量方法
CN110766170B (zh) 基于图像处理的多传感器融合和人员定位的方法
CN109580649A (zh) 一种工程结构表面裂缝识别与投影修正方法及系统
WO2019144269A1 (zh) 多目摄像系统、终端设备及机器人
CN109741402A (zh) 基于激光雷达的小重合视野多摄像机联合标定方法
CN110838164A (zh) 基于物体点深度的单目图像三维重建方法、系统及装置
Crispel et al. All-sky photogrammetry techniques to georeference a cloud field
CN109255818A (zh) 一种新型标靶及其亚像素级角点的提取方法
WO2022134939A1 (zh) 一种人体数字化测量装置的数据拼接及系统标定方法
CN104282010A (zh) 车辆多鱼眼摄像机360度俯视图像拼接曲线标定方法
CN110969802A (zh) 基于移动信号塔点的定位监控方法及智能监管平台
CN119516362A (zh) 基于单应性矩阵映射的变焦双目系统图像船只目标识别方法
CN1202498C (zh) 基于近景摄影测量的脑电电极空间定位方法
Kim et al. An automatic robust point cloud registration on construction sites
CN109712200A (zh) 一种基于最小二乘原理及边长推算的双目定位方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20230407

CF01 Termination of patent right due to non-payment of annual fee