CN109828262A - 基于平面和空间特征的激光雷达与相机自动联合标定方法 - Google Patents

基于平面和空间特征的激光雷达与相机自动联合标定方法 Download PDF

Info

Publication number
CN109828262A
CN109828262A CN201910196343.2A CN201910196343A CN109828262A CN 109828262 A CN109828262 A CN 109828262A CN 201910196343 A CN201910196343 A CN 201910196343A CN 109828262 A CN109828262 A CN 109828262A
Authority
CN
China
Prior art keywords
camera
laser radar
scaling board
calibration
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910196343.2A
Other languages
English (en)
Inventor
刘军传
田乃鲁
翁海峰
刘克志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Tian Zhun Science And Technology Co Ltd
Tztek Technology Co Ltd
Original Assignee
Suzhou Tian Zhun Science And Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Tian Zhun Science And Technology Co Ltd filed Critical Suzhou Tian Zhun Science And Technology Co Ltd
Priority to CN201910196343.2A priority Critical patent/CN109828262A/zh
Publication of CN109828262A publication Critical patent/CN109828262A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Radar Systems Or Details Thereof (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明提供了基于平面和空间特征的激光雷达与相机自动联合标定方法,其通过标定物上设计的平面和空间特征,分别利用激光雷达和相机对其进行定位,以实现对激光雷达和相机快速可靠的进行标定。将激光雷达和相机安装在待标定设备上,之后将待标定设备固定在六轴机械臂的输出端,初始状态下激光雷达和相机的正前方位置设置有标定板,所述标定板上设计有平面标定特征和空间标定特征两种几何特征;相机提取平面标定特征中的标定点使用,激光雷达提取空间标定特征中的标定点使用,驱动六轴机械臂的输出端带动待标定设备按照设定轨迹进行运动,通过相机获得对应的标定板图像,通过张正友标定方法标定相机内外参数。

Description

基于平面和空间特征的激光雷达与相机自动联合标定方法
技术领域
本发明涉及自动驾驶的技术领域,具体为基于平面和空间特征的激光雷达与相机自动联合标定方法。
背景技术
激光雷达与相机信息融合目前被广泛应用于无人车和自主移动机器人感知与自动导航系统,用来完成SLAM定位、目标识别与跟踪、障碍物检测等一系列计算任务。激光雷达与相机联合标定是两者进行信息融合的基础。
目前常见的标定方法,是分别使用激光雷达和相机识别并定位标定场景中的目标物,通过目标物在两种传感器中的位置,完成两者的联合标定。该目标物一般位于开放场景中,通过AI技术对场景中的目标进行识别和定位,对场景和环境光线等因素有一定的要求,并且有一定的失败率。
发明内容
针对上述问题,本发明提供了基于平面和空间特征的激光雷达与相机自动联合标定方法,其通过标定物上设计的平面和空间特征,分别利用激光雷达和相机对其进行定位,以实现对激光雷达和相机快速可靠的进行标定。
基于平面和空间特征的激光雷达与相机自动联合标定方法,其特征在于:将激光雷达和相机安装在待标定设备上,之后将待标定设备固定在六轴机械臂的输出端,初始状态下激光雷达和相机的正前方位置设置有标定板,所述标定板上设计有平面标定特征和空间标定特征两种几何特征;相机提取平面标定特征中的标定点使用,激光雷达提取空间标定特征中的标定点使用,驱动六轴机械臂的输出端带动待标定设备按照设定轨迹进行运动,通过相机获得对应的标定板图像,通过张正友标定方法标定相机内外参数;在标定板正前方位置使用激光雷达扫描标定板提取空间标定特征上的顶点坐标;使用三坐标测量设备测量平面标定特征上的每个角点和空间标定特征上的每个角点在标定板坐标系中的坐标,之后使用基于点对的空间配准方法,计算激光雷达坐标系到相机坐标系的变换关系。
其进一步特征在于:
所述六轴机械臂的运动包括沿X向、Y向、Z向的平移以及绕翻转轴、俯仰轴、侧摆轴的旋转组成;
机械臂携带待标定设备从标定板正前方、上方、下方、左侧、右侧平视标定板,在每个方位采集一幅标定板图像;然后再从左侧、右侧、上方、下方以斜45度角斜视标定板,并在每个方位采集一幅标定板图像;最后用张正友标定方法标定相机内外参数;
所述平面标定特征由黑白相间的棋盘格组成,相机对其拍摄图像后,提取黑白相交的角点作为标定点使用;空间标定特征包括至少一个空间六面体凸台,六面体凸台上的八个顶点由激光雷达扫描测得,作为标定点使用。
采用上述技术方案后,其通过标定物上设计的平面和空间特征,分别利用激光雷达和相机对其进行定位,以实现对激光雷达和相机快速可靠的进行标定;操作过程全自动化,方便快捷;标定过程不受环境和人为操作因素影响,具有很好的一致性,适合量产使用。
附图说明
图1为本发明的标定示意简图。
具体实施方式
基于平面和空间特征的激光雷达与相机自动联合标定方法,见图1:将激光雷达和相机安装在待标定设备1上,之后将待标定设备1固定在六轴机械臂2的输出端,初始状态下激光雷达和相机的正前方位置设置有标定板3,标定板3上设计有平面标定特征31和空间标定特征32两种几何特征;相机提取平面标定特征31中的标定点使用,激光雷达提取空间标定特征中的标定点使用,驱动六轴机械臂的输出端带动待标定设备按照设定轨迹进行运动,通过相机获得对应的标定板图像,通过张正友标定方法标定相机内外参数;在标定板正前方位置使用激光雷达扫描标定板提取空间标定特征上的顶点坐标;使用三坐标测量设备测量平面标定特征上的每个角点和空间标定特征上的每个角点在标定板坐标系中的坐标,之后使用基于点对的空间配准方法,计算激光雷达坐标系到相机坐标系的变换关系。
六轴机械臂的运动包括沿X向、Y向、Z向的平移以及绕翻转轴、俯仰轴、侧摆轴的旋转组成;
机械臂携带待标定设备从标定板正前方、上方、下方、左侧、右侧平视标定板,在每个方位采集一幅标定板图像;然后再从左侧、右侧、上方、下方以斜45度角斜视标定板,并在每个方位采集一幅标定板图像;最后用张正友标定方法标定相机内外参数;
平面标定特征由黑白相间的棋盘格组成,相机对其拍摄图像后,提取黑白相交的角点作为标定点使用;空间标定特征包括至少一个空间六面体凸台,六面体凸台上的八个顶点由激光雷达扫描测得,作为标定点使用。
具体实施例中,将激光雷达和相机安装在待标定设备上,之后将待标定设备固定在六轴机械臂的输出端,初始状态下激光雷达和相机的正前方位置设置有标定板,标定板上包括有中间的黑白相间的棋盘格和两侧的空间六面体凸台,之后进行如下操作:
(1)机械臂携带待标定设备从标定板正前方、上方、下方、左侧、右侧平视标定板,相机在每个方位采集一幅标定板图像;然后再从左侧、右侧、上方、下方以斜45度角斜视标定板,并通过相机在每个方位采集一幅标定板图像,;最后用张正友标定方法标定相机内外参数;
(2)在标定板正前方位置时,使用激光雷达扫描标定板,提取空间标定特征上的八个顶点坐标;
(3)使用三坐标测量设备测量平面标定特征上的每个角点和空间标定特征上的每个角点在标定板坐标系中的坐标;
(4)使用基于点对的空间配准方法,计算激光雷达坐标系到相机坐标系的变换关系。
其通过标定物上设计的平面和空间特征,分别利用激光雷达和相机对其进行定位,以实现对激光雷达和相机快速可靠的进行标定;操作过程全自动化,方便快捷;标定过程不受环境和人为操作因素影响,具有很好的一致性,适合量产使用。
以上对本发明的具体实施例进行了详细说明,但内容仅为本发明创造的较佳实施例,不能被认为用于限定本发明创造的实施范围。凡依本发明创造申请范围所作的均等变化与改进等,均应仍归属于本专利涵盖范围之内。

Claims (4)

1.基于平面和空间特征的激光雷达与相机自动联合标定方法,其特征在于:将激光雷达和相机安装在待标定设备上,之后将待标定设备固定在六轴机械臂的输出端,初始状态下激光雷达和相机的正前方位置设置有标定板,所述标定板上设计有平面标定特征和空间标定特征两种几何特征;相机提取平面标定特征中的标定点使用,激光雷达提取空间标定特征中的标定点使用,驱动六轴机械臂的输出端带动待标定设备按照设定轨迹进行运动,通过相机获得对应的标定板图像,通过张正友标定方法标定相机内外参数;在标定板正前方位置使用激光雷达扫描标定板提取空间标定特征上的顶点坐标;使用三坐标测量设备测量平面标定特征上的每个角点和空间标定特征上的每个角点在标定板坐标系中的坐标,之后使用基于点对的空间配准方法,计算激光雷达坐标系到相机坐标系的变换关系。
2.如权利要求1所述的基于平面和空间特征的激光雷达与相机自动联合标定方法,其特征在于,所述六轴机械臂的运动包括沿X向、Y向、Z向的平移以及绕翻转轴、俯仰轴、侧摆轴的旋转组成。
3.如权利要求1所述的基于平面和空间特征的激光雷达与相机自动联合标定方法,其特征在于:机械臂携带待标定设备从标定板正前方、上方、下方、左侧、右侧平视标定板,在每个方位采集一幅标定板图像;然后再从左侧、右侧、上方、下方以斜45度角斜视标定板,并在每个方位采集一幅标定板图像;最后用张正友标定方法标定相机内外参数。
4.如权利要求1所述的基于平面和空间特征的激光雷达与相机自动联合标定方法,其特征在于:所述平面标定特征由黑白相间的棋盘格组成,相机对其拍摄图像后,提取黑白相交的角点作为标定点使用;空间标定特征包括至少一个空间六面体凸台,六面体凸台上的八个顶点由激光雷达扫描测得,作为标定点使用。
CN201910196343.2A 2019-03-15 2019-03-15 基于平面和空间特征的激光雷达与相机自动联合标定方法 Pending CN109828262A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910196343.2A CN109828262A (zh) 2019-03-15 2019-03-15 基于平面和空间特征的激光雷达与相机自动联合标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910196343.2A CN109828262A (zh) 2019-03-15 2019-03-15 基于平面和空间特征的激光雷达与相机自动联合标定方法

Publications (1)

Publication Number Publication Date
CN109828262A true CN109828262A (zh) 2019-05-31

Family

ID=66870166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910196343.2A Pending CN109828262A (zh) 2019-03-15 2019-03-15 基于平面和空间特征的激光雷达与相机自动联合标定方法

Country Status (1)

Country Link
CN (1) CN109828262A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110322519A (zh) * 2019-07-18 2019-10-11 天津大学 一种用于激光雷达与相机联合标定的标定装置及标定方法
CN110579764A (zh) * 2019-08-08 2019-12-17 北京三快在线科技有限公司 深度相机和毫米波雷达的配准方法、装置、电子设备
CN110599541A (zh) * 2019-08-28 2019-12-20 贝壳技术有限公司 一种对多传感器进行标定的方法、装置和存储介质
CN110766758A (zh) * 2019-09-12 2020-02-07 浙江大华技术股份有限公司 标定方法、装置、系统及存储装置
CN111429521A (zh) * 2020-03-05 2020-07-17 深圳市镭神智能系统有限公司 相机与激光雷达的外参标定方法、装置、介质及电子设备
WO2021000544A1 (zh) * 2019-07-04 2021-01-07 厦门金龙联合汽车工业有限公司 一种标定装置及一种雷达与摄像头联合标定方法及系统
CN112505663A (zh) * 2020-11-25 2021-03-16 上海交通大学 用于多线激光雷达与相机联合标定的标定方法
CN113406604A (zh) * 2021-06-30 2021-09-17 山东新一代信息产业技术研究院有限公司 一种激光雷达和摄像机位置标定的装置和方法
WO2021187696A1 (en) * 2020-03-17 2021-09-23 Lg Electronics Inc. Recharging apparatus for robot cleaner
JP2022039906A (ja) * 2020-08-28 2022-03-10 中国計量大学 マルチセンサによる複合キャリブレーション装置及び方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103983961A (zh) * 2014-05-20 2014-08-13 南京理工大学 一种3d激光雷达和摄像机联合标定立体标定靶
CN107656259A (zh) * 2017-09-14 2018-02-02 同济大学 外场环境标定的联合标定系统与方法
CN107977997A (zh) * 2017-11-29 2018-05-01 北京航空航天大学 一种结合激光雷达三维点云数据的相机自标定方法
CN109146978A (zh) * 2018-07-25 2019-01-04 南京富锐光电科技有限公司 一种高速相机成像畸变校准装置及方法
WO2019039733A1 (ko) * 2017-08-21 2019-02-28 (주)유진로봇 카메라와 라이다를 이용한 융합 센서 및 이동체

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103983961A (zh) * 2014-05-20 2014-08-13 南京理工大学 一种3d激光雷达和摄像机联合标定立体标定靶
WO2019039733A1 (ko) * 2017-08-21 2019-02-28 (주)유진로봇 카메라와 라이다를 이용한 융합 센서 및 이동체
CN107656259A (zh) * 2017-09-14 2018-02-02 同济大学 外场环境标定的联合标定系统与方法
CN107977997A (zh) * 2017-11-29 2018-05-01 北京航空航天大学 一种结合激光雷达三维点云数据的相机自标定方法
CN109146978A (zh) * 2018-07-25 2019-01-04 南京富锐光电科技有限公司 一种高速相机成像畸变校准装置及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
第10期: "立体视觉和三维激光系统的联合标定方法", 《仪器仪表学报》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021000544A1 (zh) * 2019-07-04 2021-01-07 厦门金龙联合汽车工业有限公司 一种标定装置及一种雷达与摄像头联合标定方法及系统
CN110322519A (zh) * 2019-07-18 2019-10-11 天津大学 一种用于激光雷达与相机联合标定的标定装置及标定方法
CN110579764B (zh) * 2019-08-08 2021-03-09 北京三快在线科技有限公司 深度相机和毫米波雷达的配准方法、装置、电子设备
CN110579764A (zh) * 2019-08-08 2019-12-17 北京三快在线科技有限公司 深度相机和毫米波雷达的配准方法、装置、电子设备
CN110599541A (zh) * 2019-08-28 2019-12-20 贝壳技术有限公司 一种对多传感器进行标定的方法、装置和存储介质
CN110599541B (zh) * 2019-08-28 2022-03-11 贝壳技术有限公司 一种对多传感器进行标定的方法、装置和存储介质
CN110766758A (zh) * 2019-09-12 2020-02-07 浙江大华技术股份有限公司 标定方法、装置、系统及存储装置
CN110766758B (zh) * 2019-09-12 2022-08-09 浙江大华技术股份有限公司 标定方法、装置、系统及存储装置
CN111429521A (zh) * 2020-03-05 2020-07-17 深圳市镭神智能系统有限公司 相机与激光雷达的外参标定方法、装置、介质及电子设备
WO2021187696A1 (en) * 2020-03-17 2021-09-23 Lg Electronics Inc. Recharging apparatus for robot cleaner
JP2022039906A (ja) * 2020-08-28 2022-03-10 中国計量大学 マルチセンサによる複合キャリブレーション装置及び方法
JP7072759B2 (ja) 2020-08-28 2022-05-23 中国計量大学 マルチセンサによる複合キャリブレーション装置及び方法
CN112505663A (zh) * 2020-11-25 2021-03-16 上海交通大学 用于多线激光雷达与相机联合标定的标定方法
CN112505663B (zh) * 2020-11-25 2022-09-13 上海交通大学 用于多线激光雷达与相机联合标定的标定方法
CN113406604A (zh) * 2021-06-30 2021-09-17 山东新一代信息产业技术研究院有限公司 一种激光雷达和摄像机位置标定的装置和方法

Similar Documents

Publication Publication Date Title
CN109828262A (zh) 基于平面和空间特征的激光雷达与相机自动联合标定方法
Chen et al. Qualitative vision-based path following
EP3011362B1 (en) Systems and methods for tracking location of movable target object
CN100453966C (zh) 一种摄像机空间三维位置姿态测量方法
CN111735479A (zh) 一种多传感器联合标定装置及方法
CN106444837A (zh) 一种无人机避障方法及系统
WO2017149813A1 (ja) センサキャリブレーションシステム
CN112837383B (zh) 相机与激光雷达重标定方法、装置及计算机可读存储介质
CN105445721A (zh) 基于带特征突起v型标定物的激光雷达与摄像机联合标定方法
CN104298248A (zh) 旋翼无人机精确视觉定位定向方法
CN106569225B (zh) 一种基于测距传感器的无人车实时避障方法
CN110163963B (zh) 一种基于slam的建图装置和建图方法
CN103424112A (zh) 一种基于激光平面辅助的运动载体视觉导航方法
CN112184812B (zh) 提升无人机相机对AprilTag识别定位精度方法及定位方法和系统
Jiang et al. Line feature based extrinsic calibration of LiDAR and camera
CN114283391A (zh) 一种融合环视图像与激光雷达的自动泊车感知方法
US11852726B2 (en) Image processing-based laser emission and dynamic calibration apparatus and method, device and medium
CN110750153A (zh) 一种无人驾驶车辆的动态虚拟化装置
CN109960254B (zh) 机器人及其路径规划方法
CN114413958A (zh) 无人物流车的单目视觉测距测速方法
Manivannan et al. Vision based intelligent vehicle steering control using single camera for automated highway system
Mateos Apriltags 3d: dynamic fiducial markers for robust pose estimation in highly reflective environments and indirect communication in swarm robotics
Hartley et al. Using roads for autonomous air vehicle guidance
CN114923477A (zh) 基于视觉与激光slam技术的多维度空地协同建图系统和方法
US10249056B2 (en) Vehicle position estimation system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination