CN112529965A - 一种激光雷达与单目相机的标定方法及装置 - Google Patents

一种激光雷达与单目相机的标定方法及装置 Download PDF

Info

Publication number
CN112529965A
CN112529965A CN202011422159.4A CN202011422159A CN112529965A CN 112529965 A CN112529965 A CN 112529965A CN 202011422159 A CN202011422159 A CN 202011422159A CN 112529965 A CN112529965 A CN 112529965A
Authority
CN
China
Prior art keywords
camera
laser radar
calibration
monocular
monocular camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011422159.4A
Other languages
English (en)
Inventor
宋堃
安向京
胡庭波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Xingshen Intelligent Technology Co Ltd
Original Assignee
Changsha Xingshen Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Xingshen Intelligent Technology Co Ltd filed Critical Changsha Xingshen Intelligent Technology Co Ltd
Priority to CN202011422159.4A priority Critical patent/CN112529965A/zh
Publication of CN112529965A publication Critical patent/CN112529965A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种激光雷达与单目相机的标定方法及装置，属于传感器标定技术领域，用于解决目前单目相机与激光雷达之间标定需要特定的标定板以及标定不精准的技术问题，此方法包括通过外接摄像头与单目相机构成双目相机，再与激光雷达进行标定。此装置包括外接摄像头，所述外接摄像头与单目相机连接而构成双目相机。本发明具有操作简便且标定精度高等优点。

Description

一种激光雷达与单目相机的标定方法及装置
技术领域
本发明主要涉及传感器标定技术领域，具体涉及一种激光雷达与单目相机的标定方法及装置。
背景技术
无人驾驶中,感知模块负责获取和理解其周围的场景信息，其性能和可靠性是整个无人驾驶系统的关键环节之一，直接影响下游的定位、路线规划和决策等控制链。通过融合多种感知传感器的数据，提高系统在复杂场景下的感知能力是无人驾驶发展的主要方向。然而无论是摄像头、毫米波雷达还是激光雷达，都有自己的坐标系，即传感器产生的数据都是基于自身坐标系的，将各传感器转换到统一坐标系的过程便是传感器的外参标定。
为标定摄像头、激光两种传感器，需要单独得到每种传感器的位姿变换量。由于单目摄像头只能得到二维的图像数据，激光雷达只能得到三维点云数据。两种不同传感器的数据无法直接匹配。
目前现有单独单目摄像头与激光雷达进行标定时，通常需要使用特殊的标定板(一般将平面标定板改造成存在凸起凹陷的三维标定板，这样摄像头能拍到标定板角点以确定标定板位置，激光也能根据凸起凹陷位置确定标定板的位置)，且要求两种传感器同时观测到完整的标定板，然后将三维点投影到二维平面进行标定。也就是说，现有技术中大多是改变标定板，令激光获得标定板的角点的三维位置，再投影到二维的图像平面进行坐标对齐。上述改变标定板的方式操作复杂，且标定精度不高。
发明内容
本发明要解决的技术问题就在于：针对现有技术存在的问题，本发明提供一种操作简便且标定精度高的激光雷达与单目相机的标定方法及装置。
为解决上述技术问题，本发明提出的技术方案为：
一种激光雷达与单目相机的标定方法，通过外接摄像头与单目相机构成双目相机，再与激光雷达进行标定。
作为上述技术方案的进一步改进：
通过外接摄像头与单目相机构成双目相机的具体过程为：
将外接摄像头与单目相机连接，并将外接摄像头与单目相机的数据进行同步；
标定外接摄像头与单目相机，令外接摄像头与单目相机的坐标系对齐，从而形成双目相机。
通过张正友标定法来标定外接摄像头与单目相机。
双目相机与激光雷达进行标定的过程为：
获取图像数据；
取第t时刻和第t+1时刻的点云，得到双目相机相邻两个时刻间的旋转和平移量，以及激光雷达相邻两个时刻间的旋转和平移量；
将旋转和平移量用变换矩阵表示，再进行标定。
将旋转和平移量用变换矩阵表示，再进行标定的具体过程为：
根据手眼标定法，将激光雷达和双目相机的姿态变化用变换矩阵表示，带入方程，可得AX＝XB；其中，A是双目相机在第t时刻到第t+1时刻的姿态变化，B是激光雷达在第t时刻到第t+1时刻的姿态变化；求解得到的X则是双目相机与激光雷达之间的坐标变换关系，即标定所要求的外参。
在双目相机与激光雷达工作一段时间后，再获取图像数据。
本发明还公开了一种激光雷达与单目相机的标定装置，包括外接摄像头，所述外接摄像头与单目相机连接而构成双目相机。
作为上述技术方案的进一步改进：
所述外接摄像头与单目相机通过热插拔接口相连。
与现有技术相比，本发明的优点在于：
本发明将目前的单目相机与激光雷达的外参标定程，转变为双目相机与激光雷达的外参标定，使外参标定操作简便，无需标定板且标定精度更高。
附图说明
图1为本发明的传感器坐标系示意图。
图2为本发明的两个坐标系转换示意图。
图3为本发明的单目相机与外接摄像头的拍摄图。
图4为本发明的点云图。
图5为本发明的方法在实施例的流程图。
图6为本发明的装置在实施例的结构图。
图例说明：1、激光雷达；2、单目相机；3、外接摄像头；4、插拔接口。
具体实施方式
以下结合说明书附图和具体实施例对本发明作进一步描述。
如图5所示，本实施例的激光雷达与单目相机的标定方法，通过外接摄像头3与单目相机2构成双目相机，再与激光雷达1进行标定。本发明将目前的单目相机2与激光雷达1的外参标定，转变为双目相机与激光雷达1的外参标定，使外参标定操作简便，无需标定板且标定精度更高。
在一具体实施例中，通过外接摄像头3与单目相机2构成双目相机的具体过程为：
将外接摄像头3与单目相机2连接，并将外接摄像头3与单目相机2的数据进行同步；
通过张正友标定法标定外接摄像头3与单目相机2，令外接摄像头3与单目相机2的坐标系对齐，从而形成双目相机。
在一具体实施例中，双目相机与激光雷达1进行标定的过程为：
获取图像数据；
取第t时刻和第t+1时刻的点云，得到双目相机相邻两个时刻间的旋转和平移量，以及激光雷达1相邻两个时刻间的旋转和平移量；
将旋转和平移量用变换矩阵表示，再进行标定。具体地，根据手眼标定法，将激光雷达1和双目相机的姿态变化用变换矩阵表示，带入方程，可得AX＝XB；其中，A是双目相机在第t时刻到第t+1时刻的姿态变化，B是激光雷达1在第t时刻到第t+1时刻的姿态变化；求解得到的X则是双目相机与激光雷达1之间的坐标变换关系，即标定所要求的外参。
本发明还公开了一种激光雷达与单目相机的标定装置，包括外接摄像头3，外接摄像头3与单目相机2连接而构成双目相机。具体地，外接摄像头3与单目相机2通过热插拔接口4相连，通过插拔接口4进行同步数据传输，以及通过插拔接口4进行供电。当然，外接摄像头3也可以是独立供电的。另外，上述外接摄像头3与单目相机2通过相应的紧固件进行紧固，以避免在激烈摇晃时进行分离。
下面结合一具体的实施例对本发明做进一步说明：
首先就标定原理做相关说明：任何一个定位传感器，都有自身特定的坐标系。两个不同的传感器之间的坐标变换关系，可以用欧拉角表示，如图1和图2所示。欧拉角代表一系列的三维基本旋转，也就是围绕一个坐标系的各轴的一系列旋转。
标定就是为了求两个不同传感器坐标之间的变换关系。例如，先绕x轴10°，再绕y轴5°，再绕z轴10°，然后再沿xyz三轴平移一定量，令两个坐标系对齐。
具体标定流程为：
1、外接摄像头3与单目相机2通过热插拔接口4相连，形成双目相机，双目数据可通过插拔接口4同步，构成具备共视区域的双目摄像头。双目共视区域即两个摄像头能够同时拍到的共同区域；
2、使用张正友标定法，标定双目摄像头，令两个摄像头坐标系对齐；
3、两个摄像头坐标对齐后，根据双目立体成像原理可计算出共视区域物到摄像头的距离；
4、根据双目立体成像原理，计算出每个像素对应的三维坐标，可以由双目摄像头得到三维伪点云；
5、当双目相机和激光雷达1同时工作一段时间后，获取一段数据。取第t时刻和第t+1时刻的点云，使用NDT得到双目相机相邻两个时刻间的旋转和平移量；同样方法，得到激光雷达1相邻两个时刻间的旋转和平移量；
6、将旋转和平移量用变换矩阵表示，使用手眼标定法进行标定。
由旋转矩阵和平移矩阵可以构成变换矩阵。根据手眼标定法，将激光雷达1和双目相机的姿态变化用变换矩阵表示，带入方程，可得AX＝XB。其中，A是双目相机在第t时刻到第t+1时刻的姿态变化，B是激光雷达1在第t时刻到第t+1时刻的姿态变化；求解得到的X则是双目相机与激光雷达1之间的坐标变换关系，这个坐标变换关系即标定所要求的外参。
7、完成标定后，可取下外置摄像头，用于下一个单目相机2与激光雷达1的标定。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (8)

1.一种激光雷达与单目相机的标定方法，其特征在于，通过外接摄像头(3)与单目相机(2)构成双目相机，再与激光雷达(1)进行标定。
2.根据权利要求1所述的激光雷达与单目相机的标定方法，其特征在于，通过外接摄像头(3)与单目相机(2)构成双目相机的具体过程为：
将外接摄像头(3)与单目相机(2)连接，并将外接摄像头(3)与单目相机(2)的数据进行同步；
标定外接摄像头(3)与单目相机(2)，令外接摄像头(3)与单目相机(2)的坐标系对齐，从而形成双目相机。
3.根据权利要求2所述的激光雷达与单目相机的标定方法，其特征在于，通过张正友标定法来标定外接摄像头(3)与单目相机(2)。
4.根据权利要求1～3中任意一项所述的激光雷达与单目相机的标定方法，其特征在于，双目相机与激光雷达(1)进行标定的过程为：
获取图像数据；
取第t时刻和第t+1时刻的点云，得到双目相机相邻两个时刻间的旋转和平移量，以及激光雷达(1)相邻两个时刻间的旋转和平移量；
将旋转和平移量用变换矩阵表示，再进行标定。
5.根据权利要求4所述的激光雷达与单目相机的标定方法，其特征在于，将旋转和平移量用变换矩阵表示，再进行标定的具体过程为：
根据手眼标定法，将激光雷达(1)和双目相机的姿态变化用变换矩阵表示，带入方程，可得AX＝XB；其中，A是双目相机在第t时刻到第t+1时刻的姿态变化，B是激光雷达(1)在第t时刻到第t+1时刻的姿态变化；求解得到的X则是双目相机与激光雷达(1)之间的坐标变换关系，即标定所要求的外参。
6.根据权利要求4所述的激光雷达与单目相机的标定方法，其特征在于，在双目相机与激光雷达(1)工作一段时间后，再获取图像数据。
7.一种激光雷达与单目相机的标定装置，其特征在于，包括外接摄像头(3)，所述外接摄像头(3)与单目相机(2)连接而构成双目相机。
8.根据权利要求7所述的激光雷达与单目相机的标定装置，其特征在于，所述外接摄像头(3)与单目相机(2)通过热插拔接口(4)相连。
CN202011422159.4A 2020-12-08 2020-12-08 一种激光雷达与单目相机的标定方法及装置 Pending CN112529965A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011422159.4A CN112529965A (zh) 2020-12-08 2020-12-08 一种激光雷达与单目相机的标定方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011422159.4A CN112529965A (zh) 2020-12-08 2020-12-08 一种激光雷达与单目相机的标定方法及装置

Publications (1)

Publication Number Publication Date
CN112529965A true CN112529965A (zh) 2021-03-19

Family

ID=74998162

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011422159.4A Pending CN112529965A (zh) 2020-12-08 2020-12-08 一种激光雷达与单目相机的标定方法及装置

Country Status (1)

Country Link
CN (1) CN112529965A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269857A (zh) * 2021-05-28 2021-08-17 东软睿驰汽车技术（沈阳）有限公司 坐标系关系获取方法及装置
CN113506372A (zh) * 2021-07-26 2021-10-15 西北工业大学 一种环境重建方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWM486222U (zh) * 2014-05-08 2014-09-11 Brickcom Corp 連接多組可延伸鏡頭的網路攝影機
CN108828606A (zh) * 2018-03-22 2018-11-16 中国科学院西安光学精密机械研究所 一种基于激光雷达和双目可见光相机联合测量方法
CN109001711A (zh) * 2018-06-05 2018-12-14 北京智行者科技有限公司 多线激光雷达标定方法
CN109920011A (zh) * 2019-05-16 2019-06-21 长沙智能驾驶研究院有限公司 激光雷达与双目摄像头的外参标定方法、装置及设备
CN110842940A (zh) * 2019-11-19 2020-02-28 广东博智林机器人有限公司 一种建筑测量机器人多传感器融合三维建模方法及系统
CN111595333A (zh) * 2020-04-26 2020-08-28 武汉理工大学 视觉惯性激光数据融合的模块化无人车定位方法及系统
CN111678534A (zh) * 2019-03-11 2020-09-18 武汉小狮科技有限公司 一种结合rgbd双目深度相机、imu和多线激光雷达的联合标定平台和方法
CN111951305A (zh) * 2020-08-20 2020-11-17 重庆邮电大学 一种基于视觉和激光雷达的目标检测和运动状态估计方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWM486222U (zh) * 2014-05-08 2014-09-11 Brickcom Corp 連接多組可延伸鏡頭的網路攝影機
CN108828606A (zh) * 2018-03-22 2018-11-16 中国科学院西安光学精密机械研究所 一种基于激光雷达和双目可见光相机联合测量方法
CN109001711A (zh) * 2018-06-05 2018-12-14 北京智行者科技有限公司 多线激光雷达标定方法
CN111678534A (zh) * 2019-03-11 2020-09-18 武汉小狮科技有限公司 一种结合rgbd双目深度相机、imu和多线激光雷达的联合标定平台和方法
CN109920011A (zh) * 2019-05-16 2019-06-21 长沙智能驾驶研究院有限公司 激光雷达与双目摄像头的外参标定方法、装置及设备
CN110842940A (zh) * 2019-11-19 2020-02-28 广东博智林机器人有限公司 一种建筑测量机器人多传感器融合三维建模方法及系统
CN111595333A (zh) * 2020-04-26 2020-08-28 武汉理工大学 视觉惯性激光数据融合的模块化无人车定位方法及系统
CN111951305A (zh) * 2020-08-20 2020-11-17 重庆邮电大学 一种基于视觉和激光雷达的目标检测和运动状态估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
徐德等: "《机器人视觉测量与控制》", 31 January 2016, 国防工业出版社 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269857A (zh) * 2021-05-28 2021-08-17 东软睿驰汽车技术（沈阳）有限公司 坐标系关系获取方法及装置
CN113506372A (zh) * 2021-07-26 2021-10-15 西北工业大学 一种环境重建方法及装置

Similar Documents

Publication Publication Date Title
CN110390695B (zh) 一种基于ros的激光雷达、摄像头的融合标定系统及标定方法
CN111325801B (zh) 一种激光雷达和相机的联合标定方法
US10949986B1 (en) Methods and systems for imaging a scene, such as a medical scene, and tracking objects within the scene
JP4167954B2 (ja) ロボット及びロボット移動方法
US20170127045A1 (en) Image calibrating, stitching and depth rebuilding method of a panoramic fish-eye camera and a system thereof
US20170134713A1 (en) Image calibrating, stitching and depth rebuilding method of a panoramic fish-eye camera and a system thereof
CN112655024B (zh) 一种图像标定方法及装置
KR101220527B1 (ko) 센서 시스템, 이를 이용하는 환경 지도 작성 시스템 및 방법
KR20140049361A (ko) 다중 센서 시스템, 이를 이용하는 3차원 월드 모델링 장치 및 방법
CN102519434B (zh) 一种用于立体视觉三维恢复数据精度测量的试验验证方法
KR20010078102A (ko) 캘리브레이션 시스템, 타겟장치 및 캘리브레이션방법
CN112577517A (zh) 一种多元定位传感器联合标定方法和系统
CN105843251B (zh) 控制飞行器的方法、装置及系统
CN112529965A (zh) 一种激光雷达与单目相机的标定方法及装置
JP2017201757A (ja) 画像取得システム、画像取得方法、画像処理方法
KR20120065067A (ko) 다중센서 융합을 통한 3차원 환경 모델링 장치 및 그 방법
Zalud et al. Fusion of thermal imaging and CCD camera-based data for stereovision visual telepresence
CN112334733A (zh) 拍摄装置的校正装置、监视装置、作业机械及校正方法
WO2022207687A2 (en) Configuration method for the display of a building information model
CN110517209A (zh) 数据处理方法、装置、系统以及计算机可读存储介质
CN114296057A (zh) 一种计算测距系统相对外参的方法、装置和存储介质
CN113587934A (zh) 一种机器人、室内定位方法、装置和可读存储介质
JP2003065714A (ja) カメラ・キャリブレーションのためのガイド装置及びガイド方法、並びに、カメラ・キャリブレーション装置
CN111654626B (zh) 一种包含深度信息的高分辨率相机
CN113052974A (zh) 物体三维表面的重建方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination