CN112505663B - 用于多线激光雷达与相机联合标定的标定方法 - Google Patents

用于多线激光雷达与相机联合标定的标定方法 Download PDF

Info

Publication number
CN112505663B
CN112505663B CN202011336280.5A CN202011336280A CN112505663B CN 112505663 B CN112505663 B CN 112505663B CN 202011336280 A CN202011336280 A CN 202011336280A CN 112505663 B CN112505663 B CN 112505663B
Authority
CN
China
Prior art keywords
camera
calibration
laser radar
mark
laser
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011336280.5A
Other languages
English (en)
Other versions
CN112505663A (zh
Inventor
裴凌
郁文贤
刘海春
李岚臻
李扬
吴奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202011336280.5A priority Critical patent/CN112505663B/zh
Publication of CN112505663A publication Critical patent/CN112505663A/zh
Application granted granted Critical
Publication of CN112505663B publication Critical patent/CN112505663B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

一种用于多线激光雷达与相机联合标定的标定方法，通过本标定板可以一次性地实现像素平面与激光点对的关联匹配，简化激光点信息与像素点信息的匹配流程。本发明通过标准化雷达标记与进行标定板模块化拆分和动态重构提升其泛用性与易用性。

Description

用于多线激光雷达与相机联合标定的标定方法
技术领域
本发明涉及的是一种传感器联合标定领域的技术，具体涉及一种用于多线激光雷达与相机的联合标定的标定标定方法
背景技术
现有的一些静态激光雷达与相机联合标定的方法有通过激光雷达的距离跳变来寻找边沿点，拟合标定板顶点，相机通过识别相机标记与先验信息获得对应顶点坐标，存在着边沿点激光雷达点存在较大误差，线拟合则会扩大这个误差的问题；还有通过在相机标记周围随机放置激光雷达标定标记，通过测量相对位置获得先验特征点位置信息，通过激光反射强度找到雷达特征点，该方法存在着标定板制作过于随意导致适用范围窄，难于找到足够有效的激光雷达标记点，并且存在着雷达与相机摆放位置变化较大时需要重新制作标定板以完成标定。
发明内容
本发明针对现有技术存在的上述不足，提出一种用于多线激光雷达与相机联合标定的标定方法，通过标准化雷达标记与进行标定板模块化拆分和动态重构提升其泛用性与易用性。
本发明是通过以下技术方案实现的：
本发明涉及一种用于多线激光雷达与相机联合标定的标定方法，包括以下步骤：
步骤1)对标定板支架移动直至激光雷达点与Aruco像素平面重合的位置，调整姿态并进行调平；
所述的标定板支架上由上而下设有通过强磁固定的激光标记标准板和相机标记标准板，其中：激光标记标准板以矩阵方式设置于相机标记标准板上方。
所述的激光标记标准板上设有引导条、标记点、右侧刻度辅助线、左侧刻度辅助线和中位对齐辅助线。
所述的相机标记标准板上设有Aruco标记。
所述的标定板支架的两侧设有刻度尺。
所述的标定板支架的底部设有带有滚轮的运动底座，该滚轮带有调平与锁死功能。
所述的运动底座上设有水平仪。
步骤2)将相机标记标准板吸附于标定板支架上，对相机内部参数进行标定并将标定结果录入标定模块，调整相机标记标准板的位姿，调整标定板支架的前后距离，找到合适位置后锁死框架；
步骤3)打开激光雷达可视化软件，依据反射强度调整激光雷达标记标准版的上下位置，摆放激光雷达标记标准版；
所述的激光雷达可视化软件是指：机器人操作系统(ROS)的控制软件RVIZ。
所述的激光雷达标记标准版的数量优选为激光点数至少20个。
步骤4)读取各标记标准版的对应的高度值hc,hl1,hl2,hl3,...；
步骤5)将雷达标记标准版上的点依据高度值转换到相机标记标准板下即第i个雷达标记板内部标记点坐标为(xj,yj,0)转换为相机标记的坐标系下(xj,yj+(hli-hc),0)，从而得到各激光标记在相机坐标系下的位置先验信息；
步骤6)基于设定的顺序录入先验信息，并按设定的顺序在激光雷达可视化软件上框选激光雷达标记点(xl,yl,zl)，相机通过先验的相机标记的尺寸信息得到相机标记坐标系与相机坐标系之间的转化关系[R|T]m2c，从而将相机标记坐标系下的坐标(xlm,ylm,zlm)，基于式
Figure BDA0002797302800000021
转换到相机坐标系下得到相机坐标系下激光雷达标记点的坐标(xlc,ylc,zlc)；
步骤7)在取到对应点信息后，通过
Figure BDA0002797302800000022
最小化重投影误差，即：
Figure BDA0002797302800000023
从而得到优化的激光雷达与相机坐标系之间的旋转平移关系。
所述的对应点信息优选为：匹配激光点数大于20个。
技术效果
本发明整体解决了现有标定过程中，难以找寻到激光点信息与像素信息匹配关系的技术问题；与现有技术相比，本发明通过本标定板可以一次性地实现像素平面与激光点对的关联匹配，简化激光点信息与像素点信息的匹配流程。
附图说明
图1为用于多线激光雷达与相机联合标定的改良型标定板的结构示意图；
图2为用于多线激光雷达与相机联合标定的标定流程；
图3标定板示意图；
图4为实施例场景示意图；
图5为实施例流程示意图；
图中：1激光标记标准板、2引导条、3标记点、4右侧刻度辅助线、5左侧刻度辅助线、6中位对齐辅助线、7相机标记标准板、8ArUco标记、9标定板支架、10刻度尺、11强磁、12运动底座、13带有调平与锁死功能的滚轮、14水平仪。
具体实施方式
如图4所示，本实施例是对一款市面上主流的16线激光雷达与相机进行联合标定进行，其两传感器间距离较大，相机大约在激光雷达前方60cm下方50cm处。
如图1所示，为本实施例涉及的一种用于多线激光雷达与相机联合标定的标定板，包括：标定板支架9以及由上而下设置于其中通过强磁11固定的激光标记标准板1和相机标记标准板7，其中：激光标记标准板1以矩阵方式设置于相机标记标准板7上方。
所述的激光标记标准板1上设有引导条2、标记点3、右侧刻度辅助线4、左侧刻度辅助线5和中位对齐辅助线6。
所述的相机标记标准板7上设有Aruco标记8。
所述的标定板支架9的两侧设有刻度尺10。
所述的标定板支架9的底部设有带有滚轮13的运动底座12，该滚轮13带有调平与锁死功能。
所述的运动底座12上设有水平仪14。
如图5所示，本实施例涉及上述装置的标定方法，包括以下步骤：
步骤一：首先完成相机内部参数的标定并将标定结果录入标定模块；
步骤二：使用Aruco标记作为相机标记标准板，置于标定板支架上，选择对应的标准板型号，打开相机标定模块，上下移动相机标记标准板，对齐中线与左右刻度进行调平与对齐，前后移动相机标定板支架，使得相机能够稳定识别标记并且坐标轴指向稳定；
步骤三：移动到合适的位置后锁死相机标定板支架的滚轮；
步骤四：打开机器人操作系统(ROS)的控制软件RVIZ，对着可视化工具依次摆放激光雷达标记标准版，并完成调平与对齐；
步骤五：读取各标记标准板的的高度值，基于各板的型号与高度值得到标定板先验信息，并依据一定顺序录入标定模块；
步骤六：开启标定模块，按照步骤五中录入的顺序进行框选激光雷达的标记点；
步骤七：运行标定，并将标定结果进行投影评估其标定效果，投影中激光雷达点与相机图像重合良好则认为标定结果可用，反之检查流程中问题，重新进行标定；
所述的标定模块包括：数据获取单元、特征点提取单元以及联合优化单元，其中：数据获取单元与相机相连并采集空间感知信息并输出至特征提取单元，特征提取单元根据激光雷达特征提取算法依据雷达点强度信息的不同从空间感知信息中筛选出对应的空间激光雷达特征信息并与视觉特征点信息一一对应，联合优化单元根据空间激光雷达特征信息和对应的视觉特征点信息计算得到不同传感器间的外部参数。
与现有技术相比，本装置大幅优化了此类离线标定方法所需要操作时间和适用性，可以平滑的适应一定范围内相机与激光雷达的各种位姿外部参数标定，对于较大的位置变化也不用重新制作标定板，形成了相对标准化的操作流程，降低操作难度，大幅降低了对操作经验的依赖，大幅缩短了标定板摆放的时间。
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims (1)

1.一种用于多线激光雷达与相机联合标定的标定方法，其特征在于，包括以下步骤：
步骤1)对标定板支架移动直至激光雷达点与Aruco像素平面重合的位置，调整姿态并进行调平；
步骤2)将相机标记标准板吸附于标定板支架上，对相机内部参数进行标定并将标定结果录入标定模块，调整相机标记标准板的位姿，调整标定板支架的前后距离，找到合适位置后锁死框架；
步骤3)打开激光雷达可视化软件，依据反射强度调整激光雷达标记标准板的上下位置，摆放激光雷达标记标准板；
步骤4)读取各标记标准板的对应的高度值hc，hl1，hl2，hl3，...hli；
步骤5)将雷达标记标准板上的点依据高度值转换到相机标记标准板下即第i个雷达标记板内部标记点坐标为(xj,yj,0)转换为相机标记的坐标系下(xj,yj+(hli-hc),0)，从而得到各激光标记在相机坐标系下的位置先验信息；
步骤6)基于设定的顺序录入先验信息，并按设定的顺序在激光雷达可视化软件上框选激光雷达标记点(xl,yl,zl)，相机通过先验的相机标记的尺寸信息得到相机标记坐标系与相机坐标系之间的转化关系[R|T]m2c，从而将相机标记坐标系下的坐标(xlm,ylm,zlm)，基于式
Figure FDA0003759134520000011
转换到相机坐标系下得到相机坐标系下激光雷达标记点的坐标(xlc,ylc,zlc)；
步骤7)在取到对应点信息后，通过
Figure FDA0003759134520000012
最小化重投影误差，即：
Figure FDA0003759134520000013
从而得到优化的激光雷达与相机坐标系之间的旋转平移关系；
所述的标定板支架上由上而下设有通过强磁固定的激光标记标准板和相机标记标准板，其中：激光标记标准板以矩阵方式设置于相机标记标准板上方；
所述的激光标记标准板上设有引导条、标记点、右侧刻度辅助线、左侧刻度辅助线和中位对齐辅助线；
所述的相机标记标准板上设有Aruco标记；
所述的标定板支架的两侧设有刻度尺；
所述的激光雷达可视化软件是指：机器人操作系统ROS的控制软件RVIZ；
所述的激光雷达标记标准板的数量为激光点数至少20个；所述的对应点信息为：匹配激光点数大于20个；
所述的标定模块包括：数据获取单元、特征点提取单元以及联合优化单元，其中：数据获取单元与相机相连并采集空间感知信息并输出至特征点提取单元，特征点提取单元根据激光雷达特征提取算法依据雷达点强度信息的不同从空间感知信息中筛选出对应的空间激光雷达特征信息并与视觉特征点信息一一对应，联合优化单元根据空间激光雷达特征信息和对应的视觉特征点信息计算得到不同传感器间的外部参数。
CN202011336280.5A 2020-11-25 2020-11-25 用于多线激光雷达与相机联合标定的标定方法 Active CN112505663B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011336280.5A CN112505663B (zh) 2020-11-25 2020-11-25 用于多线激光雷达与相机联合标定的标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011336280.5A CN112505663B (zh) 2020-11-25 2020-11-25 用于多线激光雷达与相机联合标定的标定方法

Publications (2)

Publication Number Publication Date
CN112505663A CN112505663A (zh) 2021-03-16
CN112505663B true CN112505663B (zh) 2022-09-13

Family

ID=74958517

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011336280.5A Active CN112505663B (zh) 2020-11-25 2020-11-25 用于多线激光雷达与相机联合标定的标定方法

Country Status (1)

Country Link
CN (1) CN112505663B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113391299B (zh) * 2021-04-30 2023-09-22 深圳市安思疆科技有限公司 一种扫描面阵激光雷达的参数标定方法和装置
CN113610929B (zh) * 2021-08-09 2023-08-18 西安外事学院 一种相机与多线激光的联合标定方法
CN114137553B (zh) * 2022-01-30 2022-04-12 探维科技(北京)有限公司 一种图像融合激光的雷达调光方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109300162A (zh) * 2018-08-17 2019-02-01 浙江工业大学 一种基于精细化雷达扫描边缘点的多线激光雷达和相机联合标定方法
CN109828262A (zh) * 2019-03-15 2019-05-31 苏州天准科技股份有限公司 基于平面和空间特征的激光雷达与相机自动联合标定方法
CN110599541A (zh) * 2019-08-28 2019-12-20 贝壳技术有限公司 一种对多传感器进行标定的方法、装置和存储介质
CN111127563A (zh) * 2019-12-18 2020-05-08 北京万集科技股份有限公司 联合标定方法、装置、电子设备及存储介质
CN111369630A (zh) * 2020-02-27 2020-07-03 河海大学常州校区 一种多线激光雷达与相机标定的方法
CN111435162A (zh) * 2020-03-03 2020-07-21 深圳市镭神智能系统有限公司 激光雷达与相机同步方法、装置、设备和存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110148180B (zh) * 2019-04-22 2021-06-08 河海大学 一种激光雷达与相机融合装置与标定方法
CN110390695B (zh) * 2019-06-28 2023-05-23 东南大学 一种基于ros的激光雷达、摄像头的融合标定系统及标定方法
CN110823252B (zh) * 2019-11-06 2022-11-18 大连理工大学 一种多线激光雷达和单目视觉的自动标定方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109300162A (zh) * 2018-08-17 2019-02-01 浙江工业大学 一种基于精细化雷达扫描边缘点的多线激光雷达和相机联合标定方法
CN109828262A (zh) * 2019-03-15 2019-05-31 苏州天准科技股份有限公司 基于平面和空间特征的激光雷达与相机自动联合标定方法
CN110599541A (zh) * 2019-08-28 2019-12-20 贝壳技术有限公司 一种对多传感器进行标定的方法、装置和存储介质
CN111127563A (zh) * 2019-12-18 2020-05-08 北京万集科技股份有限公司 联合标定方法、装置、电子设备及存储介质
CN111369630A (zh) * 2020-02-27 2020-07-03 河海大学常州校区 一种多线激光雷达与相机标定的方法
CN111435162A (zh) * 2020-03-03 2020-07-21 深圳市镭神智能系统有限公司 激光雷达与相机同步方法、装置、设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《 Rethinking the faster r-cnn architecture for temporal action localization》;CHAO Y W et.al;《Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition》;20181231;第1130-1139页 *
《基于信息融合的城市自主车辆实时目标识别》;薛培林 等;《机械工程学报》;20200630;第56卷(第12期);第165-173页 *

Also Published As

Publication number Publication date
CN112505663A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
CN112505663B (zh) 用于多线激光雷达与相机联合标定的标定方法
US8295588B2 (en) Three-dimensional vision sensor
CN108363508B (zh) 一种手机触控屏Mark定位非接触式视觉检测方法
US8229208B2 (en) Transprojection of geometry data
CN102762344B (zh) 用于实用3d视觉系统的方法和设备
US9787960B2 (en) Image processing apparatus, image processing system, image processing method, and computer program
CN103615980B (zh) 一种板件上圆孔参数的测量方法及系统
KR101242984B1 (ko) 형상 검사 방법 및 장치
CN110458898A (zh) 相机标定板、标定数据采集方法、畸变校正方法及装置
CN100573183C (zh) 直读仪表全自动检定方法及装置
CN103954213B (zh) 一种分析零件的实测图的方法
CN101213440B (zh) 创建用于检查凹凸图形的主数据的方法
CN106599897A (zh) 基于机器视觉的指针式仪表读数识别方法及装置
JP2008014940A (ja) 平面状被撮像物のカメラ計測のためのカメラキャリブレーション方法、および応用計測装置
CN112683215A (zh) 生成关于坐标测量机的传感器链的信息的方法
CN101726246A (zh) 校正片及校正方法
CN110966956A (zh) 一种基于双目视觉的三维检测装置和方法
CN114593897A (zh) 一种近眼显示器的测量方法及装置
CN104034259B (zh) 一种影像测量仪校正方法
CN115980012A (zh) 医疗检测电路板涂胶多角度检测系统及其检测方法
CN115187612A (zh) 一种基于机器视觉的平面面积测量方法、装置及系统
CN109284407B (zh) 一种用于智能售货柜训练自动标注数据集的装置
CN116485914A (zh) 一种激光辅助标定方法
CN116276938B (zh) 基于多零位视觉引导的机械臂定位误差补偿方法及装置
JP2009288165A (ja) ラインセンサカメラの較正方法、較正装置及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant