CN115482294A - 相机与激光雷达的外参精确标定方法及其系统 - Google Patents

相机与激光雷达的外参精确标定方法及其系统 Download PDF

Info

Publication number
CN115482294A
CN115482294A CN202211138055.XA CN202211138055A CN115482294A CN 115482294 A CN115482294 A CN 115482294A CN 202211138055 A CN202211138055 A CN 202211138055A CN 115482294 A CN115482294 A CN 115482294A
Authority
CN
China
Prior art keywords
data
camera
calibration
laser radar
calibration plate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211138055.XA
Other languages
English (en)
Inventor
钟立扬
何贝
刘鹤云
张岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sinian Zhijia Technology Co ltd
Original Assignee
Beijing Sinian Zhijia Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sinian Zhijia Technology Co ltd filed Critical Beijing Sinian Zhijia Technology Co ltd
Priority to CN202211138055.XA priority Critical patent/CN115482294A/zh
Publication of CN115482294A publication Critical patent/CN115482294A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本申请公开了一种相机与激光雷达的外参精确标定方法，包括：构建外部标定板，所述标定板中存在至少两种颜色；移动车辆至标定位置，分别通过相机和激光雷达获取标定板的数据，形成数据组；多次移动车辆位置，不断重复数据组的获取动作，以获取多组数据组后利用PnP算法获取相机到激光雷达的外参初值；基于外参初值和相机的内参将激光雷达获取标定板的数据中的标定点重投影至像素平面，与通过相机所获取的标定板的数据建立残差关系，对残差关系进行优化后形成精准外参。在本申请实施例中，基于所构建的标定板，可以自动化提取对应的激光点云和特征点，通过非线性优化重投影误差的形式得到标定结果，实现在无人驾驶中相机与激光雷达之间更加自动化和准确的外参标定。

Description

相机与激光雷达的外参精确标定方法及其系统
技术领域
本申请涉及自动驾驶感知系统外参标定技术领域，尤其涉及一种相机与激光雷达的外参精确标定方法及其系统。
背景技术
随着自动驾驶及多传感器融合技术的发展，相机和激光雷达作为重要的感知传感器已经越来越不可或缺，自动驾驶车辆通常会安装多台相机和激光雷达，出于感知系统对坐标系统一的需要，需要对相机和激光雷达的外参进行标定。
当前的标定方案大多采用黑白棋盘格标定板进行标定，大部分情况下需要手动去选择对应的图像像素和激光雷达点云。
发明内容
为了解决上述技术问题，本申请实施例提供一种相机与激光雷达的外参精确标定方法及其系统，实现更加自动化和准确的外参标定。
本申请实施例第一方面提供了一种相机与激光雷达的外参精确标定方法，可包括：
构建外部标定板，所述标定板中存在至少两种颜色，
移动车辆至标定位置，分别通过相机和激光雷达获取标定板的数据，形成数据组；
多次移动车辆位置，不断重复数据组的获取动作，以获取多组数据组后利用PnP算法获取相机到激光雷达的外参初值；
基于外参初值和相机的内参将激光雷达获取标定板的数据中的标定点重投影至像素平面，与通过相机所获取的标定板的数据建立残差关系，对残差关系进行优化后形成精准外参。
进一步地，所述标定板的颜色分为底色和特征色；所述特征色所形成的区域作为标定板的特征区域，该特征区域的中心作为特征点。
进一步地，所述标定板的颜色采用白色作为底色，黑色作为特征色。
进一步地，所述标定板上的特征区域采用圆形，该中心作为特征点。
进一步地，所述标定板上的特征区域设置有至少三个。
进一步地，所述数据组包括：
通过相机获取标定板的数据数据并提取其中的特征区域以及特征点，形成一组相机数据；
通过激光雷达获取点云数据，摘取其中的特征区域的点云区域后利用聚类法对点云进行特征点的坐标，形成一组雷达数据。
进一步地，所述相机数据为像素平面数据，利用k-means或blob算法获取特征点。
进一步地，所述雷达数据为点云数据，利用反射率保留特征区域的点云，通过聚类算法确定特征区域后，采用ransac算法拟合三维空间获取中心坐标作为特征点。
本申请实施例第二方面提供了一种相机与激光雷达的外参精确标定系统，包括：
标定模块，至少存在两种颜色以形成特征区域；所述特征区域在标定模块中设置有不少于三处；
数据组获取模块，包含有多组数据组，每一个数据组包含在同一车辆位置下的相机获取标定板的平面像素数据和激光雷达获取标定板的点云三维数据；
外参拟合模块，基于所述数据组获取模块利用PnP算法获取相机到激光雷达的外参初值，基于外参初值和相机的内参将激光雷达获取标定板的数据中的标定点重投影至像素平面，与通过相机所获取的标定板的数据建立残差关系，对残差关系进行优化后形成精准外参输出。
进一步地，所述数据组包括：
相机数据，通过相机获取标定板的数据数据并提取其中的特征区域以及特征点；
雷达数据，通过激光雷达获取点云数据，摘取其中的特征区域的点云区域后利用聚类法对点云进行特征点的坐标。
在本申请实施例中，基于所构建的标定板，可以自动化提取对应的激光点云和特征点，通过非线性优化重投影误差的形式得到标定结果，实现在无人驾驶中相机与激光雷达之间更加自动化和准确的外参标定。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的方法流程图；
图2是标定板的示意图。
具体实施方式
为使得本申请的申请目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本申请一部分实施例，而非全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
下面结合附图和具体实施例，进一步阐明本发明。
在本申请的描述中，需要理解的是，术语“上”、“下”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
如图1所示本申请实施例第一方面提供了一种相机与激光雷达的外参精确标定方法，可包括：
S1)构建外部标定板，所述标定板中存在至少两种颜色，标定板的颜色分为底色和特征色。特征色所形成的区域作为标定板的特征区域，该特征区域的中心作为特征点。一般情况下颜色的色差要较大以便于能够明显的区域形成特征区域。
作为一个具体的实施例，如图2所示，制作一个1m×1m的标定板，底色为白色，标定板左上、左下、右上、右下位置分别覆盖一个直径40cm的黑色实心大圆，将标定板贴在白色背景墙面上，出现于相机和激光雷达的共视区域内，相机和雷达分别提取黑色实心大圆的圆心作为特征点。
S2)移动车辆至标定位置，分别通过相机和激光雷达获取标定板的数据，形成数据组，每个数据组包括：
通过相机获取标定板的数据数据并提取其中的特征区域以及特征点，形成一组相机数据；相机数据为像素平面数据，利用k-means或blob算法获取特征点，得到四个黑色实心大圆的像素平面二维圆心坐标，分别记为左上C_left_up，左下C_left_down，右上C_right_up，右下C_right_down。
通过激光雷达获取点云数据，摘取其中的特征区域的点云区域后利用聚类法对点云进行特征点的坐标，形成一组雷达数据。对于激光雷达点云来说，白色平面和黑色大圆的反射率存在巨大差别，可以通过反射率只保留四个黑色大圆区域的点云，然后通过诸如k-means等聚类算法分成四簇点云，分别对四簇点云使用ransac算法拟合空间圆得到三维空间四个圆心坐标，分别记为左上L_left_up，左下L_left_down，右上L_right_up，右下L_right_down。
S3)多次移动车辆位置，不断重复数据组的获取动作，以获取多组数据组后利用PnP算法获取相机到激光雷达的外参初值；
S4)根据外参初值和相机内参将每组空间圆心L_left_up，L_left_down，L_right_up，L_right_down重投影到像素平面，投影坐标与相机实际观测到的C_left_up，C_left_down，C_right_up，C_right_down建立残差关系，通过优化库ceres或者g2o对残差进行优化得到最后的准确外参。
利用上述方法在标定板的基础上可以自动化提取对应的激光点云和特征点，通过非线性优化重投影误差的形式得到标定结果。
本申请实施例第二方面提供了一种相机与激光雷达的外参精确标定系统，包括：
标定模块，至少存在两种颜色以形成特征区域；所述特征区域在标定模块中设置有不少于三处。
数据组获取模块，包含有多组数据组，每一个数据组包含在同一车辆位置下的相机获取标定板的平面像素数据和激光雷达获取标定板的点云三维数据，其中，每个数据组包括：
相机数据，通过相机获取标定板的数据并提取其中的特征区域以及特征点；
雷达数据，通过激光雷达获取点云数据，摘取其中的特征区域的点云区域后利用聚类法对点云进行特征点的坐标。
外参拟合模块，基于所述数据组获取模块利用PnP算法获取相机到激光雷达的外参初值，基于外参初值和相机的内参将激光雷达获取标定板的数据中的标定点重投影至像素平面，与通过相机所获取的标定板的数据建立残差关系，对残差关系进行优化后形成精准外参输出。
上述每个模块的运作过程与上述方法对应，这里不进行赘述。
以上详细描述了本发明的优选实施方式，但是本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换(如数量、形状、位置等)，这些等同变换均属于本发明的保护。

Claims (10)

1.一种相机与激光雷达的外参精确标定方法，其特征在于，包括
构建外部标定板，所述标定板中存在至少两种颜色；
移动车辆至标定位置，分别通过相机和激光雷达获取标定板的数据，形成数据组；
多次移动车辆位置，不断重复数据组的获取动作，以获取多组数据组后利用PnP算法获取相机到激光雷达的外参初值；
基于外参初值和相机的内参将激光雷达获取标定板的数据中的标定点重投影至像素平面，与通过相机所获取的标定板的数据建立残差关系，对残差关系进行优化后形成精准外参。
2.根据权利要求1所述的相机与激光雷达的外参精确标定方法，其特征在于，所述标定板的颜色分为底色和特征色；所述特征色所形成的区域作为标定板的特征区域，该特征区域的中心作为特征点。
3.根据权利要求2所述的相机与激光雷达的外参精确标定方法，其特征在于，所述标定板的颜色采用白色作为底色，黑色作为特征色。
4.根据权利要求2所述的相机与激光雷达的外参精确标定方法，其特征在于，所述标定板上的特征区域采用圆形，该中心作为特征点。
5.根据权利要求4所述的相机与激光雷达的外参精确标定方法，其特征在于，所述标定板上的特征区域设置有至少三个。
6.根据权利要求1所述的相机与激光雷达的外参精确标定方法，其特征在于，所述数据组包括：
通过相机获取标定板的数据并提取其中的特征区域以及特征点，形成一组相机数据；
通过激光雷达获取点云数据，摘取其中的特征区域的点云区域后利用聚类法获取特征点的坐标，形成一组雷达数据。
7.根据权利要求5所述的相机与激光雷达的外参精确标定方法，其特征在于，所述相机数据为像素平面数据，利用k-means或blob算法获取特征点。
8.根据权利要求5所述的相机与激光雷达的外参精确标定方法，其特征在于，所述雷达数据为点云数据，利用反射率保留特征区域的点云，通过聚类算法确定特征区域后，采用ransac算法拟合三维空间获取中心坐标作为特征点。
9.一种相机与激光雷达的外参精确标定系统，其特征在于，包括：
标定模块，至少存在两种颜色以形成特征区域；所述特征区域在标定模块中设置有不少于三处；
数据组获取模块，包含有多组数据组，每一个数据组包含在同一车辆位置下的相机获取标定板的平面像素数据和激光雷达获取标定板的点云三维数据；
外参拟合模块，基于所述数据组获取模块利用PnP算法获取相机到激光雷达的外参初值，基于外参初值和相机的内参将激光雷达获取标定板的数据中的标定点重投影至像素平面，与通过相机所获取的标定板的数据建立残差关系，对残差关系进行优化后形成精准外参输出。
10.根据权利要求9所述的相机与激光雷达的外参精确标定系统，其特征在于，所述数据组包括：
相机数据，通过相机获取标定板的数据并提取其中的特征区域以及特征点；
雷达数据，通过激光雷达获取点云数据，摘取其中的特征区域的点云区域后利用聚类法对点云进行特征点的坐标。
CN202211138055.XA 2022-09-19 2022-09-19 相机与激光雷达的外参精确标定方法及其系统 Pending CN115482294A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211138055.XA CN115482294A (zh) 2022-09-19 2022-09-19 相机与激光雷达的外参精确标定方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211138055.XA CN115482294A (zh) 2022-09-19 2022-09-19 相机与激光雷达的外参精确标定方法及其系统

Publications (1)

Publication Number Publication Date
CN115482294A true CN115482294A (zh) 2022-12-16

Family

ID=84424126

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211138055.XA Pending CN115482294A (zh) 2022-09-19 2022-09-19 相机与激光雷达的外参精确标定方法及其系统

Country Status (1)

Country Link
CN (1) CN115482294A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111754583A (zh) * 2020-05-29 2020-10-09 江苏大学 一种车载三维激光雷达和相机外参联合标定的自动化方法
CN113269840A (zh) * 2021-05-27 2021-08-17 深圳一清创新科技有限公司 一种用于相机和多激光雷达的联合标定方法及电子设备
CN113506350A (zh) * 2021-07-23 2021-10-15 北京轻舟智航科技有限公司 一种自动驾驶的相机外参标定方法
CN114488094A (zh) * 2021-12-21 2022-05-13 武汉中海庭数据技术有限公司 一种车载多线激光雷达与imu外参数自动标定方法及装置
CN114966633A (zh) * 2022-07-01 2022-08-30 北京斯年智驾科技有限公司 一种准确稳定的多激光雷达外参标定方法、装置、设备以及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111754583A (zh) * 2020-05-29 2020-10-09 江苏大学 一种车载三维激光雷达和相机外参联合标定的自动化方法
CN113269840A (zh) * 2021-05-27 2021-08-17 深圳一清创新科技有限公司 一种用于相机和多激光雷达的联合标定方法及电子设备
CN113506350A (zh) * 2021-07-23 2021-10-15 北京轻舟智航科技有限公司 一种自动驾驶的相机外参标定方法
CN114488094A (zh) * 2021-12-21 2022-05-13 武汉中海庭数据技术有限公司 一种车载多线激光雷达与imu外参数自动标定方法及装置
CN114966633A (zh) * 2022-07-01 2022-08-30 北京斯年智驾科技有限公司 一种准确稳定的多激光雷达外参标定方法、装置、设备以及介质

Similar Documents

Publication Publication Date Title
CN108873943B (zh) 一种无人机厘米级精准降落的图像处理方法
CN111473739B (zh) 一种基于视频监控的隧道塌方区围岩变形实时监测方法
CN110879401B (zh) 基于相机和激光雷达的无人驾驶平台实时目标3d检测方法
CN114092780B (zh) 基于点云与图像数据融合的三维目标检测方法
CN110853037A (zh) 一种基于球面投影的轻量化彩色点云分割方法
CN109636837B (zh) 一种单目相机与毫米波雷达外参标定准确性的评价方法
CN111862180B (zh) 一种相机组位姿获取方法、装置、存储介质及电子设备
CN111815710B (zh) 鱼眼相机自动标定方法
CN112819903A (zh) 基于l型标定板的相机和激光雷达联合标定的方法
CN106774296A (zh) 一种基于激光雷达和ccd摄像机信息融合的障碍检测方法
CN112305557B (zh) 一种全景相机与多线激光雷达外参标定系统
CN110070581B (zh) 双视野定位方法、装置及系统
CN115407338A (zh) 一种车辆环境信息感知方法及系统
CN113325388A (zh) 一种自动驾驶中激光雷达泛光噪点的过滤方法和装置
CN115792865A (zh) 一种基于相机和机械式激光雷达外参标定方法、系统、介质及车辆
CN113822914A (zh) 倾斜摄影测量模型单体化方法、计算机装置及产品、介质
CN115482294A (zh) 相机与激光雷达的外参精确标定方法及其系统
CN117058051A (zh) 一种基于激光点云与微光图像融合的方法及装置
CN112835055A (zh) 一种激光slam设备的定位方法及系统
CN115100287B (zh) 外参标定方法及机器人
CN116883664A (zh) 遥感影像分割方法、装置、设备和计算机可读存储介质
CN111145246A (zh) 一种足型扫描的方法和系统
CN113884104B (zh) 多传感器联合标定方法、装置及电子设备
CN113592975B (zh) 一种基于遥感的鸟瞰图快速成图系统
CN113759346B (zh) 一种激光雷达标定方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination