CN115482294A - 相机与激光雷达的外参精确标定方法及其系统 - Google Patents
相机与激光雷达的外参精确标定方法及其系统 Download PDFInfo
- Publication number
- CN115482294A CN115482294A CN202211138055.XA CN202211138055A CN115482294A CN 115482294 A CN115482294 A CN 115482294A CN 202211138055 A CN202211138055 A CN 202211138055A CN 115482294 A CN115482294 A CN 115482294A
- Authority
- CN
- China
- Prior art keywords
- data
- camera
- calibration
- laser radar
- calibration plate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 239000003086 colorant Substances 0.000 claims abstract description 9
- 230000009471 action Effects 0.000 claims abstract description 4
- 238000002310 reflectometry Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 abstract description 4
- 239000007787 solid Substances 0.000 description 3
- 230000008447 perception Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
- G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Networks & Wireless Communication (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本申请公开了一种相机与激光雷达的外参精确标定方法，包括：构建外部标定板，所述标定板中存在至少两种颜色；移动车辆至标定位置，分别通过相机和激光雷达获取标定板的数据，形成数据组；多次移动车辆位置，不断重复数据组的获取动作，以获取多组数据组后利用PnP算法获取相机到激光雷达的外参初值；基于外参初值和相机的内参将激光雷达获取标定板的数据中的标定点重投影至像素平面，与通过相机所获取的标定板的数据建立残差关系，对残差关系进行优化后形成精准外参。在本申请实施例中，基于所构建的标定板，可以自动化提取对应的激光点云和特征点，通过非线性优化重投影误差的形式得到标定结果，实现在无人驾驶中相机与激光雷达之间更加自动化和准确的外参标定。
Description
技术领域
本申请涉及自动驾驶感知系统外参标定技术领域，尤其涉及一种相机与激光雷达的外参精确标定方法及其系统。
背景技术
随着自动驾驶及多传感器融合技术的发展，相机和激光雷达作为重要的感知传感器已经越来越不可或缺，自动驾驶车辆通常会安装多台相机和激光雷达，出于感知系统对坐标系统一的需要，需要对相机和激光雷达的外参进行标定。
当前的标定方案大多采用黑白棋盘格标定板进行标定，大部分情况下需要手动去选择对应的图像像素和激光雷达点云。
发明内容
为了解决上述技术问题，本申请实施例提供一种相机与激光雷达的外参精确标定方法及其系统，实现更加自动化和准确的外参标定。
本申请实施例第一方面提供了一种相机与激光雷达的外参精确标定方法，可包括：
构建外部标定板，所述标定板中存在至少两种颜色，
移动车辆至标定位置，分别通过相机和激光雷达获取标定板的数据，形成数据组；
多次移动车辆位置，不断重复数据组的获取动作，以获取多组数据组后利用PnP算法获取相机到激光雷达的外参初值；
基于外参初值和相机的内参将激光雷达获取标定板的数据中的标定点重投影至像素平面，与通过相机所获取的标定板的数据建立残差关系，对残差关系进行优化后形成精准外参。
进一步地，所述标定板的颜色分为底色和特征色；所述特征色所形成的区域作为标定板的特征区域，该特征区域的中心作为特征点。
进一步地，所述标定板的颜色采用白色作为底色，黑色作为特征色。
进一步地，所述标定板上的特征区域采用圆形，该中心作为特征点。
进一步地，所述标定板上的特征区域设置有至少三个。
进一步地，所述数据组包括：
通过相机获取标定板的数据数据并提取其中的特征区域以及特征点，形成一组相机数据；
通过激光雷达获取点云数据，摘取其中的特征区域的点云区域后利用聚类法对点云进行特征点的坐标，形成一组雷达数据。
进一步地，所述相机数据为像素平面数据，利用k-means或blob算法获取特征点。
进一步地，所述雷达数据为点云数据，利用反射率保留特征区域的点云，通过聚类算法确定特征区域后，采用ransac算法拟合三维空间获取中心坐标作为特征点。
本申请实施例第二方面提供了一种相机与激光雷达的外参精确标定系统，包括：
标定模块，至少存在两种颜色以形成特征区域；所述特征区域在标定模块中设置有不少于三处；
数据组获取模块，包含有多组数据组，每一个数据组包含在同一车辆位置下的相机获取标定板的平面像素数据和激光雷达获取标定板的点云三维数据；
外参拟合模块，基于所述数据组获取模块利用PnP算法获取相机到激光雷达的外参初值，基于外参初值和相机的内参将激光雷达获取标定板的数据中的标定点重投影至像素平面，与通过相机所获取的标定板的数据建立残差关系，对残差关系进行优化后形成精准外参输出。
进一步地，所述数据组包括：
相机数据，通过相机获取标定板的数据数据并提取其中的特征区域以及特征点；
雷达数据，通过激光雷达获取点云数据，摘取其中的特征区域的点云区域后利用聚类法对点云进行特征点的坐标。
在本申请实施例中，基于所构建的标定板，可以自动化提取对应的激光点云和特征点，通过非线性优化重投影误差的形式得到标定结果，实现在无人驾驶中相机与激光雷达之间更加自动化和准确的外参标定。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的方法流程图；
图2是标定板的示意图。
具体实施方式
为使得本申请的申请目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本申请一部分实施例，而非全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
下面结合附图和具体实施例，进一步阐明本发明。
在本申请的描述中，需要理解的是，术语“上”、“下”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
如图1所示本申请实施例第一方面提供了一种相机与激光雷达的外参精确标定方法，可包括：
S1)构建外部标定板，所述标定板中存在至少两种颜色，标定板的颜色分为底色和特征色。特征色所形成的区域作为标定板的特征区域，该特征区域的中心作为特征点。一般情况下颜色的色差要较大以便于能够明显的区域形成特征区域。
作为一个具体的实施例，如图2所示，制作一个1m×1m的标定板，底色为白色，标定板左上、左下、右上、右下位置分别覆盖一个直径40cm的黑色实心大圆，将标定板贴在白色背景墙面上，出现于相机和激光雷达的共视区域内，相机和雷达分别提取黑色实心大圆的圆心作为特征点。
S2)移动车辆至标定位置，分别通过相机和激光雷达获取标定板的数据，形成数据组，每个数据组包括：
通过相机获取标定板的数据数据并提取其中的特征区域以及特征点，形成一组相机数据；相机数据为像素平面数据，利用k-means或blob算法获取特征点，得到四个黑色实心大圆的像素平面二维圆心坐标，分别记为左上C_left_up，左下C_left_down，右上C_right_up，右下C_right_down。
通过激光雷达获取点云数据，摘取其中的特征区域的点云区域后利用聚类法对点云进行特征点的坐标，形成一组雷达数据。对于激光雷达点云来说，白色平面和黑色大圆的反射率存在巨大差别，可以通过反射率只保留四个黑色大圆区域的点云，然后通过诸如k-means等聚类算法分成四簇点云，分别对四簇点云使用ransac算法拟合空间圆得到三维空间四个圆心坐标，分别记为左上L_left_up，左下L_left_down，右上L_right_up，右下L_right_down。
S3)多次移动车辆位置，不断重复数据组的获取动作，以获取多组数据组后利用PnP算法获取相机到激光雷达的外参初值；
S4)根据外参初值和相机内参将每组空间圆心L_left_up，L_left_down，L_right_up，L_right_down重投影到像素平面，投影坐标与相机实际观测到的C_left_up，C_left_down，C_right_up，C_right_down建立残差关系，通过优化库ceres或者g2o对残差进行优化得到最后的准确外参。
利用上述方法在标定板的基础上可以自动化提取对应的激光点云和特征点，通过非线性优化重投影误差的形式得到标定结果。
本申请实施例第二方面提供了一种相机与激光雷达的外参精确标定系统，包括：
标定模块，至少存在两种颜色以形成特征区域；所述特征区域在标定模块中设置有不少于三处。
数据组获取模块，包含有多组数据组，每一个数据组包含在同一车辆位置下的相机获取标定板的平面像素数据和激光雷达获取标定板的点云三维数据，其中，每个数据组包括：
相机数据，通过相机获取标定板的数据并提取其中的特征区域以及特征点；
雷达数据，通过激光雷达获取点云数据，摘取其中的特征区域的点云区域后利用聚类法对点云进行特征点的坐标。
外参拟合模块，基于所述数据组获取模块利用PnP算法获取相机到激光雷达的外参初值，基于外参初值和相机的内参将激光雷达获取标定板的数据中的标定点重投影至像素平面，与通过相机所获取的标定板的数据建立残差关系，对残差关系进行优化后形成精准外参输出。
上述每个模块的运作过程与上述方法对应，这里不进行赘述。
以上详细描述了本发明的优选实施方式，但是本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换(如数量、形状、位置等)，这些等同变换均属于本发明的保护。
Claims (10)
1.一种相机与激光雷达的外参精确标定方法，其特征在于，包括
构建外部标定板，所述标定板中存在至少两种颜色；
移动车辆至标定位置，分别通过相机和激光雷达获取标定板的数据，形成数据组；
多次移动车辆位置，不断重复数据组的获取动作，以获取多组数据组后利用PnP算法获取相机到激光雷达的外参初值；
基于外参初值和相机的内参将激光雷达获取标定板的数据中的标定点重投影至像素平面，与通过相机所获取的标定板的数据建立残差关系，对残差关系进行优化后形成精准外参。
2.根据权利要求1所述的相机与激光雷达的外参精确标定方法，其特征在于，所述标定板的颜色分为底色和特征色；所述特征色所形成的区域作为标定板的特征区域，该特征区域的中心作为特征点。
3.根据权利要求2所述的相机与激光雷达的外参精确标定方法，其特征在于，所述标定板的颜色采用白色作为底色，黑色作为特征色。
4.根据权利要求2所述的相机与激光雷达的外参精确标定方法，其特征在于，所述标定板上的特征区域采用圆形，该中心作为特征点。
5.根据权利要求4所述的相机与激光雷达的外参精确标定方法，其特征在于，所述标定板上的特征区域设置有至少三个。
6.根据权利要求1所述的相机与激光雷达的外参精确标定方法，其特征在于，所述数据组包括：
通过相机获取标定板的数据并提取其中的特征区域以及特征点，形成一组相机数据；
通过激光雷达获取点云数据，摘取其中的特征区域的点云区域后利用聚类法获取特征点的坐标，形成一组雷达数据。
7.根据权利要求5所述的相机与激光雷达的外参精确标定方法，其特征在于，所述相机数据为像素平面数据，利用k-means或blob算法获取特征点。
8.根据权利要求5所述的相机与激光雷达的外参精确标定方法，其特征在于，所述雷达数据为点云数据，利用反射率保留特征区域的点云，通过聚类算法确定特征区域后，采用ransac算法拟合三维空间获取中心坐标作为特征点。
9.一种相机与激光雷达的外参精确标定系统，其特征在于，包括：
标定模块，至少存在两种颜色以形成特征区域；所述特征区域在标定模块中设置有不少于三处；
数据组获取模块，包含有多组数据组，每一个数据组包含在同一车辆位置下的相机获取标定板的平面像素数据和激光雷达获取标定板的点云三维数据；
外参拟合模块，基于所述数据组获取模块利用PnP算法获取相机到激光雷达的外参初值，基于外参初值和相机的内参将激光雷达获取标定板的数据中的标定点重投影至像素平面，与通过相机所获取的标定板的数据建立残差关系，对残差关系进行优化后形成精准外参输出。
10.根据权利要求9所述的相机与激光雷达的外参精确标定系统，其特征在于，所述数据组包括：
相机数据，通过相机获取标定板的数据并提取其中的特征区域以及特征点；
雷达数据，通过激光雷达获取点云数据，摘取其中的特征区域的点云区域后利用聚类法对点云进行特征点的坐标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211138055.XA CN115482294A (zh) | 2022-09-19 | 2022-09-19 | 相机与激光雷达的外参精确标定方法及其系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211138055.XA CN115482294A (zh) | 2022-09-19 | 2022-09-19 | 相机与激光雷达的外参精确标定方法及其系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115482294A true CN115482294A (zh) | 2022-12-16 |
Family
ID=84424126
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211138055.XA Pending CN115482294A (zh) | 2022-09-19 | 2022-09-19 | 相机与激光雷达的外参精确标定方法及其系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115482294A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111754583A (zh) * | 2020-05-29 | 2020-10-09 | 江苏大学 | 一种车载三维激光雷达和相机外参联合标定的自动化方法 |
| CN113269840A (zh) * | 2021-05-27 | 2021-08-17 | 深圳一清创新科技有限公司 | 一种用于相机和多激光雷达的联合标定方法及电子设备 |
| CN113506350A (zh) * | 2021-07-23 | 2021-10-15 | 北京轻舟智航科技有限公司 | 一种自动驾驶的相机外参标定方法 |
| CN114488094A (zh) * | 2021-12-21 | 2022-05-13 | 武汉中海庭数据技术有限公司 | 一种车载多线激光雷达与imu外参数自动标定方法及装置 |
| CN114966633A (zh) * | 2022-07-01 | 2022-08-30 | 北京斯年智驾科技有限公司 | 一种准确稳定的多激光雷达外参标定方法、装置、设备以及介质 |
-
2022
- 2022-09-19 CN CN202211138055.XA patent/CN115482294A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111754583A (zh) * | 2020-05-29 | 2020-10-09 | 江苏大学 | 一种车载三维激光雷达和相机外参联合标定的自动化方法 |
| CN113269840A (zh) * | 2021-05-27 | 2021-08-17 | 深圳一清创新科技有限公司 | 一种用于相机和多激光雷达的联合标定方法及电子设备 |
| CN113506350A (zh) * | 2021-07-23 | 2021-10-15 | 北京轻舟智航科技有限公司 | 一种自动驾驶的相机外参标定方法 |
| CN114488094A (zh) * | 2021-12-21 | 2022-05-13 | 武汉中海庭数据技术有限公司 | 一种车载多线激光雷达与imu外参数自动标定方法及装置 |
| CN114966633A (zh) * | 2022-07-01 | 2022-08-30 | 北京斯年智驾科技有限公司 | 一种准确稳定的多激光雷达外参标定方法、装置、设备以及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110853037A (zh) | 一种基于球面投影的轻量化彩色点云分割方法 | |
| CN104915986B (zh) | 一种实体三维模型自动建模方法 | |
| WO2023164845A1 (zh) | 三维重建方法、装置、系统及存储介质 | |
| CN111311689A (zh) | 一种激光雷达与相机相对外参的标定方法及系统 | |
| CN106570904B (zh) | 一种基于Xtion摄像头的多目标相对位姿识别方法 | |
| CN114998536A (zh) | 基于新型基础测绘的模型生成方法、装置及存储介质 | |
| CN110223226A (zh) | 全景图像拼接方法及系统 | |
| CN113050074B (zh) | 无人驾驶环境感知中相机与激光雷达标定系统及标定方法 | |
| CN106774296A (zh) | 一种基于激光雷达和ccd摄像机信息融合的障碍检测方法 | |
| WO2014079477A1 (de) | Verfahren zum automatischen erstellen von zwei- oder dreidimensionalen gebäudemodellen | |
| CN107204037A (zh) | 基于主被动三维成像系统的三维影像生成方法 | |
| CN113359141A (zh) | 一种基于无人机多传感器数据融合的林火定位方法及系统 | |
| CN108908399A (zh) | 一种基于同心圆环模板的机器人手眼标定方法 | |
| JP7432793B1 (ja) | 三次元点群に基づくマッピング方法、装置、チップ及びモジュール機器 | |
| CN112305557A (zh) | 一种全景相机与多线激光雷达外参标定系统 | |
| CN114137564A (zh) | 一种室内物体自动标识定位方法和装置 | |
| CN114972997A (zh) | 一种基于全天空图像3d云层重建的跟踪式光伏发电优化方法 | |
| CN117496084A (zh) | 大型湖泊场景建模方法、系统、计算机设备及存储介质 | |
| CN115372987A (zh) | 基于激光雷达的车道线提取方法、装置、介质及设备 | |
| CN115482294A (zh) | 相机与激光雷达的外参精确标定方法及其系统 | |
| CN113759346B (zh) | 一种激光雷达标定方法、装置、电子设备及存储介质 | |
| CN115100287B (zh) | 外参标定方法及机器人 | |
| CN115908564A (zh) | 自动运输设备的仓储巡线方法和自动运输设备 | |
| CN115601275A (zh) | 点云增广方法及装置、计算机可读存储介质、终端设备 | |
| CN115393516A (zh) | 一种基于深度摄像模组的三维重建装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Country or region after: China Address after: Room 101, 21st Floor, South Building, Information Technology Building, No. 650 Yunxiu South Road, Wuyang Street, Deqing County, Huzhou City, Zhejiang Province 313200 Applicant after: Zhejiang Siqian Intelligent Driving Technology Co.,Ltd. Address before: 118, 1st Floor, Building 1, No.16 Anningzhuang East Road, Haidian District, Beijing Applicant before: Beijing Sinian Zhijia Technology Co.,Ltd. Country or region before: China |
|
| CB02 | Change of applicant information | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20221216 |
|
| RJ01 | Rejection of invention patent application after publication |