CN112614189A - 一种基于摄像头和3d激光雷达的联合标定方法 - Google Patents
一种基于摄像头和3d激光雷达的联合标定方法 Download PDFInfo
- Publication number
- CN112614189A CN112614189A CN202011447659.3A CN202011447659A CN112614189A CN 112614189 A CN112614189 A CN 112614189A CN 202011447659 A CN202011447659 A CN 202011447659A CN 112614189 A CN112614189 A CN 112614189A
- Authority
- CN
- China
- Prior art keywords
- cloud data
- point cloud
- point
- camera
- laser radar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 239000011159 matrix material Substances 0.000 claims abstract description 14
- 230000009466 transformation Effects 0.000 claims abstract description 8
- 230000000007 visual effect Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 238000007621 cluster analysis Methods 0.000 abstract description 7
- 238000012800 visualization Methods 0.000 abstract description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/40—Means for monitoring or calibrating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明涉及一种基于摄像头和3D激光雷达的联合标定方法，属于机器人或无人车技术领域。本发明首先对3D激光雷达的点云数据进行聚类分析，然后，通过3D‑2D投影方法，将点云数据聚类分析结果投影至摄像头采集的图像序列中，最后，通过调整动态配置中的旋转欧拉角，并利用ros环境下的可视化工具rviz，使目标物体的聚类点云数据投影结果和图像序列中的目标物体相互一致对应，实现3D激光雷达和摄像头间的空间旋转矩阵。该方法通过基于摄像头和3D激光雷达的联合标定，能够简单、快速地确定摄像头和3D激光雷达坐标系之间的空间变换关系。
Description
技术领域
本发明属于机器人或无人车技术领域，具体涉及一种基于摄像头和3D激光雷达的联合标定方法。
背景技术
移动机器人主要通过安装各种传感器感知周围的环境信息，其中，摄像头和3D激光雷达是目前环境感知获取环境信息中最重要的两种不同类型的传感器。摄像头是一种在视场内可以获得目标物体二维图像信息的传感器，而3D激光雷达是一种能够获取目标物体的三维轮廓信息的传感器。因此，融合这两种信息互补的传感器观测信息可以提升目标物体信息的完整性，而在融合两类传感器信息前，必须对两类传感器进行联合标定。
联合标定主要是指确定摄像头坐标系和3D激光雷达坐标系间的空间变换关系，而空间变换关系主要由空间旋转矩阵和空间平移向量组成，空间平移向量可以根据移动机器人中两传感器自身的安装位置确定，所以，联合标定主要是确定空间旋转矩阵的过程。
发明内容
(一)要解决的技术问题
本发明要解决的技术问题是：如何设计一种基于摄像头和3D激光雷达的联合标定方法，以简单、快速地确定摄像头坐标系和3D激光雷达坐标系间的空间旋转关系。
(二)技术方案
为了解决上述技术问题，本发明提供了一种基于摄像头和3D激光雷达的联合标定方法，包括以下步骤：
步骤1：根据3D激光雷达得到的点云数据，进行点云数据聚类分析；
步骤2：通过3D-2D投影，将聚类分析结果投影到摄像头得到的图像序列；
步骤3：基于步骤2，动态调整欧拉角，并判断可视化的标定结果是否满意，如果满意，保存标定结果；否则继续调整欧拉角，直至满意。
优选地，步骤1中，点云数据聚类分析是将3D激光雷达扫描得到的点云数据中的点集根据一定的判断准则进行类别划分，每个类别分别对应不同的目标物体。
优选地，步骤1中，点云数据聚类分析具体采用的方法如下：
(1)创建Kd-tree数据结构描述点云数据集P；
(2)设置一个空聚类列表C以及一个含检测点的队列Q；
(3)对于集合P中的每一个点Pi，作如下操作：
(3.1)添加点Pi至当前队列Q；
(3.2)对于集合P中的每一个点Pj，j！＝i，作如下操作：
(3.2.1)计算点Pi和点Pj之间的欧式距离r，为式(1)，如果满足r<距离阈值dth，则将点Pj添加至其邻域列表N；
(3.2.2)对N中的每一个领域ni，检查该点Pj是否已经被处理过，如果没有，添加该点至队列Q；否则，针对集合P中的下一个点返回步骤3.2.1继续处理；
(3.2.3)添加队列Q至聚类列表C；
(3.3)重置Q为空队列，直至集合P中所有的点被处理完毕。
优选地，步骤2中，3D-2D投影的方法如下：
(1)计算点云数据聚类分析结果中点云数据相对于摄像头图像垂直方向的差分航向角，具体公式为式(2)：
yaw_diff＝|arctan(Py,Px)-yaw-90| (2)
其中，Px，Py分别为点云数据在3D激光雷达坐标系X，Y轴上坐标值，yaw是摄像头的原始偏航角；
(2)设定差分航向角阈值th1，统计满足yaw_diff<预设阈值th1的点云数据个数pt_c；
(3)根据点云数据聚类分析结果中点云数据的大小，设定pt_c的阈值th2，如果pt_c≥th2，则将点云数据投影到图像中。
优选地，步骤3中，根据动态配置文件，生成欧拉角配置窗口，同时，在ros环境下通过可视化工具rviz，生成可视化图像窗口，并将点云数据聚类分析结果投影至该可视化窗口，然后，对3D激光雷达坐标系到摄像头坐标系所对应的旋转欧拉角进行动态调整，直至步骤2得到的目标物体的聚类点云数据投影结果和图像序列中的目标物体相互一致对应，最后，保存标定结果。
优选地，步骤3中，在保存标定结果的同时，还根据欧拉角和空间旋转矩阵的转换关系计算3D激光雷达坐标系到摄像头坐标系的空间旋转矩阵。
优选地，步骤3中，在保存标定结果的同时，还根据由式(3)表示的欧拉角和空间旋转矩阵的转换关系计算3D激光雷达坐标系到摄像头坐标系的空间旋转矩阵；
其中，rl、ph、yw分别为绕3D激光雷达坐标系X、Y、Z轴旋转的偏航角、俯仰角和横滚角。
本发明还提供了一种所述的方法在机器人技术领域中的应用。
本发明还提供了一种所述的方法在无人车技术领域中的应用。
(三)有益效果
本发明首先对3D激光雷达的点云数据进行聚类分析，然后，通过3D-2D投影方法，将点云数据聚类分析结果投影至摄像头采集的图像序列中，最后，通过调整动态配置中的旋转欧拉角，并利用ros环境下的可视化工具rviz，使目标物体的聚类点云数据投影结果和图像序列中的目标物体相互一致对应，实现3D激光雷达和摄像头间的空间旋转矩阵。该方法通过基于摄像头和3D激光雷达的联合标定，能够简单、快速地确定摄像头和3D激光雷达坐标系之间的空间变换关系。
附图说明
图1为本发明的摄像头和3D激光雷达联合标定示意图。
具体实施方式
为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。
如图1所示，本发明提供的一种基于摄像头和3D激光雷达的联合标定方法，在该方法中，首先根据3D激光雷达得到的点云数据展开聚类分析，将点云数据进行分类；然后，根据聚类分析的结果，将点云数据投影到摄像头采集的图像序列中；最后，通过动态调整欧拉角(由偏航角、俯仰角和横滚角组成)，将目标物体的点云数据的投影结果和图像序列中目标物体相互一一对应，进而确定摄像头坐标系和3D激光雷达坐标系间的空间旋转关系，实现两传感器间的联合标定。
具体而言，该方法包括以下步骤：
步骤1：根据3D激光雷达得到的点云数据，进行点云数据聚类分析；
点云数据聚类分析是将3D激光雷达扫描得到的点云数据中的点集根据一定的判断准则进行类别划分，每个类别分别对应不同的目标物体，点云数据聚类分析具体采用的方法如下：
(1)创建Kd-tree数据结构描述点云数据集P；
(2)设置一个空聚类列表C以及一个含检测点的队列Q；
(3)对于集合P中的每一个点Pi，作如下操作：
(3.1)添加点Pi至当前队列Q；
(3.2)对于集合P中的每一个点Pj，j！＝i，作如下操作：
(3.2.1)计算点Pi和点Pj之间的欧式距离r，如式(1),如果满足r<距离阈值dth，则将点Pj添加至其邻域列表N；
(3.2.2)对N中的每一个领域ni，检查该点Pj是否已经被处理过，如果没有，添加该点至队列Q；否则，针对集合P中的下一个点返回步骤3.2.1继续处理；
(3.2.3)添加队列Q至聚类列表C；
(3.3)重置Q为空队列，直至集合P中所有的点被处理完毕。
步骤2：通过3D-2D投影，将聚类分析结果投影到摄像头得到的图像序列；
点云数据聚类分析得到了3D激光雷达点云数据对应目标物体的三维轮廓信息，而摄像头采集的图像序列中的目标物体信息为二维图像信息，因此，点云数据聚类分析结果需要特定的方法进行处理，才能投影到摄像头采集的图像序列中。3D-2D投影的方法如下：
(1)计算点云数据聚类分析结果中点云数据相对于摄像头图像垂直方向的差分航向角，具体公式为式(2)：
yaw_diff＝|arctan(Py,Px)-yaw-90| (2)
其中，Px，Py分别为点云数据在3D激光雷达坐标系X,Y轴上坐标值，yaw是摄像头的原始偏航角；
(2)设定差分航向角阈值th1，统计满足yaw_diff<预设阈值th1的点云数据个数pt_c；
(3)根据点云数据聚类分析结果中点云数据的大小，设定pt_c的阈值th2，如果pt_c≥th2，则将点云数据投影到图像中。
步骤3：基于步骤2，动态调整欧拉角，并判断可视化的标定结果是否满意，如果满意，保存标定结果；否则继续调整欧拉角，直至满意。
其中，根据动态配置文件，生成欧拉角配置窗口，同时，在ros环境下通过可视化工具rviz，生成可视化图像窗口，并将点云数据聚类分析结果投影至该可视化窗口，然后，对3D激光雷达坐标系到摄像头坐标系所对应的旋转欧拉角进行动态调整，直至步骤2得到的目标物体的聚类点云数据投影结果和图像序列中的目标物体相互一致对应，最后，保存标定结果，并根据式(3)表示的欧拉角和空间旋转矩阵的转换关系计算3D激光雷达坐标系到摄像头坐标系的空间旋转矩阵；
其中，rl、ph、yw分别为绕3D激光雷达坐标系X、Y、Z轴旋转的偏航角、俯仰角和横滚角。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (9)
1.一种基于摄像头和3D激光雷达的联合标定方法，其特征在于，包括以下步骤：
步骤1：根据3D激光雷达得到的点云数据，进行点云数据聚类分析；
步骤2：通过3D-2D投影，将聚类分析结果投影到摄像头得到的图像序列；
步骤3：基于步骤2，动态调整欧拉角，并判断可视化的标定结果是否满意，如果满意，保存标定结果；否则继续调整欧拉角，直至满意。
2.如权利要求1所述的方法，其特征在于，步骤1中，点云数据聚类分析是将3D激光雷达扫描得到的点云数据中的点集根据一定的判断准则进行类别划分，每个类别分别对应不同的目标物体。
3.如权利要求2所述的方法，其特征在于，步骤1中，点云数据聚类分析具体采用的方法如下：
(1)创建Kd-tree数据结构描述点云数据集P；
(2)设置一个空聚类列表C以及一个含检测点的队列Q；
(3)对于集合P中的每一个点Pi，作如下操作：
(3.1)添加点Pi至当前队列Q；
(3.2)对于集合P中的每一个点Pj，j！＝i，作如下操作：
(3.2.1)计算点Pi和点Pj之间的欧式距离r，为式(1)，如果满足r<距离阈值dth，则将点Pj添加至其邻域列表N；
(3.2.2)对N中的每一个领域ni，检查该点Pj是否已经被处理过，如果没有，添加该点至队列Q；否则，针对集合P中的下一个点返回步骤3.2.1继续处理；
(3.2.3)添加队列Q至聚类列表C；
(3.3)重置Q为空队列，直至集合P中所有的点被处理完毕。
4.如权利要求2所述的方法，其特征在于，步骤2中，3D-2D投影的方法如下：
(1)计算点云数据聚类分析结果中点云数据相对于摄像头图像垂直方向的差分航向角，具体公式为式(2)：
yaw_diff＝|arctan(Py,Px)-yaw-90| (2)
其中，Px，Py分别为点云数据在3D激光雷达坐标系X，Y轴上坐标值，yaw是摄像头的原始偏航角；
(2)设定差分航向角阈值th1，统计满足yaw_diff<预设阈值th1的点云数据个数pt_c；
(3)根据点云数据聚类分析结果中点云数据的大小，设定pt_c的阈值th2，如果pt_c≥th2，则将点云数据投影到图像中。
5.如权利要求2所述的方法，其特征在于，步骤3中，根据动态配置文件，生成欧拉角配置窗口，同时，在ros环境下通过可视化工具rviz，生成可视化图像窗口，并将点云数据聚类分析结果投影至该可视化窗口，然后，对3D激光雷达坐标系到摄像头坐标系所对应的旋转欧拉角进行动态调整，直至步骤2得到的目标物体的聚类点云数据投影结果和图像序列中的目标物体相互一致对应，最后，保存标定结果。
6.如权利要求5所述的方法，其特征在于，步骤3中，在保存标定结果的同时，还根据欧拉角和空间旋转矩阵的转换关系计算3D激光雷达坐标系到摄像头坐标系的空间旋转矩阵。
7.如权利要求6所述的方法，其特征在于，步骤3中，在保存标定结果的同时，还根据由式(3)表示的欧拉角和空间旋转矩阵的转换关系计算3D激光雷达坐标系到摄像头坐标系的空间旋转矩阵；
其中，rl、ph、yw分别为绕3D激光雷达坐标系X、Y、Z轴旋转的偏航角、俯仰角和横滚角。
8.一种如权利要求1至7中任一项所述的方法在机器人技术领域中的应用。
9.一种如权利要求1至7中任一项所述的方法在无人车技术领域中的应用。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011447659.3A CN112614189B (zh) | 2020-12-09 | 2020-12-09 | 一种基于摄像头和3d激光雷达的联合标定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011447659.3A CN112614189B (zh) | 2020-12-09 | 2020-12-09 | 一种基于摄像头和3d激光雷达的联合标定方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112614189A true CN112614189A (zh) | 2021-04-06 |
| CN112614189B CN112614189B (zh) | 2024-05-31 |
Family
ID=75233426
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011447659.3A Active CN112614189B (zh) | 2020-12-09 | 2020-12-09 | 一种基于摄像头和3d激光雷达的联合标定方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112614189B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024131435A1 (zh) * | 2022-12-19 | 2024-06-27 | 中国科学院深圳先进技术研究院 | 一种点云耦合方法及asic专用处理器 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109100741A (zh) * | 2018-06-11 | 2018-12-28 | 长安大学 | 一种基于3d激光雷达及图像数据的目标检测方法 |
| CN109696663A (zh) * | 2019-02-21 | 2019-04-30 | 北京大学 | 一种车载三维激光雷达标定方法和系统 |
| US20200200907A1 (en) * | 2018-12-19 | 2020-06-25 | Dalong Li | Semi-automatic lidar annotation system for autonomous driving |
| CN111383279A (zh) * | 2018-12-29 | 2020-07-07 | 阿里巴巴集团控股有限公司 | 外参标定方法、装置及电子设备 |
-
2020
- 2020-12-09 CN CN202011447659.3A patent/CN112614189B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109100741A (zh) * | 2018-06-11 | 2018-12-28 | 长安大学 | 一种基于3d激光雷达及图像数据的目标检测方法 |
| US20200200907A1 (en) * | 2018-12-19 | 2020-06-25 | Dalong Li | Semi-automatic lidar annotation system for autonomous driving |
| CN111383279A (zh) * | 2018-12-29 | 2020-07-07 | 阿里巴巴集团控股有限公司 | 外参标定方法、装置及电子设备 |
| CN109696663A (zh) * | 2019-02-21 | 2019-04-30 | 北京大学 | 一种车载三维激光雷达标定方法和系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024131435A1 (zh) * | 2022-12-19 | 2024-06-27 | 中国科学院深圳先进技术研究院 | 一种点云耦合方法及asic专用处理器 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112614189B (zh) | 2024-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108932736B (zh) | 二维激光雷达点云数据处理方法以及动态机器人位姿校准方法 | |
| CN112396650B (zh) | 一种基于图像和激光雷达融合的目标测距系统及方法 | |
| CN111665842B (zh) | 一种基于语义信息融合的室内slam建图方法及系统 | |
| KR102195164B1 (ko) | 다중 라이다를 이용한 다중 물체 인식 시스템 및 방법 | |
| WO2021189468A1 (zh) | 激光雷达的姿态校正方法、装置和系统 | |
| CN110893617A (zh) | 障碍物检测方法、装置及存储装置 | |
| CN106650701B (zh) | 基于双目视觉的室内阴影环境下障碍物检测方法及装置 | |
| JP5109294B2 (ja) | ３次元位置補正装置 | |
| CN111046776A (zh) | 基于深度相机的移动机器人行进路径障碍物检测的方法 | |
| US11783507B2 (en) | Camera calibration apparatus and operating method | |
| CN111522022B (zh) | 基于激光雷达的机器人进行动态目标检测方法 | |
| CN111123242B (zh) | 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质 | |
| WO2022179566A1 (zh) | 外参标定方法、装置、电子设备及存储介质 | |
| CN103065323A (zh) | 一种基于单应性变换矩阵的分段空间对准方法 | |
| WO2023131203A1 (zh) | 语义地图更新方法、路径规划方法以及相关装置 | |
| CN114413958A (zh) | 无人物流车的单目视觉测距测速方法 | |
| CN116844124A (zh) | 三维目标检测框标注方法、装置、电子设备和存储介质 | |
| CN110208802B (zh) | 融合多视图模糊推理赋值的障碍物检测方法 | |
| CN112614189B (zh) | 一种基于摄像头和3d激光雷达的联合标定方法 | |
| CN113920191B (zh) | 一种基于深度相机的6d数据集构建方法 | |
| CN113902828A (zh) | 一种以墙角为关键特征的室内二维语义地图的构建方法 | |
| CN115100287B (zh) | 外参标定方法及机器人 | |
| CN108549089B (zh) | 一种用于slam的镂空障碍物检测装置和方法 | |
| CN116051818A (zh) | 自动驾驶系统的多传感器信息融合方法 | |
| Zhang et al. | Automatic Extrinsic Parameter Calibration for Camera-LiDAR Fusion using Spherical Target |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |