CN113988197A - 基于多相机、多激光雷达的联合标定及目标融合检测方法 - Google Patents
基于多相机、多激光雷达的联合标定及目标融合检测方法 Download PDFInfo
- Publication number
- CN113988197A CN113988197A CN202111291161.7A CN202111291161A CN113988197A CN 113988197 A CN113988197 A CN 113988197A CN 202111291161 A CN202111291161 A CN 202111291161A CN 113988197 A CN113988197 A CN 113988197A
- Authority
- CN
- China
- Prior art keywords
- laser radar
- camera
- laser
- cameras
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/40—Means for monitoring or calibrating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
一种基于多相机、多激光雷达的联合标定及目标融合检测方法，提供了多激光雷达的标定办法，多相机同激光雷达的标定办法，解决了多相机共视区域过小而标定困难的问题。标定结束后对于激光点云的滤波、过滤地面、拼接、聚类一系列处理流程，对多个相机图像进行拼接、模型检测，最后，融合模块接收激光雷达点云数据和相机图像的处理结果进行融合，输出目标检测的分类以及位置信息。该流程应用于自动驾驶中，为自动驾驶提供感知模块的必要输出信息，指导后续的预测、规划、控制等具有重要的意义。
Description
技术领域
本发明涉及自动驾驶技术领域，具体涉及一种基于多相机、多激光雷达的联合标定及目标融合检测方法。
背景技术
无人驾驶过程中，环境感知信息主要有：① 周边物体感知，就是可能影响车辆通行性、安全性的静态物体和动态物体的识别，包括车辆，行人以及交通标志的识别，包括红绿灯识别和限速牌识别等；② 行驶路径上的感知，例如车道线以及道路的边缘、道路隔离物以及恶劣路况的识别；对这些环境的感知就需要依赖传感器，激光雷达和相机是较常用的传感器，可以获取周边环境的感知信息。
激光雷达和相机又有各自的优势和弊端。首先，对于激光雷达，是以发射激光束探测目标的位置、速度等特征量的雷达系统。其工作原理是向目标发射探测信号（激光束），然后将接收到的从目标反射回来的信号（目标回波）与发射信号进行比较，作适当处理后，就可获得目标的有关信息，如目标距离、方位、高度、速度、姿态、甚至形状等参数，从而对周边环境物体进行探测、跟踪和识别。但是由于激光雷达的点云数据量受线束数量控制，而线束数量较高的成本会较高，在点云数量不够丰富时语义信息也不足。相机成本较低，天然的具有丰富的语义信息，有着比较成熟的目标检测算法及模型，但是由2D图像计算物体的距离位置等信息不够准确，很大程度上受制于物体的原始尺寸很难精准确定。因此结合激光雷达和相机的优点，分别将检测的结果进行融合，便能得到较好的结果。
相机和激光雷达的结果融合是否准确，还受制于两者的标定。激光雷达之间的标定较为成熟，即通过ndt配准算法完成激光雷达的两两标定，使得将多个激光雷达转换至一个目标雷达的坐标系下。多相机的标定较为复杂，可以通过两两相机之间的共视区域进行标定，但是当两相机的共视区域较小时，此项工作较为困难。而激光雷达同相机的标定也较为容易，因此，可以通过每个相机同目标激光雷达进行两两标定，间接的完成多个相机之间坐标位置的确定。
发明内容
本发明为了克服以上技术的不足，提供了一种解决了多相机共视区域过小而标定困难的问题的基于多相机、多激光雷达的联合标定及目标融合检测方法。
本发明克服其技术问题所采用的技术方案是：
一种基于多相机、多激光雷达的联合标定及目标融合检测方法，包括如下步骤：
a)在自动驾驶车辆前端顶部、下部的左右两端分别放置3颗激光雷达，在车辆前后左右分别放置4颗摄像头；
b)对3颗激光雷达进行标定；
c)对3颗激光雷达进行体素滤波；
d)对激光雷达的点云数据进行地面滤波，滤除干扰物体聚类的地面波；
e)将3颗激光雷达基于标定的坐标转换进行点云数据融合拼接；
f)对融合拼接后的点云数据进行欧几里得聚类，输出聚类物体的位置信息；
g)使用4个摄像头分别与顶部的激光雷达进行两两标定，得到摄像头和激光雷达的位置坐标转换关系，计算得到4个摄像头之间的位置关系；
h)采集4个摄像头的数据并进行拼接融合，计算得到融合的拼接输出与顶部的激光雷达坐标系之间的坐标位置关系；
i)将拼接融合的图片输入到目标检测模型中，得到图片的目标检测分类及位置坐标；
j)将激光雷达输出的聚类输出聚类物体的位置信息与摄像头输出的目标检测分类信息及激光雷达与摄像头的坐标转换关系一起输入到融合节点，进行聚类和目标检测分类的两两对应，输出目标检测分类信息、距离信息。
优选的，步骤a)中激光雷达为16线激光雷达。
进一步的，步骤b)中以顶部的激光雷达为基准坐标参考系，采用ndt算法使下部的左右两端的2颗激光雷达与顶部的激光雷达分别进行两两配准。
进一步的，步骤h)中采用硬件同步取样的方式同时采集摄像头的数据。
进一步的，步骤i)中采用yolox目标检测模型。
本发明的有益效果是：提供了多激光雷达的标定办法，多相机同激光雷达的标定办法，解决了多相机共视区域过小而标定困难的问题。标定结束后对于激光点云的滤波、过滤地面、拼接、聚类一系列处理流程，对多个相机图像进行拼接、模型检测，最后，融合模块接收激光雷达点云数据和相机图像的处理结果进行融合，输出目标检测的分类以及位置信息。该流程应用于自动驾驶中，为自动驾驶提供感知模块的必要输出信息，指导后续的预测、规划、控制等具有重要的意义。
附图说明
图1为本发明的方法流程图。
具体实施方式
下面结合附图1对本发明做进一步说明。
一种基于多相机、多激光雷达的联合标定及目标融合检测方法，包括如下步骤：
a)在自动驾驶车辆前端顶部、下部的左右两端分别放置3颗激光雷达，在车辆前后左右分别放置4颗摄像头；
b)对3颗激光雷达进行标定；
c)对3颗激光雷达进行体素滤波；
d)对激光雷达的点云数据进行地面滤波，滤除干扰物体聚类的地面波；
e)将3颗激光雷达基于标定的坐标转换进行点云数据融合拼接；
f)对融合拼接后的点云数据进行欧几里得聚类，输出聚类物体的位置信息；
g)使用4个摄像头分别与顶部的激光雷达进行两两标定，得到摄像头和激光雷达的位置坐标转换关系，计算得到4个摄像头之间的位置关系；
h)采集4个摄像头的数据并进行拼接融合，计算得到融合的拼接输出与顶部的激光雷达坐标系之间的坐标位置关系；
i)将拼接融合的图片输入到目标检测模型中，得到图片的目标检测分类及位置坐标；
j)将激光雷达输出的聚类输出聚类物体的位置信息与摄像头输出的目标检测分类信息及激光雷达与摄像头的坐标转换关系一起输入到融合节点，进行聚类和目标检测分类的两两对应，输出目标检测分类信息、距离信息。
提供了多激光雷达的标定办法，多相机同激光雷达的标定办法，解决了多相机共视区域过小而标定困难的问题。标定结束后对于激光点云的滤波、过滤地面、拼接、聚类一系列处理流程，对多个相机图像进行拼接、模型检测，最后，融合模块接收激光雷达点云数据和相机图像的处理结果进行融合，输出目标检测的分类以及位置信息。该流程应用于自动驾驶中，为自动驾驶提供感知模块的必要输出信息，指导后续的预测、规划、控制等具有重要的意义。
实施例1：
步骤a)中激光雷达为16线激光雷达。
实施例2：
步骤b)中以顶部的激光雷达为基准坐标参考系，采用ndt算法使下部的左右两端的2颗激光雷达与顶部的激光雷达分别进行两两配准。
实施例3：
步骤h)中采用硬件同步取样的方式同时采集摄像头的数据。
实施例4：
步骤i)中采用yolox目标检测模型。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于多相机、多激光雷达的联合标定及目标融合检测方法，其特征在于，包括如下步骤：
a)在自动驾驶车辆前端顶部、下部的左右两端分别放置3颗激光雷达，在车辆前后左右分别放置4颗摄像头；
b)对3颗激光雷达进行标定；
c)对3颗激光雷达进行体素滤波；
d)对激光雷达的点云数据进行地面滤波，滤除干扰物体聚类的地面波；
e)将3颗激光雷达基于标定的坐标转换进行点云数据融合拼接；
f)对融合拼接后的点云数据进行欧几里得聚类，输出聚类物体的位置信息；
g)使用4个摄像头分别与顶部的激光雷达进行两两标定，得到摄像头和激光雷达的位置坐标转换关系，计算得到4个摄像头之间的位置关系；
h)采集4个摄像头的数据并进行拼接融合，计算得到融合的拼接输出与顶部的激光雷达坐标系之间的坐标位置关系；
i)将拼接融合的图片输入到目标检测模型中，得到图片的目标检测分类及位置坐标；
j)将激光雷达输出的聚类输出聚类物体的位置信息与摄像头输出的目标检测分类信息及激光雷达与摄像头的坐标转换关系一起输入到融合节点，进行聚类和目标检测分类的两两对应，输出目标检测分类信息、距离信息。
2.根据权利要求1所述的基于多相机、多激光雷达的联合标定及目标融合检测方法，其特征在于：步骤a)中激光雷达为16线激光雷达。
3.根据权利要求1所述的基于多相机、多激光雷达的联合标定及目标融合检测方法，其特征在于：步骤b)中以顶部的激光雷达为基准坐标参考系，采用ndt算法使下部的左右两端的2颗激光雷达与顶部的激光雷达分别进行两两配准。
4.根据权利要求1所述的基于多相机、多激光雷达的联合标定及目标融合检测方法，其特征在于：步骤h)中采用硬件同步取样的方式同时采集摄像头的数据。
5.根据权利要求1所述的基于多相机、多激光雷达的联合标定及目标融合检测方法，其特征在于：步骤i)中采用yolox目标检测模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111291161.7A CN113988197A (zh) | 2021-11-03 | 2021-11-03 | 基于多相机、多激光雷达的联合标定及目标融合检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111291161.7A CN113988197A (zh) | 2021-11-03 | 2021-11-03 | 基于多相机、多激光雷达的联合标定及目标融合检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113988197A true CN113988197A (zh) | 2022-01-28 |
Family
ID=79745971
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111291161.7A Pending CN113988197A (zh) | 2021-11-03 | 2021-11-03 | 基于多相机、多激光雷达的联合标定及目标融合检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113988197A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114529836A (zh) * | 2022-02-23 | 2022-05-24 | 安徽大学 | 一种sar图像目标检测方法 |
| CN114578328A (zh) * | 2022-02-24 | 2022-06-03 | 苏州驾驶宝智能科技有限公司 | 一种多激光雷达和多相机传感器空间位置自动标定方法 |
-
2021
- 2021-11-03 CN CN202111291161.7A patent/CN113988197A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114529836A (zh) * | 2022-02-23 | 2022-05-24 | 安徽大学 | 一种sar图像目标检测方法 |
| CN114529836B (zh) * | 2022-02-23 | 2022-11-08 | 安徽大学 | 一种sar图像目标检测方法 |
| CN114578328A (zh) * | 2022-02-24 | 2022-06-03 | 苏州驾驶宝智能科技有限公司 | 一种多激光雷达和多相机传感器空间位置自动标定方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112180373B (zh) | 一种多传感器融合的智能泊车系统和方法 | |
| CN109583415B (zh) | 一种基于激光雷达与摄像机融合的交通灯检测与识别方法 | |
| Krämmer et al. | Providentia--A Large-Scale Sensor System for the Assistance of Autonomous Vehicles and Its Evaluation | |
| CN110531376B (zh) | 用于港口无人驾驶车辆的障碍物检测和跟踪方法 | |
| CN111583337A (zh) | 一种基于多传感器融合的全方位障碍物检测方法 | |
| CN111352112A (zh) | 基于视觉、激光雷达和毫米波雷达的目标检测方法 | |
| WO2020185489A1 (en) | Sensor validation using semantic segmentation information | |
| KR102195164B1 (ko) | 다중 라이다를 이용한 다중 물체 인식 시스템 및 방법 | |
| CN108764187A (zh) | 提取车道线的方法、装置、设备、存储介质以及采集实体 | |
| CN110738121A (zh) | 一种前方车辆检测方法及检测系统 | |
| CN110197173B (zh) | 一种基于双目视觉的路沿检测方法 | |
| CN113936198B (zh) | 低线束激光雷达与相机融合方法、存储介质及装置 | |
| KR102264152B1 (ko) | 첨단 센서 데이터와 카메라 영상을 gtl 하는 방법 및 시스템 | |
| Shunsuke et al. | GNSS/INS/on-board camera integration for vehicle self-localization in urban canyon | |
| CN108594244B (zh) | 基于立体视觉和激光雷达的障碍物识别迁移学习方法 | |
| JP2022511990A (ja) | 情報補完方法、車線認識方法、インテリジェント走行方法及び関連製品 | |
| CN115032651A (zh) | 一种基于激光雷达与机器视觉融合的目标检测方法 | |
| CN113988197A (zh) | 基于多相机、多激光雷达的联合标定及目标融合检测方法 | |
| CN110750153A (zh) | 一种无人驾驶车辆的动态虚拟化装置 | |
| CN115876198A (zh) | 基于数据融合的目标检测及预警方法、设备、系统和介质 | |
| CN114463303A (zh) | 一种基于双目相机和激光雷达融合的道路目标检测方法 | |
| CN110136186B (zh) | 一种用于移动机器人目标测距的检测目标匹配方法 | |
| CN112507891B (zh) | 自动化识别高速路口并构建路口向量的方法及装置 | |
| CN114428259A (zh) | 一种基于地图车采集的地库激光点云中车辆自动提取方法 | |
| CN113884090A (zh) | 智能平台车环境感知系统及其数据融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |