CN112698306A - 一种多激光雷达结合相机解决地图构建盲区的系统和方法 - Google Patents

一种多激光雷达结合相机解决地图构建盲区的系统和方法 Download PDF

Info

Publication number
CN112698306A
CN112698306A CN202011494848.6A CN202011494848A CN112698306A CN 112698306 A CN112698306 A CN 112698306A CN 202011494848 A CN202011494848 A CN 202011494848A CN 112698306 A CN112698306 A CN 112698306A
Authority
CN
China
Prior art keywords
module
map
point cloud
information
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011494848.6A
Other languages
English (en)
Inventor
周柯
王成光
杨根科
褚健
王宏武
蔡昌格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Institute Of Artificial Intelligence Shanghai Jiaotong University
Original Assignee
Ningbo Institute Of Artificial Intelligence Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Institute Of Artificial Intelligence Shanghai Jiaotong University filed Critical Ningbo Institute Of Artificial Intelligence Shanghai Jiaotong University
Priority to CN202011494848.6A priority Critical patent/CN112698306A/zh
Publication of CN112698306A publication Critical patent/CN112698306A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种多激光雷达结合相机解决地图构建盲区的系统和方法,涉及激光雷达技术领域,包括:中央处理模块;激光雷达模块,所述激光雷达模块将获得的第一环境数据信息发送给所述中央处理模块;双目摄像机模块,所述双目摄像机模块将获得的第二环境数据信息发送给所述中央处理模块;所述中央处理模块通过将所述第一环境数据信息和所述第二环境数据信息进行融合,构建完整地图并输出。本发明采用多雷达地图信息融合的系统和方法,利用点云拼接技术将多个激光雷达的地图信息进行整合,解决单个雷达采集地图产生的盲区问题,并提出融合双目相机和激光雷达的方法,对激光雷达无法检测到的建筑进行补充建图,实现点云和图像信息的融合。

Description

一种多激光雷达结合相机解决地图构建盲区的系统和方法
技术领域
本发明涉及激光雷达技术领域,尤其涉及一种多激光雷达结合相机解决地图构建盲区的系统和方法。
背景技术
近年来,随着科技的进步和社会的发展,无人自主地图构建技术逐渐兴起,并广泛应用于自主导航领域。无人驾驶汽车搭载激光雷达,为实时快速询迹建图提供了良好的技术基础。利用激光雷达,可精确测量雷达周边环境信息,例如环境建筑物等与汽车的距离和角度,其输出的数据信息可描述三维空间环境,并且能够可视化地显示出来,对于地图构建来说是非常重要的技术。激光雷达不会因为光照强度以及动态环境的变化而影响设备的正常高效运行,但在实际的工作情况下,仅使用单个激光雷达,由于雷达检测会有角度和范围的限制,可能会导致部分视野的丢失,从而产生视野盲区,造成地图构建产生误差。激光雷达采集数据稀疏、精度高,能够获得目标相当精确的三维坐标信息,但由于激光雷达利用激光反射回来的数据来标定环境信息,分辨率低,对于密度高的如墙面等建筑物检测效果较好。当遇到网状或玻璃状建筑物时,无法获得反馈信息或信息过于稀疏,会造成采样不准确。而相机深度数据密集、精度低、分辨率高,可以使用深度学习算法完成对目标的检测,但是缺乏深度、坐标等信息,正好可以作为激光雷达数据的补充,构建区域内的场景地图。
专利申请(申请号为CN201910746868.9)利用两个毫米波雷达对环境进行探测,并将两个毫米波雷达传感器的探测信息融合,可以实现对周围环境及地形的全方位探测,更好地实现对移动平台的运动辅助,但毫米波雷达价格昂贵,对于地图构建来说成本太高,且遇到稀疏材质建筑物时,依然会产生检测盲区。
因此,本领域的技术人员致力于开发一种多激光雷达结合双目相机解决地图构建盲区的系统和方法,结合激光雷达和相机的优点,从而克服单纯使用激光雷达的现有技术中存在的缺陷。
发明内容
有鉴于现有技术的上述缺陷,本发明所要解决的技术问题是在遇到网状或玻璃状建筑物等稀疏材质建筑物时,如何完整检测车体周围地面环境状况,克服观测角度受限和观测结果信息稀疏等缺陷,提高地图构建的精准度和真实度。
为实现上述目的,本发明提供了一种多激光雷达结合相机解决地图构建盲区的系统,包括:
中央处理模块;
激光雷达模块,所述激光雷达模块将获得的第一环境数据信息发送给所述中央处理模块;
双目摄像机模块,所述双目摄像机模块将获得的第二环境数据信息发送给所述中央处理模块;
所述中央处理模块通过将所述第一环境数据信息和所述第二环境数据信息进行融合,构建完整地图并输出。
进一步地,所述激光雷达模块包括:
若干安装在巡检装置上不同方位的激光雷达。
进一步地,所述激光雷达有四个,分别设置于所述巡检装置的前后左右四个侧面。
进一步地,所述双目摄像机模块包括:
设置于所述激光雷达旁的若干双目相机,与所述激光雷达一对一配对设置。
进一步地,所述双目相机包括:
两个单目相机,所述两个单目相机之间的距离为预先设定。
进一步地,所述中央处理模块包括:
激光SLAM模块,所述激光SLAM模块通过处理所述第一环境数据信息获得点云数据;
视觉SLAM模块,所述视觉SLAM模块通过处理所述第二环境数据信息获得图像数据;
信息融合模块,所述信息融合模块分别与所述激光SLAM模块和所述视觉SLAM模块连接,对所述点云数据进行点云拼接、对所述图像数据进行图像拼接,以及对所述点云数据和所述图像数据进行点云与图像的联合扫描匹配,获得地图信息;
地图构建模块,所述地图构建模块连接所述信息融合模块,根据所述地图信息构建所述完整地图并输出。
进一步地,所述激光SLAM模块包括:
前端扫描匹配模块,所述前端扫描匹配模块连接所述激光雷达模块,通过对所述第一环境数据信息进行点云分割构建初始地图;
后端处理模块,所述后端处理模块连接所述前端扫描匹配模块,通过使用滤波和非线性的优化算法解决噪声问题,构建点云地图并保存特征点云的匹配序列;
回环检测模块,所述回环检测模块连接所述后端处理模块,解决位置估计随时间漂移的问题,输出优化的所述点云地图与所述特征点云的匹配序列,即所述点云数据。
本发明还提供了一种多激光雷达结合相机解决地图构建盲区的方法,所述方法包括以下步骤:
步骤1、激光雷达模块和双目相机模块采集数据,将所述激光雷达模块采集的第一环境数据信息和所述双目摄像机模块采集的第二环境数据信息发送给中央处理模块;
步骤2、所述中央处理模块分别将所述第一环境数据信息送至激光SLAM模块进行处理获得点云数据,将所述第二环境数据信息送到视觉SLAM模块进行处理获得图像数据,并将所述点云数据和所述图像数据输出给信息融合模块;
步骤3、所述信息融合模块对所述点云数据进行点云拼接、对所述图像数据进行图像拼接,以及对所述点云数据和所述图像数据进行点云与图像的联合扫描匹配,获得地图信息并输出给地图构建模块;
步骤4、所述地图构建模块根据所述地图信息构建所述完整地图并输出。
进一步地,在开始所述步骤1之前,将所述激光雷达模块和所述双目相机模块安装在巡检装置的前后左右四个方位,并选取中轴位置。
进一步地,所述步骤2中的将所述第一环境数据信息送至所述激光SLAM模块进行处理获得所述点云数据具体包括:
步骤2.1、利用前端扫描匹配模块对所述第一环境数据信息进行点云分割构建初始地图;
步骤2.2、利用后端处理模块使用滤波和非线性的优化算法解决噪声问题,构建点云地图并保存特征点云的匹配序列;
步骤2.3、利用回环检测模块解决位置估计随时间漂移的问题,输出优化的所述点云地图与所述特征点云的匹配序列,即所述点云数据。
本发明提供的一种多激光雷达结合相机解决地图构建盲区的系统和方法至少具有以下技术效果:
1、传统的单个激光雷达建图的方法,容易产生视觉盲区,对于地图构建有很大的误差,而本发明采用多雷达地图信息融合的系统和方法,利用点云拼接技术将多个激光雷达的地图信息进行整合,解决单个雷达采集地图产生的盲区问题;
2、激光雷达深度数据稀疏、精度高,能够获得目标相当精确的三维坐标信息,但是分辨率低,对于密度高的建筑物如墙面的检测效果较好,但是当遇到网状或玻璃状建筑物时,却无法获得反馈信息或信息过于稀疏,造成采样不准确,而相机深度数据密集、精度低,分辨率高,可以使用深度学习算法完成对目标的检测,但是缺乏深度、坐标等信息,正好可以作为激光雷达数据的补充,构建区域内的场景地图。本系统提出融合双目相机和激光雷达的方法,对环境信息进行检测并构建地图,利用激光SLAM构建初始地图,在图像层面使用深度学习方法将目标检测识别,然后将目标从二维图像映射到三维电云,从而画出目标在三维空间的位置以及边界,得到完整的地图信息。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明,以充分地了解本发明的目的、特征和效果。
附图说明
图1是本发明的一个较佳实施例的安装位置示意图;
图2是图1所示实施例的地图构建系统结构流程图。
具体实施方式
以下参考说明书附图介绍本发明的多个优选实施例,使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现,本发明的保护范围并非仅限于文中提到的实施例。
激光雷达采集数据稀疏、精度高,能够获得目标相当精确的三维坐标信息,但由于激光雷达利用激光反射回来的数据来标定环境信息,分辨率低,对于密度高的如墙面等建筑物检测效果较好。当遇到网状或玻璃状建筑物时,无法获得反馈信息或信息过于稀疏,会造成采样不准确。而相机深度数据密集、精度低、分辨率高,可以使用深度学习算法完成对目标的检测,但是缺乏深度、坐标等信息,正好可以作为激光雷达数据的补充,构建区域内的场景地图。
本发明实施例提出一种融合双目相机和激光雷达各自优点的系统和方法,利用激光SLAM构建初始地图,并将多个雷达信息融合,解决盲区的问题,再利用搭建的双目相机获得更多的环境图像信息,利用视觉SLAM将相机的图像信息整合成地图信息,然后将二维图像映射到三维电云,画出目标在三维空间的位置以及边界,得到完整的地图信息,形成对单个激光雷达地图信息的高度补充。
如图2所示,为本发明提供了一种多激光雷达结合相机解决地图构建盲区的系统的结构流程图。
该系统包括:
中央处理模块;
激光雷达模块,激光雷达模块将获得的第一环境数据信息发送给中央处理模块;
双目摄像机模块,双目摄像机模块将获得的第二环境数据信息发送给中央处理模块;
中央处理模块通过将第一环境数据信息和第二环境数据信息进行融合,构建完整地图并输出。
其中,激光雷达模块包括:若干安装在巡检装置上不同方位的激光雷达。
特别地,如图1所示,在激光雷达模块中,巡检装置为一辆巡检车,位于中间位置,激光雷达有四个,分别设置于巡检车的前后左右四个侧面。双目摄像机模块包括:设置于激光雷达旁的若干双目相机,与激光雷达一对一配对设置。
激光雷达模块是整个系统获取外部环境信息的主要传感模块,该系统利用四个激光雷达对周边环境信息进行检测。每个激光雷达的内部对激光信号进行简单处理,然后发送数据到中央处理模块,利用中央处理模块对多个雷达信息进行融合,获得初始地图。激光雷达是以发射激光束探测目标的位置、速度等特征量的雷达系统,利用激光束作为探测信号,在向目标发射信号之后,等待接收到从目标反射回来的信号,并且与发射信号进行比较并作适当处理后就可获得目标的有关信息。激光雷达内部结构主要包括激光发射机、光学接收机、转台和信息处理系统等。激光雷达传感器模块包括激光雷达、惯性测量单元(IMU)、里程计(Odometry)。其中,惯性测量单元计算角度信息,里程计计算位置信息,配合激光雷达进行地图构建过程。
其中,双目摄像机模块获得地图信息之后也传回中央处理模块,与雷达信息进行融合,得到完整的地图信息。双目摄像机模块包括四个双目相机,在四个激光雷达的位置旁边,各放置一个双目相机。双目相机由两个单目相机组成,且两个单目相机之间的距离为已知,通过这个基线来估计每个像素的空间位置。双目相机的数据由左右两个单目相机获得数据进行比较得到,通过左右相机获得数据的差异,能够判断场景中物体与相机之间的距离。
其中,中央处理模块对激光雷达传感器和双目相机返回的信号进行提取、分析和融合,最终构建出地图。中央处理模块包括:激光SLAM模块、视觉SLAM模块、信息融合模块和地图构建模块。
其中,激光SLAM模块,激光SLAM模块通过处理第一环境数据信息获得点云数据;视觉SLAM模块,视觉SLAM模块通过处理第二环境数据信息获得图像数据;信息融合模块,信息融合模块分别与激光SLAM模块和视觉SLAM模块连接,对点云数据进行点云拼接、对图像数据进行图像拼接,以及对点云数据和图像数据进行点云与图像的联合扫描匹配,获得地图信息;地图构建模块,地图构建模块连接信息融合模块,根据地图信息构建完整地图并输出。
其中,激光SLAM模块用于处理激光雷达传感器接收的信号,即第一环境数据信息,并构建基本环境地图。该模块包括前端扫描匹配模块、后端处理模块、回环检测模块三个关键模块。
其中,前端扫描匹配模块的作用是在已知前一帧位姿的情况下,利用相邻帧之间的关系估计当前帧的位姿,能给出短时间内的位姿和地图。在前端需要处理的数据包括两个部分:激光雷达传感器反映的当前时刻的局部地图信息和里程计运动传感器反映的相邻时刻的运动关系信息。激光雷达在高速旋转的过程中,不断的采集周围的障碍物的距离信息,组合成空间点信息,在前端预处理过程中,局部地图的信息就来自于此。接着,将局部环境的点数据匹配到已经建立的地图上,其中最关键的一步是保证匹配信息的准确。要实现这一步可以利用相邻时刻的点云数据之间存在的重合部分,在匹配过程中寻找局部地图与已经建立的地图的相似之处,从而确定新的局部地图的拼接点。
其中,后端处理模块是用来处理长时间增量式扫描匹配后优化里程计及地图信息。由于传感器传递信息的过程中不可避免的会带有噪声,所以需要后端处理就显得格外重要。后端处理模块从巡检车的自身轨迹和已经建立的地图两个状态出发,使用滤波和非线性的优化算法来解决噪声问题。获得分割后的点云以及每一帧点云前后的6自由度姿态估计,在场景地图构建模块将新增的点云图与附近点云地图进行细粒度配准,配准过程采用图优化的方式优化构建点云地图,并保存特征点云的匹配序列。
其中,回环检测模块主要解决位置估计随时间漂移的问题,也就是巡检车扫描完整个地图之后无法回到最初起点的问题。解决的主要方法是,先识别出起点的位置,然后将地图建立的位置与之比较并且矫正过去。基于这种思路,回环检测同时需要地图和定位的信息。利用地图信息的图形相似性,让车子识别出最初的场景,然后与定位信息比较并算出偏差程度,这样可以充分的消除误差。通过检测闭环而减少全局地图的漂移现象,以便生成全局一致性地图。后续新增的点云经过语义ICP的闭环检测算法,可消除前段时间内的累计漂移误差,输出优化的点云地图与点云的匹配序列即路径到信息融合模块。
其中,视觉SLAM模块用来处理双目相机返回的数据信息,即第二环境数据信息,对激光雷达的数据进行补充。该模块通过对特征点的深度进行估计,判断追踪线程传来的帧是否为关键帧,如果为关键帧就提取新的特征点,把这些点作为地图的种子点,放入优化线程。否则,不为关键帧的时候,就用此帧的信息更新地图中种子点的深度估计值,将相机三维坐标系下的点投影到成像平面。
其中,信息融合模块分为三部分,分别是对多激光雷达数据进行点云拼接、对多双目相机数据进行图像拼接和对激光雷达及双目相机的数据信息进行点云与图像的匹配。多个激光雷达的数据统一起来才能获得完整的地图,避免出现盲区,此模块采用的是点云拼接的方法。首先求解多组语义点云图与路径间的变换关系,对语义点云地图进行配准,获得点云地图之间的变换关系,构建更完整的地图。然后投影到3D点云里面,获取初始地图。同理,在视觉SLAM模块处理的到各个双目相机的基本信息之后,通过图像边缘的像素点信息进行匹配,对于边缘噪声点通过滤波去除,获得平滑的地图信息,对激光雷达的数据进行补充。联合扫描匹配的作用就是建立点云和图像之间的对应关系,采用多线程的方式,分别接收来自地图构建模块的多组语义点云地图与双目相机的图像特征点云路径,整合多个激光雷达和多个双目相机的信息获得完整的地图信息。
其中,地图构建模块负责生成和维护全局地图。要得到全方位的地图信息,中央处理模块要调度多种传感器,在系统中,关键传感器有激光雷达、IMU、里程计和双目相机,关键处理算法有由前端预处理、后端处理和回环检测形成的有机框架,控制系统就要对传感器进行综合实时处理。由于操作过程会产生误差,所以地图的融合并不能使简单的地图拼接,而应该是扫描建图过程中,前端、后端和回环部分不断的配合,一步一步的将地图精准的融合起来,最终得到完全的地图。
本发明还提供了一种多激光雷达结合相机解决地图构建盲区的方法,具体如下:
首先在巡检车的前后左右四个侧边的中轴线位置,分别安装激光雷达模块和双目相机模块,以获取最大的探测视角。然后通过数据传输线,将八个传感器与车载中央处理器连接,利用计算机技术将来自多传感器或多源的信息和数据,在一定的准则下加以自动分析和综合,以完成所需要的决策和估计而进行的信息处理。巡检车进入工作环境后,将激光雷达和双目相机启动,对环境信息进行数据采集。通过数据线将初始数据传回中央处理器,进行分析匹配。中央处理模块,利用激光SLAM技术,获得点云地图信息,并利用点云拼接技术将多个雷达的地图融合起来。同时,利用视觉SLAM技术,将双目相机获得的环境信息进行处理,获得图像数据。最后通过信息融合模块,将激光雷达的点云数据与双目相机的图像信息匹配在一起,得到完整的地图信息。
本发明还提供的一种多激光雷达结合相机解决地图构建盲区的方法具体包括以下步骤:
步骤1、在巡检车的前后左右四个方位,选取中轴位置,也就是检测视角最大的位置,安装激光雷达模块和双目相机模块;
步骤2、巡检车进入需要采集地图信息的环境中后,给各个传感器模块上电,激光雷达和双目摄像机组进行工作,匀速的去采集数据;
步骤3、中央处理模块接收通过数据线传输来的激光雷达和双目相机模块的数据信息,对这些信息进行分类处理和融合。同时分别将雷达信息送至激光SLAM模块进行处理,将双目相机信息送到视觉SLAM模块进行处理;
步骤4、激光SLAM模块接收到雷达的信息之后,首先利用前端扫描匹配模块,对激光信息进行点云分割,接着将激光点云信息发布到点云匹配模块与原有地图进行拼接匹配。结合里程计信息,在已知前一帧位姿的情况下,利用相邻帧之间的关系估计当前帧的位姿,能给出短时间内的位姿和地图;
步骤5、前端匹配模块构建出基本的地图信息之后,利用后端处理模块对地图信息滤波解决噪声问题。后端处理从机器人的自身轨迹和已经建立的地图两个状态出发,使用滤波和非线性的优化算法来解决噪声问题。获得分割后的点云以及每一帧点云前后的6自由度姿态估计,在场景地图构建模块将新增的点云图与附近点云地图进行细粒度配准,配准过程采用图优化的方式优化构建点云地图,并保存特征点云的匹配序列;
步骤6、将步骤5的数据接着传输到回环检测模块,解决位置估计随时间漂移的问题,通过检测闭环而减少全局地图的漂移现象,以便生成全局一致性地图。后续新增的点云经过语义ICP的闭环检测算法,可消除前段时间内的累计漂移误差,输出优化的点云地图与点云的匹配序列即路径到信息融合模块;
步骤7、在步骤4-步骤6进行激光雷达信息处理的同时,启动视觉SLAM模块,对双目相机返回的数据信息进行处理。该模块对相机反馈的图像信息中的特征点的深度进行估计,判断追踪线程传来的帧是否为关键帧,如果为关键帧就提取新的特征点,把这些点作为地图的种子点,放入优化线程。否则,不为关键帧的时候,就用此帧的信息更新地图中种子点的深度估计值,将相机三维坐标系下的点投影到成像平面;
步骤8、将每个传感器的信息都发送至信息融合模块,分别对多激光雷达数据进行点云拼接、对多双目相机数据进行图像拼接和对激光雷达及双目相机的数据信息进行点云与图像的匹配。多个激光雷达的数据融合采用的是点云拼接的方法。首先求解多组语义点云图与路径间的变换关系,对语义点云地图进行配准,获得点云地图之间的变换关系,在该变换关系上采取优化算法对特征点云的路径进行拟合,将多组雷达之间的标定结果输出到路径优化模块,构建更完整的地图。然后投影到3D点云里面,获取初始地图。同理,在视觉SLAM模块处理的到各个双目相机的基本信息之后,通过图像边缘的像素点信息进行匹配,对于边缘噪声点通过滤波去除,获得平滑的地图信息,对激光雷达的数据进行补充。最后通过联合扫描匹配建立点云的和图像之间的对应关系,采用多线程的方式,分别接收来自地图构建模块的多组语义点云地图与双目相机的图像特征点云路径,整合多个激光雷达和多个双目相机的信息获得完整的地图信息,输出环境地图信息给地图构建模块;
步骤9、地图构建模块根据全方位的地图信息生成和维护完整地图并输出。
本系统提出融合双目相机和激光雷达的方法,对环境信息进行检测并构建地图,利用激光SLAM构建初始地图,在图像层面使用深度学习方法将目标检测识别,然后将目标从二维图像映射到三维电云,从而画出目标在三维空间的位置以及边界,得到完整的地图信息。
以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案,皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种多激光雷达结合相机解决地图构建盲区的系统,其特征在于,包括:
中央处理模块;
激光雷达模块,所述激光雷达模块将获得的第一环境数据信息发送给所述中央处理模块;
双目摄像机模块,所述双目摄像机模块将获得的第二环境数据信息发送给所述中央处理模块;
所述中央处理模块通过将所述第一环境数据信息和所述第二环境数据信息进行融合,构建完整地图并输出。
2.如权利要求1所述的多激光雷达结合相机解决地图构建盲区的系统,其特征在于,所述激光雷达模块包括:
若干安装在巡检装置上不同方位的激光雷达。
3.如权利要求2所述的多激光雷达结合相机解决地图构建盲区的系统,其特征在于,所述激光雷达有四个,分别设置于所述巡检装置的前后左右四个侧面。
4.如权利要求2所述的多激光雷达结合相机解决地图构建盲区的系统,其特征在于,所述双目摄像机模块包括:
设置于所述激光雷达旁的若干双目相机,与所述激光雷达一对一配对设置。
5.如权利要求4所述的多激光雷达结合相机解决地图构建盲区的系统,其特征在于,所述双目相机包括:
两个单目相机,所述两个单目相机之间的距离为预先设定。
6.如权利要求1所述的多激光雷达结合相机解决地图构建盲区的系统,其特征在于,所述中央处理模块包括:
激光SLAM模块,所述激光SLAM模块通过处理所述第一环境数据信息获得点云数据;
视觉SLAM模块,所述视觉SLAM模块通过处理所述第二环境数据信息获得图像数据;
信息融合模块,所述信息融合模块分别与所述激光SLAM模块和所述视觉SLAM模块连接,对所述点云数据进行点云拼接、对所述图像数据进行图像拼接,以及对所述点云数据和所述图像数据进行点云与图像的联合扫描匹配,获得地图信息;
地图构建模块,所述地图构建模块连接所述信息融合模块,根据所述地图信息构建所述完整地图并输出。
7.如权利要求6所述的多激光雷达结合相机解决地图构建盲区的系统,其特征在于,所述激光SLAM模块包括:
前端扫描匹配模块,所述前端扫描匹配模块连接所述激光雷达模块,通过对所述第一环境数据信息进行点云分割构建初始地图;
后端处理模块,所述后端处理模块连接所述前端扫描匹配模块,通过使用滤波和非线性的优化算法解决噪声问题,构建点云地图并保存特征点云的匹配序列;
回环检测模块,所述回环检测模块连接所述后端处理模块,解决位置估计随时间漂移的问题,输出优化的所述点云地图与所述特征点云的匹配序列,即所述点云数据。
8.一种多激光雷达结合相机解决地图构建盲区的方法,其特征在于,所述方法包括以下步骤:
步骤1、激光雷达模块和双目相机模块采集数据,将所述激光雷达模块采集的第一环境数据信息和所述双目摄像机模块采集的第二环境数据信息发送给中央处理模块;
步骤2、所述中央处理模块分别将所述第一环境数据信息送至激光SLAM模块进行处理获得点云数据,将所述第二环境数据信息送到视觉SLAM模块进行处理获得图像数据,并将所述点云数据和所述图像数据输出给信息融合模块;
步骤3、所述信息融合模块对所述点云数据进行点云拼接、对所述图像数据进行图像拼接,以及对所述点云数据和所述图像数据进行点云与图像的联合扫描匹配,获得地图信息并输出给地图构建模块;
步骤4、所述地图构建模块根据所述地图信息构建所述完整地图并输出。
9.如权利要求8所述的多激光雷达结合相机解决地图构建盲区的方法,其特征在于,在开始所述步骤1之前,将所述激光雷达模块和所述双目相机模块安装在巡检装置的前后左右四个方位,并选取中轴位置。
10.如权利要求8所述的多激光雷达结合相机解决地图构建盲区的方法,其特征在于,所述步骤2中的将所述第一环境数据信息送至所述激光SLAM模块进行处理获得所述点云数据具体包括:
步骤2.1、利用前端扫描匹配模块对所述第一环境数据信息进行点云分割构建初始地图;
步骤2.2、利用后端处理模块使用滤波和非线性的优化算法解决噪声问题,构建点云地图并保存特征点云的匹配序列;
步骤2.3、利用回环检测模块解决位置估计随时间漂移的问题,输出优化的所述点云地图与所述特征点云的匹配序列,即所述点云数据。
CN202011494848.6A 2020-12-17 2020-12-17 一种多激光雷达结合相机解决地图构建盲区的系统和方法 Pending CN112698306A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011494848.6A CN112698306A (zh) 2020-12-17 2020-12-17 一种多激光雷达结合相机解决地图构建盲区的系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011494848.6A CN112698306A (zh) 2020-12-17 2020-12-17 一种多激光雷达结合相机解决地图构建盲区的系统和方法

Publications (1)

Publication Number Publication Date
CN112698306A true CN112698306A (zh) 2021-04-23

Family

ID=75508708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011494848.6A Pending CN112698306A (zh) 2020-12-17 2020-12-17 一种多激光雷达结合相机解决地图构建盲区的系统和方法

Country Status (1)

Country Link
CN (1) CN112698306A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113203409A (zh) * 2021-07-05 2021-08-03 北京航空航天大学 一种复杂室内环境移动机器人导航地图构建方法
CN113219472A (zh) * 2021-04-28 2021-08-06 合肥工业大学 一种测距系统和方法
CN113238554A (zh) * 2021-05-08 2021-08-10 武汉科技大学 一种基于激光与视觉融合slam技术的室内导航方法及系统
CN113776520A (zh) * 2021-09-28 2021-12-10 上海擎朗智能科技有限公司 地图构建、使用方法、装置、机器人和介质
CN113932814A (zh) * 2021-09-30 2022-01-14 杭州电子科技大学 一种基于多模态地图的协同定位方法
CN113985435A (zh) * 2021-10-13 2022-01-28 上海师范大学 一种融合多激光雷达的建图方法及系统
CN114034343A (zh) * 2021-11-11 2022-02-11 珠海惠中智能技术有限公司 一种基于机器人的环境多模信息综合分析系统
CN114418851A (zh) * 2022-01-18 2022-04-29 长沙慧联智能科技有限公司 一种多目3d全景环视系统及拼接方法
CN116027269A (zh) * 2023-03-29 2023-04-28 成都量芯集成科技有限公司 一种平面场景定位方法
WO2023097889A1 (zh) * 2021-12-01 2023-06-08 威刚科技股份有限公司 无人移动载具以及一环境场域中的导引避障方法
CN116778101A (zh) * 2023-06-26 2023-09-19 北京道仪数慧科技有限公司 基于营运载具的地图生成方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110389348A (zh) * 2019-07-30 2019-10-29 四川大学 基于激光雷达与双目相机的定位与导航方法及装置
CN110596683A (zh) * 2019-10-25 2019-12-20 中山大学 一种多组激光雷达外参标定系统及其方法
CN110989620A (zh) * 2019-12-24 2020-04-10 奇瑞汽车股份有限公司 一种基于激光雷达的车路协同系统
CN111337947A (zh) * 2020-05-18 2020-06-26 深圳市智绘科技有限公司 即时建图与定位方法、装置、系统及存储介质
CN111679291A (zh) * 2020-06-17 2020-09-18 四川智动木牛智能科技有限公司 基于三维激光雷达的巡检机器人目标定位配置方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110389348A (zh) * 2019-07-30 2019-10-29 四川大学 基于激光雷达与双目相机的定位与导航方法及装置
CN110596683A (zh) * 2019-10-25 2019-12-20 中山大学 一种多组激光雷达外参标定系统及其方法
CN110989620A (zh) * 2019-12-24 2020-04-10 奇瑞汽车股份有限公司 一种基于激光雷达的车路协同系统
CN111337947A (zh) * 2020-05-18 2020-06-26 深圳市智绘科技有限公司 即时建图与定位方法、装置、系统及存储介质
CN111679291A (zh) * 2020-06-17 2020-09-18 四川智动木牛智能科技有限公司 基于三维激光雷达的巡检机器人目标定位配置方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113219472A (zh) * 2021-04-28 2021-08-06 合肥工业大学 一种测距系统和方法
CN113219472B (zh) * 2021-04-28 2024-05-14 合肥工业大学 一种测距系统和方法
CN113238554A (zh) * 2021-05-08 2021-08-10 武汉科技大学 一种基于激光与视觉融合slam技术的室内导航方法及系统
CN113203409A (zh) * 2021-07-05 2021-08-03 北京航空航天大学 一种复杂室内环境移动机器人导航地图构建方法
CN113776520A (zh) * 2021-09-28 2021-12-10 上海擎朗智能科技有限公司 地图构建、使用方法、装置、机器人和介质
CN113776520B (zh) * 2021-09-28 2024-05-17 上海擎朗智能科技有限公司 地图构建、使用方法、装置、机器人和介质
CN113932814B (zh) * 2021-09-30 2024-04-02 杭州电子科技大学 一种基于多模态地图的协同定位方法
CN113932814A (zh) * 2021-09-30 2022-01-14 杭州电子科技大学 一种基于多模态地图的协同定位方法
CN113985435A (zh) * 2021-10-13 2022-01-28 上海师范大学 一种融合多激光雷达的建图方法及系统
CN114034343A (zh) * 2021-11-11 2022-02-11 珠海惠中智能技术有限公司 一种基于机器人的环境多模信息综合分析系统
WO2023097889A1 (zh) * 2021-12-01 2023-06-08 威刚科技股份有限公司 无人移动载具以及一环境场域中的导引避障方法
CN114418851A (zh) * 2022-01-18 2022-04-29 长沙慧联智能科技有限公司 一种多目3d全景环视系统及拼接方法
CN116027269A (zh) * 2023-03-29 2023-04-28 成都量芯集成科技有限公司 一种平面场景定位方法
CN116778101A (zh) * 2023-06-26 2023-09-19 北京道仪数慧科技有限公司 基于营运载具的地图生成方法及系统
CN116778101B (zh) * 2023-06-26 2024-04-09 北京道仪数慧科技有限公司 基于营运载具的地图生成方法及系统

Similar Documents

Publication Publication Date Title
CN112698306A (zh) 一种多激光雷达结合相机解决地图构建盲区的系统和方法
US11422265B2 (en) Driver visualization and semantic monitoring of a vehicle using LiDAR data
EP3631494B1 (en) Integrated sensor calibration in natural scenes
JP2020525809A (ja) 両眼画像に基づき高解像度地図を更新するためのシステムおよび方法
CN110873570B (zh) 用于位置信息的定源、生成并且更新表示位置的地图的方法和装置
WO2018091651A1 (en) Methods and systems for vehicle environment map generation and updating
Levinson Automatic laser calibration, mapping, and localization for autonomous vehicles
AU2012314067A1 (en) Localising transportable apparatus
CN110873879A (zh) 一种多源异构传感器特征深度融合的装置及方法
US20200341150A1 (en) Systems and methods for constructing a high-definition map based on landmarks
CN214520204U (zh) 一种基于深度相机和激光雷达的港区智能巡检机器人
CN112292582A (zh) 用于生成高清晰度地图的方法和系统
Heng Automatic targetless extrinsic calibration of multiple 3D LiDARs and radars
CN113160327A (zh) 一种点云补全的实现方法和系统
CN114442101A (zh) 基于成像毫米波雷达的车辆导航方法、装置、设备及介质
CN112068152A (zh) 使用3d扫描仪同时进行2d定位和2d地图创建的方法和系统
Liu et al. Semalign: Annotation-free camera-lidar calibration with semantic alignment loss
CN113988197A (zh) 基于多相机、多激光雷达的联合标定及目标融合检测方法
CN115562076B (zh) 用于无人驾驶矿车的仿真系统、方法以及存储介质
US10249056B2 (en) Vehicle position estimation system
Wei Multi-sources fusion based vehicle localization in urban environments under a loosely coupled probabilistic framework
Adams et al. Autonomous navigation: Achievements in complex environments
CN215495425U (zh) 复眼摄像系统及使用复眼摄像系统的车辆
US20230184950A1 (en) Non-Contiguous 3D LIDAR Imaging Of Targets With Complex Motion
Gu et al. Correction of vehicle positioning error using 3D-map-GNSS and vision-based road marking detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination