CN113379910B - 基于slam的移动机器人矿山场景重建方法及系统 - Google Patents
基于slam的移动机器人矿山场景重建方法及系统 Download PDFInfo
- Publication number
- CN113379910B CN113379910B CN202110644536.7A CN202110644536A CN113379910B CN 113379910 B CN113379910 B CN 113379910B CN 202110644536 A CN202110644536 A CN 202110644536A CN 113379910 B CN113379910 B CN 113379910B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- laser
- data
- points
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000000007 visual effect Effects 0.000 claims abstract description 29
- 238000005457 optimization Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 22
- 230000033001 locomotion Effects 0.000 claims abstract description 21
- 238000001914 filtration Methods 0.000 claims abstract description 18
- 238000001514 detection method Methods 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 8
- 239000000428 dust Substances 0.000 claims description 5
- 230000001133 acceleration Effects 0.000 claims description 4
- 241000084490 Esenbeckia delta Species 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本公开提供了一种基于SLAM的移动机器人矿山场景重建方法及系统，获取同步标定过的通过移动机器人测得的激光点云数据和视觉点云数据；对获取的激光点云数据和视觉点云数据进行融合；对融合后的点云数据进行点云运动畸变去除处理和点云滤波处理；结合处理后的点云数据，采用基于图优化的多约束因子图算法，将IMU预积分数据、点云关键帧数据以及GNSS数据加入约束子图，进行回环检测后得到重建后的三维地图；本公开能够有效实现矿山场景下的三维重建，并且最终获得带有颜色的点云地图，提高了矿山场景重建的精度。
Description
技术领域
本公开涉及场景重构技术领域，特别涉及一种基于SLAM的移动机器人矿山场景重建方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术，并不必然构成现有技术。
随着5G时代与无人驾驶时代的到来，同步定位与建图(SimultaneousLocalization and Mapping，SLAM)技术在无人驾驶定位、高精地图采集、AR(AugmentedReality，增强现实)、测绘等领域得到广泛的应用。
发明人发现，在矿山环境下，由于空气灰尘、漂浮颗粒物比较多，导致激光雷达、视觉传感器的数据采集不精准，致使SLAM在矿山场景下应用受到很大的限制；此外，激光雷达只能获得物体的距离信息和光强信息，不能获得物体的颜色信息，生成的三维重建地图不够丰富形象，不能满足人在虚拟场景下远程指挥工程机械，而视觉相机能获得丰富的带颜色的点云，但其测量数据不够精确，因此，单一传感器不能满足矿山环境下SLAM建图的需要。
发明内容
为了解决现有技术的不足，本公开提供了一种基于SLAM的移动机器人矿山场景重建方法及系统，能够有效实现矿山场景下的三维重建，并且最终获得带有颜色的点云地图，提高了矿山场景重建的精度。
为了实现上述目的，本公开采用如下技术方案：
本公开第一方面提供了一种基于SLAM的移动机器人矿山场景重建方法。
一种基于SLAM的移动机器人矿山场景重建方法，包括以下过程：
获取同步标定过的通过移动机器人测得的激光点云数据和视觉点云数据；
对获取的激光点云数据和视觉点云数据进行融合；
对融合后的点云数据进行点云运动畸变去除处理和点云滤波处理；
结合处理后的点云数据，采用基于图优化的多约束因子图算法，将IMU(InertialMeasurement Unit，惯性测量单元)预积分数据、点云关键帧数据以及GNSS(GlobalNavigation Satellite System，全球导航卫星系统)数据加入约束子图，进行回环检测后得到重建后的三维地图。
进一步的，利用当前激光帧的特征信息与地图的特征信息进行迭代优化，将IMU预积分数据、点云关键帧数据以及GNSS数据作为图优化算法的因子，添加至因子图中，并执行因子图优化，更新所有关键帧位姿，最终得到优化后的位姿以及重建后的三维地图
更进一步的，在历史关键帧中寻找关键帧，对当前帧与关键帧附近的几帧点云进行匹配，得到转换位姿，构建闭环因子图数据，加入因子图进行优化。
更进一步的，在历史关键帧之中，以距离小于预设值且时间间隔大于预设值的帧作为关键帧。
进一步的，对获取的激光点云数据和视觉点云数据进行融合，包括：
利用时间戳插值算法，获得匹配的激光点云数据和视觉点云数据，利用小孔成像原理，将激光点云投影至相机平面，并依据XYZ坐标将投影至相机平面的激光点与视觉点云进行匹配，获得融合后的点云PointCloud:XYZRIRGB；
其中，X为激光点云的x轴坐标，Y为激光点云的y轴坐标，Z为激光点云的z轴坐标，I为激光点云的光强，R为每个激光线束的线束序号，RGB为视觉点云的颜色信息。
进一步的，点云运动畸变去除处理，包括：
假设T时刻为一帧激光开始扫描时刻，T+ΔT时刻为该帧激光扫描结束时刻，对IMU三轴的角速度数据和加速度数据进行预积分，得到ΔT时间内机器人相对运动，然后将ΔT时间内的所有激光点转换至第一个激光点，实现激光点云运动畸变去除。
进一步的，点云滤波处理，包括：
将每帧激光点云投影为深度图像，多线激光雷达的扫描线束为r线，每帧每条线扫描得到n个激光点，深度图像为r*n的矩阵，每个矩阵包含点云的坐标信息和光强信息；
利用深度图像获得相邻点云之间的位置关系，并利用kd-tree搜索算法，对点云紧邻点进行搜索，依据点云之间的几何关系，对地面点及噪点进行滤波处理。
本公开第二方面提供了一种基于SLAM的移动机器人矿山场景重建系统。
一种基于SLAM的移动机器人矿山场景重建系统，包括：
数据获取模块，被配置为：获取同步标定过的通过移动机器人测得的激光点云数据和视觉点云数据；
点云融合模块，被配置为：对获取的激光点云数据和视觉点云数据进行融合；
点云数据处理模块，被配置为：对融合后的点云数据进行点云运动畸变去除处理和点云滤波处理；
三维地图重建模块，被配置为：结合处理后的点云数据，采用基于图优化的多约束因子图算法，将IMU预积分数据、点云关键帧数据以及GNSS数据加入约束子图，进行回环检测后得到重建后的三维地图。
本公开第三方面提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本公开第一方面所述的基于SLAM的移动机器人矿山场景重建方法中的步骤。
本公开第四方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开第一方面所述的基于SLAM的移动机器人矿山场景重建方法中的步骤。
与现有技术相比，本公开的有益效果是：
1、本公开所述的方法、系统、介质或电子设备，能够有效实现矿山场景下的三维重建，并且最终获得带有颜色的点云地图，提高了矿山场景重建的精度。
2、本公开所述的方法、系统、介质或电子设备，利用激光雷达、IMU、北斗定位、视觉相机实现多传感器融合，弥补了单一传感器在矿山等复杂场景下建图不精确的缺点，实现可靠稳定的SLAM建图。
3、本公开所述的方法、系统、介质或电子设备，将激光雷达及视觉相机点云融合，能够构建带有颜色信息的三维重建地图，满足了远程沉浸式施工的需要。
4、本公开所述的方法、系统、介质或电子设备，针对矿山环境，将3D激光点云投影成深度图，并提取地面点，针对矿山环境灰尘较多的情况，利用聚类算法，实现了噪点的精准滤波处理。
5、本公开所述的方法、系统、介质或电子设备，利用GTSAM开源库，将IMU预积分因子，激光点云、北斗定位信息、视觉点云添加至约束因子，实现了位姿实时跟新与精准建图。
本公开附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1为本公开实施例1提供的基于SLAM的移动机器人矿山场景重建方法的流程示意图。
图2为本公开实施例1提供的激光点云和视觉点云融合方法示意图。
图3为本公开实施例1提供的去除地面点几何关系示意图。
图4为本公开实施例1提供的聚类算法去除噪点方法示意图。
具体实施方式
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
实施例1：
如图1所示，本公开实施例1提供了一种基于SLAM的移动机器人矿山场景重建方法，包括以下过程：
S1：利用时间戳将激光点云和视觉点云进行同步及标定，并定义全新数据结构实现点云数据融合。
S2：利用多线激光雷达与IMU融合，对激光点云进行运动畸变去除，并针对矿山场景进行点云滤波处理；
S3：采用基于图优化的多约束因子图算法，将IMU、激光雷达、GNSS、等约束信息加入约束子图，实现后端回环检测及建图。
S1中，主要包括以下内容：
利用时间戳将激光点云和视觉点云进行同步及标定，并定义全新数据结构实现点云数据融合，如图2所示。
利用GNSS授时系统，对激光雷达和相机进行时间硬同步，利用固定标定板的方式对激光雷达及相机进行空间标定，获得外参矩阵后，将相机投影至激光雷达坐标系。定义利用PCL点云库定义新的点云数据结构：
PointCloud:XYZRIRGB(激光点云的数据结构为PointCloud:XYZRI)。
其中，X为激光点云的x轴坐标，Y为激光点云的y轴坐标，Z为激光点云的z轴坐标，I为激光点云的光强，R为每个激光线束的线束序号，RGB为视觉点云的颜色信息。
当激光雷达及相机时空标定完成后，将每帧激光数据、每帧视觉相机数据保存至容器中，并利用时间戳插值算法，获得匹配的激光点云及视觉点云，并利用小孔成像原理，将激光点云投影至相机平面，并依据XYZ坐标将投影至相机平面的激光点与视觉点云进行匹配，获得融合后的点云。此融合后的点云XYZIR取激光点云数据，RGB信息取视觉点云，RGB信息仅参与后续建图，因此，仍可当作激光点云进行处理。由于相机工作原理，带颜色的点云在整个激光点云中仍属于少部分，因此，下文仍以激光点云作为总称。
S2中，主要包括以下内容：
T时刻为一帧激光开始扫描时刻，T+ΔT时刻为该帧激光扫描结束时刻，对IMU三轴的角速度、加速度数据进行预积分，求得ΔT时间内机器人相对运动(包括线性运动、非线性运动)，然后将ΔT时刻内的所有激光点转换至第一个激光点，实现激光点云运动畸变去除。利用此方法可有效去除激光点云的运动畸变。
利用PCL库将每帧激光点云投影为深度图像，多线激光雷达的扫描线束为r线，每帧每条线扫描得到n个激光点。则深度图像为r*n的矩阵，每个矩阵包含点云的坐标信息、光强信息。利用深度图像可获得相邻点云之间的位置关系，并利用kd-tree搜索算法，对点云紧邻点进行搜索。依据点云之间的几何关系，对地面点及噪点进行滤波处理。
其中，去除地面点的几何关系如图3所示，坐标系中心在激光雷达几何中心。
其中，OA、OB为相邻两激光束的同一时刻的激光点打到地面的距离，α、β为两激光束与水平面的夹角，由于矿山地面崎岖不平，因此当α<2.5°，且相邻两点的高度差，即Δz<5cm，视为地面点。对每一个角度α及Δz进行计算，当点云被计算为地面点后，将地面点滤波去除。
其中，去除相关噪点的几何关系，如图4所示。
其中，OA、OB为两条激光线束的深度，考虑到矿山场景下灰尘较多，将α的阈值设置为A，当α>A，就认为是离群点；当α<A，认为是同一物体，且在深度图的行、列分别计算，当被认为是同一物体的激光点数量>30时，则认为是同一物体。
S3中，主要包括以下内容：
采用基于图优化的多约束因子图算法，将IMU、激光点云、GNSS等约束信息加入约束子图，实现后端回环检测及建图。
利用scan-to-map，利用当前激光帧的特征信息与地图的特征信息进行迭代优化，并且更新所有关键帧位姿；
利用gtsam开源库，将IMU预积分，激光雷达点云关键帧、GNSS信息作为图优化算法的因子，添加至因子图中，并执行因子图优化，更新所有关键帧位姿；
在过去20s左右的历史关键帧之中，寻找距离较近、时间间隔较远的帧作为关键帧，并对当前帧与关键帧附近几帧点云进行匹配，得到转换位姿，构建闭环因子图数据，加入因子图进行优化。
利用gtsam开源库，得到最终优化位姿，并实现3维点云的构建。
融合之后的点云，既具有激光点云测量数据精确的特点，也具有视觉点云颜色纹理丰富的特点，最终可获得具有颜色信息的三维重建地图。
实施例2：
本公开实施例2提供了一种基于SLAM的移动机器人矿山场景重建系统，包括：
数据获取模块，被配置为：获取同步标定过的通过移动机器人测得的激光点云数据和视觉点云数据；
点云融合模块，被配置为：对获取的激光点云数据和视觉点云数据进行融合；
点云数据处理模块，被配置为：对融合后的点云数据进行点云运动畸变去除处理和点云滤波处理；
三维地图重建模块，被配置为：结合处理后的点云数据，采用基于图优化的多约束因子图算法，将IMU预积分数据、点云关键帧数据以及GNSS数据加入约束子图，进行回环检测后得到重建后的三维地图。
所述系统的工作方法与实施例1提供的基于SLAM的移动机器人矿山场景重建方法相同，这里不再赘述。
实施例3：
本公开实施例3提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本公开实施例1所述的基于SLAM的移动机器人矿山场景重建方法中的步骤。
实施例4：
本公开实施例4提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开实施例1所述的基于SLAM的移动机器人矿山场景重建方法中的步骤。
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
Claims (8)
1.一种基于SLAM的移动机器人矿山场景重建方法，其特征在于：包括以下过程：
获取同步标定过的通过移动机器人测得的激光点云数据和视觉点云数据；
对获取的激光点云数据和视觉点云数据进行融合；
对融合后的点云数据进行点云运动畸变去除处理和点云滤波处理；利用多线激光雷达与IMU融合，对激光点云进行运动畸变去除，具体包括：
假设T时刻为一帧激光开始扫描时刻，T+ΔT时刻为该帧激光扫描结束时刻，对IMU三轴的角速度数据和加速度数据进行预积分，得到ΔT时间内机器人相对运动，然后将ΔT时间内的所有激光点转换至第一个激光点，实现激光点云运动畸变去除；
结合处理后的点云数据，采用基于图优化的多约束因子图算法，将IMU预积分数据、点云关键帧数据以及GNSS数据加入约束子图，进行回环检测后得到重建后的三维地图；具体包括：
利用当前激光帧的特征信息与地图的特征信息进行迭代优化，将IMU预积分数据、点云关键帧数据以及GNSS数据作为图优化算法的因子，添加至因子图中，并执行因子图优化，更新所有关键帧位姿，最终得到优化后的位姿以及重建后的三维地图；
利用PCL库将每帧激光点云投影为深度图像，多线激光雷达的扫描线束为r线，每帧每条线扫描得到n个激光点，则深度图像为r*n的矩阵；利用深度图像可获得相邻点云之间的位置关系，依据点云之间的几何关系，对地面点及噪点进行滤波处理；
其中，去除地面点的几何关系为：坐标系中心在激光雷达几何中心；
OA、OB为相邻两激光束的同一时刻的激光点打到地面的距离，α、β为两激光束与水平面的夹角，由于矿山地面崎岖不平，因此当α<2.5°，且相邻两点的高度差，即Δz<5cm，视为地面点，对每一个角度α及Δz进行计算，当点云被计算为地面点后，将地面点滤波去除；
去除相关噪点的几何关系为：
OA、OB为两条激光线束的深度，考虑到矿山场景下灰尘较多，将α的阈值设置为A，当α>A，就认为是离群点；当α<A，认为是同一物体，且在深度图的行、列分别计算，当被认为是同一物体的激光点数量>30时，则认为是同一物体。
2.如权利要求1所述的基于SLAM的移动机器人矿山场景重建方法，其特征在于：
在历史关键帧中寻找关键帧，对当前帧与关键帧附近的几帧点云进行匹配，得到转换位姿，构建闭环因子图数据，加入因子图进行优化。
3.如权利要求2所述的基于SLAM的移动机器人矿山场景重建方法，其特征在于：
在历史关键帧之中，以距离小于预设值且时间间隔大于预设值的帧作为关键帧。
4.如权利要求1所述的基于SLAM的移动机器人矿山场景重建方法，其特征在于：
对获取的激光点云数据和视觉点云数据进行融合，包括：
利用时间戳插值算法，获得匹配的激光点云数据和视觉点云数据，利用小孔成像原理，将激光点云投影至相机平面，并依据XYZ坐标将投影至相机平面的激光点与视觉点云进行匹配，获得融合后的点云PointCloud:XYZRIRGB；
其中，X为激光点云的x轴坐标，Y为激光点云的y轴坐标，Z为激光点云的z轴坐标，I为激光点云的光强，R为每个激光线束的线束序号，RGB为视觉点云的颜色信息。
5.如权利要求1所述的基于SLAM的移动机器人矿山场景重建方法，其特征在于：
点云滤波处理，包括：
将每帧激光点云投影为深度图像，多线激光雷达的扫描线束为r线，每帧每条线扫描得到n个激光点，深度图像为r*n的矩阵，每个矩阵包含点云的坐标信息和光强信息；
利用深度图像获得相邻点云之间的位置关系，并利用kd-tree搜索算法，对点云紧邻点进行搜索，依据点云之间的几何关系，对地面点及噪点进行滤波处理。
6.一种基于SLAM的移动机器人矿山场景重建系统，其特征在于：包括：
数据获取模块，被配置为：获取同步标定过的通过移动机器人测得的激光点云数据和视觉点云数据；
点云融合模块，被配置为：对获取的激光点云数据和视觉点云数据进行融合；
点云数据处理模块，被配置为：对融合后的点云数据进行点云运动畸变去除处理和点云滤波处理；利用多线激光雷达与IMU融合，对激光点云进行运动畸变去除，具体包括：
假设T时刻为一帧激光开始扫描时刻，T+ΔT时刻为该帧激光扫描结束时刻，对IMU三轴的角速度数据和加速度数据进行预积分，得到ΔT时间内机器人相对运动，然后将ΔT时间内的所有激光点转换至第一个激光点，实现激光点云运动畸变去除；
三维地图重建模块，被配置为：结合处理后的点云数据，采用基于图优化的多约束因子图算法，将IMU预积分数据、点云关键帧数据以及GNSS数据加入约束子图，进行回环检测后得到重建后的三维地图；具体包括：
利用当前激光帧的特征信息与地图的特征信息进行迭代优化，将IMU预积分数据、点云关键帧数据以及GNSS数据作为图优化算法的因子，添加至因子图中，并执行因子图优化，更新所有关键帧位姿，最终得到优化后的位姿以及重建后的三维地图；
利用PCL库将每帧激光点云投影为深度图像，多线激光雷达的扫描线束为r线，每帧每条线扫描得到n个激光点，则深度图像为r*n的矩阵；利用深度图像可获得相邻点云之间的位置关系，依据点云之间的几何关系，对地面点及噪点进行滤波处理；
其中，去除地面点的几何关系为：坐标系中心在激光雷达几何中心；
OA、OB为相邻两激光束的同一时刻的激光点打到地面的距离，α、β为两激光束与水平面的夹角，由于矿山地面崎岖不平，因此当α<2.5°，且相邻两点的高度差，即Δz<5cm，视为地面点，对每一个角度α及Δz进行计算，当点云被计算为地面点后，将地面点滤波去除；
去除相关噪点的几何关系为：
OA、OB为两条激光线束的深度，考虑到矿山场景下灰尘较多，将α的阈值设置为A，当α>A，就认为是离群点；当α<A，认为是同一物体，且在深度图的行、列分别计算，当被认为是同一物体的激光点数量>30时，则认为是同一物体。
7.一种计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现如权利要求1-5任一项所述的基于SLAM的移动机器人矿山场景重建方法中的步骤。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5任一项所述的基于SLAM的移动机器人矿山场景重建方法中的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110644536.7A CN113379910B (zh) | 2021-06-09 | 2021-06-09 | 基于slam的移动机器人矿山场景重建方法及系统 |
| PCT/CN2022/095982 WO2022257801A1 (zh) | 2021-06-09 | 2022-05-30 | 基于slam的移动机器人矿山场景重建方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110644536.7A CN113379910B (zh) | 2021-06-09 | 2021-06-09 | 基于slam的移动机器人矿山场景重建方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113379910A CN113379910A (zh) | 2021-09-10 |
| CN113379910B true CN113379910B (zh) | 2023-06-02 |
Family
ID=77573315
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110644536.7A Active CN113379910B (zh) | 2021-06-09 | 2021-06-09 | 基于slam的移动机器人矿山场景重建方法及系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113379910B (zh) |
| WO (1) | WO2022257801A1 (zh) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111311742B (zh) * | 2020-03-27 | 2023-05-05 | 阿波罗智能技术(北京)有限公司 | 三维重建方法、三维重建装置和电子设备 |
| CN113379910B (zh) * | 2021-06-09 | 2023-06-02 | 山东大学 | 基于slam的移动机器人矿山场景重建方法及系统 |
| CN113804183B (zh) * | 2021-09-17 | 2023-12-22 | 广东汇天航空航天科技有限公司 | 一种实时地形测绘方法和系统 |
| CN116106864A (zh) * | 2021-11-09 | 2023-05-12 | 深圳市速腾聚创科技有限公司 | 点云的运动补偿方法、装置、存储介质及激光雷达 |
| CN114383611A (zh) * | 2021-12-30 | 2022-04-22 | 华南智能机器人创新研究院 | 一种移动机器人的多机协同激光slam方法、装置及系统 |
| CN114429432B (zh) * | 2022-04-07 | 2022-06-21 | 科大天工智能装备技术（天津）有限公司 | 一种多源信息分层融合方法、装置及存储介质 |
| CN115690332B (zh) * | 2022-12-30 | 2023-03-31 | 华东交通大学 | 点云数据处理方法、装置、可读存储介质及电子设备 |
| CN116012613B (zh) * | 2023-01-04 | 2024-01-16 | 北京数字绿土科技股份有限公司 | 一种基于激光点云的露天矿的土方量变化测算方法和系统 |
| CN115861957B (zh) * | 2023-01-19 | 2023-06-16 | 中国科学技术大学 | 一种基于传感器融合的新型动态物体分割方法 |
| CN115965756B (zh) * | 2023-03-13 | 2023-06-06 | 安徽蔚来智驾科技有限公司 | 地图构建方法、设备、驾驶设备和介质 |
| CN115979248B (zh) * | 2023-03-17 | 2023-08-18 | 上海仙工智能科技有限公司 | 基于定位位姿为约束的地图更新方法及系统、存储介质 |
| CN116295021B (zh) * | 2023-05-25 | 2023-07-28 | 齐鲁工业大学(山东省科学院) | 一种单目线结构光系统中相机与激光器位置关系计算方法 |
| CN116358573B (zh) * | 2023-05-31 | 2023-08-29 | 小米汽车科技有限公司 | 地图建立方法、装置、存储介质以及车辆 |
| CN116500638B (zh) * | 2023-06-25 | 2023-10-10 | 江苏大学 | 一种基于slam技术的收割机耕道自动导航方法及系统 |
| CN116518984B (zh) * | 2023-07-05 | 2023-09-08 | 中国矿业大学 | 一种煤矿井下辅助运输机器人车路协同定位系统及方法 |
| CN116539026B (zh) * | 2023-07-06 | 2023-09-29 | 杭州华橙软件技术有限公司 | 地图构建方法、装置、设备及存储介质 |
| CN116630394B (zh) * | 2023-07-25 | 2023-10-20 | 山东中科先进技术有限公司 | 一种三维建模约束的多模态目标物体姿态估计方法及系统 |
| CN116817928B (zh) * | 2023-08-28 | 2023-12-01 | 北京交通大学 | 基于因子图优化的卫导/惯导列车多源融合定位的方法 |
| CN116878504B (zh) * | 2023-09-07 | 2023-12-08 | 兰笺(苏州)科技有限公司 | 基于多传感器融合的建筑物外墙作业无人机精准定位方法 |
| CN117237553A (zh) * | 2023-09-14 | 2023-12-15 | 广东省核工业地质局测绘院 | 一种基于点云图像融合的三维地图测绘系统 |
| CN116958842B (zh) * | 2023-09-19 | 2024-01-05 | 北京格镭信息科技有限公司 | 基于激光-视觉融合的地下管线的巡检方法及装置 |
| CN117635719B (zh) * | 2024-01-26 | 2024-04-16 | 浙江托普云农科技股份有限公司 | 基于多传感器融合的除草机器人定位方法、系统及装置 |
| CN117706563B (zh) * | 2024-02-05 | 2024-05-07 | 中南大学 | 矿井垂直断面钻孔定位方法、系统、设备及存储介质 |
| CN117974926B (zh) * | 2024-03-28 | 2024-06-18 | 苏州艾吉威机器人有限公司 | 一种基于机械旋转式三维激光的定位与建图方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112304307A (zh) * | 2020-09-15 | 2021-02-02 | 浙江大华技术股份有限公司 | 一种基于多传感器融合的定位方法、装置和存储介质 |
| CN112634451A (zh) * | 2021-01-11 | 2021-04-09 | 福州大学 | 一种融合多传感器的室外大场景三维建图方法 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9215382B1 (en) * | 2013-07-25 | 2015-12-15 | The United States Of America As Represented By The Secretary Of The Navy | Apparatus and method for data fusion and visualization of video and LADAR data |
| CN105702151B (zh) * | 2016-03-31 | 2019-06-11 | 百度在线网络技术（北京）有限公司 | 一种室内地图构建方法及装置 |
| CN108038453A (zh) * | 2017-12-15 | 2018-05-15 | 罗派智能控制技术（上海）有限公司 | 一种基于rgbd的汽车驾驶员状态检测和识别系统 |
| CN109816774B (zh) * | 2018-12-31 | 2023-11-17 | 江苏天策机器人科技有限公司 | 一种基于无人机的三维重建系统及三维重建方法 |
| CN110163968B (zh) * | 2019-05-28 | 2020-08-25 | 山东大学 | Rgbd相机大型三维场景构建方法及系统 |
| CN110764108B (zh) * | 2019-11-05 | 2023-05-02 | 畅加风行(苏州)智能科技有限公司 | 一种用于港口自动驾驶场景的障碍物检测方法及装置 |
| CN111045017B (zh) * | 2019-12-20 | 2023-03-31 | 成都理工大学 | 一种激光和视觉融合的巡检机器人变电站地图构建方法 |
| CN111598916A (zh) * | 2020-05-19 | 2020-08-28 | 金华航大北斗应用技术有限公司 | 一种基于rgb-d信息的室内占据栅格地图的制备方法 |
| CN111784835B (zh) * | 2020-06-28 | 2024-04-12 | 北京百度网讯科技有限公司 | 制图方法、装置、电子设备及可读存储介质 |
| CN112083726B (zh) * | 2020-09-04 | 2021-11-23 | 湖南大学 | 一种面向园区自动驾驶的双滤波器融合定位系统 |
| CN112904365B (zh) * | 2021-02-10 | 2024-05-10 | 广州视源电子科技股份有限公司 | 地图的更新方法及装置 |
| CN112907491B (zh) * | 2021-03-18 | 2023-08-22 | 中煤科工集团上海有限公司 | 一种适用于井下巷道的激光点云回环检测方法及系统 |
| CN113379910B (zh) * | 2021-06-09 | 2023-06-02 | 山东大学 | 基于slam的移动机器人矿山场景重建方法及系统 |
-
2021
- 2021-06-09 CN CN202110644536.7A patent/CN113379910B/zh active Active
-
2022
- 2022-05-30 WO PCT/CN2022/095982 patent/WO2022257801A1/zh unknown
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112304307A (zh) * | 2020-09-15 | 2021-02-02 | 浙江大华技术股份有限公司 | 一种基于多传感器融合的定位方法、装置和存储介质 |
| CN112634451A (zh) * | 2021-01-11 | 2021-04-09 | 福州大学 | 一种融合多传感器的室外大场景三维建图方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113379910A (zh) | 2021-09-10 |
| WO2022257801A1 (zh) | 2022-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113379910B (zh) | 基于slam的移动机器人矿山场景重建方法及系统 | |
| CN110070615B (zh) | 一种基于多相机协同的全景视觉slam方法 | |
| CN109506642B (zh) | 一种机器人多相机视觉惯性实时定位方法及装置 | |
| CN111325843B (zh) | 一种基于语义逆深度滤波的实时语义地图构建方法 | |
| CN112634451B (zh) | 一种融合多传感器的室外大场景三维建图方法 | |
| CN108898676B (zh) | 一种虚实物体之间碰撞及遮挡检测方法及系统 | |
| US9858640B1 (en) | Device and method for merging 3D point clouds from sparsely distributed viewpoints | |
| US9940725B2 (en) | Method for estimating the speed of movement of a camera | |
| CN109579843A (zh) | 一种空地多视角下的多机器人协同定位及融合建图方法 | |
| CN113362247B (zh) | 一种激光融合多目相机的语义实景三维重建方法及系统 | |
| CN111487642A (zh) | 基于三维激光和双目视觉的变电站巡检机器人定位导航系统及方法 | |
| JP2012118666A (ja) | 三次元地図自動生成装置 | |
| US20160292883A1 (en) | Method of estimating the speed of displacement of a camera | |
| CN112037318A (zh) | 三维岩体结构模型的构建方法、系统及模型的应用 | |
| CN106997614A (zh) | 一种基于深度相机的大规模场景3d建模方法及其装置 | |
| Ling et al. | Building maps for autonomous navigation using sparse visual SLAM features | |
| CN115272596A (zh) | 一种面向单调无纹理大场景的多传感器融合slam方法 | |
| KR20230003803A (ko) | 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법 | |
| CN113034571A (zh) | 一种基于视觉—惯性的物体三维尺寸测量方法 | |
| JP2010128608A (ja) | ステレオマッチング処理システム、ステレオマッチング処理方法、及びプログラム | |
| CN113959437A (zh) | 一种用于移动测量设备的测量方法及系统 | |
| Wu et al. | AFLI-Calib: Robust LiDAR-IMU extrinsic self-calibration based on adaptive frame length LiDAR odometry | |
| Ali et al. | Multi-sensor depth fusion framework for real-time 3D reconstruction | |
| Lindner et al. | Optimization based multi-view coverage path planning for autonomous structure from motion recordings | |
| CN115797490A (zh) | 基于激光视觉融合的建图方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |