CN115248439A - 基于几何信息和强度信息的激光雷达slam方法及系统 - Google Patents

基于几何信息和强度信息的激光雷达slam方法及系统 Download PDF

Info

Publication number
CN115248439A
CN115248439A CN202210890133.5A CN202210890133A CN115248439A CN 115248439 A CN115248439 A CN 115248439A CN 202210890133 A CN202210890133 A CN 202210890133A CN 115248439 A CN115248439 A CN 115248439A
Authority
CN
China
Prior art keywords
intensity
point cloud
information
points
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210890133.5A
Other languages
English (en)
Inventor
戴志强
周靖怡
朱祥维
翟春磊
姚荷雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202210890133.5A priority Critical patent/CN115248439A/zh
Publication of CN115248439A publication Critical patent/CN115248439A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明提供了基于几何信息和强度信息的激光雷达slam方法及系统，通过激光雷达采集物体点云，对物体点云内各个点的强度信息进行校准得到校准物体点云，根据校准物体点云提取每帧点云的几何特征点和强度特征点，并根据校准物体点云各个帧的强度特征点，构建和更新点云强度图，再根据几何特征点、强度特征点和点云强度图进行点云配准，得到帧间位姿变换，并更新点云位姿生成对应的位姿图后，根据位姿图进行轨迹推算构建定位地图，以及通过后端闭环检测优化位姿图，并更新轨迹推算和定位地图的技术方案，能够在退化环境中采用强度特征与强度图匹配完成配准优化，有效解决退化环境激光雷达slam失效问题，提高定位精准度且避免计算资源浪费。

Description

基于几何信息和强度信息的激光雷达slam方法及系统
技术领域
本发明涉及同步定位与地图构建技术领域，特别是涉及一种基于 几何信息和强度信息的激光雷达slam方法、系统、计算机设备和存储 介质。
背景技术
SLAM(SimultaneouslocalizationandMapping)是广泛应用于移动机 器人以及无人驾驶等领域的同步定位与地图构建技术，基于激光雷达 的SLAM技术因激光雷达可以快速、准确、直接地获取周围环境信息， 且具有不受环境遮挡和光照变化影响等优点，而成为领域内的研究热 点，备受广泛。
目前的激光雷达SLAM算法主要关注了点云的几何信息，如使用 了经典ICP算法的Hector SLAM、通过提取点云的线面特征进行点云 配准的LOAM系列算法、使用NDT算法实现点到地图的配准的hdl_g raph_slam算法以及采用面元ICP的方式匹配点云的SUMA算法，这些 算法在一般场景下可达到较好的定位精度，但处于长隧道、长走廊等 几何结构退化的经典场景以及缺乏几何特征点的室外开阔场景中，提 取的特征过于稀疏，会导致配准结果不准确，从而影响地图构建和定 位精度。
虽然有学者针对非结构化场景激光雷达SLAM的退化问题提出了 解决方案，但无论是通过多传感器融合方式添加IMU紧耦合并在退化 场景下实现新的耦合方法或增加UWB系统提供位置约束的方式，还是 利用强度信息辅助的方式，都存在着相应的应用缺陷：多传感器融合 的方式不仅提高了应用成本，而且容易出现多传感器标定问题，而利 用强度信息辅助的方式，对强度信息的利用并不充分，并不能真正有 效解决退化问题，进而导致激光雷达SLAM整体性能下降，影响实际 应用效果。
发明内容
本发明的目的是提供一种基于几何信息和强度信息的激光雷达 slam方法，通过基于物体点云提取的强度特征点构建点云强度图，用 于在几何结构不明显的退化环境下进行点云配准优化，解决现有技术 退化环境中激光雷达SLAM失效问题，有效提高定位精准度同时，还 避免了计算资源的浪费。
为了实现上述目的，有必要针对上述技术问题，提供了一种基于 几何信息和强度信息的激光雷达slam方法、系统、计算机设备和存储 介质。
第一方面，本发明实施例提供了一种基于几何信息和强度信息的 激光雷达slam方法，所述方法包括以下步骤：
通过激光雷达采集物体点云；所述物体点云包括各个点的三维坐 标信息和对应的强度信息；
对所述物体点云内各个点的强度信息进行校准，得到对应的校准 物体点云；所述校准物体点云包括各个点的三维坐标信息和对应的校 准强度信息；
根据所述校准物体点云，提取每帧点云的几何特征点和强度特征 点，并根据校准物体点云各个帧的强度特征点，构建和更新点云强度 图；
根据几何特征点、强度特征点和点云强度图进行点云配准，得到 帧间位姿变换，并根据所述帧间位姿变换更新点云位姿，以及根据各 帧的点云位姿，生成对应的位姿图；
根据所述位姿图进行轨迹推算，构建定位地图，并通过后端闭环 检测优化所述位姿图，以及更新轨迹推算和定位地图。
进一步地，所述对所述物体点云内各个点的强度信息进行校准， 得到对应的校准物体点云的步骤包括：
根据所述物体点云构建物体平面，并对所述物体平面进行局部法 线分析，得到激光束入射角；
根据激光束入射角和激光雷达探测的物体距离，对各个点的强度 信息进行校准，得到对应的校准强度信息；所述校准强度信息表示为：
Figure BDA0003765497790000031
其中，ηall为常量；ρ为物体的材料反射率；α为激光束入射角； R为激光雷达探测的物体距离。
进一步地，所述根据所述校准物体点云，提取每帧点云的几何特 征点和强度特征点的步骤包括：
对所述校准物体点云进行地面分割，得到地面点；
计算每帧点云内各点的曲率信息，并将每帧点云按照第一预设数 目分段，得到分段点云；
将各个分段点云按照对应的曲率信息进行降序排列，自上而下筛 选出第二预设数目的非地面点作为边缘点，以及自下而上筛选出第二 预设数目的平面点；
根据预设强度阈值，筛选得到各个分段点云的有效强度点，并对 所述有效强度点进行统计分析，得到对应的强度特征点。
进一步地，所述对所述有效强度点进行统计分析，得到对应的强 度特征点的步骤包括：
对有效强度点的校准强度信息进行统计，得到校准强度信息中值；
将有效强度点中校准强度信息大于校准强度信息中值的点提取为 对应的强度特征点。
进一步地，所述根据强度特征点，构建和更新点云强度图的步骤 包括：
根据预设栅格尺寸，构建栅格地图，并将所述栅格地图的各个网 格单元采用第一帧点云的强度特征点的强度校准值进行初始化，得到 点云强度图；
将当前帧点云与前一帧点云的点云强度图进行配准，并采用当前 帧点云的强度特征点的强度校准值更新所述点云强度图；所述点云强 度图的更新公式为：
Figure BDA0003765497790000041
其中，mi为网格单元；M(mi∣zt)为当前帧网格mi的强度值， M(mi∣zk-1)为前一帧网格mi的强度值；
Figure BDA0003765497790000042
为校准物体点云的帧数，
Figure BDA0003765497790000043
为校准物体点云的强度校准值。
进一步地，所述根据几何特征点、强度特征点和点云强度图进行 点云配准，得到帧间位姿变换的步骤包括：
根据各个帧的边缘点建立点到线距离最小约束，以及根据各个帧 的平面点建立点到面距离最小约束；
根据所述点到线距离最小约束和点到面距离最小约束，构建几何 特征目标方程；所述几何特征目标方程表示为：
Figure BDA0003765497790000044
式中，
Figure BDA0003765497790000045
Figure BDA0003765497790000046
其中，Pe表示第k帧边缘点集合；pie表示第k帧的第i个边缘点；(pje,ple)表 示在第k-1帧点云中搜索的一对匹配点；Ps表示第k帧平面点集合； pis表示第k帧的第i个平面点；(pjs,pls,pms)表示在第k-1帧点云中搜 索的3个匹配点；T*为几何特征目标方程；
Figure BDA0003765497790000047
表示第k帧和第k-1 帧的帧间位姿变换；
根据所述几何特征目标方程进行点云配准，并采用LM算法求解 得到帧间位姿变换。
进一步地，所述根据所述几何特征目标方程进行点云配准，得到 帧间位姿变换的步骤包括：
根据所述几何特征目标方程，构建退化检测矩阵，并根据所述退 化检测矩阵的最小特征值进行点云配准退化检测，得到退化检测结果；
判断所述退化检测结果是否为存在退化，若是，则根据强度特征 点和点云强度图，构建强度特征约束，并建立对应的强度特征目标方 程，以及根据强度特征目标方程进行点云配准，并采用LM算法求解 更新帧间位姿变换；所述强度特征目标方程表示为：
Figure BDA0003765497790000051
式中，
Figure BDA0003765497790000052
其中，PI表示强度特征点集合；pi表示第i个强度特征点；
Figure BDA0003765497790000053
表示 第i个强度特征点的校准强度值；M表示点云强度图；M(pi)为第i个强 度特征点在点云强度图M中的点强度值；
Figure BDA0003765497790000054
为强度特征目标方程。
第二方面，本发明实施例提供了一种基于几何信息和强度信息的 激光雷达slam系统，所述系统包括：
点云采集模块，用于通过激光雷达采集物体点云；所述物体点云 包括各个点的三维坐标信息和对应的强度信息；
强度校准模块，用于对所述物体点云内各个点的强度信息进行校 准，得到对应的校准物体点云；所述校准物体点云包括各个点的三维 坐标信息和对应的校准强度信息；
强度图构建模块，用于根据所述校准物体点云，提取每帧点云的 几何特征点和强度特征点，并根据校准物体点云各个帧的强度特征点， 构建和更新点云强度图；
位姿估计模块，用于根据几何特征点、强度特征点和点云强度图 进行点云配准，得到帧间位姿变换，并根据所述帧间位姿变换更新点 云位姿，以及根据各帧的点云位姿，生成位姿图；
地图构建模块，用于根据所述位姿图进行轨迹推算，构建定位地 图，并通过后端闭环检测优化所述位姿图，以及更新轨迹推算和定位 地图。
第三方面，本发明实施例还提供了一种计算机设备，包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处 理器执行所述计算机程序时实现上述方法的步骤。
第四方面，本发明实施例还提供一种计算机可读存储介质，其上 存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的 步骤。
上述本申请提供了一种基于几何信息和强度信息的激光雷达slam 方法、系统、计算机设备及存储介质，通过所述方法，实现了激光雷 达采集物体点云，对物体点云内各个点的强度信息进行校准得到校准 物体点云，根据校准物体点云提取每帧点云的几何特征点和强度特征 点，并根据校准物体点云各个帧的强度特征点，构建和更新点云强度 图，再根据几何特征点、强度特征点和点云强度图进行点云配准，得 到帧间位姿变换，并更新点云位姿生成对应的位姿图后，根据位姿图 进行轨迹推算构建定位地图，以及通过后端闭环检测优化位姿图，并 更新轨迹推算和定位地图的技术方案。与现有技术相比，该基于几何信息和强度信息的激光雷达slam方法，能够在几何特征明显的环境采 用强度特征辅助几何特征进行匹配实现快速点云配准的同时，在退化 环境中采用强度特征与强度图匹配进行配准优化，有效解决退化环境 激光雷达slam失效问题，提高了定位精准度且避免了计算资源浪费， 具有较高的实用价值。
附图说明
图1是本发明实施例中基于几何信息和强度信息的激光雷达slam 方法的slam系统架构图；
图2是本发明实施例中基于几何信息和强度信息的激光雷达slam 方法的流程示意图；
图3是本发明实施例中基于几何信息和强度信息的激光雷达slam 系统的结构示意图；
图4是本发明实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案和有益效果更加清楚明白，下面 结合附图及实施例，对本发明作进一步详细说明，显然，以下所描述 的实施例是本发明实施例的一部分，仅用于说明本发明，但不用来限 制本发明的范围。基于本发明中的实施例，本领域普通技术人员在没 有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保 护的范围。
本发明考虑现有激光雷达slam方法不能真正有效解决退化环境的 定位精度问题，按照如图1所示的流程框架，基于激光雷达采集的三 维点云数据自适应提取几何特征和强度特征，并引入退化检测机制对 点云配准进行退化检测，并在识别为退化场景时采用强度特征优化点 云配准和位姿估计，提高基于激光雷达的slam方法在非结构化场景下 的精度与鲁棒性；同时该方法可以运用于激光雷达slam前端点云配准 和后端回环检测中，实现包括数据预处理、前端里程计、后端闭环检 测优化和地图构建的完整激光SLAM系统；下述实施例将对本发明的 基于几何信息和强度信息的激光雷达slam方法进行详细说明。
在一个实施例中，如图2所示，提供了一种基于几何信息和强度 信息的激光雷达slam方法，包括以下步骤：
S11、通过激光雷达采集物体点云；所述物体点云包括各个点的三 维坐标信息和对应的强度信息；其中，物体点云为通过激光雷达传感 器采集的三维点云数据，后续直接对三维点云进行处理，无需将点云 投影至图像中，能够有效保留点云的三维信息。
S12、对所述物体点云内各个点的强度信息进行校准，得到对应的 校准物体点云；所述校准物体点云包括各个点的三维坐标信息和对应 的校准强度信息；其中，校准强度信息可理解为将原始物体点云中各 个点的强度信息转化为只与物体反射率有关的强度信息；具体的，所 述对所述物体点云内各个点的强度信息进行校准，得到对应的校准物 体点云的步骤包括：
根据所述物体点云构建物体平面，并对所述物体平面进行局部法 线分析，得到激光束入射角；
根据激光束入射角和激光雷达探测的物体距离，对各个点的强度 信息进行校准，得到对应的校准强度信息；所述校准强度信息表示为：
Figure BDA0003765497790000081
其中，ηall为常量；ρ为物体的材料反射率；α为激光束入射角； R为激光雷达探测的物体距离。
S13、根据所述校准物体点云，提取每帧点云的几何特征点和强度 特征点，并根据校准物体点云各个帧的强度特征点，构建和更新点云 强度图；其中，几何特征点和强度特征点的提取过程可理解为基于得 到的校准物体点云进行地面分割获取地面点后，针对每帧点云数据， 通过计算并比较各个非地面点的曲率信息提取得到几何特征点，以及 通过比较各个非地面点的强度信息提取得到强度特征点；具体的，所 述根据所述校准物体点云，提取每帧点云的几何特征点和强度特征点 的步骤包括：
对所述校准物体点云进行地面分割，得到地面点；其中，地面分 割仅用于分割出地面点，用于后续几何特征点提取时的过滤，具体的 地面分割方式此处不作限定；
计算每帧点云内各点的曲率信息，并将每帧点云按照第一预设数 目分段，得到分段点云；其中，曲率信息的计算公式为：
Figure BDA0003765497790000082
其中，ci表示第i点的曲率；Pi表示目标点；S表示距离目标点一 定范围内(如前后五个点)的点云集合；Pj为目标点附近点集合内的 点。
为了保证提取的特征点分布均匀，将每一帧的点云按照第一预设 数目进行分段，再对每段点云进行特征点提取，其中，第一预设数目 可根据实际应用需求进行设置，优选的分为六段，并根据下述步骤进 行几何特征点和强度特征点提取。
将各个分段点云按照对应的曲率信息进行降序排列，自上而下筛 选出第二预设数目的非地面点作为边缘点，以及自下而上筛选出第二 预设数目的平面点；其中，第二预设数目可根据多线激光雷达的不同 线束数量得到的点云数量自适应调整，如该部分的点云数量为M，则 可设第二预设数目N＝M/13，此处不作具体限制；具体的，几何征点提 取过程可理解为按照曲率大小对分段点云进行排序后，从非地面点中 选取曲率最大的N个点作为边缘点，选取包括地面点在内的曲率最小 的N个点作为平面点。
根据预设强度阈值，筛选得到各个分段点云的有效强度点，并对 所述有效强度点进行统计分析，得到对应的强度特征点；其中，预设 强度阈值是针对校准后的强度设定的，具体取值可根据实际应用需求 进行选取，若预设强度阈值为0.5，则先将各个分段点云中校准强度信 息小于预设强度阈值0.5的点滤除，再对剩余点云的校准强度值进行统 计进一步筛选出强度特征点；具体的，所述对所述有效强度点进行统 计分析，得到对应的强度特征点的步骤包括：
对有效强度点的校准强度信息进行统计，得到校准强度信息中值， 并将其作为强度特征提取阈值；
将有效强度点中校准强度信息大于校准强度信息中值(强度特征 提取阈值)的点提取为对应的强度特征点，即将该段点云中校准强度 值
Figure RE-GDA0003833676640000091
大于强度特征提取阈值的点提取为强度特征点，自适应提取强度特 征明显的标志物，如现实生活中的车牌、灯、路标等都可以被提取为 特征点，在几何特征不明显的环境下对点云配准提供良好约束；
本实施例通过上述方法步骤就实现了自适应特征提取，通过调整 每帧点云的分段数目和特征点提取数目，可有效保证特征提取均匀化 和有效性，为下述点云强度图的构建和更新提供可靠依据的同时，也 为后续的配准精度和计算效率平衡提供了可靠保障。
具体的，所述根据强度特征点，构建和更新点云强度图的步骤包 括：
根据预设栅格尺寸，构建栅格地图，并将所述栅格地图的各个网 格单元采用第一帧点云的强度特征点的强度校准值进行初始化，得到 点云强度图；
将当前帧点云与前一帧点云的点云强度图进行配准，并采用当前 帧点云的强度特征点的强度校准值更新所述点云强度图；其中，点云 强度图主要用于下文点云配准退化检测存在退化情形时的点云配准优 化，具体使用方法参见步骤S14相关内容的描述，此处不再赘述；所 述点云强度图的更新公式为：
Figure BDA0003765497790000101
其中，mi为网格单元；M(mi∣zt)为当前帧网格mi的强度值， M(mi∣zk-1)为前一帧网格mi的强度值；
Figure BDA0003765497790000102
为校准物体点云的帧数，
Figure BDA0003765497790000103
为校准物体点云的强度校准值。
S14、根据几何特征点、强度特征点和点云强度图进行点云配准， 得到帧间位姿变换，并根据所述帧间位姿变换更新点云位姿，以及根 据各帧的点云位姿，生成对应的位姿图；其中，点云配准的过程可理 解为先采用几何特征进行配准，并对该配准过程进行退化场景检测， 若存在退化情况，则根据强度特征点和步骤S13得到的点云强度图进 行配准优化，以保证帧间位置变换求解和点云位姿估计的有效性，进 而提升配准性能，提高定位精准度；具体的，所述根据几何特征点、 强度特征点和点云强度图进行点云配准，得到帧间位姿变换的步骤包 括：
根据各个帧的边缘点建立点到线距离最小约束，以及根据各个帧 的平面点建立点到面距离最小约束；
根据所述点到线距离最小约束和点到面距离最小约束，构建几何 特征目标方程；所述几何特征目标方程表示为：
Figure BDA0003765497790000111
式中，
Figure BDA0003765497790000112
Figure BDA0003765497790000113
其中，Pe表示第k帧边缘点集合；pie表示第k帧的第i个边缘点；(pje,ple)表 示在第k-1帧点云中搜索的一对匹配点；Ps表示第k帧平面点集合； pis表示第k帧的第i个平面点；(pjs,pls,pms)表示在第k-1帧点云中搜 索的3个匹配点；T*为几何特征目标方程；
Figure BDA0003765497790000114
表示第k帧和第k-1 帧的帧间位姿变换；
根据所述几何特征目标方程进行点云配准，并采用LM算法求解 得到帧间位姿变换
Figure BDA0003765497790000115
其中，采用LM算法求解得到帧间位姿变换 的过程参见现有技术即可实现，此处不再赘述；
上述步骤实现了点云配准仅能保证在几何特征明显的环境下的配 准精准度，对于退化环境会出现失效问题，为此，本实施例优选的在 采用强度信息辅助几何信息配准的基础上，引入了退化检测机制，以 有效解决上述退化场景问题。具体的，所述根据所述几何特征目标方 程进行点云配准，得到帧间位姿变换的步骤包括：
根据所述几何特征目标方程，构建退化检测矩阵，并根据所述退 化检测矩阵的最小特征值进行点云配准退化检测，得到退化检测结果； 其中，退化检测矩阵A选用几何特征目标方程T*的一阶雅可比矩阵， 表示如下：
Figure BDA0003765497790000116
其中，
Figure BDA0003765497790000117
表示第k帧和第k-1帧的帧间位姿变换；
退化检测结果获取过程可理解为：采用奇异值分解方法得到ATA的 6个特征值；分别对应
Figure RE-GDA0003833676640000118
的6个状态方向，取最小特征值为λmin； 根据最小特征值得到退化因子D＝λmin+1，再将退化因子D与设置的 退化阈值进行比较，若D<退化阈值，则退化检测结果为存在退化， 反之，则退化检测结果为不存在退化；
判断所述退化检测结果是否为存在退化，若是，则根据强度特征 点和点云强度图，构建强度特征约束，并建立对应的强度特征目标方 程，以及根据强度特征目标方程进行点云配准，并采用LM算法求解 更新帧间位姿变换；所述强度特征目标方程表示为：
Figure BDA0003765497790000123
式中，
Figure BDA0003765497790000124
其中，PI表示强度特征点集合；pi表示第i个强度特征点；
Figure BDA0003765497790000125
表示 第i个强度特征点的校准强度值；M表示点云强度图；M(pi)为第i个强 度特征点在点云强度图M中的点强度值；
Figure BDA0003765497790000126
为强度特征目标方程
具体的，可理解为若点云配准出现退化，在配准优化中将强度特 征点与先前构建的点云强度图进行点云配准，配准过程中基于强度特 征目标方程，采用三线性插值的方法搜索点云强度图中强度特征点对 应的点，并采用LM算法迭代更新位姿变换
Figure BDA0003765497790000127
通过上述步骤得到位姿变换后，通过下述公式更新点云位姿，并 生成对应的位姿图：
Figure BDA0003765497790000128
其中，Tk为当前帧点云位姿；Tk-1为前一帧点云位姿。
S15、根据所述位姿图进行轨迹推算，构建定位地图，并通过后端 闭环检测优化所述位姿图，以及更新轨迹推算和定位地图；
后端闭环检测优化可理解为完成前端里程计后的回环优化，为了 保证计算效率，首先进行关键帧的选取，若当前帧满足位移显著、旋 转角度变化显著和经过一定的时间三个要求，则选取当前帧为关键帧， 并将关键帧存储在后端维护的位姿图中；在进行强度回环检测前，利 用几何特征，通过ICP配准几何一致性来检查候选帧(可能与当前选 取的关键帧构成回环的帧)的相似性，设置检测阈值来避免发生误匹 配，即从关键帧的几何和强度信息中提取ISC描述符，将空间按方位 角划分为扇形区域，按径向方向上的极坐标划分为环形区域，交叉得 到多个单元，采取单元内的最高强度作为单元的强度标识，并使用余弦距离公式对提取的描述符与候选描述符进行相似度计算，当相似度 得分小于设定阈值时，认定该候选帧为关键帧对应的回环帧，将对应 的回环边加入位姿图中进行优化；最后利用全局优化来纠正偏移。
定位地图的构建以及根据上述后端闭环检测优化后增量式地图的 更新均可参见现有技术实现，至此就构建了一个完整的激光雷达 SLAM系统。
本申请实施例通过在传统的几何点云配准方式下，引入了退化检 测的配准方式，在结构性特征明显的环境下通过几何信息进行匹配， 避免计算资源的损耗的同时，在点云退化场景采用提取强度特征和构 建的点云强度图进行配准优化，有效解决几何结构不明显的场景下激 光雷达SLAM失效的问题，相较于几何激光SLAM算法，该方法更加 准确和鲁棒，具有更高的应用价值。
需要说明的是，虽然上述流程图中的各个步骤按照箭头的指示依 次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除 非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这 些步骤可以以其它的顺序执行。
在一个实施例中，如图3所示，提供了一种基于几何信息和强度 信息的激光雷达slam系统，所述系统包括：
点云采集模块1，用于通过激光雷达采集物体点云；所述物体点云 包括各个点的三维坐标信息和对应的强度信息；
强度校准模块2，用于对所述物体点云内各个点的强度信息进行校 准，得到对应的校准物体点云；所述校准物体点云包括各个点的三维 坐标信息和对应的校准强度信息；
强度图构建模块3，用于根据所述校准物体点云，提取每帧点云的 几何特征点和强度特征点，并根据校准物体点云各个帧的强度特征点， 构建和更新点云强度图；
位姿估计模块4，用于根据几何特征点、强度特征点和点云强度图 进行点云配准，得到帧间位姿变换，并根据所述帧间位姿变换更新点 云位姿，以及根据各帧的点云位姿，生成位姿图；
地图构建模块5，用于根据所述位姿图进行轨迹推算，构建定位地 图，并通过后端闭环检测优化所述位姿图，以及更新轨迹推算和定位 地图。
关于一种基于几何信息和强度信息的激光雷达slam系统的具体限 定可以参见上文中对于一种基于几何信息和强度信息的激光雷达slam 方法的限定，在此不再赘述。上述一种基于几何信息和强度信息的激 光雷达slam系统中的各个模块可全部或部分通过软件、硬件及其组合 来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于 处理器调用执行以上各个模块对应的操作。
图4示出一个实施例中计算机设备的内部结构图，该计算机设备 具体可以是终端或服务器。如图4所示，该计算机设备包括通过系统 总线连接的处理器、存储器、网络接口、显示器和输入装置。其中， 该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存 储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有 操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系 统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外 部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一 种基于几何信息和强度信息的激光雷达slam方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装 置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的 按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域普通技术人员可以理解，图4中示出的结构，仅仅是与本 申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其 上的计算机设备的限定，具体的计算设备可以包括比图中所示更多或 更少的部件，或者组合某些部件，或者具有同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器 及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计 算机程序时实现上述方法的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有 计算机程序，计算机程序被处理器执行时实现上述方法的步骤。
综上，本发明实施例提供的一种基于几何信息和强度信息的激光 雷达slam方法、系统、计算机设备及存储介质，其基于几何信息和强 度信息的激光雷达slam方法实现了激光雷达采集物体点云，对物体点 云内各个点的强度信息进行校准得到校准物体点云，根据校准物体点 云提取每帧点云的几何特征点和强度特征点，并根据校准物体点云各 个帧的强度特征点，构建和更新点云强度图，再根据几何特征点、强 度特征点和点云强度图进行点云配准，得到帧间位姿变换，并更新点 云位姿生成对应的位姿图后，根据位姿图进行轨迹推算构建定位地图， 以及通过后端闭环检测优化位姿图，并更新轨迹推算和定位地图的技 术方案，该基于几何信息和强度信息的激光雷达slam方法，能够在几 何特征明显的环境采用强度特征辅助几何特征进行匹配实现快速点云 配准的同时，在退化环境中采用强度特征与强度图匹配进行配准优化， 有效解决退化环境激光雷达slam失效问题，提高了定位精准度且避免 了计算资源浪费，具有较高的实用价值。
本说明书中的各个实施例均采用递进的方式描述，各个实施例直 接相同或相似的部分互相参见即可，每个实施例重点说明的都是与其 他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似 于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部 分说明即可。需要说明的是，上述实施例的各技术特征可以进行任意 的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能 的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都 应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种优选实施方式，其描述较 为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当 指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明技 术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应 视为本申请的保护范围。因此，本申请专利的保护范围应以所述权利 要求的保护范围为准。

Claims (10)

1.一种基于几何信息和强度信息的激光雷达slam方法，其特征在于，所述方法包括以下步骤：
通过激光雷达采集物体点云；所述物体点云包括各个点的三维坐标信息和对应的强度信息；
对所述物体点云内各个点的强度信息进行校准，得到对应的校准物体点云；所述校准物体点云包括各个点的三维坐标信息和对应的校准强度信息；
根据所述校准物体点云，提取每帧点云的几何特征点和强度特征点，并根据校准物体点云各个帧的强度特征点，构建和更新点云强度图；
根据几何特征点、强度特征点和点云强度图进行点云配准，得到帧间位姿变换，并根据所述帧间位姿变换更新点云位姿，以及根据各帧的点云位姿，生成对应的位姿图；
根据所述位姿图进行轨迹推算，构建定位地图，并通过后端闭环检测优化所述位姿图，以及更新轨迹推算和定位地图。
2.如权利要求1所述的基于几何信息和强度信息的激光雷达slam方法，其特征在于，所述对所述物体点云内各个点的强度信息进行校准，得到对应的校准物体点云的步骤包括：
根据所述物体点云构建物体平面，并对所述物体平面进行局部法线分析，得到激光束入射角；
根据激光束入射角和激光雷达探测的物体距离，对各个点的强度信息进行校准，得到对应的校准强度信息；所述校准强度信息表示为：
Figure FDA0003765497780000011
其中，ηall为常量；ρ为物体的材料反射率；α为激光束入射角；R为激光雷达探测的物体距离。
3.如权利要求1所述的基于几何信息和强度信息的激光雷达slam方法，其特征在于，所述根据所述校准物体点云，提取每帧点云的几何特征点和强度特征点的步骤包括：
对所述校准物体点云进行地面分割，得到地面点；
计算每帧点云内各点的曲率信息，并将每帧点云按照第一预设数目分段，得到分段点云；
将各个分段点云按照对应的曲率信息进行降序排列，自上而下筛选出第二预设数目的非地面点作为边缘点，以及自下而上筛选出第二预设数目的平面点；
根据预设强度阈值，筛选得到各个分段点云的有效强度点，并对所述有效强度点进行统计分析，得到对应的强度特征点。
4.如权利要求3所述的基于几何信息和强度信息的激光雷达slam方法，其特征在于，所述对所述有效强度点进行统计分析，得到对应的强度特征点的步骤包括：
对有效强度点的校准强度信息进行统计，得到校准强度信息中值；
将有效强度点中校准强度信息大于校准强度信息中值的点提取为对应的强度特征点。
5.如权利要求1所述的基于几何信息和强度信息的激光雷达slam方法，其特征在于，所述根据强度特征点，构建和更新点云强度图的步骤包括：
根据预设栅格尺寸，构建栅格地图，并将所述栅格地图的各个网格单元采用第一帧点云的强度特征点的强度校准值进行初始化，得到点云强度图；
将当前帧点云与前一帧点云的点云强度图进行配准，并采用当前帧点云的强度特征点的强度校准值更新所述点云强度图；所述点云强度图的更新公式为：
Figure FDA0003765497780000021
其中，mi为网格单元；M(mi∣zt)为当前帧网格mi的强度值，M(mi∣zk-1)为前一帧网格mi的强度值；
Figure FDA0003765497780000031
为校准物体点云的帧数，
Figure FDA0003765497780000032
为校准物体点云的强度校准值。
6.如权利要求1所述的基于几何信息和强度信息的激光雷达slam方法，其特征在于，所述根据几何特征点、强度特征点和点云强度图进行点云配准，得到帧间位姿变换的步骤包括：
根据各个帧的边缘点建立点到线距离最小约束，以及根据各个帧的平面点建立点到面距离最小约束；
根据所述点到线距离最小约束和点到面距离最小约束，构建几何特征目标方程；所述几何特征目标方程表示为：
Figure FDA0003765497780000033
式中，
Figure FDA0003765497780000034
Figure FDA0003765497780000035
其中，Pe表示第k帧边缘点集合；pie表示第k帧的第i个边缘点；(pje,ple)表示在第k-1帧点云中搜索的一对匹配点；Ps表示第k帧平面点集合；pis表示第k帧的第i个平面点；(pjs,pls,pms)表示在第k-1帧点云中搜索的3个匹配点；T*为几何特征目标方程；
Figure FDA0003765497780000036
表示第k帧和第k-1帧的帧间位姿变换；
根据所述几何特征目标方程进行点云配准，并采用LM算法求解得到帧间位姿变换。
7.如权利要求6所述的基于几何信息和强度信息的激光雷达slam方法，其特征在于，所述根据所述几何特征目标方程进行点云配准，得到帧间位姿变换的步骤包括：
根据所述几何特征目标方程，构建退化检测矩阵，并根据所述退化检测矩阵的最小特征值进行点云配准退化检测，得到退化检测结果；
判断所述退化检测结果是否为存在退化，若是，则根据强度特征点和点云强度图，构建强度特征约束，并建立对应的强度特征目标方程，以及根据强度特征目标方程进行点云配准，并采用LM算法求解更新帧间位姿变换；所述强度特征目标方程表示为：
Figure FDA0003765497780000041
式中，
Figure FDA0003765497780000042
其中，PI表示强度特征点集合；pi表示第i个强度特征点；
Figure FDA0003765497780000043
表示第i个强度特征点的校准强度值；M表示点云强度图；M(pi)为第i个强度特征点在点云强度图M中的点强度值；
Figure FDA0003765497780000044
为强度特征目标方程。
8.一种基于几何信息和强度信息的激光雷达slam系统，其特征在于，所述系统包括：
点云采集模块，用于通过激光雷达采集物体点云；所述物体点云包括各个点的三维坐标信息和对应的强度信息；
强度校准模块，用于对所述物体点云内各个点的强度信息进行校准，得到对应的校准物体点云；所述校准物体点云包括各个点的三维坐标信息和对应的校准强度信息；
强度图构建模块，用于根据所述校准物体点云，提取每帧点云的几何特征点和强度特征点，并根据校准物体点云各个帧的强度特征点，构建和更新点云强度图；
位姿估计模块，用于根据几何特征点、强度特征点和点云强度图进行点云配准，得到帧间位姿变换，并根据所述帧间位姿变换更新点云位姿，以及根据各帧的点云位姿，生成位姿图；
地图构建模块，用于根据所述位姿图进行轨迹推算，构建定位地图，并通过后端闭环检测优化所述位姿图，以及更新轨迹推算和定位地图。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一所述方法的步骤。
CN202210890133.5A 2022-07-26 2022-07-26 基于几何信息和强度信息的激光雷达slam方法及系统 Pending CN115248439A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210890133.5A CN115248439A (zh) 2022-07-26 2022-07-26 基于几何信息和强度信息的激光雷达slam方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210890133.5A CN115248439A (zh) 2022-07-26 2022-07-26 基于几何信息和强度信息的激光雷达slam方法及系统

Publications (1)

Publication Number Publication Date
CN115248439A true CN115248439A (zh) 2022-10-28

Family

ID=83699962

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210890133.5A Pending CN115248439A (zh) 2022-07-26 2022-07-26 基于几何信息和强度信息的激光雷达slam方法及系统

Country Status (1)

Country Link
CN (1) CN115248439A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115790618A (zh) * 2022-11-03 2023-03-14 中科天极(新疆)空天信息有限公司 基于激光雷达的slam定位方法、系统及存储介质
CN116734830A (zh) * 2023-05-17 2023-09-12 中山大学 一种激光雷达同时定位与建图的方法及系统
CN116819544A (zh) * 2023-07-03 2023-09-29 广州赛特智能科技有限公司 一种激光定位方法、装置、设备及存储介质
CN117470280A (zh) * 2023-12-21 2024-01-30 绘见科技(深圳)有限公司 激光slam实时精度评估方法、装置、介质和设备
CN118031976A (zh) * 2024-04-15 2024-05-14 中国科学院国家空间科学中心 一种探索未知环境的人机协同系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115790618A (zh) * 2022-11-03 2023-03-14 中科天极(新疆)空天信息有限公司 基于激光雷达的slam定位方法、系统及存储介质
CN115790618B (zh) * 2022-11-03 2023-09-01 中科天极(新疆)空天信息有限公司 基于激光雷达的slam定位方法、系统及存储介质
CN116734830A (zh) * 2023-05-17 2023-09-12 中山大学 一种激光雷达同时定位与建图的方法及系统
CN116819544A (zh) * 2023-07-03 2023-09-29 广州赛特智能科技有限公司 一种激光定位方法、装置、设备及存储介质
CN117470280A (zh) * 2023-12-21 2024-01-30 绘见科技(深圳)有限公司 激光slam实时精度评估方法、装置、介质和设备
CN117470280B (zh) * 2023-12-21 2024-04-05 绘见科技(深圳)有限公司 激光slam实时精度评估方法、装置、介质和设备
CN118031976A (zh) * 2024-04-15 2024-05-14 中国科学院国家空间科学中心 一种探索未知环境的人机协同系统
CN118031976B (zh) * 2024-04-15 2024-07-09 中国科学院国家空间科学中心 一种探索未知环境的人机协同系统

Similar Documents

Publication Publication Date Title
CN115248439A (zh) 基于几何信息和强度信息的激光雷达slam方法及系统
CN111612760B (zh) 用于检测障碍物的方法和装置
CN110322500B (zh) 即时定位与地图构建的优化方法及装置、介质和电子设备
CN111968229B (zh) 高精度地图制图方法及装置
CN110807350A (zh) 用于面向扫描匹配的视觉slam的系统和方法
CN112731371A (zh) 一种激光雷达与视觉融合的集成化目标跟踪系统及方法
CN111507204A (zh) 倒计时信号灯的检测方法、装置、电子设备及存储介质
CN116485856B (zh) 一种基于语义分割的无人机图像地理配准方法及相关设备
CN114063098A (zh) 多目标跟踪方法、装置、计算机设备和存储介质
Yang et al. Automated wall‐climbing robot for concrete construction inspection
CN114332633B (zh) 雷达图像目标检测识别方法、设备和存储介质
CN113361499A (zh) 基于二维纹理和三维姿态融合的局部对象提取方法、装置
CN116844129A (zh) 多模态特征对齐融合的路侧目标检测方法、系统及装置
CN113971697B (zh) 一种空地协同车辆定位定向方法
CN111812978A (zh) 一种多无人机协作slam方法与系统
CN112085842B (zh) 深度值确定方法及装置、电子设备和存储介质
CN116642490A (zh) 基于混合地图的视觉定位导航方法、机器人及存储介质
CN115239899B (zh) 位姿图生成方法、高精地图生成方法和装置
Sohn et al. Sequential modelling of building rooftops by integrating airborne LiDAR data and optical imagery: preliminary results
CN114612572A (zh) 一种基于深度学习的激光雷达与相机外参标定方法及装置
CN113763468A (zh) 一种定位方法、装置、系统及存储介质
Persson et al. Fusion of aerial images and sensor data from a ground vehicle for improved semantic mapping
CN111462321A (zh) 点云地图处理方法、处理装置、电子装置和车辆
Li et al. A Study on the Performance Improvement of a Conical Bucket Detection Algorithm Based on YOLOv8s
CN115620030B (zh) 一种图像匹配方法、装置、设备、介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination