CN116558522A - 一种基于激光视觉融合数据的大场景重定位方法 - Google Patents

一种基于激光视觉融合数据的大场景重定位方法 Download PDF

Info

Publication number
CN116558522A
CN116558522A CN202310464311.2A CN202310464311A CN116558522A CN 116558522 A CN116558522 A CN 116558522A CN 202310464311 A CN202310464311 A CN 202310464311A CN 116558522 A CN116558522 A CN 116558522A
Authority
CN
China
Prior art keywords
pose
point cloud
map
matching
repositioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310464311.2A
Other languages
English (en)
Inventor
陈国迎
何凯歌
王子昂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202310464311.2A priority Critical patent/CN116558522A/zh
Publication of CN116558522A publication Critical patent/CN116558522A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明适用于激光雷达定位技术领域，提供了一种基于激光视觉融合数据的大场景重定位方法，包括如下步骤：步骤1：创建激光点云地图；利用车载激光雷达对大场景环境进行建图，生成激光点云地图；步骤2：获取初始位姿估计值；根据步骤1创建的激光点云地图，利用当前获取的点云帧，与地图中的特征点进行匹配，并进行优化，最终计算得到车辆当前位姿；步骤3：根据视觉数据进行匹配获取位姿；首先对图像信息提取特征点，计算描述子；根据当前图像已有的特征向量进行匹配，计算出图像与地图之间的相对位姿变换，并优化位姿以便获得更精确的位姿估计值；步骤4：获取重定位位姿。

Description

一种基于激光视觉融合数据的大场景重定位方法
技术领域
本发明属于激光雷达定位技术领域，尤其涉及一种基于激光视觉融合数据的大场景重定位方法。
背景技术
随着人工智能和大数据科技的高速发展，自动驾驶技术在计算机和传感器等相关技术的推动下得到了飞速发展。同步定位与建图、的概念最早于上世纪80年代被提出，起源于机器人领域。SLAM主要解决的问题是携带传感器的运动物体，在运动过程中如何对自身进行定位，同时对周围的环境进行建图。
虽然现有的SLAM技术已经取得了诸多成果，例如LeGO-LOAM、LIO-SAM、ORB-SLAM2、VINS-Mono等视觉与激光SLAM框架在静态环境中拥有出色的表现。当前，在移动机器人、自主驾驶等领域中，激光SLAM技术和视觉SLAM技术都有着广泛应用。但是，在大场景下，仅仅使用单一的SLAM技术进行定位和建图会存在诸多问题。例如，激光SLAM需要依赖地图匹配进行重定位，但是由于大场景的变化性和不可预知性，地图的匹配效果会受到影响。而视觉SLAM又会受到光照变化、遮挡等因素的影响，导致定位精度下降。
因此，需要一种能够克服以上问题，实现高精度定位和建图的方法和装置。
发明内容
本发明的目的在于提供一种基于激光视觉融合数据的大场景重定位方法，旨在通过激光传感器和相机传感器采集场景数据，利用激光SLAM技术和视觉SLAM技术进行建图和定位。
本发明是这样实现的，一种基于激光视觉融合数据的大场景重定位方法，包括以下步骤：
步骤1：利用激光雷达和相机构建重定位点云地图；
步骤2：利用激光数据进行初步的定位，获取初始位姿估计值；
步骤3：利用视觉数据获取当前场景的图像特征，并利用图像特征与先前建立的地图进行匹配，获取匹配的位姿；
步骤4：利用初始位姿估计值和匹配的位姿进行优化，得到最终的重定位位姿。
进一步的技术方案，所述的步骤1具体步骤包括：
1.1使用激光雷达采集所需建立的大场景环境中的点云数据。
1.2对采集到的点云数据进行预处理，包括去噪、滤波、聚类等操作；
1.3.将处理后的点云数据通过点云配准算法建立初始点云地图；
1.4.随着车辆或机器人的移动，不断采集新的点云数据，并通过点云配准算法将其加入到已有的点云地图中；
1.5将新的点云数据与已有的点云地图进行融合和更新，保证点云地图的实时性和准确性；
1.6在点云地图中设置关键帧，便于后续的重定位操作；
1.7将更新后的点云地图保存下来，以便后续的重定位操作使用。
进一步的技术方案，所述步骤2的具体步骤包括：
2.1首先需要对激光数据进行去噪和滤波，以减少数据噪声和误差；
2.2从处理后的激光数据中提取特征点，常见的特征点提取方法包括通过计算点云附近点的曲率对点云数据进行分类，分为角点和面点；
2.3将当前帧提取的特征点与地图中的特征点进行匹配，得到一个初步的位姿估计值；
2.4利用激光数据和位姿估计值，估计当前帧与上一帧之间的相对运动，以进一步优化位姿估计值；
2.5利用优化方法(如非线性优化)对位姿估计值进行优化，得到更精确的位姿估计值。
进一步的技术方案，所述步骤2.2的具体步骤包括：
2.2.1首先对激光点云数据进行体素网格化处理；
2.2.2根据曲率计算公式，选取左右十个点，计算每个体素中点云的曲率信息；
2.2.3对于每个点，根据其所在的体素中曲率的大小和法向量的方向，判断该点是否为曲率特征点。
进一步的技术方案，所述步骤3的具体步骤包括：
3.1使用特征点检测算法ORB，从图像中提取出具有良好可重复性和区分性的特征点；
3.2对于提取出的特征点，通过使用特征描述算法ORB描述子，将其转化为可用于匹配的特征向量；
3.3将当前图像的特征向量与地图中已有的特征向量进行匹配，找到地图中与当前图像最相似的特征点；
3.4通过匹配的特征点，计算出当前图像与地图之间的相对位姿变换；
3.5将通过匹配的位姿与先前的位姿进行优化，通过使用图优化算法得到更加精确的位姿估计值；
3.6对优化后的位姿估计值进行误差判断和优化，判断匹配结果是否可靠，如果可靠，则更新当前位姿状态；如果不可靠，则需要重新匹配或使用其他传感器信息来辅助定位。
进一步的技术方案，所述步骤3.3的具体步骤包括：
3.3.1对当前帧的图像进行特征点提取和匹配，得到当前帧中的特征点和其在地图中对应的点；
3.3.2根据匹配的特征点，估计当前帧相对于地图的初始位姿，使用RANSAC算法进行位姿估计；
3.3.3利用ICP算法，进一步优化相对位姿的精度，得到更准确的相对位姿变换；
3.3.4将得到的相对位姿变换与地图中的绝对位姿相结合，即可得到当前帧的绝对位姿。
进一步的技术方案，所述步骤4的具体步骤包括：
4.1将初始位姿估计值和匹配的位姿作为变量，利用约束条件将它们联合优化；
4.2利用重定位位姿优化问题中的约束条件对变量进行限制，这些约束条件包括激光雷达数据和图像数据的匹配误差、位姿变化的平滑性等；
4.3将上述约束条件带入到优化问题中，采用优化算法求解得到最优的重定位位姿；
4.4将新的重定位位姿应用到地图中，更新地图中的点云数据和图像数据，使得地图与环境保持一致；
4.5根据重定位位姿的误差大小和优化收敛情况，判断重定位是否成功。如果重定位失败，则需要重新进行位姿估计和匹配；
进一步的技术方案，所述步骤4.3的具体步骤包括：
4.3.1将点云地图中的特征点与当前图像中的特征点进行匹配，得到匹配点对及其对应的特征描述子；
4.3.2通过这些匹配点对，可以构建初始位姿估计值与匹配位姿之间的约束条件，将其带入到优化问题中；
4.3.3将点云地图中的点投影到当前相机坐标系下，得到对应的二维像素坐标。通过这些投影点与当前图像中的特征点进行匹配，得到匹配点对并计算及其对应的相对位姿变换。将这些匹配点对的相对位姿变换带入到优化问题中，作为相机位姿与点云地图之间的约束条件；
4.3.4将以上约束带入到优化函数中，使用优化算法求解出最优的重定位位姿。
相较于现有技术，本发明的有益效果如下：
本发明提供的一种基于激光视觉融合数据的大场景重定位方法，利用初始位姿估计值和匹配的位姿进行优化，得到最终的重定位位姿；将新的点云数据与已有的点云地图进行融合和更新，保证点云地图的实时性和准确性；在点云地图中设置关键帧，便于后续的重定位操作；将更新后的点云地图保存下来，以便后续的重定位操作使用；
本发明提供的一种基于激光视觉融合数据的大场景重定位方法，利用激光数据和位姿估计值，估计当前帧与上一帧之间的相对运动，进一步优化位姿估计值；利用优化方法(如非线性优化)对位姿估计值进行优化，得到更精确的位姿估计值；
本发明提供的一种基于激光视觉融合数据的大场景重定位方法，根据匹配的特征点，估计当前帧相对于地图的初始位姿，使用RANSAC算法进行位姿估计；利用ICP算法，进一步优化相对位姿的精度，得到更准确的相对位姿变换；其中ICP对给定的两组点云进行迭代，并获取最优的刚体变换矩阵。
附图说明
图1为本发明提供一种基于激光视觉融合数据的大场景重定位方法的流程图。
图2为本发明提供一种基于激光视觉融合数据的大场景重定位方法的结构框架图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下结合具体实施例对本发明的一种基于激光视觉融合数据的大场景重定位方法,具体实现进行详细描述。
如图1-图2所示，为本发明提供的所述方法包括：
步骤1，利用激光雷达和相机构建重定位点云地图。
具体实现步骤如下：
1.1启动车载激光雷达，以平稳的车速驾驶于目标场景中，采集所需建立的大场景环境中的点云数据；
1.2对采集到的点云数据进行去噪、滤波、点云聚类等操作，此操作称为点云的预处理；
1.3.将处理后的点云数据通过点云配准算法建立初始点云地图；
1.4.随着车辆的移动，不断获取新的环境点云数据，通过点云配准算法将其加入到已有的点云地图中；
1.5将新的点云数据与已有的点云地图进行融合和更新，保证点云地图的实时性和准确性；
1.6在点云地图中设置关键帧，便于后续的重定位操作；
1.7将更新后的点云地图保存下来(.pcd格式)，以便后续的重定位操作使用。步骤2：利用激光数据进行初步的定位，获取初始位姿估计值；
2.1首先需要对激光数据进行去噪和滤波，以减少数据噪声和误差；
2.2从处理后的激光数据中提取特征点，常见的特征点提取方法包括通过计算点云附近点的曲率对点云数据进行分类，分为角点和面点；
2.3将当前帧提取的特征点与地图中的特征点进行匹配，得到一个初步的位姿估计值；
2.4利用激光数据和位姿估计值，估计当前帧与上一帧之间的相对运动，以进一步优化位姿估计值；
2.5利用优化方法(如非线性优化)对位姿估计值进行优化，得到更精确的位姿估计值。
进一步的技术方案，所述步骤2.2的具体步骤包括：
2.2.1首先对激光点云数据进行体素网格化处理；
2.2.2根据曲率计算公式：
选取左右共十个点，计算每个体素中点云的曲率信息。根据曲率的大小可以分为角点，平面点。储存在对应的容器内，便于后续进行点线配准和点面配准操作；
2.2.3对于每个点，根据其所在的体素中曲率的大小和法向量的方向，判断该点是否为曲率特征点。
步骤3：利用视觉数据获取当前场景的图像特征，并利用图像特征与先前建立的地图进行匹配，获取匹配的位姿；
3.1使用特征点检测算法ORB，使用FAST算法检测图像中的角点，并计算每个角点的尺度和方向。从图像中提取出具有良好可重复性和区分性的特征点；
3.2对于提取出的特征点，通过使用特征描述算法ORB描述子，将其转化为可用于匹配的特征向量；
3.3将当前图像的特征向量与地图中已有的特征向量进行匹配，找到地图中与当前图像最相似的特征点；
3.4通过匹配的特征点，计算出当前图像与地图之间的相对位姿变换；
3.5将通过匹配的位姿与先前的位姿进行优化，通过使用图优化算法得到更加精确的位姿估计值；
3.6对优化后的位姿估计值进行误差判断和优化，判断匹配结果是否可靠，如果可靠，则更新当前位姿状态；如果不可靠，则需要重新匹配或使用其他传感器信息来辅助定位。
进一步的技术方案，所述步骤3.3的具体步骤包括：
3.3.1对当前帧的图像进行特征点提取和匹配，得到当前帧中的特征点和其在地图中对应的点；
3.3.2根据匹配的特征点，估计当前帧相对于地图的初始位姿，使用RANSAC算法进行位姿估计；
3.3.3利用lCP算法，进一步优化相对位姿的精度，得到更准确的相对位姿变换。其中lCP对给定的两组点云进行迭代，并获取最优的刚体变换矩阵。首先给定两组匹配好的点云P和P1并对分别求出质心p和p′并构建误差项：
ei＝pi-(Rpi′+t)
其中，pi和p′i分别是P和P1中的点云。根据最小二乘法获取到:
左项仅与旋转矩阵R相关，右项与R和t有关的式子，根据得到的结果，两步求解出相对的刚体变换T；
3.3.4将得到的相对位姿变换与地图中的绝对位姿相结合，即可得到当前帧的绝对位姿。
步骤4：利用初始位姿估计值和匹配的位姿进行优化，得到最终的重定位位姿；
4.1将初始位姿估计值和匹配的位姿作为变量，利用约束条件将它们联合优化，可以利用Rviz界面工具栏中的“2D Pose Estimate”在点云地图中手动指定初始位姿；
4.2利用重定位位姿优化问题中的约束条件对变量进行限制，这些约束条件包括激光雷达数据和图像数据的匹配误差、位姿变化的平滑性等；
4.3将约束条件带入到优化问题中，采用优化算法求解得到最优的重定位位姿；
4.4将新的重定位位姿应用到地图中，更新地图中的点云数据和图像数据，使得地图与环境保持一致；
4.5根据重定位位姿的误差大小和优化收敛情况，判断重定位位姿误差是否小于给定的阈值，如果小于阈值，则认为重定位成功，结束本次重定位。如果重定位位姿误差大于等于阈值，或者优化收敛情况不好，则需要重新进行位姿估计和匹配。如需重新进行位姿估计，将采取包括利用激光数据获取初始位姿估计值，以及利用视觉数据获取当前场景的图像特征，并与先前建立的地图进行匹配，获取当前匹配的位姿。
进一步的技术方案，所述步骤4.3的具体步骤包括：
4.3.1将点云地图中的特征点与当前图像中的特征点进行匹配，得到匹配点对及其对应的特征描述子；
4.3.2通过这些匹配点对，可以构建初始位姿估计值与匹配位姿之间的约束条件，将其带入到优化问题中；
4.3.3将点云地图中的点投影到当前相机坐标系下，得到对应的二维像素坐标。通过这些投影点与当前图像中的特征点进行匹配，得到匹配点对并计算及其对应的相对位姿变换。将这些匹配点对的相对位姿变换带入到优化问题中，作为相机位姿与点云地图之间的约束条件；
4.3.4将以上约束带入到优化函数中，使用优化算法求解出最优的重定位位姿。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (7)

1.一种基于激光视觉融合数据的大场景重定位方法，其特征在于，包括如下步骤：
步骤1：创建激光点云地图；
利用车载激光雷达对大场景环境进行建图，生成激光点云地图；
步骤2：获取初始位姿估计值；
根据步骤1创建的激光点云地图，利用当前获取的点云帧，与地图中的特征点进行匹配，并进行优化，最终计算得到车辆当前位姿；
步骤3：根据视觉数据进行匹配获取位姿；
首先对图像信息提取特征点，计算描述子；根据当前图像已有的特征向量进行匹配，计算出图像与地图之间的相对位姿变换，并优化位姿以便获得更精确的位姿估计值；
步骤4：获取重定位位姿；
根据步骤2和3所获得的初始位姿和匹配位姿作为变量；利用约束条件进行联合优化获取重定位位姿。
2.根据权利要求1所述的一种基于激光视觉融合数据的大场景重定位方法，其特征在于：在步骤1中，具体包括如下步骤：
步骤1.1：使用激光雷达采集所需建立的大场景环境中的点云数据；
步骤1.2：对采集到的点云数据进行预处理，包括去噪、滤波以及聚类；
步骤1.3：将处理后的点云数据通过点云配准算法建立初始点云地图；
步骤1.4：随着车辆或机器人的移动，不断采集新的点云数据，并通过点云配准算法将其加入到已有的点云地图中；
步骤1.5：将新的点云数据与已有的点云地图进行融合和更新；
步骤1.6：在点云地图中设置关键帧；
步骤1.7：将更新后的点云地图保存下来。
3.根据权利要求1所述的一种基于激光视觉融合数据的大场景重定位方法，其特征在于：在步骤2中，具体包括如下步骤：
步骤2.1：首先对激光数据进行去噪和滤波；
步骤2.2：从处理后的激光数据中提取特征点；
步骤2.3：将当前帧提取的特征点与地图中的特征点进行匹配，得到一个初步的位姿估计值；
步骤2.4：利用激光数据和位姿估计值，估计当前帧与上一帧之间的相对运动，以进一步优化位姿估计值；
步骤2.5：利用优化方法对位姿估计值进行优化。
4.根据权利要求3所述的一种基于激光视觉融合数据的大场景重定位方法，其特征在于：在步骤2.3中，处理点云数据，具体包括如下步骤：
步骤2.3.1：首先对激光点云数据进行体素网格化处理；
步骤2.3.2：根据曲率计算公式，选取左右多个点，计算每个体素中点云的曲率信息；
步骤2.3.3：对于每个点，根据其所在的体素中曲率的大小和法向量的方向，判断该点是否为曲率特征点。
5.根据权利要求1所述的一种基于激光视觉融合数据的大场景重定位方法，其特征在于：在步骤3中，具体包括如下步骤：
步骤3.1：使用特征点检测算法ORB，从图像中提取出具有可重复性和区分性的特征点；
步骤3.2：对于提取出的特征点，通过使用特征描述算法ORB描述子，将其转化为可用于匹配的特征向量；
步骤3.3：将当前图像的特征向量与地图中已有的特征向量进行匹配，找到地图中与当前图像最相似的特征点；
步骤3.4：通过匹配的特征点，计算出当前图像与地图之间的相对位姿变换；
步骤3.5：将通过匹配的位姿与先前的位姿进行优化，通过使用图优化算法得到更加精确的位姿估计值；
步骤3.6：对优化后的位姿估计值进行误差判断和优化，判断匹配结果是否可靠，如果可靠，则更新当前位姿状态；如果不可靠，则需要重新匹配或使用其他传感器信息来辅助定位。
6.根据权利要求1所述的一种基于激光视觉融合数据的大场景重定位方法，其特征在于：在步骤4中，具体包括如下步骤：
步骤4.1：将初始位姿估计值和匹配的位姿作为变量，利用约束条件将它们联合优化；
步骤4.2：利用重定位位姿优化问题中的约束条件对变量进行限制；
步骤4.3：将上述约束条件带入到优化问题中，采用优化算法求解得到最优的重定位位姿；
步骤4.4：将新的重定位位姿应用到地图中，更新地图中的点云数据和图像数据，使得地图与环境保持一致；
步骤4.5：根据重定位位姿的误差大小和优化收敛情况，判断重定位是否成功；如果重定位失败，则需要重新进行位姿估计和匹配。
7.根据权利要求6所述的一种基于激光视觉融合数据的大场景重定位方法，其特征在于：在步骤4.3中，设计自适应MPC横向控制器，具体包括如下步骤：
步骤4.3.1：将点云地图中的特征点与当前图像中的特征点进行匹配，得到匹配点对及其对应的特征描述子；
步骤4.3.2：通过这些匹配点对，可以构建初始位姿估计值与匹配位姿之间的约束条件，将其带入到优化问题中；
步骤4.3.3：将点云地图中的点投影到当前相机坐标系下，得到对应的二维像素坐标；通过这些投影点与当前图像中的特征点进行匹配，得到匹配点对并计算及其对应的相对位姿变换；将这些匹配点对的相对位姿变换带入到优化问题中，作为相机位姿与点云地图之间的约束条件；
步骤4.3.4：将以上约束带入到优化函数中，使用优化算法求解出最优的重定位位姿。
CN202310464311.2A 2023-04-27 2023-04-27 一种基于激光视觉融合数据的大场景重定位方法 Pending CN116558522A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310464311.2A CN116558522A (zh) 2023-04-27 2023-04-27 一种基于激光视觉融合数据的大场景重定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310464311.2A CN116558522A (zh) 2023-04-27 2023-04-27 一种基于激光视觉融合数据的大场景重定位方法

Publications (1)

Publication Number Publication Date
CN116558522A true CN116558522A (zh) 2023-08-08

Family

ID=87490858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310464311.2A Pending CN116558522A (zh) 2023-04-27 2023-04-27 一种基于激光视觉融合数据的大场景重定位方法

Country Status (1)

Country Link
CN (1) CN116558522A (zh)

Similar Documents

Publication Publication Date Title
CN110261870B (zh) 一种用于视觉-惯性-激光融合的同步定位与建图方法
CN112634451B (zh) 一种融合多传感器的室外大场景三维建图方法
CN110322500B (zh) 即时定位与地图构建的优化方法及装置、介质和电子设备
CN112734852B (zh) 一种机器人建图方法、装置及计算设备
CN112396595B (zh) 一种动态环境下基于点线特征的语义slam方法
CN102722697B (zh) 一种无人飞行器视觉自主导引着陆的目标跟踪方法
CN108776989B (zh) 基于稀疏slam框架的低纹理平面场景重建方法
CN112435262A (zh) 基于语义分割网络和多视图几何的动态环境信息检测方法
CN110349212B (zh) 即时定位与地图构建的优化方法及装置、介质和电子设备
CN112381841A (zh) 一种动态场景下基于gms特征匹配的语义slam方法
CN109493385A (zh) 一种结合场景点线特征的移动机器人室内自主定位方法
CN112419497A (zh) 基于单目视觉的特征法与直接法相融合的slam方法
CN113744315B (zh) 一种基于双目视觉的半直接视觉里程计
CN111998862A (zh) 一种基于bnn的稠密双目slam方法
CN116468786B (zh) 一种面向动态环境的基于点线联合的语义slam方法
CN112967340A (zh) 同时定位和地图构建方法、装置、电子设备及存储介质
CN112541423A (zh) 一种同步定位与地图构建方法和系统
CN117934721A (zh) 基于视触融合的空间机器人对目标航天器重建方法与系统
CN114494150A (zh) 一种基于半直接法的单目视觉里程计的设计方法
CN116879870A (zh) 一种适用于低线束3d激光雷达的动态障碍物去除方法
CN117367427A (zh) 一种适用于室内环境中的视觉辅助激光融合IMU的多模态slam方法
CN108694348B (zh) 一种基于自然特征的跟踪注册方法及装置
Lebegue et al. Extraction and interpretation of semantically significant line segments for a mobile robot
CN112446885A (zh) 一种动态环境下基于改进的语义光流法的slam方法
CN117036484A (zh) 一种基于几何和语义的视觉定位与建图方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination