CN114993293B - 室内弱纹理环境下移动无人系统同步定位与建图方法 - Google Patents

室内弱纹理环境下移动无人系统同步定位与建图方法 Download PDF

Info

Publication number
CN114993293B
CN114993293B CN202210898580.5A CN202210898580A CN114993293B CN 114993293 B CN114993293 B CN 114993293B CN 202210898580 A CN202210898580 A CN 202210898580A CN 114993293 B CN114993293 B CN 114993293B
Authority
CN
China
Prior art keywords
point
line
blanking
information
blanking point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210898580.5A
Other languages
English (en)
Other versions
CN114993293A (zh
Inventor
董洋洋
徐即墨
张子建
王寅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202210898580.5A priority Critical patent/CN114993293B/zh
Publication of CN114993293A publication Critical patent/CN114993293A/zh
Application granted granted Critical
Publication of CN114993293B publication Critical patent/CN114993293B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种室内弱纹理环境下移动无人系统同步定位与建图方法，包括提取、跟踪图像的点特征与LSD线特征，并基于所提取的线特征进一步提取消隐点以对所提取的线特征进行分组，使用紧耦合的方式融合视觉与惯性信息，构建基于滑动窗口的非线性优化后端，将点特征、线特征的重投影误差、消隐点残差和IMU测量误差共同纳入滑动窗口中；本发明引入了线特征并基于消隐点对线特征分组，得到具有方向信息的结构线条，还将线特征观测残差与消隐点残差纳入后端非线性优化框架中，解决了基于点特征的视觉惯性slam系统易跟踪丢失、稳定性差的问题，具有在室内弱纹理环境中定位精度高、鲁棒性强的优势。

Description

室内弱纹理环境下移动无人系统同步定位与建图方法
技术领域
本发明提供了一种室内弱纹理环境下移动无人系统同步定位与建图方法，属于移动无人系统自主定位导航技术应用领域。
背景技术
在实现无人系统自动化的过程中，其中一大关键要素便是无人系统能够安全地在环境中移动并达到给定目标点。为了实现这个目标，就需要解决无人系统领域中的定位、地图构建和导航问题。实时估计无人系统自身在环境中的位姿即定位问题，根据位姿对周围环境进行建模即地图构建问题。在已知其中一个的前提下，求解另一个问题往往比较容易。然而在未知环境中，无人系统既没有先验地图来完成定位，也没有精确的位姿来完成建图，就需要采用同步定位与地图构建（Simultaneous Localization and Mapping）SLAM技术，它是指搭载特定传感器的主体，在没有环境先验信息的情况下，于运动过程中建立环境的模型，同时估计自己的运动。
在SLAM问题中，无人系统位姿估计和环境构建均依赖传感器的测量信息，并根据不同的运行环境采用不同的传感器。各种传感器在定位和导航领域均有着广泛的应用，视觉传感器可以提供较精确的环境观测信息，但存在尺度模糊，快速运动或光强变化大环境测量不稳定的缺陷。IMU可以提供自身三轴线加速度和角速度信息，但通过连续积分估计自身姿态，随着时间增长，累积误差会快速增长。图像信息可以有效校正惯性导航中的漂移问题，惯性导航信息可以弥补图像测量尺度模糊及弱纹理环境误差较大的问题。
为了获得更高的定位精度，将视觉传感器与IMU融合是一种有效的途径。根据对图像的处理方式不同，可以分为直接法和特征点法。特征点法又被称为间接法，最早源于经典SLAM中的特征跟踪算法，其主要提取图像中具有不变性质的一些特征，通过特征匹配、特征跟踪等过程，计算特征逆投影误差，在相应的几何约束下实现位姿的估计。直接法从光流法演变而来，其基本假设是相同场景的光强具有一致性。它采用图像所有的像素信息，通过最小化光度误差来估计相机的位姿变化。
目前主流的视觉 SLAM 包括视觉惯性融合的 SLAM 系统都是采用提取图像中的特征点作为视觉观测，而当环境纹理信息不丰富时则无法提取足够多准确可靠的特征点，SLAM 系统的定位效果就会大大降低，甚至直接造成系统定位失败。
发明内容
多数视觉惯性融合系统仅将点特征作为视觉信息，在快速运动、弱纹理、弱照明及光照变化明显等场景中鲁棒性差，而线特征则在以上场景具有良好表现，且基于线特征构建的三维空间地图具有较好的结构性，可为之后导航提供语义信息。有鉴于此，本发明旨在提出一种面向室内弱纹理环境的基于点线特征的视觉惯性同步定位与建图方法，以能够在弱纹理场景下依然鲁棒且保证高定位精度。
为了实现上述目的，本发明提供的技术方案是：
一种室内弱纹理环境下移动无人系统同步定位与建图方法，包括以下步骤：
S1：获取来自相机的图像信息与来自IMU的环境信息作为输入信息；
S2：对来自相机的图像进行点线特征的检测与跟踪，引入线段间的距离信息，筛选出割裂线段并进行合并；
S3：针对所筛选出的线特征，更进一步提取消隐点，并根据消隐点对线特征分组；
S4：用紧耦合的方法融合图像与IMU信息，根据光束平差法构建基于滑动窗口的非线性优化后端，绘制并优化位姿与地图中的点线。
作为优选的一种技术方案，所述步骤S1具体为：
将相机获取的图像和IMU获取的环境信息作为输入信息，其中，相机和IMU是并行运行的，分别提取出图像信息和环境测量信息将两者用紧耦合的方式综合在一起作为输入信息。
作为优选的一种技术方案，所述步骤S2具体为：
S21：根据输入的图像信息进行点线特征的提取与跟踪，通过Shi-Tomasi角点提取点特征，使用KLT跟踪，利用RANSAC进行内嵌修正；
S22：选用LSD算法提取线特征，并根据线段的方向和距离合并被分割的小线段，最小化将一条线分割成不同的多个线段的影响；
S23：接着用LBD描述子描述提取的线特征，进行匹配跟踪。
作为优选的一种技术方案，所述步骤S3具体为：
S31：构建极坐标网格，以图像的像主点为中点构建一个极坐标网格，然后计算出线段对每个子网格的响应度，并将其存储在每个网格中；
S32：生成消隐点假设，利用基于2条线段的最小解集生成第一个消隐点v1，然后在第一个消隐点v1对应的等效球面的圆弧上利用均匀采样的方法来得到第二个消隐点v2，最后利用第一个消隐点v1和第二个消隐点v2正交得到第三个消隐点v3；
S33：消隐点假设验证，所有在步骤S32中得到的消隐点假设，将其投影到图像平面上并找到其对应的极坐标网格，然后选取其中响应度之和最大的消隐点假设作为最后的结果；
S34：得到消隐点后通过计算每条线段与三个消隐点方向的夹角，取夹角最小的消隐点作为该线段的结构方向，实现结构线条的提取。
作为优选的一种技术方案，所述步骤S4具体为：
应用光束平差法建立基于滑动窗口的视觉-惯性非线性优化框架，在此使用线的正交化表达方式，构建世界坐标系内的全局状态向量
Figure 100002_DEST_PATH_IMAGE001
为：
Figure 100002_DEST_PATH_IMAGE002
Figure 100002_DEST_PATH_IMAGE003
其中，
Figure 100002_DEST_PATH_IMAGE004
表示第i帧IMU预积分后在世界坐标系下提供的信息，包括：位置
Figure 100002_DEST_PATH_IMAGE005
，旋转四元数
Figure 100002_DEST_PATH_IMAGE006
，速度
Figure 100002_DEST_PATH_IMAGE007
，加速度计零偏
Figure 100002_DEST_PATH_IMAGE008
，陀螺仪零偏
Figure 100002_DEST_PATH_IMAGE009
；
Figure 100002_DEST_PATH_IMAGE010
表示空间内视觉点特征的逆深度，
Figure 100002_DEST_PATH_IMAGE011
表示视觉线特征的正交化坐标；I表示滑动窗口的数量，J表示点特征点的数量，K表示线特征的数量；
所述基于滑动窗口的非线性优化方式的目标函数为：
Figure 100002_DEST_PATH_IMAGE012
其中，
Figure 756294DEST_PATH_IMAGE001
为全局状态向量，
Figure 100002_DEST_PATH_IMAGE013
表示来自边缘化的先验信息，
Figure 100002_DEST_PATH_IMAGE014
，
Figure 100002_DEST_PATH_IMAGE015
，
Figure 100002_DEST_PATH_IMAGE016
，
Figure 100002_DEST_PATH_IMAGE017
分别代表IMU残差，点特征残差，线特征残差以及消隐点残差；
Figure 100002_DEST_PATH_IMAGE018
，
Figure 100002_DEST_PATH_IMAGE019
，
Figure 100002_DEST_PATH_IMAGE020
，
Figure 100002_DEST_PATH_IMAGE021
分别代表IMU、点特征、线特征、消隐点测量的协方差矩阵；
Figure 100002_DEST_PATH_IMAGE022
，
Figure 100002_DEST_PATH_IMAGE023
，
Figure 100002_DEST_PATH_IMAGE024
，分别代表点特征、线特征、消隐点特征测量值的鲁棒核函数；P，L，V分别代表被观测帧中点特征、线特征及消隐点测量值的集合， B为滑动窗口中所有预积分的IMU测量值的集合；
其中，消隐点残差
Figure 100002_DEST_PATH_IMAGE025
定义为：
Figure 100002_DEST_PATH_IMAGE026
其中，
Figure 100002_DEST_PATH_IMAGE027
表示消隐点的观测值；
Figure 100002_DEST_PATH_IMAGE028
消隐点的估计值，为
Figure 100002_DEST_PATH_IMAGE029
与图像平面的交点，而
Figure 100002_DEST_PATH_IMAGE030
为与被估计线特征平行且过相机中心的线。
本发明相对于现有技术的有益效果为：
1）多数视觉惯性融合系统仅将点特征作为视觉信息，在快速运动、弱纹理、弱照明及光照变化明显等场景易跟踪丢失、稳定性差，本发明引入了直线特征，在以上场景表现良好，鲁棒性强，不会发生特征跟踪丢失的情况，且基于线特征构建的三维空间地图具有较好的结构性，可为之后导航提供语义信息；
2）本发明在使用LSD检测线后，引入线之间的距离信息合并被割裂的小线段，提高了线段检测的精度，并在提取线条的基础上进一步提取消隐点对线条分类以提取结构线条，结构线条带有很强的全局方向的约束，利用这个先验信息纠正相机位姿的估计，整体上提高定位精度；
3）本发明在非线性优化后端定义并加入了消隐点残差，进一步提高总体的定位精度和鲁棒性。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1是本发明所提出的一种室内弱纹理环境下移动无人系统同步定位与建图方法框架图；
图2是本发明线段合并示意图；
图3是本发明消隐点提取示意图；
图4是本发明后端优化的因子图模型；
图5是本发明消隐点残差定义说明图。
具体实施方式
以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。
图1是本发明实施例提供的一种室内弱纹理环境下移动无人系统同步定位与建图方法框架图，如图所示，本发明实施例提供的一种室内弱纹理环境下移动无人系统同步定位与建图方法包括：
S1：将来自相机的图像信息与来自IMU的环境信息作为输入信息；
具体的，在本实施例中，将单目相机获取的图像和IMU获取的环境信息作为输入信息，相机和IMU是并行运行的，分别提取出图像信息和环境测量信息将两者用紧耦合的方式综合在一起作为输入信息。
S2：对来自相机的图像进行点线特征的检测与跟踪，引入线段间的距离信息，筛选出割裂线段并进行合并；
具体的，在本实施例中，根据输入的图像信息进行点线特征的提取与跟踪，通过Shi-Tomasi角点提取点特征，使用KLT跟踪，利用RANSAC进行内嵌修正。选用精度较高且实时性强的LSD算法提取线特征，并根据线段的方向和距离合并本应属于一条线却被分割的小线段，最小化将一条线分割成不同的多个线段的影响。接着用LBD描述子描述提取的线特征，进行匹配跟踪。如图2所示，l表示两线段端点之间的最小距离，d表示一条线段的中点到另一条线段的距离。如果d和l小于给定的阈值，则将这两条线段合并。接着用LBD描述子描述提取的线特征，并用KNN匹配。
S3：针对所提取的线特征，更进一步提取消隐点，并根据消隐点对线特征分组；
具体的，根据所提取的线特征进一步提取消隐点，图3为本发明消隐点提取示意图，提取流程如下：
1）构建极坐标网格，以图像的像主点为中点构建一个极坐标网格，然后计算出线段对每个子网格的响应度，并将其存储在每个网格中。
2）生成消隐点假设，利用基于2条线段的最小解集生成第一个消隐点v1，然后在v1对应的等效球面的圆弧上利用均匀采样的方法来得到第二个消隐点v2，最后利用v1和v2正交得到第三个消隐点v3。
3）消隐点假设验证，所有在第二步中得到的消隐点假设，将其投影到图像平面上并找到其对应的极坐标网格，然后选取其中响应度之和最大的消隐点假设作为最后的结果。
得到消隐点后通过计算每条线段与三个消隐点方向的夹角，取夹角最小的消隐点作为该线段的结构方向，实现结构线条的提取。
S4：用紧耦合的方法融合图像与IMU信息，根据光束平差法（BA）构建基于滑动窗口的非线性优化后端，提出一种消隐点残差的定义方式并加入后端优化框架之中，优化位姿与地图中的点线。如图4所示，为本发明后端优化的因子图模型，在图4中，
Figure DEST_PATH_IMAGE031
为非结构线，则只添加线特征因子，
Figure DEST_PATH_IMAGE032
与
Figure DEST_PATH_IMAGE033
为结构线，则同时添加线特征因子与消隐点因子。
应用光束平差法（BA）建立基于滑动窗口的视觉-惯性非线性优化框架，在此使用线的正交化表达方式，构建世界坐标系内的全局状态向量为:
Figure 286763DEST_PATH_IMAGE002
Figure 213131DEST_PATH_IMAGE003
其中，
Figure 434028DEST_PATH_IMAGE004
表示第i帧IMU预积分后在世界坐标系下提供的信息，包括：位置
Figure 787649DEST_PATH_IMAGE005
，旋转四元数
Figure 962672DEST_PATH_IMAGE006
，速度
Figure 692730DEST_PATH_IMAGE007
，加速度计零偏
Figure 768134DEST_PATH_IMAGE008
，陀螺仪零偏
Figure 964760DEST_PATH_IMAGE009
；
Figure 250248DEST_PATH_IMAGE010
表示空间内视觉点特征的逆深度，
Figure 393784DEST_PATH_IMAGE011
表示视觉线特征的正交化坐标；I表示滑动窗口的数量，J表示点特征点的数量，K表示线特征的数量；
所述基于滑动窗口的非线性优化方式的目标函数为：
Figure 448328DEST_PATH_IMAGE012
其中，
Figure 783232DEST_PATH_IMAGE001
为全局状态向量，
Figure 290437DEST_PATH_IMAGE013
表示来自边缘化的先验信息，
Figure 972085DEST_PATH_IMAGE014
，
Figure 146714DEST_PATH_IMAGE015
，
Figure 888405DEST_PATH_IMAGE016
，
Figure 148485DEST_PATH_IMAGE017
分别代表IMU残差，点特征残差，线特征残差以及消隐点残差；
Figure 633825DEST_PATH_IMAGE018
，
Figure 662960DEST_PATH_IMAGE019
，
Figure 115897DEST_PATH_IMAGE020
，
Figure 473060DEST_PATH_IMAGE021
分别代表IMU、点特征、线特征、消隐点测量的协方差矩阵；
Figure 886724DEST_PATH_IMAGE022
，
Figure 645733DEST_PATH_IMAGE023
，
Figure 119439DEST_PATH_IMAGE024
，分别代表点特征、线特征、消隐点特征测量值的鲁棒核函数；P，L，V分别代表被观测帧中点特征、线特征及消隐点测量值的集合， B为滑动窗口中所有预积分的IMU测量值的集合。
如图5所示为本发明消隐点残差定义的示意图，其中·—线代表被观测到的线特征及与其平行且过相机中心的线，——线代表估计的线特征及与其平行且过相机中心的线，
Figure 963898DEST_PATH_IMAGE027
为与被观测到的线特征平行且过相机中心的线与图像平面的交点，代表消隐点的观测值。消隐点残差
Figure 915674DEST_PATH_IMAGE025
定义为：
Figure 27724DEST_PATH_IMAGE026
其中，
Figure 672332DEST_PATH_IMAGE027
表示消隐点的观测值；
Figure 269667DEST_PATH_IMAGE028
消隐点的估计值，为
Figure 759554DEST_PATH_IMAGE029
与图像平面的交点，而
Figure 227575DEST_PATH_IMAGE030
为与被估计线特征平行且过相机中心的线。
上述方法通过加入了线特征作为视觉观测，在弱纹理室内场景中保持高定位精度和强鲁棒性，且基于线特征构建的三维空间地图具有较好的结构性，可为之后导航提供语义信息。
另外，本发明在使用LSD检测线后，引入线之间的距离信息合并被割裂的小线段，提高了线段检测的精度，并在提取线条的基础上进一步提取消隐点对线条分类以提取结构线条，结构线条带有很强的全局方向的约束，利用这个先验信息纠正相机位姿的估计，整体上提高定位精度。
最后，在非线性优化后端定义并加入了消隐点残差，进一步提高总体的定位精度和鲁棒性。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (4)

1.一种室内弱纹理环境下移动无人系统同步定位与建图方法，其特征在于，包括以下步骤：
S1：获取来自相机的图像信息与来自IMU的环境信息作为输入信息；
S2：对来自相机的图像进行点线特征的检测与跟踪，引入线段间的距离信息，筛选出割裂线段并进行合并；
S3：针对所筛选出的线特征，更进一步提取消隐点，并根据消隐点对线特征分组；
S4：用紧耦合的方法融合图像与IMU信息，根据光束平差法构建基于滑动窗口的非线性优化后端，绘制并优化位姿与地图中的点线；
所述步骤S4具体为：
应用光束平差法建立基于滑动窗口的视觉-惯性非线性优化框架，在此使用线的正交化表达方式，构建世界坐标系内的全局状态向量
Figure DEST_PATH_IMAGE001
为：
Figure DEST_PATH_IMAGE002
Figure DEST_PATH_IMAGE003
其中，
Figure DEST_PATH_IMAGE004
表示第i帧IMU预积分后在世界坐标系下提供的信息，包括：位置
Figure DEST_PATH_IMAGE005
，旋转四元数
Figure DEST_PATH_IMAGE006
，速度
Figure DEST_PATH_IMAGE007
，加速度计零偏
Figure DEST_PATH_IMAGE008
，陀螺仪零偏
Figure DEST_PATH_IMAGE009
；
Figure DEST_PATH_IMAGE010
表示空间内视觉点特征的逆深度，
Figure DEST_PATH_IMAGE011
表示视觉线特征的正交化坐标；I表示滑动窗口的数量，J表示点特征点的数量，K表示线特征的数量；
所述基于滑动窗口的非线性优化方式的目标函数为：
Figure DEST_PATH_IMAGE012
其中，
Figure 595028DEST_PATH_IMAGE001
为全局状态向量，
Figure DEST_PATH_IMAGE013
表示来自边缘化的先验信息，
Figure DEST_PATH_IMAGE014
，
Figure DEST_PATH_IMAGE015
，
Figure DEST_PATH_IMAGE016
，
Figure DEST_PATH_IMAGE017
分别代表IMU残差，点特征残差，线特征残差以及消隐点残差；
Figure DEST_PATH_IMAGE018
，
Figure DEST_PATH_IMAGE019
，
Figure DEST_PATH_IMAGE020
，
Figure DEST_PATH_IMAGE021
分别代表IMU、点特征、线特征、消隐点测量的协方差矩阵；
Figure DEST_PATH_IMAGE022
，
Figure DEST_PATH_IMAGE023
，
Figure DEST_PATH_IMAGE024
，分别代表点特征、线特征、消隐点特征测量值的鲁棒核函数；P，L，V分别代表被观测帧中点特征、线特征及消隐点测量值的集合， B为滑动窗口中所有预积分的IMU测量值的集合；
其中，消隐点残差
Figure DEST_PATH_IMAGE025
定义为：
Figure DEST_PATH_IMAGE026
其中，
Figure DEST_PATH_IMAGE027
表示消隐点的观测值；
Figure DEST_PATH_IMAGE028
消隐点的估计值，为
Figure DEST_PATH_IMAGE029
与图像平面的交点，而
Figure DEST_PATH_IMAGE030
为与被估计线特征平行且过相机中心的线。
2.根据权利要求1所述的一种室内弱纹理环境下移动无人系统同步定位与建图方法，其特征在于：所述步骤S1具体为：
将相机获取的图像和IMU获取的环境信息作为输入信息，其中，相机和IMU是并行运行的，分别提取出图像信息和环境测量信息将两者用紧耦合的方式综合在一起作为输入信息。
3.根据权利要求1所述的一种室内弱纹理环境下移动无人系统同步定位与建图方法，其特征在于：所述步骤S2具体为：
S21：根据输入的图像信息进行点线特征的提取与跟踪，通过Shi-Tomasi角点提取点特征，使用KLT跟踪，利用RANSAC进行内嵌修正；
S22：选用LSD算法提取线特征，并根据线段的方向和距离合并被分割的小线段，最小化将一条线分割成不同的多个线段的影响；
S23：接着用LBD描述子描述提取的线特征，进行匹配跟踪。
4.根据权利要求1所述的一种室内弱纹理环境下移动无人系统同步定位与建图方法，其特征在于：所述步骤S3具体为：
S31：构建极坐标网格，以图像的像主点为中点构建一个极坐标网格，然后计算出线段对每个子网格的响应度，并将其存储在每个网格中；
S32：生成消隐点假设，利用基于2条线段的最小解集生成第一个消隐点v1，然后在第一个消隐点v1对应的等效球面的圆弧上利用均匀采样的方法来得到第二个消隐点v2，最后利用第一个消隐点v1和第二个消隐点v2正交得到第三个消隐点v3；
S33：消隐点假设验证，所有在步骤S32中得到的消隐点假设，将其投影到图像平面上并找到其对应的极坐标网格，然后选取其中响应度之和最大的消隐点假设作为最后的结果；
S34：得到消隐点后通过计算每条线段与三个消隐点方向的夹角，取夹角最小的消隐点作为该线段的结构方向，实现结构线条的提取。
CN202210898580.5A 2022-07-28 2022-07-28 室内弱纹理环境下移动无人系统同步定位与建图方法 Active CN114993293B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210898580.5A CN114993293B (zh) 2022-07-28 2022-07-28 室内弱纹理环境下移动无人系统同步定位与建图方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210898580.5A CN114993293B (zh) 2022-07-28 2022-07-28 室内弱纹理环境下移动无人系统同步定位与建图方法

Publications (2)

Publication Number Publication Date
CN114993293A CN114993293A (zh) 2022-09-02
CN114993293B true CN114993293B (zh) 2022-12-06

Family

ID=83021635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210898580.5A Active CN114993293B (zh) 2022-07-28 2022-07-28 室内弱纹理环境下移动无人系统同步定位与建图方法

Country Status (1)

Country Link
CN (1) CN114993293B (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021370B (zh) * 2014-05-16 2018-01-23 浙江传媒学院 一种基于视觉信息融合的驾驶员状态监测方法及系统
CN105203084B (zh) * 2015-07-02 2017-12-22 汤一平 一种无人机3d全景视觉装置
CN109558879A (zh) * 2017-09-22 2019-04-02 华为技术有限公司 一种基于点线特征的视觉slam方法和装置
CN108090958B (zh) * 2017-12-06 2021-08-27 上海阅面网络科技有限公司 一种机器人同步定位和地图构建方法和系统
CN109493385A (zh) * 2018-10-08 2019-03-19 上海大学 一种结合场景点线特征的移动机器人室内自主定位方法
CN109583495B (zh) * 2018-11-28 2019-10-22 深圳爱莫科技有限公司 陈列图像处理方法和装置
CN109631894A (zh) * 2018-12-11 2019-04-16 智灵飞（北京）科技有限公司 一种基于滑动窗口的单目视觉惯性紧耦合方法
US11875519B2 (en) * 2020-08-13 2024-01-16 Medhat Omr Method and system for positioning using optical sensor and motion sensors

Also Published As

Publication number Publication date
CN114993293A (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
CN109993113B (zh) 一种基于rgb-d和imu信息融合的位姿估计方法
CN111258313A (zh) 多传感器融合slam系统及机器人
CN111288989B (zh) 一种小型无人机视觉定位方法
CN112734852A (zh) 一种机器人建图方法、装置及计算设备
CN110726406A (zh) 一种改进的非线性优化单目惯导slam的方法
Chien et al. Visual odometry driven online calibration for monocular lidar-camera systems
Liu et al. Direct visual odometry for a fisheye-stereo camera
CN112556719B (zh) 一种基于cnn-ekf的视觉惯性里程计实现方法
CN114964276B (zh) 一种融合惯导的动态视觉slam方法
CN118135526B (zh) 基于双目相机的四旋翼无人机视觉目标识别与定位方法
CN113066129A (zh) 基于动态环境下的目标检测的视觉定位与建图系统
CN116619358A (zh) 一种矿山自主探测机器人自适应定位优化与建图方法
Chen et al. Stereo visual inertial pose estimation based on feedforward-feedback loops
CN117367427A (zh) 一种适用于室内环境中的视觉辅助激光融合IMU的多模态slam方法
CN112945233B (zh) 一种全局无漂移的自主机器人同时定位与地图构建方法
Zhang et al. An open-source, fiducial-based, underwater stereo visual-inertial localization method with refraction correction
CN112731503A (zh) 一种基于前端紧耦合的位姿估计方法及系统
CN117470259A (zh) 一种子母式空地协同多传感器融合三维建图系统
CN117330052A (zh) 基于红外视觉、毫米波雷达和imu融合的定位与建图方法及系统
CN116804553A (zh) 基于事件相机/imu/自然路标的里程计系统及方法
CN116380079A (zh) 一种融合前视声呐与orb-slam3的水下slam方法
WO2023030062A1 (zh) 一种无人机的飞行控制方法、装置、设备、介质及程序
CN114993293B (zh) 室内弱纹理环境下移动无人系统同步定位与建图方法
CN116045965A (zh) 一种融合多传感器的环境地图构建方法
CN117782050A (zh) 鲁棒的激光-视觉-惯性融合slam方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant