CN117274620A - 基于自适应均匀划分特征点提取的视觉slam方法 - Google Patents
基于自适应均匀划分特征点提取的视觉slam方法 Download PDFInfo
- Publication number
- CN117274620A CN117274620A CN202311566435.8A CN202311566435A CN117274620A CN 117274620 A CN117274620 A CN 117274620A CN 202311566435 A CN202311566435 A CN 202311566435A CN 117274620 A CN117274620 A CN 117274620A
- Authority
- CN
- China
- Prior art keywords
- image
- points
- feature
- feature points
- adaptive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 91
- 238000000605 extraction Methods 0.000 title claims abstract description 51
- 230000000007 visual effect Effects 0.000 title claims abstract description 32
- 238000013507 mapping Methods 0.000 claims abstract description 11
- 238000001514 detection method Methods 0.000 claims abstract description 10
- 238000005457 optimization Methods 0.000 claims abstract description 4
- 230000003044 adaptive effect Effects 0.000 claims description 19
- 238000005192 partition Methods 0.000 claims description 10
- 230000001133 acceleration Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 3
- 230000010354 integration Effects 0.000 abstract description 2
- 238000009826 distribution Methods 0.000 description 15
- 238000012360 testing method Methods 0.000 description 6
- 102000008115 Signaling Lymphocytic Activation Molecule Family Member 1 Human genes 0.000 description 4
- 108010074687 Signaling Lymphocytic Activation Molecule Family Member 1 Proteins 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于自适应均匀划分特征点提取的视觉SLAM方法，属于视觉SLAM和图像处理技术领域，包括以下步骤：采集行进图像构建图像金字塔；基于自适应均匀划分特征点提取所述图像金字塔的特征点；构建所述特征点的ORB特征，基于所述ORB特征进行图像特征信息匹配，并进行位姿估计；基于估计的位姿进行局部建图，并对局部建图过程进行回环检测和地图合并，获得优化整合后的全局地图。本发明采用自适应的均匀划分特征点提取方法，不仅能有效提升视觉SLAM的定位精度，还较大程度地减少了特征点提取的时间开销，使提取的特征点分布更均匀。
Description
技术领域
本发明属于视觉SLAM和图像处理技术领域，特别是涉及一种基于自适应均匀划分特征点提取的视觉SLAM方法。
背景技术
近年来,同步定位和地图绘制（SLAM）是实现机器人真正智能化的关键技术之一。机器人通过传感器获取周围环境信息，利用SLAM技术可以在未知环境中运动时增量地构建周围环境地图，并运用已构建好的地图来评估机器人自身位姿。通常情况下，SLAM按照传感器的类别分为视觉SLAM、激光SLAM和雷达SLAM。视觉SLAM使用的传感器一般可分为单目传感器、立体视觉传感器和RGB-D传感器。
图像信息匹配是视觉SLAM的基础，其方法一般分为直接法和间接法。目前视觉SLAM的图像匹配算法基本上都是采用间接法。然而，SLAM间接法提取的特征点通常不能反应图像的完整信息，因此需要优化特征点的提取。优化特征点的提取方法主要是在传统的特征检测器的基础上进行优化图像特征的提取。
Wang等人在会议ICCV发表的论文“Stereo DSO: Large-scale direct sparsevisual odometry with stereo cameras”中提出了一种在关键帧使用区域自适应梯度阈值均匀提取图像特征点的方法DSO。DSO下一关键帧提取图像特征点的划分区域大小受上一关键帧图像已经提取到的特征点数量影响，且提取的特征点可重复性较低，难以有效进行图像帧之间的特征匹配。Forster等人提出的SVO-SLAM提取特征点的方式和ORB-SLAM类似，该方法提取的特征点非常稀疏，甚至某些区域提取不到特征点，使用场景受限,与直接法相结合才能满足同步定位与地图构建的需求。
还有一类方法通过对点、线、面等多维特征进行融合，实现弱纹理场景下提取更丰富的图像特征信息。但是，此类方法在强纹理场景下效果不如基于点特征的图像特征提取方法。Fu等人在期刊《Cornell University》发表的论文“PL-VINS: Real-Time MonocularVisual-Inertial SLAM with Point and Line”中提出了一种基于LSD改进的图像线特征提取方法PL-VINS，但是该方法也存在点线特征融合质量不高的问题。
ORB-SLAM提取特征点速度快、特征点可重复性高、定位性能出色、鲁棒性强，被认为是当前先进的基准间接视觉SLAM。ORB-SLAM在大多数场景中能长期跟踪运动轨迹主要原因有两个方面。一是由于ORB-SLAM构建的图像金字塔层数和四叉树划分轮数多，使得图像特征匹配的时间成本增加，从而会导致高速运动的相机利用ORB-SLAM进行图像特征匹配时出现丢失图像帧的情况；二是ORB-SLAM使用四叉树划分的方法提取的图像特征点通常只在局部范围内分布均匀，在全局范围内仍然存在图像特征点分布不均和特征点质量不高的问题，使SLAM不能有效匹配到足够多的特征点。因此，优化特征点的提取依然是视觉SLAM领域待解决的重要问题之一。
发明内容
本发明为了解决视觉SLAM还存在特征点提取分布不均、提取时间开销较大的问题，提供一种基于自适应均匀划分特征点提取的视觉SLAM方法，首先构建图像金字塔，均匀划分特征点匹配区域，然后通过自适应调整经验参数对特征点匹配区域进行均匀自适应划分，使得提取的特征点分布更加均匀，从而实现特征点的高质量提取，以解决上述现有技术存在的问题。
为实现上述目的，本发明提供了一种基于自适应均匀划分特征点提取的视觉SLAM方法，包括以下步骤：
采集行进图像构建图像金字塔；
基于自适应均匀划分特征点提取所述图像金字塔的特征点；
构建所述特征点的ORB特征，基于所述ORB特征进行图像特征信息匹配，并进行位姿估计；
基于估计的位姿进行局部建图，并对局部建图过程进行回环检测和地图合并，获得优化整合后的全局地图。
可选地，构建图像金字塔的过程包括：将原始图像设为第一层图像，预设图像金字塔每层的缩放尺度，基于所述原始图像和对应层的缩放尺度获得其余层图像，进而完成图像金字塔的构建，并对所述图像金字塔进行灰度化处理。
可选地，提取特征点的过程包括：基于FAST特征检测器对图像金字塔的每层图像进行角点提取，并获取每层图像的目标特征点数量；若当前层图像提取到的角点数量小于等于当前层图像的目标特征点数量时，将当前层图像提取到的所有角点作为当前层图像的特征点；若当前层图像提取到的角点数量大于当前层图像的目标特征点数量时，基于自适应均匀划分方法对当前层图像进行特征点提取，进而完成当前层图像的特征点提取，然后继续对图像金字塔的其余层图像进行特征点提取，直至图像金字塔所有层图像特征点提取完成。
可选地，基于自适应均匀划分方法进行特征点提取的过程包括：对当前层图像进行区域自适应划分，将当前层图像提取到的角点匹配到划分的区域中，获得匹配到的特征点数量；当匹配到的特征点数量小于当前层图像的目标特征点数量时，对当前层的自适应参数进行调整继续进行自适应均匀划分和匹配，直至匹配到的特征点数量大于等于当前层图像的目标特征点数量；其中，当匹配到的特征点数量等于当前层图像的目标特征点数量时，提取完成；当匹配到的特征点数量大于当前层图像的目标特征点数量时，对匹配到的特征点的响应值进行排序，按照从大到小的顺序选取当前层图像的目标特征点数量。
可选地，获取每层图像的目标特征点数量的过程包括：对图像金字塔每层的缩放尺度进行求和处理，获得总的缩放尺度；获取图像金字塔的特征点总数量，基于每层的缩放尺度、总的缩放尺度以及特征点总数量，获得对应层图像的目标特征点数量。
可选地，进行区域自适应划分的过程包括：基于当前层图像的高和宽、目标特征点数量和自适应参数，获得当前层自适应划分区域的边长，进而进行区域划分。
可选地，构建所述特征点的ORB特征的过程包括：获取所述特征点的方向和BRIEF描述子，基于所述特征点的方向和BRIEF描述子，构建ORB特征。
可选地，基于估计的位姿进行局部建图的过程包括：基于估计的位姿进行视觉定位和局部地图跟踪，同时选择满足约束条件的普通帧作为关键帧传输给局部建图线程，并插入局部地图跟踪线程生成的关键帧，生成新的地图点，对局部建图中的关键帧和地图点进行优化。
可选地，进行回环检测和地图合并的过程包括：基于词袋加速算法对局部建图中的关键帧进行回环检测，并进行全局位姿优化，然后基于局部建图生成的子地图之间的共视关系，将子地图整合成全局地图。
本发明的技术效果为：
本发明基于自适应均匀划分特征点提取的技术手段，达到了均匀化提取图像高质量特征点的技术效果。
本发明采用自适应的均匀划分特征点提取方法，不仅能有效提升视觉SLAM的定位精度，还较大程度地减少了特征点提取的时间开销，使提取的特征点分布更均匀。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明实施例中的基于自适应均匀划分特征点提取的视觉SLAM算法流程示意图；
图2为本发明实施例中的自适应均匀划分特征点提取的算法流程图；
图3为本发明实施例中的ORB-SLAM3和AUP-SLAM3在KITTI数据集01序列上双目传感器的估计轨迹和真实轨迹对比图；
图4为本发明实施例中的ORB-SLAM3和AUP-SLAM3在KITTI数据集08序列上双目传感器的估计轨迹和真实轨迹对比图；
图5为本发明实施例中的ORB-SLAM3和AUP-SLAM3在RuRoc数据集MH02序列上单目传感器的估计轨迹和真实轨迹对比图；
图6为本发明实施例中的ORB-SLAM3和AUP-SLAM3在RuRoc数据集MH04序列上双单目传感器的估计轨迹和真实轨迹对比图；
图7为本发明实施例中的ORB-SLAM3和AUP-SLAM3在RuRoc数据集V103序列上双目传感器的估计轨迹和真实轨迹对比图；
图8为本发明实施例中的ORB-SLAM3和AUP-SLAM3在RuRoc数据集V201序列上双目传感器的估计轨迹和真实轨迹对比图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
实施例一
如图1所示，本实施例中提供一种基于自适应均匀划分特征点提取的视觉SLAM方法，分为三大线程：跟踪线程、局部建图线程、回环检测与地图合并线程，具体如下：
跟踪线程：使用视觉传感器采集机器人行进过程中的图像，并构建灰度化的图像金字塔，使用FAST特征检测器对图像金字塔每层图像提取FAST角点，采用自适应均匀划分特征点提取高质量的FAST角点作为特征点，计算特征点的方向和BRIEF描述子，构建ORB特征，将ORB特征用于图像特征信息的匹配，并估计视觉传感器的位姿用于视觉定位，进行局部地图跟踪，同时挑选符合约束条件的普通帧作为关键帧，将关键帧传输给局部建图线程；
局部建图线程：插入跟踪线程生成的关键帧，并生成新的地图点，优化关键帧和地图点，并剔除地图中冗余的关键帧和地图点；
回环检测与地图合并线程：回环检测使用词袋加速算法进行回环关键帧检测，检测到回环并进行全局位姿优化，地图合并通过子地图之间检测到的共视关系，将子地图整合成更大的子地图。
为了提取图像的特征点，首先需要构建图像金字塔。本实施例沿用了ORB-SLAM将图像进行不同尺度缩放后构造图像金字塔的做法。对于构造n层图像金字塔，第一层图像为原始图像，其他每层图像都是在第一层图像的基础上按照一定的缩放比例进行缩放得到。将图像基本缩放尺度系数设置为，图像金字塔每层图像的高和宽分别如公式（1）和公式（2）所示。
（1）
（2）
H和W分别表示原始输入图像的高和宽，和/>表示图像金字塔第/>层图像像素的高和宽，初始尺度系数用S表示，用S i-1 表示第i-1层图像的缩放尺度系数。
构建了图像金字塔之后，进行灰度化处理，利用FAST特征检测器对图像金字塔的每层图像进行角点提取。第层图像提取的FAST角点总数量用/>表示。
特征点是间接法视觉SLAM的输入，其数量会影响SLAM的实时性和定位精度。特征点数量过多，会增加图像特征匹配时间成本，使SLAM的实时性能难以保证。反之，图像信息会有丢失，SLAM的定位精度难以保证。与ORB-SLAM相同，对于EuRoC数据集和TUM RGB-D数据集，本实施例提出的方法从每帧图像构造的图像金字塔中提取的特征点总数为1000，而对于具有更高图像分辨率的KITTI数据集，则从每帧图像提取的特征点总数为2000。特征点提取的总数量用表示。
图像金字塔中，图像所在的层数越高，该层图像的分辨率越低。根据上述的角点提取方法可知，图像分辨率越低，所能提取到的角点数量就越少，提取到的特征点数量也越少。本实施例按照图像金字塔每层图像的缩放尺度，来确定图像金字塔每层提取特征点的数量。
对于n层图像金字塔，图像金字塔总的缩放尺度之和可利用公式（3）计算得到：
（3）
表示n层图像金字塔总的缩放尺度之和。图像金字塔第/>层应提取特征点的数量根据缩放占比可以计算得到：
（4）
表示图像金字塔第/>层图像需要提取的特征点数量。
图像特征点分布不均，一方面容易造成特征信息匹配不准确，另一方面在最小化SLAM重投影误差时，容易造成相机位姿的误差变大，从而影响SLAM定位的精度。为了克服特征点分布不均的问题，本实施例提出了一种自适应均匀划分区域方法，通过不同缩放尺度对各图层进行多轮区域划分，使得特征点的分布更加均匀。
首先将图像金字塔工作层图像按照固定大小划分为均匀大小区域。自适应划分区域的大小根据公式（5）计算得到。
（5）
公式（5）中，表示图像金字塔第/>层图像第/>轮自适应划分区域的边长，边长向上取整数。划分区域过程中，如果某个区域不足一个完整区域，也看作是一个完整的区域。表示图像金字塔第/>层的第/>轮自适应参数。在本实施例方法中，图像金字塔每层图像的自适应参数/>初始值均相同。根据公式（1）、公式（2）、公式（4）和公式（5），进一步得到的计算公式（6）。
（6）
为了计算，需要统计第/>层图像第/>轮已经匹配到的特征点数量/>。当/>小于该层特征点的需求数量/>时，则根据公式（7）调整自适应参数/>，重新确定自适应划分区域的边长/>，并对工作层图像进行再次区域划分，以提取到更多的特征点，直到/>大于等于该层特征点的需求数量/>。
（7）
采用特征点提取算法进行图像高质量的特征点提取，将该层提取到的角点按照坐标匹配到对应的区域，每个区域仅保留一个质量最高的FAST角点作为特征点。当该层图像的特征点数量不满足数量要求时，则按一定的缩放比例自适应调整图像划分区域大小，并按照重新划分的区域从计算出的FAST角点中重新提取特征点，直到该层图像提取到的特征点总数量满足要求。重复上述步骤，完成图像金字塔所有层图像自适应均匀划分特征点提取。
作为具体的实施例，特征点提取算法算法流程图如图2所示，实现了对图像金字塔每层图像的特征点提取。首先对图像金字塔第层图像进行角点提取，若该层图像提取的角点数量/>小于等于本层需要提取的特征点数量/>时，直接将该层提取到的所有角点均作为该层图像的特征点。当第/>层图像提取到的角点数量/>大于本层需要提取的特征点数量/>时，使用自适应均匀划分方法对该层图像进行区域自适应划分，将该层提取到的FAST角点匹配到划分的区域中，并选择响应值最大的角点作为各区域唯一的特征点，然后统计第/>层图像当前已经匹配到的特征点数量/>。若/>小于该层特征点的需求数量/>，则再次进行自适应均匀划分特征点匹配区域，重复上述过程，直到/>大于等于该层特征点的需求数量/>。如果/>等于/>时，表明特征点提取完成。若当/>大于/>时，对匹配到的个特征点的响应值进行排序，选取当前/>个响应值最好的特征点。至此，第/>层图像的特征点提取任务完成，继续对图像金字塔的第/>+1层图像进行特征点提取，直到图像金字塔所有层图像特征点提取完成。
特征点提取完成后，还需计算特征点的方向和BRIEF描述符，构建ORB特征以实现在图像帧之间进行特征匹配。
本实施例方法经过实验对比论证，具体如下：
为了评估本实施例方法（AUP方法），将AUP方法融入到ORB-SLAM2和ORB-SLAM3（分别称为AUP-SLAM2和AUP-SLAM3），通过开展了多组实验，与当前先进的方法进行了对比。实验过程采用了目前主流的用于视觉SLAM系统测试的数据集KITTI、EuRoC和TUM RGB-D。实验环境使用了AMD Ryzen 7 4800H CPU、16 GB内存等硬件，以及Ubuntu 16.04。
本实施例从定位精度、提取特征点时间开销、特征点分布均匀性等方面展开实验对比。
定位精度对比实验：
图3-图4示出了ORB-SLAM3和AUP-SLAM3在KITTI数据集01序列上和KITTI数据集08序列上，双目传感器的估计轨迹和真实轨迹对比图。
KITTI数据集使用自动驾驶平台记录了城市和公路环境的双目序列图像，平台中的双目传感器工作频率为10Hz。该数据集包含11个场景的序列图像。每个场景序列分别在AUP-SLAM2和AUP-SLAM3中运行10次，将所有图像帧绝对轨迹误差的中值进行对比，对比的结果如表1所示。每一行的最佳表现用粗体表示，第二好的用下划线标识。
表1
从表1可以看出，AUP-SLAM2在所有的方法中取得了最佳的效果，平均定位精度比DSO和DSV-SLAM分别提高了7.25%和27.68%。与ORB-SLAM2比较，AUP-SLAM2平均定位精度提高了6.54%。当AUP方法应用到ORB-SLAM3时，其在该数据集上的平均定位精度也比ORB-SLAM3提高了5.07%，这说明本实施例方法（AUP方法）具有良好的适应性。同时也能看到，在场景序列09中，AUP-SLAM2和AUP-SLAM3的精度不如ORB-SLAM2和ORB-SLAM3，是因为该场景序列部分图像帧的特征点可重复性不高，影响了AUP方法的特征点匹配质量。在场景序列01中，DSO和DSV-SLAM表现出了更好的性能，而在该场景的序列图像中，大部分特征点分布距离较远，本实施例方法和ORB-SLAM在该场景序列中匹配不到足够多且距离近的特征点，影响了定位精度。但是与ORB-SLAM相比，本实施例方法在序列01中可匹配到更多的近距离特征点，且特征点的分布更均匀，有效提高了定位准确度。
EuRoC数据集是利用微型飞行器在小型房间和大型工厂拍摄记录的11个场景序列。按照场景序列的复杂性，该数据集又分为简单、中等和困难三类。本实施例分别使用单目相机和双目相机传感器对该数据集的所有场景序列进行测试。该测试数据集下实验结果选取的方法与KITTI数据集一致。文[C. Campos, R. Elvira, J. J. G. Rodríguez, J.M. Montiel, and J. D. Tardós, “ORB-SLAM3: An accurate open-source library forvisual, visual–inertial, and multimap SLAM,”IEEE Trans. Robot., vol. 37, no.6, pp. 1874–1890, Dec. 2021.]的实验结果表明，ORB-SLAM3在该数据集上的运行精度好于ORB-SLAM2，因此针对该数据集，本实施例方法没有和ORB-SLAM2进行比较。
表2和表3分别展示了单目相机和双目相机实验环境下的对比结果。其中，每一行的最佳表现用粗体表示，第二个最好的用下划线表示。Avg1表示不包含场景序列V203情况下的平均精度值。Avg2表示包含所有序列情况下的平均精度值。“×”表示在某场景序列上运行失败，未获取到测试数据。“--”表示由于部分场景序列的测试数据缺失，无法计算出所有场景序列的平均值。
表2
表3
从实验结果可以看出，本实施例方法AUP-SLAM3在两种实验环境下的平均定位精度均最好，定位精度比ORB-SLAM3分别提高了5.88%和12.50%。在单目相机实验环境下，由于困难场景序列V203会出现尺度漂移和严重的运动模糊现象，导致ORB-SLAM3对场景的跟踪失败，尽管AUP-SLAM3也会出现短暂的跟踪丢失，但是AUP-SLAM3仍然能在地图中匹配到足够多的特征点，然后通过重定位恢复在地图中的位置。从表2和表3也可以看出，AUP-SLAM3在困难场景序列V203中的定位精度不如点线特征融合的PLF-VINS和EPLF-VINS，以及融合视觉和IMU方法的DM-VIO和Kimera。主要是由于点线特征融合可以在弱纹理环境提取到更到的图像特征信息，用于更精准的特征匹配，而IMU方法则可以通过为视觉提供尺度信息，实现快速运动时的定位。在双目相机实验环境下，ORB-SLAM3可以完成场景序列V203的定位跟踪。实验结果表明双目相机实验环境下，相对于ORB-SLAM3，AUP-SLAM3在场景序列V203中同样可以跟踪到数量更多且分布更均匀的点，并提升了18.43%定位精度。
图5至图8示出了MH02、MH04、V103和V201四个场景序列中AUP-SLAM3和ORB-SLAM3的估计轨迹图。
TUM RGB-D数据集使用Microsoft Kinect传感器记录了不同的室内场景序列，并包含了图像色彩和深度信息，是评估视觉SLAM定位性能的流行数据集。为了与Fast ORB-SLAM中的方法进行对比，与其实验方法保持一致，讲该数据集的每个场景序列分别在AUP-SLAM2和AUP-SLAM3中运行5次，并将所有图像帧绝对轨迹误差的中值进行对比，对比的结果如表4所示，每一行的最佳值用粗体表示，第二好的用下划线标识。
表4
从表4可以看出，尽管对比的各种方法在TUM RGB-D数据集上的定位精度非常高，但是本实施例方法在7个序列中平均定位精度表现更好，尤其是AUP-SLAM2在所有对比方法中平均定位精度最高。相对于ORB-SLAM2和ORB-SLAM3，AUP-SLAM2和AUP-SLAM3的平均定位精度分别提升了3.70%和1.84%。Fast ORB-SLAM在ORB-SLAM2的基础上进行了改进，但是本实施例方法在平均定位精度上仍然超出其5.80%。
提取特征点时间开销、特征点分布均匀性对比实验：
为了更有效地对比本实施例方法和其他方法的性能，本实施例还从特征点提取的时间开销、特征点分布均匀性等方面进行实验分析。由于ORB-SLAM3在特征点提取的质量上整体优于ORB-SLAM2，此处本实施例仅重点讨论与ORB-SLAM3方法的对比情况。在KITTI、EuRoC和TUM RGB-D三个数据集上的对比情况如表5至表7所示。其中，时间表示构建图像金字塔、提取FAST角点、均匀划分特征点提取区域、计算特征点的方向和ORB描述符、构成ORB特征的整体时间开销，Distribution表示特征点的分布均匀性。
表5
表6
表7
实验结果表明，面对不同复杂场景，本实施例方法AUP-SLAM3在提取特征点的时间开销、提取特征点的分布均匀性等方面的表现均优于ORB-SLAM3。由于本实施例采用自适应的均匀划分特征点提取方法，提取的特征点数量越多，时间开销越少，分布均匀性越好。
在EuRoc数据集和TUM RGB-D数据集上分别提取1000个特征点，本实施例方法AUP-SLAM3比ORB-SLAM3平均时间开销分别减少了9.25%、8.56%；而在KITTI数据集上提取了2000个特征点，本实施例方法AUP-SLAM3比ORB-SLAM3减少13.39%的平均时间开销。这主要是由于ORB-SLAM3在提取特征点的过程中，对每个区域的所有FAST角点进行遍历计算的轮数多于本实施例提出的方法AUP-SLAM3。例如提取1024个特征点，ORB-SLAM3需要遍历所有FAST角点的轮数为5轮（log41024=5），并额外需要遍历一轮选择显著的角点作为特征点，而本实施例方法采用自适应区域划分的方式，可以大大提高每轮区域划分的数量，每轮提取的特征点数量更多。对于提取1024个特征点，本实施例方法只需对所有FAST角点遍历1-2轮，有效减少了计算的时间开销。
特征点分布的均匀性对图像特征的匹配质量有很大的影响。从表5至表7也可以看出来，AUP-SLAM3在特征点分布均匀性方面表现也是最优的。与本实施例方法AUP-SLAM3相比，在KITTI、EuRoc、TUM RGB-D数据集上，AUP-SLAM3提取的特征点分布均匀度分别提高了23.53%、13.33%、10.53%。
综上所述，本实施例方法（AUP方法）不仅能有效提升视觉SLAM的定位精度，还较大程度地减少了特征点提取的时间开销，提取的特征点分布更均匀。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。
Claims (7)
1.一种基于自适应均匀划分特征点提取的视觉SLAM方法，其特征在于，包括以下步骤：
采集行进图像构建图像金字塔；
基于自适应均匀划分特征点提取所述图像金字塔的特征点；
构建所述特征点的ORB特征，基于所述ORB特征进行图像特征信息匹配，并进行位姿估计；
基于估计的位姿进行局部建图，并对局部建图过程进行回环检测和地图合并，获得优化整合后的全局地图；
构建图像金字塔的过程包括：将原始图像设为第一层图像，预设图像金字塔每层的缩放尺度，基于所述原始图像和对应层的缩放尺度获得其余层图像，进而完成图像金字塔的构建，并对所述图像金字塔进行灰度化处理；
提取特征点的过程包括：基于FAST特征检测器对图像金字塔的每层图像进行角点提取，并获取每层图像的目标特征点数量；若当前层图像提取到的角点数量小于等于当前层图像的目标特征点数量时，将当前层图像提取到的所有角点作为当前层图像的特征点；若当前层图像提取到的角点数量大于当前层图像的目标特征点数量时，基于自适应均匀划分方法对当前层图像进行特征点提取，进而完成当前层图像的特征点提取，然后继续对图像金字塔的其余层图像进行特征点提取，直至图像金字塔所有层图像特征点提取完成。
2.根据权利要求1所述的基于自适应均匀划分特征点提取的视觉SLAM方法，其特征在于，
基于自适应均匀划分方法进行特征点提取的过程包括：对当前层图像进行区域自适应划分，将当前层图像提取到的角点匹配到划分的区域中，获得匹配到的特征点数量；当匹配到的特征点数量小于当前层图像的目标特征点数量时，对当前层的自适应参数进行调整继续进行自适应均匀划分和匹配，直至匹配到的特征点数量大于等于当前层图像的目标特征点数量；其中，当匹配到的特征点数量等于当前层图像的目标特征点数量时，提取完成；当匹配到的特征点数量大于当前层图像的目标特征点数量时，对匹配到的特征点的响应值进行排序，按照从大到小的顺序选取当前层图像的目标特征点数量。
3.根据权利要求1所述的基于自适应均匀划分特征点提取的视觉SLAM方法，其特征在于，
获取每层图像的目标特征点数量的过程包括：对图像金字塔每层的缩放尺度进行求和处理，获得总的缩放尺度；获取图像金字塔的特征点总数量，基于每层的缩放尺度、总的缩放尺度以及特征点总数量，获得对应层图像的目标特征点数量。
4.根据权利要求2所述的基于自适应均匀划分特征点提取的视觉SLAM方法，其特征在于，
进行区域自适应划分的过程包括：基于当前层图像的高和宽、目标特征点数量和自适应参数，获得当前层自适应划分区域的边长，进而进行区域划分。
5.根据权利要求1所述的基于自适应均匀划分特征点提取的视觉SLAM方法，其特征在于，
构建所述特征点的ORB特征的过程包括：获取所述特征点的方向和BRIEF描述子，基于所述特征点的方向和BRIEF描述子，构建ORB特征。
6.根据权利要求1所述的基于自适应均匀划分特征点提取的视觉SLAM方法，其特征在于，
基于估计的位姿进行局部建图的过程包括：基于估计的位姿进行视觉定位和局部地图跟踪，同时选择满足约束条件的普通帧作为关键帧传输给局部建图线程，并插入局部地图跟踪线程生成的关键帧，生成新的地图点，对局部建图中的关键帧和地图点进行优化。
7.根据权利要求6所述的基于自适应均匀划分特征点提取的视觉SLAM方法，其特征在于，
进行回环检测和地图合并的过程包括：基于词袋加速算法对局部建图中的关键帧进行回环检测，并进行全局位姿优化，然后基于局部建图生成的子地图之间的共视关系，将子地图整合成全局地图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311566435.8A CN117274620B (zh) | 2023-11-23 | 2023-11-23 | 基于自适应均匀划分特征点提取的视觉slam方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311566435.8A CN117274620B (zh) | 2023-11-23 | 2023-11-23 | 基于自适应均匀划分特征点提取的视觉slam方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117274620A true CN117274620A (zh) | 2023-12-22 |
| CN117274620B CN117274620B (zh) | 2024-02-06 |
Family
ID=89210983
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311566435.8A Active CN117274620B (zh) | 2023-11-23 | 2023-11-23 | 基于自适应均匀划分特征点提取的视觉slam方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117274620B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109631855A (zh) * | 2019-01-25 | 2019-04-16 | 西安电子科技大学 | 基于orb-slam的高精度车辆定位方法 |
| CN112381841A (zh) * | 2020-11-27 | 2021-02-19 | 广东电网有限责任公司肇庆供电局 | 一种动态场景下基于gms特征匹配的语义slam方法 |
| CN112489083A (zh) * | 2020-12-07 | 2021-03-12 | 之江实验室 | 基于orb-slam算法的图像特征点跟踪匹配方法 |
| CN113808152A (zh) * | 2021-09-14 | 2021-12-17 | 南京信息工程大学 | 一种基于orb_slam2的无人机自主导航方法 |
| WO2022041596A1 (zh) * | 2020-08-31 | 2022-03-03 | 同济人工智能研究院(苏州)有限公司 | 一种适用于室内动态环境的视觉slam方法 |
| CN116245949A (zh) * | 2023-03-02 | 2023-06-09 | 重庆邮电大学 | 一种基于改进四叉树特征点提取的高精度视觉slam方法 |
| CN116563341A (zh) * | 2023-05-11 | 2023-08-08 | 吉林大学 | 一种处理复杂环境下动态物体的视觉定位与建图方法 |
-
2023
- 2023-11-23 CN CN202311566435.8A patent/CN117274620B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109631855A (zh) * | 2019-01-25 | 2019-04-16 | 西安电子科技大学 | 基于orb-slam的高精度车辆定位方法 |
| WO2022041596A1 (zh) * | 2020-08-31 | 2022-03-03 | 同济人工智能研究院(苏州)有限公司 | 一种适用于室内动态环境的视觉slam方法 |
| CN112381841A (zh) * | 2020-11-27 | 2021-02-19 | 广东电网有限责任公司肇庆供电局 | 一种动态场景下基于gms特征匹配的语义slam方法 |
| CN112489083A (zh) * | 2020-12-07 | 2021-03-12 | 之江实验室 | 基于orb-slam算法的图像特征点跟踪匹配方法 |
| CN113808152A (zh) * | 2021-09-14 | 2021-12-17 | 南京信息工程大学 | 一种基于orb_slam2的无人机自主导航方法 |
| CN116245949A (zh) * | 2023-03-02 | 2023-06-09 | 重庆邮电大学 | 一种基于改进四叉树特征点提取的高精度视觉slam方法 |
| CN116563341A (zh) * | 2023-05-11 | 2023-08-08 | 吉林大学 | 一种处理复杂环境下动态物体的视觉定位与建图方法 |
Non-Patent Citations (7)
| Title |
|---|
| CARLOS CAMPOS ET AL.: "ORB-SLAM3:An Accurate Open-SourceLibraryfor Visual, Visual–Inertial, and Multimap SLAM", 《IEEE TRANSACTIONS ON ROBOTICS》, pages 1874 - 1890 * |
| JINJIN YAO ET AL.: "An Adaptive Uniform Distribution ORB Based on Improved Quadtree", 《IEEE ACCESS》, pages 143471 - 143478 * |
| XING WU ET AL.: "Adaptive ORB feature detection with avariable extraction radius in RoI for complex illumination scenes", 《ROBOTICS AND AUTONOMOUS SYSTEMS》, pages 1 - 16 * |
| XINXIN GUO ET AL.: "An Improved Visual SLAM Method with Adaptive Feature Extraction", 《APPLIED SCIENCES》, pages 1 - 17 * |
| 刘宏伟 等: "ORB特征四叉树均匀分布算法", 《自动化仪表》, pages 52 - 54 * |
| 姜伟东: "基于动态目标检测的室内移动机器人建图 技术研究", 《中国优秀硕士学位论文全文数据库》, pages 1 - 87 * |
| 李泓良: "面向物流AGV和AR设备的端云协同视觉SLAM方法研究", 《万方学位论文》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117274620B (zh) | 2024-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108520554B (zh) | 一种基于orb-slam2的双目三维稠密建图方法 | |
| CN112132893B (zh) | 一种适用于室内动态环境的视觉slam方法 | |
| CN109800689B (zh) | 一种基于时空特征融合学习的目标跟踪方法 | |
| CN114862949B (zh) | 一种基于点线面特征的结构化场景视觉slam方法 | |
| CN110688905B (zh) | 一种基于关键帧的三维物体检测与跟踪方法 | |
| CN110390292B (zh) | 基于动态关联模型的遥感视频车辆目标检测与跟踪方法 | |
| CN104537709A (zh) | 一种基于位姿变化的实时三维重建关键帧确定方法 | |
| CN108519102B (zh) | 一种基于二次投影的双目视觉里程计算方法 | |
| CN111882602B (zh) | 基于orb特征点和gms匹配过滤器的视觉里程计实现方法 | |
| CN104794737A (zh) | 一种深度信息辅助粒子滤波跟踪方法 | |
| CN110827321B (zh) | 一种基于三维信息的多相机协同的主动目标跟踪方法 | |
| CN111899280A (zh) | 采用深度学习和混合型位姿估计的单目视觉里程计方法 | |
| CN106780567B (zh) | 一种融合颜色和梯度直方图的免疫粒子滤波扩展目标跟踪方法 | |
| CN110070577B (zh) | 基于特征点分布的视觉slam关键帧与特征点选取方法 | |
| CN111812978A (zh) | 一种多无人机协作slam方法与系统 | |
| CN117274620B (zh) | 基于自适应均匀划分特征点提取的视觉slam方法 | |
| CN107992677B (zh) | 基于惯导信息和亮度修正的红外弱小移动目标跟踪方法 | |
| CN108197613B (zh) | 一种基于深度卷积级联网络的人脸检测优化方法 | |
| CN116309775A (zh) | 一种将基于多基的深度补全网络与slam融合的方法 | |
| CN115239902A (zh) | 移动设备的周边地图建立方法、装置、设备及存储介质 | |
| Wang et al. | Dynamic object separation and removal in 3d point cloud map building | |
| Zhang et al. | Unsupervised learning of monocular depth and large-ego-motion with multiple loop consistency losses | |
| Liu et al. | Robust RGB: D-SLAM in highly dynamic environments based on probability observations and clustering optimization | |
| Hu et al. | Self-supervised monocular visual odometry based on cross-correlation | |
| Luo et al. | Research on SLAM System Based on Binocular Vision and IMU Information |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |