CN111046856A - 基于动静态特征提取并行位姿跟踪与地图创建的方法 - Google Patents

基于动静态特征提取并行位姿跟踪与地图创建的方法 Download PDF

Info

Publication number
CN111046856A
CN111046856A CN202010174432.XA CN202010174432A CN111046856A CN 111046856 A CN111046856 A CN 111046856A CN 202010174432 A CN202010174432 A CN 202010174432A CN 111046856 A CN111046856 A CN 111046856A
Authority
CN
China
Prior art keywords
dynamic
feature
feature points
static
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010174432.XA
Other languages
English (en)
Other versions
CN111046856B (zh
Inventor
王燕清
陈长伟
刘维周
石朝侠
肖文洁
李泳泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yangzhou Mingchen Information Technology Co ltd
Original Assignee
Nanjing Xiaozhuang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Xiaozhuang University filed Critical Nanjing Xiaozhuang University
Priority to CN202010174432.XA priority Critical patent/CN111046856B/zh
Publication of CN111046856A publication Critical patent/CN111046856A/zh
Application granted granted Critical
Publication of CN111046856B publication Critical patent/CN111046856B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于动静态特征提取并行位姿跟踪与地图创建的方法，通过将特征点分为潜在动态特征和非潜在动态特征，筛选出非潜在动态特征点计算出运动模型，场景中的静态特征点进行位姿跟踪，利用非潜在动态特征中的静态特征点进行建图。基于动静态特征提取并行位姿跟踪与地图创建的方法，在KITTI和TUM数据集上和经典ORB_SLAM2进行对比，提高了跟踪轨迹精度，在保障地图精度的同时，改善了地图的适用性，通过将特征点进行分类并行处理，提高效率，减少动态特征点给位姿跟踪和建图造成的误差。

Description

基于动静态特征提取并行位姿跟踪与地图创建的方法
技术领域
本发明涉及视觉分析系统技术领域，具体为基于动静态特征提取并行位姿跟踪与地图创建的方法。
背景技术
同时定位和地图构建(Simultaneous localization and mapping,SLAM)问题在机器人和计算机视觉领域有着悠久的历史。过去已经探索了不同的传感器模式，包括2D激光扫描仪、3D扫描仪、单目相机、双目相机和RGB-D传感器。现有的SLAM方法，从所处理的输入数据类型的角度，可分为基于深度相机的方法和基于单目相机的方法。从采用方法的角度来看，也可以分为依靠特征点进行匹配并构建稀疏地图的特征点法，和最小化光度误差并构建稠密地图的直接法。
本发明选用基于ORB(ORiented Brief)特征点的SLAM方法，ORB特征点可以在CPU上实时计算；相比Harris角点等简单角点特征,又具有良好的旋转和缩放不变性。并且，ORB定义的描述子，在运动范围较大时也可以实现良好的回环检测和重定位效果。对于如何消除场景中移动目标和潜在移动目标的影响，引入基于深度学习的对象检测算法来检测场景中的移动目标和潜在移动目标。基于非潜在动态目标的运动模型对特征点全集进行筛选，利用其中的静态特征点进行位姿跟踪，利用静态特征点中的非潜在动态特征点进行地图构建。
发明内容
（一）解决的技术问题
针对现有技术的不足，本发明提供了基于动静态特征提取并行位姿跟踪与地图创建的方法，通过将基于深度学习的目标检测算法引入到经典ORB_SLAM2方法中，将特征点分为潜在动态特征和非潜在动态特征，基于非潜在动态特征点计算出运动模型，筛选出场景中的静态特征点进行位姿跟踪，利用非潜在动态特征中的静态特征点进行建图，在KITTI和TUM数据集上和ORB_SLAM2进行对比，提高了跟踪轨迹精度，在保障地图精度的同时，改善了地图的适用性。
（二）技术方案
为实现以上目的，本发明通过以下技术方案予以实现：基于动静态特征提取并行位姿跟踪与地图创建的方法，具体包括以下步骤：
S1、首先将特征点集合U分为潜在动态特征点
Figure 100002_DEST_PATH_IMAGE002
和非潜在动态特征点
Figure 100002_DEST_PATH_IMAGE004
,具体是由残差块构成的全卷积网络Darknet-53网络作为网络主体，在不同尺度上进行特征提取，获得最后目标检测结果，定义检测框集合为
Figure 100002_DEST_PATH_IMAGE006
，单个检测框定义为
Figure 100002_DEST_PATH_IMAGE008
，其中
Figure 100002_DEST_PATH_IMAGE010
为检测框左上角在帧中的坐标，
Figure 100002_DEST_PATH_IMAGE012
为检测框的宽和高，对特征点集合
Figure 100002_DEST_PATH_IMAGE014
中的每个特征点
Figure 100002_DEST_PATH_IMAGE016
判断：
Figure 100002_DEST_PATH_IMAGE018
，经过目标检测算法处理后，特征点全集
Figure 343407DEST_PATH_IMAGE014
被分为潜在动态特征点集合
Figure 337908DEST_PATH_IMAGE002
和非潜在动态特征点集合
Figure 495351DEST_PATH_IMAGE004
,集合
Figure 632809DEST_PATH_IMAGE002
计算出运动模型，进行位姿跟踪，利用集合
Figure 732352DEST_PATH_IMAGE004
进行地图创建,并行处理两种行为。
S2、然后使用特征匹配一致性评估跟踪的车辆位姿运动模型将特征点集合U分为动态特征点集合
Figure 100002_DEST_PATH_IMAGE020
和静态特征点集合
Figure 100002_DEST_PATH_IMAGE022
，动态特征点集合
Figure 690116DEST_PATH_IMAGE020
和静态特征点集合
Figure 651250DEST_PATH_IMAGE022
之间的关系为：
Figure 100002_DEST_PATH_IMAGE024
；
S3、进行位姿跟踪和建图，在位姿跟踪模块中，只基于场景中的静态特征点进行跟踪，排除动态特征点的影响；在建图模块中，只基于场景中的非潜在动态特征点中的静态特征点
Figure 100002_DEST_PATH_IMAGE026
进行建图。
优选的，所述步骤S2中动态特征点集合
Figure 987423DEST_PATH_IMAGE020
为场景中实际移动了的特征点，且静态特征点集合
Figure 257867DEST_PATH_IMAGE022
为场景中未移动的特征点。
优选的，所述步骤S2中在提取特征点后和参考帧中特征点进行粗匹配，
Figure 210648DEST_PATH_IMAGE004
中的特征点都是非潜在动态特征点，基于属于集合
Figure 959162DEST_PATH_IMAGE004
的特征点对，采用改进的算法，获得能够符合场景中静态特征点的最优运动模型。
优选的，所述步骤S3对于步骤S2集合
Figure 572677DEST_PATH_IMAGE014
中的特征点筛选，具体包括记下步骤：
T1、对于当前帧中提取出的潜在动态特征点
Figure 100002_DEST_PATH_IMAGE028
，在参考帧中的对应匹配点为
Figure 100002_DEST_PATH_IMAGE030
，根据上文计算出的本质矩阵
Figure 100002_DEST_PATH_IMAGE032
，获得空间点
Figure 100002_DEST_PATH_IMAGE034
在参考帧中的投影点为
Figure 778137DEST_PATH_IMAGE016
，
Figure 781996DEST_PATH_IMAGE016
和
Figure 645784DEST_PATH_IMAGE030
地齐次坐标为：
Figure 100002_DEST_PATH_IMAGE036
，满足：
Figure 100002_DEST_PATH_IMAGE038
，则保留特征点
Figure 379385DEST_PATH_IMAGE016
加入到集合
Figure 303217DEST_PATH_IMAGE022
中，否则丢弃；
T2、对集合S中的特征点进行跟踪。
优选的，所述步骤T1中
Figure 100002_DEST_PATH_IMAGE040
为设置的距离阈值。
优选的，所述步骤S3中对于建图模块的操作具体包括以下步骤：
E1、对跟踪模块输入的关键帧中的特征点集合进行筛选，基于特征点集合
Figure 100002_DEST_PATH_IMAGE042
进行建图：
Figure 100002_DEST_PATH_IMAGE044
；
E2、插入该关键帧到地图中即可完成建图。
（三）有益效果
本发明提供了基于动静态特征提取并行位姿跟踪与地图创建的方法。与现有技术相比具备以下有益效果：通过将基于深度学习的目标检测算法引入基于特征分类的SLAM方法中，将特征点分为潜在动态特征和非潜在动态特征，基于非潜在动态特征点计算出运动模型，筛选出场景中的静态特征点进行位姿跟踪，利用非潜在动态特征中的静态特征点进行建图，在KITTI和TUM数据集上和ORB_SLAM2进行对比，提高了跟踪轨迹精度，在保障地图精度的同时，改善了地图的适用性，通过将特征点进行分类处理，减少动态特征点给位姿跟踪和建图造成的误差，与ORB_SLAM2相比，系统的性能有了明显的提高，并且系统的运行速度可以满足实时性的要求，在TUM动态对象数据集中，该系统相对于ORB_SLAM2系统具有明显的性能提升，在KITTI数据集中，对于那些动态对象较多的场景，该系统比单目和双目SLAM系统更为精确。
附图说明
图1为本发明的原理框架图；
图2为本发明特征匹配一致性检测算法流程图；
图3为本发明位姿跟踪特征点筛选示意图；
图4为本发明应用实验在KITTI数据集中采用ORB_SLAM2实验的轨迹误差示意图；
图5为本发明应用实验在KITTI数据集中采用本发明方法实验的轨迹误差示意图；
图6为本发明应用实验在TUM数据集上采用ORB_SLAM2(walking_halfsphere)实验的轨迹误差示意图；
图7为本发明应用实验在TUM数据集上采用ORB_SLAM2(walking_xyz)实验的轨迹误差示意图；
图8为本发明应用实验在TUM数据集上采用本发明方法(walking_halfsphere)实验的轨迹误差示意图；
图9为本发明应用实验在TUM数据集上采用本发明方法(walking_xyz)实验的轨迹误差示意图；
图10中列出了本发明和ORB_SLAM2在绝对路径误差(ATE)方面的结果对比；
图11和图12分别中列出了相对位姿误差(RPE)在平移和旋转方面的结果提升，其中improvement定义为：
Figure DEST_PATH_IMAGE046
，其中
Figure DEST_PATH_IMAGE048
为本发明提出方法的运行结果，
Figure DEST_PATH_IMAGE050
为ORB_SLAM2运行结果。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-12，本发明实施例提供一种技术方案：基于动静态特征提取并行位姿跟踪与地图创建的方法，具体包括以下步骤：
S1、首先将特征点集合U分为潜在动态特征点
Figure 27328DEST_PATH_IMAGE002
（人、车等目标）和非潜在动态特征点
Figure 383223DEST_PATH_IMAGE004
（建筑、道路、植被等）；具体是由残差块构成的全卷积网络Darknet-53网络作为网络主体，在不同尺度上进行特征提取，获得最后目标检测结果，定义检测框集合为
Figure 79652DEST_PATH_IMAGE006
，单个检测框定义为
Figure 597221DEST_PATH_IMAGE008
，其中
Figure 637990DEST_PATH_IMAGE010
为检测框左上角在帧中的坐标，
Figure 984526DEST_PATH_IMAGE012
为检测框的宽和高，对特征点集合
Figure 614091DEST_PATH_IMAGE014
中的每个特征点
Figure 115610DEST_PATH_IMAGE016
判断：
Figure 79893DEST_PATH_IMAGE018
，经过目标检测算法处理后，特征点全集
Figure 715274DEST_PATH_IMAGE014
被分为潜在动态特征点集合
Figure 684498DEST_PATH_IMAGE002
和非潜在动态特征点集合
Figure 652192DEST_PATH_IMAGE004
,集合
Figure 339656DEST_PATH_IMAGE002
计算出运动模型，进行位姿跟踪，利用集合
Figure 152629DEST_PATH_IMAGE004
进行地图创建,并行处理两种行为；
S2、然后使用特征匹配一致性评估跟踪的车辆位姿运动模型将特征点集合U分为动态特征点集合
Figure 491206DEST_PATH_IMAGE020
和静态特征点集合
Figure 68949DEST_PATH_IMAGE022
，动态特征点集合
Figure 742245DEST_PATH_IMAGE020
和静态特征点集合
Figure 719428DEST_PATH_IMAGE022
之间的关系为：
Figure 663245DEST_PATH_IMAGE024
；
S3、进行位姿跟踪和建图，在位姿跟踪模块中，只基于场景中的静态特征点进行跟踪，排除动态特征点的影响；在建图模块中，只基于场景中的非潜在动态特征点中的静态特征点
Figure 441583DEST_PATH_IMAGE026
进行建图。
本发明，步骤S2中动态特征点集合
Figure 352907DEST_PATH_IMAGE020
为场景中实际移动了的特征点，如正在移动的车和人上提取的特征点，且静态特征点集合
Figure 884513DEST_PATH_IMAGE022
为场景中未移动的特征点，如建筑物、停在路边的车上提取的特征点。
本发明，步骤S2中在提取特征点后和参考帧中特征点进行粗匹配，
Figure 932104DEST_PATH_IMAGE004
中的特征点都是非潜在动态特征点，因此大多数都是静态特征点，或者运动范围非常小的特征点，基于属于集合
Figure 904781DEST_PATH_IMAGE004
的特征点对，采用改进的算法，获得能够符合场景中静态特征点的最优运动模型，算法步骤如图2所示，具体操作分为如下四步：
1）首先根据特征点的描述子对
Figure 257396DEST_PATH_IMAGE014
中特征点进行粗匹配，比较特征点描述向量之间的Hamming距离，距离越小表明两个特征点之间相似度越高，若Hamming距离小于一定的阈值，则表示两个特征点匹配成功，记匹配点对集合为
Figure DEST_PATH_IMAGE052
：
Figure DEST_PATH_IMAGE054
，其中
Figure DEST_PATH_IMAGE056
为在当前帧中的一个特征点，
Figure DEST_PATH_IMAGE058
为在参考帧中的匹配特征点，
Figure DEST_PATH_IMAGE060
为定义的距离阈值。定义
Figure DEST_PATH_IMAGE062
：
Figure DEST_PATH_IMAGE064
。
2）对匹配点对集合
Figure 183239DEST_PATH_IMAGE062
进行顺序抽样，并标记每对点对为内点的概率
Figure DEST_PATH_IMAGE066
，通过验证假设模型来更新其
Figure 491860DEST_PATH_IMAGE066
值，假设对于当前抽取的样本集
Figure DEST_PATH_IMAGE068
的假设模型为
Figure DEST_PATH_IMAGE070
，当前前三个最优模型为
Figure DEST_PATH_IMAGE072
、
Figure DEST_PATH_IMAGE074
和
Figure DEST_PATH_IMAGE076
，对应样本集为
Figure DEST_PATH_IMAGE078
、
Figure DEST_PATH_IMAGE080
和
Figure DEST_PATH_IMAGE082
，若
Figure DEST_PATH_IMAGE084
，则更新概率
Figure DEST_PATH_IMAGE086
为：
Figure DEST_PATH_IMAGE088
，
若更新了模型
Figure 172853DEST_PATH_IMAGE072
，则
Figure 730873DEST_PATH_IMAGE076
被删除，模型
Figure 165134DEST_PATH_IMAGE072
，
Figure 366DEST_PATH_IMAGE074
变成新的
Figure 979824DEST_PATH_IMAGE074
和
Figure 539987DEST_PATH_IMAGE076
。对
Figure 263092DEST_PATH_IMAGE074
和
Figure 952831DEST_PATH_IMAGE076
的更新策略可依此类推。
3) 顺序取完匹配点对中的所有点对并更新
Figure 618036DEST_PATH_IMAGE066
值后，根据各个点对的
Figure 150649DEST_PATH_IMAGE066
值进行重新排序，重复执行2）中操作，直到在某次操作后对匹配点对重排序时，并未改变匹配点对的顺序。根据
Figure 756073DEST_PATH_IMAGE072
、
Figure 736537DEST_PATH_IMAGE074
和
Figure 261059DEST_PATH_IMAGE076
分别计算其相对的运动模型：
Figure DEST_PATH_IMAGE090
，其中
Figure DEST_PATH_IMAGE092
，
Figure DEST_PATH_IMAGE094
为模型
Figure DEST_PATH_IMAGE096
对应的旋转四元数和平移距离，定义：
Figure DEST_PATH_IMAGE098
，其中
Figure DEST_PATH_IMAGE100
，
Figure DEST_PATH_IMAGE102
为上一帧的旋转四元数和平移距离，
Figure DEST_PATH_IMAGE104
，
Figure DEST_PATH_IMAGE106
为常数。选择
Figure DEST_PATH_IMAGE108
值最小的模型作为最优模型
Figure DEST_PATH_IMAGE110
输出，对应的匹配点对集合作为
Figure DEST_PATH_IMAGE112
输出。
4）根据最优模型
Figure 356666DEST_PATH_IMAGE110
，计算出相机运动的本质矩阵，设匹配点对
Figure DEST_PATH_IMAGE114
于集合
Figure 756596DEST_PATH_IMAGE112
，其在当前帧中的特征点为
Figure DEST_PATH_IMAGE116
其在参考帧中的匹配特征点为
Figure DEST_PATH_IMAGE118
。
Figure 263670DEST_PATH_IMAGE116
和
Figure 21410DEST_PATH_IMAGE118
的归一化坐标为
Figure DEST_PATH_IMAGE120
。
根据对极约束：
Figure DEST_PATH_IMAGE122
。
求得本质矩阵
Figure DEST_PATH_IMAGE124
。根据
Figure 263036DEST_PATH_IMAGE032
可以计算出两帧之间的旋转矩阵
Figure DEST_PATH_IMAGE126
和平移向量
Figure 771115DEST_PATH_IMAGE102
，
Figure DEST_PATH_IMAGE128
，其中
Figure DEST_PATH_IMAGE130
是
Figure 663854DEST_PATH_IMAGE102
的反对称矩阵。
本发明，步骤S3对于步骤S2集合
Figure 77649DEST_PATH_IMAGE014
中的特征点筛选如图3，具体包括记下步骤：
T1、对于当前帧中提取出的潜在动态特征点
Figure 72150DEST_PATH_IMAGE028
，在参考帧中的对应匹配点为
Figure 728128DEST_PATH_IMAGE030
，根据上文计算出的本质矩阵
Figure 632630DEST_PATH_IMAGE032
，获得空间点
Figure 201014DEST_PATH_IMAGE034
在参考帧中的投影点为
Figure 197658DEST_PATH_IMAGE016
，
Figure 221109DEST_PATH_IMAGE016
和
Figure 901489DEST_PATH_IMAGE030
地齐次坐标为：
Figure 358884DEST_PATH_IMAGE036
，满足：
Figure 124715DEST_PATH_IMAGE038
，则保留特征点
Figure 951856DEST_PATH_IMAGE016
加入到集合
Figure 939273DEST_PATH_IMAGE022
中，否则丢弃；
T2、对集合S中的特征点进行跟踪。
本发明，步骤T1中
Figure 193668DEST_PATH_IMAGE040
为设置的距离阈值。
本发明，步骤S3中对于建图模块的操作具体包括以下步骤：
E1、对跟踪模块输入的关键帧中的特征点集合进行筛选，基于特征点集合
Figure 446795DEST_PATH_IMAGE042
进行建图：
Figure 185949DEST_PATH_IMAGE044
；
E2、插入该关键帧到地图中即可完成建图，具体操作不做赘述。
如图1所示，本发明在基于动静态特征提取并行位姿跟踪与地图创建的方法中增加了基于深度学习的目标检测方法，将输入图像中提取出的特征点分为两类，一类是潜在动态特征点，这一类特征点具有可移动性，在场景中并不是长时间固定存在的（如车、人等目标上提取的特征点），在重定位和闭环检测时可能会导致场景匹配失败；另一类是非潜在动态特征点，这一类特征点在场景中往往不能移动或者在足够长的时间内不会移动（如建筑物、树木等目标上提取的特征点）。
ORB特征点提取：ORB特征点由两部分组成：关键点和描述符。提取ORB特征主要分为两个步骤：
第一步，FAST角点提取：找到图像中的角点，计算特征点的主方向，并为后续的简要描述符添加旋转不变特征。
第二步、BRIEF描述子：描述上一步提取的特征点周围的图像区域。
FAST角点，其主要依据是，如果一个像素与其周围像素显著不同(太亮或太暗)，它可能是角点，ORB添加了尺度和旋转的描述，对于任意一个特征点
Figure 840922DEST_PATH_IMAGE016
来说，定义
Figure 266218DEST_PATH_IMAGE016
的邻域像素的矩为：
Figure DEST_PATH_IMAGE132
，其中
Figure DEST_PATH_IMAGE134
为点
Figure 928012DEST_PATH_IMAGE010
处的灰度值，可以得到图像的质心为：
Figure DEST_PATH_IMAGE136
。
特征点与质心的夹角定义为FAST特征点的方向：
Figure DEST_PATH_IMAGE138
，为了提高方法的旋转不变性，需要确保
Figure DEST_PATH_IMAGE140
和
Figure DEST_PATH_IMAGE142
在半径为
Figure DEST_PATH_IMAGE144
的圆形区域内，即
Figure DEST_PATH_IMAGE146
，
Figure 500551DEST_PATH_IMAGE144
等于邻域半径。在提取有向FAST关键点后，计算每个点的描述符，ORB选择了BRIEF作为特征描述方法，该算法采用随机选取点的方法，选择特征点周围
Figure DEST_PATH_IMAGE148
大小的像素块，随机选取
Figure DEST_PATH_IMAGE150
对像素点，定义：
Figure DEST_PATH_IMAGE152
Figure DEST_PATH_IMAGE154
是点
Figure 72347DEST_PATH_IMAGE140
处的灰度值，则特征点
Figure 793178DEST_PATH_IMAGE016
的描述子定义为：
Figure DEST_PATH_IMAGE156
。
应用实验
本发明使用TUM RGB-D和KITTI数据集对系统进行了评估，将系统与原始ORB_SLAM2进行了比较，将重点放在具有更多动态和静态对象的序列的结果上，系统在环境中的性能是评价的重要组成部分。
在KITTI数据集中，一些移动的车辆和行人对跟踪和定位精度有影响，该系统将环境中的车辆和行人作为动态对象进行检测和处理，由于数据集中动态对象较少，跟踪模块性能提升不明显，但是可以有效减小没有闭环情况下的累积误差，从图4-5可以看出，在没有闭环的情况下，因为在地图中滤除了所有具有移动性的物体，本方法的轨迹误差明显较小。
在TUM数据集上，这个系统的性能明显优于ORB_SLAM2，如图6-9所示，ORB_SLAM2在序列walking_xyz和walking_halfsphere上的系统的轨迹跟踪误差较高，由于该方法主要针对场景中的动态和静态对象，因此，列出了在TUM数据集中动态目标较多的数据集上的运行效果，图10中列出了本发明和ORB_SLAM2在绝对路径误差(ATE)方面的结果对比，图11和图12分别中列出了相对位姿误差(RPE)在平移和旋转方面的结果提升，其中improvement定义为：
Figure 411110DEST_PATH_IMAGE046
，其中
Figure 305117DEST_PATH_IMAGE048
为本发明提出方法的运行结果，
Figure 957570DEST_PATH_IMAGE050
为ORB_SLAM2运行结果，可以看出提升效果是显著的。
需要说明的是，在本发明中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.基于动静态特征提取并行位姿跟踪与地图创建的方法，其特征在于：具体包括以下步骤：
S1、首先将特征点集合U分为潜在动态特征点
Figure DEST_PATH_IMAGE002
和非潜在动态特征点
Figure DEST_PATH_IMAGE004
,具体是由残差块构成的全卷积网络Darknet-53网络作为网络主体，在不同尺度上进行特征提取，获得最后目标检测结果，定义检测框集合为
Figure DEST_PATH_IMAGE006
，单个检测框定义为
Figure DEST_PATH_IMAGE008
，其中
Figure DEST_PATH_IMAGE010
为检测框左上角在帧中的坐标，
Figure DEST_PATH_IMAGE012
为检测框的宽和高，对特征点集合
Figure DEST_PATH_IMAGE014
中的每个特征点
Figure DEST_PATH_IMAGE016
判断：
Figure DEST_PATH_IMAGE018
，经过目标检测算法处理后，特征点全集
Figure 462811DEST_PATH_IMAGE014
被分为潜在动态特征点集合
Figure 786476DEST_PATH_IMAGE002
和非潜在动态特征点集合
Figure 346639DEST_PATH_IMAGE004
,集合
Figure 69744DEST_PATH_IMAGE002
计算出运动模型，进行位姿跟踪，利用集合
Figure 25062DEST_PATH_IMAGE004
进行地图创建,并行处理两种行为；
S2、然后使用特征匹配一致性评估跟踪的车辆位姿运动模型将特征点集合U分为动态特征点集合
Figure DEST_PATH_IMAGE020
和静态特征点集合
Figure DEST_PATH_IMAGE022
，动态特征点集合
Figure 768896DEST_PATH_IMAGE020
和静态特征点集合
Figure 675410DEST_PATH_IMAGE022
之间的关系为：
Figure DEST_PATH_IMAGE024
；
S3、进行位姿跟踪和建图，在位姿跟踪模块中，只基于场景中的静态特征点进行跟踪，排除动态特征点的影响；在建图模块中，只基于场景中的非潜在动态特征点中的静态特征点
Figure DEST_PATH_IMAGE026
进行建图。
2.根据权利要求1所述的基于动静态特征提取并行位姿跟踪与地图创建的方法，其特征在于：所述步骤S2中动态特征点集合
Figure 546414DEST_PATH_IMAGE020
为场景中实际移动了的特征点，且静态特征点集合
Figure 120352DEST_PATH_IMAGE022
为场景中未移动的特征点。
3.根据权利要求1所述的基于动静态特征提取并行位姿跟踪与地图创建的方法，其特征在于：所述步骤S2中在提取特征点后和参考帧中特征点进行粗匹配，
Figure 130028DEST_PATH_IMAGE004
中的特征点都是非潜在动态特征点，基于属于集合
Figure 212253DEST_PATH_IMAGE004
的特征点对，采用改进算法，获得能够符合场景中静态特征点的最优运动模型。
4.根据权利要求1所述的基于动静态特征提取并行位姿跟踪与地图创建的方法，其特征在于：所述步骤S3对于步骤S2集合
Figure 588746DEST_PATH_IMAGE014
中的特征点筛选具体包括记下步骤：
T1、对于当前帧中提取出的潜在动态特征点
Figure DEST_PATH_IMAGE028
，在参考帧中的对应匹配点为
Figure DEST_PATH_IMAGE030
，根据上文计算出的本质矩阵
Figure DEST_PATH_IMAGE032
，获得空间点
Figure DEST_PATH_IMAGE034
在参考帧中的投影点为
Figure 705606DEST_PATH_IMAGE016
，
Figure 712614DEST_PATH_IMAGE016
和
Figure 95185DEST_PATH_IMAGE030
地齐次坐标为：
Figure DEST_PATH_IMAGE036
，满足：
Figure DEST_PATH_IMAGE038
，则保留特征点
Figure 540948DEST_PATH_IMAGE016
加入到集合
Figure 590944DEST_PATH_IMAGE022
中，否则丢弃；
T2、对集合S中的特征点进行跟踪。
5.根据权利要求4所述的基于动静态特征提取并行位姿跟踪与地图创建的方法，其特征在于：所述步骤T1中
Figure DEST_PATH_IMAGE040
为设置的距离阈值。
6.根据权利要求1所述的基于动静态特征提取并行位姿跟踪与地图创建的方法，其特征在于：所述步骤S3中对于建图模块的操作具体包括以下步骤：
E1、对跟踪模块输入的关键帧中的特征点集合进行筛选，基于特征点集合
Figure DEST_PATH_IMAGE042
进行建图：
Figure DEST_PATH_IMAGE044
；
E2、插入该关键帧到地图中即可完成建图。
CN202010174432.XA 2020-03-13 2020-03-13 基于动静态特征提取并行位姿跟踪与地图创建的方法 Expired - Fee Related CN111046856B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010174432.XA CN111046856B (zh) 2020-03-13 2020-03-13 基于动静态特征提取并行位姿跟踪与地图创建的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010174432.XA CN111046856B (zh) 2020-03-13 2020-03-13 基于动静态特征提取并行位姿跟踪与地图创建的方法

Publications (2)

Publication Number Publication Date
CN111046856A true CN111046856A (zh) 2020-04-21
CN111046856B CN111046856B (zh) 2020-08-14

Family

ID=70231112

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010174432.XA Expired - Fee Related CN111046856B (zh) 2020-03-13 2020-03-13 基于动静态特征提取并行位姿跟踪与地图创建的方法

Country Status (1)

Country Link
CN (1) CN111046856B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111832618A (zh) * 2020-06-08 2020-10-27 江西日月明测控科技股份有限公司 轨道动、静态检查数据的匹配方法
CN111914832A (zh) * 2020-06-03 2020-11-10 华南理工大学 一种rgb-d相机在动态场景下的slam方法
CN111950561A (zh) * 2020-08-25 2020-11-17 桂林电子科技大学 一种基于语义分割的剔除语义slam动态点的方法
CN113095169A (zh) * 2021-03-26 2021-07-09 生态环境部卫星环境应用中心 大空间范围储油罐提取方法
CN113382365A (zh) * 2021-05-21 2021-09-10 北京索为云网科技有限公司 移动终端的位姿跟踪方法及设备
CN113643330A (zh) * 2021-10-19 2021-11-12 青岛根尖智能科技有限公司 一种基于动态语义特征的目标跟踪方法及系统
CN113920194A (zh) * 2021-10-08 2022-01-11 电子科技大学 基于视觉惯性融合的四旋翼飞行器定位方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109387204A (zh) * 2018-09-26 2019-02-26 东北大学 面向室内动态环境的移动机器人同步定位与构图方法
US10586397B1 (en) * 2018-08-24 2020-03-10 VIRNECT inc. Augmented reality service software as a service based augmented reality operating system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10586397B1 (en) * 2018-08-24 2020-03-10 VIRNECT inc. Augmented reality service software as a service based augmented reality operating system
CN109387204A (zh) * 2018-09-26 2019-02-26 东北大学 面向室内动态环境的移动机器人同步定位与构图方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
姚二亮等: "基于语义信息和边缘一致性的鲁棒SLAM算法", 《机器人》 *
邹雄等: "基于特征点法和直接法VSLAM的研究现状", 《计算机应用研究》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914832A (zh) * 2020-06-03 2020-11-10 华南理工大学 一种rgb-d相机在动态场景下的slam方法
CN111914832B (zh) * 2020-06-03 2023-06-13 华南理工大学 一种rgb-d相机在动态场景下的slam方法
CN111832618A (zh) * 2020-06-08 2020-10-27 江西日月明测控科技股份有限公司 轨道动、静态检查数据的匹配方法
CN111832618B (zh) * 2020-06-08 2024-03-22 江西日月明测控科技股份有限公司 轨道动、静态检查数据的匹配方法
CN111950561A (zh) * 2020-08-25 2020-11-17 桂林电子科技大学 一种基于语义分割的剔除语义slam动态点的方法
CN113095169A (zh) * 2021-03-26 2021-07-09 生态环境部卫星环境应用中心 大空间范围储油罐提取方法
CN113382365A (zh) * 2021-05-21 2021-09-10 北京索为云网科技有限公司 移动终端的位姿跟踪方法及设备
CN113382365B (zh) * 2021-05-21 2022-06-10 北京索为云网科技有限公司 移动终端的位姿跟踪方法及设备
CN113920194A (zh) * 2021-10-08 2022-01-11 电子科技大学 基于视觉惯性融合的四旋翼飞行器定位方法
CN113920194B (zh) * 2021-10-08 2023-04-21 电子科技大学 基于视觉惯性融合的四旋翼飞行器定位方法
CN113643330A (zh) * 2021-10-19 2021-11-12 青岛根尖智能科技有限公司 一种基于动态语义特征的目标跟踪方法及系统
CN113643330B (zh) * 2021-10-19 2022-03-25 青岛根尖智能科技有限公司 一种基于动态语义特征的目标跟踪方法及系统

Also Published As

Publication number Publication date
CN111046856B (zh) 2020-08-14

Similar Documents

Publication Publication Date Title
CN111046856B (zh) 基于动静态特征提取并行位姿跟踪与地图创建的方法
CN109816024B (zh) 一种基于多尺度特征融合与dcnn的实时车标检测方法
Fan et al. Pothole detection based on disparity transformation and road surface modeling
CN111563442B (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
CN106875381B (zh) 一种基于深度学习的手机外壳缺陷检测方法
Lee et al. Simultaneous traffic sign detection and boundary estimation using convolutional neural network
Xie et al. Multilevel cloud detection in remote sensing images based on deep learning
CN109615016B (zh) 一种基于金字塔输入增益的卷积神经网络的目标检测方法
US10049492B2 (en) Method and apparatus for rendering facades of objects of interest from three-dimensional point clouds
US9846946B2 (en) Objection recognition in a 3D scene
CN108898047B (zh) 基于分块遮挡感知的行人检测方法及系统
CN109815859B (zh) 一种低等级道路自动提取及变化分析方法
CN111709416B (zh) 车牌定位方法、装置、系统及存储介质
CN111027481B (zh) 基于人体关键点检测的行为分析方法及装置
Huang et al. A fast point cloud ground segmentation approach based on coarse-to-fine Markov random field
CN112200143A (zh) 一种基于候选区域网络和机器视觉的道路病害检测方法
Pascoe et al. Robust direct visual localisation using normalised information distance.
CN115995063A (zh) 作业车辆检测与跟踪方法和系统
CN112766136B (zh) 一种基于深度学习的空间车位检测方法
Dhaya CCTV surveillance for unprecedented violence and traffic monitoring
Ye et al. A two-stage real-time YOLOv2-based road marking detector with lightweight spatial transformation-invariant classification
CN108648211A (zh) 一种基于深度学习的小目标检测方法、装置、设备和介质
CN111967313A (zh) 一种深度学习目标检测算法辅助的无人机图像标注方法
CN106530407A (zh) 一种用于虚拟现实的三维全景拼接方法、装置和系统
CN112163588A (zh) 基于智能进化的异源图像目标检测方法、存储介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221031

Address after: No. 186, Yangzijiang Middle Road, Yangzhou Economic and Technological Development Zone, Jiangsu Province 225001

Patentee after: Yangzhou Mingchen Information Technology Co.,Ltd.

Address before: 211171 Nanjing Xiaozhuang College, 3601 Hongjing Avenue, Jiangning District, Nanjing, Jiangsu Province

Patentee before: NANJING XIAOZHUANG University

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200814