CN111046856B - 基于动静态特征提取并行位姿跟踪与地图创建的方法 - Google Patents

基于动静态特征提取并行位姿跟踪与地图创建的方法 Download PDF

Info

Publication number
CN111046856B
CN111046856B CN202010174432.XA CN202010174432A CN111046856B CN 111046856 B CN111046856 B CN 111046856B CN 202010174432 A CN202010174432 A CN 202010174432A CN 111046856 B CN111046856 B CN 111046856B
Authority
CN
China
Prior art keywords
feature points
point
feature
points
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202010174432.XA
Other languages
English (en)
Other versions
CN111046856A (zh
Inventor
王燕清
陈长伟
刘维周
石朝侠
肖文洁
李泳泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yangzhou Mingchen Information Technology Co ltd
Original Assignee
Nanjing Xiaozhuang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Xiaozhuang University filed Critical Nanjing Xiaozhuang University
Priority to CN202010174432.XA priority Critical patent/CN111046856B/zh
Publication of CN111046856A publication Critical patent/CN111046856A/zh
Application granted granted Critical
Publication of CN111046856B publication Critical patent/CN111046856B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于动静态特征提取并行位姿跟踪与地图创建的方法，通过将特征点分为潜在动态特征和非潜在动态特征，筛选出非潜在动态特征点计算出运动模型，场景中的静态特征点进行位姿跟踪，利用非潜在动态特征中的静态特征点进行建图。基于动静态特征提取并行位姿跟踪与地图创建的方法，在KITTI和TUM数据集上和经典ORB_SLAM2进行对比，提高了跟踪轨迹精度，在保障地图精度的同时，改善了地图的适用性，通过将特征点进行分类并行处理，提高效率，减少动态特征点给位姿跟踪和建图造成的误差。

Description

基于动静态特征提取并行位姿跟踪与地图创建的方法
技术领域
本发明涉及视觉分析系统技术领域，具体为基于动静态特征提取并行位姿跟踪与地图创建的方法。
背景技术
同时定位和地图构建(Simultaneous localization and mapping, SLAM)问题在机器人和计算机视觉领域有着悠久的历史。过去已经探索了不同的传感器模式，包括2D激光扫描仪、3D扫描仪、单目相机、双目相机和RGB-D传感器。现有的SLAM方法，从所处理的输入数据类型的角度，可分为基于深度相机的方法和基于单目相机的方法。从采用方法的角度来看，也可以分为依靠特征点进行匹配并构建稀疏地图的特征点法和最小化光度误差并构建稠密地图的直接法。
本发明选用基于ORB(Oriented Brief)特征点的SLAM方法，ORB特征点可以在CPU上实时计算；相比Harris角点简单角点特征又具有良好的旋转和缩放不变性。并且，ORB定义的描述子，在运动范围较大时也可以实现良好的回环检测和重定位效果。对于如何消除场景中移动目标和潜在移动目标的影响，引入基于深度学习的对象检测算法来检测场景中的移动目标和潜在移动目标。基于非潜在动态目标的运动模型对特征点全集进行筛选，利用其中的静态特征点进行位姿跟踪，利用静态特征点中的非潜在动态特征点进行地图构建。
发明内容
针对现有技术的不足，本发明提供了基于动静态特征提取并行位姿跟踪与地图创建的方法，通过将基于深度学习的目标检测算法引入到经典ORB_SLAM2方法中，将特征点分潜在动态特征和非潜在动态特征，基于非潜在动态特征点计算出运动模型，筛选出场景中的静态特征点进行位姿跟踪，利用非潜在动态特征中的静态特征点进行建图，在KITTI和TUM数据集上和ORB_SLAM2进行对比，提高了跟踪轨迹精度，在保障地图精度的同时，改善了地图的适用性。
为实现以上目的，本发明通过以下技术方案予以实现：基于动静态特征提取并行位姿跟踪与地图创建的方法，具体包括以下步骤：
S1、首先将特征点集合
Figure 569912DEST_PATH_IMAGE001
分为潜在动态特征点
Figure 157890DEST_PATH_IMAGE002
和非潜在动态特征点
Figure 620183DEST_PATH_IMAGE003
，具体是由残差块构成的全卷积网络
Figure 183102DEST_PATH_IMAGE004
网络作为网络主体，在不同尺度上进行特征提取，获得最后目标检测结果，定义检测框集合为
Figure 680030DEST_PATH_IMAGE006
，其中
Figure 981787DEST_PATH_IMAGE008
分别代表不同目标的检测框，
Figure 8814DEST_PATH_IMAGE009
代表有限集合，随着场景不同，检测框数量也不同，单个检测框定义为
Figure 890271DEST_PATH_IMAGE011
，其中
Figure 777457DEST_PATH_IMAGE013
为检测框左上角在帧中的坐标，
Figure 453377DEST_PATH_IMAGE015
为检测框的宽和高，对特征点集合
Figure 123218DEST_PATH_IMAGE016
中的每个特征点
Figure 339524DEST_PATH_IMAGE017
判断：
Figure 545465DEST_PATH_IMAGE018
，其中
Figure 65581DEST_PATH_IMAGE019
为在检测框内横坐标为
Figure 973451DEST_PATH_IMAGE020
，纵坐标为
Figure 965417DEST_PATH_IMAGE021
的特征点,经过目标检测算法处理后，特征点全集
Figure 291444DEST_PATH_IMAGE001
被分为潜在动态特征点集合
Figure 794320DEST_PATH_IMAGE022
和非潜在动态特征点集合
Figure 205797DEST_PATH_IMAGE003
，根据集合
Figure 763906DEST_PATH_IMAGE022
计算出运动模型，进行位姿跟踪，利用集合
Figure 21878DEST_PATH_IMAGE003
进行地图创建,并行处理两种行为；
S2、然后使用特征匹配一致性评估跟踪的车辆位姿运动模型，将特征点集合
Figure 476081DEST_PATH_IMAGE016
分为动态特征点集合
Figure 645027DEST_PATH_IMAGE023
和静态特征点集合
Figure 210088DEST_PATH_IMAGE024
，动态特征点集合
Figure 228817DEST_PATH_IMAGE025
和静态特征点集合
Figure 853921DEST_PATH_IMAGE024
之间的关系为：
Figure 771149DEST_PATH_IMAGE026
；
S3、进行位姿跟踪和建图，在位姿跟踪模块中，只基于场景中的静态特征点进行跟踪，排除动态特征点的影响；在建图模块中，只基于场景中的非潜在动态特征点中的静态特征点
Figure 531305DEST_PATH_IMAGE027
进行建图。
优选的，所述步骤S2中动态特征点集合
Figure 409133DEST_PATH_IMAGE025
为场景中实际移动了的特征点，且静态特征点集合
Figure 454406DEST_PATH_IMAGE024
为场景中未移动的特征点。
优选的，所述步骤S2中在提取特征点后和参考帧中特征点进行粗匹配，
Figure 563658DEST_PATH_IMAGE003
中的特征点都是非潜在动态特征点，采用改进算法，获得能够符合场景中静态特征点的最优运动模型。
1. 提取ORB特征
ORB特征点由两部分组成:关键点和描述符，提取ORB特征主要分为两个步骤：(1)FAST特征点提取：找到图像中的角点，计算特征点的主方向，并为后续的简要描述符添加旋转不变特征；(2)BRIEF描述子：描述上一步提取的特征点周围的图像区域；一个像素与其周围像素显著不同，太亮或太暗，是角点；ORB添加了尺度和旋转的描述，对于任意一对特征点
Figure 971987DEST_PATH_IMAGE028
来说，定义
Figure 455054DEST_PATH_IMAGE028
的邻域像素的矩为：
Figure 312448DEST_PATH_IMAGE030
Figure 112258DEST_PATH_IMAGE032
其中
Figure 358565DEST_PATH_IMAGE033
为点
Figure 724168DEST_PATH_IMAGE034
处的灰度值,可以得到图像的质心为
Figure 596397DEST_PATH_IMAGE035
， m01是所有x方向的像素质心，
Figure 178776DEST_PATH_IMAGE036
是所有y方向的像素质心，
Figure 807127DEST_PATH_IMAGE037
是所有x和y方向的像素质心；质心的夹角定义为FAST特征点的方向：
Figure 588090DEST_PATH_IMAGE039
为了提高方法的旋转不变性，需要确保x和y在半径为r的圆形区域内，即
Figure 631220DEST_PATH_IMAGE041
，r等于邻域半径，在提取有向FAST特征点后，计算每个点的描述符；ORB选择了BRIEF作为特征描述方法，该算法采用随机选取点的方法，选择特征点周围J*J大小的像素块，J为像素块的长度，随机选取n对像素点，定义：
Figure 684583DEST_PATH_IMAGE043
p(x)是点x处的灰度值，p(y)是点y处的灰度值，则特征点p的描述子
Figure 736941DEST_PATH_IMAGE044
定义为：
Figure 811558DEST_PATH_IMAGE046
2.特征点匹配
在提取特征点后和参考帧中特征点进行粗匹配，由前面的定义可知，
Figure 780915DEST_PATH_IMAGE003
中的特征点都是非潜在动态特征点，是静态特征点，或者运动范围非常小的特征点，采用改进的算法，获得能够符合场景中静态特征点的最优运动模型，具体操作分为如下4步：
1)首先根据特征点的描述子对
Figure 212062DEST_PATH_IMAGE001
中特征点进行粗匹配，比较特征点描述向量之间的Hamming距离，距离越小表明两个特征点之间相似度越高，若Hamming距离小于阈值，则表示两个特征点匹配成功，记匹配点对集合为
Figure 68110DEST_PATH_IMAGE047
，
Figure 495769DEST_PATH_IMAGE048
为异或符号：
Figure 943019DEST_PATH_IMAGE050
随机选取n对像素点，其中
Figure 460720DEST_PATH_IMAGE051
为在当前帧中的一个特征点，
Figure 854881DEST_PATH_IMAGE052
为在参考帧中的匹配特征点，
Figure 386313DEST_PATH_IMAGE054
为当前帧中的第i对特征点
Figure 864709DEST_PATH_IMAGE051
的ORB描述子，
Figure 927431DEST_PATH_IMAGE056
为参考帧中的第i对匹配特征点
Figure 843391DEST_PATH_IMAGE052
的ORB描述子，
Figure 511221DEST_PATH_IMAGE057
为定义的距离阈值，定义
Figure 288554DEST_PATH_IMAGE058
：
Figure 792567DEST_PATH_IMAGE060
2) 对匹配点对集合
Figure 262951DEST_PATH_IMAGE058
进行顺序抽样，并标记每对点对为内点的概率
Figure 128304DEST_PATH_IMAGE061
，通过验证假设模型来更新其
Figure 88258DEST_PATH_IMAGE061
值，假设对于当前抽取的样本集
Figure 797676DEST_PATH_IMAGE062
的假设模型为
Figure 337330DEST_PATH_IMAGE063
，当前前三个最优模型为
Figure 499191DEST_PATH_IMAGE065
，对应样本集为
Figure 82576DEST_PATH_IMAGE066
和
Figure 544870DEST_PATH_IMAGE067
，若
Figure 325623DEST_PATH_IMAGE069
，则第i对特征点的更新概率
Figure 307704DEST_PATH_IMAGE070
为：
Figure 61991DEST_PATH_IMAGE072
Figure 260848DEST_PATH_IMAGE073
其中
Figure 678055DEST_PATH_IMAGE074
为常数，
Figure 498332DEST_PATH_IMAGE075
为匹配点对，若更新了模型
Figure 439831DEST_PATH_IMAGE076
，则
Figure 16472DEST_PATH_IMAGE077
被删除，模型
Figure 436040DEST_PATH_IMAGE078
变成新的
Figure 127134DEST_PATH_IMAGE079
，对
Figure 239535DEST_PATH_IMAGE079
的更新策略可依此类推；
3) 顺序取完匹配点对中的所有点对并更新
Figure 683156DEST_PATH_IMAGE061
值后，根据各个点对的
Figure 155683DEST_PATH_IMAGE061
值进行重新排序，重复执行2）中操作，直到在某次操作后对匹配点对重排序时，并未改变匹配点对的顺序，根据
Figure 966863DEST_PATH_IMAGE080
分别计算其相对的运动模型
Figure 141568DEST_PATH_IMAGE081
，其中
Figure 349783DEST_PATH_IMAGE082
，
Figure 360421DEST_PATH_IMAGE083
为模型
Figure 263657DEST_PATH_IMAGE084
对应的旋转四元数和平移距离，定义
Figure 953746DEST_PATH_IMAGE085
为误差损失函数：
Figure 852520DEST_PATH_IMAGE087
其中
Figure 214319DEST_PATH_IMAGE088
为上一帧的旋转四元数和平移距离，
Figure 326797DEST_PATH_IMAGE089
为常数，
Figure 201169DEST_PATH_IMAGE090
为选择
Figure 857411DEST_PATH_IMAGE091
值最小的模型作为最优模型M输出，对应的匹配点对集合作为I输出；
4）根据最优模型M，计算出相机运动的本质矩阵，设匹配点对
Figure 695005DEST_PATH_IMAGE092
属于集合I，在当前帧中的特征点为
Figure 850131DEST_PATH_IMAGE093
，在参考帧中的匹配特征点为
Figure 426563DEST_PATH_IMAGE094
的归一化坐标为
Figure 34350DEST_PATH_IMAGE095
根据对极约束：
Figure 332617DEST_PATH_IMAGE096
求得本质矩阵
Figure 342249DEST_PATH_IMAGE097
，根据
Figure 343443DEST_PATH_IMAGE098
可以计算出两帧之间的旋转矩阵
Figure 189258DEST_PATH_IMAGE099
和平移向量
Figure 384966DEST_PATH_IMAGE100
，其中
Figure 983526DEST_PATH_IMAGE101
是t的反对称矩阵；
T1、对于当前帧中提取出的潜在动态特征点
Figure 918072DEST_PATH_IMAGE102
，在参考帧中的对应匹配点为
Figure 843468DEST_PATH_IMAGE103
，根据上文计算出的本质矩阵
Figure 814837DEST_PATH_IMAGE098
，获得空间点
Figure 284215DEST_PATH_IMAGE104
在参考帧中的投影点为
Figure 389662DEST_PATH_IMAGE105
，
Figure 459337DEST_PATH_IMAGE105
和
Figure 229804DEST_PATH_IMAGE106
的齐次坐标为：
Figure 464531DEST_PATH_IMAGE107
，满足下式则保留特征点
Figure 740879DEST_PATH_IMAGE105
加入到集合
Figure 100002_DEST_PATH_IMAGE108
中，否则丢弃；
Figure 100002_DEST_PATH_IMAGE110
其中
Figure 100002_DEST_PATH_IMAGE111
为异或符号，d为设置的距离阈值，随机选取n对像素点，
Figure DEST_PATH_IMAGE112
为当前帧中的第i对特征点
Figure 32668DEST_PATH_IMAGE105
的ORB描述子，
Figure 100002_DEST_PATH_IMAGE113
为参考帧中的第i对匹配特征点
Figure 100002_DEST_PATH_IMAGE114
的ORB描述子，比较特征点描述向量之间的Hamming距离，距离越小表明两个特征点之间相似度越高，若Hamming距离小于阈值，则表示两个特征点匹配成功，
Figure 100002_DEST_PATH_IMAGE115
为定义的Hamming距离阈值；
T2、对集合S中的特征点进行跟踪。
优选的，所述步骤S3中对于建图模块的操作具体包括以下步骤：
E1、对跟踪模块输入的关键帧中的特征点集合进行筛选，基于特征点集合L进行建图：
Figure 100002_DEST_PATH_IMAGE116
为特征子图；
E2、插入该关键帧到地图中即可完成建图。
有益效果
本发明提供了基于动静态特征提取并行位姿跟踪与地图创建的方法。与现有技术相比具备以下有益效果：通过将基于深度学习的目标检测算法引入基于特征分类的SLAM方法中，将特征点分为潜在动态特征和非潜在动态特征，基于非潜在动态特征点计算出运动模型，筛选出场景中的静态特征点进行位姿跟踪，利用非潜在动态特征中的静态特征点进行建图，在KITTI和TUM数据集上和ORB_SLAM2进行对比，提高了跟踪轨迹精度，在保障地图精度的同时，改善了地图的适用性，通过将特征点进行分类处理，减少动态特征点给位姿跟踪和建图造成的误差，与ORB_SLAM2相比，系统的性能有了明显的提高，并且系统的运行速度可以满足实时性的要求，在TUM动态对象数据集中，该系统相对于ORB_SLAM2系统具有明显的性能提升，在KITTI数据集中，对于那些动态对象较多的场景，该系统比单目和双目SLAM系统更为精确。
附图说明
图1为本发明的原理框架图；
图2为本发明特征匹配一致性检测算法流程图；
图3为本发明位姿跟踪特征点筛选示意图；
图4为本发明应用实验在KITTI数据集中采用ORB_SLAM2实验的轨迹误差示意图；
图5为本发明应用实验在KITTI数据集中采用本发明方法实验的轨迹误差示意图；
图6为本发明应用实验在TUM数据集上采用ORB_SLAM2(walking_halfsphere)实验的轨迹误差示意图；
图7为本发明应用实验在TUM数据集上采用ORB_SLAM2(walking_xyz)实验的轨迹误差示意图；
图8为本发明应用实验在TUM数据集上采用本发明方法(walking_halfsphere)实验的轨迹误差示意图；
图9为本发明应用实验在TUM数据集上采用本发明方法(walking_xyz)实验的轨迹误差示意图；
图10中列出了本发明和ORB_SLAM2在绝对路径误差(ATE)方面的结果对比；
图11和图12分别中列出了相对位姿误差(RPE)在平移和旋转方面的结果提升，其中improvement定义为：
Figure 100002_DEST_PATH_IMAGE117
其中
Figure 100002_DEST_PATH_IMAGE118
为本发明提出方法的运行结果，
Figure 100002_DEST_PATH_IMAGE119
为ORB_SLAM2运行结果。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-12，本发明实施例提供一种技术方案：基于动静态特征提取并行位姿跟踪与地图创建的方法，具体包括以下步骤：
S1、首先将特征点集合
Figure 717208DEST_PATH_IMAGE001
分为潜在动态特征点
Figure 144866DEST_PATH_IMAGE002
和非潜在动态特征点
Figure 44646DEST_PATH_IMAGE003
，具体是由残差块构成的全卷积网络
Figure 620072DEST_PATH_IMAGE004
网络作为网络主体，在不同尺度上进行特征提取，获得最后目标检测结果，定义检测框集合为
Figure DEST_PATH_IMAGE120
，其中
Figure DEST_PATH_IMAGE121
分别代表不同目标的检测框，
Figure 587199DEST_PATH_IMAGE009
代表有限集合，随着场景不同，检测框数量也不同，单个检测框定义为
Figure DEST_PATH_IMAGE122
，其中
Figure DEST_PATH_IMAGE123
为检测框左上角在帧中的坐标，
Figure DEST_PATH_IMAGE124
为检测框的宽和高，对特征点集合
Figure 869837DEST_PATH_IMAGE016
中的每个特征点
Figure 430264DEST_PATH_IMAGE017
判断：
Figure DEST_PATH_IMAGE126
，其中
Figure 362493DEST_PATH_IMAGE019
为在检测框内横坐标为
Figure 951747DEST_PATH_IMAGE020
，纵坐标为
Figure 416315DEST_PATH_IMAGE021
的特征点,经过目标检测算法处理后，特征点全集
Figure 641585DEST_PATH_IMAGE001
被分为潜在动态特征点集合
Figure 394866DEST_PATH_IMAGE022
和非潜在动态特征点集合
Figure 666580DEST_PATH_IMAGE003
，根据集合
Figure 939649DEST_PATH_IMAGE022
计算出运动模型，进行位姿跟踪，利用集合
Figure 837285DEST_PATH_IMAGE003
进行地图创建,并行处理两种行为；
S2、然后使用特征匹配一致性评估跟踪的车辆位姿运动模型，将特征点集合
Figure 155300DEST_PATH_IMAGE016
分为动态特征点集合
Figure 491692DEST_PATH_IMAGE023
和静态特征点集合
Figure 619267DEST_PATH_IMAGE024
，动态特征点集合
Figure 676086DEST_PATH_IMAGE025
和静态特征点集合
Figure 403959DEST_PATH_IMAGE024
之间的关系为：
Figure 278462DEST_PATH_IMAGE026
；
S3、进行位姿跟踪和建图，在位姿跟踪模块中，只基于场景中的静态特征点进行跟踪，排除动态特征点的影响；在建图模块中，只基于场景中的非潜在动态特征点中的静态特征点
Figure 509811DEST_PATH_IMAGE027
进行建图。
本发明，所述步骤S2中动态特征点集合
Figure 671812DEST_PATH_IMAGE025
为场景中实际移动了的特征点，且静态特征点集合
Figure 621401DEST_PATH_IMAGE024
为场景中未移动的特征点，如建筑物、停在路边的车上提取的特征点。
本发明步骤S2中在提取特征点后和参考帧中特征点进行粗匹配，
Figure 623000DEST_PATH_IMAGE003
中的特征点都是非潜在动态特征点，采用改进算法，获得能够符合场景中静态特征点的最优运动模型。
1)首先根据特征点的描述子对
Figure 49652DEST_PATH_IMAGE001
中特征点进行粗匹配，比较特征点描述向量之间的Hamming距离，距离越小表明两个特征点之间相似度越高，若Hamming距离小于阈值，则表示两个特征点匹配成功，记匹配点对集合为
Figure 220959DEST_PATH_IMAGE047
，
Figure 952111DEST_PATH_IMAGE048
为异或符号：
Figure DEST_PATH_IMAGE128
随机选取n对像素点，其中
Figure 424105DEST_PATH_IMAGE051
为在当前帧中的一个特征点，
Figure 756079DEST_PATH_IMAGE052
为在参考帧中的匹配特征点，
Figure DEST_PATH_IMAGE129
为当前帧中的第i对特征点
Figure 159555DEST_PATH_IMAGE051
的ORB描述子，
Figure DEST_PATH_IMAGE130
为参考帧中的第i对匹配特征点
Figure 461366DEST_PATH_IMAGE052
的ORB描述子，
Figure 256234DEST_PATH_IMAGE057
为定义的距离阈值，定义
Figure 788804DEST_PATH_IMAGE058
：
Figure DEST_PATH_IMAGE132
2) 对匹配点对集合
Figure 413996DEST_PATH_IMAGE058
进行顺序抽样，并标记每对点对为内点的概率
Figure 914380DEST_PATH_IMAGE061
，通过验证假设模型来更新其
Figure 94914DEST_PATH_IMAGE061
值，假设对于当前抽取的样本集
Figure 423293DEST_PATH_IMAGE062
的假设模型为
Figure 56488DEST_PATH_IMAGE063
，当前前三个最优模型为
Figure DEST_PATH_IMAGE133
，对应样本集为
Figure 851575DEST_PATH_IMAGE066
和
Figure 625629DEST_PATH_IMAGE067
，若
Figure DEST_PATH_IMAGE134
，则第i对特征点的更新概率
Figure 651399DEST_PATH_IMAGE070
为：
Figure 428872DEST_PATH_IMAGE072
Figure 594362DEST_PATH_IMAGE073
其中
Figure 467597DEST_PATH_IMAGE074
为常数，
Figure 2616DEST_PATH_IMAGE075
为匹配点对，若更新了模型
Figure 361136DEST_PATH_IMAGE076
，则
Figure 314005DEST_PATH_IMAGE077
被删除，模型
Figure 58058DEST_PATH_IMAGE078
变成新的
Figure 118715DEST_PATH_IMAGE079
，对
Figure 948219DEST_PATH_IMAGE079
的更新策略可依此类推；
3) 顺序取完匹配点对中的所有点对并更新
Figure 194525DEST_PATH_IMAGE061
值后，根据各个点对的
Figure 793085DEST_PATH_IMAGE061
值进行重新排序，重复执行2）中操作，直到在某次操作后对匹配点对重排序时，并未改变匹配点对的顺序，根据
Figure 180160DEST_PATH_IMAGE080
分别计算其相对的运动模型
Figure 559277DEST_PATH_IMAGE081
，其中
Figure DEST_PATH_IMAGE135
，
Figure 381903DEST_PATH_IMAGE083
为模型
Figure 100548DEST_PATH_IMAGE084
对应的旋转四元数和平移距离，定义
Figure 443545DEST_PATH_IMAGE085
为误差损失函数：
Figure DEST_PATH_IMAGE137
，
Figure DEST_PATH_IMAGE139
，
其中
Figure 848638DEST_PATH_IMAGE088
为上一帧的旋转四元数和平移距离，
Figure 947001DEST_PATH_IMAGE089
为常数，
Figure 863171DEST_PATH_IMAGE090
为选择
Figure 342781DEST_PATH_IMAGE091
值最小的模型作为最优模型M输出，对应的匹配点对集合作为I输出；
4）根据最优模型M，计算出相机运动的本质矩阵，设匹配点对
Figure 169925DEST_PATH_IMAGE092
属于集合I，在当前帧中的特征点为
Figure 511127DEST_PATH_IMAGE093
，在参考帧中的匹配特征点为
Figure 453632DEST_PATH_IMAGE094
的归一化坐标为
Figure DEST_PATH_IMAGE141
根据对极约束：
Figure DEST_PATH_IMAGE143
求得本质矩阵
Figure 645678DEST_PATH_IMAGE097
，根据
Figure 424366DEST_PATH_IMAGE098
可以计算出两帧之间的旋转矩阵
Figure 802215DEST_PATH_IMAGE099
和平移向量
Figure 117003DEST_PATH_IMAGE100
，其中
Figure 428162DEST_PATH_IMAGE101
是t的反对称矩阵；
T1、对于当前帧中提取出的潜在动态特征点
Figure 428567DEST_PATH_IMAGE102
，在参考帧中的对应匹配点为
Figure 516906DEST_PATH_IMAGE103
，根据上文计算出的本质矩阵
Figure 168424DEST_PATH_IMAGE098
，获得空间点
Figure 662204DEST_PATH_IMAGE104
在参考帧中的投影点为
Figure 149905DEST_PATH_IMAGE105
，
Figure 670887DEST_PATH_IMAGE105
和
Figure 442491DEST_PATH_IMAGE106
的齐次坐标为：
Figure DEST_PATH_IMAGE144
，满足下式则保留特征点
Figure 725671DEST_PATH_IMAGE105
加入到集合
Figure 966248DEST_PATH_IMAGE108
中，否则丢弃；
Figure DEST_PATH_IMAGE146
其中
Figure 952572DEST_PATH_IMAGE111
为异或符号，d为设置的距离阈值，随机选取n对像素点，
Figure DEST_PATH_IMAGE147
为当前帧中的第i对特征点
Figure 750984DEST_PATH_IMAGE105
的ORB描述子，
Figure DEST_PATH_IMAGE148
为参考帧中的第i对匹配特征点
Figure 907413DEST_PATH_IMAGE114
的ORB描述子，比较特征点描述向量之间的Hamming距离，距离越小表明两个特征点之间相似度越高，若Hamming距离小于阈值，则表示两个特征点匹配成功，
Figure 104127DEST_PATH_IMAGE115
为定义的Hamming距离阈值；
T2、对集合S中的特征点进行跟踪。
步骤S3中对于建图模块的操作具体包括以下步骤：
E1、对跟踪模块输入的关键帧中的特征点集合进行筛选，基于特征点集合L进行建图：
Figure 932625DEST_PATH_IMAGE116
为特征子图；
E2、插入该关键帧到地图中即可完成建图。
如图1所示，本发明在基于动静态特征提取并行位姿跟踪与地图创建的方法中增加了基于深度学习的目标检测方法，将输入图像中提取出的特征点分为两类，一类是潜在动态特征点，这一类特征点具有可移动性，在场景中并不是长时间固定存在的（如车、人等目标上提取的特征点），在重定位和闭环检测时可能会导致场景匹配失败；另一类是非潜在动态特征点，这一类特征点在场景中往往不能移动或者在足够长的时间内不会移动（如建筑物、树木等目标上提取的特征点）。
ORB特征点由两部分组成:关键点和描述符，提取ORB特征主要分为两个步骤：(1)FAST特征点提取：找到图像中的角点，计算特征点的主方向，并为后续的简要描述符添加旋转不变特征；(2)BRIEF描述子：描述上一步提取的特征点周围的图像区域；一个像素与其周围像素显著不同，太亮或太暗，是角点；ORB添加了尺度和旋转的描述，对于任意一对特征点
Figure 226291DEST_PATH_IMAGE028
来说，定义
Figure 731310DEST_PATH_IMAGE028
的邻域像素的矩为：
Figure DEST_PATH_IMAGE149
Figure 381430DEST_PATH_IMAGE032
其中
Figure 919869DEST_PATH_IMAGE033
为点
Figure 5725DEST_PATH_IMAGE034
处的灰度值,可以得到图像的质心为
Figure 930912DEST_PATH_IMAGE035
， m01是所有x方向的像素质心，
Figure 164535DEST_PATH_IMAGE036
是所有y方向的像素质心，
Figure 849683DEST_PATH_IMAGE037
是所有x和y方向的像素质心；质心的夹角定义为FAST特征点的方向：
Figure DEST_PATH_IMAGE150
为了提高方法的旋转不变性，需要确保x和y在半径为r的圆形区域内，即
Figure DEST_PATH_IMAGE151
，r等于邻域半径，在提取有向FAST特征点后，计算每个点的描述符；ORB选择了BRIEF作为特征描述方法，该算法采用随机选取点的方法，选择特征点周围J*J大小的像素块，J为像素块的长度，随机选取n对像素点，定义：
Figure DEST_PATH_IMAGE153
p(x)是点x处的灰度值，p(y)是点y处的灰度值，则特征点p的描述子
Figure 700170DEST_PATH_IMAGE044
定义为：
Figure DEST_PATH_IMAGE154
本发明使用TUM RGB-D和KITTI数据集对系统进行了评估，将系统与原始ORB_SLAM2进行了比较，将重点放在具有更多动态和静态对象的序列的结果上，系统在环境中的性能是评价的重要组成部分。
在KITTI数据集中，一些移动的车辆和行人对跟踪和定位精度有影响，该系统将环境中的车辆和行人作为动态对象进行检测和处理，由于数据集中动态对象较少，跟踪模块性能提升不明显，但是可以有效减小没有闭环情况下的累积误差，从图4-5可以看出，在没有闭环的情况下，因为在地图中滤除了所有具有移动性的物体，本方法的轨迹误差明显较小。
在TUM数据集上，这个系统的性能明显优于ORB_SLAM2，如图6-9所示，ORB_SLAM2在序列walking_xyz和walking_halfsphere上的系统的轨迹跟踪误差较高，由于该方法主要针对场景中的动态和静态对象，因此，列出了在TUM数据集中动态目标较多的数据集上的运行效果，图10中列出了本发明和ORB_SLAM2在绝对路径误差(ATE)方面的结果对比，图11和图12分别中列出了相对位姿误差(RPE)在平移和旋转方面的结果提升，其中improvement定义为：
Figure 777018DEST_PATH_IMAGE117
其中
Figure 435620DEST_PATH_IMAGE118
为本发明提出方法的运行结果，
Figure 954152DEST_PATH_IMAGE119
为ORB_SLAM2运行结果，可以看出提升效果是显著的。
需要说明的是，在本发明中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.基于动静态特征提取并行位姿跟踪与地图创建的方法，其特征在于：具体包括以下步骤：
S1、首先将特征点集合
Figure 542523DEST_PATH_IMAGE001
分为潜在动态特征点
Figure 800941DEST_PATH_IMAGE002
和非潜在动态特征点
Figure 806112DEST_PATH_IMAGE003
，具体是由残差块构成的全卷积网络
Figure 417965DEST_PATH_IMAGE004
网络作为网络主体，在不同尺度上进行特征提取，获得最后目标检测结果，定义检测框集合为
Figure 558967DEST_PATH_IMAGE006
，其中
Figure 983694DEST_PATH_IMAGE008
分别代表不同目标的检测框，
Figure 452723DEST_PATH_IMAGE009
代表有限集合，随着场景不同，检测框数量也不同，单个检测框定义为
Figure 992901DEST_PATH_IMAGE011
，其中
Figure 264044DEST_PATH_IMAGE013
为检测框左上角在帧中的坐标，
Figure 97221DEST_PATH_IMAGE015
为检测框的宽和高，对特征点集合
Figure 320865DEST_PATH_IMAGE016
中的每个特征点
Figure 158677DEST_PATH_IMAGE017
判断：
Figure 23340DEST_PATH_IMAGE019
，其中
Figure 655180DEST_PATH_IMAGE020
为在检测框内横坐标为
Figure 238084DEST_PATH_IMAGE021
，纵坐标为
Figure 738641DEST_PATH_IMAGE022
的特征点,经过目标检测算法处理后，特征点全集
Figure 695359DEST_PATH_IMAGE001
被分为潜在动态特征点集合
Figure 247170DEST_PATH_IMAGE023
和非潜在动态特征点集合
Figure 201525DEST_PATH_IMAGE003
，根据集合
Figure 496984DEST_PATH_IMAGE023
计算出运动模型，进行位姿跟踪，利用集合
Figure 196957DEST_PATH_IMAGE003
进行地图创建,并行处理两种行为；
S2、然后使用特征匹配一致性评估跟踪的车辆位姿运动模型，将特征点集合
Figure 367606DEST_PATH_IMAGE016
分为动态特征点集合
Figure 410255DEST_PATH_IMAGE024
和静态特征点集合
Figure 401006DEST_PATH_IMAGE025
，动态特征点集合
Figure 78457DEST_PATH_IMAGE026
和静态特征点集合
Figure 374002DEST_PATH_IMAGE025
之间的关系为：
Figure 13932DEST_PATH_IMAGE027
；
S3、进行位姿跟踪和建图，在位姿跟踪模块中，只基于场景中的静态特征点进行跟踪，排除动态特征点的影响；在建图模块中，只基于场景中的非潜在动态特征点中的静态特征点
Figure 651193DEST_PATH_IMAGE028
进行建图。
2.根据权利要求1所述的基于动静态特征提取并行位姿跟踪与地图创建的方法，其特征在于：所述步骤S2中动态特征点集合
Figure 224563DEST_PATH_IMAGE026
为场景中实际移动了的特征点，且静态特征点集合
Figure 53192DEST_PATH_IMAGE025
为场景中未移动的特征点。
3.根据权利要求1所述的基于动静态特征提取并行位姿跟踪与地图创建的方法，其特征在于：所述步骤S2中在提取特征点后和参考帧中特征点进行粗匹配，
Figure 855452DEST_PATH_IMAGE003
中的特征点都是非潜在动态特征点，采用改进算法，获得能够符合场景中静态特征点的最优运动模型。
4.根据权利要求1所述的基于动静态特征提取并行位姿跟踪与地图创建的方法，其特征在于：所述步骤S3对于步骤S2集合
Figure 670305DEST_PATH_IMAGE001
中的特征点筛选具体包括以下步骤：
a.提取ORB特征
ORB特征点由两部分组成:关键点和描述符，提取ORB特征主要分为两个步骤：(1) FAST特征点提取：找到图像中的角点，计算特征点的主方向，并为后续的简要描述符添加旋转不变特征；(2)BRIEF描述子：描述上一步提取的特征点周围的图像区域；一个像素与其周围像素显著不同，太亮或太暗，是角点；ORB添加了尺度和旋转的描述，对于任意一对特征点
Figure 583334DEST_PATH_IMAGE029
来说，定义
Figure 446512DEST_PATH_IMAGE029
的邻域像素的矩为：
Figure 807174DEST_PATH_IMAGE031
Figure 63536DEST_PATH_IMAGE033
其中
Figure 540864DEST_PATH_IMAGE034
为点
Figure 947182DEST_PATH_IMAGE035
处的灰度值,可以得到图像的质心为
Figure 321705DEST_PATH_IMAGE036
， m01是所有x方向的像素质心，
Figure 104460DEST_PATH_IMAGE037
是所有y方向的像素质心，
Figure 608124DEST_PATH_IMAGE038
是所有x和y方向的像素质心；质心的夹角定义为FAST特征点的方向：
Figure 869166DEST_PATH_IMAGE040
为了提高方法的旋转不变性，需要确保x和y在半径为r的圆形区域内，即
Figure 846830DEST_PATH_IMAGE041
，r等于邻域半径，在提取有向FAST特征点后，计算每个点的描述符；ORB选择了BRIEF作为特征描述方法，该算法采用随机选取点的方法，选择特征点周围J*J大小的像素块，J为像素块的长度，随机选取n对像素点，定义：
Figure 418628DEST_PATH_IMAGE043
p(x)是点x处的灰度值，p(y)是点y处的灰度值，则特征点p的描述子
Figure 899769DEST_PATH_IMAGE044
定义为：
Figure 548355DEST_PATH_IMAGE046
b.特征点匹配
在提取特征点后和参考帧中特征点进行粗匹配，由前面的定义可知，
Figure 96538DEST_PATH_IMAGE003
中的特征点都是非潜在动态特征点，是静态特征点，或者运动范围非常小的特征点，采用改进的算法，获得能够符合场景中静态特征点的最优运动模型，具体操作分为如下4步：
1)首先根据特征点的描述子对
Figure 985209DEST_PATH_IMAGE001
中特征点进行粗匹配，比较特征点描述向量之间的Hamming距离，距离越小表明两个特征点之间相似度越高，若Hamming距离小于阈值，则表示两个特征点匹配成功，记匹配点对集合为
Figure 96690DEST_PATH_IMAGE047
，
Figure 281291DEST_PATH_IMAGE048
为异或符号：
Figure 659237DEST_PATH_IMAGE050
随机选取n对像素点，其中
Figure 471641DEST_PATH_IMAGE051
为在当前帧中的一个特征点，
Figure 678107DEST_PATH_IMAGE053
为在参考帧中的匹配特征点，
Figure 395791DEST_PATH_IMAGE055
为当前帧中的第i对特征点
Figure 927354DEST_PATH_IMAGE051
的ORB描述子，
Figure 280799DEST_PATH_IMAGE057
为参考帧中的第i对匹配特征点
Figure 981252DEST_PATH_IMAGE058
的ORB描述子，
Figure 368373DEST_PATH_IMAGE059
为定义的距离阈值，定义
Figure 415263DEST_PATH_IMAGE060
：
Figure 685314DEST_PATH_IMAGE062
2) 对匹配点对集合
Figure 900659DEST_PATH_IMAGE060
进行顺序抽样，并标记每对点对为内点的概率
Figure 606752DEST_PATH_IMAGE063
，通过验证假设模型来更新其
Figure 489739DEST_PATH_IMAGE063
值，假设对于当前抽取的样本集
Figure 645512DEST_PATH_IMAGE064
的假设模型为
Figure 163300DEST_PATH_IMAGE065
，当前前三个最优模型为
Figure 167858DEST_PATH_IMAGE067
，对应样本集为
Figure 803720DEST_PATH_IMAGE068
和
Figure 400925DEST_PATH_IMAGE069
，若
Figure 850185DEST_PATH_IMAGE071
，则第i对特征点的更新概率
Figure 151941DEST_PATH_IMAGE072
为：
Figure 122435DEST_PATH_IMAGE073
Figure 413346DEST_PATH_IMAGE074
其中
Figure 166712DEST_PATH_IMAGE075
为常数，
Figure 614269DEST_PATH_IMAGE076
为匹配点对，若更新了模型
Figure 585243DEST_PATH_IMAGE077
，则
Figure 547688DEST_PATH_IMAGE078
被删除，模型
Figure 412352DEST_PATH_IMAGE079
变成新的
Figure 325808DEST_PATH_IMAGE080
，对
Figure 576222DEST_PATH_IMAGE080
的更新策略可依此类推；
3) 顺序取完匹配点对中的所有点对并更新
Figure 832105DEST_PATH_IMAGE063
值后，根据各个点对的
Figure 555867DEST_PATH_IMAGE063
值进行重新排序，重复执行2）中操作，直到在某次操作后对匹配点对重排序时，并未改变匹配点对的顺序，根据
Figure 839169DEST_PATH_IMAGE081
分别计算其相对的运动模型
Figure 170355DEST_PATH_IMAGE082
，其中
Figure 465814DEST_PATH_IMAGE083
，
Figure 339356DEST_PATH_IMAGE084
为模型
Figure 946223DEST_PATH_IMAGE085
对应的旋转四元数和平移距离，定义
Figure 379085DEST_PATH_IMAGE086
为误差损失函数：
Figure 840417DEST_PATH_IMAGE088
其中
Figure 141037DEST_PATH_IMAGE089
为上一帧的旋转四元数和平移距离，
Figure 311948DEST_PATH_IMAGE090
为常数，
Figure 340428DEST_PATH_IMAGE091
为选择
Figure 56791DEST_PATH_IMAGE092
值最小的模型作为最优模型M输出，对应的匹配点对集合作为I输出；
4）根据最优模型M，计算出相机运动的本质矩阵，设匹配点对
Figure 429828DEST_PATH_IMAGE093
属于集合I，在当前帧中的特征点为
Figure 992877DEST_PATH_IMAGE094
，在参考帧中的匹配特征点为
Figure 995470DEST_PATH_IMAGE095
的归一化坐标为
Figure 436422DEST_PATH_IMAGE096
根据对极约束：
Figure 100184DEST_PATH_IMAGE098
求得本质矩阵
Figure DEST_PATH_IMAGE099
，根据
Figure DEST_PATH_IMAGE100
可以计算出两帧之间的旋转矩阵
Figure DEST_PATH_IMAGE101
和平移向量
Figure DEST_PATH_IMAGE102
，其中
Figure DEST_PATH_IMAGE103
是t的反对称矩阵；
T1、对于当前帧中提取出的潜在动态特征点
Figure DEST_PATH_IMAGE104
，在参考帧中的对应匹配点为
Figure DEST_PATH_IMAGE105
，根据上文计算出的本质矩阵
Figure 407026DEST_PATH_IMAGE100
，获得空间点
Figure DEST_PATH_IMAGE106
在参考帧中的投影点为
Figure DEST_PATH_IMAGE107
，
Figure 25745DEST_PATH_IMAGE107
和
Figure DEST_PATH_IMAGE108
的齐次坐标为：
Figure DEST_PATH_IMAGE110
，满足下式则保留特征点
Figure 418856DEST_PATH_IMAGE107
加入到集合
Figure DEST_PATH_IMAGE111
中，否则丢弃；
Figure DEST_PATH_IMAGE113
其中
Figure DEST_PATH_IMAGE114
为异或符号，d为设置的距离阈值，随机选取n对像素点，
Figure DEST_PATH_IMAGE115
为当前帧中的第i对特征点
Figure 836721DEST_PATH_IMAGE107
的ORB描述子，
Figure DEST_PATH_IMAGE116
为参考帧中的第i对匹配特征点
Figure DEST_PATH_IMAGE117
的ORB描述子，比较特征点描述向量之间的Hamming距离，距离越小表明两个特征点之间相似度越高，若Hamming距离小于阈值，则表示两个特征点匹配成功，
Figure DEST_PATH_IMAGE118
为定义的Hamming距离阈值；
T2、对集合S中的特征点进行跟踪。
5.根据权利要求1所述的基于动静态特征提取并行位姿跟踪与地图创建的方法，其特征在于：所述步骤S3中对于建图模块的操作具体包括以下步骤：
E1、对跟踪模块输入的关键帧中的特征点集合进行筛选，基于特征点集合L进行建图：
Figure DEST_PATH_IMAGE119
为特征子图；
E2、插入该关键帧到地图中即可完成建图。
CN202010174432.XA 2020-03-13 2020-03-13 基于动静态特征提取并行位姿跟踪与地图创建的方法 Expired - Fee Related CN111046856B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010174432.XA CN111046856B (zh) 2020-03-13 2020-03-13 基于动静态特征提取并行位姿跟踪与地图创建的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010174432.XA CN111046856B (zh) 2020-03-13 2020-03-13 基于动静态特征提取并行位姿跟踪与地图创建的方法

Publications (2)

Publication Number Publication Date
CN111046856A CN111046856A (zh) 2020-04-21
CN111046856B true CN111046856B (zh) 2020-08-14

Family

ID=70231112

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010174432.XA Expired - Fee Related CN111046856B (zh) 2020-03-13 2020-03-13 基于动静态特征提取并行位姿跟踪与地图创建的方法

Country Status (1)

Country Link
CN (1) CN111046856B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914832B (zh) * 2020-06-03 2023-06-13 华南理工大学 一种rgb-d相机在动态场景下的slam方法
CN111832618B (zh) * 2020-06-08 2024-03-22 江西日月明测控科技股份有限公司 轨道动、静态检查数据的匹配方法
CN111950561A (zh) * 2020-08-25 2020-11-17 桂林电子科技大学 一种基于语义分割的剔除语义slam动态点的方法
CN113095169B (zh) * 2021-03-26 2022-03-29 生态环境部卫星环境应用中心 大空间范围储油罐提取方法
CN113382365B (zh) * 2021-05-21 2022-06-10 北京索为云网科技有限公司 移动终端的位姿跟踪方法及设备
CN113920194B (zh) * 2021-10-08 2023-04-21 电子科技大学 基于视觉惯性融合的四旋翼飞行器定位方法
CN113643330B (zh) * 2021-10-19 2022-03-25 青岛根尖智能科技有限公司 一种基于动态语义特征的目标跟踪方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109387204A (zh) * 2018-09-26 2019-02-26 东北大学 面向室内动态环境的移动机器人同步定位与构图方法
US10586397B1 (en) * 2018-08-24 2020-03-10 VIRNECT inc. Augmented reality service software as a service based augmented reality operating system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10586397B1 (en) * 2018-08-24 2020-03-10 VIRNECT inc. Augmented reality service software as a service based augmented reality operating system
CN109387204A (zh) * 2018-09-26 2019-02-26 东北大学 面向室内动态环境的移动机器人同步定位与构图方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于特征点法和直接法VSLAM的研究现状;邹雄等;《计算机应用研究》;20190312;第37卷(第05期);全文 *
基于语义信息和边缘一致性的鲁棒SLAM算法;姚二亮等;《机器人》;20191130;第41卷(第06期);全文 *

Also Published As

Publication number Publication date
CN111046856A (zh) 2020-04-21

Similar Documents

Publication Publication Date Title
CN111046856B (zh) 基于动静态特征提取并行位姿跟踪与地图创建的方法
CN111340797B (zh) 一种激光雷达与双目相机数据融合检测方法及系统
Lee et al. Simultaneous traffic sign detection and boundary estimation using convolutional neural network
CN108470332B (zh) 一种多目标跟踪方法及装置
CN106875381B (zh) 一种基于深度学习的手机外壳缺陷检测方法
CN103325112B (zh) 动态场景中运动目标快速检测方法
CN111563442A (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
CN107633226B (zh) 一种人体动作跟踪特征处理方法
Huang et al. A fast point cloud ground segmentation approach based on coarse-to-fine Markov random field
CN111311666A (zh) 一种融合边缘特征和深度学习的单目视觉里程计方法
CN115995063A (zh) 作业车辆检测与跟踪方法和系统
Berrio et al. Camera-LIDAR integration: Probabilistic sensor fusion for semantic mapping
CN104615986B (zh) 利用多检测器对场景变化的视频图像进行行人检测的方法
CN111967313B (zh) 一种深度学习目标检测算法辅助的无人机图像标注方法
CN111027481B (zh) 基于人体关键点检测的行为分析方法及装置
CN112200143A (zh) 一种基于候选区域网络和机器视觉的道路病害检测方法
Ye et al. A two-stage real-time YOLOv2-based road marking detector with lightweight spatial transformation-invariant classification
CN112766136B (zh) 一种基于深度学习的空间车位检测方法
CN111340855A (zh) 一种基于轨迹预测的道路移动目标检测方法
CN108648211A (zh) 一种基于深度学习的小目标检测方法、装置、设备和介质
CN108764338B (zh) 一种应用于视频分析的行人跟踪方法
CN112101160B (zh) 一种面向自动驾驶场景的双目语义slam方法
CN106530407A (zh) 一种用于虚拟现实的三维全景拼接方法、装置和系统
Liu et al. Multi-type road marking recognition using adaboost detection and extreme learning machine classification
CN112364881B (zh) 一种进阶采样一致性图像匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221031

Address after: No. 186, Yangzijiang Middle Road, Yangzhou Economic and Technological Development Zone, Jiangsu Province 225001

Patentee after: Yangzhou Mingchen Information Technology Co.,Ltd.

Address before: 211171 Nanjing Xiaozhuang College, 3601 Hongjing Avenue, Jiangning District, Nanjing, Jiangsu Province

Patentee before: NANJING XIAOZHUANG University

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200814