CN109558879A - 一种基于点线特征的视觉slam方法和装置 - Google Patents

一种基于点线特征的视觉slam方法和装置 Download PDF

Info

Publication number
CN109558879A
CN109558879A CN201810184021.1A CN201810184021A CN109558879A CN 109558879 A CN109558879 A CN 109558879A CN 201810184021 A CN201810184021 A CN 201810184021A CN 109558879 A CN109558879 A CN 109558879A
Authority
CN
China
Prior art keywords
characteristic curve
state vector
vector set
global characteristics
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810184021.1A
Other languages
English (en)
Inventor
李晚龙
李建飞
高亚军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to EP18859404.8A priority Critical patent/EP3680809A4/en
Priority to PCT/CN2018/107097 priority patent/WO2019057179A1/zh
Publication of CN109558879A publication Critical patent/CN109558879A/zh
Priority to US16/824,219 priority patent/US11270148B2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

一种基于点线特征的视觉SLAM方法和装置，能够综合视觉图像帧中的特征点和特征线信息，提高视觉SLAM的准确度。该方法为，接收摄像头输入的视觉图像帧；提取所述视觉图像帧的特征点和特征线；利用所述特征点预测所述摄像设备的第一位姿；针对提取的第一特征线进行观测，确定所第一特征线的特征线观测量；获取所述摄像设备的全局特征线状态向量集合，所述全局特征线状态向量集合中包括N历史特征线的特征线状态向量，N为正整数；利用所述特征线观测量、所述全局特征线状态向量集合更新所述第一位姿，这样融合了基于特征点的运动估计及环境中观测到的特征线的观测特征，来实时更新摄像设备的位姿，提高了视觉SLAM的准确度。

Description

一种基于点线特征的视觉SLAM方法和装置
技术领域
本申请涉及图像处理技术领域，尤其涉及一种基于点线特征的视觉SLAM方法和装置。
背景技术
目前，同步定位与地图构建(Simultaneous localization and mapping，SLAM)是实现自主导航的基本问题与研究热点。它的目标是解决在进入未知环境后，如何感知周围环境构建增量式地图，并同时进行自身定位的问题。用于感知周围环境的传感器有很多种，摄像设备凭借其廉价，体积小，便于安装等优点使视觉SLAM方法成为领域中重要研究内容。
传统的视觉SLAM理论主要是利用环境中的特征点进行制图和定位，优点是特征点便于检测和跟踪，而缺点则是对于一些人造建筑的环境如走廊的墙面等，仅考虑环境的特征点信息而严重影响SLAM的准确度。
发明内容
本申请实施例提供一种基于点线特征的视觉SLAM方法和装置，能够综合视觉图像帧中的特征点和特征线信息，以提高视觉SLAM的准确度。
本申请实施例提供的具体技术方案如下：
第一方面，本申请实施例提供一种基于点线特征的视觉SLAM方法，应用于采集周围图像的摄像设备，包括：接收摄像头输入的当前视觉图像帧；提取所述当前视觉图像帧的特征点和特征线；利用所述特征点预测所述摄像设备的第一位姿；对第一特征线进行观测，以确定所述第一特征线的特征线观测量，其中，所述第一特征线是提取到的所述特征线中的任意一条特征线；获取所述当前视觉图像帧中的全局特征线状态向量集合，所述全局特征线状态向量集合中包括N条历史特征线的特征线状态向量，N为正整数；利用所述特征线观测量和所述全局特征线状态向量集合，对所述第一位姿进行更新，以得到更新后的第一位姿。
上述视觉SLAM方法，融合了基于特征点的运动估计及环境中观测到的特征线的观测特征，来实时更新摄像设备的位姿，相比于现有技术中仅考虑特征点的运动估计，一定程度上提高了视觉SLAM的准确度，此外，同时考虑了已观测到的历史特征线的观测特征，实现了闭环约束，提高了鲁棒性，相应地也提高了视觉SLAM的准确度。
一种可能的设计中，所述方法还包括：利用所述特征线观测量、所述第一位姿对所述全局特征线状态向量集合进行更新得到更新后的全局特征线状态向量集合。
一种可能的设计中，所述方法还包括：遍历所述N条历史特征线，依次计算每条历史特征线与所述第一特征线之间的马氏距离，得到N个马氏距离；所述利用所述特征线观测量、所述全局特征线状态向量集合，对所述第一位姿进行更新，以得到更新后的第一位姿，包括：当所述N个马氏距离中的最小马氏距离小于预设阈值时，利用所述特征线观测量、所述全局特征线状态向量集合，对所述第一位姿进行更新，以得到更新后的第一位姿。应理解的是，这种设计中利用马氏距离算法来确定提取的特征线已经观测过，即当最小的马氏距离小于预设阈值时就认为第一特征已经给观测过，从而能够利用该第一特征线的特征线观测量、全局特征线状态向量集合对利用特征点估计的第一位姿进行实时更新。
一种可能的设计中，所述利用所述特征线观测量、所述全局特征线状态向量集合，对所述第一位姿进行更新，以得到更新后的第一位姿，包括：计算所述最小马氏距离对应的特征线的特征线状态向量与所述特征线观测量之间的偏差，基于所述偏差，利用滤波方法更新所述第一位姿和所述全局特征线状态向量集合。
这种设计中，能够利用已有的滤波方法对第一位姿和全局特征线状态向量集合进行更新得到最优值。
一种可能的设计中，当所述N个马氏距离中的最小马氏距离不小于预设阈值时，将所述特征线观测量添加到所述全局特征线状态向量集合中，以得到更新后的所述全局特征线状态向量集合。这种设计中，第一马氏距离不小于预设阈值时，表明提取到的第一特征线是新观测到的特征线，从而更新全局特征线状态向量集合，对全局特征线状态向量集合实现了优化。
一种可能的设计中，所述提取所述当前视觉图像帧的特征线，可以通过以下过程实现：提取所述当前视觉图像帧的所有线段；若提取的任意两条线段满足第一预设条件时，将所述任意两条线段合并为一条新的线段，直到不存在满足所述第一预设条件的线段为止；若所述任意两条、经合并的线段满足第二预设条件时，将所述任意两条、经合并的线段作为同一条特征线输出；若所述任意两条、经合并的线段不满足第二预设条件时，将所述任意两条线段作为两条特征线输出。
应理解的是，上述特征线的提取方法，能够将属于同一条直线的不同线段进行合并，并能剔除重复的特征线，与现有的特征线提取方法相比，能够提升特征线的提取准确度和效率，减少冗余的特征线，
一种可能的设计中，若提取的任意两条线段满足第一预设条件时，将所述任意两条线段合并为一条新的线段，包括：若提取的任意两条线段的端点之间的最小距离小于第一预设值且所述两条线段之间的距离小于第二预设值，且所述任意两条线段之间的夹角小于第三预设值时，将所述任意两条线段合并为一条新的线段。
一种可能的设计中，若所述任意两条、经合并的线段满足第二预设条件时，将所述任意两条、经合并的线段作为同一条特征线输出，包括：若所述任意两条、经合并的线段之间的夹角小于第四预设值，且所述两条线段的长度相同，且所述两条线段的重叠度大于第五预设值，且所述两条线段之间的距离小于第六预设值时，将所述任意两条线段作为同一条特征线输出。
一种可能的设计中，所述对所述第一特征线进行观测，以确定所述第一特征线的特征线观测量，包括：针对提取的第一特征线采用正交化参数进行最小化描述，得到所述特征线观测量。
一种可能的设计中，所述获取所述当前视觉图像帧中的全局特征线状态向量集合，包括：在所述摄像设备运动过程中，在所述当前视觉图像帧是关键帧且在所述当前视觉图像帧观测到特征线时，针对当前观测到的特征线与在先已经观测到的历史特征线进行关联匹配，所述关键帧是所述摄像设备运动过程中发生关键动作所处的帧；针对匹配成功的特征线，计算所述当前观测到的特征线与在先已观测到的每条历史特征线之间的重投影误差，利用所述重头影误差构造目标函数，最小化所述目标函数得到所述当前观测到的特征线的特征线状态向量，将其更新到所全局特征线状态向量集合中；针对匹配失败的特征线，获取所述当前观测到的特征线的特征线状态向量，将其添加到所述全局特征线状态向量集合中。
第二方面，本申请实施例提供一种基于点线特征的视觉SLAM装置，应用于采集周围图像的摄像设备，其特征在于，包括：接收单元，用于接收摄像头输入的当前视觉图像帧；提取单元，用于提取所述当前视觉图像帧的特征点和特征线；预测单元，用于利用所述特征点预测所述摄像设备的第一位姿；确定单元，用于对第一特征线进行观测，以确定所述第一特征线的特征线观测量，其中，所述第一特征线是提取到的所述特征线中的任意一条特征线；获取单元，用于获取所述当前视觉图像帧中的全局特征线状态向量集合，所述全局特征线状态向量集合中包括N条历史特征线的特征线状态向量，N为正整数；更新单元，用于利用所述特征线观测量和所述全局特征线状态向量集合，对所述第一位姿进行更新，以得到更新后的第一位姿。
一种可能的设计中，所述更新单元还用于：利用所述特征线观测量、所述第一位姿对所述全局特征线状态向量集合进行更新，以得到更新后的全局特征线状态向量集合。
一种可能的设计中，所述确定单元还用于：遍历所述N条历史特征线，依次计算每条历史特征线与所述第一特征线之间的马氏，得到N个马氏距离；所述更新单元具体用于：当所述N个马氏距离中的最小马氏距离小于预设阈值，利用所述特征线观测量和所述全局特征线状态向量集合，对所述第一位姿进行更新，以得到更新后的第一位姿。
一种可能的设计中，所述更新单元具体用于：计算所述最小马氏距离对应的特征线的特征线状态向量与所述特征线观测量之间的偏差，基于所述偏差，利用滤波方法更新所述第一位姿和所述全局特征线状态向量集合。
一种可能的设计中，所述更新单元还用于：当所述N个马氏距离中的最小马氏距离不小于预设阈值时，将所述特征线观测量添加到所述全局特征线状态向量集合中，以得到更新后的所述全局特征线状态向量集合。
一种可能的设计中，在提取所述当前视觉图像帧的特征线的方面，所述提取单元具体用于：提取所述当前视觉图像帧的所有线段；若提取的任意两条线段满足第一预设条件时，将所述任意两条线段合并为一条新的线段，直到不存在满足所述第一预设条件的线段为止；若所述任意两条、经合并的线段满足第二预设条件时，将所述任意两条、经合并的线段作为同一条特征线输出；若所述任意两条、经合并的线段不满足第二预设条件时，将所述任意两条线段作为两条特征线输出。
一种可能的设计中，在提取的任意两条线段满足第一预设条件时，将所述任意两条线段合并为一条新的线段的方面，所述提取单元具体用于：若提取的任意两条线段的端点之间的最小距离小于第一预设值且所述两条线段之间的距离小于第二预设值，且所述任意两条线段之间的夹角小于第三预设值时，将所述任意两条线段合并为一条新的线段。
一种可能的设计中，在所述任意两条、经合并的线段满足第二预设条件时，将所述任意两条、经合并的线段作为同一条特征线输出的方面，所述提取单元具体用于：若所述任意两条、经合并的线段之间的夹角小于第四预设值，且所述两条线段的长度相同，且所述两条线段的重叠度大于第五预设值，且所述两条线段之间的距离小于第六预设值时，将所述任意两条线段作为同一条特征线输出。
一种可能的设计中，所述确定单元具体用于：针对提取的特征线采用正交化参数进行最小化描述，得到所述特征线观测量。
一种可能的设计中，所述获取单元具体用于：在所述摄像设备运动过程中，在所述当前视觉图像帧是关键帧且在所述当前视觉图像帧观测到特征线时，针对当前观测到的特征线与在先已经观测到的历史特征线进行关联匹配，所述关键帧是所述摄像设备运动过程中发生关键动作所处的帧；针对匹配成功的特征线，计算所述当前观测到的特征线与在先已观测到的每条历史特征线之间的重投影误差，利用所述重头影误差构造目标函数，最小化所述目标函数得到所述当前观测到的特征线的特征线状态向量，将其更新到所全局特征线状态向量集合中；针对匹配失败的特征线，获取所述当前观测到的特征线的特征线状态向量，将其添加到所述全局特征线状态向量集合中。
第三方面，本申请实施例提供一种基于点线特征的视觉SLAM处理设备，包括收发器、处理器、存储器，收发器，用于收发信息，存储器用于存储程序、指令或代码，处理器用于执行存储器中的程序、指令或代码，以完成上述第一方面或第一方面的任意可能的实现方式中的方法。
第四方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面或第一方面的任意可能的设计的方法。
第五方面，本申请还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面或第一方面的任意可能的设计的方法。
附图说明
图1为本申请实施例的视觉SLAM系统的架构图；
图2为本申请实施例中的基于点线特征的视觉SLAM方法流程图；
图3A为本申请实施例中线段的合并示意图；
图3B为本申请实施例中提取当前视觉图像帧的特征点的方法示意图；
图4A为本申请实施例中的一种视觉SLAM方法流程图；
图4B为本申请实施例中特征点和特征线的匹配过程示意图；
图5为本申请实施例中的基于点线特征的视觉SLAM装置结构图；
图6为本申请实施例中的基于点线特征的视觉SLAM处理设备结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
下面介绍一下本申请中涉及的相关术语。
视觉SLAM：是指利用图像这一外部信息来确定环境中机器人、车辆或者移动相机在环境中的位置，同时能够建立已探索区域的一种表示方法。
视觉里程计(Visual Odometry,VO)：又称为前端(Front End)，视觉里程计的任务是估算相邻图像间相机的运动，以及局部地图的样子。基于特征点的视觉里程计在估算相邻图像间相机的运动时，首先提取前后两个关键帧的特征点，然后做特征点匹配，匹配好特征点之后，就可以得到两个一一对应的像素点集。接下来要做的，就是根据两组匹配好的点集，计算相机的运动了。利用单目orb特征是典型的2D-2D形式，采用对极几何的方法。在此过程中，并没有用到这些像素点的3D空间位置信息。不过，在得到相机运动之后，就可以根据这个运动信息，计算各个特征点的空间位置，该问题也称为三角化。通过对极几何约束，p′Ep＝0构建本质矩阵E的方程，先求解得到一个E的初值，然后根据E的特征进行修正，得到一个修正之后的本质矩阵，然后分解这个本质矩阵，获得两帧图像之间的旋转和平移，即实现了视觉里程计。
位姿：位置和姿态，位置为坐标系中x，y，z三个方向的平移，姿态为坐标系中x，y，z三个方向的旋转。
关键帧(Key Frame)：在视频序列中与其之前序列很不同的视频帧，它表示新的位置。关键帧也被用来有效估计相机的位姿并且减少信息的冗余。
视觉词袋模型：视觉SLAM多使用词袋模型进行特征点的搜索，可以很快找出相似的图像。
马氏距离：表示数据的协方差距离，有效的计算两个未知样本集的相似度的方法。如果协方差矩阵为单位矩阵，马氏距离就简化为欧氏距离。
图优化(Graph Optimization)：图优化是把优化问题表现成图(Graph)的一种方式。这里的图是图论意义上的图。一个图由若干个顶点(Vertex)，以及连接着这些节点的边(Edge)组成。进而，用顶点表示优化变量，用边表示误差项。于是，对任意一个上述形式的非线性最小二乘问题，我们可以构建与之对应的一个图。图优化又称为后端。
光束平差法(Bundle Adjustment，BA)：是指从视觉重建中提炼出最优的3D模型和相机参数(包括内参数和外参数)，从每一个特征点反射出来的几束光线(bundles oflight rays)，在把相机姿态和特征点空间位置做出最优的调整(adjustment))之后，最后收束到相机光心的这个过程。
扩展卡尔曼滤波器(ExtendedKalman Filter，EKF)：卡尔曼滤波器是一种高效率的递归滤波器，它能够从一系列的不完全及包含噪音的测量中，估计动态系统的状态。在状态方程或测量方程为非线性时，通常采用扩展卡尔曼滤波器(EKF)估计动态系统的状态。EKF对非线性函数的泰勒展开式进行一阶线性化截断，忽略其余高阶项，从而将非线性问题转化为线性，可以将卡尔曼线性滤波算法应用于非线性系统中。
漂移误差：受传感器测量噪声影响，先前时刻的估计误差，会累加到后面时间的运动之上，这种现象称为漂移，形成的误差叫做漂移误差。
数据关联：将不同时刻传感器的观测信息进行关联的过程，也成为重观察过程。
本申请实施例是在传统SLAM上的改进，提供了一种基于点线特征的视觉SLAM方法和装置，能够综合视觉图像帧中的特征点和特征线信息，提高视觉SLAM的准确度，本申请实施例中的基于点线特征的视觉SLAM方案可应用于自动驾驶、移动机器人、无人机的建图及定位，也可用于移动终端的增强现实及虚拟现实场景。
本申请实施例提供一种视觉SLAM系统，具体包括：特征跟踪模块、局部地图模块、闭环检测模块和全局地图模块，下面具体介绍各个模块的功能实现：
1)特征跟踪模块
特征跟踪模块在接收到视频图像帧后，进行读取及预处理，提取视频图像帧的特征点和特征线；在连续的视频图像帧中寻找相似的特征点和特征线进行关联匹配，对摄像设备的运动进行估计，实现摄像设备的位姿跟踪。特征跟踪模块的主要任务是实时输出摄像设备的位姿并筛选关键帧，完成摄像设备的运动估计。
2)局部地图模块
局部地图模块主要选择局部范围内的关键帧，计算关键帧的点云信息，构建局部地图；通过局部BA优化算法得到异构的特征点和特征线地图。
3)闭环检测模块
闭环(Loop Closing)检测模块的主要任务是判断摄像设备当前的拍摄场景之前是否来过，通过闭环检测可以有效消除由于摄像设备运动造成的累计漂移误差，主要步骤为：
第一步：采用词袋模型对观测到的特征点进行闭环检测；采用词袋模型计算当前关键帧和候选关键帧的相似度。
第二步：通过协方差对特征线进行马氏距离判定，实现环境中特征线的闭环识别。
第三步：融合两种闭环检测得到更鲁棒的结果；
4)全局地图模块
全局地图模块的主要任务是获取整个运动路径上的所有关键帧，计算全局一致性轨迹及地图，在闭环检测之后，利用全局BA优化算法对所有的关键帧、特征点及特征线进行优化，并将优化得到的全局特征线状态向量集合更新到特征跟踪模块中。
基于图1所示的视觉SLAM系统，参阅图2所示，本申请实施例提供一种基于点线特征的视觉SLAM方法，应用于采集周围图像的摄像设备，包括以下步骤：
步骤20：接收摄像头输入的当前视觉图像帧。
步骤21：提取所述当前视觉图像帧的特征点和特征线。
其中，特征点指的是在所述摄像设备所处的环境中，以点的形式存在的环境元素；特征线指的是在所述摄像设备所处的环境中，以线的形式存在的环境元素。
具体的，步骤21中提取当前视觉图像帧的特征点时，本申请实施例中采用现有的旋转不变二进制鲁棒独立基本特征(Oriented FAST and Rotated BRIEF，ORB)算法对输入的当前视觉图像帧进行特征点提取和描述，特征点提取采用改进的基于加速分割测试的特征(Features from Accelerated Segment Test，FAST)算法实现，特征点描述采用二进制鲁棒独立基本特征(Binary Robust IndependentElementary Features，BRIEF)算法实现进行特征描述。
具体的，改进的FASE算法如下：
步骤一：粗提取。该步能够提取大量的特征点，但是有很大一部分的特征点的质量不高。下面介绍提取方法。从图像中选取一点P，如图3A所示，判断该点是不是特征点的方法是，以P为圆心画一个半径为3pixel的圆。圆周上如果有连续n个像素点的灰度值比P点的灰度值大或者小，则认为P为特征点。一般n设置为12。为了加快特征点的提取，快速排除非特征点，首先检测1、9、5、13位置上的灰度值，如果P是特征点，那么这四个位置上有3个或3个以上的的像素值都大于或者小于P点的灰度值。如果不满足，则直接排出此点。
步骤二：机器学习的方法筛选最优特征点。简单来说就是使用ID3算法训练一个决策树，将特征点圆周上的16个像素输入决策树中，以此来筛选出最优的FAST特征点。
步骤三：非极大值抑制去除局部较密集特征点。使用非极大值抑制算法去除临近位置多个特征点的问题。为每一个特征点计算出其响应大小。计算方式是特征点P和其周围16个特征点偏差的绝对值和。在比较临近的特征点中，保留响应值较大的特征点，删除其余的特征点。
步骤四：特征点的尺度不变形。建立金字塔，来实现特征点的多尺度不变性。设置一个比例因子scaleFactor(opencv默认为1.2)和金字塔的层数nlevels(pencv默认为8)。将原图像按比例因子缩小成nlevels幅图像。缩放后的图像为：I’＝I/scaleFactork(k＝1,2,…,nlevels)。nlevels幅不同比例的图像提取特征点总和作为这幅图像的oFAST特征点。
步骤五：特征点的旋转不变性。ORB算法提出使用矩(moment)法来确定FAST特征点的方向。也就是说通过矩来计算特征点以r为半径范围内的质心，特征点坐标到质心形成一个向量作为该特征点的方向。矩定义如下：
其中，I(x,y)为图像灰度表达式。该矩的质心为：
假设角点坐标为O，则向量的角度即为该特征点的方向。计算公式如下：
具体的，步骤21中，提取所述当前视觉图像帧的特征线时，可以通过以下过程实现：
S1：提取所述图像帧的所有线段，可选的，本申请实施例中可以利用现有的线段检测器(Line Segment Detector，LSD)方法提取出图像帧的所有线段。
具体的，LSD提取算法如下所示：
1..以s＝0.8的尺度对输入图像进行高斯下采样。
2.计算每一个点的梯度值以及梯度方向(level-line orientation)。
3.根据梯度值对所有点进行伪排序(pseudo-ordered)，建立状态列表，所有点设置为UNUSED。
4.将梯度值小于ρ的点状态表中相应位置设置为USED。
5.取出列表中梯度最大(伪排列的首位)的点作为种子点(seed)，状态列表中设为USED。
do：
a.以seed为起点，搜索周围UNUSED并且方向在阈值[-t,t]范围内的点，状态改为USED。
b.生成包含所有满足点的矩形R。
c.判断同性点(Aligned Points)密度是否满足阈值D，若不满足，截断(cut)R变为多个矩形框，直至满足。
d.计算NFA(number of false alarms)。
e.改变R使NFA的值更小直至NFA<＝ε，R加入输出列表。
S2：若提取的任意两条线段满足第一预设条件时，将所述任意两条线段合并为一条新的线段，直到不存在满足所述第一预设条件的线段为止。
具体的，若提取的任意两条线段的端点之间的最小距离小于第一预设值且所述两条线段之间的距离小于第二预设值，且所述任意两条线段之间的夹角小于第三预设值时，将所述任意两条线段合并为一条新的线段。
上述步骤能够将属于同一个线条的多个线段进行合并，例如，图3B所示，l表示两条线段端点之前的最小距离；d表示一条线段的中间点距离另一条线段的距离；当l和d都小于设定的阈值时，且两条线段之间的夹角比较小，也小于设定的阈值，则认为这两条线段属于同一个线条，将这条线段合并为一条新的线段。
S3：若所述任意两条、经合并的线段满足第二预设条件时，将所述任意两条、经合并的线段作为同一条特征线输出；若所述任意两条、经合并的线段不满足第二预设条件时，将所述任意两条线段作为两条特征线输出。
具体的，若所述任意两条、经合并的线段之间的夹角小于第四预设值，且所述两条线段的长度相同，且所述两条线段的重叠度大于第五预设值，且所述两条线段之间的距离小于第六预设值时，将所述任意两条线段作为同一条特征线输出。
例如，当任意两条线段l1和l2满足如下条件，则认为l1和l2是同一条直线：
1)l1和l2的夹角小于给定阈值Φ；
2)两条线段的长度基本相同，
3)l1和l2的重叠度大于某个阈值
4)l1和l2的线二进制描述符(line binary descriptor，LBD)描述子之间的距离小于一定的阈值。
需要说明的是，本申请实施例中的线段采用LBD方法描述，因此，两条线段之间的距离用两条线段的LBD描述子之间的距离表征。
步骤22：利用所述特征点预测所述摄像设备的第一位姿。
具体的，在提取到前后两个视频图像帧的特征点后，得到两组特征点集，对两组特征点集进行匹配，估计摄像设备的运动，据此预测所述摄像设备的第一位姿。进一步的若摄像设备是双目相机时，可选的，采用n点透视定位算法(Perspective-n-Point，PnP)的方法估计相机的运动，采用非线性优化的方法进行迭代求解，得到第一位姿，即摄像设备的旋转R和平移T的估计。
步骤23：对第一特征线进行观测，以确定所述第一特征线的特征线观测量，其中，所述第一特征线是提取到的所述特征线中的任意一条特征线。
具体的，针对提取的第一特征线采用正交化参数进行最小化描述，得到所述第一特征线的特征线观测量。
步骤24：获取所述当前视觉图像帧中的全局特征线状态向量集合，所述全局特征线状态向量集合中包括N历史特征线的特征线状态向量，N为正整数。
需要说明的是，所述全局特征线状态向量集合是在所述摄像设备运动过程中，连续的视觉图像帧中的关键帧输出的特征线进行闭环检测和全局优化得到的，所述获取所述当前视觉图像帧中的全局特征线状态向量集合，包括：在所述摄像设备运动过程中，在所述关键帧中观测到特征线时，针对新观测到的特征线与在先已观测到的历史特征线进行关联匹配；针对匹配成功的特征线，计算所述当前观测到的特征线与在先已观测到的每条历史特征线之间的重投影误差(Reprojection error)，利用所述重头影误差构造目标函数，最小化所述目标函数得到所述当前观测到的特征线的特征线状态向量，将其更新到所全局特征线状态向量集合中；针对匹配失败的特征线，获取所述当前观测到的特征线的特征线状态向量，将其添加到所述全局特征线状态向量集合中。
其中，重投影误差是指投影的点(理论值)与图像上的测量点的误差。例如在标定的时候我们经常用到重投影误差作为最终标定效果的评价标准，我们认为标定板上的物理点是理论值，它经过投影变换后会得到理论的像素点a，而测量的点经过畸变矫正后的像素点为a′，它们的欧氏距离||a-a′||2即表示重投影误差。
值得一提的是，一帧就是视频中的一个画面，关键帧也叫作I帧，它是帧间压缩编码的最重要帧。关键帧相当于二维动画中的原画，指角色或者物体运动或变化中的关键动作所处的那一帧。
步骤25：利用所述特征线观测量和所述全局特征线状态向量集合，对所述第一位姿进行更新，以得到更新后的第一位姿。
值得注意的是，在利用所述特征线观测量、所述全局特征线状态向量集合、对所述第一位姿进行更新得到更新后的第一位姿时，还可以利用所述特征线观测量、所述第一位姿对所述全局特征线状态向量集合进行更新得到更新后的全局特征线状态向量集合。
需要说明的是，在执行步骤25之前，需要确定上述观测到的第一特征线是否是已经观测到的特征线，可以通过以下过程实现：
S51：遍历所述全局特征线状态向量集合中的特征线状态向量，依次计算与所述特征线观测量之间的马氏距离，得到N个马氏距离.
S52：当所述N个马氏距离中的最小马氏距离小于预设阈值时，确定上述观测到的第一特征线为已经观测到的特征线；否则，确定上述观测到的第一特征线为新观测到的特征线。
进一步的，所述利用所述特征线观测量和所述全局特征线状态向量集合更新所述摄像设备的第一位姿时，计算所述最小马氏距离对应的特征线状态向量与所述特征线观测量之间的偏差，基于所述偏差，利用滤波方法更新所述第一位姿和所述全局特征线状态向量集合。可选的，将所述特征线状态向量与所述特征线观测量之间的残差作为特征线状态向量与所述特征线观测量之间的偏差。
若在上述步骤S52中，确定上述观测到的第一特征线为新观测到的特征线时，将所述特征线观测量添加到所述全局特征线状态向量集合中，更新所述全局特征线状态向量集合。
通过上述过程可知，本申请实施例中视觉SLAM方法，融合了基于特征点的运动估计及环境中观测到的特征线的观测特征，来实时更新摄像设备的位姿，此外，同时考虑了已观测到的历史特征线的观测特征，实现了闭环约束，提高了鲁棒性，提高了视觉SLAM的准确度。
下面通过一个双目相机的自动驾驶场景来详细说明图2的实施过程，具体实现过程可参阅图4A所示。
步骤1：获取自动驾驶的双目视觉图像输入；
步骤2：对获取的双目视觉图像特征进行特征点和特征线的提取。
需要说明的是，针对双目视觉图像提取到特点和特征线之后，还需执行如图4B所示的特征点和特征线的匹配过程。
例如，特征跟踪模块将校正后的双目视觉图像序列作为输入，对于输入的每一帧视觉图像，同时启动四个线程来对左右目视觉图像提取特征点和特征线。本实施例中采用ORB方法实现特征点的检测提取和描述。特征线则采用基于LSD的改进方法进行提取，并用LBD描述子进行描述，之后，再启动两个线程，一个线程对提取的特征点进行匹配，如果在左右目图像中同时存在相同的特征点，则为双目特征点，其他点特征为单目特征点；另一个线程对特征线进行匹配，如果左右目图像中同时找到相同的特征线，则为双目特征线，其他未匹配成功的特征为线单目特征线，对于每一个没有匹配到的单目特征点和单目特征线，将它们与其他关键帧中未匹配的单目特征点和特征线进行匹配，一旦匹配成功，则之后的处理方式与双目特征点和双目特征线的处理方式相同。
步骤3：利用特征点估计相邻图像间的相机运动，得到相机的运动估计。
设定相机起始位置为全局坐标系原点，根据步骤2的结果，提取前后两个视频图像帧的特征点，得到两组特征点集，对两组特征点集进行匹配，估计相机的运动，得到相机的运动方程。
例如，对双目相机，采用PnP的方法估计相机的运动时，采用非线性优化的方法进行迭代求解，得到相机的运动估计，这里用旋转q和平移p表征相机的运动估计，即相机的位姿，相机的运动方程表示如下：
x(t)＝F(t)x(t-1)
其中：x(t)为相机运动的位姿，G为全局坐标系，C为相机坐标系，为相机在全局坐标系下的姿态用四元数表示，GPC表示相机在全局坐标系的位置，F为相机的状态转移矩阵。
其中为四元数的矩阵表示形式，随着相机位置变化而不断更新，在首张图像帧时初始化旋转矩阵R为单位阵，P为0。
步骤4：通过对提取的特征线进行观测，构建相机的观测方程。
具体实现时，包括步骤41和步骤42。
步骤41：根据步骤2提取的特征线，采用正交化参数对其进行最小化观测描述。
其中特征线正交化表示方法如下：
采用普鲁克(Plucker)坐标对特征线进行描述，根据步骤2提取的特征线，假设提取的特征线的两个端点三维坐标表示分别为：X1＝(x1,y1,z1,1)T，X2＝(x2,y2,z2,1)T，该特征线在普鲁克(Plucker)坐标描述如下：
Lf是由两个三维向量n和v组成的六维向量，v表示该特征线的直线向量X1-X2，n表示特征线和相机中心构成平面的法向量。通过正交化表示后，利用四个参数δθ＝[δθT,δφ]T∈R4更新特征线的正交化表示，三维向量θ∈R3是特征线绕着三个坐标轴的旋转，用来更新n；φ表示中心点到特征直线的垂直距离，用来更新v。
定义相机的观测状态向量为x(包括相机的位姿及特征线状态向量)其表达式如下，其中和GPC分别为相机的旋转和评议，GLf表示为特征线状态向量，上下标中G代表全局坐标系，C代表相机，f表示特征线，L表示线本身(Line)：
其中为相机的状态估计误差向量，为特征线估计误差向量。
步骤42：构建特征线的观测方程；
对环境中观测到的特征线进行投影，l'表示投影后的相机平面直线：l1u+l2v+l3＝0，其中u，v为相机平面二维坐标表示，令l′＝[l1 l2 l3]T。
设观测到的特征线的两个三维端点投影到相机平面坐标为xs和xe；特征线的观测残差：
特征线的观测方程用如下式子表示：
令z＝[xs xe]T，
其中d表示观测到的特征线z到l′的距离，距离越小代表估计误差越小。
线性化观测方程：
其中：为特征观线测误差，HL表示特征线观测的雅克比矩阵，Hn表示特征线观测噪声的雅克比矩阵；
特征线测量的雅克比矩阵为：
其中：xs＝[u1 v1 1]T和xe＝[u2 v2 1]T
其中K为相机的内参矩阵；
进一步通过求导，得到观测的雅克比矩阵，即相机的观测方程，具体的通过下述公式表示，其中公式中代表参数的估计：
步骤5：观测环境中的特征线，并对观测到的特征线进行全局闭环检测并进行全局优化，得到全局特征线状态向量集合，具体包括以下步骤。
步骤51：利用特征线之间的马氏距离对特征线进行数据关联。
随着相机运动每个视频图像帧都有特征线输出，需要对该特征线与已观测到的特征线状态向量的特征线进行关联，确定此特征线线为新特征线还是已观测到的特征线。
具体的，本申请实施例中通过马氏距离的计算方法快速计算两条特征线的关联程度，具体算法如下所示：
上式dm表示马氏距离，S表示观测到的特征线的协方差矩阵，具体计算公式可表示为：
其中Px是相机的观测状态向量的协方差矩阵，R为测量噪声的协方差矩阵，如下所示。
遍历已观测到的特征线状态向量，计算对应的马氏距离，从中选择马氏距离最小者。如果该马氏距离小于一个设定的阀值，可以确认此特征线之前观测过，实现一次闭环检测，否则初始化一条新的特征线。
步骤52：对观测到的特征线进行全局优化。
采用现有的全局优化器(如g2o)对相机的所有运动姿态进行估计，并对观测的特征线进行全局优化，其中步骤51的闭环检测结果也是优化器的输入之一。本申请的特征线观测量作为全局优化器的约束之一，对全局目标优化函数及特征线观测的雅克比矩阵进行计算，求导过程如下所示：
1)确定全局目标优化函数：
选择3D点的位置Xw,i和3D线的位置作为图的顶点，相机的位姿为Tkw，点位姿的边和线位姿的边作为图的两种边在前端的数据关联时候被构造，边的重投影表示如下：
epk，i＝xk，i-n(KTkwXw，i)
上式中xk,i是点在图像坐标系中的位置，n(.)是从齐次坐标到非齐次坐标的变换。全局优化目标函数C能够通过下式得到，其中，Σp-1,∑l-1分别是点和线的协方差矩阵，ρp,ρl是代价函数。
最小化目标函数，能够优化当前观测到的特征线的特征线状态向量，从而将其更新到全局特征线状态向量集合中。为了利用非线性优化方法优化目标函数，需要对优化函数求解雅克比矩阵。
2)解析观测的雅克比矩阵：
首先需要计算线的重投影误差关于微小位姿变化δξ和描述线正交化表示更新的四维向量δθ的雅克比矩阵。重投影误差关于投影想像素坐标系中的反投影线l′＝[l1,l2,l3]的导数如下：
上式中xs＝[u1,v1,1]T和xe＝[u2,v2,1]T分别是图像坐标中要匹配的线段的两个端点。3D线的投影方程为：l′＝κnc，则l'关于相机坐标系下线段的导数如下：
设线段在世界坐标系下的正交化表示如下：
由变换方程可知关于的雅克比矩阵如下所示：
上式中，ui是U的ith列。
直接计算导数比较困难，所以本申请把δξ分成平移变化的部分δρ和旋转变化的部分δφ。计算关于平移量δρ的导数的时候，假设旋转量为0，同理，计算关于旋转量的导数的时候，假设平移量为0。首先计算关于平移量的导数。经过δρ平移量之后的变换矩阵T*，旋转矩阵R*，平移量t*，线的变换矩阵和变换后的线的坐标如下所示：
R*＝Rcw，t*＝δρ+tcw
上式中exp(δξ∧)是李代数δξ∧对应的李群。然后可以计算出关于δρ的导数如下所示：
计算和计算是相似的，计算结果如下所示：
最后关于δξ的雅克比矩阵如下所示：
根据求导法则，综合以上，本申请中重投影误差关于线参数和位姿变化的雅克比矩阵如下：
计算出雅克比矩阵之后，就可以利用高斯牛顿等非线性方法来迭代求最优的特征线状态向量和相机的位姿。
步骤53：根据步骤52的结果，更新全局特征线状态向量集合。
步骤6：采用滤波的SLAM方式，利用特征点的运动估计，利用特征线的特征线观测量对相机的观测状态进行更新，实现相机的运动跟踪。
举例说明步骤6的具体实现过程：
步骤61：根据步骤3获取相机的位姿。
步骤3中能够根据T时刻观测的特征点及T-1时刻观测的特征点，采用视觉里程计方法对前后两个视觉图像的帧特征点进行匹配得到T-1时刻到T时刻的位姿估计
步骤62：若T时刻，后端有全局特征线状态向量集合更新，更新全局特征线状态向量集合
步骤63：T时刻观测到的m条特征线表示为将观测到的每条特征线与全局特征线状态向量集合GLf计算观测残差及协方差矩阵HL，通过马氏距离判定线段的数据关联程度，确定观测到的特征线是否为已经观测到的特征线。
步骤64：如果是新观测到的特征线，将该特征线更新到全局特征线状态向量集合GLf中，更新相机的状态向量；如果是已经观测到的特征线，计算特征线的观测残差及雅克比矩阵HL。
步骤65：基于T时刻的位姿估计利用特征线的观测残差及雅克比矩阵HL，观测噪声的协方差矩阵R及雅克比矩阵Hn，优化相机的状态向量
具体的，采用EKF滤波方法进行举例说明，通过相机的状态协方差矩阵PX、相机的状态转移矩阵F迭代计算相机的状态协方差估计然后利用特征线的观测雅克比矩阵HL，相机的状态协方差估计观测噪声协方差矩阵R及噪声的雅克比矩阵Hn获得迭代更新卡尔曼增益，利用更新的卡尔曼增益及特征线的观测雅克比矩阵HL更新状态协方差矩阵，得到实现卡尔曼增益和状态协方差矩阵PX的不断迭代更新，通过更新的卡尔曼增益及特征线的观测残差优化相机的状态向量
综上，现有的视觉SLAM方案，采用视觉里程计方法对相机运动进行估计，未考虑闭环约束及地图观测的误差。本申请的特征跟踪模块基于滤波框架融合了基于特征点的相机帧间运动估计及环境特征线的观测向量；其中，在滤波框架中维护特征线地图，特征线地图和相机位姿观测同时优化；维护线地图和相机运动之间的实时关联，保证系统实时性能及鲁棒闭环检测。利用SLAM的闭环检测提升运动跟踪估计精度。
此外，特征线表示及观测误差的解析求解时，采用正交化表示法对3D线特征的误差投影进行最小参数化表示，通过数学解析方法计算观测变量的雅克比矩阵，减少优化变量数量，提升后端优化精度、稳定性及效率。
基于同一构思，本申请还提供了一种基于点线特征的视觉SLAM装置，应用于采集周围图像的摄像设备，该装置可以用于执行上述图2～图4B中对应的方法实施例，因此本申请实施例提供的视觉SLAM装置的实施方式可以参见该方法的实施方式，重复之处不再赘述。
参阅图5所示，本申请实施例提供基于点线特征的视觉SLAM装置500，包括：接收单元510，提取单元520，预测单元530，确定单元540，获取单元550和更新单元560，其中：
接收单元510，用于接收摄像头输入的当前视觉图像帧；
提取单元520，用于提取所述当前视觉图像帧的特征点和特征线；
预测单元530，用于利用所述特征点预测所述摄像设备的第一位姿；
确定单元540，用于对第一特征线进行观测，以确定所述第一特征线的特征线观测量，其中，所述第一特征线是提取到的所述特征线中的任意一条特征线；
获取单元550，用于获取所述当前视觉图像帧中的全局特征线状态向量集合，所述全局特征线状态向量集合中包括N条历史特征线的特征线状态向量，N为正整数；
更新单元560，用于利用所述特征线观测量和所述全局特征线状态向量集合，对所述第一位姿进行更新，以得到更新后的第一位姿。
可选的，所述更新单元560还用于：
利用所述特征线观测量、所述第一位姿对所述全局特征线状态向量集合进行更新，以得到更新后的全局特征线状态向量集合。
可选的，所述确定单元540还用于：
遍历所述N条历史特征线，依次计算每条历史特征线与所述第一特征线之间的马氏距离，得到N个马氏距离；
所述更新单元560具体用于：当所述N个马氏距离中的最小马氏距离小于预设阈值，利用所述特征线观测量和所述全局特征线状态向量集合，对所述第一位姿进行更新，以得到更新后的第一位姿。
可选的，所述更新单元560具体用于：
计算所述最小马氏距离对应的特征线的特征线状态向量与所述特征线观测量之间的偏差，
基于所述偏差，利用滤波方法更新所述第一位姿和所述全局特征线状态向量集合。
可选的，所述更新单元560还用于：当所述N个马氏距离中的最小马氏距离不小于预设阈值时，将所述特征线观测量添加到所述全局特征线状态向量集合中，以得到更新后的所述全局特征线状态向量集合。
可选的，在提取所述当前视觉图像帧的特征线的方面，所述提取单元520具体用于：
提取所述当前视觉图像帧的所有线段；
若提取的任意两条线段满足第一预设条件时，将所述任意两条线段合并为一条新的线段，直到不存在满足所述第一预设条件的线段为止；
若所述任意两条、经合并的线段满足第二预设条件时，将所述任意两条、经合并的线段作为同一条特征线输出；若所述任意两条、经合并的线段不满足第二预设条件时，将所述任意两条线段作为两条特征线输出。
可选的，在提取的任意两条线段满足第一预设条件时，将所述任意两条线段合并为一条新的线段的方面，所述提取单元520具体用于：
若提取的任意两条线段的端点之间的最小距离小于第一预设值且所述两条线段之间的距离小于第二预设值，且所述任意两条线段之间的夹角小于第三预设值时，将所述任意两条线段合并为一条新的线段。
可选的，在所述任意两条、经合并的线段满足第二预设条件时，将所述任意两条、经合并的线段作为同一条特征线输出的方面，所述提取单元520具体用于：
若所述任意两条、经合并的线段之间的夹角小于第四预设值，且所述两条线段的长度相同，且所述两条线段的重叠度大于第五预设值，且所述两条线段之间的距离小于第六预设值时，将所述任意两条线段作为同一条特征线输出。
可选的，所述确定单元540具体用于：
针对提取的特征线采用正交化参数进行最小化描述，得到所述特征线观测量。
可选的，所述获取单元550具体用于：
在所述摄像设备运动过程中，在所述当前视觉图像帧是关键帧且在所述当前视觉图像帧观测到特征线时，针对当前观测到的特征线与在先已经观测到的历史特征线进行关联匹配，所述关键帧是所述摄像设备运动过程中发生关键动作所处的帧；针对匹配成功的特征线，计算所述当前观测到的特征线与在先已观测到的每条历史特征线之间的重投影误差，利用所述重头影误差构造目标函数，最小化所述目标函数得到所述当前观测到的特征线的特征线状态向量，将其更新到所全局特征线状态向量集合中；针对匹配失败的特征线，获取所述当前观测到的特征线的特征线状态向量，将其添加到所述全局特征线状态向量集合中。
基于同一构思，参阅图6所示，本申请实施例提供一种基于点线特征的视觉SLAM处理设备600，包括收发器610、处理器620、存储器630；存储器630用于存储程序、指令或代码；处理器620用于执行存储器630中的程序、指令或代码；
收发器610，用于接收摄像头输入的当前视觉图像帧；
处理器620，用于提取所述当前视觉图像帧的特征点和特征线；利用所述特征点预测所述摄像设备的第一位姿；对第一特征线进行观测，以确定所述第一特征线的特征线观测量，其中，所述第一特征线是提取到的所述特征线中的任意一条特征线；获取所述当前视觉图像帧中的全局特征线状态向量集合，所述全局特征线状态向量集合中包括N条历史特征线的特征线状态向量，N为正整数；利用所述特征线观测量和所述全局特征线状态向量集合，对所述第一位姿进行更新，以得到更新后的第一位姿。
其中，处理器620可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器902中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器902可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器630，处理器620读取存储器630中的信息，结合其硬件执行以上方法步骤。
本领域内的技术人员应明白，本申请实施例可提供为方法、系统、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (22)

1.一种基于点线特征的视觉SLAM方法，应用于采集周围图像的摄像设备，其特征在于，包括：
接收摄像头输入的当前视觉图像帧；
提取所述当前视觉图像帧的特征点和特征线；
利用所述特征点预测所述摄像设备的第一位姿；
对第一特征线进行观测，以确定所述第一特征线的特征线观测量，其中，所述第一特征线是提取到的所述特征线中的任意一条特征线；
获取所述当前视觉图像帧中的全局特征线状态向量集合，所述全局特征线状态向量集合中包括N条历史特征线的特征线状态向量，N为正整数；
利用所述特征线观测量和所述全局特征线状态向量集合，对所述第一位姿进行更新，以得到更新后的第一位姿。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
利用所述特征线观测量、所述第一位姿对所述全局特征线状态向量集合进行更新，以得到更新后的全局特征线状态向量集合。
3.如权利要求1所述的方法，其特征在于，所述方法还包括：遍历所述N条历史特征线，依次计算每条历史特征线与所述第一特征线之间的马氏距离，得到N个马氏距离；
所述利用所述特征线观测量、所述全局特征线状态向量集合，对所述第一位姿进行更新，以得到更新后的第一位姿，包括：
当所述N个马氏距离中的最小马氏距离小于预设阈值时，利用所述特征线观测量、所述全局特征线状态向量集合，对所述第一位姿进行更新，以得到更新后的第一位姿。
4.如权利要求3所述的方法，其特征在于，所述利用所述特征线观测量、所述全局特征线状态向量集合，对所述第一位姿进行更新，以得到更新后的第一位姿，包括：
计算所述最小马氏距离对应的特征线的特征线状态向量与所述特征线观测量之间的偏差，
基于所述偏差，利用滤波方法更新所述第一位姿和所述全局特征线状态向量集合。
5.如权利要求3所述的方法，其特征在于，所述方法还包括：
当所述N个马氏距离中的最小马氏距离不小于预设阈值时，将所述特征线观测量添加到所述全局特征线状态向量集合中，以得到更新后的所述全局特征线状态向量集合。
6.如权利要求1所述的方法，其特征在于，所述提取所述当前视觉图像帧的特征线，包括：
提取所述当前视觉图像帧的所有线段；
若提取的任意两条线段满足第一预设条件时，将所述任意两条线段合并为一条新的线段，直到不存在满足所述第一预设条件的线段为止；
若所述任意两条、经合并的线段满足第二预设条件时，将所述任意两条、经合并的线段作为同一条特征线输出；若所述任意两条、经合并的线段不满足第二预设条件时，将所述任意两条线段作为两条特征线输出。
7.如权利要求6所述的方法，其特征在于，若提取的任意两条线段满足第一预设条件时，将所述任意两条线段合并为一条新的线段，包括：
若提取的任意两条线段的端点之间的最小距离小于第一预设值且所述两条线段之间的距离小于第二预设值，且所述任意两条线段之间的夹角小于第三预设值时，将所述任意两条线段合并为一条新的线段。
8.如权利要求6所述的方法，其特征在于，若所述任意两条、经合并的线段满足第二预设条件时，将所述任意两条、经合并的线段作为同一条特征线输出，包括：
若所述任意两条、经合并的线段之间的夹角小于第四预设值，且所述两条线段的长度相同，且所述两条线段的重叠度大于第五预设值，且所述两条线段之间的距离小于第六预设值时，将所述任意两条线段作为同一条特征线输出。
9.如权利要求1-8任一项所述的方法，其特征在于，所述对所述第一特征线进行观测，以确定所述第一特征线的特征线观测量，包括：
针对提取的第一特征线采用正交化参数进行最小化描述，得到所述特征线观测量。
10.如权利要求1-9任一项所述的方法，其特征在于，所述获取所述当前视觉图像帧中的全局特征线状态向量集合，包括：
在所述摄像设备运动过程中，在所述当前视觉图像帧是关键帧且观测到特征线时，针对当前观测到的特征线与在先已经观测到的历史特征线进行关联匹配，所述关键帧是所述摄像设备运动过程中发生关键动作所处的帧；
针对匹配成功的特征线，计算所述当前观测到的特征线与在先已观测到的每条历史特征线之间的重投影误差，利用所述重头影误差构造目标函数，最小化所述目标函数得到所述当前观测到的特征线的特征线状态向量，将其更新到所全局特征线状态向量集合中；
针对匹配失败的特征线，获取所述当前观测到的特征线的特征线状态向量，将其添加到所述全局特征线状态向量集合中。
11.一种基于点线特征的视觉SLAM装置，应用于采集周围图像的摄像设备，其特征在于，包括：
接收单元，用于接收摄像头输入的当前视觉图像帧；
提取单元，用于提取所述当前视觉图像帧的特征点和特征线；
预测单元，用于利用所述特征点预测所述摄像设备的第一位姿；
确定单元，用于对第一特征线进行观测，以确定所述第一特征线的特征线观测量，其中，所述第一特征线是提取到的所述特征线中的任意一条特征线；
获取单元，用于获取所述当前视觉图像帧中的全局特征线状态向量集合，所述全局特征线状态向量集合中包括N条历史特征线的特征线状态向量，N为正整数；
更新单元，用于利用所述特征线观测量和所述全局特征线状态向量集合，对所述第一位姿进行更新，以得到更新后的第一位姿。
12.如权利要求11所述的装置，其特征在于，所述更新单元还用于：
利用所述特征线观测量、所述第一位姿对所述全局特征线状态向量集合进行更新，以得到更新后的全局特征线状态向量集合。
13.如权利要求11所述的装置，其特征在于，所述确定单元还用于：
遍历所述N条历史特征线，依次计算每条历史特征线与所述第一特征线之间的马氏距离，得到N个马氏距离；
所述更新单元具体用于：当所述N个马氏距离中的最小马氏距离小于预设阈值，利用所述特征线观测量和所述全局特征线状态向量集合，对所述第一位姿进行更新，以得到更新后的第一位姿。
14.如权利要求11或12所述的装置，其特征在于，所述更新单元具体用于：
计算所述最小马氏距离对应的特征线的特征线状态向量与所述特征线观测量之间的偏差，
基于所述偏差，利用滤波方法更新所述第一位姿和所述全局特征线状态向量集合。
15.如权利要求13所述的装置，其特征在于，所述更新单元还用于：当所述N个马氏距离中的最小马氏距离不小于预设阈值时，将所述特征线观测量添加到所述全局特征线状态向量集合中，以得到更新后的所述全局特征线状态向量集合。
16.如权利要求11所述的装置，其特征在于，在提取所述当前视觉图像帧的特征线的方面，所述提取单元具体用于：
提取所述当前视觉图像帧的所有线段；
若提取的任意两条线段满足第一预设条件时，将所述任意两条线段合并为一条新的线段，直到不存在满足所述第一预设条件的线段为止；
若所述任意两条、经合并的线段满足第二预设条件时，将所述任意两条、经合并的线段作为同一条特征线输出；若所述任意两条、经合并的线段不满足第二预设条件时，将所述任意两条线段作为两条特征线输出。
17.如权利要求16所述的装置，其特征在于，在提取的任意两条线段满足第一预设条件时，将所述任意两条线段合并为一条新的线段的方面，所述提取单元具体用于：
若提取的任意两条线段的端点之间的最小距离小于第一预设值且所述两条线段之间的距离小于第二预设值，且所述任意两条线段之间的夹角小于第三预设值时，将所述任意两条线段合并为一条新的线段。
18.如权利要求16所述的装置，其特征在于，在所述任意两条、经合并的线段满足第二预设条件时，将所述任意两条、经合并的线段作为同一条特征线输出的方面，所述提取单元具体用于：
若所述任意两条、经合并的线段之间的夹角小于第四预设值，且所述两条线段的长度相同，且所述两条线段的重叠度大于第五预设值，且所述两条线段之间的距离小于第六预设值时，将所述任意两条线段作为同一条特征线输出。
19.如权利要求11所述的装置，其特征在于，所述确定单元具体用于：
针对提取的特征线采用正交化参数进行最小化描述，得到所述特征线观测量。
20.如权利要求11所述的装置，其特征在于，所述获取单元具体用于：
在所述摄像设备运动过程中，在所述当前视觉图像帧是关键帧且在所述当前视觉图像帧观测到特征线时，针对当前观测到的特征线与在先已经观测到的历史特征线进行关联匹配，所述关键帧是所述摄像设备运动过程中发生关键动作所处的帧；
针对匹配成功的特征线，计算所述当前观测到的特征线与在先已观测到的每条历史特征线之间的重投影误差，利用所述重头影误差构造目标函数，最小化所述目标函数得到所述当前观测到的特征线的特征线状态向量，将其更新到所全局特征线状态向量集合中；
针对匹配失败的特征线，获取所述当前观测到的特征线的特征线状态向量，将其添加到所述全局特征线状态向量集合中。
21.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机可执行指令，当所述计算机可执行指令在计算机上运行时，使得所述计算机执行权利要求1-10任一项所述的方法。
22.一种计算机程序产品，其特征在于，所述计算机程序产品包括存储在如权利要求21所述的计算机存储介质上的计算机可执行指令，当所述计算机可执行指令在计算机上运行时，使所述计算机执行权利要求1-10任一项所述的方法。
CN201810184021.1A 2017-09-22 2018-03-06 一种基于点线特征的视觉slam方法和装置 Pending CN109558879A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP18859404.8A EP3680809A4 (en) 2017-09-22 2018-09-21 METHOD AND APPARATUS FOR SIMULTANEOUS LOCATION AND MAPPING BY VISUAL SLAM BASED ON A CHARACTERISTIC OF POINTS AND LINES
PCT/CN2018/107097 WO2019057179A1 (zh) 2017-09-22 2018-09-21 一种基于点线特征的视觉slam方法和装置
US16/824,219 US11270148B2 (en) 2017-09-22 2020-03-19 Visual SLAM method and apparatus based on point and line features

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2017108680346 2017-09-22
CN201710868034 2017-09-22

Publications (1)

Publication Number Publication Date
CN109558879A true CN109558879A (zh) 2019-04-02

Family

ID=65864366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810184021.1A Pending CN109558879A (zh) 2017-09-22 2018-03-06 一种基于点线特征的视觉slam方法和装置

Country Status (2)

Country Link
EP (1) EP3680809A4 (zh)
CN (1) CN109558879A (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110033514A (zh) * 2019-04-03 2019-07-19 西安交通大学 一种基于点线特征快速融合的重建方法
CN110046677A (zh) * 2019-04-26 2019-07-23 山东大学 数据预处理方法、地图构建方法、回环检测方法及系统
CN110260885A (zh) * 2019-04-15 2019-09-20 南京航空航天大学 一种卫星/惯性/视觉组合导航系统完好性评估方法
CN110473258A (zh) * 2019-07-24 2019-11-19 西北工业大学 基于点线统一框架的单目slam系统初始化算法
CN110610513A (zh) * 2019-09-18 2019-12-24 郑州轻工业学院 自主移动机器人视觉slam的不变性中心差分滤波器方法
CN110675450A (zh) * 2019-09-06 2020-01-10 武汉九州位讯科技有限公司 基于slam技术的正射影像实时生成方法及系统
CN110838145A (zh) * 2019-10-09 2020-02-25 西安理工大学 一种室内动态场景的视觉定位与建图方法
CN111811501A (zh) * 2020-06-28 2020-10-23 鹏城实验室 一种基于树干特征的无人机定位方法、无人机及存储介质
CN112115980A (zh) * 2020-08-25 2020-12-22 西北工业大学 基于光流跟踪和点线特征匹配的双目视觉里程计设计方法
CN112307917A (zh) * 2020-10-21 2021-02-02 国网上海市电力公司 一种融合视觉里程计及imu的室内定位方法
WO2021036587A1 (zh) * 2019-08-29 2021-03-04 全球能源互联网研究院有限公司 面向电力巡检场景的定位方法及系统
CN112461227A (zh) * 2020-10-22 2021-03-09 新兴际华集团有限公司 轮式底盘机器人巡检智能化自主导航方法
CN112509044A (zh) * 2020-12-02 2021-03-16 重庆邮电大学 一种基于点线特征融合的双目视觉slam方法
CN112558602A (zh) * 2020-11-19 2021-03-26 许昌许继软件技术有限公司 基于影像特征的机器人定位的方法
CN112967311A (zh) * 2019-12-12 2021-06-15 浙江商汤科技开发有限公司 三维线图构建方法及装置、电子设备和存储介质
CN113298796A (zh) * 2021-06-10 2021-08-24 西北工业大学 一种基于最大后验imu的线特征slam初始化方法
CN113465602A (zh) * 2021-05-26 2021-10-01 北京三快在线科技有限公司 导航方法、装置、电子设备及可读存储介质
CN113701766A (zh) * 2020-05-20 2021-11-26 浙江欣奕华智能科技有限公司 一种机器人地图的构建方法、机器人的定位方法及装置
WO2022073172A1 (zh) * 2020-10-09 2022-04-14 浙江大学 一种基于点线特征的机器人全局最优视觉定位方法及装置
WO2022174603A1 (zh) * 2021-02-21 2022-08-25 深圳市优必选科技股份有限公司 一种位姿预测方法、位姿预测装置及机器人
CN115690205A (zh) * 2022-10-09 2023-02-03 北京自动化控制设备研究所 基于点线综合特征的视觉相对位姿测量误差估计方法
WO2023130842A1 (zh) * 2022-01-06 2023-07-13 广东汇天航空航天科技有限公司 一种相机位姿确定方法和装置
CN117824624A (zh) * 2024-03-05 2024-04-05 深圳市瀚晖威视科技有限公司 一种基于人脸识别的室内追踪定位方法、系统及存储介质
CN112967311B (zh) * 2019-12-12 2024-06-07 浙江商汤科技开发有限公司 三维线图构建方法及装置、电子设备和存储介质

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112037261A (zh) * 2020-09-03 2020-12-04 北京华捷艾米科技有限公司 一种图像动态特征去除方法及装置
CN112367426B (zh) * 2020-11-09 2021-06-04 Oppo广东移动通信有限公司 虚拟对象显示方法及装置、存储介质和电子设备
CN112669381B (zh) * 2020-12-28 2021-09-21 北京达佳互联信息技术有限公司 一种位姿确定方法、装置、电子设备及存储介质
CN113570535A (zh) * 2021-07-30 2021-10-29 深圳市慧鲤科技有限公司 视觉定位方法及相关装置、设备
CN114170366B (zh) * 2022-02-08 2022-07-12 荣耀终端有限公司 基于点线特征融合的三维重建方法及电子设备
CN114494380A (zh) * 2022-04-18 2022-05-13 武汉大学 二进制形状上下文特征描述子构建方法及点云配准方法
CN114789446A (zh) * 2022-05-27 2022-07-26 平安普惠企业管理有限公司 机器人位姿估计方法、装置、电子设备及存储介质
CN114993293B (zh) * 2022-07-28 2022-12-06 南京航空航天大学 室内弱纹理环境下移动无人系统同步定位与建图方法
CN116580099A (zh) * 2023-07-14 2023-08-11 山东艺术学院 一种基于视频与三维模型融合的林地目标定位方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150371440A1 (en) * 2014-06-19 2015-12-24 Qualcomm Incorporated Zero-baseline 3d map initialization
CN106909877A (zh) * 2016-12-13 2017-06-30 浙江大学 一种基于点线综合特征的视觉同时建图与定位方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150371440A1 (en) * 2014-06-19 2015-12-24 Qualcomm Incorporated Zero-baseline 3d map initialization
CN106909877A (zh) * 2016-12-13 2017-06-30 浙江大学 一种基于点线综合特征的视觉同时建图与定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李海丰，等: ""PLP-SLAM：基于点、线、面特征融合的视觉SLAM 方法"", 《机器人》 *

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110033514A (zh) * 2019-04-03 2019-07-19 西安交通大学 一种基于点线特征快速融合的重建方法
CN110260885A (zh) * 2019-04-15 2019-09-20 南京航空航天大学 一种卫星/惯性/视觉组合导航系统完好性评估方法
CN110046677A (zh) * 2019-04-26 2019-07-23 山东大学 数据预处理方法、地图构建方法、回环检测方法及系统
CN110473258A (zh) * 2019-07-24 2019-11-19 西北工业大学 基于点线统一框架的单目slam系统初始化算法
CN110473258B (zh) * 2019-07-24 2022-05-13 西北工业大学 基于点线统一框架的单目slam系统初始化算法
WO2021036587A1 (zh) * 2019-08-29 2021-03-04 全球能源互联网研究院有限公司 面向电力巡检场景的定位方法及系统
CN110675450A (zh) * 2019-09-06 2020-01-10 武汉九州位讯科技有限公司 基于slam技术的正射影像实时生成方法及系统
CN110675450B (zh) * 2019-09-06 2020-09-29 武汉九州位讯科技有限公司 基于slam技术的正射影像实时生成方法及系统
CN110610513A (zh) * 2019-09-18 2019-12-24 郑州轻工业学院 自主移动机器人视觉slam的不变性中心差分滤波器方法
CN110610513B (zh) * 2019-09-18 2022-02-08 郑州轻工业学院 自主移动机器人视觉slam的不变性中心差分滤波器方法
CN110838145A (zh) * 2019-10-09 2020-02-25 西安理工大学 一种室内动态场景的视觉定位与建图方法
CN110838145B (zh) * 2019-10-09 2020-08-18 西安理工大学 一种室内动态场景的视觉定位与建图方法
CN112967311A (zh) * 2019-12-12 2021-06-15 浙江商汤科技开发有限公司 三维线图构建方法及装置、电子设备和存储介质
CN112967311B (zh) * 2019-12-12 2024-06-07 浙江商汤科技开发有限公司 三维线图构建方法及装置、电子设备和存储介质
CN113701766A (zh) * 2020-05-20 2021-11-26 浙江欣奕华智能科技有限公司 一种机器人地图的构建方法、机器人的定位方法及装置
CN111811501A (zh) * 2020-06-28 2020-10-23 鹏城实验室 一种基于树干特征的无人机定位方法、无人机及存储介质
CN111811501B (zh) * 2020-06-28 2022-03-08 鹏城实验室 一种基于树干特征的无人机定位方法、无人机及存储介质
CN112115980A (zh) * 2020-08-25 2020-12-22 西北工业大学 基于光流跟踪和点线特征匹配的双目视觉里程计设计方法
WO2022073172A1 (zh) * 2020-10-09 2022-04-14 浙江大学 一种基于点线特征的机器人全局最优视觉定位方法及装置
US11964401B2 (en) 2020-10-09 2024-04-23 Zhejiang University Robot globally optimal visual positioning method and device based on point-line features
CN112307917A (zh) * 2020-10-21 2021-02-02 国网上海市电力公司 一种融合视觉里程计及imu的室内定位方法
CN112461227A (zh) * 2020-10-22 2021-03-09 新兴际华集团有限公司 轮式底盘机器人巡检智能化自主导航方法
CN112461227B (zh) * 2020-10-22 2023-07-21 新兴际华集团有限公司 轮式底盘机器人巡检智能化自主导航方法
CN112558602A (zh) * 2020-11-19 2021-03-26 许昌许继软件技术有限公司 基于影像特征的机器人定位的方法
CN112509044A (zh) * 2020-12-02 2021-03-16 重庆邮电大学 一种基于点线特征融合的双目视觉slam方法
WO2022174603A1 (zh) * 2021-02-21 2022-08-25 深圳市优必选科技股份有限公司 一种位姿预测方法、位姿预测装置及机器人
CN113465602A (zh) * 2021-05-26 2021-10-01 北京三快在线科技有限公司 导航方法、装置、电子设备及可读存储介质
CN113298796B (zh) * 2021-06-10 2024-04-19 西北工业大学 一种基于最大后验imu的线特征slam初始化方法
CN113298796A (zh) * 2021-06-10 2021-08-24 西北工业大学 一种基于最大后验imu的线特征slam初始化方法
WO2023130842A1 (zh) * 2022-01-06 2023-07-13 广东汇天航空航天科技有限公司 一种相机位姿确定方法和装置
CN115690205B (zh) * 2022-10-09 2023-12-05 北京自动化控制设备研究所 基于点线综合特征的视觉相对位姿测量误差估计方法
CN115690205A (zh) * 2022-10-09 2023-02-03 北京自动化控制设备研究所 基于点线综合特征的视觉相对位姿测量误差估计方法
CN117824624A (zh) * 2024-03-05 2024-04-05 深圳市瀚晖威视科技有限公司 一种基于人脸识别的室内追踪定位方法、系统及存储介质
CN117824624B (zh) * 2024-03-05 2024-05-14 深圳市瀚晖威视科技有限公司 一种基于人脸识别的室内追踪定位方法、系统及存储介质

Also Published As

Publication number Publication date
EP3680809A1 (en) 2020-07-15
EP3680809A4 (en) 2020-11-04

Similar Documents

Publication Publication Date Title
CN109558879A (zh) 一种基于点线特征的视觉slam方法和装置
US20200218929A1 (en) Visual slam method and apparatus based on point and line features
Yu et al. DS-SLAM: A semantic visual SLAM towards dynamic environments
Fu et al. PL-VINS: Real-time monocular visual-inertial SLAM with point and line features
CN107392964B (zh) 基于室内特征点和结构线结合的室内slam方法
Saeedi et al. Vision-based 3-D trajectory tracking for unknown environments
CN109166149A (zh) 一种融合双目相机与imu的定位与三维线框结构重建方法与系统
CN110125928A (zh) 一种基于前后帧进行特征匹配的双目惯导slam系统
CN108898676B (zh) 一种虚实物体之间碰撞及遮挡检测方法及系统
CN110533722A (zh) 一种基于视觉词典的机器人快速重定位方法及系统
CN111210477B (zh) 一种运动目标的定位方法及系统
US20160125243A1 (en) Human body part detection system and human body part detection method
EP2751777A1 (en) Method for estimating a camera motion and for determining a three-dimensional model of a real environment
CN107657644B (zh) 一种移动环境下稀疏场景流检测方法和装置
Yin et al. Dynam-SLAM: An accurate, robust stereo visual-inertial SLAM method in dynamic environments
Zhang et al. Building a partial 3D line-based map using a monocular SLAM
CN109766758A (zh) 一种基于orb特征的视觉slam方法
JP2017532695A (ja) Ｒｇｂ−ｄセンサを使用して物体を走査する方法とシステム
CN111998862A (zh) 一种基于bnn的稠密双目slam方法
CN111832386A (zh) 一种估计人体姿态的方法、装置及计算机可读介质
He et al. OVD-SLAM: An online visual SLAM for dynamic environments
CN112179373A (zh) 一种视觉里程计的测量方法及视觉里程计
Zhang et al. A visual-inertial dynamic object tracking SLAM tightly coupled system
Shao A Monocular SLAM System Based on the ORB Features
Ventura et al. P1ac: Revisiting absolute pose from a single affine correspondence

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination