CN110070580B - 基于局部关键帧匹配的slam快速重定位方法及图像处理装置 - Google Patents

基于局部关键帧匹配的slam快速重定位方法及图像处理装置 Download PDF

Info

Publication number
CN110070580B
CN110070580B CN201910249390.9A CN201910249390A CN110070580B CN 110070580 B CN110070580 B CN 110070580B CN 201910249390 A CN201910249390 A CN 201910249390A CN 110070580 B CN110070580 B CN 110070580B
Authority
CN
China
Prior art keywords
image
points
key frame
point
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910249390.9A
Other languages
English (en)
Other versions
CN110070580A (zh
Inventor
马浩凯
黄骏
周晓军
王行
孙赛
陶明
李骊
盛赞
李朔
杨淼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Huajie Imi Technology Co ltd
Original Assignee
Nanjing Huajie Imi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Huajie Imi Technology Co ltd filed Critical Nanjing Huajie Imi Technology Co ltd
Priority to CN201910249390.9A priority Critical patent/CN110070580B/zh
Publication of CN110070580A publication Critical patent/CN110070580A/zh
Application granted granted Critical
Publication of CN110070580B publication Critical patent/CN110070580B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Abstract

一种基于局部关键帧匹配的SLAM快速重定位方法，当ORB SLAM2跟踪失败后，用户将相机转向最近拍摄过的场景；包括以下步骤：1)图像处理：在基于视觉的ORB SLAM2算法框架中，提取图像的ORB特征点；2)图像模糊检测：对图像进行模糊检测，过滤模糊的图片；3)搜索用于重定位的局部候选帧：构造一个图像集合，这个集合是所有观测到参考关键帧特征点的前n帧图像经过筛选得到的；4)图像匹配和优化：用当前帧与图像集合里的图像进行匹配和位姿优化，若符合指定的约束条件，则认为重定位成功。

Description

基于局部关键帧匹配的SLAM快速重定位方法及图像处理装置
技术领域
本发明属于视觉同时定位与建图领域，涉及到计算机视觉图像处理，可用于增强现实场景。
背景技术
SLAM(Simultaneous Localization and Mapping)即同步定位与地图构建，其原理是：当机器人处于一个未知的环境中，通过自身的传感器获取运动状态和周围环境信息，实时重建周围环境的三围结构并同时对机器人自身进行定位。在视觉SLAM中，便是通过相机来实现同步定位和地图重建。
在视觉SLAM系统中，为了得到精确的地图，一个鲁棒的跟踪模块是必须的。跟踪出现错误，会导致三维重建出现错误。同时，以SLAM算法为基础的AR系统，经常会在真实世界中放置一个虚拟物体，如果跟踪失败，会导致虚拟物体丢失，严重影响用户的体验。导致跟踪失败的原因有很多，比如快速运动、图像模糊、相机视角的变化过大等。在实际使用中，跟踪失败不可避免，因此一个快速高效的重定位模块是不可或缺的。
ORB SLAM2是SLAM领域中一套经典成熟的视觉SLAM方案，其中的重定位模块，是通过当前帧的BoW(词袋向量)与图像数据库中的所有数据进行匹配来实现的。但是随着地图的增加，数据库会越来越大，匹配的时间也会随之上升。
发明内容
针对上述问题，本发明通过对图像进行模糊检测，过滤掉难以匹配的模糊图片，降低跟踪失败后的卡顿现象；同时，根据实际的使用经验，在跟踪失败后，用当前帧与之前的多个相关关键帧直接进行匹配，而不是对整个图像数据库进行匹配，有效提高了匹配速度和重定位效率。本算法可以使用户在AR场景中拥有更好的体验。该算法技术方案如下：
一种基于局部关键帧匹配的SLAM快速重定位方法，其特征为：包括如下步骤：
图像处理：在基于视觉的ORB SLAM2算法框架中，提取图像的ORB特征点；
图像模糊检测：对图像进行模糊检测，过滤模糊的图片；
搜索用于重定位的局部候选帧：构造一个图像集合，这个集合是所有观测到参考关键帧特征点的前n帧图像经过筛选得到的；
图像匹配和优化：用当前帧与图像集合里的图像进行匹配和位姿优化，若符合指定的约束条件，则认为重定位成功。
有益效果
该算法在实际的AR场景中可以提高跟踪失败后重定位的速度，减少卡顿现象，给用户更好的体验。
附图说明
图1为图像匹配流程示意图；
图2为基于局部关键帧匹配的SLAM快速重定位方法的整体流程图；
图3为图像处理和模糊检测流程示意图。
具体实施方式
本发明基于ORB-SLAM2算法框架，提出一种基于局部关键帧匹配的SLAM快速重定位方法。该算法包括：1)图像处理：在基于视觉的ORB SLAM2算法框架中，提取图像的ORB特征点；2)图像模糊检测：对图像进行模糊检测，过滤模糊的图片；3)搜索用于重定位的局部候选帧：构造一个图像集合，这个集合是所有观测到参考关键帧特征点的前n帧图像经过筛选得到的；4)图像匹配和优化：用当前帧与图像集合里的图像进行匹配和位姿优化，若符合指定的约束条件，则认为重定位成功。该算法在实际的AR场景中可以提高跟踪失败后重定位的速度，减少卡顿现象，给用户更好的体验。
下面将结合附图和实施实例对本发明的具体实施方式做进一步的详细说明。
本发明提出的一种基于局部关键帧匹配的SLAM快速重定位方法，当ORB SLAM2跟踪失败后，用户将相机转向最近拍摄过的场景；其特征为：包括以下步骤：步骤1：图像处理，并包括如下步骤：
步骤S100，将SLAM输入的彩色图像转换为灰度图，按照以下方式转换：
RGB to Gray:0.299*R+0.587*G+0.114*B–>Y
其中，R是红色分量，G是绿色分量，B是蓝色分量，Y是灰度图
步骤S110，使用opencv(即本领域公知的一种基于BSD许可开发的跨平台计算机视觉库)对上一步得到的灰度图提取ORB特征点，ORB特征点计算快并且具有旋转不变性；
步骤2：图像模糊检测，并包括如下步骤：
步骤S120，若特征点个数大于设定的阈值N_max，则进行下一步；否则返回失败；
步骤S130，使用3x3的Laplace算子对灰度图像进行滤波；
拉普拉斯算子是最简单的各向同性微分算子，它具有旋转不变性，一个二维图像函数的拉普拉斯变换是各向同性的二阶导数，定义为：
Figure BDA0002011947870000031
其中，Laplace()是拉普拉斯算子
为了更适合于数字图像处理，将该方程表示为离散形式：
Figure BDA0002011947870000032
其中，x是像素横坐标，y是像素纵坐标
步骤S140，计算滤波后图像的标准差；
图像灰度均值：mean＝1/N*∑f(x,y)(N是像素个数)
灰度图像标准差：
Figure BDA0002011947870000033
其中，f(x,y)是图像中横坐标为x、纵坐标为y的像素点的灰度值
清晰的图像经过Laplace算子处理后得到的像素数值偏差都很大，而一张模糊的图像，经过Laplace算子处理后得到的像素值分布比较散，根据这个特点我们可以运用统计学的标准差来区分，清晰的图的像素值标准差较大而模糊图的像素值因为分部比较散相对来说标准差较小；
步骤S150，若图像标准差小于阈值STD_max,则认为该图像比较模糊，跳过此图像；否则，继续执行下一步；
步骤3，搜索用于重定位的局部候选帧，包括如下步骤：
步骤S160，搜索用于重定位的局部候选帧，全部放入集合S1中，该步骤进一步包括：
1)根据上一次跟踪上的图像帧所对应的参考关键帧，得到参考关键帧特征点对应的3D点集合P1；
2)根据ORB SLAM2中的3D点共视关系(共视是指：一个特征点被不同的图像帧观测到，则这两个帧存在共视关系)，获取所有观测到集合P1中3D点的关键帧，并记录该关键帧与参考关键帧的共视3D点的个数,若点数大于50，同时该帧的id与参考关键帧相差不超过20，则放入集合S1。
3)对集合S1中的关键帧，遍历最多80个关键帧，
a.找到每个关键帧的共视关键帧，放入集合S2；共视条件为至少共同观测到6个特征点；
b.找到每个关键帧的子关键帧(child)，放入集合S2
c.找到每个关键帧的父关键帧(parent)，放入集合S2
4)将S2中所有图像帧放入集合S1中，合并到一起；
步骤4：图像匹配和优化，包括如下步骤：
步骤S170，每次从集合S1(用于重定位的局部候选帧集合)中取出一个关键帧，可以通过ORB SLAM2提供的接口SearchByBow()得到每个关键帧和当前帧图像特征匹配的特征点集合match_points、特征点个数match_num；同时，可以从ORB SLAM2中得到这些匹配的特征点对应的3D点集合MapPoints；
步骤S180，若match_num小于阈值15，则跳过此关键帧；否则继续下一步；
步骤S190，基于RANSAC(随机抽样一致算法)和PnP(Perspective-n-Point)算法，计算关键帧和当前帧相对位姿、特征匹配的内点个数max_inliers(即当前帧和关键帧匹配上的特征点个数)；
PnP是已知多个3D空间点和它们在图像平面的投影位置时，通过多对3D与2D匹配点，在已知或者未知相机内参的情况下，利用最小化重投影误差来求解相机外参，估算相机的位姿；同时，使用RANSAC算法多次迭代估算位姿。
主要计算步骤如下：
a.每次从步骤S170得到的集合match_points和MapPoints中随机取4个点对(match_points中的2D特征点与MapPoints中的3D点是一一对应的)，通过ORB SLAM2中提供的EPnP工具包，计算出当前帧的位姿(R,t),其中R是旋转，t是平移
b.利用上一步中的(R,t)，计算集合match_points和MapPoints中剩余点对的重投影误差。每个点对包括一个2D点(u,v)T和一个3D点P＝(X,Y,Z)T，将3D点通过(R,t)重投影到相机平面：
Figure BDA0002011947870000051
得到投影点(u',v'),其中K是已知的相机内参矩阵，如下所示：
Figure BDA0002011947870000052
fx、fy是相机的尺度因子，cx、cy是相机的主点。
计算重投影误差：
Error＝(u-u')2+(v-v')2
若Error小于阈值MaxError(该值具体由系统和用户决定)，则该点为内点，否则为外点；并统计本次总的内点数inliers。
c.返回步骤a，重新计算
一共迭代计算5次，若其中某一次的内点数最大，则取这一次得到的结果，包括这次的内点数，记作max_inliers，及对应的(R,t)；
步骤S200，若上一步骤得到的内点数max_inliers小于10则返回；否则进行下一步；
步骤S210，固定当前帧的地图点(图像的特征点对应在3D空间中的点)，用步骤S200中的(R,t)作为位姿初始值，对当前帧的位姿进行局部优化，优化的目标函数为：
Figure BDA0002011947870000053
其中，ej为相机观测到的第j个3d路标点的重投影误差，ξ为相机的位姿，Pj为相机观测到的第j个3d路标点，zj为Pj在相机平面对应的2D点的坐标，h()是观测函数；局部位姿优化时，仅优化位姿变量ξ，不优化3d路标点。
步骤S220，若优化出的内点数超过50，则认为重定位成功。
此外，本发明还公开一种图像处理装置，其特征为：该装置包含上述基于局部关键帧匹配的SLAM快速重定位方法。
在以上的描述中阐述了很多具体细节以便于充分理解本发明。但是以上描述仅是本发明的较佳实施例而已，本发明能够以很多不同于在此描述的其它方式来实施，因此本发明不受上面公开的具体实施的限制。同时任何熟悉本领域技术人员在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (9)

1.一种基于局部关键帧匹配的SLAM快速重定位方法，当ORB SLAM2跟踪失败后，用户将相机转向最近拍摄过的场景，采用上述SLAM快速重定位方法；其特征为：包括以下步骤：
图像处理：在基于视觉的ORB SLAM2算法框架中，提取图像的ORB特征点，具体包括：步骤S100，将SLAM输入的彩色图像转换为灰度图；
步骤S110，使用opencv对上一步得到的灰度图提取ORB特征点，ORB特征点计算快并且具有旋转不变性；
图像模糊检测：对图像进行模糊检测，过滤模糊的图片，具体包括：
步骤S120，若ORB特征点个数大于设定的阈值N_max，则进行下一步；否则返回失败；
步骤S130，使用3x3的拉普拉斯Laplace算子对灰度图中图像进行滤波；
步骤S140，计算滤波后图像的标准差；
步骤S150，若图像的标准差小于阈值STD_max,则认为该图像比较模糊，跳过此图像；否则，继续执行下一步；
搜索用于重定位的局部候选帧：构造一个图像集合，这个集合是所有观测到参考关键帧特征点的前n帧图像经过筛选得到的；
图像匹配和优化：用当前帧与图像集合里的图像进行匹配和位姿优化，若符合指定的约束条件，则认为重定位成功。
2.根据权利要求1所述的一种基于局部关键帧匹配的SLAM快速重定位方法，其特征为：上述步骤进一步包括：
1)搜索用于重定位的局部候选帧
步骤S160，搜索用于重定位的局部候选帧，全部放入用于重定位的局部候选帧集合S1中；
2)图像匹配和优化
步骤S170，每次从集合S1中取出一个关键帧，通过ORB SLAM2提供的接口SearchByBow()得到每个关键帧和当前帧图像特征匹配的特征点集合match_points、特征点个数match_num；同时，从ORB SLAM2中得到这些匹配的特征点对应的3D点集合MapPoints；
步骤S180，若match_num小于阈值15，则跳过此关键帧；否则继续下一步；
步骤S190，基于随机抽样一致算法RANSAC和PnP(Perspective-n-Point)算法，计算关键帧和当前帧相对位姿、特征匹配的内点个数max_inliers,所述内点个数max_inliers即为当前帧和关键帧匹配上的特征点个数；
PnP是已知多个3D空间点和它们在图像平面的投影位置时，通过多对3D与2D匹配点，在已知或者未知相机内参的情况下，利用最小化重投影误差来求解相机外参，估算相机的位姿；同时，使用RANSAC算法多次迭代估算位姿；
步骤S200，若上一步骤得到的内点数max_inliers小于10则返回；否则进行下一步；
步骤S210，固定当前帧的地图点，对当前帧的位姿进行局部优化；
步骤S220，若优化出的内点数超过50，则认为重定位成功。
3.根据权利要求2所述的一种基于局部关键帧匹配的SLAM快速重定位方法，其特征为：所述步骤S100将SLAM输入的彩色图像转换为灰度图，按照以下方式转换：
RGB to Gray:0.299*R+0.587*G+0.114*B→Y
其中，R是红色分量，G是绿色分量，B是蓝色分量，Y是灰度图。
4.根据权利要求2所述的一种基于局部关键帧匹配的SLAM快速重定位方法，其特征为：所述拉普拉斯Laplace算子是最简单的各向同性微分算子，它具有旋转不变性；一个二维图像函数的拉普拉斯变换是各向同性的二阶导数，定义为：
Figure FDA0002928832340000021
其中，Laplace()为拉普拉斯算子
为了更适合于数字图像处理，将该拉普拉斯算子表示为离散形式：
Figure FDA0002928832340000022
其中，x是像素横坐标，y是像素纵坐标。
5.根据权利要求2所述的一种基于局部关键帧匹配的SLAM快速重定位方法，
其特征为：所述灰度图的均值为：mean＝1/N*∑f(x,y)，N是像素个数，
灰度图标准差：
Figure FDA0002928832340000023
其中，f(x,y)是图像中横坐标为x、纵坐标为y的像素点的灰度值。
6.根据权利要求2所述的一种基于局部关键帧匹配的SLAM快速重定位方法，其特征为：所述步骤S160进一步包括：
1)根据上一次跟踪上的图像帧所对应的参考关键帧，得到参考关键帧特征点对应的3D点集合P1；
2)根据ORB SLAM2中的3D点共视关系获取所有观测到集合P1中3D点的关键帧，并记录该关键帧与参考关键帧的共视3D点的个数,若点数大于50，同时该帧的ID与参考关键帧相差不超过20，则放入集合S1；
3)对集合S1中的关键帧，遍历最多80个关键帧，
a.找到每个关键帧的共视关键帧，放入集合S2；共视条件为至少共同观测到6个特征点；
b.找到每个关键帧的子关键帧(child)，放入集合S2；
c.找到每个关键帧的父关键帧(parent)，放入集合S2；
4)将集合S2中所有图像帧放入集合S1中，合并到一起。
7.根据权利要求6所述的一种基于局部关键帧匹配的SLAM快速重定位方法，其特征为：所述步骤S190进一步包括如下计算步骤：
a.每次从步骤S170得到的集合match_points和MapPoints中随机取4个点对，其中match_points中的2D特征点与MapPoints中的3D点是一一对应的，通过ORB SLAM2中提供的EPnP工具包，计算出当前帧的位姿(R,t),其中参数R是旋转，参数t是平移；
b.利用上一步中的位姿(R,t)，计算集合match_points和MapPoints中剩余点对的重投影误差；每个点对包括一个2D点(u,v)T和一个3D点P＝(X,Y,Z)T，将3D点通过位姿(R,t)重投影到相机平面：
Figure FDA0002928832340000031
得到投影点(u',v'),其中K是已知的相机内参矩阵，如下所示：
Figure FDA0002928832340000032
fx、fy是相机的尺度因子，cx、cy是相机的主点；
计算重投影误差：
Error＝(u-u')2+(v-v')2
若Error小于阈值MaxError，则该点为内点，否则为外点；并统计本次总的内点数inliers；
c.返回步骤a，重新计算
一共迭代计算5次，若其中某一次的内点数最大，则取这一次得到的结果，包括这次的内点数，记作max_inliers，及对应的位姿(R,t)。
8.根据权利要求2所述的一种基于局部关键帧匹配的SLAM快速重定位方法，其特征为：所述步骤S210优化的目标函数为：
Figure FDA0002928832340000041
其中，ej为相机观测到的第j个3d路标点的重投影误差，ξ为相机的位姿，Pj为相机观测到的第j个3d路标点，zj为Pj在相机平面对应的2D点的坐标，h()是观测函数；局部位姿优化时，仅优化位姿变量ξ，不优化3d路标点。
9.一种图像处理装置，其特征为：装置内存储有指令，该指令用于使得机器执行权利要求1-8任一所述基于局部关键帧匹配的SLAM快速重定位方法。
CN201910249390.9A 2019-03-29 2019-03-29 基于局部关键帧匹配的slam快速重定位方法及图像处理装置 Active CN110070580B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910249390.9A CN110070580B (zh) 2019-03-29 2019-03-29 基于局部关键帧匹配的slam快速重定位方法及图像处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910249390.9A CN110070580B (zh) 2019-03-29 2019-03-29 基于局部关键帧匹配的slam快速重定位方法及图像处理装置

Publications (2)

Publication Number Publication Date
CN110070580A CN110070580A (zh) 2019-07-30
CN110070580B true CN110070580B (zh) 2021-06-22

Family

ID=67366763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910249390.9A Active CN110070580B (zh) 2019-03-29 2019-03-29 基于局部关键帧匹配的slam快速重定位方法及图像处理装置

Country Status (1)

Country Link
CN (1) CN110070580B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110458889A (zh) * 2019-08-09 2019-11-15 东北大学 一种基于语义路标的摄像机重定位方法
CN110501017A (zh) * 2019-08-12 2019-11-26 华南理工大学 一种基于orb_slam2的移动机器人导航地图生成方法
CN110533722B (zh) * 2019-08-30 2024-01-12 的卢技术有限公司 一种基于视觉词典的机器人快速重定位方法及系统
CN110910332B (zh) * 2019-12-03 2023-09-26 苏州科技大学 一种视觉slam系统动态模糊处理方法
CN111340707B (zh) * 2020-02-27 2023-07-14 创新奇智(重庆)科技有限公司 基于关键帧的图像拼接系统及拼接方法
CN111750864B (zh) * 2020-06-30 2022-05-13 杭州海康机器人技术有限公司 一种基于视觉地图的重定位方法和装置
CN112541970A (zh) * 2020-11-30 2021-03-23 北京华捷艾米科技有限公司 一种集中式协同SlAM中的重定位方法及装置
CN112907657A (zh) * 2021-03-05 2021-06-04 科益展智能装备有限公司 一种机器人重定位方法、装置、设备及存储介质
CN112966616A (zh) * 2021-03-11 2021-06-15 深圳市无限动力发展有限公司 基于聚类的视觉重定位方法、装置、设备及介质
CN112990003B (zh) * 2021-03-11 2023-05-19 深圳市无限动力发展有限公司 图像序列重定位判断方法、装置和计算机设备
CN113536024B (zh) * 2021-08-11 2022-09-09 重庆大学 一种基于fpga的orb_slam重定位特征点检索加速方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446815A (zh) * 2016-09-14 2017-02-22 浙江大学 一种同时定位与地图构建方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10062010B2 (en) * 2015-06-26 2018-08-28 Intel Corporation System for building a map and subsequent localization
US11199414B2 (en) * 2016-09-14 2021-12-14 Zhejiang University Method for simultaneous localization and mapping
US10217221B2 (en) * 2016-09-29 2019-02-26 Intel Corporation Place recognition algorithm
CN107657640A (zh) * 2017-09-30 2018-02-02 南京大典科技有限公司 基于orb slam的智能巡防巡检管理方法
CN107990899B (zh) * 2017-11-22 2020-06-30 驭势科技（北京）有限公司 一种基于slam的定位方法和系统
CN109307508B (zh) * 2018-08-29 2022-04-08 中国科学院合肥物质科学研究院 一种基于多关键帧的全景惯导slam方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446815A (zh) * 2016-09-14 2017-02-22 浙江大学 一种同时定位与地图构建方法

Also Published As

Publication number Publication date
CN110070580A (zh) 2019-07-30

Similar Documents

Publication Publication Date Title
CN110070580B (zh) 基于局部关键帧匹配的slam快速重定位方法及图像处理装置
CN108537848B (zh) 一种面向室内场景重建的两级位姿优化估计方法
CN106910242B (zh) 基于深度相机进行室内完整场景三维重建的方法及系统
Uittenbogaard et al. Privacy protection in street-view panoramas using depth and multi-view imagery
US9420265B2 (en) Tracking poses of 3D camera using points and planes
US8385630B2 (en) System and method of processing stereo images
CN109472828B (zh) 一种定位方法、装置、电子设备及计算机可读存储介质
CN108648194B (zh) 基于cad模型三维目标识别分割和位姿测量方法及装置
CN109472820B (zh) 单目rgb-d相机实时人脸重建方法及装置
CN108369741A (zh) 用于配准数据的方法和系统
CN111340922A (zh) 定位与地图构建的方法和电子设备
CN106997478B (zh) 基于显著中心先验的rgb-d图像显著目标检测方法
EP3185212B1 (en) Dynamic particle filter parameterization
CN106530407A (zh) 一种用于虚拟现实的三维全景拼接方法、装置和系统
CN114332214A (zh) 物体姿态估计方法、装置、电子设备及存储介质
CN112465021B (zh) 基于图像插帧法的位姿轨迹估计方法
CN115035235A (zh) 三维重建方法及装置
CN111383252A (zh) 多相机目标追踪方法、系统、装置及存储介质
CN110443228B (zh) 一种行人匹配方法、装置、电子设备及存储介质
CN111928857A (zh) 一种动态环境中实现slam定位的方法及相关装置
CN115471748A (zh) 一种面向动态环境的单目视觉slam方法
CN110120012B (zh) 基于双目摄像头的同步关键帧提取的视频拼接方法
CN113436251B (zh) 一种基于改进的yolo6d算法的位姿估计系统及方法
Singh et al. Fusing semantics and motion state detection for robust visual SLAM
CN109961092B (zh) 一种基于视差锚点的双目视觉立体匹配方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant