CN105856230A - 一种可提高机器人位姿一致性的orb关键帧闭环检测slam方法 - Google Patents

一种可提高机器人位姿一致性的orb关键帧闭环检测slam方法 Download PDF

Info

Publication number
CN105856230A
CN105856230A CN201610298075.1A CN201610298075A CN105856230A CN 105856230 A CN105856230 A CN 105856230A CN 201610298075 A CN201610298075 A CN 201610298075A CN 105856230 A CN105856230 A CN 105856230A
Authority
CN
China
Prior art keywords
key frame
orb
pose
frame
closed loop
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610298075.1A
Other languages
English (en)
Other versions
CN105856230B (zh
Inventor
简燕梅
艾青林
余杰
郑凯
刘赛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201610298075.1A priority Critical patent/CN105856230B/zh
Publication of CN105856230A publication Critical patent/CN105856230A/zh
Application granted granted Critical
Publication of CN105856230B publication Critical patent/CN105856230B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1658Programme controls characterised by programming, planning systems for manipulators characterised by programming language
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40005Vision, analyse image at one station during manipulation at next station

Abstract

一种可提高机器人位姿一致性的ORB关键帧闭环检测SLAM方法,包括如下步骤:首先,采用RGB‑D传感器获取环境的彩色信息与深度信息,使用ORB特征提取图像特征;接着,通过基于RANSAC‑ICP帧间配准算法实现了机器人位姿估计,构建初始位姿图;最后,通过提取KeyFrame关键帧中的ORB特征构建BoVW(视觉词袋),当前关键帧与BoVW中的单词进行相似性比较,实现闭环关键帧检测,通过关键帧帧间配准检测添加位姿图约束,得到全局最优的机器人位姿。本发明提供一种可提高机器人位姿一致性、环境地图构建质量较高以及优化效率高的ORB关键帧闭环检测SLAM方法。

Description

一种可提高机器人位姿一致性的ORB关键帧闭环检测SLAM方法
技术领域
本发明涉及机器人的同时定位与地图构建(SimultaneouslyLocalization and Mapping,SLAM)领域,尤其是一种可提高机器人位姿一致性的ORB关键帧闭环检测SLAM方法。
背景技术
为了在未知室内环境下实现自主移动与导航,智能机器人应具有构建室内环境地图,并同时具有在全局地图中定位的能力,上述过程同时实现称为机器人的同时定位与地图构建(SimultaneouslyLocalization and Mapping,SLAM)。当机器人处于室外环境时,可通过高精度的GPS和先验地图实现全局地图下的定位。但当机器人处于室内环境,或处于GPS不可用的环境(水下、矿洞)时,就必须采取其他方式实现机器人SLAM。
现有的室内SLAM方法存在的缺陷:定位一致性差,环境地图构建质量不高以及优化效率低。
发明内容
为了克服已有室内机器人定位与环境地图构建中定位一致性差,环境地图构建质量不高以及优化效率低的不足,本发明提供一种可提高机器人位姿一致性、环境地图构建质量较高以及优化效率高的ORB关键帧闭环检测SLAM方法。
本发明解决其技术问题所采用的技术方案是:
一种可提高机器人位姿一致性的ORB关键帧闭环检测SLAM方法,包括如下步骤:
首先,采用RGB-D传感器获取环境的彩色信息与深度信息,使用ORB特征提取图像特征;
接着,通过基于RANSAC-ICP帧间配准算法实现了机器人位姿估计,构建初始位姿图;
最后,通过提取KeyFrame关键帧中的ORB特征构建BoVW(视觉词袋),当前关键帧与BoVW中的单词进行相似性比较,实现闭环关键帧检测,通过关键帧帧间配准检测添加位姿图约束,得到全局最优的机器人位姿。
进一步,所述基于RANSAC-ICP帧间配准算法包括基于RANSAC算法的初始粗配准与基于ICP算法的精确配准,过程如下:
首先通过RANSAC算法对特征集进行初始配准,找到两帧中的最佳平移旋转变换,随后通过重投影误差RANSAC优化目标函数:
T * = argmin ( 1 | A f | Σ i ∈ A f | π ( T ( f s i ) ) - π ( f t i ) | 2 ) - - - ( 1 - 10 )
式中,Af包含了特征内点;分别表示场景帧和参考帧上关联点对的空间坐标;T(p)=R·p+t表示平移旋转变换矩阵;π(p)为参考帧摄像头上的投影变换函数。
优选的,式(1-10)通过帧间稀疏BA方法进行优化;ICP迭代过程中,首先通过K-D树检索最近点实现点云关联,通过优化关联特征点与点云的联合误差函数实现全局位姿变换矩阵的优化,权重因子wj表示关联点对在误差函数中的重要性;
T * = arg min T [ α ( 1 | A f | Σ i ∈ A f | π ( T ( f s i ) ) - π ( f t i ) | 2 ) + ( 1 - α ) ( 1 A d Σ j ∈ A d w j | ( T ( p s j ) - p t j ) · n t j ) | 2 ) ] - - - ( 1 - 11 )
式中,α为各投影变换函数件的权重因子。
再进一步,所述闭环检测方法中,通过KeyFrame选取算法,选取过程为:当前帧与上一关键帧通过RANSAC进行配准,如果配准内点值小于规定阈值,则认定其为关键帧;采用关键帧视觉词袋模型,该模型将关键帧的ORB特征聚类,利用视觉词典将特征描述子映射为视觉单词,通过对比关键帧中的“单词”,可判断两个关键帧是否形成闭环。
所述关键帧选取过程描述为:在完成RANSAC-ICP精确估计后,利用当前帧与上一关键帧再次进行RANSAC-ICP配准。如果当前帧与关键帧之间的配准误差大于阈值,则认为该帧所在场景为新场景,该帧设为关键帧,反之,该帧为普通帧,用于位姿图构建,选取下一帧进行关键帧比对,其数学过程可描述为:
F j + 1 k = F j j = 0 { F j | i n l i e r ( P e r f o r m _ R A N S A C _ A l i g n m e n t ( F i k , F j ) ) < &theta; } j > 0 - - - ( 1 - 12 )
其中,为离j时刻最近的关键帧;Fj为当前帧。
更进一步,所述闭环检测方法的流程如下:
1)首先从所有图像中检测并提取关键帧,假设机器人位于地图场景中的某一关键帧位置,将生成的关键帧图像使用ORB特征描述符进行描述,关键帧图像I可表示为描述符集合D:I→{d1,…,dn};
2)提取每个关键帧场景的ORB特征并投影到BoVW中,将关键帧ORB特征点与视觉词典中的单词进行关联,视觉词典可表示为通过BoVW相似描述符聚类可构建视觉词典V,通过映射形成最邻近视觉字典,每一个视觉单词的ORB描述向量都是一个关联的视觉词表;
3)采用单词相似度的方式计算“单词”间距,形成关键帧场景的相似度,为获得场景相似度,计算关键帧图像Iu和Iv之间的余弦距离可得到二者BoVW的相似度,其过程为:
每一关键帧由不同权重的词汇聚类而成,每个词汇在全部图像N中出现的频率形成权重wi
wi=log10(N/ni) (1-12)
式中ni表示di中包含图像的数量,若BoVW中包含|V|个不同的视觉单词,则图像矢量可描述为:其中关键帧中的单词权重为:
u i = w i i f d i &Element; I u 0 o t h e r w i s e - - - ( 1 - 13 )
得到每个单词权重后,即可求出其所在图像的权重,通过相似函数S可计算键帧图像Iu和Iv之间的相似度:
S ( I u , I v ) = &Sigma; i = 0 | V | u i v i &Sigma; i = 0 | V | u i 2 &CenterDot; &Sigma; i = 0 | V | v i 2 - - - ( 1 - 14 )
通过上式可得相似矩阵进而判断图像间的相似度,图像i和图像j通过相似函数得到相似度矩阵Mi,j
通过视觉词袋方法,关键帧闭环检测问题可转化为从图像序列L=[I1,I2,…]中找到两个相似度较高的子序列A=[a1,a2,…]和B=[b1,b2,…],从而实现闭环检测。
本发明中,随机采样一致性(RANSAC)是一种可用于提出数据离群点的迭代算法。SLAM方法使用RANSAC算法可减少帧间配准过程中的图像特征匹配离群点,实现一种初始一致性较好的位姿估计,提高帧间匹配质量。RANSAC通过对输入数据进行多次随机采样,每次抽取具有代表性的少量数据对估计模型进行评估,根据已有模型对所有数据进行筛选,保留误差范围内的数据称为有效数据点或内点(inliers),筛除误差较大的数据离群点或外点(outliers)。离群点一般是噪声数据或异常数据,内点比例较高的帧间配准,所获得的位姿估计质量越高,越接近真实情况。
假设前后帧间共有n对匹配的三维点,变换参数可用旋转矩阵R和平移向量t表示,则变换参数与三维点集之间的关系可表示为:
pci=rppi+t (1-1)
式中pci与ppi分别代表当前帧和上一帧匹配的第i对三维点坐标,i=1,2,…,n。设θ和ψ分别为绕y轴、x轴和z轴旋转的角度,称为偏航角、俯仰角及翻滚角,统称为姿态角,则r与三个姿态角的关系为:
代表姿态增量的旋转参数也可用四元数表示。二维平面中单位圆上任意一点对应一个旋转角度,可表示二维空间的点姿态;在三维空间中,单位球上任意一点应绕两轴旋转的角度,可描述某点的三维空间位姿;可推,在四维空间中,三维空间中任意的旋转可由四维单位球上的点q=[q0,q1,q2,q3]T表示,q=[q0,q1,q2,q3]T称为四元数,即四维空间单位球面上任意一点可描述绕三个轴的旋转角度。三维旋转通过单位四元数表示有两种表示方式:q、-q,但给定一个四元数,有且仅有一个三维旋转可与之对应。使用四元数表示三维空间的旋转运动,可有效减少中间变量;与欧拉角相比,四元具有更稳定的数值解。旋转变换矩阵r可由四元数q表示:
r = q 0 2 + q 1 2 - q 2 2 - q 3 2 2 ( q 1 q 2 + q 0 q 3 ) 2 ( q 1 q 3 - q 0 q 2 ) 2 ( q 1 q 2 - q 0 q 3 ) q 0 2 - q 1 2 + q 2 2 - q 3 2 2 ( q 2 q 3 + q 0 q 1 ) 2 ( q 1 q 3 + q 0 q 2 ) 2 ( q 2 q 3 - q 0 q 1 ) q 0 2 - q 1 2 - q 2 2 + q 3 2 - - - ( 1 - 3 )
&xi; = argmin { &xi; 1 ... , &xi; n &Element; S E ( 3 ) } &Sigma; < i , j > &Element; C e ( &xi; i , &xi; j , &xi; ~ i , j ) T &Omega; i , j ( &xi; i , &xi; j , &xi; ~ i , j ) - - - ( 1 - 4 )
对方程(1-4)求解,若忽略三维点重建误差,可以使用直接线性变换方程(Direct Linear transformation,DLT),但该方法精度较差,对输入数据比较敏感。考虑到三维点重建误差,运动参数的估计可转化为非线性最小化误差和的优化问题:
( r ^ , t ^ ) = argmin r , t &Sigma; i = 1 n | | p c i - ( rp p i + t ) | | 2 - - - ( 1 - 5 )
式(1-5)是一个最小二乘估计问题,通过最大似然法可实现非线性参数估计。本发明通过RANSAC去除数据中的离群点,以提高位姿估计的准确性。
迭代最近点(ICP)是一种可用于计算具有深度和彩色信息的立体点云数据间匹配关系的算法,可筛选出满足匹配关系的有效数据,实现位姿间的精确估计。RANSAC与ICP算法相结合,可解决机器人初始配准不确定条件下的位姿准确估计,防止位姿估计陷入局部最优。其基本思想是先通过ORB特征匹配与RANSAC算法为ICP配准提供初始对齐,随后通过优化特征点与深度点云的联合误差的ICP误差来实现精确化。
设存在两组对应点云A={ai}i=1,…,N,B={bi}i=1,…,N,且存在||ai-T·bi||<dmax,其中存在集合假设点云A和B满足正态分布:其中分别为A、B的协方差矩阵。如果集合完全对应,且所求协方差矩阵具有极小值,则有:
b ^ i = T * a ^ i - - - ( 1 - 6 )
定义T为任意刚性变换。已知均服从高斯分布,的概率分布可表示为:
d i T * ~ N ( b ^ i - ( T * ) a ^ i , C i B + ( T * ) C i A ( T * ) T ) = N ( 0 , C i B + ( T * ) C i A ( T * ) T ) - - - ( 1 - 7 )
使用最大似然估计可迭代计算出转换矩阵T:
T = argmax T &Pi; t p ( d i ( T ) ) = argmax T &Sigma; T log ( p ( d i ( T ) ) ) - - - ( 1 - 8 )
可简化为:
T = argmax T &Sigma; T d i ( T ) T ( C i B + ( T * ) C i A ( T * ) T ) - 1 d i ( T ) - - - ( 1 - 9 ) .
本发明的技术构思为:室内SLAM首先应通过传感器获取环境信息,如采用声呐测距传感器获取传感器与障碍物之间的距离信息;二维激光测距仪使用线扫描的方式获取本体与障碍物之间的距离和角度信息;RGB-D视觉传感器通过深度相机获取外界环境距离信息(Depthimage),同时可获得与之对应的彩色信息(RGB image),是一种新型视觉传感器。RGB-D信息经过处理后可直接用于机器人定位、地图创建与导航。与传统视觉传感器相比,RGB-D传感器可直接获得环境深度信息,数据处理过程简单,传感器数据适合三维地图重建,实时性高,地图精度好。
通过ORB算子提取室内环境图像数据帧中鲁棒性较好的特征点,通过RANSAC-ICP算法实现了初始位姿估计一致性不高情况下的帧间配准;通过RANSAC算法筛选符合内点阈值条件的关键帧,以关键帧作为校验约束,最终实现了一种全局一致性较高的位姿估计,保证了机器人在室内环境下的定位精度与自建地图模型的准确性。
通过RANSAC算法减少ORB特征离群点,提高初始位姿配准精度,与ICP算法相结合实现了机器人在初始配准不确定的条件下精确位姿估计;基于ORB特征的关键帧词袋闭环检测算法,将关键帧特征点聚类成为字典,根据字典单词间的相似度判断是否形成场景闭环,修正配准错误,减少地图冗余结构,生成一致性最优的地图。
本发明的有益效果主要表现在:
1)位姿估计一致性高:本发明基于RANSAC-ICP帧间配准算法筛除了图像特征离群点,利用内点最多的特征匹配点实现了六自由度位姿估计,提高帧间配准生成的位姿一致性;采用ORB关键帧闭环检测算法添加额外全局位姿约束。由上述方法生成的机器人位姿一致性高,定位与地图较为精确。
2)鲁棒性:RANSAC算法可剔除图像特征匹配过程中产生的错误匹配点,基于ORB关键帧的闭环检测算法可校正由传感器测量及帧间配准导致的位姿估计错误。通过不断校正错误,使SLAM系统更健壮。
3)运行效率:本发明中通过ORB算子提高了特征点检测速度与特征点匹配速度,通过改进RANSAC算法,减少了数据离群点,提高了图像配准重合率,较少了错误匹配,增强了SLAM系统前端的时效性;基于视觉词袋模型的关键帧ORB特征增强了位姿约束,减少了位姿估计中的冗余结构,提高SLAM系统后端的时效性。因此,基于ORB关键帧闭环检测的SLAM方法的运行效率较高。
附图说明
图1是可提高机器人位姿一致性的ORB关键帧闭环检测SLAM方法系统框图;
图2是ORB关键帧闭环检测SLAM方法的功能模块关系图;
图3是ORB关键帧闭环检测SLAM方法的RANSAC-ICP方法流程图;
图4是ORB关键帧闭环检测SLAM方法的关键帧与闭环检测关系图;
图5是ORB关键帧闭环检测SLAM方法中基于视觉词袋的关键帧场景描述方法的流程图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1~图5,一种可提高机器人位姿一致性的ORB关键帧闭环检测SLAM方法,包括如下步骤:
首先,采用RGB-D传感器获取环境的彩色信息与深度信息,使用ORB(oriented FAST and rotated BRIEF)特征提取图像特征;
接着,通过基于RANSAC-ICP帧间配准算法实现了机器人位姿估计,构建初始位姿图;
最后,通过提取KeyFrame关键帧中的ORB特征构建BoVW(视觉词袋),当前关键帧与BoVW中的单词进行相似性比较,实现闭环关键帧检测,通过关键帧帧间配准检测添加位姿图约束,得到全局最优的机器人位姿。
图1所示一种可提高机器人位姿一致性的ORB关键帧闭环检测SLAM系统框架,其中提出使用基于RANSAC-ICP帧间配准的位姿估计算法和基于ORB关键帧(KeyFrame)的闭环检测方法。通过AsusXtion或同类型的RGB-D传感器获取环境色彩信息与深度信息,通过ORB算法加快图像特征点检测与描述子建立速度;结合相机小孔模型与深度信息,将二维图像转换为三维彩色点云,并进行存储;通过基于改进RANSAC-ICP帧间配准的位姿估计算法实现机器人在初始配准不确定的条件下精确位姿估计,提高了机器人位姿估计一致性。基于ORB特征的关键帧词袋闭环检测算法将关键帧特征点聚类成为字典,根据字典单词间的相似度判断是否形成场景闭环,修正配准错误。通过闭环检测可减少地图冗余结构,生成具有一致性的位姿估计与地图模型。
图2所示为基于ORB关键帧闭环检测SLAM方法中各功能模块之间的关系。ORB关键帧闭环检测SLAM方法以RGB-D三维点云序列{F}(其中,I为RGB图像,D为深度图像,p为图像匹配矩阵)为输入,输出为场景地图的网格模型与位姿估计轨迹,模型中的网格顶点为点云模型的数据点。
图3所示为ORB关键帧闭环检测SLAM方法的RANSAC-ICP算法流程图。通过RANSAC粗配准可得到相对变换T(p)将作为RANSAC-ICP的输入。T(p)函数表示对点p进行刚性变换,则T(p)=Rp+T。RANSAC-ICP最终输出为最优相对变换T*(p)。
Extract_RGB_Point_Featrures函数分别可从待配准帧与参考帧中提取稀疏的ORB特征点云Ps、Pt
随后使用RANSAC算法从两组特征点云中找到初始的刚性变换T(p),通过在两帧之间找到匹配的特征完成刚性变换初始化。随后,通过重复采样,可以确定特征点的内点数,变换后内点数最大的变换即为最优变换。Perform_RANSAC_Alignment函数首先使用RANSAC算法对特征集进行初始配准,找到两帧中的最佳平移旋转变换。随后通过重投影误差RANSAC优化目标函数:
T * = argmin ( 1 | A f | &Sigma; i &Element; A f | &pi; ( T ( f s i ) ) - &pi; ( f t i ) | 2 ) - - - ( 1 - 10 )
式中,Af包含了内点;分别表示场景帧和参考帧上关联点对的空间坐标;T(p)=R·p+t表示平移旋转变换矩阵;π(p)为参考帧摄像头上的投影变换函数。上式可通过帧间稀疏BA方法进行优化
步骤4-6为基于最小二乘法的ICP配准算法。该算法选择对应点对进行迭代计算,计算最优刚体变换估计,直到满足配准的收敛精度。其具体步骤描述如下:
第一步,计算Ps中的每一个点在Pt点集的最近对应点;
第二步,求得使上述对应点对的平均距离最小的刚体变换T*
T * = arg min T &lsqb; &alpha; ( 1 | A f | &Sigma; i &Element; A f | &pi; ( T ( f s i ) ) - &pi; ( f t i ) | 2 ) + ( 1 - &alpha; ) ( 1 A d &Sigma; j &Element; A d w j | ( T ( p s j ) - p t j ) &CenterDot; n t j ) | 2 ) &rsqb; - - - ( 1 - 11 )
第三步,对Pt使用上一步求得的平移和旋转参数,得到新的变换点集;
第四步,如果新的变换点集与参考点集满足平均距离小于阈值时,则停止迭代计算;否则新的变换点集作为新的Pt继续迭代,直到满足目标函数的要求为止。
图4所示为ORB关键帧闭环检测SLAM方法的关键帧与闭环检测关系图。可描述为:关键帧闭环检测实现过程为:输入连续标记的图像,根据RANSAC内点作为筛选条件选取关键帧;以关键帧的ORB特征建立词典,比对词典相似性实现全局闭环检测,经过关键帧位姿变换,输出闭环校正后的位姿图,实现机器人位姿估计校正。关键帧闭环检测算法可在保证帧间配准的有效性的同时提高了检测实时性,实现了一种健壮、实时的SLAM后端优化算法。
图5所示为ORB关键帧闭环检测SLAM方法中基于视觉词袋的关键帧场景描述算法。闭环检测首先通过将关键帧的ORB特征进行聚类,采用视觉词典(BoVW)将特征描述子映射为视觉单词,通过对比关键帧视觉词典中的“单词”即可判断是否形成闭环。BoVW通过结构化描述关键帧,可使图像特征具有不变性,采取离散的单词表示方法可提高闭环检测效率。
对于本领域技术人员而言,显然本发明不限于示例性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明额范围由所附权力要求而不是上述说明先定,因为旨在将落在权力要求的等同要件的含义和范围内的所有变化囊括在本发明内。
此外,应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为了清除期间,本领域技术人员应当将说明书作为一个整体,各实施例中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。

Claims (6)

1.一种可提高机器人位姿一致性的ORB关键帧闭环检测SLAM方法,其特征在于:所述方法包括如下步骤:
首先,采用RGB-D传感器获取环境的彩色信息与深度信息,使用ORB特征提取图像特征;
接着,通过基于RANSAC-ICP帧间配准算法实现了机器人位姿估计,构建初始位姿图;
最后,通过提取KeyFrame关键帧中的ORB特征构建视觉词袋BoVW,当前关键帧与BoVW中的单词进行相似性比较,实现闭环关键帧检测,通过关键帧帧间配准检测添加位姿图约束,得到全局最优的机器人位姿。
2.如权利要求1所述的一种可提高机器人位姿一致性的ORB关键帧闭环检测SLAM方法,其特征在于:所述基于RANSAC-ICP帧间配准算法包括基于RANSAC算法的初始粗配准与基于ICP算法的精确配准,过程如下:
首先通过RANSAC算法对特征集进行初始配准,找到两帧中的最佳平移旋转变换,随后通过重投影误差RANSAC优化目标函数:
T * = argmin ( 1 | A f | &Sigma; i &Element; A f | &pi; ( T ( f s i ) ) - &pi; ( f t i ) | 2 ) - - - ( 1 - 10 )
式中,Af包含了特征内点;分别表示场景帧和参考帧上关联点对的空间坐标;T(p)=R·p+t表示平移旋转变换矩阵;π(p)为参考帧摄像头上的投影变换函数。
3.如权利要求2所述的一种可提高机器人位姿一致性的ORB关键帧闭环检测SLAM方法,其特征在于:式(1-10)通过帧间稀疏BA方法进行优化;ICP迭代过程中,首先通过K-D树检索最近点实现点云关联,通过优化关联特征点与点云的联合误差函数实现全局位姿变换矩阵的优化,权重因子wj表示关联点对在误差函数中的重要性;
T * = arg min T &lsqb; &alpha; ( 1 | A f | &Sigma; i &Element; A f | &pi; ( T ( f s i ) ) - &pi; ( f t i ) | 2 ) + ( 1 - &alpha; ) ( 1 A d &Sigma; j &Element; A d w j | ( T ( p s j ) - p t j ) &CenterDot; n t j ) | 2 ) &rsqb; - - - ( 1 - 11 )
式中,α为各投影变换函数件的权重因子。
4.如权利要求1~3之一所述的一种可提高机器人位姿一致性的ORB关键帧闭环检测SLAM方法,其特征在于:所述闭环检测方法中,通过KeyFrame选取算法,选取过程为:当前帧与上一关键帧通过RANSAC进行配准,如果配准内点值小于规定阈值,则认定其为关键帧;采用关键帧视觉词袋模型,该模型将关键帧的ORB特征聚类,利用视觉词典将特征描述子映射为视觉单词,通过对比关键帧中的“单词”,可判断两个关键帧是否形成闭环。
5.如权利要求4所述的一种可提高机器人位姿一致性的ORB关键帧闭环检测SLAM方法,其特征在于:所述关键帧选取过程描述为:在完成RANSAC-ICP精确估计后,利用当前帧与上一关键帧再次进行RANSAC-ICP配准。如果当前帧与关键帧之间的配准误差大于阈值,则认为该帧所在场景为新场景,该帧设为关键帧,反之,该帧为普通帧,用于位姿图构建,选取下一帧进行关键帧比对,其数学过程可描述为:
F j + 1 k = F j j = 0 { F j | i n l i e r ( P e r f o r m _ R A N S A C _ A l i g n m e n t ( F i k , F j ) ) < &theta; } j > 0 - - - ( 1 - 12 )
其中,为离j时刻最近的关键帧;Fj为当前帧。
6.如权利要求4所述的一种可提高机器人位姿一致性的ORB关键帧闭环检测SLAM方法,其特征在于:所述闭环检测方法的流程如下:
1)首先从所有图像中检测并提取关键帧,假设机器人位于地图场景中的某一关键帧位置,将生成的关键帧图像使用ORB特征描述符进行描述,关键帧图像I可表示为描述符集合D:I→{d1,…,dn};
2)提取每个关键帧场景的ORB特征并投影到BoVW中,将关键帧ORB特征点与视觉词典中的单词进行关联,视觉词典可表示为通过BoVW相似描述符聚类可构建视觉词典V,通过映射形成最邻近视觉字典,每一个视觉单词的ORB描述向量都是一个关联的视觉词表;
3)采用单词相似度的方式计算“单词”间距,形成关键帧场景的相似度,为获得场景相似度,计算关键帧图像Iu和Iv之间的余弦距离可得到二者BoVW的相似度,其过程为:
每一关键帧由不同权重的词汇聚类而成,每个词汇在全部图像N中出现的频率形成权重wi
wi=log10(N/ni) (1-12)
式中ni表示di中包含图像的数量,若BoVW中包含|V|个不同的视觉单词,则图像矢量可描述为:其中关键帧中的单词权重为:
u i = w i i f d i &Element; I u 0 o t h e r w i s e - - - ( 1 - 13 )
得到每个单词权重后,即可求出其所在图像的权重,通过相似函数S可计算键帧图像Iu和Iv之间的相似度:
S ( I u , I v ) = &Sigma; i = 0 | V | u i v i &Sigma; i = 0 | V | u i 2 &CenterDot; &Sigma; i = 0 | V | v i 2 - - - ( 1 - 14 )
通过上式可得相似矩阵进而判断图像间的相似度,图像i和图像j通过相似函数得到相似度矩阵Mi,j
通过视觉词袋方法,关键帧闭环检测问题可转化为从图像序列L=[I1,I2,…]中找到两个相似度较高的子序列A=[a1,a2,…]和B=[b1,b2,…],从而实现闭环检测。
CN201610298075.1A 2016-05-06 2016-05-06 一种可提高机器人位姿一致性的orb关键帧闭环检测slam方法 Expired - Fee Related CN105856230B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610298075.1A CN105856230B (zh) 2016-05-06 2016-05-06 一种可提高机器人位姿一致性的orb关键帧闭环检测slam方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610298075.1A CN105856230B (zh) 2016-05-06 2016-05-06 一种可提高机器人位姿一致性的orb关键帧闭环检测slam方法

Publications (2)

Publication Number Publication Date
CN105856230A true CN105856230A (zh) 2016-08-17
CN105856230B CN105856230B (zh) 2017-11-24

Family

ID=56631378

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610298075.1A Expired - Fee Related CN105856230B (zh) 2016-05-06 2016-05-06 一种可提高机器人位姿一致性的orb关键帧闭环检测slam方法

Country Status (1)

Country Link
CN (1) CN105856230B (zh)

Cited By (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106355647A (zh) * 2016-08-25 2017-01-25 北京暴风魔镜科技有限公司 增强现实系统和方法
CN106485744A (zh) * 2016-10-10 2017-03-08 成都奥德蒙科技有限公司 一种同步定位与地图构建方法
CN106557779A (zh) * 2016-10-21 2017-04-05 北京联合大学 一种基于显著区域词袋模型的物体识别方法
CN106780608A (zh) * 2016-11-23 2017-05-31 北京地平线机器人技术研发有限公司 位姿信息估计方法、装置和可移动设备
CN106908064A (zh) * 2017-01-22 2017-06-30 电子科技大学 一种基于Kinect2传感器的室内夜间视觉导航方法
CN107063258A (zh) * 2017-03-07 2017-08-18 重庆邮电大学 一种基于语义信息的移动机器人室内导航方法
CN107085422A (zh) * 2017-01-04 2017-08-22 北京航空航天大学 一种基于Xtion设备的多功能六足机器人的远程控制系统
CN107160395A (zh) * 2017-06-07 2017-09-15 中国人民解放军装甲兵工程学院 地图构建方法及机器人控制系统
CN107220995A (zh) * 2017-04-21 2017-09-29 西安交通大学 一种基于orb图像特征的icp快速点云配准算法的改进方法
CN107220932A (zh) * 2017-04-18 2017-09-29 天津大学 基于词袋模型的全景图像拼接方法
CN107246876A (zh) * 2017-07-31 2017-10-13 中北智杰科技(北京)有限公司 一种无人驾驶汽车自主定位与地图构建的方法及系统
CN107274480A (zh) * 2017-06-06 2017-10-20 山东大学深圳研究院 基于随机抽样一致性的对象运动特性重建方法
CN107300917A (zh) * 2017-05-23 2017-10-27 北京理工大学 一种基于分层架构的视觉slam后端优化方法
CN107301654A (zh) * 2017-06-12 2017-10-27 西北工业大学 一种多传感器的高精度即时定位与建图方法
CN107316328A (zh) * 2017-05-11 2017-11-03 浙江大学 一种基于二维激光扫描仪角点特征的闭环检测方法
CN107392964A (zh) * 2017-07-07 2017-11-24 武汉大学 基于室内特征点和结构线结合的室内slam方法
CN107529650A (zh) * 2017-08-16 2018-01-02 广州视源电子科技股份有限公司 网络模型的构建和闭环检测方法、相应装置及计算机设备
CN107680133A (zh) * 2017-09-15 2018-02-09 重庆邮电大学 一种基于改进闭环检测算法的移动机器人视觉slam方法
CN107796397A (zh) * 2017-09-14 2018-03-13 杭州迦智科技有限公司 一种机器人双目视觉定位方法、装置和存储介质
CN107886129A (zh) * 2017-11-13 2018-04-06 湖南大学 一种基于视觉词袋的移动机器人地图闭环检测方法
CN108022264A (zh) * 2016-11-01 2018-05-11 狒特科技(北京)有限公司 相机位姿确定方法及设备
CN108230337A (zh) * 2017-12-31 2018-06-29 厦门大学 一种基于移动端的语义slam系统实现的方法
CN108256060A (zh) * 2018-01-16 2018-07-06 广州视源电子科技股份有限公司 一种闭环检测方法、装置、终端及存储介质
CN108256543A (zh) * 2016-12-29 2018-07-06 纳恩博(北京)科技有限公司 一种定位方法及电子设备
CN108458715A (zh) * 2018-01-18 2018-08-28 亿嘉和科技股份有限公司 一种基于激光地图的机器人定位初始化方法
CN108537848A (zh) * 2018-04-19 2018-09-14 北京工业大学 一种面向室内场景重建的两级位姿优化估计方法
CN108594816A (zh) * 2018-04-23 2018-09-28 长沙学院 一种通过改进orb-slam算法实现定位与构图的方法和系统
CN108680185A (zh) * 2018-04-26 2018-10-19 广东宝乐机器人股份有限公司 移动机器人的陀螺仪数据校正方法、装置和设备
CN108846857A (zh) * 2018-06-28 2018-11-20 清华大学深圳研究生院 视觉里程计的测量方法及视觉里程计
CN109426832A (zh) * 2017-08-30 2019-03-05 湖南拓视觉信息技术有限公司 场景三维建模中的闭环检测方法、存储介质及电子设备
CN109509230A (zh) * 2018-11-13 2019-03-22 武汉大学 一种应用于多镜头组合式全景相机的slam方法
CN109579844A (zh) * 2018-12-04 2019-04-05 电子科技大学 定位方法及系统
CN109658449A (zh) * 2018-12-03 2019-04-19 华中科技大学 一种基于rgb-d图像的室内场景三维重建方法
CN109682385A (zh) * 2018-11-05 2019-04-26 天津大学 一种基于orb特征的即时定位与地图构建的方法
CN109816686A (zh) * 2019-01-15 2019-05-28 山东大学 基于物体实例匹配的机器人语义slam方法、处理器及机器人
CN109816769A (zh) * 2017-11-21 2019-05-28 深圳市优必选科技有限公司 基于深度相机的场景地图生成方法、装置及设备
CN109814572A (zh) * 2019-02-20 2019-05-28 广州市山丘智能科技有限公司 移动机器人定位建图方法、装置、移动机器人和存储介质
CN109902619A (zh) * 2019-02-26 2019-06-18 上海大学 图像闭环检测方法及系统
CN110060282A (zh) * 2019-03-27 2019-07-26 东软睿驰汽车技术(沈阳)有限公司 一种点云配准的方法及装置
CN110148164A (zh) * 2019-05-29 2019-08-20 北京百度网讯科技有限公司 转换矩阵生成方法及装置、服务器及计算机可读介质
CN110186467A (zh) * 2018-02-23 2019-08-30 通用汽车环球科技运作有限责任公司 群感测点云地图
CN110196044A (zh) * 2019-05-28 2019-09-03 广东亿嘉和科技有限公司 一种基于gps闭环检测的变电站巡检机器人建图方法
CN110223348A (zh) * 2019-02-25 2019-09-10 湖南大学 基于rgb-d相机的机器人场景自适应位姿估计方法
CN110222761A (zh) * 2019-05-31 2019-09-10 中国民航大学 基于数字地标地图的室内定位系统及室内定位方法
WO2019169540A1 (zh) * 2018-03-06 2019-09-12 斯坦德机器人(深圳)有限公司 紧耦合视觉slam的方法、终端及计算机可读存储介质
CN110243370A (zh) * 2019-05-16 2019-09-17 西安理工大学 一种基于深度学习的室内环境三维语义地图构建方法
CN110287974A (zh) * 2019-06-24 2019-09-27 中国矿业大学 一种综采工作面激光扫描三维模型与gis模型快速匹配方法
CN110378997A (zh) * 2019-06-04 2019-10-25 广东工业大学 一种基于orb-slam2的动态场景建图与定位方法
CN110428467A (zh) * 2019-07-30 2019-11-08 四川大学 一种相机、imu和激光雷达联合的机器人定位方法
CN110501017A (zh) * 2019-08-12 2019-11-26 华南理工大学 一种基于orb_slam2的移动机器人导航地图生成方法
CN110531618A (zh) * 2019-08-27 2019-12-03 河海大学 基于有效关键帧的闭环检测机器人自定位误差消除方法
CN110554405A (zh) * 2019-08-27 2019-12-10 华中科技大学 一种基于组合聚类的正态扫描配准方法和系统
CN110727265A (zh) * 2018-06-28 2020-01-24 深圳市优必选科技有限公司 机器人重定位的方法、装置以及存储装置
CN110887490A (zh) * 2019-11-29 2020-03-17 上海有个机器人有限公司 一种激光定位导航的关键帧选取方法、介质、终端和装置
CN111060115A (zh) * 2019-11-29 2020-04-24 中国科学院计算技术研究所 一种基于图像边缘特征的视觉slam方法及系统
CN111098850A (zh) * 2018-10-25 2020-05-05 北京初速度科技有限公司 一种自动停车辅助系统及自动泊车方法
CN111258313A (zh) * 2020-01-20 2020-06-09 深圳市普渡科技有限公司 多传感器融合slam系统及机器人
CN111260661A (zh) * 2020-01-15 2020-06-09 江苏大学 一种基于神经网络技术的视觉语义slam系统及方法
CN111275763A (zh) * 2020-01-20 2020-06-12 深圳市普渡科技有限公司 闭环检测系统、多传感器融合slam系统及机器人
CN111311684A (zh) * 2020-04-01 2020-06-19 亮风台(上海)信息科技有限公司 一种进行slam初始化的方法与设备
CN111340870A (zh) * 2020-01-15 2020-06-26 西安交通大学 基于视觉的拓扑地图生成方法
CN111415387A (zh) * 2019-01-04 2020-07-14 南京人工智能高等研究院有限公司 相机位姿确定方法、装置、电子设备及存储介质
CN111505662A (zh) * 2020-04-29 2020-08-07 北京理工大学 一种无人驾驶车辆定位方法及系统
CN111540016A (zh) * 2020-04-27 2020-08-14 深圳南方德尔汽车电子有限公司 基于图像特征匹配的位姿计算方法、装置、计算机设备及存储介质
CN111750864A (zh) * 2020-06-30 2020-10-09 杭州海康机器人技术有限公司 一种基于视觉地图的重定位方法和装置
CN111812978A (zh) * 2020-06-12 2020-10-23 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种多无人机协作slam方法与系统
CN111882494A (zh) * 2020-06-28 2020-11-03 广州文远知行科技有限公司 位姿图处理方法、装置、计算机设备和存储介质
CN111902826A (zh) * 2018-03-20 2020-11-06 埃塞克斯大学企业有限公司 定位、建图和网络训练
CN111914832A (zh) * 2020-06-03 2020-11-10 华南理工大学 一种rgb-d相机在动态场景下的slam方法
CN111951341A (zh) * 2020-08-25 2020-11-17 桂林电子科技大学 一种基于rgb-d slam的闭环检测改进方法
EP3671121A4 (en) * 2017-08-18 2020-12-02 Guangdong Bona Robot Corporation Limited MOBILE ROBOT MAP CREATION PROCESS AND MAP-BASED JOURNEY PLANNING METHOD
CN112146654A (zh) * 2020-08-25 2020-12-29 浙江大学 基于关键约束帧的前视成像声呐水下定位与导航方法
CN112461210A (zh) * 2020-12-18 2021-03-09 湖南大学 一种空地协同建筑测绘机器人系统及其测绘方法
CN112541423A (zh) * 2020-12-09 2021-03-23 北京理工大学重庆创新中心 一种同步定位与地图构建方法和系统
CN112631271A (zh) * 2020-10-09 2021-04-09 南京凌华微电子科技有限公司 一种基于机器人感知融合的地图生成方法
CN112880675A (zh) * 2021-01-22 2021-06-01 京东数科海益信息科技有限公司 用于视觉定位的位姿平滑方法、装置、终端和移动机器人
CN112991449A (zh) * 2021-03-22 2021-06-18 华南理工大学 一种agv定位与建图方法、系统、装置及介质
CN113192153A (zh) * 2021-05-26 2021-07-30 清华大学 基于子地图的多智能体协同地图构建方法和装置
CN113377987A (zh) * 2021-05-11 2021-09-10 重庆邮电大学 基于ResNeSt-APW的多模块闭环检测方法
CN113552864A (zh) * 2020-04-15 2021-10-26 深圳市镭神智能系统有限公司 自移动主体的定位方法、装置、自移动主体及存储介质
CN114216465A (zh) * 2021-12-08 2022-03-22 哈尔滨工程大学 一种海底地形导航并行匹配方法
CN114603555A (zh) * 2022-02-24 2022-06-10 江西省智能产业技术创新研究院 移动机器人初始位姿估计方法、系统、计算机及机器人
CN114694013A (zh) * 2022-04-11 2022-07-01 北京理工大学 一种分布式多机协同视觉slam方法与系统
CN114800499A (zh) * 2022-04-20 2022-07-29 北京三快在线科技有限公司 位姿调整方法、装置、计算机可读存储介质及电子设备
CN115376051A (zh) * 2022-10-25 2022-11-22 杭州华橙软件技术有限公司 关键帧的管理方法及管理装置、slam方法、电子设备
CN115937011A (zh) * 2022-09-08 2023-04-07 安徽工程大学 一种基于时滞特征回归的关键帧位姿优化视觉slam方法、存储介质及设备
US11625870B2 (en) 2017-07-31 2023-04-11 Oxford University Innovation Limited Method of constructing a model of the motion of a mobile device and related systems

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101976258A (zh) * 2010-11-03 2011-02-16 上海交通大学 基于对象分割和特征加权融合的视频语义提取方法
CN102542295A (zh) * 2012-01-08 2012-07-04 西北工业大学 一种采用图像分类技术从遥感图像中进行滑坡检测的方法
CN103247075A (zh) * 2013-05-13 2013-08-14 北京工业大学 基于变分机制的室内环境三维重建方法
US20150010202A1 (en) * 2013-07-03 2015-01-08 Mitsubishi Electric Research Laboratories, Inc. Method for Determining Object Poses Using Weighted Features
CN104851094A (zh) * 2015-05-14 2015-08-19 西安电子科技大学 一种基于rgb-d的slam算法的改进方法
WO2015194864A1 (ko) * 2014-06-17 2015-12-23 (주)유진로봇 이동 로봇의 맵을 업데이트하기 위한 장치 및 그 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101976258A (zh) * 2010-11-03 2011-02-16 上海交通大学 基于对象分割和特征加权融合的视频语义提取方法
CN102542295A (zh) * 2012-01-08 2012-07-04 西北工业大学 一种采用图像分类技术从遥感图像中进行滑坡检测的方法
CN103247075A (zh) * 2013-05-13 2013-08-14 北京工业大学 基于变分机制的室内环境三维重建方法
US20150010202A1 (en) * 2013-07-03 2015-01-08 Mitsubishi Electric Research Laboratories, Inc. Method for Determining Object Poses Using Weighted Features
WO2015194864A1 (ko) * 2014-06-17 2015-12-23 (주)유진로봇 이동 로봇의 맵을 업데이트하기 위한 장치 및 그 방법
CN104851094A (zh) * 2015-05-14 2015-08-19 西安电子科技大学 一种基于rgb-d的slam算法的改进方法

Cited By (129)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106355647A (zh) * 2016-08-25 2017-01-25 北京暴风魔镜科技有限公司 增强现实系统和方法
CN106485744B (zh) * 2016-10-10 2019-08-20 成都弥知科技有限公司 一种同步定位与地图构建方法
CN106485744A (zh) * 2016-10-10 2017-03-08 成都奥德蒙科技有限公司 一种同步定位与地图构建方法
CN106557779A (zh) * 2016-10-21 2017-04-05 北京联合大学 一种基于显著区域词袋模型的物体识别方法
CN108022264A (zh) * 2016-11-01 2018-05-11 狒特科技(北京)有限公司 相机位姿确定方法及设备
CN108022264B (zh) * 2016-11-01 2023-06-13 北京墨土科技有限公司 相机位姿确定方法及设备
CN106780608A (zh) * 2016-11-23 2017-05-31 北京地平线机器人技术研发有限公司 位姿信息估计方法、装置和可移动设备
CN106780608B (zh) * 2016-11-23 2020-06-02 北京地平线机器人技术研发有限公司 位姿信息估计方法、装置和可移动设备
CN108256543A (zh) * 2016-12-29 2018-07-06 纳恩博(北京)科技有限公司 一种定位方法及电子设备
CN107085422A (zh) * 2017-01-04 2017-08-22 北京航空航天大学 一种基于Xtion设备的多功能六足机器人的远程控制系统
CN106908064A (zh) * 2017-01-22 2017-06-30 电子科技大学 一种基于Kinect2传感器的室内夜间视觉导航方法
CN106908064B (zh) * 2017-01-22 2019-12-27 电子科技大学 一种基于Kinect2传感器的室内夜间视觉导航方法
CN107063258A (zh) * 2017-03-07 2017-08-18 重庆邮电大学 一种基于语义信息的移动机器人室内导航方法
CN107220932A (zh) * 2017-04-18 2017-09-29 天津大学 基于词袋模型的全景图像拼接方法
CN107220932B (zh) * 2017-04-18 2020-03-20 天津大学 基于词袋模型的全景图像拼接方法
CN107220995A (zh) * 2017-04-21 2017-09-29 西安交通大学 一种基于orb图像特征的icp快速点云配准算法的改进方法
CN107316328B (zh) * 2017-05-11 2020-07-07 浙江大学 一种基于二维激光扫描仪角点特征的闭环检测方法
CN107316328A (zh) * 2017-05-11 2017-11-03 浙江大学 一种基于二维激光扫描仪角点特征的闭环检测方法
CN107300917A (zh) * 2017-05-23 2017-10-27 北京理工大学 一种基于分层架构的视觉slam后端优化方法
CN107300917B (zh) * 2017-05-23 2019-07-09 北京理工大学 一种基于分层架构的视觉slam后端优化方法
CN107274480B (zh) * 2017-06-06 2021-07-20 山东大学深圳研究院 基于随机抽样一致性的对象运动特性重建方法
CN107274480A (zh) * 2017-06-06 2017-10-20 山东大学深圳研究院 基于随机抽样一致性的对象运动特性重建方法
CN107160395A (zh) * 2017-06-07 2017-09-15 中国人民解放军装甲兵工程学院 地图构建方法及机器人控制系统
CN107301654A (zh) * 2017-06-12 2017-10-27 西北工业大学 一种多传感器的高精度即时定位与建图方法
CN107392964B (zh) * 2017-07-07 2019-09-17 武汉大学 基于室内特征点和结构线结合的室内slam方法
CN107392964A (zh) * 2017-07-07 2017-11-24 武汉大学 基于室内特征点和结构线结合的室内slam方法
CN107246876A (zh) * 2017-07-31 2017-10-13 中北智杰科技(北京)有限公司 一种无人驾驶汽车自主定位与地图构建的方法及系统
US11625870B2 (en) 2017-07-31 2023-04-11 Oxford University Innovation Limited Method of constructing a model of the motion of a mobile device and related systems
CN107529650A (zh) * 2017-08-16 2018-01-02 广州视源电子科技股份有限公司 网络模型的构建和闭环检测方法、相应装置及计算机设备
EP3671121A4 (en) * 2017-08-18 2020-12-02 Guangdong Bona Robot Corporation Limited MOBILE ROBOT MAP CREATION PROCESS AND MAP-BASED JOURNEY PLANNING METHOD
US11385062B2 (en) 2017-08-18 2022-07-12 Guangzhou Coayu Robot Co., Ltd. Map creation method for mobile robot and path planning method based on the map
CN109426832A (zh) * 2017-08-30 2019-03-05 湖南拓视觉信息技术有限公司 场景三维建模中的闭环检测方法、存储介质及电子设备
CN107796397B (zh) * 2017-09-14 2020-05-15 杭州迦智科技有限公司 一种机器人双目视觉定位方法、装置和存储介质
CN107796397A (zh) * 2017-09-14 2018-03-13 杭州迦智科技有限公司 一种机器人双目视觉定位方法、装置和存储介质
CN107680133A (zh) * 2017-09-15 2018-02-09 重庆邮电大学 一种基于改进闭环检测算法的移动机器人视觉slam方法
CN107886129B (zh) * 2017-11-13 2021-06-08 湖南大学 一种基于视觉词袋的移动机器人地图闭环检测方法
CN107886129A (zh) * 2017-11-13 2018-04-06 湖南大学 一种基于视觉词袋的移动机器人地图闭环检测方法
CN109816769A (zh) * 2017-11-21 2019-05-28 深圳市优必选科技有限公司 基于深度相机的场景地图生成方法、装置及设备
CN108230337B (zh) * 2017-12-31 2020-07-03 厦门大学 一种基于移动端的语义slam系统实现的方法
CN108230337A (zh) * 2017-12-31 2018-06-29 厦门大学 一种基于移动端的语义slam系统实现的方法
CN108256060A (zh) * 2018-01-16 2018-07-06 广州视源电子科技股份有限公司 一种闭环检测方法、装置、终端及存储介质
CN108256060B (zh) * 2018-01-16 2021-02-09 广州视源电子科技股份有限公司 一种闭环检测方法、装置、终端及存储介质
CN108458715B (zh) * 2018-01-18 2020-05-15 亿嘉和科技股份有限公司 一种基于激光地图的机器人定位初始化方法
CN108458715A (zh) * 2018-01-18 2018-08-28 亿嘉和科技股份有限公司 一种基于激光地图的机器人定位初始化方法
CN110186467A (zh) * 2018-02-23 2019-08-30 通用汽车环球科技运作有限责任公司 群感测点云地图
WO2019169540A1 (zh) * 2018-03-06 2019-09-12 斯坦德机器人(深圳)有限公司 紧耦合视觉slam的方法、终端及计算机可读存储介质
CN111902826A (zh) * 2018-03-20 2020-11-06 埃塞克斯大学企业有限公司 定位、建图和网络训练
CN108537848B (zh) * 2018-04-19 2021-10-15 北京工业大学 一种面向室内场景重建的两级位姿优化估计方法
CN108537848A (zh) * 2018-04-19 2018-09-14 北京工业大学 一种面向室内场景重建的两级位姿优化估计方法
CN108594816A (zh) * 2018-04-23 2018-09-28 长沙学院 一种通过改进orb-slam算法实现定位与构图的方法和系统
CN108594816B (zh) * 2018-04-23 2021-10-29 长沙学院 一种通过改进orb-slam算法实现定位与构图的方法和系统
CN108680185B (zh) * 2018-04-26 2020-09-22 广东宝乐机器人股份有限公司 移动机器人的陀螺仪数据校正方法、装置和设备
WO2019205813A1 (zh) * 2018-04-26 2019-10-31 广东宝乐机器人股份有限公司 移动机器人的陀螺仪数据校正方法、设备和存储介质
CN108680185A (zh) * 2018-04-26 2018-10-19 广东宝乐机器人股份有限公司 移动机器人的陀螺仪数据校正方法、装置和设备
CN108846857A (zh) * 2018-06-28 2018-11-20 清华大学深圳研究生院 视觉里程计的测量方法及视觉里程计
CN110727265A (zh) * 2018-06-28 2020-01-24 深圳市优必选科技有限公司 机器人重定位的方法、装置以及存储装置
CN111098850A (zh) * 2018-10-25 2020-05-05 北京初速度科技有限公司 一种自动停车辅助系统及自动泊车方法
CN109682385A (zh) * 2018-11-05 2019-04-26 天津大学 一种基于orb特征的即时定位与地图构建的方法
CN109509230A (zh) * 2018-11-13 2019-03-22 武汉大学 一种应用于多镜头组合式全景相机的slam方法
CN109509230B (zh) * 2018-11-13 2020-06-23 武汉大学 一种应用于多镜头组合式全景相机的slam方法
CN109658449A (zh) * 2018-12-03 2019-04-19 华中科技大学 一种基于rgb-d图像的室内场景三维重建方法
CN109658449B (zh) * 2018-12-03 2020-07-10 华中科技大学 一种基于rgb-d图像的室内场景三维重建方法
CN109579844A (zh) * 2018-12-04 2019-04-05 电子科技大学 定位方法及系统
CN109579844B (zh) * 2018-12-04 2023-11-21 电子科技大学 定位方法及系统
CN111415387B (zh) * 2019-01-04 2023-12-29 南京人工智能高等研究院有限公司 相机位姿确定方法、装置、电子设备及存储介质
CN111415387A (zh) * 2019-01-04 2020-07-14 南京人工智能高等研究院有限公司 相机位姿确定方法、装置、电子设备及存储介质
CN109816686A (zh) * 2019-01-15 2019-05-28 山东大学 基于物体实例匹配的机器人语义slam方法、处理器及机器人
CN109814572A (zh) * 2019-02-20 2019-05-28 广州市山丘智能科技有限公司 移动机器人定位建图方法、装置、移动机器人和存储介质
CN109814572B (zh) * 2019-02-20 2022-02-01 广州市山丘智能科技有限公司 移动机器人定位建图方法、装置、移动机器人和存储介质
CN110223348B (zh) * 2019-02-25 2023-05-23 湖南大学 基于rgb-d相机的机器人场景自适应位姿估计方法
CN110223348A (zh) * 2019-02-25 2019-09-10 湖南大学 基于rgb-d相机的机器人场景自适应位姿估计方法
CN109902619A (zh) * 2019-02-26 2019-06-18 上海大学 图像闭环检测方法及系统
CN110060282A (zh) * 2019-03-27 2019-07-26 东软睿驰汽车技术(沈阳)有限公司 一种点云配准的方法及装置
CN110243370A (zh) * 2019-05-16 2019-09-17 西安理工大学 一种基于深度学习的室内环境三维语义地图构建方法
CN110196044A (zh) * 2019-05-28 2019-09-03 广东亿嘉和科技有限公司 一种基于gps闭环检测的变电站巡检机器人建图方法
CN110148164A (zh) * 2019-05-29 2019-08-20 北京百度网讯科技有限公司 转换矩阵生成方法及装置、服务器及计算机可读介质
CN110222761A (zh) * 2019-05-31 2019-09-10 中国民航大学 基于数字地标地图的室内定位系统及室内定位方法
CN110222761B (zh) * 2019-05-31 2023-01-17 中国民航大学 基于数字地标地图的室内定位系统及室内定位方法
CN110378997B (zh) * 2019-06-04 2023-01-20 广东工业大学 一种基于orb-slam2的动态场景建图与定位方法
CN110378997A (zh) * 2019-06-04 2019-10-25 广东工业大学 一种基于orb-slam2的动态场景建图与定位方法
CN110287974A (zh) * 2019-06-24 2019-09-27 中国矿业大学 一种综采工作面激光扫描三维模型与gis模型快速匹配方法
CN110428467A (zh) * 2019-07-30 2019-11-08 四川大学 一种相机、imu和激光雷达联合的机器人定位方法
CN110501017A (zh) * 2019-08-12 2019-11-26 华南理工大学 一种基于orb_slam2的移动机器人导航地图生成方法
CN110531618A (zh) * 2019-08-27 2019-12-03 河海大学 基于有效关键帧的闭环检测机器人自定位误差消除方法
CN110554405A (zh) * 2019-08-27 2019-12-10 华中科技大学 一种基于组合聚类的正态扫描配准方法和系统
CN110554405B (zh) * 2019-08-27 2021-07-30 华中科技大学 一种基于组合聚类的正态扫描配准方法和系统
CN111060115A (zh) * 2019-11-29 2020-04-24 中国科学院计算技术研究所 一种基于图像边缘特征的视觉slam方法及系统
CN110887490B (zh) * 2019-11-29 2023-08-29 上海有个机器人有限公司 一种激光定位导航的关键帧选取方法、介质、终端和装置
CN110887490A (zh) * 2019-11-29 2020-03-17 上海有个机器人有限公司 一种激光定位导航的关键帧选取方法、介质、终端和装置
CN111340870A (zh) * 2020-01-15 2020-06-26 西安交通大学 基于视觉的拓扑地图生成方法
CN111340870B (zh) * 2020-01-15 2022-04-01 西安交通大学 基于视觉的拓扑地图生成方法
CN111260661A (zh) * 2020-01-15 2020-06-09 江苏大学 一种基于神经网络技术的视觉语义slam系统及方法
CN111258313B (zh) * 2020-01-20 2022-06-07 深圳市普渡科技有限公司 多传感器融合slam系统及机器人
CN111275763A (zh) * 2020-01-20 2020-06-12 深圳市普渡科技有限公司 闭环检测系统、多传感器融合slam系统及机器人
CN111275763B (zh) * 2020-01-20 2023-10-13 深圳市普渡科技有限公司 闭环检测系统、多传感器融合slam系统及机器人
CN111258313A (zh) * 2020-01-20 2020-06-09 深圳市普渡科技有限公司 多传感器融合slam系统及机器人
CN111311684A (zh) * 2020-04-01 2020-06-19 亮风台(上海)信息科技有限公司 一种进行slam初始化的方法与设备
CN113552864A (zh) * 2020-04-15 2021-10-26 深圳市镭神智能系统有限公司 自移动主体的定位方法、装置、自移动主体及存储介质
CN111540016B (zh) * 2020-04-27 2023-11-10 深圳南方德尔汽车电子有限公司 基于图像特征匹配的位姿计算方法、装置、计算机设备及存储介质
CN111540016A (zh) * 2020-04-27 2020-08-14 深圳南方德尔汽车电子有限公司 基于图像特征匹配的位姿计算方法、装置、计算机设备及存储介质
CN111505662B (zh) * 2020-04-29 2021-03-23 北京理工大学 一种无人驾驶车辆定位方法及系统
CN111505662A (zh) * 2020-04-29 2020-08-07 北京理工大学 一种无人驾驶车辆定位方法及系统
CN111914832B (zh) * 2020-06-03 2023-06-13 华南理工大学 一种rgb-d相机在动态场景下的slam方法
CN111914832A (zh) * 2020-06-03 2020-11-10 华南理工大学 一种rgb-d相机在动态场景下的slam方法
CN111812978A (zh) * 2020-06-12 2020-10-23 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种多无人机协作slam方法与系统
CN111882494A (zh) * 2020-06-28 2020-11-03 广州文远知行科技有限公司 位姿图处理方法、装置、计算机设备和存储介质
CN111750864A (zh) * 2020-06-30 2020-10-09 杭州海康机器人技术有限公司 一种基于视觉地图的重定位方法和装置
CN111750864B (zh) * 2020-06-30 2022-05-13 杭州海康机器人技术有限公司 一种基于视觉地图的重定位方法和装置
CN111951341A (zh) * 2020-08-25 2020-11-17 桂林电子科技大学 一种基于rgb-d slam的闭环检测改进方法
CN112146654A (zh) * 2020-08-25 2020-12-29 浙江大学 基于关键约束帧的前视成像声呐水下定位与导航方法
CN112146654B (zh) * 2020-08-25 2022-08-23 浙江大学 基于关键约束帧的前视成像声呐水下定位与导航方法
CN112631271A (zh) * 2020-10-09 2021-04-09 南京凌华微电子科技有限公司 一种基于机器人感知融合的地图生成方法
CN112541423A (zh) * 2020-12-09 2021-03-23 北京理工大学重庆创新中心 一种同步定位与地图构建方法和系统
CN112461210A (zh) * 2020-12-18 2021-03-09 湖南大学 一种空地协同建筑测绘机器人系统及其测绘方法
CN112880675B (zh) * 2021-01-22 2023-04-07 京东科技信息技术有限公司 用于视觉定位的位姿平滑方法、装置、终端和移动机器人
CN112880675A (zh) * 2021-01-22 2021-06-01 京东数科海益信息科技有限公司 用于视觉定位的位姿平滑方法、装置、终端和移动机器人
CN112991449A (zh) * 2021-03-22 2021-06-18 华南理工大学 一种agv定位与建图方法、系统、装置及介质
CN113377987A (zh) * 2021-05-11 2021-09-10 重庆邮电大学 基于ResNeSt-APW的多模块闭环检测方法
CN113192153A (zh) * 2021-05-26 2021-07-30 清华大学 基于子地图的多智能体协同地图构建方法和装置
CN114216465B (zh) * 2021-12-08 2022-11-01 哈尔滨工程大学 一种海底地形导航并行匹配方法
CN114216465A (zh) * 2021-12-08 2022-03-22 哈尔滨工程大学 一种海底地形导航并行匹配方法
CN114603555B (zh) * 2022-02-24 2023-12-08 江西省智能产业技术创新研究院 移动机器人初始位姿估计方法、系统、计算机及机器人
CN114603555A (zh) * 2022-02-24 2022-06-10 江西省智能产业技术创新研究院 移动机器人初始位姿估计方法、系统、计算机及机器人
CN114694013A (zh) * 2022-04-11 2022-07-01 北京理工大学 一种分布式多机协同视觉slam方法与系统
CN114800499B (zh) * 2022-04-20 2023-08-25 北京三快在线科技有限公司 位姿调整方法、装置、计算机可读存储介质及电子设备
CN114800499A (zh) * 2022-04-20 2022-07-29 北京三快在线科技有限公司 位姿调整方法、装置、计算机可读存储介质及电子设备
CN115937011A (zh) * 2022-09-08 2023-04-07 安徽工程大学 一种基于时滞特征回归的关键帧位姿优化视觉slam方法、存储介质及设备
CN115937011B (zh) * 2022-09-08 2023-08-04 安徽工程大学 一种基于时滞特征回归的关键帧位姿优化视觉slam方法、存储介质及设备
CN115376051A (zh) * 2022-10-25 2022-11-22 杭州华橙软件技术有限公司 关键帧的管理方法及管理装置、slam方法、电子设备

Also Published As

Publication number Publication date
CN105856230B (zh) 2017-11-24

Similar Documents

Publication Publication Date Title
CN105856230A (zh) 一种可提高机器人位姿一致性的orb关键帧闭环检测slam方法
Nicholson et al. Quadricslam: Dual quadrics from object detections as landmarks in object-oriented slam
CN111563442B (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
CN105843223B (zh) 一种基于空间词袋模型的移动机器人三维建图与避障方法
Fallon et al. Efficient scene simulation for robust Monte Carlo localization using an RGB-D camera
CN103278170B (zh) 基于显著场景点检测的移动机器人级联地图创建方法
Zhou et al. T-loam: truncated least squares lidar-only odometry and mapping in real time
Xiao et al. Monocular vehicle self-localization method based on compact semantic map
Chen et al. 3d point cloud processing and learning for autonomous driving
Ding et al. Persistent stereo visual localization on cross-modal invariant map
Zhang et al. Vehicle global 6-DoF pose estimation under traffic surveillance camera
Jo et al. New Monte Carlo localization using deep initialization: A three-dimensional LiDAR and a camera fusion approach
Wen et al. TM 3 Loc: Tightly-coupled monocular map matching for high precision vehicle localization
Zhang LILO: A Novel Lidar–IMU SLAM System With Loop Optimization
Li et al. High-precision motion detection and tracking based on point cloud registration and radius search
Kim et al. Automatic multiple lidar calibration based on the plane features of structured environments
Kang et al. Robust data association for object-level semantic slam
Zins et al. Level set-based camera pose estimation from multiple 2D/3D ellipse-ellipsoid correspondences
Song et al. Scale Estimation with Dual Quadrics for Monocular Object SLAM
Ma et al. Object slam with dual quadric parameterization
Chen et al. A Model of Real-time Pose Estimation Fusing Camera and LiDAR in Simultaneous Localization and Mapping by a Geometric Method.
Luo et al. Accurate localization for mobile device using a multi-planar city model
Wang et al. LiDAR-SLAM loop closure detection based on multi-scale point cloud feature transformer
Mützel et al. Geometric features for robust registration of point clouds
Hokmabadi Shaped-based IMU/Camera Tightly Coupled Object-level SLAM using Rao-Blackwellized Particle Filtering

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171124

CF01 Termination of patent right due to non-payment of annual fee