CN105856230B - 一种可提高机器人位姿一致性的orb关键帧闭环检测slam方法 - Google Patents
一种可提高机器人位姿一致性的orb关键帧闭环检测slam方法 Download PDFInfo
- Publication number
- CN105856230B CN105856230B CN201610298075.1A CN201610298075A CN105856230B CN 105856230 B CN105856230 B CN 105856230B CN 201610298075 A CN201610298075 A CN 201610298075A CN 105856230 B CN105856230 B CN 105856230B
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- key frame
- orb
- msubsup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000001514 detection method Methods 0.000 title claims abstract description 56
- 238000005457 optimization Methods 0.000 claims abstract description 10
- 238000010276 construction Methods 0.000 claims abstract description 6
- 230000009466 transformation Effects 0.000 claims description 32
- 230000000007 visual effect Effects 0.000 claims description 29
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 6
- 238000009616 inductively coupled plasma Methods 0.000 claims description 5
- 238000012804 iterative process Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 abstract description 5
- 230000007613 environmental effect Effects 0.000 abstract description 3
- 238000000605 extraction Methods 0.000 abstract 1
- 230000033001 locomotion Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000007476 Maximum Likelihood Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1658—Programme controls characterised by programming, planning systems for manipulators characterised by programming language
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40005—Vision, analyse image at one station during manipulation at next station
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Software Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
一种可提高机器人位姿一致性的ORB关键帧闭环检测SLAM方法,包括如下步骤:首先,采用RGB‑D传感器获取环境的彩色信息与深度信息,使用ORB特征提取图像特征;接着,通过基于RANSAC‑ICP帧间配准算法实现了机器人位姿估计,构建初始位姿图;最后,通过提取KeyFrame关键帧中的ORB特征构建BoVW(视觉词袋),当前关键帧与BoVW中的单词进行相似性比较,实现闭环关键帧检测,通过关键帧帧间配准检测添加位姿图约束,得到全局最优的机器人位姿。本发明提供一种可提高机器人位姿一致性、环境地图构建质量较高以及优化效率高的ORB关键帧闭环检测SLAM方法。
Description
技术领域
本发明涉及机器人的同时定位与地图构建(Simultaneously Localization andMapping,SLAM)领域,尤其是一种可提高机器人位姿一致性的ORB关键帧闭环检测SLAM方法。
背景技术
为了在未知室内环境下实现自主移动与导航,智能机器人应具有构建室内环境地图,并同时具有在全局地图中定位的能力,上述过程同时实现称为机器人的同时定位与地图构建(Simultaneously Localization and Mapping,SLAM)。当机器人处于室外环境时,可通过高精度的GPS和先验地图实现全局地图下的定位。但当机器人处于室内环境,或处于GPS不可用的环境(水下、矿洞)时,就必须采取其他方式实现机器人SLAM。
现有的室内SLAM方法存在的缺陷:定位一致性差,环境地图构建质量不高以及优化效率低。
发明内容
为了克服已有室内机器人定位与环境地图构建中定位一致性差,环境地图构建质量不高以及优化效率低的不足,本发明提供一种可提高机器人位姿一致性、环境地图构建质量较高以及优化效率高的ORB关键帧闭环检测SLAM方法。
本发明解决其技术问题所采用的技术方案是:
一种可提高机器人位姿一致性的ORB关键帧闭环检测SLAM方法,包括如下步骤:
首先,采用RGB-D传感器获取环境的彩色信息与深度信息,使用ORB特征提取图像特征;
接着,通过基于RANSAC-ICP帧间配准算法实现了机器人位姿估计,构建初始位姿图;
最后,通过提取KeyFrame关键帧中的ORB特征构建BoVW(视觉词袋),当前关键帧与BoVW中的单词进行相似性比较,实现闭环关键帧检测,通过关键帧帧间配准检测添加位姿图约束,得到全局最优的机器人位姿。
进一步,所述基于RANSAC-ICP帧间配准算法包括基于RANSAC算法的初始粗配准与基于ICP算法的精确配准,过程如下:
首先通过RANSAC算法对特征集进行初始配准,找到两帧中的最佳平移旋转变换,随后通过重投影误差RANSAC优化目标函数:
式中,Af包含了特征内点;分别表示场景帧和参考帧上关联点对的空间坐标;T(p)=R·p+t表示平移旋转变换矩阵;π(p)为参考帧摄像头上的投影变换函数。
优选的,式(1-10)通过帧间稀疏BA方法进行优化;ICP迭代过程中,首先通过K-D树检索最近点实现点云关联,通过优化关联特征点与点云的联合误差函数实现全局位姿变换矩阵的优化,权重因子wj表示关联点对在误差函数中的重要性;
式中,α为各投影变换函数件的权重因子。
再进一步,所述闭环检测方法中,通过KeyFrame选取算法,选取过程为:当前帧与上一关键帧通过RANSAC进行配准,如果配准内点值小于规定阈值,则认定其为关键帧;采用关键帧视觉词袋模型,该模型将关键帧的ORB特征聚类,利用视觉词典将特征描述子映射为视觉单词,通过对比关键帧中的“单词”,可判断两个关键帧是否形成闭环。
所述关键帧选取过程描述为:在完成RANSAC-ICP精确估计后,利用当前帧与上一关键帧再次进行RANSAC-ICP配准。如果当前帧与关键帧之间的配准误差大于阈值,则认为该帧所在场景为新场景,该帧设为关键帧,反之,该帧为普通帧,用于位姿图构建,选取下一帧进行关键帧比对,其数学过程可描述为:
其中,为离j时刻最近的关键帧;Fj为当前帧。
更进一步,所述闭环检测方法的流程如下:
1)首先从所有图像中检测并提取关键帧,假设机器人位于地图场景中的某一关键帧位置,将生成的关键帧图像使用ORB特征描述符进行描述,关键帧图像I可表示为描述符集合D:I→{d1,…,dn};
2)提取每个关键帧场景的ORB特征并投影到BoVW中,将关键帧ORB特征点与视觉词典中的单词进行关联,视觉词典可表示为通过BoVW相似描述符聚类可构建视觉词典V,通过映射形成最邻近视觉字典,每一个视觉单词的ORB描述向量都是一个关联的视觉词表;
3)采用单词相似度的方式计算“单词”间距,形成关键帧场景的相似度,为获得场景相似度,计算关键帧图像Iu和Iv之间的余弦距离可得到二者BoVW的相似度,其过程为:
每一关键帧由不同权重的词汇聚类而成,每个词汇在全部图像N中出现的频率形成权重wi:
wi=log10(N/ni) (1-12)
式中ni表示di中包含图像的数量,若BoVW中包含|V|个不同的视觉单词,则图像矢量可描述为:其中关键帧中的单词权重为:
得到每个单词权重后,即可求出其所在图像的权重,通过相似函数S可计算键帧图像Iu和Iv之间的相似度:
通过上式可得相似矩阵进而判断图像间的相似度,图像i和图像j通过相似函数得到相似度矩阵Mi,j;
通过视觉词袋方法,关键帧闭环检测问题可转化为从图像序列L=[I1,I2,…]中找到两个相似度较高的子序列A=[a1,a2,…]和B=[b1,b2,…],从而实现闭环检测。
本发明中,随机采样一致性(RANSAC)是一种可用于提出数据离群点的迭代算法。SLAM方法使用RANSAC算法可减少帧间配准过程中的图像特征匹配离群点,实现一种初始一致性较好的位姿估计,提高帧间匹配质量。RANSAC通过对输入数据进行多次随机采样,每次抽取具有代表性的少量数据对估计模型进行评估,根据已有模型对所有数据进行筛选,保留误差范围内的数据称为有效数据点或内点(inliers),筛除误差较大的数据离群点或外点(outliers)。离群点一般是噪声数据或异常数据,内点比例较高的帧间配准,所获得的位姿估计质量越高,越接近真实情况。
假设前后帧间共有n对匹配的三维点,变换参数可用旋转矩阵R和平移向量t表示,则变换参数与三维点集之间的关系可表示为:
pci=rppi+t (1-1)
式中pci与ppi分别代表当前帧和上一帧匹配的第i对三维点坐标,i=1,2,…,n。设θ和ψ分别为绕y轴、x轴和z轴旋转的角度,称为偏航角、俯仰角及翻滚角,统称为姿态角,则r与三个姿态角的关系为:
代表姿态增量的旋转参数也可用四元数表示。二维平面中单位圆上任意一点对应一个旋转角度,可表示二维空间的点姿态;在三维空间中,单位球上任意一点应绕两轴旋转的角度,可描述某点的三维空间位姿;可推,在四维空间中,三维空间中任意的旋转可由四维单位球上的点q=[q0,q1,q2,q3]T表示,q=[q0,q1,q2,q3]T称为四元数,即四维空间单位球面上任意一点可描述绕三个轴的旋转角度。三维旋转通过单位四元数表示有两种表示方式:q、-q,但给定一个四元数,有且仅有一个三维旋转可与之对应。使用四元数表示三维空间的旋转运动,可有效减少中间变量;与欧拉角相比,四元具有更稳定的数值解。旋转变换矩阵r可由四元数q表示:
对方程(1-4)求解,若忽略三维点重建误差,可以使用直接线性变换方程(DirectLinear transformation,DLT),但该方法精度较差,对输入数据比较敏感。考虑到三维点重建误差,运动参数的估计可转化为非线性最小化误差和的优化问题:
式(1-5)是一个最小二乘估计问题,通过最大似然法可实现非线性参数估计。本发明通过RANSAC去除数据中的离群点,以提高位姿估计的准确性。
迭代最近点(ICP)是一种可用于计算具有深度和彩色信息的立体点云数据间匹配关系的算法,可筛选出满足匹配关系的有效数据,实现位姿间的精确估计。RANSAC与ICP算法相结合,可解决机器人初始配准不确定条件下的位姿准确估计,防止位姿估计陷入局部最优。其基本思想是先通过ORB特征匹配与RANSAC算法为ICP配准提供初始对齐,随后通过优化特征点与深度点云的联合误差的ICP误差来实现精确化。
设存在两组对应点云A={ai}i=1,…,N,B={bi}i=1,…,N,且存在||ai-T·bi||<dmax,其中存在集合假设点云A和B满足正态分布:其中分别为A、B的协方差矩阵。如果集合完全对应,且所求协方差矩阵具有极小值,则有:
定义T为任意刚性变换。已知和均服从高斯分布,的概率分布可表示为:
使用最大似然估计可迭代计算出转换矩阵T:
可简化为:
本发明的技术构思为:室内SLAM首先应通过传感器获取环境信息,如采用声呐测距传感器获取传感器与障碍物之间的距离信息;二维激光测距仪使用线扫描的方式获取本体与障碍物之间的距离和角度信息;RGB-D视觉传感器通过深度相机获取外界环境距离信息(Depth image),同时可获得与之对应的彩色信息(RGB image),是一种新型视觉传感器。RGB-D信息经过处理后可直接用于机器人定位、地图创建与导航。与传统视觉传感器相比,RGB-D传感器可直接获得环境深度信息,数据处理过程简单,传感器数据适合三维地图重建,实时性高,地图精度好。
通过ORB算子提取室内环境图像数据帧中鲁棒性较好的特征点,通过RANSAC-ICP算法实现了初始位姿估计一致性不高情况下的帧间配准;通过RANSAC算法筛选符合内点阈值条件的关键帧,以关键帧作为校验约束,最终实现了一种全局一致性较高的位姿估计,保证了机器人在室内环境下的定位精度与自建地图模型的准确性。
通过RANSAC算法减少ORB特征离群点,提高初始位姿配准精度,与ICP算法相结合实现了机器人在初始配准不确定的条件下精确位姿估计;基于ORB特征的关键帧词袋闭环检测算法,将关键帧特征点聚类成为字典,根据字典单词间的相似度判断是否形成场景闭环,修正配准错误,减少地图冗余结构,生成一致性最优的地图。
本发明的有益效果主要表现在:
1)位姿估计一致性高:本发明基于RANSAC-ICP帧间配准算法筛除了图像特征离群点,利用内点最多的特征匹配点实现了六自由度位姿估计,提高帧间配准生成的位姿一致性;采用ORB关键帧闭环检测算法添加额外全局位姿约束。由上述方法生成的机器人位姿一致性高,定位与地图较为精确。
2)鲁棒性:RANSAC算法可剔除图像特征匹配过程中产生的错误匹配点,基于ORB关键帧的闭环检测算法可校正由传感器测量及帧间配准导致的位姿估计错误。通过不断校正错误,使SLAM系统更健壮。
3)运行效率:本发明中通过ORB算子提高了特征点检测速度与特征点匹配速度,通过改进RANSAC算法,减少了数据离群点,提高了图像配准重合率,较少了错误匹配,增强了SLAM系统前端的时效性;基于视觉词袋模型的关键帧ORB特征增强了位姿约束,减少了位姿估计中的冗余结构,提高SLAM系统后端的时效性。因此,基于ORB关键帧闭环检测的SLAM方法的运行效率较高。
附图说明
图1是可提高机器人位姿一致性的ORB关键帧闭环检测SLAM方法系统框图;
图2是ORB关键帧闭环检测SLAM方法的功能模块关系图;
图3是ORB关键帧闭环检测SLAM方法的RANSAC-ICP方法流程图;
图4是ORB关键帧闭环检测SLAM方法的关键帧与闭环检测关系图;
图5是ORB关键帧闭环检测SLAM方法中基于视觉词袋的关键帧场景描述方法的流程图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1~图5,一种可提高机器人位姿一致性的ORB关键帧闭环检测SLAM方法,包括如下步骤:
首先,采用RGB-D传感器获取环境的彩色信息与深度信息,使用ORB(orientedFAST and rotated BRIEF)特征提取图像特征;
接着,通过基于RANSAC-ICP帧间配准算法实现了机器人位姿估计,构建初始位姿图;
最后,通过提取KeyFrame关键帧中的ORB特征构建BoVW(视觉词袋),当前关键帧与BoVW中的单词进行相似性比较,实现闭环关键帧检测,通过关键帧帧间配准检测添加位姿图约束,得到全局最优的机器人位姿。
图1所示一种可提高机器人位姿一致性的ORB关键帧闭环检测SLAM系统框架,其中提出使用基于RANSAC-ICP帧间配准的位姿估计算法和基于ORB关键帧(KeyFrame)的闭环检测方法。通过Asus Xtion或同类型的RGB-D传感器获取环境色彩信息与深度信息,通过ORB算法加快图像特征点检测与描述子建立速度;结合相机小孔模型与深度信息,将二维图像转换为三维彩色点云,并进行存储;通过基于改进RANSAC-ICP帧间配准的位姿估计算法实现机器人在初始配准不确定的条件下精确位姿估计,提高了机器人位姿估计一致性。基于ORB特征的关键帧词袋闭环检测算法将关键帧特征点聚类成为字典,根据字典单词间的相似度判断是否形成场景闭环,修正配准错误。通过闭环检测可减少地图冗余结构,生成具有一致性的位姿估计与地图模型。
图2所示为基于ORB关键帧闭环检测SLAM方法中各功能模块之间的关系。ORB关键帧闭环检测SLAM方法以RGB-D三维点云序列{F}(其中,I为RGB图像,D为深度图像,p为图像匹配矩阵)为输入,输出为场景地图的网格模型与位姿估计轨迹,模型中的网格顶点为点云模型的数据点。
图3所示为ORB关键帧闭环检测SLAM方法的RANSAC-ICP算法流程图。通过RANSAC粗配准可得到相对变换T(p)将作为RANSAC-ICP的输入。T(p)函数表示对点p进行刚性变换,则T(p)=Rp+T。RANSAC-ICP最终输出为最优相对变换T*(p)。
Extract_RGB_Point_Featrures函数分别可从待配准帧与参考帧中提取稀疏的ORB特征点云Ps、Pt。
随后使用RANSAC算法从两组特征点云中找到初始的刚性变换T(p),通过在两帧之间找到匹配的特征完成刚性变换初始化。随后,通过重复采样,可以确定特征点的内点数,变换后内点数最大的变换即为最优变换。Perform_RANSAC_Alignment函数首先使用RANSAC算法对特征集进行初始配准,找到两帧中的最佳平移旋转变换。随后通过重投影误差RANSAC优化目标函数:
式中,Af包含了内点;分别表示场景帧和参考帧上关联点对的空间坐标;T(p)=R·p+t表示平移旋转变换矩阵;π(p)为参考帧摄像头上的投影变换函数。上式可通过帧间稀疏BA方法进行优化
步骤4-6为基于最小二乘法的ICP配准算法。该算法选择对应点对进行迭代计算,计算最优刚体变换估计,直到满足配准的收敛精度。其具体步骤描述如下:
第一步,计算Ps中的每一个点在Pt点集的最近对应点;
第二步,求得使上述对应点对的平均距离最小的刚体变换T*
第三步,对Pt使用上一步求得的平移和旋转参数,得到新的变换点集;
第四步,如果新的变换点集与参考点集满足平均距离小于阈值时,则停止迭代计算;否则新的变换点集作为新的Pt继续迭代,直到满足目标函数的要求为止。
图4所示为ORB关键帧闭环检测SLAM方法的关键帧与闭环检测关系图。可描述为:关键帧闭环检测实现过程为:输入连续标记的图像,根据RANSAC内点作为筛选条件选取关键帧;以关键帧的ORB特征建立词典,比对词典相似性实现全局闭环检测,经过关键帧位姿变换,输出闭环校正后的位姿图,实现机器人位姿估计校正。关键帧闭环检测算法可在保证帧间配准的有效性的同时提高了检测实时性,实现了一种健壮、实时的SLAM后端优化算法。
图5所示为ORB关键帧闭环检测SLAM方法中基于视觉词袋的关键帧场景描述算法。闭环检测首先通过将关键帧的ORB特征进行聚类,采用视觉词典(BoVW)将特征描述子映射为视觉单词,通过对比关键帧视觉词典中的“单词”即可判断是否形成闭环。BoVW通过结构化描述关键帧,可使图像特征具有不变性,采取离散的单词表示方法可提高闭环检测效率。
对于本领域技术人员而言,显然本发明不限于示例性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明额范围由所附权力要求而不是上述说明先定,因为旨在将落在权力要求的等同要件的含义和范围内的所有变化囊括在本发明内。
此外,应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为了清除期间,本领域技术人员应当将说明书作为一个整体,各实施例中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。
Claims (6)
1.一种可提高机器人位姿一致性的ORB关键帧闭环检测SLAM方法,其特征在于:所述方法包括如下步骤:
首先,采用RGB-D传感器获取环境的彩色信息与深度信息,使用ORB特征提取图像特征;
接着,通过基于RANSAC-ICP帧间配准算法实现了机器人位姿估计,构建初始位姿图;
最后,通过提取KeyFrame关键帧中的ORB特征构建视觉词袋BoVW,当前关键帧与BoVW中的单词进行相似性比较,实现闭环关键帧检测,通过关键帧帧间配准检测添加位姿图约束,得到全局最优的机器人位姿。
2.如权利要求1所述的一种可提高机器人位姿一致性的ORB关键帧闭环检测SLAM方法,其特征在于:所述基于RANSAC-ICP帧间配准算法包括基于RANSAC算法的初始粗配准与基于ICP算法的精确配准,过程如下:
首先通过RANSAC算法对特征集进行初始配准,找到两帧中的最佳平移旋转变换,随后通过重投影误差RANSAC优化目标函数:
<mrow>
<msup>
<mi>T</mi>
<mo>*</mo>
</msup>
<mo>=</mo>
<mi>argmin</mi>
<mrow>
<mo>(</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mo>|</mo>
<msub>
<mi>A</mi>
<mi>f</mi>
</msub>
<mo>|</mo>
</mrow>
</mfrac>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>&Element;</mo>
<msub>
<mi>A</mi>
<mi>f</mi>
</msub>
</mrow>
</munder>
<mo>|</mo>
<mi>&pi;</mi>
<mo>(</mo>
<mrow>
<mi>T</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>f</mi>
<mi>s</mi>
<mi>i</mi>
</msubsup>
<mo>)</mo>
</mrow>
</mrow>
<mo>)</mo>
<mo>-</mo>
<mi>&pi;</mi>
<mo>(</mo>
<msubsup>
<mi>f</mi>
<mi>t</mi>
<mi>i</mi>
</msubsup>
<mo>)</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<mn>10</mn>
<mo>)</mo>
</mrow>
</mrow>
式中,Af包含了特征内点;分别表示场景帧和参考帧上关联点对的空间坐标;T(p)=R·p+t表示平移旋转变换矩阵;π(p)为参考帧摄像头上的投影变换函数。
3.如权利要求2所述的一种可提高机器人位姿一致性的ORB关键帧闭环检测SLAM方法,其特征在于:式(1-10)通过帧间稀疏BA方法进行优化;ICP迭代过程中,首先通过K-D树检索最近点实现点云关联,通过优化关联特征点与点云的联合误差函数实现全局位姿变换矩阵的优化,权重因子wj表示关联点对在误差函数中的重要性;
<mrow>
<msup>
<mi>T</mi>
<mo>*</mo>
</msup>
<mo>=</mo>
<munder>
<mrow>
<mi>arg</mi>
<mi>min</mi>
</mrow>
<mi>T</mi>
</munder>
<mrow>
<mo>&lsqb;</mo>
<mrow>
<mi>&alpha;</mi>
<mrow>
<mo>(</mo>
<mrow>
<mfrac>
<mn>1</mn>
<mrow>
<mo>|</mo>
<msub>
<mi>A</mi>
<mi>f</mi>
</msub>
<mo>|</mo>
</mrow>
</mfrac>
<munder>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>&Element;</mo>
<msub>
<mi>A</mi>
<mi>f</mi>
</msub>
</mrow>
</munder>
<mo>|</mo>
<mi>&pi;</mi>
<mrow>
<mo>(</mo>
<mrow>
<mi>T</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>f</mi>
<mi>s</mi>
<mi>i</mi>
</msubsup>
<mo>)</mo>
</mrow>
</mrow>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>&pi;</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>f</mi>
<mi>t</mi>
<mi>i</mi>
</msubsup>
<mo>)</mo>
</mrow>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
</mrow>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mrow>
<mo>(</mo>
<mrow>
<mn>1</mn>
<mo>-</mo>
<mi>&alpha;</mi>
</mrow>
<mo>)</mo>
</mrow>
<mrow>
<mo>(</mo>
<mrow>
<mfrac>
<mn>1</mn>
<msub>
<mi>A</mi>
<mi>d</mi>
</msub>
</mfrac>
<munder>
<mi>&Sigma;</mi>
<mrow>
<mi>j</mi>
<mo>&Element;</mo>
<msub>
<mi>A</mi>
<mi>d</mi>
</msub>
</mrow>
</munder>
<msub>
<mi>w</mi>
<mi>j</mi>
</msub>
<mo>|</mo>
<mo>(</mo>
<mrow>
<mi>T</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>p</mi>
<mi>s</mi>
<mi>j</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msubsup>
<mi>p</mi>
<mi>t</mi>
<mi>j</mi>
</msubsup>
</mrow>
<mo>)</mo>
<mo>&CenterDot;</mo>
<msubsup>
<mi>n</mi>
<mi>t</mi>
<mi>j</mi>
</msubsup>
<mo>)</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
<mo>&rsqb;</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mrow>
<mn>1</mn>
<mo>-</mo>
<mn>11</mn>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
式中,α为各投影变换函数件的权重因子。
4.如权利要求1~3之一所述的一种可提高机器人位姿一致性的ORB关键帧闭环检测SLAM方法,其特征在于:所述闭环关键帧检测方法中,通过KeyFrame选取算法,选取过程为:当前帧与上一关键帧通过RANSAC进行配准,如果配准内点值小于规定阈值,则认定其为关键帧;采用关键帧视觉词袋模型,该模型将关键帧的ORB特征聚类,利用视觉词典将特征描述子映射为视觉单词,通过对比关键帧中的“单词”,可判断两个关键帧是否形成闭环。
5.如权利要求4所述的一种可提高机器人位姿一致性的ORB关键帧闭环检测SLAM方法,其特征在于:所述关键帧选取过程描述为:在完成RANSAC-ICP精确估计后,利用当前帧与上一关键帧再次进行RANSAC-ICP配准,如果当前帧与关键帧之间的配准误差大于阈值,则认为该帧所在场景为新场景,该帧设为关键帧,反之,该帧为普通帧,用于位姿图构建,选取下一帧进行关键帧比对,其数学过程可描述为:
<mrow>
<msubsup>
<mi>F</mi>
<mrow>
<mi>j</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
<mi>k</mi>
</msubsup>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<msub>
<mi>F</mi>
<mi>j</mi>
</msub>
</mtd>
<mtd>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>{</mo>
<msub>
<mi>F</mi>
<mi>j</mi>
</msub>
<mo>|</mo>
<mi>i</mi>
<mi>n</mi>
<mi>l</mi>
<mi>i</mi>
<mi>e</mi>
<mi>r</mi>
<mrow>
<mo>(</mo>
<mi>P</mi>
<mi>e</mi>
<mi>r</mi>
<mi>f</mi>
<mi>o</mi>
<mi>r</mi>
<mi>m</mi>
<mo>_</mo>
<mi>R</mi>
<mi>A</mi>
<mi>N</mi>
<mi>S</mi>
<mi>A</mi>
<mi>C</mi>
<mo>_</mo>
<mi>A</mi>
<mi>l</mi>
<mi>i</mi>
<mi>g</mi>
<mi>n</mi>
<mi>m</mi>
<mi>e</mi>
<mi>n</mi>
<mi>t</mi>
<mo>(</mo>
<mrow>
<msubsup>
<mi>F</mi>
<mi>i</mi>
<mi>k</mi>
</msubsup>
<mo>,</mo>
<msub>
<mi>F</mi>
<mi>j</mi>
</msub>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo><</mo>
<mi>&theta;</mi>
<mo>}</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>j</mi>
<mo>></mo>
<mn>0</mn>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mrow>
<mn>1</mn>
<mo>-</mo>
<mn>12</mn>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
其中,为离j时刻最近的关键帧;Fj为当前帧。
6.如权利要求4所述的一种可提高机器人位姿一致性的ORB关键帧闭环检测SLAM方法,其特征在于:所述闭环关键帧检测方法的流程如下:
1)首先从所有图像中检测并提取关键帧,假设机器人位于地图场景中的某一关键帧位置,将生成的关键帧图像使用ORB特征描述符进行描述,关键帧图像I可表示为描述符集合D:I→{d1,…,dn};
2)提取每个关键帧场景的ORB特征并投影到BoVW中,将关键帧ORB特征点与视觉词典中的单词进行关联,视觉词典可表示为通过BoVW相似描述符聚类可构建视觉词典V,通过映射形成最邻近视觉字典,每一个视觉单词的ORB描述向量都是一个关联的视觉词表;
3)采用单词相似度的方式计算“单词”间距,形成关键帧场景的相似度,为获得场景相似度,计算关键帧图像Iu和Iv之间的余弦距离可得到二者BoVW的相似度,其过程为:
每一关键帧由不同权重的词汇聚类而成,每个词汇在全部图像N中出现的频率形成权重wi:
wi=log10(N/ni) (1-12)
式中ni表示di中包含图像的数量,若BoVW中包含|V|个不同的视觉单词,则图像矢量可描述为:其中关键帧中的单词权重为:
<mrow>
<msub>
<mi>u</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<msub>
<mi>w</mi>
<mi>i</mi>
</msub>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mi>f</mi>
<mi> </mi>
<msub>
<mi>d</mi>
<mi>i</mi>
</msub>
<mo>&Element;</mo>
<msub>
<mi>I</mi>
<mi>u</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mi>o</mi>
<mi>t</mi>
<mi>h</mi>
<mi>e</mi>
<mi>r</mi>
<mi>w</mi>
<mi>i</mi>
<mi>s</mi>
<mi>e</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<mn>13</mn>
<mo>)</mo>
</mrow>
</mrow>
得到每个单词权重后,即可求出其所在图像的权重,通过相似函数S可计算键帧图像Iu和Iv之间的相似度:
<mrow>
<mi>S</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>I</mi>
<mi>u</mi>
</msub>
<mo>,</mo>
<msub>
<mi>I</mi>
<mi>v</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mo>|</mo>
<mi>V</mi>
<mo>|</mo>
</mrow>
</munderover>
<msub>
<mi>u</mi>
<mi>i</mi>
</msub>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
</mrow>
<mrow>
<msqrt>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mo>|</mo>
<mi>V</mi>
<mo>|</mo>
</mrow>
</munderover>
<msubsup>
<mi>u</mi>
<mi>i</mi>
<mn>2</mn>
</msubsup>
</mrow>
</msqrt>
<mo>&CenterDot;</mo>
<msqrt>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mo>|</mo>
<mi>V</mi>
<mo>|</mo>
</mrow>
</munderover>
<msubsup>
<mi>v</mi>
<mi>i</mi>
<mn>2</mn>
</msubsup>
</mrow>
</msqrt>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<mn>14</mn>
<mo>)</mo>
</mrow>
</mrow>
通过上式可得相似矩阵进而判断图像间的相似度,图像i和图像j通过相似函数得到相似度矩阵Mi,j;
通过视觉词袋方法,关键帧闭环检测问题可转化为从图像序列L=[I1,I2,…]中找到两个相似度较高的子序列A=[a1,a2,…]和B=[b1,b2,…],从而实现闭环检测。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610298075.1A CN105856230B (zh) | 2016-05-06 | 2016-05-06 | 一种可提高机器人位姿一致性的orb关键帧闭环检测slam方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610298075.1A CN105856230B (zh) | 2016-05-06 | 2016-05-06 | 一种可提高机器人位姿一致性的orb关键帧闭环检测slam方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105856230A CN105856230A (zh) | 2016-08-17 |
CN105856230B true CN105856230B (zh) | 2017-11-24 |
Family
ID=56631378
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610298075.1A Expired - Fee Related CN105856230B (zh) | 2016-05-06 | 2016-05-06 | 一种可提高机器人位姿一致性的orb关键帧闭环检测slam方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105856230B (zh) |
Families Citing this family (90)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106355647A (zh) * | 2016-08-25 | 2017-01-25 | 北京暴风魔镜科技有限公司 | 增强现实系统和方法 |
CN106485744B (zh) * | 2016-10-10 | 2019-08-20 | 成都弥知科技有限公司 | 一种同步定位与地图构建方法 |
CN106557779A (zh) * | 2016-10-21 | 2017-04-05 | 北京联合大学 | 一种基于显著区域词袋模型的物体识别方法 |
CN108022264B (zh) * | 2016-11-01 | 2023-06-13 | 北京墨土科技有限公司 | 相机位姿确定方法及设备 |
CN106780608B (zh) * | 2016-11-23 | 2020-06-02 | 北京地平线机器人技术研发有限公司 | 位姿信息估计方法、装置和可移动设备 |
CN108256543A (zh) * | 2016-12-29 | 2018-07-06 | 纳恩博(北京)科技有限公司 | 一种定位方法及电子设备 |
CN107085422A (zh) * | 2017-01-04 | 2017-08-22 | 北京航空航天大学 | 一种基于Xtion设备的多功能六足机器人的远程控制系统 |
CN106908064B (zh) * | 2017-01-22 | 2019-12-27 | 电子科技大学 | 一种基于Kinect2传感器的室内夜间视觉导航方法 |
CN107063258A (zh) * | 2017-03-07 | 2017-08-18 | 重庆邮电大学 | 一种基于语义信息的移动机器人室内导航方法 |
CN107220932B (zh) * | 2017-04-18 | 2020-03-20 | 天津大学 | 基于词袋模型的全景图像拼接方法 |
CN107220995B (zh) * | 2017-04-21 | 2020-01-03 | 西安交通大学 | 一种基于orb图像特征的icp快速点云配准算法的改进方法 |
CN107316328B (zh) * | 2017-05-11 | 2020-07-07 | 浙江大学 | 一种基于二维激光扫描仪角点特征的闭环检测方法 |
CN107300917B (zh) * | 2017-05-23 | 2019-07-09 | 北京理工大学 | 一种基于分层架构的视觉slam后端优化方法 |
CN107274480B (zh) * | 2017-06-06 | 2021-07-20 | 山东大学深圳研究院 | 基于随机抽样一致性的对象运动特性重建方法 |
CN107160395B (zh) * | 2017-06-07 | 2020-10-16 | 中国人民解放军装甲兵工程学院 | 地图构建方法及机器人控制系统 |
CN107301654B (zh) * | 2017-06-12 | 2020-04-03 | 西北工业大学 | 一种多传感器的高精度即时定位与建图方法 |
CN107392964B (zh) * | 2017-07-07 | 2019-09-17 | 武汉大学 | 基于室内特征点和结构线结合的室内slam方法 |
GB201718507D0 (en) | 2017-07-31 | 2017-12-27 | Univ Oxford Innovation Ltd | A method of constructing a model of the motion of a mobile device and related systems |
CN107246876B (zh) * | 2017-07-31 | 2020-07-07 | 中北润良新能源汽车(徐州)股份有限公司 | 一种无人驾驶汽车自主定位与地图构建的方法及系统 |
CN107529650B (zh) * | 2017-08-16 | 2021-05-18 | 广州视源电子科技股份有限公司 | 闭环检测方法、装置及计算机设备 |
CN107314773B (zh) | 2017-08-18 | 2019-10-01 | 广东宝乐机器人股份有限公司 | 移动机器人的地图创建方法及基于该地图的路径规划方法 |
CN109426832A (zh) * | 2017-08-30 | 2019-03-05 | 湖南拓视觉信息技术有限公司 | 场景三维建模中的闭环检测方法、存储介质及电子设备 |
CN107796397B (zh) * | 2017-09-14 | 2020-05-15 | 杭州迦智科技有限公司 | 一种机器人双目视觉定位方法、装置和存储介质 |
CN107680133A (zh) * | 2017-09-15 | 2018-02-09 | 重庆邮电大学 | 一种基于改进闭环检测算法的移动机器人视觉slam方法 |
CN107886129B (zh) * | 2017-11-13 | 2021-06-08 | 湖南大学 | 一种基于视觉词袋的移动机器人地图闭环检测方法 |
CN109816769A (zh) * | 2017-11-21 | 2019-05-28 | 深圳市优必选科技有限公司 | 基于深度相机的场景地图生成方法、装置及设备 |
CN108230337B (zh) * | 2017-12-31 | 2020-07-03 | 厦门大学 | 一种基于移动端的语义slam系统实现的方法 |
CN108256060B (zh) * | 2018-01-16 | 2021-02-09 | 广州视源电子科技股份有限公司 | 一种闭环检测方法、装置、终端及存储介质 |
CN108458715B (zh) * | 2018-01-18 | 2020-05-15 | 亿嘉和科技股份有限公司 | 一种基于激光地图的机器人定位初始化方法 |
US10529089B2 (en) * | 2018-02-23 | 2020-01-07 | GM Global Technology Operations LLC | Crowd-sensed point cloud map |
WO2019169540A1 (zh) * | 2018-03-06 | 2019-09-12 | 斯坦德机器人(深圳)有限公司 | 紧耦合视觉slam的方法、终端及计算机可读存储介质 |
GB201804400D0 (en) * | 2018-03-20 | 2018-05-02 | Univ Of Essex Enterprise Limited | Localisation, mapping and network training |
CN108537848B (zh) * | 2018-04-19 | 2021-10-15 | 北京工业大学 | 一种面向室内场景重建的两级位姿优化估计方法 |
CN108594816B (zh) * | 2018-04-23 | 2021-10-29 | 长沙学院 | 一种通过改进orb-slam算法实现定位与构图的方法和系统 |
CN108680185B (zh) * | 2018-04-26 | 2020-09-22 | 广东宝乐机器人股份有限公司 | 移动机器人的陀螺仪数据校正方法、装置和设备 |
CN108846857A (zh) * | 2018-06-28 | 2018-11-20 | 清华大学深圳研究生院 | 视觉里程计的测量方法及视觉里程计 |
CN110727265B (zh) * | 2018-06-28 | 2022-09-23 | 深圳市优必选科技有限公司 | 机器人重定位的方法、装置以及存储装置 |
CN111098850A (zh) * | 2018-10-25 | 2020-05-05 | 北京初速度科技有限公司 | 一种自动停车辅助系统及自动泊车方法 |
CN109682385A (zh) * | 2018-11-05 | 2019-04-26 | 天津大学 | 一种基于orb特征的即时定位与地图构建的方法 |
CN109509230B (zh) * | 2018-11-13 | 2020-06-23 | 武汉大学 | 一种应用于多镜头组合式全景相机的slam方法 |
CN109658449B (zh) * | 2018-12-03 | 2020-07-10 | 华中科技大学 | 一种基于rgb-d图像的室内场景三维重建方法 |
CN109579844B (zh) * | 2018-12-04 | 2023-11-21 | 电子科技大学 | 定位方法及系统 |
CN111415387B (zh) * | 2019-01-04 | 2023-12-29 | 南京人工智能高等研究院有限公司 | 相机位姿确定方法、装置、电子设备及存储介质 |
CN109816686A (zh) * | 2019-01-15 | 2019-05-28 | 山东大学 | 基于物体实例匹配的机器人语义slam方法、处理器及机器人 |
CN109814572B (zh) * | 2019-02-20 | 2022-02-01 | 广州市山丘智能科技有限公司 | 移动机器人定位建图方法、装置、移动机器人和存储介质 |
CN110223348B (zh) * | 2019-02-25 | 2023-05-23 | 湖南大学 | 基于rgb-d相机的机器人场景自适应位姿估计方法 |
CN109902619B (zh) * | 2019-02-26 | 2021-08-31 | 上海大学 | 图像闭环检测方法及系统 |
CN110060282B (zh) * | 2019-03-27 | 2021-06-08 | 东软睿驰汽车技术(沈阳)有限公司 | 一种点云配准的方法及装置 |
CN110243370A (zh) * | 2019-05-16 | 2019-09-17 | 西安理工大学 | 一种基于深度学习的室内环境三维语义地图构建方法 |
CN110196044A (zh) * | 2019-05-28 | 2019-09-03 | 广东亿嘉和科技有限公司 | 一种基于gps闭环检测的变电站巡检机器人建图方法 |
CN110148164B (zh) * | 2019-05-29 | 2021-10-26 | 阿波罗智能技术(北京)有限公司 | 转换矩阵生成方法及装置、服务器及计算机可读介质 |
CN110222761B (zh) * | 2019-05-31 | 2023-01-17 | 中国民航大学 | 基于数字地标地图的室内定位系统及室内定位方法 |
CN110378997B (zh) * | 2019-06-04 | 2023-01-20 | 广东工业大学 | 一种基于orb-slam2的动态场景建图与定位方法 |
CN110287974A (zh) * | 2019-06-24 | 2019-09-27 | 中国矿业大学 | 一种综采工作面激光扫描三维模型与gis模型快速匹配方法 |
CN110428467B (zh) * | 2019-07-30 | 2020-05-19 | 四川大学 | 一种相机、imu和激光雷达联合的机器人定位方法 |
CN110501017A (zh) * | 2019-08-12 | 2019-11-26 | 华南理工大学 | 一种基于orb_slam2的移动机器人导航地图生成方法 |
CN110554405B (zh) * | 2019-08-27 | 2021-07-30 | 华中科技大学 | 一种基于组合聚类的正态扫描配准方法和系统 |
CN110531618B (zh) * | 2019-08-27 | 2020-07-31 | 河海大学 | 基于有效关键帧的闭环检测机器人自定位误差消除方法 |
CN111060115B (zh) * | 2019-11-29 | 2022-03-22 | 中国科学院计算技术研究所 | 一种基于图像边缘特征的视觉slam方法及系统 |
CN110887490B (zh) * | 2019-11-29 | 2023-08-29 | 上海有个机器人有限公司 | 一种激光定位导航的关键帧选取方法、介质、终端和装置 |
CN111340870B (zh) * | 2020-01-15 | 2022-04-01 | 西安交通大学 | 基于视觉的拓扑地图生成方法 |
CN111260661B (zh) * | 2020-01-15 | 2021-04-20 | 江苏大学 | 一种基于神经网络技术的视觉语义slam系统及方法 |
CN111275763B (zh) * | 2020-01-20 | 2023-10-13 | 深圳市普渡科技有限公司 | 闭环检测系统、多传感器融合slam系统及机器人 |
CN111258313B (zh) * | 2020-01-20 | 2022-06-07 | 深圳市普渡科技有限公司 | 多传感器融合slam系统及机器人 |
CN111311684B (zh) * | 2020-04-01 | 2021-02-05 | 亮风台(上海)信息科技有限公司 | 一种进行slam初始化的方法与设备 |
CN113552864A (zh) * | 2020-04-15 | 2021-10-26 | 深圳市镭神智能系统有限公司 | 自移动主体的定位方法、装置、自移动主体及存储介质 |
CN111540016B (zh) * | 2020-04-27 | 2023-11-10 | 深圳南方德尔汽车电子有限公司 | 基于图像特征匹配的位姿计算方法、装置、计算机设备及存储介质 |
CN111505662B (zh) * | 2020-04-29 | 2021-03-23 | 北京理工大学 | 一种无人驾驶车辆定位方法及系统 |
CN113701766B (zh) * | 2020-05-20 | 2024-09-20 | 浙江欣奕华智能科技有限公司 | 一种机器人地图的构建方法、机器人的定位方法及装置 |
CN111914832B (zh) * | 2020-06-03 | 2023-06-13 | 华南理工大学 | 一种rgb-d相机在动态场景下的slam方法 |
CN111812978B (zh) * | 2020-06-12 | 2023-01-24 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种多无人机协作slam方法与系统 |
CN111882494B (zh) * | 2020-06-28 | 2024-05-14 | 广州文远知行科技有限公司 | 位姿图处理方法、装置、计算机设备和存储介质 |
CN111750864B (zh) * | 2020-06-30 | 2022-05-13 | 杭州海康机器人技术有限公司 | 一种基于视觉地图的重定位方法和装置 |
CN112146654B (zh) * | 2020-08-25 | 2022-08-23 | 浙江大学 | 基于关键约束帧的前视成像声呐水下定位与导航方法 |
CN111951341A (zh) * | 2020-08-25 | 2020-11-17 | 桂林电子科技大学 | 一种基于rgb-d slam的闭环检测改进方法 |
CN112631271A (zh) * | 2020-10-09 | 2021-04-09 | 南京凌华微电子科技有限公司 | 一种基于机器人感知融合的地图生成方法 |
CN112541423A (zh) * | 2020-12-09 | 2021-03-23 | 北京理工大学重庆创新中心 | 一种同步定位与地图构建方法和系统 |
CN112461210B (zh) * | 2020-12-18 | 2021-12-24 | 湖南大学 | 一种空地协同建筑测绘机器人系统及其测绘方法 |
CN112880675B (zh) * | 2021-01-22 | 2023-04-07 | 京东科技信息技术有限公司 | 用于视觉定位的位姿平滑方法、装置、终端和移动机器人 |
CN112991449B (zh) * | 2021-03-22 | 2022-12-16 | 华南理工大学 | 一种agv定位与建图方法、系统、装置及介质 |
CN113377987B (zh) * | 2021-05-11 | 2023-03-28 | 重庆邮电大学 | 基于ResNeSt-APW的多模块闭环检测方法 |
CN113192153B (zh) * | 2021-05-26 | 2022-10-11 | 清华大学 | 基于子地图的多智能体协同地图构建方法和装置 |
US12030191B2 (en) * | 2021-10-28 | 2024-07-09 | Ubkang (Qingdao) Technology Co., Ltd. | Vision-guided picking and placing method, mobile robot and computer-readable storage medium |
CN114216465B (zh) * | 2021-12-08 | 2022-11-01 | 哈尔滨工程大学 | 一种海底地形导航并行匹配方法 |
CN114603555B (zh) * | 2022-02-24 | 2023-12-08 | 江西省智能产业技术创新研究院 | 移动机器人初始位姿估计方法、系统、计算机及机器人 |
CN114663506B (zh) * | 2022-03-08 | 2024-09-17 | 安徽信息工程学院 | 一种基于阈值约束的鲁棒闭环检测方法、系统、存储介质及设备 |
CN114694013B (zh) * | 2022-04-11 | 2022-11-15 | 北京理工大学 | 一种分布式多机协同视觉slam方法与系统 |
CN114800499B (zh) * | 2022-04-20 | 2023-08-25 | 北京三快在线科技有限公司 | 位姿调整方法、装置、计算机可读存储介质及电子设备 |
CN115937011B (zh) * | 2022-09-08 | 2023-08-04 | 安徽工程大学 | 一种基于时滞特征回归的关键帧位姿优化视觉slam方法、存储介质及设备 |
CN115376051B (zh) * | 2022-10-25 | 2023-03-24 | 杭州华橙软件技术有限公司 | 关键帧的管理方法及管理装置、slam方法、电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101976258A (zh) * | 2010-11-03 | 2011-02-16 | 上海交通大学 | 基于对象分割和特征加权融合的视频语义提取方法 |
CN102542295A (zh) * | 2012-01-08 | 2012-07-04 | 西北工业大学 | 一种采用图像分类技术从遥感图像中进行滑坡检测的方法 |
CN103247075A (zh) * | 2013-05-13 | 2013-08-14 | 北京工业大学 | 基于变分机制的室内环境三维重建方法 |
CN104851094A (zh) * | 2015-05-14 | 2015-08-19 | 西安电子科技大学 | 一种基于rgb-d的slam算法的改进方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9280827B2 (en) * | 2013-07-03 | 2016-03-08 | Mitsubishi Electric Research Laboratories, Inc. | Method for determining object poses using weighted features |
KR101708659B1 (ko) * | 2014-06-17 | 2017-02-22 | 주식회사 유진로봇 | 이동 로봇의 맵을 업데이트하기 위한 장치 및 그 방법 |
-
2016
- 2016-05-06 CN CN201610298075.1A patent/CN105856230B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101976258A (zh) * | 2010-11-03 | 2011-02-16 | 上海交通大学 | 基于对象分割和特征加权融合的视频语义提取方法 |
CN102542295A (zh) * | 2012-01-08 | 2012-07-04 | 西北工业大学 | 一种采用图像分类技术从遥感图像中进行滑坡检测的方法 |
CN103247075A (zh) * | 2013-05-13 | 2013-08-14 | 北京工业大学 | 基于变分机制的室内环境三维重建方法 |
CN104851094A (zh) * | 2015-05-14 | 2015-08-19 | 西安电子科技大学 | 一种基于rgb-d的slam算法的改进方法 |
Also Published As
Publication number | Publication date |
---|---|
CN105856230A (zh) | 2016-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105856230B (zh) | 一种可提高机器人位姿一致性的orb关键帧闭环检测slam方法 | |
CN111258313B (zh) | 多传感器融合slam系统及机器人 | |
CN112258618B (zh) | 基于先验激光点云与深度图融合的语义建图与定位方法 | |
CN111076733B (zh) | 一种基于视觉与激光slam的机器人室内建图方法及系统 | |
CN110223348A (zh) | 基于rgb-d相机的机器人场景自适应位姿估计方法 | |
CN104732518B (zh) | 一种基于智能机器人地面特征的ptam改进方法 | |
CN109671120A (zh) | 一种基于轮式编码器的单目slam初始化方法及系统 | |
CN107843251B (zh) | 移动机器人的位姿估计方法 | |
CN106940704A (zh) | 一种基于栅格地图的定位方法及装置 | |
CN108280858B (zh) | 多视图重建中的一种线性全局相机运动参数估计方法 | |
CN112183171A (zh) | 一种基于视觉信标建立信标地图方法、装置 | |
CN108229416A (zh) | 基于语义分割技术的机器人slam方法 | |
CN111998862B (zh) | 一种基于bnn的稠密双目slam方法 | |
CN104615880B (zh) | 一种三维激光雷达点云匹配的快速icp方法 | |
CN108871284B (zh) | 基于直线特征约束的三维空间相似变换模型参数的无初值求解方法 | |
JP7173471B2 (ja) | 3次元位置推定装置及びプログラム | |
CN111798373A (zh) | 一种基于局部平面假设及六自由度位姿优化的快速无人机图像拼接方法 | |
CN114088081A (zh) | 一种基于多段联合优化的用于精确定位的地图构建方法 | |
CN111812978B (zh) | 一种多无人机协作slam方法与系统 | |
Kostavelis et al. | Visual odometry for autonomous robot navigation through efficient outlier rejection | |
CN116577801A (zh) | 一种基于激光雷达和imu的定位与建图方法及系统 | |
CN116097307A (zh) | 图像的处理方法及相关设备 | |
CN116844124A (zh) | 三维目标检测框标注方法、装置、电子设备和存储介质 | |
Buck et al. | Capturing uncertainty in monocular depth estimation: Towards fuzzy voxel maps | |
Zhao et al. | Linear MonoSLAM: A linear approach to large-scale monocular SLAM problems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20171124 |