CN112025709B - 一种基于车载摄像头视觉的移动机器人定位系统及方法 - Google Patents

Abstract

本发明公开了一种基于车载摄像头视觉的移动机器人定位系统及方法，基于车载摄像头视觉的移动机器人定位系统硬件平台包括轮式移动机器人，RGB‑D摄像头、Jetson TX2计算单元。基于车载摄像头视觉的轮式移动机器人定位方法依次经过图像处理、位置跟踪、局部建图、回环检测等流程环节，在不依赖GPS信号的条件下即能够完成轮式移动机器人在室外或者室内环境的实时定位。本发明定位精度较高，可靠性较好，操作简单，设备成本较低，实用性较强。

Description

一种基于车载摄像头视觉的移动机器人定位系统及方法

技术领域

本发明属于移动机器人定位技术领域，具体来说，涉及一种基于车载摄像头视觉的移动机器人定位系统及方法。

背景技术

20世纪中叶，现代意义上的机器人诞生，在此之后，随着控制技术、电子技术与计算机技术的突飞猛进，机器人的智能化水平不断提高。如今，机器人已经深入到了社会生活的各个领域。机器人的种类繁多，形态与功能各异，其中，移动机器人作为机器人研究领域的一个重要分支，在交通、军事、教育以及餐饮等众多行业都有了实质性的突破。依据移动机器人的运动方式，可以将移动机器人分成轮式机器人、履带机器人和足式机器人。轮式移动机器人凭借结构简单、运动灵活等优点，得到了广泛应用和研究。

针对轮式移动机器人的主要研究问题包括定位、建图、路径规划和控制。其中，定位是最基础的问题。在室外，大多数机器人可以利用GPS进行定位，该技术成熟稳定，成本低廉。但是民用GPS的定位精度较低，平均为10m，一般来说，GPS定位要与惯性导航技术等其他定位技术结合使用，才能达到满足移动机器人控制要求的定位精度。而同时，在室内环境下，GPS信号较弱，因此GPS定位并不适用于室内环境。室内的移动机器人一般采用主动定位方式进行定位，需要在移动机器人上安装激光传感器、视觉传感器、惯性传感器等设备，使得移动机器人具有主动感知外部环境的能力，再通过一定的算法对机器人当前的位姿进行计算。

文献(Davison A J,Reid I D,Molton N D,et al.MonoSLAM:Real-time singlecamera SLAM[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2007(6):1052-1067)提出了MonoSLAM算法，该算法使用单目摄像头实现了实时视觉SLAM。文献(Ra′ul Mur-Artal.ORB-SLAM:A versatile and accurate monocular SLAM system[J].IEEE Transactions on Robotics,2015,31(5):1147-1163)提出了ORB-SLAM算法，该算法使用了前端与后端分开的架构，并在回环检测和非线性优化上做了改进，是当下流行的视觉SLAM方案。

发明内容

发明目的：针对现有轮式移动机器人定位技术的缺陷或改进需求，本发明提供了一种基于车载摄像头视觉的移动机器人定位系统及方法。

技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于车载摄像头视觉的移动机器人定位系统及方法，其中，基于车载摄像头视觉的移动机器人定位系统硬件平台包括轮式移动机器人、RGB-D摄像头、Jetson TX2计算单元，所述轮式移动机器人搭载STM32单片机控制器，所述RGB-D摄像头搭载在轮式移动机器人用于拍摄图像帧，所述Jetson TX2计算单元用于接收RGB-D摄像头拍摄的图像帧并进行处理最终完成对轮式移动机器人位置的实时定位。

而基于车载摄像头视觉的移动机器人定位方法依次经过图像处理、位置跟踪、局部建图、回环检测等流程环节，在不依赖GPS信号的条件下即能够完成轮式移动机器人在室外或者室内环境的实时定位，其主要包括以下步骤：

步骤一、图像处理：Jetson TX2计算单元接收RGB-D摄像头拍摄的图像帧，经过图像处理后，输出包含带有BRIEF描述子的ORB特征点的图像帧；

步骤二、位置跟踪：基于BA优化算法，利用步骤一中输出的带有ORB特征点的图像帧，在全局地图中实现对轮式移动机器人上所搭载RGB-D摄像头的位姿定位，进而完成对轮式移动机器人的位置跟踪；

步骤三、局部建图：进行关键帧筛选、关键帧位姿优化和局部地图点位姿优化；

步骤四、回环检测：使用图像匹配的方式判断路径是否形成回环，若形成回环则可根据回环路径上各个位置之间的相互关联关系对路径进行修正，同时对所建地图中的关键帧位姿和地图点位姿进行修正。

进一步地，所述步骤一中，定位方法的图像处理环节采用GPU加速的ORB特征点提取与匹配算法，主要过程为：

首先，Jetson TX2计算单元的CPU接收RGB-D摄像头拍摄的图像帧，并上传至Jetson TX2计算单元的GPU；

而后，CPU等待GPU提取图像帧的ORB特征点，提取结束后接收GPU提取出的图像帧的ORB特征点，并进行筛选，筛选后的图像帧的ORB特征点再次上传至GPU；

最后，GPU完成BRIEF描述子计算后将计算结果上传至CPU，CPU最终得到包含带有BRIEF描述子的完整的ORB特征点的图像帧并输出。

进一步地，所述步骤二中具体包括如下步骤：

(1)假设轮式移动机器人是做匀速直线运动的，采用基于运动模型的定位方法进行移动机器人的位置跟踪，然后验证该假设是否成立，如果该假设成立则转入步骤(3)，如果该假设不成立则转入步骤(2)。

所述基于运动模型的定位方法具体过程如下：

首先，假设上一图像帧的相机位姿为F_n-1，上一图像帧到当前图像帧的位姿变换矩阵为T_n，则计算出当前图像帧位姿F_n＝T_n×F_n-1；

而后，选择上一图像帧所观测到的地图点集合S，对于集合S中的每一个特征点p，

将p反投影到当前图像帧中，位置为p′，设置阈值r，如果p′在当前图像帧以r为半径的区域内存在与之匹配的ORB特征点，则p点匹配成功，否则匹配失败舍去该特征点，上一图像帧所观测到的地图点集合S中匹配成功的ORB特征点组成集合S′，大小为n₁。设置阈值N₁，若n₁<N₁，则该算法失效，假设错误，直接转入步骤(2)；

否则继续执行，以所计算出的当前图像帧位姿F_n和S′作为BA优化算法的输入，迭代出理论上更加精确的新的当前图像帧位姿F′_n。如果BA优化算法所筛选出的合格匹配点个数大于10，F′_n即为该算法所得到的最终结果，转入步骤(3)，否则该算法失效，转入步骤(2)。

(2)在基于运动模型的定位方法失效时，采用基于参考关键帧的定位方法进行移动机器人的位置跟踪，如果该方法执行成功则转入步骤(3)，如果该方法执行不成功则转入步骤(4)，参考帧设置为上一图像帧，其具体过程如下：

首先，将上一图像帧与当前图像帧的ORB特征点进行匹配，并将匹配成功且存在对应地图点的ORB特征点放入集合S′，设S′的大小为n₁，设置阈值N₁，如果n₁<N₁，则该算法失效，直接转入步骤(4)；

否则继续执行，将上一图像帧位姿作为当前图像帧的初始位姿F_n，S′与F_n作为BA优化算法的输入，得到新的当前图像帧图像位姿F′_n。如果BA优化算法所筛选出的合格匹配点个数大于10，F′_n即为该算法所得到的最终结果，转入步骤(3)，否则该算法失效，转入步骤(4)；

(3)局部地图定位方法：

建立一个局部地图，它包含当前图像帧附近范围内的所有地图点，设这些地图点的集合为S_small。

以步骤(1)或步骤(2)中得到的新的当前图像帧位姿F′_n和S_small作为BA优化算法的输入，得到新的更加精确的当前图像帧位姿F″_n。如果BA优化算法所筛选出得合格匹配点个数大于30，F″_n即为该算法所得的最终结果，转入步骤三，否则该算法失效，转入步骤(4)；

(4)重定位：

在当基于运动模型的定位方法、基于参考关键帧的定位方法和局部地图定位方法都失效情况下，对全局的关键帧进行搜索，选取合适的关键帧作为候选帧，其具体过程如下：

首先，搜索所有关键帧，对于每一个关键帧，将其ORB特征点与当前图像帧ORB特征点进行匹配，设成功匹配的ORB特征点数量为n₂，设置阈值N₂，如果n₂>N₂，则该关键帧入选候选帧；

而后，依此将候选帧与当前图像帧进行位姿优化，设所选候选帧的位姿为F，当前图像帧与候选帧所共视的地图点集合为S_c，将F与S_c作为BA算法得输入，如果BA优化算法所筛选出得合格匹配点个数大于30，F即为该算法所得的最终结果，转入步骤三；否则该算法失效，输出跟踪信号丢失信号。

进一步地，所述步骤三中，定位方法的局部建图环节具体过程如下：

首先，对关键帧进行筛选，删除重复度较高的关键帧，设某关键帧所能观测到的地图点总数为N₃，该关键帧与另一关键帧所能共同观测到的地图点数量为n₃，则重复度为

而后，对局部地图点筛选，剔除地图中质量不好的地图点，衡量地图点的质量好坏的指标有两个，分别是可以观测到该地图点的关键帧的个数和与该地图点相似度过高的地图点个数，前者越高或后者越低，地图点质量越好；

最后，进行局部BA优化，根据关键帧与地图点观测与被观测的关系构建位姿图(Pose Graph)，应用图优化方法进行BA优化。

进一步地，所述步骤四中，定位方法的回环检测环节有两个主要过程，分别是筛选回环候选帧和局部BA优化。筛选回环候选帧需要用到基于词袋模型的图像匹配，该算法可以得到两个图像帧之间的相似度，当相似度大于设定阈值，则认为发生回环。在确认发生回环之后，还需要对回环路径上的关键帧和所能观测到的地图点进行优化，根据关键帧与地图点观测与被观测的关系构建位姿图(Pose Graph)，应用图优化方法进行BA优化。

有益效果：本发明采用以上技术方案与现有技术相比，具有以下技术效果：

(1)本发明提出的基于车载摄像头视觉的移动机器人定位系统及方法在不依赖GPS信号的条件下即能够完成轮式移动机器人在室外或者室内环境的实时定位，应用广泛，实用性强。

(2)本发明提出的基于车载摄像头视觉的移动机器人定位系统及方法定位精度较高，鲁棒性较好。

(3)本发明提出的基于车载摄像头视觉的移动机器人定位系统及方法硬件设备成本较低且易于实现，具有很高的普适性。

附图说明

图1为基于车载摄像头视觉的轮式移动机器人定位系统硬件组成框图；

图2为基于车载摄像头视觉的轮式移动机器人定位方法软件架构框图；

图3为基于车载摄像头视觉的轮式移动机器人定位方法图像处理环节算法流程图；

图4为基于车载摄像头视觉的轮式移动机器人定位方法位置跟踪环节算法流程图；

图5为基于车载摄像头视觉的轮式移动机器人定位方法局部建图环节算法流程图；

图6为基于车载摄像头视觉的轮式移动机器人定位方法回环检测环节算法流程图；

图7为基于车载摄像头视觉的轮式移动机器人定位系统实验测试所得轮式移动机器人运动轨迹图，其中图7(a)对应实验室房间场景，图7(b)对应楼道走廊场景。

具体实施方式

为了使本发明目的、技术方案及有益效果更加清楚明白，以下结合附图及实验测试，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

基于车载摄像头视觉的移动机器人定位系统硬件平台组成框图如图1所示，包括轮式移动机器人、RGB-D摄像头、Jetson TX2计算单元，所述轮式移动机器人搭载STM32单片机控制器，这里以麦克纳姆轮轮式移动机器人为例，所述RGB-D摄像头搭载在轮式移动机器人用于拍摄图像帧，所述Jetson TX2计算单元用于接收RGB-D摄像头拍摄的图像帧并进行处理最终完成对轮式移动机器人位置的实时定位。

基于车载摄像头视觉的移动机器人定位方法主要包括图像处理、位置跟踪、局部建图、回环检测等流程环节，软件架构框图如图2所示。本发明中涉及的位姿均是相对于世界坐标系。其具体步骤如下：

步骤一、图像处理：Jetson TX2计算单元接收RGB-D摄像头拍摄的图像帧，经过图像处理后，输出包含带有BRIEF描述子的ORB特征点的图像帧，其算法流程图如图3所示。

首先，Jetson TX2计算单元的CPU接收RGB-D摄像头拍摄的图像帧，并上传至Jetson TX2计算单元的GPU；

而后，CPU等待GPU提取图像帧的ORB特征点，提取结束后接收GPU提取出的图像帧的ORB特征点，并进行筛选，筛选后的图像帧的ORB特征点再次上传至GPU；

最后，GPU完成BRIEF描述子计算后将计算结果上传至CPU，CPU最终得到包含带有BRIEF描述子的完整的ORB特征点的图像帧并输出。

步骤二、位置跟踪：基于BA优化算法，利用步骤一中输出的带有ORB特征点的图像帧，在全局地图中实现对轮式移动机器人上所搭载RGB-D摄像头的位姿定位，进而完成对轮式移动机器人的位置跟踪，其算法流程图如图4所示。

定位方法的位置跟踪环节具体包括如下步骤：

(1)假设轮式移动机器人是做匀速直线运动的，采用基于运动模型的定位方法进行移动机器人的位置跟踪，然后验证该假设是否成立，如果该假设成立则转入步骤(3)，如果该假设不成立则转入步骤(2)。

所述基于运动模型的定位方法具体过程如下：

首先，假设上一图像帧的相机位姿为F_n-1，上一图像帧到当前图像帧的位姿变换矩阵为T_n，则计算出当前图像帧位姿F_n＝T_n×F_n-1；

而后，选择上一图像帧所观测到的地图点集合S，对于集合S中的每一个特征点p，

将p反投影到当前图像帧中，位置为p′，设置阈值r，如果p′在当前图像帧以r为半径的区域内存在与之匹配的ORB特征点，则p点匹配成功，否则匹配失败舍去该特征点，上一图像帧所观测到的地图点集合S中匹配成功的ORB特征点组成集合S′，大小为n₁。设置阈值N₁。阈值N₁的限定一般在15-30范围内，本实施例中阈值N₁取25。若n₁<N₁，则该算法失效，假设错误，直接转入步骤(2)；

否则继续执行，以所计算出的当前图像帧位姿F_n和S′作为BA优化算法的输入，迭代出理论上更加精确的新的当前图像帧位姿F′_n。如果BA优化算法所筛选出的合格匹配点个数大于10，F′_n即为该算法所得到的最终结果，转入步骤(3)，否则该算法失效，转入步骤(2)。

(2)在基于运动模型的定位方法失效时，采用基于参考关键帧的定位方法进行移动机器人的位置跟踪，如果该方法执行成功则转入步骤(3)，如果该方法执行不成功则转入步骤(4)，参考帧设置为上一图像帧，其具体过程如下：

首先，将上一图像帧与当前图像帧的ORB特征点进行匹配，并将匹配成功且存在对应地图点的ORB特征点放入集合S′，设S′的大小为n₁，设置阈值N₁。阈值N₁的限定一般在15-30范围内，本实施例中阈值N₁取25。如果n₁<N₁，则该算法失效，直接转入步骤(4)；

否则继续执行，将上一图像帧位姿作为当前图像帧的初始位姿F_n，S′与F_n作为BA优化算法的输入，得到新的当前图像帧图像位姿F′_n。如果BA优化算法所筛选出的合格匹配点个数大于10，F′_n即为该算法所得到的最终结果，转入步骤(3)，否则该算法失效，转入步骤(4)；

(3)局部地图定位方法：

建立一个局部地图，它包含当前图像帧附近范围内的所有地图点，设这些地图点的集合为S_small。

以步骤(1)或步骤(2)中得到的新的当前图像帧位姿F′_n和S_small作为BA优化算法的输入，得到新的更加精确的当前图像帧位姿F″_n。如果BA优化算法所筛选出得合格匹配点个数大于30，F″_n即为该算法所得的最终结果，转入步骤三，否则该算法失效，转入步骤(4)；

(4)重定位：

在当基于运动模型的定位方法、基于参考关键帧的定位方法和局部地图定位方法都失效情况下，对全局的关键帧进行搜索，选取合适的关键帧作为候选帧，其具体过程如下：

首先，搜索所有关键帧，对于每一个关键帧，将其ORB特征点与当前图像帧ORB特征点进行匹配，设成功匹配的ORB特征点数量为n₂，设置阈值N₂。阈值N₂的限定一般在35-50范围内，本实施例中阈值N₂取45。如果n₂>N₂，则该关键帧入选候选帧；

而后，依此将候选帧与当前图像帧进行位姿优化，设所选候选帧的位姿为F，当前图像帧与候选帧所共视的地图点集合为S_c，将F与S_c作为BA算法得输入，如果BA优化算法所筛选出得合格匹配点个数大于30，F即为该算法所得的最终结果，转入步骤三；否则该算法失效，输出跟踪信号丢失信号。

步骤三、局部建图：进行关键帧筛选、关键帧位姿优化和局部地图点位姿优化，其算法流程图如图5所示。

首先，对关键帧进行筛选，删除重复度较高的关键帧，设某关键帧所能观测到的地图点总数为N₃，该关键帧与另一关键帧所能共同观测到的地图点数量为n₃，则重复度为

本实施例中对与某一关键帧重复度超过80％的其他关键帧进行删除；

而后，对局部地图点筛选，剔除地图中质量不好的地图点，衡量地图点的质量好坏的指标有两个，分别是可以观测到该地图点的关键帧的个数和与该地图点相似度过高的地图点个数，前者越高或后者越低，地图点质量越好。本实施例中，针对可以观测到该地图点的关键帧的个数少于4或与该地图点相似度过高的地图点个数超过10的地图点进行剔除；

最后，进行局部BA优化，根据关键帧与地图点观测与被观测的关系构建位姿图(Pose Graph)，应用图优化方法进行BA优化。

步骤四、回环检测：使用图像匹配的方式判断路径是否形成回环，若形成回环则可根据回环路径上各个位置之间的相互关联关系对路径进行修正，同时对所建地图中的关键帧位姿和地图点位姿进行修正，其算法流程图如图6所示。

定位方法的回环检测环节有两个主要过程，分别是筛选回环候选帧和局部BA优化。筛选回环候选帧需要用到基于词袋模型的图像匹配，该算法可以得到两个图像帧之间的相似度，当相似度大于设定阈值，则认为发生回环，本实施例中设定阈值取80％。在确认发生回环之后，还需要对回环路径上的关键帧和所能观测到的地图点进行优化，根据关键帧与地图点观测与被观测的关系构建位姿图(Pose Graph)，应用图优化方法进行BA优化。为了验证系统的性能，在真实环境下的对定位系统及其定位方法进行了测试，测试选择了两种场景，分别为实验室房间和楼道走廊，图7为实验测试轮式移动机器人运动轨迹，其中图7(a)对应实验室房间场景，图7(b)对应楼道走廊场景。

为了测试真实环境下的定位精度，设计了如下实验：

a)在地面上做两个标记，设位置分别为A点和B点，直接测量出A、B两点之间的距离直线距离l。

b)让轮式机器人从A点走到B点，使用视觉SLAM系统测量A、B两点之间的直线距离l′。对比l和l′即可得出视觉SLAM系统的精度。再求出其均值，标准差。标准差的计算公式为：

其中，σ表示标准差，N表示该组数据总量，x_i表示测量值，μ表示该组数据的平均值。

绝对误差的计算公式为：

δ_i＝|x_i-x₀|,i＝1,2,3...N

其中，δ_i表示绝对误差，x_i表示测量值，x₀表示真实值。

相对误差的计算公式为：

其中，γ_i表示相对误差，x_i表示测量值，x₀表示真实值。

数据表明，定位结果的绝对误差在5cm左右，与期望结果接近。

Claims (3)

1.一种用基于车载摄像头视觉的移动机器人定位系统进行移动机器人定位方法，所述基于车载摄像头视觉的移动机器人定位系统，硬件平台包括轮式移动机器人、RGB-D摄像头、Jetson TX2计算单元，所述轮式移动机器人搭载STM32单片机控制器，所述RGB-D摄像头搭载在轮式移动机器人上用于拍摄图像帧，所述Jetson TX2计算单元用于接收RGB-D摄像头拍摄的图像帧并进行处理最终完成对轮式移动机器人位置的实时定位，其特征在于，该方法包括以下步骤：

步骤一、图像处理：Jetson TX2计算单元接收RGB-D摄像头拍摄的图像帧，经过图像处理后，输出包含带有BRIEF描述子的ORB特征点的图像帧；

步骤二、位置跟踪：基于BA优化算法，利用步骤一中输出的带有ORB特征点的图像帧，在全局地图中实现对轮式移动机器人上所搭载RGB-D摄像头的位姿定位，进而完成对轮式移动机器人的位置跟踪；

步骤三、局部建图：进行关键帧筛选、关键帧位姿优化和局部地图点位姿优化；

步骤四、回环检测：使用图像匹配的方式判断路径是否形成回环，若形成回环则可根据回环路径上各个位置之间的相互关联关系对路径进行修正，同时对所建地图中的关键帧位姿和地图点位姿进行修正；

所述步骤一中，所述图像处理环节采用GPU加速的ORB特征点提取与匹配算法，具体过程为：

首先，Jetson TX2计算单元的CPU接收RGB-D摄像头拍摄的图像帧，并上传至JetsonTX2计算单元的GPU；

而后，CPU等待GPU提取图像帧的ORB特征点，提取结束后接收GPU提取出的图像帧的ORB特征点，并进行筛选，筛选后的图像帧的ORB特征点再次上传至GPU；

最后，GPU完成BRIEF描述子计算后将计算结果上传至CPU，CPU最终得到包含带有BRIEF描述子的完整的ORB特征点的图像帧并输出；

所述步骤二中具体包括如下步骤：

(1)假设轮式移动机器人是做匀速直线运动的，采用基于运动模型的定位方法进行移动机器人的位置跟踪，然后验证该假设是否成立，如果该假设成立则转入步骤(3)，如果该假设不成立则转入步骤(2)，

所述基于运动模型的定位方法具体过程如下：

首先，假设上一图像帧的相机位姿为F_n-1，上一图像帧到当前图像帧的位姿变换矩阵为T_n，则计算出当前图像帧位姿F_n＝T_n×F_n-1；

而后，选择上一图像帧所观测到的地图点集合S，对于集合S中的每一个特征点p，

将p反投影到当前图像帧中，位置为p′，设置阈值r，如果p′在当前图像帧以r为半径的区域内存在与之匹配的ORB特征点，则p点匹配成功，否则匹配失败舍去该特征点，上一图像帧所观测到的地图点集合S中匹配成功的ORB特征点组成集合S′，大小为n₁，设置阈值N₁，若n₁<N₁，则该算法失效，假设错误，直接转入步骤(2)；

否则继续执行，以所计算出的当前图像帧位姿F_n和S′作为BA优化算法的输入，迭代出理论上更加精确的新的当前图像帧位姿F′_n，如果BA优化算法所筛选出的合格匹配点个数大于10，F′_n即为该算法所得到的最终结果，转入步骤(3)，否则该算法失效，转入步骤(2)；

(2)在基于运动模型的定位方法失效时，采用基于参考关键帧的定位方法进行移动机器人的位置跟踪，如果该方法执行成功则转入步骤(3)，如果该方法执行不成功则转入步骤(4)，参考帧设置为上一图像帧，其具体过程如下：

首先，将上一图像帧与当前图像帧的ORB特征点进行匹配，并将匹配成功且存在对应地图点的ORB特征点放入集合S′，设S′的大小为n₁，设置阈值N₁，如果n₁<N₁，则该算法失效，直接转入步骤(4)；

否则继续执行，将上一图像帧位姿作为当前图像帧的初始位姿F_n，S′与F_n作为BA优化算法的输入，得到新的当前图像帧位姿F′_n，如果BA优化算法所筛选出的合格匹配点个数大于10，F′_n即为该算法所得到的最终结果，转入步骤(3)，否则该算法失效，转入步骤(4)；

(3)局部地图定位方法：

建立一个局部地图，它包含当前图像帧附近范围内的所有地图点，设这些地图点的集合为S_small，

以步骤(1)或步骤(2)中得到的新的当前图像帧位姿F′_n和S_small作为BA优化算法的输入，得到新的更加精确的当前图像帧位姿F″_n，如果BA优化算法所筛选出的合格匹配点个数大于30，F″_n即为该算法所得的最终结果，转入步骤三，否则该算法失效，转入步骤(4)；

(4)重定位：

在当基于运动模型的定位方法、基于参考关键帧的定位方法和局部地图定位方法都失效情况下，对全局的关键帧进行搜索，选取合适的关键帧作为候选帧，其具体过程如下：

首先，搜索所有关键帧，对于每一个关键帧，将其ORB特征点与当前图像帧ORB特征点进行匹配，设成功匹配的ORB特征点数量为n₂，设置阈值N₂，如果n₂>N₂，则该关键帧入选候选帧；

而后，依此将候选帧与当前图像帧进行位姿优化，设所选候选帧的位姿为F，当前图像帧与候选帧所共视的地图点集合为S_c，将F与S_c作为BA算法得输入，如果BA优化算法所筛选出得合格匹配点个数大于30，F即为该算法所得的最终结果，转入步骤三；否则该算法失效，输出跟踪信号丢失信号。

2.根据权利要求1所述的一种基于车载摄像头视觉的移动机器人定位方法，其特征在于，所述步骤三中，定位方法的局部建图环节具体过程如下：

首先，对关键帧进行筛选，删除重复度较高的关键帧，设某关键帧所能观测到的地图点总数为N₃，该关键帧与另一关键帧所能共同观测到的地图点数量为n₃，则重复度为

而后，对局部地图点筛选，剔除地图中质量不好的地图点，衡量地图点的质量好坏的指标有两个，分别是可以观测到该地图点的关键帧的个数和与该地图点相似度过高的地图点个数，前者越高或后者越低，地图点质量越好；

最后，进行局部BA优化，根据关键帧与地图点观测与被观测的关系构建位姿图(PoseGraph)，应用图优化方法进行BA优化。

3.根据权利要求2所述的一种基于车载摄像头视觉的移动机器人定位方法，其特征在于，所述步骤四中，定位方法的回环检测环节有两个主要过程，分别是筛选回环候选帧和局部BA优化：筛选回环候选帧需要用到基于词袋模型的图像匹配，该算法计算得到两个图像帧之间的相似度，当相似度大于设定阈值，则认为发生回环；在确认发生回环之后，还需要对回环路径上的关键帧和所能观测到的地图点进行优化，根据关键帧与地图点观测与被观测的关系构建位姿图(Pose Graph)，应用图优化方法进行BA优化。

Images