CN115588045A - 移动设备的定位方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明实施例涉及一种移动设备的定位方法、装置、电子设备及存储介质，通过移动设备上安装的视觉相机获取关键帧；确定所述关键帧的映射信息和特征描述子；根据所述关键帧的特征描述子获得词袋模型和关键帧图像数据库；获取当前图像帧，并基于所述词袋模型将所述当前图像帧转化成当前帧词袋向量；根据所述当前帧词袋向量从所述关键帧图像数据库中确定出与所述当前图像帧匹配得分最高的候选关键帧，并根据所述候选关键帧确定目标关键帧；根据所述映射信息确定所述目标关键帧对应的目标节点索引，并根据所述目标节点索引计算出移动设备的位姿信息，以进行移动设备的定位；即通过视觉词袋模型来提供移动设备的先验位姿，提高了定位准确性。

Description

移动设备的定位方法、装置、电子设备及存储介质

技术领域

本发明涉及定位导航技术领域，尤其涉及一种移动设备的定位方法、装置、电子设备及存储介质。

背景技术

随着巡检机器人、自动导引车等领域的快速发展，移动机器人对自主导航提出了更高的要求。

现有技术中，激光同步定位与地图构建(Simultaneous Localization andMapping，简称SLAM)是机器人导航中不可或缺的技术。但是，机器人在实际场景中应用的时候，常常面临激光特征缺失，环境动态变化的情况，在这些场景中，机器人难以依靠激光传感器进行准确定位。因此，亟需一种能够在激光特征缺失场景下能够实现移动设备准确定位的方法。

发明内容

本发明的实施例提供了一种移动设备的定位方法、装置、电子设备及存储介质，以解决现有技术在激光特征缺失的场景下难以实现移动设备的准确定位的技术问题。

第一方面，本发明的实施例提供了一种移动设备的定位方法，包括：通过移动设备上安装的视觉相机获取图像帧，并从所述图像帧中确定关键帧；确定所述关键帧的映射信息和特征描述子，其中，所述映射信息用于表示所述关键帧对应的节点索引，所述节点索引用于基于激光同步定位与地图构建SLAM算法计算位姿信息；根据所述关键帧的特征描述子获得词袋模型和关键帧图像数据库；获取当前图像帧，并基于所述词袋模型将所述当前图像帧转化成当前帧词袋向量；根据所述当前帧词袋向量从所述关键帧图像数据库中确定出与所述当前图像帧匹配得分最高的候选关键帧，并根据所述候选关键帧确定目标关键帧；根据所述映射信息确定所述目标关键帧对应的目标节点索引，并根据所述目标节点索引计算出移动设备的位姿信息，以进行移动设备的定位。

在一些实施例中，所述通过移动设备上安装的视觉相机获取图像帧，并从所述图像帧中确定关键帧，包括：通过移动设备的左侧、前侧以及右侧安装的视觉相机分别获取对应的左视图像帧、前视图像帧和右视图像帧；在确定所述前视图像帧满足预设条件的情况下，确定所述前视图像帧为所述关键帧，并确定所述左视图像帧和右视图像帧均为所述关键帧。

在一些实施例中，所述确定所述前视图像帧为所述关键帧，并确定所述左视图像帧和右视图像帧均为所述关键帧之后，还包括：根据递增顺序依次设置所述左视图像帧、前视图像帧、右视图像帧对应的关键帧序号；所述确定所述关键帧的映射信息，包括：确定每个关键帧序号对应的节点索引。

在一些实施例中，获取当前前视图像帧、当前左视图像帧和当前右视图像帧，并基于所述词袋模型将所述当前前视图像帧、当前左视图像帧和当前右视图像帧分别转化成对应的当前前视帧词袋向量、当前左视帧词袋向量和当前右视帧词袋向量；所述根据所述当前帧词袋向量从所述关键帧图像数据库中确定出与所述当前图像帧匹配得分最高的候选关键帧，并根据所述候选关键帧确定目标关键帧，包括：根据当前前视帧词袋向量从所述关键帧图像数据库中确定出与所述当前前视图像帧匹配得分最高的第一候选关键帧；若第一候选关键帧对应的匹配得分大于第一预设阈值，则确定所述第一候选关键帧为所述目标关键帧；若第一候选关键帧对应的匹配得分小于第二预设阈值，则执行所述获取当前前视图像帧、当前左视图像帧和当前右视图像帧的步骤。

在一些实施例中，根据当前左视帧词袋向量从所述关键帧图像数据库中确定出与所述当前左视图像帧匹配得分最高的第二候选关键帧，根据当前右视帧词袋向量从所述关键帧图像数据库中确定出与所述当前右视图像帧匹配得分最高的第三候选关键帧；若第一候选关键帧对应的匹配得分大于第二预设阈值且小于第一预设阈值，则将所述第一候选关键帧、第二候选关键帧和第三候选关键帧按照对应的关键帧序号进行排序；若排序后的三个候选关键帧对应的关键帧序号相邻，则确定位于中间位置的候选关键帧为所述目标关键帧；若排序后的三个候选关键帧对应的关键帧序号不相邻，则执行所述获取当前前视图像帧、当前左视图像帧和当前右视图像帧的步骤。

在一些实施例中，所述在确定所述前视图像帧满足预设条件的情况下，确定所述前视图像帧为所述关键帧，并确定所述左视图像帧和右视图像帧均为所述关键帧，包括：获取所述移动设备的里程计信息；在根据所述里程计信息确定所述移动设备平移或旋转大于预设值的情况下，确定所述前视图像帧为所述关键帧，并确定所述左视图像帧和右视图像帧均为所述关键帧。

在一些实施例中，所述确定所述关键帧的映射信息和特征描述子之后，还包括：保存所述关键帧的映射信息和特征描述子至预设文件；所述根据所述关键帧的特征描述子获得词袋模型和关键帧图像数据库，包括：从所述预设文件中读取关键帧的特征描述子，并基于所述关键帧的特征描述子生成词袋模型和关键帧图像数据库。

第二方面，本发明的实施例提供一种移动设备的定位装置，包括：获取模块，用于通过移动设备上安装的视觉相机获取图像帧，并从所述图像帧中确定关键帧；确定模块，用于确定所述关键帧的映射信息和特征描述子，其中，所述映射信息用于表示所述关键帧对应的节点索引，所述节点索引用于基于激光同步定位与地图构建SLAM算法计算位姿信息；训练模块，用于根据所述关键帧的特征描述子获得词袋模型和关键帧图像数据库；所述获取模块，还用于获取当前图像帧，并基于所述词袋模型将所述当前图像帧转化成当前帧词袋向量；匹配模块，用于根据所述当前帧词袋向量从所述关键帧图像数据库中确定出与所述当前图像帧匹配得分最高的候选关键帧，并根据所述候选关键帧确定目标关键帧；计算模块，用于根据所述映射信息确定所述目标关键帧对应的目标节点索引，并根据所述目标节点索引计算出移动设备的位姿信息，以进行移动设备定位。

第三方面，本发明的实施例提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现第一方面任一项所述的移动设备的定位方法的步骤。

第四方面，本发明的实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述的移动设备的定位方法的步骤。

本发明实施例提供的移动设备的定位方法、装置、电子设备及存储介质，通过移动设备上安装的视觉相机获取图像帧，并从所述图像帧中确定关键帧；确定所述关键帧的映射信息和特征描述子，其中，所述映射信息用于表示所述关键帧对应的节点索引，所述节点索引用于基于激光同步定位与地图构建SLAM算法计算位姿信息；根据所述关键帧的特征描述子获得词袋模型和关键帧图像数据库；获取当前图像帧，并基于所述词袋模型将所述当前图像帧转化成当前帧词袋向量；根据所述当前帧词袋向量从所述关键帧图像数据库中确定出与所述当前图像帧匹配得分最高的候选关键帧，并根据所述候选关键帧确定目标关键帧；根据所述映射信息确定所述目标关键帧对应的目标节点索引，并根据所述目标节点索引计算出移动设备的位姿信息，以进行移动设备的定位；即本发明实施例针对激光特征缺失的场景，通过视觉词袋模型来提供移动设备的先验位姿，辅助移动设备定位，提高了定位准确性，并能够适应复杂多变的环境要求，提高了机器人定位的鲁棒性。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种移动设备的定位方法的流程示意图；

图2为本发明实施例提供的另一种移动设备的定位方法的流程示意图；

图3a为本发明实施例提供的一种建图模式的流程示意图；

图3b为本发明实施例提供的一种定位模式的流程示意图；

图4为本发明实施例提供的一种移动设备的定位装置的结构示意图；

图5为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

随着巡检机器人、自动导引车等领域的快速发展，移动机器人对自主导航提出了更高的要求，SLAM是实现地图构建和定位的关键技术。因激光在测量精度上的优势，激光SLAM算法已成为机器人导航中不可或缺的技术，如图优化Cartographer算法具有精度高、地图可用于路径规划等优点，是目前最主流的2D激光SLAM算法。

在实际场景中，机器人常常面临激光特征缺失，环境动态变化的情况，比如机器人需开启重新定位功能、切换地图(如更换使用楼层)、长走廊较长导致激光定位无法扫描到尽头、较空旷场所(雷达有效点较少)以及结构对称环境(由于雷达数据类似，激光定位容易得到两个不同的位姿)等场景。在这些场景中，机器人难以依靠激光传感器进行准确定位。

针对上述技术问题，本发明的技术构思在于：提供一种融合激光SLAM算法和视觉词袋模型DBoW3的定位方法，其中，DBoW3可以针对激光特征缺乏的场景，计算视觉图像信息，提供初始位姿，辅助机器人定位，并且融合DBoW3与激光SLAM算法可以适应复杂多变的环境要求，提高机器人定位的鲁棒性。比如针对机器人开启重新定位功能或者切换地图时，机器人不确定自己的位姿，可通过DBoW3来提供位姿先验，又比如针对长走廊较长、空旷场所或者结构对称环境，可通过DBoW3增加场景的可辨识度。

图1为本发明实施例提供的一种移动设备的定位方法的流程示意图，如图1所示，该移动设备的定位方法包括：

步骤S101、通过移动设备上安装的视觉相机获取图像帧，并从所述图像帧中确定关键帧。

具体地，移动设备为具备定位导航功能的电子设备，如巡检机器人、自动导引车、手机、平板等，下文中以移动机器人为例进行说明。一般来说，移动设备的前侧会安装视觉相机，用于采集周围图像。本实施例的定位方法分为建图模式实施步骤(步骤S101-S103)和定位模式实施步骤(步骤S104-S106)。在建图过程中，移动设备上安装的视觉相机会采集多帧图像，并从多帧图像中提取出关键帧，关键帧可以减少待处理帧数，提高后续处理效率。

在一些实施例中，所述步骤S101中的从所述图像帧中确定关键帧，包括：获取所述移动设备的里程计信息；在根据所述里程计信息确定所述移动设备平移或旋转大于预设值的情况下，确定所述图像帧为所述关键帧。具体地，移动设备上安装有移动传感器，移动传感器用于采集里程计信息(包括位移和旋转角度等)，当移动设备进行的位移或者旋转，又或者两者皆动时的运动足够大(超过预设值)，就确定当前帧为一个关键帧。其中，预设值根据本领域技术人员的经验设置，本发明对此不做限制。

在一些实施例中，设置关键帧对应的关键帧序号Image_ID，然后视觉节点发布关键帧序号Image_ID话题。需要说明的是，节点是ROS(机器人操作系统)中的一个概念，比如实现机器人路径规划功能的节点叫导航节点，实现机器人建图并实时输出机器人位姿的节点叫Cartographer节点，实现视觉辅助定位功能的节点叫视觉节点。这些节点在开发板中运行，不同节点之间可以通过发布和接收消息(message)相互通讯。

步骤S102、确定所述关键帧的映射信息和特征描述子。

其中，所述映射信息用于表示所述关键帧对应的节点索引，所述节点索引用于基于激光同步定位与地图构建SLAM算法计算位姿信息。优选的，激光SLAM算法为Cartographer算法，通过Cartographer节点实现，Cartographer节点分为前端局部建图和用于消除累计误差的后端优化两个模块，其实现过程如下：激光雷达以固定频率(15HZ)发布scan数据给到Cartographer前端局部建图模块，前端会处理每一帧scan数据，每一帧scan数据和局部地图匹配得到机器人当前的粗略位姿P。为减小运算量，前端同时会挑选具有代表性的scan数据传到后端进行优化，以消除累计误差。前端传到后端的scan数据做为一个Node，每一个Node包含节点索引Node_ID和精确位姿，Node从0按照递增顺序赋值Node_ID(Node和Node_ID一一对应)，同时该Node以P作为初始位姿和全局地图匹配优化，计算出该Node的精确位姿Q，即机器人在当前时刻的精确位姿。

本步骤中，把关键帧的Image_ID与Node_ID绑定在一起，Image_ID与该Node_ID对应的精确位姿Q也是一一对应；提取每个关键帧的所有特征点，并计算所有特征点的特征描述子，可将特征描述子保存到特征描述子容器中。

步骤S103、根据所述关键帧的特征描述子获得词袋模型和关键帧图像数据库。

具体地，利用DBoW3的方法，训练所有的关键帧的特征描述子，生成词袋模型(Vocabulary)和关键帧图像数据库(Database)并进行保存，其中，关键帧图像数据库中包含了各关键帧对应的词袋向量。

在一些实施例中，所述步骤S102之后，还包括：保存所述关键帧的映射信息和特征描述子至预设文件；所述步骤S103包括：从所述预设文件中读取关键帧的特征描述子，并基于所述关键帧的特征描述子生成词袋模型和关键帧图像数据库。具体地，把关键帧与Node_ID的相互映射保存到文件中，把关键帧的特征描述子容器保存到文件中，在机器人定位过程中，首先判断Database是否存在，如果存在，则直接加载Database，如果不存在，则从文件中读取关键帧的特征描述子，训练并保存Vocabulary和Database。

需要说明的是，本实施例是在建图过程中对关键帧提取特征描述子，并基于关键帧的特征描述子训练生成数据库，也就是说，每一个建图场景独有一个数据库，相对于离线加载的数据库，本实施例进一步提高了定位的准确性。

步骤S104、获取当前图像帧，并基于所述词袋模型将所述当前图像帧转化成当前帧词袋向量。

具体地，在移动设备定位过程中，实时获取视觉相机所采集的当前图像帧，并通过词袋模型Vocabulary将当前图像帧转化成视觉词袋向量BoW。

步骤S105、根据所述当前帧词袋向量从所述关键帧图像数据库中确定出与所述当前图像帧匹配得分最高的候选关键帧，并根据所述候选关键帧确定目标关键帧。

具体地，让当前图像帧对应的BoW在Database中索引和查询，计算出与建图过程中匹配程度最高(得分最高)的候选关键帧，并根据该匹配得分从候选关键帧中确定出目标关键帧。

步骤S106、根据所述映射信息确定所述目标关键帧对应的目标节点索引，并根据所述目标节点索引计算出移动设备的位姿信息，以进行移动设备的定位。

具体地，基于映射信息确定与目标关键帧绑定的Node_ID，进而得到精确的先验位姿，从而实现辅助移动设备的定位。

本发明实施例提供的移动设备的定位方法，通过移动设备上安装的视觉相机获取图像帧，并从所述图像帧中确定关键帧；确定所述关键帧的映射信息和特征描述子，其中，所述映射信息用于表示所述关键帧对应的节点索引，所述节点索引用于基于激光同步定位与地图构建SLAM算法计算位姿信息；根据所述关键帧的特征描述子获得词袋模型和关键帧图像数据库；获取当前图像帧，并基于所述词袋模型将所述当前图像帧转化成当前帧词袋向量；根据所述当前帧词袋向量从所述关键帧图像数据库中确定出与所述当前图像帧匹配得分最高的候选关键帧，并根据所述候选关键帧确定目标关键帧；根据所述映射信息确定所述目标关键帧对应的目标节点索引，并根据所述目标节点索引计算出移动设备的位姿信息，以进行移动设备的定位；即本发明实施例针对激光特征缺失的场景，通过视觉词袋模型来提供移动设备的先验位姿，辅助移动设备定位，提高了定位准确性，并能够适应复杂多变的环境要求，提高了机器人定位的鲁棒性。

在上述实施例的基础上，图2为本发明实施例提供的另一种移动设备的定位方法的流程示意图。如图2所示，该移动设备的定位方法包括：

步骤S201、通过移动设备的左侧、前侧和右侧安装的视觉相机分别获取对应的左视图像帧、前视图像帧和右视图像帧。

步骤S202、在确定所述前视图像帧满足预设条件的情况下，确定所述前视图像帧为所述关键帧，并确定所述左视图像帧和右视图像帧均为所述关键帧。

步骤S203、根据递增顺序依次设置所述左视图像帧、前视图像帧、右视图像帧对应的关键帧序号。

步骤S204、确定每个关键帧序号对应的节点索引，构成所述映射信息，并确定所述关键帧的特征描述子。

步骤S205、根据所述关键帧的特征描述子获得词袋模型和关键帧图像数据库。

步骤S206、获取当前前视图像帧、当前左视图像帧和当前右视图像帧，并基于所述词袋模型将所述当前前视图像帧、当前左视图像帧和当前右视图像帧分别转化成对应的当前前视帧词袋向量、当前左视帧词袋向量和当前右视帧词袋向量。

步骤S207、根据当前前视帧词袋向量从所述关键帧图像数据库中确定出与所述当前前视图像帧匹配得分最高的第一候选关键帧。

步骤S208、根据当前左视帧词袋向量从所述关键帧图像数据库中确定出与所述当前左视图像帧匹配得分最高的第二候选关键帧，根据当前右视帧词袋向量从所述关键帧图像数据库中确定出与所述当前右视图像帧匹配得分最高的第三候选关键帧。

根据第一候选关键帧对应的匹配得分，执行步骤S209、S214，或者执行步骤S210，或者执行步骤S211-S214。

步骤S209、若第一候选关键帧对应的匹配得分大于第一预设阈值，则确定所述第一候选关键帧为所述目标关键帧。

步骤S210、若第一候选关键帧对应的匹配得分小于第二预设阈值，则执行步骤S206。

步骤S211、若第一候选关键帧对应的匹配得分大于第二预设阈值且小于第一预设阈值，则将所述第一候选关键帧、第二候选关键帧和第三候选关键帧按照对应的关键帧序号进行排序。

步骤S212、确定排序后的三个候选关键帧对应的关键帧序号是否相邻。

若是，执行步骤S213；若否，执行步骤S206。

步骤S213、确定位于中间位置的候选关键帧为所述目标关键帧。

步骤S214、根据所述映射信息确定所述目标关键帧对应的目标节点索引，并根据所述目标节点索引计算出移动设备的位姿信息，以进行移动设备的定位。

本发明实施例中的步骤S205、S214的实现方式与上述实施例中的步骤S103、S106的实现方式类似，此处不再赘述。

与上述实施例的区别在于，为了进一步提高定位的准确性，在本实施例中，通过移动设备的左侧、前侧和右侧安装的视觉相机分别获取对应的左视图像帧、前视图像帧和右视图像帧；在确定所述前视图像帧满足预设条件的情况下，确定所述前视图像帧为所述关键帧，并确定所述左视图像帧和右视图像帧均为所述关键帧；还根据递增顺序依次设置所述左视图像帧、前视图像帧、右视图像帧对应的关键帧序号；确定每个关键帧序号对应的节点索引，构成所述映射信息，并确定所述关键帧的特征描述子；还获取当前前视图像帧、当前左视图像帧和当前右视图像帧，并基于所述词袋模型将所述当前前视图像帧、当前左视图像帧和当前右视图像帧分别转化成对应的当前前视帧词袋向量、当前左视帧词袋向量和当前右视帧词袋向量；根据当前前视帧词袋向量从所述关键帧图像数据库中确定出与所述当前前视图像帧匹配得分最高的第一候选关键帧；根据当前左视帧词袋向量从所述关键帧图像数据库中确定出与所述当前左视图像帧匹配得分最高的第二候选关键帧，根据当前右视帧词袋向量从所述关键帧图像数据库中确定出与所述当前右视图像帧匹配得分最高的第三候选关键帧；若第一候选关键帧对应的匹配得分大于第一预设阈值，则确定所述第一候选关键帧为所述目标关键帧；若第一候选关键帧对应的匹配得分小于第二预设阈值，则执行所述获取当前前视图像帧、当前左视图像帧和当前右视图像帧的步骤；若第一候选关键帧对应的匹配得分大于第二预设阈值且小于第一预设阈值，则将所述第一候选关键帧、第二候选关键帧和第三候选关键帧按照对应的关键帧序号进行排序；若排序后的三个候选关键帧对应的关键帧序号相邻，则确定位于中间位置的候选关键帧为所述目标关键帧；若排序后的三个候选关键帧对应的关键帧序号不相邻，则执行所述获取当前前视图像帧、当前左视图像帧和当前右视图像帧的步骤。

具体地，在移动设备的正前方、左方和右方安装三个视觉相机，相比于只采用一个视觉相机，本实施例能够获取到移动设备周围更多信息。

建图模式中，首先根据三个视觉相机分别获取到对应的前视图像帧、左视图像帧和右视图像帧；然后根据里程计信息确定前视图像帧是否为关键帧，若是，则确定左视图像帧和右视图像帧也是关键帧；然后根据递增顺序分别赋予左视图像帧、前视图像帧和右视图像帧对应的关键帧序号Image_ID，Image_ID从1开始；然后把关键帧的Image_ID与Cartographer算法中的Node_ID相互映射，绑定在一起，构成映射信息，并提取关键帧的特征描述子，保存在特征描述子容器中；然后利用DBoW3的方法，训练所有的关键帧的特征描述子，生成Vocabulary和Database，并进行保存。

定位模式中，首先通过Vocabulary将三个视觉相机实时获取的当前前视图像帧、当前左视图像帧和当前右视图像帧分别转化成对应的当前前视帧词袋向量、当前左视帧词袋向量和当前右视帧词袋向量；然后让当前前视帧词袋向量在Database中索引和查询，计算出与建图过程匹配程度最高(得分最高)的第一候选关键帧Image_ID；让当前左视帧词袋向量和当前右视帧词袋向量在Database中索引和查询，分别计算出与建图过程匹配程度最高(得分最高)的第二候选关键帧Image_ID和第三候选关键帧Image_ID；如果第一候选关键帧对应的匹配得分大于最大阈值(即第一预设阈值)，直接把第一候选关键帧Image_ID发布给Cartographer节点；如果第一候选关键帧对应的匹配得分小于最小阈值(即第二预设阈值)，则舍弃当前图像帧，并返回，等待下一帧图像到来，即重新执行步骤S206；如果第一候选关键帧对应的匹配得分大于最小阈值，则把左、中、右三个BoW查询得到的关键帧的Image_ID按照从大到小排序，或者从小到大排序；如果三个Image_ID相邻，则把排序后位于中间的Image_ID发布给Cartographer节点；如果三个Image_ID不相邻，返回，等待下一帧图像的到来，即重新执行步骤S206。最后Cartographer节点接收到Image_ID，确定与Image_ID绑定的Node_ID，进而得到Node_ID的位姿，做为机器人的先验位姿辅助机器人定位。

需要说明的是，不对步骤S208的执行顺序做限定，即可以在确定第一候选关键帧对应的匹配得分之前执行，比如在步骤S207，即确定当前前视图像帧匹配得分最高的第一候选关键帧的同时，确定当前左视帧词袋向量对应的第二候选关键帧，确定当前右视帧词袋向量对应的第三候选关键帧，也可以在确定第一候选关键帧对应的匹配得分即不大于第一预设阈值，又不小于第二预设阈值之后再执行。

一些实施例中，所述步骤S202包括：获取所述移动设备的里程计信息；在根据所述里程计信息确定所述移动设备平移或旋转大于预设值的情况下，确定所述前视图像帧为所述关键帧，并确定所述左视图像帧和右视图像帧均为所述关键帧。具体地，根据里程计信息确定前视图像帧是否为关键帧，若是，则确定左视图像帧和右视图像帧也为关键帧。

本发明实施例提供的移动设备的定位方法，通过移动设备的左侧、前侧以及右侧安装的视觉相机可以获取到移动设备周围的更多的信息，并在定位过程中，三个视觉相机的当前图像帧的查询结果Image_ID可以相互印证，视觉计算结果是否正确，如果三个相机图像查询结果的Image_ID相邻，证明视觉计算结果正确，提高视觉定位的准确度。

图3a为本发明实施例提供的一种建图模式的流程示意图，图3b为本发明实施例提供的一种定位模式的流程示意图。移动设备的正前方、左方和右方安装三个视觉相机，现结合图3a和图3b，对本发明实施例进行进一步的说明。

参考图3a所示，进入建图模式。

步骤1：判断是否开始保存图像，若是，进行下一步，若否，则丢弃所采集的图像。

步骤2：根据里程计信息选取关键帧图像。首先确定前视相机的当前图像(即前视图像帧)是否为关键帧，若是关键帧，则分别将左右相机的当前图像(即左视图像帧、右视图像帧)确定为关键帧，若前视相机的当前图像不是关键帧，则丢弃图像。在确定前视相机的当前图像是否为关键帧时，是根据里程计信息确定的，如果里程计的平移或者旋转足够大(超过预设值)，则确定前视图像帧是关键帧，否则不是关键帧。

步骤3：按照递增顺序为三帧关键帧设定Image_ID。对左、中、右三帧关键帧从Image_ID＝1开始赋值。

步骤4：分别提取三帧关键帧的特征描述子。提取三帧关键帧的特征点，计算每帧关键帧的特征描述子，并保存到特征描述子容器中。

步骤5：视觉节点发布三帧关键帧Image_ID话题，Cartographer节点订阅关键帧Image_ID话题，把关键帧图像Image_ID与Cartographer的Node_ID相互映射，绑定在一起。

步骤6：确定是否保存地图，若是，把所有关键帧的特征描述子保存到文件，再把Image_ID与Node_ID的相互映射保存到文件中；若否，则返回执行步骤2。

步骤7：利用DBoW3的方法，把所有关键帧的特征描述子训练成Vocabulary和Database。

参考图3b所示，进入定位模式。

步骤8：判断Database是否存在。如果存在，直接加载Database；如果不存在，从文件中读取所有关键帧的特征描述子，训练并保存Vocabulary和Database，并加载Database。

步骤9：获取实时图像(包括当前前视图像帧、当前左视图像帧和当前右视图像帧)，并分别提取当前三帧图像的特征描述子。特征描述子为ORB。

步骤10：利用Vocabulary将当前三帧图像分别转化成对应的视觉词袋向量BoW。

步骤11：当前三帧相机图像的BoW在Database中索引和查询，获得与建图过程最相似(匹配得分高)的关键帧Image_ID。

步骤12：判断前视图像帧BoW的匹配得分是否大于最大阈值，若是，直接发布前视图像帧匹配的Image_ID给Cartographer，并执行步骤15，若否，则执行步骤13。

步骤13：判断前视图像帧BoW的匹配得分是否大于最小阈值，若是，执行步骤14，若否，则返回步骤9，等待下一帧图像到来。

步骤14：把左、中、右三个相机图像BoW查询得到的Image_ID排序，如果三个Image_ID相邻，则把排序位于中间的Image_ID发布给Cartographer节点，并执行步骤15；如果三个Image_ID不相邻，则返回步骤9，等待下一帧图像的到来。

步骤15：Cartographer节点根据Image_ID查询绑定的Node_ID，确定该Node_ID的位姿，发布视觉定位结果。

步骤16：确定是否推出定位模式，若是，则退出定位模式并释放内存，若否，则返回步骤9，等待下一帧图像的到来，并重新定位。

综上，本发明的实施例通过在机器人正前方，左方和右方安装三个视觉相机，融合DBoW3与Cartographer的定位方法分为建图模式实施步骤和定位模式实施步骤。建图模式主要是选取关键帧图像，发布关键帧图像Image_ID，把关键帧图像Image_ID与Cartographer的Node_ID绑定在一起，保存地图时，训练并保存Vocabulary和Database。定位模式主要是加载关键帧图像数据库Database，机器人实时获取的图像在图像关键帧数据库中索引和查询，可以得到当前图像与图像关键帧数据库中最相似图像的匹配得分(匹配得分越高，图像越相似)和最相似图像的Image_ID，根据关键帧图像Image_ID绑定的Node_ID计算出机器人位姿；即本实施例通过采用左中右三个视觉相机，可以获取到机器人周围的更多的信息；三个相机图像的查询结果Image_ID可以相互印证，视觉计算结果是否正确，如果三个相机图像查询结果的Image_ID相邻，证明视觉计算结果正确，提高视觉定位的准确度；相比于其它方案离线加载已经训练好的Database，本实施例在建图过程中对关键帧提取特征描述子，保存地图时，训练生成Database，每一个建图场景独有一个Database；相比于Cartographer仅通过单个激光传感器进行建图和定位，融合DBoW3的方法可以适应复杂多变的环境要求，增强机器人对环境的适应性。

图4为本发明实施例提供的一种移动设备的定位装置的结构示意图，如图4所示，该移动设备的定位装置包括获取模块401、确定模块402、训练模块403、匹配模块404以及计算模块405；

其中，所述获取模块401，用于通过移动设备上安装的视觉相机获取图像帧，并从所述图像帧中确定关键帧；确定模块402，用于确定所述关键帧的映射信息和特征描述子，其中，所述映射信息用于表示所述关键帧对应的节点索引，所述节点索引用于基于激光同步定位与地图构建SLAM算法计算位姿信息；训练模块403，用于根据所述关键帧的特征描述子获得词袋模型和关键帧图像数据库；所述获取模块401，还用于获取当前图像帧，并基于所述词袋模型将所述当前图像帧转化成当前帧词袋向量；匹配模块404，用于根据所述当前帧词袋向量从所述关键帧图像数据库中确定出与所述当前图像帧匹配得分最高的候选关键帧，并根据所述候选关键帧确定目标关键帧；计算模块405，用于根据所述映射信息确定所述目标关键帧对应的目标节点索引，并根据所述目标节点索引计算出移动设备的位姿信息，以进行移动设备定位。

在一些实施例中，所述获取模块401，具体用于：通过移动设备的左侧、前侧和右侧安装的视觉相机分别获取对应的左视图像帧、前视图像帧和右视图像帧；在确定所述前视图像帧满足预设条件的情况下，确定所述前视图像帧为所述关键帧，并确定所述左视图像帧和右视图像帧均为所述关键帧。

在一些实施例中，所述获取模块401，还用于：根据递增顺序依次设置所述左视图像帧、前视图像帧、右视图像帧对应的关键帧序号；所述确定模块402，还用于：确定每个关键帧序号对应的节点索引。

在一些实施例中，所述获取模块401，具体用于：获取当前前视图像帧、当前左视图像帧和当前右视图像帧，并基于所述词袋模型将所述当前前视图像帧、当前左视图像帧和当前右视图像帧分别转化成对应的当前前视帧词袋向量、当前左视帧词袋向量和当前右视帧词袋向量；所述匹配模块404，具体用于：若第一候选关键帧对应的匹配得分大于第一预设阈值，则确定所述第一候选关键帧为所述目标关键帧；若第一候选关键帧对应的匹配得分小于第二预设阈值，则所述获取模块401用于执行所述获取当前前视图像帧、当前左视图像帧和当前右视图像帧的步骤。

在一些实施例中，所述匹配模块404，还用于：根据当前左视帧词袋向量从所述关键帧图像数据库中确定出与所述当前左视图像帧匹配得分最高的第二候选关键帧，根据当前右视帧词袋向量从所述关键帧图像数据库中确定出与所述当前右视图像帧匹配得分最高的第三候选关键帧；若第一候选关键帧对应的匹配得分大于第二预设阈值且小于第一预设阈值，则将所述第一候选关键帧、第二候选关键帧和第三候选关键帧按照对应的关键帧序号进行排序；若排序后的三个候选关键帧对应的关键帧序号相邻，则确定位于中间位置的候选关键帧为所述目标关键帧；若排序后的三个候选关键帧对应的关键帧序号不相邻，则所述获取模块401执行所述获取当前前视图像帧、当前左视图像帧和当前右视图像帧的步骤。

在一些实施例中，所述获取模块401，具体用于：获取所述移动设备的里程计信息；在根据所述里程计信息确定所述移动设备平移或旋转大于预设值的情况下，确定所述前视图像帧为所述关键帧，并确定所述左视图像帧和右视图像帧均为所述关键帧。

在一些实施例中，所述确定模块402，还用于：保存所述关键帧的映射信息和特征描述子至预设文件；所述训练模块403，具体用于：从所述预设文件中读取关键帧的特征描述子，并基于所述关键帧的特征描述子生成词袋模型和关键帧图像数据库。

本发明的实施例提供的移动设备的定位装置，其实现原理和技术效果与上述实施例类似，此处不再赘述。

如图5所示，本发明实施例提供了一种电子设备，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信，

存储器503，用于存放计算机程序；

在本发明一个实施例中，处理器501，用于执行存储器503上所存放的程序时，实现前述任意一个方法实施例提供的移动设备的定位方法的步骤。

本发明实施例提供的电子设备，其实现原理和技术效果与上述实施例类似，此处不再赘述。

上述存储器503可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器503具有用于执行上述方法中的任何方法步骤的程序代码的存储空间。例如，用于程序代码的存储空间可以包括分别用于实现上面的方法中的各个步骤的各个程序代码。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，光盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为便携式或者固定存储单元。该存储单元可以具有与上述电子设备中的存储器503类似布置的存储段或者存储空间等。程序代码可以例如以适当形式进行压缩。通常，存储单元包括用于执行根据本发明的实施例的方法步骤的程序，即可以由例如诸如501之类的处理器读取的代码，这些代码当由电子设备运行时，导致该电子设备执行上面所描述的方法中的各个步骤。

本发明的实施例还提供了一种计算机可读存储介质。上述计算机可读存储介质上存储有计算机程序，上述计算机程序被处理器执行时实现如上所述的移动设备的定位方法的步骤。

该计算机可读存储介质可以是上述实施例中描述的设备/装置中所包含的；也可以是单独存在，而未装配入该设备/装置中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本发明实施例的方法。

根据本发明的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种移动设备的定位方法，其特征在于，包括：

通过移动设备上安装的视觉相机获取图像帧，并从所述图像帧中确定关键帧；

确定所述关键帧的映射信息和特征描述子，其中，所述映射信息用于表示所述关键帧对应的节点索引，所述节点索引用于基于激光同步定位与地图构建SLAM算法计算位姿信息；

根据所述关键帧的特征描述子获得词袋模型和关键帧图像数据库；

获取当前图像帧，并基于所述词袋模型将所述当前图像帧转化成当前帧词袋向量；

根据所述当前帧词袋向量从所述关键帧图像数据库中确定出与所述当前图像帧匹配得分最高的候选关键帧，并根据所述候选关键帧确定目标关键帧；

根据所述映射信息确定所述目标关键帧对应的目标节点索引，并根据所述目标节点索引计算出移动设备的位姿信息，以进行移动设备的定位。

2.根据权利要求1所述的方法，其特征在于，所述通过移动设备上安装的视觉相机获取图像帧，并从所述图像帧中确定关键帧，包括：

通过移动设备的左侧、前侧和右侧安装的视觉相机分别获取对应的左视图像帧、前视图像帧和右视图像帧；

在确定所述前视图像帧满足预设条件的情况下，确定所述前视图像帧为所述关键帧，并确定所述左视图像帧和右视图像帧均为所述关键帧。

3.根据权利要求2所述的方法，其特征在于，所述确定所述前视图像帧为所述关键帧，并确定所述左视图像帧和右视图像帧均为所述关键帧之后，还包括：

根据递增顺序依次设置所述左视图像帧、前视图像帧、右视图像帧对应的关键帧序号；

所述确定所述关键帧的映射信息，包括：确定每个关键帧序号对应的节点索引。

4.根据权利要求3所述的方法，其特征在于，所述获取当前图像帧，并基于所述词袋模型将所述当前图像帧转化成当前帧词袋向量，包括：

获取当前前视图像帧、当前左视图像帧和当前右视图像帧，并基于所述词袋模型将所述当前前视图像帧、当前左视图像帧和当前右视图像帧分别转化成对应的当前前视帧词袋向量、当前左视帧词袋向量和当前右视帧词袋向量；

所述根据所述当前帧词袋向量从所述关键帧图像数据库中确定出与所述当前图像帧匹配得分最高的候选关键帧，并根据所述候选关键帧确定目标关键帧，包括：

根据当前前视帧词袋向量从所述关键帧图像数据库中确定出与所述当前前视图像帧匹配得分最高的第一候选关键帧；

若第一候选关键帧对应的匹配得分大于第一预设阈值，则确定所述第一候选关键帧为所述目标关键帧；

若第一候选关键帧对应的匹配得分小于第二预设阈值，则执行所述获取当前前视图像帧、当前左视图像帧和当前右视图像帧的步骤。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

根据当前左视帧词袋向量从所述关键帧图像数据库中确定出与所述当前左视图像帧匹配得分最高的第二候选关键帧，根据当前右视帧词袋向量从所述关键帧图像数据库中确定出与所述当前右视图像帧匹配得分最高的第三候选关键帧；

若第一候选关键帧对应的匹配得分大于第二预设阈值且小于第一预设阈值，则将所述第一候选关键帧、第二候选关键帧和第三候选关键帧按照对应的关键帧序号进行排序；

若排序后的三个候选关键帧对应的关键帧序号相邻，则确定位于中间位置的候选关键帧为所述目标关键帧；

若排序后的三个候选关键帧对应的关键帧序号不相邻，则执行所述获取当前前视图像帧、当前左视图像帧和当前右视图像帧的步骤。

6.根据权利要求2所述的方法，其特征在于，所述在确定所述前视图像帧满足预设条件的情况下，确定所述前视图像帧为所述关键帧，并确定所述左视图像帧和右视图像帧均为所述关键帧，包括：

获取所述移动设备的里程计信息；

在根据所述里程计信息确定所述移动设备平移或旋转大于预设值的情况下，确定所述前视图像帧为所述关键帧，并确定所述左视图像帧和右视图像帧均为所述关键帧。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述确定所述关键帧的映射信息和特征描述子之后，还包括：

保存所述关键帧的映射信息和特征描述子至预设文件；

所述根据所述关键帧的特征描述子获得词袋模型和关键帧图像数据库，包括：

从所述预设文件中读取关键帧的特征描述子，并基于所述关键帧的特征描述子生成词袋模型和关键帧图像数据库。

8.一种移动设备的定位装置，其特征在于，包括：

获取模块，用于通过移动设备上安装的视觉相机获取图像帧，并从所述图像帧中确定关键帧；

确定模块，用于确定所述关键帧的映射信息和特征描述子，其中，所述映射信息用于表示所述关键帧对应的节点索引，所述节点索引用于基于激光同步定位与地图构建SLAM算法计算位姿信息；

训练模块，用于根据所述关键帧的特征描述子获得词袋模型和关键帧图像数据库；

所述获取模块，还用于获取当前图像帧，并基于所述词袋模型将所述当前图像帧转化成当前帧词袋向量；

匹配模块，用于根据所述当前帧词袋向量从所述关键帧图像数据库中确定出与所述当前图像帧匹配得分最高的候选关键帧，并根据所述候选关键帧确定目标关键帧；

计算模块，用于根据所述映射信息确定所述目标关键帧对应的目标节点索引，并根据所述目标节点索引计算出移动设备的位姿信息，以进行移动设备定位。

9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一项所述的移动设备的定位方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的移动设备的定位方法的步骤。

Images