CN113808269A - 地图生成方法、定位方法、系统及计算机可读存储介质 - Google Patents

Abstract

本发明提供了一种地图生成方法、定位方法、系统及计算机可读存储介质。所述地图生成方法包括：将视觉定位地图对其至空间地理坐标系中并计算出每个关键帧在所述空间地理坐标系中的位置信息；利用所述位置信息及主光轴计算每个关键帧相对于空间地理坐标系的方位角信息，以获得所述关键帧朝向信息。所述地图定位方法包括：获取待定位图像的第二属性信息及图像特征；将大于所述筛选半径的关键帧剔除以得到筛选后的第一关键帧；基于待定位图像的朝向信息及所述关键帧朝向信息从所述视觉定位地图中筛选出第二关键帧；基于图像特征从关键帧中筛选出第三关键帧。本发明能够在使用较少地图关键帧进行快速定位的同时，降低视觉地图定位过程中因图像检索产生的错误率。

Description

地图生成方法、定位方法、系统及计算机可读存储介质

技术领域

本发明涉及计算机计算领域，特别是涉及一种地图生成方法、定位方法及其系统，以及一种计算机可读存储介质。

背景技术

地图定位系统是实现机器人导航、增强现实(augmented reality，AR)、自动巡航、自动驾驶等技术的基础，定位可以是在构建好的地图中查找匹配点，进而确认当前所在位置。地图定位系统已经发展了很多年，其技术方案原理可以归纳为：视觉地图生成技术及视觉地图定位技术。

视觉地图生成技术最常见的是通过运动恢复结构(Structure-from-Motion)的技术完成的，主要包括：拍摄场景的图片，提取图像特征进行匹配，进行三角化得到空间三维点，最后使用捆集调整(Bundle Adjustment)技术进行优化。使用该技术生成的视觉地图由三维点云及其图像特征构成。

视觉地图定位技术就是在根据视觉地图进行定位。将设备相机当前拍摄的图像与视觉地图的三维点云进行特征匹配，得到2D-3D点对，然后求解PNP问题得到设备相机当前的位姿，从而实现视觉定位。

现有地图定位系统存在一些明显的应用问题。由于视觉定位需要建立在生成的视觉地图之上，视觉定位系统的定位效率就由对生成地图进行图像检索的效率所决定。现有技术视觉定位系统需要通过一定方法从生成视觉地图的数据库中查找出与待检索图像最为相似图像。

常见的图像检索算法一般包括：使用最近邻搜索(K-Nearest Neighbors，KNN)等方式进行检索，检索依据为图像的整体描述子(全局描述子)；后续使用其他算法以提高图像检索的召回率，诸如QE(Query Expansion)，PQ(Product Quantization)等方法。QE主要通过二轮检索提升召回率，PQ则旨在压缩图像描述字大小的同时，提升其特异性等。对于图像的全局描述子搜索，早期有传统的方法诸如VLAD(Vector of Locally AggregatedDescriptors)算法，现在也有许多基于深度学习的描述子以及匹配方法(NetVLAD，GEM)等。

但是仅基于图像的全局描述子进行图像检索，只是单纯使用视觉信息进行检索，以实现地图定位。定位结果成功率及精度往往存在瓶颈，仅使用图像的视觉信息进行定位不能排除视觉上较为近似的图像特征，从而容易造成匹配错误，无法避免定位结果存在错误率。

发明内容

本发明技术方案所解决的技术问题为，如何降低视觉地图定位过程中因图像检索产生的错误率。

为了解决上述技术问题，本发明技术方案提供了一种视觉地图生成方法，包括：

采集所需要的视频序列及第一属性信息，所述第一属性信息包括第一GPS信息；

基于所述视频序列重建视觉定位地图，所述视觉定位地图包括关键帧图像特征及关键帧图像特征对应的三维点云数据；

根据所述第一GPS信息将所述视觉定位地图对其至空间地理坐标系中并计算出视觉定位地图中每个关键帧在所述空间地理坐标系中的位置信息；

利用所述关键帧在空间地理坐标系中的位置信息及主光轴计算每个关键帧相对于空间地理坐标系的方位角信息，以获得所述关键帧朝向信息；

基于所述关键帧朝向更新所述视觉定位地图，更新后的视觉定位地图还包括：所述关键帧朝向信息。

可选的，所述基于所述视频序列重建出视觉定位地图包括：通过运动结构恢复算法或者即时定位与地图构建算法重建所述视觉定位地图。

可选的，所述关键帧图像特征包括：总体图像特征及局部图像特征。

可选的，所述空间地理坐标系包括：指向正东的X轴，指向正北的Y轴及远离地面向上的Z轴；所述利用所述关键帧在空间地理坐标系中的位置信息及主光轴计算每个关键帧相对于空间地理坐标系的方位角信息包括：

在每个关键帧的主光轴上选择一个点p(x0,y0,f)，其中(x0,y0)为相机的主点，f为相机焦距；

通过坐标系转换将相机坐标系中的关键帧光心o(0,0,0)和点p(x0,y0,f)转换为对应空间地理坐标系中的坐标O(xo,yo,zo)和坐标P(xp,yp,zp)；

计算坐标O(xo,yo,zo)和P(xp,yp,zp)组成射线OP相对于X轴的夹角θ，其中：

根据如下条件计算出射线OP的方位角信息：

如果xp＞xo，当前方位角为(π/2-θ)；

如果xp＜xo，当前方位角为(3π/2-θ)；

如果xp＝xo且yp＞yo，当前方位角为0；

如果xp＝xo且yp＜yo，当前方位角为π。

可选的，所述第一属性信息还包括：第一IMU信息；所述视觉地图生成方法还包括：

基于所述第一GPS信息和/或第一IMU信息，使用光束法平差校准所述视觉定位地图并更新所述视觉定位地图。

可选的，所述视觉地图生成方法还包括：

将更新后的视觉定位地图网格化以显示。

为了解决上述技术问题，本发明技术方案还提供了一种视觉地图定位方法，基于上所述的视觉地图生成方法，包括：

获取待定位图像的第二属性信息及图像特征，所述第二属性信息包括第二GPS信息及朝向信息；

设定筛选半径，并将大于所述筛选半径的关键帧剔除以得到筛选后的第一关键帧，所述筛选半径为筛选常量半径及为所述第二GPS信息设定的设备位置精度值之和；

基于待定位图像的朝向信息及所述关键帧朝向信息从所述视觉定位地图中筛选出第二关键帧；

基于待定位图像的图像特征及关键帧图像特征从关键帧中筛选出第三关键帧；

根据最终筛选出的关键帧图像特征和待定位图特征进行特征匹配，选取该关键帧中有效匹配的图像特征对应的三维点云数据和待定位图像的特征二维坐标信息，通过PNP算法获得待定位图像的设备位姿。

可选的，所述基于待定位图像的朝向信息及所述关键帧朝向信息从所述视觉定位地图中筛选出第二关键帧包括：基于待定位图像的朝向信息及所述第一关键帧朝向信息从所述视觉定位地图的第一关键帧中筛选出第二关键帧；

所述基于待定位图像的图像特征及关键帧图像特征从关键帧中筛选出第三关键帧包括：所述基于待定位图像的图像特征及第二关键帧图像特征从第二关键帧中筛选出第三关键帧，所述最终筛选出的关键帧为所述第三关键帧。

可选的，所述基于待定位图像的图像特征及关键帧图像特征从关键帧中筛选出第三关键帧包括：所述基于待定位图像的图像特征及第一关键帧图像特征从第一关键帧中筛选出第三关键帧；

所述基于待定位图像的朝向信息及所述关键帧朝向信息从所述视觉定位地图中筛选出第二关键帧包括：基于待定位图像的朝向信息及所述第三关键帧朝向信息从所述视觉定位地图的第三关键帧中筛选出第二关键帧，所述最终筛选出的关键帧为所述第二关键帧。

可选的，所述将大于所述筛选半径的关键帧剔除以得到筛选后的第一关键帧包括：将第二关键帧中大于所述筛选半径的关键帧剔除以得到筛选后的第一关键帧；

所述基于待定位图像的图像特征及关键帧图像特征从关键帧中筛选出第三关键帧包括：所述基于待定位图像的图像特征及第一关键帧图像特征从第一关键帧中筛选出第三关键帧，所述最终筛选出的关键帧为所述第三关键帧。

可选的，所述基于待定位图像的图像特征及关键帧图像特征从关键帧中筛选出第三关键帧包括：所述基于待定位图像的图像特征及第二关键帧图像特征从第二关键帧中筛选出第三关键帧；

所述将大于所述筛选半径的关键帧剔除以得到筛选后的第一关键帧包括：将第三关键帧中大于所述筛选半径的关键帧剔除以得到筛选后的第一关键帧，所述最终筛选出的关键帧为所述第一关键帧。

可选的，所述将大于所述筛选半径的关键帧剔除以得到筛选后的第一关键帧包括：将第三关键帧中大于所述筛选半径的关键帧剔除以得到筛选后的第一关键帧；

所述基于待定位图像的朝向信息及所述关键帧朝向信息从所述视觉定位地图中筛选出第二关键帧包括：基于待定位图像的朝向信息及所述第一关键帧朝向信息从所述视觉定位地图的第一关键帧中筛选出第二关键帧，所述最终筛选出的关键帧为所述第二关键帧。

可选的，所述基于待定位图像的朝向信息及所述关键帧朝向信息从所述视觉定位地图中筛选出第二关键帧包括：基于待定位图像的朝向信息及所述第三关键帧朝向信息从所述视觉定位地图的第三关键帧中筛选出第二关键帧；

所述将大于所述筛选半径的关键帧剔除以得到筛选后的第一关键帧包括：将第二关键帧中大于所述筛选半径的关键帧剔除以得到筛选后的第一关键帧，所述最终筛选出的关键帧为所述第一关键帧。

可选的，所述将大于所述筛选半径的关键帧剔除以得到筛选后的第一关键帧包括：以所述第二GPS信息显示的设备位置为中心，将所述视觉定位地图上半径大于所述筛选半径以外的关键帧予以剔除。

可选的，所述基于待定位图像的朝向信息及所述关键帧朝向信息从所述视觉定位地图中筛选出第二关键帧包括：设定朝向阈值；将所述关键帧朝向信息与所述关键帧朝向信息进行朝向比较，剔除朝向差距超出所述朝向阈值的关键帧。

可选的，所述基于待定位图像的图像特征及关键帧图像特征从关键帧中筛选出第三关键帧包括：

利用关键帧图像特征对所述关键帧进行KNN查询以得到K个关键帧；

根据所述K个关键帧的位置信息利用K-means算法对所述K个关键帧进行聚类，所述K个关键帧被分为N个聚类；

将每个聚类中三维点云数量满足预定数量的关键帧作为所述第三关键帧，并剔除其他关键帧。

为了解决上述技术问题，本发明技术方案还提供了一种视觉地图生成系统，包括：处理器和存储器；

所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时执行如上所述的视觉地图生成方法的步骤。

为了解决上述技术问题，本发明技术方案还提供了一种视觉地图定位系统，包括：处理器和存储器；

所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时执行如上所述的视觉地图定位方法的步骤。

为了解决上述技术问题，本发明技术方案还提供了一种视觉地图生成系统，包括：采集模块、地图重建模块、第一计算模块及第一更新模块；

所述采集模块，适于采集所需要的视频序列及第一属性信息，所述第一属性信息包括第一GPS信息；

所述地图重建模块，适于基于所述视频序列重建视觉定位地图，所述视觉定位地图包括关键帧图像特征及关键帧图像特征对应的三维点云数据；

所述第一计算模块，适于根据所述第一GPS信息将所述视觉定位地图对齐至空间地理坐标系中并计算出视觉定位地图中每个关键帧在所述空间地理坐标系中的位置信息；

所述第一计算模块，还适于利用所述关键帧在空间地理坐标系中的位置信息及主光轴计算每个关键帧相对于空间地理坐标系的方位角信息，以获得所述关键帧朝向信息；

所述第一更新模块，适于基于所述关键帧朝向更新所述视觉定位地图，更新后的视觉定位地图还包括：所述关键帧朝向信息。

可选的，所述地图重建模块，适于通过运动结构恢复算法或者即时定位与地图构建算法重建所述视觉定位地图。

可选的，所述空间地理坐标系包括：指向正东的X轴，指向正北的Y轴及远离地面向上的Z轴；所述第一计算模块包括：选择单元、转换单元、第一计算单元及第二计算单元；

所述选择单元，适于在每个关键帧的主光轴上选择一个点p(x0,y0,f)，其中(x0,y0)为相机的主点，f为相机焦距；

所述转换单元，适于通过坐标系转换将相机坐标系中的关键帧光心o(0,0,0)和点p(x0,y0,f)转换为对应空间地理坐标系中的坐标O(xo,yo,zo)和坐标P(xp,yp,zp)；

所述第一计算单元，适于计算坐标O(xo,yo,zo)和P(xp,yp,zp)组成射线OP相对于X轴的夹角θ，其中：

所述第二计算单元，适于根据如下条件计算出射线OP的方位角信息：

如果xp＞xo，当前方位角为(π/2-θ)；

如果xp＜xo，当前方位角为(3π/2-θ)；

如果xp＝xo且yp＞yo，当前方位角为0；

如果xp＝xo且yp＜yo，当前方位角为π。

可选的，所述第一属性信息还包括：第一IMU信息；所述视觉地图生成系统还包括：第二更新模块；

所述第二更新模块，适于基于所述第一GPS信息和/或第一IMU信息，使用光束法平差校准所述视觉定位地图并更新所述视觉定位地图。

可选的，所述的视觉地图生成系统还包括：网格化模块；

所述网格化模块，适于将更新后的视觉定位地图网格化以显示。

为了解决上述技术问题，本发明技术方案还提供了一种视觉地图定位系统，基于如上所述的视觉地图生成系统，包括：获取模块、第一筛选模块、第二筛选模块、第三筛选模块及第二计算模块；

所述获取模块，适于获取待定位图像的第二属性信息及图像特征，所述第二属性信息包括第二GPS信息及朝向信息；

所述第一筛选模块，适于设定筛选半径，并将大于所述筛选半径的关键帧剔除以得到筛选后的第一关键帧，所述筛选半径为筛选常量半径及为所述第二GPS信息设定的设备位置精度值之和；

所述第二筛选模块，适于基于待定位图像的朝向信息及所述关键帧朝向信息从所述视觉定位地图中筛选出第二关键帧；

所述第三筛选模块，适于基于待定位图像的图像特征及关键帧图像特征从关键帧中筛选出第三关键帧；

所述第二计算模块，适于根据最终筛选出的关键帧图像特征和待定位图特征进行特征匹配，选取该关键帧中有效匹配的图像特征对应的三维点云数据和待定位图像的特征二维坐标信息，通过PNP算法获得待定位图像的设备位姿。

为了解决上述技术问题，本发明技术方案还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的视觉地图生成方法。

为了解决上述技术问题，本发明技术方案还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的视觉地图定位方法。

本发明技术方案的有益效果至少包括：

本发明技术方案能够利用设备采集图像时自带的属性信息重建视觉地图，以获取地图数据中关键帧的辅助图像检索信息，包括：关键帧朝向信息，使视觉图像定位过程中的图像检索过程可以利用该雇主图像检索信息，以更快的速度获得更高的召回率，挑选出更好位置与视角的关键帧，降低视觉地图定位过程中因图像检索产生的错误率，提高最终视觉地图定位结果的准确率。

在本发明技术方案的可选技术方案中，进一步利用设备采集图像时自带的属性信息，比如获取图像GPS信息和/或IMU信息，以校准视觉定位地图，使视觉定位地图的关键帧的定位数据更为准确及有效。

本发明技术方案在对待定位图像进行检索定位时，通过使用待定位图像设备的属性信息及图像特征，利用GPS信息及定位图像关键帧之间的拓扑关系，筛选出筛选半径内的关键帧，再利用设备磁力计将朝向与待定位图像明显错误的关键帧予以剔除，在筛选后的关键帧中根据视觉全局描述子进一步挑选出适合定位的关键帧，选取剔除后最终筛选出的关键帧用于视觉定位。本发明技术方案通过待定位图像设备中的GPS信息和磁力计信息，可以筛掉图像检索过程中涉及的大部分的关键帧，筛掉后的关键帧不参与视觉全局描述子的图像检索，可以极大提升视觉地图定位的图像检索效率，同时也避免了空间位置明显不在一起、但在图像特征上存在一致的关键帧对地图定位产生错误结果。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其他特征、目的和优点将会变得更明显：

图1为本发明技术方案提供的一种系统架构结构示意图；

图2为本发明技术方案提供的一种视觉地图生成方法的流程示意图；

图3为利用本发明技术方案提供的视觉地图生成方法所形成的视觉定位地图文件数据存储结构示意图；

图4为利用本发明技术方案提供的视觉地图生成方法所形成的另一种视觉定位地图文件数据存储结构示意图；

图5为本发明技术方案提供的另一种视觉地图生成方法的流程示意图；

图6为本发明技术方案提供的第一种视觉地图定位方法流程示意图；

图7为本发明技术方案提供的第二种视觉地图定位方法流程示意图；

图8为本发明技术方案提供的第三种视觉地图定位方法流程示意图；

图9为本发明技术方案提供的第四种视觉地图定位方法流程示意图；

图10为本发明技术方案提供的第五种视觉地图定位方法流程示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

除非上下文明确地另外指明，否则单数形式“一”和“所述”包括复数指代物。如本申请中所使用的，用语“第一”和“第二”可互换使用，以将一个或一类构件分别与另一个或另一类区分开，且不旨在表示独立构件的位置或重要性。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于用户设备、网络设备或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备其包括但不限于任何一种可与用户通过触摸板进行人机交互的移动电子产品，例如智能手机、平板电脑等，所述移动电子产品可以采用任意操作系统，如android操作系统、IOS操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field—Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。所述网络设备其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。

所述网络104包括但不限于互联网、移动通信网络、广域网、城域网、局域网、VPN网络、无线自组织网络(AdHoc网络)等。例如，移动通信网络可以是3G、4G或5G移动通信系统，例如，移动通信网络可以是宽带码分多址(Wideband Code Division Multiple Access，WCDMA)系统、频分多址(Frequency Division Multiple Access，FDMA)系统、正交频分多址(Orthogonal Frequency-Division Multiple Access，OFDMA)系统、单载波FDMA(SC-FDMA)系统、通用分组无线业务(General Packet Radio Service，GPRS)系统或长期演进(LongTerm Evolution，LTE)系统，以及其他此类通信系统。当然，本领域技术人员应能理解上述终端设备仅为举例，其他现有的或今后可能出现的终端设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

服务器105可以是一台服务器，或者由若干台服务器组成的服务器集群，或者是一个云计算服务中心，例如云端服务器。其也可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。

需要说明的是，本申请实施例所提供的视觉地图生成方法及视觉地图定位方法一般由服务器执行，相应地，视觉地图生成系统/装置及视觉地图定位系统/装置一般设置于服务器中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

如图2所示，为本申请实施例提供的一种视觉地图生成方法的流程示意图，所述视觉地图生成方法可以由云端服务器执行。所述云端服务器可以为图1中所述服务器105。该视觉地图生成方法，包括如下步骤：

步骤S10，采集所需要的视频序列及第一属性信息，所述第一属性信息包括第一GPS信息。

在使用数据采集设备采集视觉地图生成所需的视频序列时，基于该数据采集设备自身携带的GPS接收芯片、IMU(惯性传感器，由陀螺仪和加速度计组成)、磁力计、陀螺仪、加速度计传感器等，获取与所采集视频序列有关的第一属性信息。在生成定位地图时，是根据采集设备不同，选择相应的传感器进行融合。一般采集设备中都会搭载GPS及IMU传感器，故在生成地图时会利用上述传感器信息。该属性信息可以是：GPS信息、IMU信息等。

使用数据采集设备采集的视觉地图生成所需的视频序列也可以是图像序列，根据数据采集的设备及采集方式的不同，采集的图像数据可以是任意的。可通过单镜头、多镜头或全景相机在所需定位区域采集所需要的图像。在本实施例中，在采集视频序列的同时，也通过数据采集设备自带的GPS接收装置获得到视频序列关键帧的GPS信息。

步骤S11，基于所述视频序列重建视觉定位地图，所述视觉定位地图包括关键帧图像特征及所述关键帧图像特征对应的三维点云数据。

地图数据库包括基于所述视频序列重建的视觉定位地图，重建视觉定位地图包括对图像关键帧的图像特征进行提取，并基于关键帧的图像特征得到关键帧图像特征对应的三维点云数据。重建的视觉定位地图的方式可以根据现有技术重建视觉定位地图的方法获取视觉定位地图的关键帧图像特征及其对应三维点云数据。重建的视觉定位地图得到的视觉定位地图的关键帧图像特征及其对应三维点云数据可以存储在云端服务器中。

在本实施例中，重构视觉定位地图时关键帧图像特征的获取过程可以参考如下方式：

可以对每幅关键帧图像提取一定数量级的图像特征，该数量级可以是1000～2000，在取值为3000～5000时，可以确保较佳的图像特征。可以根据不同的需要对每幅关键帧图像所提取图像特征的数量做预先设定，根据需要在关键帧的局部区域中抽取不同数量的图像特征，本发明技术方案并不对此做任何限制。从对应关键帧图像的局部区域中抽取的图像特征至少包括如下图像特征中的一种或多种：边缘、角点、线、曲线和其他特别属性的区域特征等。

从关键帧图像的局部区域中抽取图像特征的算法在计算机视觉中被广泛使用，该种图像特征提取算法可以采用FAST角点检测算法(Features from Accelerated SegmentTest，FAST)、SIFT特征检测算法(Scale-Invariant FeatureTransform，SIFT)、Harris算法、ORB特征检测算法(Oriented FAST and Rotated BRIEF，ORB)等，在本发明技术方案中都可以使用。在具体的应用实例中，关键帧图像特征可以是图片中的特殊位置点，比如可以是如上所述的角点，FAST角点检测算法是找到与周围邻域内大于预定数量的像素点相差大于等于阈值的像素点XP，则所述像素点XP为角点，角点即为所要提取的图像特征。SIFT特征描述子算法，用于侦测与描述图像中的局部性特征，对特征点进行梯度计算，生成梯度直方图，统计选取的邻域内像素的梯度和方向，从而确定特征点方向作为图像特征。在另一种应用实例中可以使用经典特征SIFT算法提取上述图片特征，也还可以使用基于深度学习的算法(如LIFT，D2Net，R2D2，SuperPoint)提取上述图片的局部特征等。

在其他实施例中，除了上述针对图像局部区域的图像特征的提取，还可以对关键帧图像提取代表该图像总体图像特征的颜色特征、纹理特征或形状特征中的一种或多种。在具体的应用实例中，如果是提取关键帧图像的颜色特征可以采用提取图片的颜色直方图方法、主色调直方图的方法、颜色矩方法或者颜色集方法等方法作为颜色特征的提取方法，将颜色直方图信息、主色调直方图信息、颜色矩信息或者颜色集信息作为颜色特征提取。如果是提取关键帧图像的纹理特征可以采用LBP方法(Local binary patterns)或者灰度共生矩阵方法等方法提取图像的纹理特征。如果是提取关键帧图像的形状特征，可以采用边缘特征提取的方法，具体用Canny算子边缘检测或者Sobel算子边缘检测算法实现。

针对大规模场景地图生成，基于上述关键帧图像特征，可通过运动恢复结构(Structure From Motion,SFM)算法或即时定位与地图构建(Simultaneous Localizationand Mapping,SLAM)算法，基于上述关键帧图像特征，恢复出上述关键帧图像特征所对应的三维点云数据，以完成视觉定位地图重建。

运动恢复结构算法是从一系列二维图像恢复出场景三维稀疏点云的技术的统称，其主要步骤包括特征匹配、三角化点云，BA优化等。采用现有技术中使用运动恢复结构算法对一系列二维图像恢复出三维场景数据点云技术方案都可以实现本实施例基于图像特征获取对应三维点云数据的过程。

即时定位与地图构建算法是通过计算机从地图未知环境及未知地点出发，在运动过程中通过已从关键帧地图特征(比如，墙角，柱子等)的二维图像位置和姿态数据，再根据自身位置增量式的构建地图，从而恢复该关键帧图像特征对应在三维地图中三维点云数据的过程。

本发明实施例不在此对使用何种算法使关键帧图像特征重构视觉地图三维场景做限制。

步骤S12，根据所述第一GPS信息将所述视觉定位地图对其至空间地理坐标系中并计算出视觉定位地图中每个关键帧在所述空间地理坐标系中的位置信息，利用所述关键帧在空间地理坐标系中的位置信息及主光轴计算每个关键帧相对于空间地理坐标系的方位角信息，以获得所述关键帧朝向信息。

不同于现有技术，本发明技术方案的重建视觉地图，除了包括上述关键帧图像特征及关键帧图像特征对应的三维点云数据，还包括关键帧朝向信息。通过上述属性信息中获知的GPS信息，将视觉地图对齐至空间地理坐标系(也称世界坐标系)中得到得校准后的视觉地图(Aligned Map)，可以获得对齐空间地理坐标系后每个关键帧的位置信息，基于这些关键帧的位置信息，可以计算出视觉地图中每个关键帧的主光轴相对于空间地理坐标系的方位角。在本发明技术方案的一种实例中，关键帧朝向信息的获取可以通过如下算法：

所述空间地理坐标系包括：指向正东的X轴，指向正北的Y轴及远离地面向上的Z轴；方位角信息可以通过关键帧的主光轴朝向来表示，根据每个关键帧在空间地理坐标系中的位置信息及主光轴计算出视觉定位地图中每个关键帧相对于空间地理坐标系的方位角信息包括：

在每个关键帧的主光轴上选择一个点p(x0,y0,f)，其中(x0,y0)为相机的主点，f为相机焦距；

通过坐标系转换将相机坐标系中的关键帧光心o(0,0,0)和点p(x0,y0,f)转换为对应空间地理坐标系中的坐标O(xo,yo,zo)和坐标P(xp,yp,zp)，其中xo，yo，zo分别为关键帧光心o(0,0,0)转换到对应空间地理坐标系的X轴、Y轴及Z轴坐标值，xp，yp，zp分别为点p(x0,y0,f)转换到对应空间地理坐标系的X轴、Y轴及Z轴坐标值。在本步骤中，通过坐标系转换将相机坐标系中的关键帧光心o(0,0,0)和点p(x0,y0,f)转换为对应空间地理坐标系中的坐标O(xo,yo,zo)和坐标P(xp,yp,zp)，实现将视觉地图对齐至空间地理坐标系。本发明所述的关键帧在空间地理坐标系中的位置信息，即可以是关键帧光心o(0,0,0)转换到空间地理坐标系中的坐标O(xo,yo,zo)。

基于如下算式计算坐标O(xo,yo,zo)和P(xp,yp,zp)组成射线OP相对于X轴的夹角θ，即：

由于所求夹角θ范围只能在(-π/2,π/2)之间，故还比较xp和xo之间大小，整个视觉定位地图已经向北极对齐，故计算出的射线OP的方位角即可表示为该关键帧的朝向，可根据如下条件计算出射线OP的方位角信息：

如果xp＞xo，当前方位角为(π/2-θ)；

如果xp＜xo，当前方位角为(3π/2-θ)；

如果xp＝xo且yp＞yo，当前方位角为0；

如果xp＝xo且yp＜yo，当前方位角为π。

步骤S13，基于所述关键帧朝向更新所述视觉定位地图，更新后的视觉定位地图还包括：所述关键帧朝向信息。

通过视觉地图数据库中的地图数据，即包括：关键帧图像特征、关键帧图像特征对应的三维点云数据及关键帧的朝向信息(也就是方位角信息)，可以得到更新后的视觉定位地图。

经过步骤S10至S13，更新后的视觉定位地图文件的一种数据存储形式可以如图3所示。

J₁、J₂、J₃…J_m依次为关键帧P₁、P₂、P₃…P_m的图像特征集合，其中，j₁₁,j₁₂…j_1N为关键帧P₁的图像特征集合J₁中的特征数据，j₂₁,j₂₂…j_2N为关键帧P₂的图像特征集合J₂中的特征数据，j₃₁,j₃₂…j_3N为关键帧P₃的图像特征集合J₃中的特征数据，以此类推，j_m1,j_m2…j_mN为关键帧P_m的图像特征集合J_m中的特征数据。J₁、J₂、J₃…J_m以及P₁、P₂、P₃…P_m下角标1、2、3…m分别为关键帧序号。图3中仅示意了关键帧P₁、P₂、P₃…P_m图像的关键帧图像特征集合J₁、J₂、J₃…J_m，J₁、J₂、J₃…J_m不包括从关键帧总体区域提取的关键帧图像特征。仅包括上述数量级为N的图像局部区域的图像特征。j₁₁,j₁₂…j_1N，j₂₁,j₂₂…j_2N，j₃₁,j₃₂…j_3N，…，j_m1,j_m2…j_mN的下角标由左右两边的数字构成，其中：左边数字1,2,3，…m代表关键帧序号；右边数字代表局部区域图像特征的数量级编号，即从对应关键帧图像提取了1至N个数量的图像特征。N为所提取图像特征的数量级。

通过本实施例提供的运动恢复结构算法或即时定位与地图构建算法，能够恢复关键帧P₁、P₂、P₃…P_m的采集设备参数及场景三维结构，得到图像特征所对应的三维点云数据集合S₁、S₂、S₃…S_m。三维点云数据S₁、S₂、S₃…S_m依次为图像特征集合J₁、J₂、J₃…J_m放置于预置三维坐标下的三维坐标数据集合。更为具体的，S₁为图像特征集合J₁中特征点j₁₁,j₁₂…j_1N对应三维坐标数据集合，S₂为图像特征集合J₂中特征点j₂₁,j₂₂…j_2N对应三维坐标数据集合，S₃为图像特征集合J₃中特征点j₃₁,j₃₂…j_3N对应三维坐标数据集合，以此类推，S_m为图像特征集合J_m中特征点j_m1,j_m2…j_mN对应三维坐标数据集合。

继续参考图3，该地图文件还包括关键帧P₁、P₂、P₃…P_m的朝向信息D₁、D₂、D₃…D_m及位置信息G₁、G₂、G₃…G_m。从上述更新后的视觉定位地图文件的数据存储形式来看，关键帧P₁、P₂、P₃…P_m的图像特征集合J₁、J₂、J₃…J_m、三维点云数据集合S₁、S₂、S₃…S_m、朝向信息D₁、D₂、D₃…D_m、位置信息G₁、G₂、G₃…G_m具有数据存储的对应关系。这种对应关系可以使计算机在获取到其中一个图像特征数据(特征点)，就可以获取该图像特征数据对应的图像特征集合，获取到该图像特征集合对应的三维坐标数据集合，并根据该特征数据获取该特征数据对应的三维坐标数据，还可以根据该图像特征集合或三维坐标数据集合，获得对应的朝向信息。

比如计算机检索到特征数据j₁₁，就可以从图像特征集合J₁对应的三维坐标数据集合S₁检索到特征数据j₁₁对应的三维坐标数据，并获得对应的朝向信息D₁及位置信息G₁。

又如计算机检索到朝向信息D₂，就可以获得对应的图像特征集合J₂，对应的三维坐标数据集合S₂及位置信息G₂的数据。

在其他实施例中，经过步骤S10至S13，更新后的视觉定位地图文件的另一种数据存储形式可以如图4所示。该项视觉定位地图文件中的关键帧P₁、P₂、P₃…P_m的图像特征集合J₁’、J₂’、J₃’…J_m’中除了包括图3所示的图像特征集合，还包括从关键帧总体区域提取的关键帧图像特征j₁₀,j₂₀…j_m0。j₁₀,j₂₀…j_m0下角标也由左右两边的数字构成，其中：左边数字1,2,3，…m代表关键帧序号；右边数字0代表关键帧序号为1,2,3，…m的总体区域图像特征的编号。

在图4的地图文件中，关键帧P₁、P₂、P₃…P_m的图像特征集合J₁’、J₂’、J₃’…J_m’、三维点云数据集合S₁、S₂、S₃…S_m、朝向信息D₁、D₂、D₃…D_m、位置信息G₁、G₂、G₃…G_m具有数据存储的对应关系。这种对应关系可以使计算机在获取到其中一个图像特征数据(可为总体图像特征或局部图像特征)，就可以获取该图像特征数据对应的图像特征集合，获取到该图像特征集合对应的三维坐标数据集合，还可以根据该图像特征集合或三维坐标数据集合，获得对应的朝向信息。

比如计算机检索到特征数据j₁₁，就可以获取图像特征集合J₁，获取图像特征集合J₁对应的三维坐标数据集合S₁，从图像特征集合J₁对应的三维坐标数据集合S₁检索到特征数据j₁₁对应的三维坐标数据，并获得对应的朝向信息D₁及位置信息G₁。

又如计算机检索到特征数据j₂₀，就可以获取图像特征集合J₂’，获取图像特征集合J₂’对应的三维坐标数据集合S₂，以及获得对应的朝向信息D₂及位置信息G₂。

在上述视觉地图生成方法的一种变化例中，为了提高地图精度，还使用了设备获取的第一属性信息，采用光束法平差校准所生成的视觉地图。具体的，在如图5所示的视觉地图生成方法，该方法除了包括如图3所示的步骤S10至步骤S13外，还包括：

步骤S14，使用光束法平差校准并更新所述视觉地图。

使用光束法平差校准所生成的视觉地图可以使得反投影误差最小。正如单杰博士在《光束法平差简史与概要》(武汉大学学报，信息科学版,2018,43(12):1797-1810.)中指出：光束法平差是当前摄影测量和计算机视觉及机器人领域通用的一种利用影像进行定位的理论与方法。可以通过光束法平差数学模型的建立与解算，对所生成的地图进行优化。光束法平差的数学模型是指光束法平差中观测数据与参数之间的关系。它首先包括成像模型，即图像、物体及相机之间的数学关系，通常是指三者在同一直线上的事实，即共线方程。几十年来有几种不同的方式来表示这种基本关系。另外，在光束法平差发展的历程中，也不断有新的观测数据或条件(约束)引入到平差计算中来，这些观测数据与未知参数的关系也构成了对传统光束法模型的扩展。在此基础上，使用第一数据信息中的GPS信息或者IMU信息作为约束条件(也即观测数据)，对所生成的视觉地图进行优化，使得整个优化过程朝正确的方向进行。

依据如图2或图5所示的视觉地图生成方法产生的视觉地图为稀疏地图，为了便于显示，可以在上述视觉地图生成的基础上，将视觉地图网格化以便于显示。可以利用多视角立体视觉(multi view stereo,MVS)和泊松(Poisson)曲面重建Poisson等方法生成网格地图。现有技术生成网格地图的方法很多，本发明技术方案不对地图网格化的方式做任何限制。

基于本发明技术方案提供的上述视觉地图生成方法的实施例，基于任何一种实施例方法下生成的视觉地图，如图6所示，本发明技术方案还提供了一种视觉地图定位方法，包括如下流程步骤：

步骤S20，获取待定位图像的第二属性信息及图像特征，所述第二属性信息包括第二GPS信息及朝向信息。

对待定位图像提取第二属性信息的方式与步骤S10类似，即使用图像获取设备自身携带的GPS接收芯片、IMU(惯性传感器，由陀螺仪和加速度计组成)、磁力计、陀螺仪、加速度计传感器等，获取与待定位图像有关的属性信息，诸如：GPS信息、IMU信息、朝向信息等。

在步骤S20中，第二属性信息中的GPS信息及朝向信息可用于本实施例待定位图像的定位计算。

更进一步的，对待定位图像的图像特征的获取方式可以参考步骤S11中对视觉定位地图获取关键帧图像特征的方式。较为类似的，通过对待定位图像获取预定数量级的图像特征，特别是对待定位图像局部区域抽取不同数量的图像特征，以完成待定位图像图像特征的提取。从待定位图像的局部区域中抽取的图像特征至少包括如下图像特征中的一种或多种：边缘、角点、线、曲线和其他特别属性的区域特征等。

其他实施例中，除了对待定位图像进行局部区域的图像特征的提取，也可以包括对待定位图像总体图像特征的提取，包括总体图像特征中颜色特征、纹理特征或形状特征中的一种或多种。

对待定位图像进行局部区域图像特征的提取，或者对待定位图像进行总体图像特征的提取，这些具体的提取图像特征的算法可以参考上述对于关键帧图像特征的提取算法，此处不再赘述。

现有技术中，视觉地图的定位方法是基于待定位图像的图像特征获取结果的。在待定位图像的图像特征与视觉地图关键帧图像特征匹配后，会得到相互匹配的待定位图像的第一匹配图像特征，以及视觉地图关键帧的第二匹配图像特征。视觉地图在生成时，已获得了视觉地图关键帧图像特征及与之对应的三维点云数据。因此，在对待定位图像进行匹配定位时，会基于第一匹配图像特征及第二匹配图像特征对应的三维点云数据，通过PNP算法获得待定位图像的设备位姿。

不同于现有技术，本实施例在对待定位图像的图像特征进行匹配前，会对关键帧图像进行筛选，提高关键帧图像匹配的准确率及检索效力。

继续参考图6，在本实施例中，该视觉地图定位方法还包括：

步骤S21，设定筛选半径，并将大于所述筛选半径的关键帧剔除以得到筛选后的第一关键帧。

根据步骤S21，基于视觉地图的第一GPS信息，基于第二GPS信息在所设定筛选半径的范围内对视觉地图关键帧进行GPS信息的关键帧筛选。如果视觉地图关键帧的第一GPS信息显示其在第二GPS信息为范围中心的筛选半径范围内，则这些视觉地图关键帧则被筛选为第一关键帧。

筛选半径的设定方式可以根据实际系统需要自行预定。在本实施例的一种变化例中，筛选半径可为筛选常量半径及为所述第二GPS信息设定的设备位置精度值之和。具体的：可根据待定位图像获取设备的系统接口可确定当前时刻GPS的精度范围D_A，D_A也即第二GPS位置对应的设备精度值；R₀为自定义所选择的数值；筛选半径R可以为精度范围D_A与自定义数值R₀之和。

步骤S22，基于待定位图像的朝向信息及所述第一关键帧朝向信息从所述视觉定位地图的第一关键帧中筛选出第二关键帧；

基于步骤S21所筛选出的第一关键帧，已经筛选掉在GPS位置信息与所待定位图像不符的关键帧，已提高了关键帧的筛选与检索精度与效率。进一步的，可利用设备磁力计获取的待定位图像的朝向信息，将与待定位图像朝向不一致的关键帧予以剔除。在朝向信息的比对上，可以设置朝向信息中，可以同样地将设备所形成图像的主光轴相对于空间地理坐标系的方位角信息作为图像朝向信息，与第一关键帧的朝向信息比较。比较代表朝向信息的方位角，如果第一关键帧中朝向信息与待定位图像朝向信息相比，差异超出自定义的阈值，那么这些第一关键帧就予以剔除，只保留差异未超过自定义阈值范围的第一关键帧。这进一步减少了候选关键帧集，最终通过朝向信息的比较，筛选差异符合阈值范围的第二关键帧，也就是说，在具体的比较过程中，可以通过设定角度筛选阈值，并剔除朝向不在待定位图像朝向信息有效视角范围内的关键帧，得到第二关键帧。

步骤S23，基于待定位图像的图像特征及第二关键帧图像特征从第二关键帧中筛选出第三关键帧，所述最终筛选出的关键帧为所述第三关键帧。

步骤S23可以采用现有技术的图像检索方法，即使用待定位图像局部区域的图像特征，在视觉地图第二关键帧范围内对第二关键帧的局部区域图像特征进行检索，以得到最终筛选出的关键帧。将最终筛选出的关键帧。局部区域图像特征的检索方式可以通过朴素的局部特征匹配算法，即直接计算待定位图像中图像特征与第二关键帧图像特征的欧氏距离，将最接近的待定位图像中图像特征的关键帧特征图像作为最终筛选出的图像特征。

在本实施例的一则变化例中，步骤S23也可以通过如下手段实现：

利用KNN算法(K-Nearest Neighbor algorithm)对待定位图像总体图像特征(也即全局描述子图像特征)进行查询，在上述相关所有的候选关键帧(在本实施例中为第二关键帧)中进一步筛选出适合定位的k个关键帧；

根据查询的k个关键帧的位置信息，利用K-means算法(k-means clusteringalgorithm)构建n个聚类(Cluster)，并基于位置信息计算k个关键帧到n个聚类的距离，并将k个关键帧分配至距离最近的聚类；

每个聚类中选取三维点数最多的关键帧作为候选帧，剔除其他关键帧；

最终选取这n个聚类中的剩余的关键帧作为最终筛选出的关键帧，并将这n个聚类中的n个关键帧依照KNN算法返回的目录顺序(Index)排序，并用于定位。

在本步骤中，由于候选关键帧，即第二关键帧，已经步骤S21，步骤S22的GPS筛选、磁力计朝向筛选，通过图像特征进一步采用KNN算法及K-means算法筛选关键帧可以很好选择出多个位置不同视角的关键帧，从而提高定位成功率及精度。

步骤S23使用了视觉地图的图像特征，也就是通过KNN算法及K-means算法检索出与待定位图像最相似的关键帧。采用K-means算法将KNN获得的k个关键帧聚类，将k个关键帧通过聚类的方式共分成了n类。在利用KNN算法查询K个关键帧时，会返回k个关键帧之间的相对顺序，即KNN算法返回的目录顺序，以用于返回排序后的关键帧。

步骤S24，根据最终筛选出的关键帧图像特征和待定位图特征进行特征匹配，选取该关键帧中有效匹配的图像特征对应的三维点云数据和待定位图像的特征二维坐标信息，通过PNP算法获得待定位图像的设备位姿。

PNP(Perspective-n-Point)算法是在给定世界参考系上的n个3D点及其在图像中的相应2D投影的情况下估计校准相机的位姿的问题。可以使用该PNP算法，基于待定位图像局部区域的图像特征(相对应2D投影)与最终筛选出的关键帧图像特征对应的三维点云数据(相对于3D点)求得待定位图像设备的位姿。由于PNP算法广泛应用于相机位姿跟踪，物体位姿跟踪，AR/VR，机器人操作，SLAM中位姿初值求解等现有技术方案中，常用解法包括DLT算法、P3P算法、EPnP算法及UPnP算法等，属于所有三维视觉领域内非常基础的算法方案，本发明技术方案不再赘述。

对应于图3所示的视觉定位地图文件之数据，视觉定位地图文件包括：关键帧P₁、P₂、P₃…P_m及其图像特征集合J₁、J₂、J₃…J_m，图像特征所对应的三维点云数据集合S₁、S₂、S₃…S_m，关键帧P₁、P₂、P₃…P_m的朝向信息D₁、D₂、D₃…D_m以及位置信息G₁、G₂、G₃…G_m。其中图像特征集合J₁、J₂、J₃…J_m为从关键帧P₁、P₂、P₃…P_m图像的局部区域提取数量级为N的关键帧图像特征集合。

在执行步骤S20时，设备拍摄待定位图像时基于设备的辅助装置(比如GPS芯片、IMU、磁力计等)获取了待定位图像的GPS信息、IMU信息及朝向信息等，可以用于辅助定位。待定位图像在被提取图像特征后，也形成了待定位图像GPS信息、IMU信息、朝向信息及图像特征等待定位数据。

在执行步骤S21时，通过待定位图像GPS信息，在图3所示的视觉定位地图文件之数据中，通过位置信息G₁、G₂、G₃…G_m的筛选，将大于所述筛选半径的视觉地图的关键帧剔除，筛选出的关键帧为第一关键帧。假设经过筛选后，第一关键帧数量级为f，第一关键帧序号为x1、x2、x3，…xf，第一关键帧数据则包括：关键帧P_x1、P_x2、P_x3…P_xf及其图像特征集合J_x1、J_x2、J_x3…J_xf，图像特征所对应的三维点云数据集合S_x1、S_x2、S_x3…S_xf，朝向信息D_x1、D_x2、D_x3…D_xf。数量级为f进一步小于m。

在执行步骤S22时，通过待定位图像朝向信息，在第一关键帧数据中，通过朝向信息D_x1、D_x2、D_x3…D_xf的筛选，将朝向信息与待定位图像的朝向信息不一致的关键帧剔除，筛选出的关键帧为第二关键帧。假设经过筛选后，第二关键帧数量级为h，第二关键帧序号为y1、y2、y3，…yh，第二关键帧数据则包括：关键帧P_y1、P_y2、P_y3…P_yh及其图像特征集合J_y1、J_y2、J_y3…J_yh，图像特征所对应的三维点云数据集合S_y1、S_y2、S_y3…S_yh。数量级为h进一步小于f。

在执行步骤S23时，通过现有技术图像检索方法，可以基于待定位图像的图像特征，从图像特征集合J_y1、J_y2、J_y3…J_yh范围进行检索，得到最接近待定位图像图像特征的关键帧图像特征。假设最终筛选出的第三关键帧数量级为g，第三关键帧序号为z1、z2、z3，…zg，第三关键帧数据则包括：图像特征集合J_z1、J_z2、J_z3…J_zg所对应的三维点云数据集合S_z1、S_z2、S_z3…S_zg。

在执行步骤S23时，根据第三关键帧数据中的三维点云数据集合S_z1、S_z2、S_z3…S_zg以及待定位图像局部区域的图像特征(相对应2D投影)，求得待定位图像设备的位姿。

对应于图4所示的视觉定位地图文件之数据，视觉定位地图文件包括：关键帧P₁、P₂、P₃…P_m及图像特征集合J₁’、J₂’、J₃’…J_m’，三维点云数据集合S₁、S₂、S₃…S_m、朝向信息D₁、D₂、D₃…D_m以及位置信息G₁、G₂、G₃…G_m。其中图像特征集合J₁’、J₂’、J₃’…J_m’为从关键帧P₁、P₂、P₃…P_m图像的局部区域提取数量级为N的关键帧图像特征及从关键帧总体区域提取的关键帧图像特征的集合。

在执行步骤S20时，待定位图像具有待定位图像GPS信息、IMU信息、朝向信息及总体图像特征及局部区域图像特征等待定位数据。在执行步骤S21时，通过待定位图像GPS信息，在图4所示的视觉定位地图文件之数据中，通过位置信息G₁、G₂、G₃…G_m的筛选，筛选出的关键帧为第一关键帧。假设经过筛选后，第一关键帧数量级仍为f，第一关键帧序号仍为x1、x2、x3，…xf，第一关键帧数据则包括：关键帧P_x1、P_x2、P_x3…P_xf及其图像特征集合J’_x1、J’_x2、J’_x3…J’_xf，图像特征所对应的三维点云数据集合S_x1、S_x2、S_x3…S_xf，朝向信息D_x1、D_x2、D_x3…D_xf。数量级为f进一步小于m。

继续对应于图4的地图数据文件，通过执行步骤S22筛选出的关键帧为第二关键帧。假设经过筛选后，第二关键帧数量级仍为h，第二关键帧序号仍为y1、y2、y3，…yh，第二关键帧数据则包括：关键帧P_y1、P_y2、P_y3…P_yh及其图像特征集合J’_y1、J’_y2、J’_y3…J’_yh，图像特征所对应的三维点云数据集合S_y1、S_y2、S_y3…S_yh。数量级为h进一步小于f。

在执行步骤S22时，通过KNN算法及K-means算法，可以基于待定位图像的总体图像特征及局部区域的图像，在图像特征集合J’_y1、J’_y2、J’_y3…J’_yh范围，先通过KNN算法在关键帧总体区域图像特征j_y10,j_y20…j_yh0提取适合定位的k个关键帧，此时数量级为k，序号为z1、z2、z3，…zk，筛选后的关键帧数据包括：关键帧P_z1、P_z2、P_z3…P_zk及其图像特征集合J’_z1、J’_z2、J’_z3…J’_zk、三维点云数据集合S_z1、S_z2、S_z3…S_zk、位置信息G_z1、G_z2、G_z3…G_zk。数量级为k进一步小于h。

利用k个关键帧P_z1、P_z2、P_z3…P_zk的位置信息G_z1、G_z2、G_z3…G_zk，构建n个聚类，并计算k个关键帧到n个聚类的距离，将n个聚类中三维点数最多的关键帧作为每个距离的候选帧，以得到n数量级的关键帧数据，关键帧序号为r1、r2、r3，…rn，关键帧数据包括：关键帧P_r1、P_r2、P_r3…P_rn及其图像特征集合J’_r1、J’_r2、J’_r3…J’_rn、三维点云数据集合S_r1、S_r2、S_r3…S_rn。数量级为n进一步小于k。

基于对应于图4的最终筛选出的关键帧数据，在执行步骤S23时，根据第三关键帧数据中依据KNN算法排序目录的关键帧数据的三维点云数据集合S_r1、S_r2、S_r3…S_rn以及待定位图像局部区域的图像特征(相对应2D投影)，可求得待定位图像设备的位姿。

上述实施例中，步骤S21及步骤S22已经经过GPS和磁力计朝向筛选，步骤S23是基于经过步骤S21及步骤S22所筛选得到的第二关键帧进一步筛选的。在其他实施例中，如果未执行步骤S21及步骤S22，即不采用GPS和磁力计朝向筛选，在步骤S20执行后，直接基于所获取待定位图像的图像特征，执行步骤S23对视觉地图关键帧数据进行筛选，这也是可以实现提升系统性能与完成定位的效果。参考图7所示的变化例，该种视觉地图定位方法包括如下流程步骤：

步骤S30，获取待定位图像的图像特征。

本实施例中，图像特征的获取可以包括对待定位图像总体图像特征的提取及局部区域图像特征的提取，也可以仅对待定位图像局部区域图像特征进行提取。

步骤S31，基于待定位图像的图像特征及关键帧图像特征从视觉地图的关键帧中筛选出关键帧。

步骤S31的筛选方法可以参考步骤S23，只是将图像特征检索或采用KNN算法及K-means算法的筛选范围从步骤S23的第二关键帧范围变化为视觉地图的全部关键帧，此处不再赘述。

步骤S32，根据最终筛选出的关键帧图像特征和待定位图特征进行特征匹配，选取该关键帧中有效匹配的图像特征对应的三维点云数据和待定位图像的特征二维坐标信息，通过PNP算法获得待定位图像的设备位姿。

步骤S32也就是使用PNP算法，基于待定位图像局部区域的图像特征(相对应2D投影)与最终筛选出的关键帧图像特征对应的三维点云数据(相对于3D点)求得待定位图像设备的位姿。

本发明技术方案的步骤S21、步骤S22及步骤S23的筛选顺序可以任意变化，任意调换定位方法流程中各步骤之间的顺序。这种任意执行顺序的调换可以替代步骤S20至步骤S24构成的技术方案，替代方案与步骤S20至步骤S24构成技术方案的区别在于：在不同GPS精度和场景中，可能会出现检索结果不一致的情况，但总的优化核心是一致的、无区别的。

基于本发明技术方案提供的上述视觉地图生成方法的实施例，基于任何一种实施例方法下生成的视觉地图，如图8所示，本发明技术方案还提供了一种视觉地图定位方法，将步骤S21及步骤S22的执行筛选顺序进行了变化，具体包括如下流程步骤：

步骤S40，获取待定位图像的第二属性信息及图像特征，所述第二属性信息包括第二GPS信息及朝向信息。

步骤S40的执行方式与步骤S20一致，此处不再赘述。

步骤S41，基于待定位图像的朝向信息及所述视觉地图的关键帧朝向信息从所述视觉定位地图的关键帧中筛选出第一关键帧。

步骤S41与步骤S21的不同之处，在于其利用设备磁力计获取的待定位图像的朝向信息，将与待定位图像朝向不一致的原始视觉地图的关键帧予以剔除，得到经过朝向筛选且朝向与待定位图像朝向一致的第一关键帧数据。朝向信息的比对方式可以参考步骤S22，此处不再赘述。

步骤S42，设定筛选半径，并将大于所述筛选半径的第一关键帧剔除以得到筛选后的第二关键帧。

根据步骤S41，基于视觉地图关键帧的GPS信息，基于待定位地图的第二GPS信息在所设定筛选半径的范围内对经过步骤S41朝向信息筛选后的第一关键帧进行GPS信息的关键帧筛选，得到GPS位置在待定位地图设定筛选半径内的第二关键帧数据。关键帧筛选方式可以参考步骤S21，此处不再赘述。

步骤S43，基于待定位图像的图像特征及第二关键帧图像特征从第二关键帧中筛选出第三关键帧，所述最终筛选出的关键帧为所述第三关键帧。

可以采用现有技术的图像检索方法对视觉地图第二关键帧范围的图像特征进行检索，得到最终筛选出的关键帧。也可以先通过KNN算法对视觉图像第二关键帧的全局描述子图像特征进行查询，筛选出适合定位的k个关键帧；再利用K-means算法构建n个聚类，分配这k个关键帧至这n个聚类，每个聚类中选取三维点数最多的关键帧作为候选帧，剔除其他关键帧；最终得到n个依照KNN算法返回的目录顺序关键帧，并用于定位。筛选出第三关键帧就是这n个依据KNN算法目录顺序返回的关键帧。步骤S43的执行方式与步骤S23一致，此处不再赘述。

步骤S44，根据最终筛选出的关键帧图像特征和待定位图特征进行特征匹配，选取该关键帧中有效匹配的图像特征对应的三维点云数据和待定位图像的特征二维坐标信息，通过PNP算法获得待定位图像的设备位姿。

步骤S44的执行算法与步骤S24一致，都是基于待定位图像局部区域的图像特征(相对应2D投影)与最终筛选出的关键帧图像特征对应的三维点云数据(相对于3D点)求得待定位图像设备的位姿，此处不再赘述。

对应于图3所示的视觉定位地图文件之数据，不同于图6所示的视觉地图定位方法：

在执行步骤S41时，先通过待定位图像朝向信息，在视觉地图的原始关键帧数据中，通过朝向信息D₁、D₂、D₃…D_m的筛选，将朝向信息与待定位图像的朝向信息不一致的关键帧剔除，筛选出的关键帧为第一关键帧。假设经过筛选后，第一关键帧数量级为h，第一关键帧序号为x1、x2、x3，…xh，第一关键帧数据则包括：关键帧P_x1、P_x2、P_x3…P_xh及其图像特征集合J_x1、J_x2、J_x3…J_xh，图像特征所对应的三维点云数据集合S_x1、S_x2、S_x3…S_xh、位置信息G_x1、G_x2、G_x3…G_xh。数量级为h进一步小于m。

在执行步骤S42时，通过待定位图像GPS信息，对位置信息G_x1、G_x2、G_x3…G_xh进行筛选，将大于所述筛选半径的视觉地图的关键帧剔除，筛选出的关键帧为第二关键帧。假设经过筛选后，第二关键帧数量级为f，第二关键帧序号为y1、y2、y3，…yf，第二关键帧数据则包括：关键帧P_y1、P_y2、P_y3…P_yf及其图像特征集合J_y1、J_y2、J_y3…J_yf，图像特征所对应的三维点云数据集合S_y1、S_y2、S_y3…S_yf。数量级为f进一步小于h。

在执行步骤S43时，通过现有技术图像检索方法，可以基于待定位图像的图像特征，从图像特征集合J_y1、J_y2、J_y3…J_yf范围进行检索，得到最接近待定位图像图像特征的关键帧图像特征。假设最终筛选出的第三关键帧数量级为g，第三关键帧序号为z1、z2、z3，…zg，第三关键帧数据则包括：图像特征集合J_z1、J_z2、J_z3…J_zg所对应的三维点云数据集合S_z1、S_z2、S_z3…S_zg。可根据第三关键帧数据中的三维点云数据集合S_z1、S_z2、S_z3…S_zg以及待定位图像局部区域的图像特征(相对应2D投影)，求得待定位图像设备的位姿。

对应于图4所示的视觉定位地图文件之数据，由于视觉定位地图文件包括：图像特征集合J₁’、J₂’、J₃’…J_m’。在执行步骤S41时，通过朝向信息D₁、D₂、D₃…D_m的筛选，筛选出第一关键帧。假设经过筛选后，第一关键帧数量级为h，第一关键帧序号为x1、x2、x3，…xh，第一关键帧数据则包括：关键帧P_x1、P_x2、P_x3…P_xh及其图像特征集合J’_x1、J’_x2、J’_x3…J’_xh，图像特征所对应的三维点云数据集合S_x1、S_x2、S_x3…S_xh、位置信息G_x1、G_x2、G_x3…G_xh。数量级为h进一步小于m。在执行步骤S42时，通过待定位图像GPS信息，对位置信息G_x1、G_x2、G_x3…G_xh进行筛选，得到第二关键帧。假设经过筛选后，第二关键帧数量级为f，第二关键帧序号为y1、y2、y3，…yf，第二关键帧数据则包括：关键帧P_y1、P_y2、P_y3…P_yf及其图像特征集合J’_y1、J’_y2、J’_y3…J’_yf，图像特征所对应的三维点云数据集合S_y1、S_y2、S_y3…S_yf。数量级为f进一步小于h。

在执行步骤S43时，通过KNN算法及K-means算法，可以基于待定位图像的总体图像特征及局部区域的图像，在图像特征集合J’_y1、J’_y2、J’_y3…J’_yf范围，先通过KNN算法在关键帧总体区域图像特征j_y10,j_y20…j_yf0提取适合定位的k个关键帧，此时数量级为k，序号为z1、z2、z3，…zk，筛选后的关键帧数据包括：关键帧P_z1、P_z2、P_z3…P_zk及其图像特征集合J’_z1、J’_z2、J’_z3…J’_zk、三维点云数据集合S_z1、S_z2、S_z3…S_zk、位置信息G_z1、G_z2、G_z3…G_zk。数量级为k进一步小于f。

利用k个关键帧P_z1、P_z2、P_z3…P_zk的位置信息G_z1、G_z2、G_z3…G_zk，构建n个聚类，并计算k个关键帧到n个聚类的距离，将n个聚类中三维点数最多的关键帧作为每个距离的候选帧，以得到n数量级的关键帧数据，关键帧序号为r1、r2、r3，…rn，关键帧数据包括：关键帧P_r1、P_r2、P_r3…P_rn及其图像特征集合J’_r1、J’_r2、J’_r3…J’_rn、三维点云数据集合S_r1、S_r2、S_r3…S_rn。数量级为n进一步小于k。

其他步骤S40至S44的步骤流程可以参考如图6所示的实施例执行流程，此处不再赘述。

基于本发明技术方案提供的上述视觉地图生成方法的实施例，基于任何一种实施例方法下生成的视觉地图，如图9所示，本发明技术方案还提供了一种视觉地图定位方法，将步骤S22及步骤S23的执行筛选顺序进行了变化，具体包括如下流程步骤：

步骤S50，获取待定位图像的第二属性信息及图像特征，所述第二属性信息包括第二GPS信息及朝向信息。

步骤S50的执行方式与步骤S20一致，此处不再赘述。

步骤S51，设定筛选半径，并将大于所述筛选半径的关键帧剔除以得到筛选后的第一关键帧。

步骤S51的执行方式与步骤S21一致，此处不再赘述。

步骤S52，基于待定位图像的图像特征及第一关键帧图像特征从第一关键帧中筛选出第二关键帧。

可以采用现有技术的图像检索方法对视觉地图第一关键帧范围的图像特征进行检索，得到筛选出的第二关键帧。也可以先通过KNN算法对视觉地图的第一关键帧的全局描述子图像特征进行查询，筛选出适合定位的k个关键帧；再利用K-means算法构建n个聚类，分配这k个关键帧至这n个聚类，每个聚类中选取三维点数最多的关键帧作为候选帧，剔除其他关键帧；最终得到n个依照KNN算法返回的目录顺序关键帧，并用于定位。筛选出第二关键帧就是这n个依据KNN算法目录顺序返回的关键帧。步骤S52的其他具体执行方式与步骤S23一致，此处不再赘述。

步骤S53，基于待定位图像的朝向信息及所述第二关键帧朝向信息从所述第二关键帧中筛选出第三关键帧。

步骤S53与步骤S22的不同之处，在于其利用设备磁力计获取的待定位图像的朝向信息，在上述步骤S52筛选得到的第二关键帧数据范围，将与待定位图像朝向不一致的第二关键帧予以剔除，得到经过朝向筛选且朝向与待定位图像朝向一致的第三关键帧数据。该第三关键帧数据为最终筛选得到的关键帧数据。朝向信息的比对方式可以参考步骤S22，此处不再赘述。

步骤S54，根据最终筛选出的关键帧图像特征和待定位图特征进行特征匹配，选取该关键帧中有效匹配的图像特征对应的三维点云数据和待定位图像的特征二维坐标信息，通过PNP算法获得待定位图像的设备位姿。

步骤S54的执行算法与步骤S24一致，都是基于待定位图像局部区域的图像特征(相对应2D投影)与最终筛选出的关键帧图像特征对应的三维点云数据(相对于3D点)求得待定位图像设备的位姿，此处不再赘述。

对应于图3所示的视觉定位地图文件之数据，本实施例在执行步骤S50及步骤S51时与图6所示的视觉地图定位方法一致，在执行步骤S51时通过位置信息G₁、G₂、G₃…G_m的筛选，将大于所述筛选半径的视觉地图的关键帧剔除。假设经过筛选后，第一关键帧数量级为f，第一关键帧序号为x1、x2、x3，…xf，第一关键帧数据则包括：关键帧P_x1、P_x2、P_x3…P_xf及其图像特征集合J_x1、J_x2、J_x3…J_xf，图像特征所对应的三维点云数据集合S_x1、S_x2、S_x3…S_xf，朝向信息D_x1、D_x2、D_x3…D_xf。不同之处在于：

在执行步骤S52时，可通过现有技术图像检索方法，基于待定位图像的图像特征，从图像特征集合J_x1、J_x2、J_x3…J_xf范围进行检索，得到最接近待定位图像图像特征的关键帧图像特征，以获得筛选得到的第二关键帧数据。假设最终筛选出的第二关键帧数量级为g，第二关键帧序号为y1、y2、y3，…yg，第三关键帧数据则包括：图像特征集合J_y1、J_y2、J_y3…J_yg、三维点云数据集合S_y1、S_y2、S_y3…S_yg以及朝向信息D_y1、D_y2、D_y3…D_yg。数量级为g进一步小于f。

在执行步骤S53时，通过待定位图像朝向信息，在视觉地图的第二关键帧数据中，通过朝向信息D_y1、D_y2、D_y3…D_yg的筛选，将朝向信息与待定位图像的朝向信息不一致的关键帧剔除，筛选出的关键帧为第三关键帧。假设经过筛选后，第三关键帧数量级为h，第三关键帧序号为z1、z2、z3，…zh，第三关键帧数据则包括：关键帧P_z1、P_z2、P_z3…P_zh及其图像特征集合J_z1、J_z2、J_z3…J_zh，图像特征所对应的三维点云数据集合S_z1、S_z2、S_z3…S_zh。数量级为h进一步小于g。

在执行步骤S54时根据第三关键帧数据中的三维点云数据集合S_z1、S_z2、S_z3…S_zh以及待定位图像局部区域的图像特征(相对应2D投影)，求得待定位图像设备的位姿。

对应于图4所示的视觉定位地图文件之数据，由于视觉定位地图文件包括：图像特征集合J₁’、J₂’、J₃’…J_m’。在执行步骤S51时通过位置信息G₁、G₂、G₃…G_m的筛选，得到第一关键帧数据，这包括：关键帧P_x1、P_x2、P_x3…P_xf及其图像特征集合J’_x1、J’_x2、J’_x3…J’_xf，图像特征所对应的三维点云数据集合S_x1、S_x2、S_x3…S_xf，朝向信息D_x1、D_x2、D_x3…D_xf。不同之处在于：

执行步骤S52时，通过KNN算法及K-means算法，可以基于待定位图像的总体图像特征及局部区域的图像，在图像特征集合J’_x1、J’_x2、J’_x3…J’_xf范围，先通过KNN算法在关键帧总体区域图像特征j_x10,j_x20…j_xf0提取适合定位的k个关键帧，此时数量级为k，序号为y1、y2、y3，…yk，筛选后的关键帧数据包括：关键帧P_y1、P_y2、P_y3…P_yk及其图像特征集合J’_y1、J’_y2、J’_y3…J’_yk、三维点云数据集合S_y1、S_y2、S_y3…S_yk、位置信息G_y1、G_y2、G_y3…G_yk。数量级为k进一步小于f。

利用k个关键帧P_y1、P_y2、P_y3…P_yk的位置信息G_y1、G_y2、G_y3…G_yk，构建n个聚类，并计算k个关键帧到n个聚类的距离，将n个聚类中三维点数最多的关键帧作为每个距离的候选帧，以得到n数量级的关键帧数据，关键帧序号为z1、z2、z3，…zn，第二关键帧数据包括：关键帧P_z1、P_z2、P_z3…P_zn及其图像特征集合J’_z1、J’_z2、J’_z3…J’_zn、三维点云数据集合S_z1、S_z2、S_z3…S_zn、以及朝向信息D_z1、D_z2、D_z3…D_zn。数量级为n进一步小于k。

在执行步骤S53时，通过待定位图像朝向信息，在视觉地图的第二关键帧数据中，通过对朝向信息D_z1、D_z2、D_z3…D_zn的筛选，将朝向信息与待定位图像的朝向信息不一致的关键帧剔除，筛选出的关键帧为第三关键帧。假设经过筛选后，第三关键帧数量级为h，第三关键帧序号为r1、r2、r3，…rh，第三关键帧数据则包括：关键帧P_r1、P_r2、P_r3…P_rh及其图像特征集合J’_r1、J’_r2、J’_r3…J’_rh，图像特征所对应的三维点云数据集合S_r1、S_r2、S_r3…S_rh。数量级为h进一步小于n。

在执行步骤S54时根据第三关键帧数据中的三维点云数据集合S_r1、S_r2、S_r3…S_rh以及待定位图像局部区域的图像特征(相对应2D投影)，求得待定位图像设备的位姿。

基于本发明技术方案提供的上述视觉地图生成方法的实施例，基于任何一种实施例方法下生成的视觉地图，如图10所示，本发明技术方案还提供了一种视觉地图定位方法，将步骤S21至步骤S23的执行筛选顺序进行了变化，具体包括如下流程步骤：

步骤S60，获取待定位图像的第二属性信息及图像特征，所述第二属性信息包括第二GPS信息及朝向信息。

步骤S60的执行方式与步骤S20一致，此处不再赘述。

步骤S61，基于待定位图像的朝向信息及所述视觉地图关键帧朝向信息从视觉地图关键帧中筛选出第一关键帧。

步骤S61与步骤S41的执行方式一致，此处不再赘述。

步骤S62，基于待定位图像的图像特征及第一关键帧图像特征从第一关键帧中筛选出第二关键帧。

步骤S62的执行方式与步骤S52一致，此处不再赘述。

步骤S63，设定筛选半径，并将大于所述筛选半径的第二关键帧剔除以得到筛选后的第三关键帧。

根据步骤S63，基于视觉地图第二关键帧的GPS信息，待定位地图的第二GPS信息在所设定筛选半径的范围内对经过步骤S62图像特征筛选后的第二关键帧进行GPS信息的关键帧筛选，得到GPS位置在待定位地图设定筛选半径内的第三关键帧数据。关键帧筛选方式可以参考步骤S21或步骤S42，此处不再赘述。

步骤S64，根据最终筛选出的关键帧图像特征和待定位图特征进行特征匹配，选取该关键帧中有效匹配的图像特征对应的三维点云数据和待定位图像的特征二维坐标信息，通过PNP算法获得待定位图像的设备位姿。

步骤S64的执行算法与步骤S24一致，都是基于待定位图像局部区域的图像特征(相对应2D投影)与最终筛选出的关键帧图像特征对应的三维点云数据(相对于3D点)求得待定位图像设备的位姿，此处不再赘述。

对应于图3所示的视觉定位地图文件之数据，与图8所示的视觉地图定位方法类似，在执行步骤S61时，先通过待定位图像朝向信息，在视觉地图的原始关键帧数据中，通过朝向信息D₁、D₂、D₃…D_m的筛选，筛选出的关键帧为第一关键帧。假设经过筛选后，第一关键帧数量级为h，第一关键帧序号为x1、x2、x3，…xh，第一关键帧数据则包括：关键帧P_x1、P_x2、P_x3…P_xh及其图像特征集合J_x1、J_x2、J_x3…J_xh，图像特征所对应的三维点云数据集合S_x1、S_x2、S_x3…S_xh、位置信息G_x1、G_x2、G_x3…G_xh。数量级为h进一步小于m。

在执行步骤S62时，通过现有技术图像检索方法，可以基于待定位图像的图像特征，从图像特征集合J_x1、J_x2、J_x3…J_xh范围进行检索，得到最接近待定位图像图像特征的关键帧图像特征。假设最终筛选出的第二关键帧数量级为g，第二关键帧序号为y1、y2、y3，…yg，第二关键帧数据则包括：图像特征集合J_y1、J_y2、J_y3…J_yg所对应的三维点云数据集合S_y1、S_y2、S_y3…S_yg、位置信息G_y1、G_y2、G_y3…G_yg。数量级为g进一步小于h。

在执行步骤S63时，通过待定位图像GPS信息，对位置信息G_y1、G_y2、G_y3…G_yg进行筛选，将大于所述筛选半径的视觉地图的关键帧剔除，筛选出的关键帧为第三关键帧。假设经过筛选后，第三关键帧数量级为f，第三关键帧序号为z1、z2、z3，…zf，第三关键帧数据则包括：关键帧P_z1、P_z2、P_z3…P_zf及其图像特征集合J_z1、J_z2、J_z3…J_zf，图像特征所对应的三维点云数据集合S_z1、S_z2、S_z3…S_zf。数量级为f进一步小于g。

对应于图4所示的视觉定位地图文件之数据，由于视觉定位地图文件包括：图像特征集合J₁’、J₂’、J₃’…J_m’。在执行步骤S61时，通过朝向信息D₁、D₂、D₃…D_m的筛选，筛选出第一关键帧。假设经过筛选后，第一关键帧数量级为h，第一关键帧序号为x1、x2、x3，…xh，第一关键帧数据则包括：关键帧P_x1、P_x2、P_x3…P_xh及其图像特征集合J’_x1、J’_x2、J’_x3…J’_xh，图像特征所对应的三维点云数据集合S_x1、S_x2、S_x3…S_xh、位置信息G_x1、G_x2、G_x3…G_xh。数量级为h进一步小于m。

在执行步骤S62时，通过KNN算法及K-means算法，可以基于待定位图像的总体图像特征及局部区域的图像，在图像特征集合J’_x1、J’_x2、J’_x3…J’_xh范围，先通过KNN算法在关键帧总体区域图像特征j_x10,j_x20…j_xh0提取适合定位的k个关键帧，此时数量级为k，序号为y1、y2、y3，…yk，筛选后的关键帧数据包括：关键帧P_y1、P_y2、P_y3…P_yk及其图像特征集合J’_y1、J’_y2、J’_y3…J’_yk、三维点云数据集合S_y1、S_y2、S_y3…S_yk、位置信息G_y1、G_y2、G_y3…G_yk。数量级为k进一步小于h。

利用k个关键帧P_y1、P_y2、P_y3…P_yk的位置信息G_y1、G_y2、G_y3…G_yk，构建n个聚类，并计算k个关键帧到n个聚类的距离，将n个聚类中三维点数最多的关键帧作为每个距离的候选帧，以得到n数量级的关键帧数据，关键帧序号为z1、z2、z3，…zn，第二关键帧数据包括：关键帧P_z1、P_z2、P_z3…P_zn及其图像特征集合J’_z1、J’_z2、J’_z3…J’_zn、三维点云数据集合S_z1、S_z2、S_z3…S_zn、以及位置信息G_z1、G_z2、G_z3…G_zn。数量级为n进一步小于k。

在执行步骤S63时，通过待定位图像GPS信息，对位置信息G_z1、G_z2、G_z3…G_zn进行筛选，得到第三关键帧。假设经过筛选后，第三关键帧数量级为f，第三关键帧序号为r1、r2、r3，…rf，第三关键帧数据则包括：关键帧P_r1、P_r2、P_r3…P_rf及其图像特征集合J’_r1、J’_r2、J’_r3…J’_rf，图像特征所对应的三维点云数据集合S_r1、S_r2、S_r3…S_rf。数量级为f进一步小于n。

其他步骤S60至S64的步骤流程可以参考其他实施例的执行流程，此处不再赘述。

此外，在上述图6所示视觉地图定位方法实施例的变化例中，将步骤S23先于步骤S21及步骤S22进行执行，并在完成图像特征筛选后，基于筛选到的关键帧数据，执行步骤S21及步骤S22的流程。在上述图8所示视觉地图定位方法实施例的变化例中，将步骤S43先于步骤S41及步骤S42进行执行，并在完成图像特征筛选后，基于筛选到的关键帧数据，执行步骤S41及步骤S42的流程。这些过程都是类似的，此处不再赘述。

基于上述视觉地图生成方法及视觉地图定位方法，本发明技术方案还提供了一种视觉地图生成系统，包括：处理器和存储器；所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时执行上述任一种视觉地图生成方法实施例的步骤。

一种视觉地图定位系统，包括：处理器和存储器；所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时执行上述任一种视觉地图定位方法实施例的步骤。

上述视觉地图生成系统也可以包括：采集模块、地图重建模块、第一计算模块及第一更新模块。其中采集模块，适于采集所需要的视频序列及第一属性信息，地图重建模块，适于基于所述视频序列重建视觉定位地图，所述视觉定位地图包括关键帧及关键帧图像特征；第一计算模块，适于根据所述第一GPS信息计算出视觉定位地图中每个关键帧的主光轴相对于空间地理坐标系的方位角信息，以获得所述关键帧朝向信息；第一更新模块，适于基于所述关键帧朝向更新所述视觉定位地图，更新后的视觉定位地图还包括：所述关键帧朝向信息。

上述一种视觉地图定位系统也可以包括：获取模块、第一筛选模块、第二筛选模块、第三筛选模块及第二计算模块。其中，获取模块，适于获取待定位图像的第二属性信息及图像特征，所述第二属性信息包括第二GPS信息及朝向信息；第一筛选模块，适于设定筛选半径，并将大于所述筛选半径的关键帧剔除以得到筛选后的关键帧；第二筛选模块，适于基于待定位图像的朝向信息及所述关键帧朝向信息从所述视觉定位地图中筛选出关键帧；第三筛选模块，适于基于待定位图像的图像特征及关键帧图像特征从关键帧中筛选出关键帧；第二计算模块，适于根据最终筛选出的关键帧及该关键帧图像特征通过PNP算法获得待定位图像的设备位姿。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (26)

1.一种视觉地图生成方法，其特征在于，包括：

采集所需要的视频序列及第一属性信息，所述第一属性信息包括第一GPS信息；

基于所述视频序列重建视觉定位地图，所述视觉定位地图包括关键帧图像特征及关键帧图像特征对应的三维点云数据；

根据所述第一GPS信息将所述视觉定位地图对其至空间地理坐标系中并计算出视觉定位地图中每个关键帧在所述空间地理坐标系中的位置信息；

利用所述关键帧在空间地理坐标系中的位置信息及主光轴计算每个关键帧相对于空间地理坐标系的方位角信息，以获得所述关键帧朝向信息；

基于所述关键帧朝向更新所述视觉定位地图，更新后的视觉定位地图还包括：所述关键帧朝向信息。

2.如权利要求1所述的视觉地图生成方法，其特征在于，所述基于所述视频序列重建出视觉定位地图包括：通过运动结构恢复算法或者即时定位与地图构建算法重建所述视觉定位地图。

3.如权利要求1所述的视觉地图生成方法，其特征在于，所述关键帧图像特征包括：总体图像特征及局部图像特征。

4.如权利要求1所述的视觉地图生成方法，其特征在于，所述空间地理坐标系包括：指向正东的X轴，指向正北的Y轴及远离地面向上的Z轴；所述利用所述关键帧在空间地理坐标系中的位置信息及主光轴计算每个关键帧相对于空间地理坐标系的方位角信息包括：

在每个关键帧的主光轴上选择一个点p(x0,y0,f)，其中(x0,y0)为相机的主点，f为相机焦距；

通过坐标系转换将相机坐标系中的关键帧光心o(0,0,0)和点p(x0,y0,f)转换为对应空间地理坐标系中的坐标O(xo,yo,zo)和坐标P(xp,yp,zp)；

计算坐标O(xo,yo,zo)和P(xp,yp,zp)组成射线OP相对于X轴的夹角θ，其中：

根据如下条件计算出射线OP的方位角信息：

如果xp＞xo，当前方位角为(π/2-θ)；

如果xp＜xo，当前方位角为(3π/2-θ)；

如果xp＝xo且yp＞yo，当前方位角为0；

如果xp＝xo且yp＜yo，当前方位角为π。

5.如权利要求1至4任一项所述的视觉地图生成方法，其特征在于，所述第一属性信息还包括：第一IMU信息；所述视觉地图生成方法还包括：

基于所述第一GPS信息和/或第一IMU信息，使用光束法平差校准所述视觉定位地图并更新所述视觉定位地图。

6.如权利要求1至4任一项所述的视觉地图生成方法，其特征在于，还包括：

将更新后的视觉定位地图网格化以显示。

7.一种视觉地图定位方法，基于如权利要求1至6任一项所述的视觉地图生成方法，其特征在于，包括：

获取待定位图像的第二属性信息及图像特征，所述第二属性信息包括第二GPS信息及朝向信息；

设定筛选半径，并将大于所述筛选半径的关键帧剔除以得到筛选后的第一关键帧，所述筛选半径为筛选常量半径及为所述第二GPS信息设定的设备位置精度值之和；

基于待定位图像的朝向信息及所述关键帧朝向信息从所述视觉定位地图中筛选出第二关键帧；

基于待定位图像的图像特征及关键帧图像特征从关键帧中筛选出第三关键帧；

根据最终筛选出的关键帧图像特征和待定位图特征进行特征匹配，选取该关键帧中有效匹配的图像特征对应的三维点云数据和待定位图像的特征二维坐标信息，通过PNP算法获得待定位图像的设备位姿。

8.如权利要求7所述的视觉地图定位方法，其特征在于，所述基于待定位图像的朝向信息及所述关键帧朝向信息从所述视觉定位地图中筛选出第二关键帧包括：基于待定位图像的朝向信息及所述第一关键帧朝向信息从所述视觉定位地图的第一关键帧中筛选出第二关键帧；

所述基于待定位图像的图像特征及关键帧图像特征从关键帧中筛选出第三关键帧包括：所述基于待定位图像的图像特征及第二关键帧图像特征从第二关键帧中筛选出第三关键帧，所述最终筛选出的关键帧为所述第三关键帧。

9.如权利要求7所述的视觉地图定位方法，其特征在于，所述基于待定位图像的图像特征及关键帧图像特征从关键帧中筛选出第三关键帧包括：所述基于待定位图像的图像特征及第一关键帧图像特征从第一关键帧中筛选出第三关键帧；

所述基于待定位图像的朝向信息及所述关键帧朝向信息从所述视觉定位地图中筛选出第二关键帧包括：基于待定位图像的朝向信息及所述第三关键帧朝向信息从所述视觉定位地图的第三关键帧中筛选出第二关键帧，所述最终筛选出的关键帧为所述第二关键帧。

10.如权利要求7所述的视觉地图定位方法，其特征在于，所述将大于所述筛选半径的关键帧剔除以得到筛选后的第一关键帧包括：将第二关键帧中大于所述筛选半径的关键帧剔除以得到筛选后的第一关键帧；

所述基于待定位图像的图像特征及关键帧图像特征从关键帧中筛选出第三关键帧包括：所述基于待定位图像的图像特征及第一关键帧图像特征从第一关键帧中筛选出第三关键帧，所述最终筛选出的关键帧为所述第三关键帧。

11.如权利要求7所述的视觉地图定位方法，其特征在于，所述基于待定位图像的图像特征及关键帧图像特征从关键帧中筛选出第三关键帧包括：所述基于待定位图像的图像特征及第二关键帧图像特征从第二关键帧中筛选出第三关键帧；

所述将大于所述筛选半径的关键帧剔除以得到筛选后的第一关键帧包括：将第三关键帧中大于所述筛选半径的关键帧剔除以得到筛选后的第一关键帧，所述最终筛选出的关键帧为所述第一关键帧。

12.如权利要求7所述的视觉地图定位方法，其特征在于，所述将大于所述筛选半径的关键帧剔除以得到筛选后的第一关键帧包括：将第三关键帧中大于所述筛选半径的关键帧剔除以得到筛选后的第一关键帧；

所述基于待定位图像的朝向信息及所述关键帧朝向信息从所述视觉定位地图中筛选出第二关键帧包括：基于待定位图像的朝向信息及所述第一关键帧朝向信息从所述视觉定位地图的第一关键帧中筛选出第二关键帧，所述最终筛选出的关键帧为所述第二关键帧。

13.如权利要求7所述的视觉地图定位方法，其特征在于，所述基于待定位图像的朝向信息及所述关键帧朝向信息从所述视觉定位地图中筛选出第二关键帧包括：基于待定位图像的朝向信息及所述第三关键帧朝向信息从所述视觉定位地图的第三关键帧中筛选出第二关键帧；

所述将大于所述筛选半径的关键帧剔除以得到筛选后的第一关键帧包括：将第二关键帧中大于所述筛选半径的关键帧剔除以得到筛选后的第一关键帧，所述最终筛选出的关键帧为所述第一关键帧。

14.如权利要求7至13任一项所述的视觉地图定位方法，其特征在于，所述将大于所述筛选半径的关键帧剔除以得到筛选后的第一关键帧包括：以所述第二GPS信息显示的设备位置为中心，将所述视觉定位地图上半径大于所述筛选半径以外的关键帧予以剔除。

15.如权利要求7至13任一项所述的视觉地图定位方法，其特征在于，所述基于待定位图像的朝向信息及所述关键帧朝向信息从所述视觉定位地图中筛选出第二关键帧包括：设定朝向阈值；将所述关键帧朝向信息与所述关键帧朝向信息进行朝向比较，剔除朝向差距超出所述朝向阈值的关键帧。

16.如权利要求7至13任一项所述的视觉地图定位方法，其特征在于，所述基于待定位图像的图像特征及关键帧图像特征从关键帧中筛选出第三关键帧包括：

利用关键帧图像特征对所述关键帧进行KNN查询以得到K个关键帧；

根据所述K个关键帧的位置信息利用K-means算法对所述K个关键帧进行聚类，所述K个关键帧被分为N个聚类；

将每个聚类中三维点云数量满足预定数量的关键帧作为所述第三关键帧，并剔除其他关键帧。

17.一种视觉地图生成系统，其特征在于，包括：处理器和存储器；

所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时执行如权利要求1至6任一项所述的视觉地图生成方法的步骤。

18.一种视觉地图定位系统，其特征在于，包括：处理器和存储器；

所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时执行如权利要求7至16任一项所述的视觉地图定位方法的步骤。

19.一种视觉地图生成系统，其特征在于，包括：采集模块、地图重建模块、第一计算模块及第一更新模块；

所述采集模块，适于采集所需要的视频序列及第一属性信息，所述第一属性信息包括第一GPS信息；

所述地图重建模块，适于基于所述视频序列重建视觉定位地图，所述视觉定位地图包括关键帧图像特征及关键帧图像特征对应的三维点云数据；

所述第一计算模块，适于根据所述第一GPS信息将所述视觉定位地图对齐至空间地理坐标系中并计算出视觉定位地图中每个关键帧在所述空间地理坐标系中的位置信息；

所述第一计算模块，还适于利用所述关键帧在空间地理坐标系中的位置信息及主光轴计算每个关键帧相对于空间地理坐标系的方位角信息，以获得所述关键帧朝向信息；

所述第一更新模块，适于基于所述关键帧朝向更新所述视觉定位地图，更新后的视觉定位地图还包括：所述关键帧朝向信息。

20.如权利要求19所述的视觉地图生成系统，其特征在于，所述地图重建模块，适于通过运动结构恢复算法或者即时定位与地图构建算法重建所述视觉定位地图。

21.如权利要求19所述的视觉地图生成系统，其特征在于，所述空间地理坐标系包括：指向正东的X轴，指向正北的Y轴及远离地面向上的Z轴；所述第一计算模块包括：选择单元、转换单元、第一计算单元及第二计算单元；

所述选择单元，适于在每个关键帧的主光轴上选择一个点p(x0,y0,f)，其中(x0,y0)为相机的主点，f为相机焦距；

所述转换单元，适于通过坐标系转换将相机坐标系中的关键帧光心o(0,0,0)和点p(x0,y0,f)转换为对应空间地理坐标系中的坐标O(xo,yo,zo)和坐标P(xp,yp,zp)；

所述第一计算单元，适于计算坐标O(xo,yo,zo)和P(xp,yp,zp)组成射线OP相对于X轴的夹角θ，其中：

所述第二计算单元，适于根据如下条件计算出射线OP的方位角信息：

如果xp＞xo，当前方位角为(π/2-θ)；

如果xp＜xo，当前方位角为(3π/2-θ)；

如果xp＝xo且yp＞yo，当前方位角为0；

如果xp＝xo且yp＜yo，当前方位角为π。

22.如权利要求19至21任一项所述的视觉地图生成系统，其特征在于，所述第一属性信息还包括：第一IMU信息；所述视觉地图生成系统还包括：第二更新模块；

所述第二更新模块，适于基于所述第一GPS信息和/或第一IMU信息，使用光束法平差校准所述视觉定位地图并更新所述视觉定位地图。

23.如权利要求19至21任一项所述的视觉地图生成系统，其特征在于，还包括：网格化模块；

所述网格化模块，适于将更新后的视觉定位地图网格化以显示。

24.一种视觉地图定位系统，基于如权利要求19至23任一项所述的视觉地图生成系统，其特征在于，包括：获取模块、第一筛选模块、第二筛选模块、第三筛选模块及第二计算模块；

所述获取模块，适于获取待定位图像的第二属性信息及图像特征，所述第二属性信息包括第二GPS信息及朝向信息；

所述第一筛选模块，适于设定筛选半径，并将大于所述筛选半径的关键帧剔除以得到筛选后的第一关键帧，所述筛选半径为筛选常量半径及为所述第二GPS信息设定的设备位置精度值之和；

所述第二筛选模块，适于基于待定位图像的朝向信息及所述关键帧朝向信息从所述视觉定位地图中筛选出第二关键帧；

所述第三筛选模块，适于基于待定位图像的图像特征及关键帧图像特征从关键帧中筛选出第三关键帧；

所述第二计算模块，适于根据最终筛选出的关键帧图像特征和待定位图特征进行特征匹配，选取该关键帧中有效匹配的图像特征对应的三维点云数据和待定位图像的特征二维坐标信息，通过PNP算法获得待定位图像的设备位姿。

25.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的视觉地图生成方法。

26.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求7至16任一项所述的视觉地图定位方法。

Images