CN113298871A - 地图生成方法、定位方法及其系统、计算机可读存储介质 - Google Patents

Abstract

本发明提供一种地图生成方法、定位方法及其系统、计算机可读存储介质。该地图生成方法包括：对每个目标场景图片提取全局特征及局部特征，利用运动恢复结构算法对每个目标场景图片对应的局部特征进行处理，得到该目标场景图片的三维点云，形成目标场景的地图文件；所述全局特征所述地图文件及其中的局部特征具有数据对应关系。该地图定位方法包括：提取待定位拍摄图片的全局特征及局部特征；将待定位拍摄图片的局部特征与最接近的全局特征对应的局部特征匹配，以得到最终匹配的局部特征及其三维点云；基于定位图片的局部特征及匹配的三维点云数据得到设备位姿。本发明能够提高地图定位效率，减少地图数据计算量。

Description

地图生成方法、定位方法及其系统、计算机可读存储介质

技术领域

本发明涉及计算机计算领域，特别是涉及一种地图生成方法、定位方法及其系统，以及一种计算机可读存储介质。

背景技术

地图定位系统是实现机器人导航、增强现实(augmented reality，AR)、自动巡航、自动驾驶等技术的基础，定位可以是在构建好的地图中查找匹配点，进而确认当前所在位置。地图定位系统已经发展了很多年，其技术方案原理可以归纳为：视觉地图生成技术及视觉地图定位技术。

视觉地图生成技术最常见的是通过运动恢复结构(Structure-from-Motion)的技术完成的，主要包括：拍摄场景的图片，提取图像特征进行匹配，进行三角化得到空间三维点，最后使用捆集调整(Bundle Adjustment)技术进行优化。使用该技术生成的视觉地图由三维点云及其图像特征构成。

视觉地图定位技术就是在根据视觉地图进行定位。将设备相机当前拍摄的图像与视觉地图的三维点云进行特征匹配，得到2D-3D点对，然后求解PnP问题得到设备相机当前的位姿，从而实现视觉定位。

现有地图定位系统存在一些明显的应用问题。由于视觉定位需要建立在生成的视觉地图之上，因此视觉定位系统的规模就由生成地图所能覆盖的范围所决定。如视觉定位系统需要在上海这样一座城市内的任何地方都能够进行定位使用，那么就需要构建整个上海市的视觉地图。

现有技术的视觉地图生成技术很难构建这样大规模的视觉地图。视觉地图是由三维点云及其对应的图像特征所构成，因此一个视觉地图需要占据极大的文件体积，仅仅是覆盖一个商场就需要至少数个GB的空间，覆盖一个城市级别的超大范围将变成一个天文数字。这不仅造成了文件难以存储的问题，也会增加视觉地图定位的计算复杂度，导致严重的地图定位延时。有必要对视觉地图生成技术及视觉地图定位技术进行改进。

发明内容

本发明技术方案所解决的技术问题为：现有技术中视觉地图生成系统难以构建大规模视觉地图，地图定位系统计算复杂度高难以迅速定位。

为了解决上述技术问题，本发明技术方案提供了一种视觉地图生成方法，包括：

获取目标场景的拍摄图片P₁、P₂、P₃…P_m，1、2、3…m为该目标场景拍摄图片的序列，m为该目标场景拍摄图片的总数量；

对每个目标场景图片P₁、P₂、P₃…P_m提取全局特征，以得到对应全局特征F₁、F₂、F₃…F_m，每个全局特征至少包括一个从对应目标场景图片整体提取的图像属性特征；

对每个目标场景图片P₁、P₂、P₃…P_m提取局部特征，以得到对应局部特征J₁、J₂、J₃…J_m，每个局部特征至少包括N个从对应目标场景图片的局部区域中抽取的图像特征，N为从每个目标场景图片的局部区域中抽取图像特征的总数量；

利用运动恢复结构算法对每个目标场景图片对应的局部特征进行处理，得到该目标场景图片的三维点云S₁、S₂、S₃…S_m；

基于所述全局特征F₁、F₂、F₃…F_m形成目标场景的地图文件D₀；

基于所述局部特征J₁、J₂、J₃…J_m及三维点云S₁、S₂、S₃…S_m形成目标场景的地图文件D₁、D₂、D₃…D_m，所述全局特征F₁、F₂、F₃…F_m依次与所述地图文件D₁、D₂、D₃…D_m具有数据对应关系。

可选的，所述从对应目标场景图片整体提取的图像属性特征至少为如下特征中的一项或多项：颜色特征、纹理特征和形状特征。

可选的，所述从对应目标场景图片的局部区域中抽取的图像特征至少包括：该局部区域中的边缘特征、角特征、点特征、线特征、曲线特征及特别属性特征。

可选的，所述N的取值至少为1000。

可选的，所述视觉地图生成方法还包括：

提取目标场景图片P₁、P₂、P₃…P_m的辅助设备特征T₁、T₂、T₃…T_m；

基于辅助设备特征T₁、T₂、T₃…T_m形成目标场景的地图文件D_t；

所述辅助设备特征T₁、T₂、T₃…T_m依次与所述全局特征F₁、F₂、F₃…F_m和/或所述地图文件D₁、D₂、D₃…D_m具有数据对应关系。

为了解决上述技术问题，本发明技术方案提供了一种视觉地图定位方法，基于如上所述视觉地图生成方法生成的地图，包括：

获取待定位拍摄图片p；

对待定位拍摄图片p提取全局特征f及局部特征j，局部特征j为从所述待定位拍摄图片p局部区域中抽取图像特征的集合；

将所述全局特征f与所述地图文件D₀的全局特征进行匹配，以得到最接近全局特征f的全局特征F_e1、F_e2…F_ey，e1、e2…ey为与所述全局特征f匹配的全局特征所对应目标场景拍摄图片的序列；

读取地图文件D_u1、D_u2…D_uz，将局部特征j与所述局部特征J_u1、J_u2…J_uz匹配，以得到匹配后的局部特征j’，j’为j中与局部特征J_u1、J_u2…J_uz中图像特征匹配的图像特征集合，u1、u2…uz为基于全局特征F_e1、F_e2…F_ey数据对应关系得到的对应目标场景拍摄图片的序列；

根据局部特征j’及与局部特征J_u1、J_u2…J_uz中与j匹配图像特征所对应的三维点云坐标集合S’，通过PNP算法求得拍摄设备的位姿。

可选的，所述读取地图文件D_u1、D_u2…D_uz包括：根据全局特征F_e1、F_e2…F_ei读取地图文件D_u1、D_u2…D_uz，所述u1、u2…uz取值为所述e1、e2…ey。

可选的，所述视觉地图定位方法还包括：

获取目标场景的拍摄图片P₁、P₂、P₃…P_m的辅助设备特征T₁、T₂、T₃…T_m，每个辅助设备特征至少包括一个从对应目标场景图片提取的设备辅助特征；

对待定位拍摄图片p提取辅助设备特征t’；

将所述辅助设备特征t’与辅助设备特征T₁、T₂、T₃…T_m进行匹配，以得到最接近的辅助设备特征T_w1、T_w2…T_wi，w1、w2…wi为与所述辅助设备特征t’匹配的辅助设备特征所对应目标场景拍摄图片的序列；

所述将所述全局特征f与所述地图文件D₀的全局特征进行匹配包括：将所述全局特征f与所述地图文件D₀的全局特征F_w1、F_w2…F_wi进行匹配，以得到距离最接近全局特征f的全局特征F_e1、F_e2…F_ey；

所述u1、u2…uz取值为所述e1、e2…ey。

可选的，所述视觉地图定位方法还包括：

获取目标场景的拍摄图片P₁、P₂、P₃…P_m的辅助设备特征T₁、T₂、T₃…T_m，每个辅助设备特征至少包括一个从对应目标场景图片提取的设备辅助特征；

对待定位拍摄图片p提取辅助设备特征t’；

所述将所述全局特征f与所述地图文件D₀的全局特征进行匹配包括：

所述将所述全局特征f与所述地图文件D₀的全局特征F₁、F₂、F₃…F_m进行匹配以得到距离接近的全局特征F_e1、F_e2…F_ey，e1、e2…ey为与所述全局特征f距离接近的全局特征所对应目标场景拍摄图片的序列；

所述视觉地图定位方法还包括：

将所述辅助设备特征t’与辅助设备特征T_e1、T_e2…T_ey进行匹配，以得到最接近辅助设备特征t’的辅助设备特征T_w1、T_w2…T_wi，w1、w2…wi为与所述辅助设备特征t’匹配的辅助设备特征所对应目标场景拍摄图片的序列；所述u1、u2…uz取值为所述w1、w2…wi。

可选的，所述辅助设备特征为设备GPS信息或设备朝向信息。

为了解决上述技术问题，本发明技术方案提供了一种视觉地图生成系统，包括：处理器和存储器；

所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时执行如上所述任一项视觉地图生成方法的步骤。

为了解决上述技术问题，本发明技术方案提供了一种视觉地图定位系统，包括：处理器和存储器；

所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时执行如上所述任一项视觉地图定位方法的步骤。

为了解决上述技术问题，本发明技术方案提供了一种视觉地图生成系统，包括：特征提取模板、计算模块及文件处理模块；

所述特征提取模板，适于获取目标场景的拍摄图片P₁、P₂、P₃…P_m，并对每个目标场景的拍摄图片P₁、P₂、P₃…P_m提取全局特征，以得到对应全局特征F₁、F₂、F₃…F_m，对每个目标场景图片P₁、P₂、P₃…P_m提取局部特征，以得到对应局部特征J₁、J₂、J₃…J_m，每个全局特征至少包括一个从对应目标场景图片整体提取的图像属性特征，每个局部特征至少包括N个从对应目标场景图片的局部区域中抽取的图像特征，1、2、3…m为该目标场景拍摄图片的序列，m为该目标场景拍摄图片的总数量，N为从每个目标场景图片的局部区域中抽取图像特征的总数量；

所述计算模块，适于利用运动恢复结构算法对每个目标场景图片对应的局部特征进行处理，得到该目标场景图片的三维点云S₁、S₂、S₃…S_m；

所述文件处理模块，适于基于所述全局特征F₁、F₂、F₃…F_m形成目标场景的地图文件D₀，以及基于所述局部特征J₁、J₂、J₃…J_m及三维点云S₁、S₂、S₃…S_m形成目标场景的地图文件D₁、D₂、D₃…D_m，所述全局特征F₁、F₂、F₃…F_m依次与所述地图文件D₁、D₂、D₃…D_m具有数据对应关系。

可选的，所述特征提取模块，还适于提取目标场景图片P₁、P₂、P₃…P_m的辅助设备特征T₁、T₂、T₃…T_m；

所述文件处理模块，还适于基于辅助设备特征T₁、T₂、T₃…T_m形成目标场景的地图文件D_t，所述辅助设备特征T₁、T₂、T₃…T_m依次与所述全局特征F₁、F₂、F₃…F_m和/或所述地图文件D₁、D₂、D₃…D_m具有数据对应关系。

为了解决上述技术问题，本发明技术方案提供了一种视觉地图定位系统，包括：如上所述的视觉地图生成系统、匹配模板及算法模块；

所述特征提取模板，还适于获取待定位拍摄图片p，并对待定位拍摄图片p提取全局特征f及局部特征j；

所述匹配模板，适于将所述全局特征f与所述地图文件D₀的全局特征进行匹配，以得到最接近全局特征f的全局特征F_e1、F_e2…F_ey，e1、e2…ey为与所述全局特征f匹配的全局特征所对应目标场景拍摄图片的序列；

所述匹配模块，还适于读取地图文件D_u1、D_u2…D_uz，将局部特征j与所述局部特征J_u1、J_u2…J_uz匹配，以得到匹配后的局部特征j’，j’为j中与局部特征J_u1、J_u2…J_uz中图像特征匹配的图像特征集合，u1、u2…uz为基于全局特征F_e1、F_e2…F_ey数据对应关系得到的对应目标场景拍摄图片的序列；

所述算法模块，适于根据局部特征j’及与局部特征J_u1、J_u2…J_uz中与j匹配图像特征所对应的三维点云坐标集合S’，通过PNP算法求得拍摄设备的位姿。

可选的，所述匹配模板还适于根据全局特征F_e1、F_e2…F_ey读取地图文件D_u1、D_u2…D_uz；所述u1、u2…uz取值为所述e1、e2…ey。

可选的，所述特征提取模块，还适于提取目标场景图片P₁、P₂、P₃…P_m的辅助设备特征T₁、T₂、T₃…T_m；以及，对待定位拍摄图片p提取辅助设备特征t’；

所述文件处理模块，还适于基于辅助设备特征T₁、T₂、T₃…T_m形成目标场景的地图文件D_t，所述辅助设备特征T₁、T₂、T₃…T_m依次与所述全局特征F₁、F₂、F₃…F_m和/或所述地图文件D₁、D₂、D₃…D_m具有数据对应关系；

所述匹配模板还适于：将所述辅助设备特征t’与辅助设备特征T₁、T₂、T₃…T_m进行匹配，以得到最接近的辅助设备特征T_w1、T_w2…T_wi，w1、w2…wi为与所述辅助设备特征t’匹配的辅助设备特征所对应目标场景拍摄图片的序列；

所述匹配模板将所述全局特征f与所述地图文件D₀的全局特征进行匹配的执行过程包括：所述将所述全局特征f与所述地图文件D₀的全局特征F_w1、F_w2…F_wi进行匹配，以得到距离最接近全局特征f的全局特征F_e1、F_e2…F_ey；所述u1、u2…uz取值为所述e1、e2…ey。

可选的，所述特征提取模块，还适于提取目标场景图片P₁、P₂、P₃…P_m的辅助设备特征T₁、T₂、T₃…T_m；以及，对待定位拍摄图片p提取辅助设备特征t’；

所述文件处理模块，还适于基于辅助设备特征T₁、T₂、T₃…T_m形成目标场景的地图文件D_t，所述辅助设备特征T₁、T₂、T₃…T_m依次与所述全局特征F₁、F₂、F₃…F_m和/或所述地图文件D₁、D₂、D₃…D_m具有数据对应关系；

所述匹配模板将所述全局特征f与所述地图文件D₀的全局特征进行匹配的执行过程包括：所述将所述全局特征f与所述地图文件D₀的全局特征F₁、F₂、F₃…F_m进行匹配以得到距离接近的全局特征F_e1、F_e2…F_ey，e1、e2…ey为与所述全局特征f距离接近的全局特征所对应目标场景拍摄图片的序列；

所述匹配模块还适于：将所述辅助设备特征t’与辅助设备特征T_e1、T_e2…T_ey进行匹配，以得到最接近辅助设备特征t’的辅助设备特征T_w1、T_w2…T_wi，w1、w2…wi为与所述辅助设备特征t’匹配的辅助设备特征所对应目标场景拍摄图片的序列；所述u1、u2…uz取值为所述w1、w2…wi。

为了解决上述技术问题，本发明技术方案提供了一种计算机可读存储介质，包括：所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的视觉地图生成方法。

为了解决上述技术问题，本发明技术方案提供了一种计算机可读存储介质，包括：所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的视觉地图定位方法。

本发明技术方案的有益效果至少为：

本发明技术方案对现有技术的地图生成技术进行了改进，在地图生成时通过提取全局特征及局部特征，形成不同的地图文件，所生成的地图在地图定位时可以根据地图特征的匹配需要进行逐一调取，可以通过全局特征的数据匹配处理局部特征数据，将小规模场景的匹配数据量扩展至大规模场景的匹配数据量，使大规模视觉地图也能够很好的实时生成与定位，本发明技术方案的地图生成技术能够适用于大规模地图的生成与定位，并大大缩小地图数据的调取及处理数量。

本发明技术方案的地图定位技术基于所改进的地图生成技术，能够通过全局特征的定位结果获得初步匹配图片文件，再根据初步匹配图片文件的局部特征选定最终的匹配图片文件及其图片数据，即对视觉地图的定位进行了二次分级，相比现有技术地图在庞大数据量面前一一对图片文件数据进行全部比对，本发明技术方案的地图定位技术仅需要在小数据的全局特征中先进行初步匹配定位，再根据初步匹配定位结果在可控量的图片局部特征中进行比对，使得地图规模大小对定位效率的影响度显著减小，并大大降低了定位延时。

在本发明技术方案的可选技术方案中，可以在对全局特征初步匹配定位时增加辅助设备特征的匹配方法，由于全局特征匹配时因不同地区的地形地貌等全局特征的相似可能出现匹配偏差，在初步匹配定位前或后增加辅助设备特征的匹配方法可以提高全局特征匹配的准确度，利用GPS或者设备朝向等辅助设备特征进行图片文件筛选可以大大提高初步匹配的准确度，同时也可减少初步匹配后图片文件的数量，在一定程度上进一步增加定位准确度及定位效率。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其他特征、目的和优点将会变得更明显：

图1为本发明技术方案提供的一种地图系统结构示意图；

图2为本发明技术方案提供的一种视觉地图生成方法的流程示意图；

图3为依据图2所示方法形成的地图文件数据对应关系示意图；

图4为本发明技术方案提供的另一种视觉地图生成方法的流程示意图；

图5为依据图4所示方法形成的地图文件数据对应关系示意图；

图6为本发明技术方案提供的一种视觉地图定位方法的流程示意图；

图7为本发明技术方案提供的另一种视觉地图定位方法的流程示意图；

图8为本发明技术方案提供的一种视觉地图生成系统的结构示意图；

图9为本发明技术方案提供的一种视觉地图定位系统的结构示意图；

图10为本发明技术方案提供的另一种视觉地图生成系统的结构示意图；

图11为本发明技术方案提供的又一种视觉地图生成系统的结构示意图；

图12为本发明技术方案提供的另一种视觉地图定位系统的结构示意图；

图13为本发明技术方案提供的又一种视觉地图定位系统的结构示意图；

图14为本发明技术方案提供的又一种视觉地图定位方法的流程示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

除非上下文明确地另外指明，否则单数形式“一”和“所述”包括复数指代物。如本申请中所使用的，用语“第一”和“第二”可互换使用，以将一个或一类构件分别与另一个或另一类区分开，且不旨在表示独立构件的位置或重要性。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于用户设备、网络设备或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备其包括但不限于任何一种可与用户通过触摸板进行人机交互的移动电子产品，例如智能手机、平板电脑等，所述移动电子产品可以采用任意操作系统，如android操作系统、IOS操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field—Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。所述网络设备其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。

所述网络104包括但不限于互联网、移动通信网络、广域网、城域网、局域网、VPN网络、无线自组织网络(AdHoc网络)等。例如，移动通信网络可以是3G、4G或5G移动通信系统，例如，移动通信网络可以是宽带码分多址(Wideband Code Division Multiple Access，WCDMA)系统、频分多址(Frequency Division Multiple Access，FDMA)系统、正交频分多址(Orthogonal Frequency-Division Multiple Access，OFDMA)系统、单载波FDMA(SC-FDMA)系统、通用分组无线业务(General Packet Radio Service，GPRS)系统或长期演进(LongTerm Evolution，LTE)系统，以及其他此类通信系统。当然，本领域技术人员应能理解上述终端设备仅为举例，其他现有的或今后可能出现的终端设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

服务器105可以是一台服务器，或者由若干台服务器组成的服务器集群，或者是一个云计算服务中心，例如云端服务器。其也可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。

需要说明的是，本申请实施例所提供的视觉地图生成方法及视觉地图定位方法一般由服务器执行，相应地，视觉地图生成系统/装置及视觉地图定位系统/装置一般设置于服务器中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

如图2所示，为本申请实施例提供的一种视觉地图生成方法的流程示意图，所述视觉地图生成方法可以由云端服务器执行。所述云端服务器可以为图1中所述服务器105。

步骤21，获取目标场景的拍摄图片P₁、P₂、P₃…P_m。

在生成目标场景地图时，需要首先对目标场景进行多次拍摄，获取多张拍摄图片，用于生成视觉地图。上述拍摄图片可以是由图像采集设备抓取获得，例如，所述拍摄图片可以是利用所述图像采集设备采集的现实环境图片，所述图像采集设备可以是视觉惯性里程计、照相机或者摄像机等；所述拍摄图片也可以是虚拟环境图片，所述图像采集设备可以随机或按照预设的标准抓取虚拟环境图片或经过压缩、优化、渲染等处理的现实拍摄图片。上述若干拍摄图片形成了目标场景图片P₁、P₂、P₃…P_m。

目标场景图片总数量m一般为大于或等于1的自然数。理论上目标场景图片的数目可以为1，但是在实际应用时m取大于1的自然数为佳，当目标场景图片的总数量较大时，地图生成的精度及地图定位的准确度都会更好。通过对目标场景的图片采集拍摄，可以获取到多张拍摄图片P₁、P₂、P₃…P_m。其中，P就代表拍摄的目标场景图片，1、2、3…m为该目标场景图片的序列。

步骤S22，对每个目标场景图片P₁、P₂、P₃…P_m提取全局特征，以得到对应全局特征F₁、F₂、F₃…F_m。

每个目标场景图片中都包含整体的图形属性特征，比如颜色特征、纹理特征和形状特征。F就是指其中目标场景图片的整体图形属性特征。

在本实施例的一种变化例中对每个目标场景图片P₁、P₂、P₃…P_m提取全局特征的类型是一致的，比如：对目标场景图片P₁提取全局特征是颜色特征，那么对P₂、P₃…P_m提取的全局特征也是颜色特征；对目标场景图片P₁提取全局特征是纹理特征，那么对P₂、P₃…P_m提取的全局特征也是纹理特征；对目标场景图片P₁提取全局特征是形状特征，那么对P₂、P₃…P_m提取的全局特征也是形状特征。对每个目标场景图片提取一致且只提取一种全局特征，用于对目标场景拍摄场景中的具体场景(比如建筑物、树木、标志物等)进行具体的整体特征提取。在对目标场景图片仅提取一种全局特征时，全局特征的数据存储量会减少，通过添加标记的全局特征F₁、F₂、F₃…F_m，可通过全局特征的匹配或筛选迅速定位具体的全局特征所对应的目标场景图片P₁、P₂、P₃…P_m，大大减少匹配或筛选的数据量。

在本实施例的另一种变化例中对每个目标场景图片P₁、P₂、P₃…P_m提取全局特征的类型仍然是一致的。但是可以在对每个目标场景图片提取一致类型的全局特征时，提取若干全局特征，以便用于对目标场景拍摄场景中的具体场景(比如建筑物、树木、标志物等)进行更为准确的整体特征标记。比如：对目标场景图片P₁提取全局特征是颜色特征和纹理特征，那么对目标场景图片P₂、P₃…P_m提取的全局特征也是颜色特征和纹理特征，即从目标场景图片P₁、P₂、P₃…P_m提取的全局特征为F₁{f₁₁,f₁₂}、F₂{f₂₁,f₂₂}、F₃{f₃₁,f₃₂}…F_m{f_m1,f_m2}，其中f₁₁、f₂₁、f₃₁…f_m1是目标场景图片P₂、P₃…P_m的颜色特征，f₁₂、f₂₂、f₃₂…f_m2是目标场景图片P₂、P₃…P_m的纹理特征。或者，也可以对目标场景图片P₁提取颜色特征、形状特征及纹理特征，对P₂、P₃…P_m同样提取颜色特征、形状特征及纹理特征，即从目标场景图片P₁、P₂、P₃…P_m提取的全局特征为F₁{f₁₁,f₁₂,f₁₃}、F₂{f₂₁,f₂₂,f₂₃}、F₃{f₃₁,f₃₂,f₃₃}…F_m{f_m1,f_m2,f_m3}，其中f₁₁、f₂₁、f₃₁…f_m1是目标场景图片P₂、P₃…P_m的颜色特征，f₁₂、f₂₂、f₃₂…f_m2是目标场景图片P₂、P₃…P_m的纹理特征，f₁₃、f₂₃、f₃₃…f_m3是目标场景图片P₂、P₃…P_m的形状特征。

在对目标场景图片提取若干全局特征时，全局特征的数据存储量会略增加，可通过全局特征的匹配或筛选更为准确地定位全局特征所对应的目标场景图片P₁、P₂、P₃…P_m，进一步提高匹配或筛选的数据量。

在具体的应用实例中，如果是提取目标场景图片的颜色特征可以采用提取图片的颜色直方图方法、主色调直方图的方法、颜色矩方法或者颜色集方法等方法作为颜色特征的提取方法，将颜色直方图信息、主色调直方图信息、颜色矩信息或者颜色集信息作为颜色特征提取。如果是提取目标场景图片的纹理特征可以采用LBP方法(Local binarypatterns)或者灰度共生矩阵方法等方法提取图像的纹理特征。如果是提取目标场景的形状特征，可以采用边缘特征提取的方法，具体用Canny算子边缘检测或者Sobel算子边缘检测算法实现。

在提取全局特征时，只要全局特征能够用于识别目标场景图片中具体场景物体的全局属性(比如颜色、纹理、形状等)即可，本实施例提取的全局特征也不仅限于上述颜色特征、纹理特征及形状特征。所提取的全局特征F₁、F₂、F₃…F_m可以存储在云端服务器中。

步骤S23，对每个目标场景图片P₁、P₂、P₃…P_m提取局部特征，以得到对应局部特征J₁、J₂、J₃…J_m。

对每个目标场景图片P₁、P₂、P₃…P_m提取局部特征，局部特征的数量需要保持在一定数量级。每个局部特征至少包括N个从对应目标场景图片的局部区域中抽取的图像特征，N为从每个目标场景图片的局部区域中抽取图像特征的总数量。N的取值可为1000～2000，在取值为3000至5000时，可以确保较佳的图像特征，N为整数。可以理解N的取值在较低时，能够在不丢失图像特征的前提下使图像数据量减少，较好地完成图像定位所需的图像特征保存；而在N的取值较高时，图像特征能够更佳地保留，但是相对图像数据量也较前者庞大一些。可以根据不同的需要对每个目标场景图片或拍摄图片的图像特征的数量做预先设定，根据需要在图片的局部区域中抽取不同数量的图像特征，本发明技术方案并不对此做任何限制。

从每个目标场景图片P₁、P₂、P₃…P_m提取局部特征都达到了N个局部特征数量级，即局部特征J₁{j₁₁,j₁₂…j_1N}、J₂{j₂₁,j₂₂…j_2N}、J₃{j₃₁,j₃₂…j_3N}…J_m{j_m1,j_m2…j_mN}，其中：j₁₁,j₁₂…j_1N是对图片P₁至少N个局部区域中第1个局部区域至第N个局部区域的局部图像特征；j₂₁,j₂₂…j_2N是对图片P₂至少N个局部区域中第1个局部区域至第N个局部区域的局部图像特征；j₃₁,j₃₂…j_3N是对图片P₃至少N个局部区域中第1个局部区域至第N个局部区域的局部图像特征；以此类推，j_m1,j_m2…j_mN是对图片P_m至少N个局部区域中第1个局部区域至第N个局部区域的局部图像特征。从对应目标场景图片的局部区域(每个目标场景图片至少包括第1个局部区域至第N个局部区域)中抽取的图像特征至少包括如下图像特征中的一种或多种：边缘、角点、线、曲线和其他特别属性的区域等。

局部特征提取算法在计算机视觉中被广泛使用，局部特征提取算法可以采用FAST角点检测算法(Features from Accelerated Segment Test，FAST)、SIFT特征检测算法(Scale-Invariant FeatureTransform，SIFT)、Harris算法、ORB特征检测算法(OrientedFAST and Rotated BRIEF，ORB)等，在本发明技术方案中都可以使用。所述局部特征可以是图片中的特殊位置点，比如可以是如上所述的角点，FAST角点检测算法是找到与周围邻域内大于预定数量的像素点相差大于等于阈值的像素点XP，则所述像素点XP为角点，角点即为所要提取的局部特征。SIFT特征描述子算法，用于侦测与描述图像中的局部性特征，对特征点进行梯度计算，生成梯度直方图，统计选取的邻域内像素的梯度和方向，从而确定特征点方向作为局部特征。在一种实例中可以使用经典特征SIFT算法提取上述图片局部特征，也还可以使用基于深度学习的算法(如LIFT，D2Net，R2D2，SuperPoint)提取上述图片的局部特征等。

步骤S24，利用运动恢复结构算法对每个目标场景图片对应的局部特征进行处理，得到该目标场景图片的三维点云S₁、S₂、S₃…S_m。

每个目标场景局部特征J₁{j₁₁,j₁₂…j_1N}、J₂{j₂₁,j₂₂…j_2N}、J₃{j₃₁,j₃₂…j_3N}…J_m{j_m1,j_m2…j_mN}通过运动恢复结构(Structure From Motion，SFM)算法，能够恢复每个目标场景图片P₁、P₂、P₃…P_m的采集设备参数及场景三维结构，得到三维点云数据S₁、S₂、S₃…S_m。具体的，三维点云数据S₁、S₂、S₃…S_m依次为上述局部特征J₁{j₁₁,j₁₂…j_1N}、J₂{j₂₁,j₂₂…j_2N}、J₃{j₃₁,j₃₂…j_3N}…J_m{j_m1,j_m2…j_mN}放置于预置三维坐标下的三维坐标数据。更为具体的，S₁为局部特征J₁{j₁₁,j₁₂…j_1N}中特征点j₁₁,j₁₂…j_1N的三维坐标数据集合，S₂为局部特征J₂{j₂₁,j₂₂…j_2N}中特征点j₂₁,j₂₂…j_2N的三维坐标数据集合，S₃为局部特征J₃{j₃₁,j₃₂…j_3N}中特征点j₃₁,j₃₂…j_3N的三维坐标数据集合，以此类推，S_m为局部特征J_m J_m{j_m1,j_m2…j_mN}中特征点j_m1,j_m2…j_mN的三维坐标数据集合。运动恢复结构(Structure From Motion，SFM)算法是从一系列二维图像恢复出场景三维稀疏点云的技术的统称，其主要步骤包括特征匹配、三角化点云，BA优化等。采用现有技术中使用运动恢复结构算法对一系列二维图像恢复出三维场景数据点云技术方案都可以实现本发明的步骤S24，因此本发明实施例不在此对如何使用运动恢复结构算法重构三维场景做限制。

步骤S25，基于所述全局特征F₁、F₂、F₃…F_m形成目标场景的地图文件D₀。

所提取目标场景图片的全局特征F₁、F₂、F₃…F_m具体可以存储在云端服务器中，根据目标场景的不同存储于同一地图文件D₀。如果存在多个目标场景B₁、B₂、B₃…B_x，并假设目标场景B₁、B₂、B₃…B_x采集的目标场景图片的数量分别为m1、m2、m3…mx，则对应不同目标场景云端服务器则存在有多个地图文件D₀₁、D₀₂、D₀₃…D_0x，1、2、3…x为目标场景的序号(x为目标场景的总数量)，D₀₁、D₀₂、D₀₃…D_0x为存储目标场景B₁、B₂、B₃…B_x全局特征的存储文件。地图文件D₀₁存储有目标场景B₁的全局特征F₁、F₂、F₃…F_m1，地图文件D₀₂存储有目标场景B₂的全局特征F₁、F₂、F₃…F_m2，地图文件D₀₃存储有目标场景B₃的全局特征F₁、F₂、F₃…F_m3，以此类推，地图文件D_0x存储有目标场景B_x的全局特征F₁、F₂、F₃…F_mx。

步骤S26，基于局部特征J₁、J₂、J₃…J_m及三维点云S₁、S₂、S₃…S_m形成目标场景的地图文件D₁、D₂、D₃…D_m。

针对当前所提取目标场景图片的局部特征J₁、J₂、J₃…J_m及三维点云S₁、S₂、S₃…S_m具体可以存储在云端服务器中，根据目标场景的不同存储于地图文件D₁、D₂、D₃…D_m。D₁存储有局部特征J₁及三维点云S₁，D₂存储有局部特征J₂及三维点云S₂，D₃存储有局部特征J₃及三维点云S₃，以此类推，D_m存储有局部特征J_m及三维点云S_m。

基于上述拓扑，在地图文件的存储数据库中，针对一个目标场景或该目标场景的扩展，存在如图3所示的地图文件数据关系(图中的短虚线示意了这种地图文件数据关系)，其具有地图文件D₀、D₁、D₂、D₃…D_m，地图文件D₀存储了目标场景的全局特征F₁、F₂、F₃…F_m，地图文件D₁、D₂、D₃…D_m分别存储了该目标场景的局部特征J₁、J₂、J₃…J_m及三维点云S₁、S₂、S₃…S_m。全局特征F₁与地图文件D₁具有数据存储的对应关系，全局特征F₂与地图文件D₂具有数据存储的对应关系，全局特征F₃与地图文件D₃具有数据存储的对应关系，以此类推，全局特征F_m与地图文件D_m具有数据存储的对应关系。数据存储的对应关系指的是，基于数据对应一方的加载、调取或匹配，可以加载、调取或匹配数据对应另一方。

在本实施例中所阐述的地图文件数据中，由于形成了不同地图文件的数据关系，可以在地图数据文件加载及计算过程中调取或匹配必要的地图文件，针对同场景的地图数据，也仅需根据计算(包括定位计算)需要调取需要的全局特征存储文件、局部特征存储地图文件或者三维点云数据存储文件，而不需要一次性加载存储场景所有特征的存储文件，减小数据加载及计算压力，提高数据处理效率及系统响应速度。

除了提取目标场景的全局特征数据、局部特征数据及三维点云数据以形成地图数据外，为了在地图数据匹配时提高匹配精确度，在本实施例的一则变化例中，所提取的地图数据还可以包括辅助设备特征数据，一种视觉地图生成方法，如图4所示，除了包括上述步骤S21至S26，还可以包括：

步骤S27,提取目标场景图片P₁、P₂、P₃…P_m的辅助设备特征T₁、T₂、T₃…T_m。

每个辅助设备特征至少包括一个从对应目标场景图片提取的设备辅助特征。所述辅助设备特征为设备GPS信息和/或设备朝向信息。就是目标场景的拍摄设备。可以通过拍摄设备自带的GPS信息或设备朝向信息采集系统或者软件对当前拍摄设备的上述辅助特征数据进行提取。

步骤S28，基于辅助设备特征T₁、T₂、T₃…T_m形成目标场景的地图文件D_t。

基于图3的地图文件数据关系，针对一个目标场景或该目标场景的扩展，并结图5，存储了辅助设备特征的地图文件数据包括存储有地图文件D₀、D₁、D₂、D₃…D_m及地图文件D_t，其中地图文件D_t存储了该目标场景多个参考图片P₁、P₂、P₃…P_m的辅助设备特征T₁、T₂、T₃…T_m。其中，下角标t指代该目标场景辅助特征的文件标识。

根据数据存储及调取的需要，辅助设备特征T₁可以与全局特征F₁具有数据存储的对应关系，辅助设备特征T₂与全局特征F₂具有数据存储的对应关系，辅助设备特征T₃与全局特征F₃具有数据存储的对应关系，以此类推，辅助设备特征T_m与全局特征F_m具有数据存储的对应关系。

在其他实例中，辅助设备特征T₁分别与全局特征F₁、地图文件D₁具有数据存储的对应关系，辅助设备特征T₂分别与全局特征F₂、地图文件D₂具有数据存储的对应关系，辅助设备特征T₃分别与全局特征F₃、地图文件D₃具有数据存储的对应关系，以此类推，辅助设备特征T_m分别与全局特征F_m、地图文件D_m具有数据存储的对应关系。辅助设备特征图5中的地图文件具有数据存储的对应关系即与文件中的局部特征及三维点云数据也具有特定数据存储的对应关系。

使用辅助设备特征作为地图数据文件并根据上述数据关系形成地图文件，可以进一步地完善地图数据，在数据加载、提取及匹配时可以快速、有效地实现数据抓取，有助于快速匹配与定位，提高运算速度与效率。

如图6所示，本申请的实施例提供了一种视觉地图定位方法，其基于上述图2所示的视觉地图生成方法及图3所示的地图文件数据关系，所述视觉地图定位方法可以由云端服务器执行。所述云端服务器可以为图1中所述服务器105。该视觉地图定位方法具体包括如下步骤：

步骤S31，获取待定位拍摄图片p。

定位功能的使用场景一般用于用户使用设备(比如相机、手机等)拍摄了当前场景的图像，形成了当前带定位拍摄图片P。

步骤S32，对待定位拍摄图片p提取全局特征f及局部特征j。

提取带定位拍摄图片P的全局特征f及局部特征j的两个过程可以同时进行，也可以分别先后进行，没有特定的执行顺序。提取全局特征f及局部特征j的方案可以参考以上实施例。可以用上述步骤S22对目标场景图片提取全局特征的算法，一般与目标场景图片提取全局特征的类型(如颜色特征、纹理特征和形状特征)一致。可以用上述步骤S23对目标场景图片提取局部特征的算法对步骤S32中对待定位拍摄图片p进行局部特征的提取。

步骤S33，将全局特征f与所述地图文件D₀的全局特征进行匹配，以得到最接近全局特征f的全局特征F_e1、F_e2…F_ey。

e1、e2…ey为与所述全局特征f匹配的全局特征所对应目标场景拍摄图片的序列。

假设当前目标场景的地图文件D₀从目标场景图片P₁、P₂、P₃…P_m提取的全局特征F₁{f₁₁,f₁₂}、F₂{f₂₁,f₂₂}、F₃{f₃₁,f₃₂}…F_m{f_m1,f_m2}，其中f₁₁、f₂₁、f₃₁…f_m1是目标场景图片P₂、P₃…P_m的颜色特征，f₁₂、f₂₂、f₃₂…f_m2是目标场景图片P₂、P₃…P_m的纹理特征。那么待定位拍摄图片p通过步骤S32提取的全局特征f{f_g1,f_g2}，其中f_g1是待定位图片P的颜色特征，f_g2是待定位图片P的纹理特征。可以使用直接比较法比较f{f_g1,f_g2}与F₁{f₁₁,f₁₂}、F₂{f₂₁,f₂₂}、F₃{f₃₁,f₃₂}…F_m{f_m1,f_m2}之间的距离，分别计算f与F₁、F₂、F₃…F_m的欧式距离，如果f与F₁、F₂、F₃…F_m其中一个全局特征的欧氏距离小于或等于全局匹配的预定距离，通过距离的阈值设置匹配全局特征之间的相似度，从而快速匹配出符合预定距离(阈值)的若干全局特征F_e1、F_e2…F_ey。还可以采用KNN算法(K-Nearest Neighbor)选择出距离符合阈值的若干全局特征F_e1、F_e2…F_ey。

步骤S34，根据全局特征F_e1、F_e2…F_ey读取地图文件D_u1、D_u2…D_uz，将局部特征j与所述局部特征J_u1、J_u2…J_uz匹配，以得到匹配后的局部特征j’，j’为j中与局部特征J_u1、J_u2…J_uz中图像特征匹配的图像特征集合，u1、u2…uz为基于全局特征F_e1、F_e2…F_ey数据对应关系得到的对应目标场景拍摄图片的序列。

在本例中可以直接根据最接近全局特征f的F_e1、F_e2…F_ey找到对应的D_e1、D_e2…D_ey，即u1、u2…uz就是e1、e2…ey。更为具体的，通过F_e1、F_e2…F_ey找到对应的地图文件D_e1、D_e2…D_ey，可根据地图里的局部特征J_e1、J_e2…J_ey进行特征匹配。从原本的需要匹配D₁、D₂…D_m个地图的所有局部特征，变成先匹配D₀中F₁、F₂…F_m全局特征得到y个候选地图D_e1、D_e2…D_ey，然后匹配y个地图D_e1、D_e2…D_ey的局部特征。y远小于m的数据量，从而达到降低运算量的目的。比如一个中型商场的典型值m＝10000张图，N＝1000个局部特征，y候选为5，则计算量从1000万下降到1.5万。局部特征运算的时候只需要加载5个候选地图文件，即D_e1、D_e2…D_e5。

由于全局特征的匹配计算数据量远远小于局部特征的匹配计算数据量，因此按步骤S33首先进行全局特征匹配的运算、再按步骤S34进行局部特征匹配的运算，使图像特征匹配数据量大大减少。

从每个目标场景图片P₁、P₂、P₃…P_m提取局部特征都达到了N个局部特征数量级，即局部特征J₁{j₁₁,j₁₂…j_1N}、J₂{j₂₁,j₂₂…j_2N}、J₃{j₃₁,j₃₂…j_3N}…J_m{j_m1,j_m2…j_mN}，由于经过步骤S33的全局特征的匹配，获得了匹配后的全局特征F_e1、F_e2…F_ey，根据步骤S34，基于全局特征F_e1、F_e2…F_ey的匹配序号e1、e2…ey，可以读取地图文件D_e1、D_e2…D_ey(在本例中，u1、u2…uz依次取e1、e2…ey)，并将j与地图文件D_e1、D_e2…D_ey中的局部特征J_e1、J_e2…J_ey匹配，局部特征J_e1、J_e2…J_ey都具备了数量级为N或者其他可预置数量级的局部图像特征。具体的匹配过程可参考如下示例：

将j中的局部图像特征，与局部特征J_e1中的局部图像特征匹配，如果有匹配的图像特征，则匹配得到j中匹配的k1个局部图像特征，如果没有，则为零或未匹配标记；

将j中的图像特征，与局部特征J_e2中的图像特征匹配，如果有匹配的图像特征，则匹配得到j中匹配的k2个局部图像特征，如果没有，则为零或未匹配标记；以此类推，

将j中的图像特征，与局部特征J_ey中的图像特征匹配，如果有匹配的图像特征，则匹配得到j中匹配的ky个局部图像特征，如果没有，则为零或未匹配标记。

最终得到的匹配后的j’为k1个局部图像特征(如匹配)、k2个局部图像特征(如匹配)、…ky个局部图像特征(如匹配)。如果上述局部图像特征并非匹配，则对应局部图像特征则为零。

此时，由于经过全局特征数据的匹配筛选，在进一步对获得到的含局部特征及三维点云数据的地图文件时，地图文件的加载量远远小于现有技术直接加载所有地图文件进行定位匹配的数据量，即基于局部特征J_e1、J_e2…J_ey进行数据匹配量远小于基于局部特征J₁、J₂…J_m进行数据匹配量。

在步骤S34中，将局部特征j与所述局部特征J_e1、J_e2…J_ey图像特征的匹配过程可以通过朴素的局部特征匹配算法，即直接计算局部特征j中图像特征与所述局部特征J_e1、J_e2…J_ey图像特征的欧氏距离，将最接近的局部特征图像作为最终的局部特征，然后得到匹配后的局部特征j’，将局部特征J_e1、J_e2…J_ey中分别与j图像特征匹配的局部特征所对应的三维点云坐标提取为集合S’。

步骤S35，根据所述局部特征j’与三维点云S’，通过PNP算法求得拍摄设备的位姿。

PNP(Perspective-n-Point)算法是在给定世界参考系上的n个3D点及其在图像中的相应2D投影的情况下估计校准相机的位姿的问题。可以使用该PNP算法，基于局部特征j’(相对应2D投影)与局部特征J_e1、J_e2…J_ey中与j匹配的图像特征所对应的三维点云坐标集合S’(相对于3D点)求得拍摄设备的位姿。由于PNP算法广泛应用于相机位姿跟踪，物体位姿跟踪，AR/VR，机器人操作，SLAM中位姿初值求解等现有技术方案中，常用解法包括DLT算法、P3P算法、EPnP算法及UPnP算法等，属于所有三维视觉领域内非常基础的算法方案，本发明技术方案不再赘述。

从以上本发明技术方案的视觉定位到步骤可以看出，其核心是将定位分成了粗定位和精细定位两个部分。在第一步的粗定位，需要进行匹配的数据量和计算量是非常小的，只需要将待定位图像的一个全局特征和所有参考图片的全局特征进行匹配即可。在这个步骤中，无论第一个部分构建的视觉地图覆盖的范围有多大，都只将返回若干个最相似的参考图片结果。因此在后续的精细定位中，问题的规模就被限制在了从若干上述的参考图片中进行匹配求解设备位姿，其计算量和复杂度相比传统的定位系统(传统的定位系统，通过匹配求解位姿的问题规模与覆盖场景所需要的参考图片的总数成正比)，得到了数量级的下降。

如图7所示，本申请的实施例提供了一种视觉地图定位方法，其基于上述图4所示的视觉地图生成方法及图5所示的地图文件数据关系，所述视觉地图定位方法可以由云端服务器执行。所述云端服务器可以为图1中所述服务器105。该视觉地图定位方法具体包括如下步骤：

步骤S41，获取待定位拍摄图片p。

步骤S42，对待定位拍摄图片p提取辅助设备特征t’、全局特征f及局部特征j。

提取带定位拍摄图片P的辅助设备特征t’、全局特征f及局部特征j的三个过程可以同时进行，也可以分别先后进行，没有特定的执行顺序。提取辅助设备特征t’、全局特征f及局部特征j的方案可以参考以上实施例。可以用上述步骤S22对目标场景图片提取全局特征的算法，一般与目标场景图片提取全局特征的类型(如颜色特征、纹理特征和形状特征)一致。可以用上述步骤S23对目标场景图片提取局部特征的算法对步骤S32中对待定位拍摄图片p进行局部特征的提取。可以用上述步骤S27提取目标场景图片的GPS信息和/或设备朝向信息。

步骤S43，将所述辅助设备特征t’与所述地图文件D_t的辅助设备特征T₁、T₂、T₃…T_m进行匹配，以得到最接近辅助设备特征t’的辅助设备特征T_w1、T_w2…T_wi。

w1、w2…wi为将辅助设备特征t’与辅助设备特征T₁、T₂、T₃…T_m匹配得到的辅助设备特征所对应目标场景拍摄图片的序列。

假设从目标场景图片P₁、P₂、P₃…P_m提取的辅助设备特征信息为GPS信息，那么可以从辅助设备特征T₁、T₂、T₃…T_m(该特征也是GPS信息)筛选与辅助设备特征t’距离在预定误差范围内的特征。具体的，可以通过计算这些GPS信息之间的位置距离是否在预设位置距离之内，获得最接近辅助设备特征t’的辅助设备特征T_w1、T_w2…T_wi。比如：

辅助设备特征t’的GPS信息与辅助设备特征T₁的GPS信息显示二者的GPS位置距离在10米以内，那么该辅助设备特征T₁的GPS信息就是最接近辅助设备特征t’的辅助设备特征，可以将该辅助设备特征T₁的GPS信息放入最接近辅助设备特征t’的辅助设备特征T_w1，其中w1＝1。

辅助设备特征t’的GPS信息与辅助设备特征T₂的GPS信息显示二者的GPS位置距离在10米以内，那么该辅助设备特征T₂的GPS信息也是最接近辅助设备特征t’的辅助设备特征，可以将该辅助设备特征T₂的GPS信息放入最接近辅助设备特征t’的辅助设备特征T_w2，其中w2＝2。

辅助设备特征t’的GPS信息与辅助设备特征T₃的GPS信息显示二者的GPS位置距离大于10米，那么该辅助设备特征T₃的GPS信息并非接近辅助设备特征t’的辅助设备特征，可以将该辅助设备特征T₃的GPS信息排除。

辅助设备特征t’的GPS信息与辅助设备特征T₄的GPS信息显示二者的GPS位置距离在10米之内，那么该辅助设备特征T₄的GPS信息为最接近辅助设备特征t’的辅助设备特征，可以将该辅助设备特征T₄的GPS信息放入最接近辅助设备特征t’的辅助设备特征T_w3，其中w3＝4，以此类推。

根据上述方法将辅助设备特征t’与辅助设备特征T₁、T₂、T₃…T_m进行一一位置距离的计算，可以获得GPS位置在预定误差范围内的辅助设备特征T_w1、T_w2…T_wi。

加入辅助设备信息的计算以挑选出GPS位置在预定误差范围内的辅助设备特征信息，可以在定位匹配中进一步降低运算规模，同时能够避免一些误判。比如在城市进行定位，定位的目标对象是一个门店，但是这个门店在城市内有多家连锁且外观都差不多，那么仅仅从全局特征的相似性上是无法保证准确性的，可能会让A地匹配到B地。加入辅助设备信息的过滤与筛选可以很好的规避这种现象，大大减小定位失误。

步骤S44，根据辅助设备特征T_w1、T_w2…T_wi读取地图文件D₀的全局特征F_w1、F_w2…F_wi，将所述全局特征f与全局特征F_w1、F_w2…F_wi进行匹配，以得到最接近全局特征f的全局特征F_e1、F_e2…F_ey。

e1、e2…ey为与所述全局特征f匹配的全局特征所对应目标场景拍摄图片的序列。全局特征f与全局特征F_w1、F_w2…F_wi的匹配过程可以参考步骤S33，本例不再赘述。

步骤S45，根据全局特征F_e1、F_e2…F_ey读取地图文件D_e1、D_e2…D_ey中的局部特征J_e1、J_e2…J_ey，将局部特征j与所述局部特征J_e1、J_e2…J_ey匹配，以得到匹配的局部特征集合J’及局部特征J_e1、J_e2…J_ey中分别与j匹配的图像特征所对应的三维点云坐标集合S’。

步骤S45可以参考步骤S34实现，此处不再赘述。

步骤S46，根据所述局部特征集合j’与三维点云坐标集合S’，通过PNP算法求得拍摄设备的位姿。

步骤S46的算法可以参考步骤S35，此处不再赘述。

基于图7的实例，该技术方案首先通过辅助设备特征t’与地图文件D_t的辅助设备特征T₁、T₂、T₃…T_m的的匹配，得到i个辅助设备特征T_w1、T_w2…T_wi。再将全局特征f与i个全局特征F_w1、F_w2…F_wi匹配，得到最接近全局特征f的y个全局特征F_e1、F_e2…F_ey，并获取全局特征F_e1、F_e2…F_ey对应的地图文件D_e1、D_e2…D_ey，可根据地图件D_e1、D_e2…D_ey里的局部特征J_e1、J_e2…J_ey进行特征匹配。从原本的需要匹配D₁、D₂…D_m个地图的所有局部特征，变成先匹配D_t中T₁、T₂、T₃…T_m辅助设备特征得到i个全局特征F_w1、F_w2…F_wi，然后匹配候选地图D₀中的i个全局特征F_w1、F_w2…F_wi，得到y个全局特征F_e1、F_e2…F_ey，然后匹配y个地图D_e1、D_e2…D_ey的局部特征。将运算量从m变为i，再从i变为y，y进一步小于m的数据量，从而进一步达到降低运算量的目的。

在上述视觉地图定位方法的一则变化例中，结合图14，不同于上述步骤过程之处在于，可将步骤S43及步骤S46替换为如下步骤S53及步骤S56实现：

步骤S53，将待定位拍摄图片p的全局特征f先与地图文件D₀的全局特征F₁、F₂、F₃…F_m进行匹配，以得到最接近全局特征f的全局特征F_e1、F_e2…F_ey。

步骤S53的实现可以参考上述步骤S33，此处不再赘述。

步骤S54，根据全局特征F_e1、F_e2…F_ey读取地图文件D_t的辅助设备特征T_e1、T_e2…T_ey，并将待定位拍摄图片p的辅助设备特征t’与所述辅助设备特征T_e1、T_e2…T_ey进行匹配，得到的最接近辅助设备特征t’的辅助设备特征T_w1、T_w2…T_wi。

结合图5，地图文件D₀的全局特征F₁、F₂、F₃…F_m与全局特征f的匹配是粗匹配，因此只要f与全局特征F₁、F₂、F₃…F_m的全局特征匹配，可以通过匹配成功的全局特征F_e1、F_e2…F_ey的序列号e1、e2…ey，找到地图文件D_t的对应辅助设备特征序列号e1、e2…ey，从而读取到地图文件D_t的辅助设备特征T_e1、T_e2…T_ey。辅助设备特征t’与所述辅助设备特征T_e1、T_e2…T_ey的匹配过程可以参考步骤S43，此处不再赘述。

步骤S55，根据辅助设备特征T_w1、T_w2…T_wi读取地图文件D_w1、D_w2…D_wi的局部特征J_w1、J_w2…J_wi，并将待定位拍摄图片p的局部特征j与所述局部特征J_w1、J_w2…J_wi匹配，以得到匹配的局部特征集合J”及局部特征J_w1、J_w2…J_wi中分别与局部特征j匹配的图像特征所对应的三维点云坐标集合S”。

结合图5，根据辅助设备特征T_w1、T_w2…T_wi读取地图文件D_w1、D_w2…D_wi的局部特征J_w1、J_w2…J_wi也是通过上述特征存储序列号的对应关系读取的。局部特征j与局部特征J_w1、J_w2…J_wi的匹配过程可以参考步骤34，此处不再赘述。由于基于步骤S24的运动恢复结构算法，每个目标场景图片的局部特征都具有对应的局部特征三维点云坐标，因此可以基于这种对应关系，获取到局部特征J_w1、J_w2…J_wi中与局部特征j匹配的图像特征所对应的三维点云坐标，并生成三维点云坐标集合S”。

步骤S56，根据所述局部特征集合J”与三维点云坐标集合S”，通过PNP算法求得拍摄设备的位姿。

步骤S56的算法可以参考步骤S35，此处不再赘述。

在上述实施例中，待定位拍摄图片p的被在提取辅助设备信息、全局特征及局部特征后，经过辅助设备信息和/或全局特征信息的粗略筛选，粗略筛选的数据量在只有全局特征筛选时数量级已经较小，如果又加入辅助设备信息的筛选，可以进一步减小全局特征粗略筛选的数量级。

经过粗略筛选后，将与经过粗略筛选后匹配到的辅助设备信息和/或全局特征信息所具有数据对应关系的局部特征进行读取，用于局部特征的精细筛选及匹配，将最终匹配到的局部特征及当前局部特征对应的三维点云数据通过PNP算法求得当前场景图像的设备位置。此时精细筛选的数据量不同于现有技术对于全部图形信息的逐一匹配计算，其数据量则大大减小了。

基于图14的实例，该技术方案首先全局特征f与地图文件D₀中m个全局特征F₁、F₂、F₃…F_m匹配，得到最接近全局特征f的y个全局特征F_e1、F_e2…F_ey，并获取全局特征F_e1、F_e2…F_ey对应的辅助设备特征T_e1、T_e2…T_ey，得到最接近辅助设备特征t’的i个辅助设备特征T_w1、T_w2…T_wi。通过辅助设备特征t’与i个辅助设备特征T_w1、T_w2…T_wi的匹配，得到i个辅助设备特征T_w1、T_w2…T_wi。基于i个辅助设备特征T_w1、T_w2…T_wi，可根据i个地图文件D_w1、D_w2…D_wi的局部特征J_w1、J_w2…J_wi进行特征匹配。从原本的需要匹配D₁、D₂…D_m个地图的所有局部特征，变成先匹配D₀中F₁、F₂、F₃…F_m全局特征得到y个全局特征F_w1、F_w2…F_wi，然后匹配候选地图D₀中的i个全局特征F_w1、F_w2…F_wi，得到y个全局特征F_e1、F_e2…F_ey，然后匹配y个辅助设备特征T_e1、T_e2…T_ey，得到i个辅助设备特征T_w1、T_w2…T_wi，最后再匹配i个地图D_w1、D_w2…D_wi的局部特征J_w1、J_w2…J_wi，将数据运算量从m变为y，再从y变为i，i进一步小于m的数据量，从而进一步达到降低运算量的目的。

如图8所示，本申请实施例还提供了一种视觉地图生成系统，所述系统包括存储器200和处理器201。

所述存储器200，中存储有计算机程序，用于存储代码和相关数据中的至少一项。

所述处理器201，用于执行所述存储器200中的代码和/或相关数据用以实现前述视觉地图生成方法中任意一项技术方案中的方法步骤。

如图9所示，本申请实施例还提供了一种视觉地图定位系统，所述系统包括存储器200’和处理器201’。

所述存储器200’，中存储有计算机程序，用于存储代码和相关数据中的至少一项。

所述处理器201’，用于执行所述存储器200’中的代码和/或相关数据用以实现前述视觉地图生成方法中任意一项技术方案中的方法步骤及该方法对应的视觉地图定位方法步骤以实现视觉地图定位。

如图10所示，一种视觉地图生成系统，包括：特征提取模板300、计算模块301及文件处理模块302。

特征提取模板300用于根据步骤S21获取目标场景的拍摄图片P₁、P₂、P₃…P_m，执行上述步骤S22至S23，得到全局特征F₁、F₂、F₃…F_m、局部特征J₁、J₂、J₃…J_m。

计算模块301则用于执行步骤S24，以得到目标场景图片的三维点云S₁、S₂、S₃…S_m。

文件处理模块302则用于根据得到的全局特征F₁、F₂、F₃…F_m、局部特征J₁、J₂、J₃…J_m、三维点云S₁、S₂、S₃…S_m形成目标场景的地图文件D₀、D₁、D₂、D₃…D_m。

如图11所示，一种视觉地图生成系统，包括：特征提取模板300’、计算模块301及文件处理模块302’。不同于图10所示的系统结构，该特征提取模板300’还适于执行步骤S27，除了得到全局特征F₁、F₂、F₃…F_m、局部特征J₁、J₂、J₃…J_m外，还得到了目标场景图片P₁、P₂、P₃…P_m的辅助设备特征T₁、T₂、T₃…T_m。文件处理模块302’还用于基于辅助设备特征T₁、T₂、T₃…T_m形成目标场景的地图文件D_t。因此，图11所示的视觉地图生成系统，最终形成的地图文件包括：地图文件D₀、D₁、D₂、D₃…D_m及地图文件D_t。

如图12所示，一种视觉地图定位系统，包括：如图10所述的视觉地图生成系统、匹配模板303及算法模块304。

特征提取模板300还用于根据待定位拍摄图片p，执行步骤S32，以得到待定位拍摄图片p的全局特征f及局部特征j。

匹配模板303用于执行步骤S33及步骤S34，以得到待定位拍摄图片p局部特征j中与局部特征J_u1、J_u2…J_uz匹配的局部特征J’及三维点云坐标集合S’。

算法模块304用于执行步骤S35，以根据局部特征j’与三维点云坐标集合S’，通过PNP算法求得拍摄设备的位姿。

如图13所示，一种视觉地图定位系统，包括：如图11所述的视觉地图生成系统、匹配模板303’及算法模块304。

特征提取模板300’还用于根据待定位拍摄图片p，执行步骤S42，以提取辅助设备特征t’、全局特征f及局部特征j。

匹配模板303’用于执行步骤S43至S45，以得到与待定位拍摄图片p局部特征j中分别与局部特征J_e1、J_e2…J_ey匹配后的局部特征J’及三维点云坐标集合S’。

在其他实例中，匹配模板303’也可以用于执行步骤S53至S56的步骤以替换执行步骤S43至S45，同样可以得到与待定位拍摄图片p局部特征j中与局部特征J_w1、J_w2…J_wi匹配的局部特征J”及三维点云坐标集合S”。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (20)

1.一种视觉地图生成方法，其特征在于，包括：

获取目标场景的拍摄图片P₁、P₂、P₃…P_m，1、2、3…m为该目标场景拍摄图片的序列，m为该目标场景拍摄图片的总数量；

对每个目标场景图片P₁、P₂、P₃…P_m提取全局特征，以得到对应全局特征F₁、F₂、F₃…F_m，每个全局特征至少包括一个从对应目标场景图片整体提取的图像属性特征；

对每个目标场景图片P₁、P₂、P₃…P_m提取局部特征，以得到对应局部特征J₁、J₂、J₃…J_m，每个局部特征至少包括N个从对应目标场景图片的局部区域中抽取的图像特征，N为从每个目标场景图片的局部区域中抽取图像特征的总数量；

利用运动恢复结构算法对每个目标场景图片对应的局部特征进行处理，得到该目标场景图片的三维点云S₁、S₂、S₃…S_m；

基于所述全局特征F₁、F₂、F₃…F_m形成目标场景的地图文件D₀；

基于所述局部特征J₁、J₂、J₃…J_m及三维点云S₁、S₂、S₃…S_m形成目标场景的地图文件D₁、D₂、D₃…D_m，所述全局特征F₁、F₂、F₃…F_m依次与所述地图文件D₁、D₂、D₃…D_m具有数据对应关系。

2.如权利要求1所述的视觉地图生成方法，其特征在于，所述从对应目标场景图片整体提取的图像属性特征至少为如下特征中的一项或多项：颜色特征、纹理特征和形状特征。

3.如权利要求1所述的视觉地图生成方法，其特征在于，所述从对应目标场景图片的局部区域中抽取的图像特征至少包括：该局部区域中的边缘特征、角特征、点特征、线特征、曲线特征及特别属性特征。

4.如权利要求1或3所述的视觉地图生成方法，其特征在于，所述N的取值至少为1000。

5.如权利要求1所述的视觉地图生成方法，其特征在于，还包括：

提取目标场景图片P₁、P₂、P₃…P_m的辅助设备特征T₁、T₂、T₃…T_m；

基于辅助设备特征T₁、T₂、T₃…T_m形成目标场景的地图文件D_t；

所述辅助设备特征T₁、T₂、T₃…T_m依次与所述全局特征F₁、F₂、F₃…F_m和/或所述地图文件D₁、D₂、D₃…D_m具有数据对应关系。

6.一种视觉地图定位方法，基于按权利要求1所述方法生成的地图，其特征在于，包括：

获取待定位拍摄图片p；

对待定位拍摄图片p提取全局特征f及局部特征j，局部特征j为从所述待定位拍摄图片p局部区域中抽取图像特征的集合；

将所述全局特征f与所述地图文件D₀的全局特征进行匹配，以得到最接近全局特征f的全局特征F_e1、F_e2…F_ey，e1、e2…ey为与所述全局特征f匹配的全局特征所对应目标场景拍摄图片的序列；

读取地图文件D_u1、D_u2…D_uz，将局部特征j与所述局部特征J_u1、J_u2…J_uz匹配，以得到匹配后的局部特征j’，j’为j中与局部特征J_u1、J_u2…J_uz中图像特征匹配的图像特征集合，u1、u2…uz为基于全局特征F_e1、F_e2…F_ey数据对应关系得到的对应目标场景拍摄图片的序列；

根据局部特征j’及与局部特征J_u1、J_u2…J_uz中与j匹配图像特征所对应的三维点云坐标集合S’，通过PNP算法求得拍摄设备的位姿。

7.如权利要求6所述的视觉地图定位方法，其特征在于，所述读取地图文件D_u1、D_u2…D_uz包括：根据全局特征F_e1、F_e2…F_ei读取地图文件D_u1、D_u2…D_uz，所述u1、u2…uz取值为所述e1、e2…ey。

8.如权利要求6所述的视觉地图定位方法，其特征在于，还包括：

获取目标场景的拍摄图片P₁、P₂、P₃…P_m的辅助设备特征T₁、T₂、T₃…T_m，每个辅助设备特征至少包括一个从对应目标场景图片提取的设备辅助特征；

对待定位拍摄图片p提取辅助设备特征t’；

将所述辅助设备特征t’与辅助设备特征T₁、T₂、T₃…T_m进行匹配，以得到最接近的辅助设备特征T_w1、T_w2…T_wi，w1、w2…wi为与所述辅助设备特征t’匹配的辅助设备特征所对应目标场景拍摄图片的序列；

所述将所述全局特征f与所述地图文件D₀的全局特征进行匹配包括：将所述全局特征f与所述地图文件D₀的全局特征F_w1、F_w2…F_wi进行匹配，以得到距离最接近全局特征f的全局特征F_e1、F_e2…F_ey；

所述u1、u2…uz取值为所述e1、e2…ey。

9.根据权利要求6所述的视觉地图定位方法，其特征在于，还包括：

获取目标场景的拍摄图片P₁、P₂、P₃…P_m的辅助设备特征T₁、T₂、T₃…T_m，每个辅助设备特征至少包括一个从对应目标场景图片提取的设备辅助特征；

对待定位拍摄图片p提取辅助设备特征t’；

所述将所述全局特征f与所述地图文件D₀的全局特征进行匹配包括：

所述将所述全局特征f与所述地图文件D₀的全局特征F₁、F₂、F₃…F_m进行匹配以得到距离接近的全局特征F_e1、F_e2…F_ey，e1、e2…ey为与所述全局特征f距离接近的全局特征所对应目标场景拍摄图片的序列；

所述视觉地图定位方法还包括：

将所述辅助设备特征t’与辅助设备特征T_e1、T_e2…T_ey进行匹配，以得到最接近辅助设备特征t’的辅助设备特征T_w1、T_w2…T_wi，w1、w2…wi为与所述辅助设备特征t’匹配的辅助设备特征所对应目标场景拍摄图片的序列；所述u1、u2…uz取值为所述w1、w2…wi。

10.根据权利要求8或9所述的视觉地图定位方法，其特征在于，所述辅助设备特征为设备GPS信息或设备朝向信息。

11.一种视觉地图生成系统，其特征在于，包括：处理器和存储器；

所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时执行如权利要求1至5任一项所述的视觉地图生成方法的步骤。

12.一种视觉地图定位系统，其特征在于，包括：处理器和存储器；

所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时执行如权利要求6至10任一项所述的视觉地图定位方法的步骤。

13.一种视觉地图生成系统，其特征在于，包括：特征提取模板、计算模块及文件处理模块；

所述特征提取模板，适于获取目标场景的拍摄图片P₁、P₂、P₃…P_m，并对每个目标场景的拍摄图片P₁、P₂、P₃…P_m提取全局特征，以得到对应全局特征F₁、F₂、F₃…F_m，对每个目标场景图片P₁、P₂、P₃…P_m提取局部特征，以得到对应局部特征J₁、J₂、J₃…J_m，每个全局特征至少包括一个从对应目标场景图片整体提取的图像属性特征，每个局部特征至少包括N个从对应目标场景图片的局部区域中抽取的图像特征，1、2、3…m为该目标场景拍摄图片的序列，m为该目标场景拍摄图片的总数量，N为从每个目标场景图片的局部区域中抽取图像特征的总数量；

所述计算模块，适于利用运动恢复结构算法对每个目标场景图片对应的局部特征进行处理，得到该目标场景图片的三维点云S₁、S₂、S₃…S_m；

所述文件处理模块，适于基于所述全局特征F₁、F₂、F₃…F_m形成目标场景的地图文件D₀，以及基于所述局部特征J₁、J₂、J₃…J_m及三维点云S₁、S₂、S₃…S_m形成目标场景的地图文件D₁、D₂、D₃…D_m，所述全局特征F₁、F₂、F₃…F_m依次与所述地图文件D₁、D₂、D₃…D_m具有数据对应关系。

14.如权利要求13所示的视觉地图生成系统，其特征在于，所述特征提取模块，还适于提取目标场景图片P₁、P₂、P₃…P_m的辅助设备特征T₁、T₂、T₃…T_m；

所述文件处理模块，还适于基于辅助设备特征T₁、T₂、T₃…T_m形成目标场景的地图文件D_t，所述辅助设备特征T₁、T₂、T₃…T_m依次与所述全局特征F₁、F₂、F₃…F_m和/或所述地图文件D₁、D₂、D₃…D_m具有数据对应关系。

15.一种视觉地图定位系统，其特征在于，包括：如权利要求13所述的视觉地图生成系统、匹配模板及算法模块；

所述特征提取模板，还适于获取待定位拍摄图片p，并对待定位拍摄图片p提取全局特征f及局部特征j；

所述匹配模板，适于将所述全局特征f与所述地图文件D₀的全局特征进行匹配，以得到最接近全局特征f的全局特征F_e1、F_e2…F_ey，e1、e2…ey为与所述全局特征f匹配的全局特征所对应目标场景拍摄图片的序列；

所述匹配模块，还适于读取地图文件D_u1、D_u2…D_uz，将局部特征j与所述局部特征J_u1、J_u2…J_uz匹配，以得到匹配后的局部特征j’，j’为j中与局部特征J_u1、J_u2…J_uz中图像特征匹配的图像特征集合，u1、u2…uz为基于全局特征F_e1、F_e2…F_ey数据对应关系得到的对应目标场景拍摄图片的序列；

所述算法模块，适于根据局部特征j’及与局部特征J_u1、J_u2…J_uz中与j匹配图像特征所对应的三维点云坐标集合S’，通过PNP算法求得拍摄设备的位姿。

16.如权利要求15所述的视觉地图定位系统，其特征在于，所述匹配模板还适于根据全局特征F_e1、F_e2…F_ey读取地图文件D_u1、D_u2…D_uz；所述u1、u2…uz取值为所述e1、e2…ey。

17.如权利要求15所述的视觉地图定位系统，其特征在于，所述特征提取模块，还适于提取目标场景图片P₁、P₂、P₃…P_m的辅助设备特征T₁、T₂、T₃…T_m；以及，对待定位拍摄图片p提取辅助设备特征t’；

所述文件处理模块，还适于基于辅助设备特征T₁、T₂、T₃…T_m形成目标场景的地图文件D_t，所述辅助设备特征T₁、T₂、T₃…T_m依次与所述全局特征F₁、F₂、F₃…F_m和/或所述地图文件D₁、D₂、D₃…D_m具有数据对应关系；

所述匹配模板还适于：将所述辅助设备特征t’与辅助设备特征T₁、T₂、T₃…T_m进行匹配，以得到最接近的辅助设备特征T_w1、T_w2…T_wi，w1、w2…wi为与所述辅助设备特征t’匹配的辅助设备特征所对应目标场景拍摄图片的序列；所述匹配模板将所述全局特征f与所述地图文件D₀的全局特征进行匹配的执行过程包括：所述将所述全局特征f与所述地图文件D₀的全局特征F_w1、F_w2…F_wi进行匹配，以得到距离最接近全局特征f的全局特征F_e1、F_e2…F_ey；所述u1、u2…uz取值为所述e1、e2…ey。

18.如权利要求15所述的视觉地图定位系统，其特征在于，所述特征提取模块，还适于提取目标场景图片P₁、P₂、P₃…P_m的辅助设备特征T₁、T₂、T₃…T_m；以及，对待定位拍摄图片p提取辅助设备特征t’；

所述文件处理模块，还适于基于辅助设备特征T₁、T₂、T₃…T_m形成目标场景的地图文件D_t，所述辅助设备特征T₁、T₂、T₃…T_m依次与所述全局特征F₁、F₂、F₃…F_m和/或所述地图文件D₁、D₂、D₃…D_m具有数据对应关系；

所述匹配模板将所述全局特征f与所述地图文件D₀的全局特征进行匹配的执行过程包括：所述将所述全局特征f与所述地图文件D₀的全局特征F₁、F₂、F₃…F_m进行匹配以得到距离接近的全局特征F_e1、F_e2…F_ey，e1、e2…ey为与所述全局特征f距离接近的全局特征所对应目标场景拍摄图片的序列；

所述匹配模块还适于：将所述辅助设备特征t’与辅助设备特征T_e1、T_e2…T_ey进行匹配，以得到最接近辅助设备特征t’的辅助设备特征T_w1、T_w2…T_wi，w1、w2…wi为与所述辅助设备特征t’匹配的辅助设备特征所对应目标场景拍摄图片的序列；所述u1、u2…uz取值为所述w1、w2…wi。

19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的视觉地图生成方法。

20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求6至10任一项所述的视觉地图定位方法。

Images