CN107563366A - 一种定位方法及装置、电子设备 - Google Patents

Abstract

本发明公开了一种定位方法及装置、电子设备，所述方法包括如下步骤：步骤一，接收用于定位的用户定位图像；步骤二，提取所述用户定位图像中的关键信息，利用预先构建的定位模板库对用户位置进行精确定位，通过本发明可根据用户提供的图像自动对用户位置进行精确定位。

Description

一种定位方法及装置、电子设备

技术领域

本发明涉及定位技术领域，尤其涉及一种定位方法及装置、电子设备。

背景技术

随着现代科技水平的不断提高，自动定位技术得到了广泛应用，尤其是在导航系统中，需要先对用户位置进行定位后，再规划合理的路径进行导航，因此，如何精确的对用户位置进行定位直接关系到导航路径规划的合理性，受到越来越多研究人员的关注。

现有的定位方法一般利用GPS定位技术确定用户的大概位置，或者根据用户提供的图像中的文字信息确定用户位置，然而在GPS信号不好，或者没有GPS信号时，很难确定用户位置；当用户提供的图像中没有文字信息时，也无法确定用户位置。

综上所述，现有技术中一般利用GPS定位技术或根据用户提供图像中的文字信息对用户位置进行定位，当无法检测到GPS信号或用户提供的图像中没有位置相关的文字信息时，将无法准确定位到用户位置。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种定位方法及装置、电子设备，以根据用户提供的图像自动对用户位置进行精确定位，无需GPS信号或图像中的文字信息，大大提升了用户体验。

为达上述目的，本发明提供的技术方案如下：

一种定位方法，包括如下步骤：

步骤一，接收用于定位的用户定位图像；

步骤二，提取所述用户定位图像中的关键信息，利用预先构建的定位模板库对用户位置进行精确定位。

进一步地，步骤一之前还包括如下步骤：

预先收集大量图像数据，构建定位模板库，并对所述定位模板库中图像的地标物体进行三维建模，得到地标物体的三维模型。

进一步地，所述预先收集大量图像数据，构建定位模板库，并对所述定位模板库中图像的地标物体进行三维建模，得到地标物体的三维模型的步骤进一步包括：

收集大量的图像数据；

对收集的图像进行分类，得到包含多个不同类别图像库的定位模板库；

对所述定位模板库中每种地标的图像进行聚类，确定每种地标的代表图像；

利用每种地标的代表图像对每种地标进行三维建模，得到每种地标物体的三维模型。

进一步地，所述对所述定位模板库中每种地标的图像进行聚类，确定每种地标的代表图像的步骤进一步包括：

对当前地标的每张图像进行分割，得到分割后每张图像的子目标图像；

分别提取每张子目标图像的表示特征；

对每张图像的所有子目标图像的表示特征进行聚类，根据聚类结果确定当前地标的代表图像。

进一步地，所述对每张图像的所有子目标图像的表示特征进行聚类，根据聚类结果确定当前地标的代表图像的步骤采用基于特征匹配的方法，计算每张子目标图像表示特征的两两相似度并聚类，于聚类结束后，将子目标图像数量最多的类作为当前地标的代表图像。

进一步地，所述利用每种地标的代表图像对每种地标进行三维建模，得到每种地标物体的三维模型的步骤进一步包括：

搜索每种地标的代表图像中每张子目标图像的奇异点；

根据每张子目标图像的奇异点对每种地标代表图像的子目标图像进行对齐；

对每种地标的代表图像中子目标图像包含的地标物体进行三维建模，得到每种地标物体的三维模型。

进一步地，所述搜索每种地标的代表图像中每张子目标图像的奇异点的步骤进一步包括：

对当前地标代表图像中每张子目标图像进行角点检测；

提取每张子目标图像的SIFT特征点，将当前地标代表图像中每张子目标图像的SIFT特征点进行两两匹配，选择匹配数最多的前N个SIFT特征点；

将每张子目标图像检测到的角点分别与所述前N个SIFT特征点进行距离计算，选择距离小于阈值的角点作为当前地标代表图像中每张子目标图像的奇异点；

依次对每种地标代表图像中每张子目标图像进行上述操作，得到每种地标代表图像中每张子目标图像上的奇异点。

进一步地，于步骤三中，所述提取用户定位图像中的关键信息的步骤包括提取所述用户定位图像本身包含的信息与提取所述用户定位图像中的物体信息的步骤。

进一步地，于步骤三中，所述利用预先构建的定位模板库对用户位置进行精确定位的步骤进一步包括：

根据用户定位图像的关键信息利用所述定位模板库对用户位置进行粗定位，得到用户位置候选区域；

若所述用户定位图像包含地标物体，则利用所述定位模板库中地标物体的三维模型对所述用户位置候选区域进行重定位，得到用户精确位置。

进一步地，所述根据用户定位图像的关键信息利用所述定位模板库对用户位置进行粗定位的步骤进一步包括：

根据所述用户定位图像提取的物体信息与预先构建的定位模板库中的相应的信息进行匹配，得到与物体信息相似的图像；

基于图像本身包含的信息中的海拔信息在所述与物体信息相似的图像上进行等高线位置匹配，选择等高线位置差值低于阈值的图像作为用户位置候选区域图像。

进一步地，所述利用所述定位模板库中地标物体的三维模型对所述用户位置候选区域进行重定位的步骤进一步包括：

从预先构建的定位模板库中获取每个用户位置候选区域图像的地标物体的三维模型；

根据不同候选区域图像的地标物体的三维模型搜索所述用户定位图像的地标，对用户精确位置进行定位。

进一步地，所述根据不同候选区域图像的地标物体的三维模型搜索所述用户定位图像的地标，对用户精确位置进行定位的步骤进一步包括：

将用户位置候选区域图像的地标三维模型进行二维柱状展开，得到展开后的多个子区域；

对用户定位图像生成用户定位图像前景目标区域；

将生成的用户定位图像前景目标区域与用户位置候选区域图像二维柱状展开后的子区域进行区域匹配，选择相似度较高的用户位置候选区域。

进一步地，于所述将生成的用户定位图像前景目标区域与用户位置候选区域图像二维柱状展开后的子区域进行区域匹配，选择相似度较高的用户位置候选区域的步骤后，还包括：

将用户定位图像前景目标区域与相似度较高的用户位置候选区域进行二次匹配。

进一步地，所述将用户定位图像前景目标区域与相似度较高的用户位置候选区域进行二次匹配的步骤进一步包括：

提取用户定位图像前景目标区域的角点；

在所述相似度较高的用户位置候选区域图像的地标物体的三维模型中寻找对应的角点；

分别提取地标物体三维模型在二维展开后的子区域及用户定位图像前景目标区域的SIFT特征点，找到两个区域中位置对应的SIFT特征点对；

根据所述SIFT特征点对找到两个区域上分别与所述SIFT特征点对对应的奇异点对；

根据所述奇异点对所在区域的相似性判定用户定位图像前景目标区域与用户位置候选区域是否匹配。

进一步地，若所述奇异点对所在区域相似度高于预先设定的阈值，则匹配成功，确定用户所在位置为候选区域中位置；否则匹配失败，确定用户不在候选区域中的位置。

进一步地，若所述用户定位图像中不包含地标，则于确定用户位置候选区域后，基于地形重定位的方法对用户位置进行精确定位。

为达到上述目的，本发明还提供一种定位装置，包括：

定位图像接收单元，用于接收用于定位的用户定位图像；

定位单元，用于提取所述用户定位图像中的关键信息，利用预先构建的定位模板库对用户位置进行精确定位。

进一步地，所述定位装置还包括定位模板库构建单元，用于预先收集大量图像数据，构建定位模板库，并对模板库中图像的地标物体进行三维建模，得到地标物体的三维模型。

进一步地，所述定位模板库构建单元包括：

图像收集单元，用于收集大量的图像数据；

分类单元，用于对收集的图像进行分类，得到包含多个不同类别图像库的定位模板库；

代表图像确定单元，用于对所述定位模板库中每种地标的图像进行聚类，确定每种地标的代表图像；

三维建模单元，用于利用每种地标的代表图像对每种地标进行三维建模，得到每种地标物体的三维模型。

进一步地，所述代表图像确定单元包括：

图像分割单元，用于对当前地标的每张图像进行分割，得到分割后每张图像的子目标图像；

特征提取单元，用于分别提取每个子目标图像的表示特征；

聚类单元，用于对每个图像的所有子目标图像的表示特征进行聚类，根据聚类结果确定当前地标的代表图像。

进一步地，所述三维建模单元包括：

奇异点搜索单元，用于搜索每种地标的代表图像中每张子目标图像的奇异点；

对齐单元，用于根据每张子目标图像的奇异点对每种地标代表图像的子目标图像进行对齐；

三维模型生成单元，用于对每种地标的代表图像中子目标图像包含的地标物体进行三维建模，得到每种地标的三维模型。

进一步地，所述定位单元包括：

关键信息提取模块，用于提取所述用户定位图像中的关键信息；

定位模块，用于根据提取的图像的关键信息利用定位模板库对用户位置进行精确定位。

进一步地，所述定位模块包括：

初步定位单元，用于根据所述用户定位图像的关键信息利用定位模板库对用户位置进行粗定位，得到用户位置候选区域；

重定位单元，于所述用户定位图像包含地标时，利用所述定位模板库中地标物体的三维模型对所述用户位置候选区域进行重定位，得到用户的精确位置。

进一步地，所述重定位单元包括：

三维模型获取单元，从预先构建的定位模板库中获取每个用户位置候选区域图像的地标三维模型；

精确定位单元，根据不同候选区域图像地标三维模型搜索所述用户定位图像的地标，对用户精确位置进行定位。

进一步地，所述精确定位单元定位步骤如下：

将用户位置候选区域图像的地标三维模型进行二维柱状展开，得到展开后的多个子区域；

对用户定位图像生成用户定位图像前景目标区域；

将生成的用户定位图像前景目标区域与用户位置候选区域图像二维柱状展开后的子区域进行区域匹配，选择相似度较高的用户位置候选区域。

本发明还提供一种电子设备，所述电子设备包括；

存储介质，存储有多条指令，所述指令由处理器加载执行上述方法的步骤；以及

处理器，用于执行所述存储介质中的指令。

与现有技术相比，本发明一种定位方法及装置、电子设备的有益效果在于：

本发明一种定位方法及装置、电子设备通过收集大量图像数据，构建定位模板库，并对模板库中图像进行三维建模获得地标物体的三维模型，于接收到用户提供的用户定位图像后，提取用户定位图像的关键信息，根据预先构建的定位模板库及其地标物体的三维模型对用户位置进行精确定位，实现了根据用户提供的图像无需GPS信号或图像中的文字信息即可自动对用户位置进行精确定位的目的，大大提升了用户体验。

附图说明

图1为本发明一种定位方法的一个实施例的步骤流程图；

图2为本发明具体实施例中步骤100的细部流程图；

图3为本发明具体实施例中步骤S13的细部流程图；

图4为本发明具体实施例中步骤S14的细部流程图；

图5为本发明具体实施例中步骤103的细部流程图；

图6为本发明一种定位装置的一个实施例的系统架构图；

图7为本发明具体实施例中定位模板库构建单元的细部结构图；

图8为本发明具体实施例中代表图像确定单元的细部结构图；

图9为本发明具体实施例中三维建模单元的细部结构图；

图10为本发明具体实施例中定位单元的细部结构图；

图11为本发明用于定位方法的电子设备的结构示意图。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。

在本发明的一个实施例中，如图1所示，本发明一种定位方法，包括如下步骤：

步骤101，接收用于定位的用户定位图像。当需要进行定位时，用户可通过拍摄设备获取用于定位的用户定位图像，即用户所在位置的图像，所述图像可以为单视角或360度全景照片。

步骤102，提取用户定位图像中的关键信息，根据预先构建的定位模板库对用户位置进行精确定位。

优选地，于步骤101之前，还包括如下步骤：

步骤100，预先收集大量图像数据，构建定位模板库，并对定位模板库中图像的地标物体进行三维建模，得到地标物体的三维模型。

具体地，如图2所示，步骤100进一步包括：

步骤S11，收集大量的图像数据。

这里的图像数据指的是包含地理位置的地形地貌图、全景图、关键地标图及关键位置图，具体收集时，可以由用户拍摄得到或通过网络收集获得，具体收集方法本发明不作限定；

步骤S12，对收集的图像进行分类，将收集的图像划分为多个不同类别的图像库，得到包含多个不同类别图像库的定位模板库。

对收集图像进行分类时，将收集的图像划分为多个类别的图像库，得到多种不同类别的图像模板库，如地形库、实景库等，具体分类方法可以采用人工标注方法，也可以采用图像识别的方法自动分类，本发明不以此为限。当然还可以对分类后的图像进行进一步的多级分类，如地形库可以进一步分为植被地形库和地形地貌库，植被地形库针对图像中植被、土壤颜色分布的特点再进行分类，地形地貌库根据图像中出现的等高线、山脊图像等可进行进一步分类等。

步骤S13，对收集的图像中每种地标的图像进行聚类，确定每种地标的代表图像。也就是说，收集的图像中包含同一地标的关键地标图像会有多个，例如，收集的图像中有多个从不同视角拍摄的地标为雷峰塔的图像，则对该多个从不同视角拍摄的地标为雷峰塔的图像进行聚类，确定地标为雷峰塔的代表图像。

具体地说，收集图像时，每个图像包含的地标名称可以由用户提供或通过网络查询得到，如根据图像中的关键词或标签查询得到图像中包含的地标。在收集的大量图像中，同一种地标一般会有多张不同视角的图像；因此，需要确定该地标的代表图像以便于对该地标进行三维建模，如图3所示，具体确定方法如下步骤所述：

步骤S131，对当前地标的每张图像进行分割，得到分割后每张图像的子目标图像。所述子目标图像为每张图像分割后包含所有前景物体的图像，以当前地标为雷峰塔为例，则对包含地标雷峰塔的每张图像进行分割，分割方式可采用基于深度学习的方法，在此不予赘述。

步骤S132，分别提取每个子目标图像的表示特征，如长宽比、颜色直方图等。

步骤S133，对每个图像的所有子目标图像的表示特征进行聚类，根据聚类结果确定当前地标的代表图像。具体方法可采用如基于特征匹配的方法，计算每个子目标图像表示特征的两两相似度并聚类，聚类结束后，将子目标图像数量最多的类作为当前地标的代表图像，这里的子目标图像代表不同视角的地标图像。

步骤S14，利用每种地标的代表图像对每种地标进行三维建模，得到每种地标物体的三维模型。具体地，如图4所示，步骤S14进一步包括：

步骤S141，搜索每种地标的代表图像中每张子目标图像的奇异点。

具体地，首先对当前地标代表图像中每张子目标图像进行角点检测，所述角点指具有特定特征的特征点，例如子目标图像的梯度极值点、边缘交界点等，具体检测方法与现有技术相同，例如所述角点检测方法可采用Harris角点检测方法；提取每张子目标图像的SIFT(Scale-Invariant Feature Transform，尺度不变特征变换)特征点，将当前地标代表图像中每张子目标图像的SIFT特征点进行两两匹配，选择匹配数最多的前N个SIFT特征点；将每张子目标图像检测到的角点分别与所述前N个SIFT特征点进行距离计算，选择距离小于阈值的角点作为当前地标代表图像中每张子目标图像的奇异点，依次对每种地标代表图像中每张子目标图像进行上述操作，得到每种地标代表图像中每张子目标图像上的奇异点；

步骤S142，根据每张子目标图像的奇异点对每种地标代表图像的子目标图像进行对齐。

具体地，根据每张子目标图像的奇异点将每种地标代表图像中不同视角的子目标图像进行关键点对齐操作，所述对齐操作可以采用相似性变换的方法，如利用每张子目标图像的奇异点构建相似性变换方程，求解变换矩阵，对子目标图像进行对齐，所述变换矩阵的求解与现有方法类似，如采用最小二乘法求解，在此不予赘述。

步骤S143，对每种地标的代表图像中子目标图像包含的地标物体进行三维建模，得到每种地标物体的三维模型。

由于每种地标代表图像包含的不同视角的子目标图像已经对齐，因此三维建模的过程可以简化为基于多视角的三维重建，具体重建过程与现有技术相同，如可采用SFM(Shape From Motion)等重建算法，在此不予赘述。

具体地，如图5所示，步骤102进一步包括如下步骤

步骤S21，提取用户定位图像中的关键信息。这里的关键信息包括图像本身包含的信息和图像中物体信息，具体提取步骤如下所述：

步骤S210，提取用户定位图像本身包含的信息。

所述图像本身包含的信息主要包括图像类别、拍摄时间、拍摄图像的海拔等，这些信息可以根据用户提供的定位图像直接得到。所述图像类别可以划分为单视角图像与360度全景照片，拍摄时间可以根据时间段划分为早、中、晚，也可以划分具体的时间段；拍摄图像的海拔信息指拍摄图像时具体海拔值，在本发明具体实施例中，具体的海拔信息可以通过拍摄设备的陀螺仪得到。

步骤S211，提取用户定位图像中的物体信息。

所述图像中物体信息指图像中包含的树木类别、建筑场景类别、植被类别等信息，所述树木类别指树木的种类，如松树、柏树等，所述建筑场景类别主要为了对图像包含的场景进行划分，如亭台、楼宇、残垣等，所述植被类别指图像中地面的种类，如草丛、苔藓等。所述物体信息具体可以利用图像分割与图像识别技术提取图像中每种物体信息，具体方法与现有技术相同，在此不再详述。

优选地，对于提取的拍摄图像的海拔信息还可以根据提取的图像中的物体信息进行修正，具体的修正过程如下：预先构建海拔信息与具体树木类别、建筑平均高度宽度的对应关系表；根据所述关系表及用户定位图像中的树木类别、建筑的平均高度宽度估计拍摄图像的海拔高度；最后利用估计出的海拔信息对根据图像提取的海拔信息进行修正。

步骤S22，根据提取的图像的关键信息利用定位模板库对用户位置进行精确定位。具体地，步骤S22进一步包括：

步骤S220，根据用户定位图像的关键信息利用定位模板库对用户位置进行粗定位，得到用户位置候选区域。

具体地，根据用户提供的用户定位图像的物体信息中的植被类别或/和树种类别与预先构建的定位模板库中相应类别的图像库进行匹配，得到植被树种相似的图像；再基于海拔高度在所述植被树种相似的图像上进行等高线位置匹配，选择相似度高的图像作为用户位置候选区域图像，在本发明具体实施例中，选择用户定位图像的海拔高度与所述植被树种相似的图像等高线位置匹配差值小于阈值的图像作为相似度高的图像。

步骤S221，若用户定位图像包含地标，利用定位模板库中地标物体的三维模型对用户位置候选区域进行重定位，得到用户的精确位置。用户定位图像中的地标可通过人工标注或图像识别获得，在此不予赘述。

具体地，步骤S221进一步包括：

步骤a)，从预先构建的定位模板库中获取每个用户位置候选区域图像的地标三维模型；

步骤b)，根据不同候选区域图像地标三维模型搜索用户所提供图像(即用户定位图像)的地标，对用户精确位置进行定位，具体过程如下所述：

步骤b1，将用户位置候选区域图像的地标三维模型进行二维柱状展开，得到展开后的多个子区域

步骤b2，对用户定位图像生成用户定位图像前景目标区域。

具体方法与现有技术相同，如使用fasterRCNN方法生成得到前景目标区域。

步骤b3，将生成的用户定位图像前景目标区域与用户位置候选区域图像二维柱状展开后的子区域进行区域匹配，选择相似度较高的用户位置候选区域。

具体匹配时，可以使用SIFT特征或直方图特征进行匹配，选择相似度较高的用户定位图像候选目标区域。具体匹配方法与现有技术相同，在此不再详述。

步骤b4，将用户定位图像前景目标区域与相似度较高的用户位置候选区域进行二次匹配。

在本发明具体实施例中，匹配过程如下：先提取用户定位图像前景目标区域的角点；然后在所述相似度较高的用户位置候选区域图像的地标三维模型中寻找对应的角点；再分别提取地标三维模型在二维展开后的子区域及用户定位图像前景目标区域的SIFT特征点，找到两个区域中位置对应的SIFT特征点对；根据所述SIFT特征点对找到两个区域上分别与所述SIFT特征点对对应的奇异点对；最后根据所述奇异点对所在区域的相似性判定用户定位图像前景目标区域与用户位置候选区域是否匹配，具体可以采用基于梯度或纹理边缘的特征进行相似度计算，如果所述奇异点对所在区域相似度高于预先设定的阈值，则匹配成功，确定用户所在位置为候选区域中位置，从而完成对用户位置进行精确定位；否则匹配失败，用户不在候选区域中位置。

优选地，于步骤S221，若用户拍摄的用户定位图像中不包含地标，则于确定用户位置候选区域后，可以基于地形重定位的方法对用户位置进行精确定位。具体地，于确定用户位置候选区域后，可以根据用户定位图像中的地形与定位模板库中图像的地形之间的相似度确定用户位置。

在本发明的另一个实施例中，如图6所示，本发明一种定位装置，包括：定位图像接收单元61以及定位单元62。

其中，定位图像接收单元61，用于接收用户定位图像。当需要进行定位时，用户可通过拍摄设备获取用于定位的用户定位图像。

定位单元62，用于提取用户定位图像中的关键信息，根据预先构建的定位模板库对用户位置进行精确定位。

优选地，本发明之定位装置还包括定位模板库构建单元60，用于预先收集大量图像数据，构建定位模板库，并对定位模板库中的图像进行三维建模，得到地标物体的三维模型。

具体地，如图7所示，定位模板库构建单元60进一步包括：

图像收集单元601，用于收集大量的图像数据。

这里的图像数据指的是包含地理位置的地形地貌图、全景图、关键地标图及关键位置图，具体收集时，可以由用户拍摄得到或通过网络收集获得，具体收集方法本发明不作限定；

分类单元602，用于对收集的图像进行分类，将收集的图像划分为多个类别的图像库。

对收集图像进行分类时，将收集的图像划分为多个类别的图像库，得到多种不同类别的图像模板库，如地形库、实景库等，具体分类方法可以采用人工标注方法，也可以采用图像识别的方法自动分类，本发明不以此为限。当然还可以对分类后的图像进行进一步的多级分类，如地形库可以进一步分为植被地形库和地形地貌库，植被地形库针对图像中植被、土壤颜色分布的特点再进行分类，地形地貌库根据图像中出现的等高线、山脊图像等可进行进一步分类等。

代表图像确定单元603，用于对收集的图像中每种地标的图像进行聚类，确定每种地标的代表图像。也就是说，收集的图像中包含同一地标的关键地标图像会有多个，例如，收集的图像中有多个从不同视角拍摄的地标为雷峰塔的图像，则对该多个从不同视角拍摄的地标为雷峰塔的图像进行聚类，确定地标为雷峰塔的代表图像。

具体地说，收集图像时，每个图像包含的地标名称可以由用户提供或通过网络查询得到，如根据图像中的关键词或标签查询得到图像中包含的地标。在收集的大量图像中，同一种地标一般会有多张不同视角的图像；因此，需要确定该地标的代表图像以便于对该地标进行三维建模，如图8所示，代表图像确定单元603进一步包括：

图像分割单元6031，用于对当前地标的每张图像进行分割，得到分割后每张图像的子目标图像。所述子目标图像为每张图像分割后包含所有前景物体的图像，以当前地标为雷峰塔为例，则对包含地标雷峰塔的每张图像进行分割，分割方式可采用基于深度学习的方法，在此不予赘述。

特征提取单元6032，用于分别提取每个子目标图像的表示特征，如长宽比、颜色直方图等。

聚类单元6033，用于对每个图像的所有子目标图像的表示特征进行聚类，根据聚类结果确定当前地标的代表图像。具体方法可采用如基于特征匹配的方法，计算每个子目标图像表示特征的两两相似度并聚类，聚类结束后，将子目标图像数量最多的类作为当前地标的代表图像，这里的子目标图像代表不同视角的地标图像。

三维建模单元604，用于利用每种地标的代表图像对每种地标进行三维建模，得到每种地标的三维模型。具体地，如图9所示，三维建模单元604进一步包括：

奇异点搜索单元6041，用于搜索每种地标的代表图像中每张子目标图像的奇异点。

具体地，奇异点搜索单元6041首先对当前地标代表图像中每张子目标图像进行角点检测，所述角点指具有特定特征的特征点，例如子目标图像的梯度极值点、边缘交界点等，具体检测方法与现有技术相同，例如所述角点检测方法可采用Harris角点检测方法；提取每张子目标图像的SIFT特征点，将当前地标代表图像中每张子目标图像的SIFT特征点进行两两匹配，选择匹配数最多的前N个SIFT特征点；将每张子目标图像检测到的角点分别与所述前N个SIFT特征点进行距离计算，选择距离小于阈值的角点作为当前地标代表图像中每张子目标图像的奇异点，依次对每种地标代表图像中每张子目标图像进行上述操作，得到每种地标代表图像中每张子目标图像上的奇异点；

对齐单元6042，用于根据每张子目标图像的奇异点对每种地标代表图像的子目标图像进行对齐。

根据每张子目标图像的奇异点将每种地标代表图像中不同视角的子目标图像进行关键点对齐操作，所述对齐操作可以采用相似性变换的方法，如利用每张子目标图像的奇异点构建相似性变换方程，求解变换矩阵，对子目标图像进行对齐，所述变换矩阵的求解与现有方法类似，如采用最小二乘法求解。

三维模型生成单元6043，用于对每种地标的代表图像中子目标图像包含的地标物体进行三维建模，得到每种地标的三维模型。

由于每种地标代表图像包含的不同视角的子目标图像已经对齐，因此三维建模的过程可以简化为基于多视角的三维重建，具体重建过程与现有技术相同，如可采用SFM(Shape From Motion)等重建算法，在此不予赘述。

具体地，如图10所示，定位单元62进一步包括：

关键信息提取模块620，用于提取用户定位图像中的关键信息。这里的关键信息包括图像本身包含的信息和图像中物体信息，具体提取过程如下：

1、提取用户定位图像本身包含的信息。

所述图像本身包含的信息主要包括图像类别、拍摄时间、拍摄图像的海拔等，这些信息可以根据用户提供的定位图像直接得到。所述图像类别可以划分为单视角图像与360度全景照片，拍摄时间可以根据时间段划分为早、中、晚，也可以划分具体的时间段；拍摄图像的海拔信息指拍摄图像时具体海拔值，在本发明具体实施例中，具体的海拔信息可以通过拍摄设备的陀螺仪得到。

2、提取用户定位图像中的物体信息。

所述图像中物体信息指图像中包含的树木类别、建筑场景类别、植被类别等信息，所述树木类别指树木的种类，如松树、柏树等，所述建筑场景类别主要为了对图像包含的场景进行划分，如亭台、楼宇、残垣等，所述植被类别指图像中地面的种类，如草丛、苔藓等。所述物体信息具体可以利用图像分割与图像识别技术提取图像中每种物体信息，具体方法与现有技术相同，在此不再详述。

优选地，对于提取的拍摄图像的海拔信息还可以根据提取的图像中的物体信息进行修正，具体的修正过程如下：预先构建海拔信息与具体树木类别、建筑平均高度宽度的对应关系表；根据所述关系表及用户定位图像中的树木类别、建筑的平均高度宽度估计拍摄图像的海拔高度；最后利用估计出的海拔信息对根据图像提取的海拔信息进行修正。

定位模块621，用于根据提取的图像的关键信息利用定位模板库对用户位置进行精确定位。具体地，定位模块621进一步包括：

初步定位单元6210，用于根据用户定位图像的关键信息利用定位模板库对用户位置进行粗定位，得到用户位置候选区域。

具体地，根据用户提供的用户定位图像上的植被和树种与预先构建的定位模板库中的植被与树种进行匹配，得到植被树种相似的图像；再基于海拔高度在所述图像上进行等高线位置匹配，选择等高线位置差值低于阈值，即相似度高的图像作为用户位置候选区域图像。

重定位单元6211，于用户定位图像包含地标时，利用定位模板库中地标的三维模型对用户位置候选区域进行重定位，得到用户的精确位置。

具体地，重定位单元6211进一步包括：

三维模型获取单元6211a，从预先构建的定位模板库中获取每个用户位置候选区域图像的地标三维模型；

精确定位单元6211b，根据不同候选区域图像地标三维模型搜索用户所提供图像(即用户定位图像)的地标，对用户精确位置进行定位，精确定位单元6211b的精确定位过程如下所述：

将用户位置候选区域图像的地标三维模型进行二维柱状展开，得到展开后的多个子区域；

对用户定位图像生成用户定位图像前景目标区域，具体方法与现有技术相同，如使用fasterRCNN方法生成得到前景目标区域；

将生成的用户定位图像前景目标区域与用户位置候选区域图像二维柱状展开后的子区域进行区域匹配，选择相似度较高的用户位置候选区域，具体匹配时，可以使用SIFT特征或直方图特征进行匹配，选择相似度较高的用户定位图像候选目标区域，具体匹配方法与现有技术相同，在此不再详述；

将用户定位图像前景目标区域与相似度较高的用户位置候选区域进行二次匹配。

在本发明具体实施例中，匹配过程如下：先提取用户定位图像前景目标区域的角点；然后在所述相似度较高的用户位置候选区域图像的地标三维模型中寻找对应的角点；再分别提取地标三维模型在二维展开后的子区域及用户定位图像前景目标区域的SIFT特征点，找到两个区域中位置对应的SIFT特征点对；根据所述SIFT特征点对找到两个区域上分别与所述SIFT特征点对对应的奇异点对；最后根据所述奇异点对所在区域的相似性判定用户定位图像前景目标区域与用户位置候选区域是否匹配，具体可以采用基于梯度或纹理边缘的特征进行相似度计算，如果所述奇异点对所在区域相似度高于预先设定的阈值，则匹配成功，确定用户所在位置为候选区域中位置，从而完成对用户位置进行精确定位；否则匹配失败，用户不在候选区域中位置。

优选地，重定位单元6211于用户拍摄的用户定位图像中不包含地标时，于确定用户位置候选区域后，采用基于地形重定位的方法对用户位置进行精确定位。具体地，重定位单元6211于确定用户位置候选区域后，可以根据用户定位图像中的地形与定位模板库中图像的地形之间的相似度确定用户位置。

参见图11，示出了本发明用于定位方法的电子设备300的结构示意图。参照图11，电子设备300包括处理组件301，其进一步包括一个或多个处理器，以及由存储介质302所代表的存储设备资源，用于存储可由处理组件301的执行的指令，例如应用程序。存储介质302中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件301被配置为执行指令，以执行上述定位方法的各步骤。

电子设备300还可以包括一个电源组件303，被配置为执行电子设备300的电源管理；一个有线或无线网络接口304，被配置为将电子设备300连接到网络；和一个输入输出(I/O)接口305。电子设备300可以操作基于存储在存储介质302的操作系统，例如WindowsServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。

综上所述，本发明一种定位方法及装置、电子设备通过收集大量图像数据，构建定位模板库，并对定位模板库中图像进行三维建模获得地标物体的三维模型，于接收到用户提供的用户定位图像后，提取用户定位图像的关键信息，根据预先构建的定位模板库及其地标物体的三维模型对用户位置进行精确定位，实现了根据用户提供的图像无需GPS信号或图像中的文字信息即可自动对用户位置进行精确定位的目的，大大提升了用户体验，尤其是对于外出登山或探险的用户，由于经常搜索不到GPS信号，利用本发明可以较精确的定位到这些处在偏远地区的用户。

应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (21)

1.一种定位方法，包括如下步骤：

步骤一，接收用于定位的用户定位图像；

步骤二，提取所述用户定位图像中的关键信息，利用预先构建的定位模板库对用户位置进行精确定位。

2.如权利要求1所述一种定位方法，其特征在于，步骤一之前还包括如下步骤：

预先收集大量图像数据，构建定位模板库，并对所述定位模板库中图像的地标物体进行三维建模，得到地标物体的三维模型。

3.如权利要求2所述的一种定位方法，其特征在于，所述预先收集大量图像数据，构建定位模板库，并对所述定位模板库中图像的地标物体进行三维建模，得到地标物体的三维模型的步骤进一步包括：

收集大量的图像数据；

对收集的图像进行分类，得到包含多个不同类别图像库的定位模板库；

对所述定位模板库中每种地标的图像进行聚类，确定每种地标的代表图像；

利用每种地标的代表图像对每种地标进行三维建模，得到每种地标物体的三维模型。

4.如权利要求3所述的一种定位方法，其特征在于，所述对所述定位模板库中每种地标的图像进行聚类，确定每种地标的代表图像的步骤进一步包括：

对当前地标的每张图像进行分割，得到分割后每张图像的子目标图像；

分别提取每张子目标图像的表示特征；

对每张图像的所有子目标图像的表示特征进行聚类，根据聚类结果确定当前地标的代表图像。

5.如权利要求3述的一种定位方法，其特征在于，所述利用每种地标的代表图像对每种地标进行三维建模，得到每种地标物体的三维模型的步骤进一步包括：

搜索每种地标的代表图像中每张子目标图像的奇异点；

根据每张子目标图像的奇异点对每种地标代表图像的子目标图像进行对齐；

对每种地标的代表图像中子目标图像包含的地标物体进行三维建模，得到每种地标物体的三维模型。

6.如权利要求5所述的一种定位方法，其特征在于，所述搜索每种地标的代表图像中每张子目标图像的奇异点的步骤进一步包括：

对当前地标代表图像中每张子目标图像进行角点检测；

提取每张子目标图像的SIFT特征点，将当前地标代表图像中每张子目标图像的SIFT特征点进行两两匹配，选择匹配数最多的前N个SIFT特征点；

将每张子目标图像检测到的角点分别与所述前N个SIFT特征点进行距离计算，选择距离小于阈值的角点作为当前地标代表图像中每张子目标图像的奇异点；

依次对每种地标代表图像中每张子目标图像进行上述操作，得到每种地标代表图像中每张子目标图像上的奇异点。

7.如权利要求1至6任一项所述的一种定位方法，其特征在于，于步骤三中，所述提取用户定位图像中的关键信息的步骤包括提取所述用户定位图像本身包含的信息与提取所述用户定位图像中的物体信息的步骤。

8.如权利要求7所述的一种定位方法，其特征在于，于步骤三中，所述利用预先构建的定位模板库对用户位置进行精确定位的步骤进一步包括：

根据用户定位图像的关键信息利用所述定位模板库对用户位置进行粗定位，得到用户位置候选区域；

若所述用户定位图像包含地标物体，则利用所述定位模板库中地标物体的三维模型对所述用户位置候选区域进行重定位，得到用户精确位置。

9.如权利要求8所述的一种定位方法，其特征在于，所述利用所述定位模板库中地标物体的三维模型对所述用户位置候选区域进行重定位的步骤进一步包括：

从预先构建的定位模板库中获取每个用户位置候选区域图像的地标物体的三维模型；

根据不同候选区域图像的地标物体的三维模型搜索所述用户定位图像的地标，对用户精确位置进行定位。

10.如权利要求9所述的一种定位方法，其特征在于，所述根据不同候选区域图像的地标物体的三维模型搜索所述用户定位图像的地标，对用户精确位置进行定位的步骤进一步包括：

将用户位置候选区域图像的地标三维模型进行二维柱状展开，得到展开后的多个子区域；

对用户定位图像生成用户定位图像前景目标区域；

将生成的用户定位图像前景目标区域与用户位置候选区域图像二维柱状展开后的子区域进行区域匹配，选择相似度较高的用户位置候选区域。

11.如权利要求10所述的一种定位方法，其特征在于，于所述将生成的用户定位图像前景目标区域与用户位置候选区域图像二维柱状展开后的子区域进行区域匹配，选择相似度较高的用户位置候选区域的步骤后，还包括：

将用户定位图像前景目标区域与相似度较高的用户位置候选区域进行二次匹配。

12.如权利要求11所述的一种定位方法，其特征在于，所述将用户定位图像前景目标区域与相似度较高的用户位置候选区域进行二次匹配的步骤进一步包括：

提取用户定位图像前景目标区域的角点；

在所述相似度较高的用户位置候选区域图像的地标物体的三维模型中寻找对应的角点；

分别提取地标物体三维模型在二维展开后的子区域及用户定位图像前景目标区域的SIFT特征点，找到两个区域中位置对应的SIFT特征点对；

根据所述SIFT特征点对找到两个区域上分别与所述SIFT特征点对对应的奇异点对；

根据所述奇异点对所在区域的相似性判定用户定位图像前景目标区域与用户位置候选区域是否匹配。

13.一种定位装置，包括：

定位图像接收单元，用于接收用于定位的用户定位图像；

定位单元，用于提取所述用户定位图像中的关键信息，利用预先构建的定位模板库对用户位置进行精确定位。

14.如权利要求13所述的一种定位装置，其特征在于：所述定位装置还包括定位模板库构建单元，用于预先收集大量图像数据，构建定位模板库，并对模板库中图像的地标物体进行三维建模，得到地标物体的三维模型。

15.如权利要求14所述的一种定位装置，其特征在于，所述定位模板库构建单元进一步包括：

图像收集单元，用于收集大量的图像数据；

分类单元，用于对收集的图像进行分类，得到包含多个不同类别图像库的定位模板库；

代表图像确定单元，用于对所述定位模板库中每种地标的图像进行聚类，确定每种地标的代表图像；

三维建模单元，用于利用每种地标的代表图像对每种地标进行三维建模，得到每种地标物体的三维模型。

16.如权利要求15所述的一种定位装置，其特征在于，所述代表图像确定单元进一步包括：

图像分割单元，用于对当前地标的每张图像进行分割，得到分割后每张图像的子目标图像；

特征提取单元，用于分别提取每个子目标图像的表示特征；

聚类单元，用于对每个图像的所有子目标图像的表示特征进行聚类，根据聚类结果确定当前地标的代表图像。

17.如权利要求15所述的一种定位装置，其特征在于：所述三维建模单元进一步包括：

奇异点搜索单元，用于搜索每种地标的代表图像中每张子目标图像的奇异点；

对齐单元，用于根据每张子目标图像的奇异点对每种地标代表图像的子目标图像进行对齐；

三维模型生成单元，用于对每种地标的代表图像中子目标图像包含的地标物体进行三维建模，得到每种地标的三维模型。

18.如权利要求13-17任一项所述的一种定位装置，其特征在于，所述定位单元进一步包括：

关键信息提取模块，用于提取所述用户定位图像中的关键信息；

定位模块，用于根据提取的图像的关键信息利用定位模板库对用户位置进行精确定位。

19.如权利要求18所述的一种定位装置，其特征在于，所述定位模块进一步包括：

初步定位单元，用于根据所述用户定位图像的关键信息利用定位模板库对用户位置进行粗定位，得到用户位置候选区域；

重定位单元，于所述用户定位图像包含地标时，利用所述定位模板库中地标物体的三维模型对所述用户位置候选区域进行重定位，得到用户的精确位置。

20.如权利要求19所述的一种定位装置，其特征在于，所述重定位单元进一步包括：

三维模型获取单元，从预先构建的定位模板库中获取每个用户位置候选区域图像的地标三维模型；

精确定位单元，根据不同候选区域图像地标三维模型搜索所述用户定位图像的地标，对用户精确位置进行定位。

21.一种电子设备，其特征在于，所述电子设备包括；

存储介质，存储有多条指令，所述指令由处理器加载执行权利要求1至12任一项所述方法的步骤；以及

处理器，用于执行所述存储介质中的指令。