CN102867057B - 一种基于视觉定位的虚拟向导构建方法 - Google Patents

Abstract

本发明公开了一种视觉定位的虚拟向导构建方法。本发明所述的基于视觉定位的虚拟向导构建方法通过对基于现实场景的多个图像进行分析，获得了现实场景的三维点云模型，利用输入图像的特征点与现实场景三维点云模型中的结构点进行匹配，判断出输入图像在三维点云模型中的当前位置，从而计算得到从输入图像的当前位置到达目标位置的路径。本发明不需要利用GPS定位，可以实现对输入图像的精确定位，且定位速度快，从定位到给出路径的处理时间少于1秒。本发明将被识别的建筑物的标注信息绘制于输入图像上，并在输入图像上绘制出用于指示行进路径的箭头，对于导航结果的展示更加直观。

Description

一种基于视觉定位的虚拟向导构建方法

技术领域

本发明涉及计算机视觉、计算机图像学和地理信息等领域，尤其涉及一种基于视觉定位的虚拟向导构建方法。

背景技术

基于位置服务(Location Based Service，简称LBS)的应用通常使用电信运营商的无线通讯网络或外部定位方式(如全球卫星定位系统，英文简称GPS)获取移动终端的位置信息(地理坐标或大地坐标)，进而在地理信息系统的支持下，为用户提供增值服务。随着移动互联网行业的兴起，基于位置服务的应用得到了飞速发展。LBS能够广泛支持需要动态地理空间信息的应用，包括寻找目的地、急救服务和导航等。在我国，目前电信运营商还无法准确地定位用户的位置，大部分LBS应用使用GPS等外部传感器进行位置定位。但当前民用GPS精度非常有限(最好情况是30m左右)，同时受限于其本身的固有缺陷，如GPS信号容易被高大建筑物遮挡，室内空间信号微弱等。因此迫切需要新的方法进行精确的空间定位。

导航技术是一种基于位置服务的应用，在民用领域发展迅速，并随着GPS等传感器设备的普及，越来越广泛地应用于我们的生活之中，如基于地图的车载导航定位系统。虽然基于传统地图的导航方式能够使用户获得地理方位的指示，但是这种方式没有将导航信息融入到客观存在的真实世界中，对于用户来说不够清晰与直观，这在一定程度上影响了基于地图导航系统的发展和应用。近年来，利用计算机视觉的方法对图像进行定位成为研究热点，视觉定位平均定位偏差能小于当前民用GPS，同时也不存在信号遮挡等问题，这为解决精确定位问题提供了一种新的思路。

许多知名大学和研究机构正在积极开展增强现实场景虚拟向导构建方法的研究，其中精确的空间定位是进行虚拟向导的关键。格拉茨技术大学在手机上实现了视频的自动标注，该系统使用的GPS对用户进行定位，将服务器上对应于该位置的地理信息下载到用户手机上，通过视觉特征匹配将地理信息标注到视频的合适位置之上。奥地利维也纳技术大学实现了一个增强现实场景的虚拟导航系统，该系统需要场景的地理模型，并通过用户交互的方法将该地理模型覆盖到真实世界物体之上，以此来获得虚拟信息和真实世界之间的对应关系，然后根据模型的地理信息映射，在视频上标出相关的地理信息，并进行虚拟向导。华盛顿大学提出了一种使用空间推理进行地标导航的方法，该方法使用GPS对用户进行定位，使用地理信息系统进行路径规划，并以地标图像、文本指令和路径标示等形式来显示导航结果。通过分析和总结国内外现状可知，目前涉及的虚拟向导方法，经常利用GPS等传感器获得位置信息，但由于其固有的缺陷，限制了方法的精度和应用。

发明内容

针对上述技术问题，本发明提供了一种基于视觉定位的虚拟向导构建方法。本发明通过对基于现实场景的多个图像进行分析，获得了现实场景的三维点云模型，利用输入图像的特征点与现实场景的结构点进行匹配，判断出输入图像在三维点云模型中的当前位置，从而计算得到从输入图像的当前位置到达目标位置的路径。本发明不需要利用GPS定位，可以实现对输入图像的精确定位。

本发明提供的技术方案为：

一种基于视觉定位的虚拟向导构建方法，包括以下步骤：

步骤一、获取基于现实场景的多个图像，从所述多个图像中的每一个图像均提取若干特征点；

步骤二、将所述每一个图像的每一个特征点与位于其他图像上的所有特征点进行视觉特征量的匹配，由此得到多个彼此之间相互匹配的特征点集，每个特征点集被识别为现实场景的一个结构点，并将每个特征点集所包含的特征点的视觉特征量计算结构点的视觉特征显，由此得到多个结构点，并以所述多个结构点构建三维点云模型；

步骤三、从输入图像上提取若干特征点，逐个选择所述步骤二得到的多个结构点，且每一个被选择的结构点与所述输入图像的若干特征点逐个进行视觉特征量的匹配，由此得到n个匹配的结构点，根据所述n个匹配的结构点计算所述输入图像在所述三维点云模型中的当前位置。

优选的是，所述的基于视觉定位的虚拟向导构建方法中，

所述步骤二中的得到多个彼此之间相互匹配的特征点集是通过以下方式实现的：当位于α个图像上的α个特征点彼此相互匹配时，则将上述α个特征点作为一个特征点集，并将特征点集识别为现实场景的一个结构点，其中，α≥2，将上述α个特征点的视觉特征量的平均值作为与上述α个特征点对应的结构点的视觉特征量；继续匹配直到得到所有的彼此之间相互匹配的特征点集。

优选的是，所述的基于视觉定位的虚拟向导构建方法中，

所述任一个图像具有至少一个标注区域，所述标注区域对应有标注信息，则将所述图像内的标注区域的标注信息作为位于该标注区域的特征点的标注信息；

所述步骤二中，当位于α个图像上的α个特征点彼此相互匹配时，则将上述α个特征点作为一个特征点集，并将特征点集识别为现实场景的一个结构点，其中，α≥2，将上述α个特征点的视觉特征量的平均值作为与上述α个特征点对应的结构点的视觉特征量，还将上述α个特征点的标注信息作为与上述α个特征点对应的结构点的标注信息；继续匹配直到得到所有的彼此之间相互匹配的特征点集，由此得到多个结构点，再将所述多个结构点中，具有相同标注信息的结构点构成一个结构点集合，且将各结构点集合内的结构点再拟合成β个结构平面，由此得到多个结构平面；

所述步骤三是通过以下过程实现的，

从输入图像上提取若干特征点，逐个选择每一个结构平面进行匹配，在对第一个结构平面进行匹配时，逐个选择所述当前结构平面内的结构点，且每一个结构点与所述输入图像内的若干特征点逐个进行视觉特征量的匹配，由此得到在当前结构平面上的m个匹配的结构点，继续选择下一个结构平面进行匹配。

优选的是，所述的基于视觉定位的虚拟向导构建方法中，所述步骤四中，对任一个结构平面进行匹配，是通过以下过程实现的，

(a)依照优先级从高到低的顺序选择当前结构平面内的k个结构点，每一个被选择的结构点与所述输入图像内的若干特征点逐个进行匹配，当所述k个结构点中匹配的结构点的个数满足第二阈值，则进行步骤(b)，否则停止对当前结构平面的匹配，继续选择下一个结构平面进行匹配，

(b)依照优先级从高到低的顺序选择当前结构平面内的结构点，每一个被选择的结构点与所述输入图像内的若干特征点逐个进行匹配，由此得到m个匹配的结构点。

优选的是，所述的基于视觉定位的虚拟向导构建方法中，所述步骤三中，在所述输入图像内的与当前结构平面的m个结构点相匹配的特征点构成一识别区域，将所述当前结构平面的标注信息作为该识别区域的标注信息。

优选的是，所述的基于视觉定位的虚拟向导构建方法中，所述步骤三之后还包括有：

步骤四、在所述三维点云模型中以所述多个图像构建路径网络；

步骤五、向所述三维点云模型中输入目标位置，以所述输入图像在所述三维点云模型中的当前位置计算在所述路径网络内由所述输入图像的当前位置到所述目标位置的路径。

优选的是，所述的基于视觉定位的虚拟向导构建方法中，所述步骤四中，在所述三维点云模型中以所述多个图像构建路径网络是通过以下方式实现的，

计算每两个图像之间具有匹配的视觉特征量的特征点的个数，当两个图像之间具有匹配的视觉特征量的特征点的个数满足第一阈值时，则两个图像在所述三维点云模型中的位置之间连通有路径，其中，所述图像在所述三维点云模型中的位置为拍摄所述图像的相机在所述三维点云模型中的位置；

所述步骤三中，所述输入图像在所述三维点云模型中的当前位置为根据n个匹配的结构点计算的拍摄所述输入图像的相机在所述三维点云模型中的当前位置。

优选的是，所述的基于视觉定位的虚拟向导构建方法中，所述步骤四中，根据所述n个匹配的结构点的视觉特征量计算拍摄所述输入图像的相机的姿态信息。

优选的是，所述的基于视觉定位的虚拟向导构建方法中，所述步骤五之后还包括有：

步骤六、根据拍摄所述输入图像的相机的姿态信息，在所述输入图像上绘制所述输入图像由当前位置到目标位置的路径的行进方向。

优选的是，所述的基于视觉定位的虚拟向导构建方法中，所述目标位置通过所述标注区域的标注信息识别。

本发明所述的基于视觉定位的虚拟向导构建方法通过对基于现实场景的多个图像进行分析，获得了现实场景的三维点云模型，利用将输入图像的特征点与现实场景的结构点进行匹配，判断出输入图像在三维点云模型中的当前位置，从而计算得到从输入图像的当前位置到达目标位置的路径。本发明不需要利用GPS定位，可以实现对输入图像的精确定位，且定位速度快，从定位到给出路径的处理时间少于1秒。本发明将被识别的建筑物的标注信息绘制于输入图像上，并在输入图像上绘制出用于指示行进路径的箭头，对于导航结果的展示更加直观。

附图说明

图1为本发明的总体系统结构示意图；

图2为本发明所述的基于标注信息的结构平面拟合的流程图；

图3为本发明所述的场景压缩的流程图；

图4为本发明所述的基于结构平面的输入图像定位算法的流程图；

图5为本发明所述的系统多线程流程和数据关系图；

图6为本发明所述的在输入图像内的场景地理信息自动标注的流程图；

图7为本发明所述的场景路径网络稀疏化算法的流程图。

具体实施方式

下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

本发明提供一种基于视觉定位的虚拟向导构建方法，包括以下步骤：

步骤一、获取基于现实场景的多个图像，从所述多个图像中的每一个图像均提取若干特征点；

步骤二、将所述每一个图像的每一个特征点与位于其他图像上的所有特征点进行视觉特征量的匹配，由此得到多个彼此之间相互匹配的特征点集，每个特征点集被识别为现实场景的一个结构点，并将每个特征点集所包含的特征点的视觉特征量计算结构点的视觉特征量，由此得到多个结构点，并以所述多个结构点构建三维点云模型；

步骤三、从输入图像上提取若干特征点，逐个选择所述步骤二得到的多个结构点，且每一个被选择的结构点与所述输入图像的若干特征点逐个进行视觉特征量的匹配，由此得到n个匹配的结构点，根据所述n个匹配的结构点计算所述输入图像在所述三维点云模型中的当前位置。

所述的基于视觉定位的虚拟向导构建方法中，所述步骤二中的得到多个彼此之间相互匹配的特征点集是通过以下方式实现的：当位于α个图像上的α个特征点彼此相互匹配时，则将上述α个特征点作为一个特征点集，并将特征点集识别为现实场景的一个结构点，其中，α≥2，将上述α个特征点的视觉特征量的平均值作为与上述α个特征点对应的结构点的视觉特征量；继续匹配直到得到所有的彼此之间相互匹配的特征点集。

所述的基于视觉定位的虚拟向导构建方法中，所述任一个图像具有至少一个标注区域，所述标注区域对应有标注信息，则将所述图像内的标注区域的标注信息作为位于该标注区域的特征点的标注信息；所述步骤二中，当位于α个图像上的α个特征点彼此相互匹配时，则将上述α个特征点作为一个特征点集，并将特征点集识别为现实场景的一个结构点，其中，α≥2，将上述α个特征点的视觉特征量的平均值作为与上述α个特征点对应的结构点的视觉特征量，还将上述α个特征点的标注信息作为与上述α个特征点对应的结构点的标注信息；继续匹配直到得到所有的彼此之间相互匹配的特征点集，由此得到多个结构点，再将所述多个结构点中，具有相同标注信息的结构点构成一个结构点集合，且将各结构点集合内的结构点再拟合成β个结构平面，由此得到多个结构平面；所述步骤三是通过以下过程实现的，从输入图像上提取若干特征点，逐个选择每一个结构平面进行匹配，在对第一个结构平面进行匹配时，逐个选择所述当前结构平面内的结构点，且每一个结构点与所述输入图像内的若干特征点逐个进行视觉特征量的匹配，由此得到在当前结构平面上的m个匹配的结构点，继续选择下一个结构平面进行匹配。

所述的基于视觉定位的虚拟向导构建方法中，所述步骤四中，对任一个结构平面进行匹配，是通过以下过程实现的，(a)依照优先级从高到低的顺序选择当前结构平面内的k个结构点，每一个被选择的结构点与所述输入图像内的若干特征点逐个进行匹配，当所述k个结构点中匹配的结构点的个数满足第二阈值，则进行步骤(b)，否则停止对当前结构平面的匹配，继续选择下一个结构平面进行匹配，(b)依照优先级从高到低的顺序选择当前结构平面内的结构点，每一个被选择的结构点与所述输入图像内的若干特征点逐个进行匹配，由此得到m个匹配的结构点。

所述的基于视觉定位的虚拟向导构建方法中，所述步骤三中，在所述输入图像内的与当前结构平面的m个结构点相匹配的特征点构成一识别区域，将所述当前结构平面的标注信息作为该识别区域的标注信息。

所述的基于视觉定位的虚拟向导构建方法中，所述步骤三之后还包括有：

步骤四、在所述三维点云模型中以所述多个图像构建路径网络；

步骤五、向所述三维点云模型中输入目标位置，以所述输入图像在所述三维点云模型中的当前位置计算在所述路径网络内由所述输入图像的当前位置到所述目标位置的路径。

所述的基于视觉定位的虚拟向导构建方法中，所述步骤四中，在所述三维点云模型中以所述多个图像构建路径网络是通过以下方式实现的，计算每两个图像之间具有匹配的视觉特征量的特征点的个数，当两个图像之间具有匹配的视觉特征量的特征点的个数满足第一阈值时，则两个图像在所述三维点云模型中的位置之间连通有路径，其中，所述图像在所述三维点云模型中的位置为拍摄所述图像的相机在所述三维点云模型中的位置；所述步骤三中，所述输入图像在所述三维点云模型中的当前位置为根据n个匹配的结构点计算的拍摄所述输入图像的相机在所述三维点云模型中的当前位置。

所述的基于视觉定位的虚拟向导构建方法中，所述步骤四中，根据所述n个匹配的结构点的视觉特征量计算拍摄所述输入图像的相机的姿态信息。

所述的基于视觉定位的虚拟向导构建方法中，所述步骤五之后还包括有：

步骤六、根据拍摄所述输入图像的相机的姿态信息，在所述输入图像上绘制所述输入图像由当前位置到目标位置的路径的行进方向。

所述的基于视觉定位的虚拟向导构建方法中，所述目标位置通过所述标注区域的标注信息识别。

本发明提供一种基于视觉定位的虚拟向导构建方法，参阅图1为本发明的总体系统结构示意图，本发明提出的方法总体上包括两个部分：数据预处理部分和实时处理部分。

数据预处理部分主要是用来建立地理信息库。在拥有300张图像的场景中，使用普通桌面计算机构建地理信息库的时间开销大概在2天左右。该部分包括以下几个步骤：基于现实场景的无序图像进行三维重建，得到现实场景的三维点云模型；通过对图像进行交互式地标注，得到图像特征的二维标注信息，并根据结构点和图像特征的对应关系，将该标注信息由二维映射到三维之上，得到带有标注信息的三维点云模型；在标注信息对应的结构点集合中进行迭代的平面拟合，得到场景模型的主要的结构平面，基于结构平面对结构点的标注信息进行优化，构建现实场景的地理信息模型。

实时处理部分主要是针对输入图像的导航请求，快速地给出输入图像的地理标注信息和虚拟向导，该部分的平均处理时间能小于1秒。该部分包括以下儿个步骤：在接收到用户的输入图像请求之后，通过提取输入图像的特征点以及视觉特征量，将视觉特征量建成一棵查找树；基于现实场景的结构平面，将现实场景的地理模型在输入图像的视觉特征空间中进行查找匹配，然后使用这些满足匹配条件的特征点计算得到输入图像的相机参数，获得用户的当前位置；将现实场景的地理模型投影到输入图像的相机的视景体之内，映射得到输入图像的地理标注信息；基于图像素材库图像之间的匹配关系得到图像之间的路径连通图，通过稀疏化之后得到场景模型的路径网络图；基于用户的当前位置、目标位置采用最短路径算法进行路径规划，得到一条最优路径；最后使用全局导航视角的方式或者增强显示视角的方式显示路径导航结果。

在数据预处理部分，首先基于现实场景的图像构建三维点云模型，即对图像素材库内的图像进行三维重建。本发明的图像素材库内包括有300个图像，但本发明的方法并不仅限于300个图像。其中，现实场景的三维点云模型简称为场景模型。

本发明采用的三维重建方法主要包括三个阶段：第一阶段是视觉特征提取，即从多幅待匹配图像中提取出对尺度缩放、旋转、亮度变化无关视觉特征量：SIFT；第二个阶段是SIFT特征匹配，通过对库中图像两两之间的匹配，将相似的视觉特征量组织成一系列匹配轨道，其中，一个匹配轨道对应于现实场景中的一个实际的三维点(以下称为结构点)；第三个阶段使用运动结构(Structure From Motion)的方法，计算得到结构点的三维空间坐标和图像素材库中各图像的相机参数，所有的结构点的集合构成现实场景的三维点云模型。在三维重建过程中，本发明优选的是以SIFT视觉特征量作为图像的视觉特征，实际上，也可以采用其他的图像特征提取方法。

三维重建的具体实施过程为，将300个图像的每一个图像的每一个特征点与位于其他图像上的特征点进行匹配，当位于α个图像上的α个特征点具有匹配的视觉特征量时，则将上述α个特征点识别为现实场景的一个结构点，其中，α≥2，得到多个结构点。

图像素材库内的300个图像中任一图像与其他图像中至少一个图像之间具有重合的标注区域。由于本发明中是通过运动结构的方法确定结构点的三维空间坐标的，因此，对于同一标注区域至少要同时出现在两个图像内，才可以对该标注区域实现结构点的识别与计算。

本发明的图像素材库内的图像是由用户自己拍摄并上传至网站的。因此本发明设计并提供了一个交互式的地理信息标注工具，用户可以使用这个工具自由地在图像中勾勒出特定的区域，并标注出该区域的地理信息，同时也可以指定与其相关的其它属性信息，最终，在图像素材库的每一个图像上均具有至少一个标注区域，每一个标注区域对应有标注信息。在多数情况下，标注区域一般对应着在现实场景中容易识别的建筑物，对于用户而言，也倾向于标注在图像上出现的建筑物。在图像标注过程中，用户可以标出图像中的任意对象而无需苛求对象的精确轮廓，并给予被标出对象标注信息，而用户提供的这些信息也就成为了图像素材库地理信息的来源，通过对上述标注信息的挖掘、统计和优化，就可以得到该图像素材库相对应的地理信息。

具体而言，用户使用标注工具进行交互式标注的步骤如下：(1)打开图像序列：用户打开一段视频序列，序列中的一帧就会显示到主窗口中，用户就可以对这一帧图片进行结构分析标注，或者选择拖动滚动条或输入图像序号跳到其他图像进行结构分析标注。(2)勾勒对象轮廓：本发明所设计的交互式的标注工具提供了画笔功能，用户能通过画笔在图像中勾勒出建筑的轮廓。在勾勒时，用户用鼠标左键点击图片作为勾勒的起点，然后依次用鼠标左键围绕对象画点，最后用鼠标右键结束勾勒，图片上就会自动形成一个封闭的多边形轮廓。(3)指定对象名称：在勾勒完对象的轮廓后，会自动弹出对象名称指定窗口，用户输入该轮廓对象所对应的名称即可。(4)填充其它信息：标注与该对象相关的其它信息，比如备注信息，超链接等。(5)保存标注结果：用户可以不断选择所关注的对象进行标注，直到图像序列中所有对象都标注完成，在标注完成后可以选择保存标注信息，该图像标注信息所对应的工程文件会以XML形式保存，方便下次继续对该图像序列进行标注。用户对图像进行交互式标注之后，将会得到一个“.label”标注文件，该文件存放该图像中每个标注信息的索引及其标注区域的点序列，即每一个图像都存在有一个“.label”标注文件。

为确定结构点的视觉特征量和标注信息，则需要确定图像的特征点的视觉特征量和标注信息。

判断图像的特征点的标注信息的过程为，“.label”标注文件内保存有标注区域的点序列，在读取图像的标注文件时，判断当前图像的某一特征点是否位于某一标注区域内，如果是，则将该特征点的标注信息记为该标注区域的标注信息的索引。对所有的图像重复上述过程，可以获得图像素材库内所有图像的特征点的标注信息。

如前文所述，一个匹配轨道对应于现实场景中的一个结构点，一个结构点可以看成是匹配轨道上所有特征点的聚类，因此，可以通过匹配轨道上所有的特征点的信息来描述其对应的结构点的信息。判断结构点的标注信息和视觉特征量的过程为，结构点pi对应于匹配轨道上的n个特征点，该结构点的视觉特征量descriptor_p和标注信息label_p可以分别由这n个特征点计算获得。值得指出的是，对于同一个结构点而言，不同的特征点一定是位于不同的图像上。

对于结构点p_i的视觉特征量，本发明采用匹配轨道上特征点的视觉特征量的离散期望值来描述：

${\mathrm{descriptor}}_p=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{desciptor}}_i,$

其中，desciptori为特征点的视觉特征量。

对于结构点p_i的标注信息，采用匹配轨道上投票的方法来计算结构点的标注信息。设得票数最多的标注信息为label_k，且票数为Num_k，若Num_k大于一个设定的阈值threshhold_m，则将label_k记为该结构点的标注信息的计算过程为：

${\mathrm{label}}_p=\left\{\begin{array}{cc}{\mathrm{label}}_k,\mathrm{if}{\mathrm{Num}}_k>{\mathrm{threshhold}}_m,& {\mathrm{Num}}_k=\underset{k=1...n}{\max }\left\{\mathrm{Num}\left({\mathrm{label}}_k\right)\right\}\\ -1,& \mathrm{otherwise}\end{array}\right.$

对于同一匹配轨道上的不同图像的特征点，可能会出现所对应的标注信息不一致的情况；尤其是位于标注区域的边缘位置的特征点，更容易出现上述情况。因此，将出现次数最多的标注信息作为结构点的标注信息。

地理信息库的现实场景对象大部分为建筑物，且建筑物具有容易识别和标记的特点。在将标注信息映射到到三维点云模型之后，可以通过统计获得每个标注信息的结构点集合，即将具有相同的标注信息的结构点构成一个结构点集合，该结构点集合就是某个建筑物的结构点集合。本发明中主要以建筑物作为输入图像的识别依据。

由于一个建筑物可以看作是由若干个平面组合而成，因此只须将与某一建筑物对应的结构点集合的结构点中拟合出主要的结构平面即可。由于建筑物前方物体遮挡、误匹配等原因会造成异常结构点数据，异常结构点数据通常具有随机性，表现为局部极值跳跃，常用的平面拟合方法如最小二乘法、特征值法虽然考虑了数据的误差因素，但是无法剔除上述异常结构点数据。

参阅图2本发明中基于标注信息的结构平面拟合的流程图，本发明采用随机抽样一致化(RASAC)方法来拟合结构平面，并能同时去除异常数据。结构平面拟合步骤如下：(1)从某标注label_i的结构点集合S _i中随机抽取3个结构点，计算其构成的平面方程Plane_i；(2)计算S_i其它点到Plane_i的距离d_i，给定一个阈值threshhold，若d _i＜threshhold，则认为该点在Plane_i上，统计得出Plane_i上的所有点集合Plane_Set_i及该集合点的数目cnt_i；(3)通过设定一个迭代次数num，反复迭代运行步骤(1)和步骤(2)，在每次计算的cnt_i得到一个最大点数目cnt_m，设其对应的平面方程为Plane_m，其平面点集合为Plane_Set_i，若cnt_m小于一个阈值，该拟合出来的平面点的数目过少，说明该平面Plane_m的点云属于遮挡物，则平面拟合算法结束，退出；否则Plane_m即为该建筑物的一个拟合平面，同时求出该平面点集的包围盒Bounding-box_m；(4)在现实场景的三维点云模型中，若结构点在平面Plane_m内，即结构点到平面距离小于threshhold，且该结构点位于包围盒Bounding-box_m之内，则将该结构点的标注设置为label_i；(5)S_i+1＝Set_i-Plane_Set_i，运行步骤(1)，即将不在拟合平面Plane_Set_i内的点集合迭代地重新进行平面拟合。

在图像素材库中，要能快速定位出输入图像在场景模型中的位置，应该选择该输入图像中较为独特的图像特征，因为这些图像特征的信息量较大、区分度较强，能以较少的匹配特征判断出图像的位置。通过给每个结构点定义一个优先级，来表达某一图像特征对于场景模型位置的重要性。优先级越高的图像特征，表示该图像特征越重要，在输入图像定位时能优先匹配。上述的图像特征也就是SIFT视觉特征量。

通过计算每个结构点的TF-IDF值作为其优先级，以此来寻找场景模型中最有代表性的图像特征，优先使用这些图像特征进行匹配，以达到快速定位的目的。结构点p_i的IDF值为结构点p_i的图像特征在整个图像素材库中出现的次数freq(p_i)(也就是与结构点P_i对应的特征点在整个图像素材库中出现的次数)，包括真实匹配和伪匹配。在三维重建方法中，在图像两两匹配之后，直接将相似的视觉特征显组织成匹配轨道，设p_i对应的匹配轨道中的图像特征的个数为full_track(p_i)，图像素材库中图像的总数为|D|，则得到每个结构点优先级的定义：

$\mathrm{priority}\left(p_i\right)=\mathrm{freq}\left(p_i\right)*\log \frac{\left|D\right|}{|\mathrm{full}\_\mathrm{track}\left(p_i\right)|}$

由于现实场景的三维点云模型的结构点太多，所以需要进行模型压缩。压缩后的模型能保留场景模型中优先级高的结构点，同时能覆盖整个场景模型的范围。

参阅图3本发明中场景压缩的流程图，由于场景模型库是以结构平面的形式组织的，因此只需在所有结构平面内均匀采样即可。对于其中一个结构平面，将整个结构平面划分为4×4同样大小的方形区域，然后在每个方块的结构点集合内选取k个结构点。在选择每个方形区域的结构点时，按照结构点优先级由大到小，选择前面的k个结构点。因此给定一个密度值k，即可得到三维点云模型的一个压缩结构点集合scene_set(k)，该压缩结构点集合中的元素以线性表的形式存放，且以优先级降序排列，从而保证重要的图像特征优先匹配。为了快速定位，使用两个密度值k₁和k₂，且k₁＝6*k₂，这样通过对每个结构平面不同尺度的采样，可以得到密度不同的结构平面：高密度结构平面和低密度结构平面，高密度结构平面构成scene_et(k₁)，低密度结构平面构成scene_set(k₂)。具体而言，上述过程可以理解为，首先在一个方形区域依照优先级从大到小选择k₁个点，该k₁个点可以看作是构成了一个上述低密度结构平面；然后在同样的方形区域内依照优先级从大到小选择k₂个点，该k₂个点则可以看作是构成了一个上述的高密度结构平面。

在某个结构点p_i在输入图像中查找匹配成功之后，计算与该结构点相关的结构点集合neighhbor_point_set(P_i)，因为p_i与这些结构点能出现在同一图像中，因此也有可能同时出现在输入图像中，所以需要增加该相关结构点集合的优先级，使该集合的结构点能优先与输入图像匹配。

对于一个结构平面plane_i而言，也有着与其相关的结构平面集合neighbor_plane_set(plane_i)。将plane _i的相关结构平面集合neighbor_plane_set(plane_i)定义为：能与plane _i出现在同一图像上的结构平面集合。在基于结构平面进行匹配定位时，如果判断出plane _i出现在输入图像上后，则在地理信息库中只有集合neighhbor_plane_set(plane_i)中的结构平面才有可能出现在输入图像上，则只需要将neighbor_plane_set(plane_i)中的结构平面在输入图像中查找匹配即可。这样就在快速定位的同时，能有效地避免动态更新的过程。

在实时处理部分，首先，参阅图4本发明中基于结构平面的输入图像定位算法的流程图，对于场景模型，通过模型压缩，可以从两个尺度描述任一个结构平面plane_i——高密度结构平面plane_1st_i和低密度结构平面plane_2st_i。低密度结构平面的结构点较少，它主要用来在输入图像中进行匹配尝试，从而快速判断该结构平面plane_i是否在输入图像中可见，如果匹配点数目大于某个阈值num1，则该结构平面在输入图像中可见。如果可见，则将该结构平面的高密度结构平面与输入图像匹配，高密度结构平面的结构点较多，它是用来获取与输入图像的具体匹配点。在判断出一个结构平面plane_i在输入图像img_k中可见之后，则在img_k中可见的其它结构平面只可能存在于plane_i的相邻结构平面集合中，使用集合neighbor_plane_set(plane_i)中的结构平面在输入图像中进行迭代地查找匹配，直到获取足够多的匹配结构点才停止该匹配过程。

参阅图5本发明中的多线程流程和数据关系图，本系统划分为三个线程，使用状态变量procAnnotation和信号量pixelSemaphore来实现Thread1与Thread2之间的同步。信号量pixelSemaphore初始化为0，它表示定位结果数据已经发送给Thread2，此时Thread2可以对输入图像进行标注和导航处理了；状态变量procAnnotation初始化为false，它表示Thread2对上一个输入图像标注、导航已经完成，此时Thread1可以将新的定位结果发送给Thread2去处理了；Thread2在进行路径规划得到最优路径后，将其发送给Thread3，Thread3实时显示该选路结果。所谓“定位结果”就是指将输入图像在三维点云模型中的位置的判断结果。

Thread1在接收到用户的输入图像和目的地(即目标位置)之后，对输入图像进行定位，然后测试状态变量procAnnotation，如果为true，说明Thread2已经就绪，否则线程阻塞100ms后再进行测试。Thread1测试成功后就讲输入图像和定位得到的摄像机参数发送给Thread2，然后将信号量pixelSemaphore加1。Thread2在启动后进行初始化工作，包括初始化颜色缓冲区、深度缓冲区、建立颜色索引表、运行路径发现算法等，然后阻塞在信号量pixelSemaphore上等待Thread1的定位结果数据，当被Thread1唤醒后，基于定位结果对输入图像进行自动标注，基于用户当前位置(即输入图像在路径网络中的当前位置)和目的地运行导航算法，将导航结果发送给Thread3以绘制、显示最优路径，最后将标志标量procAnnotation设置为true，标志对thread2对该输入图像的处理已完成，同时等待下一张输入图像。Thread3主要是读取场景模型，在每一帧中循环地绘制场景模型、标注信息、最优路径，同时捕捉、处理用户的鼠标键盘动作，以提供给用户一个可交互的全局导航视角。

本发明对导航结果的显示可以采用两种方式，一种是将所计算的路径直接绘制于地图上，该地图包含了前文中由用户自动上传的图像所显示出的场景；另一种则是在当前用户的输入图像上绘制出被识别出的建筑物的标注信息，并且在输入图像上绘制用于指示用户行进方向的箭头。

参阅图6本发明中在输入图像内的场景地理信息自动标注的流程图。对输入图像进行成功定位之后，可以获得对应相机在场景模型中的视景体(其依据输入图像的拍摄视角得到)，然后以场景模型中的结构平面为基本单位，将其投影到输入图像的相机视景体之内，然后对各投影平面进行裁剪和消隐。本发明使用Z-Buffer的方法来处理各平面之间的遮挡关系，通过OpenGL的深度缓冲区来保存每个像素的深度值即像素Z方向的数值，深度通常是根据摄像机和观察点的距离来测量的，较大深度值的像素可能会被较小深度值的像素所覆盖，从而实现平面间的消隐。然后按照深度缓冲区的结果，来决定颜色缓冲区像素点的绘制，最后根据投影后颜色缓冲区的像素值，查找颜色表索引表，得到输入图像的标注信息。在向输入图像内绘制被识别的建筑物的标注信息时，需要由近及远的进行绘制，也就是说通过Z-Buffer方法的分析，可以得出视景体内各被识别的建筑物相对于用户的当前位置的远近，对于靠近用户的建筑物需要首先绘制出标注信息，从而使得绘制过程中不会发生标注信息之间相互覆盖的情况。

为了避免输入图像里的标注信息过多而产生文本聚集，本发明只标注离相机距离较近的建筑物，同时这些建筑物在输入图像中的投影占据的区域比较大，则在输入图像上给出的建筑物的地理信息标注结果也越可信。本发明定义了一个面积阈值area_m，来规定标注信息显示时最小的建筑物的投影面积，如果建筑物在输入图像上的投影区域面积小于area_m，则该建筑物的标注信息在输入图像上不予显示；同时定义了一个数量阈值k_m，在每张输入图像里只显示投影面积最大的k_m个建筑物的标注信息。本发明采取的实现方法是先统计当前输入图像中每个投影区域的面积(即像素点的个数)，然后对所有的投影区域面积数组进行按降序排列；检查该面积数组的每个元素的面积值，如果该面积值大于area_m则显示，否则不予以显示，遍历该面积数组直到显示了k_m个标注为止。

基于地理信息的图像素材库中的每张图像都是用户拍摄的，由此可知图像的相机位置必然位于场景的路径之上，通过分析图像和图像之间的空间相邻关系，就可以计算得到场景的路径信息。

以下给出基于图像构建路径网络的过程。如果两张图像之间有足够多的匹配点(所述匹配点就是具有匹配的视觉特征量的特征点)，则说明两张图像之间没有被建筑物所遮挡，即可认为两者之间有路径相连。将图像素材库里的每张图像img_i当做一个网络结点v_i，如果两张图像之间有路径相连，则认为对应的两个结点之间有边相连，将该边记为e_ij(v_i，v_j)，且该边的权值为结点对应相机位置之间的欧式距离。这样，利用前文所获得的图像素材库图像的两两匹配结果就能构建一个结点网络Net(V_set，E_set)(也就是路径网络)。由于Net(V_set，E_set)是通过图像素材库中所有图像两两匹配结果建立而成，所以它是一个稠密网络。稠密网络会影响路径规划，因为路线过多会使得选路算法过于敏感：当用户的场景位置稍有变化后，路径规划可能会选择一条与原来不同的路径，这会使得导航指令具有不明确性和二义性。为了避免导航过于敏感，需要对场景结点网络Net(V_set，E_set)进行稀疏化。

参阅图7本发明中的场景路径网络稀疏化算法的流程图，主要包括如下步骤：对于路径网络图的每个结点v_i，i＝1...n，计算与该结点相连的所有边E_set(v_i)的斜率，若某两条边e_ij，e_ik的斜率k_ij，k_ik差别在在一定的范围之内|k_m-k_n|＜α，则从结点vi中删除这两条边，从结点v_j和v_k中合并边e_ij，e_ik，最后生成场景路径网络图。

基于场景路径网络图运行路径规划算法得到从用户当前位置到目标位置的最优路径，该最优路径应该为从源点到终点的最短路径。首先根据用户的当前位置坐标p(x₀，y₀，z₀)，求出p到场景模型中距其最近的路径的投影p，根据用户输入的目的地的名称target，在场景地理信息库中搜索名称为target的标注信息所对应的最大的结构平面，求出该结构平面中心点t距离最近的路径GF，将t投影到该路径上，得到投影点t′。这样即求以点p为起点，经过p′，t′，到终点t的一个最优路径。本发明在Path_net中运行经典的迪杰斯特拉(Dijkstra)算法，计算从起点p到终点t的最短路径。

当前位置p的到路径的下一位置结点r₁，采用箭头的方法来绘制导航标示，为了较清楚的画出该导航标示，当前位置与下一个路径结点的距离必须大于一定阈值，按顺序遍历该路径结点r_i，若r_i到p的距离有(r_i.x-p.x)*(r_i.x-p.x)+(r_i.y-p.y)*(r_i.y-p.y)＞threshholdr，当前用户的前进方向应为：在当前用户视线前方画出导航箭头，以指向方向。除了在当前输入图像中给出导航标示之外，还提供了一个全局的视角，显示整个场景各个建筑物的模型及其标注信息名称，在场景中实时绘制出用户的当前所在位置、目的地和路径规划结果。根据用户输入特定目的地的导航请求后，将路径规划得到的路径数据发送给图像绘制引擎程序，然后使用图形绘制引擎在当前的场景模型中绘制出导航的最优路径。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (8)

1.一种基于视觉定位的虚拟向导构建方法，其特征在于，包括以下步骤：

步骤一、获取基于现实场景的多个图像，从所述多个图像中的每一个图像均提取若干特征点；任一个图像具有至少一个标注区域，所述标注区域对应有标注信息，则将所述图像内的标注区域的标注信息作为位于该标注区域的特征点的标注信息；

步骤二、将所述每一个图像的每一个特征点与位于其他图像上的所有特征点进行视觉特征量的匹配，由此得到多个彼此之间相互匹配的特征点集，每个特征点集被识别为现实场景的一个结构点，并将每个特征点集所包含的特征点的视觉特征量计算结构点的视觉特征量，由此得到多个结构点，并以所述多个结构点构建三维点云模型；

其中，将所述每一个图像的每一个特征点与位于其他图像上的所有特征点进行视觉特征量的匹配，得到多个彼此之间相互匹配的特征点集是通过以下方式实现的：当位于α个图像上的α个特征点彼此相互匹配时，则将上述α个特征点作为一个特征点集，并将特征点集识别为现实场景的一个结构点，其中，α≥2，将上述α个特征点的视觉特征量的平均值作为与上述α个特征点对应的结构点的视觉特征量，还将上述α个特征点的标注信息作为与上述α个特征点对应的结构点的标注信息；继续匹配直到得到所有的彼此之间相互匹配的特征点集，由此得到多个结构点，再将所述多个结构点中，具有相同标注信息的结构点构成一个结构点集合，且将各结构点集合内的结构点再拟合成β个结构平面，由此得到多个结构平面；

步骤三、从输入图像上提取若干特征点，逐个选择每一个结构平面进行匹配，在对第一个结构平面进行匹配时，逐个选择当前结构平面内的结构点，且每一个结构点与所述输入图像内的若干特征点逐个进行视觉特征量的匹配，由此得到在当前结构平面上的m个匹配的结构点，继续选择下一个结构平面进行匹配，由此得到n个匹配的结构点，根据所述n个匹配的结构点计算所述输入图像在所述三维点云模型中的当前位置。

2.如权利要求1所述的基于视觉定位的虚拟向导构建方法，其特征在于，所述步骤三中，对任一个结构平面进行匹配，是通过以下过程实现的，

(a)依照优先级从高到低的顺序选择当前结构平面内的k个结构点，每一个被选择的结构点与所述输入图像内的若干特征点逐个进行匹配，当所述k个结构点中匹配的结构点的个数满足第二阈值，则进行步骤(b)，否则停止对当前结构平面的匹配，继续选择下一个结构平面进行匹配，以结构点的TF-IDF值作为结构点的优先级，

(b)依照优先级从高到低的顺序选择当前结构平面内的结构点，每一个被选择的结构点与所述输入图像内的若干特征点逐个进行匹配，由此得到m个匹配的结构点。

3.如权利要求2所述的基于视觉定位的虚拟向导构建方法，其特征在于，所述步骤三中，在所述输入图像内的与当前结构平面的m个结构点相匹配的特征点构成一识别区域，将所述当前结构平面的标注信息作为该识别区域的标注信息。

4.如权利要求1所述的基于视觉定位的虚拟向导构建方法，其特征在于，所述步骤三之后还包括有：

步骤四、在所述三维点云模型中以所述多个图像构建路径网络；

步骤五、向所述三维点云模型中输入目标位置，以所述输入图像在所述三维点云模型中的当前位置计算在所述路径网络内由所述输入图像的当前位置到所述目标位置的路径。

5.如权利要求4所述的基于视觉定位的虚拟向导构建方法，其特征在于，所述步骤四中，在所述三维点云模型中以所述多个图像构建路径网络是通过以下方式实现的，

计算每两个图像之间具有匹配的视觉特征量的特征点的个数，当两个图像之间具有匹配的视觉特征量的特征点的个数满足第一阈值时，则两个图像在所述三维点云模型中的位置之间连通有路径，其中，所述图像在所述三维点云模型中的位置为拍摄所述图像的相机在所述三维点云模型中的位置；

所述步骤三中，所述输入图像在所述三维点云模型中的当前位置为根据n个匹配的结构点计算的拍摄所述输入图像的相机在所述三维点云模型中的当前位置。

6.如权利要求5所述的基于视觉定位的虚拟向导构建方法，其特征在于，所述步骤四中，根据所述n个匹配的结构点的视觉特征量计算拍摄所述输入图像的相机的姿态信息。

7.如权利要求6所述的基于视觉定位的虚拟向导构建方法，其特征在于，所述步骤五之后还包括有：

步骤六、根据拍摄所述输入图像的相机的姿态信息，在所述输入图像上绘制所述输入图像由当前位置到目标位置的路径的行进方向。

8.如权利要求4～7中任一项所述的基于视觉定位的虚拟向导构建方法，其特征在于，所述目标位置通过所述标注区域的标注信息识别。