CN101340661B - 实现导游控制的移动设备和服务器以及导游控制方法 - Google Patents

Abstract

本发明公开了一种实现导游控制的移动设备、一种基于移动设备实现导游控制的服务器、以及一种基于移动设备的导游控制方法。本发明先确定移动设备的位置信息，并在所有景观中搜索该移动设备所在位置区域内的所有候选景观的景观信息，实现对导游数据的粗定位；然后所有候选景观的图像与拍摄的该移动设备所在位置的任意景观图像的匹配度，确定至少一个关注景观，实现对导游数据的精定位，然后将关注景观的景观信息显示输出给用户，从而基于移动设备定位和图像检索的双重选择方式，使得移动设备具有了导游功能。

Description

实现导游控制的移动设备和服务器以及导游控制方法

技术领域

本发明涉及控制技术，特别涉及一种实现导游控制的移动设备、一种基于移动设备实现导游控制的服务器、以及一种基于移动设备的导游控制方法。 

背景技术

现有各种手机等移动设备通常都具有图像拍摄功能，使得移动设备用户能够利用其替代数码相机，在各旅游时对其感兴趣的景点进行拍摄。 

然而，现有移动设备却不具有导游功能，如果移动设备用户希望获得其感兴趣的景点的相关信息时，只能够寻找其所在景点的信息指示牌。 

发明内容

有鉴于此，本发明提供了一种实现导游控制的移动设备、一种基于移动设备实现导游控制的服务器、以及一种基于移动设备的导游控制方法，能够使得移动设备具有导游功能。 

本发明提供的一种实现导游控制的移动设备，包括： 

定位模块，确定所述移动设备的位置信息； 

导游数据搜索引擎，根据确定的所述移动设备的位置信息、以及内部存储的所有景观信息，将包含于所述移动设备所处位置区域内的所有景观确定为候选景观；其中，所述景观信息包含景观的位置信息、以及该景观的图像和文字信息； 

图像采集模块，拍摄所述移动设备所处位置区域内的任意一个或多个目标景观的图像； 

图像检索模块，确定候选景观的图像与目标景观的图像之间的匹配程度； 

资料匹配模块，从所有候选景观中选择所述匹配程度大于预设第一阈值的至少一个候选景观作为关注景观，并将所述关注景观的景观信息发送至信息显示模块； 

信息显示模块，将关注景观的景观信息显示输出。 

所述定位模块包括： 

蜂窝信息获取子模块，根据所述移动设备的蜂窝信号确定该移动设备所在的蜂窝位置； 

坐标确定子模块，根据所述移动设备所在蜂窝的位置，确定所述移动设备的位置信息。 

所述导游数据搜索引擎包括： 

数据存储子模块，存储所有景观的景观信息； 

候选景观确定子模块，根据数据存储子模块中存储的所有景观的景观信息、并以所述移动设备的位置为中心，将到达该位置的距离小于预设区域尺寸的景观确定为候选景观。 

所述导游数据搜索引擎进一步包括： 

遮挡景观过滤子模块，接收来自所述候选景观确定子模块的候选景观的景观信息，如果移动设备所处位置与所述候选景观所处位置之间的连线穿过其他候选景观时，则将该候选景观的景观信息滤除，否则，将该候选景观的景观信息输出至所述资料匹配模块。 

所述图像检索模块包括： 

关键点确定子模块，分别确定每一候选景观的图像、以及目标景观的图像中的各关键点； 

特征向量提取子模块，分别提取每一候选景观的图像、以及目标景观的图像中各关键点的尺度不变变换特征向量； 

匹配程度确定子模块，根据尺度不变变换特征向量之间的距离，分别确定每一候选景观的图像与目标景观的图像匹配的关键点数量，得到每一候选景观的图像与目标景观的图像的匹配程度。 

所述资料匹配模块，进一步将处于所述移动设备所处位置区域的外围边缘区域内的至少一个景观确定为周边景观，并将周边景观的景观信息发送至所述信息显示模块； 

所述信息显示模块进一步将所述周边景观的景观信息显示输出。 

所述信息显示模块的显示区域划分为景观主标签栏、景观从标签栏、以及景观信息栏，关注景观的景观标识显示在景观主标签栏、周边景观的景观标识则显示在景观从标签栏、任意关注景观或周边景观的图像和文字信息显示在景观信息栏； 

所述移动设备进一步包括： 

人机交互模块，接收所述移动设备的用户输入的第一控制指令，将与所述第一控制指令对应的关注景观的图像和文字信息切换至所述景观信息栏；接收所述移动设备的用户输入的第二控制指令，将与所述第二控制指令对应的周边景观的图像和文字信息切换至所述景观信息栏。 

本发明提供的一种基于移动设备实现导游控制的服务器，包括： 

定位模块，确定所述移动设备的位置信息； 

导游数据搜索引擎，根据确定的位置信息、以及内部存储的所有景观信息，将包含于所述移动设备所处位置区域内的所有景观确定为候选景观；其中，所述景观信息包含景观的位置信息、以及该景观的图像和文字信息； 

图像检索模块，接收所述移动设备所在位置区域内的任意一个或多个目标景观的图像，并确定候选景观的图像与目标景观的图像之间的匹配程度； 

资料匹配模块，从所有候选景观中选择所述匹配程度大于预设第一阈值的至少一个候选景观作为关注景观，并将所述关注景观的景观信息发送至所述移动设备，供该移动设备显示输出。 

所述定位模块包括： 

蜂窝信息获取子模块，根据所述移动设备的蜂窝信号确定该移动设备所在的蜂窝位置； 

坐标确定子模块，根据所述移动设备所在蜂窝的位置，确定所述移动设 备的位置信息。 

所述导游数据搜索引擎包括： 

数据存储子模块，存储所有景观的景观信息； 

候选景观确定子模块，根据数据存储子模块中存储的所有景观的景观信息、并以所述移动设备的位置为中心，将到达该位置的距离小于预设区域尺寸的景观确定为候选景观。 

所述导游数据搜索引擎进一步包括： 

遮挡景观过滤子模块，接收来自所述候选景观确定子模块的候选景观的景观信息，如果移动设备所处位置与所述候选景观所处位置之间的连线穿过其他候选景观时，则将该候选景观的景观信息滤除，否则，将该候选景观的景观信息输出至所述资料匹配模块。 

所述图像检索模块包括： 

关键点确定子模块，分别确定每一候选景观的图像、以及目标景观的图像中的各关键点； 

特征向量提取子模块，分别提取每一候选景观的图像、以及目标景观的图像中各关键点的尺度不变变换特征向量； 

匹配程度确定子模块，根据尺度不变变换特征向量之间的距离，分别确定每一候选景观的图像与目标景观的图像匹配的关键点数量，得到每一候选景观的图像与目标景观的图像的匹配程度。 

所述资料匹配模块，进一步将处于所述移动设备所处位置区域的外围边缘区域内的至少一个景观确定为周边景观，并将周边景观的景观信息发送至所述移动设备。 

本发明提供的一种基于移动设备的导游控制方法，包括： 

确定所述移动设备的位置信息； 

根据确定的位置信息、以及预先存储的所有景观信息，将包含于所述移动设备所处位置区域内的所有景观确定为候选景观；其中，所述景观信息包含景观的位置信息、以及该景观的图像和文字信息； 

接收所述移动设备所在位置区域内的任意一个或多个目标景观的图像，并确定所有候选景观的图像与目标景观的图像之间的匹配程度； 

从所有候选景观中选择所述匹配程度大于预设第一阈值的至少一个候选景观作为关注景观、并将所述关注景观的景观信息供所述移动设备显示输出。 

所述确定移动设备的位置信息包括： 

根据所述移动设备的蜂窝信号确定该移动设备所在的蜂窝位置； 

根据所述移动设备所在蜂窝的位置，确定所述移动设备的位置信息。 

所述根据确定的所述移动设备的位置信息、以及预先存储的所有景观信息，将包含于所述移动设备所处位置区域内的所有景观确定为候选景观包括： 

以所述移动设备的位置为中心，将到达该位置的距离小于预设区域尺寸的景观确定为候选景观。 

当移动设备所处位置与所述候选景观所处位置之间的连线穿过其他候选景观时，该方法进一步包括：将该候选景观的景观信息滤除。 

所述确定所有候选景观的图像与目标景观的图像之间的匹配程度包括： 

分别确定每一候选景观的图像、以及目标景观的图像中的各关键点； 

分别提取每一候选景观的图像、以及目标景观的图像中各关键点的尺度不变变换特征向量； 

根据尺度不变变换特征向量之间的距离，分别确定每一候选景观的图像与目标景观的图像匹配的关键点数量，得到每一候选景观的图像与目标景观的图像的匹配程度。 

对于每一候选景观的每幅图像、以及目标景观的每幅图像，均通过如下方法确定该图像中的各关键点： 

采用预先设置的多个不同尺度的高斯核分别对该图像进行卷积，得到该图像经高斯平滑后并对应不同尺度的图像组； 

对该图像的图像组中的相邻两幅图像两两作差，将得到的所有差值中的p个极值确定为当前图像在二维图像维度(x，y)和尺度维度z所组成的三维空 间(x，y，z)中的p个关键点，其中，第r个极值对应的尺度为第r个关键点的尺度，p为大于1的正整数、r大于1且小于等于p。 

对于每一候选景观的每幅图像、以及目标景观的每幅图像，均通过如下方法提取各关键点的尺度不变变换特征SIFT特征向量： 

分别将以每个关键点为中心的邻域所有边缘方向离散化、并统计每个离散化方向上的边缘强度累积； 

将每个关键点的边缘强度累积最大的方向作为该关键点的主方向，并对于每个关键点均执行如下处理过程：将图像的坐标轴正方向旋转为该关键点的方向，然后以该关键点为中心取预设大小的区域，并将该区域均分为若干子区域，在每个子区域上计算多个方向的离散化值，统计每个子区域中所有方向的梯度强度累积，得到该关键点的多个梯度强度累积值作为该关键点的描述子，构成与该关键点对应同一尺度的SIFT特征向量。 

根据SIFT特征向量之间的距离，分别确定每一候选景观的图像与目标景观的图像匹配的关键点数量之前，该方法进一步包括：分别将候选景观的图像、以及目标景观的图像对应不同尺度的各SIFT特征向量进行归一化。 

根据SIFT特征向量之间的距离，确定每一候选景观的图像与目标景观的图像匹配的关键点数量包括： 

分别计算每一个候选景观图像经归一化的各SIFT特征向量与目标景观图像经归一化的每一个SIFT特征向量之间的距离，如果第j个候选景观的图像中存在Q_j个经归一化的SIFT特征向量满足如下条件，则将该候选景观的图像与目标景观的图像的匹配程度确定为Q_j： 

$\mathrm{MIN}\left(d_m^{i,j}\right|0\≤i\≤N_j)$ 小于第二阈值； 

$\mathrm{MIN}\left(d_m^{i,j}\right|0\≤i\≤N_j)$ 与 $\mathrm{MIN}\left(d_m^{i,j}\right|0\≤i\≤N_j,i\≠\arg \min \left(d_m^{i,j}\right|0\≤i\≤N_j))$ 的比值大于第三阈值； 

其中，N_j为第j个景观图像的尺度不变变换特征向量总数， 

为N_j个经归一化的尺度不变变换特征向量中，第i个经归一化的尺度不变变换特征 向量与目标景观的图像经归一化的第m个SIFT特征向量之间的距离，m大于1且小于等于M，M为目标景观的图象经归一化的SIFT特征向量总数；  $\mathrm{MIN}\left(d_m^{i,j}\right|0\≤i\≤N_j)$ 为 

的最小值； $\mathrm{MIN}\left(d_m^{i,j}\right|0\≤i\≤N_j,i\≠\arg \min \left(d_m^{i,j}\right|0\≤i\≤N_j))$ 为 

的次小值。 

将所述关注景观的景观信息供所述移动设备显示输出的同时，该方法进一步包括：将处于所述移动设备所处位置区域的外围边缘区域内的至少一个景观确定为周边景观，并将周边景观的景观信息供所述移动设备显示输出。。 

由上述技术方案可见，本发明先确定移动设备的位置信息，并在所有景观中搜索该移动设备所在位置区域内的所有候选景观的景观信息，实现对导游数据的粗定位；然后所有候选景观的图像与拍摄的该移动设备所在位置的任意景观图像的匹配度，确定至少一个关注景观，实现对导游数据的精定位，然后将关注景观的景观信息显示输出给用户，从而基于移动设备定位和图像检索的双重选择方式，使得移动设备具有了导游功能。 

附图说明

图1为本发明中实现导游控制的移动设备的示例性结构图。 

图2为本发明中实现导游控制的移动设备内部的定位模块结构示意图。 

图3为本发明中实现导游控制的移动设备内部的导游数据搜索引擎结构示意图。 

图4为本发明基于移动设备实现导游控制的服务器的示例性结构图。 

图5为本发明中基于移动设备的导游控制方法的示例性流程图。 

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明进一步详细说明。 

首先，对本发明中实现导游控制的移动设备进行说明： 

图1为本发明中实现导游控制的移动设备的示例性结构图。如图1所示， 本发明中实现导游控制的移动设备包括：定位模块、导游数据搜索引擎、图像采集模块、图像检索模块、资料匹配模块、信息显示模块。 

定位模块，确定移动设备的位置信息。实际应用中，定位模块可以利用现有全球定位系统(GPS)、伽利略、北斗定位系统中的任意一个或多个的结合来实现。 

较佳地，定位模块还可以根据其所在移动设备的蜂窝信号来获得更精确的位置信息。此时，参见图2，定位模块中可以包括：蜂窝信息获取子模块，用于获取移动设备的蜂窝信号，并以此来确定移动设备所在的蜂窝；坐标确定子模块，根据移动设备所在蜂窝的位置，确定移动设备的位置信息并输出至导游数据搜索引擎。其中，结合蜂窝信号确定移动设备的位置信息的具体处理过程，可利用现有任意一种方法来实现，在此不再赘述。采用蜂窝信息来确定位置，无需为移动设备增加如GPS等额外的定位模块，能够降低设备成本、功耗、体积和重量。 

导游数据搜索引擎，根据定位模块确定的移动设备的位置信息、以及内部存储的所有景观信息，将包含于移动设备所处位置区域内的所有景观确定为候选景观，并将候选景观的景观信息提供给图像检索模块和资料匹配模块。 

其中，景观信息包含该景观的位置信息、以及该景观的图像和文字信息，且每个景观的景观信息中还携带有该景观的景观标识，所有功能模块均是根据景观标识来分辨不同景观的；导游数据搜索引擎中存储的每一个景观的图像可以包括各角度的多幅，且文字信息可以包括景观名称、以及该景观的相关背景介绍；导游数据搜索引擎将所有候选景观的图像输出至图像检索模块、所有候选景观的图像和文字信息输出至资料匹配模块。 

较佳地，导游数据搜索引擎可以根据各景观到达移动设备所在位置的距离来确定候选景观，当某景观到达移动设备距离小于预设区域尺寸时，则将该景观作为候选景观。具体来说，参见图3，导游数据搜索引擎可以包括：数据存储子模块，存储有所有景观的景观信息；候选景观确定子模块，根据 数据存储子模块中存储的所有景观的景观信息，以移动设备的位置为中心，将到达该移动设备所在位置的距离小于预设区域尺寸的景观确定为候选景观，并从数据存储子模块中获取所有候选景观的景观信息。 

进一步，导游数据搜索引擎在确定候选景观的过程中，还可以考虑各景观是否被其他景观所遮蔽，并将到达该移动设备所在位置的距离小于预设区域尺寸阈值、但被其他景观遮挡的景观排除在候选景观之外。此时，导游数据搜索引擎中进一步包含：如图3中虚线所示的遮挡景观过滤子模块，接收来自候选景观确定子模块的所有候选景观的景观信息；根据候选景观的景观信息、以及定位模块确定的移动设备的位置信息，分别判断移动设备所处位置与每一个候选景观所处位置之间的连线，是否穿过其他候选景观，如果是，则将该候选景观滤除，否则，输出该候选景观的景观信息，其中，该候选景观的景观信息中的景观标识和图像输出至图像检索模块、该候选景观的景观信息全部输出至资料匹配模块。 

图像采集模块，拍摄移动设备所在位置区域内的任意一个或多个目标景观的图像并输出至图像检索模块。 

图像检索模块，利用图像检索技术，确定导游数据搜索引擎确定的所有候选景观的图像与图像采集模块拍摄的目标景观的图像之间的匹配程度，并将各候选景观对应的匹配程度输出至资料匹配模块。其中，图像检索模块所利用的图像检索技术可以是现有比较成熟的技术，在此不再赘述。 

但需要说明的是，即便是对于同一个景观，图像采集模块每次拍摄到的该景观图像的角度也很难保持一致、且每次拍摄到的该景观图像的光线条件也会不同，因此，为了对图像采集模块每次拍摄到的景观图像都能够准确地确定匹配程度，在本实施例中较佳地提供一种基于尺度不变变换特征(Scale-invariant feature transform，SIFT)的图像检索方法，以降低对于图像姿态变化和光线变化的敏感度。 

这种情况下，图像检索模块包括：关键点确定子模块，分别确定每一候选景观的图像、以及目标景观的图像中的各关键点；特征向量提取子模块， 分别提取每一候选景观的图像、以及目标景观的图像中各关键点的尺度不变变换特征SIFT特征向量；匹配程度确定子模块，根据SIFT特征向量之间的距离，分别确定每一候选景观的图像与目标景观的图像匹配的关键点数量，得到每一候选景观的图像与目标景观的图像的匹配程度。 

资料匹配模块，根据图像检索模块确定的各候选景观对应的匹配程度，从导游数据搜索引擎确定的所有候选景观中选择匹配程度大于预设第一阈值至少一个作为关注景观，并将关注景观的景观信息输出至信息显示模块。较佳地，资料匹配模块选择匹配程度最高的至少一个候选景观、即匹配程度排在前n位的候选景观作为关注景观，n为大于等于1的正整数，并将各关注景观的图像和文字信息按照匹配程度由高到低排列构成关注景观列表输出至信息显示模块。 

信息显示模块，将资料匹配模块选择的关注景观的景观信息显示输出。较佳地，信息显示模块的显示区域可以划分为景观标签栏和景观信息栏，其中，景观标签栏用于显示关注景观的景观标识，而景观信息栏则用于显示关注景观对应的图像和文字信息。 

这样，移动设备的用户即可通过该移动设备，获知其关注的景观信息。当然，用户还可对移动设备显示输出的各关注景观的景观信息进行手工筛选。此时，移动设备中可以进一步包括如图1中虚线矩形框所示的人机交互模块，该人机交互模块接收移动设备的用户输入的第一控制指令，将与第一控制指令对应的关注景观的图像和文字信息切换至所述景观信息栏显示输出。 

此外，除了提供关注景观的景观信息之外，资料匹配模块还可以进一步将移动设备所处位置区域外围的预设形状和尺寸的边缘区域内的其他景观确定为关注景观的周边景观，并从导游数据搜索引擎中获取周边景观的景观信息，然后将获取的周边景观的景观信息构成周边景观列表发送至信息显示模块并显示输出给用户。这里所述的形状和尺寸的边缘区域，是指沿移动设备所处位置区域边缘，在各方向上向外延伸预定的距离所构成的区域。 

需要说明的是，为了用户能够区分关注景观与周边景观，信息显示模块将周边景观列表中的景观信息，与关注景观的景观信息分别在显示区域内的不同位置显示输出。 

具体来说，信息显示模块的显示区域中的景观标签栏可以进一步划分为景观主标签栏和景观从标签栏，其中，关注景观的景观标识显示在景观主标签栏、周边景观的景观标识则显示在景观从标签栏，而关注景观对应的图像和文字信息仍显示在景观信息栏。 

这样，移动设备的用户还能够获得各周边景观的景观信息，如果该用户希望关注某一个周边景观的景观信息，则可以通过如前所述的人机交互模块输入第二控制指令，人机交互模块在接收移动设备的用户输入的第二控制指令后，将与第二控制指令对应的周边景观的图像和文字信息切换至景观信息栏显示输出。 

较佳地，景观主标签栏可根据关注景观的重要程度，由高至低将各关注景观的景观标识依次排列，同样地，景观从标签栏可根据周边景观的重要程度，由高至低将各周边景观的景观标识依次排列。这里所述的综合重要程度为：各景观的图像与图像采集模块所拍摄的景观图像的匹配程度、乘以各景观的受欢迎度得到的乘积，再除以该景观到达移动设备所在位置的距离得到的商。其中，各景观的受欢迎程度根据实际用户使用该移动设备时，通过第一控制指令或第二控制指令选择该景观的次数、即历史信息确定。 

可见，本发明中实现导游控制的移动设备先确定移动设备的位置信息，并在所有景观中搜索该移动设备所在位置区域内的所有候选景观的景观信息，实现对导游数据的粗定位；然后所有候选景观的图像与拍摄的该移动设备所在位置的任意景观图像的匹配度，确定至少一个关注景观，实现对导游数据的精定位，然后将关注景观的景观信息显示输出给用户，从而基于移动设备定位和图像检索的双重选择方式，使得移动设备具有了导游功能。 

下面，对本发明中基于移动设备实现导游控制的服务器进行详细说明。 

图4为本发明基于移动设备实现导游控制的服务器的示例性结构图。如 图4所示，本发明基于移动设备实现导游控制的服务器包括：定位模块、导游数据搜索引擎、图像检索模块、资料匹配模块。 

定位模块，确定移动设备的位置信息。实际应用中，定位模块可以利用现有GPS、伽利略、北斗定位系统中的任意一个或多个的结合来实现。这里所述的定位模块与如图1和图2所示的定位模块的结构和工作原理相同，在此不再赘述。 

导游数据搜索引擎，根据定位模块确定的移动设备的位置信息、以及内部存储的所有景观信息，将包含于移动设备所处位置区域内的所有景观确定为候选景观。其中，景观信息包含该景观的位置信息、以及该景观的图像和文字信息，且每个景观的景观信息中还携带有该景观的景观标识；导游数据搜索引擎中存储的每一个景观的图像可以包括各角度的多幅，且文字信息可以包括景观名称、以及该景观的相关背景介绍；导游数据搜索引擎将所有候选景观的图像输出至图像检索模块、所有候选景观的图像和文字信息输出至资料匹配模块。这里所述的导游数据搜索引擎与如图1和图3所示的导游数据搜索引擎的结构和工作原理相同，在此不再赘述。 

图像检索模块，接收移动设备中图像采集模块拍摄的该移动设备所在位置区域内的任意一个或多个目标景观的图像，这里所述的图像采集模块与如图1所示的图像采集模块的工作原理相同，利用图像检索技术，确定导游数据搜索引擎确定的所有候选景观的图像与图像采集模块拍摄的目标景观的图像之间的匹配程度，并将各候选景观对应的匹配程度输出至资料匹配模块。 

资料匹配模块，根据图像检索模块确定的各候选景观对应的匹配程度，从导游数据搜索引擎确定的所有候选景观中选择匹配程度大于预设第一阈值至少一个作为关注景观，并将关注景观的景观信息输出至移动设备中的信息显示模块。较佳地，资料匹配模块选择匹配程度最高的至少一个候选景观、即匹配程度排在前n位的候选景观作为关注景观，n为大于等于1的正整数，并将各关注景观的图像和文字信息按照匹配程度由高到低排列构成关注景 观列表输出至移动设备中的信息显示模块，这里所述的移动设备中的信息显示模块与如图1所示的信息显示模块的工作原理相同。 

这样，移动设备的用户即可获知通过该移动设备显示输出的关注景观的景观信息。当然，用户还可对移动设备显示输出的各关注景观的景观信息进行手工筛选。此时，移动设备中可以进一步包括如图4中虚线矩形框所示的人机交互模块，该人机交互模块的工作原理与如图1所示的相同，在此不再赘述。 

当然，除了提供关注景观的景观信息之外，资料匹配模块还可以进一步将移动设备所处位置区域外围的预设形状和尺寸的边缘区域内的其他景观确定为关注景观的周边景观，并从导游数据搜索引擎中获取周边景观的景观信息，然后将获取的周边景观的景观信息构成周边景观列表发送至移动设备中的信息显示模块并显示输出给用户。 

可见，本发明中实现导游控制的服务器先确定移动设备的位置信息，并在所有景观中搜索该移动设备所在位置区域内的所有候选景观的景观信息，实现对导游数据的粗定位；然后所有候选景观的图像与拍摄的该移动设备所在位置的任意景观图像的匹配度，确定至少一个关注景观，实现对导游数据的精定位，然后将关注景观的景观信息发送至移动设备，供该移动设备显示输出给用户，从而基于导游控制服务器对移动设备的定位和图像检索的双重选择方式，使得移动设备具有了导游功能。 

本发明中如图2所示的服务器与如图1所示的移动设备相比，仅仅是定位模块、图像检索模块、导游数据搜索引擎、以及资料匹配模块所处的物理实体不同，但所处物理实体的不同却能够带来明显不同的效果： 

对于如图1所示的移动设备，其实现导游功能无需依赖任何其他设备，即其是否能够正常实现导游功能仅取决于其硬件设备是否正常运转；且如图1所示的移动设备在实现导游功能时无需与任何其他设备交互，因而效率更高且不会占用无线资源； 

对于如图2所示的服务器，其容量显然比移动设备要大得多，因而位于 服务器内部的导游数据搜索引擎中可存储更多的景观文字信息和图像。 

由此可见，在应用本发明中的技术方案时，可根据实际需要来选择是将定位模块、图像检索模块、导游数据搜索引擎、以及资料匹配模块集成于移动设备还是服务器中。 

以上是对本发明中实现导游控制的移动设备、以及基于移动设备实现导游控制的服务器的详细说明，下面，再对本发明中基于移动设备的导游控制方法进行说明。 

图5为本发明中导游控制方法的示例性流程图。如图5所示，该导游控制方法包括： 

步骤501，确定移动设备的位置信息。 

本步骤中，可以利用现有GPS、伽利略、北斗定位系统中的任意一个或多个的处理过程来实现。较佳地，本步骤中可以结合移动设备的蜂窝信号来获得更精确的位置信息，具体包括：先根据移动的蜂窝信号确定该移动设备所在的蜂窝位置，然后根据移动设备所在蜂窝的位置，确定该移动设备的位置信息。 

步骤502，根据确定的移动设备的位置信息、以及预先存储的所有景观信息，将包含于移动设备所处位置区域内的所有景观确定为候选景观。其中，景观信息包含景观的位置信息、以及该景观的图像和文字信息。 

本步骤中，可以以移动设备的位置为中心，将到达该位置的距离小于预设区域尺寸的景观确定为候选景观。进一步地，当移动设备所处位置与所述候选景观所处位置之间的连线穿过其他候选景观时，还将该候选景观的景观信息滤除，以将被其他景观遮挡的候选景观过滤掉。 

步骤503，接收移动设备拍摄的该移动设备所在位置区域内的任意一个或多个目标景观的图像，并确定所有候选景观的图像、与移动设备拍摄的目标景观的图像之间的匹配程度。 

本步骤中，较佳地采用基于SIFT的图像检索方法，具体如下： 

a、需要分别确定每一候选景观的图像、以及目标景观的图像中的各关 键点； 

具体来说，无论是候选景观的图像还是目标景观图像，对于每一幅图像来说，a1、采用预先设置的多个不同尺度的高斯核分别对该图像进行卷积，得到该图像经高斯平滑后并对应不同尺度的图像组；a2、对该图像的图像组中的相邻两幅图像两两作差，将得到的所有差值中的p个极值确定为当前图像在二维图像维度(x，y)和尺度维度z所组成的三维空间(x，y，z)中的p个关键点，其中，第r个极值对应的尺度为第r个关键点的尺度，p为大于1的正整数、r大于1且小于等于p； 

b、分别提取每一候选景观的图像、以及目标景观的图像中各关键点的SIFT特征向量； 

同样地，无论是候选景观的图像还是目标景观图像，对于每一幅图像来说，b1、分别计算该图像中以每个关键点为中心的邻域内的边缘方向和强度，即将以每个关键点为中心的邻域0～360度的所有边缘方向离散化为q个、并统计每个离散化方向上的边缘强度累积；b2、将每个关键点的边缘强度累积最大的方向作为该关键点的主方向，其中，q为大于1的正整数，较佳地q为36；b3、再从该图像中依次提取每一个关键点的描述子，即对于每个关键点均执行如下处理过程：将当前图像的坐标轴正方向旋转为该关键点的方向，然后以该关键点为中心取16×16区域，并将该16×16区域均分为16个4×4子区域，在每个子区域上计算8个方向的离散化值，统计每个子区域中8个方向的梯度强度累积，得到该关键点的共4×4×8个值作为该关键点的描述子，构成与该关键点对应同一尺度的SIFT特征向量，其中，区域的大小、以及子区域的数量和大小也可以设置为其他的数值； 

c、根据SIFT特征向量之间的距离，分别确定每一候选景观的图像与目标景观的图像匹配的关键点数量，得到每一候选景观的图像与目标景观的图像的匹配程度； 

具体来说，无论是候选景观的图像还是目标景观图像，对于每一幅图像 来说，首先对该图像对应不同尺度的各SIFT特征向量V_SIFT进行归一化，得到归一化后的SIFT特征向量 

其中，Norm(V_SIFT)为V_SIFT的范数，可以定义为1范数，也可以定义为2范数；然后，分别计算每一个候选景观图像经归一化的各SIFT特征向量与目标景观图像经归一化的每一个SIFT特征向量之间的距离，如果第j个候选景观的图像中存在Q_j个经归一化的SIFT特征向量满足如下条件，则将该候选景观的图像与目标景观的图像的匹配程度确定为Q_j： 

$\mathrm{MIN}\left(d_m^{i,j}\right|0\≤i\≤N_j)$ 小于第二阈值； 

$\mathrm{MIN}\left(d_m^{i,j}\right|0\≤i\≤N_j)$ 与 $\mathrm{MIN}\left(d_m^{i,j}\right|0\≤i\≤N_j,i\≠\arg \min \left(d_m^{i,j}\right|0\≤i\≤N_j))$ 的比值大于第三阈值； 

其中，N_j为第j个景观图像的SIFT特征向量总数，Q_j小于等于N_j；d_m ^i，j为N_j个经归一化的SIFT特征向量中，第i个经归一化的SIFT特征向量与目标景观的图像经归一化的第m个SIFT特征向量之间的距离，m大于1且小于等于M、M为目标景观的图象经归一化的SIFT特征向量总数；  $\mathrm{MIN}\left(d_m^{i,j}\right|0\≤i\≤N_j)$ 为d_m ^i，j的最小值； $\mathrm{MIN}\left(d_m^{i,j}\right|0\≤i\≤N_j,i\≠\arg \min \left(d_m^{i,j}\right|0\≤i\≤N_j))$ 为d_m ^i，j的次小值。 

如上所述的距离可以定义为欧式距离，也可以采用下列定义方式： 

假定候选景观的图像经归一化的每一个维数为(1×T)的SIFT特征向量表示为描述子S_t集合{S_t|0≤t≤T}、目标景观图像经归一化的每一个维数为(1×T)的SIFT特征向量表示未描述子M_t集合{M_t|0≤t≤T}，则定义二者之间的距离为： 

$D_1(S,M)=\underset{t=1}{\overset{T}{\mathrm{\Σ}}}\frac{{(S_t-M_t)}^2}{{(S_t+M_t)}^2},$ 或 $D_2(S,M)=\underset{t=1}{\overset{T}{\mathrm{\Σ}}}\frac{{(S_t-M_t)}^2}{S_t+M_t},$ 或 $D_3(S,M)=-\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{S}_t*\log \left(M_t\right).$

当然，本步骤中的处理过程也可以利用其他的现有图像检索技术来实现。 

需要说明的是，如果候选景观和目标景观均存在多幅图像，则对于每一个候选景观，需要得到其每一幅图像与目标景观的每一幅图像之间的匹配程度，然后选择最高的一个匹配程度用于步骤504处理。 

上述步骤a、b、c分别对应如前所述的关键点确定子模块、特征向量提取子模块、匹配程度确定子模块的具体工作过程。 

步骤504，根据确定的匹配程度，从所有候选景观中选择匹配程度大于预设第一阈值的至少一个候选景观作为关注景观、并将关注景观的景观信息供移动设备显示输出。 

至此，本流程结束。 

需要说明的是，上述步骤501～步骤504既可以由移动设备执行、也可以由设置的服务器执行；如果有服务器执行，则在上述步骤502中、以及步骤504之后，分别需要服务器与移动设备之间的交互。 

实际应用中，在步骤504的同时或之后，还可以进一步将处于所述移动设备所处位置区域的外围边缘区域内的至少一个景观确定为周边景观，并将周边景观的景观信息发送至移动设备。 

当然，为了用户能够区分关注景观和周边景观，移动设备可以将关注景观和周边景观的景观信息在显示区域内的不同位置分别显示输出。 

具体来说，信息显示模块的显示区域划分为景观标签栏和景观信息栏，关注景观的景观标识显示在景观主标签栏、周边景观的景观标识则显示在景观从标签栏、任意关注景观或周边景观的图像和文字信息显示在景观信息栏。这样，即可根据移动设备的用户输入的第一控制指令，将与第一控制指令对应的关注景观的图像和文字信息切换至景观信息栏；根据移动设备的用户输入的第二控制指令，将与第二控制指令对应的周边景观的图像和文字信息切换至景观信息栏。 

由上述流程可见，在本发明中的导游控制方法中，先确定移动设备的位置信息，并在所有景观中搜索该移动设备所在位置区域内的所有候选景观的景观信息，实现对导游数据的粗定位；然后所有候选景观的图像与拍摄的该 移动设备所在位置的任意景观图像的匹配度，确定至少一个关注景观，实现对导游数据的精定位，然后将关注景观的景观信息显示输出给用户，从而基于移动设备定位和图像检索的双重选择方式，使得移动设备具有了导游功能。 

需要说明的是，本文所指的移动设备可以是手机，也可以是能够实现无线通讯的其他任何手持设备。 

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换以及改进等，均应包含在本发明的保护范围之内。 

Claims (23)

1.一种实现导游控制的移动设备，其特征在于，所述移动设备包括：

定位模块，确定所述移动设备的位置信息；

导游数据搜索引擎，根据确定的所述移动设备的位置信息、以及内部存储的所有景观信息，将包含于所述移动设备所处位置区域内的所有景观确定为候选景观；其中，所述景观信息包含景观的位置信息、以及该景观的图像和文字信息；

图像采集模块，拍摄所述移动设备所处位置区域内的任意一个或多个目标景观的图像；

图像检索模块，确定候选景观的图像与目标景观的图像之间的匹配程度；

资料匹配模块，从所有候选景观中选择所述匹配程度大于预设第一阈值的至少一个候选景观作为关注景观，并将所述关注景观的景观信息发送至信息显示模块；

信息显示模块，将关注景观的景观信息显示输出。

2.如权利要求1所述的移动设备，其特征在于，所述定位模块包括：

蜂窝信息获取子模块，根据所述移动设备的蜂窝信号确定该移动设备所在的蜂窝位置；

坐标确定子模块，根据所述移动设备所在蜂窝的位置，确定所述移动设备的位置信息。

3.如权利要求1所述的移动设备，其特征在于，所述导游数据搜索引擎包括：

数据存储子模块，存储所有景观的景观信息；

候选景观确定子模块，根据数据存储子模块中存储的所有景观的景观信息、并以所述移动设备的位置为中心，将到达该位置的距离小于预设区域尺寸的景观确定为候选景观。 

4.如权利要求3所述的移动设备，其特征在于，所述导游数据搜索引擎进一步包括：

遮挡景观过滤子模块，接收来自所述候选景观确定子模块的候选景观的景观信息，如果移动设备所处位置与所述候选景观所处位置之间的连线穿过其他候选景观时，则将该候选景观的景观信息滤除，否则，将该候选景观的景观信息输出至所述资料匹配模块。

5.如权利要求3所述的移动设备，其特征在于，所述图像检索模块包括：

关键点确定子模块，分别确定每一候选景观的图像、以及目标景观的图像中的各关键点；

特征向量提取子模块，分别提取每一候选景观的图像、以及目标景观的图像中各关键点的尺度不变变换特征向量；

匹配程度确定子模块，根据尺度不变变换特征向量之间的距离，分别确定每一候选景观的图像与目标景观的图像匹配的关键点数量，得到每一候选景观的图像与目标景观的图像的匹配程度。

6.如权利要求1至5中任意一项所述的移动设备，其特征在于，所述资料匹配模块，进一步将处于所述移动设备所处位置区域的外围边缘区域内的至少一个景观确定为周边景观，并将周边景观的景观信息发送至所述信息显示模块；

所述信息显示模块进一步将所述周边景观的景观信息显示输出。

7.如权利要求6所述的移动设备，其特征在于，所述信息显示模块的显示区域划分为景观主标签栏、景观从标签栏、以及景观信息栏，关注景观的景观标识显示在景观主标签栏、周边景观的景观标识则显示在景观从标签栏、任意关注景观或周边景观的图像和文字信息显示在景观信息栏；

所述移动设备进一步包括：

人机交互模块，接收所述移动设备的用户输入的第一控制指令，将与所述第一控制指令对应的关注景观的图像和文字信息切换至所述景观信息栏； 接收所述移动设备的用户输入的第二控制指令，将与所述第二控制指令对应的周边景观的图像和文字信息切换至所述景观信息栏。

8.一种基于移动设备实现导游控制的服务器，其特征在于，所述服务器包括：

定位模块，确定所述移动设备的位置信息；

导游数据搜索引擎，根据确定的位置信息、以及内部存储的所有景观信息，将包含于所述移动设备所处位置区域内的所有景观确定为候选景观；其中，所述景观信息包含景观的位置信息、以及该景观的图像和文字信息；

图像检索模块，接收所述移动设备所在位置区域内的任意一个或多个目标景观的图像，并确定候选景观的图像与目标景观的图像之间的匹配程度；

资料匹配模块，从所有候选景观中选择所述匹配程度大于预设第一阈值的至少一个候选景观作为关注景观，并将所述关注景观的景观信息发送至所述移动设备，供该移动设备显示输出。

9.如权利要求8所述的导游控制服务器，其特征在于，所述定位模块包括：

蜂窝信息获取子模块，根据所述移动设备的蜂窝信号确定该移动设备所在的蜂窝位置；

坐标确定子模块，根据所述移动设备所在蜂窝的位置，确定所述移动设备的位置信息。

10.如权利要求9所述的导游控制服务器，其特征在于，所述导游数据搜索引擎包括：

数据存储子模块，存储所有景观的景观信息；

候选景观确定子模块，根据数据存储子模块中存储的所有景观的景观信息、并以所述移动设备的位置为中心，将到达该位置的距离小于预设区域尺寸的景观确定为候选景观。

11.如权利要求10所述的导游控制服务器，其特征在于，所述导游数据搜索引擎进一步包括： 

遮挡景观过滤子模块，接收来自所述候选景观确定子模块的候选景观的景观信息，如果移动设备所处位置与所述候选景观所处位置之间的连线穿过其他候选景观时，则将该候选景观的景观信息滤除，否则，将该候选景观的景观信息输出至所述资料匹配模块。

12.如权利要求8所述的导游控制服务器，其特征在于，所述图像检索模块包括：

关键点确定子模块，分别确定每一候选景观的图像、以及目标景观的图像中的各关键点；

特征向量提取子模块，分别提取每一候选景观的图像、以及目标景观的图像中各关键点的尺度不变变换特征向量；

匹配程度确定子模块，根据尺度不变变换特征向量之间的距离，分别确定每一候选景观的图像与目标景观的图像匹配的关键点数量，得到每一候选景观的图像与目标景观的图像的匹配程度。

13.如权利要求8至12中任意一项所述的导游控制服务器，其特征在于，所述资料匹配模块，进一步将处于所述移动设备所处位置区域的外围边缘区域内的至少一个景观确定为周边景观，并将周边景观的景观信息发送至所述移动设备。

14.一种基于移动设备的导游控制方法，其特征在于，该方法包括：

确定所述移动设备的位置信息；

根据确定的位置信息、以及预先存储的所有景观信息，将包含于所述移动设备所处位置区域内的所有景观确定为候选景观；其中，所述景观信息包含景观的位置信息、以及该景观的图像和文字信息；

接收所述移动设备所在位置区域内的任意一个或多个目标景观的图像，并确定所有候选景观的图像与目标景观的图像之间的匹配程度；

从所有候选景观中选择所述匹配程度大于预设第一阈值的至少一个候选景观作为关注景观、并将所述关注景观的景观信息供所述移动设备显示输出。 

15.如权利要求14所述的导游控制方法，其特征在于，所述确定移动设备的位置信息包括：

根据所述移动设备的蜂窝信号确定该移动设备所在的蜂窝位置；

根据所述移动设备所在蜂窝的位置，确定所述移动设备的位置信息。

16.如权利要求15所述的导游控制方法，其特征在于，所述根据确定的所述移动设备的位置信息、以及预先存储的所有景观信息，将包含于所述移动设备所处位置区域内的所有景观确定为候选景观包括：

以所述移动设备的位置为中心，将到达该位置的距离小于预设区域尺寸的景观确定为候选景观。

17.如权利要求16所述的导游控制方法，其特征在于，当移动设备所处位置与所述候选景观所处位置之间的连线穿过其他候选景观时，该方法进一步包括：将该候选景观的景观信息滤除。

18.如权利要求14所述的导游控制方法，其特征在于，所述确定所有候选景观的图像与目标景观的图像之间的匹配程度包括：

分别确定每一候选景观的图像、以及目标景观的图像中的各关键点；

分别提取每一候选景观的图像、以及目标景观的图像中各关键点的尺度不变变换特征向量；

根据尺度不变变换特征向量之间的距离，分别确定每一候选景观的图像与目标景观的图像匹配的关键点数量，得到每一候选景观的图像与目标景观的图像的匹配程度。

19.如权利要求18所述的导游控制方法，其特征在于，对于每一候选景观的每幅图像、以及目标景观的每幅图像，均通过如下方法确定该图像中的各关键点：

采用预先设置的多个不同尺度的高斯核分别对该图像进行卷积，得到该图像经高斯平滑后并对应不同尺度的图像组；

对该图像的图像组中的相邻两幅图像两两作差，将得到的所有差值中的 p个极值确定为当前图像在二维图像维度(x，y)和尺度维度z所组成的三维空间(x，y，z)中的p个关键点，其中，第r个极值对应的尺度为第r个关键点的尺度，p为大于1的正整数、r大于1且小于等于p。

20.如权利要求19所述的导游控制方法，其特征在于，对于每一候选景观的每幅图像、以及目标景观的每幅图像，均通过如下方法提取各关键点的尺度不变变换特征SIFT特征向量：

分别将以每个关键点为中心的邻域所有边缘方向离散化、并统计每个离散化方向上的边缘强度累积；

将每个关键点的边缘强度累积最大的方向作为该关键点的主方向，并对于每个关键点均执行如下处理过程：将图像的坐标轴正方向旋转为该关键点的方向，然后以该关键点为中心取预设大小的区域，并将该区域均分为若干子区域，在每个子区域上计算多个方向的离散化值，统计每个子区域中所有方向的梯度强度累积，得到该关键点的多个梯度强度累积值作为该关键点的描述子，构成与该关键点对应同一尺度的SIFT特征向量。

21.如权利要求20所述的导游控制方法，其特征在于，根据SIFT特征向量之间的距离，分别确定每一候选景观的图像与目标景观的图像匹配的关键点数量之前，该方法进一步包括：分别将候选景观的图像、以及目标景观的图像对应不同尺度的各SIFT特征向量进行归一化。

22.如权利要求21所述的导游控制方法，其特征在于，根据SIFT特征向量之间的距离，确定每一候选景观的图像与目标景观的图像匹配的关键点数量包括：

分别计算每一个候选景观图像经归一化的各SIFT特征向量与目标景观图像经归一化的每一个SIFT特征向量之间的距离，如果第j个候选景观的图像中存在Q_j个经归一化的SIFT特征向量满足如下条件，则将该候选景观的图像与目标景观的图像的匹配程度确定为Q_j：

小于第二阈值； 

与0的比值大于第三阈值；

其中，N_j为第j个景观图像的尺度不变变换特征向量总数， 

为N_j个经归一化的尺度不变变换特征向量中，第i个经归一化的尺度不变变换特征向量与目标景观的图像经归一化的第m个SIFT特征向量之间的距离，m大于1且小于等于M，M为目标景观的图像经归一化的SIFT特征向量总数； 为 

的最小值；

为 

的次小值。

23.如权利要求14至22中任意一项所述的导游控制方法，其特征在于，将所述关注景观的景观信息供所述移动设备显示输出的同时，该方法进一步包括：将处于所述移动设备所处位置区域的外围边缘区域内的至少一个景观确定为周边景观，并将周边景观的景观信息供所述移动设备显示输出。 

Images