CN103440318B - 移动终端的景观识别系统 - Google Patents

Abstract

本发明涉及景观识别技术领域，本发明公开了一种移动终端的景观识别系统，具体包括基于视觉内容的景观图像识别系统和基于移动终端环境下附加信息的识别系统，将图像识别系统和附加信息识别系统相结合，所述基于移动终端环境下附加信息的识别包括识别拍照时移动终端的位置以及拍照时的方向，并根据位置和方向阈值形成移动终端当前时间点所在的扇面区域，并将拍摄的图片与图片库中扇面区域内的图片采用基于视觉内容的景观图像识别系统进行识别，找到图片库中匹配的景观，并将景观对应的信息在用户终端上进行显示或者播放。采用上述系统，用户终端只需要拍照就能快速准确地识别景观。

Description

移动终端的景观识别系统

技术领域

本发明涉及景观识别技术领域，尤其涉及移动终端的景观识别系统。

背景技术

现有技术中的景观识别一般采用的是GPS技术，比如各旅游景点常用的导游机，但GPS技术最大的问题是可靠性不高，尤其是在建筑物密集区域，定位误差会达到150米以上，这样的景观识别显然无法满足用户的需要。

还有一种方式是用户先在网络地图上查询自己的位置，弄清自己当前所在的具体方位，找到景点对应的景观的名称，然后启用网络搜索引擎搜索该景观的相关信息，操作复杂。因此，需要提供一种操作起来更加方便，准确度更高的景观识别系统。

发明内容

本发明的目的是：克服现有技术中的景观识别系统准确度不高以及操作不方便的技术问题，提供一种移动终端的景观识别系统。

本发明的目的通过下述技术方案来实现：

移动终端的景观识别系统，其具体包括基于视觉内容的景观图像识别系统和基于移动终端环境下附加信息的识别系统，将图像识别系统和附加信息识别系统相结合，所述基于移动终端环境下附加信息的识别包括识别拍照时移动终端的位置以及拍照时的方向，并根据位置和方向阈值形成移动终端当前时间点所在的扇面区域，然后将拍摄的图片与图片库中扇面区域内的图片采用基于视觉内容的景观图像识别系统进行识别，找到图片库中匹配的景观，并将景观对应的信息在用户终端上进行显示或者播放。通过本系统，用户只需要拍照就可以快速得到当前的位置，并智能识别出景观，用户终端在识别出景观后自动显示或者播放景观的相关介绍信息。

更进一步地，上述将图像识别系统和附加信息识别系统相结合的具体方式为采用boosting增强技术将图片内容信息与位置信息和方向信息进行融合。采用boosting增强技术将图片内容信息与附加信息（位置信息和方向信息）进行融合，大大地提高了图片识别的准确度，比传统的SVM技术提高了10%左右。

更进一步地，上述基于视觉内容的景观图像识别系统具体为：在Bag-of-Words算法的基础上，提取每个图片的鲁棒局部特征算子，再将鲁棒局部特征算子进行结构化的分层聚类，将特征算子空间逐渐细分，得到结构化的鲁棒局部特征算子，经过分层聚类，得到树形结构的局部特征算子，将每个图片的所有局部算子分层量化，得到其高维直方图，采用该高维直方图作为图片的整体特征，进行图片分类。将聚类算法结构化，产生更有效的图片特征，同时降低了计算复杂度，并采用实施例一中的视角扇面技术，将GPS位置信息和数字指南针方向信息进行融合，进一步降低了计算量。

更进一步地，采用密集采样提取图片的鲁棒局部特征。对于本发明的系统，经过多次实验验证，密集采样的效果要明显高于关键点采样。

更进一步地，上述密集采样具体为采用Daisy算子提取图片的鲁棒局部特征。因为Daisy算子采用了最先进的高斯权重化和环形对称核映射，它实现起来更加高效，而且实验证明它的效果高于目前世界上普遍采用的SIFT局部算子， Daisy与SIFT算子都具有很强的鲁棒性，即对于图片的光照变化、角度变化、尺度变化、遮挡等不良条件均不敏感，且Daisy算子涉及一系列的卷积(Convolution)操作，而这种操作正适合实际应用中的软硬件系统开发，满足实时性的要求。现有技术中还没有任何将Daisy算子在移动终端中的应用。

更进一步地，上述位置信息采用GPS定位模块得到，以GPS定位位置为中心，固定半径阈值形成的圆圈范围，作为该用户拍摄图片的圆周范围。采用现有的定位模块就能得到位置信息，不增加任何成本，同时将可能出现的误差范围作为阈值，有效避免因为误差过大带来的问题。

更进一步地，上述方向信息采用方向获取模块得到，以GPS定位位置为起点，方向获取模块获取的方向为中心，固定角度阈值形成扇面，作为该用户拍摄图片的扇面范围。采用现有的方向获取模块就能得到方向信息，不增加任何成本，同时将可能出现的误差范围作为阈值，有效避免因为误差过大带来的问题。并将位置信息和方向信息进行结合，减小了图像识别的范围。

更进一步地，上述系统包括移动终端和后台服务器，移动终端中设置无线传输模块，将拍摄的图片以及拍摄的位置和方向信息传输给后台服务器，所述后台服务器中包括图片库和数据处理模块，数据处理模块根据拍摄图片的位置和方向信息在图片库中进行查找，找到对应的图片后进行图片的识别。针对运算量小或者存储空间小的移动终端，可以采用这样的方式，方便用户的使用。适用于如景区较小时，比如采用WIFI实现，不使用用户的流量。

更进一步地，上述移动终端包括CPU和存储器，所述CPU用于根据拍摄图片的位置和方向信息在图片库中进行查找，找到对应的图片后进行图片的识别，所述存储器用于存储图片库。将图片库和运算过程直接在移动终端上进行，中间不需要数据传输，方便用户的使用。

更进一步地，上述系统还包括前景目标增强模块，用于将拍摄图片的前景目标区域增强。适用于拍摄的图片效果不好的时候，提高了识别的准确率。

通过采用以上的技术方案，本发明具有以下的有益效果：通过采用本系统，使得用户在移动终端上就可以快速准确地进行景观识别，对移动终端的硬件要求低，实现速度快，准确率高，可以用于道路查找、景观识别等等方面。随时随地拍摄景观与建筑的图片，在几秒钟之内就可以获得该景观、建筑的名称与相关信息。

附图说明

图1为移动终端的景观识别系统的结构特征图。

图2为扇面结构示意图。

图3为传统的景观识别技术。

图4为本发明的景观识别技术。

图5为信息融合的框架图。

图6为Daisy算子的计算基本原理。

图7为局部特征算子的比较图。

图8为分层聚类的基本原理。

图9为结构化的局部特征算子表示。

具体实施方式

下面结合说明书附图，详细说明本发明的具体实施方式。

本发明提供的移动终端的景观识别系统，其可以根据在任意地点拍摄的图片得到用户的当前位置并标注出周边的景点、道路、商家等信息，可以根据用户拍摄的景观图片识别出具体的景观，并用文字、图片、声音或者视频以及其结合的方式给用户介绍景观。

如图1所示的移动终端的景观识别系统的结构特征图。

本发明的移动终端的景观识别系统，其具体包括基于视觉内容的景观图像识别系统和基于移动终端环境下附加信息的识别系统，将图像识别系统和附加信息识别系统相结合，所述基于移动终端环境下附加信息的识别包括识别拍照时移动终端的位置以及拍照时的方向，并根据位置和方向阈值形成移动终端当前时间点所在的扇面区域，并将拍摄的图片与图片库中扇面区域内的图片采用基于视觉内容的景观图像识别系统进行识别，找到图片库中匹配的景观，并将景观对应的信息在用户终端上进行显示或者播放。

其中的一个实施例一

根据图片识别出当前位置，并标注出周边的景点、道路或者商家等信息。经常用于用户还没有到达景点相应景观的情况下。

本发明中的移动终端的景观识别系统，其可以包括移动终端和后台服务器，所述移动终端可以是现有的手机、笔记本、平板电脑等具有无线通信功能的便携式电子装置，所述后台服务器可以是设于无线通信基站内的服务器等。该移动终端和后台服务器均可以通过现有的无线通信网络建立无线通信连接。移动终端包括请求模块、摄像模块、GPS定位模块、方向获取模块和无线通讯模块，所述请求模块可以是安装于移动终端上的客户端，打开客户端即为发出识别请求，所述摄像模块可以是现有的移动终端上的摄像头，用于拍摄图片，所述GPS定位模块用于提供用户使用移动终端拍摄图片时的当前位置，所述方向获取模块可以是指南针、陀螺仪或者电子罗盘，用于确定用户拍照时指向的方向，所述无线通讯模块用于将用户的GPS定位信息、方向信息以及拍摄的图片传输给后台服务器。后台服务器根据收到的用户的GPS定位信息、方向信息以及拍摄的图片，得到用户准确的位置信息，并将景观与用户的相对距离进行标注。后台服务器收到用户的信息后，以GPS定位位置为中心，固定半径（比如150米）的圆圈范围之内，作为该用户拍摄图片的可能圆周范围，然后以方向获取模块获取的方向为中心，固定角度的扇面（比如正负25度）范围之内，作为该用户拍摄图片的视角扇面范围。如图2所示的扇面结构示意图。

选择后台服务器的图片库中符合该视角扇面范围的所有图片，并将拍摄的图片与这些图片进行比较，选择出最佳匹配图片。如果服务器的图片库中没有满足上述视角扇面范围的图片，则根据GPS定位信息和方向信息在地图数据中进行查找，标注出用户周边的景点信息、道路信息或者商家信息等，并显示其相对距离。

本发明的移动终端的景观识别系统，其也可以只包括移动终端，而没有后台服务器。后台服务器功能可以采用移动终端的CPU加上存储器来实现，CPU用于进行数据处理，存储器用于保存图片库。移动终端的其他方式与上述分开设置相同，所不同的是移动终端中可以不需要无线通讯模块（不通过无线传输以节省流量）。移动终端包括请求模块、摄像模块、GPS定位模块、方向获取模块、数据处理模块和存储模块，所述请求模块可以是安装于移动终端上的客户端，打开客户端即为发出识别请求，所述摄像模块可以是现有的移动终端上的摄像头，用于拍摄图片，所述GPS定位模块用于提供用户使用移动终端拍摄图片时的当前位置，所述方向获取模块可以是指南针、陀螺仪或者电子罗盘，用于确定用户拍照时指向的方向，所述数据处理模块用于在图片库中选择出符合要求的图片，并将选择出的图片与拍摄的图片进行比较；所述存储模块用于保存图片库。数据处理模块根据用户的GPS定位信息、方向信息以及拍摄的图片，得到用户准确的位置信息，并将景点与用户的相对距离进行标注。数据处理模块在收到用户的信息后，以GPS定位位置为中心，固定半径（比如150米）的圆圈范围之内，作为该用户拍摄图片的可能圆周范围，然后以方向获取模块获取的方向为中心，固定角度的扇面（比如正负25度）范围之内，作为该用户拍摄图片的视角扇面范围。选择后台服务器的图片库中符合该视角扇面范围的所有图片，并将拍摄的图片与这些图片进行比较，选择出最佳匹配图片。一般情况下，如果还没有到达景点，则图片库中很有可能没有对应的图片，如果服务器的图片库中没有满足上述视角扇面范围的图片，则根据GPS定位信息和方向信息在地图数据中进行查找，标注出用户周边的景点信息、道路信息或者商家信息等，并显示其相对距离。

其中图片库中的景观图片附带了准确的GPS位置信息、方向信息和图片的特征信息等。

其中的一个实施例二

根据拍摄的图片找出图片库中最匹配的图片，并将最匹配的图片的映射信息提供给用户。比如当拍摄一张图片后，在图片库中找到与这张图片匹配的图片，图片库中最匹配的图片的映射信息是景点的视频介绍，则直接将视频介绍显示给用户观看。经常用于用户想要详细了解某个具体景观时，用户只需要拍摄到景观，系统就能将景观对应的介绍提供给用户，极大地方便了用户的使用。

在上述实施例一的基础上，手机的CPU或者后台服务其将拍摄的图片与视角扇面范围的所有图片进行比较。其中找出图片库中最匹配的图片的方式可以采用现有技术中传统的Bag-of-Words算法，也可以在传统的Bag-of-Words算法进行改进。

传统的景观识别技术如图3所示，传统的Bag-of-Words算法主要包括以下的步骤：

（1） 对图片库中的每个图片内容关键点的局部描述算子进行提取；

（2） 对提取的描述算子进行聚类，得到一组具有代表性的描述算子；

（3）对描述算子进行量化，得到图片的整体特征；

（4）基于特征，训练分类器；

（5）对于用户新拍摄的图片，进行特征提取，输入到分类器，得到景观类别，从而找到最匹配的图片。

上述Bag-of-Words算法的准确度和速度尚可，但是如果在移动终端上运行，还不能达到的真正应用需求，因为实际移动终端的运算量不能太大。

因此，本发明中优选的实施方式是在现有的Bag-of-Words算法基础上进行改进，如图4所示的本发明的景观识别框架图。其具体为：局部描述算子为鲁棒局部特征算子，再将鲁棒局部特征算子进行结构化的分层聚类，将特征算子空间逐渐细分，得到结构化的局部特征算子，经过分层聚类，得到树形结构的局部特征算子，将一个图片的所有局部算子分层量化，得到一个高维直方图，采用该高维直方图作为图片的整体特征，进行图片分类。将聚类算法结构化，产生更有效的图片特征，同时降低了计算复杂度，并采用实施例一中的视角扇面技术，将GPS位置信息和数字指南针方向信息进行融合，进一步降低了计算量。

本发明采用boosting增强技术将图片内容信息与附加信息（位置信息和方向信息）进行融合，大大地提高了图片识别的准确度，比传统的SVM技术提高了10%左右。如图5所示的信息融合的框架图。

视角扇面与图片内容信息融合如下公式：

。

鲁棒局部特征的提取包括基于关键点采样和密集采样两种。基于关键点采样和密集采样的局部特征算子，哪一种更有效，取决于具体的应用。对于手机拍摄的景观图片的识别应用，经过多次实验验证，密集采样的效果要明显高于关键点采样。

本发明中采用Daisy算子来实现密集点采样。因为Daisy算子采用了最先进的高斯权重化和环形对称核映射，它实现起来更加高效，而且实验证明它的效果高于目前世界上普遍采用的SIFT局部算子， Daisy与SIFT算子都具有很强的鲁棒性，即对于图片的光照变化、角度变化、尺度变化、遮挡等不良条件均不敏感，且Daisy算子涉及一系列的卷积(Convolution)操作，而这种操作正适合实际应用中的软硬件系统开发，满足实时性的要求。Daisy算子的计算基本原理如图6所示。基于各种世界上普遍采用的局部特征算子和Daisy的效果比较图如下所示，我们可以看出Daisy算子是在同等条件下图像识别准确度最高的。如图7所示的局部特征算子的比较图。

在采用Daisy算子提取到图片的局部特征后，将局部特征算子进行聚类，(Clustering)。目前聚类的算法有很多种，较为有效的是结构化的分层聚类算法，其具有高效、高识别率的特点。分层聚类算法将特征算子空间逐渐细分，达到高效的目的。分层聚类的基本原理如图8所示。经过分层聚类，我们得到的结构化的局部特征算子表示如图9所示。

经过分层聚类，得到树形结构的局部特征算子。将一个图片的所有Daisy局部算子分层量化，得到一个高维直方图(Histogram)，我们拟采用该直方图作为图片的整体特征，用于之后的图片分类。分类时，需要特征距离(Histogram distance)的计算。对于p范数的距离计算如下：

当树形结构的每层分叉是1变10，总共6层的情况下，可以满足我们在世界上大多数城市的所有景观识别的实际需求。此时，一个图片的直方图是一个10000维的高维矢量。

具体的实验数据如下表所示：

由于在景观图片识别的实际应用中，景观目标的部分是相对稳定可靠的，而背景时常会有变化，比如，景观周围会有不同的人流和车流、气候的变化等等。因此需要将前景目标区域增强，使得图片的直方图矢量对于外界干扰更加鲁棒。

获得图片每个部分的前景区域置信度的步骤如下：首先计算图片库中图片的类别和Daisy算子树形结构中的码字之间的映射。其公式如下

；

其中S(m,n)代表了第n个类别的图片中有多少个Daisy描述子被映射到第m个码字上。之后，进行归一化预处理：

；

；

图片上每个局部对应的前景区域置信度计算如下：

；

其中，H代表第m个码字映射到多少个第n类的图片上。获得前景目标增强的深度图以后，图片直方图计算方法如下：

；

其中，w是图片每个像素的前景区域置信度，s为图片的局部Daisy描述算子，v是树形结构化Daisy聚类中的类中心矢量。

不采用其他先进技术，在基本的树形结构识别系统上，融入前景区域增强技术前后的对比实验如下：

树形结构识别系统	无前景增强	有前景增强
			识别正确率	79.83%	87.58%
识别时间	0.5291s	0.5314s

本系统与现有技术的BoW方案相比识别率有非常大的提高。

1仅用图片内容；2仅用手机位置信息；3位置+内容特征；4将图片内容、位置、方向信息融合分析；5将图片内容与位置-方向视角圆锥信息融合分析。采用本发明的系统方案，可以获得5组方案中最高的识别率 96.2%，该方案相对于方案1、 2、3分别有5.9%, 14.9%,和 2.9% 的提高。

识别结果如下表所示

和现有各系统比较识别的结果如下表所示

其中：SIFT:尺度不变特征变换，FT傅立叶变换，BoW，Bag-of-words 技术

本系统的实验数据如下表所示

上述的实施例中所给出的系数和参数，是提供给本领域的技术人员来实现或使用本发明的，本发明并不限定仅取前述公开的数值，在不脱离本发明的发明思想的情况下，本领域的技术人员可以对上述实施例做出种种修改或调整，因而本发明的保护范围并不被上述实施例所限，而应该是符合权利要求书提到的创新性特征的最大范围。

Claims (9)

1.移动终端的景观识别系统，其特征在于具体包括基于视觉内容的景观图像识别系统和基于移动终端环境下附加信息的识别系统，将图像识别系统和附加信息识别系统相结合，所述基于移动终端环境下附加信息的识别包括识别拍照时移动终端的位置以及拍照时的方向，并根据位置和方向阈值形成移动终端当前时间点所在的扇面区域，然后将拍摄的图片与图片库中扇面区域内的图片采用基于视觉内容的景观图像识别系统进行识别，找到图片库中匹配的景观，并将景观对应的介绍信息在用户终端上进行显示或者播放；所述基于视觉内容的景观图像识别系统具体为：在Bag-of-Words算法的基础上，提取每个图片的鲁棒局部特征算子，再将鲁棒局部特征算子进行结构化的分层聚类，将特征算子空间逐渐细分，得到结构化的鲁棒局部特征算子，经过分层聚类，得到树形结构的局部特征算子，将每个图片的所有局部算子分层量化，得到其高维直方图，采用该高维直方图作为图片的整体特征，进行图片分类和识别。

2.如权利要求1所述的移动终端的景观识别系统，其特征在于所述将图像识别系统和附加信息识别系统相结合的具体方式为采用boosting增强技术将图片内容信息与位置信息、方向信息进行融合。

3.如权利要求2所述的移动终端的景观识别系统，其特征在于采用密集采样提取图片的鲁棒局部特征。

4.如权利要求3所述的移动终端的景观识别系统，其特征在于所述密集采样具体为采用Daisy算子提取图片的鲁棒局部特征。

5.如权利要求4所述的移动终端的景观识别系统，其特征在于所述位置信息采用GPS定位模块得到，以GPS定位位置为中心，固定半径阈值形成的圆圈范围，作为该用户拍摄图片的圆周范围。

6.如权利要求5所述的移动终端的景观识别系统，其特征在于所述方向信息采用方向获取模块得到，以GPS定位位置为起点，方向获取模块获取的方向为中心，固定角度阈值形成扇面，作为该用户拍摄图片的扇面范围。

7.如权利要求1所述的移动终端的景观识别系统，其特征在于所述系统包括移动终端和后台服务器，移动终端中设置无线传输模块，将拍摄的图片以及拍摄的位置和方向信息传输给后台服务器，所述后台服务器中包括存储器和数据处理模块，所述数据处理模块根据拍摄图片的位置和方向信息在图片库中进行查找，找到对应的图片后进行图片的识别，所述存储器用于存储图片库和图片对应的景观信息。

8.如权利要求1所述的移动终端的景观识别系统，其特征在于所述移动终端包括CPU和存储器，所述CPU用于根据拍摄图片的位置和方向信息在图片库中进行查找，找到对应的图片后进行图片的识别，所述存储器用于存储图片库和图片对应的景观信息。

9.如权利要求1所述的移动终端的景观识别系统，其特征在于所述系统还包括前景目标增强模块，其用于将拍摄图片的前景目标区域增强。