CN104392007B - 一种智能移动终端的街景检索与识别方法 - Google Patents

Abstract

本发明涉及一种智能移动终端的街景检索与识别方法，其实现步骤为：(1)对不同位置区域分别建立街景图像数据库和热点信息数据库；(2)对数据库图像建立词汇树索引结构；(3)通过移动设备上传GPS位置信息，获取当前位置周围的热点区域；(4)上传街景图像，服务器端程序进行根据上传的GPS位置信息和图像信息进行检索，返回所需内容；(5)在移动设备上进行显示。本发明可以在地图上直观地显示热点区域，并获取丰富的标注信息，提高用户体验。

Description

一种智能移动终端的街景检索与识别方法

技术领域

本发明涉及图像检索技术领域，特别是涉及一种智能移动终端的街景检索与识别方法。

背景技术

移动终端技术和移动互联网技术的发展融合促进了基于位置的服务应用，用户能够获得便捷的服务和丰富的信息，进而对移动终端开发了大量的基于位置的服务应用。

一般的基于位置的移动终端应用通过GPS获取需求的位置信息，在地图上只显示用户当前所在的大概位置，用户不能在地图上直观地了解、观察并获取周围区域的景点、建筑等信息，包括位置信息、说明介绍信息等。在这种情况下，用户只能通过手动搜索地图查找所在位置周围的感兴趣区域，而且获取的信息也很有限。

发明内容

本发明所要解决的技术问题是针对上述现有技术提供一种能根据智能移动终端拍摄的街景图像就能获取当前位置的说明介绍的智能移动终端的街景检索与识别方法。

本发明解决上述技术问题所采用的技术方案为：一种应用于智能移动终端的城市街景检索与识别方法，其特征在于：包括如下步骤：

步骤1、对城市中的不同位置区域分别建立街景图像数据库和热点信息数据库，并保存在服务器端；

步骤2、对街景图像数据库建立词汇树索引结构，并保存在服务器端：

步骤2-1、提取街景图像数据库内的街景图像的SIFT特征向量，并保存为特征文件；

步骤2-2、读入街景图像数据库内所有街景图像的特征文件，对SIFT特征向量进行分层k-means聚类，设置分支因子K和树的高度L的大小，每一个聚类中心为一个视觉词汇，生成不加权的词汇树；

步骤2-3、利用词频-逆文档频率法给每一个视觉词汇添加倒排索引，得到词汇树视觉词汇的倒排索引文件，该倒排索引文件的内容包括词汇表和倒排列表，并生成加权的词汇树；

步骤3、智能移动终端向服务器端上传GPS位置信息，智能移动终端获取当前位置周围的热点区域信息：智能移动终端向服务器端上传GPS位置信息，服务器端对该GPS位置信息进行粗定位，读取该区域的热点信息数据库，同时计算智能移动终端当前位置与该区域热点信息数据库中的热点位置之间的距离。将距离智能移动终端当前位置最近的前N个热点位置的信息返回智能移动终端进行显示；

步骤4、智能移动终端向服务器端上传GPS位置信息和拍摄的街景图像：打开智能移动终端的摄像头，拍摄街景图像；智能移动终端将GPS位置信息和拍摄的街景图像上传至服务器端；

步骤5、服务器端根据步骤4中智能移动终端上传的GPS位置信息和拍摄的街景图像返回所需内容：

步骤5-1、服务器端根据智能移动终端上传的GPS位置信息，读取相应位置区域的词汇树文件；

步骤5-2、提取智能移动终端上传的街景图像的SIFT特征向量，并保存为现场特征文件；

步骤5-3、将现场特征文件内的每一个SIFT特征向量量化到词汇树的视觉词汇，根据视觉词汇的倒排列表，计算街景图像数据库中相应区域内的街景图像与智能移动终端上传的街景图像之间的相似度；

步骤5-4、将步骤5-3中获得相似度最高的街景图像的对应的街景图像数据库中对应的内容返回给客户端；

步骤5-5、智能移动终端显示步骤5-4返回的内容。

作为改进，所述步骤1中街景图像数据库的内容包括有：不同季节、一天中不同时间段和不同光照条件下拍摄的街景图像，以及对每幅街景图像的位置标注信息和说明介绍标注信息；热点信息数据库的内容包括有：该区域下的热点地址的GPS位置信息、街景图像的缩略图以及说明介绍标注信息。

与现有技术相比，本发明的优点在于：本发明综合考虑GPS位置信息，建立不同区域的街景图像数据库和热点信息数据库，通过智能移动终端无线定位获得GPS位置信息，获取智能移动终端周围的热点区域的位置信息、缩略图和标注信息，上传拍摄街景图像，服务器读取相应区域的词汇树文件，通过对不同的数据库利用词汇树算法进行图像检索，计算上传街景图像和数据库图像的相似度，可以获取较为丰富的信息，其优点主要表现在以下几个方面：

(1)、能够在智能移动终端上直观地显示用户当前所在位置周围的热点区域的相关信息；

(2)、对不同区域的热点信息建立不同的数据库，缩小搜索范围；

(3)、针对不同的区域建立街景图像数据库，通过智能移动终端无线定位获得的位置信息确定位置区域，服务器端读取相应区域的词汇树文件，能够加快检索速度，提高匹配的准确度；

(4)、词汇树检索算法通过分层k-means聚类构建树型索引结构，减少计算量，能够适用于大数据库，并通过倒排索引文件，加快检索的速度；

(5)、通过图像检索的结果获取相似度最高的图像信息，返回给智能移动设备较为丰富的信息，提高用户体验。

附图说明

图1是本发明实施例的系统架构框图。

图2是本发明实施例的系统模块框图。

图3是本发明实施例中热点区域计算过程框图。

图4是本发明实施例中词汇树建立框图。

图5是本发明实施例中的街景图像检索框图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提供的一种应用于智能移动终端的城市街景检索与识别方法，通信内容是智能移动终端与服务器端之间进行，参见图1和图2所示，具体包括如下步骤：

步骤1、对城市中的不同位置区域分别建立街景图像数据库和热点信息数据库，并保存在服务器端；这里街景图像数据库的内容包括有：不同季节、一天中不同时间段和不同光照条件下拍摄的街景图像，以及对每幅街景图像的位置标注信息和说明介绍标注信息；热点信息数据库的内容包括有：该区域下的热点地址的GPS位置信息、街景图像的缩略图以及说明介绍标注信息；

步骤2、对街景图像数据库建立词汇树索引结构，并保存在服务器端：

步骤2-1、提取街景图像数据库内的街景图像的SIFT特征向量，并保存为特征文件；

步骤2-2、读入街景图像数据库内所有街景图像的特征文件，对SIFT特征向量进行分层k-means聚类，设置分支因子K和树的高度L的大小，每一个聚类中心为一个视觉词汇，生成不加权的词汇树，参见图4所示；

步骤2-3、利用词频-逆文档频率法(TF-IDF)给每一个视觉词汇添加倒排索引，得到词汇树视觉词汇的倒排索引文件，该倒排索引文件的内容包括词汇表和倒排列表，和生成加权的词汇树；词汇表包含了所有的视觉词汇，并以一定的次序排列；每个词汇对应一个倒排列表，根据TD-IDF计算每个图像的词频向量的每个主词的加权词频，若词频数值大于0，将加权词频和图像标识符组成二元组添加到主词对应的倒排列表，生成加权的词汇树；倒排列表只保存有效的词频信息，如果某个词汇在一个图像没有出现，那么该图像和词频不会添加到该词汇对应的倒排列表；

步骤3、智能移动终端向服务器端上传GPS位置信息，智能移动终端获取当前位置周围的热点区域信息：智能移动终端向服务器端上传GPS位置信息，服务器端对该GPS位置信息进行粗定位，读取该区域的热点信息数据库，同时计算智能移动终端当前位置与该区域街热点信息数据库中的热点位置之间的距离，将距离智能移动终端当前位置最小的前N个热点位置的信息返回智能移动终端进行显示，参见图3所示；

步骤4、智能移动终端向服务器端上传GPS位置信息和拍摄的街景图像：打开智能移动终端的摄像头，拍摄街景图像；智能移动终端将GPS位置信息和拍摄的街景图像上传至服务器端；

步骤5、服务器端进行根据步骤4中智能移动终端上传的GPS位置信息和拍摄的街景图像返回所需内容：

步骤5-1、服务器端根据智能移动终端上传的GPS位置信息，读取相应位置区域的词汇树文件；

步骤5-2、提取智能移动终端上传的街景图像的SIFT特征向量，并保存为现场特征文件；

步骤5-3、将现场特征文件内的每一个SIFT特征向量量化到词汇树的视觉词汇，首先找出词频向量中不为0的分量，根据视觉词汇的倒排列表，计算街景图像数据库中相应区域内的街景图像与智能移动终端上传的街景图像之间的相似度；

步骤5-4、将步骤5-3中获得相似度最高的街景图像的缩略图和关键字信息返回给客户端；

步骤5-5、智能移动终端显示步骤5-4返回的内容，参见图5所示。

智能移动终端和服务器端进行数据的传输时，采用具有前后台双层结构的客户端-服务器模式；Web请求、客户端数据传输使用HTTP协议完成；服务器前端采用Apache，PHP脚本解析客户端的大量请求并返回数据信息；服务器计算热点区域和图像检索程序作为后台服务，开启一个socket监听请求；街景图像数据库和热点信息数据库采用MqSQL数据库，保存位置信息和标注信息。

本发明通过建立街景图像数据库，利用GPS位置信息进行粗定位，在地图上标注用户位置周围可能感兴趣的热点区域，并利用多信息融合的图像检索技术，通过拍照获取所在位置的标注信息。

基于内容的图像检索通过对图像的视觉特征进行研究，根据图像描述内容的各种特征，如颜色特征、纹理特征和形状特征，通过图像间相同特征的相似程度来判断两幅图片是否相似，从图像库中检索出目标图像。基于内容的图像检索主要包括两个问题，首先是图像的特征提取，第二是图像特征向量的索引和匹配。图像特征提取主要有基于图像底层视觉特征，包括全局特征和局部特征，基于区域的特征和基于图像语义特征。

从海量的高维数据集合中找到与某个数据最相似(距离最近)的一个数据或多个数据。如果是低维的小数据集，通过线性查找(Linear Search)就可以容易解决，对一个海量的高维数据集采用线性查找匹配的话，会非常耗时，为了解决该问题，采用类似索引的技术来加快查找过程。高维索引技术主要有基于树型结构、基于聚类和基于hash的高维索引。词汇树算法通过分层k-means构建树型结构，适用于大规模数据的快速最近邻搜索。通过图像检索的结果获取相似度最高的图像信息，返回给移动设备较为丰富的标注信息，提高用户体验。

Claims (1)

1.一种智能移动终端的街景检索与识别方法，其特征在于：包括如下步骤：

步骤1、对城市中的不同位置区域分别建立街景图像数据库和热点信息数据库，并保存在服务器端；街景图像数据库的内容包括有：不同季节、一天中不同时间段和不同光照条件下拍摄的街景图像，以及对每副街景图像的位置标注信息和说明介绍标注信息；热点信息数据库的内容包括有：该区域下的热点地址的GPS位置信息、街景图像的缩略图以及说明介绍标注信息；

步骤2、对街景图像数据库建立词汇树索引结构，并保存在服务器端：

步骤2-1、提取街景图像数据库内的街景图像的SIFT特征向量，并保存为特征文件；

步骤2-2、读入街景图像数据库内所有街景图像的特征文件，对SIFT特征向量进行分层k-means聚类，设置分支因子K和树的高度L的大小，每一个聚类中心为一个视觉词汇，生成不加权的词汇树；

步骤2-3、利用词频-逆文档频率法给每一个视觉词汇添加倒排索引，得到词汇树视觉词汇的倒排索引文件，该倒排索引文件的内容包括词汇表和倒排列表，和生成加权的词汇树；

步骤3、智能移动终端向服务器端上传GPS位置信息，智能移动终端获取当前位置周围的热点区域信息：智能移动终端向服务器端上传GPS位置信息，服务器端对该GPS位置信息进行粗定位，读取该区域的热点信息数据库，同时计算智能移动终端当前位置与该区域街热点信息数据库中的热点位置之间的距离，将距离智能移动终端当前位置最小的前N个热点位置的信息返回智能移动终端进行显示；

步骤4、智能移动终端向服务器端上传GPS位置信息和拍摄的街景图像：打开智能移动终端的摄像头，拍摄街景图像；智能移动终端将GPS位置信息和拍摄的街景图像上传至服务器端；

步骤5、服务器端进行根据步骤4中智能移动终端上传的GPS位置信息和拍摄的街景图像返回所需内容：

步骤5-1、服务器端根据智能移动终端上传的GPS位置信息，读取相应位置区域的词汇树文件；

步骤5-2、提取智能移动终端上传的街景图像的SIFT特征向量，并保存为现场特征文件；

步骤5-3、将现场特征文件中的每一个SIFT特征向量量化到词汇树的视觉词汇，根据视觉词汇的倒排列表，计算街景图像数据库中相应区域内的街景图像与智能移动终端上传的街景图像之间的相似度；

步骤5-4、将步骤5-3中获得相似度最高的街景图像的对应的街景图像数据库中对应的内容返回给客户端；

步骤5-5、智能移动终端显示步骤5-4返回的内容。