CN104392007A - 一种智能移动终端的街景检索与识别方法 - Google Patents

一种智能移动终端的街景检索与识别方法 Download PDF

Info

Publication number
CN104392007A
CN104392007A CN201410794606.7A CN201410794606A CN104392007A CN 104392007 A CN104392007 A CN 104392007A CN 201410794606 A CN201410794606 A CN 201410794606A CN 104392007 A CN104392007 A CN 104392007A
Authority
CN
China
Prior art keywords
mobile terminal
view image
street view
intelligent mobile
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410794606.7A
Other languages
English (en)
Other versions
CN104392007B (zh
Inventor
李静
卢朝阳
黄韵
倪康康
徐斌
刘晓璐
郝绪祥
董芬芬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xd Rizhao Pioneer Park Management Co ltd
Original Assignee
XIDIAN-NINGBO INFORMATION TECHNOLOGY INSTITUTE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by XIDIAN-NINGBO INFORMATION TECHNOLOGY INSTITUTE filed Critical XIDIAN-NINGBO INFORMATION TECHNOLOGY INSTITUTE
Priority to CN201410794606.7A priority Critical patent/CN104392007B/zh
Publication of CN104392007A publication Critical patent/CN104392007A/zh
Application granted granted Critical
Publication of CN104392007B publication Critical patent/CN104392007B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种智能移动终端的街景检索与识别方法，其实现步骤为：(1)对不同位置区域分别建立街景图像数据库和热点信息数据库；(2)对数据库图像建立词汇树索引结构；(3)通过移动设备上传GPS位置信息，获取当前位置周围的热点区域；(4)上传街景图像，服务器端程序进行根据上传的GPS位置信息和图像信息进行检索，返回所需内容；(5)在移动设备上进行显示。本发明可以在地图上直观地显示热点区域，并获取丰富的标注信息，提高用户体验。

Description

一种智能移动终端的街景检索与识别方法
技术领域
本发明涉及图像检索技术领域，特别是涉及一种智能移动终端的街景检索与识别方法。
背景技术
移动终端技术和移动互联网技术的发展融合促进了基于位置的服务应用，用户能够获得便捷的服务和丰富的信息，进而对移动终端开发了大量的基于位置的服务应用。
一般的基于位置的移动终端应用通过GPS获取需求的位置信息，在地图上只显示用户当前所在的大概位置，用户不能在地图上直观地了解、观察并获取周围区域的景点、建筑等信息，包括位置信息、说明介绍信息等。在这种情况下，用户只能通过手动搜索地图查找所在位置周围的感兴趣区域，而且获取的信息也很有限。
发明内容
本发明所要解决的技术问题是针对上述现有技术提供一种能根据智能移动终端拍摄的街景图像就能获取当前位置的说明介绍的智能移动终端的街景检索与识别方法。
本发明解决上述技术问题所采用的技术方案为：一种应用于智能移动终端的城市街景检索与识别方法，其特征在于：包括如下步骤：
步骤1、对城市中的不同位置区域分别建立街景图像数据库和热点信息数据库，并保存在服务器端；
步骤2、对街景图像数据库建立词汇树索引结构，并保存在服务器端：
步骤2-1、提取街景图像数据库内的街景图像的SIFT特征向量，并保存为特征文件；
步骤2-2、读入街景图像数据库内所有街景图像的特征文件，对SIFT特征向量进行分层k-means聚类，设置分支因子K和树的高度L的大小，每一个聚类中心为一个视觉词汇，生成不加权的词汇树；
步骤2-3、利用词频-逆文档频率法给每一个视觉词汇添加倒排索引，得到词汇树视觉词汇的倒排索引文件，该倒排索引文件的内容包括词汇表和倒排列表，并生成加权的词汇树；
步骤3、智能移动终端向服务器端上传GPS位置信息，智能移动终端获取当前位置周围的热点区域信息：智能移动终端向服务器端上传GPS位置信息，服务器端对该GPS位置信息进行粗定位，读取该区域的热点信息数据库，同时计算智能移动终端当前位置与该区域热点信息数据库中的热点位置之间的距离。将距离智能移动终端当前位置最近的前N个热点位置的信息返回智能移动终端进行显示；
步骤4、智能移动终端向服务器端上传GPS位置信息和拍摄的街景图像：打开智能移动终端的摄像头，拍摄街景图像；智能移动终端将GPS位置信息和拍摄的街景图像上传至服务器端；
步骤5、服务器端根据步骤4中智能移动终端上传的GPS位置信息和拍摄的街景图像返回所需内容：
步骤5-1、服务器端根据智能移动终端上传的GPS位置信息，读取相应位置区域的词汇树文件；
步骤5-2、提取智能移动终端上传的街景图像的SIFT特征向量，并保存为现场特征文件；
步骤5-3、将现场特征文件内的每一个SIFT特征向量量化到词汇树的视觉词汇，根据视觉词汇的倒排列表，计算街景图像数据库中相应区域内的街景图像与智能移动终端上传的街景图像之间的相似度；
步骤5-4、将步骤5-3中获得相似度最高的街景图像的对应的街景图像数据库中对应的内容返回给客户端；
步骤5-5、智能移动终端显示步骤5-4返回的内容。
作为改进，所述步骤1中街景图像数据库的内容包括有：不同季节、一天中不同时间段和不同光照条件下拍摄的街景图像，以及对每幅街景图像的位置标注信息和说明介绍标注信息；热点信息数据库的内容包括有：该区域下的热点地址的GPS位置信息、街景图像的缩略图以及说明介绍标注信息。
与现有技术相比，本发明的优点在于：本发明综合考虑GPS位置信息，建立不同区域的街景图像数据库和热点信息数据库，通过智能移动终端无线定位获得GPS位置信息，获取智能移动终端周围的热点区域的位置信息、缩略图和标注信息，上传拍摄街景图像，服务器读取相应区域的词汇树文件，通过对不同的数据库利用词汇树算法进行图像检索，计算上传街景图像和数据库图像的相似度，可以获取较为丰富的信息，其优点主要表现在以下几个方面：
(1)、能够在智能移动终端上直观地显示用户当前所在位置周围的热点区域的相关信息；
(2)、对不同区域的热点信息建立不同的数据库，缩小搜索范围；
(3)、针对不同的区域建立街景图像数据库，通过智能移动终端无线定位获得的位置信息确定位置区域，服务器端读取相应区域的词汇树文件，能够加快检索速度，提高匹配的准确度；
(4)、词汇树检索算法通过分层k-means聚类构建树型索引结构，减少计算量，能够适用于大数据库，并通过倒排索引文件，加快检索的速度；
(5)、通过图像检索的结果获取相似度最高的图像信息，返回给智能移动设备较为丰富的信息，提高用户体验。
附图说明
图1是本发明实施例的系统架构框图。
图2是本发明实施例的系统模块框图。
图3是本发明实施例中热点区域计算过程框图。
图4是本发明实施例中词汇树建立框图。
图5是本发明实施例中的街景图像检索框图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提供的一种应用于智能移动终端的城市街景检索与识别方法，通信内容是智能移动终端与服务器端之间进行，参见图1和图2所示，具体包括如下步骤：
步骤1、对城市中的不同位置区域分别建立街景图像数据库和热点信息数据库，并保存在服务器端；这里街景图像数据库的内容包括有：不同季节、一天中不同时间段和不同光照条件下拍摄的街景图像，以及对每幅街景图像的位置标注信息和说明介绍标注信息；热点信息数据库的内容包括有：该区域下的热点地址的GPS位置信息、街景图像的缩略图以及说明介绍标注信息；
步骤2、对街景图像数据库建立词汇树索引结构，并保存在服务器端：
步骤2-1、提取街景图像数据库内的街景图像的SIFT特征向量，并保存为特征文件；
步骤2-2、读入街景图像数据库内所有街景图像的特征文件，对SIFT特征向量进行分层k-means聚类，设置分支因子K和树的高度L的大小，每一个聚类中心为一个视觉词汇，生成不加权的词汇树，参见图4所示；
步骤2-3、利用词频-逆文档频率法(TF-IDF)给每一个视觉词汇添加倒排索引，得到词汇树视觉词汇的倒排索引文件，该倒排索引文件的内容包括词汇表和倒排列表，和生成加权的词汇树；词汇表包含了所有的视觉词汇，并以一定的次序排列；每个词汇对应一个倒排列表，根据TD-IDF计算每个图像的词频向量的每个主词的加权词频，若词频数值大于0，将加权词频和图像标识符组成二元组添加到主词对应的倒排列表，生成加权的词汇树；倒排列表只保存有效的词频信息，如果某个词汇在一个图像没有出现，那么该图像和词频不会添加到该词汇对应的倒排列表；
步骤3、智能移动终端向服务器端上传GPS位置信息，智能移动终端获取当前位置周围的热点区域信息：智能移动终端向服务器端上传GPS位置信息，服务器端对该GPS位置信息进行粗定位，读取该区域的热点信息数据库，同时计算智能移动终端当前位置与该区域街热点信息数据库中的热点位置之间的距离，将距离智能移动终端当前位置最小的前N个热点位置的信息返回智能移动终端进行显示，参见图3所示；
步骤4、智能移动终端向服务器端上传GPS位置信息和拍摄的街景图像：打开智能移动终端的摄像头，拍摄街景图像；智能移动终端将GPS位置信息和拍摄的街景图像上传至服务器端；
步骤5、服务器端进行根据步骤4中智能移动终端上传的GPS位置信息和拍摄的街景图像返回所需内容：
步骤5-1、服务器端根据智能移动终端上传的GPS位置信息，读取相应位置区域的词汇树文件；
步骤5-2、提取智能移动终端上传的街景图像的SIFT特征向量，并保存为现场特征文件；
步骤5-3、将现场特征文件内的每一个SIFT特征向量量化到词汇树的视觉词汇，首先找出词频向量中不为0的分量，根据视觉词汇的倒排列表，计算街景图像数据库中相应区域内的街景图像与智能移动终端上传的街景图像之间的相似度；
步骤5-4、将步骤5-3中获得相似度最高的街景图像的缩略图和关键字信息返回给客户端；
步骤5-5、智能移动终端显示步骤5-4返回的内容，参见图5所示。
智能移动终端和服务器端进行数据的传输时，采用具有前后台双层结构的客户端-服务器模式；Web请求、客户端数据传输使用HTTP协议完成；服务器前端采用Apache，PHP脚本解析客户端的大量请求并返回数据信息；服务器计算热点区域和图像检索程序作为后台服务，开启一个socket监听请求；街景图像数据库和热点信息数据库采用MqSQL数据库，保存位置信息和标注信息。
本发明通过建立街景图像数据库，利用GPS位置信息进行粗定位，在地图上标注用户位置周围可能感兴趣的热点区域，并利用多信息融合的图像检索技术，通过拍照获取所在位置的标注信息。
基于内容的图像检索通过对图像的视觉特征进行研究，根据图像描述内容的各种特征，如颜色特征、纹理特征和形状特征，通过图像间相同特征的相似程度来判断两幅图片是否相似，从图像库中检索出目标图像。基于内容的图像检索主要包括两个问题，首先是图像的特征提取，第二是图像特征向量的索引和匹配。图像特征提取主要有基于图像底层视觉特征，包括全局特征和局部特征，基于区域的特征和基于图像语义特征。
从海量的高维数据集合中找到与某个数据最相似(距离最近)的一个数据或多个数据。如果是低维的小数据集，通过线性查找(Linear Search)就可以容易解决，对一个海量的高维数据集采用线性查找匹配的话，会非常耗时，为了解决该问题，采用类似索引的技术来加快查找过程。高维索引技术主要有基于树型结构、基于聚类和基于hash的高维索引。词汇树算法通过分层k-means构建树型结构，适用于大规模数据的快速最近邻搜索。通过图像检索的结果获取相似度最高的图像信息，返回给移动设备较为丰富的标注信息，提高用户体验。

Claims (2)

1.一种智能移动终端的街景检索与识别方法，其特征在于：包括如下步骤：
步骤1、对城市中的不同位置区域分别建立街景图像数据库和热点信息数据库，并保存在服务器端；
步骤2、对街景图像数据库建立词汇树索引结构，并保存在服务器端：
步骤2-1、提取街景图像数据库内的街景图像的SIFT特征向量，并保存为特征文件；
步骤2-2、读入街景图像数据库内所有街景图像的特征文件，对SIFT特征向量进行分层k-means聚类，设置分支因子K和树的高度L的大小，每一个聚类中心为一个视觉词汇，生成不加权的词汇树；
步骤2-3、利用词频-逆文档频率法给每一个视觉词汇添加倒排索引，得到词汇树视觉词汇的倒排索引文件，该倒排索引文件的内容包括词汇表和倒排列表，和生成加权的词汇树；
步骤3、智能移动终端向服务器端上传GPS位置信息，智能移动终端获取当前位置周围的热点区域信息：智能移动终端向服务器端上传GPS位置信息，服务器端对该GPS位置信息进行粗定位，读取该区域的热点信息数据库，同时计算智能移动终端当前位置与该区域街热点信息数据库中的热点位置之间的距离，将距离智能移动终端当前位置最小的前N个热点位置的信息返回智能移动终端进行显示；
步骤4、智能移动终端向服务器端上传GPS位置信息和拍摄的街景图像：打开智能移动终端的摄像头，拍摄街景图像；智能移动终端将GPS位置信息和拍摄的街景图像上传至服务器端；
步骤5、服务器端进行根据步骤4中智能移动终端上传的GPS位置信息和拍摄的街景图像返回所需内容：
步骤5-1、服务器端根据智能移动终端上传的GPS位置信息，读取相应位置区域的词汇树文件；
步骤5-2、提取智能移动终端上传的街景图像的SIFT特征向量，并保存为现场特征文件；
步骤5-3、将现场特征文件中的每一个SIFT特征向量量化到词汇树的视觉词汇，根据视觉词汇的倒排列表，计算街景图像数据库中相应区域内的街景图像与智能移动终端上传的街景图像之间的相似度；
步骤5-4、将步骤5-3中获得相似度最高的街景图像的对应的街景图像数据库中对应的内容返回给客户端；
步骤5-5、智能移动终端显示步骤5-4返回的内容。
2.根据权利要求1所述的一种智能移动终端的街景检索与识别方法，其特征在于：步骤1中街景图像数据库的内容包括有：不同季节、一天中不同时间段和不同光照条件下拍摄的街景图像，以及对每副街景图像的位置标注信息和说明介绍标注信息；热点信息数据库的内容包括有：该区域下的热点地址的GPS位置信息、街景图像的缩略图以及说明介绍标注信息。
CN201410794606.7A 2014-12-18 2014-12-18 一种智能移动终端的街景检索与识别方法 Expired - Fee Related CN104392007B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410794606.7A CN104392007B (zh) 2014-12-18 2014-12-18 一种智能移动终端的街景检索与识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410794606.7A CN104392007B (zh) 2014-12-18 2014-12-18 一种智能移动终端的街景检索与识别方法

Publications (2)

Publication Number Publication Date
CN104392007A true CN104392007A (zh) 2015-03-04
CN104392007B CN104392007B (zh) 2017-11-24

Family

ID=52609911

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410794606.7A Expired - Fee Related CN104392007B (zh) 2014-12-18 2014-12-18 一种智能移动终端的街景检索与识别方法

Country Status (1)

Country Link
CN (1) CN104392007B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104965887A (zh) * 2015-06-16 2015-10-07 安一恒通（北京）科技有限公司 信息获取方法和装置
CN105786989A (zh) * 2016-02-17 2016-07-20 上海碧虎网络科技有限公司 一种基于地图热点的信息展示方法和系统
CN106408601A (zh) * 2016-09-26 2017-02-15 成都通甲优博科技有限责任公司 一种基于gps的双目融合定位方法及装置
CN106503745A (zh) * 2016-10-26 2017-03-15 郑州埃文计算机科技有限公司 基于社交图片sift特征的上下文信息预测方法
CN106776849A (zh) * 2016-11-28 2017-05-31 西安交通大学 一种以图快速检索景点的方法及导游系统
CN109543566A (zh) * 2018-11-05 2019-03-29 深圳市商汤科技有限公司 信息处理方法及装置、电子设备和存储介质
CN110189159A (zh) * 2019-04-19 2019-08-30 上海拉扎斯信息科技有限公司 数据评估方法、装置、电子设备及存储介质
CN110188242A (zh) * 2019-05-30 2019-08-30 北京三快在线科技有限公司 无人驾驶设备定位方法、装置、无人驾驶设备和存储介质
CN112085964A (zh) * 2019-06-13 2020-12-15 加燐系统株式会社 车辆停车位置引导系统及方法
CN113627419A (zh) * 2020-05-08 2021-11-09 百度在线网络技术（北京）有限公司 兴趣区域评估方法、装置、设备和介质
CN118865100A (zh) * 2024-06-24 2024-10-29 南京林业大学 一种基于街景图像的行道树快速普查方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009151928A2 (en) * 2008-05-27 2009-12-17 Qualcomm Incorporated Method and apparatus for aggregating and presenting data associated with geographic locations
CN102118683A (zh) * 2009-12-31 2011-07-06 比亚迪股份有限公司 一种基于gps的移动通讯终端导游方法
CN103294712A (zh) * 2012-02-29 2013-09-11 三星电子（中国）研发中心 实时热点区域推荐系统和方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009151928A2 (en) * 2008-05-27 2009-12-17 Qualcomm Incorporated Method and apparatus for aggregating and presenting data associated with geographic locations
CN102118683A (zh) * 2009-12-31 2011-07-06 比亚迪股份有限公司 一种基于gps的移动通讯终端导游方法
CN103294712A (zh) * 2012-02-29 2013-09-11 三星电子（中国）研发中心 实时热点区域推荐系统和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈赟等: "基于词汇树的图片搜索", 《计算机工程》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104965887A (zh) * 2015-06-16 2015-10-07 安一恒通（北京）科技有限公司 信息获取方法和装置
CN105786989A (zh) * 2016-02-17 2016-07-20 上海碧虎网络科技有限公司 一种基于地图热点的信息展示方法和系统
CN106408601B (zh) * 2016-09-26 2018-12-14 成都通甲优博科技有限责任公司 一种基于gps的双目融合定位方法及装置
CN106408601A (zh) * 2016-09-26 2017-02-15 成都通甲优博科技有限责任公司 一种基于gps的双目融合定位方法及装置
CN106503745A (zh) * 2016-10-26 2017-03-15 郑州埃文计算机科技有限公司 基于社交图片sift特征的上下文信息预测方法
CN106776849B (zh) * 2016-11-28 2020-01-10 西安交通大学 一种以图快速检索景点的方法及导游系统
CN106776849A (zh) * 2016-11-28 2017-05-31 西安交通大学 一种以图快速检索景点的方法及导游系统
CN109543566A (zh) * 2018-11-05 2019-03-29 深圳市商汤科技有限公司 信息处理方法及装置、电子设备和存储介质
CN110189159A (zh) * 2019-04-19 2019-08-30 上海拉扎斯信息科技有限公司 数据评估方法、装置、电子设备及存储介质
CN110188242A (zh) * 2019-05-30 2019-08-30 北京三快在线科技有限公司 无人驾驶设备定位方法、装置、无人驾驶设备和存储介质
CN112085964A (zh) * 2019-06-13 2020-12-15 加燐系统株式会社 车辆停车位置引导系统及方法
CN113627419A (zh) * 2020-05-08 2021-11-09 百度在线网络技术（北京）有限公司 兴趣区域评估方法、装置、设备和介质
CN113627419B (zh) * 2020-05-08 2024-07-16 百度在线网络技术（北京）有限公司 兴趣区域评估方法、装置、设备和介质
CN118865100A (zh) * 2024-06-24 2024-10-29 南京林业大学 一种基于街景图像的行道树快速普查方法

Also Published As

Publication number Publication date
CN104392007B (zh) 2017-11-24

Similar Documents

Publication Publication Date Title
CN104392007A (zh) 一种智能移动终端的街景检索与识别方法
US11886489B2 (en) System and method of identifying visual objects
US20090083275A1 (en) Method, Apparatus and Computer Program Product for Performing a Visual Search Using Grid-Based Feature Organization
US8831352B2 (en) Event determination from photos
US20080270378A1 (en) Method, Apparatus and Computer Program Product for Determining Relevance and/or Ambiguity in a Search System
US20130243307A1 (en) Object identification in images or image sequences
WO2017080173A1 (zh) 基于自然信息识别的推送系统和方法及一种客户端
US9672223B2 (en) Geo photo searching based on current conditions at a location
CN104520848A (zh) 按照出席者搜索事件
WO2010071617A1 (en) Method and apparatus for performing image processing
CN103198162B (zh) 一种图像浏览交互方法
US10331733B2 (en) System and method for presenting condition-specific geographic imagery
EP2665018A1 (en) Object identification in images or image sequences
US12346371B2 (en) System and method of identifying visual objects
Song Large‐Scale Image Retrieval of Tourist Attractions Based on Multiple Linear Regression Equations
Wang et al. iGAPSearch: Using phone cameras to search around the world
Liu et al. Scan without a Glance: Towards Content-Free Crowd-Sourced Mobile Video Retrieval System
EP2849093A1 (en) Method of displaying data associated with an image of an object, and corresponding device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20191008

Address after: 276800 first floor, A6 North building, electronic information industrial park, Gaoxin 7th Road, high tech Zone, Rizhao City, Shandong Province

Patentee after: XD (Rizhao) Pioneer Park Management Co.,Ltd.

Address before: West Street in the official Zhejiang city of Ningbo province Zhenhai District 315200 Village No. 777 Gen E WITHUB 42

Patentee before: Xidian-Ningbo Information Technology Institute

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171124

Termination date: 20211218