CN115062172B - 一种基于位置的增强现实图像数据搜索方法及系统 - Google Patents

一种基于位置的增强现实图像数据搜索方法及系统 Download PDF

Info

Publication number
CN115062172B
CN115062172B CN202210996531.5A CN202210996531A CN115062172B CN 115062172 B CN115062172 B CN 115062172B CN 202210996531 A CN202210996531 A CN 202210996531A CN 115062172 B CN115062172 B CN 115062172B
Authority
CN
China
Prior art keywords
poi
node
fov
mobile terminal
child
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210996531.5A
Other languages
English (en)
Other versions
CN115062172A (zh
Inventor
张波
张超
万亚东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN202210996531.5A priority Critical patent/CN115062172B/zh
Publication of CN115062172A publication Critical patent/CN115062172A/zh
Application granted granted Critical
Publication of CN115062172B publication Critical patent/CN115062172B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种基于位置的增强现实图像数据搜索方法及系统，属于计算机应用技术领域。所述方法包括：确定移动终端设备镜头的视域；为城市空间POI集合O中的所有POI构建基于方向和位置感知的索引结构，根据确定的视域和构建的索引结构，定位能在移动终端设备屏幕上最佳显示的POI o；获取该城市空间对应的图像集，对图像集中的图像进行FOV提取，得到图像集对应的FOV集合F；构建POI‑FOV字典列表；搜索POI‑FOV字典列表，定位能覆盖到最佳POI o的所有FOV的编号，在图像集中根据编号定位这些FOV对应的图像，构成包含o的图像结果集S；在移动终端设备的屏幕上显示相应的信息。采用本发明，能够在实现非结构图像数据的高效管理和搜索的同时提高用户的观感体验。

Description

一种基于位置的增强现实图像数据搜索方法及系统
技术领域
本发明涉及计算机应用技术领域，特别是指一种基于位置的增强现实图像数据搜索方法及系统。
背景技术
随着如智能手机等移动终端设备的广泛普及，用户每天都会在互联网上上传大量的图像数据，而对这些图像数据的挖掘分析可以进一步提高用户基于位置服务的质量。但由于这些图像数据海量、非结构化的特点，使对图像数据的分析、查询和管理面临着一系列的挑战。
发明内容
本发明实施例提供了基于位置的增强现实图像数据搜索方法及系统，能够在实现非结构图像数据的高效管理和搜索的同时提高用户的观感体验。所述技术方案如下：
一方面，提供了一种基于位置的增强现实图像数据搜索方法，包括：
确定移动终端设备镜头的视域；
为城市空间POI集合O中的所有POI构建基于方向和位置感知的索引结构，根据确定的视域和构建的索引结构，定位能在移动终端设备屏幕上最佳显示的POI o；其中，POI表示兴趣点；
获取该城市空间对应的图像集，对图像集中的图像进行FOV提取，得到图像集对应的FOV集合F，其中，F中的FOV元素与图像集中的图像通过编号对应，FOV表示视域；
构建POI-FOV字典列表，该字典列表的键为POI的id，对应值为能覆盖这个POI的所有FOV的编号构成的集合；其中，id表示唯一编码；
搜索POI-FOV字典列表，定位能覆盖到最佳POI o的所有FOV的编号，并在图像集中根据编号定位这些FOV对应的图像，构成包含o的图像结果集S；
在移动终端设备的屏幕上显示拍摄到的最佳POI o的名称、空间位置、文本描述以及S中的所有图像。
进一步地，所述确定移动终端设备镜头的视域包括：
根据GPS定位技术获取移动终端设备所处的位置
Figure 639497DEST_PATH_IMAGE001
；
根据罗盘信息获取移动终端设备镜头的朝向角度
Figure 445779DEST_PATH_IMAGE002
；
根据移动终端设备镜头的光学参数获取镜头可视距离
Figure 151567DEST_PATH_IMAGE003
及可视角度
Figure 142525DEST_PATH_IMAGE004
，得到移动 终端设备镜头的视域
Figure 199343DEST_PATH_IMAGE005
。
进一步地，集合O中的每个POI都具备一个id属性、名称属性name、空间位置属性location和文本描述属性text，其中，文本描述为此POI的简介。
进一步地，所述为城市空间POI集合O中的所有POI构建基于方向和位置感知的索引结构包括：
A1、计算城市空间POI集合O覆盖的空间范围R = [X1, Y1, X2, Y2]，(X1, Y1)为R的左下顶点坐标，(X2, Y2)为R的右上顶点坐标；
A2、判断集合O是否为空，为空则跳转到步骤A5，否则跳转到步骤A3；
A3、在空间R-A内随机生成一个数据点point(x, y)，同时沿正X方向和正Y方向逐 步扩展数据点point为逐步增大的矩形区域area，即每次扩展point的x和y值在前次扩展基 础上分别增大
Figure 405721DEST_PATH_IMAGE006
和
Figure 559491DEST_PATH_IMAGE007
，直至area内POI数最大且不超过正整数k扩展结束，其中， R-A表示 未被叶子节点覆盖的空间区域；
A4、将area构建为一个叶子节点leaf，将leaf存入集合A中并跳转到步骤A2；其中，集合A中存储的是目前已经确定的所有叶子节点，叶子节点属性包括：
空间范围属性spacerange，它是area覆盖的空间范围，为一个矩形；
孩子属性children，它为一个集合，包含位置位于spacerange内的所有POI，并将这些POI从集合O中移除；
空间方向属性spacedirection，为矩形spacerange相对于R左下顶点的空间角度范围；
空间距离属性distance，为矩形spacerange相对于R左下顶点的最小距离；
A5、判断集合A中节点数是否大于k，大于k则跳转到步骤A6，否则跳转到步骤A9；
A6、在空间R-A’内随机生成数据点point’，聚集point’周围的至多k个节点，并把这些节点从集合A中移除，其中，A’中存储的是目前已经确定的相较于A中节点高一层的节点，R-A’为未被当前最高层节点覆盖的空间区域；
A7、将找到的至多k个节点构建为一个较高一层的节点node，将node存入集合A’中；其中，node节点属性包括：
空间范围属性spacerange，为node覆盖的空间范围，为一个矩形；
孩子属性children，它为一个集合，包含位置位于spacerange内的较node低一层的节点；
空间方向属性spacedirection，为矩形spacerange相对于R左下顶点的空间角度范围；
空间距离属性distance，为矩形spacerange相对于R左下顶点的最小距离；
A8、令A代替A’，并清空A’，然后跳转到步骤A5；
A9、构建一个根节点root，其孩子属性children为由A’中所有节点构成的集合，输出root。
进一步地，所述根据确定的视域和构建的索引结构，定位能在移动终端设备屏幕上最佳显示的POI o包括：
B1、创建集合nodeSet，将根节点root存入集合nodeSet中；
B2、从集合nodeSet中移除存入的节点；
B3、判断从集合nodeSet中移除的节点的类型，若为叶子节点跳转到步骤B4，否则跳转到步骤B5；
B4、移除的节点为一个叶子节点，用leaf表示此移除节点，遍历此叶子节点leaf的 孩子集合leaf.children，将位于视域f内且距离
Figure 393454DEST_PATH_IMAGE001
最近的POI存入集合poiSet中；其中，
Figure 406410DEST_PATH_IMAGE001
表 示移动终端设备所处的位置；
B5、移除的节点为一个非叶子节点，用node表示此移除节点，遍历此非叶子节点 node的孩子集合node.children，对任意孩子child将空间方向属性child.spacedirection 和空间距离属性child.distance分别以
Figure 351232DEST_PATH_IMAGE001
为参考进行映射得到child.spacedirection’和 child.distance’，若child.spacedirection’与
Figure 763103DEST_PATH_IMAGE004
存在交集且child.distance’小于
Figure 767968DEST_PATH_IMAGE003
，则 将child存入nodeSet；其中，
Figure 596116DEST_PATH_IMAGE003
、
Figure 79050DEST_PATH_IMAGE004
分别表示移动终端设备镜头可视距离及可视角度；
B6、判断nodeSet是否为空，为空则跳转到步骤B7，否则跳转到步骤B2；
B7、将集合poiSet中最靠近方向
Figure 613936DEST_PATH_IMAGE002
的POI作为最佳显示POI o，输出o；其中，
Figure 258544DEST_PATH_IMAGE008
表示 移动终端设备镜头的朝向角度。
进一步地，所述获取该城市空间对应的图像集，对图像集中的图像进行FOV提取，得到图像集对应的FOV集合F包括：
获取该城市空间对应的图像集，并对图像集中的图像进行增强、复原、编码处理；
对处理后的图像进行FOV提取，得到图像集对应的FOV集合F。
一方面，提供了一种基于位置的增强现实图像数据搜索系统，包括：
视域确定模块，用于确定移动终端设备镜头的视域；
第一定位模块，用于为城市空间POI集合O中的所有POI构建基于方向和位置感知的索引结构，根据确定的视域和构建的索引结构，定位能在移动终端设备屏幕上最佳显示的POI o； 其中，POI表示兴趣点；
提取模块，用于获取该城市空间对应的图像集，对图像集中的图像进行FOV提取，得到图像集对应的FOV集合F，其中，F中的FOV元素与图像集中的图像通过编号对应，FOV表示视域；
构建模块，用于构建POI-FOV字典列表，该字典列表的键为POI的id，对应值为能覆盖这个POI的所有FOV的编号构成的集合；其中，id表示唯一编码；
第二定位模块，用于搜索POI-FOV字典列表，定位能覆盖到最佳POI o的所有FOV的编号，并在图像集中根据编号定位这些FOV对应的图像，构成包含o的图像结果集S；
显示模块，用于在移动终端设备的屏幕上显示拍摄到的最佳POI o的名称、空间位置、文本描述以及S中的所有图像。
本发明实施例提供的技术方案带来的有益效果至少包括：
1、本发明实施例设计了方向和位置感知的POI索引结构及搜索方法，扩展了从空间数据查询角度搜索非结构化图像数据的思路，在实现非结构图像数据的高效管理和搜索的同时提高用户的观感体验；
2、本发明实施例将位置服务与增强现实技术应用于图像数据搜索中，能在移动终端设备屏幕中同时向用户展示最佳POI及其名称、空间位置、文本描述、存在POI o的图像，极大提高用户的观感体验；
3、本发明实施例可以广泛应用于如城市旅游、交通等基于位置服务中，具有广泛的实际应用价值。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于位置的增强现实图像数据搜索方法的流程示意图；
图2为本发明实施例提供的视域的可视化示意图；
图3为本发明实施例提供的索引结构构建流程示意图；
图4（a）为本发明实施例提供的索引结构的可视化平面示意图；
图4（b）为本发明实施例提供的树形组织结构示意图；
图5为本发明实施例提供的基于索引结构的最佳显示的POI 搜索流程示意图；
图6为本发明实施例提供的基于位置的增强现实图像数据搜索系统的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
如图1所示，本发明实施例提供了一种基于位置的增强现实图像数据搜索方法，包括：
S1、确定移动终端设备镜头的视域；具体可以包括以下步骤：
根据GPS定位技术获取移动终端设备所处的位置
Figure 311338DEST_PATH_IMAGE001
；
根据罗盘信息获取移动终端设备镜头的朝向角度
Figure 519335DEST_PATH_IMAGE002
；
根据移动终端设备镜头的光学参数获取镜头可视距离
Figure 643149DEST_PATH_IMAGE003
及可视角度
Figure 193079DEST_PATH_IMAGE004
，得到移动 终端设备镜头的视域
Figure 526977DEST_PATH_IMAGE005
。
本发明实施例中，通过移动终端设备（具体指其中的图像采集设备）的镜头光学参 数和用户地理位置信息可以获取图像的地理覆盖区域，该区域在二维平面空间中表现为一 个扇形，简称为视域，用FOV（Field-Of-View）表示。如图2所示，以正北为参考，FOV用
Figure 434538DEST_PATH_IMAGE009
描述，图2中，
Figure 147279DEST_PATH_IMAGE010
表示一个FOV。
S2、为城市空间POI（Point-Of-Interest）集合O中的所有POI构建基于方向和位置感知的索引结构，根据确定的视域和构建的索引结构，定位能在移动终端设备屏幕上最佳显示的POI o； 其中，POI表示兴趣点；
本实施例中，集合O中的每个POI都具备一个id属性、名称属性name、空间位置属性location和文本描述属性text，其中，文本描述为此POI的简介。
本实施例中，如图3所示，为城市空间POI集合O中的所有POI构建基于方向和位置感知的索引结构，具体可以包括以下步骤：
A1、计算城市空间POI集合O覆盖的空间范围R = [X1, Y1, X2, Y2]，(X1, Y1)为R的左下顶点坐标，(X2, Y2)为R的右上顶点坐标；
A2、判断集合O是否为空，为空则跳转到步骤A5，否则跳转到步骤A3；
A3、在空间R-A内随机生成一个数据点point(x, y)，同时沿正X方向和正Y方向逐 步扩展数据点point为逐步增大的矩形区域area，即每次扩展point的x和y值在前次扩展基 础上分别增大
Figure 399269DEST_PATH_IMAGE011
和
Figure 361409DEST_PATH_IMAGE012
，直至area内POI数最大且不超过正整数k扩展结束，其中， R-A表 示未被叶子节点覆盖的空间区域；
本实施例中，矩形区域area是逐步扩展增大的，比如，当第i次扩展后统计area内POI数是小于k的，那么进行第i+1次扩展，再统计area内POI数，此时存在两种情况：
1）如果POI数大于k了，则消除第i+1次的扩展，则第i次扩展完毕就结束；
2）如果POI数=k，则第i+1次扩展完毕就不再扩展了；
通过上述步骤，保证area内POI数最大且不超过正整数k。
A4、将area构建为一个叶子节点leaf，将leaf存入集合A中并跳转到步骤A2；其中，集合A中存储的是目前已经确定的所有叶子节点，叶子节点属性包括：
空间范围属性spacerange，它是area覆盖的空间范围，为一个矩形；
孩子属性children，它为一个集合，包含位置位于spacerange内的所有POI，并将这些POI从集合O中移除；
空间方向属性spacedirection，为矩形spacerange相对于R左下顶点的空间角度范围；
空间距离属性distance，为矩形spacerange相对于R左下顶点的最小距离；
A5、判断集合A中节点数是否大于k，若大于k则跳转到步骤A6，否则跳转到步骤A9；
A6、在空间R-A’内随机生成数据点point’，聚集point’周围的至多k个节点，并把这些节点从集合A中移除，其中，A’中存储的是目前已经确定的相较于A中节点高一层的节点，R-A’为未被当前最高层节点覆盖的空间区域；
本实施例中，索引结构是从最底层的叶子节点开始逐层向上构建的，最底层是叶子节点，最高层是根节点，其他的都是非叶子节点或者称为中间节点。由于步骤A5～A8是一个递归建索引的过程，因此，至多k个节点中的 “节点”可以是叶子节点，也可以是非叶子节点；具体的：
当进行叶子节点的上一层节点的构建时，这里“节点”指叶子节点；
当进行非叶子节点的上一层节点的构建时，这里“节点”指非叶子节点。
A7、将找到的至多k个节点构建为一个较高一层的节点node，将node存入集合A’中；其中，node节点属性包括：
空间范围属性spacerange，为node覆盖的空间范围，为一个矩形；
孩子属性children，它为一个集合，包含位置位于spacerange内的较node低一层的节点；
空间方向属性spacedirection，为矩形spacerange相对于R左下顶点的空间角度范围；
空间距离属性distance，为矩形spacerange相对于R左下顶点的最小距离；
A8、令A代替A’，并清空A’，然后跳转到步骤A5；
A9、构建一个根节点root，其孩子属性children为由A中所有节点构成的集合，输出root。
本实施例中，root的本质也是一个node节点，具有node节点的所有属性。
本实施例中，假设POI集合O = {o1, ..., o11}，最大的矩形为O的空间覆盖范围。如图4(a)中所示，叶子节点leaf1是由数据点point逐步扩展得到的，因为{o1, o2, o3}位于leaf1的覆盖范围内，所以leaf1.children = { o1, o2, o3}，图4(a)中还标记了leaf1的空间方向属性spacedirection和空间距离属性distance，这些属性可以帮助快速定位最佳显示POI。本实施例中，k为3，即节点包含的孩子数最大不会超过3。进一步，非叶子节点node1由point’附近的叶子节点leaf1和leaf2聚集得到。当聚集得到非叶子节点node1和node2后，空间最高层节点数为2，不大于k，所以最终构建得到根节点root，并进一步得到如图4(b)所示的树形组织结构。
如图5所示，根据确定的视域和构建的索引结构，定位能在移动终端设备屏幕上最佳显示的POI o，具体可以包括以下步骤：
B1、创建集合nodeSet，将根节点root存入集合nodeSet中；
本实施例中，nodeSet相当于一个临时存储节点的容器，由于要找到“最佳显示POIo”，所以设计了一种从根节点到非叶子节点到叶子节点（即从上到下）的搜索索引结构的算法，所以开始的时候是把根节点root放到这个容器中。B2中的node代指索引结构的一切节点，包括根节点、叶子节点、非叶子节点，如果是初始的根节点root存入nodeSet则执行B2，nodeSet会暂时为空，但执行后续步骤后，会有新的节点存入nodeSet中。本实施例的目标是找到“最佳显示POI o”，这个过程中会利用nodeSet这个容器存储筛选出的节点。
B2、从集合nodeSet中移除存入的节点；B3、判断从集合nodeSet中移除的节点的类型，若为叶子节点跳转到步骤B4，否则跳转到步骤B5；
B4、此时，移除的节点为一个叶子节点，用leaf表示此移除节点，遍历此叶子节点 leaf的孩子集合leaf.children，将位于视域f内且距离
Figure 848891DEST_PATH_IMAGE001
最近的POI存入集合poiSet中；其 中，
Figure 12543DEST_PATH_IMAGE001
表示移动终端设备所处的位置；
B5、此时，移除的节点为一个非叶子节点，用node表示此移除节点，遍历此非叶子 节点node的孩子集合node.children，对任意孩子child将空间方向属性 child.spacedirection和空间距离属性child.distance分别以
Figure 701014DEST_PATH_IMAGE001
为参考进行映射得到 child.spacedirection’和child.distance’，若child.spacedirection’与
Figure 947187DEST_PATH_IMAGE004
存在交集且 child.distance’小于
Figure 113726DEST_PATH_IMAGE003
，则将child存入nodeSet；其中，
Figure 296665DEST_PATH_IMAGE003
、
Figure 107102DEST_PATH_IMAGE004
分别表示移动终端设备镜头可 视距离及可视角度；
B6、判断nodeSet是否为空，为空则跳转到步骤B7，否则跳转到步骤B2；
B7、将集合poiSet中最靠近方向
Figure 106151DEST_PATH_IMAGE002
的POI作为最佳显示POI o，输出o；其中，
Figure 404277DEST_PATH_IMAGE008
表示 移动终端设备镜头的朝向角度。
S3、获取该城市空间对应的图像集，对图像集中的图像进行FOV提取，得到图像集对应的FOV（Field-Of-View）集合F，具体可以包括以下步骤：
获取该城市空间对应的图像集，并对图像集中的图像进行增强、复原、编码处理；
对处理后的图像进行FOV提取，得到图像集对应的FOV集合F。
本实施例中，F中的FOV元素与图像集中的图像通过编号对应。
S4、构建POI-FOV字典列表，该字典列表的键为POI的id，对应值为能覆盖这个POI的所有FOV的编号构成的集合；其中，id表示唯一编码；
S5、搜索POI-FOV字典列表，定位能覆盖到最佳POI o的所有FOV的编号，并在图像集中根据编号定位这些FOV对应的图像，构成包含o的图像结果集S；
S6、在移动终端设备的屏幕上显示拍摄到的最佳POI o的名称、空间位置、文本描述以及S中的所有图像。
本发明实施例所述的基于位置的增强现实图像数据搜索方法，至少具有以下有益效果：
1、本发明实施例设计了方向和位置感知的POI索引结构及搜索方法，扩展了从空间数据查询角度搜索非结构化图像数据的思路，在实现非结构图像数据的高效管理和搜索的同时提高用户的观感体验；
2、本发明实施例将位置服务与增强现实技术应用于图像数据搜索中，能在移动终端设备屏幕中同时向用户展示最佳POI及其名称、空间位置、文本描述、存在POI o的图像，极大提高用户的观感体验；
3、本发明实施例可以广泛应用于如城市旅游、交通等基于位置服务中，具有广泛的实际应用价值。
本发明还提供一种基于位置的增强现实图像数据搜索系统的具体实施方式，由于本发明提供的基于位置的增强现实图像数据搜索系统与前述基于位置的增强现实图像数据搜索方法的具体实施方式相对应，该基于位置的增强现实图像数据搜索系统可以通过执行上述方法具体实施方式中的流程步骤来实现本发明的目的，因此上述基于位置的增强现实图像数据搜索方法具体实施方式中的解释说明，也适用于本发明提供的基于位置的增强现实图像数据搜索系统的具体实施方式，在本发明以下的具体实施方式中将不再赘述。
如图6所示，本发明实施例还提供一种基于位置的增强现实图像数据搜索系统，包括：
视域确定模块11，用于确定移动终端设备镜头的视域；
第一定位模块12，用于为城市空间POI集合O中的所有POI构建基于方向和位置感知的索引结构，根据确定的视域和构建的索引结构，定位能在移动终端设备屏幕上最佳显示的POI o； 其中，POI表示兴趣点；
提取模块13，用于获取该城市空间对应的图像集，对图像集中的图像进行FOV提取，得到图像集对应的FOV集合F，其中，F中的FOV元素与图像集中的图像通过编号对应，FOV表示视域；
构建模块14，用于构建POI-FOV字典列表，该字典列表的键为POI的id，对应值为能覆盖这个POI的所有FOV的编号构成的集合；其中，id表示唯一编码；
第二定位模块15，用于搜索POI-FOV字典列表，定位能覆盖到最佳POI o的所有FOV的编号，并在图像集中根据编号定位这些FOV对应的图像，构成包含o的图像结果集S；
显示模块16，用于在移动终端设备的屏幕上显示拍摄到的最佳POI o的名称、空间位置、文本描述以及S中的所有图像。
本发明实施例所述的基于位置的增强现实图像数据搜索系统，至少具有以下有益效果：
1、本发明实施例设计了方向和位置感知的POI索引结构及搜索方法，扩展了从空间数据查询角度搜索非结构化图像数据的思路，在实现非结构图像数据的高效管理和搜索的同时提高用户的观感体验；
2、本发明实施例将位置服务与增强现实技术应用于图像数据搜索中，能在移动终端设备屏幕中同时向用户展示最佳POI及其名称、空间位置、文本描述、存在POI o的图像，极大提高用户的观感体验；
3、本发明实施例可以广泛应用于如城市旅游、交通等基于位置服务中，具有广泛的实际应用价值。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于位置的增强现实图像数据搜索方法，其特征在于，包括：
确定移动终端设备镜头的视域；
为城市空间POI集合O中的所有POI构建基于方向和位置感知的索引结构，根据确定的视域和构建的索引结构，定位能在移动终端设备屏幕上最佳显示的POI o；其中，POI表示兴趣点；
获取该城市空间对应的图像集，对图像集中的图像进行FOV提取，得到图像集对应的FOV集合F，其中，F中的FOV元素与图像集中的图像通过编号对应，FOV表示视域；
构建POI-FOV字典列表，该字典列表的键为POI的id，对应值为能覆盖这个POI的所有FOV的编号构成的集合；其中，id表示唯一编码；
搜索POI-FOV字典列表，定位能覆盖到最佳POI o的所有FOV的编号，并在图像集中根据编号定位这些FOV对应的图像，构成包含o的图像结果集S；
在移动终端设备的屏幕上显示拍摄到的最佳POI o的名称、空间位置、文本描述以及S中的所有图像；
其中，所述为城市空间POI集合O中的所有POI构建基于方向和位置感知的索引结构包括：
A1、计算城市空间POI集合O覆盖的空间范围R = [X1, Y1, X2, Y2]，(X1, Y1)为R的左下顶点坐标，(X2, Y2)为R的右上顶点坐标；
A2、判断集合O是否为空，为空则跳转到步骤A5，否则跳转到步骤A3；
A3、在空间R-A内随机生成一个数据点point(x, y)，同时沿正X方向和正Y方向逐步扩展数据点point为逐步增大的矩形区域area，即每次扩展point的x和y值在前次扩展基础上分别增大∆x和∆y，直至area内POI数最大且不超过正整数k扩展结束，其中， R-A表示未被叶子节点覆盖的空间区域；
A4、将area构建为一个叶子节点leaf，将leaf存入集合A中并跳转到步骤A2；其中，集合A中存储的是目前已经确定的所有叶子节点，叶子节点属性包括：
空间范围属性spacerange，它是area覆盖的空间范围，为一个矩形；
孩子属性children，它为一个集合，包含位置位于spacerange内的所有POI，并将这些POI从集合O中移除；
空间方向属性spacedirection，为矩形spacerange相对于R左下顶点的空间角度范围；
空间距离属性distance，为矩形spacerange相对于R左下顶点的最小距离；
A5、判断集合A中节点数是否大于k，大于k则跳转到步骤A6，否则跳转到步骤A9；
A6、在空间R-A’内随机生成数据点point’，聚集point’周围的至多k个节点，并把这些节点从集合A中移除，其中，A’中存储的是目前已经确定的相较于A中节点高一层的节点，R-A’为未被当前最高层节点覆盖的空间区域；
A7、将找到的至多k个节点构建为一个较高一层的节点node，将node存入集合A’中；其中，node节点属性包括：
空间范围属性spacerange，为node覆盖的空间范围，为一个矩形；
孩子属性children，它为一个集合，包含位置位于spacerange内的较低一层的节点node ；
空间方向属性spacedirection，为矩形spacerange相对于R左下顶点的空间角度范围；
空间距离属性distance，为矩形spacerange相对于R左下顶点的最小距离；
A8、令A代替A’，并清空A’，然后跳转到步骤A5；
A9、构建一个根节点root，其孩子属性children为由A’中所有节点构成的集合，输出root；
其中，所述根据确定的视域和构建的索引结构，定位能在移动终端设备屏幕上最佳显示的POI o包括：
B1、创建集合nodeSet，将根节点root存入集合nodeSet中；
B2、从集合nodeSet中移除存入的节点；
B3、判断从集合nodeSet中移除的节点的类型，若为叶子节点跳转到步骤B4，否则跳转到步骤B5；
B4、移除的节点为一个叶子节点，用leaf表示此移除节点，遍历此叶子节点leaf的孩子集合leaf.children，将位于视域f内且距离p最近的POI存入集合poiSet中；其中，p表示移动终端设备所处的位置；
B5、移除的节点为一个非叶子节点，用node表示此移除节点，遍历此非叶子节点node的孩子集合node.children，对任意孩子child将空间方向属性child.spacedirection和空间距离属性child.distance分别以p为参考进行映射得到child.spacedirection’和child.distance’，若child.spacedirection’与
Figure DEST_PATH_IMAGE001
存在交集且child.distance’小于r，则将child存入nodeSet；其中，r、
Figure 71911DEST_PATH_IMAGE001
分别表示移动终端设备镜头可视距离及可视角度；
B6、判断nodeSet是否为空，为空则跳转到步骤B7，否则跳转到步骤B2；
B7、将集合poiSet中最靠近方向α的POI作为最佳显示POI o，输出o；其中，α表示移动终端设备镜头的朝向角度。
2.根据权利要求1所述的基于位置的增强现实图像数据搜索方法，其特征在于，所述确定移动终端设备镜头的视域包括：
根据GPS定位技术获取移动终端设备所处的位置p；
根据罗盘信息获取移动终端设备镜头的朝向角度α；
根据移动终端设备镜头的光学参数获取镜头可视距离r及可视角度
Figure 723472DEST_PATH_IMAGE001
，得到移动终端设备镜头的视域
Figure 237630DEST_PATH_IMAGE002
。
3.根据权利要求1所述的基于位置的增强现实图像数据搜索方法，其特征在于，集合O中的每个POI都具备一个id属性、名称属性name、空间位置属性location和文本描述属性text，其中，文本描述为此POI的简介。
4.根据权利要求1所述的基于位置的增强现实图像数据搜索方法，其特征在于，所述获取该城市空间对应的图像集，对图像集中的图像进行FOV提取，得到图像集对应的FOV集合F包括：
获取该城市空间对应的图像集，并对图像集中的图像进行增强、复原、编码处理；
对处理后的图像进行FOV提取，得到图像集对应的FOV集合F。
CN202210996531.5A 2022-08-19 2022-08-19 一种基于位置的增强现实图像数据搜索方法及系统 Active CN115062172B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210996531.5A CN115062172B (zh) 2022-08-19 2022-08-19 一种基于位置的增强现实图像数据搜索方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210996531.5A CN115062172B (zh) 2022-08-19 2022-08-19 一种基于位置的增强现实图像数据搜索方法及系统

Publications (2)

Publication Number Publication Date
CN115062172A CN115062172A (zh) 2022-09-16
CN115062172B true CN115062172B (zh) 2022-11-08

Family

ID=83207948

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210996531.5A Active CN115062172B (zh) 2022-08-19 2022-08-19 一种基于位置的增强现实图像数据搜索方法及系统

Country Status (1)

Country Link
CN (1) CN115062172B (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102080963A (zh) * 2009-11-27 2011-06-01 北京四维图新科技股份有限公司 建立兴趣点与对应兴趣点图像间的关联关系的方法和装置
WO2014108907A1 (en) * 2013-01-14 2014-07-17 Bar-Ilan University Location-based image retrieval
US10133751B2 (en) * 2016-07-22 2018-11-20 Adobe Systems Incorporated Facilitating location-aware analysis
CN112364201A (zh) * 2021-01-13 2021-02-12 北京电信易通信息技术股份有限公司 一种视频数据检索方法及系统
CN112989079B (zh) * 2021-04-22 2021-08-03 北京电信易通信息技术股份有限公司 一种新型图像数据检索的方法及系统
CN112948717B (zh) * 2021-05-13 2021-08-20 北京电信易通信息技术股份有限公司 一种基于多因素约束的海量空间poi搜索方法及系统
CN113254701B (zh) * 2021-06-21 2021-09-24 北京电信易通信息技术股份有限公司 一种基于fov模型的视频数据索引构建方法及系统

Also Published As

Publication number Publication date
CN115062172A (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
CN110726418B (zh) 兴趣点区域确定方法、装置、设备及存储介质
US9501577B2 (en) Recommending points of interests in a region
US10318104B2 (en) Navigation application with adaptive instruction text
US9322656B2 (en) Variable density depthmap
US9631942B2 (en) Providing maneuver indicators on a map
CN109478184B (zh) 识别、处理和显示数据点聚类
CN102542905B (zh) 图像处理装置和图像处理方法
CN109962939B (zh) 位置推荐方法、装置、服务器、终端及存储介质
EP3175331B1 (en) Presenting hierarchies of map data at different zoom levels
RU2677573C2 (ru) Система и способ дополнения изображения стилизованными свойствами
US20120158762A1 (en) Methods, apparatuses and computer program products for converting a geographical database into a map tile database
CN110413719A (zh) 信息处理方法及装置、设备、存储介质
CN113342912B (zh) 地理位置区域的编码方法、建立编码模型的方法及装置
CN111090716A (zh) 矢量瓦片数据处理方法、装置、设备和存储介质
CN108287872A (zh) 一种建筑物变化检测方法、装置、服务器和存储介质
KR100976138B1 (ko) 건축물 이미지의 계층적 매칭 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
JP2012168069A (ja) 地図情報処理装置、ナビゲーション装置、地図情報処理方法、およびプログラム
US9811539B2 (en) Hierarchical spatial clustering of photographs
CN110136174A (zh) 一种目标对象跟踪方法和装置
CN114359231A (zh) 一种停车位的检测方法、装置、设备及存储介质
CN112509453B (zh) 基于移动设备的景区实景导览图电子化导览方法及系统
CN108549649B (zh) 一种基于季节特征和位置特征的乡村旅游推荐方法与系统
CN114255285A (zh) 视频与城市信息模型三维场景融合方法、系统及存储介质
CN115062172B (zh) 一种基于位置的增强现实图像数据搜索方法及系统
CN116091715A (zh) 一种基于三维gis引擎的poi点聚合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant