CN107438841A - 用于定位区域描述文件的敏感隐私查询 - Google Patents

用于定位区域描述文件的敏感隐私查询 Download PDF

Info

Publication number
CN107438841A
CN107438841A CN201680019347.8A CN201680019347A CN107438841A CN 107438841 A CN107438841 A CN 107438841A CN 201680019347 A CN201680019347 A CN 201680019347A CN 107438841 A CN107438841 A CN 107438841A
Authority
CN
China
Prior art keywords
file
space characteristics
localization region
request
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680019347.8A
Other languages
English (en)
Inventor
布赖恩·帕特里克·威廉姆斯
劳伦特·图
伊莎·内鲁卡
西蒙·吕嫩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN107438841A publication Critical patent/CN107438841A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0252—Radio frequency fingerprinting
    • G01S5/02521—Radio frequency fingerprinting using a radio-map
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/148—File search processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G06F16/433—Query formulation using audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G06F16/90332—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/69—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for evaluating synthetic or decoded voice signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/87—Detection of discrete points within a voice signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/024—Guidance services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H04W4/026—Services making use of location information using location based information parameters using orientation information, e.g. compass

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Electromagnetism (AREA)
  • Library & Information Science (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Information Transfer Between Computers (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种计算系统，包括数据存储、网络接口和查询模块。所述数据存储存储多个定位区域描述文件。所述网络接口用于从移动设备接收针对定位区域描述文件的请求，所述请求包括空间特征的集合以及至少一个非图像位置指示符。所述查询模块包括用于基于所述请求的空间特征的集合和所述请求的至少一个位置指示符之一识别一个或多个候选定位区域描述文件的查询接口，并且包括用于基于所述查询的空间特征的集合和至少一个位置指示符中的另一个从所述候选定位区域描述文件中选择定位区域描述文件的选择模块。所述查询模块用于向所述移动设备提供所选择的定位区域描述文件。

Description

用于定位区域描述文件的敏感隐私查询
技术领域
本公开总体上涉及视觉地图构建系统，尤其涉及使用视觉信息来对移动设备进行定位。
背景技术
视觉地图构建系统依赖于在移动设备所捕捉的影像中检测到的空间特征(也被称作“视觉特征”)以及惯性信息来确定移动设备在三维(3D)空间中的当前位置和朝向。典型地，在所定义坐标系的环境中确定所述位置和朝向，从而促成要求与已知的固定参考系同步的各种功能，诸如虚拟现实(VR)功能、增强现实(AR)功能，或者游戏或多个移动设备之间的设备所支持的其它交互。即时定位和地图构建(SLAM)技术使得移动设备能够对之前未进行地图构建的区域进行地图构建，同时获知其在所述区域内的位置和朝向。因此，当移动设备返回同一区域时，其可以利用被称作“定位”的方法来对之前所观察到的空间特征进行检测，从而轻易地确定其在该区域内的当前位置和朝向。然而，当移动设备第一次进入区域时，所述移动设备缺少这些之前所检测的定位线索。在常规的视觉地图构建系统中，移动设备必须通过执行视觉地图构建处理来“获知”所述区域，而所述视觉构建处理是一种耗费大量时间和资源的处理。为了避免在对之前未进行地图构建的区域执行视觉地图构建处理时所造成的延迟，常规的视觉地图构建系统可以另外回归至基于非视觉定向检测来检测移动设备的朝向或位置，所述非视觉定向输入诸如为全球定位系统(GPS)信息或者经由惯性传感器反馈的位置地图构建。然而，这些非视觉地图构建解决方案可能不够可靠(例如，在室内或者被高障碍物所包围的区域中，GPS接收不良)、不够精确，并且由于传感器和测量漂移而易于出现误差。
附图说明
通过参考附图，本领域技术人员可以更好地理解本公开，并且本领域技术人员可以更为清楚地理解其多种特征和优点。在不同附图中，使用同样的附图标记指代相似或相同的事项。
图1所示图表示出了根据本公开至少一个实施例的基于云的视觉地图构建系统，其用于被提供至用于定位的移动设备，用于区域描述文件的众包创建和更新。
图2示出了根据本公开至少一个实施例的图1的视觉地图构建系统中的区域文件服务器的框图。
图3示出了根据本公开至少一个实施例的图1的视觉地图构建系统中的移动设备的框图。
图4示出了根据本公开至少一个实施例的用于选择之前进行过地图构建的定位处理或之前未进行过地图构建的定位处理之一的方法的流程图。
图5示出了根据本公开至少一个实施例的用于定位区域描述文件的众包生成的方法的流程图。
图6示出了根据本公开至少一个实施例的用于使用从远程区域描述文件服务器所获得的定位区域描述文件进行移动设备的定位的方法的流程图。
图7示出了根据本公开至少一个实施例的用于定位区域描述文件的众包更新的方法的流程图。
图8示出了根据本公开至少一个实施例的用于评估候选空间特征以便包括在定位区域描述文件中的方法的流程图。
图9示出了根据本公开至少一个实施例的用于评估候选空间特征以便从定位区域描述文件移除的方法的流程图。
图10示出了根据本公开至少一个实施例的用于执行定位区域描述文件查询的区域描述文件服务器的LADF数据库的二级查询界面的示图。
图11示出了根据本公开至少一个实施例的用于定位区域描述文件的二级查询的方法的流程图。
图12示出了根据本公开至少一个实施例的用于执行定位区域描述文件查询的区域描述文件服务器的LADF数据库的可替换二级查询界面的示图。
具体实施方式
下文意在通过提供涉及视觉地图构建系统的多个具体实施例和细节来传达对本公开的全面理解。然而，所要理解的是，本公开并不局限于这些仅作为示例的具体实施例和细节，因此本公开的范围意在仅由以下权利要求及其等同形式所限定。要进一步理解的是，本领域技术人员考虑到已知系统和方法，根据具体设计和其它需求，将会意识到以其任意数量的可替换实施例使用本公开来实现其预期目的和收益。
图1-12示出了用于定位区域数据文件的基于云的创建、修正以及将所述定位区域数据文件提供至移动设备的示例系统和技术。在至少一个实施例中，视觉地图构建系统包括经由一个或多个有线或无线网络通信耦合至多个移动设备的区域描述文件(ADF)服务器。当移动设备进入之前未进行地图构建的区域时，所述移动设备启动区域获知处理，由此所述移动设备捕捉所述区域的影像，使用所捕捉的影像来检测空间特征，并且将所述空间特征的表示形式、它们的相对几何图形、相关联统计数据以及ADF中同时捕捉的传感器数据传送至所述ADF服务器。所述ADF服务器使用该ADF生成定位ADF(LADF)，其表示所述区域的空间特征的稀疏点云。注意，诸如在“区域描述文件”中或本文中以其它方式使用的术语“文件”指的是：用来将数据和其它信息字段进行关联的任意数据结构，或者这样的数据结构的任意组合。随后，所述LADF可以被下载至所述LADF所覆盖区域中的其它移动设备。接收所述LADF的移动设备可以捕捉区域的影像，检测其中的空间特征，并且将所检测的空间特征以及它们的相对几何图形与所述LADF所表示的空间特征和相对几何图形进行比较，从而使用所述LADF所表示的参考坐标系来在所述区域内定位所述移动设备。以这种方式，可以通过移动设备对数据进行被动收集和上传来有效地众包之前未进行地图构建的区域的区域发现和地图构建。
在一些实施例中，所述ADF服务器针对同一区域或者针对相邻区域从多个移动设备接收ADF文件，并且所述ADF服务器进行操作，以将这些多个ADF文件合并为合并ADF文件(或者ADF文件的合并集群)，所述合并ADF文件进而可以被用来生成针对所述区域或者其子区域的一个或多个LADF。进一步地，由于区域中可能发生变化，所以所述ADF服务器可以基于来自使用LADF的移动设备的反馈而利用针对区域所生成的LADF的众包更新，以用于所述区域中的定位。例如，响应于指示所述LADF中的一些空间特征并未由移动设备可靠观测的反馈，所述ADF服务器可以从所述LADF中移除这些空间特征。相反地，响应于指示LADF中并未包括由区域中的移动设备可靠观测的空间特征的反馈，所述ADF服务器可以将这些空间特征添加至所述LADF。
由于由ADF和LADF所表示的点云和相关联数据在某种程度上提供了区域的视觉表示形式，所以从移动设备对ADF的收集以及LADF针对移动设备的分布可能具有隐私的暗示。因此，在一些实施例中，所述视觉地图构建系统实施某些隐私控制。一种这样的隐私控制可以包括对移动设备进行配置，以在ADF被上传至ADF服务器之前对ADF的数据进行一种或多种隐私过滤处理，因此将ADF的上传版本所表示的信息渲染为无法被用于重新创建区域的有用视觉内容。另一种这样的隐私控制可以包括针对访问用于分布至移动设备的LADF的两阶段LADF查询。当移动设备进入没有LADF可用的区域时，所述移动设备捕捉影像，从所捕捉影像检测空间特征，并且向ADF服务器提交LADF请求，由此所述LADF请求包括所检测空间特征的集合以及所述移动设备的位置的指示符(例如，GPS坐标或者一个或多个无线基站标识符)。随后，所述ADF服务器可以进行第一查询阶段，以识别与所检测空间特征的集合或位置指示符之一相匹配的候选LADF的集合，随后，基于所检测空间特征或位置指示符中的另外一个从所述候选LADF集合中选择LADF。以这种方式，移动设备所提交的空间标识符的集合可以用作证明所述移动设备处于所识别区域中或者有权对所识别区域进行访问，因此明显降低了在向进行请求的移动设备提供LADF时违背隐私的风险。
图1示出了依据本公开至少一个实施例的视觉地图构建系统100。在所示示例中，视觉地图构建系统100包括通信耦合至一个或多个移动设备104的ADF服务器102。如由云106所表示的，ADF服务器102包括计算系统，所述计算系统远离移动设备104，并且经由诸如无线局域网(WLAN)、蜂窝数据网络、互联网其组合这样的一个或多个无线或有线网络耦合至移动设备104。虽然本文在单个服务器的示例情境中进行说明，但是在其它实施例中，ADF服务器102可以被实施为包括服务器集群。下文参考图2对ADF服务器102的示例实施方式进行更为详细地描述。
移动设备104可以包括由一个或多个用户110进行操作的任意各种便携式电子设备，诸如头戴式显示器(HMD)、平板计算机、支持计算的蜂窝电话(例如“智能电话”)、笔记本计算机、个人数字助理(PDA)、游戏机系统、无人机等。在所示示例中，移动设备104包括具有与另一表面116相对的表面114的外壳112，由此外壳112通常相对于用户110朝向，而使得用户面朝外壳112的表面114。进一步地，在所示实施方式中，移动设备104包括显示器118，所述显示器118设置在表面116处，用于向用户110呈现视觉信息。因此，为了便于参考，表面116在本文被称作“面向前方”表面，而表面114则在本文被称作“面向用户”表面，以反映该示例的朝向，但是这些表面的朝向并不受这些相关指定的限制。
移动设备104进一步包括多个传感器，以获得与移动设备104当前所在区域122相关的信息。移动设备104经由例如部署在面向前方的表面116处的、诸如成像传感器124、126这样的一个或多个成像传感器来获得区域122的视觉信息(影像)。成像传感器124、126可以在面向前方的表面116上被如此定位和定向：使得它们相应的视场在距移动设备104的指定距离处开始重叠，由此使得能够经由多视野分析来对区域122中的位于重叠视场的分区之中的物体进行深度感应。替选地，设置在表面116上的深度传感器130可以被用来提供用于区域中的物体的深度信息。
在一个实施例中，深度传感器130使用调制光投影仪将调制光图案从面向前方的表面116投影至区域122中，并且在所述调制光图案从区域122中的物体反射回来时使用成像传感器124、126中的一个或两个来捕捉它们的反射。这些调制光图案可以是空间调制光图案或时间调制光图案。在本文中，所捕捉的调制光图案的反射被称作“深度图像”或“深度影像”。随后，深度传感器120可以基于所述深度影像的分析来计算物体的深度，也就是物体距移动设备104的距离。从深度传感器130所获得的作为结果的深度数据可以被用来校准或以其它方式增强从成像传感器124、126所捕捉的图像数据的多视野(例如，立体分析)分析所获得的信息。替选地，来自深度传感器130的深度数据可以用来代替从多视野分析获得的深度信息。下文参考图3更详细地描述移动设备104的电子系统的更详细示例。
在操作中，移动设备104经由成像传感器124、126中的一个或两个捕捉区域122的影像，修改或以其它方式处理所捕捉的影像，并且提供经处理的所捕捉影像，以在显示设备108上进行显示。对所捕捉影像的处理例如可以包括空间或色彩过滤、添加增强显示(AR)覆盖、将影像的真实内容转换为相对应的虚拟现实(VR)内容等等。为了提供该AR或VR功能，移动设备104依赖于其相对于指定坐标系的当前六自由度(6DOF)定向和位置(本文统称为“姿态”)的准确确定。因此，在一些实施例中，移动设备104还使用成像传感器124、126所捕捉的影像以及非图像传感器数据(例如，惯性传感器数据)，以利用即时定位和地图构建(SLAM)处理、视觉测距处理或其它视觉地图构建处理来确定移动设备104的相对位置/定向，也就是相对于区域122的位置/定向。
常规地，当移动设备进入新的区域(也就是说，特定移动设备之前并未进入过的区域)时，所述移动设备必须完成区域获知处理(例如，SLAM处理)，以获知所述新区域，或者依赖于非视觉线索(例如，GPS坐标)来提供移动设备相对于坐标系的当前姿态的一些指示。作为对比，视觉地图构建系统100对经由区域中的其它移动设备的先前开拓所提供的众包加以权衡，从而允许所述区域的新移动设备在不对所述区域进行大量视觉地图构建的情况下快速定位至坐标系。为此，连接至ADF服务器102的移动设备104进行操作，以在移动设备104在区域122周围移动时收集ADF 132并且将其上传至ADF服务器102。如下文更详细所述，ADF132包括移动设备104所检测的空间特征的集合、所述空间特征的相对几何图形、以基本上独立于移动设备姿态的方式描述所述空间特征的有关所述空间特征的各种统计元数据、照明条件，或者其它临时环境条件或特定于设备的条件，以及在捕捉与所述空间特征相关联的影像时、从惯性管理单元(IMU)或其它非图像传感器所收集的传感器数据。ADF服务器102基于ADF 132中所包含的信息对来自多个移动设备104的、用于同一区域(或相邻区域)的ADF进行过滤和合并，并且从作为结果的合并ADF生成一个或多个LADF 134，每个LADF 134表示所述区域或者其相对应子区域的空间特征的稀疏点云。
因此，当另一移动设备104随后进入新区域时，所述移动设备104可以针对与所述区域相关联的LADF查询ADF服务器102。响应于该查询，ADF服务器102可以将LADF 134提供给进行请求的移动设备104。移动设备104可以捕捉区域122的影像，检测其中所包含的某些空间特征，并且将所检测的空间特征及其相对几何图形与LADF 134所表示的空间特征和相关联的相对几何图形进行比较，并且基于所述空间特征的比较、诸如通过应用循环闭包算法来定位其当前姿态(也就是说，确定其当前的姿态，或者校正已经发生漂移的之前所确定的姿态)。移动设备104可以进一步基于所述移动设备使用LADF 134而向ADF服务器102提供反馈，诸如指示移动设备104并未观察到LADF 134的空间特征的反馈数据，或者指示移动设备104观察到并未处于LADF 134中的空间特征的反馈数据。
LADF 134的众包和基于云的创建、精细化和分布允许移动设备104在进入新区域时快速且有效地进行定位，因此不必执行耗时的区域获知处理，或者不必使用来自GPS传感器或惯性传感器的低精度且经常不可靠的测量。此外，由于LADF 134的空间特征可能参考具体坐标系，所以使用LADF 134的多个移动设备104可以针对共同坐标系来定位它们的当前姿态，由此针对依赖于设备姿态信息的、诸如多用户游戏或共享AR或VR功能等此类功能促进了移动设备104之间更为有效且准确的交互。
图2示出了依据本公开至少一个实施例的图1所示ADF服务器102的示例性实施方式。在所示示例中，ADF服务器102包括具有网络接口202、ADF数据存储204、LADF数据存储206、特征分数数据存储208、地理参考数据存储210、合并模块212、地理参考模块214、空间特征过滤模块216、定位生成模块218和查询模块220的计算系统。虽然被示出为单独的数据存储，但是数据存储204、206、208、210中的一个或多个可以被一起实施为单个数据存储。
模块212、214、216、218、220可以被实施为硬编码逻辑(例如，专用集成电路或可编程逻辑)，执行存储在存储器226或其它存储设备中的软件指令224的一个或多个处理器222，或者它们的组合。另外，虽然为了便于图示而被描绘为单个服务器，但是ADF服务器102可以另外被实施为包括多个服务器的计算系统。例如，可以在一个服务器处实施模块212、214、216和218的功能，而可以在另一个服务器处实施查询模块220和LADF数据存储206的功能。
作为总体概述，合并模块212进行操作，以经由网络接口202从已经进入尚未针对其编译LADF的区域的一个或多个移动设备232(图1的移动设备104的一个示例)接收ADF132。合并模块212对来自计算设备232的一个或多个ADF 132进行合并，以生成合并ADF数据，以便存储在ADF数据存储204中。地理参考模块214可以采用来自地理参考数据存储210的地理参考信息(其例如可以包含与来自谷歌公司所提供的街景(Street View)工具的影像和相关联地理参考位置)来针对所述合并ADF提供地理参考。定位生成模块218从所产生的合并ADF数据生成一个或多个LADF，并且在LADF数据存储206中存储并索引所述一个或多个LADF，以便后续检索。查询模块220经由网络接口202接收来自移动设备234(移动设备104的一个实施例)的LADF请求236，在LADF数据存储206搜索对应于LADF请求236的LADF 134，并且将LADF 134提供至移动设备234。移动设备234使用LADF 134进行移动设备234的定位。在该定位处理期间，移动设备234可以经由网络接口202向ADF服务器102提供对LADF 134的LADF反馈238。ADF服务器102可以使用LADF反馈238，以在特征分数数据库208中调节其中所表示的空间特征的特征分数，并且通过添加或移除空间特征来基于所述特征分数来细化LADF 134。这些操作在下文中参考图4-12更为详细地描述。
如前所述，移动设备232和234表示移动设备104的实施例。由于它们各自的操作要求，使用LADF执行定位处理的移动设备232并不要求与执行ADF上传处理的移动设备234相同的性能。为了进行说明，移动设备234可以利用深度传感器120或立体相机配置来促进与生成和上传ADF的处理相关联的SLAM操作，而移动设备232则通常并不要求深度传感器120，而仅要求单色相机配置来促进定位处理。
图3示出了依据本公开至少一个实施例的由移动设备104所实施的示例处理系统300。处理系统300包括显示器118、成像传感器124、126和深度传感器130。处理系统300进一步包括图形处理单元(GPU 302)、帧缓冲器303和305、应用处理器304、显示控制器306、系统存储器308、非图像传感器的集合310以及用户接口312。用户接口312包括由用户进行操控以向移动设备104提供用户输入的一个或多个组件，诸如触摸屏314、鼠标、键盘、麦克风316、各种按钮或开关以及各种触觉致动器318。非图像传感器的集合310可以包括被用来提供移动设备104的非图像情境或状态的任意各种传感器。此类传感器的示例包括惯性管理单元(IMU)320，所述IMU 320包括陀螺仪321、磁力计322和加速计323中的一个或多个。所述非图像传感器例如可以进一步包括环境光线传感器326以及基于无线接收或传输的传感器，诸如GPS传感器328、无线局域网(WLAN)接口330、蜂窝接口332、端对端(P2P)无线接口334和近场通信(NFC)接口336。所述非图像传感器还可以包括用户接口312的用户输入组件，诸如触摸屏314或麦克风316。
移动设备104进一步有权访问存储结合其图像处理、位置地图构建和位置利用处理使用的信息或元数据的各种数据存储338。数据存储338可以包括：空间特征数据存储、SLAM数据存储以及AR数据存储，所述空间特征数据存储用于存储从移动设备104的成像传感器所捕捉的影像中识别的2D或3D空间特征的元数据，所述SLAM数据存储存储基于SLAM的信息，诸如已经被移动设备104所开拓过的区域122(图1)的子区域的地图构建信息，所述AR数据存储存储AR覆盖信息或VR信息，诸如区域122中的感兴趣物体的相对位置的基于CAD的表示形式。数据存储338可以在移动设备104的一个或多个存储组件处实施，诸如在硬盘、固态存储器或可移除存储介质(未示出)上实施。
在操作中，成像传感器124、126捕捉区域的影像，并且将所捕捉的影像缓存在帧缓冲器303、305中。针对要以原始或修改形式显示的影像，GPU 302处理所捕捉影像，以便进行显示(例如，通过渲染AR覆盖)，并且显示控制器306控制显示器118以显示被处理的影像。另外，如本文所述，移动设备104进行操作，以针对之前未进行地图构建的位置上传ADF 134，以及针对之前进行过地图构建的位置下载LADF，并且使用所下载的LADF促进移动设备104的定位。为此，可以在系统存储器308或其它非瞬态计算机可读介质中存储一个或多个软件程序，并且由应用处理器304和GPU 302中的一个或两个来加以执行，以提供ADF生成和LADF使用功能。为了便于说明，一个或多个软件程序在图3中被示出为ADF生成程序342和LADF处理程序344。这些程序可以被实施为：由处理系统300所执行的操作系统(OS)中的线程或其它处理；相同软件应用的线程、处理或子程序；或者单独执行的软件应用。进一步地，在一些实施例中，本文所述程序342、344的功能中的一些或全部可以经由ASIC、可编程逻辑或其它硬编码逻辑来实施。
ADF生成程序342例如能够包括隐私过滤模块346、空间特征检测模块348和ADF组装模块350。如图3所示，隐私过滤模块346可以包括一个或多个图像内容过滤器，诸如文本过滤模块352和脸部过滤模块，以及降频采样器模块356。LADF处理程序344例如可以包括空间特征检测模块358(其可以是空间特征检测模块348)、请求模块360、定位模块362和反馈模块364。下文详细描述处理系统300的操作，包括ADF生成程序342和LADF处理程序344的操作。
如上所述，当移动设备104处于未进行地图构建的区域(也就是说，ADF服务器102没有可用LADF的区域)中时，移动设备104可以以ADF生成模式进行操作，由此移动设备104生成表示在所述未进行地图构建的区域中检测到的空间特征的ADF，并且将所述ADF上传至ADF服务器102。然而，如果区域已经进行过地图构建，并且ADF服务器102针对所述区域具有LADF，则移动设备104可以另外以LADF定位模式进行操作，由此移动设备104从ADF服务器102获得所述区域的LADF，并且使用所述LADF所表示的稀疏点云来执行定位处理，从而将移动设备104针对所述区域进行定位。
图4示出了依据至少一个实施例的用于在这些操作模式之间进行选择的示例方法400。为了便于描述，在图3的处理系统300的示例情境中描述方法400。在框402处开始方法400，由此移动设备104确定其已经移动至之前并未由移动设备104进行过地图构建的区域之中。作为响应，移动设备104启动定位处理或运动追踪处理。
在框404处，移动设备104查询ADF服务器102，以确定是否有LADF可用于所述区域。如下文参考图10-12所述，ADF服务器102可以实施两阶段查询处理，由此移动设备103提供来自由所述区域中的移动设备所捕捉的影像的空间特征集合以及一个或多个位置指示符(例如，GPS坐标或者移动设备104所检测的WLAN或蜂窝塔台基站的基站标识符)，并且ADF服务器102查询LADF数据存储206，以识别相对应的LADF。
在无法从ADF服务器102得到LADF的情况下，所述区域被认为是未进行地理构建的位置，因此在框406处，移动设备104和ADF服务器102进行协作，以针对所述未进行地理构建的位置执行ADF/LADF生成处理。该处理在下文参考图5更详细地进行描述。在能够从ADF服务器102得到LADF的情况下，所述区域被认为是经地理构建的位置，因此在框408处，移动设备104和ADF服务器102进行协作，以执行定位和更新处理，这在下文参考图6更详细地进行描述。
图5示出了根据至少一个实施例的用于实施ADF/LADF生成处理的示例方法500。如上文所述，响应于确定LADF不可用于移动设备104新遇到的区域而执行所述ADF/LADF生成处理。因此，在接收到用户同意区域描述数据的被动收集之后，在框502处开始方法500，其中使用移动设备104的传感器开始区域获知处理。为了执行所述区域获知处理，在移动设备104通过区域移动时，移动设备104经由成像传感器124、126捕捉影像372(图3)，并且经由深度传感器130捕捉相对应的深度信息373。在移动设备104捕捉影像372和深度信息373时，移动设备104例如可以采用交互式游戏来引导移动设备104的用户对所述区域进行开拓。
与此同时，ADF组装模块350从集合310中的一个或多个非图像传感器捕捉非图像传感器数据374(图3)。为了说明，ADF组装模块350可以在影像372的捕捉期间从加速计323捕捉传感器数据，因此表示影像捕捉时移动设备104相对于重力的定向。类似地，从陀螺仪321所捕捉的传感器数据可以被用来确定移动设备104相对于所捕捉影像中所表示的视觉特征的行进方向。另外，非图像传感器数据374可以包括可作为移动设备104的位置指示符进行操作的传感器数据。这些位置指示符可以是地理参考位置指示符，诸如在GPS传感器328所提供的传感器数据中表示的经/纬度坐标。替选地，这些位置指示符可以是推断位置指示符。为了说明，由于WLAN基站和小区塔台基站被假设为是固定不动，因此对于WLAN基站或小区塔台基站的检测被用作表征移动设备接近所检测基站，因此基站标识符(BSID)、媒体访问控制(MAC)地址或者基站的其它标识符能够用作移动设备的推断位置指示符。
如下文所述，所捕捉影像372和深度信息373被用来确定最终被上传至ADF服务器102的空间特征的点云。虽然该点云并不是图像数据自身，但是根据所述点云的密度和其它信息，未修改点云可能能够被用来重构所捕捉影像372中原始呈现的某些视觉内容。例如，如果移动设备104被放置为特别接近文档，则从所述文档的所捕捉影像所确定的点云可能能够被用来再现所述文档的文本。因此，为了防止非预期视觉内容的公开，可以以至少两种隐私控制来实施隐私过滤模块346。
在框504处实施第一隐私控制，其中隐私过滤模块346对所捕捉影像372执行一种或多种内容过滤处理，以从可能具有隐私暗示的分区移除图像内容。例如，在框504处，文本过滤模块352可以执行文本过滤处理，由此在框502所捕捉的每个图像都使用一种或多种公知文本识别算法进行扫描，从而确定在图像中是否存在任何潜在表示文本内容的分区。对于被检测为潜在文本分区的每个分区，文本过滤模块352可以通过以下方式模糊或删除该分区：例如，通过利用所述分区或相邻分区中的像素执行弯曲操作，通过将所述分区中的像素值替代为相同的默认像素分区，或者以其它方式删除所述分区中的像素值，等等。同样，在框504处，脸部过滤模块354可以实施脸部过滤处理，由此每个所捕捉图像都使用一种或多种公知脸部识别算法进行扫描，从而确定在图像中是否存在任何潜在表示人脸的分区，并且对所述图像进行过滤，以从每个如此识别的分区移除图像内容。以这种方式，得以在空间特征检测之前预先过滤影像，以移除潜在的敏感视觉内容，因此所产生的空间特征的点云无法被用来重构所述潜在的敏感视觉内容。
在框506处，空间特征检测模块348对经过滤影像进行分析，以检测其中所包含的空间特征。可以使用任意的各种空间特征提取算法，例如尺度不变特征变换(SIFT)算法、加速鲁棒特征(SURF)算法、灰度补丁算法、梯度位置和定向直方图(GLOH)算法、Zernike矩算法、二进制鲁棒独立基本特征(BREIF)算法、有向BRISK(ORB)算法、二进制鲁棒不变可扩展关键点(BRISK)算法、高斯差值(DOG)算法、快速视网膜关键点(FREAK)算法，等等。特征检测模块348将这些所检测到的空间特征作为空间特征数据376来提供。为了说明，FREAK算法提供图像补丁内的像素对的比较，其中，每个比较的输出基于配对中的哪个像素更亮或更暗而是“0”或“1”。在FREAK算法中，在图像补丁上计算512个这样的比较，并且结果是作为针对表示所述图像补丁的相对应空间特征的长度为512的二进制串的空间特征描述符，以及识别所述空间特征在3D参考系中的位置的(x，y，z)矢量。
进一步地，空间特征检测模块348针对每个所检测的点确定统计元数据378。统计元数据378以基本上独立于移动设备104的特定观看角度或者捕捉相对应影像时的环境照明的方式对相对应的特征矢量加以描述。例如，统计元数据378可以包括表示对所述空间特征进行表示的像素的亮度的均值和标准偏差的数值、一个或多个方向的亮度梯度(或者其它视觉特性梯度)，等等。
虽然隐私过滤模块346擦掉了所检测文本和脸部内容的影像，因此空间特征数据376所表示的空间特征的原始点云基本上不具有文本和脸部内容，但是所述原始电源可能仍然具有足够的空间特征密度，从而允许从所述原始点云对区域的视觉外观进行一定程度的重构。因此，作为第二隐私控制，在框508处，隐私过滤模块346的降频采样器模块356对原始点云进行降频采样，从而生成空间特征的仅包含所述原始点云的空间特征的所选择子集的过滤点云380(图3)。如此处理的好处在于，降低了可以从产生的电源重构区域的视觉外观的可能性，以及减少了表示所产生的过滤点云380所需的数据量。该降频采样处理可以由一种或多种降频采样标准所控制。例如，在一些实施例中，所述降频采样处理可以包括：随机选择空间特征以便从过滤点云中排除，去除每隔X的空间特征(X是大于2的整数)，或者选择不大于最大数的空间特征以便包括在过滤点云中。作为另一个示例，所述降频采样处理可以由最大空间特征密度标准所控制，所述标准规定了每个立方单元(也就是单位体积)的空间特征的最大数量。例如，所述最大空间特征密度标准可以规定过滤点云380每立方英尺最多包含一个空间特征，因此对原始点云进行降频采样，从而使得并没有每立方英尺多于一个的空间特征示出在所产生的过滤点云中。
在框510处，ADF装配模块350使用过滤点云380、统计元数据378和非图像传感器数据374来生成ADF 132。在一个实施例中，ADF 132包括将过滤点云380表示为多维坐标的列表或其它集合的文件或其它数据结构，以及用于每个多维坐标存储所表示空间特征的统计元数据的字段。为了说明，每个多维坐标可以包括(x,y,z)浮点矢量，其表示移动设备的(x,y,z)坐标系中的相对应空间特征的3D位置。如下文所述，所述数据结构进一步可以包括用于存储非图像传感器数据374的一个或多个字段，以及用于存储ADF服务器102对ADF 132指定的唯一标识符(UID)的字段。
在框512处，ADF装配模块350将ADF 132提供至适当网络接口(例如，蜂窝接口332或WLAN接口330)，以便传输至ADF服务器102。在一些实施例中，ADF装配模块350发送将ADF上传至ADF服务器102的信号请求，并且ADF服务器102利用被指定给ADF的UID作出响应，ADF装配组件350在ADF 132上传之前将所述UID被插入到到其中。进一步地，虽然框502-512处的处理已经被描述为顺序处理，由此ADF 132在其上传之前被完成，但是在一些实施例中，ADF 132在迭代处理中被生成并上传，由此ADF 132被生成为ADF分块的序列，每个ADF分块包含从所捕捉影像的一部分所生成点云的子集，并且每个ADF分块利用向所述ADF指定，并且在其被生成时上传至ADF服务器102的UID所标记。因此ADF服务器102可以单独存储这些ADF分块，或者将相同UID所表示的ADF分块组合为单个ADF 132。
移动设备104所上传的ADF 132表示移动设备104位于其中的区域中所呈现的某些视觉特征。然而，通过如以上参考框504和508所述的由移动设备104所实施的隐私控制，被提供至ADF服务器102的ADF 132中所包含的信息基本上没有任何可能具有隐私暗示的内容。相反，虽然所产生的ADF 132包含可以以足以允许另一个移动设备随后基于这些所描述视觉特征进行定位的程度对区域的各种边缘、角以及其它视觉特征进行描述的稀疏点云，但是所述稀疏点云所包含的信息并不足以支持以对于人类感知有意义的方式来复制所述区域中的视觉外观。这样，ADF服务器102不会具有来自移动设备104的、具有相当可能性披露有关地图构建区域的潜在敏感信息的任何信息。
在ADF/LADF生成处理中，ADF服务器102的角色开始于框514，其中通过合并模块212经由网络接口202从移动设备104接收ADF 132。在接收到ADF 132时，合并模块212在ADF数据存储204中临时对ADF 132进行索引并存储。ADF 132可以基于指定给ADF 132的UID、基于ADF 132所表示的点云中表示的空间特征、基于随ADF 132所包括的(多个)位置指示符等而被索引以便进行临时存储。在至少一个实施例中，每个ADF 132使用下文参考图10-12所述的两层查询方法在ADF数据存储204中进行存储和索引。
在一些实例中，多个移动设备可能已经针对区域或相邻区域上传了相对应的ADF。因此，ADF服务器102在框516进行操作回馈，以在处理所产生的合并ADF之前将这些位于一处ADF合并为一个或多个LADF。可以响应于任意各种的触发条件来发起框516的合并处理。例如，所述合并处理可以由于过去指定时间量、由于从移动设备接收到指定数量的ADF、由于来自移动设备的针对LADF的请求等而被触发。响应于这样的触发，在框518处，合并模块212以信号通知查询模块220对ADF数据存储204进行查询，以识别是否存在任何“邻近”ADF——也就是说，覆盖相同区域或相邻区域的ADF。在一些实施例中，可以基于与ADF数据库240中的ADF相关联的位置指示符的比较而识别邻近ADF。例如，假设从移动设备104进行的ADF 132的上传触发了所述合并处理，并且所上传的ADF 132包括作为位置指示符的一个或多个WLAN MAC地址，则ADF数据存储230中被查询模块220识别为具有与随所上传ADF提供的相同WLAN MAC地址或者具有已知与所上传ADF所识别的WLAN基站所覆盖区域相邻的WLAN基站的WLAN MAC地址的那些ADF被识别为邻近ADF。作为另一个示例，所上传ADF可以被提供以GPS坐标作为位置指示符，并且查询模块220可以基于ADF数据存储240中的ADF的相对应GPS坐标来识别它们。在其它实施例中，可以基于所上传ADF中所表示的空间特征与存储在ADF数据存储240中的ADF所表示的空间特征的比较而识别邻近ADF。那些具有充分重叠的空间特征集合的ADF可以被识别为表示相同区域或邻近区域，因此被识别为邻近ADF。再进一步地，如以下参考图10-12所述，ADF服务器102可以针对ADF数据存储204和LADF数据存储206之一或二者实施两层查询，而使得每个所存储的ADF/LADF基于其空间特征集合以及一个或多个位置指示符而被索引以便进行存储，并且通过使用所上传ADF的空间特征集合以及所上传ADF的一个或多个位置指示符二者执行两层索引处理而被识别邻近ADF。
由查询模块220所识别的一个或多个邻近或同在一处的ADF的集合在本文被称之为“ADF集群”。利用所识别的ADF集群，在框520处，合并模块212进行操作，以执行一个或多个去重处理，以移除所述ADF集群中的ADF中所表示的重复空间特征。进一步地，在所述ADF集群表示过大区域或者包含过于大量的空间特征的情况下，合并模块212可以将所述ADF集群划分为一个或多个较小的ADF集群，其中每一个可以如本文所描述的那样被处理。在框522处，合并模块212采用一种或多种已知循环闭包算法来确定所述ADF中的ADF之间的对准。在框524，合并模块212对所述ADF集群进行分析，以有选择地去除如使用一种或多种稳定性标准所识别的并未在所述ADF集群的大多数或全部ADF中被可靠观察的空间特征。这样的目的在于：消除可能并不表示区域的持久视觉特征(并且因此并非用于定位的可靠来源)的空间特征，以及减少ADF集群所表示的组合点云中的空间特征总数。在选择要移除的空间特征时，合并模块212可以采用基于稳定性标准的打分系统，诸如通过基于空间特征在ADF集群的ADF内被观察到的频率而为它们给予分数。进一步地，由于较新的ADF更可能表示区域的当前状态，所以合并模块212可以对较新ADF中的空间特征给予包含优先。
在一些实例中，随ADF所提供的非图像传感器数据374可以允许ADF被地理参考。例如，非图像传感器数据374可以包括移动设备104在检测ADF中的空间特征时的GPS坐标和地理参考姿态的指示符。利用在框522处所确定的ADF集群中的ADF的相对对准，如果对ADF集群中的一个ADF进行地理参考，则在框526处，所述ADF集群中的其它ADF可以使用被地理参考的ADF的相对对准和地理位置信息而基于坐标系变换的应用被地理参考。另外，在诸如经由谷歌公司所提供的街景(Street View)工具这样的地理参考视觉参考数据可用的情况下，ADF集群的ADF可以使用该地理参考视觉参考数据进行地理参考。
利用所合并的ADF集群中的ADF，在框528出，定位生成模模块218使用合并ADF针对所述合并ADF所表示的区域生成一个或多个LADF。在合并ADF的数据大小足够小或者覆盖足够小的区域的情况下，合并ADF如该过大的区域，或者所述区域包含多个单独的子区域(如经由ADF的点云中的墙壁、分区、门和窗所识别)，定位生成模块218可以对合并ADF进行空间划分，从而生成多个LADF，每个LADF覆盖不同的子区域。在这样的实例中，定位生成模块218可以尝试识别逻辑分区线，诸如通过基于对墙壁的检测或者合并ADF所表示的点云内的其它房间划分器来识别区域内的多个房间，并且针对每个所识别的房间创建单独的LADF，从将LADF的范围限制于单个房间的隐私角度来看这具有附加的好处。
针对所生成的每个LADF，在框530处，定位生成模块218将所述LADF提供至LADF数据存储206，以便进行索引和存储。如前文所述并且在下文详细描述的，在一些实施例中，LADF数据存储206针对每个LADF采用两层索引，由此每个LADF都通过一个或多个位置指标以及LADF所表示的空间特征进行索引。因此，在将LADF存储在LADF数据存储206中时，LADF数据存储206将所述LADF存储在由其(多个)位置指示符或其空间特征集合(和其中的相对几何图形)之一所索引的数据存储条目中，而所述(多个)位置指示符或空间特征集合中的另外一个则被用来在被类似索引的多个LADF间进行选择。
利用方法500的框530处的处理的结论，ADF服务器102已经使用从已经有机会对区域进行开拓的一个或多个移动设备104上传的一个或多个ADF而针对之前并未进行地图构建的区域生成了一个或多个LADF。因此，如以下图6所述，ADF服务器102准备将LADF提供至首次遇到该区域的其它移动设备。
图6示出了依据至少一个实施例的用于执行图4的框408所示的LADF定位和更新处理的示例方法600。在移动设备104进入所述移动设备104之前并未遇到过且进行过地图构建的区域时，在框602处开始方法600。响应于该确定，所述移动设备针对所述区域发起空间特征检测处理。为此，移动设备104触发成像传感器124、126，以开始所述区域的影像382(图3)的捕捉，并且触发深度传感器130，以开始针对所述区域的深度信息的捕捉，并且空间特征检测模块从所述影像382和深度信息检测表示所述区域的空间特征的集合。在框604处，请求模块360针对移动设备104在所述区域中的空间特征检测时的位置确定一个或多个位置指示符。如前文所述，这些位置指示符可以是具体的地理位置指示符，诸如从GPS传感器328获得的GPS坐标，诸如WLAN MAC地址、WLAN BSID或小区塔台BSID的推断位置指示符，或者它们的组合。在框606处，请求模块360使用所述初始空间特征集合以及一个或多个位置指示符生成LADF请求236，并且传送所述LADF请求236，以发起LADF针对所述区域的可用性的查询。
响应于在ADF服务器102的查询模块220处经由网络接口202接收到的LADF请求236，在框608处，查询模块220查询LADF数据存储206，以针对所述区域识别适当LADF以供移动设备104使用。在至少一个实施例中，如下文参考图10-12所详述，查询模块220和LADF数据存储206采用两层索引方案来基于初始空间特征集合和位置指示符二者来识别适当LADF。假设识别出适当LADF，在框610处，查询模块220将所选择的LADF(作为LADF 134)传送至进行请求的移动设备104。
作为响应于LADF请求236而接收到LADF 134的响应，请求模块360将LADF 134提供至定位模块362和反馈模块364。在框612处，定位模块362基于来自空间特征检测模块358所检测区域的空间特征与LADF 134中所表示的空间特征的系数点云的比较而采用一种或多种已知循环闭包算法来针对LADF 134中所表示的坐标系来对移动设备104进行定位，其结果是，确定移动设备104在所识别坐标系中的姿态384(图3)。进一步地，在LADF能够进行地理参考的情况下，所确定姿态384同样可以通过适当变换而进行地理参考。利用被定位的移动设备104以及被确定的姿态384，在框614处，移动设备104的一个或多个组件可以提供各种依赖于准确姿态信息的功能，诸如实施AR或VR内容、多用户游戏、导航工具等。
LADF 134的生成依赖于对由一个或多个移动设备104在区域中所观察到的空间特征的检测和选择。然而，由于区域可能具有包括在所观察空间特征中的瞬态物体，或者由于区域的配置可能随时间而变化，所以LADF 134可能变得不太有用或“陈旧”。因此，在一些实施例中，在用户许可的情况下，移动设备104可以提供关于LADF的反馈，这可以被ADF服务器102用来细化或“刷新”LADF，以供其它移动设备后续使用。为此，在框616处，反馈模块364可以将空间特征检测模块358在区域中所识别的空间特征与LADF 134所表示的稀疏点云的空间特征进行比较，并且生成表示如下一个或多个的LADF反馈238：LADF 134的同样被空间特征检测模块358所观察到的空间特征；LADF 134的并未被空间特征检测模块358所观察到的空间特征；以及空间特征检测模块358所观察到的并未出现在LADF 134中的空间特征。LADF反馈238被上传至ADF服务器102。在框618处，空间特征过滤模块216接收LADF反馈238，相应地更新特征分数数据存储208中的空间特征的特征分数，并且随后可以基于经更新的特征分数更新LADF，以包括新的空间特征或者移除之前包括的空间特征。
图7-9共同示出了依据至少一个实施例的基于LADF反馈238细化LADF 134的处理的示例。最初，LADF 134中所表示的所有空间特征都被提供以初始特征分数，所述分数对于LADF 134中的所有空间特征可以是相同的，或者所述分数可以基于空间特征的一种或多种属性。例如，空间特征可以基于它在从其生成LADF 134的ADF集群的ADF中出现的次数而被指定以初始特征分数。针对后续描述，假设较高分特征分数反映出更加可靠的空间特征，且相反地，较低特征分数则指示不太可靠的空间特征。移动设备104所提供的LADF反馈238能够包括一个或多个条目，其中，每个条目确认移动设备104对LADF 134中所呈现的空间特征的观察，否认移动设备104对LADF 134中所呈现的空间特征的观察，或者建议移动设备104所观察到且并未呈现于LADF 134中的新的空间特征。因此，可以基于所述条目以及它们所表示的反馈类型来调节空间特征的特征分数。
图7的方法700表示由ADF服务器102针对LADF反馈238中的每个条目所实施的处理。在框702处，空间特征过滤模块216访问LADF反馈238的所选择条目，以确定所述条目所表示的反馈类型。在所述反馈条目确认移动设备104观察到LADF 134中的相对应空间特征的情况下，在框704处，空间特征过滤模块216提取与如所述反馈条目中所表示的空间特征的识别相关的一个或多个参数，诸如指示移动设备104观察到所述空间特征的时间的时间戳，并且将所提取的参数记录在特征分数数据存储208中。进一步地，在框706处，空间特征过滤模块206提高相对应空间特征的特征分数，以反映其近期观察。
返回至框702，在所述反馈条目指示移动设备104并未观察到LADF 134中所表示的空间特征的情况下，在框708处，空间特征过滤模块216提取与如所述反馈条目中所表示的空间特征的识别相关的一个或多个参数，诸如表征如下时间的时间戳：移动设备104正在捕捉应当但却没有在其中观察到所述空间特征的分区的影像，并且将所提取的参数记录在特征分数数据存储208中。进一步地，在框710处，空间特征过滤模块206降低相对应空间特征的特征分数，以反映其所错失的观察。
再次返回框702，在所述反馈条目指示移动设备104可靠地观察到LADF 134中未表示的空间特征的情况下，在框712处，空间特征过滤模块216提取与如所述反馈条目中所表示的之前并未观察到的空间特征的识别相关的一个或多个参数，诸如指示移动设备首次或最后观察到所述空间特征时的时间的时间戳、所述空间特征的观察频率(例如，所述空间特征在移动设备104以包含所述空间特征的分区的方向进行定向时被观察到的时间百分比)等，并且将所提取的参数记录在特征分数数据存储208中。进一步地，在框714处，在所述空间特征尚未在特征分数数据存储208中有所表示的情况下，空间特征过滤模块206在特征分数数据存储208中针对相对应的空间特征创建特征分数，并且对所述特征分数指定以初始数值。否则，如果针对新观察到的空间特征已经存在有特征分数(也就是说，所述空间特征之前也被其它移动设备104所观察到)，则空间特征过滤模块206增加所述空间特征的特征分数。随后，方法700返回框702，以针对LADF反馈238中的下一个条目重复所述处理。
图8示出了依据至少一个实施例的用于评估候选空间特征以便包括在LADF 134中的示例方法800。如上文所述，移动设备104可以提供识别在区域中所观察到的可能作为候选而包括在所述区域的LADF 134中的空间特征的LADF反馈238，并且空间特征过滤模块216可以在空间特征首次被检测到时创建特征分数，并且在相同空间特征每次被另一个移动设备104观察到时增加所述特征得分。因此，这些空间特征中的每一个的特征得分用作空间特征对于被包括在LADF 134中的候选资格(也就是说，所述空间特征对于定位的目的而言有多么“可靠”)的变化性的指示符。因此，响应于诸如LADF 134的年龄超过某个阈值之类的触发条件，或者响应于来自移动设备104的指示应当保证对LADF 134进行修正的足够反馈，在框802处，空间特征过滤模块216在考虑到要包括在LADF 134中的情况下从特征分数数据存储208选择候选空间特征之一，并且在框804处，空间特征过滤模块216将所选择候选空间特征的特征分数和被指定为“THRESH_H”的规定阈值进行比较。该阈值可以是固定阈值，或者可以基于一个或多个当前条件。例如，在一个实施例中，阈值THRESH_H可以被设置为LADF134中当前所包括的空间特征的中值当前特征分数。
在候选空间特征的特征分数并未超过阈值THRESH_H的情况下，空间特征过滤模块216(在当前评估轮次中)中止对所述候选空间特征的任何进一步考虑，并且方法800返回至框802以便选择下一个候选空间特征。否则，如果所述特征分数超过阈值THRESH_H，则在框806处，空间特征过滤模块216信号通知定位生成模块218，以将所选择的候选空间特征结合到LADF 134之中。在一些实施例中，将新的空间特征结合到LADF 134之中可以要求从LADF134中消除另一个空间特征。在这样的情况下，空间特征过滤模块216例如可以选择当前包括在LADF 134中的所有空间特征中具有最低特征分数的空间特征。在将候选空间特征结合到LADF 134之中之后，方法800返回框802，以便选择并评估下一个候选空间特征。
图9示出了依据至少一个实施例的用于评估空间特征、以便从LADF 134中移除的示例方法900。如上文所述，移动设备104可以提供确认LADF 134的空间特征是否被移动设备104所观察到的LADF反馈238，并且空间特征过滤模块216可以相应地调节空间特征的特征分数。因此，这些空间特征中的每一个的特征分数用作所述空间特征用于定位用途的当前可靠性的指示符。因此，响应于触发条件，在框902处，空间特征过滤模块216选择LADF134中当前所包括的空间特征，并且在框904处，空间特征过滤模块216将所选择空间特征的特征分数和被指定为“THRESH_L”的规定阈值进行比较。该阈值可以是固定阈值，或者可以基于一个或多个当前条件。例如，在一个实施例中，阈值THRESH_L可以被设置为LADF 134中当前所包括的空间特征的中值当前特征分数。
在候选空间特征的特征分数并未超过阈值THRESH_L的情况下，空间特征过滤模块216(在当前评估轮次中)中止对所述候选空间特征的任何进一步考虑，并且方法900返回至框902，以便选择LADF 134中的下一个候选空间特征。否则，如果所述特征分数超过阈值THRESH_L，则在框906处，空间特征过滤模块216信号通知定位生成模块218从LADF 134移除所选择的空间特征。在一些实施例中，从LADF 134移除空间特征可以要求选择另一个空间特征以替代被移除的空间特征，因此用作发起图8所示方法800的候选空间特征评估处理的触发条件。在从LADF 134移除所选择的空间特征之后，方法900返回框902，以便选择并评估LADF 134的下一个空间特征。
ADF服务器102所保存的LADF包含世界上一个区域的视觉特征和几何信息的表示形式。该信息可能是敏感的，因此ADF服务器102务必要防止针对LADF数据存储206中所存储的LADF内容以及ADF数据存储204中所存储的ADF内容(其在一些实施方式中，可以包括相同的数据存储)的非授权或非计划访问。为此，ADF服务器102针对LADF数据存储206中的LADF内容采用两层索引方案形式的隐私防护。图10-12示出了查询模块220和LADF数据存储206依据该两层索引方案的示例配置以及它们的操作。ADF数据存储204可以以下文所述方式被类似配置。
图10示出了由查询模块220和LADF数据存储206所实施的示例两层查询接口1000。如图所示，LADF数据存储206所存储的每个LADF(例如，LADF 134)被存储在LADF数据存储206中所实施的LADF数据库1004的相对应LADF条目1002中。每个LADF条目1002包括多个字段，包括用于存储于其中所存储的LADF相关联UID的UID字段1006，用于存储当前由LADF所表示的空间特征的集合的空间特征字段1008，以及用于存储于LADF相关联的位置指示符或其它位置数据的位置字段1010。
在没有充分防护的情况下，未授权方可能能够从LADF数据存储206获得LADF 134，因此存在暴露潜在敏感信息的风险。两层查询接口1000可以通过要求进行请求的移动设备104或其它请求方正面它们处于(或曾经处于)与所请求LADF相关联的区域而更为全面地确保LADF数据存储206的LADF数据。诸如GPS坐标之类的一些位置指示符可以轻易被欺骗或以其它方式被伪造。进一步地，诸如WLAN MAC地址或蜂窝塔台BSID之类的其它类型的位置是似乎可能覆盖远大于感兴趣区域的地区，因此可能缺少足够的粒度。这样，位置指示符单独可能并不足以证明进行请求的移动设备实际上处于指定区域之中。因此，查询接口1000可以另外通过要求移动设备104提交所述移动设备104在指定区域中所观察到的空间特征的集合而另外要求证明所述移动设备104处于指定区域中。查询接口1000可以将该空间特征集合与LADF条目的空间特征进行比较，以识别匹配的LADF。然而，许多区域具有类似的结构配置(例如，办公楼内相似的房间)，因此存在着多个LADF可能与所提交的空间特征集合充分匹配的风险，因此可能将不正确的LADF提供至进行请求的移动设备，这由于其表示潜在的隐私违背以及为移动设备104提供了不正确的定位参考而存在双重的问题。
因此，为了确保移动设备实际上处于其所表示的区域之中并且确保正确的LADF被提供给所述移动设备，查询接口1000利用移动设备所提交的空间特征集合以及一个或多个位置指示符来从LADF数据库1004中识别正确的LADF。应当意识到的是，依据该方法，移动设备或其它请求方通过提交在所识别区域中观察到的空间特征而证明了所述请求方处于所识别区域中，因此针对所识别区域释放的LADF具有非计划性地公开潜在地敏感信息的低风险，这是因为请求方可以简单地环顾所指示区域，以获得比所提供LADF所表示的视觉信息更为详细的许多数量级的视觉信息。
为此，查询模块220包括空间特征查询接口1012和位置选择模块1014。空间特征查询接口1012基于使用移动设备104所提交的LADF请求236中的空间特征集合1016对LADF数据库1004中的LADF条目1002的空间特征字段1008的搜索来执行候选LADF的初始查询。该搜索考虑到在空间特征被投影到由LADF请求236所表示的图像中时的、所述空间特征的相对几何形状，从而检查相对于LADF数据库1004中的那些的一致性。随后，位置选择模块1014基于随LADF请求236所提交的一个或多个位置指示符1018与候选LADF的位置字段1010中的每个LADF的位置信息的比较而从所识别的候选LADF中进行选择。
进一步地，为了防止使用位置指示符或空间特征以外的其它关键字对LADF条目1002进行搜索或其它访问，在一些实施例中，LADF数据存储206被配置为通过空间特征字段1008对LADF条目1002进行索引，并且进一步被配置为避免通过位置字段1010对LADF条目1002进行索引。在该配置中，LADF数据库1004的LADF条目1002能够经由LADF的空间特征集合进行搜索，但是最初无法由位置进行搜索。以这种方式，单独提交位置指示符将不会导致从LADF数据库1004识别或差生任何LADF 134。
图11示出了依据本公开至少一个实施例的图10的两层查询接口1000的操作的示例方法1100。方法1100在框1102处以从移动设备或其它请求方针对所指示区域提交LADF请求236作为开始。在至少一个实施例中，为了接受LADF请求236以进行处理，ADF服务器102要求LADF请求236至少包括在所指示区域中观察到的空间特征集合2016以及由移动设备在所指示区域中所获得或确定的一个或多个位置指示符1018。
在框1104处，空间特征查询接口1012搜索LADF数据库1004的LADF条目1002，以找出在空间特征字段1008中具有与LADF请求236的空间特征集合1016充分重叠的空间特征集合并且具有与空间特征集合1016的投影空间特征的几何形状相一致的相对几何形状的LADF条目1002。在一个实施例中，针对每个经分析的LADF条目1002，空间特征查询接口1012可以确定空间特征集合1016与LADF条目1002的空间特征字段1008之间的匹配空间特征的计数。随后，空间特征查询接口1012可以基于针对LADF条目1002所确定的计数数值来选择N个候选LADF(例如，图10中的候选LADF 1021、1022、1023)。例如，在一些实例中，每个具有大于指定阈值的计数的LADF可以被选择作为候选LADF。在其它实例中，空间特征查询接口1012可以选择具有最高计数数值的N个LADF作为N个候选LADF。
在框1106处，空间特征查询接口1012验证至少一个候选LADF已经从LADF数据库1004被识别。如果否，则在框1108处，查询模块220信号通知进行请求的移动设备无法针对所指示区域得到LADF。否则，所述一个或多个所识别的候选LADF被提供至位置选择模块1014(例如，通过识别候选LADF的UID)，并且在框1110处，位置选择模块1014将LADF请求236中的一个或多个位置指示符1018与所述候选LADF的位置字段1010所指示的位置进行比较，以对每个候选LADF和一个或多个位置指示符1018之间的匹配进行打分。在框1112处，位置选择模块1014验证一个或多个位置指示符1018和一个或多个候选LADF的位置信息之间是否存在充分匹配。如果否，则在1114处，查询模块220信号通知进行请求的移动设备无法针对所指示的区域得到LADF。否则，在框1116处，位置选择模块1014选择具有最佳位置匹配得分的候选LADF作为与所识别区域位于一处的LADF，并且将该所选择的LADF作为针对所述区域响应于LADF请求的LADF 134提供至移动设备。
除了相对于针对LADF数据库1004的LADF的非授权或非计划访问提供保护之外，使用如移动设备所检测到的空间特征及其几何形状执行LADF查询还确保了最终通过两阶段查询处理所选择的LADF将允许计算设备使用匹配的LADF进行成功定位。这是因为，与在移动设备处使用LADF中的所观察空间特征及其图像几何形状所执行的用于找出移动设备相对于LADF的姿态的定位处理相比，所述LADF查询处理的第一阶段执行与相同或相似的“定位”处理，以识别候选LADF。
图12示出了依据至少一个实施例的两层查询接口1000的可替换配置。如利用图10所示实施方式，LADF数据存储206实施包括多个LADF条目1202的LADF数据库1204，每个LADF条目1202具有UID字段1006、空间特征字段1008和位置字段1010。然而，与图10的实施方式相比，LADF数据库1204另外基于位置字段1010对LADF字段1202进行索引。进一步地，在该实施例中，查询模块220包括针对LADF数据库1204和空间特征选择模块1214的位置查询接口1212。
在所示实施方式中，针对LADF的两层查询被实施为位置查询接口1212针对具有与LADF请求236的一个或多个位置指示符1018充分匹配的位置信息的LADF而对LADF条目1202进行的第一层搜索，以识别出一个或多个候选LADF。随后，空间特征选择模块1214比较LADF请求236的空间特征集合1016，以将与空间特征1016最佳匹配的候选LADF选择作为响应于LADF请求236而提供至进行请求的移动设备的LADF 134。
上文所述的许多发明功能以及许多发明原则非常适用于利用诸如专用IC(ASIC)的集成电路实施或者在所述集成电路之中实施。期望在本文公开的概念和原理的指导下，尽管可能有重大的努力以及由诸如可用时间、当前技术和经济考虑因素引起的许多设计选择，但是普通技术人员将能够轻易地以最少的实验生成这样的IC。因此，为了简化和尽量减少根据本公开的原则和概念的任何风险，如果有的话，对这样的软件和IC的进一步讨论将被限制于关于优选实施例中的原理和概念的要点。
在本文中，诸如第一和第二等的关系术语可以仅被用来在一个实体或动作与另一个实体或动作之间加以区分，而并非必然在这样的实体或动作之间要求或暗示任何实际这样的关系或顺序。在本文中，术语“包括”、“包括着”或其任意其它变化形式意在覆盖非排他性包含，从而包括一系列要素的过程、方法、物品或装置并不仅仅包括那些要素，而是可包括没有明确列出或者对于这样的过程、方法、物品或装置而言是固有的其它要素。没有更多的限制，之前有“包括…一个”的要素并不排除在包括该要素的过程、方法、物品或装置中存在其它相同的要素。如本文中所使用的，术语“另一个”被定义为至少第二个或更多。如这里所使用的，术语“包含”和/或“具有”被定义为包括。如这里关于光电技术所使用的术语“耦合”并定义为连接，但是并非必然为直接连接，也并非必然为机械连接。如这里所使用的，术语“程序”被定义为被设计为在计算机系统上执行的指令序列。“程序”或“计算机程序”可包括子程序、函数、过程、对象方法、对象实施方式、可执行应用程序、Java程序、源代码、目标代码、共享库/动态负载库和/或被设计为在计算机系统上执行的其它指令序列。
说明书和附图应当被认为仅是作为示例，因此本公开的范围意在仅有以下权利要求及其等同形式所限定。注意到，并非以上在整体描述中所描述的所有活动或要素都被要求，并且具体活动或设备的一部分可能并不被要求，并且除了所述内容之外，可以执行一个或多个另外的活动或者包括另外的要素。再进一步地，活动被列举的顺序并非必然是它们被执行的顺序。而且，已经参考具体实施例对概念进行了描述。然而，本领域技术人员将会意识到，能够进行各种修改和变化而并不背离在以下权利要求中所给出的本公开的范围。因此，该说明书和附图被以说明而非限制的含义进行理解，并且所有这样的修改都意在被包括在本公开的范围之内。
以上已经关于具体实施例对好处、优势、针对问题的解决方案进行了描述。然而，所述好处、优势、针对问题的解决方案以及可能导致任何好处、优势或解决方案发生或变得更为突显的任意(多个)特征并不被理解为是任何或所有权利要求的关键、要求或必要特征。

Claims (22)

1.一种方法，包括：
在计算系统的数据存储处存储多个定位区域描述文件，每个定位区域描述文件表示相对应的空间特征集合以及识别与所述空间特征集合相关联的位置信息；
在所述计算系统处接收来自移动设备的针对所述定位区域描述文件的请求，所述请求包括空间特征集合以及至少一个非图像位置指示符；
基于所述请求的空间特征集合和所述请求的至少一个位置指示符中的一个从所述数据存储中识别一个或多个候选定位区域描述文件的集合；以及
基于所述请求的空间特征集合和所述请求的至少一个位置指示符中的另一个从所述一个或多个候选定位区域描述文件的集合中选择定位区域描述文件；以及
响应于所述请求，向所述移动设备提供所选择的定位区域描述文件。
2.根据权利要求1所述的方法，其中，所述至少一个位置指示符包括所述移动设备的地理位置的指示符。
3.根据权利要求2所述的方法，其中，所述至少一个指示符包括与无线基站相关联的标识符。
4.根据权利要求1所述的方法，其中：
识别一个或多个候选定位区域描述文件的集合包括：基于所述请求的空间特征集合识别所述一个或多个候选定位区域描述文件的集合；以及
选择所述定位区域描述文件包括：基于所述请求的至少一个位置指示符选择所述定位区域描述文件。
5.根据权利要求4所述的方法，其中，基于所述请求的空间特征集合识别所述一个或多个候选定位区域描述文件的集合包括：
针对所述多个定位区域描述中的每个定位区域描述文件，基于所述定位区域描述文件中的、与所述请求的空间特征集合中的空间特征相匹配的空间特征的数量来确定第一分数；以及
基于对于所述多个定位区域描述文件中的每个定位区域描述文件所确定的所述第一分数来选择所述一个或多个候选定位区域描述文件的集合。
6.根据权利要求5所述的方法，其中，确定针对所述定位区域描述文件的第一分数包括：
使用循环闭包算法确定所述第一分数。
7.根据权利要求5所述的方法，其中，基于所述至少一个位置指示符选择所述定位区域描述文件包括：
针对每个候选定位区域描述文件，基于与所述请求的一个或多个位置指示符中的位置指示符相对应的、由所述定位区域描述文件的位置信息所表示的位置指示符的数量来确定第二分数；以及
基于针对每个候选定位区域描述文件所确定的第二分数选择所述定位区域描述文件。
8.根据权利要求1所述的方法，其中：
识别一个或多个候选定位区域描述文件的集合包括：基于所述请求的一个或多个位置指示符识别所述一个或多个候选定位区域描述文件的集合；以及
选择所述定位区域描述文件包括：基于所述请求的空间特征集合选择所述定位区域描述文件。
9.根据权利要求8所述的方法，其中，基于所述请求的一个或多个位置指示符识别所述一个或多个候选定位区域描述文件的集合包括：
针对所述多个定位区域描述文件中的每个候选定位区域描述文件，基于与所述请求的一个或多个位置指示符中的位置指示符相对应的、由所述定位区域描述文件的位置信息所表示的位置指示符的数量来确定第一分数；以及
基于针对所述多个定位区域描述文件中的每个候选定位区域描述文件所确定的第一分数选择所述一个或多个定位区域描述文件的集合。
10.根据权利要求9所述的方法，其中，基于所述请求的空间特征集合选择所述定位区域描述文件包括：
针对每个候选定位区域描述文件，基于所述候选定位区域描述文件中与所述请求的空间特征集合的空间特征相匹配的空间特征的数量来确定第二分数；以及
基于针对每个定位区域描述文件所确定的第二分数选择所述定位区域描述文件。
11.一种计算系统，包括：
数据存储，所述数据存储用于存储多个定位区域描述文件，每个定位区域描述文件表示相对应的空间特征集合以及识别与所述空间特征集合相关联的位置信息；
网络接口，所述网络接口用于接收来自移动设备的针对定位区域描述文件的请求，所述请求包括空间特征集合以及至少一个非图像位置指示符；
耦合至所述数据存储和网络接口的查询模块，所述查询模块包括：
查询接口，所述查询接口基于所述请求的空间特征集合和所述请求的至少一个位置指示符中的一个从所述数据存储中识别一个或多个候选定位区域描述文件的集合；以及
选择模块，所述选择模块基于所述请求的空间特征集合和所述请求的至少一个位置指示符中的另一个从所述一个或多个候选定位区域描述文件的集合中选择定位区域描述文件；以及
其中，所述查询模块响应于所述请求而经由所述网络接口向所述移动设备提供所选择的定位区域描述文件。
12.根据权利要求11所述的计算系统，其中，所述至少一个位置指示符包括以下至少一个：所述移动设备的地理位置的指示符；以及与无线基站相关联的标识符。
13.根据权利要求11所述的计算系统，其中：
所述查询接口基于所述请求的空间特征集合来识别所述一个或多个候选定位区域描述文件的集合；以及
所述选择模块基于所述请求的至少一个位置指示符来选择所述定位区域描述文件。
14.根据权利要求13所述的计算系统，其中：
所述数据存储基于所述定位区域描述文件的空间特征集合对每个定位区域描述文件进行索引，而并不基于所述定位区域描述文件的位置信息对所述定位区域描述文件进行索引。
15.根据权利要求13所述的计算系统，其中：
所述查询接口通过以下方式来识别所述一个或多个候选定位区域描述文件的集合：
针对所述多个定位区域描述中的一个定位区域描述文件，基于所述定位区域描述文件中与所述请求的空间特征集合中的空间特征相匹配的空间特征的数量来确定第一分数；以及
基于针对所述多个定位区域描述文件中的每个定位区域描述文件所确定的第一分数来选择所述一个或多个候选定位区域描述文件的集合。
16.根据权利要求15所述的计算系统，其中：
所述选择模块使用循环闭包算法确定针对所述定位区域描述文件的所述第一分数。
17.根据权利要求15所述的计算系统，其中：
所述选择模块通过以下方式来选择所述定位区域描述文件：
针对每个候选定位区域描述文件，基于所述定位区域描述文件的位置信息所表示的与所述请求的一个或多个位置指示符中的位置指示符相对应的位置指示符的数量来确定第二分数；以及
基于针对每个候选定位区域描述文件所确定的第二分数选择所述定位区域描述文件。
18.根据权利要求11所述的计算系统，其中：
所述查询接口基于所述请求的一个或多个位置指示符识别所述一个或多个候选定位区域描述文件的集合；以及
所述选择模块基于所述请求的空间特征集合来选择所述定位区域描述文件。
19.根据权利要求18所述的计算系统，其中：
所述查询接口通过以下方式来识别所述一个或多个候选定位区域描述文件的集合：
针对所述多个定位区域描述文件中的每个候选定位区域描述文件，基于所述定位区域描述文件的位置信息所表示的与所述请求的一个或多个位置指示符中的位置指示符相对应的位置指示符的数量来确定第一分数；以及
基于针对所述多个定位区域描述文件中的每个候选定位区域描述文件所确定的第一分数来选择所述一个或多个定位区域描述文件的集合。
20.根据权利要求19所述的计算系统，其中：
所述选择模块通过以下方式来选择所述定位区域描述文件：
针对每个候选定位区域描述文件，基于所述候选定位区域描述文件中与所述请求的空间特征集合中的空间特征相匹配的空间特征的数量来确定第二分数；以及
基于针对每个定位区域描述文件所确定的第二分数来选择所述定位区域描述文件。
21.一种移动设备，包括：
至少一个成像传感器，所述成像传感器用于捕捉所述移动设备所在区域的影像；
耦合至所述至少一个成像传感器的空间特征检测模块，所述空间特征检测模块用于检测所捕捉影像中的空间特征集合；
耦合至所述空间特征检测模块的请求模块，所述请求模块针对所述区域的定位区域描述文件生成请求，所述定位区域描述文件包括所述空间特征集合以及与所述区域相关联的一个或多个位置指示符；以及
耦合至所述请求模块的网络接口，所述网络接口用于向远程计算设备传送所述请求。
22.根据权利要求21所述的移动设备，进一步包括：
耦合至所述网络接口、所述空间特征检测模块和所述请求模块的定位模块，所述定位模块使用所述空间特征检测模块所检测的空间特征以及响应于所述请求从所述远程计算系统接收的定位区域描述文件来执行定位处理。
CN201680019347.8A 2015-05-11 2016-05-05 用于定位区域描述文件的敏感隐私查询 Pending CN107438841A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/708,970 2015-05-11
US14/708,970 US20160335275A1 (en) 2015-05-11 2015-05-11 Privacy-sensitive query for localization area description file
PCT/US2016/030956 WO2016182846A1 (en) 2015-05-11 2016-05-05 Privacy-sensitive query for localization area description file

Publications (1)

Publication Number Publication Date
CN107438841A true CN107438841A (zh) 2017-12-05

Family

ID=56116521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680019347.8A Pending CN107438841A (zh) 2015-05-11 2016-05-05 用于定位区域描述文件的敏感隐私查询

Country Status (6)

Country Link
US (1) US20160335275A1 (zh)
EP (1) EP3295730A1 (zh)
JP (1) JP2018526698A (zh)
KR (1) KR102149374B1 (zh)
CN (1) CN107438841A (zh)
WO (1) WO2016182846A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112513854A (zh) * 2020-07-08 2021-03-16 华为技术有限公司 一种高精度地图、高精度地图生成方法和使用方法

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10043319B2 (en) 2014-11-16 2018-08-07 Eonite Perception Inc. Optimizing head mounted displays for augmented reality
US9916002B2 (en) 2014-11-16 2018-03-13 Eonite Perception Inc. Social applications for augmented reality technologies
US9754419B2 (en) 2014-11-16 2017-09-05 Eonite Perception Inc. Systems and methods for augmented reality preparation, processing, and application
US11017712B2 (en) 2016-08-12 2021-05-25 Intel Corporation Optimized display image rendering
US9928660B1 (en) 2016-09-12 2018-03-27 Intel Corporation Hybrid rendering for a wearable display attached to a tethered computer
US10346223B1 (en) 2016-11-23 2019-07-09 Google Llc Selective obfuscation of notifications
GB201705767D0 (en) 2017-04-10 2017-05-24 Blue Vision Labs Uk Ltd Co-localisation
KR102006245B1 (ko) * 2017-09-15 2019-08-06 주식회사 인사이너리 바이너리 파일에 기초하여 오픈소스 소프트웨어 패키지를 식별하는 방법 및 시스템
CN109579765B (zh) * 2017-09-29 2020-09-18 上海时元互联网科技有限公司 基于伺服电机的三维点云数据匹配方法及系统、控制器
US10692289B2 (en) 2017-11-22 2020-06-23 Google Llc Positional recognition for augmented reality environment
US11227435B2 (en) 2018-08-13 2022-01-18 Magic Leap, Inc. Cross reality system
US11232635B2 (en) 2018-10-05 2022-01-25 Magic Leap, Inc. Rendering location specific virtual content in any location
US11151792B2 (en) 2019-04-26 2021-10-19 Google Llc System and method for creating persistent mappings in augmented reality
US11163997B2 (en) 2019-05-05 2021-11-02 Google Llc Methods and apparatus for venue based augmented reality
CN114616534A (zh) 2019-10-15 2022-06-10 奇跃公司 具有无线指纹的交叉现实系统
US11568605B2 (en) 2019-10-15 2023-01-31 Magic Leap, Inc. Cross reality system with localization service
CN114730546A (zh) 2019-11-12 2022-07-08 奇跃公司 具有定位服务和基于位置的共享内容的交叉现实系统
US11562542B2 (en) 2019-12-09 2023-01-24 Magic Leap, Inc. Cross reality system with simplified programming of virtual content
CN113396410A (zh) * 2020-01-14 2021-09-14 华为技术有限公司 一种图像识别方法及相关设备
EP4104145A4 (en) 2020-02-13 2024-01-24 Magic Leap Inc CROSS-REALLY SYSTEM PRIORITIZING GEOLOCALIZATION INFORMATION FOR LOCALIZATION
WO2021163306A1 (en) 2020-02-13 2021-08-19 Magic Leap, Inc. Cross reality system with accurate shared maps
CN115398314A (zh) 2020-02-13 2022-11-25 奇跃公司 使用多分辨率帧描述符进行地图处理的交叉现实系统
JP2023515524A (ja) * 2020-02-26 2023-04-13 マジック リープ， インコーポレイテッド 高速位置特定を伴うクロスリアリティシステム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1767959A1 (en) * 2005-09-23 2007-03-28 Fortuna Electronic Corp. Global positioning system and method
US20100287178A1 (en) * 2009-05-08 2010-11-11 Google Inc. Refining location estimates and reverse geocoding based on a user profile
CN102194007A (zh) * 2011-05-31 2011-09-21 中国电信股份有限公司 获取移动增强现实信息的系统和方法
WO2013029674A1 (en) * 2011-08-31 2013-03-07 Metaio Gmbh Method of matching image features with reference features
US20140323148A1 (en) * 2013-04-30 2014-10-30 Qualcomm Incorporated Wide area localization from slam maps

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4236372B2 (ja) * 2000-09-25 2009-03-11 インターナショナル・ビジネス・マシーンズ・コーポレーション 空間情報利用システムおよびサーバシステム
JP4081360B2 (ja) * 2002-11-28 2008-04-23 株式会社日立製作所 空間情報提供システム
WO2009097552A1 (en) * 2008-02-01 2009-08-06 Omnivision Cdm Optics, Inc. Image data fusion systems and methods
US20110161792A1 (en) * 2009-12-31 2011-06-30 Edward Florence Producing interactive documents
US8965447B1 (en) * 2010-08-24 2015-02-24 Cellco Partnership Location based network selection
US20120084118A1 (en) * 2010-09-30 2012-04-05 International Business Machines Corporation Sales predication for a new store based on on-site market survey data and high resolution geographical information
JPWO2012090890A1 (ja) * 2010-12-27 2014-06-05 日本電気株式会社 情報処理システム，情報処理方法及び情報処理プログラム
US20120299702A1 (en) * 2011-05-26 2012-11-29 Caterpillar Inc. Hybrid positioning system
US9239849B2 (en) * 2011-06-08 2016-01-19 Qualcomm Incorporated Mobile device access of location specific images from a remote database
EP2817785B1 (en) * 2012-02-23 2019-05-15 Charles D. Huston System and method for creating an environment and for sharing a location based experience in an environment
US9407837B2 (en) * 2013-02-28 2016-08-02 Google Inc. Depth sensor using modulated light projector and image sensor with color and IR sensing
US9323785B2 (en) * 2013-03-06 2016-04-26 Streamoid Technologies Private Limited Method and system for mobile visual search using metadata and segmentation
US20140357290A1 (en) * 2013-05-31 2014-12-04 Michael Grabner Device localization using camera and wireless signal
CN103984037B (zh) * 2014-04-30 2017-07-28 深圳市墨克瑞光电子研究院 基于视觉的移动机器人障碍物检测方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1767959A1 (en) * 2005-09-23 2007-03-28 Fortuna Electronic Corp. Global positioning system and method
US20100287178A1 (en) * 2009-05-08 2010-11-11 Google Inc. Refining location estimates and reverse geocoding based on a user profile
CN102194007A (zh) * 2011-05-31 2011-09-21 中国电信股份有限公司 获取移动增强现实信息的系统和方法
WO2013029674A1 (en) * 2011-08-31 2013-03-07 Metaio Gmbh Method of matching image features with reference features
US20140323148A1 (en) * 2013-04-30 2014-10-30 Qualcomm Incorporated Wide area localization from slam maps

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112513854A (zh) * 2020-07-08 2021-03-16 华为技术有限公司 一种高精度地图、高精度地图生成方法和使用方法

Also Published As

Publication number Publication date
KR102149374B1 (ko) 2020-08-31
EP3295730A1 (en) 2018-03-21
WO2016182846A1 (en) 2016-11-17
US20160335275A1 (en) 2016-11-17
JP2018526698A (ja) 2018-09-13
KR20180005168A (ko) 2018-01-15

Similar Documents

Publication Publication Date Title
CN107438841A (zh) 用于定位区域描述文件的敏感隐私查询
CN107430686A (zh) 用于移动设备定位的区域描述文件的众包创建和更新
CN107438853A (zh) 在上载之前区域描述文件的隐私过滤
US11900547B2 (en) Cross reality system for large scale environments
JP6931138B1 (ja) デバイスローカリゼーションのためのマルチシンクアンサンブルモデル
CN106164982B (zh) 基于影像的电子设备定位
CN107944618B (zh) 共享车辆的布点规划方法、装置以及电子设备
US20120127201A1 (en) Apparatus and method for providing augmented reality user interface
CN105023266A (zh) 增强现实实现方法、装置和终端设备
CN107646109A (zh) 管理电子设备上的环境映射的特征数据
US20220067012A1 (en) Methods, systems and apparatus to improve spatial-temporal data management
JPWO2012164685A1 (ja) 情報提供装置、情報提供方法、情報提供処理プログラム、情報提供処理プログラムを記録した記録媒体、及び情報提供システム
EP3138018A1 (en) Identifying entities to be investigated using storefront recognition
CN110619807A (zh) 生成全局热力图的方法和装置
KR20210046217A (ko) 복수 영역 검출을 이용한 객체 탐지 방법 및 그 장치
CN110263209A (zh) 用于生成信息的方法和装置
WO2021131248A1 (ja) 物体検索装置及び物体検索方法
CN110196638B (zh) 基于目标检测和空间投影的移动端增强现实方法和系统
JP7265143B2 (ja) 表示制御方法、表示制御プログラムおよび情報処理装置
US11127158B2 (en) Image indexing and retrieval using local image patches for object three-dimensional pose estimation
US20220375175A1 (en) System For Improving The Precision and Accuracy of Augmented Reality
JP2022137866A (ja) 類似形状検索システム、情報処理装置、サーバ、コンピュータプログラム及び類似形状検索方法
CN117726691A (zh) 双目相机标定方法、装置、飞行器以及存储介质
JP2018151759A (ja) 対象物選択システム、対象物選択方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB02 Change of applicant information

Address after: California, USA

Applicant after: Google Inc.

Address before: California, USA

Applicant before: Google Inc.

CB02 Change of applicant information
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171205

RJ01 Rejection of invention patent application after publication