CN107430686B - 用于移动设备定位的区域描述文件的众包创建和更新 - Google Patents

Abstract

一种计算系统，其包括：网络接口、第一数据存储装置、第二数据存储装置、和合并模块。所述合并模块用于从一个或多个第一移动设备的集合接收一个或多个区域描述文件的集合。每个区域描述文件表示对应的第一移动设备在一区域处检测到的空间特征的点云。所述计算系统还包括定位模块和查询模块。所述定位生成模块用于从所述一个或多个区域描述文件的集合生成该区域的定位区域描述文件，并将该定位区域描述文件存储在第二数据存储装置中。该定位区域数据描述文件表示该区域的空间特征的点云。所述查询模块用于经由网络接口将该定位区域描述文件提供给第二移动设备。

Description

用于移动设备定位的区域描述文件的众包创建和更新

相关申请的交叉引用

本申请涉及以下共同待决专利申请，其全部内容通过引用的方式并入本文：

发明名称为“PRIVACY FILTERING OF AREA DESCRIPTION FILE PRIOR TOUPLOAD”并且同时提交的美国专利申请No.14/708,955(代理人案卷号：1500-T014US)；以及

发明名称为“PRIVACY-SENSITIVE QUERY FOR LOCALIZATION AREA DESCRIPTIONFILE”并且同时提交的美国专利申请No.14/708,970(代理人案卷号：1500-T015US)。

技术领域

本公开大体上涉及可视化建图系统(visual mapping system)，并且更具体地涉及使用可视化信息对移动设备进行定位。

发明内容

可视化建图系统依赖于在由移动设备捕获的影像中检测到的空间特征(也称为“可视化特征”)以及惯性信息，以确定该移动设备在三维(3D)空间中的当前位置和定向。通常，在所定义的坐标系的场境中确定该位置和定向，以促进需要与已知的固定参考系同步的各种功能，例如虚拟现实(VR)功能、增强现实(AR)功能、或者在多个移动设备之间的游戏或其它设备使能的交互。同时定位与建图(SLAM)技术使移动设备能够对先前未建图的区域进行建图(map)，同时在该区域内学习其位置和定向。因此，当移动设备返回同一区域时，可以通过在被称为“定位”的处理中检测先前观察到的空间特征而容易地确定其在该区域内的当前位置和定向。然而，当移动设备首次进入一个区域时，该移动设备缺少这些先前检测到的定位提示。在传统的可视化建图系统中，移动设备必须通过实施可视化建图处理来“学习”区域——它是花费了大量的时间和资源的处理。为了避免在对先前未建图的区域执行可视化建图处理中所涉及的延迟，传统的可视化建图系统反而可以基于非可视化定向输入(例如，全球定位系统(GPS)信息或经由惯性传感器反馈的定位建图)来恢复检测移动设备的定向或位置。然而，这些非可视化建图解决方案可能不可靠(例如，在室内或者被高障碍物包围的区域中的GPS接收不良)、不精确，并且由于传感器和测量漂移而容易出错。

附图说明

通过参考附图，本领域技术人员可以更好地理解本公开，并且本公开的许多特征和优点将变得显而易见。在不同的附图中，使用了相同的附图标记指示相似或相同的项。

图1是图示了根据本公开的至少一个实施例的、用于对提供给移动设备的区域描述文件进行众包创建和更新以进行定位的基于云的可视化建图系统的示意图。

图2是图示了根据本公开的至少一个实施例的、图1的可视化建图系统的区域描述文件服务器的框图。

图3是图示了根据本公开的至少一个实施例的、图1的可视化建图系统的移动设备的框图。

图4是图示了根据本公开的至少一个实施例的、用于选择先前已建图的定位过程或先前未建图的定位过程中的一个的方法的流程图。

图5是图示了根据本公开的至少一个实施例的、用于对定位区域描述文件进行众包生成的方法的流程图。

图6是图示了根据本公开的至少一个实施例的、用于通过使用从远程区域描述文件服务器获得的定位区域描述文件对移动设备进行定位的方法的流程图。

图7是图示了根据本公开的至少一个实施例的、用于对定位区域描述文件进行众包更新的方法的流程图。

图8是图示了根据本公开的至少一个实施例的、用于对要包括在定位区域描述文件中的候选空间特征进行评估的方法的流程图。

图9是图示了根据本公开的至少一个实施例的、用于对要从定位区域描述文件中去除的空间特征进行评估的方法的流程图。

图10是图示了根据本公开的至少一个实施例的、用于执行定位区域描述文件查询的区域描述文件服务器的LADF数据库的两级查询界面的示意图。

图11是图示了根据本公开的至少一个实施例的、用于对定位区域描述文件的两级查询的方法的流程图。

图12是图示了根据本公开的至少一个实施例的、用于执行定位区域描述文件查询的区域描述文件服务器的LADF数据库的另一种两级查询界面的示意图。

具体实施方式

以下描述旨在通过提供涉及可视化建图系统的若干具体实施例和细节来传达对本公开的透彻理解。然而，应该理解，本公开不限于仅作为示例的这些具体实施例和细节，因此，本公开的范围旨在仅由所附权利要求书及其等同物限制。还应该理解，根据已知的系统和方法，本领域普通技术人员将会了解：出于其在任何数量的替代实施例中的预期目的和益处来使用本公开，这取决于具体设计和其它需求。

图1至图12图示了用于基于云的创建、修订(revision)和向移动设备提供定位区域数据文件的示例系统和技术。在至少一个实施例中，可视化建图系统包括经由一个或多个有线或无线网络通信地耦接至多个移动设备的区域描述文件(ADF)服务器。当移动设备进入先前未建图的区域时，该移动设备启动区域学习处理，由此，移动设备捕获该区域的影像，使用所捕获的影像来检测空间特征，并将所述空间特征的表示、其相对几何、相关联的统计数据、以及在ADF中同时捕获到的传感器数据传输给ADF服务器。ADF服务器使用该ADF来生成定位ADF(LADF)，该定位ADF(LADF)表示此区域的空间特征的稀疏点云。注意，术语“文件”(例如在“区域描述文件”中使用的或在本文中以其它方式使用的)是指用于关联数据和其它信息字段的任何数据结构，或者这种数据结构的任何组合。然后，可以将LADF下载到位于该LADF所覆盖的区域中的另一移动设备。接收该LADF的移动设备可以捕获该区域的影像，检测所述影像中的空间特征，并将所检测到的空间特征及其相对几何与由LADF表示的空间特征和相对几何进行比较，以便使用由LADF表示的参考坐标系对该区域内的移动设备进行定位。以此方式，可以通过由这些移动设备进行的数据的被动采集和上传而高效地对先前未建图的区域的区域发现和建图进行众包。

在一些实施例中，ADF服务器从同一区域或相邻区域的多个移动设备接收ADF文件，并且ADF服务器进行操作以将这些多个ADF文件合并到一个合并的ADF文件(或者ADF文件的合并集群)中，该合并的ADF文件转而可以用来生成用于该区域或其子区域的一个或多个LADF。此外，随着可能发生的区域变化，ADF服务器可以通过使用LADF来利用基于来自移动设备的反馈而为某一区域生成的LADF的众包更新，以在该区域中进行定位。例如，响应于指示所述移动设备未可靠地观察到LADF中的一些空间特征的反馈，ADF服务器可以从LADF中去除这些空间特征。相反，响应于指示所述移动设备在该区域中可靠地观察到未包括在LADF中的空间特征的反馈，ADF服务器可以将这些空间特征添加至LADF。

因为由ADF和LADF表示的点云和相关联的数据在一定程度上提供了区域的可视化表示，从移动设备采集ADF和将LADF分布至移动设备可能会发生隐私牵连。因此，在一些实施例中，可视化建图系统实施某些隐私控制。一种这样的隐私控制可以包括：将移动设备配置为在ADF被上传到ADF服务器之前对该ADF的数据实施一个或多个隐私过滤处理，并因此将由该ADF的上传版本表示的信息渲染为不可用于重新创建该区域的有用可视化内容。另一这样的隐私控制可以包括用于访问LADF的两阶段LADF查询以分配至移动设备。当移动设备进入不具有可用的LADF的区域时，该移动设备捕获影像，从所捕获的影像中检测空间特征，并且将LADF请求提交给ADF服务器，由此，该LADF请求包括所检测到的空间特征集合和该移动设备的位置的指示器(例如，GPS坐标或一个或多个的无线基站识别码)。然后，ADF服务器可以进行第一查询阶段，以识别与所检测到的空间特征集合或位置指示器中的一个相匹配的候选LADF集合，然后基于所检测到的空间特征或位置指示器中的另一个来从候选LADF集合中选择LADF。以此方式，由该移动设备提交的空间识别码集合可以用作该移动设备处于所识别出的区域中或者该移动设备可以访问所识别出的区域的证据，因此，在将LADF提供至进行请求的移动设备时，隐私泄露的风险显著降低了。

图1图示了根据本公开的至少一个实施例的可视化建图系统100。在所描绘的该示例中，可视化建图系统100包括被通信地耦接至一个或多个移动设备104的ADF服务器102。如云106所表示的，ADF服务器102包括远离该移动设备104并经由一个或多个有线或无线网络(例如，经由无线局域网(WLAN)、蜂窝数据网络、互联网、或者它们的组合)耦接至移动设备104的计算系统。虽然本文在单个服务器的示例场境中描述ADF服务器102，但在其它实施例中，ADF服务器102可以实施为包括服务器集群的计算系统。下面参照图2更详细地描述ADF服务器102的示例实施方式。

移动设备104可以包括由一个或多个用户110操作的各种便携式电子设备中的任一种，例如头戴式显示器(HMD)、平板计算机、支持计算的蜂窝电话(例如，“智能手机”)、笔记本计算机、个人数字助理(PDA)、游戏机系统、无人机等。在所描绘的示例中，移动设备104包括具有与另一表面116相反的表面114的外壳112，由此，外壳112通常相对于用户110定向成使得用户面向外壳112的表面114。此外，在所描绘的实施方式中，移动设备104包括设置在表面116处用于向用户110呈现可视化信息的显示器118。因此，为了便于参考，在此，表面116被称为“前向”表面并且表面114被称为“面向用户的”表面，以作为本示例定向的反映，但这些表面的定向不受这些关系指定的限制。

移动设备104还包括多个传感器，以获取关于该移动设备104当前所处的区域122的信息。移动设备104经由设置在例如前向表面116处的一个或多个成像传感器124(例如，成像传感器124、126)来获取区域122的可视化信息(图像)。可以将成像传感器124、126定位和定向在前向表面116上，从而使得其相应的视场从与移动设备104相距特定距离的位置处重叠，由此经由多视角分析实现对在区域122中位于所述重叠视场的区域部位(region)中的对象的深度感测。可替代地，设置在表面116上的深度传感器130可以用于提供在该区域中的对象的深度信息。

在一个实施例中，深度传感器130使用调制光投影仪将调制光图案从前向表面116投影到区域122中，并且使用成像传感器124、126中的一个或二者而在所述调制光图案从区域122中的对象反射回来时捕获所述调制光图案的反射。这些调制光图案可以是空间调制光图案或时间调制光图案。所捕获的调制闪光的反射在此被称为“深度图像”或“深度影像”。深度传感器120然后可以基于对该深度影像的分析来所述计算对象的深度，即，所述对象与移动设备104的距离。从深度传感器130获得的所产生的深度数据可以用于对通过对由成像传感器124、126捕获到的图像数据进行多视角分析(例如，立体分析)而获得的深度信息进行校准或增大该深度信息。替代地，可以使用来自深度传感器130的深度数据来代替通过多视角分析获得的深度信息。下面参照图3更详细地描述移动设备104的电子系统的更详细示例。

在操作中，移动设备104经由成像传感器124、126中的一个或二者来捕获区域122的影像，修改或处理所捕获的影像，并且提供处理后的捕获影像以显示在显示设备108上。对所捕获的影像的处理例如可以包括：空间或彩色滤波、添加增强现实(AR)覆盖、将该影像的现实生活内容转换为对应的虚拟现实(VR)内容，等等。为了提供该AR或VR功能，移动设备104依赖于其相对于指定坐标系的当前六自由度(6DOF)定向和位置(在此统称为“姿态”)的精确确定。因此，在一些实施例中，移动设备104还利用同时定位与建图(SLAM)处理、可视化里程计处理或者其它可视化建图处理中的一个或多个处理来使用由成像传感器124、126捕获的影像和非图像传感器数据(例如，惯性传感器数据)，以确定移动设备104的相对位置/定向，即，相对于区域122的位置/定向。

通常，当一个移动设备进入新的区域(即，该特定的移动设备以前从未进入过的区域)时，该移动设备要么必须完成区域学习处理(例如，SLAM处理)以学习新的区域，要么依赖于非可视化提示(例如，GPS坐标)来提供该移动设备相对于坐标系的当前姿态的一些指示。相比之下，可视化建图系统100利用(leverage)通过在该区域中的其它移动设备进行先前探索而提供的众包，以允许对于该区域来说是新的移动设备快速定位到坐标系，而无需对该区域进行广泛的可视化建图。为此，当移动设备104围绕区域122移动时，连接至ADF服务器102的移动设备104进行操作以采集ADF 132并将ADF 132上传到ADF服务器102。如下面更详细描述的，ADF 132包括：由移动设备104检测到的空间特征集合、所述空间特征的相对几何、与按照基本独立于该移动设备的姿态的方式描述所述空间特征有关的各种统计元数据、照明条件、或者其它暂时环境条件或设备特定条件、以及在捕获与所述空间特征相关联的影像时从惯性管理单元(IMU)或其它非图像传感器采集到的传感器数据。ADF服务器102基于包含在ADF 132中的信息而对来自同一区域(或相邻区域)的多个移动设备104的ADF进行过滤和合并，并且根据所产生的合并后的ADF生成一个或多个LADF 134，这些LADF 134中的每一个均表示该区域或其对应的子区域的空间特征的稀疏点云。

因此，当另一移动设备104随后进入新的区域时，移动设备104可以向ADF服务器102查询与该区域相关联的LADF。响应于该查询，ADF服务器102可以向进行请求的移动设备104提供LADF 134。移动设备104可以捕获区域122的影像，检测该影像中包含的某些空间特征，并将检测到的空间特征及其相对几何与由LADF 134表示的空间特征及其相关联的相对几何进行比较，并且基于所述空间特征的比较(例如，通过应用循环闭合算法)来对其当前姿态进行定位(即，确定其当前姿态或者对已经漂移的先前确定的姿态进行校正)。移动设备104还可以基于该移动设备对LADF 134的使用而向ADF服务器102提供反馈，例如，指示该移动设备104未观察到LADF 134的空间特征的反馈数据，或者指示该移动设备104观察到不在LADF 134中的空间特征的反馈数据。

对LADF 134的众包和基于云的创建、改进及分布允许移动设备104在进入新的区域时快速并有效地定位，因此避免了需要执行耗时的区域学习处理或者避免了需要使用来自GPS传感器或惯性传感器的不太精确且通常不可靠的测量。此外，因为特定坐标系可能参考LADF134的空间特征，所以，使用LADF 134的多个移动设备104可以将其当前姿态定位到公共坐标系，从而促进移动设备104之间的更有效和更准确的交互，以用于依赖于设备姿态信息的功能，例如多人游戏、共享AR或VR功能等。

图2图示了根据本公开的至少一个实施例的、图1的ADF服务器102的示例实施方式。在所描绘的示例中，ADF服务器102包括：具有网络接口202的计算系统、ADF数据存储装置204、LADF数据存储装置206、特征得分数据存储装置208、地理参考数据存储装置210、合并模块212、地理参考模块214、空间特征过滤器模块216、定位生成模块218和查询模块220。虽然数据存储装置204、206、208、210中的一个或多个被图示为单独的数据存储装置，但也可以将数据存储装置204、206、208、210中的一个或多个一起实施为单个数据存储装置。

模块212、214、216、218、220可以被实施为硬编码逻辑(例如，专用集成电路系统或可编程逻辑)、执行存储在存储器226或其它存储装置中的软件指令224的一个或多个处理器222、或者上述的组合。此外，虽然为了便于说明而将ADF服务器102描绘为单个服务器，但也可以将ADF服务器102实施为包括多个服务器的计算系统。例如，模块212、214、216、和218的功能可以实施在一个服务器上，而查询模块220和LADF数据存储装置206的功能可以实施在另一服务器上。

作为总体概述，合并模块212进行操作，以经由网络接口202而从已经进入尚未为其编译LADF的区域中的一个或多个移动设备232(图1的移动设备104的一个实施例)接收ADF 132。合并模块212将来自移动设备232的一个或多个ADF 132合并以生成要存储在ADF数据存储装置204中的、合并后的ADF数据。地理参考模块214可以利用来自地理参考数据存储装置210的地理参考信息(该地理参考信息例如可以包含来自Google公司提供的“街景视图”工具的影像和相关联的地理参考位置)，以提供对合并后的ADF的地理参考。定位生成模块218根据所产生的合并后的ADF数据生成一个或多个LADF，并且将该一个或多个LADF存储在LADF数据存储装置206中且对该一个或多个LADF编制索引以用于随后的检索。查询模块220经由网络接口202从移动设备234(移动设备104的一个实施例)接收LADF请求236，在LADF数据存储装置206中搜索与LADF请求236对应的LADF 134，并将该LADF 134提供给移动设备234。移动设备234使用LADF 134对移动设备234进行定位。在此定位过程期间，移动设备234可以经由网络接口202向ADF服务器102提供关于LADF 134的LADF反馈238。ADF服务器102可以使用该LADF反馈238以在特征得分数据存储装置208中调整ADF服务器102中表示的空间特征的特征得分，并基于该特征得分通过添加或去除空间特征来完善LADF 134。下面参照图4至图12更详细地描述这些操作。

如所提到的，移动设备232和234代表移动设备104的实施例。由于其相应的操作要求，使用LADF来执行定位过程的移动设备232可能不需要与执行ADF上传过程的移动设备234相同的能力。为进行说明，移动设备234可利用深度传感器120或立体摄影机配置来促进与生成和上传ADF的过程相关联的SLAM操作，而移动设备232通常不需要深度传感器120，而是仅需要单目摄影机配置来促进该定位过程。

图3图示了根据本公开的至少一个实施例的由移动设备104实施的示例性处理系统300。处理系统300包括：显示器118、成像传感器124、126和深度传感器130。处理系统300还包括：图形处理单元(GPU 302)、帧缓冲器303和305、应用处理器304、显示器控制器306、系统存储器308、一组非图像传感器310、和用户界面312。该用户界面312包括由用户操作以向移动设备104提供用户输入的一个或多个部件，例如触摸屏314、鼠标、键盘、麦克风316、各种按钮或开关、以及各种触觉致动器318。所述一组非图像传感器310可以包括用于提供移动设备104的非图像场境或状态的各种传感器中的任何一种传感器。这种传感器的示例包括惯性管理单元(IMU)320，该惯性管理单元(IMU)320包括陀螺仪321、磁力计322和加速度计323中的一个或多个。所述非图像传感器例如还可以包括环境光传感器326以及各种基于无线接收或传输的传感器(例如GPS传感器328)、无线局域网(WLAN)接口330、蜂窝接口332、对等(P2P)无线接口334和近场通信(NFC)接口336。所述非图像传感器还可以包括：用户界面312的用户输入部件，例如触摸屏314或麦克风316。

移动设备104还可以访问存储与其图像处理、位置建图和位置利用过程相结合使用的信息或元数据的各种数据存储装置338。数据存储装置338可以包括：空间特征数据存储装置，该空间特征数据存储装置用于存储从由移动设备104的成像传感器捕获的影像中识别出的2D或3D空间特征的元数据；SLAM数据存储装置，该SLAM数据存储装置存储基于SLAM的信息，例如该移动设备104已经探索过的区域122(图1)的子区域的建图信息；以及AR数据存储装置，该AR数据存储装置存储AR重叠信息或VR信息，例如在区域122中的感兴趣的对象的相对位置的基于CAD的表示。数据存储装置338可以实施在移动设备104的一个或多个存储部件处，诸如在硬盘驱动器上、固态存储器或可移动存储介质上(未示出)。

在操作中，成像传感器124、126捕获一区域的影像并且在帧缓冲器303、305中对捕获到的影像进行缓冲。对于要按照原始形式或修改过的形式显示的影像，GPU 302处理所捕获到的图像以进行显示(例如，通过渲染AR重叠)，并且显示器控制器306控制显示器118以显示处理过的影像。此外，如本文描述的，移动设备104进行操作以上传先前未建图的位置的ADF 134以及下载先前已建图的位置的LADF，并使用所下载的LADF来促进移动设备104的定位。为此，一个或多个软件程序可以存储在系统存储器308或其它非暂时性计算机可读介质中，并且由应用处理器304和GPU 302中的一个或二者执行，以提供该ADF生成和LADF利用功能。为了便于说明，所述一个或多个软件程序在图3中被描绘为ADF生成程序342和LADF处理程序344。这些程序可以实施为由处理系统300执行的操作系统(OS)中的线程或其它进程，作为同一软件应用的线程、进程或子程序，或者作为单独执行的软件应用。此外，在一些实施例中，可以经由ASIC、可编程逻辑或其它硬编码逻辑来实施本文描述的程序342、344的一些或全部功能。

ADF生成程序342例如可以包括隐私过滤器模块346、空间特征检测模块348和ADF组装模块350。如图3中所图示的，隐私过滤器模块346可以包括一个或多个图像内容过滤器，例如文本过滤器模块352和面部过滤器模块、以及下采样器模块356。LADF处理程序344例如可以包括空间特征检测模块358(该空间特征检测模块358可以是空间特征检测模块348)、请求模块360、定位模块362和反馈模块364。下面详细描述处理系统300的操作，包括ADF生成程序342的操作和LADF处理程序344的操作。

如上所述，当移动设备104处于未建图的区域(即，ADF服务器102不具有关于该区域的可用的LADF的区域)中时，移动设备104能够以ADF生成模式进行操作，由此，移动设备104生成表示在所述未建图的区域中检测到的空间特征的ADF并将该ADF上传到ADF服务器102。然而，如果已经对该区域进行了建图并且ADF服务器102具有该区域的LADF，则移动设备104能够以LADF定位模式进行操作，由此，移动设备104从ADF服务器102获取该区域的LADF，并使用由该LADF表示的稀疏点云来执行定位过程，以便将移动设备104定位到该区域。

图4图示了根据至少一个实施例的、用于在这些操作模式之间进行选择的示例性方法400。为便于描述，在图3的处理系统300的示例性场境中描述该方法400。方法400开始于框402处，由此，移动设备104确定它已移动到该移动设备104先前尚未对其建图的区域中。作为响应，移动设备104启动定位过程或运动追踪过程。

在框404中，移动设备104向ADF服务器102查询，以确定针对该区域的LADF是否可用。如下面参照图10至图12所描述的，ADF服务器102可以执行两阶段查询处理，由此，移动设备104根据该移动设备在此区域中捕获到的影像来提供空间特征集合并提供一个或多个位置指示器(例如，由移动设备104检测到的WLAN或手机信号塔基站的GPS坐标或基站识别码)，并且ADF服务器102向LADF数据存储装置206查询以识别对应的LADF。

在不能从ADF服务器102获得LADF的情况下，该区域被认为是一个未建图的位置，因此，在框406中，移动设备104和ADF服务器102进行协调以执行对未建图的位置的ADF/LADF生成过程。该过程在下面中被参照图5更详细地描述。在能从ADF服务器102获得LADF的情况下，该区域被认为是已建图的位置，因此，在框408中，移动设备104和ADF服务器102进行协调以执行LADF定位和更新过程，该LADF定位和更新过程在下文中被参照图6更详细地描述。

图5图示了根据至少一个实施例的、用于执行ADF/LADF生成过程的示例性方法500。如上面所提到的，响应于“针对该移动设备104新遇到的区域的LADF不可用”的判定来执行ADF/LADF生成过程。因此，在接收到对区域描述数据进行被动采集的用户同意之后，方法500在框502处开始，其中，使用移动设备104的传感器来启动区域学习过程。为了执行该区域学习过程，移动设备104经由成像传感器124、126捕获图像372(图3)，并且在移动设备104移动经过该区域时经由深度传感器130捕获对应的深度信息373。移动设备104例如可以采用交互式游戏来诱导移动设备104的用户在移动设备104捕获影像372和深度信息373时探索该区域。

同时，ADF组装模块350从所述一组非图像传感器310中的一个或多个非图像传感器捕获非图像传感器数据374(图3)。为了进行说明，ADF组装模块350可以在影像372的捕获期间从加速度计323捕获传感器数据，并因此表示在影像捕获时该移动设备104相对于重力的定向。类似地，从陀螺仪321捕获的传感器数据可用于确定移动设备104相对于在所捕获到的影像中表示的可视化特征的行进方向。此外，非图像传感器数据374可以包括可用作移动设备104的位置指示器的传感器数据。这些位置指示器可以是地理参考位置指示器，例如在由GPS传感器328提供的传感器数据中表示的纬度/经度坐标。替代地，这些位置指示器可以是推断出来的位置指示器。为了进行说明，因为WLAN基站和手机信号塔基站被假定为是固定的，所以，对WLAN基站或手机信号塔基站的检测用作该移动设备在所检测到的基站附近的指示，因此，基站识别码(BSID)、媒体访问控制(MAC)地址、或者该基站的其它识别码可以用作该移动设备的推断出来的位置指示器。

如下面描述的，所捕获的影像372和深度信息373用于确定最终上传到ADF服务器102的空间特征的点云。虽然该点云本身不是图像数据，但取决于该点云的密度和其它条件，可以使用未修改过的点云来重构原本存在于所捕获的影像372中的某些可视化内容。例如，如果移动设备104被放置得特别靠近一个文档，那么，从所捕获的该文档的影像确定的点云可以用来再现该文档的文本。因此，为了防止公开非期望的可视化内容，隐私过滤器模块346可以实施至少两种隐私控制。

第一隐私控制在框504中被实施，其中，隐私过滤器模块346对所捕获的图像372执行一个或多个内容过滤处理，以从可能具有隐私牵连的区域部位中去除图像内容。例如，在框504中，文本过滤器模块352可以执行文本过滤处理，由此，使用一种或多种众所周知的文本识别算法来扫描在框502中捕获到的每个图像，以确定该图像中是否存在潜在地表示文本内容的任何区域部位。对于被检测为潜在文本区域部位的每个区域部位，文本过滤器模块352例如可以通过用该区域部位或相邻区域部位中的像素执行混合操作、通过用相同的默认像素区域部位替换该区域部位中的像素值或者删除该区域部位中的像素值等来模糊或删除该区域部位。同样，在框504中，面部过滤器模块354可以执行面部过滤处理，由此，使用一种或多种众所周知的面部识别算法来扫描每个所捕获的图像，以确定该图像中是否存在潜在地表示人脸的任何区域部位，并且对该图像进行过滤以从如此识别出的每个区域部位中去除图像内容。以此方式，对该影像进行预先过滤，以在空间特征检测之前去除潜在地敏感的可视化内容，因此，所得到的空间特征的点云不能用于重构潜在地敏感的可视化内容。

在框506中，空间特征检测模块348对过滤后的影像进行分析，以检测其中包含的空间特征。可以使用各种空间特征提取算法中的任一种空间特征提取算法，例如，尺度不变特征变换(SIFT)算法、加速鲁棒特征(SURF)算法、灰度级补丁算法、梯度位置定向直方图(GLOH)算法、Zernike矩算法、二进制鲁棒性独立基本特征(BREIF)算法、面向BRISK(ORB)算法、二进制鲁棒性不变可扩展关键点(BRISK)算法、高斯差分(DOG)算法、快速视网膜关键点(FREAK)算法等。空间特征检测模块348提供这些检测到的空间特征作为空间特征数据376。为了进行说明，FREAK算法提供在图像块内的像素对的比较，其中，各个比较的输出为“0”或“1”，基于该“0”或“1”，像素在所述像素对中更亮或更暗。在FREAK算法中，对图像块计算了512个这种比较，并且其结果是空间特征描述符，该空间特征描述符是用于表示该图像块的对应空间特征的长度为512的二进制串、以及识别该空间特征在3D参考系中的位置的向量(x,y,z)。

此外，空间特征检测模块348确定每个检测到的点的统计元数据378。当对应的影像被捕获时，统计元数据378以基本独立于移动设备104的特定视角或环境照明的方式来描述对应的空间特征。例如，统计元数据378可以包括表示像素的亮度的平均值和标准偏差的值，该像素的亮度表示在一个或多个方向上的空间特征、亮度梯度(或者其它可视化特性梯度)。

虽然隐私过滤器模块346擦除了所检测到的文本和面部内容的影像并且因此由空间特征数据376表示的空间特征的原始点云基本没有文本和面部内容，但原始点云仍然可以具有足够的空间特征密度，以允许从原始点云在一定程度上重构该区域的可视化外观。因此，作为第二隐私控制，在框508中，隐私滤波器模块346的下采样器模块356对原始点云进行下采样(downsample)，以生成空间特征的过滤后的点云380(图3)，该过滤后的点云380仅包含原始点云的空间特征的选定子集。这具有以下益处：降低了可从所得到的点云来重构一区域的可视化外观的可能性，以及减少了表示所得到的过滤后的点云380所需的数据量。可以通过一个或多个下采样标准来该控制下采样处理。例如，在一些实施例中，该下采样处理可以包括：从过滤后的点云中随机选择要排除的空间特征，去除每第X个空间特征(X为大于2的整数)，或者选择要包括在过滤后的点云中的不超过最大数量的空间特征。作为另一示例，可以通过规定了每立方单位(即，单位体积)的空间特征的最大数量的最大空间特征密度标准来控制所述下采样处理。例如，最大空间特征密度标准可以指定所述过滤后的点云380每立方英尺最多包含一个空间特征，且因此可以对原始点云进行下采样，使得：在所得到的过滤后的点云中，每立方英尺不超过一个空间特征被表示。

在框510中，ADF组装模块350使用滤波后的点云380、统计元数据378、和非图像传感器数据374来生成ADF 132。在一个实施例中，ADF 132包括文件或者将过滤后的点云380表示为列表或其它多维坐标集合的其它数据结构、以及每个多维坐标的字段，以存储所表示的空间特征的统计元数据378。为了进行说明，每个多维坐标可以包括表示在移动设备104的坐标系(X,Y,Z)中的对应空间特征的3D位置的(x,y,z)浮点向量。如下面所描述的，该数据结构还可以包括用于存储非图像传感器数据374的一个或多个字段、以及用于存储由ADF服务器102分配给ADF 132的唯一标识符(UID)的字段。

在框512中，ADF组装模块350将ADF 132提供到适当的网络接口(例如，蜂窝接口332或WLAN接口330)，以传输至ADF服务器102。在一些实施例中，ADF组装模块350用信号告知将ADF上传到ADF服务器102的请求，并且ADF服务器102用分配给该ADF的UID作出响应，ADF组装模块350在该UID被上传之前将该UID插入到ADF 132中的适当字段中。此外，虽然框502至框512中的处理已经被描述为顺序进行的处理(由此，ADF 132在ADF 132被上传之前完成)，但在一些实施例中，在迭代过程中生成并上传该ADF 132，由此将ADF 132生成为ADF块的序列，每个ADF块均包含从所捕获的影像的一部分中生成的点云的子集，并且用分配给ADF的UID来标记每个ADF块，并且每个ADF块在其被生成时上传到ADF服务器102。因此，ADF服务器102可以分别存储这些ADF块，或者可以将由相同UID指示的ADF块组合到单个ADF132中。

由移动设备104上传的ADF 132表示存在于该移动设备104所处的区域中的某些可视化特征。然而，通过由移动设备104如上文参照框504和框508描述的那样实施的隐私控制，包含在被提供至ADF服务器102的ADF 132中的信息基本没有任何可能具有隐私牵连的内容。相反，虽然所得到的ADF 132包含可以描述该区域的各种边缘、拐角和其它可视化特征的稀疏点云以达到足以允许另一移动设备随后基于这些描述的可视化特征进行定位的程度，但该稀疏点云包含的信息不足以支持以对人类感知有意义的方式来复制该区域的可视化外观。这样，ADF服务器102不应拥有来自移动设备104的、具有揭露关于被建图区域的潜在敏感信息的可测量潜力的任何信息。

ADF服务器102在ADF/LADF生成过程中的作用是在框514处开始使合并模块212经由网络接口202从移动设备104接收ADF 132。在接收到ADF 132之后，合并模块212暂时对ADF 132编制索引并将其存储在ADF数据存储装置204中。基于分配给ADF 132的UID、基于在由ADF 132表示的点云中表示的空间特征、基于ADF 132所包括的位置指示器等，可以对ADF132编制索引以进行临时存储。在至少一个实施例中，使用下文参照图10至图12描述的两层查询方法将每个ADF 132存储在ADF数据存储装置204中并在ADF数据存储装置204中对其编制索引。

在一些实例中，多个移动设备可能已经上传了一区域或相邻区域的对应ADF。因此，ADF服务器102在框516中进行操作，以在将所得到的合并后的ADF处理成一个或多个LADF之前合并这些相同地点的ADF。可以响应于各种触发条件中的任一种触发条件来启动框516中的合并处理。例如，可以通过经过了指定的时间量、通过从移动设备接收到指定数量的ADF、通过来自移动设备的对LADF的请求等来触发该合并处理。响应于这种触发，在框518中，合并模块212用信号向查询模块220告知向ADF数据存储装置204进行查询，以识别是否存在任何“附近的”ADF，即，覆盖同一区域或相邻区域的ADF。在一些实施例中，可以基于与ADF数据存储装置240中的ADF相关联的位置指示器的比较来识别附近的ADF。例如，假设从移动设备104上传ADF 132触发了所述合并处理，并且所上传的ADF 132包括一个或多个WLAN MAC地址作为位置指示器，则ADF数据存储装置240中的如下ADF被识别为附近的ADF：该ADF被查询模块220识别为具有与上传的ADF所带有的WLAN MAC地址相同的WLAN MAC，或者带有已知与由上传的ADF识别出的WLAN基站所覆盖的区域相邻的WLAN基站的WLAN MAC地址。作为另一示例，可以为上传的ADF提供GPS坐标作为位置指示器，并且，查询模块220可以基于ADF数据存储装置240中的ADF的对应的GPS坐标而将该ADF识别为附近的。在其它实施例中，可以基于在上传的ADF中表示的空间特征与在在ADF数据存储装置240中存储的ADF中表示的空间特征的比较来识别附近的ADF。因此，可以将具有足够重叠的空间特征集合的那些ADF识别为表示同一区域或附近的区域，并因此被识别为附近的ADF。再进一步地，如下文参照图10至图12描述的，ADF服务器102可以对ADF数据存储装置204和LADF数据存储装置206中的一个或二者执行两层查询，以便基于其空间特征集合和一个或多个位置指示器而对每个所存储的ADF/LADF编制索引以进行存储，并且通过使用所上传的ADF的空间特征集合以及所上传的ADF的一个或多个位置指示器执行两层索引处理来识别附近的ADF。

本文将查询模块220识别出的一个或多个附近的或相同位置的ADF的集合称为“ADF集群”。在识别出ADF集群的情况下，在框520中，合并模块212进行操作以执行一个或多个去重处理，从而去除在该ADF集群的ADF中表示的重复的空间特征。此外，在ADF集群表示过大的区域或包含过大数量的空间特征的情况下，合并模块212可以将该ADF集群拆分为一个或多个较小的ADF集群，可以如本文所描述的那样处理所述一个或多个较小的ADF集群中的每一个。在框522中，合并模块212采用一个或多个众所周知的闭环算法来确定该ADF集群中的ADF之间的相对对齐。在框524中，合并模块212分析该ADF集群，以选择性地去除在使用一个或多个稳定性标准识别出的ADF集群中的大部分或所有ADF中不可靠地观察到的空间特征。这服务于消除可能不表示该区域的永久可视化特征的空间特征(并因此消除不可靠的定位源)的目的，以及减少在由ADF集群表示的组合点云中的空间特征的总数。在选择要去除的空间特征时，合并模块212可以采用基于稳定性标准的评分系统，例如，通过基于在ADF集群的ADF中观察到空间特征的频率来给出空间特征得分。此外，随着较新的ADF更可能表示该区域的当前状态，合并模块212可能偏好将空间特征包括在较新的ADF中。在一些实例中，带有ADF的非图像传感器数据374可以允许将该ADF作为地理参考。例如，在检测到该ADF中的空间特征时，非图像传感器数据374可以包括GPS坐标和移动设备104的地理参考姿态的指示器。在对框522中确定的ADF集群中的ADF相对对齐的情况下，如果将ADF集群中的一个ADF作为地理参考，则在框526中，可以基于使用所述作为地理参考的ADF的相对对齐和地理位置信息应用坐标系转换而将ADF集群中的其它ADF作为地理参考。此外，在作为地理参考的可视化参考数据可用的情况下(例如，经由Google公司提供的“街景视图”工具)，可以使用该作为地理参考的可视化参考数据将ADF集群中的ADF作为地理参考。

在ADF集群中的ADF被合并的情况下，在框528中，定位生成模块218使用合并后的ADF来生成由合并后的ADF表示的区域的一个或多个LADF。在合并后的ADF的数据大小足够小或者覆盖足够小的区域的情况下，可以将合并后的ADF存储为单个LADF并对其索引。然而，在合并后的ADF的数据大小超过阈值、合并后的ADF覆盖太大的区域、或者该区域包含多个单独的子区域(经由ADF的点云中的墙壁、分区、门和窗户识别出的)的情况下，定位生成模块218可以在空间上分割所述合并后的ADF以生成多个LADF，每个LADF覆盖不同的子区域。在这种实例中，定位生成模块218会尝试识别逻辑分割线，例如通过基于在由合并后的ADF表示的点云内检测到墙壁或其它房间分隔器来识别该区域内的多个房间，并且为每个所识别出的房间创建单独的LADF，从隐私的角度看，该单独的LADF具有将LADF的范围限制为单个房间的额外益处。

对于所生成的每个LADF，在框530中，定位生成模块218将该LADF提供到LADF数据存储装置206，以编制索引并存储。如上文提到并且如下文详细描述的，在一些实施例中，LADF数据存储装置206对每个LADF采用两层索引，由此，通过一个或多个位置标记和由LADF表示的空间特征二者对每个LADF编制索引。因此，当将LADF存储在LADF数据存储装置206中时，LADF数据存储装置206将该LADF存储在通过其位置指示器或其空间特征集合(和其中的相对几何)中的一个而编制索引的数据存储条目中，并且所述位置指示器或空间特征集合中的另一个用于在被类似地编制索引的多个LADF之间选择。

根据方法500的框530中的处理的结论，ADF服务器102已经使用从有机会探索该区域的一个或多个移动设备104上传的一个或多个ADF来生成先前未建图的区域的一个或多个LADF。因此，如下面通过图6所描述的，ADF服务器102准备好向第一次遇到该区域的任何其它移动设备提供LADF。

图6图示了根据至少一个实施例的、用于执行由图4的框408表示的LADF定位和更新处理的示例性方法600。当移动设备104进入该移动设备104之前未遇到且未被建图的区域时，方法600在框602处开始。响应于该确定，移动设备启动对该区域的空间特征检测处理。为此，移动设备104触发成像传感器124、126开始捕获该区域的影像382(图3)，并触发深度传感器130开始捕获该区域的深度信息，并且空间特征检测模块358从该影像382和深度信息中检测表示该区域的初始空间特征集合。在框604中，在该区域中的空间特征检测时，请求模块360确定移动设备104的位置的一个或多个位置指示器。如上文所提到的，这些位置指示器可以是特定地理位置指示器，例如从GPS传感器328获得的GPS坐标、推断出来的位置指示器(例如，WLAN MAC地址、WLAN BSID或手机信号塔BSID)、或者其组合。在框606中，请求模块360使用该初始空间特征集合和所述一个或多个位置指示器来生成LADF请求236，并且传输该LADF请求236以发起对该区域的LADF的可用性的查询。

响应于经由网络接口202在ADF服务器102的查询模块220处接收到LADF请求236，在框608中，查询模块220向LADF数据存储装置206进行查询，以识别该区域的适合由移动设备104使用的LADF。在至少一个实施例中，如下文参照图10至图12所详细描述的，查询模块220和LADF数据存储装置206采用两层索引方案，以基于所述初始空间特征集合和位置指示器二者来识别合适的LADF。假设识别出合适的LADF，那么，在框610中，查询模块220将所选择的LADF(如LADF 134)传输至进行请求的移动设备104。

作为响应于LADF请求236接收到LADF 134的响应，请求模块360将LADF 134提供至定位模块362和反馈模块364二者。在框612中，定位模块362采用一个或多个众所周知的闭环算法，以基于来自该区域的由空间特征检测模块358检测到的空间特征与在LADF 134中表示的空间特征的稀疏点云的比较将移动设备104定位到在LADF 134中表示的坐标系，这种比较的结果是移动设备104在识别出的坐标系中的确定姿态384(图3)。另外，在该LADF能够作为地理参考的情况下，同样可以通过适当的转换将所确定的姿态384作为地理参考。在对移动设备104进行了定位并确定了姿态384的情况下，在框614中，移动设备104的一个或多个部件可以提供依赖于准确的姿态信息的各种功能，例如实施AR或VR内容、多玩家游戏、导航工具等。

LADF 134的生成依赖于由一个或多个移动设备104检测并选择在该区域中观察到的空间特征。然而，因为该区域可能具有被包括在观察到的空间特征中的瞬态对象，或者因为该区域的布局可能随着时间而变化，所以，LADF 134可能变得不那么有用或者“过时了”。因此，在一些实施例中，在用户允许的情况下，移动设备104可以提供对LADF的反馈，该反馈可以由ADF服务器102用于完善或“刷新”LADF，以供其它移动设备随后使用。为此，在框616中，反馈模块364可以将该区域中的由空间特征检测模块358识别出的空间特征与由LADF134表示的稀疏点云的空间特征进行比较，并生成表示以下内容中的一个或多个的LADF反馈238：LADF 134的也被空间特征检测模块358观察到的空间特征；LADF 134的未被空间特征检测模块358观察到的空间特征；以及，被空间特征检测模块358观察到但未存在于LADF134中的空间特征。LADF反馈238被上传到ADF服务器102。在框618中，空间特征过滤器模块216接收LADF反馈238，相应地更新在特征得分数据存储装置208中的空间特征的特征得分，然后可以基于更新后的特征得分来更新LADF以包括新的空间特征或去除先前包括的空间特征。

图7至图9一起图示了根据至少一个实施例的基于LADF反馈238来完善LADF 134的过程的示例。首先，在LADF 134中表示的所有空间特征被提供有初始特征得分，该初始特征得分对于LADF 134中的所有空间特征可以是相同的，或者，该初始特征得分可以基于空间特征的一个或多个属性。例如，可以基于空间特征在从其生成LADF 134的ADF群集中的ADF中出现的次数而为该空间特征分配初始特征得分。对于以下的描述，假设较高的特征得分反映了更可靠的空间特征，反过来，较低的特征得分表示不那么可靠的空间特征。由移动设备104提供的LADF反馈238可以包括一个或多个条目，其中，每个条目要么确认该移动设备104观察到LADF 134中存在的空间特征，要么否认该移动设备观察到LADF 134中存在的空间特征，要么指出由移动设备104观察到但不存在于LADF 134中的新的空间特征。因此，可以基于上述条目和它们所表示的反馈类型来调整空间特征的特征得分。

图7的方法700表示由ADF服务器102对LADF反馈238中的每个条目实施的处理。在框702中，空间特征过滤器模块216访问LADF反馈238中的一个选定条目，以确定由该条目表示的反馈类型。在该反馈条目确认移动设备104观察到LADF 134的对应空间特征的情况下，在框704中，空间特征过滤器模块216提取与在该反馈条目中表示的空间特征的识别有关的一个或多个参数(例如，表明移动设备104观察到该空间特征的时间的时间戳)，并将所提取的参数记录在特征得分数据存储装置208中。此外，在框706中，空间特征过滤器模块216增加对应的空间特征的特征得分，以反映其最近的观察。

返回至框702，在该反馈条目表明移动设备104没有观察到在LADF 134中表示的空间特征的情况下，在框708中，空间特征过滤器模块216提取与在该反馈条目中表示的空间特征的识别有关的一个或多个参数(例如，表明移动设备104正在捕获应该已经在其中观察到该空间特征但没有观察到该空间特征的区域的影像的时间的时间戳)，并将所提取的参数记录在特征得分数据存储装置208中。此外，在框710中，空间特征过滤器模块216减少对应的空间特征的特征得分，以反映其未看到的观察。

再次返回至框702，在该反馈条目表明移动设备104可靠地观察到未在LADF 134中表示的空间特征的情况下，在框712中，空间特征过滤器模块216提取与在该反馈条目中表示的先前未观察到的空间特征的识别有关的一个或多个参数(例如，表明移动设备104首次或最后一次观察到该空间特征时的时间的时间戳、该空间特征被观察到的频率(例如，当移动设备104在包含该空间特征的区域部位的方向上定向时，观察到该空间特征的次数的百分比)等)，并将所提取的参数记录在特征得分数据存储装置208中。此外，在框714中，如果该空间特征尚未被表示在特征得分数据存储装置208中，则空间特征过滤器模块216在特征得分数据存储装置208中为对应的空间特征创建特征得分，并为该特征得分分配一个初始值。否则，如果新观察到的空间特征已经存在特征得分(即，该空间特征先前还被另一移动设备104观察到)，则空间特征过滤器模块216提高该空间特征的特征得分。方法700然后返回至框702，以对LADF反馈238中的下一条目重复该过程。

图8图示了根据至少一个实施例的、用于对要包括在LADF 134中的候选空间特征进行评估的示例性方法800。如上文所描述的，移动设备104可以提供LADF反馈238，该LADF反馈238识别一区域中的可能是要包括在该区域的LADF 134中的候选特征的、新观察到的空间特征，并且空间特征过滤器模块216可以在第一次检测到空间特征时创建特征得分，并且每当另一移动设备104观察到同一空间特征时增加该特征得分。因此，这些空间特征中的每个空间特征的特征得分用作要包括在LADF 134中的空间特征的候选资格的可行性的指示器(即，该空间特征在用于定位时的“可靠”程度)。因此，响应于触发条件(例如，超过特定阈值的LADF 134的老化)，或者响应于来自移动设备104的表明“对LADF 134的修订将是必要的”的足够反馈，在框802中，空间特征过滤器模块216从特征得分数据存储装置208中选择考虑要包括在LADF 134中的候选空间特征中的一个候选空间特征，并且在框804中，空间特征过滤器模块216将所选择的候选空间特征的特征得分与指定的阈值(被指定为“THRESH_H”)相比较。该阈值可以是固定阈值，或者它可以基于一个或多个当前的条件。例如，在一个实施例中，可以将阈值THRESH_H设置为当前包括在LADF 134中的空间特征的中值当前特征得分。

在候选空间特征的特征得分不超过阈值THRESH_H的情况下，空间特征过滤器模块216停止对该候选空间特征的任何进一步考虑(在本轮评估中)，并且方法800返回至框802以选择下一候选空间特征。否则，如果特征得分超过阈值THRESH_H，则在框806中，空间特征过滤器模块216用信号向定位生成模块218告知将所选择的候选空间特征并入LADF 134中。在一些实施例中，将新的空间特征并入LADF 134中可能需要从LADF 134中消除另一空间特征。在这种情况下，空间特征过滤器模块216例如可以选择目前包括在LADF 134中的所有空间特征中的具有最低特征得分的空间特征。在将候选空间特征并入LADF 134中之后，方法800返回框802，以选择下一候选空间特征并对其进行评估。

图9图示了根据至少一个实施例的、用于对要从LADF 134中去除的空间特征进行评估的示例性方法900。如上文所描述的，移动设备104可以提供LADF反馈238，该LADF反馈238确认LADF 134的空间特征是否被移动设备104观察到，并且空间特征过滤器模块216可以相应地调整所述空间特征的特征得分。因此，这些空间特征中的每一个空间特征的特征得分用作空间特征用于定位目的的当前可靠性的指示器。因此，响应于触发条件，在框902中，空间特征过滤器模块216选择当前包括在LADF 134中的空间特征，并且在框904中，空间特征过滤器模块216将所选择的空间特征的特征得分与指定的阈值被(指定为“THRESH_L”)相比较。该阈值可以是固定阈值，或者它可以基于一个或多个当前条件。例如，在一个实施例中，可以将阈值THRESH_L设置为目前未包括在LADF 134中的候选空间特征的中值当前特征得分。

在候选空间特征的特征得分超过阈值THRESH_L的情况下，空间特征过滤器模块216停止对所选择的空间特征的任何进一步考虑(在本轮评估中)，并且方法900返回框902以选择LADF 134中的下一空间特征。否则，如果特征得分下降至低于阈值THRESH_L，则在框906中，空间特征过滤器模块216用信号向定位生成模块218告知从LADF 134中去除所选择的空间特征。在一些实施例中，从LADF 134中去除空间特征可能需要选择另一空间特征来替代所去除的空间特征，并因此用作启动图8的方法800中的候选空间特征评估处理的触发条件。在从LADF 134中去除了所选择的空间特征之后，方法900返回框902以选择LADF 134中的下一空间特征并对其进行评估。

由ADF服务器102维护的LADF包含世界区域的可视化特征和几何信息的表示。该信息是潜在敏感的，因此，ADF服务器102注意防止对存储在LADF数据存储装置206中的LADF内容和存储在ADF数据存储装置204中的ADF内容的、未经授权的或非期望的访问(在一些实施方式中，它们可以包括同一个数据存储装置)。为此，ADF服务器102采用对LADF数据存储装置206的LADF内容的两层索引方案形式的隐私保护措施。图10至图12图示了根据该两层索引方案的查询模块220和LADF数据存储装置206的示例性配置及其操作。能够以下文描述的方式来类似地配置ADF数据存储装置204。

图10图示了由查询模块220和LADF数据存储装置206实施的示例性两层查询界面1000。如图所描绘的，由LADF数据存储装置206存储的每个LADF(例如，LADF 134)被存储于在LADF数据存储装置206中实施的LADF数据库1004的对应的LADF条目1002中。每个LADF条目1002包括多个字段，包括：用于存储与存储在其中的LADF相关联的UID的UID字段1006、用于存储目前由LADF表示的空间特征集合的空间特征字段1008、和用于存储位置指示器或者与LADF相关联的其它位置数据的位置字段1010。

在没有足够的保护措施的情况下，未经授权的一方或许能够从LADF数据存储装置206获取LADF 134，因此有暴露潜在敏感信息的危险。该两层查询界面1000可以通过要求进行请求的移动设备104或其它请求方证明它们处于(或已经处于)与所请求的LADF相关联的区域中来更全面地保护LADF数据存储装置206的LADF数据。一些位置指示器(例如GPS坐标)可能容易被欺骗或伪造。此外，其它类型的位置指示器(例如WLAN MAC地址或手机信号塔BSID)可能覆盖远大于感兴趣的区域的范围，并因此可能缺少足够的精细度(granularity)。这样，仅位置指示器可能不足以证明进行请求的移动设备实际上处于指定区域中。因此，查询界面1000反而可以通过要求移动设备104提交该移动设备104在指定区域中观察到的空间特征集合来要求证明移动设备104处于指定区域中。然后，查询界面1000可以将该空间特征集合与LADF条目的空间特征进行比较，以识别相匹配的LADF。然而，许多区域具有类似的结构布局(例如，办公楼内的类似房间)，因此，存在多个LADF可能与所提交的空间特征集合充分匹配的风险，并因此可能将不正确的LADF提供给进行请求的移动设备，这使得问题加倍，因为它代表着潜在的隐私违规以及向移动设备104提供不正确的定位参考。

因此，为了确保移动设备实际上处于其所主张的区域中并确保将正确的LADF提供至该移动设备，查询界面1000利用空间特征集合和由移动设备提交的一个或多个位置指示器而从LADF数据库1004中识别正确的LADF。应该了解，在这种方法下，移动设备或其它请求方通过提交在所识别出的区域中观察到的空间特征来证明该请求方处于所识别出的区域中，因此，释放所识别出的区域的LADF具有较低的意外公开潜在敏感信息的风险，因为该请求方可能仅环顾所指示的区域来获取比由所提供的LADF表示的可视化信息更详细很多数量级的可视化信息。

为此，查询模块220包括空间特征查询界面1012和位置选择模块1014。空间特征查询界面1012使用由移动设备104提交的LADF请求236中的空间特征集合1016基于对LADF数据库的LADF条目1002的空间特征字段1008的搜索来执行对候选LADF的初始查询。该搜索考虑了空间特征的相对几何，因为它们被投影到由LADF请求236表示的图像中以检查与LADF数据库1004中的相对几何的一致性。位置选择模块1014然后基于利用LADF请求236提交的一个或多个位置指示器1018与各个LADF的在候选LADF的位置字段1010中的位置信息的比较而从识别出的候选LADF中进行选择。

此外，为了防止使用位置指示器或者除了空间特征集合之外的其它密钥来搜索或另外访问LADF条目1002，在一些实施例中，LADF数据存储装置206被配置为通过空间特征字段1008对LADF条目1002编制索引，并且进一步被配置为避免通过位置字段1010对LADF条目1002编制索引。在这种配置中，LADF数据库1004的LADF条目1002可经由LADF的空间特征集合来搜索，但不能通过位置来进行初始搜索。以此方式，仅提交位置指示器将不会导致从LADF数据库1004识别或产生任何LADF 134。

图11图示了根据本公开的至少一个实施例的、图10的两层查询界面1000的操作的示例性方法1100。该方法1100在方框1102处开始，其中，从移动设备或其它请求方提交对所指示的区域的LADF请求236。在至少一个实施例中，为了接受要处理的LADF请求236，ADF服务器102要求该LADF请求236至少包括在所指示的区域中观察到的空间特征集合1016以及移动设备在所指示的区域中获得或确定的一个或多个位置指示器1018。

在框1104中，空间特征查询界面1012搜索LADF数据库1004中的LADF条目1002，以找到在空间特征字段1008中具有与LADF请求236的空间特征集合1016充分重叠的空间特征集合的LADF条目1002，并且该LADF条目1002具有与空间特征集合1016的被投影的空间特征的几何相一致的相对几何。在一个实施例中，对于所分析的每个LADF条目1002，空间特征查询界面1012可以确定LADF条目1002的空间特征集合1016与空间特征字段1008之间的相匹配的空间特征的计数。然后，空间特征查询界面1012可以基于为LADF条目1002确定的计数值来选择N个候选LADF(例如，图10的候选LADF 1021、1022、1023)。例如，在一些实例中，可以选择具有大于指定阈值的计数的每个LADF作为候选LADF。在其它实例中，空间特征查询界面1012可以选择具有最高计数值的N个LADF作为N个候选LADF。

在框1106中，空间特征查询界面1012验证是否已经从LADF数据库1004中识别出至少一个候选LADF。如果没有，则在框1108中，查询模块220用信号向进行请求的移动设备告知针对所指示的区域的LADF不可用。否则，一个或多个所识别出的候选LADF被提供至位置选择模块1014(例如，通过识别所述候选LADF的UID)，并且在框1110中，位置选择模块1014将LADF请求236的一个或多个位置指示器1018与由候选LADF的位置字段1010指示的位置相比较，以对每个候选LADF与所述一个或多个位置指示器1018之间的匹配度进行评分。在框1112中，位置选择模块1014验证在所述一个或多个位置指示器1018与候选LADF中的一个候选LADF的位置信息之间是否存在充分的匹配。如果不存在，则在框1114中，查询模块220用信号向进行请求的移动设备告知针对所指示的区域的LADF不可用。否则，在框1116中，位置选择模块1014选择具有最佳位置匹配得分的候选LADF作为与识别出的区域相同位置的LADF，并响应于LADF请求236将该选择的LADF作为该区域的LADF 134提供给移动设备。

除了提供防止对LADF数据库1004中的LADF的未经授权或非预期的访问的保护之外，通过使用由移动设备检测到的空间特征及其几何执行LADF查询，确保了通过两阶段查询处理而最终选择的LADF将允许该移动设备使用匹配的LADF成功定位。这是因为LADF查询处理的第一阶段执行与在移动设备上执行的定位过程相同或相似的“定位”过程以识别候选LADF，在移动设备上执行的所述定位过程通过使用观察到的空间特征和该空间特征在LADF中的图像几何来找到移动设备相对于LADF的姿态。

图12图示了根据至少一个实施例的双层查询界面1000的替代配置。与图10中描绘的实施方式一样，LADF数据存储装置206实施包括多个LADF条目1202的LADF数据库1204，每个LADF条目1202均具有UID字段1006、空间特征字段1008和位置字段1010。然而，与图10的实施方式相比，LADF数据库1204反而基于位置字段1010对LADF条目1202编制索引。此外，在本实施例中，查询模块220包括到LADF数据库1204的位置查询界面1212和空间特征选择模块1214。

在所描绘的实施方式中，LADF的两层查询被实施为通过LADF的位置查询界面1212对LADF条目1202进行第一层搜索，该LADF具有与LADF请求236的一个或多个位置指示器1018充分匹配的位置信息，以识别一个或多个候选LADF的集合。空间特征选择模块1214然后比较LADF请求236的空间特征集合1016，以选择与空间特征集合1016最匹配的候选LADF作为响应于LADF请求236而要被提供至进行请求的移动设备的LADF 134。

上文描述的许多发明功能和许多发明原理非常适合用诸如专用集成电路(ASIC)的集成电路(IC)来实施或者实施在诸如专用集成电路(ASIC)的集成电路(IC)中。预期的是，尽管可能需要很大的努力和例如由可用时间、当前技术和经济考虑所引起的许多设计选择，但在本文所公开的概念和原理的指导下，本领域普通技术人员将能够通过最少的实验来容易地产生这种IC。因此，为了进行简化并且使模糊根据本公开的原理和构思的任何风险最小化，对这种软件和IC的进一步讨论(如果有的话)将被限制在针对优选实施例内的原理和构思的要点上。

在本文中，关系术语(例如，第一和第二，等等)可以仅用于将一个实体或动作与另一实体或动作区分开，而不一定要求或暗示在这种实体或动作之间的任何实际的这种关系或顺序。术语“包括(comprises)”、“包含(comprising)”或者其任何其它变型均旨在涵盖非排他性的包括，使得包括元件列表的处理、方法、制品或设备不仅包括那些元件，而且还可以包括未明确列出的或者这种处理、方法、制品或设备所固有的其它元件。在“包括...”之前的元件在没有更多限制的情况下并不排除在包括该元件的处理、方法、制品或设备中存在另外的相同元件。本文所使用的术语“另一”被定义为至少第二个或更多个。本文所使用的术语“包括”和/或“具有”被定义为包含。本文参照光电技术所使用的术语“耦接”被定义为连接的，尽管不一定是直接连接的而且不一定是机械连接的。本文所使用的术语“程序”被定义为设计用于在计算机系统上执行的指令序列。“程序”或“计算机程序”可以包括：子例程、函数、过程、对象方法、对象实现、可执行应用、小应用程序、小服务程序、源代码、目标代码、共享库/动态加载库和/或被设计用于在计算机系统上执行的其它指令序列。

本说明书和附图应仅被认为是示例，因此，本公开的范围旨在仅由所附权利要求书及其等效物限制。注意，并非需要上文在一般性描述中描述的所有活动或元件，特定活动或设备的一部分可能是不需要的，并且可以执行一个或多个进一步的活动，或者包括除了描述过的那些元件之外的元件。再进一步，活动被列出的顺序不一定是它们被执行的顺序。除非另有说明，否则，上文描绘的流程图的步骤可以按照任何顺序，并且，取决于实现方式，可以省略、重复和/或添加步骤。而且，已经参照具体实施例描述了这些构思。然而，本领域普通技术人员将会了解，在不脱离本公开的如所附权利要求书中阐述的范围的情况下，可以进行各种修改和变型。因此，说明书和附图被认为是说明性的而非限制性的，并且，所有这种修改都旨在被包括在本公开的范围内。

上面已针对特定实施例描述了益处、其它优点和问题解决方案。然而，这些益处、优点、问题解决方案以及可能导致任何益处、优点或解决方案发生或变得更加显著的任何特征都不应解释为任一或所有权利要求的关键特征、必需特征或必要特征。

Claims (21)

1.一种方法，所述方法包括：

在计算系统处从一个或多个第一移动设备的集合接收一个或多个区域描述文件的集合，每个区域描述文件表示由对应的第一移动设备在一区域处检测到的空间特征的点云；

在所述计算系统处从所述一个或多个区域描述文件的集合生成所述区域的定位区域描述文件，所述定位区域描述文件表示所述区域的空间特征的点云；

将所述定位区域描述文件从所述计算系统提供给第二移动设备；以及

在所述计算系统处从所述第二移动设备接收反馈数据，所述反馈数据确认由所述定位区域描述文件表示的所述空间特征中的一个或多个空间特征在所述第二移动设备处于所述区域中时是否被所述第二移动设备检测到。

2.根据权利要求1所述的方法，其进一步包括：

在所述第二移动设备处使用所述定位区域描述文件执行定位过程。

3.根据权利要求1所述的方法，其中，所述一个或多个区域描述文件的集合中的每个区域描述文件均包括：

空间特征数据，对于由所述区域描述文件表示的所述点云的每个空间特征，所述空间特征数据基于对应的坐标系来指定所述空间特征的多维坐标；

统计数据，对于每个空间特征，所述统计数据表示独立于视角或照明条件的所述空间特征的可视化外观；以及

在检测所述点云的所述空间特征的同时从一个或多个非图像传感器捕获的传感器数据。

4.根据权利要求3所述的方法，其中，生成所述定位区域描述文件包括：

将所述集合中的各个区域描述文件的所述空间特征数据和所述统计数据的至少一个子集并入所述定位区域描述文件中；以及

将所述集合中的各个区域描述文件的所述传感器数据从所述定位区域描述文件中排除。

5.根据权利要求1所述的方法，其中：

所述一个或多个区域描述文件的集合包括多个区域描述文件；并且

生成所述定位区域描述文件包括：

将所述多个区域描述文件识别为与所述区域相关联；

对由所述多个区域描述文件表示的所述点云进行去重；

确定所述点云的相对对齐；以及

将所述点云并入所述定位区域描述文件中。

6.根据权利要求5所述的方法，其中，生成所述定位区域描述文件还包括：

基于至少一个稳定性标准从所述点云中消除空间特征。

7.根据权利要求5所述的方法，其中，生成所述定位区域描述文件还包括：

基于所述点云来识别多个子区域；以及

从位于所述子区域中的所述点云的所述空间特征来生成每个子区域的局部区域描述文件。

8.根据权利要求1所述的方法，还包括：

在所述计算系统处基于所述反馈数据来更新所述定位区域描述文件，以生成更新后的定位区域描述文件；以及

将所述更新后的定位区域描述文件从所述计算系统提供给第三移动设备。

9.根据权利要求8所述的方法，其中，更新所述定位区域描述文件包括：

维护由所述定位区域描述文件表示的每个空间特征的得分；以及

对于由所述定位区域描述文件表示的空间特征：

响应于表明所述第二移动设备检测到所述空间特征的所述反馈数据来提高所述空间特征的得分；

响应于表明所述第二移动设备未检测到所述空间特征的所述反馈数据来降低所述空间特征的得分；以及

基于所述得分与至少一个阈值的比较而从所述定位区域描述文件中选择性地去除所述空间特征。

10.根据权利要求8所述的方法，其中：

所述反馈数据确认出被所述第二移动设备检测到但未由所述定位区域描述文件表示的空间特征；并且

其中，更新所述定位区域描述文件包括：

提高与被所述第二移动设备检测到的所述空间特征相关联的得分；以及

响应于所述得分与至少一个阈值的比较来选择性地修改所述定位区域描述文件，以包括被所述第二移动设备检测到的所述空间特征。

11.一种计算系统，所述计算系统包括：

网络接口，所述网络接口用于耦接至多个移动设备；

第一数据存储装置；

第二数据存储装置；

合并模块，所述合并模块耦接至所述网络接口和所述第一数据存储装置，所述合并模块用于从一个或多个第一移动设备的集合接收一个或多个区域描述文件的集合，每个区域描述文件表示由对应的第一移动设备在一区域处检测到的空间特征的点云；

定位生成模块，所述定位生成模块被耦接至所述第一数据存储装置和所述第二数据存储装置，所述定位模块用于从所述一个或多个区域描述文件的集合生成所述区域的定位区域描述文件并将所述定位区域描述文件存储在所述第二数据存储装置中，所述定位区域描述文件表示所述区域的空间特征的点云；

查询模块，所述查询模块被耦接至所述第二数据存储装置和所述网络接口，所述查询模块经由所述网络接口将所述定位区域描述文件提供给至少一个第二移动设备；以及

空间特征过滤器模块，所述空间特征过滤器模块被耦接至所述第一数据存储装置和所述网络接口，所述空间特征过滤器模块用于从所述第二移动设备接收反馈数据，所述反馈数据确认所述第二移动设备使用所述定位区域描述文件是否检测到由所述定位区域描述文件表示的所述空间特征中的一个或多个空间特征。

12.根据权利要求11所述的计算系统，其中：

所述集合中的每个区域描述文件均包括：

空间特征数据，对于由所述区域描述文件表示的所述点云的每个空间特征，所述空间特征数据基于对应的坐标系来指定所述空间特征的多维坐标；和

统计数据，对于每个空间特征，所述统计数据表示独立于视角或照明条件的所述空间特征的可视化外观；以及

在检测所述点云的所述空间特征的同时从一个或多个非图像传感器捕获的传感器数据；并且

所述定位区域描述文件包括：

所述集合中的每个区域描述文件的所述空间特征数据的至少一个子集；和

所述集合中的每个区域描述文件的所述统计数据的至少一个子集。

13.根据权利要求12所述的计算系统，其中：

所述一个或多个区域描述文件的集合包括多个区域描述文件；

所述查询模块将所述多个区域描述文件识别为与所述区域相关联；以及

所述合并模块用于通过以下方式来生成所述定位区域描述文件：

对由所述多个区域描述文件表示的所述点云进行去重；

确定所述点云的相对对齐；以及

将所述点云并入所述定位区域描述文件中。

14.根据权利要求13所述的计算系统，其中：

所述合并模块进一步用于通过基于至少一个稳定性标准从所述点云中消除空间特征来生成所述定位区域描述文件。

15.根据权利要求13所述的计算系统，其中：

所述合并模块进一步用于进一步通过以下方式来生成所述定位区域描述文件：

基于所述点云来识别多个子区域；以及

通过位于所述子区域的所述点云的所述空间特征来生成每个子区域的局部区域描述文件。

16.根据权利要求11所述的计算系统，还包括：

所述空间特征过滤器模块进一步用于基于所述反馈数据来更新所述定位区域描述文件，以生成更新后的定位区域描述文件；并且

其中，所述查询模块经由所述网络接口将所述更新后的定位区域描述文件提供给至少一个第三移动设备。

17.根据权利要求16所述的计算系统，其中：

所述空间特征过滤器模块通过以下方式来更新所述定位区域描述文件：

维护由所述定位区域描述文件表示的每个空间特征的得分；并且

对于由所述定位区域描述文件表示的空间特征：

响应于表明所述第二移动设备检测到所述空间特征的所述反馈数据来提高所述空间特征的得分；

响应于表明所述第二移动设备未检测到所述空间特征的所述反馈数据来降低所述空间特征的得分；以及

基于所述得分与至少一个阈值的比较而从所述定位区域描述文件中选择性地去除所述空间特征。

18.根据权利要求17所述的计算系统，其中：

所述反馈数据确认出被所述第二移动设备检测到但未由所述定位区域描述文件表示的空间特征；并且

所述空间特征过滤器模块通过以下方式来更新所述定位区域描述文件：

提高与被所述第二移动设备检测到的所述空间特征相关联的得分；以及

响应于所述得分与至少一个阈值的比较来选择性地修改所述定位区域描述文件，以包括被所述第二移动设备检测到的所述空间特征。

19.一种移动设备，包括：

网络接口，所述网络接口用于耦接至远程计算系统；

多个成像传感器，所述多个成像传感器用于在所述移动设备所处的区域处捕获影像；

空间特征检测模块，所述空间特征检测模块用于检测所捕获的影像中的空间特征的第一集合；以及

定位模块，所述定位模块用于经由所述网络接口从所述远程计算系统获取所述区域的定位区域描述文件，所述定位区域描述文件表示所述区域的空间特征的第二集合，所述定位模块用于基于所述空间特征的第一集合与所述空间特征的第二集合的比较而将所述移动设备定位到与所述区域相关联的坐标系，并且所述定位模块进一步用于经由所述网络接口向所述远程计算系统提供反馈数据，所述反馈数据确认以下项中的至少一个：是否在所述第一集合中检测到所述第二集合的空间特征；以及，是否在所述第二集合中未检测到所述第一集合中的空间特征。

20.一种移动设备，包括：

网络接口，所述网络接口用于耦接至远程计算系统；

多个成像传感器，所述多个成像传感器用于在所述移动设备所在的区域处捕获影像；

空间特征检测模块，所述空间特征检测模块被耦接至所述多个成像传感器，所述空间特征检测模块用于检测所捕获的影像中的空间特征集合；

一个或多个非图像传感器集合，所述一个或多个非图像传感器集合用于在所述影像被捕获的同时捕获传感器数据；以及

组装模块，所述组装模块被耦接至所述网络接口、所述空间特征检测模块和所述一个或多个非图像传感器集合，所述组装模块用于经由所述网络接口向所述远程计算系统提供区域描述文件，所述区域描述文件表示所述空间特征集合的选定子集的点云并且包括所述传感器数据。

21.根据权利要求20所述的移动设备，其中：

所述组装模块进一步用于识别所述移动设备所在的区域，并且用于向所述远程计算系统请求所识别出的区域的定位区域描述文件；并且

所述组装模块用于响应于来自所述远程计算系统的以下指示来提供所述区域描述文件：所请求的针对所识别出的区域的定位区域描述文件不可用。

Images