CN103026357A - 用于增强实境的灵活数据下载模型 - Google Patents

Abstract

在AR系统、用于操作AR系统的方法、移动设备、和用于操作移动设备的方法中，使用灵活位置像素，该灵活位置像素针对不同图像数据提供商可以是不同的。这使得AR应用能够下载具有较多信息（诸如密集区域，比如城市）的较小位置像素、或具有较少信息（比如举例而言，沙漠区域）的较大位置像素。数据下载可考虑客户端取向和运动方向以确定在该客户端移动时需要下载的增量数据。位置像素编码有被映射到位置信息的位置像素标识符，因此仅仅关于特定应用的必需位置像素需要被下载，从而允许客户端自主地决定何时捕获新图像数据和捕获多少数据。

Description

用于增强实境的灵活数据下载模型

相关申请的交叉引用

本申请要求2010年7月23日提交的美国临时申请No.61/367,300的权益，该申请通过援引纳入于此。

领域

本公开涉及用于（例如在移动设备中）提供增强实境设备和显示器的方法、装置和系统。

背景

近来，对增强实境（AR）存在相当大的兴趣，增强实境是其中真实世界和虚拟现实被组合起来的实时交互状态。AR的公知示例是如美式橄榄球比赛的电视广播中看到的黄色“首攻”线。真实世界元素是橄榄球场和运动员，并且虚拟元素是黄线，该黄线是由计算机实时地在球场图像上绘制的。类似地，英式橄榄球和板球场被它们的赞助商使用增强实境打上商标；当在电视上观看时，巨大的标志被插入到球场上。在一些当前应用中，比如在汽车和飞机中，“平视（heads-up）”显示器被整合到挡风玻璃中以显示覆盖在驾驶员或飞行员看到的真实世界上的信息。

AR应用通常依赖于后端数据库中存在的图像数据来进行图像检测和跟踪。图像数据通常包括已被预载到后端数据库中的原始图像关键点，尽管附加图像数据也可在任何时间被增量地添加到数据库。

随着移动设备（诸如蜂窝电话和类似设备）已变得日益普及，并且此类设备的功能性和特征已有了增长，对AR使用的实现程度正在不断增长。已提出的一种AR系统使用内置于移动电话中的相机。用户拍摄图片，该图片被无线发送到服务器，服务器将该图片与数据库图像进行匹配。服务器随后向该电话返回数据库图像，其中它可被叠加到原始图像上。例如，数据库图像可包含关于原始相机图像中看到的特征的信息，诸如建筑物名称、视野中的结构或其他项的历史，或诸如此类。

因为移动AR实现依赖于接收图像数据以及对移动设备上本地获得的相机视图执行图像检测和匹配，因此为了达到最佳性能，该图像数据通常被载入移动设备的RAM中以用于检测目的。可用RAM和无线带宽中的限制在能在任何给定时间被下载和使用的图像数据的数量方面提出了挑战。为了克服这样的一些挑战，移动设备的位置可被用来限制在任何给定时间被下载和使用的图像数据的数量。然而，可用系统可能不提供性能、带宽、和功率使用的合适组合。

在实现改善AR系统方面的一个挑战是确定移动设备的位置以使得服务器能够高效地执行必需的图像处理。可藉以确定移动设备的位置的一种方式是通过单独进行GPS位置定位或在蜂窝基站定位信息的辅助下进行GPS位置定位。已提出的系统使用例如在一个或两个城市街区内的粗略位置确定。

在一个系统中，移动设备被配置成预取与该移动设备的当前位置有关的数据，随后用户使用与该移动设备相关联的相机来拍摄感兴趣的位置的照片。该照片的图像随后与预取的数据相匹配，并且结果被显示给用户。

为了管理大量的数据，已提出了使用基于单元（cell）的组织来组织全球地理坐标空间，其中对每个AR单元内考虑的图像或关键点的数目有限制。（此上下文中的术语“AR单元（cell）”不同于蜂窝电话系统的上下文中的术语“蜂窝（cell）”。）AR单元被称为“位置像素（loxel）”，其指示基于位置的像素存储模型。位置像素通常与特定的位置相关联并跨越特定区域（为了简单起见通常以直线坐标来定义）。核心是指一般从特定位置像素可见的区域并且通常被定义为跨越诸特定位置像素或位置像素配置。

取决于用户的位置，与3×3位置像素的核心区域相对应的图像数据被发送到客户端，该核心的中心是该用户的当前位置像素。随着用户进入新的位置像素，对应于新的核心区域的附加图像数据被发送。已使用的位置像素尺寸是30米×30米。尽管该技术显著减小了在任何给定时间需要发送给用户的图像数据的数量，它还是有几个缺陷。

在一些系统中，任何时间必须下载的增量位置像素的数目是3，仅考虑到移动设备沿着4个主要方向运动。实际上，任何给定位置像素存在8个毗邻位置像素。因此，移动到一个毗邻位置像素中可能需要下载高达5个增量位置像素的数据。此外，并非总是在毗邻位置像素中发生AR应用的下一次有效使用的情形。取决于用户的应用和移动性，下一个有效位置像素可能是非毗邻位置像素，在这种情况下，需要下载更多数据。

也已作出以下假定：下载仅需要在用户进入新位置像素之后包括增量图像数据。这可引起用于取回图像数据的等待时间未臻最优，转而导致需要该数据的应用中不期望的延迟。这在下一个有效位置像素是当前位置像素的非毗邻位置像素的情形中尤甚。

还假定了360度视场是感兴趣的，其中焦点不远于毗邻位置像素之一。尽管当使用AR应用时360度视场可能为摇摄所需，但并不是所有AR应用都会需要它。进一步，假定某些AR应用仅具有间断使用模式，在一些情景中为360度视场下载数据可能是不必要地过度的。蜂窝电话相机具有至多70度视场，典型视场约为55度。这将静态相机视图的可见区域放在仅一个位置像素内。取决于位置像素的尺寸，相机视图可包括一个或多个毗邻位置像素，但平均而言，相机视图仍然是360度视场中所假定的视图的仅仅25%或更少。

以往提出的典型系统不提供供移动设备自动检测它何时到达新的位置像素的手段。默认地，这需要移动设备持续用它的新位置来更新服务器，以使得服务器能确定何时发送新数据集。此办法是耗费功率的，尤其在AR应用被设计成为了延长的时间段而在后台运行的情况下。此外，虽然存在多个这样操作的应用，这为终端客户提出了隐私问题。

已提出的另一AR系统是潜在可见集合（PVS）的AR。潜在可见集合的概念在计算机视觉中已为大家所知了很长时间。PVS被设计为考虑障碍物来确定对相机或人眼可见的目标的集合。该技术需要关于障碍物的良好训练数据可用和相机关于这些障碍物的某种精确程度的位置确定和取向以达到对特定目标的可见性。因此，除了图像数据之外，PVS还需要关于相机和障碍物关于图像的相对定位的数据以确定目标或图像的潜在可见集合。

已作出努力将对PVS的使用应用到增强实境环境来替代单纯的基于单元的图像组织。尽管障碍物的观念在室内环境中更为适用（例如墙壁、从房间内部的可见性等），但将其映射到其中获得关于障碍物的训练数据常常不切实际的室外环境并不是那么容易。此外，针对相机的给定位置和取向达到精确的PVS是非常复杂的并且可能需要不少量的数据被附连到关键点以获得可接受的匹配率。因此，当与基于单元的组织相比较时，使用PVS可能不会以任何有意义的方式来帮助移动室外AR使用。

概述

本发明的一个实施例提供了针对不同图像数据提供商可以不同的灵活位置像素。因此，举例而言，本发明的一个实施例使用灵活尺寸的位置像素。这使得AR应用能够下载具有较多信息（诸如密集区域，比如城市）的较小位置像素、或具有较少信息（比如举例而言，沙漠区域）的较大位置像素。位置像素尺寸还可使用其他因子来调整，诸如感兴趣区域中可用的GPS准确性，等等。

根据本发明的另一个实施例，提供了灵活数据下载模型，其除了位置之外还考虑客户端取向和运动方向来确定需要下载的增量数据；下载可基于对应用的重要性因子而被剪裁为使效率最大化。

根据本发明的又一实施例，位置像素编码有位置像素标识符，并且位置信息被映射到每个经编码位置像素。这使得能够对与每个位置像素相关联的图像数据分类，使得它能够仅按需被查找。因此，仅仅用于特定应用的必需位置像素需要被下载。

编码可被安排为使得各客户端能执行该编码所需要的位置像素的标识的自动计算。这使得客户端能自主地决定何时捕获新图像数据和要捕获多少数据。这通过避免需要经常向服务器发送位置更新而导致消息发送的节省，进而延长了电池寿命。它还通过不必任何时间都向服务器公开客户端的准确位置而有助于向该客户端提供较佳私密性。

根据本发明的一个实施例，提供了对基于位置像素的数据组织使用向量量化以为每个位置像素提供唯一性码向量。客户端随后能下载位置像素标识符的码本并自己计算其所在的位置像素而无需经常向服务器更新位置。这节省了电池功率并保持了私密性。位置像素标识可例如使用向量量化技术来确定，其中每个位置像素的定位被表示为以（纬度，经度）对形式的码向量。例如，该（纬度，经度）对可被选择为该位置像素中存在的所有（纬度，经度）对的平均值。当客户端初始化时，它与主控AR服务器联系以获得码向量集。它可通过提供其当前（纬度，经度）参数并获得围绕其位置的码向量集来获得码向量集，由此使得它能够下载至少部分位置像素码本。

为了确定期望位置像素码本，客户端找到离其当前（纬度，经度）位置具有最靠近的欧几里得距离的码向量。随着客户端移动，当它检测到其位置像素ID变化或者当它基于其应用使用检测到需要新数据时，它能在本地计算离近旁位置像素的欧几里德距离并联系服务器。因此，该模型虽然需要与服务器进行初始交换以获得初始码本，但其既提供了供服务器端确定最佳网格模型的灵活性，又向客户端提供了确定联系服务器以获得更多数据的恰适时间的性能提高和隐私保持机会。同时，该模型使得客户端能够为其自身确定要下载哪些位置像素。

因此，根据一个宽泛的增强实境（AR）系统实施例，提供了用于基于所确定的需要、相机视图和使用AR模型的客户端装备的使用模式来调整AR模型的装置。该AR模型至少部分地基于具有灵活位置像素尺寸组织的基于位置像素的数据组织，其中各位置像素的尺寸与这些位置像素中包含的信息量相关联。基于位置像素的数据组织提供了对每个位置像素的编码以进行标识，其中该位置像素编码可由客户端自主地解码。位置像素ID可使用向量量化技术来确定，由此客户端能通过找到与离该客户端的当前纬度、经度参数最靠近的欧几里得距离的位置像素码向量来标识其当前位置像素，并且随着客户端移动，当客户端检测到其位置像素ID变化时，它计算最小欧几里得距离以自己标识下一个要下载的位置像素。

根据另一个AR系统实施例，AR服务器提供被组织成信息核心的AR数据。每个核心被组织成多个位置像素，每个位置像素与其相应核心中的地理区域相关联并且由定位向量标识。客户端设备可通过确定哪些位置像素邻近该客户端来自己确定要下载哪些位置像素。该客户端能通过确定距该客户端所位于的核心中的各位置像素的欧几里得距离来自己确定哪些位置像素邻近它。此外，该客户端能自己确定哪些位置像素存在于该客户端的取向方向上。至少一些位置像素是不同尺寸的，其中至少一些位置像素的尺寸是与这至少一个位置像素中包含的信息量有关的。

定位向量可以是包括纬度、经度对的码向量，其中该纬度、经度对与该纬度、经度对所标识的位置像素的至少一部分的定位相对应。

根据用于在客户端设备上显示增强实境（AR）信息的方法的实施例，客户端设备被操作为自己确定其当前位置。由该客户端设备从AR服务器请求的位置像素定位向量的码本被提供给该客户端设备，并且该客户端设备被操作为从这些位置像素定位向量和该客户端设备的当前位置自己确定该码本中该客户端设备所位于的初始位置像素。该方法还包括向客户端设备提供与由该客户端设备指定的多个位置像素相关联的AR信息。

该客户端设备还可被操作为自己确定它是否已移动到初始位置像素之外，并且若是，则该客户端设备被操作为从该码本中的位置像素定位向量中标识附加位置像素，并请求与这些附加位置像素相关联的AR信息。这些附加位置像素可基于该客户端设备的运动方向、由该客户端设备的取向、或这两者来标识。另外，标识附加位置像素可基于与客户端设备相关联的相机的视场。

根据用于在客户端设备上显示AR信息的方法的另一个实施例，AR应用在客户端设备上运行并且位置定位应用在该客户端设备上运行以确定该客户端设备的目前位置。该客户端设备基于该客户端的位置从AR服务器请求位置像素标识信息。这些位置像素被组织成信息核心，每个位置像素与其相应核心中的地理区域相关联并且由定位向量标识。响应于该请求，位置像素标识集从AR服务器被上传到客户端设备，所上传的位置像素标识集至少包括该客户端设备所位于的位置像素的标识。位置像素标识集可作为码本上传。应用在客户端设备上运行以定位所上传位置像素集中的初始位置像素。此后，如果客户端设备确定它已移动到初始位置像素之外时，它向AR服务器发起上传附加位置像素标识的请求。

根据移动设备实施例的一个宽泛方面，该移动设备包括用于确定移动设备的目前位置的装置，诸如在硬件、软件、固件、或其组合中实现的位置定位引擎。还包括用于从AR服务器获得与相应地理区域相关联的多个位置像素的定位向量的装置。该装置可包括接收机/发射机、相关联的接收电路、处理器、和存储器、以及其他硬件、软件、和/或固件组件。此外，提供了用于基于目前位置和定位向量来标识多个位置像素的集合的装置，该定位向量至少包括目前位置所位于的初始位置像素。该装置可包括执行用于访问目前位置并确定该集合的指令的处理器、以及其他硬件、软件、和/或固件组件。可包括用于从AR服务器上传关于该集合的AR信息的装置（诸如接收机、收发机等，如以上所略述的）。

在此实施例中，可包括用于确定移动设备是否已移动到初始位置像素之外的装置，其可包括以上所述的位置引擎，以及访问位置信息并确定位置变化是否足以指示需要附加位置像素的处理器。若是，则可访问存储于存储器中的码本信息以标识要上传的附加位置像素。这些附加位置像素可基于该移动设备的移动方向和/或该移动设备的取向来标识。该移动设备可上传所标识的附加位置像素。该移动设备可进一步包括相机，并且用于标识附加位置像素的装置（诸如处理器）基于该相机的视场来标识附加位置像素。如果该相机的视场是70度，则附加位置像素可以是1个或2个位置像素。如果该相机的视场是180度，则附加位置像素可以是3个位置像素（当然位置像素的数目可以不同于3，例如，大于或等于1的任何位置像素数目）。以上所描述的任何装置可使用硬件、软件、固件、或组合来实现，尤其是本领域所公知的任何装置。

根据AR服务器系统的宽泛实施例，主控AR服务器提供移动设备请求的位置像素定位向量的码本以使得移动设备能够自己确定该移动设备所位于的位置像素。至少一个AR位置像素服务器包含至少位置像素标识信息，其包括该主控AR服务器可选择以提供码本的位置像素定位向量。图像数据库提供AR信息。从移动设备与主控AR服务器的通信可以是在因特网上的。若期望，则AR服务器系统可包括向移动设备提供AR应用支持的应用服务器，并且还可包括用于向移动设备提供关于该移动设备的邻区的位置像素的兴趣点信息的特殊AR服务器。

根据用于操作AR服务器系统的方法的宽泛实施例，主控AR服务器被操作为提供移动设备所请求的位置像素定位向量的码本以使得该移动设备能够自己确定该移动设备所位于的位置像素并提供来自该移动设备已自己标识的位置像素的AR信息。运行包含至少位置像素标识信息的至少一个AR位置像素服务器，该位置像素标识信息包括该主控AR服务器可选择以提供码本的位置像素定位向量。图像数据库被维持以提供AR信息。

附图简要说明

图1是AR系统的框图，其中AR信息被存储并提供给由服务器服务的区域中的各客户端。

图2是位置像素集的三个核心的示图，解说了与其关联的视图区域。

图3是图2的三个不同核心区域的示图，其解说了对应于L(x+1,y+1)和取向角θ的视图区。

图4是具有不同尺寸的位置像素的核心区域的示图。

图5是示出AR客户端设备、主控AR服务器、位置像素AR服务器、和POI服务器之间的示例呼叫流的示图。

图6是示出AR客户端设备、主控AR服务器、位置像素AR服务器、和本地AR服务器之间的示例呼叫流的示图，其解说了在更靠近AR客户端设备的位置处有相关信息可用时AR客户端设备被重定向到本地AR服务器的机制。

以及图7是移动设备与AR系统协力操作的实施例的框图。

在各种附图中，相同的附图标记被用于表示相同或类似的部件。

具体描述

如以上所提及的，增强实境（AR）应用依赖于后端数据库中存在的图像数据来进行图像检测和跟踪。图像数据通常包括已被预载到数据库中的原始图像关键点，尽管附加图像数据也可在任何时间被增量地添加到数据库。移动AR实现依赖于接收图像数据以及对移动设备上本地获得的相机视图执行图像检测和匹配。为了便于数据库信息下载，本发明的一个实施例提供灵活的位置像素模型，该位置像素模型对不同类型的图像数据可以不同。因此，举例而言，本发明的一个实施例使用灵活尺寸的位置像素。这使得AR应用能够下载具有较多信息（诸如表示密集区域（比如城市）的信息）的较小位置像素、或包含较少信息（比如举例而言，表示沙漠区域的信息）的较大位置像素。位置像素尺寸还可使用其他因子来调整，诸如感兴趣区域中可用的GPS准确性，等等。例如，如果位置不确定度相对较大，则较大的位置像素可能更有可能包括用于实际移动设备位置的相关AR信息。相反，如果不确定度很小，则可使用较小的位置像素尺寸。进一步，灵活数据下载模型可被配置成除了位置之外还考虑到客户端取向和运动方向以确定需要被下载的增量数据，并且下载可基于对应用的重要性因子而被调节为使得效率最大化。

其中可实现灵活数据下载模型的AR系统架构10的示例在图1中示出，现在参照图1。在所解说实施例中，存在一个或多个增强实境客户端，两个客户端12和14被示出。虽然示出两个客户端，但将理解到可存在任何数目个客户端，这取决于系统带宽能力。AR应用可在移动设备12和14上运行。提供了本地AR高速缓存16，其具有拓扑上靠近客户端12和14的被高速缓存的描述符数据库；举例而言，包括被高速缓存的描述符数据库的服务器。本地AR高速缓存16提供本地AR信息。在所解说的实施例中，客户端12和14彼此、与本地AR高速缓存16、和因特网18进行通信。

提供了特殊AR服务器20，其具有可经由客户端12和14通常藉以通信的一个或多个网络（诸如因特网18）访问的位置像素数据库。举例而言，该特殊AR服务器可具有描述符数据库，该描述符数据库提供例如处置非地理编码的图像、兴趣点（POI）的特殊图像等的特殊功能。可选的应用服务器22可被提供以供客户端12和14上的AR应用使用。

主要AR服务器30提供主要的AR能力，并包括主控AR服务器32、AR位置像素服务器36…40、和图像数据库42。主控AR服务器32提供客户端可发起联系的前端AR服务器组件。AR位置像素服务器36…40是包含基于地理编码的位置像素的图像描述符的AR服务器组件的集合，并且图像数据库是完整图像（即跨越图像而不是仅仅关键点的压缩或未压缩图像数据）的数据库。图像数据库可跨若干物理设备分布，这些物理设备甚至可与AR位置像素服务器36…40中的相应AR位置像素服务器共处一地。

在图1的实施例中，灵活数据组织和下载模型可基于应用需要、客户端相机视图和使用模式来增强。该模型基本上是根据基于位置像素的数据组织的，尽管该模型向该基于位置像素的数据组织提供各种增强。此设计可基于以下指导方针：使各种AR应用的等待时间最小化、对可用无线带宽资源作出最佳使用、为图像数据提供商提供灵活的数据组织技术、以及使得对客户端电池寿命的影响最小化。

系统10可使用被划分成不重叠的“地理正方形”单元区域的全球地理坐标系。“地理正方形”如同所有边对应于相等物理距离的规则四边形（例如30×30m）。例如，它不同于梅登黑德定位系统（MLS）中使用的网格正方形，后者代替地对应于具有等距纬度和经度间隔的地理四边形。网格正方形在地球的任何点被包围于1度纬度和2度经度之间。相应地，网格正方形最终在地球的不同部分具有各不相同的区域，这些各不相同的区域中的一些或大部分在给定它们的尺寸的情况下不适合考虑作为位置像素。在所描述的实施例中，任意多边形或重叠的地理正方形不必要地复杂化该设计而不添加任何价值，因此不被允许作为该模型的部分。

不同数据提供商可使用不同位置像素尺寸，因此不需要对其加上互用性的要求。如所提及的，不同位置像素基于目标密度或其他参数可以是不同尺寸的。虽然核心通常涵盖3×3位置像素，但它也可取决于位置像素自身的尺寸而变化。例如，如果位置像素尺寸小于某一阈值使得移动设备的位置中的平均误差跨越两个毗邻位置像素的区域，则核心可能需要包括5×5位置像素。

概括而言，核心区域可被动态计算为π*R²/S²，其中R是绕位置像素的360度视场的半径并且S是客户端的当前位置像素的每一边的长度。当使用不相等的位置像素尺寸时，核心区域计算更为复杂并且需要考虑到每个毗邻位置像素的尺寸。为了简洁起见，本文中假定3×3位置像素的核心区域，还假定位置中的平均误差不大于一个毗邻位置像素，由此将其保持在核心内。注意到30×30m²的位置像素尺寸甚至对于最差情形位置准确性误差（比如50m）也满足该条件。因此，核心中的图像数据可被用来执行检测，在检测之后该位置像素可被更准确地确定。

将核心映射到位置像素的动态性还对系统如何处置修剪和图像数据库可被如何最优化以进行下载具有影响。位置像素间修剪能在关键点的总体优先级划分和最小化检测所需的图像数据量方面带来优势。然而，跨整个数据库修剪意味着最优化仅在对照整个数据库进行匹配时才是有意义的。对于真实世界AR图像数据库而言，这是不切实际的。

因此，可用选项是在位置像素基础上修剪可用数据（即，不进行位置像素间修剪）对在核心基础上进行修剪（以允许一些位置像素间修剪）。在前一种情形中，数据可按需逐位置像素下载而无任何影响。在后一种情形中，在数据以增量方式下载时将丢失一些优化。也就是说，下载对应于新核心的两个或三个增量位置像素意味着由核心内的位置像素间修剪带来的优化未被完全使用。此外，基于核心数据已丢弃的一些关键点可能现在在增量位置像素下载的情景中实际上是相关的。取决于匹配准确性，这些关键点可能需要被分开维护并传送，增加了下载模型的复杂度。目前，看起来基于位置像素的修剪可能有利于允许增量下载，除非基于核心的修剪办法提供优化或准确性方面的显见增长。然而，在一些情景中，这两种修剪办法可能均是有利的。

每个位置像素具有用于分类和查找与其相关联的图像数据的标识符（ID）以使得能够将位置信息确定性地映射到相应位置像素。位置信息可例如经由GPS、A-GPS、WiFi三角测量或其他技术来获得。无论用于获得位置的机制如何，对于给定位置应当获得相同位置像素ID映射。因为室内位置因室内定位技术中极其不同的特性和不准确性而不能那么简单地被映射到位置像素，因此本文中所描述的基于位置像素的组织当前最适合于室外环境。当然，存在类似映射可能性的室内环境也可使用此处略述的设计。

对位置像素标识符的使用使得能够由客户端自动地计算位置像素ID，因为它允许客户端自主地决定何时获取新图像数据以及要获取多少数据。这能通过避免需要经常向服务器发送位置更新而导致在消息发送以及进而在电池寿命方面的大量节省。它还通过不必任何时间都向服务器公开客户端的准确位置来向该客户端提供较佳私密性。

位置数据的当前可用性看来跨平台（Android对Windows、Mobile对iPhone等）变化非常大。此外，GPS数据的准确性看来变化非常大（最差情形中1m到50m）。因此，使用网格模型的标准化定义。这建议标准化（纬度，经度）和能共同使用的算法来确定由网格正方形围绕的区域，等等。在此过程中，针对不同数据提供商来定义位置像素尺寸或网格模型方面的所有灵活性将丢失。因此，本设计考虑用于由客户端确定位置像素ID的混合办法。

相应地，向量量化技术被应用于网格模型以达到与给定位置相对应的位置像素ID。位置是以（纬度，经度）对表示的，并且这是任何室外定位技术的最小共同特性。网格模型是由主控AR服务器32按照以下详细描述的方式来确定的。每个位置像素的码向量是也是由主控AR服务器32预计算的。码向量被表示为（纬度，经度）对并且可被选择为给定位置像素中存在的所有（纬度，经度）对的平均值。主控AR服务器32存储所有码向量和对应索引的列表。码向量的索引（被称为“位置像素ID”）被计算为该向量的（纬度，经度）参数的散列：

位置像素ID(LID)=SHA1(纬度,经度)

因此，当客户端（例如客户端12）初始化时，它与主控AR服务器32联系以获得码向量集。它可通过提供其当前（纬度，经度）参数并获得围绕其位置的码向量集来获得码向量集。这允许在整个码本下载被视为浪费的情况下下载部分码本。然而，客户端可能还是请求下载整个码本，在这种情形中，主控AR服务器32发送码向量的完整列表。客户端可存储该码本以供将来使用；然而应当注意，码本可能跨不同数据提供商变化，因此特定码本应当仅被假定为对给定主控AR服务器有效。因此，如果码本被客户端12高速缓存，这应当针对匹配的主控AR服务器32来进行。

为了确定其当前位置像素，客户端12找到离其当前（纬度，经度）参数具有最靠近的欧几里得距离的码向量。随着客户端移动，当它检测到其位置像素ID变化时或者当它基于其应用使用检测到需要新数据时，它能在本地计算欧几里德距离并联系主控AR服务器32。因此，本实施例虽然需要与主控AR服务器32进行初始交换以获得码本，但其既提供了供服务器端确定最佳网格模型的灵活性，又向客户端12提供了确定联系主控AR服务器32以获得更多数据的恰适时间的性能提高和隐私保持机会。

为了实现网格模型并维持位置像素ID到各种图像元素的映射，主控AR服务器32可至少存储以下元素：

带有相应位置像素ID（索引）的码向量列表。

位置像素ID到AR位置像素服务器ID映射。

一个主AR位置像素服务器以及一个或多个副AR位置像素服务器。

每个AR位置像素服务器的正常运行时间。

由位置像素ID索引的AR高速缓存。

每位置像素ID的副本数目。

基于访问人气的动态变动。

位置像素ID的人气度量。

一时段内位置像素ID被访问的次数（有助于确定高速缓存阈值）。

毗邻信息。

关于对应于特定位置像素ID的核心区域的信息；这通常可以是核心中其他位置像素ID的集合。

主控AR服务器32除此列表之外还可存储其他元素。

除上述之外，实际位置像素数据库被存储于AR位置像素服务器36…40中。位置像素数据库能以各种语言（例如，XML、SQL、等）表示并可包含以下元素：

位置像素ID。

特征描述符，其包括个体特征描述符和元特征描述符。

描述符排名。描述符排名可基于特定特征的群集大小来计算（出现该特征的相同目标的图像越多，其排名越高）。还可使用其他排名计算技术；例如，提供唯一性匹配能力的单例特征也可具有较高的排名。

图像ID的列表（在图像数据库中所有图像需要与ID相关联）、对应于该特征的图像坐标元组（有助于地理一致性检查的特征的图像坐标、替换坐标、海拔高度）。自然，可在位置像素数据库中维持指向该列表的指针，而实际列表被存储在其他地方（例如图像数据库中）。

图像表示其自身具有替换位置的目标（例如用户生成内容（UGC）图片）的指示符。可存在替换坐标以表示图像中实际目标的位置。

在可用的情况下，海拔高度信息。这对基于各种目标的观测海拔高度和相对海拔高度来确定不同视图是有用的。然而，基于海拔高度的一些考虑可能是非常复杂的，诸如客户端的海拔高度、地球曲度、POI海拔高度、视图区中的平均阻隔等均是影响因素。

由图像ID索引的POI数据。这也可以是指针，而实际数据在分开的POI数据库中。名称、地址、和通用资源标识符（URI）是可被包含的POI细节的示例。

对于本文中所描述的各实施例，提供360度视场的位置像素信息对于其中客户端固定并具有有效相机视图以实现摇摄的大多数应用一般是期望的。然而，一些应用可能不总是需要这样的宽视场。例如，大多数蜂窝电话相机具有70度或更小的视场。移动AR应用可能通常被绑定到每次几分钟的使用模式，潜在地在各次使用之间具有移动性，并且有效相机视图可能不是连续可用的。

现在另外参照图2，图2是位置像素集合的三个不同核心区域52、54、和56的示图，示出了与其相关联的视图区。核心区域52、54、和56各自由K_(x，y)、K_(x+1，y+1)、和K_(x’,y’)来标记，核心区域56被一般化为K_{(x’，y’)}，因为出于解说目的，它不需要是运行序列中的下一个核心。

核心区域52、54、和56是分别围绕位置像素L_(x，y)、L_(x+1，y+1)、和L_(x’,y’)为中心的。如所示，核心是以给定位置像素为中心的3×3位置像素区域，该给定位置像素对应于客户端的当前位置像素。出于说明目的，核心52、54、和56在X-Y轴上示出，其是从上面观看的；也就是说，各核心是部分重叠的，以使得核心52的中心位置像素L_(x，y)驻留在下一个核心54的左下角的位置像素L_(x-1,y-1)处，核心54的中心位置像素L_(x+1，y+1)驻留在核心56的位置像素L_{(x’-1，y’-1)}处，以此类推。此外，在图2的说明中，核心52、54、和56看起来是向上和向右前进的，因为客户端的示例运动方向是东北。应当理解，核心可以在对应于客户端移动的任何方向上前进。这将在下文中考虑当客户端移动时必须下载的数据量来更详细地讨论。

具体而言，对于大多数移动电话相机所支持的视场而言，从服务器下载相当于完整核心的数据通常是浪费的。因此，假定快速图像检测和匹配需要图像数据被载入到移动设备上的RAM上，具有较少量的相关图像数据以对照其执行匹配是更可取的。另一方面，可能期望增量地下载图像数据，只要客户的AR引擎/应用是活跃的并能够处理它。这提出了挑战，尤其对于其中AR应用在后台运行的实施例来说。

因此，作为一个示例，客户端（诸如图1的客户端12）在核心K_(x，y)52中的位置像素位置L_(x，y)，并允许摇摄，对应于核心K_(x，y)52的3×3位置像素矩阵的所有图像数据最初可被下载。在客户端12向东北移动到核心K_(x，y)52的位置像素L_(x+1，y+1)的情景中，核心K_(x+1，y+1)54的位置像素变得相关，并且客户端12变成位于核心K_(x+1，y+1)54的中心位置像素L_(x+1，y+1)。随着客户端12移动到核心54的位置像素L_(x+1，y+1)，基于运动方向和客户端相机的视场，图像数据被增量下载。例如，在客户端继续向东北前进时，客户端可增量地下载用于180度视场的位置像素L_(x+1,y+2)、L_(x+2，y+2)和L_(x+2,y+1)。这可继续直到客户端再次固定并且具有有效相机视图和被转换为取向的期望轨迹。最后，客户端在图2的示例中停在了核心K_(x+1，y+1)54的位置像素L_(x+2，y+2)处，位置像素L_(x+2，y+2)在核心K_(x’,y’)56的中心位置像素L_(x’,y’)处，并且客户端增量地下载用于180度视场的位置像素L_{(x’+2,y’+3)}、L_{(x’+3,y’+3)}和L_{(x’+3,y’+2)}。

现在另外参照图3，图3是位置像素集合的三个不同核心区域52、54、和56的示图，其示出了对应于L_(x+1，y+1)和取向角θ的视图区。区域A_{(θ，x+1，y+1)}60示出以核心52的L_(x+1,y+1)为中心、以核心56的位置像素L_(x’,y’)为焦点中心的视图区，造成取向为θ（示为θ≈45度），再次假定视图区为180度视场62。更为现实的70度的视场64将视图区限定到仅一个位置像素，并且对于任何给定取向，它将视图区限定到至多两个位置像素。

因此，保守的数据下载实施例可被实现为基于取向角、或当有效取向不可用时基于运动方向来增量下载仅一个或两个位置像素的数据。当设备又变为固定并具有有效相机视图时，更多数据可被下载；然而，取决于应用类型，这可以是可接受的。应当注意，当移动设备正在移动时，相机视图可能是无效的，因为该设备可能没有指向任何有效目标。也就是说，设备可能例如装在手机套中、在口袋里、或镜头朝下。

8个可能的运动方向足以合乎逻辑地跨越核心中的各毗邻位置像素。对于任何给定运动方向，θ可被假定为方向线与参考坐标（例如使用真北作为参考）的正x轴之间的角度。当设备固定并再次具有有效相机视图时，可获得更有意义的θ以确定需要下载的剩余位置像素。

因此，假定视场为360度，当客户端12在核心52中从位置像素L_(x，y)移动到位置像素L_(x+1,y+1)时，下载5个位置像素（位置像素L_(x,y+2)、L_(x+1,y+2)、L_(x+2,y+2)、L_(x+2，y+1)、和L_(x+2,y)）将使得客户端12保持核心54的完整视图。对于180度的视场，需要下载的数据量减少为三个位置像素（位置像素L_(x+1，y+2)、L_(x+2，y+2)和L_(x+2，y+1)），而对于70度视场，它进一步减少为单个位置像素(位置像素L_(x+2,y+2))。

一个实施例可假定当设备正在移动时没有信息被下载；然而，这会导致当该设备在L_{(x’，y’)}中再次变为固定时，8个位置像素的下载。因此，在客户端12移动时使用激进的增量下载的情况下，在该点所需的新数据可减少为2个位置像素。在使用较保守的增量下载的情况下，这可能是6个位置像素。然而，根据应用需要和使用模型，增量下载可被适配成最佳地适合于期望用户体验。一般而言，浪费的数据下载和当AR应用重新开始时更为无缝的操作之间存在折衷。当本地AR服务器可用时，如果后续数据可被推送到本地AR服务器以更快地下载，则保守的增量下载可能就足够了。

在每特征30个字节（假定进行了压缩）、（在集群和修剪之后跨5个视图的）每目标1000个特征、以及每核心5个目标的情况下，一位置像素中的数据量大约为150千字节。因此，1-3个位置像素的增量下载导致交换1.2-3.6兆比特的增量数据。

此外，如以上所提及的，位置像素可以是不同尺寸的，如图4所示，现在另外参照图4。如所示，核心65包含9个位置像素，每个位置像素包含标识相应位置像素的码向量。特定位置像素的尺寸取决于数个因子。因此，举例而言，AR应用可下载具有较多信息（诸如密集区域，比如城市）的较小位置像素、或具有较少信息（比如举例而言，沙漠区域）的较大位置像素。位置像素尺寸还可使用其他因子来调整，诸如感兴趣区域中可用的GPS准确性，等等。

如所示，每个位置像素由码向量（例如纬度、经度对）来标识。与特定位置像素相关联的特定纬度、经度对可以数种方式来确定。例如，该纬度、经度对可通过对基于位置像素的数据组织使用向量量化来确定以提供每位置像素的唯一性码向量。这使得特定地理区域中的纬度、经度对能够被安排在客户端可下载的码本中。从该码本中的位置像素标识符，客户端12能自己计算其所在的位置像素，而不需要对主控AR服务器32的不断位置更新。这节省了电池功率并保持了私密性。位置像素标识可例如使用向量量化技术来确定，其中每个位置像素的位置被表示为以所选（纬度，经度）对形式的码向量，例如表示为该位置像素中存在的所有（纬度，经度）对的平均值。例如，位置像素中存在的（纬度，经度）对可包括与位于该位置像素内的每个感兴趣点相关联的（纬度，经度）对。本领域技术人员将认识到其他用于生成唯一性位置像素标识符（诸如码向量、（纬度，经度）对，等等）的方法。

为了确定期望位置像素码本，客户端找到离其当前（纬度，经度）位置具有最靠近的欧几里得距离的码向量。随着客户端12移动，当它检测到其位置像素ID变化或者当它基于其应用使用检测到需要新数据时，它能在本地计算离近旁位置像素的欧几里德距离并联系主控AR服务器32。因此，该模型虽然需要与主控AR服务器32进行初始交换以获得初始码本，但其既提供了供主控AR服务器32端确定最佳网格模型的灵活性，又向客户端12提供了确定联系主控AR服务器32以获得更多数据的恰适时间的性能提高和隐私保持机会。同时，该模型使得客户端能够为其自身确定下载哪些位置像素。

取决于具体AR应用，恰适数据下载要求可能变化；然而，以下列表提供了针对一些AR应用类别哪些数据可能合适的初步分析。

导航/地图

需要相当快的响应时间

摇摄可以是不那么关键的（至少带有移动性的持续摇摄）

基于视场和运动方向增量地下载数据看起来对该应用类别是最优的

用于数据下载的其他准则可以是期望目的地和其参照当前用户位置的定位

当需要摇摄时可能需要下载更多数据

社交网络

非实时响应时间是可接受的

可能需要摇摄

当相机视场无效时，基于视场和运动方向对数据进行保守增量下载有可能是可接受的

当有效相机视图可用于摇摄目的时需要下载更多数据，但增加的响应时间可能不再是个问题

游戏

需要高度实时的响应时间

在某一程度上可能需要摇摄（180度可能足够）

增量下载需要更为激进，考虑到具有快速响应的至少180度视场

使用模式是非常不同，对于游戏持续期间提供持续有效的相机视图，并且由此，可使用激进增量下载模型而不会浪费数据下载。

在一些实施例中，主控AR服务器32被假定为具有无状态工作模式，其中它跨事务不维持任何每客户端状态。因此，每次事务是自含式的并且包含正确执行所需要的所有参数。这允许系统即使经过服务器崩溃也能正确运行，并且还允许跨位置像素AR服务器36…40的无缝转变。以下示出涉及或不涉及本地AR服务器的示例呼叫流。举例而言，所示参数可以是协议框架（诸如REST或SOAP）内所包含的XML数据。

不具有本地AR服务器的示例呼叫流70的示例在图5中示出，现在另外地参照图5。呼叫流70示出客户端12向主控AR服务器32发起（Init）对码本的请求（Req）：Init_Req(纬度，经度)。在此情形中，它向主控AR服务器32发送其当前位置（纬度，经度），并且该服务器用围绕该位置的部分码本来响应（Resp）：Init_Resp(码本)。替换方案是客户端12请求整个码本而不发送任何位置参数，并且主控AR服务器32以码向量的完整列表来响应。

随后客户端12发送带有其位置像素ID的信息（Info）请求消息：Info_Req(LID L1,完整核心,θ,方向,LID_先前=无)，以请求与对应于该LID的完整核心相对应的图像数据。它可包括关于其取向和运动方向的信息（若相关），尽管在请求完整核心信息时这些信息是不那么相关的。客户端通过将先前LID设置为“无”来指示这是它的第一次请求；这可发生在该客户端第一次联系服务器、或者因为它出于某种原因不将任何先前下载的位置像素视为相关而想要重置它的数据时。

作为信息响应消息Info_Resp(LID,位置像素AR服务器列表)的一部分，主控AR服务器32向客户端12发送(位置像素ID,位置像素AR服务器ID)对的列表来向客户端12指示要联系哪个位置像素AR服务器36…40来获得与所请求核心中的每个位置像素相对应的图像数据。客户端12随后与每个相关位置像素AR服务器36…40执行数据请求/响应交换：数据_Req(LID列表)、数据_Resp(位置像素数据)，以获得它所需要的图像数据。位置像素AR服务器36...40返回来自位置像素数据库的对应于所请求LID的数据。所获得的位置像素数据包含关于这些位置像素中相关的POI的信息。取决于应用和用户交互，客户端12可选择用POI数据请求消息POI_数据_Req(POI名称)来与一个或多个POI服务器20联系，以请求关于该POI的附加信息。该请求所发往的POI服务器20用所请求的POI数据来响应：POI_数据_Resp(POI数据)。

一旦检测到LID变化，客户端12可与主控AR服务器32执行另一个信息交换以请求其想要下载的对应于新位置像素的位置像素AR服务器列表。所示消息交换指示部分核心请求：Info_Req(LID,部分,θ,方向,LID_先前=L1)，其对应于连同该请求给出的取向和/或运动方向。此外，客户端12向主控AR服务器32给出先前LID，以使得主控AR服务器32知道排除已下载的数据（如果较早下载了部分核心，则应当给出先前的取向和/或运动方向；替换地，可包括已下载的位置像素列表）。主控AR服务器32随后用所请求的信息来响应：数据_Resp(位置像素数据)）。客户端12随后遵循与前面相同的规程来从位置像素AR服务器36…40下载位置像素数据。

具有本地AR服务器20的呼叫流80的示例在图6中示出，现在另外地参照图6。呼叫流80与以上参照图5所描述的呼叫流70基本相同，除了增加了本地AR服务器20’，该本地AR服务器20’可以是图1中所示（诸）特殊AR服务器20之一。呼叫流80示出一旦在更靠近客户端12的位置处有相关信息可用，客户端12就可被重定向到本地AR服务器20’的机制。

呼叫流80示出客户端12向主控AR服务器32发起对码本的请求：Init_Req(纬度,经度)。在此情形中，它向主控AR服务器32发送其当前位置（纬度，经度），并且该服务器用围绕该位置的部分码本来响应：Init_Resp(码本)。再次，替换方案是客户端12请求整个码本而不发送任何位置参数，并且主控AR服务器32用码向量的完整列表来响应。

随后客户端12发送带有其位置像素ID的信息请求消息：Info_Req(LID L1,完整核心,θ,方向,LID_先前=无)，以请求与对应于该LID的完整核心相对应的图像数据。它可包括关于其取向和运动方向的信息（若相关），尽管在请求完整核心信息时这些信息不是那么相关的。客户端通过将先前LID设置为“无”来指示这是它的第一次请求；这可发生在该客户端第一次联系服务器、或者因为它出于某种原因不将任何先前下载的位置像素视为相关而想要重置它的数据时。

作为信息响应消息Info_Resp(LID,位置像素AR服务器列表)的一部分，主控AR服务器32向客户端12发送(位置像素ID,位置像素AR服务器ID)对的列表来向客户端12指示要联系哪个位置像素AR服务器36…40来获得与所请求核心中的每个位置像素对应的图像数据。

在呼叫流80中，主控AR服务器32另外基于所预测的客户端12的位置像素数据需要来发起在本地AR服务器20’处进行高速缓存。例如，一旦响应于客户端的第一次信息请求，主控AR服务器32就将复制_Req(LID列表,本地AR服务器)定向到恰适的位置像素AR服务器36…40以在本地AR服务器20’处复制对应于某些LID的位置像素数据。随后恰适的位置像素数据被推送到本地AR服务器20’：数据_推送_Req(LID列表数据)。本地AR服务器20’响应数据_推送_Resp(成功)以确定接收到所复制的位置像素数据。

当客户端在位置像素变化之后联系主控AR服务器32时：Info_Req(LID,部分,θ,方向,LID_先前=L1)，主控AR服务器32将该客户端重定向到本地AR服务器20’：Info_Resp(LID,本地AR服务器)。随后客户端通过向本地AR服务器20’发送数据请求：数据_Req(LID列表)，来接收位置像素数据。本地AR服务器20’用所请求的数据来响应：数据_Resp(位置像素数据)。

举例而言，本地AR服务器20’可使用典型DNS类型标识机制或通过其他合适机制来标识。然而，如果本地AR服务器20’可由客户端在某一特定介质上（诸如WiFi）接入，具有附联参数以使得客户端可在较高速链路上获得数据会有帮助。

能与AR系统（诸如图1的系统10）协力操作的诸如移动设备12之类的移动设备（其可以是客户端设备）的实施例的框图在图7中示出。移动设备12包括位置定位引擎92，用于例如借助于已知GPS或其他位置定位技术来确定其目前的位置。位置定位引擎92不需要执行所有位置相关的处理；例如，位置定位引擎92可确定指示一个或多个卫星或地面伪距的信息，随后将该伪距信息转发给网络资源以使用这些伪距来确定位置。移动设备12可随后从网络接收位置信息（例如纬度和经度）。位置定位引擎92可与处理器16、存储器15和/或移动设备12的一个或多个其他模块（诸如收发机）通信。

移动设备12进一步包括存储器15，存储器15包括码本信息94。码本信息94包括与各个地理区域相关联的位置像素标识符，诸如位置像素的定位向量。在诸如图1中所示的系统中，码本信息94可从主控AR服务器32获得；例如，与各个地理区域相关联的多个位置像素的定位向量可从一个或多个网络资源（诸如主控AR服务器32）获得。移动设备12可包括用于实现本文中所略述的功能性的处理器16。例如，处理器16可被配置成访问目前位置信息和与多个位置像素相关联的所存储定位向量、以及基于该目前位置和该定位向量来标识位置像素的集合。这多个位置像素的集合至少包括目前位置所在的初始位置像素。可从主控AR服务器32上传的集合信息98（与位置像素的集合相关联的AR信息）可被存储在存储器15中。

一旦移动设备12的位置被确立，处理器16就可被配置成确定移动设备12是否已移动到初始位置像素之外。如果移动设备12已移动到初始位置像素之外，则处理器16可进一步基于移动设备12的移动方向和/或取向来标识要上传的附加位置像素。如果附加位置像素被标识，则移动设备12可被配置成发起上传所标识的附加位置像素99（与所标识的附加位置像素相关联的AR信息）。为了确定移动设备12的取向，移动设备12可设置有相机106，该相机106可在移动设备12内部或外部。相机106具有特定视场108，如以上所提及的，该视场108可被用来确定当移动设备12从一个位置像素移动到下一个时要下载的附加位置像素的数目。存储器15还可存储与一个或多个AR应用相关的信息；例如，用于提供增强实境功能的指令和/或数据。

“移动设备”是指任何类型的移动设备；举例而言，无线设备，诸如无线电话，包括无绳电话、蜂窝电话、个人通信系统（PCS）电话、经由卫星等通信的电话、或其他类型的无线电话。移动设备还可以是双向无线电，诸如步话机、或其他类型的通信收发机、具有无线接入的个人数字助理、具有无线接入的笔记本计算机，等等。移动设备具有相关联的内部或外部相机和图像显示设备。由于假定至少一个增强实境应用在本文所描述的移动设备上运行，因此术语“移动设备”与“客户端”可互换地使用。

注意到参照图7所描述的功能性可以数种方式来实现。例如，处理器16可提供用于位置定位引擎92的一些功能性。在一个示例中，处理器16可处理辅助数据、可处理要发送给一个或多个网络资源的伪距数据、可处理收到定位信息、或者可提供支持定位的其他处理。处理器16可以是单个单元，或者处理功能可由多个单元执行。类似地，存储器15被示为单个单元，但信息可被存储在移动设备12的不同模块中。

在一个实现中，移动设备（诸如图7的设备12）可如下灵活地下载用于一个或多个AR应用的数据。在本公开中，唯一性码向量可与特定位置像素相关联。移动设备12可在存储器15中存储码本信息94，从而位置信息和位置像素信息可被“解码”。也就是说，响应于访问指示移动设备12的当前位置的位置信息，移动设备12可访问码本信息94以确定对应于该当前位置的特定位置像素标识符。一旦得知该特定位置像素标识符，与该位置像素相关联的AR信息就可被访问并用于一个或多个AR应用中。

在一些实现中，位置像素尺寸可能是灵活的。移动设备12可被配置成取决于位置像素尺寸（和/或诸如带宽、存储器、AR需要等其他因子）来存储来自较多或较少位置像素的信息。这可提供胜于一些先前系统的显著优势。对于信息密集区域，可使用诸如10mx10m的位置像素尺寸，而不是标准的30mx30m的位置像素尺寸。移动设备12可以能够下载关于一个较小位置像素、或者几个较小位置像素的AR信息，其中下载关于标准位置像素的信息可能损耗或超过移动设备12可用的资源。本公开还提供用于使用取向和/或运动方向来下载位置像素信息的各技术，这可提供附加的益处。本文中，AR信息的“密度”是指每单位面积的AR信息量。

在一些实现中，移动设备12被配置成在存储器15中存储码本信息94，该码本信息94指示与多个位置像素相关联的位置像素标识符信息。移动设备12可确定指示其当前位置的当前位置信息；例如，移动设备12的位置定位引擎92可确定移动设备12的位置或可确定用于决定其位置所需要的一些信息，诸如到一个或多个定位卫星的伪距。如果该位置不在移动设备12处确定，则位置信息可被传送到网络资源来确定该位置并将其传送回移动设备12。许多定位技术可被使用；卫星定位（基于移动台的、移动台辅助式的、自立的）、地面定位（例如，高级前向链路三边测量、WiFi定位等）、以及不同技术的组合（混合技术）。

移动设备12可访问所存储的码本信息94来确定关于初始位置像素的位置像素标识符信息。例如，该位置像素标识符信息可指示该位置像素跨越的地理区域中包括的位置，并且该初始位置像素可被选择为其标识符最靠近移动设备12的当前位置（例如距离最小）的位置像素。该地理区域中包括的位置可由纬度和经度来指示。

在一些实施例中，移动设备12可使用发射机（未示出）向一个或多个网络资源传送至少一些当前位置信息。移动设备12可使用接收机（未示出）接收响应中的与多个位置像素相关联的AR信息。当然，传送和接收功能性均可在收发机中提供。这多个位置像素可使用至少一些当前位置信息来选择。在一些实施例中，移动设备12可确定与要下载的位置像素相关联的位置像素标识符并且可传送对要下载的位置像素的请求。码本信息94可被访问，并且可基于移动设备12的当前位置来选择至少一个位置像素标识符。该至少一个位置像素标识符还可基于当前相机视图、与AR应用相关联的使用模式、关于移动设备12的取向的信息、和/或关于移动设备12的移动的信息（诸如行进方向）来选择。在不同实施例中，相机的视场可以是大约70度（例如，65度与75度之间）、可以是大约180度（例如，约175度与约185度之间）。在其他实施例中可以使用不同视场。

移动设备12可访问定位信息以确定它是否已移动到当前位置像素跨越的地理区域之外的位置。若是，则移动设备12可访问码本信息94以确定要下载的附加位置像素。

在一些实施例中，用于AR应用的指令和数据可被存储于存储器15中，并且当前技术可与使用处理器16执行用于AR应用的指令协力来执行。

本文中所描述的方法体系取决于应用可藉由各种手段来实现。例如，这些方法体系可以在硬件、固件、软件、或其组合中实现。对于硬件实现，处理单元可以在一个或多个专用集成电路（ASIC）、数字信号处理器（DSP）、数字信号处理器件（DSPD）、可编程逻辑器件（PLD）、现场可编程门阵列（FPGA）、处理器、控制器、微控制器、微处理器、电子器件、设计成执行本文所描述功能的其他电子单元、或其组合内实现。在本文中，术语“控制逻辑”涵盖由软件、硬件、固件、或组合实现的逻辑。

对于固件和/或软件实现，这些方法体系可以用执行本文中所描述功能的模块（例如，规程、函数等等）来实现。有形地包含指令的任何机器可读介质可用于实现本文中所描述的方法体系。例如，软件代码可被存储在存储器中并由处理单元来执行。存储器可被实现在处理单元内，或处理单元之外。如本文所使用的，术语“存储器”是指任何类型的长期、短期、易失性、非易失性、或其他存储设备，并且不被限定于任何特定类型的存储器或存储器数目、或记忆存储于其上的介质的类型。

如果在固件和/或软件中实现，则各功能可以作为一条或多条指令或代码存储在计算机可读介质上。示例包括用数据结构编码的计算机可读介质和用计算机程序编码的计算机可读介质。计算机可读介质可采取制品的形式。短语“计算机可读介质”是指物理计算机存储介质，而不是指瞬态传播信号。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，此类计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备、或能被用来存储指令或数据结构形式的合意程序代码且能被计算机访问的任何其他介质；如本文中所使用的盘（disk）和碟（disc）包括压缩碟（CD）、激光碟、光碟、数字多用碟（DVD）、软盘和蓝光碟，其中盘常常磁学地再现数据，而碟用激光光学地再现数据。以上组合也应被包括在计算机可读介质的范围内。

除了存储在计算机可读介质上，指令和/或数据还可作为包括在通信装置中的传输介质上的信号来提供。例如，通信装置可包括具有指示指令和数据的信号的收发机。指令和数据被配置成致使一个或更多个处理器实现权利要求中概括的功能。即，通信装置包括具有指示用以执行所公开功能的信息的信号的传输介质。在第一时间，通信装置中所包括的传输介质可包括用以执行所公开功能的信息的第一部分，而在第二时间，通信装置中所包括的传输介质可包括用以执行所公开功能的信息的第二部分。

本公开可与Wi-Fi/WLAN或其他无线网络协力实现。除了Wi-Fi/WLAN信号外，无线/移动站还可接收来自卫星的信号，这些卫星可以来自全球定位系统（GPS）、Galileo、GLONASS、NAVSTAR、QZSS、使用来自这些系统的组合的卫星的系统、或将来开发的任何SPS，其每一种在本文中均被通称为卫星定位系统（SPS）或GNSS（全球导航卫星系统）。本公开还可与伪卫星或包括伪卫星的系统的组合协力实现。本公开还可与毫微微蜂窝小区或包括毫微微蜂窝小区的系统的组合协力实现。

本公开可结合诸如无线广域网（WWAN）、无线局域网（WLAN）、无线个域网（WPAN）等各种无线通信网络来实现。术语“网络”和“系统”常被可互换地使用。术语“位置”和“定位”常被可互换地使用。WWAN可以是码分多址（CDMA）网络、时分多址（TDMA）网络、频分多址（FDMA）网络、正交频分多址（OFDMA）网络、单载波频分多址（SC-FDMA）网络、长期演进（LTE）网络、WiMAX（IEEE802.16）网络等等。CDMA网络可实现诸如cdma2000、宽带CDMA（W-CDMA）等一种或多种无线电接入技术（RAT）。cdma2000包括IS-95、IS-2000和IS-856标准。TDMA网络可实现全球移动通信系统（GSM）、数字高级移动电话系统（D-AMPS）、或其他某种RAT。GSM和W-CDMA在来自名为“第三代伙伴项目”（3GPP）的联盟的文献中描述。Cdma2000在来自名为“第三代伙伴项目2”（3GPP2）的联盟的文献中描述。3GPP和3GPP2文献是公众可获取的。WLAN可以是IEEE802.11x网络，并且WPAN可以是蓝牙网络、IEEE802.15x、或其他某种类型的网络。这些技术也可结合WWAN、WLAN和/或WPAN的任何组合来实现。

措辞“示例”或“示例性的”用于表示“用作实例、解说、特性、或其余特征”。本文中描述为“示例”或“示例性”的任何实施例不必被解释为优于或胜过其他实施例。

尽管是以一定程度的细节性描述并例示说明了本发明，但是应当理解，仅是藉由示例作出了本公开，并且在部件的组合和编排上可诉诸众多变改而不会脱离如在所附权利要求书中主张的本发明的精神实质及范围。

Claims (56)

1.一种客户端设备，包括：

存储器，其存储与增强实境（AR）模型相关联的指令和数据并存储一个或多个位置像素的AR信息；

处理器，其执行与所述AR模型相关联的指令；

相机，其具有相关联的相机视图；以及

其中所述客户端设备被配置成生成对一个或多个附加位置像素的AR信息的请求，所述附加位置像素是使用指示所述客户端设备的当前位置的信息和至少一个参数来选择的，所述至少一个参数选自包括以下各项的组：指示当前相机视图的信息、指示与AR应用相关联的使用模式的信息、以及指示所述客户端设备的移动的信息。

2.如权利要求1所述的客户端设备，其特征在于，所述一个或多个位置像素的AR信息是各自与位置像素标识符相关联的，并且其中所述存储器进一步存储包括多个位置像素标识符的码本信息。

3.如权利要求2所述的客户端设备，其特征在于，所述存储器进一步存储用于处理多种位置像素尺寸的指令。

4.如权利要求3所述的客户端设备，其特征在于，所述客户端设备被配置成在第一时间请求具有第一尺寸的一个或多个附加位置像素的AR信息，进一步在第二时间请求具有第二尺寸的一个或多个附加位置像素的AR信息。

5.如权利要求4所述的客户端设备，其特征在于，所述第一尺寸小于所述第二尺寸，并且其中所述第一尺寸的位置像素的AR信息比所述第二尺寸的位置像素的AR信息更为密集。

6.如权利要求2所述的客户端设备，其特征在于，所述位置像素标识符中的每一个包括位置像素码向量。

7.如权利要求6所述的客户端设备，其特征在于，所述客户端设备被配置成通过访问所述码本信息并标识在离所述客户端设备的所述当前位置最靠近的欧几里德距离处的位置像素码向量来标识当前位置像素。

8.如权利要求7所述的客户端设备，其特征在于，所述客户端设备被配置成响应于检测到所述客户端设备的经更新位置来生成对一个或多个附加位置像素的AR信息的进一步请求。

9.如权利要求8所述的客户端设备，其特征在于，所述客户端设备被进一步配置成通过访问所述码本信息并标识在离所述经更新位置最靠近的欧几里德距离处的位置像素码向量来标识所述一个或多个附加位置像素。

10.一种增强实境（AR）装置，包括：

存储器，其存储被组织成AR信息核心的AR数据，每个AR信息核心包括多个位置像素的AR信息并与指示位置像素的地理区域的位置像素标识符相关联，其中所述AR数据包括至少一个第一尺寸的位置像素和至少一个第二不同尺寸的位置像素；以及

其中所述AR装置配置成向客户端设备传送码本信息，所述码本信息包括关于所述多个位置像素中的至少一些位置像素的位置像素标识符信息。

11.如权利要求10所述的AR装置，其特征在于，所述AR装置进一步配置成访问来自客户端设备的对附加位置像素的请求，并响应于所述请求向所述客户端设备传送所述附加位置像素。

12.如权利要求10所述的AR装置，其特征在于，所述第一尺寸小于所述第二尺寸，并且其中所述至少一个第一尺寸的位置像素中所包括的AR信息比所述至少一个第二尺寸的位置像素中所包括的AR信息更为密集。

13.如权利要求10所述的AR装置，其特征在于，所述指示位置像素的地理区域的位置像素标识符包括指示所述位置像素的地理区域中所包括的定位的纬度和经度的信息。

14.一种用于使用客户端设备的方法，包括：

在所述客户端设备处存储指示与多个位置像素相关联的位置像素标识符信息的码本信息；

确定指示所述客户端设备的当前位置的当前位置信息；以及

访问所存储的码本信息以确定关于与所述客户端设备的至少所述当前位置相关联的初始位置像素的位置像素标识符信息。

15.如权利要求14所述的方法，其特征在于，所述确定指示所述客户端设备的所述当前位置的当前位置信息包括：使用从包括卫星定位、辅助式卫星定位、和地面定位的组中选择的一种或多种定位技术来确定所述当前位置信息。

16.如权利要求14所述的方法，其特征在于，进一步包括：向一个或多个网络资源传送至少一些所述当前位置信息并在响应中接收与多个位置像素相关联的AR信息，其中所述多个位置像素是使用至少一些所述当前位置信息来选择的。

17.如权利要求14所述的方法，其特征在于，进一步包括，确定与要下载的位置像素相关联的位置像素标识符并且传送对要下载的所述位置像素的请求。

18.如权利要求17所述的方法，其特征在于，确定与要下载的位置像素相关联的位置像素标识符包括：访问所述码本信息并基于所述客户端设备的所述当前位置和一个或多个参数来选择至少一个位置像素标识符，所述一个或多个参数选自包括以下各项的组：指示当前相机视图的信息、指示与AR应用相关联的使用模式的信息、以及指示所述客户端设备的移动的信息。

19.如权利要求14所述的方法，其特征在于，进一步包括：

确定所述客户端设备是否已移动到与所述初始位置像素相关联的地理区域之外的经更新位置；

如果所述客户端设备已移动到与所述初始位置像素相关联的所述地理区域之外的经更新位置，则访问所存储的码本信息以确定关于与所述客户端设备的至少所述经更新位置相关联的一个或多个不同位置像素的位置像素标识符信息；以及

请求与所述一个或多个不同位置像素相关联的AR信息。

20.如权利要求19所述的方法，其特征在于，访问所存储的码本信息以确定关于与所述客户端设备的至少所述经更新位置相关联的一个或多个不同位置像素的位置像素标识符信息包括：基于所述客户端设备的运动方向来标识所述一个或多个不同位置像素。

21.如权利要求19所述的方法，其特征在于，所述访问所存储的码本信息以确定关于与所述客户端设备的至少所述经更新位置相关联的一个或多个不同位置像素的位置像素标识符信息包括：基于所述客户端设备的取向来标识所述一个或多个不同位置像素。

22.如权利要求19所述的方法，其特征在于，所述访问所存储的码本信息以确定关于与所述客户端设备的至少所述经更新位置相关联的一个或多个不同位置像素的位置像素标识符信息包括：基于与所述客户端设备相关联的相机的视场来标识所述一个或多个不同位置像素。

23.如权利要求22所述的方法，其特征在于，所述相机的所述视场被包括于从65到75度的范围内。

24.如权利要求22所述的方法，其特征在于，所述相机的所述视场被包括于从175到185度的范围内。

25.如权利要求14所述的方法，其特征在于，与每个位置像素相关联的所述位置像素标识符信息指示该位置像素的地理区域中的定位，并且其中访问所存储的码本信息以确定关于与所述客户端设备的至少当前位置相关联的初始位置像素的位置像素标识符信息包括：确定指示最靠近所述当前位置的定位的位置像素标识符。

26.如权利要求25所述的方法，其特征在于，确定指示最靠近所述当前位置的定位的位置像素标识符包括：确定所述客户端设备的所述当前位置与指示所述位置像素的所述地理区域中的定位的多个所述位置像素标识符之间的欧几里得距离。

27.如权利要求18所述的方法，其特征在于，与每个位置像素相关联的所述位置像素标识符信息是所述位置像素的地理区域中的定位的纬度、经度对。

28.如权利要求14所述的方法，其特征在于，进一步包括：从AR服务器接收指示与多个位置像素相关联的位置像素标识符信息的码本信息。

29.如权利要求28所述的方法，其特征在于，进一步包括：在所述客户端设备上运行AR应用并基于在所述客户端设备上运行所述AR应用来请求所述码本信息。

30.一种移动设备，包括：

用于在客户端设备处存储指示与多个位置像素相关联的位置像素标识符信息的码本信息的装置；

用于确定指示所述客户端设备的当前位置的当前位置信息的装置；以及

用于访问所存储的码本信息以确定关于与所述客户端设备的至少所述当前位置相关联的初始位置像素的位置像素标识符信息的装置。

31.如权利要求30所述的移动设备，其特征在于，所述用于确定指示所述客户端设备的所述当前位置的当前位置信息的装置包括：用于使用从包括卫星定位、辅助式卫星定位、和地面定位的组中选择的一种或多种定位技术来确定所述当前位置信息的装置。

32.如权利要求30所述的移动设备，其特征在于，进一步包括：用于向一个或多个网络资源传送至少一些所述当前位置信息并在响应中接收与多个位置像素相关联的AR信息的装置，其中所述多个位置像素是使用至少一些所述当前位置信息来选择的。

33.如权利要求30所述的移动设备，其特征在于，进一步包括：用于确定与要下载的位置像素相关联的位置像素标识符的装置和用于传送对要下载的所述位置像素的请求的装置。

34.如权利要求33所述的移动设备，其特征在于，所述用于确定与要下载的位置像素相关联的位置像素标识符的装置包括：用于访问所述码本信息并基于所述客户端设备的所述当前位置和一个或多个参数来选择至少一个位置像素标识符的装置，所述一个或多个参数选自包括以下各项的组：指示当前相机视图的信息、指示与AR应用相关联的使用模式的信息、以及指示所述客户端设备的移动的信息。

35.如权利要求30所述的移动设备，其特征在于，进一步包括：

用于确定所述客户端设备是否已移动到与所述初始位置像素相关联的地理区域之外的经更新位置的装置；

用于如果所述客户端设备已移动到与所述初始位置像素相关联的所述地理区域之外的经更新位置，则访问所存储的码本信息以确定关于与所述客户端设备的至少所述经更新位置相关联的一个或多个不同位置像素的位置像素标识符信息的装置；以及

用于请求与所述一个或多个不同位置像素相关联的AR信息的装置。

36.如权利要求35所述的移动设备，其特征在于，所述用于访问所存储的码本信息以确定关于与所述客户端设备的至少所述经更新位置相关联的一个或多个不同位置像素的位置像素标识符信息的装置包括：用于基于所述客户端设备的运动方向来标识所述一个或多个不同位置像素的装置。

37.如权利要求35所述的移动设备，其特征在于，所述用于访问所存储的码本信息以确定关于与所述客户端设备的至少所述经更新位置相关联的一个或多个不同位置像素的位置像素标识符信息的装置包括：用于基于所述客户端设备的取向来标识所述一个或多个不同位置像素的装置。

38.如权利要求35所述的移动设备，其特征在于，进一步包括相机，并且其中所述用于访问所存储的码本信息以确定关于与所述客户端设备的至少所述经更新位置相关联的一个或多个不同位置像素的位置像素标识符信息的装置包括：用于基于与所述客户端设备相关联的所述相机的视场来标识所述一个或多个不同位置像素的装置。

39.如权利要求38所述的移动设备，其特征在于，所述相机的所述视场被包括于从65到75度的范围内。

40.如权利要求38所述的移动设备，其特征在于，所述相机的所述视场被包括于从175到185度的范围内。

41.如权利要求30所述的移动设备，其特征在于，与每个位置像素相关联的所述位置像素标识符信息指示该位置像素的地理区域中的定位，并且其中所述用于访问所存储的码本信息以确定关于与所述客户端设备的至少当前位置相关联的初始位置像素的位置像素标识符信息的装置包括：用于确定指示最靠近所述当前位置的定位的位置像素标识符的装置。

42.如权利要求41所述的移动设备，其特征在于，所述用于确定指示最靠近所述当前位置的定位的位置像素标识符的装置包括：用于确定所述客户端设备的所述当前位置与指示所述位置像素的所述地理区域中的定位的多个所述位置像素标识符之间的欧几里得距离的装置。

43.如权利要求34所述的移动设备，其特征在于，与每个位置像素相关联的所述位置像素标识符信息是所述位置像素的地理区域中的定位的纬度、经度对。

44.如权利要求30所述的移动设备，其特征在于，进一步包括：用于从AR服务器接收指示与多个位置像素相关联的位置像素标识符信息的码本信息的装置。

45.如权利要求44所述的移动设备，其特征在于，进一步包括：用于在所述客户端设备上运行AR应用的装置和用于基于在所述客户端设备上运行所述AR应用来请求所述码本信息的装置。

46.一种存储被配置成使一个或多个机器执行操作的指令的计算机可读介质，所述操作包括：

在客户端设备处存储指示与多个位置像素相关联的位置像素标识符信息的码本信息；

访问指示所述客户端设备的当前位置的当前位置信息；以及

访问所存储的码本信息以确定关于与所述客户端设备的至少所述当前位置相关联的初始位置像素的位置像素标识符信息。

47.如权利要求46所述的计算机可读介质，其特征在于，进一步包括：确定与要下载的位置像素相关联的位置像素标识符并且生成对要下载的所述位置像素的请求。

48.如权利要求47所述的计算机可读介质，其特征在于，确定与要下载的位置像素相关联的位置像素标识符包括：访问所述码本信息并基于所述客户端设备的所述当前位置和一个或多个参数来选择至少一个位置像素标识符，所述一个或多个参数选自包括以下各项的组：指示当前相机视图的信息、指示与AR应用相关联的使用模式的信息、以及指示所述客户端设备的移动的信息。

49.如权利要求44所述的计算机程序产品，其特征在于，所述操作进一步包括：

确定所述客户端设备是否已移动到与所述初始位置像素相关联的地理区域之外的经更新位置；

如果所述客户端设备已移动到与所述初始位置像素相关联的所述地理区域之外的经更新位置，则访问所存储的码本信息以确定关于与所述客户端设备的至少所述经更新位置相关联的一个或多个不同位置像素的位置像素标识符信息；以及

生成对与所述一个或多个不同位置像素相关联的AR信息的请求。

50.如权利要求49所述的计算机可读介质，其特征在于，访问所存储的码本信息以确定关于与所述客户端设备的至少所述经更新位置相关联的一个或多个不同位置像素的位置像素标识符信息包括：基于指示所述客户端设备的运动方向的信息来选择所述一个或多个不同位置像素。

51.如权利要求49所述的计算机可读介质，其特征在于，所述访问所存储的码本信息以确定关于与所述客户端设备的至少所述经更新位置相关联的一个或多个不同位置像素的位置像素标识符信息包括：基于指示所述客户端设备的取向的信息来选择所述一个或多个不同位置像素。

52.如权利要求49所述的计算机可读介质，其特征在于，所述访问所存储的码本信息以确定关于与所述客户端设备的至少经更新位置相关联的一个或多个不同位置像素的位置像素标识符信息包括：基于指示与所述客户端设备相关联的相机的视场的信息来选择所述一个或多个不同位置像素。

53.如权利要求42所述的计算机可读介质，其特征在于，与每个位置像素相关联的所述位置像素标识符信息指示该位置像素的地理区域中的定位，并且其中访问所存储的码本信息以确定关于与所述客户端设备的至少当前位置相关联的初始位置像素的位置像素标识符信息包括：确定指示最靠近所述当前位置的定位的位置像素标识符。

54.如权利要求53所述的计算机可读介质，其特征在于，确定指示最靠近所述当前位置的定位的位置像素标识符包括：确定所述客户端设备的所述当前位置与指示所述位置像素的所述地理区域中的定位的多个所述位置像素标识符之间的欧几里得距离。

55.如权利要求46所述的计算机可读介质，其特征在于，与每个位置像素相关联的所述位置像素标识符信息是所述位置像素的地理区域中的定位的纬度、经度对。

56.如权利要求42所述的计算机可读介质，其特征在于，所述操作进一步包括执行用于AR应用的指令和基于执行用于所述AR应用的指令来生成对所述码本信息的请求。

Images