CN107924590B

CN107924590B - 增强现实系统中的基于图像的跟踪

Info

Publication number: CN107924590B
Application number: CN201680035045.XA
Authority: CN
Inventors: N·于尔根松; 罗琳捷; J·M·罗德里格斯二世; R·B·谢斯; J·李; 吕旭涛
Original assignee: Snap Inc
Current assignee: Snap Inc
Priority date: 2015-10-30
Filing date: 2016-10-28
Publication date: 2023-06-09
Anticipated expiration: 2036-10-28
Also published as: US10366543B1; US10102680B2; US9652896B1; US20170124713A1; US10733802B2; KR20190136112A; US20180089904A1; US11315331B2; US20190295326A1; KR102052018B1; US20220245907A1; US20170243371A1; KR102274272B1; CN107924590A; KR20210008939A; KR20180006432A; US9836890B2; US11769307B2; WO2017075476A1; EP3369076A1

Abstract

描述了基于图像的位置估计的系统和方法。在一个示例实施例中，第一定位系统用于生成第一位置估计。描述与第一位置估计相关联的一个或多个结构立面的一组结构立面数据然后被访问。采集环境的第一图像，并且图像的一部分与结构立面数据的一部分相匹配。第二位置然后基于结构立面数据与匹配到该结构立面数据的图像的一部分的比较来估计。

Description

增强现实系统中的基于图像的跟踪

优先权要求

本申请要求于2015年11月30日提交的序列号为No.14/954,090的美国专利申请的优先权的权益，本申请同样要求于2015年10月30日提交的序列号为No.62/248,706的美国临时专利申请的优先权的权益，其中每一个的优先权的权益在此被要求，并且其中的每一个通过引用整体并入本文。

背景技术

增强现实指示使用计算机生成的增强来以实时或接近实时的方式将新的信息添加到图像中。例如，在装置的显示器上输出的墙壁的视频图像可以采用在墙壁上不存在的显示细节来增强，但是通过增强现实系统生成为显示为如它们在墙壁上一样。这种系统需要图像采集信息的复杂混合，以试图从由图像采集装置确定的视角无缝地呈现最终图像的方式，该图像采集信息被集成并与要被添加到采集的场景的增强现实信息匹配。

附图说明

附图中的各种附图仅示出了本公开的示例实施例，而不应被认为是限制其范围。

图1A是示出根据一些示例实施例的网络系统的框图。

图1B是示出根据一些示例实施例的包括客户端和客户端伴随(companion)(例如，可穿戴)装置的网络系统的框图。

图2是示出根据一些示例实施例的增强现实系统的示例实施例的框图。

图3示出根据一些实施例的增强现实系统的方面。

图4A、4B和4C示出根据一些实施例的增强现实系统的方面。

图5A-F示出根据一些示例实施例的增强现实系统中的基于图像的跟踪的方面。

图6示出根据一些示例实施例的用于增强现实系统的跟踪系统的方面。

图7示出根据一些实施例的增强现实系统的方面。

图8示出根据一些实施例的增强现实系统的方面。

图9是根据一些示例实施例的用于基于图像的跟踪的方法。

图10A示出根据一些示例实施例的可用于增强现实系统的装置的方面。

图10B示出根据一些示例实施例的描绘示例移动装置和移动操作系统界面的用户界面图。

图11是可以与一些示例实施例联合使用的示例可穿戴装置。

图12是示出根据一些示例实施例的可被安装在机器上的软件架构的示例的框图。

图13是表现根据示例实施例的以计算机系统的形式的机器的图形表示的框图，在该计算机系统内可执行一组指令以使机器执行本文讨论的任何方法。

具体实施方式

下面涉及增强现实图像处理和基于图像的跟踪。一些特定实施例描述使用初始粗略位置估计来识别关于本地建筑物的立面(facade)数据。为增强现实系统采集的图像然后可以与立面数据进行比较。该比较尝试将一些或全部的建筑立面与所采集的图像的一部分进行匹配。来自立面数据的位置和视角信息可以与所采集的图像的被识别的匹配部分一起使用，以生成与采集的图像的视角相关联的位置的第二估计。该第二更精确的位置然后可用于将虚拟项目放置在所采集的图像内或者随后相关的所采集的图像内作为增强现实显示的一部分。

以下描述包括示出本公开的实施例的系统、装置和方法。在以下描述中，出于解释的目的，阐述了许多具体细节以便提供对本发明主题的各种实施例的理解。然而，对于本领域技术人员显而易见的是，本发明主题的实施例可以在没有这些具体细节的情况下实施。

如在此所述，增强现实指示采集图像、采用附加信息增强这些图像、并且然后在显示器上呈现增强的信息的系统和装置。这使得例如用户能够拿起电话来采集场景的视频流，并且使得电话的输出显示器能够呈现与附加信息一起的对用户可见的场景。该信息可以包括将虚拟对象放置在场景中，以便虚拟对象被呈现为如同在场景中存在该虚拟对象。如果从采集环境的图像传感器的视角显示另一真实或虚拟对象在该虚拟对象的前面通过，则处理该虚拟对象的方面以遮挡该虚拟对象。随着真实对象和虚拟对象两者随时间推移移动并且随着采集环境的图像传感器的视角改变，该虚拟对象同样被处理为来保持其与真实对象的关系。

包括真实对象和虚拟对象二者的此类增强现实场景出现的一个问题是设定和保持真实对象和虚拟对象之间的跟踪。对于保持虚拟对象在环境中的沉浸式呈现以及将虚拟对象视为在环境中是真实的，该跟踪是重要的。失败的跟踪会在场景内产生虚拟项目的抖动或非期望的移动，或者可能会以非自然的方式设定与真实对象重叠或不同步的初始虚拟对象布置。

同步定位和映射(SLAM)系统是用于跟踪视频的二维图像帧中的关键点并且识别来自图像帧中的三维对象以及相机与这些对象的相对位置的系统。然而，识别三维对象的这种处理是处理器和存储器密集型的。

如在此所使用的“立面”是指建筑物或物理结构的细节，包括建筑物墙壁的细节。建筑物的真实世界环境可以包括显著的三维质地，但是如在此所使用的，立面包括可以被建模为二维的墙壁或建筑物的部分。这特别包括可能是建筑物墙面一部分的模式，诸如壁画或其它图像。建筑物的立面数据可以包括建筑物的一个或多个外墙的简化的二维模型。这种模型可以包括此类墙壁的位置点以及来自此类墙壁的二维图像数据。当与复杂的三维对象点云模型相比时，二维立面模型要简单得多。处理图像以识别与墙壁的二维模型的匹配通常还将消耗比针对对象的三维模型处理一个或多个视频图像更少的处理资源。在采用移动装置或可穿戴装置工作而资源可用性方面存在显著限制时，处理器和存储器系统的效率特别重要。

此外，通过使用全球定位系统或其它基于位置的系统来识别初始粗略位置估计，二维立面数据与采集的图像进行匹配所需的处理资源可进一步受限。地图数据库可以包括特定位置的建筑物的图像信息和/或立面模型。使用这种数据库以及初始粗略位置估计可被用于将采集的图像中的期望建筑物限制到非常小的数量，或者可以自动地用于识别单个建筑物。从该信息开始，一些具有有限处理资源的装置可以接近实时地将二维立面数据与采集的图像进行匹配。一些此类装置可能不能够执行用于三维匹配的这种接近实时的计算。然后，在采集的图像中表示的建筑物的视角可用于创建图像传感器的位置的精确估计，图像传感器用于生成采集的图像。这种精确的位置估计可以以各种方式使用，包括用于在环境内适当放置并跟踪虚拟对象作为增强现实系统的一部分。

图1A是描绘根据一个实施例的具有被配置为通过网络交换数据的客户端-服务器架构的网络系统100的网络图。这种网络系统可用于针对在客户端装置110上显示的虚拟对象、用于创建立面模型的街景数据、以及由增强现实系统160使用的所得到的立面模型来传送信息。在一些实施例中，网络系统100可以是其中客户端在网络系统100内通信和交换数据的消息系统。该数据可以涉及与网络系统100及其用户相关联的各种功能(例如，发送和接收文本和媒体通信，确定地理位置等)和方面。虽然在此被示为客户端-服务器架构，但是其它实施例可以包括其它网络架构，诸如对等或分布式网络环境。

如图1A所示，网络系统100包括社交消息收发系统130。社交消息收发系统130通常基于三层架构，其由接口层124、应用逻辑层126和数据层128组成。如相关的计算机和互联网相关领域中的本领域技术人员理解的，在图1A中所示的每个模块或引擎表示一组可执行软件指令和用于执行指令的对应硬件(例如，存储器和处理器)。为了避免不必要的细节模糊本发明的主题，与本发明主题的理解无关的各种功能模块和引擎在图1A中省略。附加的功能模块和引擎可以与社交消息收发系统一起使用，诸如图1A所示，以便于实现本文未具体描述的附加功能。此外，图1A中所描绘的各种功能模块和引擎可以驻留在单个服务器计算机上，或者可以以各种布置横跨多个服务器计算机分布。此外，尽管图1A中将社交消息收发系统130描绘为三层架构，但是发明主题绝不限于这种架构。

如图1A所示，接口层124由接口模块(例如网页服务器)140组成，其接收来自各种客户端计算装置和服务器(诸如执行客户端应用112的客户端装置110和执行第三方应用122的第三方服务器120)的请求。响应于所接收的请求，接口模块140经由网络104向请求装置传送适当的响应。例如，接口模块140可以接收诸如超文本传输协议(HTTP)请求或其它基于网页的应用程序接口(API)请求的请求。

客户端装置110可以执行为特定平台开发的传统网页浏览器应用或应用(也称为“app”)，以包括各种移动计算装置和移动专用操作系统(例如IOS^TM、ANDROID^TM、

)中的任一个。在示例中，客户端装置110正在执行客户端应用112。客户端应用112可以提供将信息呈现给用户106并且经由网络104进行通信以与社交消息收发系统130交换信息的功能。客户端装置110中的每一个可以包括计算装置，该计算装置至少包括采用网络104访问社交消息收发系统130的显示和通信能力。客户端装置110包括但不限于远程装置、工作站、计算机、通用计算机、因特网应用、手持装置、无线装置、便携式装置、可穿戴计算机、蜂窝或移动电话、个人数字助理(PDA)、带有驾驶员抬头显示器(HUD)的汽车计算装置、智能电话、平板计算机、超极本、上网本、笔记本计算机、台式机、多处理器系统、基于微处理器或可编程消费电子产品、游戏控制台、机顶盒、网络个人计算机(PC)、微型计算机等。用户106可以包括与客户端装置110交互的人、机器或其它工具。在一些实施例中，用户106经由客户端装置110与社交消息收发系统130进行交互。

如图1A所示，数据层128具有便于访问信息存储库或数据库134的一个或多个数据库服务器132。数据库134是存储数据的存储装置，该数据诸如是由客户端装置110生成并发送到社交消息收发系统130的外部区域的一组图像、从包括建筑物的图像生成的一组立面数据、将图像和立面数据匹配到地理位置的地图数据、以及其它此类数据。在一个实施例中，数据库存储从街道采集的图像并将这些图像与地图数据相关联。该实施例的一些实施方式可以使用过滤器或图像裁剪来从图像中移除人员，例如仅存储高于包括人的高度的图像数据的实施例。数据库134同样可以存储诸如成员简档数据、社交图数据(例如，社交消息收发系统130的成员之间的关系)和其他用户数据的数据。

个人可以向社交消息收发系统130注册以成为社交消息收发系统130的成员。一旦注册，成员可以在社交消息收发系统130上形成社交网络关系(例如，朋友、关注者或联系人)，并且与由社交消息收发系统130提供的广泛范围的应用进行交互。

应用逻辑层126包括各种应用逻辑模块150，其与接口模块140结合，生成具有从数据层128中的各种数据源或数据服务检索的数据的各种用户界面。各个应用逻辑模块150可用于实现与社交消息收发系统130的各种应用、服务和特征(包括增强现实系统160的方面)相关联的功能。例如，社交消息收发应用可以采用一个或多个应用逻辑模块150实现。社交消息收发应用为客户端装置110的用户提供消息收发机制，以发送和接收包括文本和媒体内容(诸如图片和视频)的消息。社交消息收发应用同样可以包括用于提供增强现实显示的机制和将图片和视频与虚拟对象集成的内容。客户端装置110可以提供增强现实显示，并且同样可以使得用户能够在特定的时间段(例如，有限的或无限的)内访问和查看来自社交消息收发应用的消息。在示例中，消息接收者可以访问特定的消息达到预定义的持续时间(例如，由消息发送者指定)，该持续时间在特定消息被首先访问时开始。在预定义的持续时间经过之后，消息将被删除，并且消息接收者不可再访问它。类似地，增强现实内容可以被提供预定义的持续时间。其它应用和服务可以分别在其自己的应用逻辑模块150中体现。

如图1A所示，社交消息收发系统130或客户端应用112包括增强现实系统160，其提供生成增强现实图像的功能。在一些实施例中，增强现实系统160可以被实现为客户端装置110上的独立系统，并且不一定被包括在社交消息收发系统130中。在其它实施例中，客户端装置110包括增强现实系统160的一部分(例如，增强现实系统160的一部分可以被独立地包括或者在客户端应用112中)。在客户端装置110包括增强现实系统160的一部分的实施例中，客户端装置110可以单独工作或者与包括在特定应用服务器中或包括在社交消息收发系统130中的增强现实系统160的部分结合工作。

图1B示出了可以与某些实施例一起使用的替代网络系统101。正如在网络系统100中一样，网络系统101包括具有接口模块140、应用逻辑模块150、数据库服务器132和数据库134的社交消息收发系统130以及操作客户端应用112的客户端装置110。然而，网络系统101另外包括连接到客户端装置110的客户端伴随装置114。客户端伴随装置114可以是诸如眼镜、护目镜、表或其它支持网络的项目的可穿戴装置。客户端伴随装置同样可以是在此描述的任何装置，其经由诸如客户端装置110的另一装置访问诸如网络104的网络。客户端伴随装置114包括图像传感器116、无线输入和输出(I/O)117以及显示器118。客户端伴随装置114可以包括一个或多个处理器、电池和存储器，但是可能具有有限的处理和存储资源。在此类实施例中，用于社交消息收发系统130的客户端装置110和/或服务器计算装置可以经由网络连接被用于为客户端伴随装置114提供远程处理和存储资源。例如，在一个实施例中，客户端伴随装置114可以是一对支持网络的眼镜，诸如图11的眼镜。这种眼镜可不包括任何基于传感器的定位系统，使得在此描述的执行初始位置估计的方法可以估计无线连接到眼镜的客户端装置110的位置。然而，眼镜使用图像传感器116收集图像并且使用这些图像作为基础来生成增强现实信息并且经由显示器118向用户呈现增强现实信息。因此，图像和添加到图像的任何虚拟对象的视角需要基于客户端伴随装置114眼镜的位置来跟踪。在这种实施例中，初始位置可以基于使用全球定位系统(GPS)或网络增强的位置服务的客户端装置110位置。在客户端装置110上，在社交消息收发系统130上或在这两者上操作的基于图像的定位系统161然后可使用来自图像传感器116的图像数据以及由客户端装置110的初始位置所识别的立面数据来确定客户端伴随装置114的位置。在一些实施例中，因为无线I/O 117系统的范围较低，所以系统可以假定客户端装置110的位置在客户端伴随装置114足够近的距离内，即立面数据对于靠近两个装置的建筑物将是相同的。

图2是增强现实系统160的一个实施例的框图200。增强现实系统160被示出为包括基于图像的定位系统161、通信模块210、展示模块220、配置模块230、对准模块240、虚拟项目模块250、分析模块260和地图定位系统270。模块210-270中的全部或一些例如经由网络耦接、共享存储器等彼此通信。增强现实系统160的模块中的每一个模块可以被实现为单个模块，组合成其它模块，或者被进一步细分成多个模块。同样可以包括与示例实施例不相关的其它模块，但是未示出。

通信模块210提供各种通信功能。例如，通信模块210从用户装置接收、访问或以其它方式获得图像的图像数据。在具体示例中，通信模块210从智能电话的相机传感器接收基本上实时的图像数据(例如，由智能电话的相机传感器采集的图像数据的单帧或连续帧)。通信模块210与数据库服务器132、客户端装置110和第三方服务器120交换网络通信。由通信模块210检索的信息包括与用户相关联的数据(例如，来自在线账户的会员简档数据或社交网络服务数据)或其它数据来促进在此所述的功能。

展示模块220提供各种展示和用户界面功能，其可操作以交互地向用户呈现和从用户接收信息。例如，展示模块220用于管理具有对准和插入的虚拟对象的图像数据的输出，使得增强现实图像可以呈现在显示器上。如上所述，当图像被采集、处理以添加虚拟对象并尽可能快地与虚拟对象一起显示时，这些图像可以实时或接近实时地呈现。展示模块220同样可用于呈现用户界面、AR对象或响应于解码诸如下面讨论的光学条形码806的光学条形码而生成的任何此类信息。在各种实施例中，展示模块220呈现或促使呈现附加信息(例如，在屏幕上可视地显示信息、声学输出、触知反馈)。交互式呈现信息的过程旨在包括特定装置和用户之间的信息交换。用户可以以许多可能的方式提供输入以与用户界面交互，诸如字母数字、基于点的(例如，光标)、触觉或其它输入(例如，触摸屏、触觉传感器、光传感器、红外传感器、生物特征传感器、麦克风、陀螺仪、加速度计或其它传感器)。展示模块220提供许多其它用户界面以促进在此描述的功能。如在此所使用的术语“呈现”旨在包括将信息或指令传送给可操作以基于所传送的信息或指令进行呈现的特定装置。这可以包括在屏幕上的输出以及图像到用户的眼睛上的投射二者。

配置模块230可以用于接受和管理用户对系统选项的选择。这可以包括选择各种增强现实选择的选项，包括启用增强现实并且基于用户输入或基于输入的触发来请求提供或触发某些类型的增强现实信息。例如，配置模块230可以包括由用户提供的设定，以在位置在基于图像的位置系统或地图定位系统中被识别时自动呈现关于某些类型的位置的信息。配置模块230同样可以接受用户设定，以在经由通信模块210接收到方向输入触发时自动提供增强现实图像中的方向信息。在其它实施例中，用于实现基于图像的位置或增强现实图像的任何其它触发可以通过配置模块230来管理。例如，当系统包括诸如用于增强现实图像的显示的触发器的分析时，配置模块230从由用户装置(例如，客户端装置110)接收的图像的图像数据中提取并分析候选形状特征或候选轮廓特性。配置模块230确定与提取的候选形状特征相关联的各种规则或标准的满足。配置模块230将提取的候选形状特征与定制图形或另一参考图像的参考形状特征进行比较。配置模块230可以利用各种方案和技术从图像的图像数据中提取候选形状特征，并随后触发增强现实图像的显示。

对准模块240提供图像处理功能以确定和验证由图像传感器采集的图像数据与放置在图像中的虚拟对象的对准。在一些实施例中，对准模块240可以访问或生成环境的计算机模型，并且可以使用计算机模型来基于环境的计算机模型将虚拟项目插入到图像中。在一些实施例中，对准模块240可执行阈值或规则检查以验证在增强现实图像中显示的虚拟项目满足某些质量度量以提供可接受的用户体验。这可以包括验证虚拟对象相对于图像中的对象不以非期望的方式移动，由图像传感器采集的图像随时间推移足够稳定以实现增强现实功能或其它此类度量。在一些实施例中，对准模块240从图像数据中提取空间属性。在各种实施例中，空间属性包括图像中对象的位置、取向、比例或其它空间方面中的至少一个。对准模块240基于空间属性(例如，特定取向)来确定图像对象的对准。在示例中，对准模块240可以基于空间属性确定包括位置和取向的对准，并且根据对准来生成变换的图像。

虚拟项目模块250提供用于生成与虚拟项目相关联的图像的功能。在一些实施例中，这可以包括与虚拟位置标记、虚拟方向箭头或虚拟项目或对象有关的图形信息。在一些实施例中，这可以包括用于将移动虚拟对象插入到视频中的图形信息(例如，虚拟动物、机器人、恐龙、视频显示器等)。在一些实施例中，对于每一个虚拟对象，展示规则可以存储在虚拟项目模块250中，并由其它模块使用来验证虚拟对象可以被插入到具有足够输出质量的图像数据中。

分析模块260提供执行各种图像处理操作的功能。这种操作可以包括图像处理操作，以识别图像中的关键点并且将二维立面数据与图像的部分相匹配以识别匹配。例如，在一些实施例中，分析模块260可以接受图像并且识别图像中可能包含二维模式数据作为立面的一部分的建筑物拐角或其它关键点。分析模块260然后可以采取来自模型的立面数据并且将该图像的部分与在立面数据中包括的建筑物立面模型进行匹配。在一些实施例中，如果没有找到匹配，则在客户端装置110上操作的分析模块260可以请求附加信息或由在远程服务器(诸如第三方服务器120或作为社交消息收发系统130的一部分的服务器)上操作的分析模块260进行的附加处理。

地图定位系统270提供地图数据，该地图数据包括地图位置和与位置中的建筑物相关联的立面数据之间的关联或者系统中的任何其它此类信息。地图定位系统270同样可以与可提供该信息的远程服务器或系统接口连接。以下相对于图6讨论地图定位系统270的其它方面。

基于图像的定位系统161可以包括用于从任何数量的源接受街景图像并分析图像以生成立面数据的模块。该立面数据可以包括对建筑物上的某些模式的二维估计，以及对于简单建筑物位置(诸如建筑物的拐角或建筑物上的二维立面模式的拐角的位置)的关键点信息。在一些实施例中，来自多个图像的信息可用于生成单个建筑物的立面数据。来自多个图像的此类信息可以用于在不同的照明情况下匹配颜色，或者将随时间推移的微小变化匹配到建筑立面。在一些实施例中，专门的图像和位置采集设备可用于以高精度生成关于建筑物位置、建筑物的关键点以及建筑物立面数据的信息，以便建立建筑物的室外图像的数据库，以便为基于图像的位置系统提供准确参考。以高精度(例如，以各位数厘米或者毫米数量级的精度)采集建筑物拐角的位置为具有相似误差的相机位置的基于图像的位置估计提供了基础。在一些实施例中，确定相机位置在几厘米(例如，5厘米)内足以提供增强现实呈现，其中输出图像中打破增强现实图像的现实幻觉的明显误差的概率较低。

在一些实施例中，基于图像的定位系统161可以分布在本地客户端装置和远程服务器上，其中低信息立面模型(例如，具有低分辨率和/或低颜色二维立面数据以及少量的关键点的模型)被存储在本地装置上，用于定期访问的位置、期望的未来旅行位置、或者系统认为将来可能在装置附近的建筑物。高信息模型(例如，高分辨率、高颜色信息和/或高数量的三维关键点)可被远程存储，并且在本地紧凑立面模型失效时使用。基于图像的定位系统161可以使用分析模块260来管理立面数据和模型的应用以匹配所采集的图像的部分。一旦使用分析模块260找到匹配，则与建筑物中建筑物匹配的立面数据或关键点相关的位置信息可以用于计算所采集的图像中相机视角的相对位置。该相对位置可以用于基于建筑物关键点的位置或作为与立面数据相关联的建筑物的立面或其它模型的一部分的其它绝对位置信息来确定绝对位置。

图3示出了增强现实系统的方面，包括可产生增强现实图像中的问题的跟踪和图像传感器位置误差。如以上所讨论，增强现实系统将虚拟对象并入到由图像传感器采集的场景中。为了正确定位和修改增强现实图像内的虚拟对象，需要知道所有关于图像传感器位置、场景中的真实对象以及虚拟对象位置的信息。图3示出了包括由相机装置309的图像传感器311采集的真实对象数据340的AR(增强现实)场景302。真实对象数据340包括关于分布在场景中的空间中的物理对象的信息。为了生成AR场景302，修改从真实对象数据340生成的场景以添加虚拟对象数据350。然而，虚拟对象数据350被示为由于跟踪误差362而与真实对象数据340错位。该跟踪误差362可能导致如在AR场景302中呈现的虚拟对象在真实对象之上或之后的不适当和不自然的覆盖。该覆盖误差的示例由图4A示出。跟踪误差362可具有多种原因或影响因素，但是图像传感器位置误差370(其中在图像传感器311的理解位置中的误差传播到AR场景302中的虚拟对象数据350的放置)是导致跟踪误差362的一个影响因素。

图4A示出了包括建筑物、树木、人和路的真实对象数据的AR图像300。用于添加增强现实目的地对象312和增强现实方向对象320的增强现实系统可以使用环境的地图模型来确定增强现实对象的位置，并且然后可以使用估计的相机位置来将增强现实方向对象310、320放置在AR图像300中。提供AR图像300的视角的传感器的位置估计中的误差可能导致对象310和320的错位。如图所示，增强现实方向对象320示出通过固体对象的方向路径，以及在非期望的前景布置中浮动的目的地对象。在一些实施例中，这种误差可能是由于用于确定对象310和320的布置的图像传感器的估计位置中的较大误差造成的。

然后图4B示出在AR图像301内以期望和正确的放置的增强现实方向对象380和增强现实目的地对象，具有小的跟踪误差或没有跟踪误差。如在此所述，可以识别用于AR图像301的原始图像的第一结构立面部分360和/或第二结构立面部分369，并将其与立面数据进行匹配。第一结构立面部分360的立面数据最初可用于识别原始图像内的第一结构立面部分360。图像内的第一结构立面部分360的旋转、大小和放置以及与用于匹配建筑物的立面数据进行比较可用于生成针对图像传感器的高精度的位置估计。这可以减少或消除图像传感器位置误差，并改进AR图像301的跟踪。

此外，在一些实施例中，为了将来自数据库的立面数据与图像的一部分相匹配而执行的计算同样可以用于生成匹配立面表面的二维增强现实对象。图4C示出了使用增强现实“标签”对象的二维增强现实数据的示例。在最简单的示例中，增强现实目的地对象390可以简单地是与三维地理位置坐标的集合相关联的二维三角形。不管从哪个角度观看该二维标签对象，在增强现实图像中总是将其视为相同的形状。类似地，在某些实施例中可以使用表情符号标签对象。在这种实施例中，用户可以访问简单的界面以图形化地选择表情符号并将表情符号放置在图像中，使得增强现实系统将表情符号标签对象与图像中的另一个对象相关联或与设定的位置相关联。AR对象392例如是附接到目的地位置的二维表情符号标签对象。AR对象392将漂浮在AR图像301内的目的地位置和任何相关的AR图像上方。如果将AR对象392附接到移动的对象(诸如书籍或人的上方的空间等)，则AR对象392可以保持相对于附接对象的相对位置或作为附接对象上方设定空间的相对位置。

在一些此类实施例中，AR标签对象可以被附接到具有增强现实系统中的相关联的立面数据的建筑物。AR立面标签对象394是用作图像301中的增强现实对象的表情符号图形。随着增强现实视图的视角改变，AR立面标签对象394的视角改变以保持AR立面标签对象394附接到建筑物墙壁的外观。为了消除冗余计算，关于第一结构立面部分360的视角数据可用于计算AR立面标签对象394所需的视角，因为它们位于增强现实空间的相同平面中。

在其它实施例中，诸如AR对象392的AR对象可以是3D对象，使得诸如AR对象392的AR对象可以是在一侧上具有面部的球体。另一个此类AR对象可以是任何此类3D版本的表情符号、面部、动物或其它对象。在一个实施例中，AR对象可以是以变化模式覆盖有彩色光的3D树。任何此类AR对象同样可以包括动画。例如，树上的灯可以以不同的模式闪耀和闪烁。此类AR对象可以被进一步放置或移动，使得具有闪烁灯的树可以在空中移动的同时旋转。在一些实施例中，系统能够生成并放置此类3D AR对象的相关联的“标签”版本。这可以在用户观看仰角或系统标准(例如0度、15度等等)仰角的情况下采用3D对象的2D投影来完成。这种生成的2D标签对象然后可以使用之前由系统执行的计算被放置在墙壁或立面上，如本文的各种其它实施例的上下文中所描述的。如果从不同的视角生成多个2D标签对象，则由于不同的视点，标签可能具有不同的模式。2D标签版本可能具有固定的着色，或者可能保留3D对象的一些动画。例如，2D树上的灯可能闪耀并闪烁，类似与对应的3D AR对象中的灯。因此，如在此所述，AR对象可以包括各种面部、表情符号、动物、定制的用户制造的对象或任何其它此类可能的AR对象。此类AR对象可以具有关联的动画、声音、变形以及任何其它此类AR对象功能。

本文描述的一些实施例然后可以使用通信数据或存储在装置处的一组象形图数据来生成具有此类标签对象的增强现实图像。一个实施例涉及在装置处接收或访问用于标签对象的二维增强现实数据，使用低分辨率二维立面模式的期望视角作为标签对象视角，来确定位于具有一个或多个立面表面位置的平面上的标签对象的增强现实放置，并且基于期望的视角生成包括具有一个或多个立面表面位置的平面上的标签对象的增强现实图像。

在一些实施例中，二维增强现实数据可以表示由来自一组增强现实系统象形图的用户输入所选择的表情符号对象。消息收发或增强现实系统内的用户界面可以在与图10B的界面类似的界面上显示一组象形图或表情符号图像，并且然后使用户能够将位置与该选择相关联，以在环境内生成增强现实对象，以便生成增强现实图像，诸如增强现实图像303。

图5A-F以简化的形式示出了由传感器采集的图像的立面图像部分可以如何用于估计图像传感器的位置。如图所示，建筑物侧的大小和形状将基于采集图像的传感器的位置而改变。如果建筑物500的立面501的绝对大小和形状已知，则给出表示立面501的立面图像部分，可以计算传感器位置。如上所述，该大小和形状数据以及用于建筑物的图像或特性的二维模式信息可以被采集并且被存储在数据库中，既作为图像又作为建模的立面数据。使用该立面数据来匹配二维模式并提供关于立面501的大小和形状的信息，在给定立面图像部分502的情况下，位置504可以被识别为将提供立面图像部分502的传感器的位置。变换计算同样可用于确定例如立面图像部分512将根据从位置514采集的立面501得到，并且立面图像部分522将根据从位置524采集的图像得到。因此，如上所述，给定建筑物的立面信息和来自装置传感器的包括立面的采集图像，可以执行计算以识别传感器相对于立面的位置。

即使有二维立面匹配的限制，将许多建筑物的立面数据与图像内的多个立面进行比较是处理器密集型过程。因此，如上所述，初始位置估计可以限制所需的匹配程序的数量。GPS、网络辅助定位系统或用于位置确定的其它装置传感器和系统可因此用于提供初始位置估计。该估计可能有几米或几十米的误差。图6示出了用于生成初始位置估计并且识别区域中的建筑物的立面数据的映射系统的方面。然而，可以使用从这种信息导出的地理位置数据600来识别期望由图像传感器采集的环境。误差越大，在环境中识别的建筑物的数量以及将与采集的图像匹配的可能的立面数据越大。在一些实施例中，位置数据同样可用于限制基于与图像传感器相关联的方向的可能的建筑物。如图6所示，环境610可以包括第一建筑物620。数据库或基于图像的位置系统可以确定包括第一建筑物620的环境610内的可能建筑物，并且可以具有用于第一建筑物620的墙壁/第一立面630的关联的立面数据640。然后可以将该立面数据640与和地理位置数据600相关联的图像进行比较。

图7然后示出可以是AR视频或AR事件的一部分的AR图像700。在AR事件中，诸如虚拟对象710的虚拟对象可以在与真实环境匹配的虚拟环境内移动，使得随着相机视角变化，虚拟对象710不是静态的，而是随时间推移而移动，无论虚拟对象710是否在由传感器采集的视角区域内。AR图像700可以使用基于图像的跟踪来生成，以在AR和匹配的真实世界环境内定位以及设定正确的图像传感器位置和姿态。该跟踪可以通过图像数据的采集以及图像数据的第一结构立面部分720与立面数据722的匹配来执行，其中传感器的位置基于该匹配来确定。在一些实施例中，多个建筑物可以被匹配，使得第二结构立面部分730可以与立面数据732匹配，并且这两个匹配用于确定相机位置。如在此所提到的，相机和/或传感器位置是指在任何坐标和视角描述系统中影响生成图像的传感器位置的所有方面，包括高度、经度、纬度、仰角、方位角、旋转或任何其它此类元素。该估计的相机位置然后可用于将虚拟对象正确地成像为AR图像700的一部分，并且避免虚拟对象710穿过建筑物或汽车的错误，如同建筑物或汽车不存在，而不是沿着公开街道跑动。

如由图8所示，在此描述的各种实施例中可以使用用于已知位置中的二维表面的任何立面信息。在一些实施例中，壁画或墙画可用作立面数据，而在其它实施例中，可以使用已知位置的海报或广告。在一些实施例中，可以使用代码、徽标、标志或其它二维对象或可被可靠地估计为用于匹配目的的二维的对象。这包括建筑物之外的建筑物，包括广告牌、公开建筑物的侧面，或期望至少在设定的时间量内静止的任何其它立面放置。

在图8中，例如，图像部分中的定制图形提供了对准信息，对准信息可以进一步与关于定制图形的立面数据匹配。立面数据同样可以包括关于定制图形的位置和仰角信息，该定制图形可以用于匹配以及基于图形的大小和形状以及采集图像的一部分中的立面的其它元素来确定图像传感器位置。此类图形同样可以用于在虚拟环境内放置诸如表情符号的二维对象。

在图8中，场景802示出了包括光学条形码806和用户810的立面804。应该理解，光学条形码806可以以各种方式显示，诸如在用户装置显示器、计算机显示器，编织或以其它方式固定到衣物或另一产品的物体上，或包括在各种印刷项目中。

在示例实施例中，用户装置814采集包括光学条形码806的海报804的图像。增强现实系统160从用户装置814接收表示图像的图像数据。在该示例实施例中，增强现实系统160被包括在用户装置814中(例如，在用户810的智能电话上执行的应用)，但是在其它示例实施例中，增强现实系统160可以驻留在与用户装置814通信地耦接的服务器(例如，社交消息收发系统130)上。然后所采集的图像可以与关于海报804的立面数据进行比较，以识别图像传感器的位置。该图像传感器位置然后可用于提供AR场景中的虚拟对象的准确放置。

图9是示出用于图像传感器的基于图像的跟踪和位置估计的示例方法900的流程图。在一些实施例中，方法900的操作可以由如上所述的增强现实系统160的组件来执行。

操作902涉及使用第一定位系统确定该装置的第一位置估计。此类定位系统可以包括GPS、诸如安全用户平面位置(SUPL)系统的网络辅助定位系统、基于诸如加速度计或陀螺仪跟踪系统的装置的传感器的定位系统，或者任何其它此类初始跟踪方法。

然后，基于第一位置估计，操作904涉及访问描述与第一位置估计相关联的一个或多个结构立面的一组结构立面数据。如上所述，在一些实施例中，可以使用专用设备来生成街道图像和立面数据的数据库。在其它实施例中，大量的用户数据可用于收集关于立面数据和建筑物关键点的图像和许多数据点。立面数据可以包括不同类型的数据和数据的组合。在一些实施例中，立面数据包括立面上清晰可识别的一个或多个点的绝对位置信息。这些点包括建筑物拐角或明确定义的模式或图像拐角。立面数据可以另外包括作为建筑物立面的一部分的二维图像模式，诸如艺术品、标牌、徽标、文字、窗户、拱门、门道或建筑物侧的其它充分的二维部分的数据版本。

在一些实施例中，为了与增强现实系统一起使用而采集的图像可以被提供作为反馈，以在用户正在使用该系统的同时生成和更新立面数据。为了在这种情况下提供隐私，在一些实施例中，由用户采集的图像数据可以被处理以消除或模糊用户，或者可以移除低于用户高度级别的所有数据，仅将建筑物或图像的立面部分传输到服务器系统，用于使用地图、建筑物或环境模型生成或更新立面数据。

操作906然后涉及由装置的图像传感器采集环境的第一图像。这种图像传感器可以是能够采集建筑物和环境的二维信息的任何相机装置传感器或光传感器。在一些实施例中，可存在另外的传感器，包括多个图像传感器或用于采集三维数据的传感器。该实施例可以补充与系统资源限制(诸如电池和处理能力限制)所允许的与图像的立面部分相匹配的立面数据的二维分析。

然后，在操作908处，使用该组结构立面数据，识别环境的第一图像的第一结构立面部分，其中第一结构立面部分与该组结构立面数据中的第一结构立面数据相匹配。操作910然后涉及至少部分地基于环境的第一图像的第一结构立面部分而计算装置的第二位置估计。

在各种实施例中，响应于用户发起的图像采集、由用户装置的光学传感器检测的图像数据的周期性监测、或其组合，来接收来自用户装置的图像数据。在一些实施例中，图像数据表示大体上实时地由用户装置采集的图像或视频(例如，来自智能电话的相机传感器的实时图像馈送)。在一些实施例中，采集的图像的元素可以用于发起AR图像的生成，以及采用AR元素增强的视频的输出，其同样尝试大体上实时地将AR图像作为视频输出。在图像数据包括视频图像数据的实施例中，增强现实系统160可以分析视频的各个帧或视频的多个帧的组合，以检测和解码触发元件或匹配的图像的立面部分。

方法900的匹配部分可以使用各种技术来将立面数据与图像进行匹配。在一些实施例中，可以将图像中的边缘检测的组合与立面数据中识别的边缘进行比较。在其它实施例中，每一个建筑立面的候选形状可以存在于立面数据中并与图像数据进行比较。一些实施例识别诸如轮廓线的形状特征或图像的颜色或阴影的局部浓度。在一些实施例中，匹配系统从图像数据中提取多个候选形状特征。在一些实施例中，候选形状特征包括各种形状特征数据，诸如候选形状特征相对于图像的边界的位置，候选形状特征相对于图像的亮度，候选形状特征的平均颜色等等。与三维匹配过程相比，如上所述的匹配二维立面数据的限制提高了匹配性能，同时限制了如上所述的资源使用。

在进一步的示例实施例中，在移动装置上本地存储的立面数据包括图像的低分辨率副本。采集的图像的匹配分辨率版本被创建。可以执行各种图像处理，诸如模糊(例如，高斯模糊函数或另一模糊函数)和阈值化，以生成修改的低分辨率图像。阈值化图像处理可以包括将图像的低分辨率副本的较浅的颜色(例如，如由阈值或阈值范围所确定的)调节为白色并且将图像的低分辨率副本的较暗的颜色(例如，如由阈值或阈值范围确定的)调节为黑色。立面数据然后可以与标准化图像进行比较。在其它实施例中，立面数据可以包括针对拍摄图像时呈现的环境因素定制的匹配数据，诸如太阳位置、云对图像的影响或其它环境因素。

在一些实施例中，如在操作908中所描述的匹配可以通过确定图像的候选部分满足与立面数据相关联的一个或多个形状特征标准或规则来执行。

在一些实施例中，匹配系统可以使用空间属性(例如，去倾斜、旋转、缩放或另一种类型的图像变换)来执行图像变换，以改进在图像的一部分中编码的数据的可检测性或可读性。在操作910中，用于识别匹配的特定图像变换可以进一步用作装置的第二位置估计的计算的一部分。在一些实施例中，在操作908中执行初始的一组匹配计算，并且一旦阈值匹配完成，则通过使用图像变换的附加精细化(其包括更精细变换调节和匹配验证)来执行后续计算以进一步限制第二位置估计中的误差。

如上面相对于图1A和1B所示，在一些实施例中，使用在移动装置上本地存储的立面数据的初始匹配和/或位置估计可能失败。这可能是由于照明、诸如车辆的异常障碍物或图像中的立面的树木生长阻挡部分，或者任何其它此类图像匹配失败，特别是当在移动装置处使用低分辨率和资源受限的匹配操作时。

该实施例可涉及从第一位置估计和一个或多个立面表面位置计算低分辨率二维立面模式的期望视角，以及处理低分辨率二维立面模式以生成第一视角模式。然后可以在移动装置处确定第一视角模式不满足第一图像的阈值匹配级别。然后可以从第一服务器计算机请求补充的一组立面数据。这可以是请求提供附加的详细信息或分析的第三方资源，或者可以是操作如图1A、1B和2所述的增强现实或基于图像的匹配系统的一部分的系统的服务器。来自第一服务器计算机的补充的一组立面数据用于识别环境的第一图像的第一结构立面部分，其中当第一结构立面部分与一组结构立面数据的第一结构立面数据匹配时的第一结构立面部分是基于补充的一组立面数据。在一些此类实施例中，请求来自第一服务器计算机的补充的一组立面数据涉及向第一服务器计算机传送环境的第一图像，并且基于第一图像从第一服务器计算机接收补充的位置估计。

在一些实施例中，特别是经由网络使用远程资源的实施例，对于接近实时增强现实视频或显示，图像与立面数据的匹配与当前时间或最近采集的图像之间可能发生延迟。在该实施例中，系统可以随时间推移跟踪装置的移动的相对变化，并且可以使用基于图像的位置来改进稍后的传感器位置估计。这可以通过保持视频帧和图像或其它传感器数据的记录并使用任何可用的数据从基于图像的估计中计算前向位置来完成。在一些实施例中，初始的资源密集匹配可以远程地执行，其中使用较低的资源匹配和估计过程在本地执行后续的匹配和传感器位置估计。在一些此类实施例中，可以跟踪误差，并且远程资源被周期性地用于更新位置估计并且降低在本地移动装置上的计算中随时间推移可能增长的误差。

以上任何方法可以随时间重复以进一步改进位置估计，其中任何数量的后续估计基于第一图像和与立面数据相匹配的后续图像二者。

此外，如上所述，在一些此类实施例中，图像可以由诸如可穿戴装置之类的第一装置采集，并且本地估计在诸如智能电话的配对装置上执行。如上所述，该系统同样可以使用远程服务器资源。

图10A示出了可以用于增强现实系统的示例移动装置1000。在该实施例中，装置显示区域1090可以呈现如本文所述的增强现实图像。对本文描述的任何系统操作的输入和调节可以使用由用户1094对装置显示区域1090内的触摸屏输入1092执行。

图10B示出了与一些实施例一致的执行移动操作系统(例如，IOS^TM、ANDROID^TM、

Phone或其它移动操作系统)的示例移动装置1000。在一个实施例中，移动装置1000包括可操作以从用户1002接收触觉数据的触摸屏。例如，用户1002可物理触摸1004移动装置1000，并且响应于触摸1004，移动装置1000可以确定触觉数据，诸如触摸位置、触摸力或手势运动。在各种示例实施例中，移动装置1000显示主屏幕1006(例如，IOS^TM上的Springboard)，其可操作以启动应用或以其它方式管理移动装置1000的各个方面。在一些示例实施例中，主屏幕1006提供状态信息，诸如电池寿命、连接性或其它硬件状态。用户1002可以通过触摸由相应的用户界面元素占据的区域来激活用户界面元素。以该方式，用户1002与移动装置1000的应用交互。例如，触摸主屏幕1006中包括的特定图标所占据的区域导致启动对应于该特定图标的应用。/>

可以在移动装置1000上执行许多种应用(也称为“应用app”)，诸如本地应用(例如，以在IOS^TM上运行的Objective-C、Swift或另一种适合的语言编程的应用，或以在ANDROID^TM上运行的Java编程的应用)、移动网页应用(例如，以超文本标记语言-5(HTML5)编写的应用)或混合应用(例如，启动HTML5会话的本机壳应用)。例如，移动装置1000包括消息收发应用软件、音频录制应用软件、相机应用软件、书籍阅读器应用软件、媒体应用软件、健身应用软件、文件管理应用软件、位置应用软件、浏览器应用软件、设置应用软件、联系人应用软件、电话呼叫应用软件或其它应用软件(例如，游戏应用软件、社交网络应用软件、生物特征监测应用软件)。在另一示例中，移动装置1000包括诸如

的社交消息收发应用软件1008，其与一些实施例一致，允许用户交换包括媒体内容的短暂消息。在该示例中，社交消息收发应用软件1008可以并入本文描述的实施例的方面。

某些实施例在本文中被描述为包括逻辑或多个组件、模块或机构。模块可以构成软件模块(例如，在机器可读介质上实现的代码)或硬件模块。“硬件模块”是能够执行某些操作的有形单元并且可以以某种物理方式配置或布置。在各种示例实施例中，一个或多个计算机系统(例如，单机计算机系统、客户端计算机系统或服务器计算机系统)或计算机系统的一个或多个硬件模块(例如，处理器或一组处理器)可以由软件(例如，应用或应用部分)配置为执行如本文所述的某些操作来操作的硬件模块。

在一些实施例中，硬件模块可以机械地、电子地或其任何合适的组合来实现。例如，硬件模块可以包括被永久配置为执行某些操作的专用电路或逻辑。例如，硬件模块可以是专用处理器，诸如现场可编程门阵列(FPGA)或专用集成电路(ASIC)。硬件模块同样可以包括由软件临时配置以执行某些操作的可编程逻辑或电路。例如，硬件模块可以包括由通用处理器或其它可编程处理器执行的软件。一旦由此类软件配置，则硬件模块变成专用于执行配置的功能并且不再是通用处理器的特定机器(或机器的特定组件)。应当理解，在专用和永久配置的电路中或在临时配置的电路(例如，由软件配置)中机械地实现硬件模块的决定可以由成本和时间考虑来驱动。

因此，短语“硬件模块”应理解为包括有形实体，即物理构造、永久配置(例如，硬连线)或临时配置(例如，编程)以某种方式操作或执行本文所述的某些操作的实体。如在此所使用的，“硬件实现的模块”是指硬件模块。考虑到其中硬件模块被临时配置(例如，编程)的实施例，硬件模块中的每一个硬件模块不需要在任何一个时刻配置或实例化。例如，在硬件模块包括由软件配置成为专用处理器的通用处理器的情况下，通用处理器可以被配置为在不同时间分别不同的专用处理器(例如，包括不同的硬件模块)。软件因此配置特定的一个处理器或多个处理器，例如，在一个时刻构成特定的硬件模块，并且在不同的时刻构成不同的硬件模块。

硬件模块可向其它硬件模块提供信息以及从其它硬件模块接收信息。因此，所描述的硬件模块可以被认为是通信耦接的。在多个硬件模块同时存在的情况下，通信可以通过在两个或更多个硬件模块之间的信号传输(例如，通过适当的电路和总线)实现。在其中在不同时间配置或实例化多个硬件模块的实施例中，这种硬件模块之间的通信可以例如通过存储和检索多个硬件模块能够访问的存储器结构中的信息来实现。例如，一个硬件模块可以执行操作并将该操作的输出存储在其通信耦接到的存储器装置中。然后，另外的硬件模块可以在稍后的时间访问存储器装置以检索和处理存储的输出。硬件模块同样可以发起与输入或输出装置的通信，并且可以对资源(例如，信息的集合)进行操作。

本文描述的示例方法的各种操作可以至少部分地由临时配置(例如通过软件)或永久地配置为执行相关操作的一个或多个处理器来执行。无论是临时还是永久配置，此类处理器构成为执行本文所述的一个或多个操作或功能而操作的由处理器实现的模块。如在此所使用的，“处理器实现的模块”是指使用一个或多个处理器实现的硬件模块。

类似地，本文所述的方法可以是至少部分地由处理器实现的，其中特定处理器或处理器是硬件的示例。例如，方法的操作中的至少一些操作可以由一个或多个处理器或处理器实现的模块执行。此外，一个或多个处理器同样可以操作以支持在“云计算”环境中或作为“软件即服务”(SaaS)中的相关操作的性能。例如，至少一些操作可以由一组计算机(作为包括处理器的机器的示例)执行，其中这些操作可以经由网络(例如，因特网)以及经由一个或多个适当的接口(例如，API)访问。例如，在一些实施例中，智能电话确定装置的第一位置估计，并且由装置的图像传感器采集环境的第一图像。

不是访问描述本地与第一位置估计相关联的一个或多个结构立面的一组结构立面数据，而是智能电话可将位置连同图像一起传送到云计算环境。在一些实施例中，图像可以在智能电话上压缩，以保存通信资源并减少传输时间。在其它实施例中，在系统内执行的用户配置或资源分析可以选择用于使用云计算资源和图像压缩的选项。在该实施例中，云计算资源然后操作以使用来自智能电话的一组结构立面数据和图像数据来识别环境的第一图像的第一结构立面部分，其中第一结构立面部分匹配一组结构立面数据的第一结构立面数据。云服务器资源然后同样可以至少部分地基于环境的第一图像的第一结构立面部分来计算装置的第二位置估计。该位置估计然后被发送到智能电话。由于图像采集和接收位置估计之间的时间延迟，在位置估计和当前智能电话位置之间可能出现误差。在这种实施例中，智能电话处的传感器(诸如加速度计或基于图像的运动估计)可以用于估计图像采集时间与位置估计的接收之间的智能电话移动。然后可以基于来自云计算资源的位置估计和智能电话移动估计来上传位置估计。

在其它实施例中，可以在智能电话和基于云的计算资源两者处执行基于立面的估计。例如，智能电话可以基于智能电话的位置自动下载高度压缩的一组立面数据。该压缩的立面数据可随智能电话的移动而更新。当在智能电话上采集图像时，智能电话既可以将图像与压缩的立面数据进行初始匹配，也可以将图像或压缩版本的图像上传到云计算系统。然后，云计算服务可以使用立面数据的更高的详细的版本或附加计算资源来从采集的图像估计智能电话位置。该估计的结果然后可被发送到智能电话。智能电话然后可以使用基于本地立面的位置估计、云服务基于立面的位置估计以及智能电话移动估计一起来生成更新的位置估计。在进一步的实施例中，在使用其它位置系统的情况下，来自全球定位系统、网络辅助定位系统或任何其它此类定位系统的此类数据同样可以与基于立面的定位估计集成以生成用于智能电话的最终位置估计。

某些操作的性能可以分布在处理器之间，不仅驻留在单个机器内，而且部署在多个机器上。在一些示例实施例中，处理器或处理器实现的模块可以位于单个地理位置中(例如，在家庭环境、办公室环境或服务器场内)。在其它示例实施例中，处理器或处理器实现的模块横跨多个地理位置分布。

结合以上附图描述的模块、方法、应用等在一些实施例中在机器和相关联的软件架构的背景下实现。下面的部分描述适用于所公开的实施例的代表性软件架构和机器(例如，硬件)架构。

软件架构与硬件架构结合使用，以创建适合特定目的的装置和机器。例如，与特定软件架构耦接的特定硬件架构将创建移动装置，诸如移动电话、平板装置等。稍微不同的硬件和软件架构可能会产生用于“物联网”的智能装置。而另一种组合产生用于云计算架构内的服务器计算机。并非所有这种软件和硬件架构的组合都在这里给出，因为本领域技术人员可以容易地理解如何在本文所包含的公开内容的不同背景下实施本发明。

图11示出了由眼镜31的前视角图示出的某些实施例的方面。在一些实施例中，眼镜31可以是用于采集图像并向用户呈现增强现实图像的客户端伴随装置114。在该实施例中，使用本文描述的基于图像处理所估计的位置将由其它装置执行，以确定眼镜31的位置(包括高度、仰角和任何其它视角信息)，使得增强现实图像中的虚拟项目将正确地从适合于眼镜31的位置的视角示出。眼镜31可以包括由诸如塑料或金属的任何合适的材料(包括任何合适的形状记忆合金)制成的框架32。框架32可具有前部件33，该前部件33可包括第一或左侧透镜、显示器或光学元件支架36；以及由桥38连接的第二或右透镜、显示器或光学元件支架37。前部件33另外包括左端部分41和右端部分42。第一或左光学元件44以及第二或右光学元件43可以设置在相应的左和右光学元件支架36、37内。光学元件43、44中的每一个可以是透镜、显示器、显示组件或前述的组合。在此公开的任何显示器组件可以设置在眼镜31中。

框架32另外包括左臂或镜腿件46以及第二臂或镜腿件47，该第二臂或镜腿件47通过诸如铰链(未示出)的任何合适的装置耦接到前部件33的相应的左端部41和右端部42，以便耦接到前部件33，或刚性地或可固定地固定到前部件，以便与前部件33成一体。镜腿件46和47中的每一个可包括耦接到前部件33的相应端部41或42的第一部分51，以及任何合适的第二部分52(诸如弯曲件或弓形件)以耦合到用户的耳朵。在一个实施例中，前部件33可由单件材料形成，以便具有整体或一体结构。

眼镜31可以包括计算装置，诸如计算机61，其可以是任何合适的类型，以便由框架32承载，并且在合适的大小和形状的一个实施例中，使得至少部分地设置在镜腿件46和47中的一个镜腿件中。在一个实施例中，如图1A所示，计算机61被设定大小和形状与镜腿件46和47中的一个镜腿件的大小和形状相似，并且因此如果不是完全位于该镜腿件46和47的结构和范围内则几乎全部设置。在一个实施例中，计算机61可以设置在两个镜腿件46、47两者中。计算机61可以包括具有存储器、无线通信电路和电源的一个或多个处理器。在某些实施例中，计算机61包括低功率电路、高速电路和显示处理器。各种其它实施例可以将这些元件包括在不同的配置中或以不同的方式集成在一起。

计算机61另外包括电池62或其它合适的便携式电源。在一个实施例中，电池62设置在镜腿件46或47中的一个镜腿件中。在图11中所示的眼镜31中，电池62被示为设置在左镜腿件46中并且使用连接件74电耦接到设置在右镜腿件47中的计算机61的其余部分。一个或多个输入和输出装置可以包括连接器或端口(未示出)(适用于对可从框架32外部访问的电池62进行充电)、无线接收器、发射器或收发器(未示出)或这种装置的组合。

眼镜31包括相机69。尽管描绘了两个相机，但是其它实施例考虑使用单个或另外的(即多于两个)相机。在各种实施例中，除了相机69之外，眼镜31可以包括任何数量的输入传感器或外围装置。前部件33设置有面向外的、面向前的、或者前部或者外部表面66(当眼镜31被安放在用户的面部上时朝向前方或者远离用户)，以及相对的面向内的、面向后的、或者后部或内部表面67(当眼镜31被安放在用户的面部上时面向用户的面部)。该传感器可以包括面向内部的视频传感器或数字成像模块，诸如可被安装或设置在前部件33的内表面67上或者框架32上的其它位置处以便面向用户的相机，以及面向外部的视频传感器或数字成像模块，诸如可被安装或设置在前部件33的外表面66上或框架32上的其它位置处以便背对用户的相机69。该传感器、外围装置或外围设备可以另外包括生物特征传感器、位置传感器或者任何其它此类传感器。在另外的实施例中，类似的元件可以呈现为护目镜，在头盔或基于谷歌的系统内、在车辆HUD显示器中或者任何其它此类装置中。

图12是示出可以安装在上述任何一个或多个装置上的软件1202的架构的框图1200。图12仅仅是软件架构的非限制性示例，并且应当理解可以实现许多其它架构以便于实现在此所描述的功能。在各种实施例中，软件1202由诸如图13的机器1300的硬件执行，该机器1300包括处理器1310、存储器1330和输入/输出(I/O)组件1350。在该示例架构中，软件1202可以被概念化为层的栈(stack)，其中每个层可以提供特定的功能。例如，软件1202包括诸如操作系统1204、库1206、框架1208和应用1210的层。在操作上，应用1210通过软件栈来调用API调用1212，并且响应于API调用1212接收消息1214，与一些实施例一致。在一个示例中，广告选择系统160作为应用1210进行操作。

在各种实施例中，操作系统1204管理硬件资源并提供公共服务。操作系统1204包括例如内核1220、服务1222和驱动器1224。与一些实施例一致，内核1220用作硬件和其它软件层之间的抽象层。例如，内核1220提供存储器管理、处理器管理(例如，调度)、组件管理、网络连接和安全设置等其它功能。服务1222可以为其它软件层提供其它公共服务。根据一些实施例，驱动器1224负责控制底层硬件或与底层硬件接口连接。例如，驱动器1224可以包括显示器驱动器、相机驱动器、

驱动器、闪存驱动器、串行通信驱动器(例如通用串行总线(USB)驱动器)、/>

驱动器、音频驱动器、电源管理驱动器等。

在一些实施例中，库1206提供由应用1210利用的低级别公共基础设施。库1206可以包括系统库1230(例如，C标准库)，其可以提供诸如存储器分配函数、字符串操作函数、数学函数等的函数。此外，库1206可以包括API库1232，诸如媒体库(例如，支持各种媒体格式的呈现和操纵的库，诸如运动图像专家组-4(MPEG4)，高级视频编码(H.264或AVC)、动态图像专家组-3(MP3)、高级音频编码(AAC)、自适应多速率(AMR)、音频编解码器、联合图像专家组(JPEG或JPG)或便携式网络图形(PNG))、图形库(例如，用于在显示器上的图形内容中呈现二维(2D)和三维(3D)的OpenGL框架)、数据库库(例如，提供各种关系数据库函数的SQLite)、Web库(例如，提供网页浏览功能的WebKit)等。库1206同样可以包括各种其它库1234，以向应用1210提供许多其它API。

根据一些实施例，框架1208提供可由应用1210利用的高级公共基础设施。例如，框架1208提供各种图形用户界面(GUI)功能、高级资源管理、高级位置服务等。框架1208可以提供可由应用1210利用的其它API的广泛范围，其中的一些应用可专用于特定操作系统1204或平台。

在示例实施例中，应用1210包括主页应用1250、联系人应用1252、浏览器应用1254、书籍阅读器应用1256、位置应用1258、媒体应用1260、消息收发应用1262、游戏应用1264和诸如第三方应用1266的各种其它应用。根据一些实施例，应用1210是执行在程序中定义的功能的程序。可以利用各种编程语言来创建以各种方式构造的一个或多个应用1210，诸如面向对象的编程语言(例如，Objective-C、Java或C++)或过程编程语言(例如C或汇编语言)。在具体示例中，第三方应用1266(例如，由除特定平台的供应商之外的实体使用Android^TM或iOS^TM软件开发工具包(SDK)开发的应用)可以是在诸如iOS^TM、Android^TM、

或其它移动操作系统的移动操作系统上运行的移动软件。在该示例中，第三方应用1266可以调用由操作系统1204提供的API调用1212，以便于在此所述的功能。

增强现实应用1267可以实现在此描述的任何系统或方法，包括访问地图信息、处理图像立面数据匹配或在此描述的任何其它操作。此外，在一些实施例中，消息收发应用1262和增强现实应用1267可以一起操作作为短暂消息收发应用的一部分。该短暂消息收发应用可以操作以生成图像，允许用户将增强现实元素添加到图像，并且将图像和/或增强现实数据中的一些或全部传送给另一个系统用户。在删除触发满足之后，发送的数据从接收用户的系统被传送，并且同样可以被同步以从涉及短暂消息(包括图像和/或增强现实数据)的通信的任何服务器中删除图像和/或增强现实数据。在一些实施例中，用于从接收用户的装置删除数据的触发可以是指示增强现实图像显示多长时间的计时器。在其它实施例中，短暂消息收发系统可以具有用于删除的设定的日期和时间触发器，或者与接收用户已经访问数据的次数相关联的删除。

例如，在一个实施例中，用户可以经由短暂消息收发系统向另一个用户发送一组增强现实数据。短暂消息收发数据可以包括附接到地理位置的表情符号标签对象。当接收用户的装置接收短暂消息时，表情符号将可用于在增强现实系统内查看，其中由短暂消息收发系统设定限制。在限制触发器已经满足之后，表情符号标签将不再可用于查看。在其它实施例中，用户可以针对包括增强现实数据的此类消息选择短暂或非短暂状态，使得包括该数据的非短暂消息将等待来自接收用户的选择以删除增强现实数据，并且作为消息一部分的增强现实数据可被无限期地存储在通信服务器上。

图13是示出根据一些示例实施例能够从机器可读介质(例如，机器可读存储介质)读取指令并执行在此所讨论的任何一种或多种方法的机器1300的组件的框图。具体地，图13示出了以计算机系统的示例形式的机器1300的示意图，在该计算机系统内可以执行用于使机器1300执行在此讨论的任何一种或多种方法的指令1316(例如，软件、程序、应用、小应用、应用软件或其它可执行代码)。另外或可替代地，该指令可以实现图2的任何模块等。该指令将通用的未编程的机器转换成被编程为以所描述的方式执行所描述和示出的功能的特定机器。在替代实施例中，机器1300作为独立装置操作或者可以耦接(例如，联网)到其它机器。在联网部署中，机器1300可以在服务器-客户端网络环境中的服务器机器或客户端机器的容量中操作，或者作为对等(或分布式)网络环境中的对等(peer)机器操作。机器1300可以包括但不限于服务器计算机、客户端计算机、PC、平板计算机、笔记本计算机、上网本、机顶盒(STB)、PDA、娱乐媒体系统、蜂窝电话、智能电话、移动装置、可穿戴装置(例如，智能手表)、智能家居装置(例如，智能家电)、其它智能装置、网络设备、网络路由器、网络交换机、网络桥接器或按顺序或以其它方式指定机器1300将采取的动作的能够执行指令1316的任何机器。此外，虽然仅示出了单个机器1300，但是术语“机器”还应被视为包括单独或共同执行指令1316以执行在此所讨论的任何一种或多种方法的机器1300的集合。

机器1300可以包括处理器1310、存储器/存储装置1330和I/O组件1350，其可被配置为诸如经由总线1302与彼此通信。在示例实施例中，处理器1310(例如，中央处理单元(CPU)、精简指令集计算(RISC)处理器、复杂指令集计算(CISC)处理器、图形处理单元(GPU)、数字信号处理器(DSP)、专用集成电路(ASIC)，射频集成电路(RFIC)、另一个处理器或其任何合适的组合)可以包括例如可以执行指令1316的处理器1312和处理器1314。术语“处理器”旨在包括多核处理器，其包括可同时执行指令的两个或多个独立处理器(有时称为“核”)。尽管图13示出了多个处理器，但是机器1300可以包括具有单核的单个处理器、具有多核的单个处理器(例如，多核处理器)、具有单核的多个处理器、具有多核的多个处理器，或其任何组合。

存储器/存储装置1330可以包括诸如经由总线1302对处理器1310可访问的主存储器1332、静态存储器1334或其它存储装置和存储单元1336。存储单元1336和存储器1332存储体现在此所述的任何一种或多种方法或功能的指令1316。在由机器1300的其执行期间，指令1316同样可以完全或部分地驻留在存储器1332内、存储单元1334内、处理器1310中的至少一个内(例如，在处理器的高速缓冲存储器内)或其任何适当的组合。因此，存储器1332、存储单元1334和处理器1310的存储器是机器可读介质1338的示例。

如在此所使用的，术语“机器可读介质1338”是指能够临时或永久地存储指令和数据的装置，并且可以包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、缓冲存储器、闪速存储器、光学介质、磁性介质、高速缓冲存储器、其它类型的存储装置(例如，可擦除可编程只读存储器(EEPROM))或其任何合适的组合。术语“机器可读介质”应被视为包括能够存储指令1316的单个介质或多个介质(例如，集中式或分布式数据库，或相关联的高速缓存和服务器)。术语“机器可读介质”同样应被视为包括能够存储用于机器(例如，机器1300)执行的指令(例如，指令1316)的任何介质或多个介质的组合，使得指令在由机器1300的一个或多个处理器(例如，处理器1310)执行时，使机器1300执行在此所述的任何一种或多种方法。因此，“机器可读介质”是指单个存储设备或装置，以及包括多个存储设备或装置的“基于云”的存储系统或存储网络。术语“机器可读介质”排除信号本身。

I/O组件1350可以包括用于接收输入、提供输出、产生输出、发送信息、交换信息、采集测量等的各种组件。包括在特定机器中的特定I/O组件1350将取决于机器的类型。例如，诸如移动电话的便携式机器将可能包括触摸输入装置或其它此类输入机构，而无头式(headless)服务器机器将可能不包括此类触摸输入装置。应当理解，I/O组件1350可以包括图13中未示出的许多其它组件。仅为简化以下讨论，根据功能对I/O组件1350分组，并且分组决不是限制性的。在各种示例实施例中，I/O组件1350可以包括输出组件1352和输入组件1354。输出组件1352可以包括视觉组件(例如，诸如等离子体显示面板(PDP)、发光二极管(LED)显示器、液晶显示器(LCD)、投影仪或阴极射线管(CRT)的显示器)、声学组件(例如扬声器)、触觉组件(例如振动马达、电阻机构)、其它信号发生器等。输入组件1354可以包括字母数字输入组件(例如，键盘、配置为接收字母数字输入的触摸屏、光电光学键盘或其它字母数字输入组件)、基于点的输入组件(例如，鼠标、触摸板、轨迹球、操纵杆、运动传感器或其它指示仪器)、触知输入组件(例如，物理按钮、提供触摸或触摸手势的位置和力的触摸屏，或其它触知输入组件)、音频输入组件(例如，麦克风)等。

在另外的示例实施例中，I/O组件1350可以包括多个其它组件中的生物特征组件1356、运动组件1358、环境组件1360或位置组件1362。例如，生物特征组件1356可以包括检测表达(例如手的表达、面部表情、声音表达、身体姿势或眼睛跟踪)、测量生物信号(例如，血压、心率、体温、出汗或脑波)、识别人(例如，语音识别、视网膜识别、面部识别、指纹识别或基于脑电图的识别)等的组件。运动组件1358可以包括加速度传感器组件(例如，加速度计)、重力传感器组件、旋转传感器组件(例如，陀螺仪)等。环境组件1360可以包括例如照明传感器组件(例如光度计)、温度传感器组件(例如，检测环境温度的一个或多个温度计)、湿度传感器组件、压力传感器组件(例如气压计)、声学传感器组件(例如，检测背景噪声的一个或多个麦克风)、近距离传感器组件(例如，检测附近物体的红外传感器)、气体传感器组件(例如，机器嗅觉检测传感器，气体检测传感器，用于检测危险气体的安全性浓度或测量大气中的污染物的浓度)或可提供对应于周围物理环境的指示、测量或信号的其它组件。位置组件1362可以包括位置传感器组件(例如，GPS接收器组件)、高度传感器组件(例如，高度计或气压计，其检测可以从哪个高度导出空气压力)、取向传感器组件(例如磁力计)等。

可以使用各种技术来实现通信。I/O组件1350可以包括可操作以分别经由耦合1382和耦合1372将机器1300耦接到网络1380或装置1370的通信组件1364。例如，通信组件1364包括网络接口组件或与网络1380接口连接的其它合适的装置。在另外的示例中，通信组件1364包括有线通信组件、无线通信组件、蜂窝通信组件、近场通信(NFC)组件、

组件(例如，/>

低能耗)、/>

组件和经由其它模式提供通信的其它通信组件。装置1370可以是另一机器、或各种外围装置(例如，经由USB耦接的外围装置)中的任一个。

此外，通信组件1364可以检测标识符或包括可操作以检测标识符的组件。例如，通信组件1364可以包括射频识别(RFID)标签读取器组件、NFC智能标签检测组件、光学读取器组件(例如，光学传感器，其用于检测诸如通用产品代码(UPC)条形码的一维条形码、诸如快速响应(QR)代码、Aztec代码、数据矩阵、Dataglyph、MaxiCode、PDF417、超码、统一商业代码缩减空格符号(UCC RSS)-2D条形码的多维条形玛和其它光学代码)、声学检测组件(例如，用于识别标记的音频信号的麦克风)，或其任何合适的组合。此外，可以经由通信组件1364来导出各种信息，诸如经由因特网协议(IP)地理位置的位置、经由

信号三角测量的位置、经由检测可以指示特定位置的/>

或NFC信标信号的位置等。

在各种示例实施例中，网络1380的一个或多个部分可以是自组织网络、内联网、外部网、虚拟专用网络(VPN)、局域网(LAN)、无线LAN(WLAN)、广域网(WAN)、无线WAN(WWAN)、城域网(MAN)、因特网、因特网的一部分、公共交换电话网(PSTN)的一部分、普通老式电话服务(POTS)网络、蜂窝电话网络、无线网络、

网络、另一种类型的网络，或两个或更多个此类网络的组合。例如，网络1380或网络1380的一部分可以包括无线或蜂窝网络，并且耦合1382可以是码分多址(CDMA)连接、全球移动通信系统(GSM)连接或其它类型的蜂窝或无线耦接。在该示例中，耦合1382可以实现各种类型的数据传输技术中的任何一种，诸如单载波无线电传输技术(1xRTT)、演进数据优化(EVDO)技术、通用分组无线业务(GPRS)技术、GSM演进增强型数据速率(EDGE)无线电通信技术、包括3G的第三代合作伙伴计划(3GPP)、第四代无线(4G)网络、通用移动电信系统(UMTS)、高速分组接入(HSPA)、全球微波接入互操作性(WiMAX)、长期演进(LTE)标准、由各种标准制定组织定义的其它标准、其它远程协议或其它数据传输技术。

可以使用传输介质经由网络接口装置(例如，在通信组件1364中包括的网络接口组件)，并利用多个公知传输协议中的任何一个(例如，HTTP)，通过网络1380来发送或接收指令1316。类似地，指令1316可以经由耦合1372(例如，对等耦合)使用传输介质发送或接收装置1370。术语“传输介质”应被视为包括能够存储、编码或携带由机器1300执行的指令1316的任何无形介质，并且包括数字或模拟通信信号或其它无形介质以便于这种软件的通信。

在整个说明书中，多个实例可以实现被描述为单个实例的组件、操作或结构。虽然示出一个或多个方法的单独操作并将其描述为单独的操作，但可以并行地执行单独操作中的一个或多个，并且不需要以所示的顺序执行操作。作为示例配置中的单独组件呈现的结构和功能可以被实现为组合结构或组件。类似地，作为单个组件呈现的结构和功能可以被实现为单独的组件。这些和其它变化、修改、添加和改进落入本文主题的范围内。

虽然已经参考具体示例实施例描述了发明主题的概述，但是可以对这些实施例进行各种修改和改变而不脱离本公开的实施例的更宽范围。本发明主题的这些实施例在此可以单独地或共同地由术语“发明”来引用，这仅为方便，而不意图将本申请的范围自愿地限制为任何单个公开或发明概念，即使事实上公开了一个以上的公开或发明概念。

在此所示的实施例被足够详细地描述以使本领域技术人员能够实践所公开的教导。其它实施例可以被使用并从中导出，使得可以在不脱离本公开的范围的情况下进行结构和逻辑替换和改变。因此，具体实施方式不应被认为是限制性的，并且各种实施例的范围仅由所附权利要求以及这些权利要求所赋予的全部等同物来限定。

如在此所使用的，术语“或”可以以包括或排除的方式来解释。此外，可以为在此所述的资源、操作或结构提供多个实例作为单个实例。此外，各种资源、操作、模块、发电机和数据存储之间的边界是一定程度任意的，并且在特定说明性配置的上下文中示出了特定的操作。可以设想功能的其它分配，并且其可以落入本公开的各种实施例的范围内。通常，作为示例配置中的单独资源呈现的结构和功能可以被实现为组合的结构或资源。类似地，作为单个资源呈现的结构和功能可以被实现为单独的资源。这些和其它变化、修改、添加和改进落入由所附权利要求所表示的本公开的实施例的范围内。因此，说明书和附图被认为是说明性的而不是限制性的。

Claims

1.一种用于确定装置的位置的方法，包括：

使用第一定位系统基于使用从所述装置的一个或多个传感器获得的传感器数据生成的地理位置数据来确定所述装置的第一位置估计；

基于所述第一位置估计来访问描述与所述第一位置估计相关联的一个或多个结构立面的一组结构立面数据，所述一组结构立面数据中的每一个包括一个或多个立面表面位置和简化的二维立面模式；

由所述装置的图像传感器采集与所述地理位置数据对应的环境的第一图像；

通过将所述环境的所述第一图像的第一结构立面部分与所述一组结构立面数据中的第一结构立面数据的简化的二维立面模式相匹配，使用所述一组结构立面数据来识别所述第一结构立面部分；

至少基于所述环境的所述第一图像的所述第一结构立面部分来计算所述装置的第二位置估计；

基于所述装置的所述第二位置估计和在所述第一图像中包括的一个或多个对象的一个或多个空间属性，确定在所述第一图像的图像数据和第一虚拟对象之间的对准；以及

基于所述对准，生成在所述第一图像的所述环境内包括所述第一虚拟对象的第二图像；

其中，识别所述第一图像的所述第一结构立面部分包括：

从所述第一位置估计和所述一个或多个立面表面位置，计算所述第一结构立面的所述简化的二维立面模式的期望视角；

基于所述期望视角来根据所述简化的二维立面模式生成第一视角模式；

使用所述第一视角模式处理所述环境的所述第一图像，以识别所述第一结构立面部分。

2.根据权利要求1所述的方法，进一步包括在所述结构立面数据的访问之前：

采集所述环境的多个模型图像；

采集所述环境的所述多个模型图像中的每一个模型图像的模型位置；以及

处理所述多个模型图像和所述多个模型图像中的每一个模型图像的所述模型位置，以生成包括所述第一结构立面数据的立面数据的数据库；

其中所处理的所述第一结构立面数据包括一个或多个立面表面位置和二维立面模式。

3.根据权利要求1所述的方法，

其中，在所述装置处，响应于所述第一位置估计，接收所述一组结构立面数据。

4.根据权利要求3所述的方法，其中至少基于所述环境的所述第一图像的所述第一结构立面部分的视角来计算所述装置的所述第二位置估计，包括：

计算所述第一视角模式和所述第一结构立面部分之间的误差值；

确定与所述误差值相关联的相对位置值；以及

使用所述相对位置值从所述第一位置估计确定所述第二位置估计。

5.根据权利要求4所述的方法，进一步包括：

访问与增强现实图像项目相关联的一组增强现实图像数据；

由所述图像传感器采集所述环境的第二图像；

使用所述第二位置估计来计算所述增强现实图像项目的位置；

使用所述第二图像、所述一组增强现实图像数据和所述第二位置估计生成增强现实图像；以及

在所述装置的显示器上输出所述增强现实图像。

6.根据权利要求3所述的方法，其中识别所述第一图像的所述第一结构立面部分，包括：

从所述第一位置估计和所述一个或多个立面表面位置，计算所述二维立面模式的期望视角；

基于所述期望视角来根据所述二维立面模式生成第一视角模式；

确定所述第一视角模式不满足所述第一图像的阈值匹配级别；

从第一服务器计算机请求补充的一组立面数据；以及

从所述第一服务器计算机接收所述补充的一组立面数据；

其中所述第一结构立面部分的识别基于所述补充的一组立面数据。

7.根据权利要求6所述的方法，其中从所述第一服务器计算机请求补充的一组立面数据包括：向所述第一服务器计算机传送所述环境的所述第一图像；以及

其中接收所述补充的一组立面数据包括基于所述第一图像从所述第一服务器计算机接收补充的位置估计。

8.根据权利要求7所述的方法，进一步包括：

采集所述环境的第二图像；

识别所述第二图像的第一结构立面部分；以及

计算在所述第二图像的所述第一结构立面部分与所述第一图像的所述第一结构立面部分之间的视角差；以及

使用所述第二位置估计和所述视角差来生成第三位置估计。

9.根据权利要求6所述的方法，进一步包括：

在所述装置处接收用于标签对象的二维增强现实数据；

确定在具有所述一个或多个立面表面位置的平面上定位的所述标签对象的增强现实布置；

使用所述二维立面模式的所述期望视角作为标签对象视角；以及

基于所述期望视角生成增强现实图像，所述增强现实图像包括在具有所述一个或多个立面表面位置的所述平面上的所述标签对象。

10.根据权利要求9所述的方法，其中所述二维增强现实数据表示由用户输入从一组增强现实系统象形图中所选择的表情符号对象。

11.根据权利要求1所述的方法，进一步包括：

使用所述一组结构立面数据来识别所述环境的所述第一图像的第二结构立面部分，其中所述第二结构立面部分与所述一组结构立面数据中的第二结构立面数据相匹配；

其中所述第二位置估计进一步至少基于所述环境的所述第一图像的所述第二结构立面部分的第二视角来计算。

12.根据权利要求11所述的方法，其中，所处理的所述第一结构立面数据包括一个或多个立面表面位置和二维立面模式，所述方法进一步包括：

使用所述第一图像和所述第二图像来更新所述一组结构立面数据，以调节所述一个或多个立面表面位置和所述二维立面模式。

13.根据权利要求12所述的方法，进一步包括：

采集所述环境的第二图像；

识别所述第二图像的第一结构立面部分；

使用所述第二位置估计和所述视角差来生成第三位置估计；以及

采用所述第二位置估计和所述第三位置估计向第一服务器计算机传送所述第一图像的至少一部分和所述第二图像的至少一部分。

14.一种用于确定装置的位置的系统，包括：

第一定位模块，其被配置为基于使用从所述装置的一个或多个传感器获得的传感器数据生成的地理位置数据来确定所述装置的第一位置估计；

基于图像的定位系统模块，其被配置为：

访问与所述地理位置数据对应的环境的第一图像；

至少基于所述环境的所述第一图像的所述第一结构立面部分来计算所述装置的第二位置估计；基于所述装置的所述第二位置估计和在所述第一图像中包括的一个或多个对象的一个或多个空间属性，确定在所述第一图像的图像数据和第一虚拟对象之间的对准；以及

其中，识别所述第一图像的所述第一结构立面部分包括：

15.根据权利要求14所述的系统，进一步包括：

第一可穿戴装置，其包括被配置为采集所述第一图像的图像传感器和第一无线输入/输出模块；以及

第一客户端装置，其包括所述第一定位模块、所述基于图像的定位系统模块和第二无线输入/输出模块，其中所述第一客户端装置经由所述第一可穿戴装置的所述第一无线输入/输出模块访问所述第一图像。

16.根据权利要求15所述的系统，其中所述第一可穿戴装置包括从以下组中选择的装置：增强现实头盔、增强现实护目镜、增强现实眼镜和增强现实眼镜附件；以及

其中所述第一客户端装置包括智能电话。

17.一种非暂态计算机可读介质，其包括指令，所述指令在由装置执行时使所述装置执行方法，包括：

使用所述装置的第一定位系统基于使用从所述装置的一个或多个传感器获得的传感器数据生成的地理位置数据来确定第一位置估计；

访问与所述地理位置数据对应的环境的第一图像；

其中，识别所述第一图像的所述第一结构立面部分包括：

18.根据权利要求17所述的非暂态计算机可读介质，其中所述一组结构立面数据的所述第一结构立面数据包括一个或多个立面表面位置和二维立面模式；以及

其中识别所述第一图像的所述第一结构立面部分包括：

19.根据权利要求18所述的非暂态计算机可读介质，其中所述指令进一步使所述装置执行方法，包括：

接收一组增强现实数据；

基于所述第二位置估计来确定所述增强现实数据的位置和视角信息；

使用所述一组增强现实数据、所述位置和视角信息、以及所述第二位置估计，生成增强现实图像；以及

向所述装置的显示器输出所述增强现实图像。