CN109146954A

CN109146954A - 用于与所显示的地图进行交互的增强现实界面

Info

Publication number: CN109146954A
Application number: CN201810534369.9A
Authority: CN
Inventors: N·L·费尔拉德特; A·P·林德伯格; V·P·阿罗约; J·M·斯特拉温
Original assignee: Apple Computer Inc
Current assignee: Apple Inc
Priority date: 2017-06-19
Filing date: 2018-05-30
Publication date: 2019-01-04
Anticipated expiration: 2038-05-30
Also published as: EP3616035A1; WO2018236499A1; US20180365883A1; US10643373B2; CN109146954B; EP3616035B1

Abstract

本发明题为“用于与所显示的地图进行交互的增强现实界面”。本发明的各种实施方案涉及用于与从移动设备上的虚拟相机视角显示的地图进行交互的增强现实界面或虚拟现实界面。一些实施方案不是使用触摸屏界面来操纵虚拟相机的位置，而是利用移动设备的空间位置来控制虚拟相机的位置。例如，用户可倾斜移动设备，以获取虚拟相机的不同角度。又如，用户可垂直移动移动设备，以改变虚拟相机的高度，例如地面上方的较高高度。

Description

用于与所显示的地图进行交互的增强现实界面

相关专利申请的交叉引用

本专利申请要求于2017年6月19日提交的美国临时专利申请No.62/521,895的权益，该专利申请据此全文以引用方式并入。

背景技术

现代电话可经由地图应用程序来提供位置信息。地图的视图通常为街道的网格的顶部朝下式视图(即鸟瞰视图)。顶部朝下式视图还可提供卫星图像。当用户处于地图的特定视图中时，用户可能希望具有三维(3D)视图。可从虚拟相机的视角来提供该3D视图。通常，通过手势(即触摸、拖动、旋转等)经由触摸屏界面来指定虚拟相机的位置。虚拟相机的可能位置通常被限于不同高度下的指定角度。

发明内容

一些实施方案不是使用触摸屏界面来操纵虚拟相机的位置，而是允许移动设备的空间位置来控制虚拟相机的位置。例如，用户可倾斜移动设备，以获取虚拟相机的不同角度。又如，用户可垂直移动移动设备，以改变虚拟相机的高度，例如地面上方的较高高度。

为了实现这一点，可在相对于移动设备的空间位置处配准地图的3D对象的位置。该配准可使用移动设备的相机的成像能力。该配准可设置原点位置并相对于该原点位置来限定地图中的对象。该配准可响应于用户输入例如选择按钮而进行。也可相对于原点位置来定义移动设备的当前位置，从而提供地图对象的相对于移动设备的空间位置。移动设备的初始位置可为原点位置。又如，地图的中心点可为原点位置。

可经由传感器(例如加速度计、陀螺仪、罗盘等)和/或设备的物理相机来跟踪移动设备的移动。该相机可使用来自物理相机的图像中的对象的图像来更准确地确定移动设备相对于房间中的原点并且因此相对于地图对象的位置。通过这种方式，随着移动设备移动，虚拟相机可被放置在相同位置处并具有相同取向(例如，俯仰、偏转和翻滚)，从而允许用户通过移动移动设备来获取地图的各种视图。

在一些实施方案中，提供了一种在移动设备的显示器上提供地图的增强视图或虚拟视图的方法。该方法由具有与显示器可通信地耦接的物理相机的移动设备来执行。该方法包括在显示器上显示地图视图。该地图视图包括与地图内的从虚拟相机的初始虚拟位置开始的位置对应的一组地图对象。该方法还包括接收用于指定使用物理相机的3D模式的用户输入。该方法还包括响应于用户输入使用物理相机来捕获移动设备所在的物理环境的一个或多个第一图像。该方法还包括使用一个或多个第一图像来确定物理相机在物理环境中的原点位置。该方法还包括指定地图的一组3D对象的相对于原点位置的一组物理位置。该组3D对象对应于一组地图对象。该方法还包括响应于移动设备的移动使用物理相机来捕获移动设备所在的物理环境的一个或多个第二图像。该方法还包括基于一个或多个第二图像来确定物理相机的相对于原点位置的当前物理位置。该方法还包括基于物理相机的当前物理位置来确定虚拟相机的更新虚拟位置。该方法还包括基于虚拟相机的更新虚拟位置来呈现一组3D对象的图像。该方法还包括在显示器上显示图像。

在一些实施方案中，提供了一种移动设备。该移动设备包括显示器、与显示器通信地耦接的物理相机、处理器、和耦接至处理器的存储器，该存储器存储指令，该指令当由处理器执行时使得移动设备执行包括例如所公开的方法的步骤的操作。

在一些实施方案中，提供了一种计算机程序产品。该计算机程序产品有形地嵌入主机设备的非暂态机器可读存储介质中，该主机设备的非暂态机器可读存储介质包括指令，该指令当由一个或多个处理器执行时使得该一个或多个处理器执行包括例如所公开的方法的步骤的操作。

以下具体实施方式连同附图一起提供了对本公开的性质和优点的更好的理解，在附图中有时在多个图中使用相同的附图标记表示类似或相同的结构元件。

附图说明

图1示出了根据本发明的一些实施方案的描绘移动设备实现增强现实的框图。

图2A示出了根据本发明的一些实施方案的描绘用户使用移动设备配准并查看增强现实虚拟地图(如同房间中存在三维地图那样)的图示。

图2B示出了根据本发明的一些实施方案的描绘用户使用增强现实虚拟地图的移动控制的用户界面从相对于图2A的不同视角查看三维地图的图示。

图2C示出了根据本发明的一些实施方案的通过移动设备的移动来控制虚拟相机的移动以查看虚拟地图。

图3示出了根据本发明的一些实施方案的描绘从地图应用程序中的虚拟相机的视角缩小三维卫星视图的图形用户界面。

图4示出了根据本发明的一些实施方案的描绘从移动设备的物理相机的视角缩小视图的移动设备的显示。

图5示出了根据本发明的一些实施方案的描绘从地图应用程序中的虚拟相机的视角放大三维卫星视图的显示。图5的虚拟相机的视角已相对于图3发生偏移。

图6示出了根据本发明的一些实施方案的描绘从移动设备的物理相机的视角放大视图的移动设备的显示上的图形用户界面。图6的物理相机的视角已相对于图4发生偏移。

图7示出了根据本发明的一些实施方案的描绘用于在移动设备上实现增强现实地图应用程序的系统的框图。

图8示出了根据本发明的一些实施方案的描绘用于在移动设备上实现增强现实地图应用程序的方法的流程图。

图9示出了根据本发明的一些实施方案的可能为移动设备的示例性设备的框图。

具体实施方式

本发明的实施方案提供允许与所显示的地图进行交互的增强现实界面和/或虚拟现实界面(例如，使用设备的移动)。该界面可与地图应用程序或导航应用程序相关联地实现。例如，旅行者可使用该界面容易且直观地与不熟悉的城市的三维地图进行交互，而不需要在显示器上进行指尖操纵。该交互可通过物理地移动(例如，平移或旋转)显示地图的移动设备来完成。例如，当移动设备朝向与用户在同一房间中的物理对象移动时，可放大地图的视图，并且当移动设备移动远离物理对象时，可缩小地图视图。可基于对移动设备的相机的图像中的物理对象的尺寸和相对放置的改变的分析来确定此类放大和缩小，其中虚拟地图对象与物理对象具有指定关系。类似地，当移动设备向左转时，可向左偏移地图视图，当移动设备向右转时，可向右偏移地图视图。

可使用集成到移动设备中的一个或多个传感器(例如陀螺仪、加速度计、罗盘等)来确定移动设备的物理移动。除此之外或另选地，移动设备的物理移动可由移动设备的物理相机拍摄的连续图像来确定。例如，第一图像可被捕获为显示具有书桌、计算机和书架的房间，其中某些地图对象(例如建筑物、街道名称等)可被显示在移动设备的屏幕上，如同它们在计算机的位置附近一样。地图对象可被单独显示，或者也可显示物理世界的相机图像的部分或全部。第二后续图像可被捕获为仅显示计算机(例如涵盖图像的更多像素)，从而指示用户已朝向计算机移动并且因此已朝向地图对象移动。移动设备的物理相机朝向计算机的物理移动可被转换为地图应用程序中的虚拟相机的虚拟移动。在这种情况下，移动设备更接近计算机的物理移动可被转换为三维地图的放大视图。因此，移动设备的移动可允许用户控制地图(例如，三维地图)的哪些部分被显示在移动设备上。

本发明的实施方案提供了多个优点。地图应用程序的新用户特别是那些可能不了解移动设备的用户可能会发现操纵地图的传统方法很困难。例如，用户可能熟悉一个手指操纵，诸如输入地址、插上大头针、移动地图等，但对于更复杂的两手指操纵可能不太熟悉或不熟悉。旋转地图、放大地图、缩小地图等可能需要此类两手指操纵。因此，本发明的一些实施方案提供了一种容易且直观的用于与所显示的地图进行交互的界面，从而允许用户通过移动移动设备来与所显示的地图进行交互。例如，用户可通过旋转移动设备来旋转所显示的地图。

I.增强现实和虚拟现实

增强现实描述了一种以计算机生成的数据诸如文本、图形或音频对真实世界的实时视图进行补充的技术。换句话讲，通过增强现实设备所看到的真实世界实现了对附加特征的增强。随着对增强现实的使用，真实世界可能变得有互动性并富含信息。例如，关于真实世界场景中的对象的信息可被叠加到真实世界场景上，以向用户提供关于所查看的对象的更多的信息。

虚拟现实描述了一种可使用真实世界移动、手势或动作与其进行交互的计算机生成的图像模拟的技术。例如，可使用真实图像来模拟用户在虚拟环境中的存在。用户可能够诸如通过转动其头部来围绕虚拟环境进行观察，或通过将他的手伸向虚拟物品来虚拟地触摸或移动该物体来与虚拟环境进行交互。

在一些实施方案中，可在移动设备上实现增强现实或虚拟现实。图1示出了根据本发明的一些实施方案的描绘移动设备100实现增强现实的框图。在一些实施方案中，移动设备100可为可向网络提供远程通信能力的通信设备。远程通信能力的示例包括使用移动电话(无线)网络、无线数据网络(例如3G网络、4G网络、或类似的网络)、WiFi、Wi-Max、或可提供对网络诸如互联网或专用网络的接入的任何其他通信介质。移动设备100的示例包括移动电话(例如蜂窝电话)、PDA、平板电脑、上网本、膝上型计算机、个人音乐播放器、手持专用阅读器、手表、健身腕带、可穿戴设备等、以及具有远程通信能力的汽车。移动设备100可包括用于执行此类功能的任何适当的硬件和软件，并且还可包括多个设备或部件(例如，当设备通过与另一设备进行挂接即使用另一设备作为调制解调器而远程访问网络时，放在一起的两个设备可被视为单个通信设备)。

移动设备100可包括硬件部件，诸如相机105、处理器110、存储器115和显示器120。虽然被例示并描述为位于移动设备100的内部，但设想这些硬件部件中的任何或全部硬件部件可另选地或另外地在移动设备100外部和/或远离移动设备100实现。为了实现增强现实，相机105可用于捕获实时真实世界视图的图像数据107。例如，相机105可在给定时刻捕获被定位在相机105前面的环境的实时可移动图像。相机105可将图像数据107作为单个实时图像或视频发送到处理器110。相机105可为物理相机。

处理器110可处理图像数据107，以从图像数据107提取特征113。处理器110可分析图像数据107，以确定特定对象是否存在于图像数据107中。例如，处理器110可在图像数据107上运行分类器，以基于人的共同特征(例如，头部、面部、身体、手臂、腿、手、脚、典型的运动轮廓等)来识别图像数据107中的人的图像。类似地，处理器110可在图像数据107上运行分类器，以识别存在于图像数据107中的其他特定对象。这些经识别的对象可作为特征113而被传送到存储器115。

处理器110可使用特征113从存储器115检索增强数据117。例如，特征113可为“狗”。如由处理器110所促进的，可搜索存储器115，以发现与“狗”对应的数据库条目。可将一个或多个数据库条目传送回到处理器110作为增强数据117。增强数据117可包括与特征113相关的任何数据，诸如文本(例如，描述、定义、网站地址等)、图形、音频、视频、交互式元素等。

处理器110可接收增强数据117并将该增强数据117叠加到图像数据107上。增强数据117可指定增强数据117相关的特征113。因此，处理器110可定位图像数据107中的特征113并将增强数据117叠加在特定位置处。作为示例，特定位置可邻近相关特征113，与相关特征113重叠，与相关特征113(例如，与箭头、点、大头针、突出显示或特征113的其他指示符)相关联，位于弹出框或窗口中，等等。

具有叠加的增强数据117的图像数据107可一起形成向显示器120传输的增强图像118。显示器120可在移动设备100上显示增强图像118。在一些实施方案中，显示器120可允许与增强图像118进行交互，诸如放大、缩小、裁剪、选择链接(例如通往网站或文件)、修改、编辑等。可通过向处理器110提供输入命令的输入元件(未示出)诸如结合到显示器的触摸屏元件、鼠标、触控板、轨迹球、键盘、麦克风等来促进这种交互。

II.地图应用程序

地图应用程序可在移动设备上实现，以帮助用户查找位置。该地图应用程序可显示用户的当前位置的地图。用户可输入地址、插上大头针、和/或在地图应用程序中搜索另一个位置。该地图应用程序可显示位置，并且在一些实施方案中允许操纵显示该位置的地图的视图。例如，该地图应用程序可允许用户放大、缩小、旋转、显示标签、隐藏标签等。该地图应用程序可进一步允许用户相对于所显示的位置来执行一个或多个功能，诸如计算并显示从用户当前位置到所显示的位置的方向，显示交通情况，从二维视图改变为三维视图并且反之亦然，从地图视图改变为卫星视图并且反之亦然，等等。

该地图应用程序可实现图形用户界面，诸如在地图应用程序中描绘二维地图视图的那些图形用户界面。地址可被输入到地图应用程序(例如“加利福尼亚州的旧金山的2内河码头中心”)中。该地图应用程序可检索和显示包括输入地址的地图数据。在一些示例中，该地图应用程序可在二维地图视图中显示地图数据。该地图应用程序可进一步在所输入的地址处插上大头针或其他指示符。地图数据可包括道路、道路名称、城市、城市名称、邻近地区、地标、公园、商业、公共交通等。

在一些示例中，图形用户界面可被放大，以显示所输入地址的更近视图。经放大的视图可相对于在初始地图视图中示出的内容提供更详细的地图数据，诸如更多的道路名称和更多特征(例如，商业和地标)。为了放大，用户可使用其指尖来操纵初始地图。例如，用户可将两个指尖放置在初始地图上，然后将其指尖分开以便放大并到达更详细的地图。这种运动对于某些用户而言可能不直观。

III.用于与地图进行交互的移动界面

本发明的一些实施方案提供了一种允许与所显示的地图进行直观的交互而无需在显示器上进行指尖操纵的移动控制的用户界面。该交互可通过物理地移动(例如，平移和/或旋转)显示地图的移动设备来完成。例如，当移动设备移动远离用户(例如朝向视图中的对象)时，可放大地图，并且当移动设备向用户移动(例如，远离视图中的对象)时，可缩小地图。类似地，当移动设备向左旋转时，可向左偏移地图，当移动设备向上旋转时，可向上偏移地图，等等。在这种意义上，移动设备可实现其中地图为虚拟环境并且移动设备的移动为用户的真实世界与虚拟环境的交互的一种虚拟现实界面。

A.基于移动设备的移动来显示虚拟地图

在一些实施方案中，可提供一种其中虚拟地图图像可被显示在移动设备上并且在一些实施方案中该虚拟地图图像被叠加在真实世界图像上的界面。图2A示出了根据本发明的一些实施方案的描绘用户202使用移动设备来查看虚拟地图的图示。具体地，用户202可在初始位置205处使用移动设备的物理相机来捕获书桌230的图像。移动设备可将书桌230识别为合适的表面(例如水平表面或平坦表面)，在该表面上要叠加包括三维地图对象(例如，建筑物215、树220和银行225)的地图图像。因此，移动设备可向书桌230上显示三维地图对象，如在移动设备的显示器上看到的一样。因此，建筑物215、树220和银行225可看起来被定位在书桌230上，使得对象的基部看起来被定位在书桌230上，而对象从书桌230突出。图2A中的虚线指示这些地图对象仅在用户查看移动设备的显示器时才被看到。在图2A中，例如在移动设备的相机指向书桌230时，当用户202正在查看移动设备的显示器时，建筑物215可能看起来最接近用户202，接着是树220和银行225。尽管本文相对于书桌230进行显示和描述，但设想建筑物215、树220和银行225可被呈现到任意水平平面上。另外，设想对建筑物215、树220和银行225的呈现可不限于设定区域(例如，书桌230的边界)，而是可被呈现给用户202，正如图像通往地平线一样。

物理相机可具有由配准矢量207表示的视点，在该视点处，树220处于默认原点位置处。默认的原点位置可为例如物理相机的初始视场中的中心点。原点位置可反映物理相机的初始视图，其中相对于该原点位置来定义地图对象的位置。例如，建筑物215可被定义在原点位置向左三英寸向前一英寸的位置处，树220可被定义在原点位置处，银行225可被定义在原点位置向右两英寸向后一英寸的位置处。相对于原点位置的这些位置可用于相对于移动设备在初始位置205处的任何移动来配准地图对象的位置。

然后可围绕书桌230来移动仍然指向书桌230的移动设备，并且地图图像可被连续呈现以反映位置和取向的变化，使得地图图像看起来是书桌230上的交互式三维模型。移动设备的此类移动可控制用于呈现虚拟三维模型的图像的虚拟相机的虚拟位置。三维模型可由用户经由实现增强现实界面的移动设备的移动而被移动、重新定位、缩放、以及以其他方式进行交互。

图2B示出了根据本发明的一些实施方案的描绘用户202使用移动设备从相对于图2A的当前位置210查看增强现实虚拟地图的图示。在图2B中，用户202已将移动设备从初始位置205移动到当前位置210。从位置205到位置210的这种位置变化可由显示移动设备从书桌230左侧移动到书桌230右侧的移动矢量209来表示。移动矢量209可定义移动设备相对于其初始位置205的移动。移动设备的当前位置210可通过其相对于原点位置和移动矢量209的初始位置205来定义。在一些实施方案中，移动矢量209可被缩放至地图图像，以反映相对于三维地图对象(例如建筑物215、树220和银行225)的移动。换句话讲，移动矢量209可被缩放到地图对象的不同量移动。例如，可将物理相机的每英寸移动缩放到用于查看地图对象的虚拟相机的五英尺移动。在移动到书桌230右侧的当前位置之后，银行225可看起来最接近用户202，然后是树220和建筑物215。

图2C示出了根据本发明的实施方案的通过移动设备的移动来控制虚拟相机移动以查看增强现实虚拟地图。如上所述，移动设备可具有可捕获真实世界图像的物理相机。移动设备可在虚拟地图环境中的初始位置216处与虚拟相机相关联，该虚拟相机的视角用于显示地图对象(例如，建筑物215、树220和银行225)。由物理相机限定的原点位置和配准矢量207可对应于由虚拟相机限定的原点位置和配准矢量211。由虚拟相机限定的原点位置可为虚拟地图中的在其附近配准地图对象位置的位置。配准矢量211可限定虚拟相机的相对于原点位置的初始位置216和视角。

当绕书桌230移动和旋转设备时，如图2B所示，可连续地呈现地图图像以反映位置和取向的改变。例如，移动设备可从初始位置205和取向被移动到当前位置210和取向。相应地，虚拟相机可从初始位置216和取向移动到当前位置217和取向。取向矢量213可示出虚拟相机的与移动设备从初始位置205旋转到当前位置210相关联的旋转，其可被定义为3个平移坐标和3个旋转角度的6维矢量。然后可从虚拟相机217的视角在其当前位置和取向处呈现地图对象(例如建筑物215、树220和银行225)。因此，初始位置216处的虚拟相机可从最近到最远查看建筑物215、树220和银行225的背面的图像(例如，对应于图2A中移动设备205的位置)，而在当前位置217处的虚拟相机可从最近到最远来查看银行225、树220和建筑物215的前侧的图像(例如，对应于图2B中移动设备205的位置)。移动设备的高度还可控制虚拟相机的高度。

图2A-图2C描述了向相机捕获的真实世界书桌230的图像上呈现虚拟建筑物215、树220和银行225。然而，在一些实施方案中，设想由移动设备205的相机捕获的图像不被显示在移动设备205上。换句话讲，包括虚拟建筑物215、树220和银行225的虚拟地图可不被叠加到真实世界图像(例如，真实世界书桌230)上。

B.室外配准

尽管相对于图2A-图2C被示出并描述为在室内配准对象和物理相机，但在一些实施方案中，可在室外将对象与物理相机配准。当在室外时，移动设备的物理相机可用于捕获移动设备所在的物理环境(即被定位在物理相机前方和周围的环境)的图像。图3和图4示出了由可用于控制虚拟相机的位置以用于呈现地图的地图对象的相机拍摄的图像。

图3示出了根据本发明的一些实施方案的由移动设备捕获的描绘从物理相机的视角看到的初始视图的图像300。提供在图3中所示的图像的相机的位置可被定义为物理相机的原点位置。在图3中所示的图像300可导致基于虚拟相机的初始位置来呈现地图图像。在各种实施方案中，虚拟相机的初始位置被设定为默认的或基于移动设备的初始位置来确定。例如，可基于移动设备的物理相机在10度角处进行取向来使虚拟相机也在10度角处(相对于地的法线)进行取向。

物理相机从用于获取在图3中所示的图像300的初始位置的移动可导致虚拟相机从初始位置的对应移动。例如，图4示出了根据本发明的一些实施方案由移动设备捕获的描绘从移动设备的物理相机的视角放大的视图的图像400。图4的物理相机的视角已相对于图3偏移，由此表示物理相机的不同位置。具体地，图4的物理相机已被放大并且相对于物理对象向左偏移。物理相机的这种移动可由用户向前(例如，远离身体或仅仅向前走)并向左，向新的物理位置移动该移动设备造成。新的物理位置可用于确定虚拟相机的新虚拟位置，以从虚拟相机的视角呈现新视图。这种确定可基于图3和图4之间的图像变化来进行。

具体地，可通过将来自图4的物理相机的图像400与图像300进行比较来检测移动设备的从用于获取图3的图像300的初始位置的移动。可基于图4的图像400来确定物理相机的相对于初始位置的当前物理位置。例如，可将图像300与图像400进行比较，以确定物理相机已如何被移动以及移动到什么程度。在图3的示例中，图像300示出正前方的一组305四棵树，左侧为房屋310，并且右侧为联排别墅315。第二图像400(例如，如图4所示)可显示正前方一组405两棵树，房屋310被放大到右侧，并且汽车420在左侧。可对这些图像进行分析，以确定物理相机已相对于原点位置偏移到左侧并放大。也可估计物理相机的移动量，例如向左10英尺。

在一些实施方案中，由移动设备执行的传感器测量和/或由物理相机拍摄的图像可用于确定相对于移动设备的初始位置的移动矢量。初始位置自身可被定义在相对于原点的位置处，并且移动设备的当前位置可由这两个矢量构成。

C.地图界面

可响应于检测到位置或输入地址来显示从虚拟相机的视角看到的地图的初始三维视图。图5示出了根据本发明的一些实施方案的描绘从地图应用程序中的虚拟相机(例如，虚拟相机216)的视角缩小的三维卫星地图视图500的图形用户界面。如图5所示，地址已被输入到地图应用程序(例如“加利福尼亚州的旧金山的2内河码头中心”)中。地图应用程序可检索和显示包括输入地址的地图数据。

在该示例中，地图应用程序可在三维卫星(例如，鸟瞰)视图中显示地图数据。地图应用程序可进一步在经输入的地址处插上大头针或其他指示符。地图数据可包括道路、道路名称、城市、城市名称、邻近地区、地标、公园、商业、公共交通等(例如，地图对象，诸如图2A-图2C的建筑物215、树220和银行225)。在一些实施方案中，可响应于用户从图形用户界面选择三维卫星视图而显示图5的三维卫星视图。

地图视图500可对应于虚拟相机的初始位置，例如，图2C的初始位置216或如由图3的图像300所定义的初始位置。物理相机可具有对应初始位置，从该对应初始位置比较移动。由物理相机和/或传感器所捕获的移动设备从初始位置的移动可导致所显示的地图中的对应移动。

图6示出了根据本发明的一些实施方案的描绘从地图应用程序中的虚拟相机(例如，图2C的位置217处的虚拟相机)的视角放大的三维卫星地图视图600的图形用户界面。图6的虚拟相机的视角已相对于图5发生偏移。具体地，图6的虚拟相机已被放大并且向左偏移。例如，此类移动可对应于用户向左走一步并向前走一步。通过这种方式，用户可控制将哪个地图对象显示在移动设备的屏幕上，以及如何显示它们(例如，使用哪个缩放级别或什么虚拟相机角度)。

IV.系统

图7示出了根据本发明的一些实施方案的描绘用于在移动设备上实现增强现实地图应用程序的系统的框图。该系统可实现“增强现实”，因为在真实世界中移动该移动设备以操纵虚拟地图，并且数据不一定需要被叠加到真实世界图像上。该系统可用于创建在图3、图4、图5和图6中所示的图形用户界面。系统可包括服务器计算机710和移动设备730。服务器计算机710和移动设备730可彼此诸如通过一个或多个网络有效地进行通信。移动设备730可为移动设备100，如相对于图1所述的。

服务器计算机710可包括存储器715、处理器720和通信子系统725。通信子系统725可使得服务器计算机710能够与移动设备730进行通信。存储器可包括地图数据数据存储库717。地图数据数据存储库717可存储多个位置的地图数据。例如，地图数据数据存储库717可存储若干地区(例如，州、国家等)的道路地图。地图数据可包括特征，诸如道路、建筑物、商业、公园、地标、房屋、轨道等。地图数据可包括任意数量格式(例如，二维、三维、地图视图、卫星视图、俯视视图、眼睛水平视图等)的地图。地图数据可以任何合适的方式连同其相关联的一个或多个位置一起被存储。例如，地图数据可与地址、坐标、名称、和/或任何其他指示符相关联地存储。

服务器计算机710可与移动设备730进行通信。移动设备730可包括存储器732和设备硬件760。设备硬件760可包括处理器762、用户界面764、全球定位系统(GPS)766、显示器768、物理相机770、传感器772、和通信子系统774。在一些实施方案中，显示器768形成用户界面764的一部分。用户界面764还可包括输入元件，诸如键盘、轨迹球、触控板、鼠标、麦克风等。通信子系统774可包括被配置为允许移动设备730与服务器计算机710诸如通过网络进行通信的硬件部件。

存储器732可包括操作系统(OS)750。操作系统750可提供供用户使用移动设备730例如以操作设备硬件760并执行地图应用程序734的界面。地图应用程序734可包括用于促进移动设备730的地图功能的多个引擎。例如，地图应用程序734可包括物理位置引擎735、三维移动模式引擎736、原点位置确定引擎737、移动检测引擎738、距离测量引擎739、虚拟位置确定引擎740、图像呈现引擎741、和图像显示引擎742。虽然被示出并描述为具有一定数量的独立引擎，但设想地图应用程序734可包括更大或更少数量的引擎，和/或本文所述多个引擎的功能可被组合。

在一些实施方案中，物理位置引擎735可结合处理器762从GPS 766和/或一个或多个传感器772(例如，罗盘、陀螺仪等)请求移动设备730的当前物理位置和取向。响应于该请求，GPS 766可生成用于指示移动设备730的当前位置的一组坐标(例如，GPS坐标、纬度和经度坐标等)，并向物理位置引擎735提供这些坐标。类似地，传感器可生成移动设备730的取向数据，并且将该取向数据提供至物理位置引擎735(例如，基本方向)。与处理器762和通信子系统774结合的物理位置引擎735可将坐标和取向数据传输到服务器计算机710。与处理器720结合的服务器计算机710可利用坐标和取向数据来查询地图数据数据存储库717，以从被包括在取向数据中的取向的角度来检索与坐标对应的地图数据，并且经由通信子系统725来将地图数据传输回到移动设备730。

在一些实施方案中，物理位置引擎735可经由除GPS 766之外的装置来接收与物理位置对应的输入。例如，物理位置引擎735可经由用户界面764来接收位置(例如，地址、坐标、商业名称等)的指示符，该用户界面在一些实施方案中可包括物理键盘或虚拟键盘。与处理器762和通信子系统770结合的物理位置引擎735然后可将指示符传输到服务器计算机710。与处理器720结合的服务器计算机710可利用指示符来查询地图数据数据存储库717，以检索与指示符对应的地图数据，并且经由通信子系统725来将地图数据传输回到移动设备730。

尽管被示出并描述被为存储在地图数据数据存储库717中，但设想在一些实施方案中可以将某些地图数据高速缓存和本地存储在移动设备730上。例如，常常使用的地图数据(例如，包括家庭或工作位置的地图数据)可被存储在存储器732中，因此可能不需要从服务器计算机710进行请求。这样可减少移动设备730的数据消耗并减少显示经常使用的地图数据所需的处理时间。

A.配准

一旦已(在本地或从服务器计算机710)检索地图数据，则显示地图数据的地图视图可被显示在显示器768上。地图视图可包括与地图内的从虚拟相机的初始虚拟位置开始的位置对应的一组地图对象。虚拟相机可具有作为输入地址的鸟瞰图的初始虚拟位置。示例性地图对象可包括位于输入位置处或周围的特征(例如，道路、建筑物、纪念碑、公园、地标等)。

从地图视图，用户可与用户界面764进行交互，以选择使用物理相机770的三维移动模式。例如，用户可在与三维移动模式对应的用户界面上选择按钮。在另一个示例中，三维移动模式可在用户选择三维地图或卫星视图时被自动激活。选择三维模式可激活三维移动模式引擎736。与处理器762结合的三维移动模式引擎736可激活物理相机770。三维移动模式引擎736可使用物理相机770来捕获移动设备730所在物理环境的一个或多个第一图像。换句话讲，一旦被激活，物理相机770可捕获位于物理相机770前面和周围的环境的图像。可将该图像提供至原点位置确定引擎737。

结合处理器762的原点位置确定引擎737可使用一个或多个第一图像来确定物理环境中的物理相机的原点(即初始)位置。例如，原点位置确定引擎737可分析由物理相机770捕获的图像以确定物理相机770被定位在树的正前方，树的左侧为蓝色房屋，并且树的右侧为红色房屋。原点位置确定引擎737可配准这些对象的物理位置。在一些实施方案中，当接收到用于激活三维移动模式的用户输入时，该原点位置对应于物理相机770的物理位置。在一些实施方案中，原点位置可默认自动位于地图的中心处。如本文进一步所述的，该原点位置可用于此后确定激活三维移动模式之后的移动设备的物理移动。

与处理器762结合的原点位置确定引擎737可进一步指定地图的一组三维对象的相对于原点位置的一组物理位置。该组三维对象可对应于一组地图对象。例如，由图3的“2内河码头中心”处的大头针表示的建筑物可为与图3中的“2内河码头中心”处的大头针所指示的三维建筑物对应的地图对象。由图3中的大头针所指示的三维建筑物相对于原点位置的物理位置可为正前方(例如，对应于上文示例中的树)。大头针左侧建筑物相对于原点位置的物理位置可在前面和左侧(例如，对应于以上示例中的蓝色房屋)。大头针右侧建筑物相对于原点位置的物理位置可在前面和右侧(例如，对应于以上示例中的红色房屋)。

在一些实施方案中，在相对于移动设备730的默认位置和/或取向处指定该组三维对象的一组物理位置。例如，默认位置可取决于移动设备730的倾斜角。在一些实施方案中，如果物理相机770处于从面向下大于45度的角度(例如，面向上)，则默认位置可处于更小的默认倾斜角度(例如15度)下。这可有利的，因为其不允许呈现不切实际或不可用的对象视图(例如，天空的视图)。类似地，默认位置可包括来自地面或其他地图对象的默认高度和/或距离。在一些实施方案中，基于移动设备730的角坐标来指定一组三维对象的一组物理位置。这些物理位置可用于呈现三维对象的视图，如本文进一步所述的。

B.距离测量

与处理器762结合的距离测量引擎739可检测物理相机770从原点位置开始的移动。可使用任何合适的方法来检测这种移动。在一些实施方案中，可使用一个或多个传感器772来检测这种移动。传感器可包括，例如陀螺仪、加速度计、罗盘等。例如，陀螺仪可指示移动设备730向下的角旋转。在另一个示例中，加速度计可指示移动设备向前的移动。在另一个示例中，罗盘可指示移动设备从面向北的位置移动到面向东北的位置。在另一个示例中，GPS 766可指示移动设备730从初始位置移动到新位置。在一些实施方案中，仅由传感器772检测到的移动可足以确定移动设备730的新物理位置，从而确定虚拟相机的新虚拟位置。例如，移动设备730可包括取向传感器。可使用取向传感器来确定物理相机770的原点位置与物理相机770的当前物理位置之间的角度变化。该角度变化可用于确定更新虚拟位置，从而旋转虚拟相机。

在一些实施方案中，可另选地或另外通过将随后从物理相机770捕获的图像与在原点位置处拍摄的图像进行比较来检测移动设备730从原点位置开始的移动。在这些实施方案中，与处理器762结合的距离测量引擎739可使用物理相机770来捕获移动设备所在的物理环境的一个或多个第二图像。距离测量引擎739可在移动设备730的移动之后捕获第二图像。

距离测量引擎739可基于一个或多个第二图像来确定物理相机770的相对于原点位置的当前物理位置。例如，距离测量引擎739可将第一图像与第二图像进行比较，以确定物理相机770如何被移动以及移动到什么程度。例如，第一图像(例如，如图4所示)可显示正前方一组五棵树，左侧是米色房屋，并且右侧是褐色联排别墅。第二图像(例如，如图6中所示)可显示正前方一组两棵树，米色房屋被放大到右侧，红并且色汽车在左侧。距离测量引擎739可分析这些图像，以确定物理相机770已相对于原点位置偏移到左侧并被放大。距离测量引擎739可进一步估计物理相机770的移动量，例如向左10英尺。在一些实施方案中，物理相机770的当前物理位置被指定为平移坐标和角坐标的六维坐标。

例如，传感器测量和/或由物理相机770拍摄的图像可用于确定相对于移动设备730的初始位置的移动矢量。初始位置自身可被定义在相对于原点的位置处，并且移动设备730的当前位置可由这两个矢量构成。

传感器可用于确定移动。例如，可基于加速度计读数流来估计移动设备730已移动30厘米。30厘米可界定一个球体，移动设备730可能围绕其移动。如果加速度计为三维加速度计，则可确定移动方向，从而针对相对运动矢量来提供估计值。可分析图像，以细化位置。例如，可分析对象之间的新距离(例如，图像上的像素)并将其与初始图像的像素距离进行比较。可基于相机参数例如缩放设置和景深分析来将像素距离转换成实际距离。加速度计位置和图像位置可用于例如通过取平均值来确定当前移动矢量。在其他实施方案中，图像位置可使用加速度计位置作为输入，因此图像分析可利用近似值开始。在一些实施方案中，图像位置可使用陀螺仪或罗盘读数作为输入，因此图像分析可利用近似角或定向取向开始。

C.新位置处的地图呈现

与处理器762结合的虚拟位置确定引擎740可基于物理相机的当前物理位置和取向来确定虚拟相机的更新虚拟位置和取向。由物理相机770拍摄的第一图像和第二图像可用于确定相对于移动设备730的初始位置的移动矢量。初始位置自身可被定义在相对于原点的位置处，并且移动设备730的当前位置可由这两个矢量构成。然后可使用当前位置来确定更新虚拟位置。例如，虚拟位置确定引擎740可基于物理相机770向右移动并且其角运动向下来确定虚拟相机应当向右移动并指向下方。在一些实施方案中，虚拟位置确定引擎740可将物理相机770的估计量的移动缩放成虚拟相机的不同量的移动。例如，可将物理相机770的每英寸移动缩放成虚拟相机的10英尺移动。

与处理器762结合的图像呈现引擎741可基于虚拟相机的更新虚拟位置来呈现一组三维对象的图像。在图4和图6的以上示例中，图像呈现引擎741可呈现在大头针左侧的建筑物上居中的图像(例如，对应于一组两棵树)，大头针指示的建筑物在右侧(例如，对应于米色房屋)，并且另一个建筑物在左侧(例如，对应于红色汽车)，如图5所示。

图像呈现引擎741可向图像显示引擎742提供所呈现的图像。与处理器762结合的图像显示引擎742可在显示器768上显示所呈现的图像。

D.相机图像上的地图叠加

在一些实施方案中，图像显示引擎742可将所呈现的地图图像叠加在第二图像(或由物理相机770实时捕获的任何后续图像)上。在一些实施方案中，与处理器762结合的图像显示引擎742可识别由物理相机770捕获的实时图像中的表面。例如，图像显示引擎742可识别存在于图像中的水平、或地板。图像显示引擎742可在相机图像中的所识别的表面上叠加所呈现的地图图像(例如，建筑物、街道、和/或其他特征的三维视图)。例如，建筑物可被呈现到书桌图像的顶表面上，使得建筑物的基座似乎被定位在书桌上，而建筑物从书桌突出。然后可围绕书桌移动仍然指向书桌的移动设备730，并且地图图像可被连续呈现以反映位置和取向的变化，使得地图图像看起来是书桌上的三维模型。

V.使用移动界面以用于查看3D地图的方法

图8示出了根据本发明的一些实施方案的描绘用于在移动设备的显示器上提供地图的增强视图的方法的流程图800。相对于图8所述的方法可由具有与显示器可通信耦接的物理相机的移动设备来实现。例如，相对于图8所述的方法可由图7的移动设备730来实现，该移动设备具有与显示器768耦接的物理相机770。

在步骤805处，显示地图视图地图。该地图视图可包括与地图内的从虚拟相机的初始虚拟位置开始的位置对应的一组地图对象。地图对象可包括例如道路、建筑物、商业、公园、地标、房屋、轨道等。地图视图可为若干种不同格式(例如，二维、三维等)中的任何格式。虚拟相机可具有作为输入地址或GPS确定的位置的开销的初始虚拟位置。该虚拟相机可为例如图2C的虚拟相机216。地图视图可显示例如图5的图像500。

在步骤810处，接收用于指定使用物理相机的三维模式的用户输入。用户输入可经由一个或多个输入元件诸如触摸屏显示器、键盘、轨迹球、触控板、鼠标、麦克风等被接收。例如，用户可在显示器上选择与三维模式对应的按钮。用户输入还可包括手势，诸如由一个或多个传感器(例如，加速度计、陀螺仪、罗盘等)感测的移动设备的移动。在一些实施方案中，三维模式可能不使用物理相机，而是仅使用一个或多个传感器。

在步骤815处，响应于用户输入，可使用物理相机来捕获移动设备所在的物理环境的一个或多个第一图像。例如，物理相机可捕获被定位在物理相机前面和周围的环境。

在步骤820处，使用一个或多个第一图像来确定物理环境中的物理相机的初始位置。可相对于物理环境中的原点位置来定义物理相机的初始位置。在一些实施方案中，当在步骤810处接收到用户输入时，原点位置可对应于物理相机的初始位置。因此，原点位置可被视为图2A中的移动设备205的初始位置。又如，原点位置可为是地图对象(例如，树220)的中心。

在步骤825处，指定地图的一组三维对象的相对于物理相机的初始位置的一组物理位置。该组三维对象可对应于一组地图对象。在一些实施方案中，可从移动设备在默认位置处指定一组三维对象的一组物理位置。三维对象可包括例如图2A-图2C的建筑物215、树220和/或银行225。可相对于原点位置(可以是或不是初始位置)来定义对3D对象的相对于物理相机的初始位置的物理位置的确定。

在步骤830处，可在移动设备的移动之后，使用物理相机来捕获移动设备所在的物理环境的一个或多个第二图像。在一些实施方案中，可将一个或多个第一图像与一个或多个第二图像进行比较，以确定相对于物理相机的原点位置的移动矢量。该移动矢量可为例如图2B的移动矢量209。

在步骤835处，可基于一个或多个第二图像来确定物理相机的相对于原点位置的当前物理位置。在一些实施方案中，可基于来自移动设备的一个或多个传感器的一个或多个测量值来确定物理相机的当前物理位置。除了图像之外或者作为图像的替代，还可使用传感器。传感器可包括例如加速度计、陀螺仪、罗盘、它们的组合等。在一些实施方案中，可使用移动设备的取向传感器来确定物理相机的原点位置与物理相机的当前物理位置之间的角度变化。

在步骤840处，可基于物理相机的当前物理位置来确定虚拟相机的更新虚拟位置。该虚拟相机可为例如图2C的虚拟相机217。在一些实施方案中，可通过将移动矢量应用于虚拟相机的初始虚拟位置来确定虚拟相机的更新虚拟位置。在一些实施方案中，可在将移动矢量应用于虚拟相机的初始虚拟位置之前缩放移动矢量。

在步骤845处，可基于虚拟相机的更新虚拟位置来将地图图像(例如，图6的图像600)呈现成三维对象的集合。呈现可接收虚拟相机的坐标和三维对象的坐标，以及三维对象的任何纹理、颜色、或其他视觉信息。

在步骤850处，地图图像可被显示在显示器上。在一些实施方案中，地图图像可被叠加到从物理相机获取的一个或多个第二图像上。在一些实施方案中，地图图像可被叠加到从物理相机实时获取的后续图像上。

VI.示例性设备

图9为可为如本文所述的移动设备的示例性设备900的框图。设备900通常包括计算机可读介质902、处理系统904、输入/输出(I/O)子系统906、无线电路908、以及包括扬声器950和麦克风952的音频电路910。这些部件可通过一个或多个通信总线或信号线903而被耦接。设备900可为任何便携式电子设备，包括手持式计算机、平板电脑、移动电话、膝上型计算机、平板设备、媒体播放器、个人数字助理(PDA)、钥匙扣卡、车钥匙、门禁卡、多功能设备、移动电话、便携式游戏设备、汽车显示单元等，其包括这些物品中的两个或更多个物品的组合。

显然，图9所示的架构仅为设备900的架构的一个示例，并且设备900可具有比所示更多或更少的部件或不同配置的部件。图9中所示的各种部件可以硬件、软件或硬件和软件两者的组合来实现，其包括一个或多个信号处理电路和/或专用集成电路。

无线电路908用于通过无线链路或网络来向一个或多个其他设备的常规电路(诸如，天线系统、RF收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、CODEC芯片组、存储器等)发送和接收信息。无线电路908可使用各种协议，例如本文所述的协议。

无线电路908经由外围设备接口916而被耦接至处理系统904。接口916可包括用于建立并保持外围设备和处理系统904之间的通信的常规部件。通过无线电路908所接收的语音信息和数据信息(例如，在语音识别或语音命令应用中)经由外围设备接口916而被发送至一个或多个处理器918。一个或多个处理器918可被配置为处理被存储在介质902上的一个或多个应用程序934的各种数据格式。

外围设备接口916将设备的输入外围设备和输出外围设备耦接到处理器918和计算机可读介质902。一个或多个处理器918经由控制器920来与计算机可读介质902进行通信。计算机可读介质902可为能够存储代码和/或数据以供一个或多个处理器918使用的任何设备或介质。介质902可包括存储器分级结构，包括高速缓存、主存储器和辅存储器。

设备900还可包括用于为各种硬件部件供电的电力系统942。电力系统942可包括电力管理系统、一个或多个电源(例如，电池、交流电(AC))、再充电系统、电力故障检测电路、功率变换器或逆变器、电源状态指示符(例如，发光二极管(LED))、以及通常与移动设备中的电力的生成、管理和分配相关联的任何其他部件。

在一些实施方案中，设备900包括相机944(例如，物理相机)。在一些实施方案中，设备900包括传感器946。传感器946可包括加速度计、罗盘、陀螺仪、压力传感器、音频传感器、光传感器、气压计等。传感器946可用于感测位置方面，诸如位置的听觉标记或光标记。

在一些实施方案中，设备900可包括有时被称为GPS单元948的GPS接收器。移动设备可使用卫星导航系统诸如全球定位系统(GPS)来获取定位信息、定时信息、高度、或其他导航信息。在操作期间，GPS单元可接收来自绕地球飞行的GPS卫星的信号。GPS单元对信号进行分析，以对传输时间和距离进行估计。GPS单元可确定移动设备的当前定位(当前位置)。基于这些估计，移动设备可确定位置方位、高度、和/或当前速度。位置方位可为地理坐标，诸如纬度信息和经度信息。

一个或多个处理器918运行被存储在介质902中的各种软件部件，以执行设备900的各种功能。在一些实施方案中，软件部件包括操作系统922、通信模块(或指令集)924、位置模块(或指令集)926、实现如本文所述的三维运动模式的三维模块(或指令集)928，以及其他应用程序(或指令集)934。

操作系统922可为任何合适的操作系统，包括iOS、Mac OS、Darwin、RTXC、LINUX、UNIX、OS X、WINDOWS或嵌入式操作系统诸如VxWorks。操作系统可包括用于控制和管理一般系统任务(例如，存储器管理、存储设备控制、电力管理等)的各种程序、指令集、软件部件、和/或驱动器，并且促进各种硬件和软件部件之间的通信。

通信模块924促进通过一个或多个外部端口936或经由无线电路908来与其他设备进行通信，并且包括用于处理从无线电路908和/或外部端口936所接收的数据的各种软件部件。外部端口936(例如，USB、火线、闪电连接器、60引脚连接器等)适用于通过网络(例如，互联网、无线局域网等)直接地或间接地耦接到其他设备。

位置/运动模块926可有助于确定设备900的当前位置(例如，坐标或其他地理位置标识符)和运动。现代定位系统包括基于卫星的定位系统，诸如全球定位系统(GPS)、基于“小区ID”的蜂窝网络定位、和基于Wi-Fi网络的Wi-Fi定位技术。GPS还依赖于多个卫星的可见度来确定位置估计，其在室内或在“城市峡谷”中可能是不可见的(或具有微弱信号)。在一些实施方案中，位置/运动模块926从GPS单元948接收数据并分析信号，以确定移动设备的当前位置。在一些实施方案中，位置/运动模块926可使用Wi-Fi或蜂窝位置技术来确定当前位置。例如，可使用对附近小区地点和/或Wi-Fi接入点的了解及对它们的位置的了解来估计移动设备的位置。识别Wi-Fi或蜂窝式发射器的信息被接收在无线电路908处并传送至位置/运动模块926。在一些实施方案中，位置模块接收一个或多个发射器ID。在一些实施方案中，可将发射器ID的序列与参考数据库(例如，小区ID数据库、Wi-Fi参考数据库)进行比较，该参考数据库将发射器ID映射或关联至对应发射器的位置坐标并基于对应发射器的位置坐标来计算设备900的估计位置坐标。不论使用何种特定定位技术，位置/运动模块926均接收能够从其中得出位置方位的信息，解译该信息，并返回位置信息，诸如地理坐标、纬度/经度、或其他位置方位数据。

三维模块928可自动激活或响应于用户输入诸如用户界面上的手势、移动和/或选择而被激活。一旦被激活，三维模块928便可使用相机944来捕获图像数据。三维模块928可确定移动设备900是否已移动并移动显示地图的虚拟相机，如本文进一步所述的。

移动设备上的一个或多个应用程序934可包括被安装在设备900上的任何应用程序，包括但不限于浏览器、地址簿、联系人列表、电子邮件、即时消息、文字处理、键盘仿真、桌面小程序、支持JAVA的应用程序、加密软件、数字版权管理、语音识别、语音复制、音乐播放器(回放被存储在一个或多个文件诸如MP3文件或AAC文件中的录制音乐)，等等。

可存在其他模块或指令集(未示出)，诸如图形模块、时间模块等。例如图形模块可以包括用于在显示器表面上对图形对象(包括但不限于文本、网页、图标、数字图像、动画等)进行呈现、动画显示和显示的各种常规软件部件。在另一个示例中，定时器模块可为软件定时器。也可在硬件中实现定时器模块。时间模块可针对任意数量的事件来维持各种定时器。

I/O子系统906可被耦接至可为触敏显示器的显示系统(未示出)。显示系统在GUI中向用户显示视觉输出。视觉输出可包括文本、图形、视频、以及它们的任何组合。视觉输出中的一些或所有视觉输出可对应于用户界面对象。尽管显示器可使用LED(发光二极管)技术、LCD(液晶显示器)技术或LPD(发光聚合物显示器)技术，但在其他实施方案中可使用其他显示技术。

在一些实施方案中，I/O子系统906可包括显示器和用户输入设备诸如键盘、鼠标、和/或触控板。在一些实施方案中，I/O子系统906可包括触敏显示器。触敏显示器还可基于触觉和/或触感接触来接受来自用户的输入。在一些实施方案中，触敏显示器形成用于接受用户输入的触敏表面。触敏显示器/表面(连同介质902中的任何相关联的模块和/或指令集)检测触敏显示器上的接触(和接触的任何移动或释放)，并将所检测到的接触转换为与用户界面对象的交互，诸如在接触发生时被显示在触摸屏上的一个或多个软键。在一些实施方案中，触敏显示器和用户之间的接触点对应于用户的一个或多个手指。用户可使用诸如触笔、笔、手指等任何合适的物体或附属件接触触敏显示器。触敏显示器表面可使用任何合适的触敏技术来检测接触及其任何移动或释放，这些技术包括电容式技术、电阻式技术、红外技术和表面声波技术、以及其他接近传感器阵列或用于确定与触摸显示器的一个或多个接触点的其他元件。

此外，I/O子系统还可被耦接至一个或多个其他物理控制设备(未示出)，诸如按钮、按键、开关、摇杆按钮、拨号盘、滑动开关、操作杆、LED等，用于控制或执行各种功能，诸如功率控制、扬声器音量控制、电话铃声响度、键盘输入、滚动、保持、菜单、锁屏、清除和结束通信等。在一些实施方案中，除了触摸屏之外，设备900可包括用于激活或去激活特定功能的触摸板(未示出)。在一些实施方案中，该触摸板为设备的触敏区域，该触敏区域与触摸屏不同，其不显示视觉输出。触摸板可为与触敏显示器分开的触敏表面、或者为由该触敏显示器形成的触敏表面的延伸部。

在一些实施方案中，可使用在用户的设备上执行的应用程序来执行本文描述的一些或全部操作。电路、逻辑模块、处理器和/或其他部件可被配置为执行本文描述的各种操作。本领域的技术人员应当理解，根据具体实施，可通过特定部件的设计、设置、互连、和/或编程来完成此类配置，并且再次根据具体实施，所配置的部件可针对不同操作为可重新配置的或不是可重新配置的。例如，可通过提供适当的可执行代码来配置可编程处理器；可通过适当地连接逻辑门和其他电路元件来配置专用逻辑电路；等等。

在本专利申请中所描述的任何软件部件或功能可被实现为由处理器执行的软件代码，该处理器使用任何合适的计算机语言，诸如例如Java、C、C++、C#、Objective-C、Swift、或使用例如常规的或面向对象的技术的脚本语言诸如Perl或Python。软件代码可作为一系列指令或命令而被存储在计算机可读介质上，以实现存储和/或传输。适当的非暂态计算机可读介质可包括随机存取存储器(RAM)、只读存储器(ROM)、磁介质(诸如硬盘驱动器或软盘)、或光学介质(诸如光盘(CD)或DVD(数字多用盘))、闪存存储器等。计算机可读介质可为此类存储设备或传输设备的任何组合。

可在各种计算机可读存储介质上对结合本公开的各种特征的计算机程序进行编码；适当介质包括磁盘或磁带、光学存储介质，诸如光盘(CD)或DVD(数字多用盘)、闪存存储器等。编码有程序代码的计算机可读存储介质可与兼容设备一起被封装或从其他设备单独被提供。此外，可经由符合多种协议的有线光学和/或无线网络(包括互联网)来编码和传输程序代码，从而允许例如经由互联网下载进行分发。任何此类计算机可读介质可驻留在或位于单个计算机产品(例如，固态驱动器、硬盘驱动器、CD或整个计算机系统)内，并且可存在于或位于系统或网络内的不同计算机产品内。计算机系统可包括监视器、打印机或用于将本文所提及的任何结果提供给用户的其他合适的显示器。

除非明确地做出相反指示，否则对“一个”、“一种”或“该”的表述旨在表示“一个或多个”。除非明确地做出相反指示，否则对“或”的使用旨在表示“包容性或”而不是“排他性或”。提及“第一”元件并不一定要求提供第二元件。此外，除非明确表述，否则提及“第一”或“第二”元件不会将所引用的元件限制到特定位置。

出于所有目的，本文提及的所有专利、专利申请、公开和说明书均以全文引用方式并入本文。不承认任何文献为现有技术。

在上述描述中，为了解释的目的，所使用的特定命名提供对所述实施方案的彻底理解。然而，对于本领域的技术人员而言将显而易见的是，实践所述实施方案不需要这些具体细节。因此，出于例示和描述的目的，提供了对本文所述的具体实施方案的上述描述。它们并非为穷举性的或将实施方案限制到所公开的精确形式。根据以上教导内容，很多修改形式和变型形式为可能的。

Claims

1.一种移动设备，包括：

显示器；

物理相机，所述物理相机与所述显示器可通信地耦接；

处理器；和

耦接至所述处理器的存储器，所述存储器存储指令，所述指令当由所述处理器执行时使所述移动设备执行操作，所述操作包括：

在所述显示器上显示地图视图，所述地图视图包括与地图内的从虚拟相机的初始虚拟位置开始的位置对应的一组地图对象；

接收指定使用所述物理相机的3D模式的用户输入；

响应于所述用户输入，使用所述物理相机来捕获所述移动设备所在的物理环境的一个或多个第一图像；

使用所述一个或多个第一图像来确定所述物理相机在所述物理环境中的初始位置；

指定所述地图的一组3D对象的相对于所述物理相机的所述初始位置的一组物理位置，所述一组3D对象对应于所述一组地图对象；

在所述移动设备的移动之后，使用所述物理相机来捕获所述移动设备所在的所述物理环境的一个或多个第二图像；

基于所述一个或多个第二图像来确定所述物理相机的相对于所述初始位置的当前物理位置；

基于所述物理相机的所述当前物理位置来确定所述虚拟相机的更新虚拟位置；

基于所述虚拟相机的所述更新虚拟位置来呈现所述一组3D对象的地图图像；以及

在所述显示器上显示所述地图图像。

2.根据权利要求1所述的移动设备，还包括：

一个或多个传感器，其中基于来自所述一个或多个传感器的一个或多个测量值来进一步确定所述相机的所述当前物理位置。

3.根据权利要求2所述的移动设备，其中所述一个或多个传感器包括以下中的至少一者：加速度计、陀螺仪和罗盘。

4.根据权利要求1所述的移动设备，其中当接收到所述用户输入时，所述初始位置对应于所述物理相机的物理位置。

5.根据权利要求1所述的移动设备，其中所述一组3D对象的所述一组物理位置被指定在与所述移动设备的默认位置处。

6.根据权利要求1所述的移动设备，还包括：

取向传感器，并且其中所述操作还包括：

使用所述取向传感器来确定所述物理相机的所述初始位置和所述物理相机的所述当前物理位置之间的角度变化；

使用所述角度变化来确定所述更新虚拟位置，从而旋转所述虚拟相机。

7.根据权利要求1所述的移动设备，其中所述操作还包括：

将所述一个或多个第一图像与所述一个或多个第二图像进行比较，以确定相对于所述物理相机的所述初始位置的移动矢量，

其中基于所述物理相机的所述当前物理位置来确定所述虚拟相机的所述更新虚拟位置包括：

将所述移动矢量应用于所述虚拟相机的所述初始虚拟位置。

8.根据权利要求7所述的移动设备，其中基于所述相机的所述当前物理位置来确定所述虚拟相机的所述更新虚拟位置还包括：

在将所述移动矢量应用于所述虚拟相机的所述初始虚拟位置之前缩放所述移动矢量。

9.根据权利要求1所述的移动设备，其中在所述显示器上显示所述地图图像包括将所述地图图像叠加到从所述物理相机获取的所述一个或多个第二图像上。

10.一种在移动设备的显示器上提供地图的视图的方法，所述方法包括由具有与所述显示器可通信地耦接的物理相机的所述移动设备来执行以下操作：

在所述显示器上显示地图视图，所述地图视图包括与所述地图内的从虚拟相机的初始虚拟位置开始的位置对应的一组地图对象；

接收指定使用所述物理相机的3D模式的用户输入；

指定所述地图的一组3D对象的相对于所述初始位置的一组物理位置，所述一组3D对象对应于所述一组地图对象；

在所述显示器上显示所述地图图像。

11.根据权利要求10所述的方法，其中基于来自所述移动设备的所述一个或多个传感器的一个或多个测量值来进一步确定所述相机的所述当前物理位置。

12.根据权利要求11所述的方法，其中所述一个或多个传感器包括以下中的至少一者：加速度计、陀螺仪和罗盘。

13.根据权利要求10所述的方法，其中当接收到所述用户输入时，所述初始位置对应于所述物理相机的物理位置。

14.根据权利要求10所述的方法，其中所述一组3D对象的所述一组物理位置从所述移动设备被指定在默认位置处。

15.根据权利要求10所述的方法，还包括：

使用所述移动设备的取向传感器来确定所述物理相机的所述初始位置和所述物理相机的所述当前物理位置之间的角度变化。

16.根据权利要求10所述的方法，还包括：

其中基于所述物理相机的所述当前物理位置来确定所述虚拟相机的所述更新虚拟位置包括将所述移动矢量应用于所述虚拟相机的所述初始虚拟位置。

17.根据权利要求16所述的方法，其中基于所述相机的所述当前物理位置来确定所述虚拟相机的所述更新虚拟位置还包括在将所述移动矢量应用于所述虚拟相机的所述初始虚拟位置之前缩放所述移动矢量。

18.根据权利要求10所述的方法，其中在所述显示器上显示所述地图图像包括将所述地图图像叠加到从所述物理相机获取的所述一个或多个第二图像上。

19.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储指令，所述指令当由一个或多个处理器执行时使所述一个或多个处理器执行根据权利要求10-18中任一项所述的方法的操作。

20.一种在移动设备的显示器上提供地图的视图的装置，包括用于执行根据权利要求10-18中任一项所述的方法的操作的单元。