CN108629844A - 导航与兴趣点相关联的视觉数据 - Google Patents

Abstract

本申请涉及导航与兴趣点相关联的视觉数据。提供了一种用于导航影像图形的系统和方法。在一些方面，提供第一图像以供显示，其中该第一图像对应于影像图形内的第一图像节点，其中该影像图形包括对应于来自多种不同影像类型的图像，并且其中该影像图形中的每个图像节点与地理空间数据相关联。接收对该第一图像内的预定区域的选择的指示，其中该预定区域与该第一图像中对应于该影像图形内的第二图像节点的相关联地理空间数据的位置相关联。响应于对该预定区域的选择的指示而提供对应于该第二图像节点的第二图像以供显示。

Description

导航与兴趣点相关联的视觉数据

分案说明

本申请属于申请日为2013年10月8日的中国发明专利申请No.201380063603.X的分案申请。

相关申请的交叉引用

本申请根据35U.S.C§119而要求于2012年10月11日提交的题为“NAVIGATINGVISUAL DATA ASOCIATED WITH A POINT OF INTEREST”的美国临时专利申请序列号61/712729的优先权，其公开内容因此通过引用全文结合于此。

技术领域

该主题技术总体上涉及视觉数据处理，尤其涉及导航与兴趣点相关联的视觉数据。

背景技术

兴趣点(例如，地标、建筑物或自然景观)的图像能够在互联网上或者各种数据存储中获得。该图像可以包括不同类型的影像(例如，街景全貌、航空图像、卫星图像、来自照片分享服务的用户图像或者来自视频的图像)，以及具有相同类型的不同影像集合。然而，这些兴趣点的不同类型的影像经常是分离的并且彼此之间并无联系。作为结果，客户端计算设备的终端用户可能能够经由该客户端计算设备观看兴趣点的多个视图，但是却难以在影像的不同集合之间进行导航并且理解不同影像集合内的具体兴趣点的图像(例如，帝国大厦的街景图像以及帝国大厦的用户图像)在三维空间中是互相关联的。如之前所阐述的，可能需要一种用于组合包括与具体兴趣点相关联的视觉数据的多个影像集合并在它们之间进行导航的新的方法。

发明内容

所公开的主题涉及一种用于导航影像图形的计算机实施的方法。该方法包括提供第一图像以供显示，其中该第一图像对应于影像图形内的第一图像节点，其中该影像图形包括对应于来自多种不同影像类型的图像，并且其中该影像图形中的每个图像节点与地理空间数据相关联。该方法包括接收对该第一图像内的预定区域的选择的指示，其中该预定区域与该第一图像中对应于与该影像图形内的第二图像节点相关联的地理空间数据的位置相关联。该方法包括响应于对该预定区域的选择的指示而提供对应于该第二图像节点的第二图像以供显示。

所公开的主题进一步涉及一种计算机可读介质。该计算机可读介质包括指令，该指令当被一个或多个计算机所执行时，使得该一个或多个计算机实施一种用于提供图像以供显示的方法。该指令包括用于提供第一图像以供显示的代码，其中该第一图像对应于影像图形内的第一图像节点，其中该影像图形包括多个图像节点，并且其中该影像图形中的每个图像节点与地理空间数据相关联。该指令包括用于接收对该第一图像内的一个或多个像素进行选择的指示的代码，其中该一个或多个像素与该第一图像中对应于与该影像图形内的第二图像节点相关联的地理空间数据的位置相关联。该指令包括用于响应于对该一个或多个像素进行选择的指示而提供对应于该第二图像节点的第二图像以供显示的代码。

所公开的主题进一步涉及一种系统。该系统包括一个或多个处理器。该系统还包括存储器。该存储器包括一个或多个表示统一影像图形的数据结构。该统一影像图形包括对应于来自多种不同影像类型的图像的图像节点，其中该统一影像图形中的每个图像节点与地理位置、视点方位和视场相关联。该存储器包括指令。该指令包括用于提供第一图像以供显示的代码，其中该第一图像对应于该统一影像图形内的第一图像节点，并且其中该第一图像具有第一影像类型。该指令包括用于接收对该第一图像内的预定区域的选择的指示的代码，其中该预定区域与该第一图像中对应于该统一影像图形内的第二图像节点的相关联地理位置、视点方位或视场的位置相关联。该指令包括用于响应于对该预定区域的选择的指示而提供对应于该第二图像节点的第二图像以供显示的代码，其中该第二图像具有不同于该第一影像类型的第二影像类型。

所要理解的是，主题技术的其它配置将通过以下具体实施方式而对于本领域技术人员成为显而易见的，其中该主题技术的各种配置通过图示被示出并描述。如将会意识到的，该主题技术支持其它且不同的配置并且其若干细节能够在各个其它方面进行修改，所有这些都并不背离该主题技术的范围。因此，附图和具体实施方式在本质上要被视为是说明性而非限制性的。

附图说明

该主题技术的某些特征在所附权利要求中给出。然而，出于解释的目的，在以下附图中给出了所公开主题的若干方面。

图1图示了被配置为导航与兴趣点相关联的视觉数据的系统的示例。

图2更为详细地图示了图1的数据存储的示例。

图3更为详细地图示了图1的服务器的示例。

图4图示了可以通过其对与兴趣点相关联的视觉数据进行导航的示例处理。

图5A-5B图示了与兴趣点相关联的示例视觉数据。

图6图示了示例的影像图形。

图7A-7F图示了与兴趣点相关联的视觉数据内的示例点击目标。

图8在概念上图示了该主题技术的一些方面可以利用其得以实施的示例电子系统。

具体实施方式

以下所给出的具体实施方式意在作为对主题技术的各种配置的描述而并非意在表示该主题技术可以进行实践的仅有配置。附图被结合于此并且构成该具体实施方式的一部分。该具体实施方式出于提供对主题技术的全面理解的目的而包括具体细节。然而，显而易见的是，该主题技术并不局限于这里所给出的具体细节并且可以在没有这些具体细节的情况下进行实践。在一些情况下，结构和组件以框图形式示出以免对主题技术的概念造成混淆。

该主题技术涉及导航与兴趣点相关联的视觉数据。在一种示例实施方式中，服务器提供该兴趣点的第一图像以便在客户端计算设备处进行显示。该第一图像对应于影像图形内的图像节点。该第一图像包括一个或多个兴趣点(例如，华盛顿特区的国会大厦或者华盛顿纪念碑)。该第一图像可以是第一影像集合(例如，街景图像)中的成员。该服务器接收对该第一图像内的兴趣点进行选择的指示。例如，客户端计算设备的终端用户可以在兴趣点的一个或多个像素上进行点击。响应于对该兴趣点(例如，在国会大厦的墙壁上)进行选择的指示，该服务器从该影像图形内与该兴趣点相关联的图像节点中选择第二图像节点。该第二图像节点可以对应于该兴趣点的图像，例如从对应于第一图像上的该终端用户选择该兴趣点(例如，国会大厦的墙壁)的位置的视点所拍摄的图像。对应于该第二图像节点的图像可以是不同于该第一影像集合的第二影像集合(例如，来自照片分享服务的用户图像)的成员。

在一些方面，该影像图形包括来自多个影像集合(例如，具有例如包括社交网络服务内的公开图像、地图服务内的图像、照片分享服务内的公开图像、来自基于web的百科全书的图像等源的影像集合)的不同类型的图像(例如，街景全貌、航空图像、卫星图像、来自照片分享服务的用户图像或者来自视频的图像)。该影像图形内的每个图像与一个图像节点相关联。该图像节点在该影像图形内基于所关联的该图像的地理位置数据以及关联于该图像的位姿信息(例如，位置、方位或视场)进行联系。然而，位姿信息可能对于影像图形中的一些图像不可用。

有利地，在主题技术的一些实施方式中，用户能够更为容易地导航来自多个影像集合的兴趣点的视觉数据(例如，街景全貌、航空图像、卫星图像、来自照片分享服务的用户图像或者来自视频的图像)并且与之进行交互。用户导航基于该兴趣点的三维特性，从而用户能够使得其自己熟悉该兴趣点的三维特性，以及该三维特性如何与该影像集合内的图像相关。

图1图示了被配置为导航与兴趣点相关联的视觉数据的系统100的示例。如所示出的，系统100包括数据存储110、服务器120和客户端计算设备130。数据存储110、服务器120和客户端计算设备130可以被配置为经由网络140互相进行通信。网络140可以包括互联网、企业内部网、局域网、广域网、有线网络、无线网络或者虚拟私人网络(VPN)。

数据存储110可以存储包括一个或多个兴趣点的图像的一个或多个影像图形。该图像可以来自于多个影像集合(例如，街景全貌、航空图像、卫星图像、来自照片分享服务的用户图像或者来自视频的图像)。数据存储110可以包括单台机器、多台机器、单处理器系统或者多处理器系统。以下结合图2更为详细地对数据存储110的一个示例进行描述。

服务器120可以包括用于对存储在数据存储110或其它源内的与兴趣点相关联的视觉数据进行导航的模块。服务器120可以被实施为具有单个处理器的单台机器、多处理器机器，或者包括具有多个处理器的多台机器的服务器群。以下结合图3更为详细地对服务器120的一个示例进行描述。

客户端计算设备130可以是膝上计算机、台式计算机、移动电话、个人数字助理(PDA)、平板计算机、笔记本、具有嵌入其中或与之耦接的一个或多个处理器的电视、物理机器或者虚拟机。客户端计算设备130可以包括键盘、鼠标、显示器或触摸屏中的一个或多个。客户端计算设备130还可以包括被配置为显示网页的web浏览器，该网页被配置为导航与兴趣点相关联的视觉数据，或者包括用于导航与兴趣点相关联的视觉数据的专用应用(例如，移动电话应用或平板计算机应用)。虽然图1中仅图示出一个客户端计算设备130，但是该主题技术可以结合多个客户端计算设备130来实施。

图2更为详细地图示了数据存储110的一个示例。

如所示出的，数据存储110包括处理器202、网络接口204和存储器206。处理器202被配置为执行存储在例如存储器206的计算机可读介质中的计算机指令。处理器202可以是中央处理单元(CPU)。虽然仅图示了一个处理器202，但是数据存储110可以包括多个处理器。网络接口204被配置为允许数据存储110在例如图1的网络140的网络中传送并接收数据。网络接口204可以包括一个或多个网络接口卡(NIC)。存储器206可以存储数据或指令。存储器206可以包括高速缓存存储器单元、储存存储器单元或者任意其它存储器单元。如所示出的，存储器206包括表示影像图形208的数据结构。

虽然影像图形208被图示为在统一影像图形—包括多个组成部分(例如，图像节点210)的单个数据结构—内进行表示，但是可替换地，影像图形208可以使用多个数据结构来表示，其中每个数据结构包括影像图形208中的至少一部分数据。影像图形208包括来自多个影像集合220的图像节点210。影像图形208还包括对应于图像节点210的图像之间的地理空间关系的表示。地理空间关系基于与图像相关联的地理位置数据以及与图像相关联的位姿信息(例如，位置、方位或视场)进行定义。然而，位姿信息可能对于影像图形208中的一些图像不可用。每个影像集合220可以包括一个或多个图像节点210。示例的影像集合220包括街景全貌、航空图像、卫星图像、来自照片分享服务的用户图像或者来自视频的图像。虽然影像集合220被图示为包括一个图像节点210.1，并且影像集合220.2被图示为包括两个图像节点210.2-3，但是该主题技术可以利用包括多个图像节点—例如，50个图像节点、500个图像节点或者5000个图像节点—的影像集合来实施。此外，虽然仅图示了两个影像集合220.1-2，但是该主题技术可以利用任意数量的影像集合来实施。影像集合220可以包括不同类型的图像。例如，一个影像集合220可以包括航空图像和卫星图像，而另一个影像集合则可以包括街景全貌，而且再另一个影像集合可以包括来自照片或视频分享服务的用户图像。

如以上所给出的，除其它之外，统一影像图形可以包括单个数据结构，其包括用于表示来自多个不同图像集合(例如，社交网络服务或另一源中的公开图像、地图服务中的图像、基于web的百科全书中的图像等)的图像的多个组成部分(例如，图像节点210)。统一影像图形可以包括数据结构内的图像，或者该统一影像图形可以包括指向统一影像图形中的图像的链接(例如，统一资源指示符(URI)或者对存储器中的位置的引用)。在一些方面，统一影像图形与具体的地理位置(例如，华盛顿特区的白宫)相关联并且包括来自多个不同图像集合的该地理位置的多个图像。该统一影像图形包括表示图像的节点以及表示图像之间的联系的边(例如，放大或缩小观看角度、将相机位置从一点移动至另一点，等等)。

如以上所给出的，影像图形208(例如，统一影像图形)可以包括来自多个源—例如，社交网络服务或者照片分享服务—的公开图像。在没有接收到来自将图像上传至网络、服务器或数据库集的用户的适当许可的情况下，图像不会被包括在影像图形208中。图像的可视性可以由上传该图像的用户所控制(例如，该用户可以将可视性限制为其在社交网络服务中的社交联系人)。此外，除非接收到来自图像中所描绘的个人的适当许可，否则这个人在图像中的面孔被模糊以保护其隐私。

如所图示的，每个图像节点210包括图像212。图像212例如可以是相机所拍摄的照片、基于三维模型所得出的图像或者来自视频的镜头。在一些方面，该图像与地理位置214、视点方位216和视场218相关联。在一些方面，图像的地理位置214、视点方位216和视场218中的一个或多个不可用。图像在影像图形208中基于其地理位置、视点方位或视场进行组织。地理位置214可以基于图像内的地理标签。地理位置214可以被表示为经纬度或者街道地址。地理位置214可以与准确半径(例如，100米)相耦合。地理位置可以对应于图像的光学中心的精确二维或三维位置。视点方位216可以包括视点所定向的方向。例如，如果照片在相机镜头转向北方时进行拍摄，则视点方位216可以为北方。视点方位216可以被表达为方向(例如，东南)或者角度(例如，北偏东/距正北顺时针135度)。视点方位可以具有三个角度(水平角度、倾斜角度和偏转角度)或者这三个角度中的一个或多个。视场218可以被表达为相机所覆盖的角度，例如照片、相机镜头的左侧或上方边缘与照片的右侧或下方边缘之间的角度。视场可以被表达为角度(例如，45度)或多个角度(例如，左右30度和上下105度)。在一些方面，地理位置、视点方位或视场经由计算机视觉技术而获得。

图3更为详细地图示了服务器120的示例。

如所示出的，服务器120包括处理器302、网络接口304和存储器306。处理器302被配置为执行存储在例如存储器306的计算机可读介质中的计算机指令。处理器302可以是中央处理单元(CPU)。虽然仅图示了一个处理器302，但是服务器120可以包括多个处理器。此外，虽然服务器120被图示为单台机器，但是服务器120可以包括例如服务器群内的多台机器。网络接口304被配置为允许服务器120在例如图1的网络140的网络中传送并接收数据。网络接口304可以包括一个或多个网络接口卡(NIC)。存储器306可以存储数据或指令。存储器306可以包括高速缓存存储器单元、储存存储器单元或者任意其它存储器单元。如所图示的，存储器306包括服务器侧影像提供器模块308。

服务器侧影像提供器模块308被配置为导航与兴趣点相关联的视觉数据。服务器侧影像提供器模块308包括用于提供第一图像(例如，图像212.1)以供显示的指令。该第一图像对应于影像图形(例如，影像图形208)内的图像节点(例如，图像节点210.1)。该第一图像包括一个或多个兴趣点(例如，国会大厦和华盛顿纪念碑)。服务器侧影像提供器模块308还包括用于接收对第一图像内的预定区域的选择的指示(例如，该预定区域上的鼠标点击)的指令。该预定区域与第一图像中对应于与第二图像节点相关联的地理空间数据(例如，地理位置、视点位置或视点方位)的位置相关联。服务器侧影像提供器模块308还包括用于响应于对该预定区域进行的所指示的选择而提供对应于第二图像节点的第二图像(例如，图像212.2)以供显示的指令。虽然服务器侧影像提供器模块308在图3中被图示为单个模块，但是服务器侧影像提供器模块308也可以被实施为多个模块，其中该多个模块中的每一个被配置为执行或者提供执行以上所描述的所有或部分指令。

在一些方面，服务器侧影像提供器模块308被配置为与客户端计算设备130上执行的客户端侧影像观看器模块进行交互。例如，对预定区域的选择的指示可以来自于在客户端计算设备130上执行的客户端侧影像观看器模块。第一图像或第二图像可以经由在客户端计算设备130上执行的客户端侧影像观看器模块进行显示。服务器侧影像提供器模块308连同导航控制向客户端侧影像观看器模块提供图像，这允许客户端计算设备130的用户使用该导航控制经由服务器120从数据存储110中选择并接收另外的影像。示例的导航控制在下文中结合图5A-5B和图7A-7F进行讨论。客户端侧影像观看器模块可以是独立应用(例如，移动电话应用、平板计算机应用，或者在膝上或台式计算机上执行的应用)或者应用的组件(例如，浏览器的组件、浏览器应用或浏览器插件)。

图4图示了可以通过其对与兴趣点相关联的视觉数据进行导航的示例处理400。

处理400在步骤410开始，其中服务器(例如，服务器120，通过服务器侧影像提供器模块308的操作)提供第一图像以便在客户端计算设备(例如，客户端计算设备130)上进行显示。第一图像(例如，图像212.1)对应于影像图形(例如，影像图形208)内的图像节点(例如，图像节点210.1)。该影像图形包括来自多种不同图像类型(例如，照片、深度增强图像、全景图像、航空图像、卫星图像或视频图像)的图像以及来自多个不同图像集合(例如，社交网络服务中的公开图像、地图服务中的图像、基于web的百科全书中的图像等)的图像。每个第一图像可以包括一个或多个兴趣点。该影像图形可以包括图像节点。该影像图形中的每个图像节点与图像以及图像节点的地理空间数据数据(例如，地理位置、视点方位或视场)相关联。

影像图形包括多个图像节点。在一些方面，影像图形中的每个图像节点包括对应的图像和对应的地理位置。对应的图像与相对于所描绘的兴趣点的视点位置、视点方位以及视场相关联。如果图像包括具有已知地理位置的兴趣点(例如，白宫具有已知地理位置，该地理位置可以被表示为街道地址或经纬度)并且该图像与地理位置(例如，地理位置标签)相关联，则视点方位可以通过将与该图像相关联的地理位置与该兴趣点的已知地理位置进行比较而确定。例如，如果从已知处于白宫西侧的地理位置拍摄了白宫的照片，则可以确定视点方位为面向东方，朝向白宫。可替换地，该视点方位可以关联于该图像进行存储(例如，存储在该图像的耦接标签中)。在一些方面，影像图形中的图像的地理位置、视点方位或视场经由计算机视觉技术而获得。

在步骤420，服务器接收对第一图像内的区域(例如，一个或多个像素)进行选择的指示。例如，客户端计算设备的终端用户可以在对应于该区域的像素上点击鼠标或者在触摸屏上触摸对应于该区域的像素。该区域可以对应于兴趣点(例如，照片中对自由女神的描绘)的全部或者其一部分。该区域可以对应于图像中的地理空间数据(例如，处于自由女神北侧的一个点可以对应于从北方观看自由女神)。所选择的区域可以对应于点击目标。例如，对应于白宫的前方视图的第一图像可以包括处于对应于移动至白宫的右侧视图的右侧的点击目标(即，指示其能够被选择的区域)，以及处于对应于移动至白宫的内部视图的门处的点击目标。该点击目标可以由三维箭头或者虚线来表示，其指示了由该三维箭头所指向或者处于该虚线之内的区域能够由用户进行选择(例如，利用鼠标点击或者在触摸屏上触摸)。

在一些示例中，点击目标最初可能根本并未进行指示。当用户将光标在点击目标上方进行悬停时，点击目标的指示(例如，三维箭头或虚线)可以显现或者光标可以改变形状(例如，变得更大或者变为三维箭头)以向用户提供点击目标可用的通知。

在步骤430，服务器确定所选择的区域是否与第一图像中对应于与该影像图形中的第二图像节点相关联的地理空间数据的位置相关联。第一图像中对应于与第二图像相关联的地理空间数据的这样的位置可以对应于点击目标。如果是，则处理400继续进行至步骤440。如果否，则处理400返回步骤410。

在步骤440，服务器响应于对该区域的选择而提供对应于第二图像节点的第二图像以供显示。该第二图像节点与第一图像上所选择的区域的位置相关联。例如，如果所选择的区域包括兴趣点的一部分，则第二图像可以是该兴趣点的图像。如果所选择的区域处于兴趣点的东侧，则该第二图像可以是来自该兴趣点东侧的视图。第二图像可以为不同于第一图像的影像类型。例如，第一图像可以是航空图像，而第二图像可以是街景全貌。可替换地，第一图像和第二图像可以为相同的影像类型。

在一些方面，点击目标是用于选择图像上的预定位置的用户界面要素。例如，点击目标可以表示影像图形中能够从当前所显示的图像中进行选择的图像节点。光标当被置于点击目标之一上方时，可以变换为不同于其常规形状的形状(例如，变换为三维箭头或比通常的光标箭头更大的箭头)以向用户传递该光标正在点击目标上方悬停以及与该点击目标相关联的另外图像可用的信息。可替换地，光标在点击目标上方悬停时并不发生变形，并且例如如图7A-7F所示，点击目标经由固定三维箭头或虚线进行表示。

在一个示例中，对应于第一图像节点(例如，图像节点210.1)的第一图像来自于多个影像集合内的第一影像集合(例如，220.1)，并且对应于第二图像节点(例如，图像节点210.2)的第二图像来自于多个影像集合内的第二影像集合(例如，影像集合220.2)。例如，第一图像可以对应于来自卫星成像服务的卫星图像，而第二图像可以对应于来自视频分享服务中的视频的截屏。在步骤440之后，处理400结束。

在一个示例方面，用于实施处理400中的步骤410-440的指令可以存储在计算机的存储器中并且可以由一个或多个计算机来实施。处理400中的步骤410-440可以被串行执行。可替换地，处理400中的步骤410-440中的两个或更多可以被并行执行。

图5A-5B图示了与兴趣点相关联的示例视觉数据500A和500B。

在一个示例方面，图5A的图像500A例如可以响应于搜索国会大厦的图像、华盛顿纪念碑的图像或者华盛顿特区中的地标的图像而被呈现给客户端计算设备的用户。图像500A对应于影像图形(例如，影像图形208)中的图像节点。图像500A可以是航空照片。图像500A可以包括两个兴趣点：国会大厦504A和华盛顿纪念碑506A。用户例如可以通过使用光标502A选择兴趣点504A和506A之一。如图5A所示，该用户处于使用光标502A在国会大厦504A的一侧(例如，前侧)选择国会大厦504A的过程之中，上述光标502A可以与鼠标相关联。在可替换实施方式中，该用户可以通过在触摸屏上利用其手指触摸兴趣点504A或506A来选择兴趣点504A或506A。

响应于用户在国会大厦504A的一侧选择了国会大厦504A，图5B的图像500B可以被呈现给客户端计算设备的用户。服务器可以将用户对国会大厦504A的选择与影像图形中对应于图像500B的图像节点相关联，因为图像500B是来自一个位置的国会大厦的图像，上述位置对应于光标502A在图5A的图像500A中的位置。图像500B可以是用户的照片或街景全貌。如所示出的，图像500B包括来自由光标502A在图5A的图像500A中所选择的国会大厦一侧的国会大厦的视图504B(其对应于国会大厦504A)。

图6图示了示例的影像图形600。

如所示出的，影像图形600指示了兴趣点602(由星形所指示)的位置以及街道604的位置。影像图形600还包括在街道604上所拍摄的街景全貌606、608、610、612、614以及兴趣点602的用户照片616、618、620和622。街道604从东向西延伸并且兴趣点602位于街道604的北侧。

在一个示例方面中，客户端计算设备的用户可以从面向北方的街景全貌610中观看兴趣点602。在看着面向北方的街景全貌610的同时，该用户可能对兴趣点602从右侧(东面)看上去如何感兴趣。因此，用户可以在街景全貌610中选择处于兴趣点602的右侧(东面)的点。作为响应，服务器可以提供从兴趣点602的东侧所拍摄的兴趣点602的用户照片618以供显示。

在另一个示例方面，在观看兴趣点602的面向北方的街景全貌610的同时，用户可能会想要看到兴趣点602的更为详细的或放大的视图。因此，用户可以选择处于兴趣点602上有关其想了解更多细节的点(例如，建筑物的门或窗户、雕像的头部等)。作为响应，服务器可以提供兴趣点602的用户照片620以供显示，该用户照片620包括兴趣点602的更为详细的或放大的视图。

图7A-7F图示了与兴趣点相关联的视觉数据700A、700B、700C、700D、700E和700F内的示例点击目标。

如所示出的，图像700A包括点击目标702A和706A。点击目标702A和706A分别由三维箭头704A和708A所指示。三维箭头704A或708A可以指示要分别响应于用户选择了点击目标702A或706A而进行显示的图像的视点方位。例如，如果选择了点击目标702A，则图像700A中的建筑物的左下方墙壁可以被更为详细地进行显示。如果选择了点击目标706A，则图像700A中的建筑物的右下方墙壁可以被更为详细地进行显示。响应于选择点击目标702A和706A而呈现的图像可以来自相互不同的影像类型和/或来自不同于图像700A的影像类型。该影像类型可以包括照片、深度增强图像、全景图像、航空图像、卫星图像或视频图像。例如，图像700A可以对应于航空照片，而对应于点击目标702A或706A的图像则可以是全景图像或照片。此外，图像700A可以来自于与关联于点击目标702A或706A的图像有所不同的影像集合。与点击目标702A和706A相关联的图像可以来自不同的影像集合。影像集合可以包括来自社交网络服务的公开图像、来自地图服务的图像、基于web的百科全书的图像，等等。如图7A-7F所示，点击目标由三维箭头进行指示。然而，替代三维箭头或者除了其之外，可以使用其它图形来指示点击目标。

图像700B包括分别由三维箭头704B、708B和712B所指示的点击目标702B、706B和710B。三维箭头704B、708B和712B可以分别指示从图像700B到由于选择了点击目标702B、706B或710B而产生的图像的运动方向。例如，由指向前方的箭头708B所指示的点击目标706B可以对应于向前移动。由箭头704B所指示的点击目标702B可以对应于在箭头704B所指示的方向上向前且稍微偏向左移动。指向右侧的箭头712B所指示的点击目标710B可以对应于向右移动。图像700B可以是街景全貌，对应于点击目标702B和710B的图像可以是照片，并且对应于点击目标706B的图像可以是航空图像。

图像700C包括点击目标702C和三维箭头704C。如箭头704和区域702C所指示的，点击目标702C可以对应于兴趣点的放大视图。图像700C可以是街景全貌，而对应于点击目标702C的图像可以是深度增强图像。

图像700D包括点击目标702D和三维箭头704D。三维箭头704D指向建筑物兴趣点，其指示点击目标702D对应于观看该建筑物兴趣点的内部。为了服务器提供该建筑物兴趣点的内部的图像，建筑物的所有人和居用者已经为服务器和数据存储提供了存储这样的图像并且将这样的图像提供给客户端计算设备的用户的适当许可。图像700D可以是深度增强图像，而对应于点击目标702的图像可以是照片。

图像700E包括点击目标702E和点击目标706E，如三维箭头704E所指示的，点击目标702E用于观看图像700E中的场景右侧的场景，而如指向后方的三维箭头708E所指示的，点击目标706E用于观看图像700E中的场景后面的大街场景。图像700E可以来自深度增强图像的集合，而与点击目标702E和706E相关联的图像则可以是存储在社交网络服务内的公开照片或者存储在地图服务内的街景全貌。

图像700F包括房间内的场景。如三维箭头704F所指示的，点击目标702F用于观看左侧相邻房间中的场景。如三维箭头710F所指示的，点击目标712F用于观看右侧相邻房间中的场景。如三维箭头708F所指示的，点击目标706F用于更为详细地观看该房间的天花板。图像700F可以来自不同图像集合或者是与点击目标702F、706F和712F相关联的图像的不同图像类型。

图8在概念上图示了该主题技术的一些实施方式利用其得以实施的电子系统800。例如，数据存储110、服务器120或客户端计算设备130中的一个或多个可以使用电子系统800的布置来实施。电子系统800可以是计算机(例如，移动电话、PDA)或者任意其它种类的电子设备。这样的电子系统包括各种类型的计算机可读媒介以及用于各种其它类型的计算机可读媒体的接口。电子系统800包括总线805、处理单元810、系统存储器815、只读存储器820、持久性存储设备825、输入设备接口830、输出设备接口835和网络接口840。

总线805总体上表示将电子系统800的多个内部设备进行通信连接的所有系统、外部设备和芯片组总线。例如，总线805将处理单元810与只读存储器820、系统存储器815和持久性存储设备825进行连接。

从这些各种存储器单元，处理单元810获取用于执行的指令以及用于处理的数据以便执行该主题技术的处理。处理单元在不同实施方式中可以是单个处理器或多核处理器。

只读存储器(ROM)820存储处理单元810和电子系统的其它模块所需的静态数据和指令。另一方面，持久性存储设备825是读写存储器设备。该设备是即使电子系统800关机时也存储指令和数据的非易失性存储器单元。该主题技术的一些实施方式使用大型存储设备(例如，磁盘或光盘及其对应的盘驱动器)作为持久性存储设备825。

其它实施方式使用可移动存储设备(例如，软盘、闪存及其对应的盘驱动器)作为持久性存储设备825。与持久性存储设备825相同，系统存储器815是读写存储器设备。然而，不同于存储设备825，系统存储器815是易失性读写存储器，诸如随机存取存储器。系统存储器815存储处理器在运行时所需的一些指令和数据。在一些实施方式中，该主题技术的处理被存储在系统存储器815、持久性存储设备825或只读存储器820中。例如，各种存储器单元包括依据一些实施方式的用于导航与兴趣点相关联的视觉数据的指令。从这些各种存储器单元，处理单元810获取用于执行的指令和用于处理的数据以便执行一些实施方式的处理。

总线805还连接至输入和输出设备接口830和835。输入设备接口830使得用户能够针对电子系统传输信息并选择命令。随输入设备接口830使用的输入设备例如包括字母数字键盘和指示设备(所谓的“光标控制设备”)。输出设备接口835例如使得能够对电子系统800所生成的图像进行显示。随输出设备接口835使用的输出设备例如包括打印机和显示设备，例如阴极射线管(CRT)或液晶显示器(LCD)。一些实施方式包括例如触摸屏的同时用作输入和输出设备的设备。

最后，如图8所示，总线805还通过网络接口840将电子系统800耦接至网络(未示出)。以这种方式，电子系统800可以是计算机网络(例如，局域网(“LAN”)、广域网(“WAN”)或企业内部网)或者例如互联网之类的网络的网络的一部分。电子系统800的任意或全部组件都能够结合该主题技术使用。

以上所描述的特征和应用可以被实施为软件处理，其被指定为记录于计算机可读存储介质(也被称作计算机可读介质)上的指令集合。当这些指令被一个或多个处理单元(例如，一个或多个处理器、处理器核心或其它处理单元)所执行时，它们使得处理单元执行该指令中所指示的动作。计算机可读媒介的示例包括但并不局限于CD-ROM、闪存驱动器、RAM芯片、硬盘驱动器、EPROM等。计算机可读媒介并不包括通过无线或有线连接进行输送的载波和电子信号。

在该说明书中，术语“软件”意在包括驻留于只读存储器中的固件或者存储在例如固态驱动器的磁性存储或闪存中的应用，它们能够被读入存储器以便由处理器进行处理。而且，在一些实施方式中，多种软件技术能够被实施为较大程序的子部分而同时保持为不同的软件技术。在一些实施方式中，多种软件技术也能够被实施为单独程序。最后，共同实施这里所描述的软件技术的单独程序的任意组合处于该主题技术的范围之内。在一些实施方式中，当被安装以在一个或多个电子系统上进行操作时，软件程序定义执行和实施该软件程序的操作的一种或多种具体的机器实施方式。

计算机程序(也被称作程序、软件、软件应用、脚本或代码)能够以任意形式的编程语言进行编写，包括编译或解释语言、声明或过程语言，并且其能够以任意形式进行部署，包括作为独立程序或者作为适于在计算环境中使用的模块、组件、子例程、对象或其它单元。计算机程序可以对应于文件系统中的文件，但是并非需要如此。程序能够被存储在保存有其它程序或数据(例如，标记语言文档中所存储的一个或多个脚本)的文件的一部分中，存储在专用于所讨论程序的单个文件中，或者存储在多个协同文件中(例如，存储一个或多个模块、子程序或代码部分的文件)。计算机程序可以被部署为在一台计算机或多台计算机上执行，该多台计算机位于一个地点或者跨多个地点分布并且通过通信网络进行互连。

以上所描述的这些功能能够以数字电路、计算机软件、固件或硬件来实施。该技术能够使用一个或多个计算机程序产品来实施。可编程处理器和计算机可以包括在移动设备中或者被封装为移动设备。处理和逻辑流能够由一个或多个可编程处理器以及一个或多个可编程逻辑电路来执行。通用和专用计算设备和存储设备可以通过通信网络进行互连。

一些实施方式包括电子组件，例如微处理器、在机器可读或计算机可读介质中(可替换地称作计算机可读存储媒介、机器可读媒介或机器可读存储媒介)存储计算机程序指令的存储和存储器。这样的计算机可读媒介的一些示例包括RAM、ROM、只读紧凑盘(CD-ROM)、可记录紧凑盘(CD-R)、可重写紧凑盘(CD-RW)、只读数字多功能盘(例如，DVD-ROM、双层DVD-ROM)、各种可记录/可重写DVD(例如，DVD-RAM、DVD-RW、DVD+RW等)、闪存(例如，SD卡、mini-SD卡、micro-SD卡等)、磁性或固态硬盘驱动器、只读和可记录盘、超致密光盘、任意其它光学或磁性媒介以及软盘。计算机可读媒介能够存储可由至少一个处理单元所执行并且包括用于执行各种操作的指令集合的计算机程序。计算机程序或计算机代码的示例包括例如由编译器所产生的机器代码以及包括由计算机、电子组件或者微处理器使用解释器执行的高级代码的文件。

虽然以上讨论主要涉及到执行软件的微处理器或多核处理器，但是一些实施方式由一个或多个集成电路来执行，例如应用专用集成电路(ASIC)或现场可编程门阵列(FPGA)。在一些实施方式中，这样的集成电路执行存储在电路自身上的指令。

如该说明书以及本申请的任意权利要求中所使用的，术语“计算机”、“服务器”、“处理器”和“存储器”全部是指电子或其它技术设备。这些术语排除了人或人群。出于该说明书的目的，术语显示器或显示意指在电子设备上进行显示。如该说明书以及本申请的任意权利要求中所使用的，术语“计算机可读介质”和“计算机可读媒介”被完全局限于以计算机可读取的形式存储信息的有形的物理对象。这些术语排除了任何的无线信号、有线下载信号和任意其它瞬时信号。

为了提供与用户的交互，该说明书中所描述的主题的实施方式能够在计算机上实施，该计算机具有例如CRT(阴极射线管)或LCD(液晶显示器)监视器的用于向用户显示信息的显示设备以及用户能够通过其向计算机提供输入的键盘和例如鼠标或轨迹球的指示设备。也能够使用其它类型的设备来提供与用户的交互；例如，提供给用户的反馈可以是任意形式的感官反馈，例如视觉反馈、听觉反馈或触觉反馈；并且来自用户的输入能够以任意形式被接收，包括声音、语音或触觉输入。此外，计算机能够通过往来于用户所使用的设备发送和接收文档而与用户进行交互；例如，通过响应于从用户的客户端设备上的web浏览器所接收到的请求而向该web浏览器发送网页。

该说明书中所描述的主题能够在计算系统中实施，该计算系统包括例如作为数据服务器的后端组件，或者包括例如应用服务器的中间件组件，或者包括例如客户端计算机的前端组件，或者一个或多个这样的后端、中间件或前端组件的任意组合，上述客户端计算机具有用户能够通过其而与该说明书所描述的主题的实施方式进行交互的图形用户界面或Web浏览器。该系统的组件能够通过例如通信网络之类的任意形式或介质的数字数据通信进行互连。通信网络的示例包括局域网(“LAN”)和广域网(“WAN”)、互联网络(例如，互联网)以及端对端网络(例如，自组织端对端网络)。

计算系统能够包括客户端和服务器。客户端和服务器通常互相远离并且典型地通过通信网络进行交互。客户端和服务器的关系源自于在相应计算机上运行并且互相具有客户端-服务器关系的计算机程序。在所公开主题的一些方面，服务器(例如，出于向与客户端设备进行交互的用户显示数据以及从该用户接收用户输入的目的)向客户端设备传送数据(例如，HTML页面)。在客户端设备处所生成的数据(例如，用户交互的结果)能够在服务器处从客户端设备进行接收。

所要理解的是，所公开的处理中的步骤的任何具体顺序或层级都是示例方式的说明。基于设计偏好，所要理解的是，处理中的步骤的具体顺序或层级可以重新安排，或者执行所有所图示的步骤。一些步骤可以同时执行。例如，在某些环境中，多任务和并行处理可能是有利的。此外，以上所说明的各个系统组件的划分并不应当被理解为要求这样的划分，并且应当理解的是，所描述的程序组件和系统一般能够共同集成在单个软件产品中或者被封装为多个软件产品。

针对这些方面的各种修改将是轻易显而易见的，并且这里所限定的一般原则可以应用于其它方面。因此，权利要求并非意在被局限于这里所示出的方面，而是要依据与权利要求的语言相一致的完整范围，其中对单数要素的引用并非意在表示“一个且仅一个”，除非特别如此指出，而是表示“一个或多个”。除非以其它方式特别指出，否则术语“一些”是指一个或多个。男性代词(例如，他的)包括女性或中性(例如，她的和它的)，反之亦然。如果存在，标题和副标题仅是为了方便而使用而并非对主题技术加以限制。

例如“方面”的短语并非暗示该方面对于该主题技术而言是必要的或者该方面应用于主题技术的所有配置。涉及一个方面的公开内容可以应用于所有配置或者一种或多种配置。例如方面的短语可以指代一个或多个方面，反之亦然。例如“配置”的短语并非暗示这样的配置对于该主题技术而言是必要的或者这样的配置应用于该主题技术的所有配置。涉及一种配置的公开内容可以应用于所有配置或者一种或多种配置。例如配置的短语可以指代一种或多种配置，反之亦然。

Claims (22)

1.一种用于导航影像图形的计算机实施的方法，所述方法包括：

由一个或多个处理器接收对第一图像内的区域的选择的指示，其中所述区域与所述第一图像中对应于第一地理空间数据的位置相关联；

由所述一个或多个处理器访问包含影像图形的数据存储，所述影像图形包括至少一个影像集合，每个影像集合具有一个或多个图像节点，并且每个图像节点包括与地理位置、视点方位或视场中的一个或多个相关联的图像，其中，所述第一图像对应于所述影像图形内的第一图像节点；

由所述一个或多个处理器基于所述第一地理空间数据和与所述影像图形内的第二图像节点相关联的第二地理空间数据的对比，识别所述第二图像节点；并且

由所述一个或多个处理器响应于接收对所述第一图像内的所述区域的所述选择的所述指示和对所述第二图像节点的所述识别，提供对应于所述第二图像节点的第二图像以供显示。

2.根据权利要求1所述的方法，其中所述影像图形包括所述影像图形的图像之间的地理空间关系的表示并且识别所述第二图像节点进一步基于所述表示。

3.根据权利要求1所述的方法，其中所述第一图像节点和所述第二图像节点被包括在所述影像图形的不同影像集合中。

4.根据权利要求1所述的方法，其中所述影像图形包括单个数据结构，所述单个数据结构包括多个图像节点和表示所述图像之间的联系的边，其中，识别所述图像节点进一步基于所述边中的至少一个边。

5.根据权利要求3所述的方法，其中所述不同影像集合存储包括以下中的至少一个的不同类型的影像：街景全貌、航空图像、卫星图像、来自照片分享服务的用户图像或者来自视频的图像。

6.根据权利要求1所述的方法，进一步包括：

接收光标在所述区域内悬停的指示；并且

响应于所述光标在所述区域内悬停的所述指示而提供所述第二图像可用的指示。

7.根据权利要求6所述的方法，其中所述通知包括所述光标的形状的变换。

8.根据权利要求1所述的方法，其中所述影像图形内的图像是基于它们的相应地理位置、视点方位或视场中的至少一个来组织的。

9.根据权利要求1所述的方法，其中所述影像图形中的给定图像的地理位置是基于所述给定图像内的地理标签。

10.一种用于导航影像图形的系统，所述系统包括一个或多个处理器，所述一个或多个处理器被配置为进行以下操作：

接收对第一图像内的区域的选择的指示，其中所述区域与所述第一图像中对应于第一地理空间数据的位置相关联；

访问包含影像图形的数据存储，所述影像图形包括至少一个影像集合，每个影像集合具有一个或多个图像节点，并且每个图像节点包括与地理位置、视点方位或视场中的一个或多个相关联的图像，其中，所述第一图像对应于所述影像图形内的第一图像节点；

基于所述第一地理空间数据和与所述影像图形内的第二图像节点相关联的第二地理空间数据的对比，识别所述第二图像节点；并且

响应于接收对所述第一图像内的所述区域的所述选择的所述指示和对所述第二图像节点的所述识别，提供对应于所述第二图像节点的第二图像以供显示。

11.根据权利要求10所述的系统，其中所述影像图形包括所述影像图形的图像之间的地理空间关系的表示并且所述一个或多个处理器被配置为进一步基于所述表示来识别所述第二图像节点。

12.根据权利要求10所述的系统，其中所述第一图像节点和所述第二图像节点被包括在所述影像图形的不同影像集合中。

13.根据权利要求10所述的系统，其中所述影像图形包括单个数据结构，所述单个数据结构包括多个图像节点和表示所述图像之间的联系的边，并且所述一个或多个处理器被进一步配置为进一步基于所述边中的至少一个边来识别所述图像节点。

14.根据权利要求10所述的系统，其中所述不同影像集合存储包括以下中的至少一个的不同类型的影像：街景全貌、航空图像、卫星图像、来自照片分享服务的用户图像或者来自视频的图像。

15.根据权利要求10所述的系统，其中所述一个或多个处理器被配置为进行以下操作：

接收光标在所述区域内悬停的指示；并且

响应于所述光标在所述区域内悬停的所述指示而提供所述第二图像可用的指示。

16.根据权利要求15所述的系统，其中所述通知包括所述光标的形状的变换。

17.一种其上存储指令的非暂时性有形计算机可读介质，所述指令在由一个或多个处理器执行时使得所述一个或多个处理器执行用于导航影像图形的方法，所述方法包括：

接收对第一图像内的区域的选择的指示，其中所述区域与所述第一图像中对应于第一地理空间数据的位置相关联；

访问包含影像图形的数据存储，所述影像图形包括至少一个影像集合，每个影像集合具有一个或多个图像节点，并且每个图像节点包括与地理位置、视点方位或视场中的一个或多个相关联的图像，其中，所述第一图像对应于所述影像图形内的第一图像节点；

基于所述第一地理空间数据和与所述影像图形内的第二图像节点相关联的第二地理空间数据的对比，识别所述第二图像节点；并且

响应于接收对所述第一图像内的所述区域的所述选择的所述指示和对所述第二图像节点的所述识别，提供对应于所述第二图像节点的第二图像以供显示。

18.根据权利要求17所述的介质，其中所述影像图形包括所述影像图形的图像之间的地理空间关系的表示并且识别所述第二图像节点进一步基于所述表示。

19.根据权利要求17所述的介质，其中所述第一图像节点和所述第二图像节点被包括在所述影像图形的不同影像集合中。

20.根据权利要求17所述的介质，其中所述影像图形包括单个数据结构，所述单个数据结构包括多个图像节点和表示所述图像之间的联系的边，其中，识别所述图像节点进一步基于所述边中的至少一个边。

21.根据权利要求19所述的介质，其中不同影像集合存储包括以下中的至少一个的不同类型的影像：街景全貌、航空图像、卫星图像、来自照片分享服务的用户图像或者来自视频的图像。

22.根据权利要求17所述的介质，其中所述方法进一步包括：

接收光标在所述区域内悬停的指示；并且

响应于所述光标在所述区域内悬停的所述指示而提供所述第二图像可用的指示。