CN107430498B - 扩展照片的视场 - Google Patents

Abstract

本公开的方面涉及生成图像(310)和具有更宽的视场的另一个图像(440)的复合图像(600)。在选择图像之后，可以识别在所述图像中的视觉特征(701)。可以根据在所述图像中的视觉特征与更大的图像的视觉特征的比较来选择具有比相机捕获的图像(310)更宽的视场的若干图像(420、440、460)，诸如全景。所述图像(310)可以与所述更大的图像中的每个图像进行对准(706)，并且可以生成这些较小‑较大图像对中的至少一个以作为复合图像(600)。

Description

扩展照片的视场

相关申请的交叉引用

本申请是于2015年3月27日提交的美国专利申请No.14/671,051号的继续申请，该申请的公开内容通过引用的方式全部并入本文。

背景技术

通过日常相机拍摄的照片具有有限的视场。通常，典型的相机捕获的图像的视场比人眼的视场更小。另一方面，全景的视场通常更宽。例如，全景可以捕获比人眼的视场更大的视场，例如，180°或者更大。一些全景图像可以捕获环绕投影中心的整个360°。

发明内容

本公开的方面提供了一种方法，该方法包括：通过一个或者多个计算设备接收对第一图像的扩展视场的请求；通过一个或者多个计算设备识别在第一图像中的视觉特征；利用一个或者多个计算设备比较在第一图像中的视觉特征与更大的视场的一个或者多个第二图像中的视觉特征；通过一个或者多个计算设备至少部分地基于视觉特征的比较来选择第二图像中的一个或者多个第二图像；以及通过一个或者多个计算设备确定第一图像与所选择的一个或者多个第二图像中的每个第二图像的对准信息。

在一个示例中，第二图像是全景图像。在另一个示例中，该方法还包括：通过计算第一图像的变换来确定第一图像与一个或者多个第二图像中的每个第二图像的对准信息。在该示例中，该方法还可以包括：将根据所计算的变换的对准信息发送至客户端设备以生成一个或者多个复合图像或者将第一图像与一个或者多个第二图像一起渲染。

在另一个示例中，该方法还包括：使用第一图像和所选择的第二图像中的至少一个第二图像来生成一个或者多个复合图像，并且将该一个或者多个复合图像发送至客户端计算设备以供显示。在该示例中，该方法还可以包括：通过计算第一图像与一个或者多个第二图像中的每个第二图像的每个对准的对准分值来生成一个或者多个复合图像，并且基于该对准分值来选择一个或者多个第二图像中的一个。而且，在该示例中，该方法还可以包括：通过将一个或者多个样式选项应用于该一个或者多个复合图像来生成一个或者多个复合图像。在该示例中，该一个或者多个样式选项可以包括：将第一图像融合至第二图像中、在第一图像下添加垂投阴影、和/或将边框添加至第一图像。

本公开的其它方面提供了一种用于确定第一图像与至少一个第二图像的对准信息的系统，该系统包括一个或者多个计算设备，该计算设备被配置为进行以下操作：接收对第一图像的扩展视场的请求；识别在第一图像中的视觉特征；比较在第一图像中的视觉特征与更宽视场的一个或者多个第二图像中的视觉特征；至少部分地基于视觉的比较来选择第二图像中的一个或者多个；以及确定第一图像与所选择的一个或者多个第二图像中的每个第二图像的对准信息。

在一个示例中，第二图像是全景图像。在另一个示例中，一个或者多个计算设备还被配置为通过计算第一图像的变换来确定第一图像与所选择的一个或者多个第二图像中的每个第二图像的对准信息。在该示例中，一个或者多个计算设备还可以将根据所计算的变换的对准指令发送至客户端设备以生成复合图像或者将该第一图像与一个或者多个第二图像一起渲染。

在另一个示例中，一个或者多个计算设备还配置为通过使用第一图像和所选择的一个或者多个第二图像中的至少一个第二图像来生成一个或者多个复合图像，并且将该一个或者多个复合图像发送至客户端计算设备以供显示。在该示例中，一个或者多个计算设备还被配置为基于每个对准的质量来计算第一图像与所选择的一个或者多个第二图像中的每个第二图像的每个对准的对准分值，并且基于该对准分值来选择所选择的一个或者多个第二图像中的一个第二图像。而且在该示例中，一个或者多个计算设备还被配置为将一个或者多个样式选项应用于一个或者多个复合图像。在该示例中，该一个或者多个样式选项可以包括：将第一图像融合至第二图像中、在第一图像下添加垂投阴影、和/或将边框添加至第一图像。

本公开的进一步的方面提供了一种存储指令的非暂时性计算机可读介质，该指令在由一个或者多个计算设备执行时致使该一个或者多个计算设备执行用于生成一个或者多个复合图像的方法，该方法包括：接收对第一图像的扩展视场的请求；识别在图像中的视觉特征；比较在该第一图像中的视觉特征与更宽视场的一个或者多个第二图像中的视觉特征；基于视觉特征的比较来选择第二图像中的一个或者多个第二图像；确定第一图像与所选择的一个或者多个第二图像中的每个第二图像的对准信息；以及使用第一图像和所选择的一个或者多个第二图像中的至少一个第二图像来生成该一个或者多个复合图像。

在一个示例中，该方法还包括通过计算第一图像的变换来对准第一图像与所选择的一个或者多个第二图像中的每个第二图像。图像的变换包括以下中的至少一个：平移、旋转、修改焦距、应用单应性、和缩放。

在另一个示例中，生成一个或者多个复合图像的方法还包括：基于每个对准的质量来计算第一图像与所选择的一个或者多个第二图像中的每个第二图像的每个对准的对准分值，并且基于该对准分值来选择所选择的一个或者多个第二图像中的一个第二图像。

在又一个示例中，该方法还包括：存储与对应的位置相关联的一个或者多个复合图像；以及从存储器检索复合图像中的至少一个复合图像以用于向客户端设备进行显示。

附图说明

图1是根据本公开的方面的示例系统的功能图。

图2是图1的示例系统的直观图。

图3是具有小视场的图像的示例。

图4A-C是相对于图3中的图像具有更大视场的一组全景图像的示例。

图5是根据本公开的各个方面的图3的图像和图4B的全景图像的可能的对准的示例。

图6是根据本公开的一个方面的复合图像的示例。

图7是根据本公开的方面的示例方法的流程图。

具体实施方式

概述

本技术涉及创建复合图像，该复合图像包括第一图像和具有比该第一图像更宽的视场的第二图像(例如，全景图像)。在这方面，用户可能能够查看在对应的第二图像中可见的第一图像的周围，由此扩展第一图像的原始视场。另外，用户可以导航对应的第二图像来查看周围区域。为了提供这样的复合，可以通过使用与图像相关联的位置信息和图像的检测到的特征来将第一图像与对应的第二图像匹配。可以将这些图像视为较小-较大图像对。

为了创建在它们紧邻周围的场境(context)中查看图像的效果，可以通过计算并且执行变换以将第一图像的检测到的特征与第二图像中的对应特征对准来将第一图像与对应的第二图像对准。可以计算每个较小-较大图像对的对准分值来确定该对是否是可接受的复合图像。可以将具有最高对准分值的较小-较大图像对呈现给用户和/或存储以供将来查看。

在一个示例用例中，用户图像(例如，用户使用相机或者电话拍摄的图片)——此处为示例第一图像——可以通过将用户图像中的视觉特征与一个或者多个全景——此处为示例第二图像——的视觉特征进行匹配来扩展该用户图像的视场。可以将用户图像与全景对准，并且可能地将用户图像与全景变换以匹配它们的视觉特征。

为了生成给定第一图像与具有更宽视场的图像的复合图像，可以访问第一图像。例如，第一图像可以包括风景、地标、建筑、房间等。可以将第一图像的图像文件与其它信息相关联，诸如，可以用于检索第一图像的图像标识符、创建该图像的时间、查看第一图像的角度、图像格式、和位置信息。然后可以对第一图像进行处理来识别该图像中的视觉特征。视觉特征可以包括线、形状、图案等、以及那些线、形状、和图案在该图像中的布置。

在对第一图像进行处理之后，可以检索具有与第一图像类似的视觉特征的多个第二图像。这些第二图像可以是具有比第一图像更宽的视场的图像；因此，这些第二图像看起来描绘更大的区域。例如，诸如数据库或者其它这样的储存器的存储系统可以包含诸如具有比第一图像更宽的视场的全景的图像。可以针对与第一图像的视觉特征的相似性来分析存储系统的这些图像的视觉特征。如果存储系统的给定图像的视觉特征与第一图像的那些视觉特征在一定程度上匹配，则可以将给定图像包括在从存储系统检索到的多个第二图像中。

另外或者替选地，与第一图像和存储系统的图像相关联的位置信息可以用于使对具有类似视觉特征的第二图像的搜索缩小范围和/或可以用于过滤搜索结果。此外，检索第二图像可以包括：只搜索存储系统的具有比第一图像更宽的视场的图像或者过滤存储系统的图像以只包括比第一图像更大的图像。

可以将第一图像与多个第二图像中的每个图像对准。这可以通过将第一图像的视觉特征与在第二图像中的每个图像中的对应视觉特征匹配为较小-较大图像对来完成。对准可以由第一图像的变换、第一图像的相对旋转、第一图像的缩放、第一图像的焦距的修改、单应性(homography)、相似性变换、另一个二维(2D)或者三维(3D)变换、或者这些过程的一些组合组成。将第一图像与第二图像对准可以包括计算第一图像的变换。该计算可以多次发生，从而通过每一次计算来完善对准。进一步地，可以基于对准的质量来对于每个较小-较大图像对计算对准分值。由于相机姿态上的较大差别而未能良好对准视觉特征，所以一些较小-较大图像对可能会具有较低的对准分值。

然后可以通过使用具有最高对准分值的较小-较大图像对来创建复合图像。可以将所得到的复合图像发送至客户端计算设备以用于显示或者存储在存储系统中以供将来查看。另外或者替选地，可以将用于将第一图像与更大图像对准的指令发送至客户端计算设备，使得客户端计算设备可以能够生成复合图像或者渲染与更大的图像对准的第一图像以供显示。

在本文中描述的特征可以允许将图像与具有比第一图像更宽的视场的图像——诸如全景——复合，因此在周围环境的场境中显示该图像。用户可以提供用于与具有更宽视场的图像复合的图像并且将所得到的复合图像与其他用户分享或者导航该复合图像来虚拟地重访(revisit)该图像中的区域。具体地，将图像与全景而不是另一个视角(perspective)图像复合可以允许创建有吸引力的复合图像的过程更容易和更稳健(robust)，这是因为全景从具有一致的光照和外观的给定点捕获完整视场。同样，这些特征可以创建复合图像，该复合图像产生扩展图像的视场的效果。

示例系统

图1和图2包括可以实现上面描述的特征的示例系统100。其不应当被认为是对本公开的范围或者在本文中描述的特征的有用性的限制。在该示例中，系统100可以包括计算设备110、120、130、和140、以及存储系统150。计算设备110可以包含一个或者多个处理器112、存储器114、和通常存在于通用计算设备中的其它组件。计算设备110的存储器114可以存储可由处理器112访问的信息，包括可以被处理器112执行的指令116。

存储器还可以包括能够被处理器检索、操纵、或者存储的数据118。存储器可以是能够存储可由处理器访问的信息的任何非暂时性类型的存储器，诸如，硬盘驱动器、存储器卡、ROM、RAM、DVD、CD-ROM、可写存储器(write-capable)、和只读存储器。

指令116可以是待由处理器直接执行的任何指令集——诸如机器码或者由处理器间接执行的人任何指令集——(诸如脚本。在这方面，术语“指令”、“应用”、“步骤”、和“程序”在本文中可以可互换地使用。指令可以按照目标代码格式存储以由处理器直接处理，或者按照任何其它计算设备语言存储，所述其它计算设备语言包括：根据需要被解释或者预先被编译的脚本或者独立源代码模块的集合。下面更详细地解释指令的功能、方法和例程。

根据指令116，可以通过处理器112来检索、存储或者修改数据118。例如，尽管在本文中描述的主题不受任何特定数据结构的限制，但是可以将数据存储在计算机寄存器中、存储在作为具有许多不同的字段和记录的表的关系数据库中、或者存储在XML文档中。还可以将数据格式化成任何计算设备可读的格式，诸如但不限于，二进制值、ASCII或者Unicode。而且，数据可以包括足以识别相关信息的任何信息，诸如数字、描述性文本、专有代码、指针、对其它存储器中——诸如在其它网络位置处——存储的数据的引用、或者被功能用来计算相关数据的信息。

一个或者多个处理器112可以包括任何常规处理器，诸如，市售CPU。替选地，处理器可以是专用组件，诸如，ASIC或者其它基于硬件的处理器。尽管不必要，但是计算设备110可以包括专门硬件组件来更快地或者更有效率地执行特定计算过程，诸如解码视频、将视频帧与图像匹配、使视频畸变、对畸变的视频进行编码等。

尽管图1从功能上将计算设备110的处理器、存储器、和其它元件图示为处于相同的框中，但是处理器、计算机、计算设备、或者存储器可以实际包括可以或者可以不存储在相同的物理壳体内的多个处理器、计算机、计算设备、或者存储器。例如，存储器可以是硬盘驱动器或者位于与计算设备110的壳体不同的壳体中的其它存储介质。因此，对处理器、计算机、计算设备、或者存储器的引用将被理解为包括对可以或者不可以并行地操作的处理器、计算机、计算设备、或者存储器的集合的引用。例如，计算设备110可以包括作为负载均衡式服务器群操作的服务器计算设备。又进一步地，尽管将下面描述的一些功能指示为在具有单个处理器的单个计算设备上发生，但是本文描述的主题的各个方面可以通过例如通过网络160传输信息的多个计算设备来实现。

计算设备110可以处于网络160的各个节点处并且能够与网络160的其它节点直接和间接通信。尽管在图1至图2中只描绘了少数计算设备，但是应当了解，典型的系统可以包括大量的连接的计算设备，其中每个不同的计算设备处于网络160的不同节点处。本文描述的网络160和中间节点可以通过使用各种协议和系统来互连，使得该网络可以是互联网、万维网、特定内联网、广域网、或者本地网络的一部分。该网络可以利用标准通信协议——诸如以太网、WiFi和HTTP、一个或者多个公司专有的协议、和前述的各种组合。尽管如上面提到的在传送或者接收信息时获得了某些优点，但是本文描述的主题的其它方面不受任何特定信息传输方式的限制。

作为一个示例，计算设备110可以包括能够经由网络与存储系统150以及计算设备120、130、和140通信的一个或者多个web服务器。例如，参照图2，服务器计算设备110可以使用网络180来将信息传送至用户——诸如用户220、230、或者240——或者在显示器——诸如计算设备120、130、或者140的显示器122、132、或者142——上将信息呈现给用户。在这方面，计算设备120、130、或者140可以被视为客户端计算设备并且可以执行下面描述的特征中的全部或者一些特征。

客户端计算设备120-140中的每一个可以与服务器计算设备110类似地配置，具有如上面描述的一个或者多个处理器、存储器和指令。每个客户端计算设备120、130、或者140可以是旨在供用户220、250、250使用的个人计算设备，并且具有在与个人计算设备连接时通常使用的所有组件，诸如，中央处理单元(CPU)、存储数据和指令的存储器(例如，RAM和内部硬盘驱动器)、诸如显示器122、132、或者142的显示器(例如，具有屏幕的监视器、触摸屏、投影仪、电视机、或者可操作来显示信息的其它设备)、和用户输入设备124(例如，鼠标、键盘、触摸屏或者麦克风)。客户端计算设备还可以包括用于记录视频流的相机、扬声器、网络接口设备、和用于将这些元件彼此连接的全部组件。

尽管客户端计算设备120、130和140均可以包括全尺寸的个人计算设备，但是替选地，它们可以包括能够通过诸如互联网的网络与服务器无线地交换数据的移动计算设备。仅通过示例方式，客户端计算设备120可以是移动电话、或者能够经由互联网获得信息的设备——诸如支持无线的PDA、平板PC、或者上网本。在另一个示例中，客户端计算设备130可以是头戴式计算系统。作为一个示例，用户可以通过使用小的键盘、键板(keypad)、麦克风、通过使用利用相机的视觉信号、或者触摸屏来输入信息。

存储系统150可以存储图像。这些图像中的至少一些可以是具有有限的视场的图像，诸如，通过自动对焦相机(point-and-shoot camera)捕获的图像。例如，一些其它图像可以是具有比人眼的视场更大——例如180°或者更大的视场的全景图像。如在本文中讨论的，还可以存储生成的复合图像。除了图像之外，存储系统150还可以存储与那些图像相关联的信息，诸如图像标识符、时间戳、姿态信息、图像格式、位置信息(例如地理标记(geotag))、和图像的特征的索引。

与存储器114一样，存储系统150可以是能够存储可由服务器110访问的信息的任何类型的计算机化储存器，诸如硬盘驱动器、存储器卡、ROM、RAM、DVD、CD-ROM、可写存储器、和只读存储器。另外，存储系统150可以包括分布式存储系统，其中数据被存储在可以物理地位于相同的或者不同的地理位置的多个不同存储设备上。存储系统150可以经由网络180连接至计算设备——如在图1中示出，和/或可以直接连接至或者并入计算设备110-140中的任一个计算设备。

示例方法

图3图示了可以用于形成复合图像的给定位置的第一图像。可以访问特定位置的图像。该图像可以通过用户输入接收或者从诸如存储系统150的存储系统检索。这样的图像可以包括风景、地标、建筑、房间、或者任何其它对象。例如，如在图3中示出的，特定位置的图像310可以包括纪念碑312、河流314、地平线316、和树318。图像可以与其它信息相关联，诸如图像标识符、时间戳、包括拍摄该图像的角度的姿态信息、图像格式(JPEG、TIFF等)、和位置信息。位置信息可以包括地理标记或者经纬度坐标。

可以对接收到的或者检索到的图像进行处理以识别在图像中的视觉特征。视觉特征可以包括线、形状、图案等、以及那些线、形状、和图案在该图像中的布置。图像可以与特征的索引相关联，该特征的索引基于在图像中的类型和布局对该图像中的视觉特征进行分类。在图3的示例中，可以关于图像310来识别限定纪念碑312的边缘和侧面、河流314的路径的形状、地平线316的布局、和树318的形状和纹理的视觉特征。

通过比较在第一图像中识别的视觉特征与存储的图像的视觉特征，可以检索具有比第一图像更宽的视场的多个第二图像。在这方面，可以将存储系统150的图像中的至少一些视为全景图像。在存储系统150中的图像还可以与信息相关联，诸如位置信息和视觉特征的索引。可以针对与图像的视觉特征的相似性来分析全景的视觉特征。如果存储系统150的给定图像的视觉特征与第一图像的那些视觉特征在一定程度上匹配，则可以将该给定图像包括在从存储系统检索到的多个第二图像中。

如在图4A、4B、和4C中示出的，从存储系统150检索多个全景420、440、和460以作为对于第一图像310的第二图像，该多个全景420、440、和460也包括纪念碑、河流、地平线、和树的视图。虽然全景420、440、和460包括与图像310相似的特征，但是它们确实在很多方面都与图像310不同。其中一个不同之处是，全景420、440、和460在其更宽的视场中包括在第一图像310的更窄视场中不包括的对象。例如，在全景420中示出的树430和树432在图像310中未出现。而且，全景420、440、和460的姿态和取向与第一图像310的姿态和取向不同，从而致使对象的布局和取向也不同。通过示例方式，来自全景420的河流424显著几乎垂直于地平线426，与位于对角线上的河流314不同。

位置信息还可以用于将多个第二图像的选择缩小到存储系统的在与第一图像的位置的一定地理接近度内的图像。可以用纪念碑的位置或者附近的位置对第一图像310和全景420、440、和460全部进行地理标记。基于位置来对相似图像的选择可以在对视觉特征进行比较之前或者之后进行。由此，在该示例中，基于位置信息和对图像中的特征的分析的组合，可以选择并且检索至少全景420、440、和460以作为第一图像310的第二图像。

另外或者替选地，视觉特征的一个或者多个索引可以用于比较第一图像和存储系统150的图像。可以针对关键特征搜索索引以检索存储系统的图像的子集以供与第一图像进行更加详细地比较。作为另一个替选方案，可以检索存储系统的图像的特定数目的像素，该像素包括存储系统的图像的与第一图像和紧邻周围匹配的部分。例如，如果存储系统的给定图像是从特定点跨越360°视野的全景，则可以检索包括以与第一图像匹配的特定像素为中心环绕180°的像素，而不是整个全景。

可以将第一图像与具有足够相似视觉特征的多个第二图像中的每个第二图像对准。这可以通过变换第一图像以使得该图像的视觉特征与在第二图像中的对应视觉特征相匹配来实现。通过示例方式，图5所示，第一图像310(这里为了清楚以虚线示出)已经放置在全景440(第二图像)中，在该全景中如将第一图像的视觉特征与全景440的那些视觉特征最佳地对准。第一图像310的纪念碑、河流、和树以某些小偏差和差异大体与全景440的纪念碑、河流、和树重叠。

对准可以由以下组成：平移第一图像、旋转第一图像、缩放第一图像、改变第一图像的焦距、将单应性应用于第一图像、对第一图像执行相似性变换、对第一图像执行一些其它的2D或者3D变换、或者相对于第二图像进行这些过程的一些组合。3D变换可以由将第一图像处理为在3D空间中浮动的2D平面组成，因此可以在3D空间中使图像扭曲以最佳地适配在该图像后面的第二图像。将第一图像与第二图像对准还可以包括计算图像的数学变换。该计算可以多次发生或者按阶段发生，从而通过每一次计算来完善该对准。换言之，增量式变换可以通过计算的每一次迭代而变得更小。可以基于所计算的变换来生成对准指令。

对于每个较小-较大图像对(例如，第一图像和对应的第二图像的每个组合)，可以基于对准的质量来计算对准分值。如果在较小-较大图像对中一些视觉特征对准不良，则该对的对准分值将会低于具有更多紧密对准的视觉特征的较小-较大图像对。

如之前提到的，对准不良的特征可能是由较大的姿态或者取向差异导致的。例如，因为相对于全景420和460中的河流的布局而与第一图像310显著差异，所以在图像310与全景420和460之间的对准的对准分值可能低于在第一图像310与全景440之间的对准的对准分值。如果较小-较大图像对的对准分值都不满足特定阈值，则可以显示指示无法创建复合图像的消息。

如果一个或者多个对准分值满足阈值，则可以使用具有最高对准分值的较小-较大图像对来生成复合图像。图6示出了最终复合图像600的示例，其中第一图像310在第二图像(这里是全景440)中处于在第一图像的对准位置处。

可以将一个或者多个样式选项添加至复合图像。选项的一些示例包括：融合第一图像和第二图像、包括第一图像在第二图像上的垂投阴影(drop shadow)、将环绕第一图像的框架或者边框包括在第二图像中、和将一定程度的透明度添加至第一图像以使得第二图像在下方部分地可见。如在图6中示出的，已经将边框添加到第一图像310周围。此外，融合第一图像和更大的图像可以包括：提取出在图像中的前景对象并且通过使用任何数目的融合方法将这些前景对象拼接到该更大的图像中。

另外或者替选地，复合图像还可以包括：关于所描绘的位置的事实，该事实在点击图像的特定区域时被显示；或者，用于在复合图像或者相邻的图像内导航的导航功能。

在生成复合图像之后，可以将创建的图像发送至客户端计算设备以供显示或者存储在诸如存储系统150的存储系统中以供将来检索。例如，参考回图2，用户220、230、或者240可以对所得到的复合图像600进行命名，或者进一步编辑复合图像600并且然后将其保存至存储系统150或者服务器计算机110的存储器或者客户端计算设备120、130、或者140。基于用户输入或者请求，可以检索复合图像600并且将其显示在客户端设备120、130、或者140上。

替选地，可以在图像查看器中将第一图像渲染在更大的图像的顶部而不是将它们拼接在一起以创建复合图像。如果是这种情况，如在图6中示出的，在客户端计算设备120、130、或者140中在全景400的顶部显示图像310，而不创建复合图像600。用户220、230、或者240仍然可以选择在查看图像之后将图像310和全景440保存为单个复合图像600。

图7的流程图700是上面描述的一些方面的示例，可以由客户端计算设备的一个或者多个处理器和/或如上面提到的一个或者多个服务器计算设备来执行所述方面。虽然图7按照特定顺序示出了框，但是可以改变该顺序并且可以同时执行多个操作。而且，可以添加或者省略操作。

在框701中，可以接收对第一图像的扩展视场的请求。该第一图像可以与位置信息和视觉特征的索引相关联。

在框702中，识别第一图像的视觉特征。可以通过访问索引来识别视觉特征，并且视觉特征可以包括线、边缘、纹理、颜色、和其它类型的特性。

在框703中，可以对第一图像的视觉特征与多个第二图像的视觉特征进行比较。第二图像也可以与位置信息和视觉特征的索引相关联。包括在第二图像中的是具有比第一图像更宽的视场的图像，诸如全景。

在框704中，可以基于视觉特征的比较来选择多个第二图像。具体地，可以选择具有更宽的视场的第二图像。多个第二图像可以包括具有与第一图像的那些视觉特征以足够程度匹配的视觉特征的全景，其可以从具有位置信息的各个图像的存储系统中选择。该位置信息以及与第一图像相关联的位置信息也可以用于选择多个第二图像。

在框706中，确定第一图像与多个第二图像中的每一个第二图像的对准信息。这可以包括：相对于多个第二图像中的每一个第二图像来计算图像的变换。另外，可以基于图像的特征和第二图像的特征的对准程度来向第一图像与多个第二图像中的给定第二图像的每个配对指派对准分值。

在框708中，生成第一图像和多个第二图像中的一个第二图像的复合图像。复合图像可以是第一图像与第二图像拼接或者是将第一图像渲染在第二图像的顶部。

上面描述的特征可以创建第一图像和给定位置的第二图像——诸如全景的复合图像。结果是在周围环境的场境中显示的图像。另外，因为第一图像与全景复合，而不是与具有与第一图像的视场相似或者更窄的视场的另一个视角的图像复合，所以创建的效果是扩展了第一图像的视场中的一个。

尽管已经参照特定实施例描述了本文中的发明，但是要理解，这些实施例仅仅是对本发明的原则和应用的说明。因此，要理解，可以对说明性实施例进行多种修改，并且在不脱离如所附权利要求书限定的本发明的精神和范围的情况下可以设想其它布置。

Claims (20)

1.一种用于生成一个或者多个复合图像的方法，包括：

通过一个或者多个处理器接收对第一图像的扩展视场的请求；

通过所述一个或者多个处理器识别在所述第一图像中的视觉特征；

利用所述一个或者多个处理器比较在所述第一图像中的所述视觉特征与在多个第二图像中的视觉特征，所述多个第二图像具有比所述第一图像的视场更宽的视场；

通过所述一个或者多个处理器至少部分地基于视觉特征的所述比较来选择所述多个第二图像的子集；

针对所述子集中的每个给定第二图像，通过所述一个或者多个处理器确定所述第一图像相对于所述第二图像的对准；

针对每个所确定的对准，通过所述一个或者多个处理器确定所确定的对准的对准分值，所述对准分值表示所确定的对准的质量；

通过所述一个或者多个处理器，基于所述对准分值来选择所述子集中的特定第二图像；以及

通过所述一个或者多个处理器，使用所述特定第二图像的所确定的对准来生成复合图像以创建所述第一图像的所述扩展视场，所述复合图像在所述特定第二图像的前景中描绘所述第一图像。

2.根据权利要求1所述的方法，其中，所述第二图像是全景图像。

3.根据权利要求1所述的方法，其中，确定所述子集中的每个给定第二图像的对准进一步包括：计算所述第一图像的变换。

4.根据权利要求3所述的方法，进一步包括：将根据所计算的变换的对准指令发送至发送对所述第一图像的所述扩展视场的所述请求的客户端计算设备，以生成一个或者多个复合图像或者将所述第一图像与所述一个或者多个第二图像一起渲染。

5.根据权利要求1所述的方法，进一步包括：

通过所述一个或者多个处理器发送所述复合图像以供在发送对所述扩展视场的所述请求的客户端计算设备上显示。

6.根据权利要求5所述的方法，其中，生成所述复合图像进一步包括：将一个或者多个样式选项应用于所述复合图像。

7.根据权利要求6所述的方法，其中，所述一个或者多个样式选项包括以下中的至少一个：将所述第一图像融合至所述第二图像中、在所述第一图像下添加垂投阴影、以及将边框添加至所述第一图像。

8.根据权利要求1所述的方法，其中，确定所述特定第二图像的对准包括计算多个变换。

9.根据权利要求8所述的方法，其中，所述多个变换是按阶段来计算的，其中第一阶段中的第一变换是通过在所述第一阶段之后的第一个阶段中的第二变换来完善的。

10.根据权利要求9所述的方法，其中，所述第二变换小于所述第一变换。

11.一种用于确定第一图像与至少一个第二图像的对准信息的系统，所述系统包括一个或者多个计算设备，所述一个或者多个计算设备被配置为：

接收对所述第一图像的扩展视场的请求；

识别在所述第一图像中的视觉特征；

比较在所述第一图像中的所述视觉特征与在多个第二图像中的视觉特征，所述多个第二图像具有比所述第一图像的视场更宽的视场；

至少部分地基于视觉特征的所述比较来选择所述多个第二图像的子集；

针对所述子集中的每个给定第二图像，确定所述第一图像相对于所述第二图像的对准；

针对每个所确定的对准，确定所确定的对准的对准分值，所述对准分值表示所确定的对准的质量；

基于所述对准分值来选择所述子集中的特定第二图像；以及

使用所述特定第二图像的所确定的对准来生成复合图像以创建所述第一图像的所述扩展视场，所述复合图像在所述特定第二图像的前景中描绘所述第一图像。

12.根据权利要求11所述的系统，其中，所述第二图像是全景图像。

13.根据权利要求11所述的系统，其中所述一个或者多个计算设备进一步被配置为：通过计算所述第一图像的变换来确定所述第一图像与第二图像的对准。

14.根据权利要求13所述的系统，其中，所述一个或者多个计算设备进一步被配置为：将根据所计算的变换的对准指令发送至客户端计算设备，以生成复合图像或者将所述第一图像与所述一个或者多个第二图像一起渲染。

15.根据权利要求11所述的系统，其中，所述一个或者多个计算设备进一步被配置为：

发送一个或者多个复合图像以供在发送对所述第一图像的扩展视场的所述请求的客户端设备上显示。

16.根据权利要求15所述的系统，其中，所述一个或者多个计算设备进一步被配置为：将一个或者多个样式选项应用于所述复合图像。

17.根据权利要求16所述的系统，其中，所述一个或者多个样式选项包括以下中的至少一个：将所述第一图像融合至所述第二图像中、在所述第一图像下添加垂投阴影、以及将边框添加至所述第一图像。

18.一种存储指令的非暂时性计算机可读介质，所述指令在由一个或者多个计算设备执行时致使所述一个或者多个计算设备执行用于生成一个或者多个复合图像的方法，所述方法包括：

接收对第一图像的扩展视场的请求；

识别在所述第一图像中的视觉特征；

比较在所述第一图像中的所述视觉特征与在多个第二图像中的视觉特征，所述多个第二图像具有比所述第一图像的视场更宽的视场；

至少部分地基于视觉特征的所述比较来选择所述多个第二图像的子集；

针对所述子集中的每个给定第二图像，确定所述第一图像相对于所述第二图像的对准；

针对每个所确定的对准，基于所确定的对准来确定对准分值，所述对准分值表示所确定的对准的质量；

基于所述对准分值来选择所述子集中的特定第二图像；以及

使用所述特定第二图像的所确定的对准来生成复合图像以创建所述第一图像的所述扩展视场，所述复合图像在所述特定第二图像的前景中描绘所述第一图像。

19.根据权利要求18所述的介质，其中，确定所述第一图像相对于所述第二图像的对准进一步包括：计算所述第一图像的变换，其中，所述第一图像的所述变换包括以下中的至少一个：平移、旋转、修改焦距、应用单应性、和缩放。

20.根据权利要求18所述的介质，进一步包括：

与对应的位置相关联来存储所述复合图像；以及

检索所述复合图像以用于在发送对所述第一图像的所述扩展视场的所述请求的客户端计算设备上显示。

Images