CN101854560A - 根据相关元数据的数字图像的捕获和显示 - Google Patents

Abstract

公开了多个方法和装置，用于：接收多个图像和与每一个图像分别相关的元数据；确定所述多个图像中一个图像的视点，所述视点表示当捕获该图像时图像捕获设备的位置和方向；以及创建包含所述多个图像的视图，其中，根据每一个图像各自的元数据和所确定的视点来放置这些图像。

Description

根据相关元数据的数字图像的捕获和显示

技术领域

本发明的实施例总体上涉及数字图像，更具体地，涉及根据相关元数据的数字图像的捕获和显示。

背景技术

在数码相机与数字摄影(或照片)之前，人们通常向其他人展示在相册、幻灯片中的她的照片集合，或者是简单地递给其他人一堆照片来回顾。数码相机允许用户拍摄并存储极为大量的个人数字照片。而且，可以一张一张单独地在计算机屏幕上或数字相框中的“数字幻灯片”内显示这些数字照片。

人们可以通过将她的图像上载到网站(例如，

)并将这个上载的集合与其他人共享，来共享她的数字照片集合。然而，用户局限于单独地或者作为“缩略图”集合(即，这些照片的尺寸减小的版本，其允许在显示器设备上同时显示一个或多个图像)来观看这些照片。

然而，数字照片的单独或缩略图形式的显示为观看者提供了关于拍摄照片的人在拍照时的体验的极为有限的感受。

可以以类似的受限的方式上载并共享数字视频数据。另外，常常将数字视频数据的集合汇总为缩略图集合，其中，一个缩略图表示集合中每一个数字视频的单个帧。除了上述的限制之外，缩略图汇总不能向观看者传达与数字视频集合的内容有关的足够信息。

附图说明

以下描述包括对各个附图的论述，附图包含作为本发明实施例的实现方式的实例而给出的图示说明。各个附图应作为实例而不是作为限制来加以考虑。如本文所用的，对一个或多个“实施例”的指代应理解为描述包括在本发明的至少一个实现方式中的特定特征、结构或特性。因此，本文中出现的诸如“在一个实施例中”或“在可替换的实施例中”之类的短语描述了本发明的各个实施例和实现方式，但不一定全都指代相同的实施例。然而，它们也不一定是相互排斥的。

图1是根据本发明的一个实施例的用于渲染并显示图像数据的系统或装置的方框图。

图2是由渲染设备创建的图像集合的视图。

图3是用于根据接收到的图像和元数据来创建视图的过程的一个实施例的流程图。

图4示出了一个视图的实例，该视图包含了在所渲染的视图内的图像集合的“运动”非静止内容。

图5示出了可浸入式3D环境和可以为图像渲染的几个图像显示特征的一个实施例。

图6示出了用于显示所渲染的照片和视频内容的用户界面的一个实施例。

以下是特定细节和实现方式的描述，包括对附图的说明，其可以描绘出下述的一些或全部实施例，并论述了本文提出的发明概念的其他可能的实施例或实现方式。以下提供本发明的实施例的概要，随后是参照附图的更详细说明。

具体实施方式

本发明的实施例涉及数字照片和视频数据的渲染和显示。本发明的实施例可以由渲染和显示过程来表示。

在一个实施例中，渲染设备可以接收多个图像文件和与该多个图像文件相关联的元数据。在下述实施例中，词语“图像”可以用于指代数字照片和数字视频的一个帧。

渲染设备可以创建包含该多个图像文件中每一个的视图，其中，每一个图像文件的放置都基于该图像的内容。每一个图像在该视图内的放置还可以基于与每一个图像相关联的元数据。

诸如Microsoft Photosynth^TM的现有技术的渲染和显示过程使用大的照片集合，并完全根据每一个照片的图像内容来从照片中提取多维度的信息。因为这些过程完全根据每一个照片的图像内容，因此要在视图中显示的照片的内容必须交叠。因此，就从视图中遗漏了与照片集合内的任何其他图像都不交叠的图像。从集合中遗漏照片对于展示并共享她自己的个人照片集合的人来说是一个不可接受的结果。然而，观看照片集合内的冗余信息对于观看者来说是令人厌烦的。例如，由相同背景组成的、每一个图像中具有相当少的变化的几个图像是不会令人感兴趣来观看的。

而且，可以用以存储并组织照片和视频数据的方式在现有技术中是有限的，因为照片和视频数据是以不同的文件格式来存储的。因此，与照片和视频数据的内容相一致地存储并组织所述照片和视频数据是麻烦的。例如，使用用于存储和组织的现有技术的方法，经常不存储和/或组织包含在空间和/或时间上接近的内容的照片和视频，以反映这个接近性。

在一个实施例中，渲染设备接收多个图像及相关的元数据，以创建这些图像的浸入式视图。因为图像是与相关元数据一起被接收的，因此所述渲染设备不必接收大的照片集合，并且所接收的照片的内容也不必交叠。

可以由具有环境和方向感测能力的任何设备或设备集合来捕获图像元数据。与图像文件相关联的元数据可以包括地理信息、磁场信息(例如，磁极方向信息)、空间信息(包括与运动有关的信息一即，加速度和角动量)和时间信息。这些环境和方向感测元数据的任何组合可以可替换地被称为三维(3D)方向元数据。可替换地，可以对该相关像元数据使用其他称谓。例如，可以由地理传感器、加速度计、磁力计和陀螺仪的组合来接收3D方向元数据。

地理信息可以包括照片或图像的内容的信息。地理信息还可以(或者可替换的)包括捕获了要被渲染和显示的每一个照片或视频的一个(或多个)图像捕获设备的地理信息-即，与在图像捕获设备捕获照片或视频时该设备的位置和方向有关的信息。

在一个实施例中，从全球导航卫星系统(例如，全球定位系统)接收地理信息，从磁力计接收磁场信息，而空间和时间信息基于从加速度计(用以测量加速度)和陀螺仪(用以测量角动量)接收的信息。在另一个实施例中，从单个设备接收上述所有信息。

渲染设备可以接收照片和视频数据的集合以及足够的相关元数据，并创建视图来以其整体的方式或作为该集合的汇总来显示这个集合。照片和视频数据文件的文件格式可以不同。而且，视频数据可以包含额外的相关数据(例如，视频数据文件可以包含与视频图像数据一起播放的相应的声音数据)。渲染设备仍可以将照片和视频数据一起进行处理，以创建包含照片和视频数据的视图。例如，可以将视频数据作为多个连续的唯一性图像(即，帧)的集合来进行处理，其中，以类似于单个照片的方式来处理视频的每一帧。

在一个实施例中，将显示创建为浸入式视图。例如，可以将浸入式视图渲染为3D浸入式环境，其中，将图像和/或视频的内容按照与在视频/照片获取过程中它们相对于相机的位置和方向的正确大小成比例的方式进行显示，并且在内容的正确的空间和/或时间环境中显示运动。

通过根据相关元数据来渲染图像内容，可以以多种方式来显示照片和视频。在一个实施例中，根据在集合中的照片和视频之一的获取过程中相机的位置和方向来为观看者建立视点，并且相对于该视点来显示照片和视频集合。在另一个实施例中，分析照片和/或视频集合的内容以检测冗余内容。可以将具有冗余内容的图像缝合在一起，以显示一个交叠了全部冗余内容的图像，从而提供了一个比任意一个单独的照片或视频帧都包含更多内容的图像。

在一个实施例中，创建第一图像的视图，其中，第一图像的放置基于第一图像的相关元数据。还创建第一和第二图像的视图，其中，第一图像在该视图中的放置基于与第一图像相关的元数据，第二图像相对于第一图像的放置基于与第一图像相关的元数据、与第二图像相关的元数据以及第一图像的放置。从而，创建了包含多个图像的相对位置和方向的一个或多个视图，并且如果存在交叠，则可以根据这些图像的内容来细化这些图像在该一个或多个视图内的位置

与运动有关的图像元数据可以用于渲染在显示器上“运动”的对象。在一个实施例中，可以将包含(相对)静止的背景内容的照片集合渲染为背景，并且可以显示运动内容以模拟在背景上的“运动”。

图像元数据可以用于以多种方式组织照片和视频集合。在一个实施例中，作为对照片和/或视频集合进行导航的界面(例如，时间条或位置路径)，来在视图内显示元数据。还可以将元数据包含在用户界面中，以便在该集合的内容的空间和/或时间环境内观看照片或视频集合。

图1是根据本发明的一个实施例的用于渲染并显示图像数据的系统或装置的方框图。系统或装置100可以包括渲染设备103，其可操作地耦合到图像捕获设备102和数据存储设备101。与照片和/或视频有关的额外的元数据也可以包含在图像捕获设备102和数据库101中。渲染设备随后可以传送所渲染的数据以便将其显示在显示器104上。

在一个实施例中，图像捕获设备102、数据存储设备101、渲染设备103和显示器104可以包含在单个装置中。例如，数码相机(102)可以可操作地耦合到安全数字(SD)卡(101)，并包含渲染模块(103)，用以渲染在该数码相机的液晶显示器(LCD)单元上的显示。在另一个实施例中，图像捕获设备102和数据存储设备101是分开的设备，其可以包含将要由渲染设备103渲染的照片和/或视频。图像捕获设备102和数据存储设备101每一个还可以包含与这些照片和/或视频有关的3D方向元数据。

例如，图像捕获设备102可以是能够捕获照片、视频及相关元数据的蜂窝电话相机。当图像捕获设备102本地的存储设备接近容量限制时，图像捕获设备102可以将本地存储设备中的内容传送到外部数据存储设备101。随后可以要求渲染设备103渲染来自图像捕获设备102和数据存储设备101两者的数据。所渲染的视图随后可以被整体发送到显示器104或分段缓存到显示器104，其中根据空间或时间来缓存所渲染的视图。

图2是由渲染设备创建的包含图像集合的视图。图像201、202和203包含交叠的内容。在图2所示的实例中，图像201的内容与图像202的内容交叠。例如，可以不在视图200内显示图像201中与图像202的内容之间具有冗余的内容(标记为附图标记201a)。图像202和203的内容以类似的方式交叠，从而可以不在视图内显示图像202的冗余内容(标记为附图标记202a)。从而，将图像201-203的内容“缝合”在一起并显示为图像206。

在图2所示的实例中，图像204不包含与图像201、202和203的内容交叠的内容。现有技术机制不能够在相对于图像201-203的内容的正确的空间环境中显示图像204的内容。在一个实施例中，从与每一个图像相关联的地理定位元数据导出图像204相对于融合图像206的放置(即，计算在图像204与206之间的间隔205)。至少部分地根据相关元数据来确定视点210，以表示图像捕获设备在视频/照片获取过程中的位置和方向。

在一个实施例中，还从图像201-204的内容中导出视点210。例如，借助GPS单元捕获的地理定位元数据可以仅包含在捕获图像201-204时在图像捕获设备的位置的10米内的精度。而且，GPS数据可能无法准确地报告在捕获图像201-204时图像捕获设备的位置的垂直(例如，3D x，y和z轴250中的y-轴)位置。因此，除了地理定位元数据(及额外的3D方向元数据)之外，还可以使用图像201-204的内容来建立视点210。

图3是用于根据接收到的图像和元数据来创建视图的过程的一个实施例的流程图。本文所示的流程图提供了各个过程操作的顺序的实例。尽管以特定的次序或顺序加以显示，但除非另有说明，否则可以对操作的顺序进行修改。因此，仅应将所示的实现方式理解为实例，并且可以以不同的顺序执行所示的过程，可以并行地执行其中一些操作。另外，在本发明的多个实施例中可以省略其中一个或多个操作；从而在每一个实现方式中并不需要所有的操作。其他过程流程也是可行的。

在301处，渲染设备可以接收第一和第二照片。所述照片可以包含或不包含交叠的内容。在320处，渲染设备还可以接收与第一和第二图像相关联的元数据。在一个实施例中，用于第一和第二图像的元数据必须包含相对于每一个图像的内容的地理定位数据。在303处，根据接收到的图像的内容和接收到的元数据，可以确定视点。视点是在视频/照片获取过程中相机的位置和方向的估计。与图像内容有关的某些因素(例如，在图像捕获过程中图像捕获设备利用变焦镜头)和地理定位元数据(即，地理定位信息的精度级)可能提高或降低所确定的视点的精度。在304处，根据所述视点，在视图内放置第一图像。在305处，在视图内相对于第一图像和视点放置第二图像。在306处，随后创建视图并发送到显示设备。

图4示出了一个视图的实例，其包含了在所渲染的视图内的图像集合的“运动”非静止内容。视图400包含图像401-405的集合。在这个实例中，这些图像全都包含交叠的内容。因此，类似于图2的附图标记206，在视图400中以连续的方式来显示并渲染这些图像。然而，参考这个附图所述的特征不局限于所有图像都包含交叠内容的集合。

图像401-405每一个都包含至少一部分静止内容411(树)、412(树)和413(云)。图像401、402和405分别包含运动的对象410a、410b和410c(飞翔的鸟)。在一个实施例中，根据与每一个图像相关联的相关3D方向元数据，将视图400显示为具有被渲染为“运动”穿过视图400的运动内容。例如，假设由图像捕获设备使用固定在恒定焦距上的变焦镜头在固定位置处捕获图像401-405。在这个实例中，可以仅基于时间元数据来确定对象410a-c的运动时序。然而，如果在图像设备正在运动的情况下捕获图像401-405(例如，在与鸟飞翔的相反的方向上)，并且对于每一个图像都改变了变焦镜头的焦距，则就可以使用额外的诸如地理信息、磁场信息(例如，磁极方向信息)和空间信息(包括与运动有关的信息-即，加速度和角动量)之类的3D方向元数据来确定对象410a-c的运动时序。

在一个实施例中，渲染设备计算运动对象的估计的“飞行路径”420以及与飞行路径420一致的投影对象410a-410c。在另一个实施例中，观看者可以选择关注于对象410a，从而与飞行路径420相一致地移动视图400内的静止内容。

图5示出了可浸入式3D环境和可以使用每一个图像的图像内容和相关元数据为这些图像渲染的几个图像显示特征的实施例。以下借助特定短语或称谓来指代几个特征。可以可替换地将其他称谓用于下述每一个示例性显示特征。

而且，以下被描述为利用“视频内容”的特征也可以利用照片内容。在将视频内容用于说明特征的情况下，本领域技术人员了解视频内容包括多个视频帧，其每一个都类似于照片。因此，在示例性实施例中，论述显示视频数据的下述特征中可以使用照片集合。

特征501是视频/照片全景显示特征，用以渲染图像，以便将每一个像素渲染在其适当的空间位置中。在一个实施例中，通过按照显示从视点可见的每一个像素并去除冗余信息的方式将“连续的”视频帧缝合在一起，来汇总并显示视频内容。关于视频内容，在一个实施例中，可以将连续的视频帧一起缝合到一个全景视图中，以便将视频中可见的每一个像素渲染到其适当的空间位置上。假定存在视频捕获设备的视点的任何运动，则所述全景视图会大于单个视频帧。在一个实施例中，以类似的方式渲染照片全景显示特征，其中，将连续的照片“缝合”在一起。可以以类似于图2所示的实施例(附图标记204和206)的方式显示不连续的照片。

按照视频帧集合进行处理的视频内容产生了相当多的在各个帧之间的冗余内容。可以借助统计技术来过滤图像集合中的冗余信息，该统计技术包括但不限于以下统计测量：计算在多个帧之间保持一致的静止背景、合并冗余信息以减小图像捕获设备(例如，相机)噪声、以及用以将全景图分辨率增大到超出原始分辨率的视频超分辨率。在一个实施例中，将所渲染的视频/照片图像的全景图501显示为包含视频/照片图像内容的平面墙纸样式的全景图。在另一个实施例中，对于每一个视频或照片图像都可以获得3D方向元数据，从而所渲染的内容可以用于创建3D表示，在3D表示中，将该全景图弯曲并映射到3D空间中的平面上。在一个实施例中，该全景图的初始视点是在视频/照片获取过程中相机的位置和方向的估计。

在一个实施例中，在最低图像分辨率下捕获的照片或视频确定了所渲染的全景图的分辨率。在另一个实施例中，可以使用本领域中已知的用于增大照片和视频分辨率的方法来以可能的最高分辨率渲染全景图。

特征502提供了图像内容的额外侧面(例如，反面)的渲染。在一个实施例中，渲染对象的反面允许观看者将她的显示的“视点”移动到内容中对象的相对侧。例如，图像内容的额外侧面的渲染可以允许观看者按照实际建筑物或结构的真实的空间关系来观看建筑物或结构的多个侧面。注意如前所述，这种照片或视频内容不必包含交叠的图像内容-例如，可以使用地理定位元数据来正确地放置适当的图像数据。

特征503提供了在所渲染的全景图内渲染视频或“运动图像”重放，从而显示“全景视频(videorama)”。尽管以下实例利用视频数据来说明该特征，但这个特征可以利用任何类型的“运动”图像渲染(例如，具有鸟410a-c“飞翔”穿过显示器400的图4的示例性实施例)。

如上所述，特征501可以产生视频内容的静止3D空间表示；然而，将所述视频内容作为多个帧的集合进行处理并将它们“缝合”在一起丢失了各个帧的时间关系。特征503可以将视频内容显示为“全景视频”-视频的混合空间-时间显示，其中，在由特征501渲染的视频全景图内渲染随时间变化的信息。这个特征允许在空间和时间上显示同时渲染的信息。在一个实施例中，可以采用重放整个视频(以及对其进行循环)的缺省模式来自动地显示视频数据。在另一个实施例中，可以经由用户界面(例如，在全景图内显示的“时间滑动”条)来控制视频内容。

在一个实施例中，“全景视频”包括：产生在特征501中所述的静止全景图显示，并且以视频内容的帧速率在(由地理定位数据所确定的)全景图内的适当的空间位置处在静止全景图内显示视频内容。这产生了在覆盖视频内容的整个空间范围的全景图内观看视频的效果。这允许观看者在实时关注于“运动”动作的同时，体验到在视频中的不同时刻出现的“静止”内容的虚拟的“周边视觉”。

在另一个实施例中，“全景视频”包括：同时在全景图的各自位置内显示发生在全景图内不同位置处的视频内容。这产生了在整个全景图上的同时动作的效果，其中，“运动”图像的不同位置对应于视频内的不同时间窗口。

在另一个实施例中，如果通过提取静止背景像素来创建静止全景图显示，则就可以借助统计技术来识别对应于运动对象的像素。例如，并非是在全景图内显示整个视频帧，而只是在适当的时间(即，视频的时间上精确的表示)在全景图内显示分段的前景像素，从而在不显示整个视频帧的轮廓的情况下产生单个对象运动穿过全景图的效果。

特征504允许在全景图内的多个区域的照片/视频的对准和显示。这个特征使得观看者能够放大进入特定的全景区域，以显示现有的更高分辨率的照片或视频内容。在一个实施例中，一旦变焦程度超过了全景图分辨率，就通过在视频与照片之间平滑地混合来完成缩放。在另一个实施例中，可以将照片对准并结合到全景图中，以代替在覆盖区域中全景图的以前渲染的部分。

特征505允许根据图像捕获设备的地理位置和3D方向来显示照片和视频内容。可以将多个交叠的照片在几何上对准到一个多个照片的无缝拼接中，并将这些交叠的照片显示在它们的绝对位置和相对方向上。这创建了3D照片全景图，其示出了不同照片中的内容的彼此相对的几何位置。如前在图2中所述的，由于相关元数据(例如，地理定位元数据、额外的3D方向元数据)的原因，这个显示可以在没有交叠数据的情况下以相对少数的照片来实现。

特征506允许在所渲染的视频全景图内同时显示全部视频和照片数据，以创建由所述视频和照片的内容所覆盖的空间信息的无缝3D视图。这允许方便地纵览在特定位置处拍摄的全部照片和视频内容。照片和视频数据可以包含对于每一项或在所渲染的全景图内无缝混合的可见帧。因此，所述所渲染的全景图显示可以包含静止和运动的内容。

特征507利用照片/视频的相关元数据来显示捕获所述照片/视频的图像捕获设备的用户所采取的路径。在一个实施例中，根据连续记录的GPS数据来显示用户所采取的完整路径。在另一个实施例中，显示所估计的路径，并借助图标507a-507c高亮显示GPS事件数据(例如，只有在捕获照片图像时才记录的GPS元数据)。在另一个实施例中，利用所显示的照片/视频的相关3D方向元数据和内容，可以以与捕获相关照片或视频数据的图像捕获设备相同的速度和位置来穿过所显示的路径。

所显示的路径可以用于浏览所渲染的照片/视频集合。在一个实施例中，由特征507产生的显示路径允许观看者通过跟随捕获图像时所沿着的路径或者通过点击路径的图标507a-507c，来浏览照片/视频集合。在一个实施例中，经由所渲染的路径而进行的显示是由用户界面手动控制的。在另一个实施例中，根据相关3D方向元数据来穿过所渲染的路径，并且以基于时间元数据的速度来观看该集合。

特征508允许将由特征503产生的任何渲染的“全景视频”显示在可用的地形数据上。在一个实施例中，地形数据用于显示根据内容的3D拓扑布局而渲染的照片或视频集合。可以根据图像内容和相关3D方向元数据来确定地形数据。除了相关的图像元数据之外，还可以提供地形数据。

特征509允许根据位置和/或时间来对所渲染的图像和视频全景图进行分组，以便于管理和检索大数据集。例如，观看者会希望观看随时间进展而在同一位置处拍摄的全部照片和视频，在此情况下实现了对该位置的密集的空间覆盖。在另一个实施例中，根据时间数据来显示照片和视频，从而根据所渲染的照片和/或视频的捕获时间来为用户显示来自多个位置的全景图。

特征510允许根据3D分割来显示内容。可以利用相关3D方向元数据来渲染图像和照片数据，以产生显示，从而能够例如以3D来显示运动像素，以准确地显示运动内容的空间属性。

除了以上特征之外，还可以用所述照片和视频集合外部的文本、音频和视频信息来扩充图像和视频集合。

图6示出了用于显示根据本发明实施例而渲染的照片和视频内容的用户界面的实施例。用户界面600是所渲染的包含11个照片的集合的摄影显示的实例。根据相关3D方向元数据将照片601-611合并到一个3D视觉图中。照片601-608包含交叠的内容，照片609-611包含交叠的内容。该照片集合的限制在于，存在该照片集合所没有捕获的区域(即，在图像611与601之间的空隙)，因此该显示是不连续的；然而，仍然按照彼此准确的空间关系来放置照片611和601的内容。

如前图5中描述特征507时所提及的，还可以渲染3D方向元数据，以提供用以描述照片是在何处拍摄的以及在何时拍摄这些图片的路径。这个渲染允许观看者跟随着由图像捕获设备的用户所采取的路径或者通过在各个位置之间随机进行切换来浏览该集合，并且还允许观看者按照空间和时间来浏览照片集合。

地图620显示了多个图像中的这个特定子集如何横跨地球上的特定空间位置(图6中，在西班牙拍摄了图像601-611-这由位置点690来表示)。将UI 600内所渲染的视图的视点位置显示为数据640。在时间条680中显示时间元数据。

将其他照片集合汇总到UI 600内的图标621-623内。注意，照片集合601-611由图标630表示，因为所述图标被显示为大于图标621-623。而且，与照片集合601-611相关的信息可以作为信息631显示在UI内。在一个实施例中，使用与元数据相关的图像来显示在该集合中的照片数量、拍摄所述照片的时间跨度以及该照片集合的中间位置。

可以使用用于全部照片集合的元数据来导出照片集合汇总680。所述照片集合汇总向观看者通知在整个集合内的照片数量、所述照片的时间跨度和集合或“群”的数量。

观看者可以选择通过虚拟地在3D空间中飞行，点击集合进行放大和缩小等等，来在各个“群”之间进行转换。在一个实施例中，可以使用该照片集合以外的图像数据(例如，任何可用的地图或地形图像数据)来渲染地图620上与这些“群”的内容不相关的区域。在另一个实施例中，观看者可以选择一个特定的时间跨度，并且UI 600会显示相应的在时间上的多个图像群。在另一个实施例中，结合了空间和时间选项两者。因此，对一个特定时间跨度的关注(例如，在时间条上移动图标)自动地导致导航到空间中适当的位置和区域，并且在地图620的一个区域上的点击导致导航到适当的按时间排序的群。

除了提供用于浏览个人照片集合的一种直观方式以外，UI 600具有自动汇总作用，即，通过对准来去除交叠照片区域的冗余，而不是显示大量的单个缩略图。例如，在一个实施例中，以相同的分辨率捕获照片601-611；然而，根据每一个相应图像的交叠内容以及相关3D方向元数据，以不同的形状和方向显示照片601-611。可以通过对图像和相关元数据的群集来自动创建在空间和时间中的群。

除了本文描述的内容之外，可以在不背离其范围的情况下，对公开的本发明的各个实施例和实现方式做出多种修改。因此，本文的说明和实例应解释为说明性而非限制性的。本发明的范围仅通过参照附带的权利要求来衡量。

以上作为本文所述的过程、服务器或工具提及的各种组件可以是用以执行所述功能的手段。本文所述的每一个组件都包括软件或硬件，或其组合。组件可以实现为软件模块、硬件模块、特殊用途硬件(例如，专用硬件、专用集成电路(ASIC)、数字信号处理器(DSP)等)、嵌入式控制器、硬连线电路等。软件内容(例如，数据、指令、配置)可以通过包含计算机可读存储介质的制品来提供，该计算机可读存储介质提供了表示可以执行的指令的内容。该内容可以使得计算机执行本文所述的各种功能/操作。计算机可读存储介质包括以可由计算机(例如，计算设备、电子系统等)存取的形式提供(即，存储和/或发送)信息的任何机制，例如，可记录/不可记录介质(例如，只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪存设备等)。内容可以是可直接执行的(“对象”或“可执行体”形式)、源代码或不同代码(“测试版本(delta)”代码或“补丁(patch)”代码)。计算机可读存储介质还可以包括可以下载其内容的存储设备或数据库。计算机可读介质还可以包括在销售或传送时就具有存储在其上的内容的设备或产品。因此，传送具有所存储的内容的设备，或者提供内容以便通过通信介质进行下载，都可以理解为是提供具有本文所述的这些内容的制品。

Claims (20)

1.一种方法，包括：

接收第一图像和与所述第一图像相关联的第一元数据，所述第一图像是由图像捕获设备捕获的，并且所述第一元数据包括所述第一图像的内容的地理信息；

接收第二图像和与所述第二图像相关联的第二元数据，所述第二元数据包括所述第二图像的内容的地理信息；

确定所述第一图像的视点，所述视点表示在捕获所述第一图像时所述图像捕获设备的位置和方向；及

创建包含所述第一图像和所述第二图像的视图，其中：

根据所述第一元数据和所述第一图像的视点来在所述视图中放置所述第一图像，及

根据所述第一和第二元数据以及所述第一图像的视点来相对于所述第一图像放置所述第二图像。

2.如权利要求1所述的方法，其中，所述视图还包括三维(3D)视图。

3.如权利要求1所述的方法，其中，所述第一和第二元数据包括所述第一和第二图像各自的内容的磁场信息。

4.如权利要求1所述的方法，其中，所述第一和第二元数据包括所述第一和第二图像各自的内容的空间信息。

5.如权利要求1所述的方法，其中，所述第一和第二元数据包括所述第一和第二图像各自的内容的时间信息。

6.如权利要求5所述的方法，还包括：

确定所述第一和第二图像的静止内容和运动内容。

7.如权利要求6所述的方法，其中，根据所述第一和第二图像各自的时间信息来在所述视图内显示所述第一和第二图像的运动内容。

8.一种装置，包括：

数据存储设备，其包括：

第一图像和与所述第一图像相关联的第一元数据，所述第一图像是由图像捕获设备捕获的，并且所述第一元数据包括所述第一图像的内容的地理信息，及

第二图像和与所述第二图像相关联的第二元数据，所述第二元数据包括所述第二图像的内容的地理信息；

渲染模块，可操作地耦合到所述数据存储设备，以存取所述第一和第二图像及所述第一和第二元数据，所述渲染模块：

确定所述第一图像的视点，所述视点表示在捕获所述第一图像时所述图像捕获设备的位置和方向，及

创建包含所述第一图像和所述第二图像的视图，其中，根据所述第一元数据和所述第一图像的视点来在所述视图中放置所述第一图像，并且根据所述第一和第二元数据及所述第一图像的视点来相对于所述第一图像放置所述第二图像；及

显示器，可操作地耦合到所述渲染模块，以存取并显示所创建的视图。

9.如权利要求8所述的装置，其中，所述视图还包括三维(3D)视图。

10.如权利要求8所述的装置，其中，所述第一和第二元数据包括所述第一和第二图像各自的内容的磁场信息。

11.如权利要求8所述的装置，其中，所述第一和第二元数据包括所述第一和第二图像各自的内容的空间信息。

12.如权利要求8所述的装置，其中，所述第一和第二元数据包括所述第一和第二图像各自的内容的时间信息。

13.如权利要求12所述的装置，其中，渲染所述第一和第二图像，以确定每一个图像的静止内容和运动内容。

14.如权利要求13所述的装置，其中，根据所述第一和第二图像各自的运动内容的时间信息来在所述视图内显示每一个图像的运动内容。

15.一种包括计算机可读存储介质的制品，所述计算机可读存储介质具有存储在其上的内容，以提供用以使得计算机执行以下操作的指令，包括：

确定由图像捕获设备捕获的第一图像的视点，所述视点表示在捕获所述第一图像时所述图像捕获设备的位置和方向；及

创建包含所述第一图像和第二图像的视图，其中：

根据与所述第一图像相关联的第一元数据和所述第一图像的视点来在所述视图中放置所述第一图像，所述第一元数据包括所述第一图像的内容的地理信息，及

根据所述第一元数据、所述第一图像的视点和与所述第二图像相关联的第二元数据来相对于所述第一图像放置所述第二图像，所述第二元数据包括所述第二图像的内容的地理信息。

16.如权利要求15所述的制品，其中，所述第一和第二元数据包括所述第一和第二图像各自的内容的磁场信息。

17.如权利要求15所述的制品，其中，所述第一和第二元数据包括所述第一和第二图像各自的内容的空间信息。

18.如权利要求15所述的制品，其中，所述第一和第二元数据包括所述第一和第二图像各自的内容的时间信息。

19.如权利要求18所述的制品，其中，渲染第一和第二图像，以确定每一个图像的静止内容和运动内容。

20.如权利要求19所述的制品，其中，根据所述第一和第二图像各自的运动内容的时间信息来在所述视图内显示每一个图像的运动内容。

Images