CN101867720A - 高质量合成全景图像的相机内生成 - Google Patents

Abstract

公开了高质量合成全景图像的相机内生成。装置和方法用于从在摇摄期间采集的图像序列自动生成全景静止相片。相机内的程序允许从多个捕捉到的静止和/或视频帧创建全景图像输出而无需费力的用户“接合”。图像序列在相机的控制下被捕捉，该图像序列跨越了正在被用户(在任意方向上)摇摄的所希望对象区域。当图像正在被捕捉时，程序确保在所希望对象区域正在被摇摄时序列中的相邻图像的边缘充分地彼此交叠，并且控制其他必要的相机调节(例如，维持固定的焦距)。连续交叠图像帧的集合被采集并组合以创建至少一个全景静止相片。用户可以优选地改变设置来控制图像被一起放入全景图像输出中的方式。

Description

高质量合成全景图像的相机内生成

受版权保护的素材的通告

本专利文献中的一部分素材根据美国以及其他国家的版权法而受版权保护。当本专利文献或本专利公开在美国专利和商标局中是公众可获得的文件或记录时，版权所有人不反对由任何人对其进行拓制，但是在除此之外的任何情况下保留所有版权。版权所有人在此不放弃使得该专利文献维持保密的任何权利，包括而不限于遵照37C.F.R.§1.14的权利。

技术领域

本发明一般地涉及相机设备，并且更具体地涉及全景图像的自动生成。

背景技术

全景摄影提供了具有伸长视场的图像捕捉，并且有时候被称作宽格式。在一个场景中，呈现接近或大于人眼视场(即大约160°±75°)的视场的图像可被称作全景。虽然术语“全景”一般地可被用于各种形式的宽(或长)格式图像，包括被剪裁成宽或长格式的那些图像，但是这里的讨论用该术语来表示在一个或多个方向上(例如，水平地或垂直地)被延展出由图像传感器捕捉到的场景之外的相片。

虽然已经可获得使用多个镜头和快门的相机，但是应理解，这些相机昂贵、体积大并且甚至是专业摄影师都不易得到(一般摄影师当然更不易得到)。

目前，利用传统相机创建全景图像涉及这样的过程：捕捉具有固定曝光和适当交叠(overlap)/对齐(alignment)的多个对象图像，然后剪切多幅物理图像以一起拟合成全景或者在相片编辑器中完成同样的操作。在任一种情况下，要实现有质量的结果都很难或者费力。

当站在垂直地或水平地延展的拉伸全景(其不可能通过单个图像而被捕捉)前时，人们往往考虑使用全景成像。如注意到的，产生全景的传统方法需要大量的用户努力并且不能确保良好的全景图片。另一问题是摄影者在捕捉图像的过程期间，不能肯定这样捕捉到的图像在组配时是否会提供希望的全景。用户可能捕捉到不适合产生全景的图像，例如忘记固定焦距，未停留在全景的固定平面中，未能充分地使镜头交叠，倾斜相机从而离开全景平面等等。当用户最后坐下来处理这些图像时，通过获取更多图像来校正这些问题已为时过晚。

因此，需要自动生成高质量全景图像而不需要用户努力的系统和方法。这些需要以及其他需要在本发明中得到满足，本发明克服了之前开发的全景技术中的不足。

发明内容

本发明是在相机内响应于对多个图像的捕捉来自动生成全景图像的相机和方法。本发明的关键之一是：由相机进行的图像获取致力于全景对象和/或耦合到全景处理。相机本身不仅自动将对象图像处理成全景而且确保在所捕捉到的连续图像间获得充分的交叠。

在本发明的一个实施例中，一旦全景模式被选择，摄影者就只需在他们在对象范围内进行摇摄(pan)(例如，垂直地或水平地)期间保持快门按下。相机自动确保在整个镜头内维持适当的固定焦距，以及充分的交叠，并且确保足够的帧。用户需要对相机做的所有事情就是在拍“快照(snapshot)”的同时对图像进行摇摄。

本发明为任何用户(从初学者到专家)提供了方案，从而允许他们响应于使用当前水平的CMOS传感器和数字图像处理技术来直接生成全景图像的方法，来创建高质量全景图片而付出较少努力或者不用付出任何额外的努力。

联系说明书一般地描述了以下术语，然而以下术语不应被解释为约束了说明书中的具体叙述。

这里记载的术语“摇动/摇摄”应用于在要捕捉的希望图像的空间范围内移动相机的过程，不论该过程是响应于水平运动(传统摇摄)、垂直运动(传统倾斜)还是垂直和水平运动的组合而发生的。

术语“配准(register)”具有多种定义，并且如这里记载的，将相机运动的检测或估计描述为“对相机运动进行配准”，并且它也用来描述创建全景时对相邻图像的对齐。应理解，在图像处理技术中，术语“配准”通常被更限制性地用于仅表示图像配准过程。

本发明是可修改的以通过多种方式来实现，包括但不限于以下描述。

本发明的一个实施例是一种用于捕捉全景图像的装置，包括：(a)用于在在任一希望方向上或组合方向上摇动相机的同时捕捉数字图像(静止、视频或者静止和视频的组合)的序列的设备(例如，至少一个成像器和焦距控制器)；(b)计算机，该计算机与存储器耦合；以及(b)(i)适合在所述计算机上执行来实现以下步骤的程序，(b)(ii)当在全景图像中要捕捉的所希望全景景象范围内摇动相机时，捕捉成对地交叠的图像帧序列中的图像帧，(b)(iii)配准(检测/估计)摇动运动；(b)(iv)响应于所检测到的摇动运动，来控制对所述成对地交叠的图像帧序列中的各连续帧的捕捉，以在所述图像帧之间不出现间隙的情况下确保适当的成对交叠，并且可选地按需选择交叠图像帧的子集，以及(b)(v)组合所述成对地交叠的图像帧序列以创建全景静止相片以供由所述相机输出。

应注意，全景图像与由所述装置捕捉的传统的、非全景图像相比，在至少一个维度(例如，水平的、垂直的、对角的、任意的、2D(垂直和水平区域)等等)上进一步延展。因此，全景图像能够跨越(span)对象的任何希望的空间区域。

全景图像能够被创建而不需要用户忙于得到适当的图像或者执行手动接合和调和(blend)操作，因为所述装置能够自动执行所有这些步骤。全景输出能够以任何希望的格式生成以供将数据传送到被配置为打印、存储和/或传送所述数据的外部电子设备。

根据本发明的装置能够支持任何希望的用户界面，其适用于允许用户选择全景图像捕捉，并且可选地选择用于变更捕捉和图像组合过程的特性。

装置内的摇动运动配准可以响应于光传感、物理运动传感或其组合而被执行。

当组合图像时，程序校正在相邻图像间的交界处的像素，从而调和图像以减轻任何出现的“接缝”。

在创建一个或多个全景图像之前或之后，可以对图像帧使用超分辨率处理技术来增强结果的分辨率。

本发明的一个实施例是一种被配置为响应于对所希望对象的摇摄来自动创建全景静止图像的相机，包括：(a)相机内的适用于捕捉数字图像序列的电子成像元件；(b)计算机，与存储器耦合，所述计算机被配置为控制所述相机的所述电子成像元件；以及(c)适合在所述计算机上执行来实现以下步骤的程序，(c)(i)当在全景图像中要捕捉的所希望全景景象范围内摇动所述相机时，在所述电子成像元件内捕捉成对地交叠的图像帧序列，(c)(ii)响应于对摇动运动的检测，控制在捕捉期间的图像帧交叠，或者选择连续交叠图像帧的集合，以在所述图像帧之间不出现间隙的情况下确保适当的成对交叠，以及(c)(iii)组合连续交叠图像帧的集合以创建全景静止相片以供由所述相机输出。

本发明的一个实施例是一种在相机内自动捕捉全景静止相片的方法，包括以下步骤：(a)捕捉跨越正在摇摄的所希望对象区域的图像序列；(b)响应于当所希望对象区域正在被摇摄时基于相机运动捕捉到足够的图像，来确保序列中的相邻图像的边缘彼此交叠；以及(c)组合图像序列以创建至少一个全景静止相片图像。

本发明提供了多个有益方面，这些有益方面可以分别被实现或者以任何希望的组合被实现，而不会背离本教导。

本发明的一方面是用于响应于在全景模式中组合在摇摄期间捕捉到的多个图像来自动创建全景图像的方法和装置。

本发明的另一方面是它允许全景图像响应于对跨越了所希望对象区域的足够数目的图像帧的采集而被自动创建。

本发明的另一方面是允许一般水平的“对准即拍”摄影者创建希望的全景效果。

本发明的另一方面是允许摄影者创建全景图像结果而无需额外的设备或过程步骤。

本发明的另一方面是创建全景图像而无需高精度的相机设备和控制机制的能力。

本发明的另一方面是它允许摄影者在相机确保相邻图像的适当交叠的情况下创建全景图像。

本发明的另一方面是能够集成到数字静止和/或视频相机设备中的方法。

本发明的又一方面是它能够应用于各种形式的图像采集和处理设备。

在说明书的以下部分中将给出本发明的更多方面，其中详细描述是为了充分公开本发明的优选实施例而非对其进行限制。

附图说明

通过参考以下用于例示目的的附图，将更完整地理解本发明：

图1是根据本发明实施例的用于自动生成全景图像的一般步骤的流程图。

图2是根据本发明实施例的用于响应于静止和视频图像捕捉来自动生成全景图像的步骤的流程图。

图3是根据本发明实施例的用于响应于视频图像捕捉和超分辨率技术来自动生成全景图像的步骤的流程图。

图4是根据本发明实施例的用于响应于静止和视频图像捕捉以及超分辨率上转换(up-scaling)技术来自动生成全景图像的步骤的流程图。

图5是根据本发明一方面的被配置为生成全景图像的相机设备的框图。

图6-8是示出根据本发明一方面的捕捉图像并将其组合成全景图像的图像。

图9-10是将图9中的自然图像捕捉与图10中的根据本发明而生成的全景图像(示出为被压缩以符合页面宽度)进行比较的旧金山海湾区域的图像。

图11-12是将图11中的自然图像捕捉与图12中的根据本发明而生成的垂直全景图像(示出为被压缩以符合页面区域)进行比较的旧金山的柯伊特塔(Coit Tower)的图像。

具体实施方式

现更具体地参考附图，出于说明的目的，在图1到图12中一般地示出的装置中实现本发明。应理解，装置可以在配置方面以及在部件细节方面变化，并且方法可以在具体步骤和顺序方面变化，而不会背离这里公开的基本概念。

1.介绍

根据本发明的相机装置使用高级数字图像传感(例如，CMOS图像传感器)，以及相机内高级计算芯片，这些高级计算芯片提供用于执行生成全景图像的高级图像处理的充分处理能力。相机允许甚至是初学摄影者创建跨越对象的任何希望区域的全景摄影图像。创建全景的方法应用多帧处理来超越现有数字相机的限制，从而提供自动的捕捉和处理以使得全景图像能够被输出。

图1例示出从相机装置自动生成全景图像的示例实施例。当相机在全景的所希望对象范围内被摇动时，在块10中，一系列图像被捕捉到。按照块12，相机的运动被配准/确定。在优选实施例中，块10中的图像序列是响应于对相机运动的配准/确定而被捕捉到的，以确保相邻镜头具有足够的交叠以供用作生成全景图像的输入。可替代地，在以其他方式确保足够的交叠的情况下，例如高的成帧率，相机运动可以被配准/确定以用于确定要在全景中使用的图像的子集，和/或在其它情况下用于控制图像被组合成全景图像输出的方式。应理解，图像的最佳交叠量取决于在将图像接合在一起时所使用的方法，以及对捕捉的可选方面(比如超分辨率)的使用，其中交叠图像可以被用来增强结果图像的分辨率。如块14中示出的，所捕捉的图像序列被组合以生成超出任一独立捕捉图像而延展的全景静止图像。在组合过程期间，图像间的接缝被调和以使得接缝的能见度最小化。

在组合输入图像序列的图像之前，在某些情况下优选的是，本发明的程序在将连续图像的集合组合成所述全景图像之前补偿非摇动运动和/或倾斜。例如，可以执行算法来减轻将相机抖动引入到全景中，例如通过校正图像或者在存在足够多的根据其来生成全景的其他图像的情况下去除所选捕捉。如果要产生矩形全景，那么在组合图像之前，输入图像的部分可以被剪裁。该图像剪裁可以根据任何希望的形状，例如根据镜头的几何形状等等。应理解，任何形式的预处理及其组合可以被附加地执行而不背离本发明的教导。

作为示例而非限制，用于将交叠图像帧“接合到一起”或者进行组合的方法之一是通过具有以下一般步骤的匹配和调和过程实现的。(1)将第一帧的交叠部分与第二帧进行匹配，以使得在交叠区域中某种匹配标准最佳(例如使得像素误差最小)。某些示例包括以下情形：使得均方误差或者绝对平均误差最小；使得互相关、归一互相关或者相位相关最大；估计图像间的光流；根据前述标准，使得参数化全局模型拟合匹配结果；或者应用受所希望的全局模型约束的光流等式。应理解，一个或多个帧可以在尺寸或采光等等方面被调节以确保适当的匹配。将会注意到，交叠的定位考虑离轴位移(例如在水平全景摇摄中的垂直位移或旋转)以确保匹配。(2)调和“接缝”一侧或两侧的像素区域以确保无可见中断。优选地，调和过程包括随机误差扩散以进一步模糊接缝区域。可替代地，调和过程可以使得接缝附近的各种图像标准最佳，例如输入图像的梯度方面的平滑和相似。本领域中普通技术人员将会理解，多种技术可用来调和像素而不会背离本发明的教导。

可以以多种不同方式来配准相机的运动而不会背离本发明，比如检测运动以及该运动的速率。在至少一种实现方式中，连续图像帧被比较以为全景确定交叠量并因此确定相对的相机运动。在一个变体中，低分辨率图像传感器或者正常图像传感器的低分辨率模式被用来快速获得用以(比如通过确定存在多大程度的匹配)确定帧之间的摇摄距离的足够细节，并因此确定帧之间的交叠。在至少一个其他实施例中，相机的运动被物理地配准，例如响应于临时地被处理以估计在任一希望运动轴上的相机运动的加速度传感器而被配准。可替代地，重力计、惯性传感等等例如可以结合运动分析软件使用，以使得基于相机的摇摄速度来为全景捕捉图像。使用物理传感允许针对给定摇摄速率使得图像采集速率最佳。在其他实施例中，物理运动传感和光传感的组合被用于确定相机运动。

在本发明的一个模式中，装置为用户提供用以控制组合和/或剪裁图像的方式的选项。在一个模式中，用户可以选择矩形格式(或者否则将摇摄限制设定为水平的和/或垂直的)，其中程序在水平或垂直方向上组合图像并且自动裁去将落在结果矩形查看区域外的图像部分(例如，产生形状如图10中那样的图像)。装置的一个模式支持摇摄的自由形式集合，其中遵照用户在摇摄期间所遍历的任何希望路径来组合图像。将会理解，本发明的简单实施例可能限制给用户的选项数目以使全景图像捕捉处理简单。然而，应理解，可以多种不同方式来扩展本发明而不会背离本发明的教导。

如果在一系列图像中提供了足够的图像交叠，那么程序可以选择从图像序列中去除一个或多个已捕捉到的图像，比如存在一个或多个图像“问题”的那些图像。这些问题例如可以包括摄影者的手抖，因此一个或多个图像呈现出比其他图像更多的模糊。在图像集合中可能出现其他的假象，比如视场内的相机闪光，掠过图像传感器的缺陷，以及可能不利地影响结果全景质量的其他异常。

还应理解，本发明的教导可以为生成全景图像提供任何任意方向或路径的摇摄。例如，本发明的实施例可以被配置为响应于用户在划出蛇形图案(例如，S形)界限的同时保持按下快门来生成全景图像。在本发明的一个模式中，相机甚至可以允许用户在图像摇摄期间有意地倾斜相机以提供在某些场合中很流行的马赛克拼接效果(mosaic tiling effect)。

在高级实施例中，这里的技术允许用户甚至捕捉垂直和水平全景二者，从而有效地增大相机分辨率。例如，想要检查一地点处的地层的地质学家可以选择全景模式，然后以任何有效的方式从左向右、然后向下、并且从右向左、并且向下、然后返回从左向右等等地进行摇摄，以覆盖给定区域。根据本发明的相机可以提供十分大(高分辨率)的静止图像，该静止图像跨越对象并且允许用户按需放大这些对象以查看小细节。

在一个实施例中，提供了一种模式，其允许用户选择经拼接的全景输出。例如，在上述情况下，所创建的巨大面积的全景可能非常笨重(例如，＞20-1000MB)而难以传送、查看等。因此，拼接模式允许用户选择经拼接的模式，其中图像被划分为彼此良好拟合的所选尺寸的多个图像，因为它们在全景生成之后被拼接。一个或多个实施例中的程序允许用户输出按比例缩小的全景(例如，适合一个正常的图像空间)，例如用于预览全景或者进行分类的目的。在一个方面中，按比例缩小的全景被输出为具有覆盖栅格，其中用或者不用标记(例如，文件名)来示出各下层图像的位置。

2.用户界面

本发明的实施例可以被配置为响应于对许多不同的用户界面配置的使用，来生成全景图像。在一个很基础的配置中，用户例如通过按下一按钮或者移动一选择器来简单地选择全景模式，然后在他们摇摄所希望区域(将根据该所希望区域来产生全景图像)时保持按下快门。更复杂的用户界面允许用户选择如下的方面：要执行捕捉的方式，图像分辨率和捕捉频率间的折衷、要执行的接合量(例如，镜头交叠的比率)，用于将图像无缝地调和在一起的调和方法和参数(或者根据需要，进行选择以允许接缝被看到)，是否要执行倾斜校正(例如，从图6的输入到图8的结果可见的)，超分辨率的使用，全景的最大输出尺寸，以及它们的变体和组合。本领域中的普通技术人员将会理解，这些特性可以改变并且也可以与其他的相机控制方面相结合，而不会背离本发明的教导。

本发明的实施例还可以向用户提供对全景图像输出的选择。在一个模式中，向用户示出从同一输入图像序列创建的一系列全景图像。在另一模式中，向用户示出一个全景图像，并且用户可以选择相机向其示出全景的附加构造。因为存在不同的剪裁、调和以及变更分辨率的方式，所以这些机制给予用户一组自动选择。用户可以选择保存从同一图像序列生成的这些结果中的一个或多个。在至少一种实现方式中，高级控制允许用户指定关于如何呈现不同全景形式以供其选择的优先顺序，或者他们到底是否希望该特征被激活。

3.附加的全景实施例

图2例示出致力于响应于静止和视频图像捕捉来自动生成全景图像的示例实施例。在该实施例中，视频与静止图像一起被捕捉以供用在全景中。优选地，虽然可以使用同一图像传感器，但是例如在较高分辨率的模式中，以比视频捕捉32更高的分辨率来执行静止图像捕捉30。该实施例中的视频捕捉被用来辅助捕捉和/或组合静止图像以创建高质量的全景图片。响应于对相机运动的配准，来在块34中确定对静止图像帧的捕捉间的延迟。可替代地，可以响应于配准的(检测到的)摇摄运动来从捕捉到的帧的整个集合中选出交叠帧的子集，从而确保准确的成对交叠而不会在该子集的连续图像帧之间出现间隙。应理解，流程图也可以被修正地绘制为使得相机运动配准34往回耦合到块30以表示运动对捕捉的关系。

将会理解，可以通过使用物理传感器、通过光传感或者其组合来配准摇摄运动。应理解，在该实施例中，可以对视频帧进行分析来确定自前一视频帧起的摇摄运动，并因此确定摇摄速度以及将捕捉下一静止图像帧的定时。在步骤36，使用视频图像帧来组合静止图像帧以辅助将静止图像帧接合在一起。当使用具有较大程度交叠的视频帧时，对齐(配准)视频帧相对容易。可以针对在两个静止图像之间的时段所捕捉到的视频帧而累积该配准信息，直到两个图像的配准变得容易实现为止。近似值提供了两个静止图像的精确配准的初始条件，从而减小配准搜索空间并因此降低复杂度。

图3示出致力于响应于视频图像捕捉和超分辨率技术来自动生成全景图像的示例实施例。视频帧50被捕捉并且相机运动被配准52。因为视频帧通常具有比静止图像帧更低的分辨率，所以优选地，将超分辨率技术54用于创建分辨率比原始视频帧的分辨率更高的交叠帧的子集。广为人知的，超分辨率技术允许经受小的时间或空间位移的第一分辨率的多个帧被组合到更高的第二分辨率的单个帧中。超分辨率生成的静止帧然后被组合56到将由相机输出的全景图像中。将会注意到，与图2所示方法类似的，原始视频可被用作接合引导。

本发明的替代实施例还允许多个图像集合被组合到多个全景图像中，然后通过使用超分辨率技术将这多个全景图像组合到最终的全景图像中。例如，考虑在单次摇摄期间采集的帧n1到n8。交叠帧n1、n3、n5和n7然后被选作第一帧集合部分，同时帧n2、n4、n6和n8被选作第二帧集合部分。第一集合被组合到第一全景静止图像中，并且此外，第二集合被组合到第二全景静止图像中。然后通过使用超分辨率来将基本上覆盖同一区域的两个全景组合到单个更高分辨率的全景输出中。该颠倒顺序的方法的一个益处在于超分辨率过程本身使得独立全景图像中的接缝模糊。应理解，此一方面可以与这里教导的任一种实现方式及其变体相结合。

图4是用于响应于与超分辨率上转换技术相结合的静止和视频图像捕捉来自动生成高清全景视频的步骤的流程图。应理解，高清视频不仅提供更高的分辨率，而且延展水平帧，因此是逐帧全景的形式。本发明的该实施例尤其适用于所使用的视频相机不具有具备所希望的纵横比(例如，足够的宽度)的成像器件的时候。

应注意，术语“纵横比”指代图片(画面)的宽度相比于其高度。比率通常用“宽度×高度”的形式来表示。例如，4×3(更常见地表示为4∶3)的比率表示图片是4个单位的宽度乘以3个单位的高度。图片的实际物理尺寸(像素数目)与纵横比的计算无关，因为纵横比仅指代宽度和高度间的关系。4∶3的比率通常被称作标准清晰度捕捉，而16∶9的比率现今通常被称作所谓的“高清”格式。还存在其他的“全景”视频格式，例如“Cinemascope”

其具有21∶9的格式。将会理解，通过本发明在任何希望方向上延展帧的能力可以用来从任一较小格式上转换到任一较大格式，比如从4∶3→16∶9或者从16∶9→21∶9等等而不受限制。

在此方法中，视频被捕捉70作为视频全景的基础。优选的，在捕捉视频的同时，捕捉72(例如，周期性地和/或通过相机或对象运动来触发)高分辨率的全景静止图片。优选的，至少两个静止图像在视频片段期间被捕捉。相机运动优选地再次被配准74以辅助确定何时捕捉静止图像。然后通过使用超分辨率上转换(或数字缩放)技术来组合相邻的视频帧76以扩展视频帧的分辨率。按照块78，所生成的高分辨率视频帧然后被组合成比原始视频帧更宽的(或者更高的，如可能在所选应用中所希望的那样)全景视频帧。在此方法中，静止图像既可以用在上转换过程期间，又可以用于在组合响应于超分辨率技术而生成的视频帧期间引导接合过程。虽然该实施例可以在相机自身内被实现，但是视频序列所需的高处理开销致使其自身更适合于通过所采集的视频和静止帧以及可选运动信息来引导的离线处理。

4.相机硬件

图5示出根据本发明被配置用于生成全景图像的装置的示例实施例90。图中，示出了被配置为根据本发明自动生成全景图像的图像捕捉设备(相机)。焦距/缩放控制器94被示出为耦合到受计算机(CPU)96控制的成像光学器件92。计算机96控制相机并响应于从存储器98和/或辅助存储器100执行的指令来执行全景生成方法。针对相机设备(例如，视频和/或静止的)作为示例示出的是可选的图像显示器102、可选的触摸屏104、以及可选的非触摸屏106。图中未示出的是有线和/或无线通信端口、存储器卡槽等等，任意数目的这些组件可以得到支持。

此外，可选的运动传感器108被示出，凭借该运动传感器108，摇摄运动可被配准(检测到)。尽管可以使用用于采集视频和/或静止图像的图像传感器，但是运动传感器108可以包括光传感器或者物理传感器(例如，惯性传感器、加速度传感器等)。

作为示例示出包括成像器110和变焦/缩放112的可选第二成像系统，从而允许某些应用利用不同的成像设备来采集视频和静止帧。这具有使得视频和静止图像捕捉的成帧速率最大化的益处，因为这些功能不必共用单个捕捉元件。然而，应理解，可以例如响应于对不同操作模式(其允许选择视频或者静止帧)的使用，从同一成像器采集视频和静止图像输出。在至少一种实现方式中，尽管纵横比以及其他特性可能不同，但是视频帧和静止帧间的差异是分辨率。

作为示例而非限制示出以上示图。应理解，根据本发明的方法可以在被配置为捕捉/接收图像序列并且生成全景输出的各种图像捕捉和处理设备上被实现。本发明不是致力于MPEG视频的处理及其相关联的运动向量处理。本方法优选地在成像设备自身上实现，虽然它可以在后置处理中被实现(例如在生成全景视频输出时)。本发明可以以硬件或软件的方式来实现，这取决于目标系统。应理解，在提供了必要的光学器件以及充分的处理能力的任何相机或系统上，可以将本发明实现为软件。

全景图像可以任何所希望的格式被显示在装置的图像显示器上(或者被打印)和/或被从装置中输出，这些格式包括静止图像文件格式、视频格式、数据格式、固化存储(native storage)格式等。

5.全景图像输出的示例

图6到图8例示出自动捕捉、调节并组合摇摄期间捕捉到的一系列图像的过程。虽然出于说明的目的这些图像是以传统方式采集的，但是它们模拟了该过程。在图6中，示出捕捉亚利桑那州大峡谷的三幅图像的表示。应理解，这些图像被有意示出为明显地未对齐，这是通过本发明自动克服的一个方面。还应注意到，本发明的程序建立图像捕捉定时以确保例如在图6中示出的所捕捉图像被适当地交叠。将会注意到，倾斜的(偏离摇摄轴)图像比在更接近的轴(比如水平轴)上捕捉到的图像需要更多的图像交叠。在图7中，图像已被剪裁成了一图案以在组合中将它们简单地接合在一起。在图8中，图像已经被组合，同时相邻图像间的像素交界已被自动调和，因此帧之间的接缝并不明显。

图9和图10示出旧金山海湾的视频或静止图像。图9中示出由成像设备捕捉到的单个图像。在摇摄期间通过本发明自动捕捉到的一系列这样的图像被组合以形成图10的全景图像。由于镜头和成像器的限制，捕捉了图9的图像的相机需要捕捉若干图像来覆盖整个景象。根据本发明，用户只需水平地摇动相机，其中相机装置自动地生成全景图片。

图11和图12示出柯伊特塔(旧金山的电报山)的单个视频或静止图像与根据本发明而生成的全景图像之间的比较。在所示出的场景中，示出了1440×1080个像素的原始视频帧(在这里为了容易显示而调整了大小)：为了适当地捕捉该图像，在采集视频帧的同时，相机被垂直地摇动以覆盖塔的跨度范围。根据本发明的处理提供捕捉并且将这些所捕捉到的帧组合成图12所示的垂直全景。将会理解，本发明允许根据本发明的相机响应于简单地在垂直方向上摇动相机，来容易地捕捉垂直全景，例如覆盖此较高建筑的跨度范围，并允许相机自动地完成所有工作。

6.利用其他图像技术来组合全景图像

这里教导的全景图像技术可以与其他的图像处理技术结合使用。

在一个变体中，这里教导的全景图像技术可以与由申请人在其他地方教导的模拟长曝光方法结合使用。在结合这些技术时，全景图像可以在相机内被生成，或者响应于自动后置处理而被生成，其还模拟长曝光，以产生静止图像或视频帧作为输出。将会理解，响应于在摇动相机的同时获得足够数目的图像，或者通过使用双重(静止-视频)图像捕捉技术，全景处理和长曝光模拟二者都可以得到促进。

7.结论

本发明提供了一种响应于在摇摄期间捕捉到的交叠图像序列的输入来自动生成全景图像的方法和装置。发明性的教导可被应用于各种装置和应用，包括相机(静止和/或视频)、视频处理设备和软件、视频回放设备等等。

由此可见，因此，本发明例如包括如下的发明性实施例：

1.一种用于捕捉全景图像的装置，包括：

(d)用于捕捉数字图像序列的设备；

(e)计算机，该计算机与存储器耦合；以及

(f)适合在所述计算机上执行来实现以下步骤的程序，

(i)当在全景图像中要捕捉的所希望全景景象范围内摇动相机时，捕捉成对地交叠的图像帧序列中的图像帧，

(ii)配准摇动运动；

(iii)响应于所配准的摇动运动，来控制对所述成对地交叠的图像帧序列中的连续帧的捕捉，以在所述图像帧之间不出现间隙的情况下确保适当的成对交叠，以及

(iv)组合所述成对地交叠的图像帧序列以创建全景静止相片以供由所述相机输出。

2.根据实施例1所述的装置，其中，所述全景图像与由所述装置捕捉的传统的、非全景图像相比，在至少一个维度上进一步延展。

3.根据实施例1所述的装置，其中，所述全景图像能够跨越对象的任何希望的空间区域。

4.根据实施例1所述的装置，其中，全景图像是由所述装置创建的，而不需要外部地处理由所述装置捕捉到的图像的集合。

5.根据实施例1所述的装置，其中，所述设备包括：

成像器，被配置为电子地捕捉图像；以及

焦距控制器，适用于控制由所述成像器捕捉的图像的焦距。

6.根据实施例1所述的装置，还包括用于从所述成对地交叠的图像帧序列中选出连续的交叠图像帧的集合以供进行组合的程序。

7.根据实施例1所述的装置，还包括适用于允许用户选择全景图像捕捉模式的用户界面。

8.根据实施例1所述的装置，其中，所述摇动运动响应于光传感而被配准。

9.根据实施例1所述的装置，还包括运动传感器，该运动传感器的输出被所述程序用来配准摇动运动。

10.根据实施例1所述的装置，还包括用于在将所述成对地交叠的图像帧序列组合成所述全景图像之前对非摇动运动和/或倾斜进行补偿的程序。

11.根据实施例1所述的装置，其中，所述成对地交叠的图像帧序列包括视频序列的帧。

12.根据实施例1所述的装置，其中，所述装置的全景输出包括全景数字相片。

13.根据实施例1所述的装置，

其中，所述装置的全景输出包括全景数字相片；并且

其中，所述装置被配置为将所述全景数字相片的数据传送到被配置为打印、存储和/或传送所述数据的外部电子设备。

14.根据实施例1所述的装置，还包括用于在组合所述成对地交叠的图像帧序列之后校正成对交叠的图像帧之间的像素交界的程序。

15.根据实施例1所述的装置，还包括用于对图像帧执行超分辨率技术以增强分辨率的程序。

16.一种被配置为响应于对所希望对象的摇摄来自动创建全景静止图像的相机，包括：

(a)相机内的适用于捕捉数字图像的电子成像元件；

(b)计算机，该计算机与存储器耦合，所述计算机被配置为控制所述相机的所述电子成像元件；以及

(c)适合在所述计算机上执行来实现以下步骤的程序，

(i)当在全景图像中要捕捉的所希望全景景象范围内摇动所述相机时，在所述电子成像元件内捕捉成对地交叠的图像帧序列，

(ii)响应于对摇动运动的配准，控制在捕捉期间的图像帧交叠，或者从成对地交叠的图像帧中选出子集，以在所述图像帧之间不出现间隙的情况下确保适当的成对交叠，以及

(iii)组合连续的成对交叠的图像帧的集合以创建全景静止相片以供由所述相机输出。

17.根据实施例16所述的装置，还包括用于在组合所述图像序列之后校正像素交界以创建成对地交叠的图像帧序列的平滑无缝调和的程序。

18.根据实施例16所述的装置，还包括用于对图像帧执行超分辨率技术以增强分辨率的程序。

19.一种在相机内自动捕捉全景静止相片的方法，包括以下步骤：

捕捉跨越正在摇摄的所希望对象区域的图像序列；

响应于当所希望对象区域正在被摇摄时基于相机运动捕捉到足够的图像，来确保图像序列中的相邻图像的边缘彼此交叠；以及

组合图像序列以创建至少一个全景静止相片图像。

20.根据实施例19所述的方法，还包括对图像帧执行一种或多种超分辨率技术以增强分辨率。

虽然上述描述包含许多细节，但是这些细节不应被解释为限制本发明的范围，而应被解释为仅提供对本发明的某些目前优选的实施例的说明。因此，将会理解，本发明的范围完全包含可能对本领域中的普通技术人员而言显而易见的其他实施例，并且因此，本发明的范围不受除了随附权利要求之外的任何事物限制，在随附的权利要求中，提到的单数元件并非意欲表示“一个且仅一个”(除非明确地进行了这样的表述)，而是更确切地表示“一个或多个”。本领域中的普通技术人员已知的、上述优选实施例中的元件的所有结构和功能等同物通过引用被清楚地结合于此，并且意欲被本权利要求书包含。此外，设备或方法不必解决要由本发明解决的各个及每个问题，因为这将被本权利要求书包含。此外，本公开中的任何元件、组件或方法步骤，无论它们是否被清楚地记载在权利要求中，对于公众而言都并非意欲是专用的。这里任何的权利要求要素都不应根据35U.S.C.112第六款的规定来解释，除非使用词组“用于...的手段”明确地记载了该要素。

Claims (20)

1.一种用于捕捉全景图像的装置，包括：

(a)用于捕捉数字图像序列的设备；

(b)计算机，该计算机与存储器耦合；以及

(c)适合在所述计算机上执行来实现以下步骤的程序，

(i)当在全景图像中要捕捉的所希望全景景象范围内摇动相机时，捕捉成对地交叠的图像帧序列中的图像帧，

(ii)配准摇动运动；

(iii)响应于所配准的摇动运动，来控制对所述成对地交叠的图像帧序列中的连续帧的捕捉，以在所述图像帧之间不出现间隙的情况下确保适当的成对交叠，以及

(iv)组合所述成对地交叠的图像帧序列以创建全景静止相片以供由所述相机输出。

2.根据权利要求1所述的装置，其中，所述全景图像与由所述装置捕捉的传统的、非全景图像相比，在至少一个维度上进一步延展。

3.根据权利要求1所述的装置，其中，所述全景图像能够跨越对象的任何希望的空间区域。

4.根据权利要求1所述的装置，其中，全景图像是由所述装置创建的，而不需要外部地处理由所述装置捕捉到的图像的集合。

5.根据权利要求1所述的装置，其中，所述设备包括：

成像器，被配置为电子地捕捉图像；以及

焦距控制器，适用于控制由所述成像器捕捉的图像的焦距。

6.根据权利要求1所述的装置，还包括用于从所述成对地交叠的图像帧序列中选出连续的交叠图像帧的集合以供进行组合的程序。

7.根据权利要求1所述的装置，还包括适用于允许用户选择全景图像捕捉模式的用户界面。

8.根据权利要求1所述的装置，其中，所述摇动运动响应于光传感而被配准。

9.根据权利要求1所述的装置，还包括运动传感器，该运动传感器的输出被所述程序用来配准摇动运动。

10.根据权利要求1所述的装置，还包括用于在将所述成对地交叠的图像帧序列组合成所述全景图像之前对非摇动运动和/或倾斜进行补偿的程序。

11.根据权利要求1所述的装置，其中，所述成对地交叠的图像帧序列包括视频序列的帧。

12.根据权利要求1所述的装置，其中，所述装置的全景输出包括全景数字相片。

13.根据权利要求1所述的装置，

其中，所述装置的全景输出包括全景数字相片；并且

其中，所述装置被配置为将所述全景数字相片的数据传送到被配置为打印、存储和/或传送所述数据的外部电子设备。

14.根据权利要求1所述的装置，还包括用于在组合所述成对地交叠的图像帧序列之后校正成对交叠的图像帧之间的像素交界的程序。

15.根据权利要求1所述的装置，还包括用于对图像帧执行超分辨率技术以增强分辨率的程序。

16.一种被配置为响应于对所希望对象的摇摄来自动创建全景静止图像的相机，包括：

相机内的适用于捕捉数字图像的电子成像元件；

计算机，该计算机与存储器耦合，所述计算机被配置为控制所述相机的所述电子成像元件；以及

适合在所述计算机上执行来实现以下步骤的程序，

当在全景图像中要捕捉的所希望全景景象范围内摇动所述相机时，在所述电子成像元件内捕捉成对地交叠的图像帧序列，

响应于对摇动运动的配准，控制在捕捉期间的图像帧交叠，或者从成对地交叠的图像帧中选出子集，以在所述图像帧之间不出现间隙的情况下确保适当的成对交叠，以及

组合连续的成对交叠的图像帧的集合以创建全景静止相片以供由所述相机输出。

17.根据权利要求16所述的装置，还包括用于在组合所述图像序列之后校正像素交界以创建成对地交叠的图像帧序列的平滑无缝调和的程序。

18.根据权利要求16所述的装置，还包括用于对图像帧执行超分辨率技术以增强分辨率的程序。

19.一种在相机内自动捕捉全景静止相片的方法，包括以下步骤：

捕捉跨越正在摇摄的所希望对象区域的图像序列；

响应于当所希望对象区域正在被摇摄时基于相机运动捕捉到足够的图像，来确保图像序列中的相邻图像的边缘彼此交叠；以及

组合图像序列以创建至少一个全景静止相片图像。

20.根据权利要求19所述的方法，还包括对图像帧执行一种或多种超分辨率技术以增强分辨率。

Images