CN101336439A

CN101336439A - 数字全景相机

Info

Publication number: CN101336439A
Application number: CNA2006800523169A
Authority: CN
Inventors: M·特里梅切; P·尼诺南; S·阿莱尼宇斯
Original assignee: Nokia Oyj
Current assignee: Nokia Oyj
Priority date: 2005-12-22
Filing date: 2006-12-18
Publication date: 2008-12-31
Also published as: EP1964060A1; US20070147812A1; WO2007071821A1

Abstract

本发明涉及图像处理领域，以及更具体地涉及用于获取全景图片的数字相机中的图像处理。根据本发明的数字相机适于当由相机扫掠目标区域时产生该区域的图像。相机至少包括：图像传感器，其包括多个检测器线，其中图像传感器创建图片元素，其中每个图片元素包括关于一个或多个检测器线的信息；控制单元，其适于控制相机的操作以及检测扫掠速度；以及存储器，用于存储图片元素。相机适于记录和存储图片元素的序列，其中基于扫掠速度来选择序列中下一图片元素，并且相机从所存储的图片元素的序列创建图像。

Description

数字全景相机

技术领域

本发明涉及图像处理领域，更具体地涉及用于创建全景图片的数字相机中的图像处理。

背景技术

如今，以各种方式执行全景摄影。一种方式是使用安装在三脚架上的照相机来随着绕三脚架旋转相机来进行连续拍摄。在一些相机中，通过专门的可移动光学器件来曝光比普通胶片带宽的宽度。

其他用于创建全景摄影的技术包括物理地切割以及通过仔细对准胶片边缘之间的边界来将曝光的胶片带粘贴在一起。

电子摄影的益处已经导致数字相机的发展，不同于基于胶片的相机，数字相机将存储器中捕获的图像存储到数字存储器中，例如闪存。为了提供全景摄影效果，这些数字相机可以与个人计算机接口连接以通过结合图像的边缘边界将两个或更多图像结合成一个图像以提供全景效果。

美国专利No.5,138,460中描述了一种全景相机，其具有：存储器设备，用于存储来自目标的先前拍摄的部分的数据；以及控制设备，用于使得显示设备能够实际上显示要拍摄的图像和已经拍摄了并存储在存储器空间中的图像二者。

尽管这些技术是有用的，它们也有缺点。当前全景相机的一个缺点是完全重叠在全景图像的两个相邻画面之间的区域是很困难的。太多重叠导致由于冗余信息而浪费数字相机中的存储器。

发明内容

本发明的目的是提供一种用于获取全景图片的新的解决方案。本发明涉及数字相机。本发明还涉及用于创建全景图片的方法和计算机程序产品。

根据本发明的数字相机适于当由用户扫掠相机时产生场景或目标的图像。相机至少包括：图像传感器，图像传感器包括多个检测器线和检测器线，其中图像传感器创建图片元素，每个图片元素包括关于一个或多个检测器的信息；控制单元，控制单元适于控制相机的操作以及检测扫掠速度；以及存储器，用于存储图片元素。相机适于记录和存储图片元素的序列，其中基于扫掠速度来选择序列中的下一图片元素。相机从所存储的图片元素的序列创建图像。

如这里使用的，图片元素可以例如是检测器的一个或多个垂直线，其例如从图像传感器的顶部边缘延伸到底部边缘，并且有用于通过相机在水平方向上全景地移动来扫掠场景。类似地，图片元素可以例如是一个或多个水平线，从图像传感器的左边缘延伸到右边缘，并且有用于在垂直方向上全景地扫掠场景。因此，尽管在此使用的术语“图片元素”可以包含仅仅单个光检测器，但是包含一个或多个这种检测器的线是最有利的，下面将变的更清楚。

方法包括：记录由相机的图像传感器创建的图片元素的序列；基于扫掠速度选择要存储在存储器中的下一图片元素；以及从所存储的图片元素的序列创建图像。

计算机程序产品包括指令，用于记录由相机的图像传感器创建的图片元素的序列，基于扫掠速度选择要存储在存储器中的下一图片元素，以及从所存储的图片元素的序列创建图像。计算机程序产品存储在计算机可读介质中，并且可以在数据处理设备中执行，其例如可适于通过使用数字相机创建全景图像。

原则上，本申请中的术语“扫掠”意思是由图像传感器元件传感的图片是移动的。可以以许多不同方式实现扫掠动作。也可以离线实施，使得对包含全景移动的预先记录的视频剪辑进行处理，如同是取景器数据流。

通过以各种方式组合结合本发明的不同实施方式描述的模式和结构，可能产生符合本发明精神的本发明的各种实施方式。

在一个实施方式中，用户旋转相机以扫描场景，并且包括来自传感器中心的垂直线的图片元素被记录并渐进组合以形成全景图像。通过补偿手动扫描的速度来创建全景图像。

在一个实施方式中，传感器的中间检测器线适于进行记录。换言之，随着全景扫掠相机，中间检测器线用于进行记录而不使用其他线。

在一个实施方式中，在图像中心的一个或少量垂直线(或在垂直全景情况下的水平线)用于形成圆柱全景投影，如同在传统模拟全景线相机中。

在一个实施方式中，控制单元适于通过使用由图像传感器产生的数据来检测扫掠速度。

在一个实施方式中，控制单元适于通过使用由图像传感器的所有检测器产生的数据来检测扫掠速度。

在一个实施方式中，从整个相机传感器获得的数据用于运动估计以及用于获得超出所记录的线的信息。运动估计用于在最终全景图像中将线并入正确位置。当相机向左或右(或上/下)移动时，在所记录的线中的新数据插入到全景图像中。运动估计还用于去除相机不需要(例如，不垂直的)旋转。

在一个实施方式中，适于产生图片元素的检测器线被布置为垂直于扫掠方向。

在一个实施方式中，适于产生图片元素的检测器线的宽度被调节为取决于扫掠速度。

在一个实施方式中，为了捕获目标的图像，例如场景或建筑物外观，用户通过相机的单个扫掠来扫描目标，同时相机获取图像。相机缝合图片元素以创建全景或拼嵌图片。

在一个实施方式中，要存储在存储器中的下一图片元素被布置为与已经存储在存储器中的图片元素部分地重叠。

在一个实施方式中，要存储在存储器中的序列中的下一图片元素与已经存储在存储器中的图片元素并排布置。

可以在许多解决方案中使用本发明。在一些解决方案中，设备是典型的数字相机，而在一些解决方案中，相机单元集成到其他单元中。例如，设备可以是移动电话、计算机、游戏设备、通信设备等。

本发明的方法和设备的优点是用户可以自由地旋转相机。不需要相机支架。这使得非常紧凑的移动实现成为可能，即，系统可以容易地实现到移动相机电话中。

此外，不同的解决方案提供了许多其他优点。例如，给出的解决方案可以提供以下优点中的一个或多个：

-一个实施方式随着旋转胶片相机，提供圆柱全景投影，具有完美的图像缝合以及无缝的曝光。不需要补偿在图像的角上的光学像差。

-系统可以通过任何标准数字相机模块来实现。

-当允许用户自由地移动相机同时记录扫描线时，可以创建有趣和逗笑的效果。

-当记录曝光的扫描线时，来自相机传感器的全区域或其部分可以用于调节曝光控制、AWB和运动估计/补偿的操作。

-来自传感器的数据流是低的，因为仅少量高分辨率线需要在每次步骤时捕获。可以从减少尺寸的取景器图像作出运动估计。

-可以补偿全景胶片相机中移动目标的典型的失真。

-当在扫描目标期间改变焦距时，可以实现焦距的伸长的深度。

附图说明

以下，将参照附图更详细描述本发明，附图中：

图1示出根据一个实施方式的设备；

图2示出根据一个实施方式的设备的框图；

图3示出示例的流程图；

图4示出场景的示例；

图5示出取景器区域的示例；

图6示出未完成图像的示例；

图7示出使用子像素位移的图像的合成的示例；

图8示出水平旋转的补偿的示例；

图9示出预捕获线信息的示例；

图10示出可选简化实现。

为了清楚，附图仅示出理解本发明所需细节。理解本发明不需要的以及对于本领域技术人员显而易见的结构和细节已从图中省略，以强调本发明的特征。

具体实施方式

图1示出数字相机的一个示例。在该示例中，示出外壳1、触发按钮3以及透镜配置2。可以在许多解决方案中使用本发明。在一些解决方案中，设备是典型的数字相机，而在一些解决方案中，相机单元与其他单元集成。例如，设备可以是移动电话、计算机、游戏设备、通信设备等。

图2示出根据本发明的设备的框图。设备至少包括光学单元OU、控制单元CU、存储器单元MEMORY以及用户接口UI。光学单元OU典型地包括某种透镜配置以及图像传感器(以下简称为传感器)组件，例如CCD或CMOS组件。通常传感器组件包括检测器矩阵。在检测器矩阵中，存在多个检测器行和检测器列(换言之，检测器线)。

控制单元CU进而被布置为用于控制相机的功能。用户接口UI至少包括一个显示器。不同种类的信息显示在显示器上。通常显示器也用作取景器。

存储器单元被布置为用于存储图片。存储器单元可以例如是固定单元。可移除单元或固定和可移除单元的某种组合。通常使用某种可移除存储器卡。

图3示出一个实施方式的简单流程图。首先，例如当用户按下相机的触发按钮3时，记录开始。系统检测运动的方向和速度(扫掠方向和速度)。系统传感并记录图片元素。根据本发明，一个检测器线或多个相邻检测器线可以用作“图片元素”，用于当全景扫掠场景时形成全景图像。第一图片元素存储在存储器中。接着，基于扫掠速度选择要存储在存储器中的图片元素。相机处理存储在存储器中的图片元素以创建图像。例如当释放触发按钮3时，记录停止。

以下，将通过简化的使用情况描述相机的操作。在该情况中，用户希望获取场景的图片，该场景较大以至于其部分在取景器区域4之外，如图4所示。在图5中，更详细描述取景器区域4。示出取景器区域4和取景器区域的中间区域5。取景器区域4包括多个垂直检测器线6。通常存在数百或数千个检测器线6，但在图中，以较大比例示出较少检测器线以强调实施方式的特征。中间区域5包括检测器线6a，其适于产生图片元素。在所示实施方式中，未使用边线，即，线6a用于排除区域5左右的周围区域中的线。适于产生图片元素的中间区域5布置为垂直于扫掠方向S。中间区域5在图4中为垂直位置是因为扫掠方向S基本上是水平的。在扫掠方向S基本上是垂直的情况下，中间区域5是水平的。

用户例如通过按下触发按钮3和移动相机来开始手动地扫掠场景。可以以许多不同方式来实现扫掠动作，并且其可以例如是旋转或线性运动。

在一个实施方式中，从取景器数据估计相机的扫掠速度和方向S。在一个实施方式中，扫掠速度和方向S的估计是基于像素的。当中间区域5在期望的扫掠方向S上移动至少一个线6时，捕获中间区域的线6a并将其并入最终图像。图4和图6中示出概念。图6示出在扫掠处理期间未完成的图像。图6中示出的图像是添加了由图4的检测器线6a产生的图片元素的图像。

实时地，相机的取景器可以渐进地示出已创建的场景的部分，直到捕获全部图像。

可以以比用于运动估计的取景器数据高的分辨率捕获可记录图片元素。来自传感器的数据流相比于以全分辨率捕获整个图像仍是较低的。因为所捕获图片元素也可以从子像素位置取得，即，图片元素部分重叠，所捕获图片元素的空间取样栅可以比最终图像的取样栅密集，如图7所示。因此，需要对最终取样栅进行抽选。高级分辨率技术也可以用于获得增加的分辨率图像。在一个实施方式中，如果所捕获图片元素包括与已存储图片元素相同的数据，则如果未使用超分辨率，可以丢弃所捕获图片元素。例如当存在低扫掠速度或完全没有运动时，该情况可能存在。

自由相机移动也可以包括平移运动，这意味着运动可能对于附近的目标和对于远处的目标是不同的。在一个实施方式中，可以实施运动估计，从而如果在所捕获图片元素处场景的足够大部分移动一个线，则所捕获的区域并入图像。

因为相机(围绕光轴)的水平旋转也可能存在，所捕获图片元素可能相对于彼此旋转。在一个实施方式中，为了补偿，可以捕获图像中间的少量垂直线，并且运动估计和补偿可以用于补偿旋转移动，如图8所示。在一个实施方式中，旋转补偿也可以是不严格的(relax)。在这种情况下，可能形成不同种类的弯曲图像。

如果扫掠速度相比于帧速率要快，使得所捕获图片元素移动了比一个线的宽度要宽，则一个所捕获线/帧不一定足够。在一个实施方式中，可以记录多个检测器线6a、6b。例如，记录在捕获线6a、6b之间的所有线(后捕获图片元素6b)。这种情况可以见图9。如果帧速率很低以至于在t₁和t₂之间没有帧可用，则在t₁和t₂处捕获的线6a、6b之间的所有线也记录并且并入图像。在一个实施方式中，图片元素包括来自多个检测器线的数据。在另一实施方式中，存在多个图片元素，每个产生了检测器线，该检测器线是并排的。因为低取样率等于比在最终图像中使用更稀疏的空间取样栅，也可用使用内插技术，但这样结果的质量会降低。

在一个实施方式中，相邻线的颜色、对比度和亮度自动匹配，因为当移动相机(例如旋转)并瞄准场景中的不同位置时，曝光平滑地改变。这消除了如传统缝合情况下需要补偿不同曝光和AWB设置。此外，可用根据空间和时间差异调节曝光设置。整个传感器区域4可以用于获得用于调节的数据。例如，在扫掠方向上的线6c可以用于预测对于即将到来的线的曝光设置。预捕获线6c的概念在图9中示出。

在一个实施方式中，预捕获数据可以用于帮助校正由于活动的目标造成的误差。因为实际记录线6a在不同时间捕获图像，在记录区域之间的比较显示活动的目标。在传统旋转全景胶片相机中，活动的目标可能捕获为失真的和弯曲的。

不同实施方式可以在垂直或水平方向上操作。如果需要垂直全景，则操作是相同的，但是水平测量线垂直地进行。模式可以通过UI/按钮来选择或者基于初始移动的方向自动选择。

在一个实施方式中，运动估计可以检测扫掠(例如旋转)方向S的改变。如果场景的相同区域被再扫掠，则数据可以被抛弃或被用于增加分辨率。如果新区域出现，则它们插入到图像中。这使得左-中-右、右-中-左、中-左-(中)-右、和中-右-(中)-左扫掠顺序成为可能，并且在垂直方向上有对应的行为。

在一个实施方式中，当扫掠进行时，可以改变透镜的焦距设置或变焦位置(焦距)，这提供额外的效果。例如，当根据目标的距离改变焦距时，可以实现焦距的伸长深度。然后，对象的短距离和长距离区域两者可以出现，比从多个图像产生的全景看起来更强烈(sharp)。可以使用任何自动聚焦系统进行焦距调节。如果改变焦距(变焦)，则效果更艺术化，但只有本发明才有。

不同实施方式可以实现到许多数字相机设备中。图10简要描述了简化实施可选方案，其可以用于实现实时全景扫掠。实现也可以离线进行，使得处理包含全景移动的预记录的视频剪辑，如同其是取景器数据流。

如上所述，存在不同可选方案以实现帧速率与手运动的同步(即，捕获所有所需线以覆盖运动的量以及处理子像素移位)。因为期望传感器组件的灵敏度提高，所以可以减少曝光时间和增加帧速率，因此实现场景的较快扫掠。也可以记录更多冗余检测器线，其可以用于改进运动估计的性能和最终图像的空间分辨率。

手运动的速度可以通过各种用户接口装置和实施来引导。例如，UI可以显示标记，例如箭头，用于通知用户速度是否正确，太低或太高。组成的图像也可以以预定速度移动并且与取景器数据混合使得用户试图保持它们对准，这使得相机移动具有最优速度。

在一个实施方式中，相机可以与旋转相机的便宜电动机结合使用。运动补偿消除了传统上实现期望结果所需机械精度的需要。

通过以各种方式组合上述结合本发明的不同实施方式公开的模式和结构，可以产生根据本发明精神的本发明的各种实施方式。因此，上述示例不应该解释为对本发明的限制，而是本发明的实施方式可以在以下权利要求中所述发明特征的范围内自由地变化。

Claims

1.一种数字相机，用于当相机扫掠目标区域时产生该区域的图像，该数字相机至少包括：

图像传感器，图像传感器包括多个检测器线，其中图像传感器创建图片元素，每个图片元素包括关于一个或多个检测器线的信息；

控制单元，控制单元适于控制相机的操作以及检测扫掠速度；

存储器，用于存储图片元素；

其中相机适于记录和存储图片元素的序列，其中基于扫掠速度来选择序列中的下一图片元素，以及相机从所存储的图片元素的序列创建图像。

2.根据权利要求1所述的数字相机，其中图像传感器的中间检测器线适于进行记录。

3.根据权利要求1所述的数字相机，其中控制单元适于通过使用由图像传感器产生的数据来检测扫掠速度。

4.根据权利要求1所述的数字相机，其中控制单元适于通过使用由包括所有所述检测器的图像传感器的检测器产生的数据来检测扫掠速度。

5.根据权利要求1所述的数字相机，其中适于产生图片元素的检测器线布置为垂直于扫掠方向。

6.根据权利要求1所述的数字相机，其中适于产生图片元素的检测器的宽度调节为取决于扫掠速度。

7.根据权利要求1所述的数字相机，其中要存储在存储器中的下一图片元素布置为与已经存储在存储器中的图片元素部分地重叠。

8.根据权利要求1所述的数字相机，其中要存储在存储器中的序列中的下一图片元素布置为与已经存储在存储器中的图片元素并排。

9.根据权利要求1所述的数字相机，其中相机是设备的一部分，该设备是以下至少之一：移动电话，计算机，游戏设备。

10.一种用于通过使用数字相机创建全景图像的方法，该方法包括：

记录由相机的图像传感器创建的图片元素的序列，

基于扫掠速度选择要存储在存储器中的下一图片元素，以及

从所存储的图片元素的序列创建图像。

11.根据权利要求10所述的方法，其中数字相机至少包括图像传感器，图像传感器包括多个检测器线，其中记录图像传感器的中间传感器线。

12.根据权利要求10所述的方法，其中控制单元通过使用由图像传感器产生的数据检测扫掠速度。

13.根据权利要求10所述的方法，其中图像传感器包括多个检测器，并且控制单元通过使用由图像传感器的所有多个检测器产生的数据检测扫掠速度。

14.根据权利要求10所述的方法，其中包括成一线的多个检测器的检测器线产生图片元素，该检测器线布置为垂直于扫掠方向。

15.根据权利要求14所述的方法，其中检测器线的宽度适于产生取决于扫掠速度的图片元素。

16.根据权利要求10所述的方法，其中要存储在存储器中的下一图片元素布置为与已经存储在存储器中的图片元素部分地重叠。

17.根据权利要求10所述的方法，其中要存储在存储器中的序列中的下一图片元素布置为与已经存储在存储器中的图片元素并排。

18.一种计算机程序产品，存储在计算机可读介质中，并且可以在数据处理设备中执行，用于通过使用数字相机创建全景图像，该计算机程序产品包括指令，用于

记录由相机的图像传感器创建的图片元素的序列，

基于扫掠速度选择要存储在存储器中的下一图片元素，以及

从所存储的图片元素的序列创建图像。