CN101300830B

CN101300830B - 用于实现运动驱动的多张拍摄图像稳定性的系统和方法

Info

Publication number: CN101300830B
Application number: CN2005800519879A
Authority: CN
Inventors: M·蒂科; M·弗维莱南
Original assignee: Nokia Oyj
Current assignee: Nokia Technologies Oy
Priority date: 2005-09-14
Filing date: 2005-09-14
Publication date: 2010-05-12
Anticipated expiration: 2025-09-14
Also published as: US20090009612A1; US7965317B2; CN101300830A; WO2007031808A1; EP1952624A1; JP2009508425A; JP4708479B2; EP1952624A4

Abstract

一种用于使用照相机或者照相机模块捕获图像的改进的系统和方法。在本发明中，基于关于照相机运动的存在或者不存在的知识来控制所摄取的图像拍摄的数量以及每张图像拍摄的积分时间。无论何时检测到运动超过预定运动阈值，都结束当前图像拍摄的积分阶段，并开始下一图像拍摄的积分。因此本发明适用于在曝光期间的实际照相机运动。如果不存在照相机运动，则捕获单张长曝光的图像拍摄。如果存在照相机运动，则根据照相机运动的程度在多张拍摄之间划分总曝光时间。

Description

用于实现运动驱动的多张拍摄图像稳定性的系统和方法

技术领域

本发明通常涉及照相机和照相机模块领域。更具体地，本发明涉及用于改进照相机和照相机模块中的图像稳定性的系统。

背景技术

自摄影术的开始，图像稳定性就已经成为一贯的问题。即使照相机技术发展到现代，确保不会因照相机运动而使照片模糊的难题仍然是个问题。在数字照相机中，图像稳定的问题源于这样的事实，即任何已知的图像传感器都需要在此处被称为积分时间(integrationtime)的时间周期内将图像投影到传感器上。照相机在该时间期间的任何运动致使投影到传感器上的图像的移位，从而导致最终图像的质量降低。此处将该质量降低称为运动模糊。

恢复运动模糊的图像的主要困难之一涉及到这样的事实，即在每个质量降低的图像中运动模糊是不同的。运动模糊的等级取决于在曝光时间期间发生的照相机运动。

具有图像获取能力的消费者设备的微型化以及正在进行的发展增加了对于稳固的和有效的图像稳定性解决方案的需求。这种需求由两个主要因素推动。第一因素是当使用诸如照相电话的小型手持设备时避免在积分时间期间不期望运动的固有困难。第二因素是因小像素区域而引起需要更长的积分时间，该小像素区域是由图像传感器的微型化以及图像分辨率的增加而引起的。像素区域越小，像素每秒可以捕获的光子越少。因此，得到满意结果需要更长的积分时间。

目前，存在两种类型的用于解决图像稳定性的传统解决方案。这些解决方案被称作单张拍摄和多张拍摄解决方案。单张拍摄解决方案是基于在长曝光时间期间捕获单张图像拍摄的解决方案。这是用于图像捕获的经典系统，其中所捕获的图像通常因曝光时间期间发生的运动所导致的运动模糊被破坏。为了恢复图像，必须具有关于在曝光时间期间所发生的运动的非常准确的知识。因此，该方法可能需要高价的运动传感器(即，以陀螺仪形式)，该运动传感器在尺寸上也较大并因此难以包括在小型设备中。此外，如果曝光时间长，那么从运动传感器输出导出的位置信息展现出相对于真实值的偏差漂移误差。偏差漂移误差随时间而累积，使得该过程的结果可能随着时间而受到显著破坏。

若干机构已经在高端照相机中实现了特定类型的单张拍摄解决方案。该方法涉及通过移动光学器件或者传感器来对运动进行补偿，以便在曝光时间期间保持图像被投影到传感器的相同位置上。然而，该解决方案还遭受系统漂移误差，因此对于长曝光时间该方案是不实用的。

相反，多张拍摄方案建立在通过捕获相同景物的若干图像拍摄而将长曝光时间划分成若干较短的时间间隔的基础上.针对每张拍摄的曝光时间很小，以便减少单独拍摄的运动模糊质量降低.在捕获到所有这些拍摄后，以两个步骤来计算最终图像.第一步骤包括相对于第一张图像拍摄配准(register)所有图像拍摄.该步骤被称做配准步骤.第二步骤，被称作像素融合，包括基于每个单独拍摄中的像素值来计算最终图像中每个像素的值.一个简单的像素融合方法包括将每个像素的最终值计算为单独拍摄中像素值的平均.

尽管解决了上述中的某些问题，但是多张拍摄解决方案需要大量的计算资源，以便在短时间间隔期间捕获若干高分辨率帧。此外，这些方法还需要大量的存储器，以便在像素融合步骤之前存储所捕获的图像拍摄。在存储器资源可能非常有限的较小设备中，这实现起来可能代价特别高。

发明内容

本发明提供了一种在多张拍摄和单张拍摄解决方案之间的混合方式，以用于图像捕获。在本发明中，基于关于任何照相机运动的存在或者不存在的知识来控制所摄取的图像拍摄的数量以及每张图像拍摄的积分时间。无论何时检测到运动，都结束当前图像拍摄的积分阶段，并开始下一图像拍摄的积分。因此本发明适用于在曝光期间的实际照相机运动。如果不存在照相机运动，则捕获单张长曝光的图像拍摄。如果存在照相机运动，则根据照相机运动的程度在多张拍摄之间划分总曝光时间。

本发明包括一种使用照相机在图像捕获周期期间捕获图像的方法。所述方法包括开始积分阶段以便捕获帧。如果在照相机中检测到超过预定运动阈值的运动，或者如果达到预定积分周期的结束，则结束积分阶段并保存所捕获的帧。如果用于所捕获的帧的积分阶段的时间未达到图像捕获周期的时间，则继续捕获和保存帧，直到积分阶段的总时间达到图像捕获周期的时间为止，此后通过组合每个所捕获的帧来生成最终图片。

本发明还包括一种用于使用照相机在图像捕获周期期间捕获图像的计算机程序产品。该计算机程序产品包括：用于开始积分阶段以便捕获帧的计算机代码；用于如果在照相机中检测到超过预定运动阈值的运动或者如果达到预定积分周期的结束，则结束积分阶段并保存所捕获的帧的计算机代码；用于如果用于所捕获的帧的积分阶段的时间未达到图像捕获周期的时间，则继续捕获和保存帧直到积分阶段的总时间达到图像捕获周期的时间为止的计算机代码；以及用于通过组合每个所捕获的帧来生成最终图片的计算机代码。

本发明还进一步包括一种电子设备，所述电子设备包括处理器和操作性地连接到所述处理器的存储器单元。所述存储器单元包括：用于开始积分阶段以便捕获帧的计算机代码；用于如果在照相机中检测到超过预定运动阈值的运动或者如果达到预定积分周期的结束，则结束积分阶段并保存所捕获的帧的计算机代码；用于如果用于所捕获的帧的积分阶段的时间未达到图像捕获周期的时间，则继续捕获和保存帧直到积分阶段的总时间达到图像捕获周期的时间为止的计算机代码；以及用于通过组合每个所捕获的帧来生成最终图片的计算机代码。

本发明还包括一种照相机模块。所述照相机模块包括：透镜，安置用于聚焦图像；传感器单元，用于接收由所述透镜聚焦的图像；处理器，操作性地连接至所述传感器单元；以及存储器单元，操作性地连接到所述处理器。所述存储器单元包括：用于积分阶段以便捕获帧的计算机代码；用于如果在照相机模块中检测到超过预定运动阈值的运动或者如果达到预定积分周期的结束，则结束积分阶段并保存所捕获的帧的计算机代码；用于如果用于所捕获的帧的积分阶段的时间未达到图像捕获周期的时间，则继续捕获和保存帧直到积分阶段的总时间达到图像捕获周期的时间为止的计算机代码；以及用于通过组合每个所捕获的帧来生成最终图片的计算机代码。

本发明进一步包括一种用于在图像捕获周期期间使用照相机模块捕获图像的计算机程序。该计算机程序包括：用于开始积分阶段以便捕获帧的装置；用于如果在照相机中检测到超过预定运动阈值的运动或者如果达到预定积分周期的结束，则结束积分阶段并保存所捕获的帧的装置；用于如果用于所捕获的帧的积分阶段的时间未达到图像捕获周期的时间，则继续捕获和保存帧直到积分阶段的总时间达到图像捕获周期的时间为止的装置；以及用于通过组合每个所捕获的帧来生成最终图片的计算机代码。

本发明提供了传统系统中得不到的大量显著优势。利用本发明，由于仅仅需要检测运动而不必测量运动，因此就无需使用昂贵的运动传感器。为了该目的，简单的运动传感器就可以提供非常好的结果。例如，加速度计比陀螺仪小得多并且也便宜得多，因此对于本发明的目的能够特别有用。还可以使用沿着装置的边界分布的两个或更多加速度计，以便在线性平移之外还感测旋转运动。

利用本发明，将曝光期间捕获的图像拍摄的数量降低到最小，从而与经典的多张拍摄方式相比，降低对许多图像拍摄进行处理的计算成本以及存储器需求。另外，本发明允许根据系统状态对运动检测阈值的等级进行调整。例如，该阈值可以根据捕获图像时使用的变焦比来调整。因此，当使用大变焦比时，将需要小阈值，这是因为甚至很小的运动就能够导致投影到图像传感器上的图像的显著移位。另一方面，当使用变焦xl时，相同运动可能导致非常小的移位，这并不是中断当前帧的曝光时间的合理理由。

本发明的系统和方法拥有上述多张拍摄技术的所有优势。特别地，本发明的使用产生了低等级的噪声敏感度，并且本发明并不要求该系统应用反向滤波来恢复图像。与此同时，本发明拥有单张拍摄技术的优势，即由于所捕获的图像拍摄的数量小，所以存储器需求小且计算成本低。

从下面结合附图进行的详细描述中，本发明的这些和其他优势和特征及其操作的组织和方式将变得显而易见，其中在下面描述的若干附图中，相似的元件具有相似的标记。

附图说明

图1示出了根据本发明原理的普通数字照相机的剖面侧视图；

图2示出了可以在本发明的实现中使用的移动电话的透视图；

图3示出了图2的移动电话的电话电路的示意性表示；

图4(a)-图4(c)示出了用于降低图像模糊的经典单张拍摄方式、传统的多张拍摄技术以及本发明的运动驱动的多张拍摄方法之间的差别的图示；以及

图5示出了本发明的一个实施例的实现的流程图。

具体实施方式

在图1中以110示出了根据本发明的原理构造的普通照相机模块.照相机模块110可以是单独的设备或者可以并入到诸如便携式电话的另外的电子设备.照相机模块110包括外壳111，该外壳包含至少一个透镜112、主存储器单元114和照相机处理器116以及至少一个图像传感器118.主存储器单元114可以用来存储数字图像和用于执行照相机模块110中的各种功能的计算机软件，以及用来实现本发明.在该数字照相机内还可以包括存储卡形式的可移动的辅助存储器单元120，用以提供额外的存储空间.图像传感器118可以是电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)或者其他系统.照相机模块110还包括至少一个运动传感器130，其操作性地连接到照相机处理器116.当摄取对象128的图片时，该至少一个透镜112将图像聚焦到该至少一个图像传感器118上，该图像传感器118以电子学方式记录光.然后照相机处理器116将电子信息分解成数字数据，该数字数据可以存储在主存储器单元114和/或辅助存储器单元120中.

图2和图3示出了可以在其上实现本发明的一个代表性移动电话12。然而，重要的是需要注意本发明并不仅限于任何类型的电子设备，并且可以结合到诸如个人数字助理、个人计算机以及其他设备的设备中。应当理解的是，本发明能够结合到广泛种类的移动电话12上。图2和图3的移动电话12包括外壳30、液晶显示器形式的显示器32、小键盘34、麦克风36、耳机38、电池40、红外端口42、天线44、根据本发明一个实施例的通用集成电路卡(UICC)形式的智能卡46、读卡器48、无线接口电路52、编解码器电路54、控制器56以及存储器58。应当理解的是，控制器56可以是与照相机处理器116相同的单元或者不同的单元。在本发明的各种实施例中，存储器58与主存储器单元114可以是也可以不是相同的部件。单独的电路和元件可以是本领域公知的所有类型，例如Nokia移动电话系列。

本发明涉及对由照相机或者照相机模块所摄取的图像拍摄的数量的控制。特别地，本发明涉及基于任何照相机运动的存在或者不存在来调整每张图像拍摄的积分时间。无论何时检测到运动，结束当前图像拍摄的积分阶段，并开始下一图像拍摄的积分。因此本发明适合于在曝光期间的实际照相机运动。如果没有照相机运动，则捕获单张长曝光的图像拍摄。如果存在照相机运动，则根据照相机运动的程度在多张拍摄之间划分总曝光时间。本发明提供了一种在单张拍摄方式和多张拍摄方式之间的混合解决方案，其中通过在一个或多个运动传感器的辅助下检测存在或不存在照相机运动来驱动多张拍摄技术。

本发明涉及在没有运动的周期中或者在由运动传感器检测的运动在特定阈值以下时保持每个单独图像拍摄的曝光阶段。只要感测到运动(或者检测到超过阈值的运动)，则结束当前拍摄的积分，并开始下一拍摄的新的积分阶段。

本发明并不需要关于照相机或照相机模块的运动的精确幅度的准确信息，这意味这不需要复杂的运动传感器。由于本发明仅仅需要用于检测运动存在或者不存在的机构，并且不需准确地测量运动轨迹，因此诸如加速度计的小型且便宜的运动传感器可以用于本发明。这种运动的存在或者不存在可以通过将一个或多个运动传感器的输出值与给定阈值(此处称作运动检测阈值)进行比较而容易地确定。

除上述情况之外，本发明允许照相机或者照相机模块根据照相机运动来调节拍摄的数量以及每张拍摄的曝光时间二者。如果一个或多个运动传感器没有检测到运动，那么该照相机或者照相机模块只是在给定曝光时间期间摄取单张拍摄。另一方面，如果一个或多个运动传感器检测到照相机或者照相机模块的运动，那么在多张图像拍摄之间划分给定曝光时间。该自适应方式根据曝光期间的现有运动来确保最小的拍摄数量。

本发明的一个普通实施例的实现涉及通过软件或者硬件方法控制照相机快门，使得在任何时候检测到运动时关闭快门.在本发明的各种实施例的实现中存在许多需要考虑的基本方面.例如，应该建立用于帧的最小曝光时间.如果在开始曝光时立刻检测到运动，则为了避免非常短的帧，这种做法是需要的.另外，最大总积分时间(即，用于每张拍摄的单独积分时间的总和)也需要设置.为了在没有运动以及仅仅捕获了一帧的情况下建立积分时间的合理限度，需要用于每帧的最大总积分时间.最后，应当设置运动检测阈值.运动检测阈值代表运动幅度(例如，加速度)的最小值，如果低于最小值，就会如同没有出现能够影响照片的运动一样来对待系统.运动检测阈值用于根据由一个或多个运动传感器所产生的值的观点来区分“运动”和“未运动”情形.

图4(a)-图4(c)描述了传统的单张拍摄方式、传统的多张拍摄方式和本发明的方式之间的差别。图4(a)示出了单张拍摄方法，其中单个积分阶段500用于在积分时间开始510和积分时间停止520之间的时间期间捕获图像拍摄。图4(b)示出了多张拍摄方式，其中在相同时间周期期间存在若干积分阶段500，每个积分阶段具有其自己的积分时间开始510和积分时间停止520。对于每个积分时间500，积分时间开始510和积分时间结束520之间的时间长度基本相同。与此对比，图4(c)示出了本发明的实现。在图4(c)中，与图4(b)类似地涉及多个积分阶段500。然而，每个积分阶段500的时间长度并不是恒定的。相反，每张拍摄的积分时间停止520是由检测到任何运动或者检测到预定等级的运动来确定的，任何运动或者预定等级的运动两者均在步骤530表示。该过程继续，直到系统基于光条件或其他因素所要求的总积分时间结束540为止。

图5示出了本发明的一个实施例的实现的流程图。在图5的步骤600，第一积分阶段开始。这通常伴随着照相机快门的打开。在步骤610，照相机快门在曝光时间周期保持打开，在积分阶段继续。该时间周期通常具有最小阈值，并且它还可以具有最大阈值。在步骤620，读取一个或多个运动传感器的值。然后，在步骤630，确定运动传感器输出是否超过运动检测阈值。该运动阈值可以是零，或者该运动阈值可以是更高的等级，以允许确定什么运动是不显著的运动。如果没有超过运动阈值，则将会在随后的时间再次读取一个或多个运动传感器。应当注意的是，这可以在连续的基础上发生，或者下一次读取可以在预定时间周期之后发生。

如果运动传感器输出超过该阈值，则在步骤640终止该积分阶段。在该点处，照相机快门关闭。如果达到了每帧的最大曝光时间周期，也称为积分周期，则该快门也可以关闭。在本发明的又一实施例中，如果摄取完整图片的总时间量已经届满，则可以关闭该快门。照相机快门的关闭还可以伴随有人工声音的产生，从而给予用户与照相机或者照相机模块的相对运动相关的指导。在步骤650，对捕获的帧进行处理。该步骤涉及诸如色彩插值的功能以及其他功能。在步骤660，确定捕获的帧是否是第一张图像拍摄。如果捕获的帧是第一张图像拍摄，则在步骤680记录该帧以及积分时间的值。如果所捕获的帧不是第一张图像拍摄，则将该图像拍摄关于第一张图像拍摄进行配准。这在步骤670进行，并且之后是步骤680，其中更新积分时间的值。

在步骤690，确定总积分时间是否小于特定照片所需的积分时间，该特定照片所需的积分时间也称作图像捕获周期。如果总积分时间不小于所需的积分时间或者图像捕获周期，那么通过结合单独配准的拍摄中的像素值来计算最终像素值。该操作在步骤700表示，并且最终图像被如此处理。另一方面，如果总积分时间小于所需的积分时间或者图像捕获周期，那么该过程返回到步骤600，并开始新的积分阶段。

像素融合步骤700可以以各种方式来执行。一种方式是将最终像素值计算为所有单独图像拍摄中的像素值的加权平均。特定实施例中最自然的权重正好是用于每张拍摄的积分时间。因此，通过将N个捕获的图像拍摄的积分时间指示为T₁，T₂，...，T_N，位于(x，y)坐标处的像素的最终值由以下式子给出：

I (x, y) = \frac{Σ_{n = 1}^{N} T_{n} \cdot I_{n} (x, y)}{Σ_{n = 1}^{N} T_{n}}

在该情景下，I_n(x，y)指示了第n个图像拍摄中的(x，y)像素的值。

在方法步骤的普通场景下对本发明进行了描述，本发明可以通过程序产品在一个实施例中来实现，该计算机程序产品包括在联网环境中由计算机执行的计算机可执行指令，诸如程序代码。

通常，程序代码包括用于执行特定任务或者实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。计算机可执行指令、相关数据结构和程序模块代表了用于执行此处公开的方法的步骤的程序代码的实例。这种可执行指令或者相关数据结构的特定序列代表了用于实现在这种步骤中描述的功能的对应动作的实例。

本发明的软件和网络实现能够利用标准编程技术来完成，利用基于规则的逻辑或者其他逻辑来实现各种数据库搜索步骤、相关步骤、比较步骤和决策步骤。还应当注意的是，此处以及权利要求中使用的词语“组件”和“模块”意在包括使用一行或多行软件代码的实现和/或硬件实现和/或用于接收手工输入的设备。

出于示例和描述的目的，已经给出了本发明实施例的前述说明。前述说明并非是穷举性的也并非要将本发明限制到所公开的确切形式，根据上述教导还可能存在变型和修改，或者是可能从本发明的实践中得到变型和修改。选择和描述这些实施例是为了说明本发明的原理及其实际应用，以使得本领域的技术人员能够在各种实施例中并利用适合于所设想的特定用途的各种修改来利用本发明。

Claims

1.一种用于在图像捕获周期期间使用照相机捕获图像的方法，包括：

开始积分阶段，以便捕获帧；

如果在所述照相机中检测到超过预定运动阈值的照相机运动，或者如果达到作为积分阶段的预定周期的预定积分周期的结束，则结束所述积分阶段并保存所述捕获的帧；

如果用于所述捕获的帧的所述积分阶段的时间未达到作为捕获图像的周期的图像捕获周期的时间，则继续捕获和保存帧，直到所述积分阶段的总时间达到所述图像捕获周期的时间为止；以及

通过组合每个所述捕获的帧来生成最终图片。

2.根据权利要求1所述的方法，其中使用至少一个运动传感器来检测在照相机中的运动。

3.根据权利要求1所述的方法，其中所述运动检测阈值根据捕获图像时使用的变焦比来自动调整。

4.根据权利要求1所述的方法，其中所述运动检测阈值可由用户手动调整。

5.根据权利要求1所述的方法，其中每个积分阶段具有最小的曝光时间量。

6.根据权利要求1所述的方法，其中每个积分阶段的开始包括照相机快门的打开，并且其中每个积分阶段的结束包括照相机快门的关闭。

7.根据权利要求1所述的方法，其中所述生成最终图片包括：针对每个像素，基于相同像素在每个所述捕获的图像中的像素值来计算最终像素值。

8.根据权利要求1所述的方法，其中所述预定积分周期小于或等于所述图像捕获周期。

9.根据权利要求2所述的方法，其中所述至少一个运动传感器包括至少一个加速度计。

10.根据权利要求1所述的方法，进一步包括在保存之前对每个所述捕获的帧进行处理。

11.根据权利要求1所述的方法，其中所述处理包括色彩插值。

12.一种用于使用照相机模块捕获图像的设备，包括：

用于开始积分阶段以便捕获帧的装置；

用于如果在所述照相机中检测到超过预定运动阈值的照相机运动或者如果达到作为积分阶段的预定周期的预定积分周期的结束，则结束所述积分阶段并保存所述捕获的帧的装置；

用于如果用于所述捕获的帧的积分阶段的时间未达到作为捕获图像的周期的图像捕获周期的时间，则继续捕获和保存帧，直到所述积分阶段的总时间达到所述图像捕获周期的时间的装置；以及

用于通过组合每个所述捕获的帧来生成最终图片的装置。

13.根据权利要求12所述的设备，其中所述运动检测阈值根据捕获所述图像时使用的变焦比来自动调整。

14.根据权利要求12所述的设备，其中所述运动检测阈值可由用户手动调整。

15.根据权利要求12所述的设备，其中所述生成最终图片包括：针对每个像素，基于相同像素在每个所述捕获的图像中的像素值来计算最终像素值。

16.根据权利要求12所述的设备，其中每个积分阶段具有最小的曝光时间量。

17.根据权利要求12所述的设备，其中所述预定积分周期小于或等于所述图像捕获周期。

18.根据权利要求12所述的设备，其中所述处理器进一步配置用于在保存之前对每个所述捕获的帧进行处理。