CN109565551A - 对齐于参考帧合成图像 - Google Patents

Abstract

在各种示例中，存在一种图像合成器，其包括存储两个或更多个帧的存储器，所述帧是描绘相同场景的图像；以及至少一个处理器。存储器保存可由处理器执行的指令，以选择帧中的至少一个并将其指定为参考帧并将其他帧指定为目标帧。指令将目标帧与参考帧对齐，并通过合成参考帧和经对齐的目标帧来计算输出图像。选择参考帧的过程包括以下中的任一个或多个：帧的特征的局部分析、面部检测、微笑检测、对象检测、计算各个帧的信噪比、来自至少一个非相机传感器的传感器数据的使用。

Description

对齐于参考帧合成图像

背景技术

多个图像(也被称为帧)在其已与参考帧对齐之后被合成，用于诸如高动态范围(HDR)摄影、滤噪之类的应用。高动态范围摄影是用于表示比使用传统数字或模拟摄影可以实现的图像中更大范围的亮度水平的过程。例如，HDR图像可以表示包含浓重阴影和明亮阳光两者的真实场景。通过合成多个图像来滤噪包括以某种方式计算描绘相同场景的许多帧的聚合，以便减少输出图像中的噪声量。

多个图像或帧可越来越多地从照相手机、网络照相机和其他类型的照相机获得。例如，对于不同的帧使用不同的相机参数来捕获多个帧的包围曝光通常被用于HDR摄影。例如，连拍摄影在许多照相手机上是可用的，借助连拍摄影，多个帧以时间顺序被快速地捕获。

以下描述的各实施例不限于解决用于合成图像的已知系统的缺点中的任一个或全部的实现。

概述

下面呈现了本公开的简要概述，以便向读者提供基本理解。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。其唯一的目的是以简化形式呈现本文中所公开的概念精选，作为稍后呈现的更详细描述的序言。

在各种示例中，存在一种图像合成器，其包括存储两个或更多个帧的存储器，所述帧是描绘相同场景的图像；以及至少一个处理器。存储器保存可由处理器执行以选择帧中的至少一个并将其指定为参考帧并将其他帧指定为目标帧的指令。指令将目标帧与参考帧对齐，并通过合成参考帧和经对齐的目标帧来计算输出图像。选择参考帧的过程包括以下中的任一个或多个：帧的特征的局部分析、面部检测、微笑检测、对象检测、计算各个帧的信噪比、来自至少一个非相机传感器的传感器数据的使用。

通过参考结合附图考虑的以下详细描述将更易于领会许多附带特征，因为这些附带特征变得更好理解。

附图描述

根据附图阅读以下详细描述将更好地理解本说明书，在附图中：

图1是由相机设备捕获并被合成以生成输出图像的多个图像(也被称为帧)的示意图；

图2是合成多个帧的方法的流程图；

图3是适用于在多帧图像处理中合成多个帧的相机的示意图；

图4示出基于计算的示例性设备，其中用于合成两个或更多个图像的系统的实施例被实现。

在各个附图中使用相同的附图标记来指代相同的部件。

详细描述

下面结合附图提供的详细描述旨在作为本发明示例的描述，而并不旨在表示构建或使用本发明示例的唯一形式。本描述阐述了本发明示例的功能，以及用于构建和操作本发明示例的操作的序列。然而，可通过不同示例来完成相同或等效的功能和序列。

术语帧在本文中被用于指代诸如由彩色相机、单色相机、网络相机、视频相机、红外相机、深度相机、立体相机、飞行时间相机、医学成像设备或其他图像传感器捕获的数字图像的图像。

多帧图像处理系统用于合成多个帧以形成与输入帧中的各个输入帧相比具有改善质量的输出图像。例如，用于计算高动态范围(HDR)图像、计算超分辨率图像、去噪图像、去模糊图像、通过合成多个闪光和非闪光图像来生成具有环境光和精细细节的图像，以及用于其他目的。所述帧描绘同一场景，或同一场景的至少部分。例如，所述帧在不同时间由同一相机拍摄，或者由不同的相机从略微不同的视角拍摄。(诸)相机可以是移动的，但是任何运动都使得在帧中描绘的场景之间存在重叠。在一些情况下，(诸)相机的参数对于每个帧是相同的，而在一些情况下，(诸)相机的参数在帧之间变化。例如，由照相手机拍摄的一连串图像通常包括快速连续地由同一相机捕获的具有相同的曝光时间、光学系统参数和其他设置的多个帧。例如，用于HDR摄影的由数码相机拍摄的帧的包围通常包括快速连续地由同一相机捕获的但具有不同的曝光时间的多个帧。

为了合成或聚合来自多个帧的信息，首先对齐帧。对齐帧包括选择多个帧中的一个作为参考帧，并接着将每个其他帧(被称为目标帧)与参考帧对齐。对齐帧或图像也被称为图像配准。任何已知的帧对齐过程被使用。例如，基于亮度的帧对齐被使用，由此使用相关性度量来比较帧中的亮度模式。使用相关性度量来迭代地变换目标帧，作为指导对良好对齐的搜索的方式。使用基于特征的方法将目标帧与参考帧对齐涉及识别描绘场景中的相同特征的参考帧和要被对齐的帧中的像素。从对应的像素计算几何变换，并且该几何变换被用于变换目标帧。

在本文描述的各种实施例中，描述了选择参考帧的方式，其与先前的解决方案相比提供了改善的结果质量。也就是说，参考帧的选择对通过合成对齐的帧生成的输出图像有影响。例如，通过使用以下中的一个或多个以知悉的方式来选择参考帧：帧的局部分析、诸如面部检测、微笑检测、对象检测之类的帧的内容分析、帧的噪声分析、其他传感器信息。在一些情况下，多于一个参考帧被使用。在一些情况下，参考帧在迭代过程中被选择，由此初始参考帧稍后被更新。因此，存在一种处理装置，其提供高质量图像作为输出，其中输出图像通过合成来自多个帧的信息来形成。

图1是由相机设备100捕获并被合成以生成输出图像108的多个图像(也被称为帧)106的示意图。在该示例中，相机设备100是由摄影师持有的照相手机并被用于拍摄描绘一个小孩朝向相机跳跃的起居室场景的一连串的帧106。当小孩是移动的并且场景中的其他对象是静止的时，描绘小孩的像素的位置在一连串的帧的每一个图像中变化。而且，小孩在一个或多个帧106中看起来模糊(如图1所示，小孩的头部、手臂和头发在最上面的帧中是模糊的)。

相机设备100具有使用软件、硬件和固件的任何组合来实现的图像组合器102。图像合成器102合成来自一连串的帧106的各个帧的信息以生成输出图像108。图像合成器102选择一连串的帧106中的一个帧作为参考帧，将一连串的帧106中的其他帧与参考帧对齐，并接着通过合成信息计算输出图像108。

将参考帧选择是全局上为一连串的帧106中的最清晰的帧的那帧的方法在诸如图1所示的情况下表现不佳。这里认识到这是因为整体上最清晰的帧具有小孩的模糊描绘，因为小孩是图像的相对小的部分而清晰度评估考虑了整个图像。选择具有小孩的模糊描绘的参考帧的这种方法接着生成也具有小孩的模糊描绘的输出图像108。当参考帧被选择为具有最短曝光时间的帧时，类似的情况会发生，因为不存在对于局部区域的考虑作为参考帧选择过程的一部分。

在一些示例中，图像合成器102被配置为基于以下中的任一个或多个来选择参考帧：帧的局部分析、诸如面部检测、微笑检测、对象检测之类的帧的内容分析、帧的噪声分析、其他传感器信息。在一些情况下，多于一个参考帧被使用。在一些情况下，参考帧在迭代过程中被选择，由此初始参考帧稍后被更新。

替代地或附加地，本文中所描述的图像合成器的功能至少部分地由一个或多个硬件逻辑部件来执行。作为示例而非限制，可选地被使用的硬件逻辑组件的说明性类型包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统型系统(SOC)、复杂可编程逻辑器件(CPLD)、图形处理单元(GPU)。

在一些情况下，图像合成器102功能全部或部分地位于由远离相机设备100并且通过通信网络与相机设备100通信的一个或多个计算设备提供的云服务104。例如，图像合成器102能够将多个帧106发送到云服务104并且接收返回的输出图像108。例如，图像合成器102能够将多个帧106发送到云服务104并且作为响应接收多个帧中的哪个帧被用作参考帧的指示。在那种情况下，相机设备100处的图像合成器102自己使用关于哪个帧是参考帧的来自云服务104的信息来计算输出图像108。

图2是合成多个帧的方法的流程图。该方法由相机设备100处或云服务104处或在相机设备100和云服务104之间共享的图像合成器102实现。

诸如图1的一连串的帧106或在HDR应用的情况下的帧的包围，或任何其他多个帧的多个帧被接收200。图像合成器接收诸如在帧被捕获时使用的曝光时间或其他相机设置的与帧相关联的任何可获得的元数据。图像合成器102分析帧202。分析帧的下列方式的一种或多种的任一组合被使用。

例如，其执行帧的局部分析。帧的局部分析是从部分但非整个帧的区域计算单个帧的特征的过程。由局部分析计算的特征是任何(诸)图像特征，并且非穷举的示例列表是：清晰度、亮度变化、亮度梯度、信噪比、面部的存在、微笑的存在、对象检测、颜色信息、对象位置(例如，选择一个参考帧，其具有与其他帧相比更中心地被放置的对象，或者选择一个对象相对于场景中的其他对象更接近黄金分割规则被放置的帧)、一个或多个图像特征的任何加权组合。另一示例是选择显示特定方向上检测到的对象的帧。

在一些情况下，在局部分析中使用的区域被预先配置为像素位置的范围。例如，在局部分析中使用的区域被预先配置为帧的中心区域。

在一些情况下，在局部分析中使用的区域在每帧的基础上动态地被选择。例如，该区域由用户指定为用户输入的结果。例如，该区域由图像合成器自动地计算为帧的中心区域。例如，该区域基于图像的内容由图像合成器自动地计算。例如，在局部分析中使用的区域被计算为描绘诸如面部、身体或狗的对象的区域。在一些情况下，在局部分析中使用的区域是描绘移动的对象的区域。这将在本文稍后更详细地说明。

在一些情况下，图像合成器进行诸如面部检测、微笑检测之类的帧的内容分析。在一些情况下，内容分析针对整个帧。在一些情况下，内容分析针对部分帧但非如上所提及的所有帧。在一些示例中，其中最大的脸部朝向相机的帧被选择为参考帧。

在一些情况下，图像合成器对帧进行噪声分析(在整个帧上或仅在帧的一部分上)，诸如对各个帧计算信噪比的度量。在使用不同的曝光参数拍摄帧时，这尤其有用。例如，具有最高清晰度的最小噪声帧被选择为参考帧。

在一些情况下，图像合成器对整个帧上的图像清晰度进行分析。

如果传感器数据是可获得的，图像合成器访问204该传感器数据。例如，在一些情况下，相机设备100中具有诸如陀螺仪、霍尔传感器、全球定位系统(GPS)传感器之类的其他传感器。在一些情况下，来自这些其他传感器的数据被访问204。例如，当帧的各个帧被捕获时来自与时间实例相关联的其他传感器的数据。

图像合成器接着选择206所接收的帧中的一个或多个作为参考帧。基于一个或多个规则进行选择，所述规则指定如何使用帧的分析结果，可选地可获得的帧元数据以及可选地可获得的传感器数据来选择参考帧。

在一个示例中，规则指定如果任务是合成以不同曝光时间拍摄的帧，则具有最高全局清晰度的最小全局噪声帧将被选择为参考帧。

在一个示例中，规则指定如果任务是合成以相同的相机设置拍摄的帧，则具有描绘面部的局部最清晰区域的帧将被选择为参考帧。

在一个示例中，规则指定如果任务是在存在由陀螺仪指示的显著相机运动的情况下合成以相同的相机设置拍摄的帧，则与最少相机运动相关联的全局最清晰帧被选择为参考帧。

在一个示例中，规则指定具有已被识别为移动的对象的最清晰版本的帧被选择。在一些情况下，通过使用相机上可获得的预览数据或取景器数据，将对象识别为移动的对象。在这种情况下，对移动对象的区域的清晰度分析在每个帧中被执行并被用于选择参考帧。这是有用的，因为不需要参考帧的迭代选择和重新对齐。

如上所提及，在一些示例中存在多于一个参考帧。考虑具有两个参考帧的情况，一个具有小孩的最清晰的描绘，而另一个具有父母的最清晰的描绘。场景包括小孩和父母。最清晰地描绘父母的参考帧的部分被用于对齐描绘父母的目标帧的区域。最清晰地描绘小孩的参考帧的部分被用于对齐描绘小孩的目标帧的区域。

给定至少一个参考帧，在操作200处所接收的剩余帧被称为目标帧。图像合成器使用图像配准过程将目标帧与参考帧对齐208，如本文前面所述。图像合成器决定是否迭代210以重新选择(诸)参考帧。例如，在一些情况下，图像合成器被配置为进行诸如两次迭代或其他固定次数的迭代的固定次数的迭代。在一些情况下，图像合成器基于用户输入决定是否迭代。在这种情况下，操作212和214在决定迭代210之前发生，并且用户能够查看输出帧214并决定是否迭代以期望接收更好的输出帧214。在一些情况下，图像合成器决定是否根据输出帧214是否存在会聚来迭代210，即，与在图2的方法的先前迭代中计算的先前输出帧214相比的输出帧214中很小的变化。在这种情况下，操作212和214发生在操作210之前。

通过允许图2的过程来进行迭代，输出帧的改善质量被实现。这是因为在操作202处的分析能够在那些帧根据一个或多个初始参考帧被对齐之后使用多个帧。然后操作202处的分析质量被改善，并且参考帧选择操作206的质量也被改善。例如，考虑图1中所示的情况，其中小孩在静态场景中移动。评估整个帧的清晰度导致参考帧的选择不佳。评估移动对象(小孩)的清晰度提供了对参考帧的更好的选择。然而，为了找到描绘各个帧中的移动对象的区域，需要对齐帧以便补偿相机的总运动。因此，通过执行图2的过程的迭代，初始参考帧被具有移动对象的最清晰描绘的参考帧替换。

图2的方法适用于如已提及的多于一个参考系的情况。例如，如果场景中存在诸如图1的小孩和同一场景中的另一个小孩的两个移动对象。一个小孩在一个帧中更清晰，而另一个小孩在某些其他帧中更清晰。基于如图2所示的初始参考帧选择来对齐帧，并且在帧之间移动的区域被识别(描绘小孩1的区域和描绘小孩2的区域)。这些区域被发现是彼此隔离的。对每个小孩区域在帧上进行局部分析，并且为描绘小孩1的区域选择一个参考帧，并且为描绘小孩2的区域选择另一个参考帧。因此，具有关于描绘场景中的第一对象的图像元素的一个参考帧以及关于描绘场景中的另一对象的图像元素的另一参考帧是可能的。在操作212，使用聚合、平均、混合或以其他方式来合成经对齐的帧。得到的图像作为输出帧214被提供并被存储在存储器中，被渲染到显示器或通过通信网络被发送到另一个实体。

在一些示例中，图像合成器102与数码相机300集成在一起，如现在参考图3所述。

数码相机300包括图像传感器308，其接收从场景内的对象反射的光。图像传感器308包括电荷耦合器件(CCD)传感器，互补金属氧化物半导体(CMOS)传感器，例如光子混合器装置(PMD)传感器或其他适当的传感器，其被布置成检测从相机范围内的对象、人和表面反射和发射的光。

相机包括光学系统312，其被布置成收集和聚焦从环境反射到图像传感器308上的光。相机包括控制图像传感器308和光学系统312的驱动电子设备310。图像传感器可以电子地被打开和关闭而不用物理快门。

在一个示例中，相机包括处理器304和存储来自图像传感器308的传感器数据的存储器320。其中，图像合成器120在相机中，其包括被存储在存储器302中并在一些情况下在处理器304中被执行的软件。在一些示例中，图像合成器102是现场可编程门阵列(FPGA)或专用芯片。例如，图像合成器102的功能全部或部分地由一个或多个硬件逻辑组件实现。作为示例而非限制，可被使用的硬件逻辑组件的说明性类型包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统型系统(SOC)、复杂可编程逻辑器件(CPLD)、图形处理单元(GPU)。

在一些示例中，相机300具有通信机构320，以使其能够将其捕获的帧发送到另一实体。在一些示例中，相机300具有显示机构322，以使其能够在与相机300相关联的显示器处显示来自图像合成器102的输出帧。在一些情况下，相机具有诸如陀螺仪314、霍尔传感器316、GPS传感器318的一个或多个传感器。

图4解说被实现为任何形式的计算和/或电子设备，并且其中在一些示例中实现用于合成对齐的帧的图像合成器的实施例的示例性基于计算的设备400的各组件。

基于计算的设备400包括一个或多个处理器402，这些处理器是微处理器、控制器或用于处理用于控制设备操作的计算机可执行指令以合成多个帧以生成比多个帧中的各个帧更高质量的输出帧的任何其他合适类型的处理器。在一些示例中，对于使用片上系统体系结构的示例，处理器402包括用硬件(而非软件或固件)实现图2的方法的一部分的一个或多个固定功能块(也被称为加速器)。在基于计算的设备处提供包括操作系统404或任何其他合适的平台软件的平台软件以使得能够在该设备上执行应用软件406。包括被存储在存储器416中用于在处理器402上执行的软件的图像合成器408在一些情况下可用于执行图1的方法。数据存储410保存帧、规则、帧元数据、传感器数据或其他信息。

使用可由基于计算的设备400访问的任何计算机可读介质来提供计算机可执行指令。计算机可读介质包括例如诸如存储器416之类的计算机存储介质和通信介质。诸如存储器416之类的计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括但不限于，随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪存或其他存储器技术、紧致盘只读存储器(CD-ROM)、数字多功能盘(DVD)或其他光存储、磁带盒、磁带、磁盘存储或其他磁存储设备，或者被用于存储信息以供计算设备访问的任何其他非传输介质。相比而言，通信介质以诸如载波或其他传输机制之类的已调数据信号来体现计算机可读指令、数据结构、程序模块等。如本文中所定义的，计算机存储介质不包括通信介质。因此，计算机存储介质本身不应当被理解成是传播信号。虽然在基于计算的设备400中示出了计算机存储介质(存储器416)，然而应当理解，该存储是在一些示例中分布式的或位于远处并经由网络或其他通信链路(例如，使用通信接口412)来访问。

基于计算的设备400还包括输入/输出控制器414，该输入/输出控制器被布置成向显示设备418输出显示信息，该显示设备可与基于计算的设备400分开或集成。该显示信息可提供图形用户界面。输入/输出控制器414还被布置成接收并处理来自一个或多个设备的输入，如用户输入设备420(例如，鼠标、键盘、相机、话筒、或其他传感器)。在一些示例中，用户输入设备420检测语音输入、用户姿势或其他用户动作，并且提供自然用户界面(NUI)。该用户输入可被用于显示图像合成器408的输出帧，指定将由图像合成器408使用的规则，选择用于分析的帧区域，以及选择是否继续迭代。在一实施例中，如果显示设备418是触敏显示设备，则其也充当用户输入设备420。在一些示例中，输入/输出控制器414向除显示设备之外的设备输出数据，例如，本地连接的打印设备。

在一些示例中，相机422被连接到输入/输出控制器414，并且捕获一连串的帧，帧的包围或要被合成的其他多个帧。在一些情况下，多于一个相机422被连接到输入/输出控制器414。例如，一个相机被用于捕获用于检测相机自身运动的图像，而另一个相机被用于捕获要被合成的多个帧。

输入/输出控制器414、显示设备418以及用户输入设备420中的任一者可包括使用户能够按自然的、免受诸如鼠标、键盘、遥控器等输入设备所施加的人工约束的方式与基于计算的设备交互的NUI技术。在一些示例中提供的NUI技术的示例包括但不限于依赖于话音和/或语音识别、触摸和/或触控笔识别(触敏显示器)、屏幕上和屏幕附近的姿势识别、隔空姿势、头部和眼睛跟踪、话音和语音、视觉、触摸、姿势以及机器智能的那些技术。在一些示例中使用NUI技术的其他示例包括意图和目的理解系统、使用深度相机(诸如立体相机系统、红外相机系统、红绿蓝(rgb)相机系统、以及这些的组合)的运动姿势检测系统、使用加速度计/陀螺仪，面部识别，三维(3D)显示，头部、眼睛和注视跟踪的运动姿势检测、沉浸式增强现实和虚拟现实系统、以及用于使用电场感测电极(脑电图(EEG)及相关方法)来感测脑部活动的技术。

作为本文所描述的其他示例的替换或补充，一些示例包括以下的任何组合：

一种图像合成器，包括：

存储两个或更多个帧的存储器，所述两个或更多个帧是描绘同一场景的图像；以及

至少一个处理器；

所述存储器保存指令，所述指令可由所述处理器执行以：

选择帧中的至少一个并将其指定为参考帧并将其他帧指定为目标帧；

将目标帧与参考帧对齐；

通过合成参考帧和经对齐的目标帧来计算输出图像；

并且其中选择参考帧的过程包括以下中的任一个或多个：帧的特征的局部分析、面部检测、微笑检测、物体检测、计算各个帧的信噪比、来自至少一个非相机传感器的传感器数据的使用。

上述的图像合成器，其中存储器保存由处理器执行以迭代选择帧中的至少一个的过程并将被选择的帧指定为参考帧的指令。

上述的图像合成器，其中选择参考帧的过程使用在迭代之间改变的标准。

上述的图像合成器，其中选择参考帧的过程针对迭代中的第一个迭代使用在整个帧上评估的标准，并且针对迭代中的随后的各迭代使用在小于整个帧的区域上评估的标准。

上述的图像合成器，其中选择参考帧的过程针对迭代中的第一个迭代使用在整个帧上评估的标准，并且针对迭代中的随后的各迭代使用在小于整个帧的区域上评估的标准，那些区域描绘在场景中移动的一个或多个对象。

上述的图像合成器，其中迭代在计算输出图像之前被执行。

上述的图像合成器，其中迭代在输出图像的计算之后被执行，并且其中迭代由用户输入触发。

上述的图像合成器，其中迭代在输出图像的计算之后被执行并继续直到输出图像在迭代之间的变化满足标准。

上述的图像合成器，其中存储器保存可由处理器执行以通过分析帧的各个区域来计算帧的特性的局部分析的指令，其中所述各个区域小于整个帧。

上述的图像合成器，其中存储器保存可由处理器执行以计算帧的预定义区域中的局部分析的指令。

上述的图像合成器，其中存储器保存可由处理器执行以计算帧的区域中的局部分析的指令，所述区域由用户输入选择，或被计算以描绘指定的对象，或者是被用于捕捉帧的相机的聚焦的区域。

上述的图像合成器，其中存储器保存可由处理器执行以通过评估帧在小于整个帧的区域中的清晰度来计算局部分析的指令。

上述的图像合成器，其中存储器保存可由处理器执行以通过评估帧在描绘移动对象的区域中的清晰度来计算局部分析的指令。

上述的图像合成器，其中存储器保存可由处理器执行以通过找到具有朝向被用于捕获帧的相机的最大面部的帧来计算面部检测的指令。

上述的图像合成器，其中其他传感器数据包括来自陀螺仪或霍尔传感器或全球定位传感器的数据。

上述的图像合成器，其中存储器保存可由处理器执行以选择帧中的两个作为参考帧的指令，参考帧中的第一参考帧是关于描绘场景中的第一对象的图像元素，而第二参考帧是关于描绘场景中的另一个对象的图像元素。

一种图像合成器，包括：

用于存储两个或更多个帧的装置，所述两个或更多个帧是描绘同一场景的图像；以及

用于选择帧中的至少一个帧并将其指定为参考帧并将其他帧指定为目标帧的装置；

用于将目标帧与参考帧对齐的装置；

用于通过合成参考帧和经对齐的目标帧来计算输出图像的装置；

并且其中选择参考帧的过程包括以下中的任一个或多个：帧的特征的局部分析、面部检测、微笑检测、对象检测、计算各个帧的信噪比、来自至少一个非相机传感器的传感器数据的使用。

一种计算机实现的方法，包括：

接收两个或更多个帧，所述两个或更多个帧是描绘同一场景的图像；

选择帧中的至少一个帧并将其指定为参考帧并将其他帧指定为目标帧；

将目标帧与参考帧对齐；

通过合成参考帧和经对齐的目标帧来计算输出图像；

并且其中选择参考帧的过程被迭代，使得选择参考帧的过程使用在迭代之间改变的标准。

上述的方法，该方法针对迭代中的第一个迭代使用在整个帧上评估的标准，并且针对迭代中的随后的各迭代使用在小于整个帧的区域上评估的标准。

上述的方法，其中所述区域描绘在场景中移动的对象。

本文中所使用的术语“计算机”或“基于计算的设备”是指具有处理能力以便其执行指令的任何设备。本领域技术人员将认识到，这样的处理能力被结合到许多不同设备中，并且因此术语“计算机”和“基于计算的设备”各自包括个人计算机(PC)、服务器、移动电话(包括智能电话)、平板计算机、机顶盒、媒体播放器、游戏控制台、个人数字助理、可穿戴计算机和许多其他设备。

在一些示例中，本文中所描述的方法由有形存储介质上的机器可读形式的软件来执行，例如计算机程序的形式，该计算机程序包括在该程序运行于计算机上时被适配成执行本文中所描述的方法的一个或多个的所有步骤的计算机程序代码装置，并且其中该计算机程序可被具体化在计算机可读介质上。软件适于在并行处理器或串行处理器上执行以使得各方法操作可以按任何合适的次序执行或者同时执行。

这承认，软件是有价值的、单独地可交换的商品。其旨在涵盖运行于或者控制哑(“dumb”)或标准硬件以执行期望的功能的软件。其还旨在涵盖诸如用于设计硅芯片，或者用于配置通用可编程芯片的HDL(硬件描述语言)软件之类的“描述”或者定义硬件配置以执行期望功能的软件。

本领域技术人员将认识到，被用来存储程序指令的存储设备可选地跨网络分布。例如，远程计算机能够存储被描述为软件的进程的示例。本地或终端计算机能够访问远程计算机并下载软件的一部分或全部以运行程序。替代地，本地计算机可以根据需要下载软件的片段，或者在本地终端处执行一些软件指令，并在远程计算机(或计算机网络)处执行另一些软件指令。本领域的技术人员还将认识到，通过利用本领域的技术人员已知的常规技术，软件指令的全部或一部分可以通过诸如数字信号处理器(DSP)、可编程逻辑阵列等的专用电路来实现。

如将对本领域技术人员显而易见的是，本文中所给出的任何范围或设备值可以被扩展或改变，而不会丢失寻求的效果。

尽管用结构特征和/或方法动作专用的语言描述了本发明主体，但可以理解，所附权利要求书中定义的主体不必限于以上所描述的具体特征或动作。更确切而言，以上所描述的具体特征和动作是作为实现权利要求的示例形式公开的。

将会理解，以上所描述的益处及优点可以涉及一个实施例或可以涉及若干实施例。各实施例并不限于解决所阐述的问题中的任何或全部问题的那些实施例、或者具有所阐述的益处和优点中的任何或全部益处和优点的那些实施例。将进一步理解，对“一个”项目的提及是指那些项目中的一个或多个。

本文中所描述的方法的步骤可按任何合适次序执行，或者在恰适的地方同时执行。附加地，在不偏离本文中所描述的主题的范围的情况下，可以从任何一个方法中删除各单独的框。以上所描述的示例中的任一者的诸方面可以与所描述的其他示例中的任一者的诸方面组合，以形成进一步的示例而不会丢失所寻求的效果。

本文所示出并描述的示例以及本文未具体描述但在本公开的各方面的范围内的示例构成了用于存储的示例装置、用于选择的装置、用于对齐的装置以及用于计算的装置。例如，图4的存储器302或图4的存储器416构成用于存储两个或更多个帧的示例性装置，所述帧是描绘同一场景的图像。例如，图1和图3和图4的图像合成器102、408构成了用于选择帧中的至少一个帧并将其指定为参考帧并将其他帧指定为目标帧的示例性装置；并且其还构成了用于将目标帧与参考帧对齐的示例性装置，并且其还构成了用于通过合成参考帧和经对齐的目标帧来计算输出图像的示例性装置，使得选择参考帧的过程包括以下中的任一个或多个：帧的特征的局部分析、面部检测、微笑检测、对象检测、计算各个帧的信噪比、来自至少一个非相机传感器的传感器数据的使用。

本文中使用术语“包括”以意指包括所标识的方法的框或元件，但是这样的框或元件是不包括排他性列表的，并且方法或装置可包含附加的框或元件。

可以理解，上面的描述只是作为示例给出并且本领域的技术人员可以做出各种修改。以上说明、示例和数据提供了对各示例性实施例的结构和使用的全面描述。虽然上文以一定程度的特殊性或参考一个或多个单独实施例描述了各个实施例，但是在不偏离本说明书的精神或范围的情况下，本领域技术人员可以对所公开的实施例作出很多改变。

Claims (15)

1.一种图像合成器，包括：

用于存储两个或更多个帧的存储器，所述两个或更多个帧是描绘同一场景的图像；以及

至少一个处理器；

所述存储器保存指令，所述指令可由所述处理器执行以：

选择所述帧中的至少一个帧并将其指定为参考帧并将其他帧指定为目标帧；

将所述目标帧与所述参考帧对齐；

通过合成所述参考帧和经对齐的目标帧来计算输出图像；

并且其中选择所述参考帧的过程包括以下中的任一个或多个：帧的特征的局部分析、面部检测、微笑检测、对象检测、计算各个帧的信噪比、来自至少一个非相机传感器的传感器数据的使用。

2.根据权利要求1所述的图像合成器，其特征在于，所述存储器保存可由所述处理器执行以迭代所述选择所述帧中的至少一个帧并将其指定为参考帧的过程的指令。

3.根据权利要求2所述的图像合成器，其特征在于，选择所述参考帧的过程使用在迭代之间改变的标准。

4.根据权利要求2或权利要求3所述的图像合成器，其特征在于，选择所述参考帧的过程针对所述迭代中的第一个迭代使用在整个帧上评估的标准，并且针对所述迭代中的随后的各迭代使用在小于整个帧的区域上评估的标准。

5.根据权利要求2所述的图像合成器，其特征在于，选择所述参考帧的过程针对所述迭代中的第一个迭代使用在整个帧上评估的标准，并且针对所述迭代中的随后的各迭代使用在小于整个帧的区域上评估的标准，那些区域描绘在所述场景中移动的一个或多个对象。

6.根据权利要求2至5中的任一项所述的图像合成器，其特征在于，所述迭代在计算所述输出图像之前被执行。

7.根据权利要求2至6中的任一项所述的图像合成器，其特征在于，所述迭代在所述输出图像的计算之后被执行，并且其中所述迭代由用户输入触发。

8.根据权利要求2所述的图像合成器，其特征在于，所述迭代在所述输出图像的计算之后被执行并继续直到所述输出图像在所述迭代之间的变化满足标准。

9.根据权利要求1至8中的任一项所述的图像合成器，其特征在于，所述存储器保存可由所述处理器执行以通过分析所述帧的各个区域来计算所述帧的特性的局部分析的指令，其中所述各个区域小于整个帧。

10.根据权利要求1至9中的任一项所述的图像合成器，其特征在于，所述存储器保存可由所述处理器执行以计算帧的预定义区域中的所述局部分析的指令。

11.根据权利要求1至10中的任一项所述的图像合成器，其特征在于，所述存储器保存可由所述处理器执行以在帧的区域中计算所述局部分析的指令，所述区域由用户输入选择，或被计算以描绘指定的对象，或者是被用于捕捉所述帧的相机的聚焦的区域。

12.根据权利要求1至11中的任一项所述的图像合成器，其特征在于，所述存储器保存可由所述处理器执行以通过评估所述帧在小于整个帧的区域中的清晰度来计算所述局部分析的指令。

13.根据权利要求1至12中的任一项所述的图像合成器，其特征在于，所述存储器保存可由所述处理器执行以通过评估所述帧在描绘移动对象的区域中的清晰度来计算所述局部分析的指令。

14.根据权利要求1至13中的任一项所述的图像合成器，其特征在于，所述存储器保存可由所述处理器执行以选择所述帧中的两个作为参考帧的指令，所述参考帧中的第一参考帧是关于描绘所述场景中的第一对象的图像元素，而第二参考帧是关于描绘所述场景中的另一个对象的图像元素。

15.一种计算机实现的方法，包括：

存储两个或更多个帧，所述两个或更多个帧是描绘同一场景的图像；以及

选择所述帧中的至少一个帧并将其指定为参考帧并将其他帧指定为目标帧；

将所述目标帧与所述参考帧对齐；

通过合成所述参考帧和经对齐的目标帧来计算输出图像；

并且其中选择所述参考帧的过程包括以下中的任一个或多个：帧的特征的局部分析、面部检测、微笑检测、对象检测、计算各个帧的信噪比、来自至少一个非相机传感器的传感器数据的使用。