CN113824893B - 用于获得图像的设备、方法及程序存储设备 - Google Patents

Abstract

本公开涉及基于相机快门激活频率的动态图像处理。本公开涉及用于例如基于快门激活频率动态地调整图像捕获技术以改善相机响应性的技术。一种这样的技术是包括以下的方法：接收第一捕获请求；响应于接收第一捕获请求，使用第一捕获技术基于图像捕获序列捕获第一组图像，图像捕获序列包括一个或多个图像；基于捕获的第一组图像生成第一图像；在来自第一捕获请求的第一时间窗内接收第二捕获请求，其中第一时间窗的持续时间至少部分地基于使用第一捕获技术捕获图像捕获序列的一个或多个图像所需的时间长度；响应于接收的第二捕获请求，使用第二捕获技术捕获第二组图像，其中第二捕获技术不同于第一捕获技术；以及基于捕获的第二组图像生成第二图像。

Description

用于获得图像的设备、方法及程序存储设备

技术领域

本公开总体涉及数字图像处理领域。更具体地但非限制性地，本发明涉及用于基于相机快门激活频率动态地调整图像处理技术以改善相机响应性的技术。

背景技术

融合相同捕获场景的多个图像是增加所获得的融合图像中的信噪比(SNR)的有效方式。这对于小形式类型设备和/或薄形式类型设备(例如移动电话、平板电脑、笔记本电脑和可穿戴设备等)尤其重要，因为所述设备的图像传感器的像素尺寸通常非常小。较小的像素尺寸意味着每个像素捕获的光相对较少(即，在与具有较大像素尺寸的全尺寸单机式相机相比时)，导致捕获图像中更多的可见噪声—尤其是在低光线的情况下。

一般来讲，通过将多个图像融合在一起，通常可实现比从单个图像捕获获得的更好质量的合成图像。然而，捕获多个图像必然需要一定量的时间。忽略处理时间，捕获多个图像所需的最小时间是捕获多个图像中的每个图像所需的曝光时间的函数。用户可尝试通过快速且重复地按压(或以其他方式激活)成像设备的快门按钮(诸如成像设备的用户界面上的物理按钮或虚拟快门按钮)来拍摄多个图像。每个快门按钮按压都表示捕获图像的用户请求，并且在某些情况下，用户可以超过捕获相机可响应于单个图像捕获请求而拍摄(例如，在后续融合操作中使用)的多个图像所需的最小时间的速率来发出此类图像捕获请求。即，用户按压快门按钮的速度可能比图像捕获设备可捕获生成图像所需的各种曝光的速度快。该问题的简单解决方案可以是删除在经过最短时间之前发生的任何捕获请求。然而，在由用户快速激活快门按钮期间删除捕获请求可导致感知到相机的响应性的降低。因此，需要一种基于快门激活频率动态地调整图像处理技术的方案。

发明内容

本文公开了涉及图像采集的设备、方法和非暂态程序存储设备。更具体地，当尝试捕获特定场景时，用户可尝试例如通过反复且快速地按压或以其他方式激活快门按钮来连续拍摄许多图像，该快门按钮可位于相机设备的用户界面上。相机设备可包括存储器、一个或多个图像捕获设备、显示器、前述用户界面以及可操作地耦接到存储器的一个或多个处理器，其中一个或多个处理器被配置为执行指令。在某些情况下，例如当使用第一捕获技术时，用户可尝试比图像捕获设备能够捕获图像更快地拍摄此类图像。为了帮助保持感知到的对从用户所接收的快门激活请求的响应，可能期望设备切换到第二捕获技术(例如，需要较少总时间来完成的捕获技术)，以便适应用户的连续捕获请求。

更具体地，可接收第一捕获请求，并且响应于第一捕获请求，例如使用第一捕获技术来生成第一图像，该第一捕获技术具有包括一个或多个图像的图像捕获序列。为了改善图像质量，可将作为图像捕获序列的一部分所捕获的一个或多个图像融合在一起以生成输出图像。可基于若干因素来确定包括在图像捕获序列中的一个或多个图像，诸如图像捕获设备尝试捕获图像的当前条件、图像捕获设备所设置的成像模式和/或图像传感器硬件或固件的能力。例如，图像捕获序列可指示要捕获的图像的数量和/或那些图像的曝光时间。可基于例如照明条件、图像捕获设备运动、图像捕获设备的光敏感度、图像捕获设备是否支持图像稳定等来确定要捕获的图像的具体数量及其曝光时间。

然后，可在从第一捕获请求开始的第一时间窗口内接收第二图像捕获请求，其中第一时间窗口的持续时间至少部分地基于使用第一捕获技术捕获图像捕获序列的一个或多个图像所需的时间长度。在某些情况下，可在切换到第二捕获技术之前确定是否已使用第一捕获技术生成最小数量的图像。如果尚未满足最小数量，则可使用第一捕获技术生成另一图像。如果不存在最小数量的图像要求，或者如果已生成最小数量的图像，则可使用第二捕获技术生成第二图像，其中第二捕获技术响应于来自用户的捕获请求修改用于生成融合图像的图像捕获序列。

在某些情况下，第二捕获技术可通过减少捕获图像捕获序列中的每个图像所需的持续时间来修改用于响应于来自用户的捕获请求而生成融合图像的图像捕获序列。例如，第二捕获技术可通过不捕获原本在使用第一捕获技术时会捕获的一个或多个相对较长曝光图像来修改图像捕获序列。又如，第二捕获技术可通过诸如通过减少图像捕获序列中的一些或全部各个图像的曝光时间而调整图像捕获序列的各个图像的曝光时间来修改图像捕获序列。在某些情况下，在接收到第二图像捕获请求之后，启动第二时间窗口，并且可在该第二时间窗口之外接收第三图像捕获请求。在此类情况下，可确定自先前图像捕获请求以来已过去足够的时间量，使得设备可安全地返回到再次使用第一捕获技术，以便响应于第三图像捕获请求而生成第三图像。在其他情况下，在接收到第二图像捕获请求之后，可在第二时间窗口内接收第三图像捕获请求。在此类情况下，可确定自先前图像捕获请求以来尚未经过足够的时间量，并且设备可能无法安全地返回到再次使用第一捕获技术。因此，可基于第二捕获技术来生成第三图像。在某些情况下，第二时间窗口可具有比第一时间窗口更长的持续时间。换句话讲，相机设备退出使用第二捕获技术可能需要与相机设备进入使用第二捕获技术所需不同的捕获请求之间的最小时间量。

如上所述，本文公开了各种非暂态程序存储设备的实施方案。此类程序存储设备可被一个或多个处理器读取。指令可被存储在程序存储设备上，以用于使一个或多个处理器进行以下操作：接收第一捕获请求；响应于接收到第一捕获请求，使用具有图像捕获序列的第一捕获技术生成第一图像，该图像捕获序列包括一个或多个图像；在从第一捕获请求开始的第一时间窗口内接收第二捕获请求，其中第一时间窗口的持续时间至少部分地基于使用第一捕获技术捕获图像捕获序列的一个或多个图像所需的时间长度；以及响应于所接收的第二捕获请求，使用第二捕获技术生成第二图像，其中第二捕获技术修改图像捕获序列。

根据以上列举的程序存储设备的实施方案，本文还公开了执行图像捕获的各种方法。根据以上列举的程序存储设备的实施方案，本文还公开了各种可编程电子设备。此类电子设备可以包括：一个或多个图像捕获设备，诸如光学图像传感器/相机单元；显示器；用户界面；一个或多个处理器；以及耦接到该一个或多个处理器的存储器。指令可存储在存储器中，这些指令使得一个或多个处理器根据以上列举的各种程序存储设备的实施方案执行指令。

附图说明

图1是示出根据本公开的各方面的用于生成输出图像的技术的时间线。

图2是示出根据本公开的各方面的使用第一图像捕获技术和第二图像捕获技术来响应于所接收的捕获请求而生成输出图像的时间线。

图3是示出根据本公开的各方面的强制使用第一图像捕获技术以生成输出图像的时间线。

图4是示出根据本公开的各方面的第一图像捕获技术和第二图像捕获技术之间的转换的流程图。

图5是示出根据本公开的各方面的第二图像捕获技术的流程图。

图6是根据一个实施方案的可编程电子设备的功能框图。

具体实施方式

在以下描述中，为了解释的目的，阐述了很多具体细节，以便提供对本文公开的发明的彻底理解。然而，对本领域的技术人员而言显而易见的是，可以在不存在这些具体细节的情况下实践本发明。在其它情况中，结构和设备被以框图的形式示出，以便避免模糊本发明。对没有下标或后缀的数字的引用应当理解为引用对应于附图标记的所有下标和后缀情况。此外，本公开中所使用的语言已主要被选择用于可读性和指导性目的，并且其可能没有被选择为划定或限定本发明的主题，并且因此可能需要诉诸于权利要求书以确定此类发明主题。在说明书中对“一个实施方案”或“实施方案”的引用意指在发明之一的至少一个实施方案中包括的结合该实施方案描述的特定特征、结构或特性，并且对“一个实施方案”或“实施方案”的多次引用不应被理解为全部必然地参考相同的实施方案。

在某些情况下，图像捕获设备可在被激活时连续地捕获图像。这些连续捕获的图像形成图像流，该图像流可用于生成预览流，该预览流可在电子设备的显示器上显示给用户。如果不在特定时间段内以其他方式使用，通常会丢弃来自图像流的图像。在某些情况下，来自图像流的图像可被暂时保留为捕获序列图像，例如，如果图像将用于响应于所接收的来自用户的捕获请求而生成输出图像。在某些情况下，来自图像流的各个图像可被选择为响应于所接收的捕获请求而返回和/或存储(例如，用于稍后处理)的输出图像。在其他情况下，可从图像流中选择多个图像以用于融合，作为生成响应于所接收的捕获请求而返回和/或存储的输出图像的一部分。

现在讨论将转向将在本文中用于指代来自传入图像流的各种不同曝光图像的命名法。与传统的括号记法一样，“EV”代表曝光值并且指的是图像的给定曝光水平(它可以通过设备的一个或多个设置来控制，诸如图像捕获设备的快门速度设置、ISO和/或光圈设置)。能够以不同的EV捕获不同的图像，该图像之间的一个EV差异(也称为“停止”)等于曝光中的预定义的功率差异。通常，“停止”用于表示曝光之间的两个差异的功率。因此，根据EV是增加还是减少，改变曝光值可以改变接收用于给定图像的光线量。例如，根据EV是否分别地增加(或减少)，一次停止使接收用于给定图像的光线量加倍(或减半)。

传统包围曝光中的“EV0”图像是指使用由图像捕获设备的曝光算法确定的曝光值所捕获的图像，例如，如自动曝光(AE)机构所指定的那些。通常，考虑到当前的照明条件，假设EV0图像具有理想的曝光值(EV)。应当理解，在本文的EV0图像的上下文中使用的术语“理想的”是指理想的曝光值，如针对给定图像捕获系统所计算的那样。换句话说，它是理想曝光的系统相关版本。对于给定的照明条件，不同的图像捕获系统可以具有不同版本的理想曝光值和/或可以利用不同的约束和分析来确定用于捕获EV0图像的曝光设置。

术语“EV-”图像是指以比将用于捕获EV0图像的停止更低的停止(例如，0.5、1、2或3次停止)所捕获的欠曝图像。例如，“EV-1”图像是指在EV0图像曝光以下的一个停止处捕获的欠曝图像，并且“EV-2”图像是指在EV0图像的曝光值以下的两个停止处捕获的欠曝图像。术语“EV+”图像是指以比EV0图像的停止更高的停止(例如，0.5、1、2或3)处所捕获的过曝图像。例如，“EV+1”图像是指在EV0图像曝光以上的一个停止处捕获的过曝光图像，“EV+2”图像是指在EV0图像的曝光值以上的两个停止处捕获的过曝图像。

在一些实施方案中，某些过度曝光或EV+图像在本文也可被称为“长曝光图像”。长曝光图像可包括在大于最小阈值曝光时间(例如，大于50毫秒(ms))且小于最大阈值曝光时间(例如，小于250ms、500ms或甚至1秒)的时间内捕获的图像。在其他实施方案中，长曝光图像一般可指以比图像捕获设备的对应正常或“短”曝光图像的曝光时间(例如，比短曝光图像的曝光时间长4到30倍的曝光时间)相对更长的曝光时间所捕获的图像。在其他实施方案中，长曝光图像的特定曝光时间(和/或系统增益)可进一步至少部分地基于图像捕获设备周围的环境光水平，更亮的环境条件允许相对较短的长曝光图像曝光时间，并且较暗的环境条件从使用相对较长的长曝光图像曝光时间受益。在另外其它实施方案中，长曝光图像的特定曝光时间(和/或系统增益)可以进一步至少部分地基于图像捕获设备是否在捕获操作期间正使用OIS系统。

根据本文所述的一些实施方案，由相机设备捕获的传入图像流可包括：EV-、EV0、EV+和/或其他更长曝光图像的组合。还应注意，图像流还可以包括任意曝光的组合，如给定实现方式或操作条件所期望的，例如EV+2图像、EV+4图像和EV-3图像等。

图1是示出根据本公开的各方面的用于生成输出图像的技术的时间线100。在某些情况下，当设备的相机模式被激活时(例如，在实时图像预览流捕获模式期间)，设备可被配置为捕获图像并生成包括两个或更多个图像102的图像流。来自图像流的图像在本文称为“图像流图像”，并且这些图像可彼此不同地曝光和/或具有例如基于捕获条件而随时间改变的曝光设置。在某些情况下，图像流的每个图像102实际上可包括基于捕获条件和捕获模式而捕获的两个或更多个图像。例如，在一些情况下，图像流中的图像102实际上可反映由图像传感器以预定曝光差值捕获的图像对。例如，每对图像可包括EV0图像和EV-图像(例如，其中给定图像对中的EV-图像的曝光是相对于来自该对的EV0图像所计算的)。应当理解，每对EV0图像和EV-图像的捕获所基于的实际曝光设置可例如根据场景中的光照条件而成对改变。出于说明的目的，表示图1中的“图像流图像”的每个块102因此可表示单个图像捕获，或者可表示所捕获的图像对(或任何其他预定义组)。在图1的所捕获的帧100的时间轴中，所捕获的图像沿着时间轴的宽度一般表示捕获相应图像所需的相对曝光时间(即，较宽的块表示较长曝光时间，但并非所有图像都是基于其曝光时间按比例绘制的)。

如上所述，在图像融合中，待融合图像中的一个待融合图像通常被指定为融合操作的参考图像，融合操作中涉及的其他候选图像被配准到该参考图像。通常基于时间上接近捕获请求(即，用户希望在拍摄图像中“冻结”的时刻)来选择参考图像。因此，可选择来自图像流的时间上最接近用户激活相机快门按钮的图像作为参考图像。在其他情况下，可选择来自图像流的具有最小噪声或最佳运动冻结特性的图像作为参考图像，即，即使它不是与所接收的图像捕获请求在时间上最接近的图像。可使用相对短的曝光时间来捕获来自图像流的图像(例如，EV0图像或曝光时间短于长曝光图像的其他图像)，以帮助最小化快门被用户激活的时刻和参考图像的捕获之间的时间。这种相对较短的曝光时间可能导致参考图像的图像质量降低。例如，参考图像可能具有不期望的噪声量。因此，参考图像可从与一个或多个附加图像(例如，以较长曝光时间(以及因此较少噪声)捕获的图像)融合中受益，以便改善所得融合图像的图像质量。

根据一些实施方案，相对较长曝光时间或长曝光图像可包括图像帧，该图像帧被捕获以相对于EV0曝光设置被过曝。在一些情况下，它可以是预定的EV+值(例如，EV+1和EV+2等)。在其它情况下，可以在捕获时(例如，在预定范围内)即时计算给定长曝光图像的曝光设置。

根据一些实施方案，传入图像流可包括特定序列和/或特定曝光模式。例如，传入图像的序列可为：EV0、EV-、EV0、EV-等(例如，如在上述图像对的示例中一样)。在其他实施方案中，传入图像流可仅包括EV0图像。在某些实施方案中，虽然图像流中的图像可随时间而相对于彼此不同地曝光，但为了清楚起见，在该示例中，图像流102的图像(例如，标记为106、108、116、118、126和130的图像)被示出为具有相同的曝光时间，而作为图像132的图像捕获序列的一部分所捕获的图像(例如，响应于从用户(例如，标记为110和120的图像)所接收的显式捕获请求)具有与图像流图像102不同(并且在这种情况下，更长)的曝光时间。

响应于所接收的捕获请求，可基于图像捕获序列生成输出图像。图像捕获序列指示要捕获的用于融合到输出图像中的图像，并且图像捕获序列可至少基于当前捕获条件。捕获条件是指可捕获输出图像的环境条件，诸如环境照明条件、相机运动、场景中检测到的运动等。可针对图像捕获序列的一个或多个图像来定义要捕获的图像的类型。例如，对于给定的捕获条件，可使用通常旨在获得更高质量输出图像的第一捕获技术。该第一捕获技术可包括捕获多个图像和/或包括一个或多个相对较长曝光图像。例如，第一捕获技术可使用EV0图像106、第二EV0图像108和相对较长曝光EV+(即，长曝光)图像110并且融合这些图像以响应于第一捕获请求104生成输出图像，从而针对第一捕获请求104利用图像捕获序列。如本文所用，术语相对较长曝光是指比另一图像(例如使用EV0曝光设置所捕获的图像)的曝光时间更长的曝光时间。值得注意的是，本文讨论并在图1中示出的EV0、EV0和EV+图像的图像捕获序列仅仅是代表性的，并且可根据需要在给定实施方式中使用其他图像捕获序列或图案。作为另一图像捕获序列的示例，图像捕获序列可包括一个或多个EV0图像，之后是一个或多个长曝光图像。如本文所用，融合以生成输出图像的图像可被称为捕获序列图像132。

如本文所用，“捕获模式”是指相机设备可由用户设置的高级模式，诸如“纵向”图像捕获模式、一般静态图像照片捕获模式、高动态范围(HDR)图像捕获模式、视频捕获模式、“突发”模式、“夜间”或低光图像捕获模式等，捕获模式的选择可至少部分地限定相机设备针对给定的一组捕获条件使用哪些捕获技术。如本文所用，“捕获技术”是指给定捕获模式(诸如HDR)内的特定相机设置，该给定捕获模式改变捕获图像的数量(和类型)。例如，在相机设备被设置为特定捕获模式(诸如静态图像照片捕获模式)的情况下，相机设备可能能够在第一捕获技术和第二捕获技术之间切换。如上面所讨论的，第一捕获技术一般可针对通过融合一组图像和/或包括相对较长曝光图像来获得更高质量的输出图像。第二捕获技术一般可旨在更快地捕获一组图像(在一些情况下，这可能以输出图像的质量为代价)。

在许多情况下，连续捕获请求可在它们之间有足够的时间被接收，以允许成像设备在接收到第二捕获请求之前捕获必要的组成图像并响应于第一捕获请求生成输出图像。在某些情况下，如果在成像设备可完成对先前捕获请求的输出图像的捕获和生成之前接收到第二捕获请求，则成像设备可切换为使用第二捕获技术，以便帮助相机设备更好地跟上传入的捕获请求，从而提供更具响应性的用户体验。为了帮助确定是否切换图像捕获技术(例如，从第一捕获技术切换到第二捕获技术)，相机设备可被配置为确定是否在接收到第一捕获请求之后的时间窗口内接收到第二捕获请求。例如，如果在第一捕获后请求时间窗口114结束之后接收到第二捕获请求112，则可使用第一捕获技术(即，具有基于第一捕获技术和当前捕获条件所确定的图像捕获序列))再次捕获第二输出图像，例如，包括EV0图像116、EV0图像118和EV+图像120，如图1所示。为了清楚起见，在此提供的示例假设捕获条件在捕获请求之间不变(并且因此，例如，EV0图像106、108、116和118被示出为具有与EV+图像110和120相同的块宽度)，但应当理解，在真实世界捕获场景中可能不是这种情况，其中照明条件可在捕获请求之间显著改变。捕获后请求时间窗口114可具有至少部分地基于基于第一捕获技术捕获捕获序列的一个或多个图像所需的时间量来定义的持续时间。在某些情况下，捕获后请求时间窗口可进一步基于相机设备进行以下操作所需的时间量：准备/重置捕获缓冲器；冷却以保持在规定的热极限内等。在该示例中，第一捕获后请求时间窗口114包括捕获以下各项所需的时间：EV0图像106；EV0图像108；和EV+图像110。类似地，与第二捕获请求112相关联的第二捕获后请求时间窗口122具有基于捕获EV0图像116、EV0图像118和EV+图像120所需的时间的持续时间。在某些情况下，捕获后请求时间窗口114(和/或122)可包括附加时间，即，作为捕获图像捕获序列的一个或多个图像所需的曝光时间的总和的补充。附加时间量可被预定义为固定时间量，或者基于相对于图像捕获序列的图像的多种因素来计算，包括但不限于：处理时间、输入图像流中的帧数、更新捕获条件等。在某些情况下，固定附加时间可为例如捕获图像捕获序列的最后一个图像之后的125ms、250ms、333ms等，或捕获图像捕获序列的特定图像之后的设定时间量。

根据本公开的各方面，如果在先前捕获请求的捕获后请求时间窗口结束之前接收到后续捕获请求，则图像捕获设备可使用不同于第一捕获技术的第二捕获技术来生成后续捕获请求的输出图像。第二捕获技术可修改响应于后续捕获请求而捕获的图像捕获序列，例如以减少捕获图像捕获序列的图像所需的合计时间量。在某些情况下，如果图像捕获序列包括捕获相对较长曝光图像(即与图像捕获序列的其他图像的曝光时间相比)，则当使用第二捕获技术生成输出图像时，可从图像捕获序列中完全缩短或省略较长曝光图像。例如，如果第一捕获技术包括EV+捕获，则第二捕获技术可省略EV+捕获。在一些情况下，第二捕获技术可替代地包括曝光短于根据第一捕获技术所捕获的EV+图像的EV+捕获(例如，第二捕获技术可捕获EV+1而非EV+2)。除此之外或另选地，第二捕获技术可缩短使用第一捕获技术所捕获的EV0或EV-中的一者或多者的曝光时间(或完全省略)，以便帮助缩短使用第二捕获技术捕获图像捕获序列所需的总体持续时间(例如，存在于第一捕获技术中的EV0图像捕获可替代地由第二捕获技术中的对应的EV-图像捕获替代，该EV-可为或可不为使用第一次捕获技术所捕获的对应EV0图像的完全曝光不足)。作为更具体示例，如果图像捕获序列包括EV-图像、EV0图像和EV+图像，则可跳过EV+图像。类似地，如果与第一图像捕获技术一起使用的图像捕获序列包括EV-图像、EV0图像和EV0图像，则可跳过EV0图像中的一个EV0图像。

在某些情况下，使用不同捕获技术捕获的图像的后处理可变化，以帮助考虑根据相应捕获技术所捕获的不同类型的组成图像。例如，某些图像后处理技术可用于帮助补偿用于捕获特定图像捕获技术(例如，前述第二捕获技术)的组成图像的减少的总体曝光时间。例如，可对使用第二捕获技术生成的图像应用更强的噪声消除、锐化、高光恢复、对比度调整等。

作为第二捕获技术的更具体示例，在第二捕获后请求时间窗口122结束之前接收第三捕获请求124。可例如通过从第一捕获技术所使用的图像捕获序列中省略长曝光图像来修改使用用于第三捕获请求124的第一捕获技术所确定的图像捕获序列。在该示例中，第二捕获技术所使用的经修改的图像捕获序列仅包括EV0图像126和EV0图像130。在某些情况下，当在EV+图像120的捕获期间接收到第三捕获请求124时，可延迟响应于第三捕获请求124的图像捕获，直到先前图像捕获序列(即，响应于第二捕获请求112所捕获的图像)完成。在某些情况下，如果有足够的缓冲存储器可用，则一个或多个图像可包括在响应于两个不同捕获请求(例如，第二捕获请求112和第三捕获请求124)而捕获的相应组的捕获序列图像中，并且因此这些图像可用于生成不同的输出图像。可作为多个图像捕获序列的一部分重复使用的图像可为EV0图像、EV-图像和/或EV+图像。在多于一个输出图像的生成中使用相同的组成图像在给定捕获技术使用多个EV0图像(例如，在输出图像的生成中代替单个较长EV+图像)的情况下可能特别有用，因为此类重复使用的图像可在时间上更接近于接收到图像捕获请求的时间。在其他情况下，如果在用于先前捕获请求的图像捕获序列完成之前接收到后续捕获请求，则一旦先前捕获请求的图像捕获序列完成，就可将后续捕获请求排队以用于捕获。

在某些情况下，例如，当使用第二捕获技术生成图像时，可在捕获请求触发使用第二捕获技术之后启动所谓的“退出时间窗口”128，诸如图1所示的第三捕获请求124的情况。退出时间窗口定义与第二捕获技术相关联的时间段，其中后续捕获请求是使用相同的第二捕获技术捕获的(即，如果它们落入先前捕获请求的退出时间窗口内)或使用不同的捕获技术捕获的(即，如果它们在先前捕获请求的退出时间窗口之后发生)。不同的捕获技术可以是例如返回到使用第一捕获技术，或者可包括使用又一种技术(例如，在返回到第一捕获技术之前可使用一定持续时间的第三捕获技术)。

返回到图1所示的示例，可使用第二捕获技术继续执行在该退出时间窗口128期间所接收的附加捕获请求，诸如第四捕获请求130。退出时间窗口128可至少与执行第二捕获技术的经修改图像捕获序列所需的时间(例如，捕获EV0图像126和EV0图像130所需的时间)一样长。在某些情况下，退出时间窗口128可长于捕获后请求时间窗口，诸如图1中的捕获后请求时间窗口114和122。通过使退出时间窗口128长于捕获后请求时间窗口，一旦开始使用第二捕获技术，则更可能继续使用第二捕获技术，因为必须从用户接收捕获请求以便进入第二捕获技术的所需速率高于捕获请求必须下降以使得相机设备退出使用第二捕获技术(例如，以便返回使用第一捕获技术)的速率。在某些情况下，退出时间窗口128可具有预定和/或固定持续时间。在某些情况下，在退出时间窗口期间所接收的每个附加捕获请求可启动另一退出时间窗口。例如，可在第三捕获请求124之后启动退出时间窗口128，并且可基于接收到第四捕获请求130的时间来启动另一新退出时间窗口。在某些情况下，如果在退出时间窗口128结束之后接收到另一捕获请求，则可停止使用第二捕获技术并且可恢复使用第一捕获技术。

图2是示出根据本公开的各方面的用于使用第一捕获技术和第二捕获技术来响应于所接收的捕获请求而生成输出图像的技术的时间线200。在该示例中，在第一捕获请求206之后的捕获后请求时间窗口204内接收第二捕获请求202，并且基于第二捕获技术的经修改的捕获序列生成输出图像。在接收到第二捕获请求202之后，可启动退出时间窗口208。如果在退出时间窗口208结束之后接收到另一捕获请求(诸如第三捕获请求210)，则可基于第一捕获技术(即，使用用于第一捕获技术的图像捕获序列，在此包括EV0图像212、EV0图像214和EV+图像216)再次生成对第三捕获请求210的输出图像响应。

在某些情况下，其他因素可使得图像捕获设备停止使用第二捕获技术(和/或使用除仅第一捕获技术和第二捕获技术之外的其他另选捕获技术)生成图像。在一些相机设备中，某些捕获模式可与第二捕获技术不兼容。例如，在所谓的“突发模式”中，相机设备可响应于用户使用单个显式激活命令(诸如通过按住快门按钮、轻扫或其他此类UI元素或动作)来激活快门按钮而以固定捕获速率捕获多个图像。在此类情况下，固定捕获速率可包括系统强制捕获速率(例如，基于相机设备的处理和/或光学能力和/或当前捕获条件)。由于此类突发模式捕获模式可经由单个显式用户激活命令进入并且采用固定图像捕获速率，因此相机设备不需要调整各个所捕获的图像的曝光时间和/或监视何时相对于先前捕获的图像的捕获时间窗口接收到后续捕获请求，即，以便保持对附加捕获请求的响应性(如参照图1和图2的上述各种实施方案所讨论的，其中相机设备确定何时在使用第一捕获技术和使用第二捕获技术之间进行切换)。因此，现在可以理解，在某些捕获模式(诸如前述突发模式)下，可禁用对第二捕获技术的进入。例如，由于其他因素，包括但不限于：存储空间可用性、相机设备温度、图像捕获设备温度等，也可禁用第二捕获技术。

在某些情况下，相机捕获模式或捕获条件的改变(诸如光水平的改变)，可能影响第二捕获技术的使用。例如，如果正被捕获的场景中的光水平下降到低于预定水平，则相机设备可切换到不同的捕获模式(这可通过用户选择将相机设备改变为例如“低光模式”来完成，或者其可由相机设备自动完成)。在一些情况下，可禁用基于所接收的捕获请求的频率而在给定捕获模式内从第一捕获技术到第二捕获技术的捕获技术的改变。在其他情况下，捕获技术仍可改变，但可在与在较高光水平捕获模式期间使用的那些捕获技术不同的捕获技术之间改变。在又其他情况下，如果相机设备被置于与第二捕获技术不兼容的另一捕获模式中，则图像捕获设备可停止使用第二捕获技术。作为更具体示例，如果场景光水平下降到低于某个阈值，则相机设备可进入“夜间模式”或“低光模式”。由于较长曝光时间可能是此类夜间或低光模式的强制性部分，因此相机设备可暂时禁用需要省略长曝光图像的第二捕获技术。

在某些情况下，相机设备可基于捕获条件、设备条件或其他环境因素转变到使用第二捕获技术。例如，如果相机设备接近其热极限，则使用一个或多个较长曝光图像捕获和执行融合操作所需的附加处理能力可导致相机设备更快地超过其热极限。在此类情况下，相机设备可转变为使用第二捕获技术以帮助减少处理需求并减轻来自此类处理的热影响，即，无论从用户所接收的快门激活的频率如何。

图3是根据本公开的各方面的示出“强制”使用第一图像捕获技术生成输出图像的时间线300。例如，图3示出了时间线300，在该时间线期间“强制”(例如，通过在相机设备上执行的软件指令)使用第一图像捕获技术捕获一个或多个图像，即使已在来自先前请求的捕获后请求时间窗口内(即，在通常将触发相机设备切换到使用第二捕获技术的时间，例如，如上文参考图1和图2所述)已接收到特定捕获请求。

如图3所示，在一些情况下，为了帮助保持输出图像的质量水平并避免辅助捕获技术的潜在意外初始化，在某些情况下，可经由第一(即，常规)捕获技术生成最小数量的输出图像，然后开始使用第二捕获技术(即，通常可响应于用户的快速快门激活而采用以保持感知到的对用户的响应性的技术)。例如，当在捕获后请求时间窗口内接收到多个顺序捕获请求时，可使用第一捕获技术(例如，相机默认或常规捕获技术)生成最小数量的(诸如两个)输出图像，然后开始使用第二捕获技术生成输出图像。例如，在图3中，在第一捕获请求306之后，在第一捕获后请求时间窗口304内接收第二捕获请求302。在该示例中，存在系统强制规则，要求使用第一捕获技术生成至少两个输出图像，然后相机设备将使用第二捕获技术切换到生成输出图像，而不管所接收的捕获请求的频率如何。因此，当在第一捕获后请求时间窗口304内接收到第二捕获请求302时，仍使用第一捕获技术生成输出图像，在该示例中，该第一捕获技术包括EV0图像308，以及较长曝光的EV0图像310，以及附加的EV+图像312。在第二捕获后请求时间窗口316内接收到第三捕获请求314之后，由于现在已使用第一捕获技术生成最小所需数量的两个图像，因此相机设备现在可使用第二捕获技术(即，响应于第三捕获请求314)生成下一个输出图像。如图3所示，切换到使用第二捕获技术在以下事实中反映出来：不存在响应于捕获请求314而捕获的较长曝光EV+图像(诸如上述响应于捕获请求302而捕获的图像312)。

图4是示出根据本公开的各方面的第一捕获技术和第二捕获技术之间的转变的流程图400。在某些情况下，当相机设备的图像捕获模式被激活时，相机设备可在框402处开始捕获图像流。在框404处，接收捕获请求。例如，相机设备可接收用户发起的捕获图像的请求，诸如用户激活物理(或虚拟)快门按钮。在框406处，使用第一捕获技术捕获一组一个或多个图像。例如，相机设备可使用第一捕获技术捕获一组一个或多个图像，该第一捕获技术可被设计成生成高质量水平的输出图像。在接收到图像捕获请求之后，启动第一时间窗口，诸如捕获后请求时间窗口。如果在框408处，在第一时间窗口内没有接收到附加捕获请求，则在框402处，图像捕获设备可恢复捕获图像流。在某些情况下，例如，如果捕获请求比相机设备能够捕获满足此类捕获请求所需的组成图像更快地被接收，则可将此类捕获请求排队，然后例如以第一先进先出(FIFO)顺序处理，因为相机设备再次变得能够满足传入图像捕获请求。

任选地，在框410处，如果尚未使用第一捕获技术捕获到最小数量N的图像，则在框412处使用第一捕获技术捕获图像以生成捕获请求的输出图像。如果在框410处已使用第一捕获技术捕获了最小数量的图像，则在框414处使用第二捕获技术捕获图像。如果相机设备未配置有任选的框410和412，则执行前进至框414，并且使用第二捕获技术捕获图像。例如，图像捕获设备可用第二捕获技术使用经修改的图像捕获序列捕获图像并生成输出图像。在接收到使用第二捕获技术进行捕获的图像捕获请求之后，可启动第二时间窗口，诸如退出时间窗口。在框416处，如果在第二时间窗口内接收到另一捕获请求，则可使用第二捕获技术生成另一图像。如果在第二时间窗口内未接收到附加捕获请求，则可继续捕获图像流图像，其中执行返回框402。

图5是示出根据本公开的各方面的第二图像捕获技术500的流程图。在框502处，接收第一捕获请求。例如，用户可例如经由相机设备的用户界面激活物理(或虚拟)快门按钮，以请求捕获图像。在框504处，响应于所接收的捕获请求，使用第一捕获技术基于图像捕获序列捕获第一组图像，该图像捕获序列包括一个或多个图像。例如，如果在静态图像照片捕获模式下操作，则相机设备可捕获一个或多个图像以用于融合从而生成输出图像。在接收到图像捕获请求之后，可启动捕获后时间窗口。在框506处，基于所捕获的第一组图像来生成第一输出图像。例如，可将所捕获的图像融合到输出图像中。任选地，在框508处，可在第一时间窗口(例如，来自先前捕获请求的第一时间窗口，诸如第一捕获请求)内接收第三捕获请求。在某些情况下，在框510处，确定是否已使用第一捕获技术捕获最小数量的图像，并且在框512处，可响应于第三捕获请求，使用第一捕获技术生成第三输出图像。例如，相机设备可被配置为使得当在一个或多个捕获后时间窗口内接收到多个捕获请求时，在切换到使用第二捕获技术捕获图像之前，使用第一捕获技术生成至少所需最小数量的输出图像。在框514处，在第一时间窗口内从先前捕获请求(例如，第一捕获请求)接收第二捕获请求。在框516处，响应于所接收的第二捕获请求，使用第二捕获技术捕获第二组图像。如上述各种实施方案中所述，第二捕获技术可不同于第一捕获技术，例如，在一些情况下，第二捕获技术修改用于第一捕获技术的特定图像捕获序列。例如，当使用第二捕获技术时，可修改用于当前捕获条件的图像捕获序列以减少捕获图像捕获序列所需的总持续时间。在更具体示例中，可减少作为使用第二捕获技术的图像捕获序列的一部分所捕获的图像中的各个图像的曝光时间，或者可简单地省略图像捕获序列的一个或多个相对较长曝光图像。在框516处，基于所捕获的第二组图像生成第二图像。例如，可将响应于第二捕获请求而使用第二捕获技术所捕获的图像融合到输出图像中。如上面所讨论的，相机设备可继续使用第二捕获技术，直到已满足足以使相机设备停止使用第二捕获技术的标准。例如，第二时间窗口可在接收到第二捕获请求之后开始。如果在第二时间窗口之外接收到第三捕获请求，则相机设备可返回到使用第一捕获技术，并且响应于第三捕获请求，可使用第一捕获技术生成第三图像。在某些情况下，第二时间窗口的持续时间可长于第一时间窗口的持续时间。相反，如果在第二时间窗口内接收到第三捕获请求，则响应于该第三捕获请求，可再次使用第二捕获技术生成第三图像。

示例性硬件和软件

现在参见图6，示出了根据一个实施方案的例示性可编程电子设备600的简化的功能框图。电子设备600可为例如移动电话、个人媒体设备、便携式相机、或平板电脑、笔记本电脑或台式计算机系统。如图所示，电子设备600可包括处理器605、显示器610、用户界面615、图形硬件620、设备传感器625(例如，近距离传感器/环境光传感器、加速度计和/或旋转仪)、麦克风630、音频编解码器635、扬声器640、通信电路645、成像设备650(例如，其可包括具有不同特性或能力(例如，高动态范围(HDR)、光学图像稳定(OIS)系统、光学变焦和数字变焦等)的多个相机单元/光学图像传感器)、视频编解码器655、存储器660、存储装置665以及通信总线670。

处理器605可执行有必要用于实施或控制由电子设备600所执行的多种功能的操作的指令(例如，根据本文描述的各种实施方案，诸如从图像序列中选择图像以用于融合操作)。处理器605可例如驱动显示器610并可从用户界面615接收用户输入。用户界面615可采取多种形式，诸如按钮、小键盘、拨号盘、点击轮、键盘、显示屏和/或触摸屏。用户界面615可以例如是用户可通过其观看捕获的视频流的导线管和/或指示用户想要捕获的特定图像(例如，通过在设备的显示屏上正显示所需图像的时刻点击物理按钮或虚拟按钮)。用户界面还可涵盖与设备的任何预定义交互。例如，用户想要捕获图像的指示可作为由设备上的相机或其他传感器所捕获的音频输入、手势或面部表情，或者从外部设备(例如，可充当远程触发器的智能手表)所接收的无线信号被接收。在一个实施方案中，显示器610可显示在处理器605和/或图形硬件620和/或成像电路同时地生成视频流并将视频流存储在存储器660和/或存储装置665中时其被捕获的视频流。处理器605可以是片上系统诸如存在于移动设备中的那些片上系统，并且可包括一个或多个专用图形处理单元(GPU)。处理器605可基于精简指令集计算机(RISC)或复杂指令集计算机(CISC)架构或任何其他合适的架构，并且可包括一个或多个处理内核。图形硬件620可以是用于处理图形和/或辅助处理器605执行计算任务的专用计算硬件。在一个实施方案中，图形硬件620可包括一个或多个可编程图形处理单元(GPU)。

例如，根据本公开，成像设备650可包括一个或多个相机单元，该一个或多个相机单元被配置为捕获图像，例如，可被处理以生成针对此类捕获图像的深度/视差信息的图像。至少部分地通过以下设备可处理来自成像设备650的输出：视频编解码器655和/或处理器605和/或图形硬件620、和/或结合在成像设备650内的专用图像处理单元或图像信号处理器。这样捕获的图像可被存储在存储器660和/或存储装置665中。存储器660可包括由处理器605、图形硬件620和成像设备650使用的一种或多种不同类型的介质以执行设备功能。例如，存储器660可包括存储器高速缓存、只读存储器(ROM)和/或随机存取存储器(RAM)。存储装置665可存储介质(例如，音频文件、图像文件和视频文件)、计算机程序指令或软件、偏好信息、设备配置文件信息以及任何其他合适的数据。存储装置665可包括一个或多个非暂态存储介质，该一个或多个非暂态存储介质包括例如磁盘(固定硬盘、软盘和可移动磁盘)和磁带、光学介质诸如CD-ROM和数字视频光盘(DVD)、以及半导体存储器设备诸如电可编程只读存储器(EPROM)、和电可擦除可编程只读存储器(EEPROM)。存储器660和存储装置665可用于保持被组织成一个或多个模块并以任何期望的计算机编程语言编写的计算机程序指令或代码。例如，在由处理器605执行时，此类计算机程序代码可实现本文所述的方法或过程中的一种或多种。

应当理解，以上描述旨在是示例性的而非限制性的。例如，可从多种成像设备获得图像序列，该成像设备包括但不限于静止成像设备、视频设备、不可见光成像设备等。应当理解，可使用各种技术来检测和定位对象，确定对象的轨迹，并且对所确定的轨迹进行评分。还可调整确定和聚合轨迹得分以应对特定场景。

在回顾以上描述时，许多其他实施方案对于本领域的技术人员而言将是显而易见的。因此，应当参考所附权利要求以及赋予此类权利要求的等同形式的完整范围来确定本发明的范围。

Claims (18)

1.一种用于获得图像的设备，包括：

存储器；

一个或多个图像捕获设备；

显示器；和

一个或多个处理器，所述一个或多个处理器可操作地耦接到所述存储器，其中所述一个或多个处理器被配置为执行使得所述一个或多个处理器执行以下操作的指令：

接收第一捕获请求；

响应于接收到所述第一捕获请求，使用第一捕获技术基于图像捕获序列捕获第一组图像，所述图像捕获序列包括一个或多个图像；

基于所捕获的第一组图像生成第一输出图像以用于输出；

在从所述第一捕获请求开始的第一时间窗口内接收第二捕获请求，其中所述第一时间窗口的持续时间至少部分地基于使用所述第一捕获技术捕获所述图像捕获序列的所述一个或多个图像的时间长度；

响应于所接收的第二捕获请求，使用第二捕获技术捕获第二组图像，其中所述第二捕获技术不同于所述第一捕获技术，并且其中所述第二捕获技术通过调整所述图像捕获序列的图像的曝光时间来修改所述图像捕获序列；以及

基于所捕获的第二组图像生成第二输出图像以用于输出。

2.根据权利要求1所述的设备，其中所述第二捕获技术修改所述图像捕获序列以减少捕获所述图像捕获序列的所述一个或多个图像的所述时间长度。

3.根据权利要求2所述的设备，其中所述第二捕获技术通过不捕获将用所述第一捕获技术捕获的相对较长曝光图像来修改所述图像捕获序列。

4.根据权利要求1所述的设备，其中除了所述图像捕获序列的所述一个或多个图像的曝光时间的总和之外，所述第一时间窗口还包括附加时间量。

5.根据权利要求1所述的设备，其中所述一个或多个处理器被进一步配置为执行使所述一个或多个处理器进行以下操作的指令：

在所述第一时间窗口内接收第三捕获请求；

响应于接收到所述第三捕获请求，确定是否已使用所述第一捕获技术生成最小数量的图像；

基于确定尚未生成所述最小数量的图像，使用所述第一捕获技术生成第三输出图像；以及

基于确定已生成所述最小数量的图像，使用所述第二捕获技术生成所述第三输出图像。

6.根据权利要求1所述的设备，其中至少部分地基于捕获条件来确定所述图像捕获序列中的所述图像中的至少一个图像的一个或多个属性。

7.根据权利要求1所述的设备，其中所述一个或多个处理器被进一步配置为执行使所述一个或多个处理器进行以下操作的指令：

在第二时间窗口之外接收第三图像捕获请求，所述第二时间窗口在接收到所述第二捕获请求之后开始；以及

基于所述第一捕获技术生成第三输出图像。

8.根据权利要求7所述的设备，其中所述第二时间窗口的持续时间大于所述第一时间窗口的所述持续时间。

9.一种用于获得图像的方法，所述方法包括：

接收第一捕获请求；

响应于接收到所述第一捕获请求，使用第一捕获技术基于图像捕获序列捕获第一组图像，所述图像捕获序列包括一个或多个图像；

基于所捕获的第一组图像生成第一输出图像；

在从所述第一捕获请求开始的第一时间窗口内接收第二捕获请求，其中所述第一时间窗口的持续时间至少部分地基于使用所述第一捕获技术捕获所述图像捕获序列的所述一个或多个图像的时间长度；

响应于所接收的第二捕获请求，使用第二捕获技术捕获第二组图像，其中所述第二捕获技术不同于所述第一捕获技术，并且其中所述第二捕获技术通过调整所述图像捕获序列的图像的曝光时间来修改所述图像捕获序列；以及

基于所捕获的第二组图像生成第二输出图像。

10.根据权利要求9所述的方法，其中所述第二捕获技术修改所述图像捕获序列以减少捕获所述图像捕获序列的所述一个或多个图像的所述时间长度。

11.根据权利要求10所述的方法，其中所述第二捕获技术通过不捕获将用所述第一捕获技术捕获的相对较长曝光图像来修改所述图像捕获序列。

12.根据权利要求9所述的方法，其中除了所述图像捕获序列的所述一个或多个图像的曝光时间的总和之外，所述第一时间窗口还包括附加时间量。

13.根据权利要求9所述的方法，还包括：

在所述第一时间窗口内接收第三捕获请求；

响应于接收到所述第三捕获请求，确定是否已使用所述第一捕获技术生成最小数量的输出图像；

基于确定尚未生成所述最小数量的图像，使用所述第一捕获技术生成第三输出图像；以及

基于确定已生成所述最小数量的图像，使用所述第二捕获技术生成所述第三输出图像。

14.根据权利要求9所述的方法，其中至少部分地基于捕获条件来确定所述图像捕获序列中的所述图像中的至少一个图像的一个或多个属性。

15.根据权利要求9所述的方法，还包括：

在第二时间窗口之外接收第三图像捕获请求，所述第二时间窗口在接收到所述第二捕获请求之后开始；以及

基于所述第一捕获技术生成第三输出图像。

16.根据权利要求15所述的方法，其中所述第二时间窗口的持续时间大于所述第一时间窗口的所述持续时间。

17.一种非暂态程序存储设备，所述非暂态程序存储设备包括被存储在其上的指令，所述指令使得一个或多个处理器：

接收第一捕获请求；

响应于接收到所述第一捕获请求，使用第一捕获技术基于图像捕获序列捕获第一组图像，所述图像捕获序列包括一个或多个图像；

基于所捕获的第一组图像生成第一输出图像；

在从所述第一捕获请求开始的第一时间窗口内接收第二捕获请求，其中所述第一时间窗口的持续时间至少部分地基于使用所述第一捕获技术捕获所述图像捕获序列的所述一个或多个图像的时间长度；

响应于所接收的第二捕获请求，使用第二捕获技术捕获第二组图像，其中所述第二捕获技术不同于所述第一捕获技术，并且其中所述第二捕获技术通过调整所述图像捕获序列的图像的曝光时间来修改所述图像捕获序列；以及

基于所捕获的第二组图像生成第二输出图像。

18.根据权利要求17所述的非暂态程序存储设备，其中所述第二捕获技术修改所述图像捕获序列以减少捕获所述图像捕获序列的所述一个或多个图像的所述时间长度。