CN114513611A - 用于图像的增加的动态范围的方法和电子设备 - Google Patents

Abstract

一种方法，包括：指示光源的控制器控制光源在图像捕获设备以第一曝光值设置在第一即将到来的图像帧中捕获场景时输出第一光强，指示光源的控制器控制光源从第一光强切换到第二光强，使得在图像捕获设备以第二曝光值设置以第二即将到来的图像帧捕获场景时，光源输出第二光强，其中当第二曝光值设置高于第一曝光值设置时，第二光强高于第一光强，以及其中当第二曝光值设置低于第一曝光值设置时，第二光强低于第一光强，以及将第一即将到来的图像帧与第二即将到来的图像帧拼接成高动态范围图像帧。

Description

用于图像的增加的动态范围的方法和电子设备

技术领域

本文的实施例涉及一种用于增加图像的动态范围的方法和电子设备。还公开了相应的计算机程序和计算机程序载体。

背景技术

使用成像特别是视频成像对公众进行监控在世界各地的许多地区都很常见。可能需要监控的区域是例如银行、商店和其他需要安保的区域，例如学校和政府设施。其他可能需要监视的区域是加工、制造和物流应用，其中视频监控主要用于监视流程。

有时，由于图像捕获介质(例如数字图像传感器)的有限的动态范围，在非常暗或非常亮的场景中可能难以捕获细节。标准成像技术只允许在一定的亮度范围内进行区分。在此范围之外，看不到任何特征，因为在更亮的区域一切都呈现纯白色，而在更暗的区域则呈现纯黑色。

图像中色调值(tonal value)的最大值和最小值之间的比率称为动态范围。在最暗的阴影中揭示细节需要高曝光，而在非常明亮的情况下保留细节需要非常低的曝光。由于其低动态范围，大多数摄像机无法在单次曝光内提供此范围的曝光值。例如，图1a示出图像传感器的灵敏度曲线，其中像素级取决于用于场景的特定照明的相对曝光值(EV)。对于非常低和高的曝光，例如对于相对的EV 1-3和11-13，不同曝光值之间的像素级对比度太低，使得无法揭示细节，因为无论曝光值如何，像素级基本相同。

今天，高动态范围(HDR)(有时也称为宽动态范围(WDR))图像通常是通过捕获多个标准曝光图像，然后之后将它们合并为单个HDR图像来实现的。例如，可以将相同主题的数个不同的、范围更窄的曝光组合在一起。

即使使用HDR技术，由于摄像机的动态范围有限，也可能会出现无法令人满意地成像的场景。

发明内容

因此，本文实施例的一个目的可以是避免上述问题中的一些，或者至少减少它们的影响。具体地，一个目的可以是增加可被图像捕获的动态范围。

根据一方面，该目的通过一种用于生成高动态范围图像的方法来实现。该方法包括：

指示光源的控制器控制光源在图像捕获设备以第一曝光值设置在第一即将到来的图像帧中捕获场景时输出第一光强，以及

指示光源的控制器控制光源从第一光强变化到第二光强，使得光源在图像捕获设备以第二曝光值设置在第二即将到来的图像帧中捕获场景时输出第二光强。

当第二曝光值设置高于第一曝光值设置时，第二光强高于第一光强，以及

当第二曝光值设置低于第一曝光值设置时，第二光强低于第一光强。

方法还包括将第一即将到来的图像帧与第二即将到来的图像帧拼接(stitching)成高动态范围图像帧。

根据另一方面，目的通过一种被配置为执行上述方法的电子设备来实现。

根据进一步的方面，目的是通过一种与上述方面对应的计算机程序和计算机程序载体来实现的。

通过拼接具有两个不同的曝光设置值的来自相同图像流的相同场景的两个图像帧，其中来自光源的光强对于具有高曝光值设置(例如高曝光时间和传感器增益的值)的帧比具有较低曝光值设置的帧来说更高，可以增加可以通过图像捕获设备捕获的场景的动态范围。

本文的实施例的进一步优点是它们可以考虑多个光源相对于场景中的对象的位置，从而可以更优化地对近处和远处的对象进行照明。

附图说明

在图中，在一些实施例中出现的特征由虚线指示。

从以下详细描述和附图中将容易理解本文公开的实施例的各个方面，包括其特定特征和优点，其中：

图1a示出图像传感器的灵敏度曲线，

图1b是示出本文示例性实施例的示意性概览，

图1c示出与本文的示例性实施例相关的场景中的对象，

图2a示出图像捕获设备的示例性实施例，

图2b示出视频网络系统的示例性实施例，

图3a是示出成像系统的示例性实施例的示意性概览，

图3b示出拼接两个图像帧的示例性实施例，

图3c-e示出本文的示例性实施例，

图4是示出电子设备中的方法的实施例的流程图，

图5示出本文方法的进一步实施例，

图6是示出电子设备的实施例的框图。

具体实施方式

如上所述，改进可以用摄像机捕获的场景的动态范围可能是有意义的。现在将在图1b和图1c的帮助下描述示例问题。图1b从前视图示出摄像机120。摄像机120可以包括光源131、132，例如通过对要被摄像机120捕获的对象进行照明来增加到达摄像机120的光量。图1c从顶视图示出摄像机120以及要被摄像机120捕获的第一对象151和第二对象152。第一对象151比第二对象152更靠近摄像机120。当摄像机120捕获包括第一和第二对象151、152的场景时，来自光源131、132的照明光往返两个对象151、152时将传播不同的长度，并且因此从第二对象152反射并随后被摄像机120捕获的光在许多情况下将远小于从第一对象151反射并随后由摄像机120捕获的光。

解决此问题的一种方式是捕获多个标准曝光图像(例如两个标准曝光图像)，并且然后之后例如通过拼接将它们合并为单个HDR图像。

拼接可能意味着来自重叠图像传感器的图像数据被混合(blended)，例如在来自传感器的图像之间存在重叠的部分使用不同的权重。也可以拼接来自相同图像传感器的图像数据，例如对各个图像帧使用不同的权重来混合连续的图像帧。不同的权重也可以应用于各个图像帧的不同部分。

作为示例，可以将相同主题的几个不同的、范围更窄的例如具有不同曝光时间的曝光组合起来。然而，此类HDR技术也具有有限的动态范围，有时甚至此类HDR技术也可能无法分辨(resolve)非常暗或非常亮的细节。例如，图1c的场景具有高动态范围。一种常见的WDR技术是收集“长帧”和“短帧”，例如长帧为具有长曝光的帧，短帧为具有短曝光的帧。在这种情况下，短帧收集靠近摄像机的对象(例如第一对象151)的信息，长帧收集远离摄像机的对象(例如第二对象152)的信息。如果WDR技术按预期工作，靠近摄像机的对象不会过度曝光，而远处的对象不会曝光不足。

然而，每个摄像机的动态范围都是有限的，这意味着如果一个场景的动态范围比摄像机所能实现的更高，我们将无法捕获到该场景中的所有可用信息。因此，由于与该场景的动态范围相比，摄像机120的动态范围有限，因此所得拼接图像可能仍然无法分辨非常亮或非常暗的细节。

在本文的实施例中，该问题通过将图像帧的曝光与照明由摄像机捕获的场景的光源131、132的光强的控制同步来解决，例如通过在帧到帧的基础上，并且更具体地在“长帧”到“短帧”的基础上，同步出射光强。

因此，为了增加摄像机120的动态范围，捕获远离摄像机120的对象的长帧可以与来自光源131、132的高光强同步，而捕获靠近摄像机的对象的短帧以与来自光源131、132的低光强同步。换言之，使用在长帧中捕获的增加的出射光强而在短帧中捕获的降低的出射光强，可以通过在保持对非常靠近摄像机120的对象的良好曝光同时，捕获比其它方式可能的更加远离摄像机120的对象来增加动态范围。

在一个示例中，可以在短帧期间降低光强，使得靠近摄像机120的对象不会过度曝光。

然后可以将高强度帧和低强度帧拼接在一起以形成HDR帧。如果需要，还可以合并使用了不同光强的两个以上的帧。

本文的实施例可以在一个或多个电子设备(例如图像捕获设备，例如数码相机)中实现。图2a描绘了各种示例性图像捕获设备210。图像捕获设备210可以例如是可以是摄录像机(camcorder)、视频录像机、诸如监控相机或监视相机的摄像机220、数码相机、包括图像传感器的智能电话230或包括图像传感器的汽车240。

图2b描绘了其中可以实现本文的实施例的示例性视频网络系统250。视频网络系统250可以包括摄像机220，其可以捕获一个或多个数字图像201(例如数字视频图像流)并对其执行图像处理。摄像机220可以通过网络250连接到视频服务器260，视频服务器260可以满足特定应用的需要并且经由计算机网络传送数字视频图像流。摄像机220还可以连接到视频存储器270以存储视频图像，和/或连接到监视器280以显示视频图像。在一些实施例中，摄像机220直接与视频存储器270和/或监视器280连接，如图2b中这些设备之间的直接箭头所示。在一些其他实施例中，如视频服务器260和其他设备之间的箭头所示，摄像机220经由视频服务器260连接到视频存储器270和/或监视器280。

视频服务器260可以是专用于传送视频的基于计算机的设备。视频服务器用于多种应用，并且通常具有满足特定应用的需求的附加功能和能力。例如，安全、监控和检查应用中使用的视频服务器典型地被设计为从一个或多个相机捕获视频并通过计算机网络传送视频。在视频制作和广播应用中，视频服务器可能能够录制和播放录制的视频，并同时传送许多视频流。今天，许多视频服务器功能可以内置在摄像机220中。

为了更好地理解本文的实施例，将首先描述成像系统。

图3a是成像系统300(在这种情况下是数字摄像机，例如摄像机220)的示意图。成像系统在图像传感器301上对场景成像。图像传感器301可以配备有拜尔(Bayer)滤波器，这样不同的像素将以已知的模式接收特定波长区域的辐射。通常，捕获的图像的每个像素由一个或多个表示特定波长带内的捕获的光的强度的值表示。这些值通常称为颜色分量或颜色通道。在本文的实施例中，术语“图像”可以指包括源自已捕获图像的图像传感器的信息的图像帧或视频帧。此外，在本文的实施例中，术语“图像”还可以指图像流，例如视频图像流，其中作为图像流的一部分的多个图像(例如每个图像)可以经历下面描述的对图像执行的动作。

在读取图像传感器301的各个传感器像素的信号之后，可以执行不同的图像处理动作，例如去马赛克和颜色校正。

所得图像被转发给图像处理管线302。在图像处理管线302中，对图像执行进一步处理。在本文的实施例中，这种进一步处理可以例如是将两个低动态范围图像拼接在一起成一个HDR图像。图3b示出这样的图像拼接过程，其中第一这样的拼接过程将第一图像帧311和第二图像帧312(例如两个低动态范围图像帧)拼接以产生所得的HDR图像帧321。图像帧311、312中的一个具有比另一个更高的曝光值设置，使得可以从高曝光图像帧中捕获到暗部细节，而可以从低曝光图像帧中捕获到亮部细节。也可以将两个以上的帧拼接在一起。对于视频流，图像的拼接可以连续进行，并且拼接的图像可以是发送给客户端的图像流的一部分。

应当注意，对于摄像机，来自摄像机的输出的帧速率，例如与显示器上图像帧的显示速率相对应的速率，例如30fps或60fps，可能会限制可用于图像处理的时间，特别是在需要实时视频流的情况下。

进一步的处理还可以包括噪声过滤(用于消除空间和/或时间噪声)、失真校正(用于消除例如桶形失真的影响)、全局和/或局部色调映射(例如，能够对包含宽范围强度的场景进行成像)、变换(例如，旋转)、平场校正(例如，用于去除渐晕效果)、叠加的应用(例如，隐私掩模、解释性文本)等。图像处理管线302也可以是与执行对象检测、识别、警报等的分析引擎相关联。

图像处理管线302可以包括图像处理部分302a和视频后处理部分302b。图像处理部分302a可以例如应用噪声过滤、失真校正、全局和/或局部色调映射、变换和平场校正。视频后处理部分302b可以例如执行图像稳定、裁剪图像的部分、应用覆盖并且包括分析引擎。拼接可以在图像处理管线302中相对较晚地执行，例如在视频后处理部分302b中。在一些实施例中，在执行拼接之前至少已经执行了噪声过滤。

在图像处理管线302之后，图像可以被转发给编码器303，其中图像帧中的信息根据诸如H.264的编码协议被编码，并且被转发给例如本文以监视器280例示的接收客户端，被转发给视频服务器260、视频存储器270等。

现在将参考图3c描述本文的示例性实施例。图3c从上方的视图示出以摄像机320的形式的示例电子设备。摄像机320被配置为通过例如内部或外部控制器直接或间接地控制至少一个光源。控制器未在图3c中示出，但将在下面进一步讨论。

因此，在一些实施例中，摄像机320包括至少一个光源，例如第一光源331和第二光源332。在其他实施例中，摄像机320被配置为控制至少一个外部光源，例如第一外部光源341和第二外部光源342。在一些实施例中，摄像机320包括控制内部或外部光源的内部控制器350。

光源可以例如通过对要被摄像机320捕获的对象进行照明来增加到达摄像机320的光量。图3c进一步示出摄像机320连同要被摄像机320捕获的第一对象351和第二对象352。第一对象351比第二对象352更靠近摄像机320。当摄像机320捕获包括由来自光源331、332的光进行照明的第一和第二对象351、352的场景时，从第二对象352反射并随后被摄像机320捕获的光在许多情况下将远小于从第一对象351反射并随后被摄像机320捕获的光。

因此，在本文的实施例中，可能有若干光源被很好地定位并且在帧到帧的基础上与摄像机320同步。

此外，如果有多个摄像机320覆盖一个场景，则可以在帧到帧的基础上同步所有这些摄像机320以及光源以获得最佳结果。例如，如果覆盖相同场景的所有多个摄像机320同步，则可以避免不良结果，例如以不同光强捕获的图像的闪烁。

光源331、332、341、342可以包括发光二极管(LED)。

发光二极管可以例如在红外线波长范围内发射。然而，也可以以相同的方式使用具有可见光或任何其他波长的LED。

现在将参考图3d和图3e以及图4的流程图并进一步参考图3a-3c来描述根据本文实施例的示例性方法。

图3d类似于图3c，但图3d还包括控制外部光源341、342的外部控制器360。当存在外部控制器时也可以存在内部控制器350。摄像机320被配置为与外部控制器360通信并且可以例如指示控制器以特定方式控制外部光源341、342，例如增加或减少来自外部光源341、342的光强。

图3e类似于图3d，但图3e还包括指示外部控制器360或甚至内部控制器350控制外部光源341、342的进一步电子设备370。因此，在图3e中，摄像机320可被配置为与进一步电子设备370通信，该进一步电子设备370又可以被配置为与外部控制器360通信，并且可以例如指示控制器控制外部光源341、342。因此，对于图3e的场景，下面将描述的方法可以分布在摄像机320和进一步电子设备370中。进一步电子设备370可以例如是智能电话、计算机或平板电脑或类似物。摄像机320、进一步电子设备370和外部控制器360之间的通信可以利用无线技术(例如Wi-Fi或蓝牙)或有线技术来执行。

用于生成高动态范围图像的方法可以在电子设备(例如进一步电子设备370)或图2a的任何图像捕获设备210以及尤其是图3c-e的摄像机320中实现。当在摄像机320的运行时执行时，本文实施例在摄像机320中的实现是特别相关的。

尽管以下将实施例描述为对单个图像帧执行动作，本领域技术人员将理解，实施例同样适用于例如来自摄像机320的图像流。例如，下面描述的图像帧可以是图像流的一部分，并且可以针对图像流的多个图像执行动作，例如对于图像流的某些或每个图像。第一图像帧可以例如被交换为图像流的第一图像帧。在图像流被捕获并传送给例如客户端时，可以连续地执行动作。可以按照以下示例性顺序执行图4中呈现的以下动作中的一个或多个。在其他示例中，该顺序可能与下面描述的不同。

动作401

在图3c的场景中，其中不同对象位于远离和靠近摄像机的位置，电子设备320、370(例如摄像机320)可以确定需要WDR/HDR方法来增加所捕获的图像的动态范围，以更好地匹配场景的动态范围。本文的实施例可以利用这种WDR/HDR方法来确定是否需要通过调整光源331、332的光强来进一步增强WDR/HDR方法，例如通过确定场景的动态范围大于阈值。例如，可以确定场景的动态范围大于WDR/HDR方法可以处理的范围，例如比WDR/HDR方法产生的图像(例如通过拼接长帧和短帧获得的图像)的动态范围大。然后可以相应地调整光源331、332的光强。下面在动作402a和402b中描述了如何获得长帧和短帧的示例方法，而动作404描述了如何确定是否调整光强的示例方法。

动作402a

图像捕获设备210可以获得从图像传感器301发出的图像流310。例如，在图3a中，图像流310包括四个图像帧311-314。图像流310当然可以包括图3a中未描绘的更多图像帧。在一些实施例中，图像捕获设备210测量捕获场景(例如图3c的场景)的第一图像帧311的第一传感器值。第一图像帧311可以是图像流310的一部分。第一传感器值可以对应于特定曝光值设置(例如曝光时间、例如由f数设置的光圈开口、以及传感器增益的特定组合)的像素处的光强。传感器增益例如根据ISO标准(ISO 100、ISO 200等)也可称为灵敏度。也可以应用其他曝光值设置。

第一传感器值可以包括所有单独的像素值或这些像素值的任何统计量度，例如平均值。下面将在动作404中描述如何使用第一传感器值来确定是否调整光强。

动作402b

如果上面已经执行了动作402a，则图像捕获设备210进一步测量捕获场景的第二图像帧312的第二传感器值。第二图像帧312可以例如是捕获相同场景的连续图像帧。第二传感器值可以以与上面在动作402a中描述的第一传感器值对应的方式产生。

对于第一和第二图像帧311、312，可以对应于相应曝光时间、传感器增益和f数的相应曝光值设置是不同的。例如，第一图像311的曝光时间和传感器增益不同于第二图像312的曝光时间和传感器增益。例如，第一图像311的曝光时间可以长于第二图像312的曝光时间。在下文中，在WDR/HDR的上下文中，具有较高曝光值设置的图像帧也将被称为长帧，而具有较低曝光值设置的图像帧也将被称为短帧，尽管曝光值设置的差异可能是由于传感器增益、光圈开口/f数的差异或影响传感器的曝光值的其他设置的任何其他差异。下面将在动作404中描述如何使用第二传感器值来确定是否调整光强。

动作403

响应于在上述动作401中确定需要WDR/HDR，图像捕获设备210可以将第一和第二图像帧311、312拼接成所得的HDR图像帧321。

可以拼接第一和第二图像帧311、312，而不管是否执行了以下动作中的一些或全部。因此，即使在下面的动作404中确定调整光强以增加拼接的图像的动态范围，也可以拼接第一和第二图像帧311、312。

如上所述，拼接的HDR图像帧321可以是图像流(例如可以发送给客户端的流)的一部分。

动作404

如果诸如图像捕获设备210之类的电子设备确定调整光源331、332的光强，则然后诸如图像捕获设备210之类的电子设备可以执行根据以下动作405和406的方法。例如，电子设备可以确定场景的动态范围大于阈值，例如场景的动态范围大于图像捕获设备210的动态范围或者拼接的HDR图像帧321的动态范围。然后电子设备可以基于确定场景的动态范围大于阈值来确定调整光源331、332的光强。

否则，如果场景的动态范围低于阈值，则然后图像捕获设备210可以继续捕获图像帧，而电子设备不执行下面的动作405和406，例如没有光源331、332的不同光强。然而，如果场景的动态范围低于阈值，则电子设备也可以确定调整光源331、332的光强，例如以避免由于较早的调整而造成的过度补偿。

在一些实施例中，确定是基于第一图像帧311的第一传感器值，并且进一步基于第二图像帧312的第二传感器值。例如，图像捕获设备210可以从像素产生在0-255的范围内的输出值，其中0表示低光强(少量光子)，255表示大光强(大量光子)。然后，图像捕获设备210可以确定长帧的多少像素值等于或低于第一阈值，例如5，短帧的多少像素值等于或超过第二阈值，例如250。本文需要注意的是，虽然长帧的曝光值设置比短帧高，但是场景中对象的布置使得长帧用于捕获远处的对象，而短帧用于捕获更靠近图像捕获设备210的对象。因此，长帧的低像素值和短帧的高像素值对于确定场景的动态范围是否过大很重要。

确定场景的动态范围大于阈值然后可以基于有多少像素值高于和低于阈值。例如，如果有多于第一阈值数量的长帧的像素值低于5并且有多于第二阈值数量的短帧的像素值超过250，则可以确定为根据下面的动作405和406执行增强型WDR/HDR方法。

通常，该确定可以基于第一图像帧311的一个或多个像素相关度量，并且进一步基于第二图像帧312的一个或多个像素相关度量。

在一些其他实施例中，场景的动态范围的确定基于拼接的图像帧321的一个或多个像素相关度量。

动作405

如果已确定执行增强型WDR/HDR方法，则指示光源331、332的控制器350、360控制光源331、332输出第一光强，同时图像捕获设备210使用第一曝光值设置在第一即将到来的图像帧313中捕获场景。第一曝光值设置可以对应于第一曝光时间、第一传感器增益和第一光圈开口或f数。电子设备320、370可以指示光源331、332。如上所述，在本文的实施例中，第一即将到来的图像帧313是图像流310的一部分。

动作406

然后指示光源331、332的控制器350、360控制光源331、332从第一光强改变为第二光强，使得光源331、332输出第二光强，并且图像捕获设备210以第二曝光值设置用第二即将到来的图像帧314捕获场景，第二曝光值设置可以对应于用于第二即将到来的图像帧314的第二曝光时间、第二传感器增益和第二光圈开口。电子设备320、370可以指示光源331、332。如上所述，在本文的实施例中，第一即将到来的图像帧313是图像流310的一部分。

当第二曝光值设置高于第一曝光值设置时，第二光强高于第一光强，并且

当第二曝光值设置低于第一曝光值设置时，第二光强低于第一光强。

例如，如果第一曝光值设置高于第二曝光值设置，则第一光强高于第二光强。当然，也可以颠倒曝光的顺序，使得第一曝光值设置低于第二曝光值设置。那么第一光强低于第二光强。

在一些实施例中，第一曝光值设置与第二曝光值设置的不同之处在于曝光时间不同。

在另外一些实施例中，第一曝光值设置对应于第一曝光时间、第一传感器增益和第一光圈开口的组合，而第二曝光值设置对应于第二曝光时间、第二传感器增益和第二光圈开口的组合。此外，在这些实施例中，第一曝光时间可以长于第二曝光时间。换言之，对于这些实施例，第一曝光可以被称为长帧，而第二曝光可以被称为短帧。

因此，在本文的实施例中，第一即将到来的曝光可以对应于长帧，而第二即将到来的曝光可以对应于短帧。如上所述，长帧和短帧可以对应于时间以外的其他曝光值设置。例如，长帧可对应于高传感器增益而不是长时间。

总之，不管长帧和短帧的顺序如何，用于长帧的光强被控制为高于用于短帧的光强。

控制第一和第二曝光的指令可以单独发送，但也可以一起发送给控制器350、360。为了避免WDR运动伪影，与曝光时间相比，控制器350、360和光源331、332可能需要是快速的。然而，在静态场景(其中没有任何对象在移动)中，控制器350、360和光源331、332可以更慢地操作，因为时间信息并不重要。

可以有利地利用定位在图像捕获设备210周围的光源。例如，如果左侧的对象靠近图像捕获设备210，则可以关闭或降低左侧光源的光强，然后以适当的方式合并不同的帧。以下段落将概述这些实施例的细节。

在一些实施例中，光源331、332包括可单独控制的第一光源331和第二光源332。

对于这样的实施例，可以选择第一光源331来对第一即将到来的图像帧313的场景进行照明，并且可以选择第二光源332来对第二图像帧314的场景进行照明。相应的第一和第二光源331、332可以基于相应光源331、332相对于场景中对象351、352的位置的相应位置来选择。

例如，可以基于第一对象351在场景中的第一位置来选择第一光源331，而基于第二对象352在场景中的第二位置来选择第二光源332。

图像捕获设备210可例如通过向控制器350、360发送指令来选择光源的子集，例如第一光源331和第二光源332。

在光源220包括第一光源331和第二光源332的另一个实施例中，控制器350、360被指示为控制第一光源331和/或第二光源332，使得对于第一和第二即将到来的图像帧313、314中的至少一个，第一光源331输出与第二光源332的光强不同的光强。

在另外一些实施例中，第一对象351比第二对象352更靠近图像捕获设备210，第一光源331比第二光源332更靠近第一对象351，并且第二光源332比第一光源331更靠近第二对象352。然后控制器350、360被指示为控制第一光源331，使得第一光源331的光强为：

当第一曝光值设置高于第二曝光值设置时，对于第二即将到来的图像帧314比对于第一即将到来的图像帧313更低，以及

当第一曝光值设置低于第二曝光值设置时，对于第二即将到来的图像帧314比对于第一即将到来的图像帧313更高。

虽然根据上述的一些实施例，对于第二图像帧314可以降低第一光源331的光强，但是在长曝光期间，例如在第二图像帧314期间，也可以增加第二光源332的光强。换句话说，对于与远离图像捕获设备210的对象位于图像捕获设备210的相同侧的光源(例如在背景中)，在长曝光期间可以增加光强。

本文的实施例的优点在于它们可以考虑多个光源相对于场景中的对象的位置，使得可以更优化地对近处和远处的对象进行照明。例如，背景中或远离图像捕获设备210的对象可以以更优化的方式被捕获，例如通过在用于捕获背景的细节的长帧期间增加比其他光源更靠近背景的光源的光强。如果图像捕获设备210右侧的光源离背景较近，则可以控制该光源在长帧期间增加光强。以对应的方式，也可以控制更靠近前景中的对象的光源，例如可以控制这样的光源以在短帧期间降低其强度。

在以上所有实施例中，电子设备320、370可以指示光源331、332的控制器350、360。

动作407

当两个即将到来的图像帧313、314已经被捕获时，第一即将到来的图像帧313与第二即将到来的图像帧314拼接成高动态范围图像帧322。如上所述，两个即将到来的图像帧313、314的拼接在图3b中示意性地示出。以与上面关于拼接的HDR图像帧321描述的相同的方式，拼接的高动态范围图像帧322可以是图像流的一部分，例如可以发送给客户端的流。例如，拼接的图像帧321、322可以是相同图像流的一部分。

拼接可以涉及对于相应图像帧使用不同权重来混合两个即将到来的图像帧313、314。不同的权重也可以应用于相应图像帧的不同部分。例如，可以将长帧的背景部分与短帧的前景部分混合。

以如上所述针对两个即将到来的图像的对应方式，也可以拼接使用不同曝光值设置和不同光强捕获的多于两个即将到来的图像以产生单个拼接图像。例如，在光源331、332输出不同于第一和第二强度的第三强度时，可以利用第三曝光值设置来捕获第三即将到来的图像帧。第三强度基于第三曝光值设置。例如，如果第三曝光值设置低于第一曝光值设置但高于第二曝光值设置，则第三强度低于第一强度且高于第二强度。

图5示出表示三对连续图像帧的光强与时间的关系图。图5中的第一对图像帧用于检查场景的动态范围是否大于阈值，即根据上面的动作401-404使用第一对。可以看出，第一对图像帧的光强I1是恒定的，或者至少没有显著差异。当确定使用增强型WDR/HDR方法时，然后在下一即将到来的图像帧对的长帧和短帧期间的光强是不同的。在长帧期间，光强处于高于短帧的强度I3的级别I2。如果在即将到来的长帧和短帧期间光强的这种调整不足以在包括即将到来的长帧和短帧的拼接图像中再现场景的动态范围，则可以捕获更多的长帧和短帧。例如，可以以高于前一长帧的强度I3捕获进一步的长帧，而可以以低于前一短帧的强度I4捕获进一步的短帧。

通过用两个不同的曝光设置值拼接来自相同图像流的相同场景的两个图像帧，其中来自光源的光强对于具有高曝光值设置(例如高的曝光时间和传感器增益值)的帧与具有较低曝光值设置的帧相比来说更高，可以增加可以用图像捕获设备捕获的场景的动态范围。

上述方法可以连续应用。例如，根据以上动作404的与进一步的即将到来的图像帧相关的进一步确定可以基于上述的第一和第二即将到来的图像帧313、314或者从第一和第二即将到来的图像帧313、314生成的高动态范围图像帧322。连续应用上述方法的示例实施例由图4中从动作407到动作404的箭头指示。对于这样的实施例，动作404可以包括动作402a和402b以及动作401。这些动作然后可以以与上面针对第一和第二图像帧311、312描述的类似的方式应用于第一和第二即将到来的图像帧313、314。

参考图6，示出电子设备600的实施例的示意框图。电子设备600被配置为生成高动态范围图像。如上所述，电子设备600可包括图像捕获设备210，例如摄像机320、监视相机、网络视频录像机或无线通信设备。

电子设备600可以包括处理模块601，例如用于执行本文描述的方法的装置。该装置可以以一个或多个硬件模块和/或一个或多个软件模块的形式体现。

电子设备600还可以包括存储器602。存储器可以包括例如包含或存储指令，例如以计算机程序603的形式，其可以包括计算机可读代码单元，该计算机可读代码单元当在电子设备600上被执行时使电子设备600执行生成高动态范围图像的方法。

根据本文的一些实施例，电子设备600和/或处理模块601包括作为示例性硬件模块的处理电路604，其可以包括一个或多个处理器。因此，处理模块601可以以处理电路604的形式体现或“由其实现”。指令可由处理电路604执行，由此电子设备600可操作以执行图4的方法。作为另一示例，当由电子设备600和/或处理电路604执行时，指令可以使电子设备600执行根据图4的方法。

有鉴于此，在一个例子中，提供了一种用于生成高动态范围图像的电子设备600。再次，存储器602包含可由所述处理电路604执行的指令，由此电子设备600可操作用于执行根据图4的方法。该方法包括在图像捕获设备210以第一曝光值设置在即将到来的第一图像帧313中捕获场景时，指示光源331、332的控制器350、360控制光源331、332输出第一光强，并指示光源331、332的控制器360控制光源331、332从第一光强改变为第二光强，使得在图像捕获设备210以第二曝光值设置以第二即将到来的图像帧314捕获场景时，光源331、332输出第二光强。

当第二曝光值设置高于第一曝光值设置时，第二光强高于第一光强，而当第二曝光值设置低于第一曝光值设置时，第二光强低于第一光强。

该方法还包括将第一即将到来的图像帧313与第二即将到来的图像帧314拼接为高动态范围图像帧322。

电子设备600还可操作以执行根据上文结合图4描述的详细实施例的方法。

图6进一步示出载体605或程序载体，其包括如上直接描述的计算机程序603。载体605可以是电信号、光信号、无线电信号和计算机可读介质中的一种。

在一些实施例中，电子设备600和/或处理模块601可以包括指令模块610、拼接模块620、测量模块630、确定模块640、控制器模块650中的一个或多个，作为示例性的硬件模块。在其他示例中，上述示例性硬件模块中的一个或多个可以实现为一个或多个软件模块。

此外，电子设备600可以包括一个或多个光源631、632。

此外，处理模块601可以包括输入/输出单元606。根据一个实施例，输入/输出单元606可以包括被配置用于捕获上述图像帧(例如第一即将到来的图像帧313和第二即将到来的图像帧314)的图像传感器。

因此，电子设备600被配置为生成高动态范围图像。

因此，根据上述各个实施例，电子设备600和/或处理模块601和/或指示模块610被配置为指示光源331、332的控制器350、360控制光源331、332以在图像捕获设备210以第一曝光值设置在第一即将到来的图像帧313中捕获场景时输出第一光强，以及

指示光源331、332的控制器350、360控制光源331、332从第一光强改变为第二光强，使得在图像捕获设备210以第二曝光值设置以第二即将到来的图像帧314捕获场景时，光源331、332输出第二光强。

当第二曝光值设置高于第一曝光值设置时，第二光强高于第一光强，而当第二曝光值设置低于第一曝光值设置时，第二光强低于第一光强。

在一些实施例中，光源331、332包括第一光源331和第二光源332。然后可以指示控制器350、360控制第一光源331和/或第二光源332，使得对于第一和第二图像帧313、314中的至少一个，第一光源331输出与第二光源332的光强不同的光强。

在另外一些实施例中，第一对象351比第二对象352更靠近图像捕获设备210，第一光源331比第二光源332更靠近第一对象351，并且第二光源332比第一光源331更靠近第二对象352。

然后指示控制器350、360控制第一光源331，使得第一光源331的光强为：

当第一曝光值设置高于第二曝光值设置时，对于第二即将到来的图像帧314比对于第一即将到来的图像帧313更低，以及

当第一曝光值设置低于第二曝光值设置时，对于第二即将到来的图像帧314比对于第一即将到来的图像帧313更高。

电子设备600和/或处理模块601和/或拼接模块620被配置为将第一即将到来的图像帧313与第二即将到来的图像帧314拼接成高动态范围图像帧322。

电子设备600和/或处理模块601和/或测量模块630可被配置用于测量捕获场景的第一图像帧311的第一传感器值，以及测量402b捕获场景的第二图像帧312的第二传感器值。对于第一和第二图像帧311、312，相应的曝光值设置是不同的。

电子设备600和/或处理模块601和/或确定模块640可被配置用于确定调整光源331、332的光强。该确定基于第一图像帧311的第一传感器值，并且进一步基于第二图像帧312的第二传感器值。例如，如果场景的动态范围大于阈值，则可以确定调整光源331、332的光强。

电子设备600和/或处理模块601和/或控制器模块650可被配置用于选择光源来对场景进行照明，还被配置为控制光源331、332的光强。

例如，在一些实施例中，光源331、332包括可单独控制的第一光源331和第二光源332。然后可以选择第一光源331来对第一图像帧313的场景进行照明，并且可以选择第二光源332来对第二图像帧314的场景进行照明，以及相应的第一和第二光源331、332基于相应光源331、332相对于场景中对象351、352的位置的相应位置来选择。

在一些进一步的实施例中，第一光源331是基于场景中第一对象351的第一位置来选择的，而第二光源332是基于场景中第二对象352的第二位置来选择的。

如本文所使用的，术语“模块”可指一个或多个功能模块，其中的每一个可被实现为一个或多个硬件模块和/或一个或多个软件模块和/或组合的软件/硬件模块。在一些示例中，模块可以表示被实现为软件和/或硬件的功能单元。

如本文所使用的，术语“计算机程序载体”、“程序载体”或“载体”可以指电子信号、光信号、无线电信号和计算机可读介质中的一个。在一些示例中，计算机程序载体可以排除瞬时的、传播的信号，例如电子、光学和/或无线电信号。因此，在这些示例中，计算机程序载体可以是非暂时性载体，例如非暂时性计算机可读介质。

如本文所使用的，术语“处理模块”可包括一个或多个硬件模块、一个或多个软件模块或其组合。任何这样的模块，无论是硬件、软件还是组合的硬件-软件模块，都可以是本文公开的获取装置、线性函数或变换装置、旋转装置、投影装置、伪着色装置、边缘增强装置等。例如，表述“装置”可以是与以上结合附图列出的模块相对应的模块。

如本文所使用的，术语“软件模块”可指软件应用、动态链接库(DLL)、软件组件、软件对象、根据组件对象模型(COM)的对象、软件组件、软件功能、软件引擎、可执行二进制软件文件等。

术语“处理模块”或“处理电路”在本文中可涵盖处理单元，包括例如一个或多个处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)等。处理电路等可以包括一个或多个处理器内核。

如本文所使用的，表述“被配置为/用于”可表示处理电路被配置为(例如适于或可操作为)借助软件配置和/或硬件配置执行本文所述的一个或多个动作。

如本文所使用的，术语“动作”可指动作、步骤、操作、响应、反应、活动等。应注意，本文的动作可以适用时拆分为两个或多个子动作。此外，同样在适用时，应注意，本文描述的两个或多个动作可被合并为单个动作。

如本文所使用的，术语“存储器”可以指硬盘、磁存储介质、便携式计算机软盘或盘、闪存、随机存取存储器(RAM)等。此外，术语“存储器”可以指处理器的内部寄存器存储器等等。

如本文所使用的，术语“计算机可读介质”可以是通用串行总线(USB)存储器、DVD光盘、蓝光光盘、作为数据流接收的软件模块、闪存、硬盘驱动器、存储卡(例如记忆棒)、多媒体卡(MMC)、安全数字(SD)卡等。计算机可读介质的上述示例中的一个或多个可以作为一个或多个计算机程序产品提供。

如本文所使用的，术语“计算机可读代码单元”可以是计算机程序的文本、以编译格式表示计算机程序的二进制文件的部分或整体或它们之间的任何内容。

如本文所使用的，术语“数”和/或“值”可以是任何种类的数，例如二进制、实数、虚数或有理数等。此外，“数”和/或“值”可以是一个或多个字符，例如字母或字母串。“数”和/或“值”也可以由比特串(即多个零和/或多个一)表示。

如本文所使用的，表述“在一些实施例中”已用于指示所描述的实施例的特征可与本文公开的任何其他实施例组合。

尽管已经描述了各个方面的实施例，但是其许多不同的改变、修改等对于本领域技术人员来说将变得明显。因此，所描述的实施例不旨在限制本公开的范围。

Claims (15)

1.一种用于生成高动态范围图像(322)的方法，所述方法包括：

确定(404)调整对要由图像捕获设备(210)在两个即将到来的图像帧(313，314)中捕获的场景进行照明的光源(331，332)的光强，其中所述光强要在要被捕获的所述两个即将到来的图像帧(313，314)之间进行调整，并且其中所述确定是基于所述场景的动态范围大于阈值的确定，

指示(405)所述光源(331，332)的控制器(350，360)控制所述光源(331，332)在图像捕获设备(210)以第一曝光值设置在第一即将到来的图像帧(313)中捕获场景时输出第一光强，所述第一曝光值设置影响所述图像捕获设备(210)的图像传感器(301)的第一曝光值，

指示(406)所述光源(331，332)的所述控制器(350，360)控制所述光源(331，332)从所述第一光强改变为第二光强，以使得所述光源(331，332)在所述图像捕获设备(210)以第二曝光值设置在第二即将到来的图像帧(314)中捕获所述场景时输出所述第二光强，其中所述第二曝光值设置影响所述图像传感器(301)的第二曝光值，所述第二曝光值设置不同于所述第一曝光值设置，

其中当所述第二曝光值设置高于所述第一曝光值设置时，所述第二光强高于所述第一光强，以及

其中当所述第二曝光值设置低于所述第一曝光值设置时，所述第二光强低于所述第一光强，其中高曝光值设置对应于所述图像传感器(301)的高曝光值，以及

将所述第一即将到来的图像帧(313)与所述第二即将到来的图像帧(314)拼接(407)成高动态范围图像帧(322)。

2.根据权利要求1所述的方法，其中，高曝光值设置对应于曝光时间和/或传感器增益的高值。

3.根据权利要求1所述的方法，其中，所述第一即将到来的图像帧(313)和所述第二即将到来的图像帧(314)中的一个是长帧，其对应于以高曝光值设置捕获的图像帧，以及其中，所述第一即将到来的图像帧(313)和所述第二即将到来的图像帧(314)中的另一个是短帧，其对应于以低曝光值设置捕获的图像帧，以及其中，将所述第一即将到来的图像帧(313)与所述第二即将到来的图像帧(314)拼接为所述高动态范围图像帧(322)包括将所述长帧的背景部分与所述短帧的前景部分混合。

4.根据权利要求1或2所述的方法，还包括：

测量(402a)捕获所述场景的第一图像帧(311)的第一传感器值，

测量(402b)捕获所述场景的第二图像帧(312)的第二传感器值，其中，用于所述第一和第二图像帧(311，312)的相应曝光值设置不同，以及其中，对于所述场景进行照明的所述光源(331，332)的光强(I1)在捕获所述第一图像帧(311)和所述第二图像帧(312)时没有显著差异，并且其中，确定(404)调整所述光源331，332的所述光强是基于所述场景的所述动态范围大于所述阈值的确定，其中，所述确定是基于所述第一图像帧(311)的所述第一传感器值，并进一步基于所述第二图像帧(312)的所述第二传感器值。

5.根据权利要求4所述的方法，其中，所述第一图像帧(311)和所述第二图像帧(312)中的一个是长帧，并且所述第一图像帧(311)和所述第二图像帧(312)中的另一个是短帧，其中，所述长帧具有比所述短帧更高的曝光值设置，以及其中，所述确定包括确定所述长帧的等于或低于第一阈值的像素值的数量，以及所述短帧的等于或超过第二阈值的像素值的数量。

6.根据权利要求1-5中任一项所述的方法，其中，所述光源(331，332)包括可单独控制的第一光源(331)和第二光源(332)，并且，所述第一光源(331)被选择以针对所述第一即将到来的图像帧(313)而对所述场景进行照明，所述第二光源(332)被选择以针对所述第二即将到来的图像帧(314)而对所述场景进行照明，其中，相应的所述第一和第二光源(331，332)是基于相应的光源(331，332)相对于所述场景中的对象(351，352)的位置的相应位置来选择的。

7.根据权利要求6所述的方法，其中，基于所述场景中的第一对象(351)的第一位置来选择所述第一光源(331)，而基于所述场景中的第二对象(352)的第二位置来选择所述第二光源(332)。

8.根据权利要求1-7中任一项所述的方法，其中，所述光源(331，332)包括所述第一光源(331)和所述第二光源(332)，所述方法还包括：

指示所述控制器(350，360)控制所述第一光源(331)和/或所述第二光源(332)，以使得对于所述第一和第二即将到来的图像帧(313，314)中的至少一个，所述第一光源(331)输出不同于所述第二光源(332)的光强的光强。

9.根据权利要求1-8中任一项所述的方法，其中，所述第一对象(351)比所述第二对象(352)更靠近所述图像捕获设备(210)，并且所述第一光源(331)比所述第二光源(332)更靠近所述第一对象(351)，并且所述第二光源(332)比所述第一光源(331)更靠近所述第二对象(352)，所述方法还包括：

指示所述控制器(350，360)控制所述第一光源(331)，以使得所述第一光源(331)的所述光强是：

当所述第一曝光值设置高于所述第二曝光值设置时，对于所述第二即将到来的图像帧(314)比对于所述第一即将到来的图像帧(313)更低，以及

当所述第一曝光值设置低于所述第二曝光值设置时，对于所述第二即将到来的图像帧(314)比对于所述第一即将到来的图像帧(313)更高。

10.根据权利要求1-9中任一项所述的方法，其中，所述第一曝光值设置与所述第二曝光值设置的不同之处在于不同的曝光时间。

11.根据权利要求1-10中任一项所述的方法，其中，所述第一曝光值设置对应于第一曝光时间、第一传感器增益和第一光圈开口的组合，以及其中，所述第二曝光值设置对应于第二曝光时间、第二传感器增益和第二光圈开口的组合，其中所述第一曝光时间长于所述第二曝光时间。

12.一种电子设备(610)，包括被配置为执行根据权利要求1-11中任一项所述的方法的处理模块(601)。

13.根据权利要求12所述的电子设备(610)，包括图像捕获设备(210)，例如相机，监控相机，监视相机，网络视频录像机，或无线通信设备。

14.一种计算机程序(603)，包括计算机可读代码单元，所述计算机可读代码单元当在电子设备(610)上被执行时使所述电子设备(210)执行根据权利要求1-11中任一项所述的方法。

15.一种包括根据前述权利要求的计算机程序的载体(605)，其中所述载体(605)是电信号、光信号、无线电信号和计算机可读介质中的一个。

Images