CN105007430B

CN105007430B - 用于确定曝光设置的方法和装置

Info

Publication number: CN105007430B
Application number: CN201510186173.1A
Authority: CN
Inventors: 比约恩·本德留什
Original assignee: Axis AB
Current assignee: Axis AB
Priority date: 2014-04-24
Filing date: 2015-04-20
Publication date: 2018-04-10
Anticipated expiration: 2035-04-20
Also published as: CN105007430A; EP2938064A1; JP6138190B2; JP2015211469A; US20150312460A1; EP2938064B1; TW201543896A; KR20150123181A; KR101699001B1; TWI646838B; US9402035B2

Abstract

本发明涉及用于确定曝光设置的方法和装置。该方法包括通过图像传感器捕获图像帧的行为，捕获的曝光基于初始曝光值设置，通过发现在应用于总成本计算时产生基本上最优值的曝光值来确定临时曝光值，其中根据特定曝光值计算所述总成本是基于在特定曝光值下所捕获的图像帧中的图像像素的信号水平连同成本函数的，在所述临时曝光值下计算与所捕获的图像有关的饱和像素，通过发现曝光值相对于所述临时曝光值的减小来确定下一个曝光值，对于曝光值的减小，非饱和像素的总成本相对于非饱和像素在所述临时曝光值的总成本的改变基本上等于在所述临时曝光值下计算的所述饱和像素成本。

Description

用于确定曝光设置的方法和装置

技术领域

本发明涉及用于设置图像捕获设备的曝光的方法和装置。此外，本发明涉及用于确定捕获图像和运动视频的曝光设置的过程。

背景技术

随着越来越多的人散步时带着能够捕获静态图像和/或运动视频的设备，借助于技术手段的图像捕获正在增加。此外，捕获的图像、静态图像和/或运动视频越来越多地使用在监控和监视系统中。为了捕获特定用途的图像信息，必须精确控制图像传感器对将捕获的光的曝光。为了使最终用户更容易地捕获可用图像，已经开发了用于设置适当曝光的自动设计。在很长一段时间中，设置曝光的这些自动设计在连续捕获静态图像和/或运动图像的系统中特别重要。例如，在任意很长的时间段中，特别在晚上、早上和延续一整天的时间段中，光照条件可能变化很大。由于天气改变、云层改变和场景照明改变(例如电灯打开或关闭)，光照条件也可能在较短时间段中变化很大。

在一些照相机中，针对照相机前面的场景的曝光设置基于来自安装在照相机中的独立测光表的输入而自动计算。在其他照相机中，针对场景的曝光设置基于由照相机的图像传感器捕获的图像数据而自动计算。专利US8446480B2(KALEVO)提供了使用来自图像传感器的图像数据计算曝光设置的一个示例。这个专利描述了用于曝光控制的方法和装置。图像传感器中用于在特定强度下接收光的传感器元件的数量的直方图被确定。此外，根据接收的光强度表示图像传感器性能的成本函数对多个曝光时间是有用的。然后，曝光时间基于该直方图和成本函数确定。这些文献的教义涉及发现用于静态图像的捕获的曝光。上面方法的一个问题是该方法被设计为用于捕获单个静态图像，因此该方法的教义没有解决涉及捕获在很长时间段上表示照相机视场的一系列的一部分而捕获的运动视频或静态图像有关的问题。

发明内容

本发明的一个目标是为了提供一种用于计算运动视频捕获过程的曝光设置的改进方法。

该目标通过根据权利要求1的方法和通过根据权利要求12的图像捕获设备实现。本发明的进一步实施例在从属权利要求中公开。

具体来说，根据本发明的一个实施例，该方法通过图像传感器捕获图像帧，捕获的曝光基于初始曝光值设置，通过发现在应用于总成本计算时产生基本上最优值的曝光值来确定临时曝光值，其中根据特定曝光值计算所述总成本是基于在特定曝光值下捕获的图像帧中的图像像素的信号水平连同成本函数的，在所述临时曝光值下计算于所捕获的图像有关的饱和像素，通过发现曝光值相对于所述临时曝光值的减小来确定下一个曝光值，对于曝光值的减小，非饱和像素的总成本相对于非饱和像素在所述临时曝光值下的总成本的改变基本上等于在所述临时曝光值下计算的所述饱和像素成本，并且使用所确定的下一个曝光值来捕获新的图像帧。这个方法的一个优点在于相继捕获的图像，即针对运动视频，具有不振动的稳定曝光设置。此外，该方法是快速的。

在另一个实施例中，该方法进一步包括基本将捕获的每个图像帧插入运动视频流中。在这个实施例中，避免振动曝光的优点变得更加明显。

在一个实施例中，捕获新的图像帧启动确定临时曝光值的步骤、确定饱和像素成本值以及确定下一个曝光值以捕获进一步的图像帧的重复。

根据一个实施例，计算所述总成本是基于捕获的图像的直方图连同成本函数，所述直方图表示在特定曝光值下捕获的图像在不同强度水平的像素数。使用直方图的优点是过程可以比不使用直方图需要更少的处理能力。此外，需要被存储的数据量还可以减少。

在一个实施例中，直方图是表示在曝光时间期间在特定强度水平下图像传感器中用于接收的光的图像传感器元件数的函数。

根据另一个实施例，在确定临时曝光值的行为中计算特定曝光值的总成本的行为包括：根据所捕获的图像数据计算表示不同曝光值的多个直方图，将针对注册的每个强度水平的直方图值乘以所述成本函数在对应强度水平下的成本值，针对与特定曝光值有关的每个直方图，通过将对于该直方图中基本上所有的强度水平的每个乘法的积相加，来计算每个曝光值的总成本，以及使用针对算法中的每个曝光值计算的总成本来发现最低总成本和对应的曝光值。通过计算如这里实施例中描述的总成本，过程可以使用更少的处理能力并可以变得更快。

在另一个实施例中，所述成本函数为图像传感器在特定强度水平下的性能的函数。

在又一个实施例中，确定所述临时曝光值、确定所述饱和像素成本和确定下一个曝光值的一次迭代基于捕获的相同图像的数据。

根据一个实施例，所述饱和像素成本被计算为在临时曝光值下的图像数据中的饱和像素数乘以饱和像素的预定成本值。

根据另一个实施例，属于图像帧中特别感兴趣的区域的像素在计算总成本过程中被计数多次。这个实施例的优点是所述曝光设置可以容易且快速地给予或给出更多的权重给图像帧中的限制区域或辨认对象。因此，更相关和/或正确曝光可以被实现。

根据又一个实施例，属于图像帧中特别感兴趣的区域的像素在计算非饱和像素的总成本过程中被计数多次。这个实施例的优点是所述曝光设置可以容易且快速地给予或给出更多的权重给图像帧中的限制区域或辨认对象。因此，更相关和/或正确曝光可以被实现。

根据本发明的另一个方面，图像捕获设备包括被布置为捕获图像帧的图像传感器；存储曝光值的存储器；被布置为基于存储在所述存储器中的所述曝光值控制待被所述图像传感器捕获的图像的曝光的曝光控制器；通过发现在应用于总成本计算时产生基本上最优值的曝光值来确定临时曝光值的装置，其中根据特定曝光值计算所述总成本基于在特定曝光值下捕获的图像帧中的图像像素的信号水平连同成本函数；饱和像素成本计算器，被布置为计算与在所述临时曝光值下捕获的图像的饱和像素有关的饱和像素成本；通过发现曝光值相对于所述临时来确定下一个曝光值的装置，对于曝光值的减小，非饱和像素的总成本相对于非饱和像素在所述临时曝光值的总成本的改变基本上等于在所述临时曝光值计算的所述饱和像素成本，在存储器中存储下一个曝光值作为所述曝光值。

在另一个实施例中，图像捕获设备进一步包括被布置为接收所捕获的图像帧并将其增加到运动视频流中的运动视频编码器。

在又一个实施例中，所述成本函数为图像传感器在特定强度水平下的性能的函数。

从以下给出的具体描述，本发明的进一步应用范围会变得显而易见。然而，应当理解，尽管具体实施方式和特定示例表示本发明的优选实施例，但是具体实施方式和特定示例仅作为图示给出，因为在本发明的范围内的各种变化和修改对本领域技术人员而言从该具体实施方式中变的明显。因此，应当理解，本发明不局限于所描述的设备的特定组件部分或者所描述的方法的步骤，因为这样的设备和方法可以改变。还要理解，本文使用的术语仅用于描述特定实施例，而不旨在进行限制。必须注意，本说明书和所附权利要求中使用的冠词“一”、“此”和“该”旨在指存在这些元件中的一个或多个，除非上下文清楚地表示别的含义。因此，例如对“传感器”或“该传感器”的引用可以包括几个设备等等。此外，词语“包括”不排除其它元件或步骤。

附图说明

结合附图，通过目前优选实施例的以下具体描述，本发明的其他特征和优点会变得显而易见，其中：

图1示出本发明实施例的示意性框图，

图2示出根据本发明一个实施例的过程的流程图，

图3示出在特定曝光值下捕获的图像帧的示例直方图，

图4示出针对更高曝光值重新计算的图3的直方图，

图5示出图像传感器的成本函数基于像素的信号水平可如何变化的示例图，

图6示出可替代的成本函数以及其基于像素的信号水平如何变化的示例，

图7示出找到图2中临时曝光值的替代过程的流程图。

进一步，在附图中，相同的参考标记在若干个附图中指代相同或对应的部分。

具体实施方式

根据一个实施例，用于实施本发明的照相机可以为包括图像传感器和处理能力的任意类型的照相机。本发明的优点在捕获运动视频时比在捕获静态图像时更为明显。

在图1中，根据本发明一个实施例的照相机12被示意性描述。该照相机包括用于将来自待捕获的场景的光聚焦到图像传感器16上的透镜14。由图像传感器16捕获的图像信息被转换为数字图像数据。这可以由布置在图像传感器16、独立块或图像处理单元18中的模数转换器(A/D转换器)执行。图像处理单元18处理图像数据，并且可以执行去马赛克、色彩调节、曝光设置的计算、自动聚焦处理、将捕获的图像数据编码为运动视频流或静态图像、计算直方图等。图像处理单元18可以被布置为运行以下涉及确定待使用的曝光设置而描述的算法。中央处理单元20被布置为控制照相机12的通用功能，例如用户接口、服务器功能等。照相机12还可以包括用于将照相机连接至计算机网络24的网络接口22。

此外，非易失性存储器26可以被布置为存储由图像处理单元18和中央处理单元20执行的指令。照相机12可以包括用于图像处理单元18和中央处理单元20的一个共用非易失性存储器26，或者照相机12可以包括用于图像处理单元18和中央处理单元20中的每一个的独立非易失性存储器26。至少一个易失性存储器28被布置为处理单元18、20的工作存储器。内部通信和数据传输可以经由内部总线30执行。

此外，照相机12包括曝光控制器32。曝光控制器32可以为特定控制电路、图像处理单元18或中央处理单元20的功能块，或者特定控制电路和功能块的组合。曝光控制器32具有连接至图像传感器16的快门控制输出34，以控制图像传感器16的快门功能。如果照相机包括机械快门，则快门输出34连接至该机械快门。曝光控制器32可以被设计为控制曝光时间、孔径尺寸、增益等。

以下将结合图2描述根据本发明一个实施例的、用于生成照相机12的曝光设置的过程。在本实施例中，生成曝光设置的过程200为捕获运动视频的过程的组成部分。该过程开始于使用预设曝光值e_i作为曝光值，步骤202。该预设值可以是图像捕获开始时存储在存储器26或28中的曝光值。然后，曝光设置基于曝光值e，步骤204。通过照相机12的图像传感器16使用根据曝光值e得到的曝光设置，来捕获图像，步骤206。曝光值e可以被临时存储在易失性存储器26中。根据捕获的图像生成直方图数据，步骤208。直方图数据表示针对每个光强度水平捕获的像素数。这个直方图数据通常被描述为图表中的曲线，其中像素数按照y轴纵坐标值被绘制，并且光强度水平按照x轴横坐标值被绘制，示例被示出在图3和图4中。

然后，利用该直方图数据和用于根据强度水平定义成本的成本函数，来计算目前使用的曝光值的总成本值C(e)，并由此计算目前使用的曝光设置，步骤210。然后，针对基于在步骤206中捕获的图像中的图像数据而预测的多个不同直方图执行该计算，以发现基本最低的成本，其中根据所实现的成本函数，该最低的成本可以由最高值或由最低值表示。在该过程中，这种对最低成本的寻找由过程的步骤212和经由步骤214至步骤210的回环表示，其中在步骤212中执行涉及是否已经发现最低成本的检查，在步骤214中，改变曝光值e，并且基于捕获的图像和这个改变的曝光值e通过计算来执行新直方图的预测，在步骤210中，针对新的曝光值计算成本。曝光值e的改变与用于发现产生最低成本的曝光值的算法同时执行。

当用于发现产生最低成本的曝光值的算法发现产生基本为最低成本的曝光值时，这个曝光值被存储为临时曝光值e_temp，步骤216。

在临时曝光值e_temp下，在计算的直方图中可能存在饱和像素，即表示强度水平高于或等于目前图像表征可以注册的最高强度水平的像素。基于成本函数中只涉及饱和像素的部分，计算这些饱和像素的成本C_sat，步骤218。在饱和像素由最高光强度水平表示时，成本的计算可以通过将饱和像素的数量与表示最高强度的成本的成本函数的成本值相乘来简单执行。

然后，针对曝光值e计算截断直方图，这个曝光值e初始等于e_temp，步骤220。在本申请中，截断直方图为表示除了在曝光值e_temp下饱和的像素之外的全部像素的直方图。截断直方图独立于用于针对在临时曝光值e_temp下不饱和的像素计算的计算结果的曝光值。然后，基于在曝光值e下的截断直方图和成本函数，计算在曝光值e下的图像的总成本C_trunc(e)，步骤222。在步骤224中，该过程检查在目前曝光值下的截断直方图的总成本C_trunc(e)相对于在临时曝光值下的截断直方图的总成本C_trunc(e_temp)是否已经增加，该增加的程度基本上等于C_sat，即是否C_trunc(e)-C_trunc(e_temp)＝C_sat。如果总成本的增加不是基本上等于C_sat，则根据用于发现使得截断直方图的成本C_trunc(e)基本上等于饱和像素的成本C_sat的曝光值的算法，来改变曝光值e，步骤226。然后，该过程回到步骤220和222，以针对新的曝光值e计算截断直方图和成本值C_trunc(e)。

在步骤224发现截断直方图的总成本的增加C_trunc(e)-C_trunc(e_temp)基本上等于C_sat时，则确定图像序列中的下一个图像的曝光值，并且该过程回到步骤204，以捕获下一个图像并然后再次检查曝光。

在另一个实施例中，没有针对捕获的图像帧计算直方图。相反，成本函数基本上被应用于每个单独像素，并相加成为总成本值。

在上面描述的实施例中使用和讨论的曝光值为用于限定照相机的曝光设置的值。该曝光值可以至少确定曝光时间、孔径尺寸和增益中的任一个或任意组合。在本描述的示例中，曝光值与曝光设置之间的关系是这样的，在曝光值增加25％之后，期望下文被称作信号水平的总光强度水平增加25％。光强度水平导致从图像传感器输出的信号水平，该信号水平还可以被称作像素值。即使曝光值与实施本发明的照相机的最终总光强度水平之间的这个关系不是上面所描述的线性，上面描述的假定关系足够好到作为直方图预测的基础。本领域技术人员会意识到，可以不同地选择这些值以及曝光值与曝光设置之间的关系，而仍可以实现相同的效果。

因此，在计算表示除了捕获的图像数据的曝光值之外的其他曝光值的直方图过程中(其中这些计算的直方图基于那个捕获的图像数据)，可以利用相对于捕获的图像数据的曝光值的曝光值改变来计算新的直方图。如上所描述的，捕获的图像的预期曝光值e_des和初始曝光值e_org之间的比率，即比率＝e_des/e_org，可以通过使每个像素信号水平相乘或通过将直方图中的每个条目乘以该比率来用于新直方图的计算中。然而，使用比原始曝光值低的曝光值来预测直方图的计算可能引入严重的错误，这是因为捕获的图像数据中的饱和像素被存储为具有最高可能信号水平，并且捕获的图像数据不包括每个饱和像素的实际值比饱和水平大多少的任何信息。因此，基于针对较低曝光值捕获的图像数据的直方图的重新计算只将在饱和信号水平下的像素移动至较低信号水平，并且留下在该较低信号水平与针对完全没有任何数据的饱和信号水平的值之间的信号水平。

直方图可以呈现为图表，参见图3和图4。图3中的直方图可以例如表示在信号水平SL1下捕获的具有最多像素的图像的直方图，并且在这个水平下的像素的数量为P1。饱和像素的数量Ps被指示在饱和信号水平S_sat下。这个直方图基于在曝光值e₁下捕获的图像数据。图4中的直方图表示在曝光值e₂下根据由图3的直方图表示的图像数据计算的重新计算直方图，曝光值e₂为e₁的1.25倍，即曝光值增加25％。如图4所示，表示信号水平SL2的最多像素的峰值已经移动至直方图中比表示较低曝光值的对应位置更高的信号水平。将图3中的饱和像素Ps1的数量与图4中饱和像素Ps2的数量相比较，曝光值的这个增加还导致更多的像素会达到表示饱和像素的信号水平。

根据一个实施例，直方图被描述为函数h(s)，其中s为信号水平，并且其被限制为0和S_sat之间的值。针对可以与上面讨论的比率相对应的曝光改变e计算新直方图h'(s)可以由方程1针对新直方图的不饱和部分来描述。图的不饱和部分来描述。

其中，

上面讨论的成本函数可以被定义为用于得出特定像素值的适应度的函数。成本函数表示捕获的图像中的信号水平，并且还可以包括饱和像素的值。存在许多种用于此目的的成本函数。此外，在计算成本时，成本函数可以考虑空间方面，即成本函数可以被布置为考虑捕获的图像内容。根据一个实施例，成本函数基于在不同信号水平下的像素的噪声水平。这是指上面描述的算法被布置为发现一曝光值，该曝光值产生具有整体低噪声的图像并且鉴于曝光还产生基本稳定的图像序列。

因此，成本函数可以基于该噪声。读出噪声n_r和光子散粒噪声n_s通常为照相机应用中的主噪声源。读出噪声是与信号水平无关的常数，而散粒噪声可以按照信号水平s的平方根来计算。

n_r＝1 方程2

方程3

方程4

在一个实施例中，成本函数基于系统的信号水平的范围内的信噪比，SNR。这个成本函数呈现在方程5中。

方程5

c(s)＝常数 s≥s_sat

当这个成本函数被描绘在图表中时，其可能看起来像图5中呈现的曲线图。从曲线图显而易见的是，信噪比在低信号水平时很不好，在增加的信号水平下该比率变得较好。曲线图的突然结束仅仅指示达到图像传感器的最大信号水平以及不存在超过这个值的信噪比。

通过将成本函数和特定曝光的直方图结合，可以计算该曝光的总成本，参见方程6。

方程6

在这个方程中，S_max为图像捕获设备中表示的最高信号水平。

因此，通过发现产生最高值的直方图来发现最佳曝光应该是容易的，这是因为成本函数被定义为在最佳像素质量下具有高位值。因此，这足以发现产生最高C_h值的曝光值。

然而，如果仅仅实施这种最大化的方法，则捕获的运动视频在曝光中会经历振动，并且这些振动可以严重干扰观察者。具体来说，如果照相机为其中操作者看屏幕上运动视频较长时间段的监视系统的一部分，则成像的曝光的这种振动效应甚至可能对操作者有害。这种振动现象背后的问题可以在饱和像素的处理中发现。例如，如果图像当前太暗，则我们看到的饱和像素太少，但是我们可以预测对于给定曝光增加有多少像素会饱和。这意味着我们可以直接选择产生预期数量的饱和像素的新曝光。另一方面，如果图像当前太亮而我们需要减少曝光，则我们没办法说出对于给定曝光减少有多少像素会变不饱和，这反过意味着我们不能直接发现新曝光。解决这个问题的一种方案是将算法分为两个曝光确定步骤。因此，结合图2介绍的算法包括第一部分和第二部分，其中第一部分用于发现使用各个曝光值曝光的图像的最佳成本，并且在第二部分中，曝光值根据饱和像素来调节。根据一个实施例，第一部分仅仅测试比捕获的图像的曝光值高的曝光值，而第二部分仅测试比临时曝光值低的曝光值。

参见图2，根据一个实施例，如上所述，包括步骤210、212、214的用于发现曝光值的第一部分被布置为仅评估具有比用于在步骤206中捕获图像的曝光值大的曝光值。仅评估较大曝光值的优点在于可以使用已知数据，并且避免了涉及捕获的图像中的饱和像素在哪个曝光值下会不饱和的假定。因此，找到比用于捕获图像的曝光值大且产生最优成本的曝光值。当被确定时，这个被称为临时曝光值e_temp的曝光值被用在后续的过程中。在第一部分被布置为仅增加曝光值时，第二部分被布置为查明曝光值是否已经减小。

这个第二部分包括步骤218、220、222、224和226，并且如前所述被布置为评估饱和像素对图像的影响。在一个实施例中，这通过计算鉴于在临时曝光值e_temp下的饱和像素的数量而容许多少额外成本来实现。结合步骤218讨论的饱和像素的成本计算可以通过针对饱和像素限定恒定成本值然后将该成本值乘以在临时曝光值下计算为饱和的像素的数量来执行。然后，饱和像素的成本被用作所容许的成本增加的值。

然后，在步骤220、222、224和226中使用不包括饱和像素的直方图。这个直方图被叫作截断直方图。通过使用该截断直方图，克服了在减小曝光值时不知道何时降低饱和像素的饱和度的问题。如关于步骤220、222、224和226讨论的，计算截断直方图，并且计算在目前曝光值下截断直方图的成本。然后，减小曝光值，直到在目前曝光值下计算的直方图的总成本已经减少与在临时曝光值下针对饱和像素所计算的成本基本相对应的值。然后，从这个过程得到的曝光值可以被用作用于捕获下一个图像的曝光值。

根据一个实施例，成本函数中使用的SNR被逆SNR函数(例如噪信比)取代，参见图6。通过将成本函数建立在逆SNR函数而非SNR函数的基础上，第一过程步骤将发现作为最小值而不是最大值的最佳临时曝光值。此外，基于逆或非逆SNR的成本函数，取决于在每个曝光下使用的增益。然而，从设备性能角度来看，每当增益改变时重新计算成本函数不是有效的。在一个实施例中，不同曝光的饱和成本反而被更改。这导致与重新计算成本函数基本相同的效果，但是显著降低了计算复杂度。在不同曝光水平下的饱和成本可以为在算法建立时主观配置的参数。

在结合图2描述的过程的第一部分期间发现最优曝光值的过程中，可以使用修正二分搜索法。该搜索法被示出在图7的流程图中，并且该过程可以被直接插在图2中过程步骤208与216之间，代替图2中那里当前的过程步骤。该搜索法包括在目前的曝光值区间中选择五个等距分布的曝光值点，步骤702。初始曝光值区间为包括合理曝光值的预限定曝光值区间。然后，计算这五个曝光值的直方图，并且基于成本函数和每个曝光值的直方图计算每个曝光值点的总成本，步骤704。将目前曝光值区间分成2半，并且目前曝光值区间中包括产生最佳总成本的曝光值的那一半被选为新的目前曝光值区间，步骤706。根据使用的成本函数，最佳总成本可以为最低值或最高值。在步骤708中，决定过程是否回到步骤702，或者决定过程是否继续。根据一个实施例，在第一部分期间发现最优曝光值的过程被布置为在三次迭代之后结束，并且该过程已经限定出在三次迭代之后发现基本上最优的曝光值。这赋予了许多实施的足够精度。然而，如果应用从迭代中获益，则该过程可以在更高预定数量的迭代之后结束。可替代地，用于发现基本上最优的曝光值的过程可以结束于在不同曝光值下总成本的两个连续计算值之间的总成本改变小于预定阈值时。

在第二部分的过程中，针对发现曝光值的过程，与涉及截断直方图的临时曝光值的成本相比，截断直方图的总成本改变基本上等于在临时曝光值下饱和像素的成本，标准的二分方法可以应用于搜索。这过程还可以实施用于发现基本上最优值的三次迭代的限制。然而，如果应用从迭代中获益，则该过程可以在更高预定数量的迭代之后结束。可替代地，用于发现基本上最优曝光值的过程可以在改变总成本和饱和像素的成本之间的差小于预定阈值时结束。

在可替代的实施例中，重新计算成本函数，来代替直方图。在一些实例中，重新计算成本函数的计算要求比重新计算直方图的计算要求低。在模拟曝光值的增加时，成本函数可以在信号水平方向上被压缩，并且在模拟曝光值的减少时，成本函数可以在信号水平方向上延伸。对于模拟增加的曝光值的实例，饱和像素为具有比压缩的成本函数的最高信号水平位置更高的信号水平的像素。成本函数中的最高信号水平还可以表示饱和像素和这些像素的成本。

在上面的实施例中，成本函数被描述为仅仅为噪声水平的函数。然而，成本函数可以基于图像特征的运动和识别类型，例如目标识别、面部识别等。实施这些附加成本特征的一个方法是使成本函数仍然以SNR为基础，但然后根据你是否想让它们对曝光设置具有较大或较小影响，使得表示在捕获场景中移动的像素或表示特定目标的像素数多或数少。实施这个的一个简单方法是使得被检测为具有运动或作为要检测的目标的一部分的每个像素视作多个像素。视作多个像素的像素被解释为视作不止一个像素的像素，即像素的x倍，其中x可以为任意实数。例如，识别为面部的区域中的像素在被用于成本计算时可以被视作1.34个像素，或者根据面部的多少曝光会影响曝光设置，识别为面部的区域中的像素可以被视作2个像素。

Claims

1.一种用于图像捕获的方法，所述方法包括：

通过图像传感器捕获图像帧，所述捕获的曝光基于初始曝光值设置，

通过发现在应用于总成本计算时产生最优值的曝光值，确定临时曝光值，其中根据特定曝光值计算总成本是基于在所述特定曝光值下所捕获的图像帧中的图像像素的信号水平连同成本函数的，

在所述临时曝光值下计算与所捕获的图像帧的饱和像素有关的饱和像素成本，

通过减小所述曝光值直到在目前曝光值下计算的总成本已经减少与所述饱和像素成本对应的值来确定下一个曝光值，其中，每个目前曝光值的总成本基于除了在所述临时曝光值下所捕获的图像帧的所述饱和像素之外的像素来计算，以及

利用所确定的下一个曝光值来捕获新的图像帧。

2.根据权利要求1所述的方法，进一步包括将所述图像帧和所述新的图像帧插入运动视频流中。

3.根据权利要求1所述的方法，其中捕获新的图像帧启动确定临时曝光值的步骤、计算饱和像素成本值以及确定下一个曝光值以捕获进一步的图像帧的重复。

4.根据权利要求1所述的方法，其中计算总成本基于所捕获的图像的直方图连同成本函数，所述直方图表示在所述特定曝光值下所捕获的图像帧在不同光强度水平的像素数量。

5.根据权利要求4所述的方法，其中直方图是表示在帧曝光期间在特定光强度水平下图像传感器中用于接收光的图像传感器元件的数量的函数。

6.根据权利要求1所述的方法，其中在确定临时曝光值的行为中计算特定曝光值的总成本的行为包括：根据所捕获的图像数据计算表示不同曝光值的多个直方图，对于每个直方图，将针对注册的每个光强度水平的直方图值与所述成本函数在对应光强度水平下的成本值相乘，通过将特定直方图中所注册的光强度水平与所述成本函数在对应光强度水平处的成本值之间相乘的积相加，来计算与所述特定直方图相关联的每个曝光值的总成本，以及使用针对算法中的每个曝光值计算的总成本来发现最低总成本和对应的曝光值。

7.根据权利要求1所述的方法，其中所述成本函数为所述图像传感器在特定光强度水平下的性能的函数。

8.根据权利要求1所述的方法，其中确定临时曝光值、计算饱和像素成本以及确定下一个曝光值的一次迭代基于捕获的相同图像数据。

9.根据权利要求1所述的方法，其中所述饱和像素成本被计算为在所述临时曝光值下所述图像数据中的饱和像素数量乘以饱和像素的预定成本值。

10.根据权利要求1所述的方法，其中属于所述图像帧中特别感兴趣的区域的像素在计算所述总成本过程中被计数多次。

11.根据权利要求1所述的方法，其中属于所述图像帧中特别感兴趣的区域的像素在计算非饱和像素的总成本过程中被计数多次。

12.一种图像捕获设备，包括：

图像传感器，被布置为捕获图像帧；

存储器，用于存储曝光值；

曝光控制器，被布置为基于存储在所述存储器中的所述曝光值控制待被所述图像传感器捕获的图像的曝光；

处理单元，被布置为通过发现在应用于总成本计算时产生最优值的曝光值来确定第一曝光值，其中根据特定曝光值计算总成本是基于在所述特定曝光值下所捕获的图像帧中的图像像素的信号水平连同成本函数的；

饱和像素成本计算器，被布置为在所述第一曝光值下计算与所捕获的图像的饱和像素有关的饱和像素成本；

所述处理单元进一步被布置为通过减小所述曝光值直到在目前曝光值下计算的总成本已经减少与所述饱和像素成本对应的值来确定第二曝光值，其中，每个目前曝光值的总成本基于除了在所述临时曝光值下所捕获的图像帧的所述饱和像素之外的像素来计算；以及

在存储器中存储所述第二曝光值作为所述曝光值。

13.根据权利要求12所述的图像捕获设备，进一步包括运动视频编码器，所述运动视频编码器被布置为接收所捕获的图像帧并将所捕获的图像帧增加到运动视频流中。

14.根据权利要求12所述的图像捕获设备，其中所述成本函数为所述图像传感器在特定光强度水平下的性能的函数。