CN104702851B - 使用嵌入式数据的强大自动曝光控制 - Google Patents

Abstract

本公开涉及使用嵌入式数据的强大自动曝光控制。方法、系统和物品提供使用嵌入式数据的强大自动曝光控制。

Description

使用嵌入式数据的强大自动曝光控制

背景技术

例如数字拍摄装置等数字图像处理装置使用自动特征来提高图像（例如数字拍摄装置上的预览屏幕以及记录的图像和记录的视频）质量。这包括3A特征，其指自动白平衡（AWB）、自动聚焦（AF）和自动曝光控制（AEC）。曝光是传感器捕捉的入射光的量，并且该量可通过调整拍摄装置的光圈大小和快门速度以及ND滤波器控制和闪光功率而调整，其中的一些可以是电子系统而不是机械装置。ND滤波器指中性密度滤波器，其在机械快门对于最亮照明条件不是足够快时有时与该机械快门一起使用。AEC还可计算模拟增益和数字增益，它们在存在时放大从使用的曝光时间产生的原始图像信号。曝光参数一起确定总曝光时间，其在本文称为总曝光。增益影响从拍摄装置传感器出来的RAW图像的信号水平或亮度。如果总曝光太短，图像将显现出比实际场景更暗，这叫作曝光不足。如果信号小于本底噪声或量化成零，图像信号甚至可以如此的曝光不足以便丢失。另一方面，如果总曝光太长，输出图像将显现出比实际场景更亮，这叫作过度曝光。在信号变得饱和时（例如在信号值超出像素的满井容量时或在模拟或数字增益促使信号值超出最大数字值时），可甚至由于过度曝光而丢失图像信号。如果信号变得饱和，可能甚至丢失该信号。两种情况可导致细节丢失，从而导致质量差的图像。

自动曝光控制用于计算从数字拍摄装置获得可接受显示图像（例如对于拍摄装置上的取景器或预览屏幕、记录的视频和/或静止图像）所必需的正确曝光。这样的计算还可用于调整曝光设定值以用于用拍摄装置捕捉后续图像。从而，参数在执行AEC计算的处理器与拍摄装置控制器之间传送的定时是非常重要的。如果出现传送延迟，数字拍摄装置屏幕中亮度的闪烁或跳跃可经由取景器屏幕或记录的视频而对用户可见，并且图像可以错误的曝光来捕捉或记录。从而，具有维持高质量图像和视频的自动曝光控制，这是可取的。

附图说明

本文描述的材料通过示例而非限制的方式在附图中图示。为了图示的简单和清楚起见，在图中图示的元件不一定按比例绘制。例如，为了清楚起见，一些元件的尺寸可相对于其他元件扩大。此外，在认为适当的地方，标号在图之中重复来指示对应或类似元件。

图1A-1B协同地示出数字成像装置的自动控制特征的操作的定时图；

图2是图示示例曝光控制处理方法的流程图；

图3是图示使用自动控制特征的图像处理方法的流程图；

图4是操作中的示例图像处理系统的图；

图5是示出示例图像处理方法的操作的基于帧的定时图；

图6是图示示例自动曝光控制过程的流程图；

图7是图示用于提供收敛计划（convergence plan）的示例过程的流程图；

图8是示例图像处理系统的说明性图；

图9是示例系统的说明性图；以及

图10是全部根据本公开的至少一些实现设置的示例系统的说明性图。

具体实施方式

现在参考附图来描述一个或多个实现。尽管论述了特定配置和设置，应该理解这只是为了说明性目的而进行。相关领域内技术人员将认识到可以采用其他配置和设置而不偏离描述的精神和范围。也可以在除了本文描述的之外的多种其他系统和应用中采用本文描述的技术和/或设置，这对相关领域内技术人员将是明显的。

尽管下列描述阐述可在例如片上系统（SoC）架构等架构中显露的各种实现，本文描述的技术和/或设置的实现不限于特定架构和/或计算系统并且可由任何架构和/或计算系统为了相似目的而实现。例如，采用例如多个集成电路（IC）芯片和/或封装件的各种架构和/或各种计算装置和/或例如机顶盒、智能电话等消费者电子（CE）装置可实现本文描述的技术和/或设置。此外，尽管下列描述可阐述例如系统部件的逻辑实现、类型和相互关系、逻辑分区/集成选择等许多特定细节，要求保护的主旨可在没有这样的特定细节的情况下实践。在其他实例中，例如控制结构和全软件指令序列等一些材料可未被详细示出以便不混淆本文公开的材料。

本文公开的材料可采用硬件、固件、软件或其任何组合来实现。本文公开的材料还可实现为存储在机器可读介质上的指令，其可由一个或多个处理器读取并且执行。机器可读介质可包括用于采用可被机器（例如，计算装置）读取的形式存储或传送信息的任何介质和/或机构。例如，机器可读介质可包括：只读存储器（ROM）；随机存取存储器（RAM）；磁盘存储介质；光存储介质；闪烁存储器装置；电、光、声或其他形式的传播信号（例如，载波、红外信号、数字信号，等）及其他。在其他形式中，例如非暂时性计算机可读介质等非暂时性物品可与上文提到的示例或其他示例中的任何示例一起使用（只是它本身不包括暂时性信号）。它确实包括除本身可以“暂时性”方式暂时保持数据的信号之外的那些元件，例如RAM等。

在说明书中对“一个实现”、“实现”、“示例实现”等的引用指示描述的实现可包括特定特征、结构或特性，但每个实现可不一定包括该特定特征、结构或特性。此外，这样的短语不一定指相同的实现。此外，当特定特征、结构或特性连同实现一起描述时，认为实施这样的特征、结构或特性连同其他无论是否在本文明确描述的实现一起属于本领域内技术人员的知识内。

使用嵌入式数据来提供强大自动曝光控制的系统、物品和方法在下文描述。

如上文提到的，许多数字拍摄装置和具有这样的拍摄装置的装置提供自动控制特征，例如3A特征，其包括自动聚焦（AF）、自动曝光控制（AEC）和自动白平衡（AWB）。本文相关地，自动曝光控制（AEC）使用算法来调整曝光参数以捕捉图像并且提供亮度参数调整用于图像的显示（无论是在数字拍摄装置的实时预览屏幕还是其他记录的显示上）以及图像或视频的存储或编码以供稍后观看。当以足够的速度更新参数时，实时预览屏幕或记录的视频中的亮度将显现出在帧之间平滑改变而没有明显的亮度的闪烁或突然改变，使得获得平滑收敛的亮度（或明显的稳定亮度）。这对图像提供仔细控制的高质量外观。为了实现这样的平滑且足够快的曝光参数更新，例如以至少约30Hz的速率向拍摄装置传感器提供更新的参数。

在执行AEC计算的处理器后来从拍摄装置传感器接收最新曝光参数时可出现延迟。另外，可设置短时间窗口，其中请求、开始和完成新曝光参数的传送。如果窗口在完成传送之前关闭，则新的设定值未在传感器的下一个图像或帧中使用，从而使对于该下一个帧的亮度中的突然改变的风险增加。否则，可在用于将数据传送回拍摄装置传感器的相对慢的i2c协议中出现延迟。无论是在拍摄装置传感器控制、图像信号处理器（ISP）还是其他共享处理器，这些延迟可由于控制处理单元（CPU）处的带宽而出现，使得拍摄装置控制模块或处理器可忙于其他处理任务。否则，延迟可由于系统部件中的任何部件之间的数据传送路径处的带宽而简单地出现。

尝试解决这些问题的一个方式使提供专用处理器来运行3A算法以确保没有其他处理将使AEC处理延迟。否则，可添加专用i2c控制器来确保没有其他业务使3A业务延迟。然而，这些技术方案可需要相对昂贵的硬件。

另一个可能的技术方案是严格实施为AEC算法分配的处理时限。然而，该技术方案可仍然不够，并且无论如何可需要额外硬件。这样的限制非常难以实现，并且因为不是所有需要的分析可以保证在对于所有帧的指定严格处理时限中出现，所得的由AEC设置的目标亮度在所有图像捕捉情形中可不是最佳的。

相反，本文提出的技术方案使得自动曝光控制（AEC）传送和计算关于定时不太关键。本图像处理系统将使用的实际曝光参数嵌入来自拍摄装置传感器的数据流中。ISP或其他处理器然后使用嵌入式数据分析器（EmDA）以针对目标曝光时间或更准确地目标总曝光的目标自动曝光收敛计划（其将沿对应于实际嵌入式数据的帧的帧序列创建亮度中的平滑改变）来检查嵌入式数据。目标总曝光时间因为它由除仅仅如本文描述的时间以外的因子形成而称为目标总曝光。在处理原始帧以用于拍摄装置预览屏幕或最后图像显示、存储和/或编码之前，EmDA在一个示例中采用附加数字增益的形式提供调整值。该附加数字增益用于调整ISP设定值以纳入目标总曝光中。利用该系统，即使对于连续帧序列的嵌入式曝光参数值可由于更新曝光参数到拍摄装置传感器的传送中的延迟而是次佳的，附加数字增益的使用克服该问题以产生亮度中的平滑改变以用于进一步图像处理，并且尽管有延迟也如此。

图1A-1B协同地示出时间线图上的图像处理系统100，其中时间从左到右流逝，并且包括至少拍摄装置或图像传感器102、拍摄装置数据流播协议输入系统104（例如移动行业处理器接口（MIPI）或其他输入协议）、一个或多个图像信号处理器（ISP）或其他处理器106的操作。相同或一个或多个其他处理器也可操作嵌入式数据分析器（EmDA）108。自动控制逻辑部件或单元110提供3A统计信息以供3A自动调整控制使用。系统100或在一个形式中是自动控制单元110可包括以下的操作或通信地耦合于以下：自动聚焦（AF）部件112、自动曝光控制（AEC）部件114和自动白平衡（AWB）部件116、这些中的任何的组合及类似物。

参考图2，对于由本文描述的成像系统的自动曝光控制的示例过程200根据本公开的至少一些实现来设置。在图示的实现中，过程200可包括如由操作202、204和/或206中的一个或多个图示的一个或多个操作、功能或动作。通过非限制性示例，在相关的情况下，过程200在本文将参考图1A-1B和8的示例图像处理系统来描述。

就图像处理系统的一个实现而言，过程200可包括“RECEIVE EXPOSURE PARAMETERDATA USED TO CAPTURE IMAGE DATA FOR A PLURALITY OF FRAMES AND EMBEDDED IN ADATA STREAM OF IMAGE DATA（接收用于捕捉对于多个帧的图像数据并且嵌入图像数据的数据流中的曝光参数数据）”202。在一个示例中，拍摄装置或图像传感器（例如拍摄装置传感器102）可提供曝光数据，其放置在输入系统（例如输入系统104）的位流132中并且提供给一个或多个处理器，例如图像信号处理器（ISP）106。

过程200还可包括“OBTAIN CONVERGENCE PLAN DATA OF A PLURALITY OF TARGETEXPOSURE PARAMETER VALUES FORMING AT LEAST PART OF AN EXPOSURE CONVERGENCEPLAN . . .（获得多个目标曝光参数值的收敛计划数据，从而形成曝光收敛计划的至少部分）”204，并且特别地，其中曝光收敛计划数据提供数据以沿帧序列形成目标变化亮度。曝光收敛计划可从数据库、缓冲器或其他存储器（例如Intel 3A库160）获得。曝光收敛计划（或亮度或照度收敛计划）是总曝光列表。该列表可另外或备选地包括用于计算例如实际曝光时间（et）、模拟增益（ag）和数字增益（dg）等总曝光的参数。提供总曝光以渐进并且平滑地改变对于从起始帧到结束帧的帧序列的亮度以便避免亮度中的突然改变。就一个形式而言，AEC部件114接收指示亮度中的改变的数据并且然后形成中间曝光时间，例如在一个示例中通过插补（interpolation）并且对于期望数量的中间帧，以获得亮度的渐进改变。该AE收敛计划然后提供给例如EmDA并且可被其访问。AE收敛计划包括对于每个曝光时间的对应帧识别或帧号，其可采用指数的形式。该过程在下文随着解释图7而更详细解释。

过程200可继续操作“DETERMINE AN EXTRA DIGITAL GAIN CALCULATED BY USINGBOTH THE EMBEDDED EXPOSURE PARAMETER DATA FOR A FRAME OF THE SEQUENCE OFFRAMES, AND A CORRESPONDING TARGET EXPOSURE PARAMETER OF THE EXPOSURECONVERGENCE PLAN（确定通过使用对于帧序列的帧的嵌入式曝光参数数据和曝光收敛计划的对应目标曝光参数两者而计算的附加数字增益）”206。也就是说，该附加数字增益像误差校正，使得图像使用目标总曝光而不是实际总曝光（其可导致亮度闪烁）的值来有效显示或用别的方式处理。附加数字增益可称为误差、调整和/或校正，并且可以是代表目标与实际帧曝光参数之间的比率的值。尽管附加数字增益可通过使用嵌入式曝光时间（在施加增益之前）、数字增益或模拟增益来计算，就一个形式而言，附加数字增益通过使用对于帧并且从嵌入式数据计算的实际总曝光以及对应目标总曝光（作为目标曝光参数）而计算。过程200中的后续操作是“PROVIDE THE EXTRA DIGITAL GAIN FOR IMAGE PROCESSING TODISPLAY, STORE, AND/OR ENCODE THE FRAME OF THE SEQUENCE OF FRAMES（为图像处理提供附加数字增益来显示、存储帧序列的帧和/或对其编码）”208。

现在更详细同时再次参考图1A-1B，可控制图示的图像传感器102以操作滚动快门或电子焦平面快门过程，其中像素采用行序（line sequence）（逐行）方式对于光电荷重置，并且对于整个帧采用行序方式读出像素。在该类型的系统中，行（row）与行间的曝光时间可重叠并且不需要同时执行。行重置（row reset）（rt）118与行读出（rd）时间120之间的时间是积分时间或曝光时间（T_exposure）122，其是用于在帧（或图片或图像）上的一行或多行像素或甚至只是行的部分中积聚光电荷的时间。积分122的长度可根据有多少行或像素被积分涵盖而变化。行读出值度量行中并且自最后的重置（其发起积分时间）的光电荷的量。

沿帧往下逐行地一次一个地执行重置118，使得在这里，积分行（也称为曝光时间）122的每个对角线列124对应于帧126。帧126示出为具有总共八个积分行的积分行122a至122h，但如理解的那样，帧将或可能具有比八个多得多的积分行，但不必在这里示出。因为重置118在时间上偏移，当曝光时间122遍及单个帧相同或相似时，对角线列以均一的梯度形成。不管积分122的长度和重置118的位置如何，读出120被定时使得读出将沿帧126向下每个积分行一次一个地执行，从而如示出的那样以均一或接近均一的梯度形成读出120的对角线。在这里，示出对于三个帧126（n）、126（n+1）和126（n+2）的曝光时间或积分。用于捕捉帧的亮度的时间段（T_frame）从一个读出到一个读出来测量。然而，将理解积分122的长度可对于帧根据积分所涵盖的行的数量或部分而变化。在该情况下，重置的位点可未形成完美对角线并且在维持读出的定时使得读出可如示出的那样按一次一个的顺序执行时可更加多地交错。否则，曝光时间的长度可受到帧长度的限制，使得曝光时间无法比帧长度更长。这由例如垂直（帧）消隐的位置来标记，其将放置在对角线列126的底部处（未在RAW数据上示出）。然而，帧长度可以如下文论述的那样通过使帧消隐（垂直消隐）更长而增加。

读出120可通过水平或行消隐空间128以及调整或保留时间块130而与相同行中的下一个行重置118分开。在这里，可如示出的那样，在每个积分行的末端处提供水平消隐空间（其可与或可不与帧的每个像素行的末端对齐），来代替在帧的每个像素行的末端处放置水平消隐空间。总的行长（水平）中实际感测的区域以及帧（垂直）中的行的数量可大于设备上或要分析的可见空间。从而，水平或行消隐是非传送期，其涵盖沿行并且不可见的像素位置的扫描的时间。对于下文介绍的垂直消隐也是这样的。消隐空间用于同步。水平或行消隐可用于提供部件（ISP）充足时间来处理输入数据。例如，如果行消隐与像素时钟或传感器发送数据的速率相比太短，ISP处理可能失败（例如输入缓冲区溢出）。垂直或帧消隐用于控制帧速率，其中垂直消隐越长，帧速率越慢、最大可能曝光时间越长并且在读出下一个帧开始之前执行计算的时间更多。保留时间块130用于限制或防止读出期的任何重叠。

数字拍摄装置传感器可以配置成输出与实际RAW图像数据并排的某些嵌入式数据。例如，标准移动成像架构（SMIA）1.0组和移动行业处理器接口（MIPI）标准限定这样的嵌入式数据的示例。该嵌入式数据可具有曝光参数（曝光时间、模拟增益、数字增益）的描述，这些曝光参数在嵌入式数据与之关联的RAW帧中有效。RAW图像数据在本文指这样的图像数据，其还未被处理并且准备通过位图图形编辑器来打印或编辑以供显示，并且可在输入数据或位流132（在这里由实际上示出用于构建位流的时间段的条表示）中。位流132从拍摄装置或图像模块或传感器102流播或传送到处理器106。

就一个方法而言，输入数据或位流132可例如具有对于与单个帧126n关联的积分列126中的多个重叠行的RAW图像数据的起始字段（SOF）134、主传送部分Tx 136。在图示的形式中，对于全部八个积分行122a-122h（以及在提供时更多的行）的读出120的数据放置在主传送部分Tx 136中。主传送部分136在结束字段（EOF）138处结束、后跟水平消隐时间140，并且然后在到达一个帧的末端并且对于下一个帧的数据开始时提供更长的垂直消隐期141。位流132中的水平消隐时间使它读出全帧所花费的时间增加以允许接收方（例如ISP）在例如发送下一个行之前清空它的输入缓冲区。就另一个备选方案而言，不使用水平消隐（其中水平消隐是零或非零），并且虚拟像素可以在行消隐期间传输或不传输。

实际曝光参数数据可嵌入输入位流132的起始字段134部分和/或结束字段部分138中。在ISP处理使用来自存储器的数据时而不是在流播时，嵌入式数据可放置在结束字段138中。嵌入式数据包括实际上由图像传感器102使用来捕捉图像数据并且之前从自动曝光控制（AEC）114提供给传感器的曝光时间。嵌入式数据还包括数字增益（dg）和模拟增益（ag），其用于计算伴随数据的并且在读出时施加的帧的总曝光。模拟增益可在它执行模数转换之前由传感器施加。与数字增益相比，从模拟增益获得的益处是它使A/D转换器引起的量化噪声减少。在曝光时间具有其他限制（例如最大值）以便避免由于拍摄装置抖动引起的运动模糊时但需要增加曝光来避免曝光不足的情况下，模拟增益可提供总曝光中的增加。模拟增益更好地确保数据涵盖A/D转换器的全范围中的更多，由此例如避免下端浓度恰好在较高量化噪声本底之上。

增益也由AEC 114并且如在下文详细解释的那样提供给传感器。采用一个形式，如上文提到的，MIPI协议可用于该传输。嵌入式数据不具有曝光时间（从秒方面）或增益作为乘数。相反，曝光时间可在拍摄装置传感器中从行期间（其中每行是曝光时间所涵盖的行的数量）方面来控制以及可能地是从像素期方面的一行的额外分数部分（其是曝光时间所涵盖的行的部分）。这对于模拟增益是相同的；从增益代码方面控制它。这些参数利用传感器所使用的相同单位而存储在嵌入式数据中。从而，像素时钟频率可用于从传感器单位转换到通用单位，用于计算下文解释的附加数字增益，其中帧的一个行期可等于一定数量的像素期（line_length_in_pixel_periods）。如传感器支持的话，行期和像素期从传感器发送并且在具有图像数据的位流132中。曝光时间可通过控制行期加上任何额外像素期（可选地）的量而控制。

参考图3，系统100的操作的剩余描述中的许多可结合为了提高图像质量的自动拍摄装置控制的过程300来描述。本文描述的过程300根据本公开的至少一些实现来设置。在图示的实现中，过程300可包括如由均匀编号的操作302至338中的一个或多个图示的一个或多个操作、功能或动作。通过非限制性示例，过程300将在本文参考图1A-1B和8的示例图像处理系统来描述。

过程300可包括“从拍摄装置传感器接收嵌入式数据”302，并且在一个示例中，ISP106可从接收的位流132的起始字段134或结束字段138部分获得或可访问嵌入式数据。ISP106可具有时间段142，用于从位流132接收起始字段和结束字段数据之后读取发起的嵌入式数据并且执行对其的分析。在水平和垂直消隐期140和141期间，ISP 106然后可在具有在接收相邻帧之间的空闲期146的时间段（ISP分析）144接收并且分析图像数据。

对于一般图像处理，一旦ISP接收306原始图像数据中的一些，它可对RAW数据应用308预处理。这可包括噪声降低、像素线性化和遮光补偿。它还可包括分辨率降低、Bayerdemosaic和/或渐晕消除。一旦被预处理，可计算310一般图像统计信息。仅举几例，这可包括照度/色度值和平均值、照度/色度高频和纹理内容、帧间运动内容、任何其他颜色内容值、关于解锁控制的图片统计数据（例如，控制解锁和/或非解锁的信息）、RGBS网格、滤波器响应网格和RGB直方图。该信息可在宏块或编码单位（CU）基础（例如，每16 x 16或8 x 8，或其他像素大小块）上提供，或可每像素或如期望的那样根据对于某些标准编码方案（例如H.264/高级视频编码（AVC）或高效率视频编码（HEVC）、JPEG或其他图像处理和编码标准）的兼容性参数的其他单位基础而提供。当YUV数据可用并且ISP已经重建图像时，这些标准可在后处理334结束时使用。图像数据和计算的统计信息可存储在双数据速率（DDR）或其他足够的存储器中，并且然后可提供以用于在时间段图像输出146和统计信息输出148期间进一步分析。

ISP并且进而嵌入式数据分析器EmDA 108可在时间段T_EmData_received 150期间接收嵌入式数据，一旦从起始字段134或其他SOF或EOF字段134或138中的一个或多个接收嵌入式数据则可开始该时间段T_EmData_received 150。一旦被接收，嵌入式数据分析器可在时间段T_run_emda()152期间运行304以根据本文并且在下文用过程600和700描述的曝光收敛计划来提供附加数字增益（dg_isp）151，并且提供331回到ISP以用于进一步图像处理。例如可包括附加数字增益来调整ISP的白平衡增益。就一个方法（其中白平衡增益是gainR、gainG和gainB）而言，则new_gainR=gainR*dg_isp，new_gainG=gainG*dg_isp，new_gainB=gainB*dg_isp。备选地，附加数字增益可以包括在伽马表中，其中该伽马表是对于每个颜色分量的gammaLUT[]。则，对于所有i=[0，max_value]，new_gammaLUT[i]= gammaLUT[i]*dg_isp。就再另一个备选方案而言，任何其他ISP操作可使用附加数字增益来纳入如下文描述的目标总曝光，并且只要RGB值线性递增地增加即可。

附加数字增益到ISP注册表内的更新必须在ISP处理对于每个帧开始之前发生（除非对应的ISP注册表值已经是正确的）。Run_emda 152是相对微量的计算，使得可以进行更新，即使3A执行已经延迟也如此。就一个方法而言，run_emda代码放置在系统中使得这得到保证（并且在一个情况下使得run_emda不一定在与3A分析算法相同的处理器上运行）。当新的ISP参数的更新从3A不用时，则之前设置的ISP参数生效。

之后，过程300可继续应用334后处理，并且用于帧或图像的最后或预览显示、存储以供例如稍后使用和/或编码或这些336的任何组合。

自动控制单元110可视为包括AEC部件114，或至少AE收敛计划部件159，其具有形成初始AEC或AE曝光收敛计划（ae_conv_plan）的AEC部件114的部分或算法，该计划在本文也称为AE收敛计划或自动曝光收敛计划，其包括目标未来总曝光的列表或指数和对于帧序列（其包括还不一定捕捉的未来帧）的每个总计的对应帧识别。该初始AE曝光收敛计划（ae_conv_plan）可存储在对自动控制单元110和AEC 114可访问的3A统计库160中。一旦AE曝光收敛计划变得可用，例如在3A统计信息的时间段158期间形成AE曝光收敛计划之后，AE曝光收敛计划提供322给嵌入式数据分析器108或嵌入式数据分析器108可在时间段T_send_emda()161期间检索新的AE曝光收敛计划来发起时间段156以更新emda曝光收敛计划。emda曝光收敛计划（emda_ae_conv_plan）在本文也可称为emda计划、emda收敛计划、emdaae收敛计划，等。AE收敛计划的形成在下文用过程600和700来解释。

而且，一旦获得或计算（146，148）图像和一般统计信息，自动控制单元110使用图像数据和一般图像统计信息以在时间段T_3A_sat 158处形成另外的3A统计信息以供自动控制使用来对焦点、曝光时间和白平衡进行调整。一旦3A统计信息可用，还可执行3A控制和调整，其可依次执行，或在每个控制特征可具有一个或多个专用处理器的一个情况下，它们可并行执行。在前面的情况下，AF控制112在时间段（T_3A_stat_delivery）164期间接收3A统计信息。一旦接收3A统计信息，AF逻辑单元或部件162在时间段T_AF_execution 166期间运行312并且计算焦点调整。在一个形式中，具有i2c协议的透镜驱动器168然后在AF执行期166之后的时间段T_AF_I2C 170期间对新的焦点设定值134形成命令，并且然后将该新的AF设定值发送324到拍摄装置模块或传感器326使得拍摄装置上的透镜硬件171然后可在时间段T_AF_Lens 172期间使透镜移动。透镜硬件可或可不视为AF控制112的一部分。拍摄装置模块328可使用新的设定值来捕捉另外的图像并且提供新的嵌入式数据332和RAW图像数据330来重启循环，如在图3中示出的。而且，AF控制112无法使用来自这样的帧的统计信息，这些帧的积分时间与对于透镜移动的时间T_AF_lens 172重叠。对于该帧，在这里是126n+1，命令太迟。否则，本文的嵌入式数据系统可与不具有AF的定焦拍摄装置模块一起使用。

当处理器在3A控制器之间共享时，第一延迟期（T_3A_latency_1）可使自动曝光控制114的运行316延迟直到AF控制112完成AF调整计算166。AE部件174可在时间段（T_AF_execution）176期间运行316曝光调整计算来对拍摄装置传感器形成新的或更新的曝光设定值。备选地，在具有专用部件的系统中，自动曝光运行178可在AF控制112执行AF调整166时出现。传感器I2C部件180然后可在时间段T_AE_I2C 182期间提供323新的曝光设定值并且将其发送324到传感器。

注意在对于AE和AF命令两者的I2C传送时，单词不确定规定为指示潜在延迟可由于时间段170和/或182花费比如本文论述的那样所指示的更长而在该点处出现。应注意用于向ISP提供附加数字增益150、152、151以用于处理和更新EmDA收敛计划156的时间不直接取决于AEC、AF和AWB运行166、176、186或I2C传送170、182的定时。而且，如果系统的一些其他部分竞争相同的I2C或CPU资源，这可引起AE运行时间（T_AE_execution）以及AE I2C执行时间（T_AE_I2C）中的变化或对需要那些资源的任何其他部分引起变化。这变得甚至更重要，因为以对每个帧的灵活时间包络提供AEC运行或分析使得可以对每个帧或需要更深入分析的至少某些帧执行更全面分析是有益的。

否则，过程300可在从接收3A统计信息164的第二延迟期（T_3A_latency_2）184之后继续运行318 AWB控制116。在该情况下，处理可直到完成自动曝光执行期176之后才开始。然后，AWB控制执行调整计算，其在第二延迟之后的时间段（T_AWBetc_execution）186期间提供新的白平衡（WB）增益320。备选地，如果提供专用处理器，AWB运行可在AF和AE控制正执行它们的调整计算时的时间段188期间出现。

用于处理图像（以例如显示、存储和/或编码）的ISP参数可用数据190或192来更新，其包括在例如对于在Tx时间136期间还未被ISP处理的帧的空闲期（例如图1A上的空闲（1））等窗口期间的3A调整或设置。如在图1A-1B上示出的，3A处理已经延迟并且太迟而不能在空闲（1）期间被处理使得在就在空闲（1）之后的ISP处理期136期间处理的帧将未接收它们合适的调整。备选地，如果3A处理是对于下一个空闲（2）（未示出），因为空闲（2）还未出现，可接收更新的数据192来更新下一个ISP Tx 136期。

WB增益然后可用于处理图像数据，其然后可行进到图像数据的后处理334。后处理可包括CFA（滤色阵列）插补、颜色空间转换（例如原始RGB到sRGB，在这里还未被执行）、伽马校正、RGB到YUV转换、图像锐化等。后处理可由例如ISP 106或本文提到的其他处理器等处理器来执行，用于由软件和/或ISP的硬件管线执行这些过程。

接着，可显示336处理的图像（无论是作为数字拍摄装置或电话屏幕上的取景器或预览，还是另一个装置上的最后显示），或可存储它以供稍后观看，并且可以是视频或静态图像。备选地，或另外，图像数据可提供给编码器用于压缩并且传送到另一个显示器或存储装置。在停止记录或图像捕捉时，可关闭338拍摄装置，或否则，系统可继续捕捉新的图像。

参考图4，过程400图示根据本公开的至少一些实现的用于使用嵌入式数据的自动曝光控制的样本图像处理系统800的基本操作。更详细地，在图示的形式中，过程400可包括如由均匀编号的动作402至424中的一个或多个图示的一个或多个操作、功能或动作。通过非限制性示例，过程400将在本文参考图8描述。具体地，系统800包括AEC部件818和嵌入式数据分析器834。系统的操作可行进如下。

AEC部件818可“接收图像和嵌入式数据”402，并且“激活AEC”404。每当激活拍摄装置上的取景器或预览时，或用别的方式在发起视频记录或图像捕捉过程并且可继续操作直到停止过程时，就一个示例而言，AEC可经由来自系统的请求而激活。在预览屏幕的情况下，直到关闭拍摄装置或将其调谐到例如多功能智能电话上的不同功能才是这样的。

AEC然后可“为亮度中的平滑改变而形成曝光收敛计划”406。就一个方法而言，一旦被激活，每当激活AEC来限制EmDA缺失用于收敛计划的值的机会时，AEC将形成新的收敛计划（ae_conv_plan）。就一个示例而言，对每个帧或至少在小的帧间隔中（例如每隔一个帧或每第三帧，等）提供新的收敛计划以也试图确保EmDA总是具有对于要分析的帧可访问的收敛计划并且未缺失收敛计划值。尽管对每个帧或接近的帧提供收敛计划产生重叠收敛计划，EmDA将使用帧指数（具有例如帧号）用于更新它的EmDA收敛计划（emda_conv_plan），其合并计划或在一个示例中用新的计划更新旧的计划。

就另一个备选方案而言，系统可设置成确定是否需要新的收敛计划并且在一些示例中通过检测是否出现场景改变或通过比较在相邻帧中使用的总曝光来确定在实际使用的曝光参数中是否出现任何亮度中的突然改变。否则，每当当前的有效收敛计划结束时，过程400可简单地继续提供或提前计划以提供新的收敛计划。在出现这样的亮度中的改变时或在期望新的收敛计划时，AEC部件818可形成新的曝光收敛计划或更新旧的计划。然而，这些备选方案需要很大的定时控制以试图确保EmDA不缺失收敛计划值。

如本文提到的，收敛计划（ae_conv_plan）在比仅仅两个更大数量（例如，在一个示例中是三至五，但可以更多）的帧上提供相同或相似的亮度改变。用于形成AE曝光收敛计划的过程在下文参考图7的过程描述。就一个方法而言，曝光收敛计划包括目标总曝光和对应的帧号。之后，新的收敛计划提供408给嵌入式数据分析器（EmDA）834。AEC部件818可独立使用图像数据以对于每个帧 “计算新的曝光设定值”410，并且可包括曝光时间、数字增益和模拟增益，并且“向拍摄装置传感器提供新的设定值”412。这样，使用ae曝光收敛计划的定时可大致上不受新的曝光设定值到传感器的传送的定时的影响。

EmDA 818还可“接收嵌入式数据”414（例如用于帧的实际曝光时间、数字增益和模拟增益），并且经由来自传感器的图像数据位流。过程然后可继续“使用嵌入式数据计算实际总曝光”416。在接收新的AE收敛计划或从AEC部件834获得新的AE收敛计划时，EmDA 818然后可用数据“更新EmDA曝光收敛计划”418，其在大部分情况下可以是目标总曝光以及对于每个总曝光的对应帧识别。一旦接收或至少可访问时，EmDA 818可“找到对应的实际和目标总曝光”420，其对应于相同的帧。然后过程400可执行“计算附加数字增益”422以便提供对应目标与实际曝光参数的比较并且在一个示例中是目标与实际总曝光的比较。该过程在下文用过程600更详细解释。过程400然后可继续“为图像处理提供附加数字增益以显示、存储图像和/或对其编码”424。

参考图5，帧时间图示出与本文公开的其他过程相似的过程500的操作，并且以不同的方式示出来自图1A和1B的时间段中的一些。示出对于三个帧的ISP分析的时间N（502）、N+1（504）和N+2（506）。每个帧用线0至L示出。对于统计信息计算514、516或518的执行的时间在每个对应帧之后示出。提供独立列来示出对于帧中的每个以及由传感器508（其与传感器102相似）、EmDA 510（其与EmDA 108相似）和自动控制/AEC部件512（其与部件110、114和/或159相似）进行的操作。

过程500示出传感器508形成嵌入式数据，并且EmDA 510计算附加数字增益。过程500还包括自动控制/AEC部件512将对于帧N+1至N+4的新的曝光收敛计划ae_conv_plan提供给EmDA并且在分析帧N和计算它的统计信息514之后但在分析下一个帧N+1之前的空闲期期间。在分析帧N+1期间，更新emda曝光收敛计划，并且然后运行EmDA以使用更新的emda收敛计划计算对于帧N+1的附加数字增益。继续前行，对N+2运行EmDA并且对N+2更新来自N+1的emda收敛计划。就一个示例而言，对每个帧重复该过程，并且对每个未来帧提供新的或更新的emda曝光收敛计划。

参考图6，提供过程600以更详细示出EmDA的操作。本文描述的过程600根据本公开的至少一些实现来设置。在图示的实现中，过程600可包括如由均匀编号的操作602至614中的一个或多个图示的一个或多个操作、功能或动作。通过非限制性示例，过程600将在本文参考图1A-1B和/或8的示例图像处理系统来描述。

过程600可包括“接收嵌入式曝光参数数据，其包括ET、AG和DG曝光参数并且在RAW帧N中有效”602。也就是说，从AEC部件114提供给传感器102的曝光参数数据用于设置对于帧的曝光时间，并且然后与捕捉的图像数据一起嵌入数据流中。该操作还可或还可不包括计算实际总曝光，其中=实际总曝光。

一旦接收嵌入式数据，过程600可继续“运行EmDA”604来操作下列EmDA规程，但其他部件中的许多相反可执行这些操作。这可首先包括“如果新的自动曝光收敛计划（ae_conv_plan）可用，则更新EmDA收敛计划（emda_ae_conv_plan）”606。从而，EmDA检查来看看新的收敛计划是否可用，并且然后获得计划或从计划获得曝光数据。这可包括对于每次的目标总曝光和帧识别或号。备选地，EmDA可提供有目标曝光时间、数字增益和模拟增益，并且然后EmDA可计算总曝光，其中：

=实际总曝光 （1）

就一个方法而言，放置到emda收敛计划内的新的曝光数据可覆盖或替代已经在emda收敛计划中的任何帧号时隙的数据，并且新的帧号可附加到emda收敛计划中的列表的末端。传递的旧的、已经使用的帧号的时隙可以被新的帧号时隙重新使用使得循环缓冲器（例如缓冲器838（图8））可以由EmDA使用来存储收敛计划。

过程600然后可继续“将对于帧N的嵌入式数据曝光参数转换成通用单位”608。对于转换的伪代码在下文提供。如上文提到的，该转换可包括将传感器单位转换成通用单位，例如将曝光时间（ET，其可从积分像素和行期间方面来看）转换成微秒以及将获得的实际模拟和数字增益代码转换成乘数。增益代码的格式取决于传感器实现。典型的格式是SMIA1.0格式：

（2）

其中M0、C0、M1、C1是与传感器关联的恒定参数，“代码”是增益代码，并且“增益”是作为乘数的真实模拟增益。嵌入式数据可具有模拟增益代码“代码”。数字增益可例如作为具有8分数位的16位定点数而存储在嵌入式数据中。

过程600可包括“在EmDA收敛计划（emda_ae_conv_plan）中找到对应于帧N的条目”610。从而，EmDA查找对于具有当前由EmDA分析的实际曝光参数的帧N的帧号或其他帧识别以便从EmDA曝光收敛计划找到匹配的目标总曝光。

一旦找到匹配，过程600可行进到“计算要在ISP处理中施加的附加数字增益（dg_isp）”612。如在这里从下文的伪代码重复的，附加数字增益可通过将目标总曝光除以对于帧的实际总曝光而计算：

（3）

指在emda收敛计划指数中找到的目标总曝光，并且et、ag和dg分别指实际曝光时间、模拟增益和数字增益。就一个方法而言，对于附加数字增益的最小值设置在至少1.0，并且在一个选项中是约1.0或确切地1.0。在该情况下，如果比率或分数超过一，则该值用作乘数。如果乘数在1.0以下，则1.0用作最小值并且指的是没有增益改变（附加数字增益是x1.0）。Dg_isp然后在使用它的方程中设置为1.0。在该情况下，可对每个帧提供附加数字增益。如果在对白平衡增益施加附加数字增益时允许小于1.0增益，图像中的饱和区域可能变成有色，因此使用该限制。例如，在图像中饱和并且应看上去是白色的非常亮的灯相反可看上去是紫色的。在ISP具有使用来自EmDA的附加数字增益并且不需要该最小附加数字增益限制的部件时，则可去除限制。

就本示例而言，附加数字增益通常作为乘数而提供，并且ISP然后可根据它的计算的需要（例如为了白平衡或伽马调整）来修改乘数。对于其他示例，附加数字增益相反可以是从目标总曝光扣除的对应实际总曝光。将理解存在用于计算附加数字增益的许多备选方案。

而且，作为其他备选方案，代替根据总曝光的比率使附加数字增益偏置，数字增益可以基于目标与实际曝光时间的比率，或使用的总曝光可纳入例如光圈增益和/或ND滤波器增益等其他参数使得（其中是来自使用与参考光圈大小不同的光圈大小的乘法影响，并且是与不使用ND滤波器相比来自使用ND滤波器的乘法影响）。在一些系统中，当嵌入式数据已知时在其中提供图像亮度测量（例如，图像数据的平均亮度）可以是可能的。则可以在实际亮度vs.目标亮度之间计算比率。

过程600然后可包括“使用新的数字增益（dg_isp）对帧N提供图像数据以用于图像的显示、存储和/或编码”614。如本文提到的，对于一个示例，附加数字增益可通过使它乘以白平衡增益值而在ISP处理中使用。

就另一个方面而言，有意曝光不足可用于减少过度曝光。具体地，并且如上文替代的，由EmDA计算的附加数字增益可局限于最小值，例如1.0。在该限制就绪的情况下，并且从过度曝光下收敛时，EmDA无法匹配目标曝光并且在目标曝光小于实际曝光时提供对于附加数字增益的确切比率。该问题可以通过有意曝光不足而减轻，并且因此为EmDA数字增益留下净空。这在收敛期间的亮度准确性与预览或视频噪声之间提供权衡。也就是说，使用有意曝光不足的不利之处是，噪声因为曝光不足引起更差的信噪比（SNR）而增加，并且然后噪声由数字增益放大与真实信号相同的量。

为了实现该方面，发送到拍摄装置传感器（经由例如ET、AG、DG值）的目标总曝光可有意设置成小于在emda收敛计划中设置的最佳目标总曝光以便在由EmDA计算附加数字增益之前有意允许图像曝光不足。这可在过度曝光帧收敛到更小的亮度值时使用。对于一个非限制性示例，AEC为特定场景估计的目标总曝光可以是例如60ms（从ET=30ms、AG=2.0、DG=1.0），并且目标总曝光将放置在AE收敛计划中。然而，AEC可发送传感器ET=30ms、AG=1.0、DG=1.0（其对应于30ms的总曝光）。然后EmDA将提出x2.0附加数字增益（60除以30）。在该情况下，因为仅传感器上模拟增益受影响而不是生成实际图像信号的曝光时间受到影响，对噪声的影响将是最小的。为了扩大示例，则，如果拍摄装置突然指向更亮的场景，60ms的总曝光将导致过度曝光图像。但因为实际上存在x2.0附加数字增益，收敛计划可以立即改变使得亮度开始平滑减少，而EmDA不必使用在1.0以下的数字增益值。即，如果在传感器上施加新的曝光参数时存在延迟，EmDA可以通过使附加数字增益从x2.0减少而补偿。如果曝光时间改变而不是改变增益中的一个（其中ET=60ms，其中AG=1.0并且DG=1.0），并且该帧有意曝光不足，设为ET=30ms，其中AG=1.0&DG=1.0，则操作将是相同的，但噪声将因为曝光时间被分半而增加得更多。作为积极的副面效应，因为曝光时间减少，运动模糊的风险将减少。

参考图7，提供过程700来示出自动曝光收敛计划（ae_conv_plan）的形成。本文描述的过程700根据本公开的至少一些实现来设置。在图示的实现中，过程700可包括如由均匀编号的操作702至714中的一个或多个图示的一个或多个操作、功能或动作。通过非限制性示例，过程700将在本文参考图1A-1B和/或8的示例图像处理系统来描述。

过程700可包括“接收图像和嵌入式曝光参数数据，其包括ET、AG和DG曝光参数并且在RAW帧中有效”702。之后，AEC部件114、159、818或837可运行704，并且“监视嵌入式曝光参数数据来确定哪些曝光参数实际上与帧一起使用”706。尽管AEC经由I2C传输将新的曝光参数发送到传感器，AEC无法事先知道将使用新的曝光参数的定时和确切帧。从而，曝光参数的使用可以通过在从拍摄装置传感器提供时读取随使用的帧一起的接收的嵌入式数据来确定。

过程700可继续“识别自动曝光收敛计划（ae_conv_plan）的起始帧”708。如之前提到的，曝光计划应在EmDA达到收敛计划的最后总曝光之前被很好地更新，因为否则的话，在EmDA已经消耗最后的总曝光时如果AEC分析碰巧被延迟，EmDA在新的帧从传感器到达时将不具有可用的任何参考总曝光。在一个形式中，如上文提到的，在期望AEC时，对每个帧自动提供收敛计划。否则，收敛计划更新可不是每个帧都需要，但可以是隔开一些帧，只要它未被延迟使得检测到更低质量的图像即可。对于数字拍摄装置，收敛并且进而收敛计划的更新（其在取景期间更新）可是连续的，直到捕捉图像，并且然后再次开始收敛和取景。否则，取景器曝光可并不总是足够快且平滑地对图像场景中的组帧和改变作出反应。

然而，就其他备选示例方法而言，每当使用图像数据检测到场景中的改变时，例如AEC部件114、159或818可自动形成新的收敛计划。这样的场景改变检测可基于例如交互预测运动估计技术或场景的平均亮度改变。就另一个备选方案而言，过程700可包括监视总曝光或帧间（从N+1到N）的亮度差异。这样的比较或差异可与阈值比较。如果它在阈值以上，则需要新的、更渐进或更平滑的收敛计划。否则，可监视嵌入式数据，并且在预期收敛计划的结束（例如在N处开始并且应在N+3处结束的收敛计划）并且仍未达到最后的目标亮度时，可生成新的收敛计划来扩展被监视的计划直到达到目标亮度。这可通过从N+3处的实际总曝光出来到最后的目标总曝光的新的插补计算而进行，或收敛计划可简单地持续进行亮度中的相同改变（或也就是说，亮度中的间隔或梯度在正或反方向上是相同的），如实际上对于N+1、N+2、N+3并且对于达到最后目标总曝光所需要的多少数量的帧实行。

一旦决定需要新的收敛计划，过程700然后可“确定对于收敛计划的中间帧的数量和最后帧的位置”710。在一个形式中，这可受到设计工程师为了捕捉记录的快速移动物体或期望的特殊效果（例如慢速运动）而进行的记录速度的调谐设置的影响。在该情况下，AEC可以不同速度操作使得当记录速度更快（每秒更多的帧）时，AEC反应从帧方面来看可更慢（例如，在记录速度较慢时，AEC每6+个帧分析1个帧而不是每第三个帧）。提供这一点是因为对于特定使用情况具有恒定收敛时间（例如帧的数量）而不管帧速率如何可以是可取的。如果调谐AEC以非常快地作出反应，AEC可进行完整的再分析，例如每三个帧。在该情况下，如果分析帧N，因此是帧N+4，并且插补中间帧N+1和N+2来提供平滑亮度转变，其中最后的目标亮度（或总曝光）在N+3处出现。

另一方面，如果调谐AEC以更慢地作出反应，则可插补更多的帧。因此当AEC对帧N进行完整的统计分析时，AEC可例如计划该新的曝光将在帧N+5中变得有效，并且将插补帧N+1至N+4以朝新曝光时间进行平滑转变。就其他备选方案而言，要使用的插补帧的数量可以是固定的，例如两个、三个或四个，而不管情形如何。否则，插补帧的数量可由相邻帧之间总曝光中的最大差异设置。从而，如果帧与帧之间的亮度或总曝光中的改变无法相差超过x，并且收敛计划需要5x的总亮度改变，则将使用起始帧、结束帧和三个插补帧。在其他备选方案中，AEC可每一帧改变收敛计划，并且该计划仅在AEC分析由于一些原因而延迟时被不太频繁地更新。用于稳定AEC的调谐参数（其包括某些算法特定参数）也可影响收敛速度。存在许多其他示例。

一旦设置对于收敛计划的帧的数量，并且识别帧，过程700可继续进行“计算对于中间帧的总曝光”712使得为这些中间帧号时隙来计算以及设置插补的总曝光。

过程700然后可包括“用曝光时间和帧位置更新自动曝光收敛计划（ae_conv_plan）”712。从而，中间或插补的总曝光连同起始和最后目标总曝光一起设置到自动曝光收敛计划帧时隙内。就另一个备选方案而言，例如曝光时间、数字增益和模拟增益（增益本身可以是实际的或插补的）等计算的曝光参数相反可设置到收敛计划内，使得EmDA可以计算总曝光而不是由AE收敛计划提供总曝光。之后，AE曝光收敛计划（ae_conv_plan）发送到EmDA或变得对其可访问。

用于操作系统的示例伪代码可如下。

设置变量/参数：

设置计划emda收敛计划大小：

例如，

EmDA操作如下（为了强调，用下划线注释）

//主函数run_emda(…)。该函数在接收嵌入式数据后在ISP或其他适合的处理单元中每一帧被调用。

//从传感器。如果未接收新的计划，ae_conv_plan是NULL。

其中粗是从行期间方面的曝光，并且细是从像素期方面的额外曝光时间。

另外，图2-4和6-7的操作中的任一个或多个可响应于由一个或多个计算机程序产品提供的指令而进行。这样的程序产品可包括提供指令的信号承载媒体，这些指令在由例如处理器执行时可提供本文描述的功能性。计算机程序产品可在任何形式的机器可读介质中提供。从而，例如，包括一个或多个处理器核的处理器可响应于由一个或多个计算机或机器可读介质输送到处理器的程序代码和/或指令或指令集而进行本文的示例过程的操作中的一个或多个。一般，机器可读介质可采用程序代码和/或指令或指令集（其可促使装置和/或系统如本文描述的那样执行）的形式输送软件。机器或计算机可读介质可以是非暂时性物品或介质，例如非暂时性计算机可读介质，并且可与上文提到的示例或其他示例中的任何示例一起使用（只是它本身不包括暂时信号）。它确实包括除本身可以“暂时性”方式暂时保持数据的信号之外的那些元件，例如RAM等。

如在本文描述的任何实现中使用的，术语“模块”指配置成提供本文描述的功能性的软件逻辑和/或固件逻辑的任何组合。软件可体现为软件包、代码和/或指令集和/或存储由可编程电路执行的指令的固件。模块可共同或独自体现成实现为较大系统的部分，例如集成电路（IC）、片上系统（SoC）等。

如在本文描述的任何实现中使用的，术语“逻辑单元”指的是配置成提供本文描述的功能性的固件逻辑和/或硬件逻辑的任何组合。如在本文描述的任何实现中使用的，“硬件”可例如单独或采用任何组合地包括硬接线电路、可编程电路、状态机电路和/或存储由可编程电路执行的指令的固件。逻辑单元可共同或独自体现为电路，其形成较大系统（例如，集成电路（IC）、片上系统（SoC）等）的部分。例如，逻辑单元可包含在逻辑电路中用于本文论述的系统的固件或硬件的实现。此外，本领域内技术人员将意识到由硬件和/或固件执行的操作还可利用软件的一部分来实现逻辑单元的功能性。

如在本文描述的任何实现中使用的，术语“引擎”和/或“部件”可指模块或逻辑单元，如在上文描述的这些术语。因此，术语“引擎”和/或“部件”可指配置成提供本文描述的功能性的软件逻辑、固件逻辑和/或硬件逻辑的任何组合。例如，本领域内技术人员将意识到由硬件和/或固件执行的操作可备选地经由软件模块实现，该软件模块可体现为软件包、代码和/或指令集，并且还意识到逻辑单元还可利用软件的一部分来实现它的功能性。

参考图8，示例图像处理系统800根据本公开的至少一些实现来设置。在各种实现中，示例图像处理系统800可具有成像装置802来形成或接收捕捉的图像数据。这可以采用各种方式来实现。从而，在一个形式中，图像处理系统800可以是数字拍摄装置或其他图像捕捉装置，并且成像装置802在该情况下可以是拍摄装置硬件和拍摄装置传感器软件、模块或部件812。在其他示例中，成像处理系统800可具有成像装置802，其包括或可以是拍摄装置，并且逻辑模块804可与成像装置802远程通信或可用别的方式通信耦合于成像装置802用于图像数据的进一步处理。

在任一情况下，这样的技术可包括拍摄装置，例如数字拍摄装置系统、专用拍摄装置或成像电话（无论是静态图片还是视频拍摄装置还是两者的某种组合）。从而，在一个形式中，成像装置802可包括拍摄装置硬件和光学器件，其包括一个或多个传感器以及自动聚焦、变焦、光圈、ND滤波器、自动曝光、闪光和致动器控制。这些控制可以是传感器模块或部件806的部分，用于操作传感器。传感器部件812可以是成像装置802的部分，或可以是逻辑模块804的部分或两者。这样的传感器部件可以用于生成对于取景器的图像并且拍摄静态图片或视频。成像装置802还可具有透镜、带RGB Bayer滤色器的图像传感器、模拟放大器、A/D转换器、将入射光转换成数字信号的其他部件、类似物和/或其组合。数字信号在本文还可称为原始图像数据。

在不使用红-绿-蓝（RGB）深度拍摄装置和/或麦克风阵列来定位谁在说话的情况下，其他形式包括拍摄装置传感器型成像装置或类似物（例如，网络摄像头或网络摄像头传感器或其他互补金属-氧化物-半导体型图像传感器（CMOS））。除滚动快门和许多其他快门类型之外或代替滚动快门和许多其他快门类型，拍摄装置传感器还可支持其他类型的电子快门，例如全局快门，只要EmDA在图像数据之前可用即可。在其他示例中，除拍摄装置传感器之外或替代拍摄装置传感器，可使用RGB深度拍摄装置和/或麦克风阵列。在一些示例中，成像装置802可提供有眼睛跟踪拍摄装置。

在图示的示例中，逻辑模块804可包括自动白平衡控制814、自动聚焦（AF）模块816和自动曝光控制（AEC）模块818。嵌入式数据分析器808或834可作为逻辑模块的部分而提供和/或在处理器820（例如ISP 822）上。可相似地提供自动控制单元836或810。逻辑模块可通信地耦合于成像装置802以便接收本文描述的原始图像数据和嵌入式数据。

自动控制单元836提供3A统计信息，并且用于从嵌入式数据建立和更新AE收敛计划的AEC收敛计划部件837可视为自动控制单元836的部分。否则，AEC部件114可处理AE收敛计划的创建。

图像处理系统800可具有一个或多个处理器820，其可包括专用图像信号处理器（ISP）822，例如Intel Atom、存储器存储824、一个或多个显示器826、编码器828和天线830。在一个示例实现中，图像处理系统100可具有显示器826、通信地耦合于该显示器的至少一个处理器820、通信地耦合于该处理器并且就一个示例而言具有循环缓冲器838以用于存储EmDA收敛计划的至少一个存储器824。可提供编码器828和天线830来压缩修改的图像数据用于传送到可显示或存储图像的其他装置。将理解，图像处理系统800还可包括解码器（或编码器828），用于接收图像数据并且对其解码以供系统800处理。否则，处理的图像832可在显示器826上显示或存储在存储器824中。如图示的，这些部件中的任何部件可能够彼此通信和/或与逻辑模块804和/或成像装置802的部分通信。从而，处理器820可通信地耦合于图像装置802和逻辑模块804两者用于操作这些部件。就一个方法而言，尽管图像处理系统800（如在图8中示出的）可包括与特定部件或模块关联的一个特定集合的块或动作，这些块或动作可与这里图示的特定部件或模块不同的部件或模块关联。

参考图9，根据本公开的示例系统900操作本文描述的图像处理系统的一个或多个方面。将从下文描述的系统部件的本质理解到这样的部件可与上文描述的图像处理系统的某一部分或多个部分关联或用于操作该部分或多个部分。在各种实现中，系统900可以是媒体系统，但系统900不限于该上下文。例如，系统900可并入数字静止拍摄装置、数字视频拍摄装置、具有拍摄装置或视频功能的移动装置（例如成像电话）、网络摄像头、个人计算机（PC）、膝上型计算机、超级膝上型计算机、平板电脑、触摸板、便携式计算机、手持计算机、掌上型计算机、个人数字助理（PDA）、蜂窝电话、组合蜂窝电话/PDA、电视、智能装置（例如，智能电话、智能平板电脑或智能电视）、移动互联网装置（MID）、消息传递装置、数据通信装置等。

在各种实现中，系统900包括耦合于显示器920的平台902。平台902可接收来自例如内容服务装置930或内容交付装置940等内容装置或其他相似的内容源的内容。包括一个或多个导航特征的导航控制器950可用于与例如平台902和/或显示器920交互。这些部件中的每个在下文更详细描述。

在各种实现中，平台902可包括芯片集905、处理器910、存储器912、存储914、图形子系统915、应用916和/或无线电设备918的任何组合。芯片集905可在处理器910、存储器912、存储914、图形子系统915、应用916和/或无线电设备918之间提供互相通信。例如，芯片集905可包括存储适配器（未描绘），其能够提供与存储914的互相通信。

处理器910可实现为复杂指令集计算机（CISC）或精简指令集计算机（RISC）处理器；x86指令集兼容处理器、多核或任何其他微处理器或中央处理单元（CPU）。在各种实现中，处理器910可以是双核处理器、双核移动处理器，等。

存储器912可实现为易失性存储器装置，例如但不限于随机存取存储器（RAM）、动态随机存取存储器（DRAM）或静态RAM（SRAM）。

存储914可实现为非易失性存储装置，例如但不限于磁盘驱动器、光盘驱动器、带驱动器、内部存储装置、附连存储装置、闪存存储器、电池备份SDRAM（同步DRAM）和/或网络可访问存储装置。在各种实现，例如，存储914可包括用于在包括多个硬驱动器时提高对有价值数字媒体的存储性能增强保护的技术。

图形子系统915可执行例如用于显示的静态或视频等图像的处理。例如，图形子系统915可以是图形处理单元（GPU）或视觉处理单元（VPU）。模拟或数字接口可用于通信地耦合图形子系统915和显示器920。例如，接口可以是高清晰度多媒体接口、显示端口、无线HDMI和/或无线HD兼容技术中的任一个。图形子系统915可集成到处理器910或芯片集905内。在一些实现中，图形子系统915可以是通信地耦合于芯片集905的独立卡。

本文描述的图形和/或视频处理技术可在各种硬件架构中实现。例如，图形和/或视频功能性可集成在芯片集内。备选地，可使用分立图形和/或视频处理器。作为再另一个实现，图形和/或视频功能可由通用处理器（其包括多核处理器）提供。在另外的实施例中，功能可在消费者电子装置中实现。

无线电设备918可包括能够使用各种适合的无线通信技术来传送和接收信号的一个或多个无线电设备。这样的技术可牵涉跨一个或多个无线网络的通信。示例无线网络包括（但不限于）无线局域网（WLAN）、无线个人区域网（WPAN）、无线城域网（WMAN）、蜂窝网络和卫星网络。在跨这样的网络的通信中，无线电设备918可根据采用任何版本的一个或多个能适用的标准来操作。

在各种实现中，显示器920可包括任何电视类型的监视器或显示器。显示器920可包括例如计算机显示屏、触摸屏显示器、视频监视器、像电视的装置和/或电视。显示器920可以是数字和/或模拟的。在各种实现中，显示器920可以是全息显示器。显示器920还可以是可接收视觉投影的透明表面。这样的投影可输送各种形式的信息、图像和/或对象。例如，这样的投影可以是对于移动增强现实（MAR）应用的视觉覆盖。在一个或多个软件应用916的控制下，平台902可在显示器920上显示用户界面922。

在各种实现中，例如，内容服务装置930可被任何国家、国际和/或独立服务所托管并且从而经由互联网而可被平台902访问。内容服务装置930可耦合于平台902和/或显示器920。平台902和/或内容服务装置930可耦合于网络960来将媒体信息传达（例如，发送和/或接收）到网络960和从网络960传达（例如，发送和/或接收）。内容交付装置940还可耦合于平台902和/或显示器920。

在各种实现中，内容服务装置930可包括电缆电视盒、个人计算机、网络、电话、支持互联网的装置或能够交付数字信息和/或内容的用具以及能够经由网络960或直接在内容提供商与平台902和/或显示器920之间单向或双向传达内容的任何其他相似装置。将意识到内容可经由网络960单向和/或双向传达到系统900中的部件中的任一个和内容提供商和从系统900中的部件中的任一个和内容提供商传达。内容的示例可包括任何媒体信息，其包括例如视频、音乐、医疗和游戏信息，等。

内容服务装置930可接收例如电缆电视编程（其包括媒体信息、数字信息）等内容，和/或其他内容。内容提供商的示例可包括任何电缆或卫星电视或无线电或互联网内容提供商。提供的示例不意在以任何方式限制根据本公开的实现。

在各种实现中，平台902可从具有一个或多个导航特征的导航控制器950接收控制信号。控制器950的导航特征可用于与例如用户界面922交互。在实施例中，导航控制器950可以是指向装置，其可以是允许用户将空间（例如，连续和多维）数据输入计算机内的计算机硬件部件（具体地，人机接口装置）。例如图形用户界面（GUI）以及电视和监视器等许多系统允许用户使用物理手势来控制并且提供数据给计算机或电视。

控制器950的导航特征的移动可通过移动指针、光标、聚焦环或在显示器上显示的其他视觉指示器而在显示器（例如，显示器920）上再现。例如，在软件应用916的控制下，定位在导航控制器950上的导航特征可映射到例如在用户界面922上显示的虚拟导航特征。在实施例中，控制器950可不是独立部件而可集成到平台902和/或显示器920内。然而，本公开不限于本文示出或描述的元件或在本文示出或描述的上下文中受限制。

在各种实现中，例如，驱动器（未示出）可包括在被启用时使用户能够在初始启动后利用触碰按钮而即刻开启和关闭平台902（像电视）的技术。甚至在 “关闭”平台时，程序逻辑可允许平台902将内容流播到媒体适配器或其他内容服务装置930或内容交付装置940。另外，芯片集905可包括例如对8.1环绕声音频和/或高清晰度7.1环绕声音频的硬件和/或软件支持。驱动器可包括对于集成图形平台的图形驱动器。在实施例中，图形驱动器可包括外围部件互连（PCI）Express图形卡。

在各种实现中，在系统900中示出的部件中的任何一个或多个可集成。例如，平台902和内容服务装置930可集成，或例如平台902和内容交付装置940可集成，或平台902、内容服务装置930和内容交付装置940可集成。在各种实施例中，平台902和显示器920可以是集成单元。例如，显示器920和内容服务装置930可集成，或显示器920和内容交付装置940可集成。这些示例不意在限制本发明。

在各种实施例中，系统900可实现为无线系统、有线系统或两者的组合。在实现为无线系统时，系统900可包括适合用于通过无线共享媒体（例如一个或多个天线、发射器、接收器、收发器、放大器、滤波器、控制逻辑，等）而通信的部件和接口。无线共享媒体的示例可包括例如RF频谱等无线频谱的部分。当实现为有线系统时，系统900可包括适合用于通过例如输入/输出（I/O）适配器、用于连接I/O适配器与对应的有线通信介质的物理连接器、网络接口卡（NIC）、盘控制器、视频控制器、音频控制器及类似物等有线通信介质而通信的部件和接口。有线通信介质的示例可包括导线、电缆、金属引线、印刷电路板（PCB）、底板、交换结构、半导体材料、双绞线、同轴电缆、光纤等。

平台902可建立一个或多个逻辑或物理通道来传达信息。该信息可包括媒体信息和控制信息。媒体信息可指的是代表针对用户的内容的任何数据。内容的示例可包括例如来自语音会话的数据、视频会议、流播视频、电子邮件（“email”）消息、语音邮件消息、字母数字符号、图形、图像、视频、文本等。来自语音会话的数据可以是例如话语信息、静默期、背景噪声、舒适噪声、音调等。控制信息可指代表针对自动化系统的命令、指令或控制字的任何数据。例如，控制信息可用于通过系统路由媒体信息，或指示节点以预定的方式处理媒体信息。然而，实现不限于在图9中示出或描述的元件或在图9中示出或描述的上下文中不受限制。

参考图9，小形状因子装置1000是系统900可以体现在其中的变化的物理风格或形状因子的一个示例。就该方法而言，装置1000可实现为具有无线能力的移动计算装置。移动计算装置可指具有处理系统和移动电力源或供应（例如一个或多个电池）的任何装置。

如上文描述的，移动计算装置的示例可包括数字静物拍摄装置、数字视频拍摄装置、具有拍摄装置或视频功能的移动装置（例如成像电话）、网络摄像头、个人计算机（PC）、膝上型计算机、超级膝上型计算机、平板电脑、触摸板电脑、便携式计算机、手持计算机、掌上型计算机、个人数字助理（PDA）、蜂窝电话、组合蜂窝电话/PDA、电视、智能装置（例如，智能电话、智能平板电脑或智能电视）、移动互联网装置（MID）、消息传递装置、数据通信装置，等。

移动计算装置的示例还可包括设置成由人佩戴的计算机，例如手腕计算机、手指计算机、环型计算机、眼镜计算机、皮带夹计算机、臂带计算机、鞋式计算机、衣服计算机和其他可佩戴计算机。在各种实施例中，例如，移动计算装置可实现为能够执行计算机应用以及语音通信和/或数据通信的智能电话。尽管一些实施例可用通过示例实现为智能电话的移动计算装置来描述，可意识到其他实施例也可使用其他无线移动计算装置来实现。实施例在该上下文中不受限制。

如在图10中示出的，装置1000可包括外壳1002、显示器1004（其包括屏幕1010）、输入/输出（I/O）装置1006和天线1008。装置1000还可包括导航特征1012。显示器1004可包括任何适合的显示单元，用于显示适合于移动计算装置的信息。I/O装置1006可包括任何适合的I/O装置，用于将信息输入移动计算装置内。对于I/O装置1006的示例可包括字母数字键盘、数字小键盘、触摸板、输入键、按钮、开关、翘板开关、麦克风、扬声器、语音识别装置和软件，等。信息还可通过麦克风（未示出）输入装置1000内。这样的信息可通过语音识别装置（未示出）而数字化。实施例在该上下文中不受限制。

本文描述的各种形式的装置以及过程可使用硬件元件、软件元件或两者的组合来实现。硬件元件的示例可包括处理器、微处理器、电路、电路元件（例如，晶体管、电阻器、电容器、电感器，等）、集成电路、专用集成电路（ASIC）、可编程逻辑装置（PLD）、数字信号处理器（DSP）、现场可编程门阵列（FPGA）、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片集等。软件的示例可包括软件部件、程序、应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、函数、方法、规程、软件接口、应用程序接口（API）、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号或其任何组合。确定实施例是否使用硬件元件和/或软件元件实现可根据许多因素而改变，例如期望的计算速率、功率水平、耐热性、处理周期预算、输入数据速率、输出数据速率、存储器资源、数据总线速度和其它设计或性能约束。

至少一个实施例的一个或多个方面可由存储在机器可读介质上的代表性指令来实现，该代表性指令代表处理器内的各种逻辑，其在被机器读取时促使机器制造逻辑来执行本文描述的技术。这样的表示（称为“IP核”）可存储在有形的机器可读介质上并且供应给各种客户或制造设施来装入实际上制作逻辑或处理器的制造机器内。

尽管本文阐述的某些特征已参考各种实现描述，该描述不意在在限制的意义上解释。因此，本文描述的实现以及其他实现的对于本公开与之有关的领域内技术人员是明显的各种修改被认为位于本公开的精神和范围内。

下列示例关于另外的实现。

就一个示例而言，自动曝光控制的计算机实现的方法包括：接收嵌入式曝光参数数据，其用于捕捉对于多个帧的图像数据并且嵌入具有图像数据的数据流中；和获得多个目标曝光参数值的收敛计划数据，从而形成曝光收敛计划的至少一部分，其中该收敛计划数据提供数据以沿帧序列形成目标亮度变化。该方法还可包括确定通过使用对于帧序列的帧的嵌入式曝光参数数据和曝光收敛计划的对应目标曝光参数两者而计算的附加数字增益，并且为图像处理提供该附加数字增益来显示、存储帧序列的帧和/或对其编码。

就另一个实现而言，方法包括在与用于向捕捉帧序列的拍摄装置传感器提供曝光参数的延迟定时不同的定时处为图像处理提供附加数字增益。嵌入式曝光参数数据用于计算对于帧的实际总曝光，并且目标曝光参数是目标总曝光。就一个形式而言，曝光收敛计划是第二曝光收敛计划，方法包括生成第一曝光收敛计划以沿帧序列提供亮度中的平滑改变，其中第一曝光收敛计划包括目标曝光参数或目标总曝光或两者。方法还包括用来自第一曝光收敛计划的新目标曝光参数或新目标总曝光来更新第二曝光收敛计划，并且使用第二收敛计划来计算附加数字增益。第一曝光收敛计划包括通过计算对于沿序列彼此间隔开的两个帧的总曝光并且在这两个帧之间插补对于帧的总曝光而产生的曝光数据。

对于该方法，嵌入式曝光参数数据包括以下中的至少一个：曝光时间、实际数字增益、模拟增益和以上全部三个参数，其中至少一个嵌入式曝光参数放置在数据流的起始字段或结束字段部分中并且从拍摄装置传感器接收，并且其中附加数字增益是通过使来自收敛计划的目标总曝光除以从嵌入式数据得到的总曝光而得到的倍数。对每个帧提供附加数字增益，并且附加数字增益等于在目标总曝光小于从嵌入式数据得到的对应总曝光时的最小极限值，并且其中在一个示例中，该最小极限值等于1.0。方法还包括提供曝光数据以有意促使嵌入式数据提供导致或将导致对于帧的曝光不足的总曝光。

就再另一个实现而言，用于具有自动曝光控制的图像处理的系统包括显示器、通信地耦合于该显示器的至少一个处理器、通信地耦合于至少一个处理器的至少一个存储器和通信地耦合于处理器的嵌入式曝光数据分析器。该嵌入式曝光数据分析器可配置成：接收嵌入式曝光参数数据，其用于捕捉对于多个帧的图像数据并且嵌入具有图像数据的数据流中；获得多个目标曝光参数值的收敛计划数据，从而形成曝光收敛计划的至少一部分，其中该收敛计划数据提供数据以沿帧序列形成目标亮度变化；确定通过使用对于帧序列的帧的嵌入式曝光参数数据和曝光收敛计划的对应目标曝光参数两者而计算的附加数字增益；以及为图像处理提供该附加数字增益来显示、存储帧序列的帧和/或对其编码。

就另一个示例而言，嵌入式曝光数据分析器配置成在与用于向捕捉帧序列的拍摄装置传感器提供曝光参数的延迟定时不同的定时处为图像处理提供附加数字增益。嵌入式曝光参数数据用于计算对于帧的实际总曝光，并且目标曝光参数是目标总曝光。曝光收敛计划是第二曝光收敛计划，系统包括第一曝光收敛计划以沿帧序列提供亮度中的平滑改变，其中该第一曝光收敛计划包括曝光参数或总曝光或两者，并且其中第二曝光收敛计划用来自第一曝光收敛计划的新曝光参数或新的总曝光来更新并且用于计算附加数字增益。第一曝光收敛计划包括通过计算对于沿序列彼此间隔开的两个帧的总曝光并且在这两个帧之间插补对于帧的总曝光而产生的曝光数据。

就另外的示例而言，嵌入式曝光参数数据包括以下中的至少一个：曝光时间、实际数字增益、模拟增益和以上全部三个参数，其中至少一个嵌入式曝光参数放置在数据流的起始字段或结束字段部分中并且从拍摄装置传感器接收。而且，附加数字增益是通过使目标总曝光除以从嵌入式数据得到的总曝光而得到的倍数，其中两个总曝光对应于相同的帧，其中对每个帧提供附加数字增益，并且其中附加数字增益等于在目标总曝光小于从嵌入式数据得到的对应总曝光时的最小极限值，并且其中在一个示例中，该最小极限值等于1.0。嵌入式数据还包括曝光数据以有意提供导致或将导致对于帧的曝光不足的总曝光。

就一个方法而言，具有可读介质的物品包括多个指令，其响应于在计算装置上执行而促使该计算装置：接收嵌入式曝光参数数据，其用于捕捉对于多个帧的图像数据并且嵌入具有图像数据的数据流中；和获得多个目标曝光参数值的收敛计划数据，从而形成曝光收敛计划的至少一部分，其中该收敛计划数据提供数据以沿帧序列形成目标亮度变化。这还可包括确定通过使用对于帧序列的帧的嵌入式曝光参数数据和曝光收敛计划的对应目标曝光参数两者而计算的附加数字增益，并且为图像处理提供该附加数字增益来显示、存储帧序列的帧和/或对其编码。

就另一个方法而言，指令促使计算装置在与用于向捕捉帧序列的拍摄装置传感器提供曝光参数的延迟定时不同的定时处为图像处理提供附加数字增益。嵌入式曝光参数数据用于计算对于帧的实际总曝光，并且目标曝光参数是目标总曝光。就一个形式而言，曝光收敛计划是第二曝光收敛计划，计算装置生成第一曝光收敛计划以沿帧序列提供亮度中的平滑改变，其中该第一曝光收敛计划包括目标曝光参数或目标总曝光或两者。计算装置还用来自第一曝光收敛计划的新目标曝光参数或新目标总曝光来更新第二曝光收敛计划，并且使用第二收敛计划来计算附加数字增益。第一曝光收敛计划包括通过计算对于沿序列彼此间隔开的两个帧的总曝光并且在这两个帧之间插补对于帧的总曝光而产生的曝光数据。

对于该物品，嵌入式曝光参数数据包括以下中的至少一个：曝光时间、实际数字增益、模拟增益和以上全部三个参数，其中至少一个嵌入式曝光参数放置在数据流的起始字段或结束字段部分中并且从拍摄装置传感器接收，并且其中附加数字增益是通过使来自收敛计划的目标总曝光除以从嵌入式数据得到的总曝光而得到的倍数。对每个帧提供附加数字增益，并且附加数字增益等于在目标总曝光小于从嵌入式数据得到的对应总曝光时的最小极限值，并且其中在一个示例中，该最小极限值等于1.0。计算装置还提供曝光数据以有意促使该嵌入式数据提供导致或将导致对于帧的曝光不足的总曝光。

在另外的示例中，至少一个机器可读介质可包括多个指令，其响应于在计算装置上执行而促使该计算装置执行根据上文的示例中的任何一个的方法。

在再另外的示例中，设备可包括用于执行根据上文的示例中的任何一个的方法的部件。

上文的示例可包括特征的特定组合。然而，上文的示例在该方面不受限制并且在各种实现中，上文的示例可包括进行仅这样的特征的子集、进行不同顺序的这样的特征、进行这样的特征的不同组合和/或进行除明确列出的那些特征以外的额外特征。例如，关于本文的任何示例方法描述的所有特征可关于任何示例设备、示例系统和/或示例物品实现，并且反之亦然。

Claims (36)

1.一种自动曝光控制的计算机实现的方法，其包括：

接收嵌入式曝光参数数据，其用于捕捉对于多个帧的图像数据并且嵌入具有图像数据的数据流中；

获得多个目标曝光参数值的收敛计划数据，从而形成曝光收敛计划的至少一部分，其中所述收敛计划数据提供数据以沿帧序列形成目标亮度变化；

确定通过使用对于所述帧序列的帧的嵌入式曝光参数数据和所述曝光收敛计划的对应目标曝光参数两者而计算的附加数字增益；以及

为图像处理提供所述附加数字增益来显示、存储所述帧序列的帧和/或对所述帧序列的帧编码。

2.如权利要求1所述的方法，其包括：

在与用于向捕捉帧序列的拍摄装置传感器提供曝光参数的延迟定时不同的定时处为图像处理提供所述附加数字增益。

3.如权利要求1所述的方法，其中所述嵌入式曝光参数数据用于计算对于所述帧的实际总曝光，并且所述目标曝光参数是目标总曝光。

4.如权利要求1所述的方法，其中所述曝光收敛计划是第二曝光收敛计划，所述方法包括：

生成第一曝光收敛计划以沿帧序列提供亮度中的平滑改变，其中所述第一曝光收敛计划包括目标曝光参数或目标总曝光或两者；

用来自所述第一曝光收敛计划的新目标曝光参数或新目标总曝光来更新所述第二曝光收敛计划；以及

使用所述第二曝光收敛计划来计算所述附加数字增益。

5.如权利要求4所述的方法，其中所述第一曝光收敛计划包括通过计算对于沿所述序列彼此间隔开的两个帧的总曝光并且在所述两个帧之间插补对于帧的总曝光而产生的曝光数据。

6.如权利要求1所述的方法，其中所述嵌入式曝光参数数据包括以下中的至少一个：

曝光时间，

实际数字增益，

模拟增益，以及

以上全部三个参数。

7.如权利要求1所述的方法，其中所述至少一个嵌入式曝光参数放置在所述数据流的起始字段或结束字段部分中并且从拍摄装置传感器接收。

8.如权利要求1所述的方法，其中所述附加数字增益是通过使来自所述收敛计划的目标总曝光除以从所述嵌入式数据得到的总曝光而得到的倍数。

9.如权利要求1-8中任一项所述的方法，其中对每个帧提供所述附加数字增益，并且其中所述附加数字增益等于在所述目标总曝光小于从所述嵌入式数据得到的对应总曝光时的最小极限值。

10.如权利要求1-8中的任一项所述的方法，其包括提供曝光数据以有意促使所述嵌入式数据提供导致或将导致对于帧的曝光不足的总曝光。

11.如权利要求1所述的方法，其包括：

在与用于向捕捉帧序列的拍摄装置传感器提供曝光参数的延迟定时不同的定时处为图像处理提供所述附加数字增益；

其中所述嵌入式曝光参数数据用于计算对于所述帧的实际总曝光，并且所述目标曝光参数是目标总曝光；

其中所述曝光收敛计划是第二曝光收敛计划，所述方法包括：

生成第一曝光收敛计划以沿帧序列提供亮度中的平滑改变，其中所述第一曝光收敛计划包括目标曝光参数或目标总曝光或两者，

用来自所述第一曝光收敛计划的新目标曝光参数或新目标总曝光来更新所述第二曝光收敛计划；以及

使用所述第二曝光收敛计划来计算所述附加数字增益，

其中所述第一曝光收敛计划包括通过计算对于沿所述序列彼此间隔开的两个帧的总曝光并且在所述两个帧之间插补对于帧的总曝光而产生的曝光数据；

其中所述嵌入式曝光参数数据包括以下中的至少一个：

曝光时间，

实际数字增益，

模拟增益，以及

以上全部三个参数；

其中所述至少一个嵌入式曝光参数放置在所述数据流的起始字段或结束字段部分中并且从拍摄装置传感器接收；

其中所述附加数字增益是通过使来自所述收敛计划的目标总曝光除以从所述嵌入式数据得到的总曝光而得到的倍数；

其中对每个帧提供所述附加数字增益，并且其中所述附加数字增益等于在所述目标总曝光小于从所述嵌入式数据得到的对应总曝光时的最小极限值，并且其中所述最小极限值等于1.0；以及

所述方法包括提供曝光数据以有意促使所述嵌入式数据提供导致或将导致对于帧的曝光不足的总曝光。

12.一种用于具有自动曝光控制的图像处理的系统，其包括：

显示器；

至少一个处理器，其通信地耦合于所述显示器；

至少一个存储器，其通信地耦合于至少一个处理器；以及

嵌入式曝光数据分析器，其通信地耦合于所述处理器并且配置成：

接收嵌入式曝光参数数据，其用于捕捉对于多个帧的图像数据并且嵌入具有图像数据的数据流中；

获得多个目标曝光参数值的收敛计划数据，从而形成曝光收敛计划的至少一部分，其中所述收敛计划数据提供数据以沿帧序列形成目标亮度变化；

确定通过使用对于所述帧序列的帧的嵌入式曝光参数数据和所述曝光收敛计划的对应目标曝光参数两者而计算的附加数字增益；以及

为图像处理提供所述附加数字增益来显示、存储所述帧序列的帧和/或对所述帧序列的帧编码。

13.如权利要求12所述的系统，其中所述嵌入式曝光数据分析器配置成在与用于向捕捉帧序列的拍摄装置传感器提供曝光参数的延迟定时不同的定时处为图像处理提供所述附加数字增益。

14.如权利要求12所述的系统，其中所述嵌入式曝光参数数据用于计算对于所述帧的实际总曝光，并且所述目标曝光参数是目标总曝光时间。

15.如权利要求12所述的系统，其中所述曝光收敛计划是第二曝光收敛计划，所述系统包括：

第一曝光收敛计划，用于沿帧序列提供亮度中的平滑改变，其中所述第一曝光收敛计划包括曝光参数或总曝光或两者，并且

其中所述第二曝光收敛计划用来自所述第一曝光收敛计划的新曝光参数或新的总曝光来更新并且用于计算所述附加数字增益。

16.如权利要求15所述的系统，其中所述第一曝光收敛计划包括通过计算对于沿所述序列彼此间隔开的两个帧的总曝光并且在所述两个帧之间插补对于帧的总曝光而产生的曝光数据。

17.如权利要求12所述的系统，其中所述嵌入式曝光参数数据包括以下中的至少一个：

曝光时间，

实际数字增益，

模拟增益，以及

以上全部三个参数。

18.如权利要求12所述的系统，其中所述至少一个嵌入式曝光参数放置在所述数据流的起始字段或结束字段部分中并且从拍摄装置传感器接收。

19.如权利要求12-18中任一项所述的系统，其中所述附加数字增益是通过使目标总曝光除以从所述嵌入式数据得到的总曝光而得到的倍数，其中该两个总曝光对应于相同的帧。

20.如权利要求12-18中任一项所述的系统，其中对每个帧提供所述附加数字增益，并且其中所述附加数字增益等于在所述目标总曝光小于从所述嵌入式数据得到的对应总曝光时的最小极限值。

21.如权利要求12-18中任一项所述的系统，其中所述嵌入式数据包括曝光数据以有意提供导致或将导致对于帧的曝光不足的总曝光。

22.如权利要求20所述的系统，其中所述最小极限值等于1.0。

23.如权利要求12所述的系统，其包括：

其中所述嵌入式曝光数据分析器配置成在与用于向捕捉帧序列的拍摄装置传感器提供曝光参数的延迟定时不同的定时处为图像处理提供所述附加数字增益；

其中所述嵌入式曝光参数数据用于计算对于所述帧的实际总曝光，并且所述目标曝光参数是目标总曝光时间；

其中所述曝光收敛计划是第二曝光收敛计划，所述系统包括：

第一曝光收敛计划，用于沿帧序列提供亮度中的平滑改变，其中所述第一曝光收敛计划包括曝光参数或总曝光或两者，并且

其中所述第二曝光收敛计划用来自所述第一曝光收敛计划的新曝光参数或新的总曝光来更新并且用于计算所述附加数字增益，

其中所述第一曝光收敛计划包括通过计算对于沿所述序列彼此间隔开的两个帧的总曝光并且在所述两个帧之间插补对于帧的总曝光而产生的曝光数据；

其中所述嵌入式曝光参数数据包括以下中的至少一个：

曝光时间，

实际数字增益，

模拟增益，以及

以上全部三个参数；

其中所述至少一个嵌入式曝光参数放置在所述数据流的起始字段或结束字段部分中并且从拍摄装置传感器接收；

其中所述附加数字增益是通过使目标总曝光除以从所述嵌入式数据得到的总曝光而得到的倍数，其中该两个总曝光对应于相同的帧；

其中对每个帧提供所述附加数字增益，并且其中所述附加数字增益等于在所述目标总曝光小于从所述嵌入式数据得到的对应总曝光时的最小极限值，并且其中所述最小极限值等于1.0；并且

其中所述嵌入式数据包括曝光数据以有意提供导致或将导致对于帧的曝光不足的总曝光。

24.至少一个机器可读介质，其包括多个指令，所述指令响应于在计算装置上执行而促使所述计算装置执行如权利要求1-11中任一项所述的方法。

25.一种自动曝光控制的设备，其包括用于执行如权利要求1-11中任一项所述的方法的部件。

26.一种自动曝光控制的计算机实现的装置，其包括：

用于接收嵌入式曝光参数数据的部件，所述嵌入式曝光参数数据用于捕捉对于多个帧的图像数据并且嵌入具有图像数据的数据流中；

用于获得多个目标曝光参数值的收敛计划数据从而形成曝光收敛计划的至少一部分的部件，其中所述收敛计划数据提供数据以沿帧序列形成目标亮度变化；

用于确定通过使用对于所述帧序列的帧的嵌入式曝光参数数据和所述曝光收敛计划的对应目标曝光参数两者而计算的附加数字增益的部件；以及

用于为图像处理提供所述附加数字增益来显示、存储所述帧序列的帧和/或对所述帧序列的帧编码的部件。

27.如权利要求26所述的装置，其包括：

用于在与用于向捕捉帧序列的拍摄装置传感器提供曝光参数的延迟定时不同的定时处为图像处理提供所述附加数字增益的部件。

28.如权利要求26所述的装置，其中所述嵌入式曝光参数数据用于计算对于所述帧的实际总曝光，并且所述目标曝光参数是目标总曝光。

29.如权利要求26所述的装置，其中所述曝光收敛计划是第二曝光收敛计划，所述装置包括：

用于生成第一曝光收敛计划以沿帧序列提供亮度中的平滑改变的部件，其中所述第一曝光收敛计划包括目标曝光参数或目标总曝光或两者；

用于用来自所述第一曝光收敛计划的新目标曝光参数或新目标总曝光来更新所述第二曝光收敛计划的部件；以及

用于使用所述第二曝光收敛计划来计算所述附加数字增益的部件。

30.如权利要求29所述的装置，其中所述第一曝光收敛计划包括通过计算对于沿所述序列彼此间隔开的两个帧的总曝光并且在所述两个帧之间插补对于帧的总曝光而产生的曝光数据。

31.如权利要求26所述的装置，其中所述嵌入式曝光参数数据包括以下中的至少一个：

曝光时间，

实际数字增益，

模拟增益，以及

以上全部三个参数。

32.如权利要求26所述的装置，其中所述至少一个嵌入式曝光参数放置在所述数据流的起始字段或结束字段部分中并且从拍摄装置传感器接收。

33.如权利要求26所述的装置，其中所述附加数字增益是通过使来自所述收敛计划的目标总曝光除以从所述嵌入式数据得到的总曝光而得到的倍数。

34.如权利要求26-33中任一项所述的装置，其中对每个帧提供所述附加数字增益，并且其中所述附加数字增益等于在所述目标总曝光小于从所述嵌入式数据得到的对应总曝光时的最小极限值。

35.如权利要求26-33中的任一项所述的装置，其包括用于提供曝光数据以有意促使所述嵌入式数据提供导致或将导致对于帧的曝光不足的总曝光的部件。

36.如权利要求26所述的装置，其包括：

用于在与用于向捕捉帧序列的拍摄装置传感器提供曝光参数的延迟定时不同的定时处为图像处理提供所述附加数字增益的部件；

其中所述嵌入式曝光参数数据用于计算对于所述帧的实际总曝光，并且所述目标曝光参数是目标总曝光；

其中所述曝光收敛计划是第二曝光收敛计划，所述装置包括：

用于生成第一曝光收敛计划以沿帧序列提供亮度中的平滑改变的部件，其中所述第一曝光收敛计划包括目标曝光参数或目标总曝光或两者，

用于用来自所述第一曝光收敛计划的新目标曝光参数或新目标总曝光来更新所述第二曝光收敛计划的部件；以及

用于使用所述第二曝光收敛计划来计算所述附加数字增益的部件，

其中所述第一曝光收敛计划包括通过计算对于沿所述序列彼此间隔开的两个帧的总曝光并且在所述两个帧之间插补对于帧的总曝光而产生的曝光数据；

其中所述嵌入式曝光参数数据包括以下中的至少一个：

曝光时间，

实际数字增益，

模拟增益，以及

以上全部三个参数；

其中所述至少一个嵌入式曝光参数放置在所述数据流的起始字段或结束字段部分中并且从拍摄装置传感器接收；

其中所述附加数字增益是通过使来自所述收敛计划的目标总曝光除以从所述嵌入式数据得到的总曝光而得到的倍数；

其中对每个帧提供所述附加数字增益，并且其中所述附加数字增益等于在所述目标总曝光小于从所述嵌入式数据得到的对应总曝光时的最小极限值，并且其中所述最小极限值等于1.0；以及

所述装置包括用于提供曝光数据以有意促使所述嵌入式数据提供导致或将导致对于帧的曝光不足的总曝光的部件。