CN109417605A - 用于计算机视觉及成像系统的低复杂度自动曝光控制 - Google Patents

用于计算机视觉及成像系统的低复杂度自动曝光控制 Download PDF

Info

Publication number
CN109417605A
CN109417605A CN201780039158.1A CN201780039158A CN109417605A CN 109417605 A CN109417605 A CN 109417605A CN 201780039158 A CN201780039158 A CN 201780039158A CN 109417605 A CN109417605 A CN 109417605A
Authority
CN
China
Prior art keywords
feature
value
digital picture
aec
feature set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780039158.1A
Other languages
English (en)
Other versions
CN109417605B (zh
Inventor
维克托·詹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN109417605A publication Critical patent/CN109417605A/zh
Application granted granted Critical
Publication of CN109417605B publication Critical patent/CN109417605B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]

Abstract

本发明揭示用于执行自动曝光控制AEC的方法、设备、计算机可读媒体及系统。在一个实施例中，在将第一值集应用于一或多个曝光控制参数的同时捕获第一数字图像。使用来自所述第一数字图像的图像数据执行至少一个计算机视觉CV操作，因此从可能CV特征集生成第一CV特征集。获得掩模，其包括用于所述可能CV特征集中的每一特征的值。使用所述掩模，获得从所述第一数字图像提取的所述第一CV特征集中的相关CV特征的第一丰度度量。基于相关CV特征的所述第一丰度度量，生成经更新值集以应用于用于捕获场景的后续数字图像的所述一或多个曝光控制参数。

Description

用于计算机视觉及成像系统的低复杂度自动曝光控制
背景技术
本发明的方面涉及自动曝光控制。对于产生可用信号的图像传感器，传感器必须调整其增益及曝光参数，使得输出信号位于传感器的动态范围内。过曝光导致动态范围高端处的像素过饱和。图1A说明过曝光图像的实例。图1B为与图1A中所展示的过曝光图像相关联的亮度直方图。相比之下，曝光不足会导致动态范围低端处的像素饱和度不足。图2A说明曝光不足图像的实例。图2B为与图2A中所展示的曝光不足图像相关联的亮度直方图。在过曝光及曝光不足的情况下，所得图像的动态范围会缩小。因此，为了始终产生具有最宽动态范围的图像，期望传感器具有自动调节其曝光设置的控制系统，使得避免过曝光或曝光不足。此控制算法通常称作为自动曝光控制或AEC。现有的AEC技术主要依赖于图像的像素亮度分布的平衡。没有更多，现有的AEC技术有很大的限制性。
发明内容
呈现用于执行自动曝光控制(AEC)的各种实施例。根据用于执行基于计算机视觉的自动曝光控制(CV AEC)的一个实施例，在将第一值集应用于一或多个曝光控制参数的同时使用图像传感器捕获场景的第一数字图像。使用来自第一数字图像的图像数据执行至少一个计算机视觉(CV)操作，因此生成从第一数字图像提取的第一CV特征集，其中第一CV特征集来自可能的CV特征集。获得掩模，其包括用于所述可能的CV特征集中的每一特征的值。使用所述掩模，获得从所述第一数字图像提取的所述第一CV特征集中的相关CV特征的第一丰度度量。基于相关CV特征的第一丰度度量，生成经更新值集以应用于用于捕获场景的后续数字图像的一或多个曝光控制参数。
根据用于执行CV AEC的另一实施例，执行进一步步骤。在将第二值集应用于一或多个曝光控制参数的同时使用图像传感器捕获场景的第二数字图像。在将第三值集应用于一或多个曝光控制参数的同时使用图像传感器捕获场景的第三数字图像。第一值集可对应于标称曝光水平，第二值集对应于大于标称水平的曝光水平，且第三值集对应于小于标称水平的曝光水平。使用来自第二数字图像的图像数据执行至少一个CV操作，因此生成从第二数字图像提取的第二CV特征集，其中第二CV特征集也来自可能的CV特征集。使用掩模，获得从第二数字图像提取第二CV特征集中的相关CV的第二丰度度量。使用来自第三数字图像的图像数据执行至少一个CV操作，因此生成从第三数字图像提取的第三CV特征集，其中第三CV特征集也来自可能的CV特征集。使用掩模，获得从第三数字图像提取第三CV特征集中的相关CV特征的第三丰度度量。生成经更新值集可包括：(a)比较相关CV特征的第一丰度度量、相关CV特征的第二丰度度量，以及相关CV特征的第三丰度度量，以确定相关CV特征的最大丰度度量；(b)选择第一值集、第二值集或第三值集中对应于相关CV特征的最大丰度度量的一个值集，其对应于的相关CV特征的最大丰度度量作为经更新值集。
根据用于执行组合的CV AEC及基于非计算机视觉的自动曝光控制(非CV AEC)的一个实施例。在CV AEC循环中，在将第一值集应用于一或多个曝光控制参数的同时使用图像传感器捕获场景的第一数字图像。使用来自第一数字图像的图像数据执行至少一个计算机视觉(CV)操作，因此生成从第一数字图像提取的第一CV特征集，其中第一CV特征集来自可能的CV特征集。获得掩模，其包括用于所述可能的CV特征集中的每一特征的值。使用所述掩模，获得从所述第一数字图像提取的所述第一CV特征集中的相关CV特征的第一丰度度量。基于相关CV特征的所述第一丰度度量，生成经更新值集以应用于用于捕获所述场景的后续数字图像的所述一或多个曝光控制参数。
在非CV AEC循环中，在将非CV AEC值集应用于一或多个曝光控制参数的同时使用图像传感器捕获场景的数字图像。使用来自数字图像的图像数据生成像素亮度的直方图。基于像素亮度的直方图确定所要的曝光调整。基于所要的曝光调整，生成经更新的非CVAEC值集，用于应用于用于捕获场景的后续数字图像的一或多个曝光控制参数。
根据一个实施例，像素的直方图可包括与第一亮度值范围相关联的第一分组及与第二亮度值范围相关联的第二分组。可基于基于(a)表示第一分组的像素计数的暗分组值与(b)表示第二分组的像素计数的亮分组值的至少一个亮度比来确定所要的曝光调整。此实施例的实例被称为“帧平均AEC”。根据另一实施例，像素亮度的直方图可进一步包括与第三亮度值范围相关联的第三分组及与第四亮度值范围相关联的第四分组。至少一个亮度比可包括基于(a)暗分组值和(b)亮分组值的受限亮度比，以及基于(a)暗分组值和表示第三分组的像素计数的黑分组值以及(b)明分组值和表示第四分组的像素计数的白分组值的扩展亮度比。此实施例的实例被称为“滤波帧平均AEC”。确定所要的曝光调整可进一步包括基于(a)包含暗分组值及亮分组值的值与(b)包含黑分组值及白分组值的值的比较来选择受限亮度比或扩展亮度比作为所选亮度比，以及使用所选亮度比来确定所要的曝光调整。
附图说明
通过实例的方式说明本发明的方面。在附图中，相同的参考编号指示相似的元件。下文简略描述特征：
图1A说明过曝光图像的实例；
图1B为与图1A中所展示的过曝光图像相关的亮度直方图；
图2A说明曝光不足图像的实例；
图2B为与图2A中所展示的曝光不足图像相关联的亮度直方图；
图3A描绘中心加权计量AEC的实例；
图3B描绘点计量AEC的实例；
图4展示具有AEC的相机上的曝光补偿拨盘的实例；
图5A说明在背景中具有大量黑色内容的图像的实例；
图5B为与图5A中所展示的黑色内容主导图像相关联的亮度直方图；
图6A说明应用帧平均AEC的相同黑色内容主导图像，此导致平衡像素能量但图像过饱和；
图6B为与图6A中所展示的帧平均AEC校正图像相关联的亮度直方图；
图7A说明应用滤波帧平均AEC的相同的黑色内容主导图像，此导致仅平衡“灰色”像素能量；
图7B为与图7A所展示的滤波帧平均AEC校正图像相关联的亮度直方图；
图8为说明非CV AEC控制环的实例的流程图；
图9A为根据本发明的实施例展示可如何将像素比R(Rl还是Rf)用于例如透过曝光时间或增益来确定是否要增加或减少曝光的流程图900；
图9B说明根据图9A中所展示流程图的曝光改变机制；
图10说明以对数形式计算下一图像帧的增益的计算的数据流程；
图11为根据某些实施例展示从一个帧到下一帧的AEC模拟增益及曝光时间调整的控制流程的流程图；
图12A展示可对其执行基于计算机视觉的自动曝光控制(CV AEC)的图像；
图12B说明从图12A中所展示的图像捕获的CV特征的分布；
图13A展示具有所应用曝光控制的+1/2曝光值(EV)的图像；
图13B说明从图13A的+1/2EV图像计算的CV特征的分布；
图14A展示没有所应用曝光控制(即，所应用正常0EV)的相同图像；
图14B说明从图14A的0EV图像计算的CV特征的分布；
图15A展示具有所应用曝光控制的-1/2EV的图像；
图15B说明从图15A的-1/2EV图像计算的CV特征的分布；
图16A展示可对其执行基于计算机视觉的自动曝光控制(CV AEC)的图像；
图16B展示对于每一可能CV特征由二进制值(即，“1”或“0”)构成的掩模，其可基于图16A的图像从特定的CV操作或一组操作计算；
图16C说明从图16A中所展示的图像捕获的CV特征的分布；
图17为说明组合AEC控制回路的实例的流程图，所述组合AEC回路包括(1)非CVAEC控制回路及(2)CV AEC控制回路；
图18A为根据本发明的至少一个实施例说明用于执行CV AEC的过程中的说明性步骤的流程图1800；
图18B为使用三个数字图像展示根据本发明的实施例的用于执行CV AEC的过程中的说明性步骤的流程图1820；
图18C为展示根据本发明的实施例的用于执行组合的CV AEC及非CV AEC的过程中的说明性步骤的流程图1840；及
图19说明可用于实施本发明的特征的实例计算机系统1900。
具体实施方式
现在将参考形成本发明的部分的附图来描述数个说明性实施例。虽然下面描述其中可实施本发明的一或多个方面的特定实施例，但可使用其它实施例且可进行各种修改而不背离本发明的范围或所附权利要求书的精神。
基于非计算机视觉的自动曝光控制(非CV AEC)
本发明的各种实施例实施基于非计算机视觉的自动曝光控制(非CV AEC)。这些为在不考虑曝光控制对计算机视觉(CV)操作的影响的情况下完成自动曝光控制的技术。在本发明的稍后章节中论述考虑CV操作的计算机视觉(CV)操作及自动显示控制技术。目前，注意力集中在非CV AEC的新技术上。
许多基本的非CV AEC算法以“中间灰度”或通常称为“18％灰度”为目标来曝光图像。基本假设是典型自然场景的图像平均由“中灰色”亮度级别的像素构成(存在此假设存的例外情况，如在后续章节中所论述)。因此，如果曝光传感器以产生“中灰色”像素的图像，那么图像可认为恰当曝光。实际上，在颜色红绿蓝(RGB)传感器的状况下，可通过将RGB值转换为“L-a-b”颜色空间来计算图像的透明度，使得可提取亮度值L。如所属领域的技术人员所知，“L-a-b”颜色空间通常是指颜色拮抗空间，其中维度“L”为明度/亮度，且“a”及“b”为颜色拮抗维度。然后，通过应用非线性增益—伽马校正，图像的平均亮度值理想地应位于动态范围的中间附近，如果L具有0到100的范围，那么所述动态范围将为50。然而，如果平均亮度值不在中间(50)，那么可能存在许多可调整的控制参数，包含：(1)曝光时间、(2)增益，及(3)光圈。关于曝光时间，如果L过低，那么可延长曝光时间以增加图像中的亮度。相反，如果L过高，那么可缩短曝光时间。由于曝光时间调整具有取决于传感器可用帧速率的限制，如果单独调整曝光时间不能充分实现目标亮度值，那么可调整与图像传感器相关联的增益(例如，AEC增益)以缩放图像中的亮度值。增益有时被称为“模拟增益”，因为其是在捕获及数字化图像之前应用。这与“数字增益”形成对比，“数字增益”通常是指在捕获图像之后缩放像素值。关于光圈，如果L过高，那么光圈可减小。相反，如果L过低，那么可扩大光圈。响应于亮度值控制例如曝光时间、增益及孔径的参数可根据本发明的实施例形成AEC算法的基本反馈控制。
根据一些实施例，更复杂的非CV AEC算法引入区域偏差而不是使用全局像素平均值。例如，图3A描绘中心加权计量AEC的实例。此外，中心加权计量AEC使用多个同心区域而不是单个全局区域来计算亮度值，其中中心区域中的权重高于外围区域。图3B描绘点计量AEC的实例。此处，点计量AEC仅使用单个最中心区域来计算亮度值并忽略图像/帧的其余部分。
根据其它实施例，更先进的非CV AEC算法辨识许多场景未必由亮度上的“中间灰度”构成。例如，“雪”或“海滩”场景通常具有超过中间灰色的更高亮度水平。因此，在那些状况下，可应用替代或额外的曝光补偿而非使用中间灰色作为目标曝光。同样，在“日落”场景中，需要从中间灰色减少传感器的曝光，使得图像的颜色不会被洗掉。
在摄影中，由于其易于使用，曝光度量通常以曝光值或EV表达。EV可界定为：
其中F为f值(透镜中常见的相对孔径的度量)，T为曝光持续时间。例如，曝光1秒的相对孔径f/1.0产生的EV为0，而曝光1/60秒的f/5.6产生的EV为11。因此，EV越小，进入相机的光线就越多，反之亦然。在实践中，摄影师可通过固定适合场景的EV来对准曝光，且然后调整相关光圈(f值)及曝光时间以产生所要艺术效果，例如视场(FOV)或运动模糊及缺乏。由于许多视觉场景的光源为可预测的，因此各种照明条件的适当EV也为可预测的。相机灵敏度通常参考例如国际标准化组织(ISO)12232:2006数字静止图像标准描述。例如，ISO编号越低，相机对光的敏感度越低，而ISO编号越高反映相机灵敏度越高。例如，考虑到ISO100的传感器灵敏度，日光雪景可能使用为16的EV，而室外阴天场景可能使用为12的EV。相反，如果光源暗淡，例如在夜空拍摄银河系，那么相机可能需要长时间曝光，且可能使用-10的EV。
此外，EV在调整相对曝光方面提供直接的关系。增加一个EV对应于将光量减半，而减少一个EV则将光量加倍。有趣的是，对于相机中的曝光补偿命名法或曝光补偿拨盘，“+1EV”实际上意味着增加曝光，因此产生较小相关EV，而“-1EV”导致图像中的较少曝光和较大所得EV。图4展示具有AEC的相机上的曝光补偿拨盘的实例。
非CV AEC方法的两个实例在此称为帧平均AEC及滤波帧平均AEC。典型帧平均AEC技术将中间灰度作为图像的平均亮度。例如，如果图像传感器为单色的，那么中间灰度可由灰度像素值128(在255中)表示。然而，当图像被背光照明时(例如，当太阳或明亮的窗户位于拍摄对象后面时)或当图像拍摄对象具有大量黑色内容时(例如，当有人穿着黑色服装时)，帧平均AEC算法可能表现不佳。图5A说明在背景中具有大量黑色内容的图像的实例。图5B为与图5A中所展示的黑色内容主导图像相关联的亮度直方图。
在此些情况下，帧平均AEC的典型结果通常为过曝光或曝光不足。特定的图像内容会使所得到的图像偏斜成非所要结果—像素能量平衡但图像过饱和。图6A说明应用帧平均AEC的相同黑色内容主导图像，此导致平衡像素能量但图像过饱和。图6B为与图6A中所展示的帧平均AEC校正图像相关联的亮度直方图。
为了解决这些问题，本发明的一些实施例使用用于提取CV特征的图像传感器的滤波帧平均AEC算法。图7A说明应用滤波帧平均AEC的相同的黑色内容主导图像，此导致仅“灰色”像素能量—仅对表示“灰色”像素的某些分组平衡。此实现既未过曝光也非曝光不足且在视觉上更具吸引力的图像。图7B为与图7A所展示的滤波帧平均AEC校正图像相关联的亮度直方图。在图5B、6B及7B的亮度直方图中，x轴表示从0到256的实例亮度值，且像素数范围分别针对图5B、6B及7B为从0到15·104、18000、9000。
图8为说明非CV AEC控制环800的实例的流程图。此处，非CV AEC控制环实施如本文中所描述的滤波帧平均AEC算法。滤波帧平均ACE方法将在下面更详细说明。在一个实施例中，当捕获图像并执行可选的子采样步骤时，将像素分组成多个类别或分组。在下面呈现的实例中，使用了四个类别：黑色像素、暗像素、亮像素及白色像素。像素x的类型的界定可描述如下：
x→黑色像素，在x<Tk的条件下
x→暗像素，在Tk≤x<Td的条件下
x→明像素，在Td≤x<Tb的条件下
x→白色像素，在x≥Tb的条件下
其中0≤Tk<Td<Tb≤最大像素值
此处，黑色像素阈值由Tk表示；暗像素阈值由Td表示；且亮像素阈值由Tb表示。最大像素值为亮度通道的最大值，例如对于无符号的8位通道为255。
在此实例中，四个计数器黑色像素计数(由Pk表示)、暗像素计数(由Pd表示)、明亮像素计数(由Pb或Pbr表示)，且白色像素计数(由Pw表示)用于跟踪属于图像的四个像素类型的像素数目。当已对AEC输入图像中的所有像素进行分类时，以不同类型像素之间的相对比的形式计算像素值的分布。具体来说，跟踪以像素比形式的两种类型的AEC统计：(1)扩展像素比及(2)受限像素比。扩展像素比考虑比受限像素比更多的像素类别或像素分组。一种类型的扩展像素比可为全像素比，其考虑所有像素类别且在下面用作说明性实例。全像素比Rf将图像划分成两个分组：黑色及暗像素在一者中，且亮及白像素在另一者中。另一方面，限定像素比Rl不包括白像素及黑像素，且仅基于暗及亮像素计算像素比。这里，为了避免可能除以或乘以零，全像素比及受限像素比的分子及分母都以值1开始：
替代地，在log2域中：
Log(Rf)＝Log(Pk+Pd+1)-Log(Pbr+Pw+1)
Log(Rl)＝Log(Pd+1)-Log(Pbr+1)
在其它实施例中，像素比可使用像素的平均值而非每一像素类型的像素的计数。举例来说：
其中V为像素值。与像素计数的使用相比，使用平均像素值可产生像素比的更准确测量，但以较高计算复杂度。
在此实例中，使用受限像素比的动机在背光照明条件下，图像中的光源可能显示为白色像素，因此其排除任何太亮的像素，以免扭曲图像其余部分的像素比。同样，黑色像素不包含在受限像素比中以使得任何黑色对象都不会扭曲整个图像的统计数据。如本文中所使用，全像素比及受限像素比为两种不同的AEC统计类型，且下文描述如何决定使用哪种比或统计类型。如本文中所使用，全像素比及受限像素比为两种不同的AEC统计类型，且下文描述如何决定使用哪种比或统计类型。
根据某些实施例，确定使用哪一AEC统计类型可基于四个像素类型的像素计数。例如，如果黑色及白色像素的总和超过暗及亮像素的总和，那么可使用全像素比，因为其为更可靠，否则，可使用受限像素比。
为了避免在像素计数相似时两种统计类型之间频繁切换，可使用AEC惯性项来保证在其使用之前满足产生新统计类型的最小数目连续捕获帧。
图9A为根据本发明的实施例展示可如何将像素比R(Rl还是Rf)用于例如透过曝光时间或增益来确定是否要增加或减少曝光的流程图900。一旦确定AEC统计类型，可使用所得到像素比来确定是否要进行下一帧中的曝光调整以及进行多少曝光调整。在此实例中，如果像素比R大于上AEC触发阈值Tu，那么曝光率将增加。另一方面，如果像素比R小于1/下AEC触发1/Tl，那么曝光将减小。在一个实施方案中，如果像素比在其间，那么不进行曝光时间或增益的改变。图9B说明根据图9A中所展示流程图1900的曝光改变机制。
经标记为F的曝光调整曝光调整因子的量级为所选像素比R的函数。此因子在上端上由最大调整因子Fmax及在下端上由最小调整因子的倒数(由1/Fmin表示)约束。
例如，曝光增加4倍将使进入传感器的光量增加四倍，这对应于增加2个f制光圈。类似地，1/4因子将使入射光减少75％，此对应于曝光中减少2个f制光圈。通过设置Fmax及Fmin，可限制从一个帧到下一帧的曝光改变或f制光圈的百分比。
根据某些实施例，阻尼进一步应用于AEC过程。相机AEC算法通常呈延迟反馈循环的形式，以允许调整模拟增益或曝光时间以随时间(例如，对多个帧)生效。因此，如果改变的量级较大，那么可能由于时间延迟而导致过度补偿，且可能发生曝光振荡。为了抑制可能振荡，曝光改变可作为无限脉冲响应(IIR)系统生效，其中增益改变为目标曝光与当前曝光之间的差，且改变经划分且在多个帧上分散。阻尼操作使用缩放因子来缩放每一帧的增益。可基于阻尼操作分配阻尼效应的所要帧数来确定缩放因子。此处，例如，在IIR系统中，所要帧数可对应于完全应用增益(或其它曝光控制输入)的改变所需的最小帧数。使用阻尼的AEC增益算法的说明性公式如下：
或
或
其中Gt＝n为当前增益值，Rt＝n为当前图像的选定像素比，Ft＝n≡F(Rt＝n)为当前曝光调整因子，为下一帧的所提出新增益，It＝n为用于在多个帧上并入增益改变的AEC惯性项。如可看出，Gt＝n*Ft＝n为AEC增益改变算法中的反馈项，使得如果F＝1，那么所观察像素比为平衡，且将不需要任何进一步的增益改变，使得Gt＝n+1＝Gt＝n。此外，如果I＝1，那么增益改变的全部量将转入紧下一帧，然而，如果I>1那么其将至少需要I帧。为简洁起见，术语可被认为是增益乘数Mt＝n，使得所提出的增益为电流增益与增益乘数的乘积。为了控制AEC收敛时间T，可将It＝n的值界定为帧速率的函数Ft＝n，使得：
It＝n≤TFt＝n
例如，如果期望曝光在0.5s内收敛，那么在30fps下，那么I应设置为不大于15。如果帧速率现在改变为10fps，那么I应调整为不超过5。
对于硬件的实施效率，可在log2域中编写上述公式：
图10说明以对数形式计算下一图像帧的增益的计算的数据流程1000。
根据某些实施例，取决于所提出的新增益的值，以及当前模拟增益值Gt＝n的值，及当前曝光时间Et＝n，可调整下一帧的曝光时间及/或模拟增益。具体来说，所有视觉传感器在其模拟增益中具有特定的动态范围，受最小模拟增益(由Gmin标示)及最大模拟增益(由Gmax标示)限制。同样地，对于曝光时间，存在限制其动态范围的最小曝光时间Emin及最大曝光时间Emax。且在模拟增益值与曝光时间值之间存在相互依赖性，使得如果其它一切保持不变，则改变另一个将改变另一个。因此，下一帧的新模拟增益Gt＝n+1及新曝光时间Et＝n+1的计算可分为以下5种情况，例如：
1.
如果新增益落在最大及最小模拟增益范围内，那么仅改变模拟增益但曝光时间保持不变。在log2域中：
2.以及Et＝n<Emax→Et＝n+1＝Mt＝n*Et＝n
如果新增益大于最大模拟增益但尚未达到最大曝光时间，那么改变曝光时间。在log2域中：
log(Et＝n+1)＝log(Mt＝n)+log(Et＝n)
3.以及Et＝n>Emin→Et＝n+1＝Mt＝n*Et＝n
如果新增益小于最小模拟增益但尚未达到最小曝光时间，那么改变曝光时间。在log2域中：
log(Et＝n+1)＝log(Mt＝n)+log(Et＝n)
4.以及Et＝n＝Emax→Gt＝n+1＝Gmax
如果新增益大于最大模拟增益但已达到最大曝光时间，那么将新增益设置为最大模拟增益。在log2域中：
log(Gt＝n+1)＝log(Gmax)
5.以及Et＝n＝Emin→Gt＝n+1＝Gmin
如果新增益小于最小模拟增益但已达到最小曝光时间，那么将新增益设置为最小模拟增益。在log2域中：
log(Gt＝n+1)＝log(Gmin)
图11为根据如上文五个情景中所描述的某些实施例展示从一个帧到下一帧的AEC模拟增益及曝光时间调整的控制流程的流程图。
根据又一些实施例，在AEC统计类型从全像素比改变为受限像素比的状况下，在相应增益中的转变及曝光值可能有助于确保平稳过渡。例如，增益之间的简单平均值及曝光时间可用于过渡帧：
Gt＝n+1＝(Gt＝n+1+Gt＝n)/2
Et＝n+1＝(Et＝n+1+Et＝n)/2
另外，在特定照明情况下，用户可能希望通过添加曝光补偿来设置图像帧的亮度的偏差。根据本发明的实施例，上述情形可通过简单地设置暗像素阈值Td的适当值来实现。具体地，如果不需要曝光补偿，那么三个像素阈值之间的关系可如下：
Td＝(Tk+Tb)/2
使得Td-Tk所述值与Tb-Td的值相同。因此，在均匀分布的像素帧中，计数为亮像素的像素量可与暗像素的像素量相同，且所得到的像素比可为1。在一般状况下，通过曝光值、EV所测量的曝光补偿的量可使用以下公式设置：
或
例如，假设Tk＝5；Tb＝205，且向通过1个f制光圈使帧曝光不足以使得EV＝-1，然后可如下计算Td：
基于计算机视觉的自动曝光控制(CV AEC)
替代地或另外地，本发明的各种实施例实施基于计算机视觉的自动曝光控制(CVAEC)。CV AEC是指通过考虑曝光控制对计算机视觉(CV)操作的影响完成自动曝光控制的技术。此处，感测图像的目的可能未必重建或忠实地发射图像。相反，目的可为变换输入图像，使得可提取可靠的高质量计算机视觉(CV)特征。换句话说，替代像传统相机那样强调基于人类美学的图像质量，系统可侧重所提取CV特征的质量或数量以使用图像处理。许多此些CV特征主要为提取相对像素梯度。例如，局部二进制模式(LBP)及多块LBP(MB-LBP)为相对于中心像素的局部梯度提取。中心对称LBP(CS-LBP)为相对于空间相对像素的局部梯度提取。贴片对称LBP(PS-LBP)及其变体为相对于局部像素集合的局部梯度提取。哈尔(Haar)类特征考虑在检测窗口中的特定位置处的相邻矩形区域，对每一区域中的像素强度求和并计算这些和之间的差。LBP、MB-LBP、CS-LBP、PS-LBP、哈尔类特征等仅为可用于基于计算机的图像分析/检测技术中的CV特征的一些实例。此处，只要保留CV特征内的所提取像素的相对值，那么生成一致CV特征可能就足够。因此，对于各种类型的CV特征提取，可能不需要应用全局图像归一化或数字增益，因为此应用未必影响像素之间的相对值。
图12A展示可对其执行基于计算机视觉的自动曝光控制(CV AEC)的图像。图12B说明从图12A中所展示的图像捕获的CV特征的分布。与像素亮度分布不同(例如，图5B、6B及7B中所展示的直方图)，CV特征分布为尖锐的。调整增益/曝光未必会导致CV特征分布的单片移位，如在非CV-AEC中。此外，根据手头的CV任务，只有所有可能CV特征的子集与特定分类器相关，例如，机器学习(ML)分类器，其将CV特征作为输入且经训练以检测给定目标对象(在所说明实例中，Minion字符)的存在。在展示图12B及随后图13B、14B、15B及16C的CV特征的分布的直方图中，x轴表示给定LBP计算机视觉特征，其对应于8位数，且因此不同的计算机视觉特征的范围从0(对于LBP特征00000000)到256(对于LBP特征11111111)，且针对图12B、13B、14B、15B及16C，CV特征计数的y轴的范围分别从0到到3.5·104，3.5·104、3.5·104、9·104及3.5·104。
根据各种实施例，CV AEC调整曝光控制参数、例如增益、曝光时间、光圈等以最大化目标CV特征提取集。图13A展示具有所应用曝光调整的+1/2EV的图像。图13B说明从图13A的+1/2EV图像计算的CV特征的分布。图14A展示没有所应用曝光调整(即，所应用正常0EV)的相同图像；图14B说明从图14A的0EV图像计算的CV特征的分布。图15A展示具有所应用曝光调整的-1/2EV的图像。图15B说明从图15A的-1/2EV图像计算的CV特征的分布。如从这些图中可看出，不同级别的曝光控制可产生不同的CV特征分布。此处，+1/2EV曝光控制产生大多数与检测Minion字符相关的CV特征。也就是说，在三个曝光调整级别中，+1/2EV从与Minion分类器相关的CV特征的子集内产生最丰富的CV特征。作为响应，CV AEC系统选择+1/2EV作为要获取的后续图像的曝光控制水平。可重复执行所述过程以确定最佳曝光控制水平。
图16A展示可对其执行基于计算机视觉的自动曝光控制(CV AEC)的图像。图16B展示对于每一可能CV特征由二进制值(即，“1”或“0”)构成的掩模，其可基于图16A的图像从特定的CV操作或一组操作生成。在所说明的二进制掩模的实施方案中，掩模仅识别在所说明实例中与用于检测给定对象的特定训练分类器相关的那些CV特征，在所说明实例中，训练分类器经训练以检测上文所提及的Minion字符。在掩模内，标记有非零值(即，“1”)的每一位置对应于与特定分类器相关的CV特征。经标记为零值(即，“0”)的每一位置对应于与特定分类器不相关的CV特征。因此，掩模识别可能的CV特征集的子集，其中可能的CV特征集表示能够由CV操作(或操作集)生成的CV特征，其与分类器相关。根据某些实施例，可生成掩模作为与训练分类器以检测特定对象相关联的训练过程的输出。根据其它实施例，可在不训练分类器的情况下生成掩模。例如，可认识到特定类型的CV特征与某些图像特征相关联，且因此值得强调。仅作为实例，在CV操作包括局部二进制模式(LBP)的情况下，可强调的一种类型的CV特征是仅包含二进制模式中的一对转换的CV特征。此发生可被称为“转换LBPn”，其中n＝1(例如，“…00100……”或“…11011…”)。可通过将对应位置设置为掩模内的非零值(即，“1”)并将其它位置设置为掩模内的零值(即“0”)来强调此CV特征。定性地，包含更多数量的转换的LBP模式，例如“转换LPBn”，其中n为较大数字，往往含有纹理信息。因此，如果纹理细节对于系统的目标非必需的，例如，检测场景中的特定对象或对象类型，那么可通过将对应位置设置为掩模内的零值(即，“0”)且将其它位置设置为非零值(即，“1”)来解除强调此些CV特征。
虽然图16B中所展示的掩模包括二进制值，但在其它实施例中，掩模可包括其它类型值。在一个实施例中，掩模包括表示要应用的不同权重的实数值。也就是说，替代如在二进制掩模的状况下将CV特征划分为“相关”或“不相关”，具有实数值的加权掩模可为由CV操作产生的可能的CV特征中的每一者指派不同相关权重。每一相关值由掩模内的实数表示。实数可以各种方式实施，例如，作为范围(例如，-10到+10，0到15等)内的整数。在另一实例中，实数可实施为十进制数或分数。在此实施中，相关CV特征的丰度度量可表示分数，例如加权和，指实例如从图像提取的CV特征集包含多少相关或重要的CV特征。此分数可允许比较两个或更多个图像以确定两个图像中的哪一者具有更高的分数。如与多个相同的单个相关或重要CV特征或与小组相关或重要CV特征相比，除了加权和之外，不同种类的分数可另外或替代地指示从图像提取的一CV特征集是否包含多个相关或重要的CV特征。在一些实施方案中，可计算多个分数，其反映相关CV特征的丰度度量的不同方面，且可组合多个分数以优选优于其它图像的一个图像(或曝光参数集)。
图16C说明从图16A所展示的图像计算的CV特征的分布。图16B及16C的X轴对齐，即，其具有一对一对应关系。一旦应用于CV分布，图16B中所展示的掩模识别图16C中所展示的哪些CV特征将与此特定分类器相关。使用掩模，CV AEC技术可从多个可能的曝光控制水平(例如，+1/2EV、0EV、-1/2EV)中选择使与通过分类器检测特定对象相关的CV特征的丰度最大化的特定曝光控制水平(例如，+1/2EV)。与不同的曝光控制水平相比，通过使用曝光控制水平曝光的图像生成的相关CV特征的丰度增加后续分类器决策的可靠性。如先前所论述，可重复执行所述技术，例如在循环中，直到达到最佳曝光水平。
因此，使用掩模，可从每一数字图像提取的CV特征集中获得相关CV特征的丰度度量。例如，在二进制掩模的状况下，丰度度量可为与掩模的非零(例如，“1”)值(例如，图16C)对齐的数字图像(例如，图16A)生成的CV特征(例如，图16B)的数量的基本计数。在另一实例中，在加权掩模的状况下，丰度度量可为通过将从数字图像生成的每一CV特征与来自加权掩模的对应权重(例如，实数)相乘所得到的加权计数或分数，然后将所有乘法结果加在一起。因此，产生丰度度量(例如计数，加权计数或得分)的一种方式为用从数字图像产生的CV特征求得掩模的点积。
注意，可在分类器的操作之前执行CV AEC技术，包含使用掩模，在一或多个循环内的迭代等。换句话说，在实际上向分类器提供CV特征以对图像进行分类之前，可以最大化与分类器相关的CV特征的丰度的方式执行CV AEC以调整用于捕获图像的曝光。
图17为说明组合AEC控制回路1700的实例的流程图，所述组合AEC回路包括(1)非CV AEC控制回路1710及(2)CV AEC控制回路1720；根据本发明的各种实施例，组合技术涉及首先运行非CV AEC控制回路以确定关于视觉质量的良好曝光设置(基于像素亮度分布)，然后运行CV AEC循环以细化曝光设置以最大化相关CV特征的计数(使用CV特征相关掩模)以通过分类器检测特定对象。
例如，在非CV AEC控制循环1710中，所述过程以类似于关于图8所描述的方式在循环中迭代，直到达到关于视觉质量的良好曝光设置。退出条件由“AEC触发？”框反映。如先前所论述，针对阈值(例如，AEC触发器)评估像素比(例如，受限像素比或全像素比)。如果触发AEC(“是”)，那么意味着非CV AEC控制环1710尚未收敛，因此循环迭代。如果未触发AEC(“否”)，那么意味着非CV AEC控制循环1710已收敛。此为达到非CV AEC目标条件的实例。此时，可起始CV AEC控制回路1720。CV AEC控制回路1720以不同曝光水平(例如+1/2EV、0EV及–1/2EV)获取三个图像。在每一状况下，可对所获取图像执行至少一个CV操作以生成从所获取的图像中提取的CV特征集，其中所生成的CV特征集来自可能的CV特征集。用于确定从给定图像提取的相关CV特征的丰度度量的掩模(使用给定曝光水平拍摄)，其中在一些实例中可应用与特定分类器(例如，用于检测Minion字符)相关的CV特征。导致与分类器相关的最丰富的CV特征的曝光水平可经选择为三个级别+1/2EV、0EV及-1/2EV中的“获胜”曝光水平。可将“获胜”曝光水平设置为循环的下一迭代中的新标称曝光水平。例如，如果在迭代N中，“获胜”曝光水平为+1/2EV，那么在CV AEC控制回路1720的下一次迭代中将曝光水平设置为标称曝光水平(即，0EV)。CV AEC控制回路1720可迭代直到其确定且相对于最大化分类器相关CV特征达到最佳曝光水平。
图18A为根据本发明的至少一个实施例说明用于执行CV AEC的过程中的说明性步骤的流程图1800。例如，在步骤1802中，在将第一值集应用于一或多个曝光控制参数的同时使用图像传感器捕获场景的第一数字图像。例如，可通过使用相机1920来执行步骤1802，稍后将结合图19对其进行描述。在步骤1804中，使用来自第一数字图像的图像数据执行至少一个计算机视觉(CV)操作，因此生成从第一数字图像提取的第一CV特征集，其中第一CV特征集来自可能的CV特征集。在步骤1806中，获得掩模，其包括用于所述可能的CV特征集中的每一特征的值。参考图16B描述此掩模的一个实例。在步骤1808中，使用掩模，获得从第一数字图像提取的第一CV特征集中的相关CV特征的第一丰度度量。参考图16A、16B及16C描述丰度度量的实例。在步骤1810中，基于相关CV特征的第一丰度度量，生成经更新值集以应用于用于捕获场景的后续数字图像的一或多个曝光控制参数。可例如通过使用处理器1904或其它电路来执行步骤1804到1810，稍后将结合图19对其进行描述。
根据一个实施例，获得相关CV特征的第一丰度度量包括(a)使用掩模确定从第一数字图像提取的第一CV特征集中的相关CV特征的计数，以及(b)使用从第一数字图像提取的第一CV特征集中的相关CV特征的计数作为相关CV特征的第一丰度度量。在一个实施例中，掩模包括二进制值。在另一实施例中，掩模包括表示不同权重的实数值。在一个实施例中，由掩模识别的CV特征的子集表示来自与特定分类器相关的可能的CV特征集的CV特征，如先前所论述。
图18B为使用三个数字图像展示根据本发明的实施例的用于执行CV AEC的过程中的说明性步骤的流程图1820。此处，图18B中所展示的步骤可与图18A中所展示的步骤组合。实际上，在图18B中再次参考图18A中已描述的各种特征，例如第一数字图像、相关CV特征的掩模，以及更新的值集(对于一或多个曝光控制参数)。参考图18B，在步骤1822中，在将第二值集应用于一或多个曝光控制参数的同时使用图像传感器捕获场景的第二数字图像。在步骤1824中，在将第三值集应用于一或多个曝光控制参数的同时使用图像传感器捕获场景的第三数字图像。例如，可通过使用相机1920来执行步骤1822及1824，稍后将结合图19对其进行描述。此处，第一值集可对应于标称暴露水平。第二值集可对应于大于标称水平的暴露水平。第三值集可对应于小于标称水平的暴露水平。在步骤1826中，使用来自第二数字图像的图像数据执行至少一个CV操作，因此生成从第二数字图像提取的第二CV特征集，其中第二CV特征集也来自可能的CV特征集。在步骤1828中，使用掩模，在从第二数字图像提取的第二CV特征集中获得相关CV的第二丰度度量。在步骤1830中，使用来自第三数字图像的图像数据执行至少一个CV操作，因此生成从第三数字图像提取的第三CV特征集，其中第三CV特征集也来自可能的CV特征集。在步骤1832中，使用掩模，在从第二数字图像提取的第二CV特征集中获得相关CV的第二丰度度量。在步骤1834中，规定用于为一或多个曝光控制参数生成经更新值集的更详细步骤。这些包含(a)比较相关CV特征的第一丰度度量、相关CV特征的第二丰度度量，以及相关CV特征的第三丰度度量，以确定相关CV特征的最大丰度度量；(b)选择第一值集、第二值集或第三值集中对应于相关CV特征的最大丰度度量的一个值集，其对应于的相关CV特征的最大丰度度量作为更新的值集。可例如通过使用处理器1904或其它电路来执行步骤1826到1834，稍后将结合图19对其进行描述。
虽然未在图中明确展示，但根据本发明的另一实施例，也可实施使用两个数字图像的CV AEC。可执行使用根据图18A的第一数字图像的CV AEC的步骤。另外，在将第二值集应用于一或多个曝光控制参数的同时可使用图像传感器捕获场景的第二数字图像。可使用来自第二数字图像的图像数据执行至少一个CV操作，因此生成从第二数字图像提取的第二CV特征集，其中第二CV特征集也来自可能的CV特征集。使用掩模，可从第二数字图像提取的第二CV特征集中获得相关CV特征的第二丰度度量。此处，生成经更新值集可包括(a)将相关CV特征的第一丰度度量值与相关CV特征的第二丰度度量进行比较，以及(b)响应于第二丰度度量大于第一丰度度量，选择第二值集作为经更新值集。
图18C为展示根据本发明的实施例的用于执行组合的CV AEC及非CV AEC的过程中的说明性步骤的流程图1840。此处，所述过程包括两个循环，CV自动曝光控制(CV AEC)循环1850及非CV自动曝光控制(非CV AEC)循环1870。CV AEC循环1850的实例在图17中展示为CVAEC控制循环1720。非CV AEC循环1870的实例在图17中展示为非CV AEC控制循环1710。虽然在图17中，非CV AEC控制回路1710在CV AEC控制回路1720之前执行，但图18C中所展示的实施例未规定特定的操作顺序。然而，在一个特定实施例中，非CV AEC循环1870的步骤在CVAEC循环1850的步骤之前执行。在特定实施例中，重复执行非CV AEC循环1870，直到满足非CV AEC目标条件，且在满足非CV AEC目标条件时，执行CV AEC循环1850。
返回参考图18C，CV AEC循环1850的步骤可类似于图18A中已描述的用于执行CVAEC的步骤。特定来说，在步骤1852中，在将第一值集应用于一或多个曝光控制参数的同时使用图像传感器捕获场景的第一数字图像。例如，可通过使用相机1920来执行步骤1852，稍后将结合图19对其进行描述。在步骤1854中，使用来自第一数字图像的图像数据执行至少一个计算机视觉(CV)操作，因此生成从第一数字图像提取的第一CV特征集，其中第一CV特征集来自可能的CV特征集。在步骤1856中，获得掩模，其包括用于所述可能的CV特征集中的每一特征的值。在步骤1858中，使用掩模，获得从第一数字图像提取第一CV特征集中的相关CV特征的第一丰度度量。在步骤1860中，基于相关CV特征的第一丰度度量，生成经更新值集以应用于用于捕获场景的后续数字图像的一或多个曝光控制参数。可例如通过使用处理器1904或其它电路来执行步骤1854到1860，稍后将结合图19对其进行描述。
再次参考图18C，非CV AEC循环1870可包括多个步骤。例如，在步骤1872中，在将非CV AEC值集应用于一或多个曝光控制参数的同时使用图像传感器捕获场景的数字图像。例如，可通过使用相机1920来执行步骤1872，稍后将结合图19对其进行描述。在步骤1874中，使用来自数字图像的图像数据生成像素亮度的直方图。在步骤1876中，基于像素亮度的直方图确定所要的曝光调整。在步骤1878中，基于所要的曝光调整，生成经更新的非CV AEC值集，用于应用于用于捕获场景的后续数字图像的一或多个曝光控制参数。可例如通过使用处理器1904或其它电路来执行步骤1874到1878，稍后将结合图19对其进行描述。
根据一个实施例，像素的直方图可包括与第一亮度值范围相关联的第一分组及与第二亮度值范围相关联的第二分组。可基于基于(a)表示第一分组的像素计数的暗分组值与(b)表示第二分组的像素计数的亮分组值的至少一个亮度比来确定所要的曝光调整。此实施例的实例被称作为先前所描述的“帧平均AEC”。
根据另一实施例，像素亮度的直方图可进一步包括与第三亮度值范围相关联的第三分组及与第四亮度值范围相关联的第四分组。至少一个亮度比可包括基于(a)暗分组值和(b)亮分组值的受限亮度比，以及基于(a)暗分组值和表示第三分组的像素计数的黑分组值以及(b)明分组值和表示第四分组的像素计数的白分组值的扩展亮度比。此实施例的实例被称作为“滤波帧平均AEC”，其例如先前关于图7A、7B及8进行描述。
确定所要的曝光调整可进一步包括基于(a)包含暗分组值及亮分组值的值与(b)包含黑分组值及白分组值的值的比较来选择受限亮度比或扩展亮度比作为所选亮度比，以及使用所选亮度比来确定所要的曝光调整。
图19说明可用于实施本发明的特征的实例计算机系统1900。计算机系统1900经展示包括可经由总线1902电耦合(或可视情况以其它方式通信)的硬件元件。硬件元件可包含：一或多个处理器1904，包含但不限于一或多个通用处理器及/或一或多个专用处理器(例如，数字信号处理芯片、图形处理单元1922，及/或其类似者)；一或多个输入装置1908，其可包含但不限于一或多个相机、传感器、鼠标、键盘、经配置以检测超声波或其它声音的麦克风及/或其类似者；及一或多个输出装置1910，其可包含但不限于显示单元，例如用于实施本发明的装置、打印机及/或其类似者。可使用额外相机1920来检测用户的肢体及姿势。在一些实施方案中，输入装置1908可包含一或多个传感器，例如红外、深度及/或超声传感器。图形处理单元1922可用于实施上文所描述用于实时擦除及替换对象的方法。根据本发明的某些实施例，用于捕获被执行自动曝光控制(AEC)的数字图像的图像传感器可为相机1920的部分。还可使用作为相机1920的部分的相同图像传感器来捕获为执行AEC所捕获的额外数字图像。
在本发明的实施方案的一些实施方案中，各种输入装置1908及输出装置1910可嵌入到例如显示装置、桌子、地板、墙壁及窗纱的接口中。此外，耦合到处理器的输入装置1908及输出装置1910可形成多维跟踪系统。
计算机装置1900可进一步包含一或多个非暂时性存储装置1906(及/或与其通信)，所述一或多个非暂时性存储装置可包括但不限于本地及/或网络可存取存储器，及/或可包含但不限于磁盘驱动器、驱动器阵列、光学存储装置、固态存储装置，例如，可编程、可快闪更新及/或其类似者的随机存取存储器(RAM)及/或只读存储器(ROM)。此些存储装置可经配置以实施任何适当的数据存储装置，包含但不限于各种文件系统、数据库结构及/或其类似者。
计算机系统1900还可包含通信子系统1912，其可包含但不限于调制解调器、网卡(无线或有线)、红外通信装置、无线通信装置及/或芯片组(例如，蓝牙装置、802.11装置、WiFi装置、WiMax装置、蜂窝通信设施，等等)，及/或其类似者。通信子系统1912可准许与网络、其它计算机系统及/或本文中所描述的任何其它装置交换数据。在许多实施方案中，计算机系统1900将进一步包括非暂时性工作存储器1920，所述非暂时性工作存储器可包含RAM或ROM装置，如上文所描述。
计算机系统1900还可包括软件元件(经展示为同时经定位在工作存储器1920内)，包含操作系统1914，装置驱动器，可执行库，及/或其它代码例如一或多个应用程序1916，其可包含由各种实施方案提供的计算机程序，及/或可经设计以实施方法及/或配置系统，由其它实施方案提供，如本文中所描述。仅通过实例方式，关于上文所论述的方法所描述的一或多个程序可经实施为可由计算机(及/或计算机内的处理器)执行的代码及/或指令；在一方面中，接着，此代码及/或指令可用于配置及/或调适通用计算机(或其它装置)以执行根据所描述方法的一或多个操作。
一组这些指令及/或代码可经存储在计算机可读存储媒体(例如上文所描述的存储装置1906)上。在一些状况下，存储媒体可并入于计算机系统(例如，计算机系统1900)内。在其它实施方案中，存储媒体可与计算机系统(例如，可拆卸媒体，例如光盘)分离，及/或经提供于安装包中，使得存储媒体可用于编程、配置及/或调适通用计算机，其中在所述通用计算机上存储有指令/代码。此些指令可呈可执行代码(可由计算机系统1900执行)的形式及/或可呈原始代码及/或可安装代码的形式，其在于计算机系统1900上编译及/或安装(例如，使用各种通常可用编译器、安装程序、压缩/解压缩等中的任何者)时，接着呈可执行代码的形式。
可根据特定要求作出实质变化。举例来说，还可使用自订硬件，及/或特定元件可以硬件、软件(包含便携式软件，例如小程序，等)或两者实施。此外，可使用至例如网路输入/输出装置之其他计算装置的连接。在一些实施方案中，计算机系统1900的一或多个元件可被省略，或可与所说明系统分开地实施。例如，处理器1904及/或其它元件可与输入装置1908分开实施。在一个实施方案中，处理器可经配置以从单独实施的一或多个相机接收图像。在一些实施方案中，除了图1中所说明的元件之外的元件还可包含在计算机系统1900中。
一些实施方案可使用计算机系统(例如，计算机系统1900)来根据本发明执行方法。例如，所描述方法的程序中的一些或全部可由计算机系统1900响应于处理器1904执行含在工作存储器1920中的一或多个指令(其可并入到操作系统1914及/或其它代码(例如应用程序1916))的一或多个序列来执行。此些指令可从例如存储装置1906中的一或多者的另一计算机可读媒体读取到工作存储器1920中。仅通过实例方式，工作存储器1920中所含的指令序列的执行可致使处理器1904执行本文中所描述的方法的一或多个程序。
例如，根据本发明的各种实施例，例如处理器1904的至少一个处理器在执行包含在工作存储器1920中的一或多个指令的一或多个序列时可执行用于实施AEC(包含CV AEC及非CV AEC)的各种步骤。替代地或另外地，并非处理器1904的一部分的电路也可用于执行用于实施AES的各种步骤。此电路可包含设置在作为相机1920的部分的图像传感器周围或附近的外围电路。此类外围电路可经配置以比处理器1904更加功率效率的方式执行CV操作并生成CV特征。例如，处理器1904或其它电路可经配置以(a)在捕获第一数字图像的同时将第一值集应用于一或多个曝光控制参数，(b)使用来自第一数字图像的图像数据执行至少一个计算机视觉(CV)操作，因此生成从第一数字图像提取的第一CV特征集，其中第一CV特征集来自可能的CV特征集，(c)获得包括可能的CV特征集中的每一特征的值的掩模；(d)使用掩模，获得从第一数字图像中提取的第一CV特征集中的相关CV特征的第一丰度度量；(e)基于相关CV特征的第一丰度度量，生成用于应用于用于捕获场景的随后数字图像的一或多个曝光控制参数的经更新值集，
如本文中所使用的术语“机器可读媒体”及“计算机可读媒体”指参与提供致使机器以特定方式操作的机器的数据的任何媒体。在使用计算机系统1900实施的实施方案中，各种计算机可读媒体可参与将指令/代码提供到处理器1904供执行及/或可用于存储及/或载运此些指令/代码(例如，作为信号)。在许多实施方案中，计算机可读媒体可为物理及/或有形存储媒体。此媒体可呈许多形式，包含但不限于非易失性媒体，易失性媒体及传输媒体。非易失性媒体包含例如光盘及/或磁盘，例如存储装置1906。易失性媒体包含但不限于动态存储器，例如工作存储器1920。传输媒体包含但不限于同轴电缆、铜线及光纤，包含构成总线1902的线，以及通信子系统1912的各种组件(及/或通信子系统1912借以提供与其它装置通信的媒体)。因此，传输媒体还可呈波形式(包含但不限于无线电波，声波及/或光波，例如在无线电波及红外数据通信期间所产生的那些)
物理及/或有形计算机可读媒体的共同形式包含(例如)软盘、软磁盘、硬盘、磁带或任何其它磁性媒体、CD-ROM、任何其它光学媒体、RAM、PROM、EPROM、FLASH-EPROM、任何其它存储器芯片或卡匣、如下文中所描述的载波，或计算机可自其读取指令及/或代码的任何其它媒体。
各种形式的计算机可读媒体可参与将一或多个指令的一或多个序列载运到处理器1904供执行。仅通过实例的方式，指令可初始地携载在远端计算机的磁盘及/或光盘上。远程计算机可将指令加载到其动作存储器中且将指令作为信号经由发射媒体发送以被计算机系统1900接收及/或执行。根据本发明的各种实施方案，这些信号(其可呈电磁信号、听觉信号、光学信号及/或其类似者的形式)全部为指令可编码在其上的载波的所有实例。
通信子系统1912(及/或其组件)将接收信号，且总线1902接着可将信号(及/或由信号载运的数据、指令等)载运到工作存储器1920，处理器1904从所述工作存储器检索并执行所述指令。由工作存储器1920接收的指令可在由处理器1904执行之前或之后任选地存储在非暂时性存储装置上。
应理解，所揭示的程序中的步骤的特定次序或阶层是对例示性方法的说明。基于设计偏好，应理解，可重新配置程序中的步骤的特定次序或阶层。此外，一些步骤可经组合或省略。所附方法申请专利范围表示以样本次序呈现各种步骤之要素，且并不意欲限于所呈现之特定次序或阶层。
提供先前描述以使得所属领域的技术人员能够实践本文中所描述的各种方面。所属领域的技术人员将容易明了对此些方面的各种修改，且本文中所界定的一般原理可适用于其它方面。此外，本文所揭示的内容并非旨在致力于公众。
虽然本文中的方法及系统的一些实例是以在各种机器上执行的软件方面进行描述，但方法及系统还可实施为经特别配置的硬件，例如特别用以执行各种方法的场可编程门阵列(FPGA)。举例来说，实例可实施于数字电子电路中，或实施于计算机硬件、固件、软件或其组合中。在一个实例中，装置可包含处理器或多个处理器。处理器包括计算机可读媒体，例如耦合到处理器的随机存取存储器(RAM)。处理器执行存储在存储器中的计算机可执行程式指令，例如执行一或多个计算机程序。此处理器可包括微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、场可编程门阵列(FPGAs)及状态机。此些处理器可进一步包括可编程电子装置，例如PLC、可编程中断控制器(PIC)、可编程逻辑装置(PLD)、可编程只读存储器(PROM)、电子可编程只读存储器(EPROM或EEPROM)，或其它类似装置。
此些处理器可包括可存储指令的媒体(例如，计算机可读存储媒体)或可与其通信，所述指令在由处理器执行时可致使处理器执行本文中经描述为由处理者实施或辅助的步骤。计算机可读媒体的实例可包含但不限于能够为处理器(例如网页服务器中的处理器)提供计算机可读指令的电子，光学，磁性或其它存储装置。媒体的其它实例包含但不限于软碟，CD-ROM，磁盘，存储器芯片，ROM，RAM，ASIC，经配置处理器，所有光学媒体，所有磁带或其它磁性媒体，或计算机处理器可读取的任何其它媒体。所描述的处理器及处理可在一或多个结构中，且可分散遍及一或多个结构。处理器可包括用于实施本文中所描述的方法(或方法的部分)中的一或多个的代码。
出于解释的目的，前述描述使用特定术语来提供对所描述的实施例的透彻理解。然而，对于所属领域技术人员来说显而易见的是，为了实践所描述的实施例，不需要具体细节。因此，出于说明及描述的目的给出了具体实施例的前述描述。它们并非旨在穷举或将所描述的实施例限制为所揭示的精确形式。对于所属领域的技术人员显而易见的是，鉴于上述教示，许多修改及变化都是可能的。
一些实例的前述描述仅呈现用于说明及描述目的且并不意欲为穷尽性或将本发明限制于所揭示的精确形式。众多修改及其改变将对所属领域的技术人员显而易见而不背离本发明的精神及范围。
本文中对实例或实施方案的提及意指结合实例所描述的特定特征，结构，操作或其它特性可包含在本发明的至少一个实施方案中。本发明并不限于如此描述的特定实例或实施方案。短语“在一个实例中”，“在实例中”，“在一个实施方案中”或“在实施方案中”或其各种变化形式在说明书中的各种地方的出现未必是指相同实例或实施方案。结合一个实例或实施方案在此说明书中所描述的任何特定特征，结构，操作或其它特性可与关于任何其它实例或实施方案所描述的其它特征，结构，操作或其它特性组合。
本文中使用的词语“或”旨在涵盖包含性及异“或”条件。换句话说，A或B或C包含适合特定用途的以下替代组合中的任何者或全部：单独A；单独B；单独C；仅A与B；仅A与C；仅B与C；以及A与B与C。

Claims (30)

1.一种用于执行自动曝光控制AEC的方法，其包括：
在将第一值集应用于一或多个曝光控制参数的同时使用图像传感器捕获场景的第一数字图像；
使用来自所述第一数字图像的图像数据执行至少一个计算机视觉CV操作，因此生成从所述第一数字图像提取的第一CV特征集，其中所述第一CV特征集来自可能CV特征集；
获得掩模，所述掩模包括所述可能CV特征集中的每一特征的值；
使用所述掩模，获得从所述第一数字图像中提取的所述第一CV特征集中的相关CV特征的第一丰度度量；及
基于相关CV特征的所述第一丰度度量，生成经更新值集以应用于用于捕获所述场景的后续数字图像的所述一或多个曝光控制参数。
2.根据权利要求1所述的方法，其进一步包括：
在将第二值集应用于所述一或多个曝光控制参数的同时使用所述图像传感器捕获所述场景的第二数字图像；
使用来自所述第二数字图像的图像数据执行所述至少一个CV操作，因此生成从所述第二数字图像提取的第二CV特征集，其中所述第二CV特征集也来自所述可能CV特征集；
使用所述掩模，获得从所述第二数字图像提取的所述第二CV特征集中的相关CV特征的第二丰度度量；
其中，生成所述经更新值集包括：
比较相关CV特征的所述第一丰度度量与相关CV特征的所述第二丰度度量；及
响应于所述第二丰度度量大于所述第一丰度度量，选择所述第二值集作为所述经更新值集。
3.根据权利要求1所述的方法，其进一步包括：
在将第二值集应用于所述一或多个曝光控制参数的同时使用所述图像传感器捕获所述场景的第二数字图像；
在将第三值集应用于所述一或多个曝光控制参数的同时使用所述图像传感器捕获所述场景的第三数字图像；
其中所述第一值集对应于标称曝光水平，所述第二值集对应于大于所述标称水平的曝光水平，且所述第三值集对应于小于所述标称水平的曝光水平；
使用来自所述第二数字图像的图像数据执行所述至少一个CV操作，因此生成从所述第二数字图像提取的第二CV特征集，其中所述第二CV特征集也来自所述可能CV特征集；
使用所述掩模，获得从所述第二数字图像提取的所述第二CV特征集中的相关CV的第二丰度度量；
使用来自所述第三数字图像的图像数据执行所述至少一个CV操作，因此生成从所述第三数字图像提取的第三CV特征集，其中所述第三CV特征集也来自所述可能CV特征集；
使用所述掩模，获得从所述第三数字图像提取的所述第三CV特征集中的相关CV特征的第三丰度度量；且
其中，生成所述经更新值集包括：
比较相关CV特征的所述第一丰度度量、相关CV特征的所述第二丰度度量，以及相关CV特征的所述第三丰度度量，以确定相关CV特征的最大丰度度量；及
选择所述第一值集、第二值集或第三值集中对应于相关CV特征的所述最大丰度度量的一个值集作为所述经更新值集。
4.根据权利要求1所述的方法，其中使用所述掩模获得相关CV特征的所述第一丰度度量包括：
确定使用所述掩模从所述第一数字图像提取的所述第一CV特征集中的相关CV特征的计数；及
使用从所述第一数字图像提取的所述第一CV特征集中的相关CV特征的所述计数作为相关CV特征的所述第一丰度度量。
5.根据权利要求1所述的方法，其中所述掩模包括二进制值。
6.根据权利要求5所述的方法，其中所述二进制掩模识别与特定分类器相关的所述可能CV特征集的子集。
7.根据权利要求1所述的方法，其中所述掩模包括表示不同权重的实数值。
8.根据权利要求1所述的方法，
其中CV自动曝光控制CV AEC循环包括以下步骤：捕获所述第一数字图像，执行所述至少一个CV操作，获得所述掩模，获得相关CV特征的所述第一丰度度量，以及生成所述经更新值集；且
其中非CV自动曝光控制非CV AEC循环包括包含以下的步骤：
在将非CV AEC值集应用于所述一或多个曝光控制参数的同时使用所述图像传感器捕获所述场景的数字图像；
使用来自所述数字图像的图像数据生成像素亮度的直方图；
基于像素亮度的所述直方图确定所要的曝光调整；及
基于所述所要的曝光调整，生成经更新的非CV AEC值集，用于应用于用于捕获所述场景的所述后续数字图像的所述一或多个曝光控制参数；且
其中所述方法包括(a)所述非CV AEC循环的步骤及(b)用于CV AEC循环的步骤。
9.根据权利要求8所述的方法，其中所述用于所述非CV AEC循环的步骤在所述用于所述CV AEC循环的步骤之前执行。
10.根据权利要求9所述的方法，
其中重复执行所述非CV AEC循环，直到满足非CV AEC目标条件，且
其中在满足所述非CV AEC目标条件时，执行所述CV AEC循环。
11.根据权利要求8所述的方法，
其中像素亮度的所述直方图包括与第一亮度值范围相关联的第一分组及与第二亮度值范围相关联的第二分组；且
其中基于基于(a)表示所述第一分组的像素计数的暗分组值与(b)表示所述第二分组的像素计数的亮分组值的至少一个亮度比来确定所述所要的曝光调整。
12.根据权利要求11所述的方法，
其中像素亮度的所述直方图进一步包括与第三亮度值范围相关联的第三分组及与第四亮度值范围相关联的第四分组；且
其中所述至少一个亮度比包括：
基于(a)所述暗分组值与(b)所述亮分组值的有限亮度比；及
基于(a)表示所述第三分组的像素计数的所述暗分组值及黑分组值与(b)表示所述第四分组的像素计数的所述亮分组值及白分组值的扩展亮度比。
13.根据权利要求12所述的方法，其中确定所述所要的曝光调整进一步包括：
基于(a)包含所述暗分组值及所述亮分组值的值与(b)包含所述黑分组值及所述白分组值的值的比较，选择所述有限亮度比或所述扩展亮度比作为所选亮度比；及
使用所述所选亮度比来确定所述所要的曝光调整。
14.一种用于执行自动曝光控制AEC的设备，其包括：
图像传感器，其用于使用图像传感器捕获场景的第一数字图像；
至少一个处理器或电路，其耦合到所述图像传感器且经配置以：
在捕获所述第一数字图像的同时将第一值集应用于一或多个曝光控制参数；
使用来自所述第一数字图像的图像数据执行至少一个计算机视觉CV操作，因此生成从所述第一数字图像提取的第一CV特征集，其中所述第一CV特征集来自可能CV特征集；
获得掩模，所述掩模包括所述可能CV特征集中的每一特征的值；
使用所述掩模，获得从所述第一数字图像中提取的所述第一CV特征集中的相关CV特征的第一丰度度量；及
基于相关CV特征的所述第一丰度度量，生成经更新值集以应用于用于捕获所述场景的后续数字图像的所述一或多个曝光控制参数。
15.根据权利要求14所述的设备，其中所述至少一个处理器或电路经进一步配置以：
在将第二值集应用于所述一或多个曝光控制参数的同时使用所述图像传感器捕获所述场景的第二数字图像；
使用来自所述第二数字图像的图像数据执行所述至少一个CV操作，因此生成从所述第二数字图像提取的第二CV特征集，其中所述第二CV特征集也来自所述可能CV特征集；
使用所述掩模，获得从所述第二数字图像提取的所述第二CV特征集中的相关CV特征的第二丰度度量；
其中，生成所述经更新值集包括：
比较相关CV特征的所述第一丰度度量与相关CV特征的所述第二丰度度量；及
响应于所述第二丰度度量大于所述第一丰度度量，选择所述第二值集作为所述经更新值集。
16.根据权利要求14所述的设备，其中所述至少一个处理器或电路经进一步配置以：
在将第二值集应用于所述一或多个曝光控制参数的同时使用所述图像传感器捕获所述场景的第二数字图像；
在将第三值集应用于所述一或多个曝光控制参数的同时使用所述图像传感器捕获所述场景的第三数字图像；
其中所述第一值集对应于标称曝光水平，所述第二值集对应于大于所述标称水平的曝光水平，且所述第三值集对应于小于所述标称水平的曝光水平；
使用来自所述第二数字图像的图像数据执行所述至少一个CV操作，因此生成从所述第二数字图像提取的第二CV特征集，其中所述第二CV特征集也来自所述可能CV特征集；
使用所述掩模，获得从所述第二数字图像提取的所述第二CV特征集中的相关CV的第二丰度度量；
使用来自所述第三数字图像的图像数据执行所述至少一个CV操作，因此生成从所述第三数字图像提取的第三CV特征集，其中所述第三CV特征集也来自所述可能CV特征集；
使用所述掩模，获得从所述第三数字图像提取的所述第三CV特征集中的相关CV特征的第三丰度度量；且
其中，生成所述经更新值集包括：
比较相关CV特征的所述第一丰度度量、相关CV特征的所述第二丰度度量，以及相关CV特征的所述第三丰度度量，以确定相关CV特征的最大丰度度量；及
选择所述第一值集、第二值集或第三值集中对应于相关CV特征的所述最大丰度度量的一个值集作为所述经更新值集。
17.根据权利要求14所述的设备，其中所述至少一个处理器或电路经配置以使用所述掩模通过以下方式获得相关CV特征的所述第一丰度度量：
确定使用所述掩模从所述第一数字图像提取的所述第一CV特征集中的相关CV特征的计数；及
使用从所述第一数字图像提取的所述第一CV特征集中的相关CV特征的所述计数作为相关CV特征的所述第一丰度度量。
18.根据权利要求14所述的设备，其中所述掩模包括二进制值。
19.根据权利要求18所述的方法，其中所述二进制掩模识别与特定分类器相关的所述可能CV特征集的子集。
20.根据权利要求14所述的方法，其中所述掩模包括表示不同权重的实数值。
21.根据权利要求14所述的设备，
其中CV自动曝光控制CV AEC循环包括以下步骤：捕获所述第一数字图像，执行所述至少一个CV操作，获得所述掩模，获得相关CV特征的所述第一丰度度量，以及生成所述经更新值集；且
其中非CV自动曝光控制非CV AEC循环包括包含以下的步骤：
在将非CV AEC值集应用于所述一或多个曝光控制参数的同时使用所述图像传感器捕获所述场景的数字图像；
使用来自所述数字图像的图像数据生成像素亮度的直方图；
基于像素亮度的所述直方图确定所要的曝光调整；及
基于所述所要的曝光调整，生成经更新的非CV AEC值集，用于应用于用于捕获所述场景的所述后续数字图像的所述一或多个曝光控制参数；且
其中所述至少一个处理器或电路经配置以执行(a)用于所述非CV AEC循环的步骤及(b)用于CV AEC循环的步骤。
22.根据权利要求21所述的设备，其中所述至少一个处理器或电路经配置以在所述用于CV AEC循环的步骤之前执行所述用于所述非CV AEC循环的步骤。
23.根据权利要求22所述的设备，其中所述至少一个处理器或电路经配置以：
重复地执行所述非CV AEC循环，直到满足非CV AEC目标条件，且
在满足所述非CV AEC目标条件时，执行所述CV AEC循环。
24.根据权利要求21所述的设备，
其中像素亮度的所述直方图包括与第一亮度值范围相关联的第一分组及与第二亮度值范围相关联的第二分组；且
其中所述至少一个处理器或电路经配置以基于基于(a)表示所述第一分组的像素计数的暗分组值与(b)表示所述第二分组的像素计数的亮分组值的至少一个亮度比来确定所述所要的曝光调节。
25.根据权利要求24所述的设备，
其中像素亮度的所述直方图进一步包括与第三亮度值范围相关联的第三分组及与第四亮度值范围相关联的第四分组；且
其中所述至少一个亮度比包括：
基于(a)所述暗分组值与(b)所述亮分组值的有限亮度比；及
基于(a)表示所述第三分组的像素计数的所述暗分组值及黑分组值与(b)表示所述第四分组的像素计数的所述亮分组值及白分组值的扩展亮度比。
26.根据权利要求25所述的设备，其中所述至少一个处理器或电路经配置以通过以下确定所述所要的曝光调整：
基于(a)包含所述暗分组值及所述亮分组值的值与(b)包含所述黑分组值及所述白分组值的值的比较，选择所述有限亮度比或所述扩展亮度比作为所选亮度比；及
使用所述所选亮度比来确定所述所要的曝光调整。
27.一种其上存储有指令的非暂时性计算机可读媒体，所述指令在由一或多个处理器执行时致使所述一或多个处理器：
在将第一值集应用于一或多个曝光控制参数的同时使用图像传感器捕获场景的第一数字图像；
使用来自所述第一数字图像的图像数据执行至少一个计算机视觉CV操作，因此生成从所述第一数字图像提取的第一CV特征集，其中所述第一CV特征集来自可能CV特征集；
获得掩模，所述掩模包括所述可能CV特征集中的每一特征的值；
使用所述掩模，获得从所述第一数字图像中提取的所述第一CV特征集中的相关CV特征的第一丰度度量；及
基于相关CV特征的所述第一丰度度量，生成经更新值集以应用于用于捕获所述场景的后续数字图像的所述一或多个曝光控制参数。
28.根据权利要求27所述的非暂时性计算机可读储存媒体，其中所述指令在由所述一或多个处理器执行时进一步致使所述一或多个处理器：
在将第二值集应用于所述一或多个曝光控制参数的同时使用所述图像传感器捕获所述场景的第二数字图像；
在将第三值集应用于所述一或多个曝光控制参数的同时使用所述图像传感器捕获所述场景的第三数字图像；
其中所述第一值集对应于标称曝光水平，所述第二值集对应于大于所述标称水平的曝光水平，且所述第三值集对应于小于所述标称水平的曝光水平；
使用来自所述第二数字图像的图像数据执行所述至少一个CV操作，因此生成从所述第二数字图像提取的第二CV特征集，其中所述第二CV特征集也来自所述可能CV特征集；
使用所述掩模，获得从所述第二数字图像提取的所述第二CV特征集中的相关CV的第二丰度度量；
使用来自所述第三数字图像的图像数据执行所述至少一个CV操作，因此生成从所述第三数字图像提取的第三CV特征集，其中所述第三CV特征集也来自所述可能CV特征集；
使用所述掩模，获得从所述第三数字图像提取的所述第三CV特征集中的相关CV特征的第三丰度度量；且
其中，生成所述经更新值集包括：
比较相关CV特征的所述第一丰度度量、相关CV特征的所述第二丰度度量，以及相关CV特征的所述第三丰度度量，以确定相关CV特征的最大丰度度量；及
选择所述第一值集、第二值集或第三值集中对应于相关CV特征的所述最大丰度度量的一个值集作为所述经更新值集。
29.根据权利要求27所述的非暂时性计算机可读存储媒体，
其中CV自动曝光控制CV AEC循环包括以下步骤：捕获所述第一数字图像，执行所述至少一个CV操作，获得所述掩模，获得相关CV特征的所述第一丰度度量，以及生成所述经更新值集；且
其中非CV自动曝光控制非CV AEC循环包括包含以下的步骤：
在将非CV AEC值集应用于所述一或多个曝光控制参数的同时使用所述图像传感器捕获所述场景的数字图像；
使用来自所述数字图像的图像数据生成像素亮度的直方图；
基于像素亮度的所述直方图确定所要的曝光调整；及
基于所述所要的曝光调整，生成经更新的非CV AEC值集，用于应用于用于捕获所述场景的所述后续数字图像的所述一或多个曝光控制参数；且
其中存储在所述非暂时性计算机可读媒体上的所述指令在由所述一或多个处理器执行时致使所述一或多个处理器执行(a)用于所述非CV AEC循环的步骤及(b)用于所述CVAEC循环的步骤。
30.一种用于执行自动曝光控制AEC的系统，其包括：
用于在将第一值集应用于一或多个曝光控制参数的同时使用图像传感器捕获场景的第一数字图像的装置；
用于使用来自所述第一数字图像的图像数据执行至少一个计算机视觉CV操作，因此生成从所述第一数字图像提取的第一CV特征集的装置，其中所述第一CV特征集来自可能CV特征集；
用于获得掩模的装置，所述掩模包括所述可能CV特征集中的每一特征的值；
用于使用所述掩模获得从所述第一数字图像中提取的所述第一CV特征集中的相关CV特征的第一丰度度量的装置；及
用于基于相关CV特征的所述第一丰度度量生成经更新值集以应用于用于捕获所述场景的后续数字图像的所述一或多个曝光控制参数的装置。
CN201780039158.1A 2016-07-07 2017-07-06 用于执行自动曝光控制aec的方法、设备、计算机可读媒体及系统 Active CN109417605B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662359624P 2016-07-07 2016-07-07
US62/359,624 2016-07-07
US15/642,303 2017-07-05
US15/642,303 US10375317B2 (en) 2016-07-07 2017-07-05 Low complexity auto-exposure control for computer vision and imaging systems
PCT/US2017/040952 WO2018009701A1 (en) 2016-07-07 2017-07-06 Low complexity auto-exposure control for computer vision and imaging systems

Publications (2)

Publication Number Publication Date
CN109417605A true CN109417605A (zh) 2019-03-01
CN109417605B CN109417605B (zh) 2021-02-26

Family

ID=59656152

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780039158.1A Active CN109417605B (zh) 2016-07-07 2017-07-06 用于执行自动曝光控制aec的方法、设备、计算机可读媒体及系统

Country Status (4)

Country Link
US (1) US10375317B2 (zh)
EP (1) EP3482560B1 (zh)
CN (1) CN109417605B (zh)
WO (1) WO2018009701A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112887593A (zh) * 2021-01-13 2021-06-01 浙江大华技术股份有限公司 图像获取方法及装置
CN114125280A (zh) * 2021-11-15 2022-03-01 北京字跳网络技术有限公司 相机曝光控制方法、装置、设备、存储介质及程序产品

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10630901B2 (en) 2017-05-23 2020-04-21 Google Llc Systems and methods for selectively activating high dynamic range in a video capture system
IT201800003384A1 (it) * 2018-03-08 2019-09-08 Photosi Spa Unipersonale Procedimento di valutazione automatica della qualità di foto digitali
TWI698010B (zh) * 2018-08-09 2020-07-01 大陸商廈門星宸科技有限公司 用以控制影像擷取裝置的電路及相關的控制方法
EP4075790B1 (en) * 2021-04-13 2023-04-05 Axis AB Exposure time control in a video camera
CN115442535B (zh) * 2022-08-07 2023-05-23 西南科技大学 一种工业相机曝光自适应调节的方法
US20240096049A1 (en) * 2022-09-19 2024-03-21 Qualcomm Incorporated Exposure control based on scene depth

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050280869A1 (en) * 2004-06-17 2005-12-22 Fuji Photo Film Co., Ltd. Image correcting apparatus and method, and image correcting program, and look-up table creating apparatus and method, and look-up table creating program
US20090021602A1 (en) * 2007-07-17 2009-01-22 Fujifilm Corporation Auto white balance correction value calculation device, method, program, and image pickup device
US20100165178A1 (en) * 2008-12-31 2010-07-01 Altek Corporation Adjusting method of flash intensity
US20100201848A1 (en) * 2009-02-06 2010-08-12 Canon Kabushiki Kaisha Image capturing apparatus and control method thereof
CN101909150A (zh) * 2009-06-03 2010-12-08 索尼公司 成像设备和成像控制方法
US20120212642A1 (en) * 2009-11-04 2012-08-23 Board Of Regents, The University Of Texas System Adaptive automatic exposure apparatus and method for digital images
US20140218559A1 (en) * 2013-02-07 2014-08-07 Canon Kabushiki Kaisha Image pickup apparatus, image processing apparatus, control method for image pickup apparatus, and image processing method
CN104052905A (zh) * 2013-03-12 2014-09-17 三星泰科威株式会社 用于处理图像的方法和设备
CN104184957A (zh) * 2014-09-17 2014-12-03 中国科学院光电技术研究所 一种适用于空间探测成像的基于自适应预期图像平均亮度的自动曝光控制方法
US20150199559A1 (en) * 2014-01-10 2015-07-16 The Eye Tribe Aps Systems and methods of light modulation in eye tracking devices
US9100572B2 (en) * 2013-05-24 2015-08-04 Xerox Corporation Methods and systems for confidence-based image processing

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8463540B2 (en) * 2005-03-18 2013-06-11 Gatekeeper Systems, Inc. Two-way communication system for tracking locations and statuses of wheeled vehicles
US20090013615A1 (en) * 2005-08-11 2009-01-15 Yugenkaisha Japan Tsusyo Resin Knockdown House
JP4656657B2 (ja) * 2006-07-31 2011-03-23 キヤノン株式会社 撮像装置及びその制御方法
DE102008052930B4 (de) 2008-10-23 2011-04-07 Leuze Electronic Gmbh & Co Kg Bildverarbeitender Sensor
US8570396B2 (en) 2009-04-23 2013-10-29 Csr Technology Inc. Multiple exposure high dynamic range image capture
KR20110043833A (ko) * 2009-10-22 2011-04-28 삼성전자주식회사 퍼지룰을 이용한 디지털 카메라의 다이나믹 레인지 확장모드 결정 방법 및 장치
US9584733B2 (en) * 2010-09-30 2017-02-28 Apple Inc. High dynamic range transition
US8805018B2 (en) 2011-04-11 2014-08-12 Intel Corporation Method of detecting facial attributes
SE1150505A1 (sv) 2011-05-31 2012-12-01 Mobile Imaging In Sweden Ab Metod och anordning för tagning av bilder
JP6259185B2 (ja) * 2012-12-21 2018-01-10 キヤノン株式会社 撮像装置及びその制御方法、プログラム並びに記憶媒体
WO2015131045A1 (en) 2014-02-28 2015-09-03 The Board Of Trustees Of The Leland Stanford Junior University Imaging providing ratio pixel intensity
US9554100B2 (en) 2014-09-30 2017-01-24 Qualcomm Incorporated Low-power always-on face detection, tracking, recognition and/or analysis using events-based vision sensor
US9940533B2 (en) 2014-09-30 2018-04-10 Qualcomm Incorporated Scanning window for isolating pixel values in hardware for computer vision operations

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050280869A1 (en) * 2004-06-17 2005-12-22 Fuji Photo Film Co., Ltd. Image correcting apparatus and method, and image correcting program, and look-up table creating apparatus and method, and look-up table creating program
US20090021602A1 (en) * 2007-07-17 2009-01-22 Fujifilm Corporation Auto white balance correction value calculation device, method, program, and image pickup device
US20100165178A1 (en) * 2008-12-31 2010-07-01 Altek Corporation Adjusting method of flash intensity
US20100201848A1 (en) * 2009-02-06 2010-08-12 Canon Kabushiki Kaisha Image capturing apparatus and control method thereof
CN101909150A (zh) * 2009-06-03 2010-12-08 索尼公司 成像设备和成像控制方法
US20120212642A1 (en) * 2009-11-04 2012-08-23 Board Of Regents, The University Of Texas System Adaptive automatic exposure apparatus and method for digital images
US20140218559A1 (en) * 2013-02-07 2014-08-07 Canon Kabushiki Kaisha Image pickup apparatus, image processing apparatus, control method for image pickup apparatus, and image processing method
CN104052905A (zh) * 2013-03-12 2014-09-17 三星泰科威株式会社 用于处理图像的方法和设备
US9100572B2 (en) * 2013-05-24 2015-08-04 Xerox Corporation Methods and systems for confidence-based image processing
US20150199559A1 (en) * 2014-01-10 2015-07-16 The Eye Tribe Aps Systems and methods of light modulation in eye tracking devices
CN104184957A (zh) * 2014-09-17 2014-12-03 中国科学院光电技术研究所 一种适用于空间探测成像的基于自适应预期图像平均亮度的自动曝光控制方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112887593A (zh) * 2021-01-13 2021-06-01 浙江大华技术股份有限公司 图像获取方法及装置
CN114125280A (zh) * 2021-11-15 2022-03-01 北京字跳网络技术有限公司 相机曝光控制方法、装置、设备、存储介质及程序产品
CN114125280B (zh) * 2021-11-15 2024-02-13 北京字跳网络技术有限公司 相机曝光控制方法、装置、设备、存储介质

Also Published As

Publication number Publication date
US10375317B2 (en) 2019-08-06
CN109417605B (zh) 2021-02-26
EP3482560A1 (en) 2019-05-15
EP3482560B1 (en) 2019-11-06
US20180048829A1 (en) 2018-02-15
WO2018009701A1 (en) 2018-01-11

Similar Documents

Publication Publication Date Title
CN109417605A (zh) 用于计算机视觉及成像系统的低复杂度自动曝光控制
US11847826B2 (en) System and method for providing dominant scene classification by semantic segmentation
CN108322646B (zh) 图像处理方法、装置、存储介质及电子设备
KR101964397B1 (ko) 정보처리장치 및 정보처리방법
CN103222259B (zh) 高动态范围的转换
CN109862282B (zh) 人物图像处理方法和装置
CN111402135A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN108495050A (zh) 拍照方法、装置、终端及计算机可读存储介质
CN107241558B (zh) 曝光处理方法、装置和终端设备
EP1583033A2 (en) Digital cameras with luminance correction
KR20210139450A (ko) 이미지 디스플레이 방법 및 디바이스
WO2019001701A1 (en) APPARATUS AND METHOD FOR IMAGE PROCESSING
JP2011514563A (ja) カメラプロセッサーにおける顔トラッキング
CN110807759A (zh) 照片质量的评价方法及装置、电子设备、可读存储介质
CN110324532A (zh) 一种图像虚化方法、装置、存储介质及电子设备
CN113643214B (zh) 一种基于人工智能的图像曝光校正方法及系统
CN111654643B (zh) 曝光参数确定方法、装置、无人机和计算机可读存储介质
CN111866374A (zh) 图像拍摄方法、装置、云台相机及存储介质
CN111225162B (zh) 图像曝光的控制方法、系统、可读存储介质及摄像设备
CN113824884A (zh) 拍摄方法与装置、摄影设备及计算机可读存储介质
EP3363193B1 (en) Device and method for reducing the set of exposure times for high dynamic range video imaging
JP2019121069A (ja) 画像処理装置、画像処理方法、及びプログラム
CN108769543A (zh) 曝光时间的确定方法及装置
CN111526299A (zh) 一种高动态范围图像合成方法和电子设备
CN111127367A (zh) 人脸图像处理的方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant