CN104284096B - 基于像素强度分布的多目标自动曝光及增益控制的方法及系统 - Google Patents

基于像素强度分布的多目标自动曝光及增益控制的方法及系统 Download PDF

Info

Publication number
CN104284096B
CN104284096B CN201410065903.8A CN201410065903A CN104284096B CN 104284096 B CN104284096 B CN 104284096B CN 201410065903 A CN201410065903 A CN 201410065903A CN 104284096 B CN104284096 B CN 104284096B
Authority
CN
China
Prior art keywords
value
pixel
average intensity
intensity value
percentage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410065903.8A
Other languages
English (en)
Other versions
CN104284096A (zh
Inventor
刘成明
单继璋
吴东晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omnivision Technologies Inc
Original Assignee
Omnivision Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnivision Technologies Inc filed Critical Omnivision Technologies Inc
Publication of CN104284096A publication Critical patent/CN104284096A/zh
Application granted granted Critical
Publication of CN104284096B publication Critical patent/CN104284096B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/743Bracketing, i.e. taking a series of images with varying exposure conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请案涉及一种基于像素强度分布的多目标自动曝光及增益控制的方法及系统。一种基于像素强度分布的多目标自动曝光及增益控制的实例性方法包含用图像传感器捕获一系列数字图像。在捕获所述系列的数字图像时,调整曝光时间及/或增益以调整所述数字图像的平均强度值直到达到目标平均强度值为止。所述方法包含基于每一所捕获数字图像中具有落在强度值范围之外的强度值的像素的相对数目而动态地从多个目标平均强度值选择所述目标平均强度值。

Description

基于像素强度分布的多目标自动曝光及增益控制的方法及 系统
技术领域
本发明大体来说涉及图像传感器,且特定来说(但非排他性地)涉及图像传感器的自动曝光及增益控制。
背景技术
图像传感器已变得普遍存在。其广泛用于数字静态相机、蜂窝式电话、安全相机以及医学、汽车及其它应用中。用以制造图像传感器且特定来说互补金属氧化物半导体(CMOS)图像传感器的技术已不断快速地发展。举例来说,随着数字成像变得更流行,技术努力实现具有更佳分辨率及色彩准确度的图像及视频。
常规CMOS图像传感器通常包含像素阵列,其中每一像素包含将入射光变换成电荷的光电二极管。每一个别像素具有在固定曝光时间内随着光强度的增加而最终饱和的输出。所述光电二极管的饱和可由于称为模糊的效应(其中过量电荷扩散到相邻像素中)而产生不想要的图像涂污。因此,图像传感器的一个目标是实现其中恰当地对物体进行曝光(即,不太亮或不太暗)的图像。常规图像传感器通常提供曝光未经优化的图像。一些常规图像传感器可应用图像获取后算法以允许进一步处理数字图像数据以实现与特定像素相关联的特定色彩及强度。然而,对图像应用的图像获取后校正越多,图像的总体质量就可越多地降级。胶片摄影师已知类似的现象,其认识到可从良好底片制作比在对普通底片应用多个(虽然高级)操纵之后制作的照片更好的照片。
在自动曝光控制的一些常规方法中,确定图像的全部或部分的单个窗的平均强度。所述强度可为照度Y信号或者一个或一个以上色彩通道信号。接着指派预定义目标平均强度(即,所要的固定平均强度)并确定平均强度与目标平均强度之间的差。基于此差而确定曝光校正。然而,使用单个预定义目标平均强度仍可导致图像中存在的太多亮像素及/或太多暗像素,此可使得所述图像的观看不舒适。此外,在计算平均强度时应用图像的部分的单个窗通常导致较不准确的目标强度估计,因为图像的不同部分可具有不同的强度分布。
发明内容
在一个实施例中,本申请案提供一种方法,其包括:用图像传感器捕获一系列数字图像;在捕获所述系列的数字图像时,调整所述图像传感器的选自由曝光时间及增益组成的群组的至少一个参数以调整所述数字图像的平均强度值直到达到目标平均强度值为止;及基于每一所捕获数字图像中具有落在强度值范围之外的强度值的像素的相对数目而从多个目标平均强度值选择所述目标平均强度值。
在另一实施例中,本申请案提供一种包含存储于其上的程序代码的非暂时计算机可读媒体,所述程序代码包括用以进行以下操作的指令:用图像传感器捕获一系列数字图像;在捕获所述系列的数字图像时,调整所述图像传感器的选自由曝光时间及增益组成的群组的至少一个参数以调整所述数字图像的平均强度值直到达到目标平均强度值为止;及基于每一所捕获数字图像中具有落在强度值范围之外的强度值的像素的相对数目而从多个目标平均强度值选择所述目标平均强度值。
在又一实施例中,本申请案提供一种图像传感器,其包括:多个像素;读出电路,其耦合到所述多个像素,用于捕获一系列数字图像;及参数调整器,其耦合到所述读出电路,用于:在捕获所述系列的数字图像时,调整所述图像传感器的选自由曝光时间及增益组成的群组的至少一个参数以调整所述数字图像的平均强度值直到达到目标平均强度值为止;及基于每一所捕获数字图像中具有落在强度值范围之外的强度值的像素的相对数目而从多个目标平均强度值选择所述目标平均强度值。
附图说明
参考以下各图描述本发明的非限制性及非穷尽实施例,其中除非另有规定,否则在所有各个视图中相似参考编号指代相似部件。
图1是图解说明根据本发明的实施例的图像传感器的框图。
图2是图解说明根据本发明的实施例的多目标自动曝光及增益控制的过程的流程图。
图3是图解说明数字图像的像素强度分布的直方图。
图4是图解说明根据本发明的实施例计算数字图像中所包含的像素的平均强度值的过程的流程图。
图5是图解说明根据本发明的实施例被分段成数个区的图像的图,其中每一区具有相关联区权重因子。
图6是图解说明根据本发明的实施例对目标平均强度值的选择的图表。
图7是图解说明根据本发明的实施例对目标平均强度值的选择的流程图。
具体实施方式
本文中描述基于像素强度分布的多目标自动曝光及增益控制的实施例。在以下描述中,陈述众多特定细节以提供对实施例的透彻理解。然而,相关领域的技术人员将认识到,本文中所描述的技术可在不具有所述特定细节中的一者或一者以上的情况下实践或者可借助其它方法、组件、材料等来实践。在其它实例中,未详细展示或描述众所周知的结构、材料或操作以避免使某些方面模糊。
在本说明书通篇中对“一个实施例”或“一实施例”的提及意指结合所述实施例所描述的特定特征、结构或特性包含于本发明的至少一个实施例中。因此,在本说明书通篇的各个位置中短语“在一个实施例中”或“在一实施例中”的出现未必全部指代同一实施例。此外,可在一个或一个以上实施例中以任何适合方式组合所述特定特征、结构或特性。
图1是图解说明根据本发明的实施例的图像传感器100的框图。图像传感器100的所图解说明实施例包含作用区域(即,像素阵列105)、读出电路110、功能逻辑115及控制电路120。
像素阵列105可为背侧或前侧照明式成像像素(例如,像素PD1、...、Pn)的二维阵列。在一个实施例中,每一像素为作用像素传感器(“APS”),例如互补金属氧化物半导体(“CMOS”)成像像素。如所图解说明,每一像素布置到一行(例如,行R1到Ry)及一列(例如,列C1到Cx)中以获取人、地点或物体的图像数据,接着可使用所述图像数据来再现所述人、地点或物体的图像。
在每一像素已获取其图像数据或图像电荷之后,图像数据104由读出电路110读出且传送到功能逻辑115。读出电路110可包含放大电路、模/数转换电路或其它。功能逻辑115可仅存储图像数据104或甚至通过应用图像后效果(例如,剪裁、旋转、移除红眼、调整亮度、调整对比度或其它)来操纵所述图像数据。在一个实施例中,读出电路110可沿着读出位线一次读出一行图像数据(所图解说明)或可使用多种其它技术(未图解说明)读出所述图像数据,例如串行读出或同时全并行读出所有像素。
控制电路120耦合到像素阵列105以控制像素阵列105的操作特性。举例来说,控制电路120可包含用于响应于所获取图像数据104而调整像素阵列105的曝光及/或增益的参数调整器121。如下文将更详细地论述,参数调整器121可在像素阵列105获取一系列数字图像时借助控制信号102调整像素阵列105的曝光及/或增益以便调整每一数字图像的平均强度值直到达到目标平均强度值为止。参数调整器121还可基于每一所捕获数字图像中具有落在强度值范围之外的强度值的像素的相对数目而动态地从数个可能目标平均强度值选择目标平均强度值。在一个实施例中,所述强度值范围包含强度值被确定为既不太亮又不太暗的像素。因此,代替如在一些常规应用中所做的那样使用单个固定目标平均强度值,本发明的实施例使用多个目标平均强度值来避免在图像中积累太多亮像素及/或太多暗像素。因此,在一些实施例中,在完成自动曝光/增益控制之后,后续图像将具有预定义百分比的饱和及/或暗像素。
控制电路120包含用于执行本文中所描述的过程中的任一者的参数调整器121。虽然图1将参数调整器121图解说明为包含于控制电路120中,但其它实施例可包含安置于图像传感器100内别处或甚至与图像传感器100分离且在芯片外的参数调整器。参数调整器121可(但不需要一定)包含一个或一个以上微处理器、嵌入式处理器、控制器、专用集成电路(ASIC)、数字信号处理器(DSP)等。术语处理器描述由系统而非特定硬件实施的功能。此外,如本文中所使用,术语“存储器”指代任何类型的计算机存储媒体(包含长期、短期或与图像传感器100相关联的其它存储器),且将不限制于任何特定存储器类型或存储器数目或存储器存储于其上的媒体的类型。
图2是图解说明根据本发明的实施例的多目标自动曝光及增益控制的过程200的流程图。过程200在框202处开始且立即继续进行到过程框204,其中捕获(例如,由图1的像素阵列105获取)第一数字图像。接下来,在过程框206中,确定所捕获图像中具有落在强度值范围之外的强度值的像素的相对数目。如图2中所展示,此可包含确定所捕获图像中所包含的饱和像素的百分比(即,%SAT)及/或暗像素的百分比(即,%DRK)。
以实例的方式,图3是图解说明实例性所捕获数字图像的像素强度分布的直方图300。如图3中所展示,可将具有在下阈值302与上阈值304之间的范围中的强度值的像素视为具有“正常”或“可接受”强度值的像素。可将具有落在此范围之外的强度值的像素认为是太暗或太亮。也就是说,可将强度值小于下阈值302的像素认为是暗像素,而可将具有大于上阈值304的强度值的像素认为是饱和像素。
因此,在确定饱和像素的百分比时,过程框206可仅计算所捕获图像中所包含的具有大于上阈值304的强度值的像素的百分比。类似地,确定暗像素的百分比可包含计算所捕获图像中所包含的具有小于下阈值302的强度值的像素的百分比。
在一个实施例中,每一像素的强度值为相应像素的照度Y值。在另一实施例中,每一像素的强度值为相应像素的红色(R)值、绿色(G)值及蓝色(B)值中的最大者。在又一实施例中,强度值可为由像素阵列实施的色彩值(例如,红色(R)、蓝色(B)、青色(C)、品红色(M)或黄色(Y))中的任一者。
现在返回参考图2,过程200接着继续进行到过程框208,在过程200的一些反复中,过程框208可基于过程框206的结果而选择目标平均强度值。在一个实施例中,从数个可能目标平均强度值选择所述目标平均强度值。举例来说,本发明的实施例可包含针对具有相对大数目的饱和像素的图像的低目标平均强度值、针对具有相对大数目的暗像素的图像的高目标平均强度值及针对既不具有太多饱和像素也不具有太多暗像素的图像的中目标平均强度值。另外,本文中所揭示的实施例可提供在低目标平均值与中目标平均值之间及也在中目标平均值与高目标平均值之间的额外目标平均强度值。下文将参考图6及7更详细地描述选择目标平均强度值的细节。
接下来,在过程框210中,计算所捕获图像的平均强度值。在一个实施例中,计算平均值仅包含计算图像中所包含的像素的强度值的均值。然而,本发明的实施例可通过对每一像素的强度值应用一个或一个以上加权因子来提供平均强度值的更准确计算。图4是图解说明根据本发明的实施例计算数字图像中所包含的像素的平均强度值的实例性过程400的流程图。过程400是图2的过程框210的一个可能实施方案。
在过程框402中,将数字图像分段成数个相异区。举例来说,图5是图解说明已被分段成数个区(例如,区0-12)的图像的图。虽然图5图解说明被分段成十三(13)个区的图像,但本发明的实施例可包含将图像分段成包含两个或两个以上的任何数目个区。如图5中所展示,每一区具有相关联区权重因子(例如,W0-W12)。在一个实施例中,位于图像的中心附近的区的区权重因子(例如,区权重因子W8)可大于位于图像的外围附近的区的区权重因子(例如,W0)。
接下来,在过程400的过程框404中,第一次用与每一像素位于其中的区相关联的区权重因子(Wi)来对相应像素的强度值(Yi)进行加权。举例来说,将用区权重因子W8对位于图像的中心处或附近的像素的强度值进行加权,而将用区权重因子W0对位于左上角处或附近的像素的强度值进行加权。
在过程框406中,现在第二次对每一像素的强度值进行加权,这次是用基于相应像素的原始(即,未加权)强度值(Yi)而选择的强度权重因子(Mi)进行的。举例来说,可将每一像素的强度值放置到三个强度括号中的一者中,其中将不同强度权重因子指派给不同强度括号。在一个实施例中,如下确定图像的像素i的强度值(Yi)的强度权重因子(Mi):
在一个实施例中,强度权重因子M0(暗像素的强度权重因子)及M2(饱和像素的强度权重因子)大于强度权重因子M1(正常亮度像素的强度权重因子)。换句话说,强度值落在如由图3的下阈值302及上阈值304界定的“正常”或“可接受”强度值的范围之外的像素的强度权重因子大于强度值落在所述范围内的像素的强度权重因子。
接下来,过程400继续进行到过程框408,其中计算经加权强度值的总和。在一个实施例中,可由以下方程式来表示计算平均强度值的过程400:
现在返回参考图2,在于过程框210中计算平均强度值之后,过程200继续进行到决策框212,其中将所计算平均强度值与目标平均强度值进行比较。如果所计算平均强度值不等于目标平均强度值,那么过程200前进到过程框214。在过程框214中,调整图像传感器的参数以调整下一所获取图像的平均强度值。在一个实例中,待调整参数是图像传感器的曝光时间(例如,允许光电子在光电二极管中积累的时间量)。在另一实施例中,待调整参数为应用于图像传感器的每一像素的增益。在又一实施例中,曝光时间及增益两者均为经调整参数。在此实施例中,一旦曝光时间已达到最大值,便可仅增加增益。类似地,在一个实例中,一旦增益已首先减小到一(即,1。0),便可仅减小曝光时间。
在于过程框214中调整图像传感器的参数的情况下,过程200接着返回到过程框204以捕获另一数字图像。如果在决策框212中所计算平均强度值等于目标平均强度值,那么在框216处过程200的自动曝光/增益控制完成。因此,过程200的自动曝光/增益控制包含捕获一系列数字图像及在捕获所述图像时调整曝光及/或增益直到达到目标平均强度值为止。在捕获所述数字图像时,基于每一所捕获图像中所包含的饱和及/或暗像素的百分比而动态地选择目标平均强度值。
举例来说,在饱和像素的百分比大于第一阈值百分比量时,可将目标平均强度值设定为低目标平均强度值。类似地,在暗像素的百分比大于第二阈值百分比量时,可将目标平均强度值设定为高目标平均强度值。如果饱和像素的百分比小于第一百分比量且暗像素的百分比小于第二阈值百分比量,那么可将目标平均强度值设定为中目标平均强度值,其中:
低目标<中目标<高目标 方程式3
图6是图解说明根据本发明的实施例对目标平均强度值的选择的图表600。图表600图解说明出于自动曝光/增益控制的目的可由图像传感器(例如,图像传感器100)承担以在捕获数字图像时选择目标平均强度值的数个动作(例如,动作(A)-(G))。动作(A)图解说明在每一所捕获图像中的饱和像素的百分比超过第一阈值百分比量(TH1)时减小参数(例如,曝光及/或增益)以便在捕获图像时减小所计算平均强度值。如果在减小图像传感器的参数时将所计算平均强度值减小到等于或小于低目标平均强度值,那么在框602中将目标平均强度值设定为低目标平均强度值且自动增益/曝光控制完成。然而,如果在动作(A)中减小参数时,饱和像素的百分比下降到第一阈值百分比量以下(例如,参见决策604),那么图像传感器继续进行到动作(B),其中接着调整所述参数使得平均强度值大致等于中目标平均强度值。如果在处于中目标平均强度值时饱和像素的百分比小于第一阈值量(TH1)且暗像素的百分比小于第二阈值量(TH2),那么框606将目标平均强度值设定为中目标平均强度值且自动增益/曝光控制完成。
在动作(C)中,如果在平均强度值处于中目标平均强度值时饱和像素的百分比大于第一阈值百分比量(TH1),那么图像传感器接着继续进行到动作(e),其中减小图像传感器的参数直到饱和像素的百分比小于第一阈值百分比量,使得平均强度值在低目标平均强度值与中目标平均强度值之间。在框610中,将目标平均强度值设定为在低目标平均强度值与中目标平均强度值之间的值且自动增益/曝光控制完成。
在动作(D)中,如果在平均强度值处于中目标平均强度值时饱和像素的百分比小于第一阈值百分比量但暗像素的百分比大于第二阈值百分比量(TH2),那么图像传感器接着继续进行到动作(F),其中增加参数直到暗像素的百分比下降到第二阈值百分比量(TH2)以下为止。如果在决策框616中确定暗像素的百分比已确实下降到第二阈值百分比量以下,那么在框618中设定目标平均强度值,使得平均强度值在中目标平均强度值与高目标平均强度值之间且自动增益/曝光控制完成。
如果在于动作(F)中增加参数时平均强度值增加到大于或等于高目标平均强度值,那么图像传感器停止增加所述参数,在框614中将目标平均强度值设定为高目标平均强度值且自动增益/曝光控制完成。
图7是图解说明根据本发明的实施例选择目标平均强度值的过程700的流程图。过程700类似于图6的图表600中所图解说明的动作且图解说明出于自动曝光/增益控制的目的可由图像传感器(例如,图像传感器100)承担以在捕获数字图像时选择目标平均强度值的过程。
过程700在框702中开始,其中对数字图像的捕获及分析开始。在决策框704中,将饱和像素的百分比(%SAT)与第一阈值百分比量(TH1)进行比较。如果饱和像素的百分比超过第一阈值百分比量,那么过程700继续进行到过程框706,其中减小图像传感器的曝光及/或增益。在决策框708中,接着将下一所捕获图像的所计算平均强度值与低目标平均强度值进行比较。如果所计算平均强度值小于或等于低目标平均强度值,那么过程700在过程框710中结束,其中设定图像传感器的参数使得平均强度值大致等于低目标平均强度值。如果在决策框708中所计算平均强度值尚未达到低目标平均强度值,那么过程700返回到决策框704以再次将饱和像素的百分比与第一阈值百分比量(TH1)进行比较。如果由于在框706中减小参数饱和像素的百分比下降到第一阈值百分比量以下,那么过程700继续进行到过程框712,其中调整曝光及/或增益以便将平均强度值设定为中目标平均强度值。在框712中对曝光及/或增益的调整可包含增加曝光及/或增益或者其可包含减小曝光及/或增益,此取决于决策框704中的平均强度值是大于还是小于中目标平均强度值。
接下来,在决策框714中,在将平均强度值设定为中目标平均强度值的情况下,再次将饱和像素的百分比与第一阈值百分比量进行比较。如果饱和像素的百分比仍小于第一阈值百分比量,那么决策框716将暗像素的百分比(%DRK)与第二阈值百分比量(TH2)进行比较。如果饱和像素及暗像素的百分比两者小于其相应阈值百分比量,那么过程700在过程框718中结束,其中设定图像传感器的参数使得平均强度值大致等于中目标平均强度值。
如果在决策框714中确定将平均强度值设定为中目标平均强度值导致了饱和像素的百分比上升到第一阈值百分比量以上,那么过程框720及决策框722减小曝光及/或增益直到饱和像素的百分比下降到第一阈值百分比量以下为止。当在决策框722中饱和像素的百分比下降到阈值百分比量以下时,过程700接着在过程框724中结束,其中设定图像传感器的参数使得平均强度值在低目标平均强度值与中目标平均强度值之间。
现在返回到决策框716,如果在平均强度值处于中目标平均强度值时且暗像素的百分比超过第二阈值百分比量,那么过程700接着继续进行到过程框726以开始增加曝光及/或增益。过程框726、决策框728及决策框730包含增加图像传感器的曝光及/或增益直到暗像素的百分比下降到第二阈值百分比量以下为止(即,决策框728)或直到所计算平均强度值大于或等于高目标平均强度值为止(即,决策框730)。
如果在借助框726增加曝光及/或增益时暗像素的百分比下降到第二阈值百分比量以下,那么过程700在过程框734中结束,其中设定图像传感器的参数使得平均强度值在中目标平均强度值与高目标平均强度值之间。类似地,如果在增加曝光及/或增益时所计算平均强度值达到或超过高目标平均强度值,那么过程700在过程框732中结束,其中设定图像传感器的参数使得平均强度值大致等于高目标平均强度值。
取决于应用,本文中所描述的过程可通过各种手段来实施。举例来说,可在硬件、固件、软件或其任何组合中实施这些过程。对于硬件实施方案,处理单元可实施于一个或一个以上专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、其它经设计以执行本文中所描述的功能的电子单元或其组合内。
对于固件及/或软件实施方案,可用执行本文中所描述的功能的模块(例如,程序、函数等)来实施所述过程。可使用有形地体现指令的任何计算机可读媒体来实施本文中所描述的过程。举例来说,程序代码可存储于图像传感器100(图1)中且由处理器执行。存储器可实施于图像传感器内或其外部。
如果实施于固件及/或软件中,那么可将功能作为一个或一个以上指令或代码存储于计算机可读媒体上。实例包含编码有数据结构的非暂时计算机可读媒体及编码有计算机程序的计算机可读媒体。计算机可读媒体包含物理计算机存储媒体。存储媒体可为可由计算机存取的任何可用媒体。以实例而非限制的方式,此计算机可读媒体可包括RAM、ROM、快闪存储器、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置或者可用于存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体;如本文中所使用,磁盘及光盘包含压缩光盘(CD)、激光盘、光盘、数字多功能光盘(DVD)、软盘及蓝光盘,其中磁盘通常以磁性方式再现数据而光盘借助激光以光学方式再现数据。以上各项的组合也应包含在计算机可读媒体的范围内。
过程框中的一些或全部过程框在上文所论述的每一过程中出现的次序不应被视为限制性的。而是,受益于本发明的所属领域的一股技术人员将理解,可以未图解说明的多种次序执行所述过程框中的一些过程框。
所属领域的技术人员将进一步了解,结合本文中所揭示的实施例所描述的各种说明性逻辑块、模块、引擎、电路及算法步骤可实施为电子硬件、计算机软件或两者的组合。为了清楚地图解说明硬件与软件的此可互换性,上文已大体就其功能性来描述了各种说明性组件、块、模块、引擎、电路及步骤。此功能性是实施为硬件还是软件取决于特定应用及强加给总体系统的设计约束。所属领域的技术人员可针对每一特定应用以变化的方式实施所描述的功能性,但此类实施方案决策不应解释为导致从本发明的范围的脱离。

Claims (23)

1.一种自动曝光及增益控制方法,其包括:
用图像传感器捕获一系列数字图像;
基于每一所捕获数字图像中具有落在强度值范围之外的强度值的像素的相对数目而从多个目标平均强度值选择目标平均强度值;
在捕获所述数字图像时计算每一数字图像中所包含的像素的平均强度值,其中计算数字图像中所包含的所述像素的所述平均强度值包括:
将所述数字图像分段成多个区,其中所述多个区中的每一者具有相关联区权重因子;和
通过对每一像素的强度值应用与相应像素位于其中的区相关联的区权重因子来提供所述平均强度值;及
在捕获所述系列的数字图像时,调整所述图像传感器的选自由曝光时间及增益组成的群组的至少一个参数以调整所述数字图像的所述平均强度值直到达到所述目标平均强度值为止。
2.根据权利要求1所述的方法,其中计算数字图像中所包含的所述像素的所述平均强度值进一步包括:
第一次用与每一像素位于其中的所述区相关联的所述区权重因子对相应像素的所述强度值进行加权;
第二次用基于每一像素的所述强度值而选自多个强度权重因子的强度权重因子对相应像素的所述强度值进行加权;及
计算所述像素的经加权强度值的总和。
3.根据权利要求2所述的方法,其中按下式来计算所述平均强度值:
<mfrac> <mrow> <mi>&amp;Sigma;</mi> <mrow> <mo>(</mo> <mi>W</mi> <mi>i</mi> <mo>*</mo> <mi>M</mi> <mi>i</mi> <mo>*</mo> <mi>Y</mi> <mi>i</mi> <mo>)</mo> </mrow> </mrow> <mrow> <mi>&amp;Sigma;</mi> <mrow> <mo>(</mo> <mi>W</mi> <mi>i</mi> <mo>*</mo> <mi>M</mi> <mi>i</mi> <mo>)</mo> </mrow> </mrow> </mfrac>
其中Wi为相应像素的所述区权重因子,Mi为相应像素的所述强度权重因子,且Yi为相应像素的所述强度值。
4.根据权利要求2所述的方法,其中强度值落在所述强度值范围之外的像素的所述强度权重因子大于强度值落在所述强度值范围内的像素的所述强度权重因子。
5.根据权利要求1所述的方法,其中选择所述目标平均强度值包括,在捕获每一数字图像时,针对所述每一数字图像:
确定所述数字图像中具有大于所述强度值范围的上阈值的强度值的像素的第一百分比;及
如果所述第一百分比大于第一阈值百分比量,那么将所述目标平均强度值设定为选自所述多个目标平均强度值的第一值。
6.根据权利要求5所述的方法,其中选择所述目标平均强度值进一步包括,在捕获每一数字图像时,针对所述每一数字图像:
确定所述数字图像中具有小于所述强度值范围的下阈值的强度值的像素的第二百分比;及
如果所述第二百分比大于第二阈值百分比量,那么将所述目标平均强度值设定为选自所述多个目标平均强度值的第二值。
7.根据权利要求6所述的方法,其中选择所述目标平均强度值进一步包括,在捕获每一数字图像时,针对所述每一数字图像:如果所述第一百分比小于所述第一阈值百分比量且所述第二百分比小于所述第二阈值百分比量,那么将所述目标平均强度值设定为选自所述多个目标平均强度值的第三值。
8.根据权利要求7所述的方法,其中选自所述多个目标平均强度值的所述第一值小于所述第二值且其中所述第三值在所述第一值与所述第二值之间。
9.根据权利要求1所述的方法,其中调整所述图像传感器的所述至少一个参数包括:
(a)在每一所捕获数字图像中的饱和像素的第一百分比超过第一阈值百分比量时减小所述至少一个参数,直到所述平均强度值小于或等于低目标平均强度值为止;
(b)如果在于步骤(a)中减小所述至少一个参数时饱和像素的所述第一百分比下降到所述第一阈值百分比量以下,那么调整所述至少一个参数使得所述平均强度值大致等于中目标平均强度值;
(c)如果在所述平均强度值处于所述中目标平均强度值时饱和像素的所述第一百分比大于所述第一阈值百分比量,那么减小所述至少一个参数直到饱和像素的所述第一百分比小于所述第一阈值百分比量为止,使得所述平均强度值在所述低目标平均强度值与所述中目标平均强度值之间;
(d)如果在所述平均强度值处于所述中目标平均强度值时饱和像素的所述第一百分比小于所述第一阈值百分比量且暗像素的第二百分比大于第二阈值百分比量,那么增加所述至少一个参数直到暗像素的所述第二百分比小于所述第二阈值百分比量为止,使得所述平均强度值在所述中目标平均强度值与高目标平均强度值之间;及
(e)如果在于步骤(d)中增加所述至少一个参数时所述平均强度值增加到大于或等于所述高目标平均强度值,那么停止所述至少一个参数的所述增加。
10.根据权利要求1所述的方法,其中每一像素的所述强度值为相应像素的照度Y值。
11.根据权利要求1所述的方法,其中每一像素的所述强度值为相应像素的红色(R)值、绿色(G)值及蓝色(B)值中的最大者。
12.一种包含存储于其上的程序代码的非暂时计算机可读媒体,所述程序代码包括用以进行以下操作的指令:
用图像传感器捕获一系列数字图像;
基于每一所捕获数字图像中具有落在强度值范围之外的强度值的像素的相对数目而从多个目标平均强度值选择目标平均强度值;
在捕获所述数字图像时计算每一数字图像中所包含的像素的所述平均强度值的指令,其中计算所述平均强度值包含:
将所述数字图像分段成多个区,其中所述多个区中的每一者具有相关联区权重因子;和
通过对每一像素的强度值应用与相应像素位于其中的区相关联的区权重因子来提供所述平均强度值;及
在捕获所述系列的数字图像时,调整所述图像传感器的选自由曝光时间及增益组成的群组的至少一个参数以调整所述数字图像的所述平均强度值直到达到所述目标平均强度值为止。
13.根据权利要求12所述的计算机可读媒体,其中计算所述平均强度值进一步包含:
第一次用与每一像素位于其中的所述区相关联的所述区权重因子对相应像素的所述强度值进行加权;
第二次用基于每一像素的所述强度值而选自多个强度权重因子的强度权重因子对相应像素的所述强度值进行加权;及
计算所述像素的经加权强度值的总和。
14.根据权利要求12所述的计算机可读媒体,其中所述用以选择所述目标平均强度值的指令包括用以在捕获每一数字图像时针对所述每一数字图像进行以下操作的指令:
确定所述数字图像中具有大于所述强度值范围的上阈值的强度值的像素的第一百分比;及
如果所述第一百分比大于第一阈值百分比量,那么将所述目标平均强度值设定为选自所述多个目标平均强度值的第一值。
15.根据权利要求14所述的计算机可读媒体,其中所述用以选择所述目标平均强度值的指令进一步包括用以在捕获每一数字图像时针对所述每一数字图像进行以下操作的指令:
确定所述数字图像中具有小于所述强度值范围的下阈值的强度值的像素的第二百分比;及
如果所述第二百分比大于第二阈值百分比量,那么将所述目标平均强度值设定为选自所述多个目标平均强度值的第二值。
16.根据权利要求15所述的计算机可读媒体,其中所述用以选择所述目标平均强度值的指令进一步包括用以在捕获每一数字图像时针对所述每一数字图像进行以下操作的指令:如果所述第一百分比小于所述第一阈值百分比量且所述第二百分比小于所述第二阈值百分比量,那么将所述目标平均强度值设定为选自所述多个目标平均强度值的第三值。
17.根据权利要求16所述的计算机可读媒体,其中选自所述多个目标平均强度值的所述第一值小于所述第二值且其中所述第三值在所述第一值与所述第二值之间。
18.一种图像传感器,其包括:
多个像素;
读出电路,其耦合到所述多个像素,用于捕获一系列数字图像;及
参数调整器,其耦合到所述读出电路,用于基于每一所捕获数字图像中具有落在强度值范围之外的强度值的像素的相对数目而从多个目标平均强度值选择目标平均强度值,
其中所述参数调整器包括用于在捕获所述数字图像时计算每一数字图像中所包含的像素的平均强度值的平均强度计算器,其中计算所述平均强度值包含:
将所述数字图像分段成多个区,其中所述多个区中的每一者具有相关联区权重因子;和
通过对每一像素的强度值应用与相应像素位于其中的区相关联的区权重因子来提供所述平均强度值,且
其中所述参数调整器进一步用于在捕获所述系列的数字图像时,调整所述图像传感器的选自由曝光时间及增益组成的群组的至少一个参数以调整所述数字图像的所述平均强度值直到达到所述目标平均强度值为止。
19.根据权利要求18所述的图像传感器,其中计算所述平均强度值进一步包含:
第一次用与每一像素位于其中的所述区相关联的所述区权重因子对相应像素的所述强度值进行加权;
第二次用基于每一像素的所述强度值而选自多个强度权重因子的强度权重因子对相应像素的所述强度值进行加权;及
计算所述像素的经加权强度值的总和。
20.根据权利要求18所述的图像传感器,其中从多个目标平均强度值选择所述目标平均强度值包含:
确定所述数字图像中具有大于所述强度值范围的上阈值的强度值的像素的第一百分比;及
如果所述第一百分比大于第一阈值百分比量,那么将所述目标平均强度值设定为选自所述多个目标平均强度值的第一值。
21.根据权利要求20所述的图像传感器,其中从多个目标平均强度值选择所述目标平均强度值进一步包含:
确定所述数字图像中具有小于所述强度值范围的下阈值的强度值的像素的第二百分比;及
如果所述第二百分比大于第二阈值百分比量,那么将所述目标平均强度值设定为选自所述多个目标平均强度值的第二值。
22.根据权利要求21所述的图像传感器,其中从多个目标平均强度值选择所述目标平均强度值进一步包含:如果所述第一百分比小于所述第一阈值百分比量且所述第二百分比小于所述第二阈值百分比量,那么将所述目标平均强度值设定为选自所述多个目标平均强度值的第三值。
23.根据权利要求22所述的图像传感器,其中选自所述多个目标平均强度值的所述第一值小于所述第二值且其中所述第三值在所述第一值与所述第二值之间。
CN201410065903.8A 2013-07-02 2014-02-26 基于像素强度分布的多目标自动曝光及增益控制的方法及系统 Active CN104284096B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/933,674 US8982238B2 (en) 2013-07-02 2013-07-02 Multi-target automatic exposure and gain control based on pixel intensity distribution
US13/933,674 2013-07-02

Publications (2)

Publication Number Publication Date
CN104284096A CN104284096A (zh) 2015-01-14
CN104284096B true CN104284096B (zh) 2018-01-05

Family

ID=52132569

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410065903.8A Active CN104284096B (zh) 2013-07-02 2014-02-26 基于像素强度分布的多目标自动曝光及增益控制的方法及系统

Country Status (4)

Country Link
US (1) US8982238B2 (zh)
CN (1) CN104284096B (zh)
HK (1) HK1206178A1 (zh)
TW (1) TWI549508B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103996382B (zh) * 2014-05-07 2016-04-20 成都京东方光电科技有限公司 提高rgbw图像饱和度的方法及系统
JP5901814B1 (ja) * 2015-03-25 2016-04-13 日本分光株式会社 顕微分光装置
TWI594635B (zh) * 2016-01-14 2017-08-01 瑞昱半導體股份有限公司 產生寬動態範圍運算的目標增益值的方法
US10154234B2 (en) 2016-03-16 2018-12-11 Omnivision Technologies, Inc. Image sensor with peripheral 3A-control sensors and associated imaging system
US9871972B2 (en) * 2016-06-21 2018-01-16 Himax Imaging Limited Auto exposure control system and method
US10880504B2 (en) * 2016-12-27 2020-12-29 Canon Kabushiki Kaisha Image pickup device, image capturing system, and movable body
CN107707846B (zh) * 2017-10-12 2020-08-18 深圳怡化电脑股份有限公司 一种cis参数校正方法、装置、设备及存储介质
JP2020022034A (ja) * 2018-07-31 2020-02-06 キヤノン株式会社 撮像素子、撮像装置および制御方法
WO2020107291A1 (zh) * 2018-11-28 2020-06-04 深圳市大疆创新科技有限公司 拍摄方法、装置及无人机
WO2021061112A1 (en) 2019-09-25 2021-04-01 Google Llc Gain control for face authentication
WO2021066839A1 (en) 2019-10-04 2021-04-08 Google Llc Autocalibration for multiple cameras using near-infrared illuminators
KR20210055849A (ko) 2019-11-07 2021-05-18 삼성전자주식회사 전자 장치 및 그 제어 방법
DE102020215412A1 (de) 2020-12-07 2022-06-09 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Kalibrieren einer Kamera und Kamera

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7605852B2 (en) 2004-05-17 2009-10-20 Micron Technology, Inc. Real-time exposure control for automatic light control
JP4556722B2 (ja) 2004-05-31 2010-10-06 コニカミノルタホールディングス株式会社 撮像装置
JP4483744B2 (ja) 2005-08-26 2010-06-16 ソニー株式会社 撮像装置及び撮像制御方法
JP4424292B2 (ja) * 2005-09-28 2010-03-03 ソニー株式会社 撮像装置、露出制御方法およびプログラム
US7725022B2 (en) * 2006-08-22 2010-05-25 Qualcomm Incorporated Dynamic automatic exposure compensation for image capture devices
US8165416B2 (en) 2007-06-29 2012-04-24 Microsoft Corporation Automatic gain and exposure control using region of interest detection
CN101803366B (zh) 2007-07-25 2015-01-14 坎德拉微系统(S)私人有限公司 用于成像系统的曝光控制
FR2924514B1 (fr) * 2007-11-29 2010-08-20 St Microelectronics Sa Correction de bruit d'image.
TWI374400B (en) 2008-06-11 2012-10-11 Vatics Inc Method for auto-exposure control
US8922704B2 (en) * 2010-09-01 2014-12-30 Apple Inc. Techniques for collection of auto-focus statistics
US8760538B2 (en) * 2011-01-21 2014-06-24 Exelis, Inc. Adaptive gain control image processing system and method
US8836851B2 (en) 2011-06-01 2014-09-16 Apple Inc. Automatic exposure control based on multiple regions
CN102291538A (zh) * 2011-08-17 2011-12-21 浙江博视电子科技股份有限公司 摄像机的自动曝光方法及控制装置
JP5948073B2 (ja) * 2012-02-08 2016-07-06 株式会社 日立産業制御ソリューションズ 画像信号処理装置、画像信号処理方法
US9172889B2 (en) * 2012-02-09 2015-10-27 Semiconductor Components Industries, Llc Imaging systems and methods for generating auto-exposed high-dynamic-range images

Also Published As

Publication number Publication date
US20150009361A1 (en) 2015-01-08
TW201503694A (zh) 2015-01-16
TWI549508B (zh) 2016-09-11
CN104284096A (zh) 2015-01-14
HK1206178A1 (zh) 2015-12-31
US8982238B2 (en) 2015-03-17

Similar Documents

Publication Publication Date Title
CN104284096B (zh) 基于像素强度分布的多目标自动曝光及增益控制的方法及系统
EP2987135B1 (en) Reference image selection for motion ghost filtering
US8390736B2 (en) Shooting parameter adjustment method for face detection and image capturing device for face detection
EP2775719B1 (en) Image processing device, image pickup apparatus, and storage medium storing image processing program
US8094211B2 (en) Method and apparatus for obtaining image using entropy
CN104519328B (zh) 图像处理设备、图像捕捉装置和图像处理方法
US8013907B2 (en) System and method for adaptive local white balance adjustment
US20110279710A1 (en) Apparatus and method for automatically controlling image brightness in image photographing device
US10298853B2 (en) Image processing apparatus, method of controlling image processing apparatus, and imaging apparatus
US9916644B1 (en) Ghost artifact removal system and method
CN110365920B (zh) 图像处理
CN101800857A (zh) 摄像设备及其控制方法
CN102300049A (zh) 图像信号处理装置
EP3363193B1 (en) Device and method for reducing the set of exposure times for high dynamic range video imaging
JP2007036438A (ja) 撮像装置における色判別方法及び装置並びに撮像装置の露出制御方法
KR20110125154A (ko) 이미지 촬영 장치의 밝기를 자동으로 조절하는 장치 및 방법
JP2019029833A (ja) 撮像装置
US20220174201A1 (en) Apparatus, method for controlling apparatus, and storage medium
WO2022198396A1 (zh) 曝光控制方法及装置
US20210144351A1 (en) Image processing method based on sensor characteristics
US7881595B2 (en) Image stabilization device and method
JP6188360B2 (ja) 画像処理装置、その制御方法、および制御プログラム、並びに判別装置
CN112819872B (zh) 基于感测器特性的影像处理方法
KR20110047540A (ko) 디지털 카메라 및 그 제어방법
JP2011130226A (ja) 画像処理装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1206178

Country of ref document: HK

CB02 Change of applicant information

Address after: American California

Applicant after: OmniVision Technologies, Inc.

Address before: American California

Applicant before: Omnivision Tech Inc.

COR Change of bibliographic data
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1206178

Country of ref document: HK