CN101889435B - 照相机闪光模块及其控制方法 - Google Patents

照相机闪光模块及其控制方法 Download PDF

Info

Publication number
CN101889435B
CN101889435B CN2008801197556A CN200880119755A CN101889435B CN 101889435 B CN101889435 B CN 101889435B CN 2008801197556 A CN2008801197556 A CN 2008801197556A CN 200880119755 A CN200880119755 A CN 200880119755A CN 101889435 B CN101889435 B CN 101889435B
Authority
CN
China
Prior art keywords
pixel
difference images
flash
test pattern
photoflash lamp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008801197556A
Other languages
English (en)
Other versions
CN101889435A (zh
Inventor
P·特里维廉
A·埃瓦诺夫
E·基里洛夫
I·瓦西列夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN101889435A publication Critical patent/CN101889435A/zh
Application granted granted Critical
Publication of CN101889435B publication Critical patent/CN101889435B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • G03B15/03Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05Combinations of cameras with electronic flash apparatus; Electronic flash units
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091Digital circuits
    • G03B7/097Digital circuits for control of both exposure time and aperture
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/16Control of exposure by setting shutters, diaphragms or filters, separately or conjointly in accordance with both the intensity of the flash source and the distance of the flash source from the object, e.g. in accordance with the "guide number" of the flash bulb and the focusing of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/75Circuitry for compensating brightness variation in the scene by influencing optical camera components

Abstract

一种用于控制照相机闪光灯的自动曝光算法,其使用图像处理来标识受到闪光灯影响的图像的重要区域,同时忽视高度反射/照明区域,并且使用ND过滤器来使得在高度反射场景情况下的闪光灯触发线性化。照相机闪光灯由两个阶段中的自动曝光算法来控制:预闪光阶段,之后是主闪光阶段。在预闪光阶段,在关于曝光时间、增益、光圈和分辨率方面的相同照相机设置下捕获两个图像。一个图像是在具有闪光灯的情况下捕获的并且一个是在没有闪光灯的情况下捕获的。根据这两个图像之差,使用参考像素来确定主闪光阶段中的闪光强度。

Description

照相机闪光模块及其控制方法
技术领域
本发明总体上涉及照相机闪光模块,并且更具体地涉及通过自动曝光算法控制的照相机闪光模块。
背景技术
当在不充分的环境光下拍摄图片时,诸如在完全黑暗中或在低光中,通常使用照相机闪光灯。而且,即使在环境光不太低的时候,照相机闪光灯也可以用于补光目的。尽管诸如氙气闪光灯这样的照相机闪光灯可以提供高强度的光源以便照亮大距离的场景,但是无法容易地控制它们来产生一致的光量。已知可以通过控制触发脉冲的宽度来增加或减少由氙气闪光灯产生的光量。当脉冲宽度短时,闪光强度可以明显变化。因而,有利的是,提供一种用于控制照相机闪光灯以便改进闪光强度的可重复性的方法。
发明内容
本发明涉及一种用于控制照相机闪光灯的自动曝光算法。该算法使用图像处理来标识受到闪光灯影响的图像的重要区域,同时忽视高度反射/照明区域,并且使用ND过滤器来使得在高度反射场景情况下的闪光触发线性化。
根据本发明,在拍摄图片过程中使用照相机闪光灯是由两个阶段中的自动曝光算法来控制的:预闪光阶段,之后是主闪光阶段。在预闪光阶段,来自预览时段期间的图像的图像数据也被自动曝光算法用于控制照相机闪光照度。通过调整被应用到照相机闪光灯的触发脉冲的宽度以及通过使用光圈(iris)或中性密度过滤器,闪光照度或强度可以从最小强度调整到最大强度。
在预闪光阶段,在关于曝光时间、增益、光圈和分辨率方面相同的照相机设置下捕获两个图像。被称为暗图像的一个图像是在没有使用闪光灯的情况下捕获的。被称为min_flash(最小_闪光)图像的另一图像是在最小闪光强度的情况下捕获的。这两个预闪光阶段图像的曝光时间是通过在预览时段期间所获得的场景的平均亮度来确定的。这防止了预闪光阶段图像被过度曝光。
预闪光阶段图像含有与以下内容有关的信息:在最小强度情况下闪光灯的影响以及环境照度。该信息被自动曝光算法用于控制在主闪光阶段中的闪光强度。特别地,通过从min_flash图像中减去暗图像而获得差别图像。因为min_flash图像与暗图像的不同之处仅在于闪光灯的使用,所以该差别图像主要含有受到闪光灯影响的区域。通过搜索该差别图像中具有最大值的像素来评估该影响。该特定像素(称为重要像素)被认为是受到预闪光阶段中的闪光灯使用影响最多的物体的一部分。在两个预闪光阶段图像中的重要像素的亮度用于估计主闪光阶段中的适当闪光强度。如果在min_flash图像中的一些像素有可能是镜面反射的结果,则自动曝光算法将不考虑这些像素。此外,还将消除属于小物体的像素。
使用查找表,例如,可以确定用于捕获主闪光阶段图像的主闪光强度和曝光、增益和光圈。
因而,本发明的第一方面是一种用于使用自动曝光算法来控制闪光强度的方法。该方法包括:
在不使用闪光灯的情况下捕获第一测试图像;
使用具有预定强度的闪光灯来捕获第二测试图像,其中,所述预定强度是最小强度;
获得指示所述第二测试图像与所述第一测试图像之差的差别图像,其中,所述差别图像包括多个差别图像像素,每个差别图像像素具有一像素值;
标识所述差别图像像素当中的参考像素,其中,所述第一测试图像包括与所述参考像素相对应的第一测试像素,并且所述第二测试图像包括与所述参考像素相对应的第二测试像素,其中,至少部分地基于所述差别图像像素当中的最高像素值来标识所述参考像素;以及
至少部分地基于第一测试像素的像素值和第二测试像素的像素值来计算由闪光灯用于后续图像捕获的照明量。
根据本发明的各种实施例,在标识所述参考像素之前,期望移除一些所述差别图像像素,诸如属于比预定尺寸要小的物体的像素以及属于反射物体的像素。
根据本发明的各种实施例,计算了照相机设置,包括闪光灯的曝光时间和预定强度,用于所述第一测试图像和所述第二测试图像的捕获。特别地,一个或多个预览图像的平均亮度被用于确定闪光灯的预定强度,从而使得所述第二测试图像的平均亮度在预定范围之内,以便防止所述第二测试图像曝光不足或过度曝光。
根据本发明的各种实施例,通过由具有脉冲宽度的触发脉冲使得闪光灯提供闪光强度,可获得由所述闪光灯用于后续图像捕获的照明量,其中当所述脉冲宽度小于预定值时,所述脉冲宽度被增加,并且通过使用中性密度过滤器或光圈来相应地减少闪光强度,以便维持所述闪光灯的照明量或者保持增益与强度减少因子的比率。
根据本发明的各种实施例,在确定所述闪光灯的照明量之前,移除了在第一测试图像中的正确照明区域以及在第二测试图像中的校正区域,其中,通过在第一测试图像中确定具有处在特定预定范围之内的像素值的区域,标识所述正确照明区域。
本发明的第二方面是一种计算机可读存储介质,其中嵌入了用于在照相机中使用的软件程序,其中,所述软件程序包括用于执行用于使用自动曝光算法来控制闪光强度的方法的编程代码。
本发明的第三方面是一种用于在照相机中使用的闪光模块,该模块适于控制照相机闪光灯。所述模块包括:
用于触发所述照相机闪光灯的机构;以及
处理器,所述处理器被布置以便从所述照相机接收图像数据,其中所述处理器适于执行:
在没有使用所述照相机闪光灯的情况下捕获第一测试图像;
使用具有预定强度的所述照相机闪光灯捕获第二测试图像;
获得指示所述第二测试图像与所述第一测试图像之差的差别图像,其中,所述差别图像包括多个差别图像像素,每个差别图像像素具有像素值;
标识所述差别图像像素当中的参考像素,其中,所述第一测试图像包括与所述参考像素相对应的第一测试像素,并且所述第二测试图像包括与所述参考像素相对应的第二测试像素;以及
至少部分地基于所述第一测试像素的像素值和所述第二测试像素的像素值来计算由闪光灯用于后续图像捕获的照明量。
根据本发明的各种实施例,所述处理器包括软件程序,所述软件程序具有用于执行获得、标识和计算任务的编程代码。
本发明的第四方面是一种具有如上所述的闪光模块的照相机。
在阅读了结合图1至图4所进行的描述时,本发明将变得显而易见。
附图说明
图1是根据本发明实施例的示出了照相机闪光模块的框图。
图2是图示了确定用于捕获预闪光图像的照相机设置的步骤的流程图。
图3是图示了确定用于捕获主闪光图像的照相机设置的步骤的流程图。
图4示出了在移除边界像素和小物体像素中使用的示例性过滤器。
具体实施方式
本发明涉及控制在拍摄图片时由照相机闪光灯所提供的光量。如图1所示,照相机闪光灯20由电源22供电,并且通过由触发控件24所提供的触发脉冲来触发。诸如机械光圈或中性密度(ND)滤光片26这样的闪光强度衰减器或缩减器可以放置在照相机闪光灯20前面以减少闪光强度。例如,曝光控制模块40具有嵌入到计算机可读存储介质中的软件程序42,以便实现基于环境光、自然场景和拍摄模式的闪光强度控制算法。例如,无论是否有闪光灯,光传感器30都可以用于检测场景亮度。另外,在自动曝光计算中使用来自照相机60的图像数据。通常,照相机60具有成像传感器64以及一个或多个镜头62,以便在成像传感器64上形成图像。在将图像数据提供给曝光控制模块40之前,来自成像传感器64的图像数据以受控方式被读出并由图像数据处理器50来处理。
根据本发明,可以通过触发脉冲的宽度来部分地控制照相机闪光灯照度。例如,触发脉冲的宽度可以是5μs到250μs。当脉冲宽度小时,氙气闪光灯的闪光强度可能不太精确。这意味着,当脉冲宽度小时,强度可以在相同脉冲宽度的情况下明显地变化。在本发明的一个实施例中,中性密度过滤器被放置在照相机闪光灯前面以便衰减闪光强度。同时,脉冲宽度成比例地增加以便补偿该衰减。例如,如果中性密度过滤器允许五分之一的闪光灯光线通过,并且由曝光控制模块40计算的触发脉冲的目标脉冲宽度是5μs,则脉冲宽度将被增加到25μs。具有25μs脉冲宽度的闪光强度的变化是非常小的,并且因而该闪光灯照度更为精确并且可重复。当不需要衰减闪光强度时,将中性密度过滤器从照明路径上移出。
类似地,孔径或机械光圈还可以用于减少到达该场景的闪光灯的光量。与具有固定衰减因子的中性密度过滤器不同,光圈还将影响景深并且衰减可能影响在宏观情形下所拍摄的图片的光。因而,当所计算的脉冲宽度超过特定级别时可以将光圈开大,从而使得光圈对闪光强度没有影响。而且,可以使用较小尺寸光圈的尺寸,从而使得强度减少因子可以随所计算的脉冲宽度而变化。例如,如果所计算的脉冲宽度是5μs,则可以调整光圈,从而使得仅允许闪光灯光线的五分之一到达该场景。但是当所计算的脉冲宽度是10μs时,可以选择另一光圈,从而使得闪光灯光线的五分之二将到达该场景。如此,在这两种情况下的“被增加的”脉冲宽度可以与在25μs处的相同,但是具有不同的景深。
由曝光控制处理器40进行的对脉冲宽度的计算是以环境光为基础并且由于预闪光而受到场景上的反射率的影响。在预闪光阶段中估计该场景上受到闪光灯的影响,并且在预览时段中,在预闪光阶段之前收集关于环境光的信息。预闪光阶段之后就是主闪光阶段,在主闪光阶段中,基于所计算的脉冲宽度来触发照相机闪光灯,以便允许用户拍摄“正常的”高分辨率图片。
当用户在拍摄图片(图像捕获)之前预览场景时,收集关于环境光的信息。在预览期间,例如,在取景器显示器上显示在成像传感器上形成的图像。例如,使用图像数据处理器50内的统计模块,可以在逐帧的基础上动态地访问这些“预览”图像,以便确定场景的平均亮度。在预览期间,自动聚焦(AF)算法用于估计该场景中的(一个或多个)目标物体的近似距离。为了有效地收集信息,例如,使用低分辨率图像。此外,可以预先确定用于预览图像的曝光时间。
基于从预览图像收集的信息,可以确定总曝光、在图像数据上的模拟增益,以及光圈的尺寸,从而使得它们可以用于拍摄预闪光阶段图像。在预闪光阶段中,捕获没有闪光灯情况下所捕获的暗图像以及在最小闪光强度情况下所捕获的min_flash图像。例如,根据这两个预闪光阶段图像,通过减法可以获得差别图像。
可能的是,该场景具有将闪光灯光线反射回照相机的一些反射表面。例如,在该场景中的人可能佩戴反射闪光灯光线的眼镜。如果在计算目标闪光强度时考虑了来自眼镜的反射,则整体图像可能变得曝光不足。为了简化起见,来自反射物体的反射被称为“镜面反射”。
根据本发明的一个实施例,在将差别图像用于确定主闪光阶段中的照相机闪光强度之前,从差别图像中消除镜面反射。此外,为了减少例如环境照明(灯、蜡烛等)的非常亮的小物体对曝光估计的影响,将从差别图像中消除那些物体。在从差别图像中消除了镜面反射和小物体(如果有的话)之后,搜索差别图像中具有最大值的像素。该像素被称为“重要”像素,因为它被认为是受到闪光灯光线最多影响的物体的一部分。在标识了重要像素之后,自动曝光算法至少部分地基于重要像素的亮度来估计要在主闪光阶段中使用的适当的闪光强度曝光、增益和光圈。
本发明提供了用于控制照相机闪光灯的自动曝光算法(XAE)。该算法使用图像处理来标识受到闪光灯影响的图像的重要区域,同时忽视高度反射/照明区域,并且使用中性密度(ND)过滤器来使得在高度反射场景情况下的闪光灯触发线性化。
在预闪光阶段中XAE的操作包括以下步骤:
在步骤1,基于从预览模式获取的数据,计算和存储用于暗图像的曝光时间、增益和ND过滤器设置。
在步骤2,将用于预闪光图像的曝光时间设置成等于照相机的单帧快门速度。
在步骤3,标识重要像素并且实现对“暗亮度(dark luma)”值的估计。
在步骤4,估计“明亮度(light luma)”值。明亮度是所预测的由于闪光灯而导致的重要像素的增量。
在步骤5,计算亮度。亮度是暗亮度和明亮度的总和。
在步骤6,如果亮度超过用于预闪光的目标值,则应用ND过滤器并且增加增益以补偿图像信号方面的减少。
在步骤7,如果增益低于最小值或高于最大值,则将增益裁切成最小或最大值。
在步骤8,存储以上计算的值,并且收集暗图像和预闪光图像这二者。如果氙气模块并入了光传感器,则在禁用光传感器的情况下捕获预闪光图像。
主闪光阶段的操作包括以下步骤:
在步骤1,建立在尺寸方面与整体预闪光图像成比例的兴趣窗口(WOI)。
在步骤2,利用闪光灯进行捕获的曝光时间被建立为以下中的较小者:指定的最大值,或者用于无闪光灯情况下的图像的曝光时间。
在步骤3,如果需要,则进行帧变换。
在步骤4,执行帧减法。
在这一点,执行进一步的处理,以避免从预闪光图像中选择“错误的”重要像素的问题。以下描述了在预闪光图像中的潜在问题。在“高分辨率”行上,预闪光图像仅在物体位置而不是亮度方面与暗图像不同。结果,差别图像失真,因为物体的位置在该帧中已经偏移。如果以低分辨率获取了预闪光图像,则情况变得更糟。在低分辨率下,当一半像素覆盖了背景而另一半像素是物体的一部分时,“假”像素可能出现在预闪光图像中。在减法之后,这些像素保留在差别图像中,因为它们实际上存在于预闪光帧中而不是在暗帧中。如果这些像素之一被选为重要像素,则可能发生预测问题。
该解决方案在于:在对所述帧进行减法时移除物体的边界像素,从而当生成差别图像时仅考虑物体的中间部分。
排除边界像素可能不足以确保精确的差别图像。由于镜面反射而在预闪光帧中可能存在过度曝光的区域。所有过度曝光的像素都被计数并且与该图像的像素的总数目进行比较。
在步骤5,确定过度曝光的像素的百分比是否超过了定义的门限。如果过度曝光的像素的百分比超过了门限,则认为预闪光帧被过度曝光并且无法可靠地用于进一步的自动曝光计算。在这种情况下,根据平均值来估计亮度,并且该过程在步骤9开始。
通过过滤算法可以确定预闪光帧是否过度曝光。
在步骤6,将丢弃小物体。假设重要像素不会是非常小物体的一部分。否则,小物体将被曝光,但是图像整体将是暗的。在运行过滤器之前,制作差别图像的副本。
小物体过滤器的操作是简明的。再次使用像素掩模,并且将中心像素与它周围的像素进行比较。丢弃具有大于中心像素差值的门限百分比的像素。
在步骤7,计算来自差别图像的红色、绿色和蓝色的直方图,并且设置用于该计算的WOI。
在步骤8,XAE标识出在差别图像内处在WOI中的重要像素,如上所述考虑了镜面反射。
该算法的重要方面在于:移除符合XAE的目标的在未使用闪光灯情况下曝光的正确照明区域。这标识了该场景中已经例如由光线(假设在该场景内打开了台灯)正确照明的区域。如果这没有被检测到并且没有根据AE计算被移除,则将减少闪光强度并且该场景曝光不足。对于该特定目的,该XAE算法并不搜索照明好或照明差的区域。相反,该算法搜索将被环境光和闪光灯的组合照明最多的区域。从那些区域中排除由环境光过度曝光的区域以及表现得像氙气光的镜面的区域。因而,如果一区域被环境光很好地照明但是它的亮度没有(或几乎不)受到闪光灯的影响,则它很可能不会影响最终的闪光强度。如果一区域由环境光很好地照明并且其亮度还受到闪光灯的影响(这通常是由用户所强迫的高亮和闪光灯使用的情况),那么主闪光强度将是弱的,以便不过度曝光该区域。
在步骤9,确定是否标识了重要像素。如果没有发现重要像素,则主闪光阶段中的参数将使用最大闪光强度以及在没有闪光灯情况下的用于进行捕获的曝光、增益和光圈,并且将绕过所有其它步骤。
一旦标识了重要像素,XAE便为主闪光捕获计算与先前为预闪光图像所计算的暗亮度和明亮度相对应的值(dark_luma_cap和light_luma_cap)。如果所估计的亮度太高并且没有光传感器可用,则ND过滤器被缩窄并且按照以下方式来增加增益:保持增益与ND过滤器的比率(增益*ND过滤器)。
在步骤10,在捕获设备上没有光传感器可用的情况下,XAE计算曝光、增益、ND过滤器和闪光强度。如果不存在光传感器,则由触发脉冲宽度来控制闪光灯。闪光模块可以发射在制造商指定的最小和最大闪光强度之间的任何光量。然后,XAE计算主闪光强度,使得整体亮度等于目标值。如果全闪光不够并且ND过滤器被打开,则XAE将增益增加到最大值。
在步骤11,确定闪光强度是否可以达到特定门限,以便判定如果有光传感器的话是否使用光传感器。如果闪光强度小于定义的门限,则在步骤12启用光传感器。下一步骤将是在步骤13提供输出参数。
光传感器可以被配置以便调节氙气光,从而对不同距离处的不同场景获得统一的亮度级别。如果非光传感器算法确定应当使用全闪光,则统一的亮度可能不是正确的。因而,仅当物体足够接近于照明范围之内时,才可以使用用于光传感器的XAE。
使用差别图像,XAE计算在重要像素的亮度与差别图像的平均亮度之间的比率。如果在捕获期间使用了统一的条件,则平均亮度将是相对应的统一亮度。XAE根据所述比率以及基本亮度来计算重要像素的亮度。如果使用了基本条件,则这是light_luma_cap。然后,XAE计算初始条件下的light_luma_cap。初始条件下重要像素的整体亮度是如上计算的dark_luma_cap加上light_luma_cap。然后,XAE调整增益和ND过滤器,以便提供重要像素的目标亮度。在这种情况下,预闪光图像仅对于确定以下内容是必要的:与由光传感器所提供的平均亮度相比,重要像素会更亮到何种程度。
上述算法结合具有但不限于集成的氙气闪光模块(例如,LED闪光灯)的照相机来进行操作。下面呈现了与该系统的优选实施例有关的细节,描述了在各种距离和照度级别上的闪光模块的操作模式。
这些氙气闪光灯/照相机设置的主要目的在于:确保从场景中精确地记录在预闪光期间所捕获的图像数据,从而使得AE和AWB算法可以可靠地进行操作。在这是不可能的情况下,即,在AF聚焦失败期间,或者在极限距离处,这些设置可以用作在捕获期间的缺省设置。这应当减少不良曝光图像的出现。
如下通过图2和图3所示的流程图进一步说明了本发明。
预览信息
使用在图像处理IC中的特殊统计模块,按照逐帧的基础来动态访问预览图像。可以在诸如VGA图像的低分辨率预览图像上聚集统计数据,并且例如可以使用33ms的滚动快门来获得图像数据。诸如照度级别或场景的平均亮度这样的统计数据可以用于确定预闪光阶段图像的总曝光以及图像数据的增益。在预览阶段中应用的自动聚焦算法可以聚集“到目标的距离”信息,从而使得可以在宏观场景中减少用于min_flash图像的闪光强度,或者当目标的位置超出了特定距离时增加用于min_flash图像的闪光强度。当用户选择“场景模式”(例如宏观或风景等)时,还可以假设关于距离的补充信息,其可以在AF失败的情况下用于设置缺省值。因而,使用从预览图像和场景模式聚集的信息来设置用于预闪光阶段的总曝光、增益和光圈。
镜面反射消除
在预闪光阶段中,从暗图像(没有闪光灯)和min_flash图像(具有最小闪光强度)获得差别图像。如果在该差别图像中的一些像素的值超过了特定门限(镜面门限),则那些像素可以被认为是过度曝光的并且被移除。例如,可以通过对在差别图像中红色、绿色和蓝色的直方图分析来估计镜面门限。
预闪光阶段
在准备拍摄两个预闪光阶段图像时,选择照相机设置,诸如用于拍摄这些图像的曝光时间、增益和光圈,从而使得预闪光阶段图像不会是过度曝光的。如图2所示,在流程图100中图示了用于选择照相机设置的步骤。在步骤110,估计和存储预定的照相机参数。特别地,在步骤120,曝光时间被设置成等于照相机的单帧快门速度,诸如33ms。应当注意,利用滚动快门模式来实现在预闪光阶段中对min_flash图像的捕获。在这种模式下,成像传感器逐行地从图像的顶部到底部进行曝光。氙气闪光灯发射出光的的时间相比于曝光时间很短。通常,用于预闪光阶段的氙气闪光灯触发脉冲低于10μs。出于此原因,用于预闪光阶段图像的曝光时间被设置成33ms的一帧。在步骤130和140,估计prv_dark_luma和prv_light_luma,其中prv_dark_luma是乘以常数的平均Y级别(预览期间所获得的照度),该常数被调谐成匹配于特定照相机模块并且在SW编译时间值“C”处被定义。该编译时间定义的值表示最亮像素与预览图像中的平均像素的比率。
暗亮度计算的例子如下:
prv_dark_luma=ave_y_level*C;
prv_dark_luma=(prv_dark_luma*1_frame_exposure)/prv_exposure;
在查找表的帮助下估计在预览阶段中的明亮度值,例如,该查找表含有明亮度的值,其是在33ms的曝光时间、x1的增益以及用于从5cm到150cm距离(以5cm的步幅)的宽光圈的情况下提前测量的。根据AF算法,在预览阶段中获得的近似目标距离可以用于从查找表中选择明亮度值。举例来说,在查找表中的值对应于最坏情况的“白色片(white sheet)”,即,无反射特征物体。可以如下计算明亮度:
      prv_light_luma=luma_vs_dist[obj_dist_index];
                                          //以增益x1并且没有NDF
      prv_light_luma=(prv_light_luma*gain_mult)/256;
                                          //应用当前增益
      prv_light_luma=(prv_light_luma*blend_mult)/
IRIS APERTURE_RATIO;
                                          //应用当前孔径或ND过滤器
在预览阶段计算暗亮度值和明亮度值的主要目的是建立用于捕获预闪光阶段图像的照相机设置,从而使得这些预闪光阶段图像在所有条件下都不会太暗或过度曝光。如果预闪光阶段图像被过度曝光,则它们不会含有可靠信息。如果它们太暗,则量化误差相比于信号会变得太大。在任一情况下,数据都可能不可用于在主闪光阶段中的精确处理。
在步骤150,计算照度,或者prv_dark_luma和prv_light_luma的总和。如果所计算的照度没有超过目标值,则前进到步骤160。否则,在步骤154,减少光圈尺寸,从而使得所估计的照度将不超过目标值。同时,增加增益,以便补偿闪光强度的减少。如果增益低于最小增益,则将它设置在最小增益。在步骤160,如果增益大于最大增益,则将它设置在最大增益。在步骤170,对预闪光阶段图像的照相机设置准备好用于捕获预闪光阶段图像。
如果氙气闪光模块在其中包括光传感器,则光传感器在预闪光阶段中被禁用。
主闪光阶段
当准备在主闪光阶段中拍摄图像时,选择照相机设置,诸如曝光时间、增益、光圈和闪光强度。在本发明的一个实施例中,根据如图3所示的流程图200来选择对主闪光阶段的照相机设置。
在步骤210,建立在尺寸方面与整体预闪光阶段图像成比例的兴趣窗口(WOI)。WOI的大小可以取决于手动现场加权(如果实现的话),但是通常是预闪光阶段图像的尺寸的分数值,例如,1/2,1/4等。
WOI定义了这样的区域,即,在该区域中,使用预闪光阶段图像来进行信息收集。存在两个预闪光阶段图像:在没有闪光灯情况下所捕获的暗图像,以及在最小闪光强度情况下所捕获的min_flash图像。
在步骤212,建立用于捕获在预闪光阶段中的min_flash图像的曝光时间。该曝光时间应当小于指定的最大值,或者短于暗图像的曝光时间。如果暗图像的曝光时间大于最大值,则调整增益和ND过滤器值,从而使得曝光时间不会超过最大值。曝光时间的调整防止了背景被过度曝光。
如果需要的话,在步骤214实现帧变换。如果没有以绿红绿蓝(GRGB)格式捕获预闪光阶段图像,则将它们转换成GRGB格式。在帧变换期间,计算暗图像和min_flash图像的平均照度以及平均差。平均差是min_flash图像的平均照度减去暗图像的平均照度之差。
在步骤216中,执行帧减法,其中,从min_flash图像中逐个像素地减去暗图像。进一步的处理对于减法过程中的误差校正可能是必要的。理想地,min_flash图像和暗图像相同,造成统一的黑色差别图像,除了受到最小闪光强度影响的区域之外。因为预闪光阶段图像的曝光时间通常足够长,所以该场景很可能由于用户引入的照相机摇动或者由于场景中物体的运动而引起稍微的改变。
在高分辨率下,min_flash图像与暗图像仅在物体位置方面而不是在照亮方面有所不同。结果,差别图像失真,因为物体的位置已经在该帧中有所偏移。如果以低分辨率获取预闪光阶段图像,则情况变得更糟。在低分辨率下,当一半的像素覆盖了背景并且另一半像素是物体的一部分时,“假”像素可能出现在min_flash图像中。在减法之后,这些像素保持在差别图像中,因为它们实际上存在于min_flash帧中而不是在暗帧中。如果这些像素之一被选择为重要像素,则对主闪光阶段的闪光强度估计可能含有实质误差。根据本发明的一个实施例,丢弃在差别图像中物体的边界像素。如此,仅考虑在差别图像中物体的中间部分。使用如图4所示的使用边界过滤器的过滤算法,可以消除边界像素。
在一个实施例中,在min_flash图像上移动3×3像素掩模。在掩模的中心处标记为“X”的像素是指示用于进一步处理的像素。第一,针对过度曝光来检查该像素。如果该像素在min_flash图像中被过度曝光,但是在暗图像中的相同位置上的像素没有过度曝光,则过度曝光被确定为是min_flash的结果,并且然后检查相邻像素。第二,还丢弃与过度曝光的像素相邻的像素。第三,该算法估计垂直、水平和对角梯度,以便确定该像素是否在边界处。下面示出了示例性梯度估计技术:
hor_grad=|L-R|;        //水平梯度
ver_grad=|U-D|;        //垂直梯度
diag1_grad=|UL-DR|;    //第一对角梯度
diag2_grad=|UR-DL|。    //第二对角梯度
然后,将所估计的梯度与中心像素相比较。如果梯度与中心像素的比率超过预定门限,则该像素被认为是在边界处并且被丢弃。
过滤器可以与帧减法并行地运行,并且输出被直接存储在差别图像缓冲器中。在这种情况下,min_flash图像和暗图像并不丢失。
对边界像素的排除可能不足以确保精确的差别图像。在min_flash图像中可能仍然存在一些由于镜面反射而导致的过度曝光区域。因而,当在min_flash图像上移动掩模时,对过度曝光的像素进行计数,并且计算过度曝光的像素的总数目与图像像素的总数目的比率。在步骤218,确定该比率是否超过预定门限。如果该比率超过门限,则min_flash帧被认为是过度曝光的,并且无法可靠地用于进一步的自动曝光计算。在该情况下,在步骤230根据平均像素值来估计照度。
如果没有过度曝光min_flash帧,则该过程将继续进行到步骤220,其中,在差别图像中丢弃小的物体,以便减少明亮但小的物体在曝光估计上的影响。在步骤220,使用如图4所示的相同的掩模来过滤差别图像。在过滤期间,将中心像素与周围像素相比较。如果中心像素的值比周围像素高特定的百分比,则中心像素及其周围像素可能属于小物体。这些像素应当被丢弃,从而使得重要像素将不是这样的小物体的一部分。
在步骤222,计算来自差别图像的红色、绿色和蓝色的直方图,并且设置用于该计算的WOI。在估计直方图之后,分别针对这三种颜色来检查图像。每个颜色具有范围从0到255的值,并且计算对于每个值的一阶导数。如果一阶导数的值超过了给定门限,则停止搜索并且返回该值。本质上,标识了直方图中的斜率并且该值变成镜面门限值。该直方图分析步骤用于标识镜面反射。
在步骤224,该自动曝光算法忽视镜面反射和小物体,标识出在差别图像内处在WOI中的重要像素。重要像素是在WOI内具有最高值的像素。重要像素可以是红色、绿色或蓝色。如果该像素是红色或蓝色的,则检查相邻像素。如果该区域的颜色很强(例如,红色>2*绿色),则不认为对应的红色或蓝色像素是重要的,因为该像素可能被过度曝光并且不认为是重要像素。
应当注意,在由2个绿色、1个蓝色和1个红色组成的4个像素的块中根据像素的Bayer模式来构造彩色图像。可以使用各种重构方法,但是通常绿色像素被用于提供照度信息(图像亮度),并且然后RGB的比例给出了色度(颜色)信息。因而,将足以获得用于确定照度的绿色重要像素。还检查含有其它主要颜色的场景,以确保在那些场景中不存在过度曝光的区域。这将不会在主闪光图像的颜色方面产生显著变化。然而,如果该区域不具有强烈的色彩,则过度曝光任一像素将产生变化(或者所谓的颜色的“燃烧”)。因而,在一些情况下红色和蓝色像素可以被认为是重要的。
在步骤232,确定是否标识了重要像素。在无法发现重要像素的情况下,用于在主闪光图像捕捉中使用的照相机设置将是用于捕捉暗图像的曝光、增益和光圈,但是闪光强度将在步骤240被设置成最大。在大多数情况下,在步骤232发现重要像素,并且在步骤234将计算照相机设置,假设没有使用光传感器。
使用差别图像,自动曝光算法计算在重要像素的亮度与差别图像的平均亮度之间的比率。该自动曝光算法使用dark_luma和light_luma的总和来计算用于主闪光图像的闪光强度,这主要由触发脉冲宽度来确定。dark_luma值是暗图像中的重要像素的值,并且light_luma是min_flash图像中的重要像素的值。
如下描述了触发脉冲带宽的计算。
如先前所述,利用相同的曝光/增益来捕获暗图像和预闪光图像。差(“diff_luma”)是对氙气光的场景反射的测量。dark_luma是对环境光的测量。曝光时间没有因XAE算法而改变(对于将不使用氙气的情况,在预览期间计算曝光时间)。其目的是保持由环境光最佳照亮的场景。氙气应当仅在必要时添加光。XAE的另一目的是最小化所使用的增益并且根据氙气光进行补偿。曝光时间仅影响从环境光而不是从氙气获得的亮度。增益和孔径影响环境光和氙气光这二者。它们在需要的情况下由XAE来控制,但是对于将不使用闪光灯的情况,它们的最大值等于预览AE所要求的值。这就迫使XAE离开过度曝光的区域,这些区域被正常(无闪光灯)的AE判定成由环境光过度曝光。XAE尝试使用相同的孔径,这是非闪光灯AE在预览期间所要求的。如果场景太靠近并且甚至最小闪光都将对其过度曝光,那么XAE减小孔径。
通过获知用于暗图像/预闪光图像的曝光/增益/光圈(exp_dark、gain_dark、iris_dark)以及用于捕获的推荐值(exp_capture、iris_capture),XAE计算dark_luma和diff_luma,它们在捕获中将出现的是预闪光强度,用于主捕获,从gain_capture=x1开始。
dark_luma_capture=
dark_luma*exp_capture/exp_dark*gain_capture/gain_dark*iris_capture/iris_dark
diff_luma_capture=diff_luma*gain_capture/gain_dark*iris_capture/iris_dark
这里,对于传递给XAE的图像的每个像素和每个颜色(R,G,B)(它们是暗图像和预闪光图像的缩小版本)计算dark_luma_capture和diff_luma_capture。
然后,发现了具有最大dark_luma_capture+diff_luma_capture的像素(该像素在dark_luma_capture中没有过度曝光,并且不是镜面反射)。
在从现在开始的计算中涉及该像素。
因为氙气强度仅影响diff_luma_capture,所以用于捕获的必要的氙气强度可以如下计算:
xenon_capture=
xenon_preflash*(target_luma-dark_luma)/diff_luma_capturediff_luma_capture=diff_luma_capture*xenon_capture/xenon_preflash
if(xenon_capture>max possible xenon intensity)then recalculategain_capture:
gain_capture=gain_capture*target_luma/(dark_luma_capture+diff_luma_capture)
if(xenon_capture<min possible xenon intensity)then reduce the aperture:
iris_capture=iris_capture*target_luma/(dark_luma_capture+diff_luma_capture)
通过XAE来报告关于全氙气能量的百分比(最小...100%)的氙气强度。通常,预闪光强度是最小值“min”。这是可以发射的最小能量并且足可重复(例如,+/-20%)。
然后,在一个这样的实施例中,氙气闪光灯驱动器将该值转换成所需要的触发脉冲宽度,并且使用查找表。然而,还可以使用替代的计算方法。
估计主闪光强度,从而使得整体照度等于门限或目标值,如在步骤236所确定的。
如果整体照度高于门限并且没有光传感器可用,则减少光圈或孔径,同时改变增益,从而使得增益和孔径的乘积保持不变。
如果整体照度小于目标值,则自动曝光算法将增益增加到最大值,并且在步骤242判定是否使用光传感器来控制闪光强度。当使用了光传感器时,在它所感测到的强度达到门限值时切断闪光灯输出。如果全闪光不足以正确地曝光图像,则将充分地打开光圈(以及移除ND过滤器)。增益也被增加到最大值以便提供可能的最亮的图像。
光传感器的基本特征是它可以用于调节闪光强度,以便对不同的场景以及对不同的目标距离基本上获得相同的平均亮度。根据传感器的灵敏度来将光传感器调谐到亮度门限,可以计算或以其它方式测量图像的平均亮度,这可以在使用光传感器以及无环境光情况中完全暗条件下的给定照相机模块模拟增益和孔径时获得,令该值称为“基本亮度”。曝光时间并不是关键的。
总之,本发明提供了一种自动曝光算法,用于与诸如氙气闪光灯这样的照相机闪光灯一起使用。诸如氙气自动曝光(XAE)形状识别算法这样的形状识别算法用于标识在预览和预闪光场景中所标识的重要物体的反射率/照度(例如,反射表面、镜面、光),并且然后例如通过调整闪光强度、照相机孔径(ND过滤器)和增益(ISO胶片速度)来进行照相机调整,以便提供最优曝光的图像。它还以新颖的方式使用ND过滤器来扩展闪光强度控制的动态范围并且克服氙气闪光灯在低光强度级别(即,用于高度反射或近处(宏观)场景)的非线性性。这样的算法可以分成两个阶段:预闪光和主闪光。
在预闪光阶段,以“预览模式”捕获具有统一曝光、增益和孔径大小的两个图像。通常以比最终捕获的图像的分辨率更低的分辨率来获取这两个图像。在没有闪光灯的情况下捕获被称为“暗图像”的第一图像,而在最小强度闪光的情况下捕获被称为“预闪光图像”的第二图像。最小强度闪光门限是通过氙气闪光模块亮度效率和总能量存储来定义的。关于环境照度和最小强度闪光的影响的信息可以从预闪光图像中提取,并且作为输入提供给主闪光阶段。
在主闪光阶段,通过从预闪光图像中减去暗图像来计算“差别图像”。理想地,差别图像将仅含有受到闪光灯影响的区域。通过标识具有最大差值的像素来评估该影响。该像素被称为“重要像素”,并且它被视为是受到最小强度预闪光影响最多的所拍摄物体的一部分。在孤立重要像素时,可以丢弃被认为是镜面反射的结果的那些像素。
基于重要像素的照度来进行计算。例如,使用用于闪光强度的查找表,计算最终强度以及用于捕获的曝光、增益和ND过滤器(或孔径)。
XAE算法以及图像捕获的操作可以总结成以下步骤:
在没有使用闪光灯的情况下捕获第一测试图像(暗图像);
使用具有预定强度的闪光灯来捕获第二测试图像(预闪光图像);
获得指示第二测试图像与第一测试图像之差的差别图像,其中,该差别图像包括多个差别图像像素,每个差别图像像素具有像素值;
标识差别图像像素当中的参考像素,其中,所述第一测试图像包括与所述参考像素(重要像素)相对应的第一测试像素,并且第二测试图像包括与所述参考像素相对应的第二测试像素,其中,基于差别图像像素当中的最高像素值来标识所述参考像素;以及
基于第一测试像素的像素值和第二测试像素的像素值来计算由闪光灯用于后续图像捕获的照明量。
期望移除属于小物体或反射物体的一些差别图像像素。例如,通过使用像素过滤器来移除阵列的边缘像素并且将剩余像素与预定尺寸相比较,可以基于具有差别图像像素当中的最高像素值的像素阵列中的邻接像素的数目来标识小于预定尺寸的物体。例如,可以通过对彩色图像像素进行直方图分析,以便基于直方图的斜率或一阶导数来确定反射物体并移除反射物体,从而标识反射物体。
在捕获第一测试图像和第二测试图像之前,有必要确定照相机设置,其中,照相机设置包括闪光灯的曝光时间和预定强度。例如,一个或多个预览图像的平均照度可以用于设置闪光灯的预定强度,从而使得第二测试图像的平均照度在预定范围之内。
根据本发明的各种实施例,通过由具有脉冲宽度的触发脉冲使得闪光灯提供闪光强度,可以获得由闪光灯用于后续图像捕获的照明量,其中,当脉冲宽度小于预定值时,脉冲宽度被增加,并且通过中性密度或光圈来减小闪光强度,以便维持闪光灯的照明量。
如果第一测试图像或暗图像含有正确照明区域,则应当在标识参考像素或重要像素以及计算用于主闪光阶段的闪光灯的闪光强度之前,移除在差别图像中的相应区域。可以根据在特定预定范围之内的暗图像的像素值,从暗图像中标识出正确照明区域。
XAE算法可以通过嵌入到计算机可读存储介质中的软件程序来实现,该计算机可读存储介质可以是在闪光模块中或者在具有闪光模块的照相机中的处理器的一部分。闪光模块可以包括:用于触发照相机闪光灯的机构;以及被布置以便从照相机接收图像数据的处理器。该处理器适于执行:在没有使用照相机闪光灯的情况下捕获第一测试图像;使用具有预定强度的照相机闪光灯来捕获第二测试图像;获得指示第二测试图像和第一测试图像之差的差别图像,其中,该差别图像包括多个差别图像像素,每个差别图像像素具有像素值;标识所述差别图像像素当中的参考像素,其中,所述第一测试图像包括与所述参考像素相对应的第一测试像素,并且所述第二测试图像包括与所述参考像素相对应的第二测试像素;以及基于所述第一测试像素的像素值和所述第二测试像素的像素值,计算闪光灯用于后续图像捕获的照明量。
因而,尽管已经针对本发明的一个或多个实施例描述了本发明,但是本领域的技术人员将理解,在不背离本发明的范围的情况下,可以在形式和细节上做出对本发明的前述和各种其它的改变、省略和异化。

Claims (16)

1.一种使用自动曝光算法来控制闪光强度的方法,其包括:
在不使用闪光灯的情况下捕获第一测试图像;
使用具有预定强度的闪光灯来捕获第二测试图像;
获得指示所述第二测试图像与所述第一测试图像之差的差别图像,其中,所述差别图像包括多个差别图像像素,每个差别图像像素具有像素值;
丢弃在所述差别图像中物体的边界像素;
在所述丢弃之后标识所述差别图像像素当中的参考像素,其中,所述第一测试图像包括与所述参考像素相对应的第一测试像素,并且所述第二测试图像包括与所述参考像素相对应的第二测试像素,其中,至少部分地基于所述差别图像像素当中的最高像素值来标识所述参考像素;以及
至少部分地基于第一测试像素的像素值和第二测试像素的像素值来计算由所述闪光灯用于后续图像捕获的照明量。
2.根据权利要求1所述的方法,其进一步包括:
在所述标识之前,移除所述差别图像中属于比预定尺寸更小的物体的一个或多个所述差别图像像素。
3.根据权利要求2所述的方法,其中,至少部分地基于具有所述差别图像像素当中的最高像素值的像素阵列中邻接像素的数目,标识比所述预定尺寸更小的物体中的每个物体。
4.根据权利要求3所述的方法,其中,所述像素阵列包括多个边缘像素,所述方法包括:
应用像素过滤器来移除所述边缘像素,从而获得所述像素阵列中的剩余像素,其中,所述剩余像素的数目被用于与所述预定尺寸进行比较。
5.根据权利要求1所述的方法,其进一步包括:
在所述标识之前,移除所述差别图像中属于反射物体的一些所述差别图像像素。
6.根据权利要求5所述的方法,其中,所述差别图像像素包括彩色图像像素,所述方法进一步包括:
对所述彩色图像像素进行直方图分析,用于确定所述反射物体。
7.根据权利要求1所述的方法,其进一步包括:
确定用于捕获所述第一测试图像和所述第二测试图像的照相机设置,其中,所述照相机设置包括所述闪光灯的预定强度和曝光时间,其中,一个或多个预览图像的平均照度被用于设置闪光灯的预定强度,从而使得所述第二测试图像的平均照度在预定范围之内。
8.根据权利要求1所述的方法,其中,通过由具有脉冲宽度的触发脉冲使得所述闪光灯提供闪光强度,可获得由所述闪光灯用于后续图像捕获的照明量,其中,当所述脉冲宽度小于预定值时,增加所述脉冲宽度并且相应地减少所述闪光强度,以便维持所述闪光灯的照明量。
9.根据权利要求8所述的方法,其中,中性密度过滤器被用于减少所述闪光强度。
10.根据权利要求8所述的方法,其中,光圈被用于减少所述闪光强度。
11.根据权利要求1所述的方法,其中,所述第一测试图像包括多个第一图像像素,所述第一图像像素中的每个像素均具有像素值,所述方法进一步包括:
在所述第一测试图像中确定这样的区域,即,所述区域所具有的第一图像像素有着在预定范围之内的像素值;
在所述计算之前,移除在所述差别图像中的对应区域。
12.一种用于使用自动曝光算法来控制闪光强度的设备,其包括:
用于在不使用闪光灯的情况下捕获第一测试图像的装置;
用于使用具有预定强度的闪光灯来捕获第二测试图像的装置;
用于获得指示所述第二测试图像与所述第一测试图像之差的差别图像的装置,其中,所述差别图像包括多个差别图像像素,每个差别图像像素具有像素值;
用于丢弃在所述差别图像中物体的边界像素的装置;
用于在所述丢弃之后标识所述差别图像像素当中的参考像素的装置,其中,所述第一测试图像包括与所述参考像素相对应的第一测试像素,并且所述第二测试图像包括与所述参考像素相对应的第二测试像素,其中,至少部分地基于所述差别图像像素当中的最高像素值来标识所述参考像素;以及
用于至少部分地基于第一测试像素的像素值和第二测试像素的像素值来计算由所述闪光灯用于后续图像捕获的照明量的装置。
13.根据权利要求12所述的设备,其中,通过由具有脉冲宽度的触发脉冲使得所述闪光灯提供闪光强度,可获得由所述闪光灯用于后续图像捕获的照明量,其中,当所述脉冲宽度小于门限值时,应用中性密度过滤器来减少所述闪光强度,同时增加所述脉冲宽度,以便维持所述闪光灯的照明量。
14.根据权利要求12所述的设备,其中,通过由具有脉冲宽度的触发脉冲使得所述闪光灯提供闪光强度,可获得由所述闪光灯用于后续图像捕获的照明量,其中,当所述脉冲宽度小于门限值时,应用光圈来减少所述闪光强度,同时增加所述脉冲宽度,以便维持所述闪光灯的照明量。
15.一种用于使用自动曝光算法来控制闪光强度的设备,其包括:
用于在不使用闪光灯的情况下捕获第一测试图像以及使用具有预定强度的闪光灯来捕获第二测试图像的装置;
用于获得指示所述第二测试图像与所述第一测试图像之差的差别图像的装置,其中,所述差别图像包括多个差别图像像素,每个差别图像像素具有像素值;
用于丢弃在所述差别图像中物体的边界像素的装置;
用于在所述丢弃之后标识所述差别图像像素当中的参考像素的装置,其中,所述第一测试图像包括与所述参考像素相对应的第一测试像素,并且所述第二测试图像包括与所述参考像素相对应的第二测试像素;以及
用于至少部分地基于第一测试像素的像素值和第二测试像素的像素值来计算由所述闪光灯用于后续图像捕获的照明量的装置,其中,至少部分地基于所述差别图像像素当中的最高像素值来标识所述参考像素。
16.根据权利要求15所述的设备,其进一步包括:
用于在标识所述参考像素之前,移除所述差别图像中属于比预定尺寸更小的物体的一个或多个所述差别图像像素,以及移除所述差别图像中属于反射物体的一些所述差别图像像素的装置。
CN2008801197556A 2007-12-21 2008-12-19 照相机闪光模块及其控制方法 Expired - Fee Related CN101889435B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US1624407P 2007-12-21 2007-12-21
US61/016,244 2007-12-21
US12/316,917 2008-12-17
US12/316,917 US8018525B2 (en) 2007-12-21 2008-12-17 Camera flash module and method for controlling same
PCT/IB2008/003569 WO2009087446A1 (en) 2007-12-21 2008-12-19 Camera flash module and method for controlling same

Publications (2)

Publication Number Publication Date
CN101889435A CN101889435A (zh) 2010-11-17
CN101889435B true CN101889435B (zh) 2013-04-24

Family

ID=40545766

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008801197556A Expired - Fee Related CN101889435B (zh) 2007-12-21 2008-12-19 照相机闪光模块及其控制方法

Country Status (5)

Country Link
US (1) US8018525B2 (zh)
EP (1) EP2220863B1 (zh)
KR (1) KR101124778B1 (zh)
CN (1) CN101889435B (zh)
WO (1) WO2009087446A1 (zh)

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100950465B1 (ko) * 2007-12-21 2010-03-31 손승남 차량출입통제 시스템을 위한 카메라 제어방법
TWI377428B (en) * 2008-10-20 2012-11-21 Asia Optical Co Inc Image capture apparatus with charged capacitor switching device for photoflash and switching method therefor
US8130313B2 (en) * 2008-12-19 2012-03-06 Qualcomm Incorporated System and method to estimate autoexposure control and auto white balance
US8154650B2 (en) * 2009-03-23 2012-04-10 Apple Inc. Electronic device having a camera flash redirector
US8289300B2 (en) * 2009-07-17 2012-10-16 Microsoft Corporation Ambient correction in rolling image capture system
US7962031B2 (en) * 2009-10-06 2011-06-14 Apple Inc. Pulsed control of camera flash
CN102196182A (zh) * 2010-03-09 2011-09-21 株式会社理光 逆光检测设备及逆光检测方法
TWI389560B (zh) * 2010-05-14 2013-03-11 Ability Entpr Co Ltd 數位相機的閃光控制方法
JP2011248029A (ja) * 2010-05-26 2011-12-08 Canon Inc 光量調節装置および光学機器
US8730384B2 (en) 2010-06-03 2014-05-20 Apple Inc. Systems, methods, and devices for flash exposure control using preflash statistics
US8150255B2 (en) 2010-06-25 2012-04-03 Apple Inc. Flash control for electronic rolling shutter
US8771085B1 (en) 2010-08-06 2014-07-08 Arthur C. Clyde Modular law enforcement baton
US20120242864A1 (en) * 2010-09-20 2012-09-27 Pauli Myron R Flash detection and clutter rejection processor
US8773577B2 (en) * 2010-10-27 2014-07-08 Qualcomm Incorporated Region of interest extraction
JP5808142B2 (ja) 2011-05-02 2015-11-10 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US9402034B2 (en) * 2011-07-29 2016-07-26 Apple Inc. Adaptive auto exposure adjustment
JP5825946B2 (ja) * 2011-09-09 2015-12-02 キヤノン株式会社 撮像装置及びその制御方法
CN103889519B (zh) * 2011-09-23 2017-04-05 可利爱驰有限公司 利用多个照相机拍摄移动的被拍摄体并根据拍摄图像来获取被拍摄体的实际的移动轨迹的方法及系统
US8483557B1 (en) 2012-01-31 2013-07-09 Hewlett-Packard Development Company, L.P. Camera flash filter
US9354748B2 (en) 2012-02-13 2016-05-31 Microsoft Technology Licensing, Llc Optical stylus interaction
US9158383B2 (en) 2012-03-02 2015-10-13 Microsoft Technology Licensing, Llc Force concentrator
US9870066B2 (en) 2012-03-02 2018-01-16 Microsoft Technology Licensing, Llc Method of manufacturing an input device
US9075566B2 (en) 2012-03-02 2015-07-07 Microsoft Technoogy Licensing, LLC Flexible hinge spine
TWI459115B (zh) * 2012-04-20 2014-11-01 Altek Corp 閃光燈裝置
US20130300590A1 (en) 2012-05-14 2013-11-14 Paul Henry Dietz Audio Feedback
US8964379B2 (en) 2012-08-20 2015-02-24 Microsoft Corporation Switchable magnetic lock
CN102830573B (zh) * 2012-09-10 2015-08-19 华为终端有限公司 一种闪光控制方法及装置
US8786767B2 (en) 2012-11-02 2014-07-22 Microsoft Corporation Rapid synchronized lighting and shuttering
JP6200151B2 (ja) * 2012-12-26 2017-09-20 キヤノン株式会社 撮像装置および調光制御方法
US10477087B2 (en) 2017-11-16 2019-11-12 Duelight Llc System, method, and computer program for capturing a flash image based on ambient and flash metering
US9407837B2 (en) 2013-02-28 2016-08-02 Google Inc. Depth sensor using modulated light projector and image sensor with color and IR sensing
US9398287B2 (en) 2013-02-28 2016-07-19 Google Technology Holdings LLC Context-based depth sensor control
US20150229819A1 (en) * 2014-02-12 2015-08-13 William G. Rivard System and method for generating a digital image
US10120420B2 (en) 2014-03-21 2018-11-06 Microsoft Technology Licensing, Llc Lockable display and techniques enabling use of lockable displays
US9503654B2 (en) * 2014-05-30 2016-11-22 Intel Corporation Automatic anti-glare exposures for imaging devices
CN105208294A (zh) * 2014-06-20 2015-12-30 中兴通讯股份有限公司 一种拍照的方法及装置
US10324733B2 (en) 2014-07-30 2019-06-18 Microsoft Technology Licensing, Llc Shutdown notifications
CN104853097B (zh) * 2015-04-30 2018-03-27 广东欧珀移动通信有限公司 一种全景模式拍摄方法和装置
US9756256B2 (en) * 2015-05-28 2017-09-05 Intel Corporation Spatially adjustable flash for imaging devices
US9503643B1 (en) * 2015-10-27 2016-11-22 Blackberry Limited Electronic device and method of controlling same for capturing digital images
US9729796B1 (en) * 2016-02-05 2017-08-08 Motorola Mobility Llc Method and apparatus for automatic stage scene detection
TWI588587B (zh) 2016-03-21 2017-06-21 鈺立微電子股份有限公司 影像擷取裝置及其操作方法
JP6719947B2 (ja) * 2016-04-04 2020-07-08 キヤノン株式会社 撮像システム、発光装置、発光制御方法、及びプログラム
EP3882612A1 (en) * 2016-07-21 2021-09-22 Siemens Healthcare Diagnostics Inc. Masking camera flash using reflectance
US11775952B2 (en) * 2017-02-28 2023-10-03 Ncr Corporation Multi-camera simultaneous imaging for multiple processes
US10453208B2 (en) * 2017-05-19 2019-10-22 Waymo Llc Camera systems using filters and exposure times to detect flickering illuminated objects
CN108876757B (zh) * 2017-06-14 2020-12-08 北京旷视科技有限公司 环境光检测方法、装置和设备及存储介质
KR102046701B1 (ko) 2017-07-17 2019-11-19 선전 구딕스 테크놀로지 컴퍼니, 리미티드 광학 유도 보정 파라미터 확정 방법, 생체 특징 인증 장치 및 그의 전자 단말
TWI629900B (zh) * 2017-08-29 2018-07-11 正能光電股份有限公司 Camera system and camera fill light method
CN107566752B (zh) * 2017-10-31 2020-08-11 努比亚技术有限公司 一种拍摄方法、终端及计算机存储介质
CN107968920B (zh) * 2017-11-28 2021-01-05 努比亚技术有限公司 一种参数确定方法及电子设备、存储介质
CN110022475B (zh) * 2018-01-10 2021-10-15 中兴通讯股份有限公司 一种摄影设备校准方法、摄影设备及计算机可读存储介质
KR20200007676A (ko) * 2018-07-13 2020-01-22 삼성전자주식회사 광원의 밝기를 제어하는 전자 장치 및 그 동작 방법
CN109618472A (zh) * 2018-07-16 2019-04-12 马惠岷 灯光控制方法和系统
WO2020111861A1 (ko) * 2018-11-29 2020-06-04 엘지전자 주식회사 광학 장치, 및 이를 구비하는 카메라 장치와 전자기기
JP2020095178A (ja) * 2018-12-13 2020-06-18 キヤノン株式会社 撮影システム、照明装置、制御方法、並びにプログラム
US10742892B1 (en) 2019-02-18 2020-08-11 Samsung Electronics Co., Ltd. Apparatus and method for capturing and blending multiple images for high-quality flash photography using mobile electronic device
CN111836419B (zh) * 2019-04-22 2022-11-04 浙江宇视科技有限公司 一种hid灯的控制方法及相关设备
US11825205B2 (en) 2019-06-13 2023-11-21 Profoto Aktiebolag Computer implemented method and a system for obtaining a camera setting
WO2021008214A1 (en) * 2019-07-17 2021-01-21 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Intelligent flash intensity control systems and methods
US11430094B2 (en) 2020-07-20 2022-08-30 Samsung Electronics Co., Ltd. Guided multi-exposure image fusion
US11906895B2 (en) * 2020-10-06 2024-02-20 Mediatek Inc. Method and system for blending images captured under different strobe conditions
CN113286078B (zh) * 2021-05-07 2022-10-14 Oppo广东移动通信有限公司 图像处理方法及装置、终端及计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1806432A (zh) * 2004-06-16 2006-07-19 索尼株式会社 成像设备
CN1905633A (zh) * 2005-07-29 2007-01-31 株式会社三丰 控制闪光照明的系统和方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6151073A (en) * 1996-03-28 2000-11-21 Fotonation, Inc. Intelligent camera flash system
US7345702B2 (en) * 2000-02-07 2008-03-18 Canon Kabushiki Kaisha Image sensing apparatus, control method for illumination device, flash photographing method, and computer program product
JP4136317B2 (ja) 2000-02-07 2008-08-20 キヤノン株式会社 撮像装置及びその制御方法及びその制御プログラム
US6859565B2 (en) 2001-04-11 2005-02-22 Hewlett-Packard Development Company, L.P. Method and apparatus for the removal of flash artifacts
JP4412109B2 (ja) 2004-08-16 2010-02-10 株式会社ニコン 色バランス調整機能を有する電子カメラ、およびプログラム
US7423674B2 (en) * 2003-12-08 2008-09-09 Nikon Corporation Electronic camera having color adjustment function and program therefor
JP4516500B2 (ja) * 2005-08-23 2010-08-04 富士フイルム株式会社 撮像装置
US7590344B2 (en) 2006-02-28 2009-09-15 Microsoft Corp. Adaptive processing for images captured with flash
JP4761066B2 (ja) * 2006-09-22 2011-08-31 富士フイルム株式会社 ホワイトバランス補正方法及び撮像装置
JP2008166947A (ja) * 2006-12-27 2008-07-17 Eastman Kodak Co 撮像装置
JP2009111844A (ja) * 2007-10-31 2009-05-21 Fujifilm Corp 撮影装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1806432A (zh) * 2004-06-16 2006-07-19 索尼株式会社 成像设备
CN1905633A (zh) * 2005-07-29 2007-01-31 株式会社三丰 控制闪光照明的系统和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Georg Petschnigg等.Digital Photography with Flash and No-Flash Image Pairs.《PROCEEDINGS ACM SIGGRATH》.2004,第664-672页. *

Also Published As

Publication number Publication date
KR20100098450A (ko) 2010-09-06
EP2220863A1 (en) 2010-08-25
KR101124778B1 (ko) 2012-03-27
US20090160944A1 (en) 2009-06-25
WO2009087446A1 (en) 2009-07-16
US8018525B2 (en) 2011-09-13
EP2220863B1 (en) 2013-07-10
CN101889435A (zh) 2010-11-17

Similar Documents

Publication Publication Date Title
CN101889435B (zh) 照相机闪光模块及其控制方法
US8452169B2 (en) Control of artificial lighting of a scene to reduce effects of motion in the scence on an image being acquired
US7092625B2 (en) Camera with an exposure control function
US7868929B2 (en) White balance correcting method and image-pickup apparatus
CN102104785B (zh) 摄像设备及其控制方法
US7813637B2 (en) Digital camera
US7570883B2 (en) Image pickup method and apparatus with ISO sensitivity setting variable
US7084907B2 (en) Image-capturing device
KR101786953B1 (ko) 발광 장치 및 이를 포함하는 카메라 시스템
JP6049343B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6046905B2 (ja) 撮像装置、露出制御方法、及びプログラム
KR20090098197A (ko) 플래시 발광량 조절가능한 디지털 촬영 장치, 이의 제어방법 및 상기 방법을 실행하기 위한 프로그램을 기록한기록매체
JP2003179810A (ja) 写真撮影においてフィル・フラッシュをシミュレートするシステム及び方法
JPH08340542A (ja) 電子スチルカメラ
US8294785B2 (en) Method for adjusting photosensitiveness of digital camera
JP2007135140A (ja) 撮像装置
JP4029206B2 (ja) 撮像装置
JP4360011B2 (ja) 画像処理装置および画像処理方法、並びに記録媒体
JP5228318B2 (ja) カメラおよび発光量演算プログラム
JP2015034850A (ja) 撮影装置および撮影方法
US20200036877A1 (en) Use of ir pre-flash for rgb camera's automatic algorithms
JP2001211382A (ja) 画像処理装置、画像処理方法、および記録媒体
JP6935969B2 (ja) 撮像装置
TWI405458B (zh) Digital camera sensitivity adjustment method
JP2005354645A (ja) 撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20160214

Address after: Espoo, Finland

Patentee after: NOKIA TECHNOLOGIES OY

Address before: Espoo, Finland

Patentee before: NOKIA Corp.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130424