CN103856721A - 用于计算闪烁评估值的设备和方法 - Google Patents

Abstract

提供了一种用于计算闪烁评估值的设备和方法。所述设备包括：第一计算器，被配置为计算当前帧的长曝光图像的像素值和先前帧的长曝光图像的像素值之间的第一差值；平均值计算器，被配置为计算当前帧的长曝光图像的像素值和先前帧的长曝光图像的像素值的平均值；第二计算器，被配置为计算当前帧的短曝光图像的像素值和由平均值计算器计算出的平均值之间的第二差值；闪烁评估值计算器，被配置为使用第一差值和第二差值来计算指示闪烁强度的闪烁评估值。

Description

用于计算闪烁评估值的设备和方法

本申请要求于2012年12月4日提交到日本专利局的第2012-0265770号日本专利申请和于2013年8月1日提交到韩国知识产权局的第10-2013-0091587号韩国专利申请的优先权，其公开通过引用全部合并于此。

技术领域

一个或多个示例性实施例涉及一种用于计算闪烁评估值的设备和方法。具体地，示例性实施例涉及一种对用于合成长曝光图像和短曝光图像的宽动态范围（WDR）处理而言有效的针对闪烁评估值的设备和方法。

背景技术

相关技术的拍摄功能（诸如，宽动态范围（WDR）或高动态范围（HDR））已被用于连续捕捉并合成短时间曝光图像（以下，称为短曝光图像）和长时间曝光图像（以下，称为长曝光图像），以便获得捕捉了超出可由传感器捕捉的动态范围的动态范围的图像。所述拍摄功能在对比度（诸如，背光的作品等）非常大的情况下尤其有效。

然而，在合成短曝光图像和长曝光图像的相关技术的结构中发生两类问题。在第一类问题中，如果对象运动，则当合成图像时图像失真。因此，轮廓重影。在第二类问题中，在短曝光图像中发生闪烁。如果将短曝光图像用于合成，则输出包括闪烁的合成图像。因此，合成图像变为难以观看的图像。

没有逆变器的荧光灯会造成闪烁。在发光二极管（LED）产品中，存在具有低闪动频率的LED灯。LED灯在这种低频的闪动可以是导致闪烁的因素。包括液晶显示器（LCD）或PC显示器的TV系统的背光具有增加的闪动，从而提高运动画面显示性能。包括液晶显示器（LCD）或PC显示器的TV系统的背光的闪动被增加，以提高显示运动画面的性能。然而，背光的闪动会导致闪烁。

可使用一种用于减少WDR的闪烁的相关技术。例如，存在捕捉多个帧的闪烁检测顺序并根据捕捉结果来确定是否已发生闪烁或确定频率的相关技术（例如，参见第2012-129972号日本专利公布）。根据该相关技术，控制国际标准化组织（ISO）感光度或曝光值（EV），或者将快门速度设置为较少受闪烁影响，以根据确定结果来执行捕捉。

存在一种将分别以1/240秒的快门时间和1/60秒的快门时间捕捉到的图像进行比较以检测闪烁的相关技术（例如，参见第2012-119761号日本专利公布）。在该相关技术中，根据闪烁检测结果来针对短曝光图像的灰度校正图像和多个WDR合成图像设置优先级。此外，根据相应的优先级来控制短曝光图像的灰度校正图像和多个WDR合成图像的显示或记录。

此外，存在一种调整当合成在闪光环境中捕捉到的图像时发生的白平衡（WB）与当合成在非闪光环境中捕捉到的图像时发生的WB之间的差的相关技术（例如，参见第2011-35894号日本专利公布）。根据该相关技术，对多个图像执行平均求和以减少闪烁。此外，对多个图像执行平均求和以获得WDR效果。

然而，第2012-129972号日本专利公布公开了一种在执行捕捉之前确定是否已发生闪烁或确定频率的相关技术。因此，所述确定需要多个帧。因此，该相关技术可能无法应对当捕捉运动画面时闪烁光源开始或结束发光的情况。如果使用具有高亮度的闪烁光源，则可能无法充分获得关于高亮度的信息。

根据在第2012-119761号日本专利公布中公开的一种相关技术，如果检测出闪烁，则WDR合成图像的优先级降低。例如，如果WDR合成图像的优先级降低，则尽管在部分屏幕中发生闪烁，仍获得在屏幕的整个部分中的WDR效果。

在第2011-35894号日本专利公布中公开的一种相关技术中，重复执行捕捉和求和，直到闪烁消失为止，以便通过对多个捕获到的图像执行平均求和来减少闪烁。此外，添加多个帧以获得WDR效果，并且扩展范围的效果低。

发明内容

一个或多个示例性实施例包括如下技术：当执行用于合成长曝光图像和短曝光图像的宽动态范围（WDR）处理时，计算用于动态地确定在每个像素中是否已发生闪烁的闪烁评估值。

一个或多个示例性实施例包括如下技术：如果检测出闪烁，则选择长曝光图像以避免闪烁。

一个或多个示例性实施例包括如下技术：准确地检测出闪烁区域，以获得不具有闪烁并且被WDR处理的运动画面。

将在以下描述中部分地阐述其它方面，并且通过所述描述将部分清楚，或者可通过本实施例的实践被学到。

根据示例性实施例的一方面，一种用于计算闪烁评估值的设备包括：第一计算器，被配置为计算当前帧的长曝光图像的像素值和先前帧的长曝光图像的像素值之间的第一差值；平均值计算器，被配置为计算当前帧的长曝光图像的像素值和先前帧的长曝光图像的像素值的平均值；第二计算器，被配置为计算当前帧的短曝光图像的像素值和由平均值计算器计算出的平均值之间的第二差值；闪烁评估值计算器，被配置为通过第一差值和第二差值来计算指示闪烁强度的闪烁评估值。

根据上述结构，可计算闪烁评估值，以动态地确定在每个像素中是否发生闪烁。如果检测出闪烁，则可选择长曝光图像以避免闪烁。此外，可准确地检测出闪烁区域，以获得不具有闪烁并且已被WDR处理的运动画面。

所述设备还可包括：混合比控制器，被配置为使用闪烁评估值来控制当前帧的长曝光图像与当前帧的短曝光图像的混合比。

如果闪烁评估值低于第一阈值，则混合比控制器可确定要评估的像素不是闪烁，并且将相应像素的长曝光图像与短曝光图像的混合比设置为0。如果闪烁评估值高于第二阈值，则混合比控制器可确定要评估的像素是闪烁，并且将相应像素的长曝光图像与短曝光图像的混合比限制为常数值。

闪烁评估值计算器将闪烁评估值计算为与第一差值成反比。所述闪烁评估值指示闪烁强度。低的第一差值指示长曝光图像的像素值稳定。这是闪烁特性之一。

闪烁评估值计算器将闪烁评估值计算为与第二差值成比例。大的第二差值指示长曝光图像与短曝光图像不同。这是闪烁特性之一。

混合比控制器将当前帧的长曝光图像与当前帧的短曝光图像的混合比控制为与闪烁评估值成比例。当指示闪烁强度的闪烁评估值大时，当前帧的长曝光图像与短曝光图像的混合比增大。因此，WDR合成图像可能包括闪烁的概率降低。

根据示例性实施例的一方面，一种计算闪烁评估值的方法包括：计算当前帧的长曝光图像的像素值和先前帧的长曝光图像的像素值之间的第一差值；计算当前帧的长曝光图像的像素值和先前帧的长曝光图像的像素值的平均值；计算当前帧的短曝光图像的像素值和计算出的平均值之间的第二差值；并且通过第一差值和第二差值来计算指示闪烁强度的闪烁评估值。

所述方法还可包括：使用闪烁评估值来控制当前帧的长曝光图像与当前帧的短曝光图像的混合比。

所述方法还可包括：根据由混合比控制器控制的混合比来合成当前帧的长曝光图像和当前帧的短曝光图像。

所述方法还可包括：将闪烁评估值计算为与第一差值成反比。

所述方法还可包括：将闪烁评估值计算为与第二差值成比例。

所述方法还可包括：将当前帧的长曝光图像与当前帧的短曝光图像的混合比控制为与闪烁评估值成比例。

根据所述方法，可计算闪烁评估值，以动态地确定在每个像素中是否发生闪烁。如果检测出闪烁，则可选择长曝光图像以避免闪烁。此外，可准确地检测出闪烁区域，以获得不具有闪烁并且已被WDR处理的运动画面。

根据示例性实施例，提供了如下技术：当执行WDR处理时，合成长曝光图像和短曝光图像，并且计算用于动态地确定在每个像素中是否已发生闪烁的闪烁评估值。

因此，如果检测出闪烁，则可选择长曝光图像以避免闪烁。可准确地检测出闪烁区域，以获得不具有闪烁并且已被WDR处理的运动画面。

附图说明

通过以下结合附图的对示例性实施例的描述，这些和/或其它方面将变得更加清楚和更加容易理解，其中：

图1是示出相关技术宽动态范围（WDR）系统的功能结构的框图；

图2A是示出根据实施例的短曝光图像的示图；

图2B是示出根据实施例的长曝光图像的示图；

图2C是示出由一般WDR系统获得的WDR合成图像的示图；

图3是示出根据实施例的WDR系统的功能结构的框图；

图4是示出根据实施例的闪烁检测器的详细功能结构的框图；

图5是示出根据实施例的使用图像选择器的详细功能结构的框图；

图6A是示出静止区域的像素值的时间变化的曲线图；

图6B是示出运动区域的像素值的时间变化的曲线图；

图6C是示出闪烁区域的像素值的时间变化的曲线图；

图7是示出闪烁评估和对混合比的控制之间的关系的曲线图；

图8A是示出根据实施例的通过WDR系统来检测闪烁的结果的示图；

图8B是根据实施例的由WDR系统获得的WDR合成图像；

图9是根据实施例的WDR系统的操作的流程图。

具体实施方式

现在将详细参照实施例，其示例在附图中示出，其中，相似的标号始终指示相似的元件。就此而言，本发明的实施例可具有不同的形式并且不应该被解释为限于在此阐述的说明书。因此，以下仅通过参照附图来描述所述实施例，以解释本说明书的方面。

现在将描述相关技术宽动态范围（WDR）系统90。图1是示出相关技术WDR系统90的功能结构的框图。相关技术WDR系统90改变传感器910的曝光设置以连续捕捉两个图像。相关技术WDR系统90执行短曝光捕捉并随后执行长曝光捕捉。在存储器920中存储通过短曝光捕捉获得的短曝光图像。如果已结束短曝光捕捉，则相关技术WDR系统90改变曝光设置来执行长曝光捕捉。

在实施例中，术语“短曝光图像”和“长曝光图像”不限制两个捕捉到的图像的绝对曝光时间。因此，如果捕捉到具有不同曝光时间的两个图像，则两个捕捉到的图像中的一个对应于具有相对短的曝光时间的短曝光图像，而所述两个捕捉到的图像中的另一个对应于具有相对长的曝光时间的长曝光图像。

使用图像选择器930参照由传感器910检测出的长曝光图像和从存储器920读取的短曝光图像来检测长曝光图像和短曝光图像的饱和度状态、运动等，并产生用于将短曝光图像和长曝光图像中的一个选择为使用图像的选择信息。引入多种算法作为用于选择短曝光图像和长曝光图像中的一个的算法。

例如，在长曝光图像中饱和的区域可能在短曝光图像中不饱和。因此，将短曝光图像选择为相应区域的使用图像。然而，如果仅执行该处理，则在运动大的区域中轮廓可能重影。因此，可检测运动以减少轮廓重影的现象。不对包括上述处理的用于选择短曝光图像和长曝光图像中的一个的算法进行具体限制。

合成器940从使用图像选择器930接收选择信息，并通过所述选择信息合成短曝光图像和长曝光图像以产生WDR图像。灰度转换器950针对由合成器940产生的WDR图像，执行用于将具有WDR的图像信号的比特范围转换为预定的比特范围的压缩，并执行用于接近眼睛所看到的屏幕的灰度校正。可同时也可在不同时刻执行所述压缩和灰度校正。

图2A示出根据实施例的短曝光图像。图2B示出根据实施例的长曝光图像。图2C示出由一般WDR系统90获得的WDR合成图像。

图2A、2B和2C中示出的作品是背光的作品，其中，在晴朗的白天，用户U站在室内的窗户W前面，并且在窗户W右侧的下方，显示器D正在闪动。在图2A的短曝光图像Im-s中，清楚地看到窗户W外面的云，但用户U或室内变暗。此外，由于快门时间短，在显示器D中出现竖条纹闪烁。

在图2B的长曝光图像Im-l中，用户U或室内适当地明亮，并且快门时间长。因此，在显示器D中不存在闪烁，但窗户W外面的场景太亮。因此，窗口W外面的场景饱和，并且无法看到云。如果将短曝光图像Im-s和长曝光图像Im-l进行WDR合成，则获得图2C中示出的WDR合成图像Im-g。因此，将短曝光图像Im-s用作长曝光图像Im-l饱和的区域。因此，窗户W外面的云可见。

然而，如果根据算法将存在闪烁的区域检测为运动区域，则由使用图像选择器930将短曝光图像Im-s选择为相应区域的使用图像。因此，由合成器合成包括在短曝光图像Im-s中的显示器D。因此，显示器D中的闪烁可见。

现在将描述根据实施例的WDR系统10的功能结构。图3是示出根据实施例的WDR系统10的功能结构的框图。如图3中所示，WDR系统10包括传感器110、第一存储器121、第二存储器122、使用图像选择器130、合成器140、灰度转换器150和闪烁检测器160。

现在将详细描述WDR系统10的功能块的功能。WDR系统10是根据实施例的计算闪烁评估值的设备。

传感器110是图像传感器，该图像传感器使来自外部的入射光在成像装置的光接收表面上形成为图像、将形成为图像的光光电地转换为电荷量、并且将电荷量转换为电信号。不对图像传感器的类型进行具体限制，例如，所述图像传感器的类型可以是电荷耦合器件（CCD）或互补金属氧化物半导体（CMOS）图像传感器。

传感器110改变曝光设置，以交替并连续地捕捉长曝光图像和短曝光图像。在第一存储器121中存储通过长曝光捕捉到的先前帧的长曝光图像。在第二存储器122中存储通过短曝光捕捉到的当前帧的短曝光图像。如果已结束当前帧的短曝光图像的捕捉，则WDR系统10改变曝光设置以执行长曝光捕捉，以便获得当前帧的长曝光图像。先前帧是指当前帧的前一帧。

闪烁检测器160使用从第一存储器121输出的先前帧的长曝光图像和从第二存储器122输出的当前帧的短曝光图像在每个像素中检测闪烁。闪烁检测器160的闪烁检测结果由使用图像选择器130使用。

图4是示出根据实施例的闪烁检测器160的详细功能结构的框图。图5是示出根据实施例的使用图像选择器130的详细功能结构的框图。示例性实施例的精神和范围涉及根据实施例的闪烁检测。作为实施例的前提，包括长曝光图像和短曝光图像的两个图像的长曝光图像几乎不包括闪烁并且持续稳定。

可将长曝光图像的快门时间设置为1/60秒（或1/50秒），以创建长曝光图像几乎不包括闪烁的情况。短曝光图像的捕捉条件由动态范围扩展性能的规范自行确定，并且被设置为在长曝光捕捉的快门时间的几分之一或几十分之一之间。

将在此前提下描述静止区域、运动区域和闪烁区域之间的差异。

图6A是示出根据实施例的静止区域的像素值的时间变化的曲线图。图6B是示出根据实施例的运动区域的像素值的时间变化的曲线图。图6C是示出根据实施例的闪烁区域的像素值的时间变化的曲线图。

在图6A、图6B和图6C中，S指示与短曝光图像的像素值相应的值，并且L指示与长曝光图像的像素值相应的值。此外，与短曝光图像的像素值相应的值可以是通过将短曝光图像的像素值乘以长曝光图像与短曝光图像的曝光时间的比率、并且使乘法结果归一化而获得的结果。例如，如果以相对于长曝光时间的1/10的曝光时间来捕捉短曝光图像，则将短曝光图像的像素值乘以10以计算与短曝光图像的像素值相应的值。

如图6A中所示，如果捕捉区域是静止区域，并且照明环境是恒定的，则长曝光图像和短曝光图像的像素值几乎不变。如图6B中所示，如果捕捉区域是运动区域，并且被从暗纹理改变为亮纹理，则短曝光图像和长曝光图像的像素值被从正常状态增加，经过过渡状态，并且随后返回正常状态。

如图6C中所示，如果捕捉区域是闪烁区域，则短曝光图像包括闪烁。因此，短曝光图像的像素值大幅改变。然而，长曝光图像几乎不包括闪烁。因此，长曝光图像的像素值几乎不改变。可在闪烁光源的闪动渐显或渐隐时捕捉短曝光图像。然而，长曝光图像被平均以捕捉其亮度。

因此，短曝光图像的像素值可大于或小于短曝光图像的像素值。参照图6B和图6C，并不是仅通过对长曝光图像和短曝光图像的像素值之间的比较来将捕捉区域确定为运动区域或闪烁区域。可添加先前帧的长曝光图像以比较三个像素值，以便准确地确定闪烁。考虑到闪烁的特性，通过以下的等式1获得闪烁评估值。

$\mathrm{Vfe}=(C-|{\mathrm{Lt}}_{-1}-\mathrm{Lt}\left|\right)s|\frac{({\mathrm{Lt}}_{-1}+\mathrm{Lt})}{2}-\mathrm{St}|...\left(1\right)$

Vfe指示闪烁评估值，C指示常数，Lt_-1指示先前帧的长曝光图像的像素值，St指示当前帧的短曝光图像的像素值，Lt指示当前帧的长曝光图像的像素值，s指示乘法符号，并且第一项指示长曝光图像的稳定性。

第一计算器161计算先前帧的长曝光图像的像素值Lt_-1和当前帧的长曝光图像Lt之间的差值（第一差值）。当差值小时，长曝光图像的像素值稳定。

可获得从常数C减去第一差值的结果（以上的等式1的第一项）以指示：当长曝光图像的像素值稳定时，闪烁评估Vfe增大。如果以上的等式1的第一项具有负值，则可由第一计算器161将第一项的值替换为0。

以上的等式1的第二项指示短曝光图像和长曝光图像之间的差值。

平均计算器163计算先前帧的长曝光图像的像素值Lt_-1和当前帧的长曝光图像的像素值Lt的平均值。

第二计算器162计算该平均值和当前帧的短曝光图像的像素值St之间的差值（第二差值）。当差值大时，该差值指示短曝光图像与长曝光图像不同。以上已经详细描述了当前帧的短曝光图像的像素值St。

闪烁评估值计算器164根据由第一计算器161计算出的第一差值和由第二计算器162计算出的第二差值来计算闪烁评估值Vfe。闪烁评估值Vfe指示闪烁的强度。

如上所述，当由第一计算器161计算出的第一差值小时，长曝光图像的像素值是稳定的。因此，闪烁评估值计算器164将闪烁评估值Vfe计算为与第一差值成反比。

当由第二计算器162计算出的差值大时，该差值指示短曝光图像与长曝光图像不同。因此，闪烁评估值计算器164将闪烁评估值Vfe计算为与第二差值成比例。

由诸如上述的等式1的闪烁评估函数计算出闪烁评估值Vfe。根据上述的等式1的闪烁评估值Vfe，作为乘以第二项的结果，如果条件“长曝光图像稳定”和“短曝光图像与长曝光图像不同”被满足，则要评估的像素可被评估为闪烁。

当闪烁评估值大时，要评估的像素可能是闪烁的概率增加。当闪烁评估值小时，要评估的像素可能是闪烁的概率减小。因此，所述闪烁评估值指示该像素是弱闪烁。

混合比计算器131计算长曝光图像与短曝光图像的混合比。例如，混合比计算器131通过捕捉到的图像的饱和状态、运动等计算长曝光图像与短曝光图像的混合比。例如，当长曝光图像的饱和度强时，混合比计算器131减小长曝光图像与短曝光图像的混合比。当长曝光图像或短曝光图像的运动大时，混合比计算器131减小长曝光图像与短曝光图像的混合比。

混合比控制器132通过由闪烁评估值计算器164计算出的闪烁评估值来控制当前帧的长曝光图像与当前帧的短曝光图像的混合比。

在本实施例中，将由混合比控制器132控制的对象是由混合比计算器131计算出的混合比。然而，该对象可以不是混合比。

可使用通过混合比控制器132来控制混合比的各种方法。例如，当由闪烁评估值计算器164计算出的闪烁评估值大时，混合比控制器132可控制当前帧的长曝光图像与当前帧的短曝光图像的混合比增大。

图7是示出根据实施例的闪烁评估值和混合比之间的关系的曲线图。例如，混合比控制器132可根据如图7中所示的输入/输出特性来调整混合比。

如图7中所示，如果闪烁评估值低于第一阈值TH1，则混合比控制器132可检测出要评估的像素不是闪烁，以将相应的像素中的长曝光图像与短曝光图像的混合比设置为0。如图7中所示，如果闪烁评估值高于第二阈值TH2，则混合比控制器132可检测出要评估的像素是闪烁，以将相应的像素中的长曝光图像与短曝光图像的混合比限制为常数值Rc。常数值Rc可以是1或其它值。

第一阈值TH1和第二阈值TH2之间存在过渡区域。如图7中所示，当由闪烁评估值计算器164计算出的闪烁评估值大时，混合比控制器132控制与过渡区域相应的像素中的当前帧的长曝光图像与当前帧的短曝光图像的混合比增大。

闪烁改变亮度的时间方向和/或空间方向，并且可使用Y信号来比较所述改变以检测闪烁。然而，如果R、G和B分量中的一个包括强闪烁，则闪烁的强度在Y信号中减弱。即使在这种情况下，闪烁评估值计算器164也可计算R、G和B信号中的每个的闪烁评估值，并且使用计算结果来检测高密度闪烁。

此外，如果针对R、G和B信号分别计算闪烁评估值，则闪烁评估值计算器164使用R、G和B信号的闪烁评估值中的最大闪烁评估值。如果使用最大闪烁评估值，则减少闪烁的概率增加。

合成器140根据由混合比控制器132控制的混合比来合成当前帧的长曝光图像和当前帧的短曝光图像。例如，如果长曝光图像与短曝光图像的混合比是α，则合成器对当前帧的长曝光图像和短曝光图像中的相应的像素应用以下的等式2的合成像素值Vcc。

Vcc=αsVcl+(1-α)sVcs     ...(2)

Vcl指示当前帧的长曝光图像的像素值，s指示乘法符号，并且Vcs指示当前帧的短曝光图像的像素值。由以上的等式2的合成像素值Vcc获得的图像是WDR图像。

灰度转换器150的功能等同于灰度转换器950的功能。

图8A是示出根据实施例的通过WDR系统10获得的闪烁检测结果的示图。图8B是根据实施例的由WDR系统10获得的WDR合成图像。如图8A所示，闪烁检测结果Im-f包括一组作为显示器D的由混合比控制器132确定为闪烁的像素。根据实施例的WDR系统10可准确地检测出闪烁区域。

如图8B所示，与图2C的WDR合成图像Im-g相似，在WDR合成图像Im-g'中，关于窗户W，将短曝光图像输出为WDR合成图像。参照WDR合成图像Im-g'，关于与被确定为闪烁的像素组相应的显示器D，将长曝光图像输出为WDR合成图像。关于另一像素组（例如，用户U等），将长曝光图像输出为WDR合成图像。根据本实施例的WDR系统10在不影响除了显示器D以外的区域的情况下保持WDR处理的性能，以去除在显示器D中出现的闪烁。

图9是根据实施例的WDR系统10的操作的流程图。

如图9所示，在操作S1中，第一计算器161计算当前帧的长曝光图像的像素值和先前帧的长曝光图像的像素值之间的第一差值。

在操作S2中，平均值计算器163计算当前帧的长曝光图像的像素值和先前帧的长曝光图像的像素值的平均值。

在操作S3中，第二计算器162计算该平均值和当前帧的短曝光图像的像素值之间的第二差值。

在操作S4中，闪烁评估值计算器164通过由第一计算器161计算出的第一差值和由第二计算器162计算出的第二差值来计算闪烁评估值。

在操作S5中，混合比控制器132通过闪烁评估值来控制混合比。在操作S6中，合成器140根据由混合比控制器132控制的混合比来合成当前帧的长曝光图像和当前帧的短曝光图像。

如果存在未经历操作S1至S6的像素（操作S7中的“否”），则处理返回至操作S1以针对所述像素重复操作S1至S6。否则，如果操作S1至S6针对所有像素结束（操作S7中的“是”），则操作S1至S6结束。

根据实施例，当执行合成长曝光图像和短曝光图像的WDR处理时，可计算闪烁评估值以动态地确定在每个像素中是否已发生了闪烁。如果如上所述地检测出闪烁，则可选择长曝光图像作为合成图像，以避免合成包括闪烁的图像。

此外，如果检测出闪烁，则选择长曝光图像作为合成图像，以避免合成包括闪烁的图像。此外，可准确地检测出闪烁区域，以获得不具有闪烁并且已被WDR处理的运动画面。

现在将更加详细地描述根据实施例的效果展示。

当执行交替地捕捉并且合成短曝光图像和长曝光图像的WDR处理时，可通过使用包括闪烁的短曝光图像和不包括闪烁的两个长曝光图像的闪烁检测的结构和评估函数来准确地确定闪烁。

为了执行针对每个像素的闪烁确定，尽管包括闪烁的区域和不包括闪烁的区域混合在捕捉到的图像中，但是可仅处理闪烁区域。因此，可在不在整个屏幕上去除WDR效果的情况下持续地执行WDR合成处理。

接下来是对当捕捉运动图像时闪烁光源渐显或渐隐的情况的描述。

需要长曝光图像不包括闪烁的条件。可将长曝光图像的快门时间设置为1/60秒或1/50秒或者更少。然而，不对短曝光图像进行限制。因此，当实现闪烁的减少时，不会发生WDR性能的降低。

将用于存储前一帧的长曝光图像的存储器添加到闪烁确定。因此，该存储器会是增加成本的因素。然而，前一帧的长曝光图像仅用于闪烁确定。因此，会降低精度。例如，如果从传感器输出的数据是12比特，则将数据量降低到8比特。因此，尽管在存储器中存储低的数据量，这也几乎不影响闪烁确定的精度。可能不存在仅一个像素的闪烁，并且闪烁区域通常具有预定区域。因此，可降低分辨率以将数据写入存储器，并且可通过低分辨率图像执行闪烁确认。这可大幅降低添加的存储器的大小。

可适当地将拜耳数据用作将由根据实施例的技术处理的信号。然而，所述信号不限于拜耳数据。因此，所述信号可以是RGB数据或YUV数据。

作为WDR捕捉的示例，捕捉短曝光图像，并且随后捕捉长曝光图像。然而，不对长曝光图像和短曝光图像的捕捉顺序进行具体限制。因此，可捕捉长曝光图像，并且随后捕捉短曝光图像。

此外，在检测出闪烁的区域中使用长曝光图像。然而，如果长曝光图像饱和，则可能无法获得WDR效果。因此，在包括闪烁的区域中可使用短曝光图像。在这种情况下，可减弱或可去除用于确定闪烁区域的条件，并且可使用短曝光图像。这些可由用户选择来设置。

现在将更加详细地描述在专利文档中公开的技术和示例性实施例的技术之间的比较结果。

在第2012-129972号日本专利公布中公开的相关技术中，在执行捕捉之前执行闪烁检测。此外，闪烁检测需要多个帧。因此，如果将该技术应用于捕捉运动画面，则该技术可能无法应对当执行捕捉时闪烁光源开始或结束发光的情况。受闪烁影响较小的快门速度可被设置为1/50秒或更小，或者可与闪烁源的频率同步。然而，尽管将快门速度设置为1/50秒或更小，并且当捕捉短曝光图像时降低ISO，但是约ISO100通常是上限，并且短曝光图像很快饱和。因此，高亮度部分没有被充分检查。

与在第2012-129972号日本专利公布中公开的相关技术相比，示例性实施例的技术可实时地处理图像。因此，可将示例性实施例的技术应用于运动画面。在示例性实施例中，捕捉条件不受闪烁影响。因此，不降低WDR性能。

在第2012-119761号日本专利公布中公开的相关技术中，如果从捕捉到的图像检测出闪烁或大幅运动，则多个WDR合成图像的优先级降低，以使用已对短曝光图像执行了灰度校正的图像。因此，可能无法获得WDR效果。尽管闪烁是屏幕的一部分，但是WDR效果可从整个屏幕消失。

与在第2012-119761号日本专利公布中所公开的相关技术中相比，根据示例性实施例的技术，如果在捕捉到的图像的一部分中存在闪烁，并且在捕捉到的图像的另一部分中不存在闪烁，则仅在检测出闪烁的区域中改变输出图像，并且WDR效果从其他区域消失。

在第2011-35894号日本专利公布中公开的相关技术中，重复执行捕捉，直到检测出闪烁为止。此外，通过多个帧的添加以获得WDR效果，并且动态范围扩展效果低。

与在第2011-35894号日本专利公布中公开的相关技术相比，示例性实施例的技术具有高的动态范围扩展效果，并且不需要捕捉多个图像。

因此，如果检测出闪烁，则可选择长曝光图像以避免闪烁。此外，可精确地检测出闪烁区域，以获得不具有闪烁并且已被WDR处理的运动画面。

虽然已经参照附图描述了一个或多个实施例，但是本领域的普通技术人员将理解的是，在不脱离由权利要求所限定的示例性实施例的精神和范围的情况下，可在所述示例性实施例中做出形式和细节上的各种改变。

Claims (12)

1.一种用于计算闪烁评估值的设备，所述设备包括：

第一计算器，被配置为计算当前帧的长曝光图像的像素值和先前帧的长曝光图像的像素值之间的第一差值；

平均值计算器，被配置为计算当前帧的长曝光图像的像素值和先前帧的长曝光图像的像素值的平均值；

第二计算器，被配置为计算当前帧的短曝光图像的像素值和由平均值计算器计算出的平均值之间的第二差值；

闪烁评估值计算器，被配置为使用第一差值和第二差值来计算指示闪烁强度的闪烁评估值。

2.如权利要求1所述的设备，还包括：

混合比控制器，被配置为使用闪烁评估值来控制当前帧的长曝光图像与当前帧的短曝光图像的混合比。

3.如权利要求2所述的设备，还包括：

合成器，被配置为根据由混合比控制器控制的混合比来合成当前帧的长曝光图像和当前帧的短曝光图像。

4.如权利要求1所述的设备，其中，闪烁评估值计算器将闪烁评估值计算为与第一差值成反比。

5.如权利要求1所述的设备，其中，闪烁评估值计算器将闪烁评估值计算为与第二差值成比例。

6.如权利要求2所述的设备，其中，混合比控制器将当前帧的长曝光图像与当前帧的短曝光图像的混合比控制为与闪烁评估值成比例。

7.一种计算闪烁评估值的方法，所述方法包括：

计算当前帧的长曝光图像的像素值和先前帧的长曝光图像的像素值之间的第一差值；

计算当前帧的长曝光图像的像素值和先前帧的长曝光图像的像素值的平均值；

计算当前帧的短曝光图像的像素值和计算出的平均值之间的第二差值；

通过第一差值和第二差值来计算指示闪烁强度的闪烁评估值。

8.如权利要求7所述的方法，还包括：使用闪烁评估值来控制当前帧的长曝光图像与当前帧的短曝光图像的混合比。

9.如权利要求8所述的方法，还包括：根据被控制的混合比来合成当前帧的长曝光图像和当前帧的短曝光图像。

10.如权利要求7所述的方法，还包括：将闪烁评估值计算为与第一差值成反比。

11.如权利要求7所述的方法，还包括：将闪烁评估值计算为与第二差值成比例。

12.如权利要求8所述的方法，其中，将当前帧的长曝光图像与当前帧的短曝光图像的混合比控制为与闪烁评估值成比例。

Images