CN101622859B - 成像装置和闪烁检测方法 - Google Patents

Abstract

曝光控制单元(15)对CMOS传感器(10)的电荷积聚时间进行控制。CMOS传感器(10)以电荷积聚时间T1拍摄图像P1并且以电荷积聚时间T2拍摄图像P2。电荷积聚时间T1不会在以第一闪光周期闪光的光源之下的图像中引起闪烁。电荷积聚时间T2与电荷积聚时间T1不同。差分图像产生单元(17)产生用于加强示出图像P1和P2的亮度差的差分图像DP。闪烁检测单元(18)根据在差分图像DP中出现的P1与P2之间的亮度差来对图像P2中的闪烁发生进行检测。

Description

成像装置和闪烁检测方法

技术领域

本发明涉及一种并入到数码相机等等的成像装置，并且尤其是涉及具有对由于诸如荧光灯这样的光源的亮度波动而在拍摄图像中所产生的闪烁(flicker)进行检测的功能的成像装置。

背景技术

为固态图像传感器之一的CMOS(互补金属氧化物半导体)传感器执行所谓的行曝光。因此，按照每一行(扫描行)，组成CMOS传感器的拍摄表面的每个像素(光电二极管)的电荷积聚定时(timing)根据每个像素的扫描定时存在偏差。因此，当在对象的亮度周期性变化的环境中例如在具有非逆变器型荧光灯(non-inverter type fluorescentlight)的室内中利用CMOS传感器拍摄图像时，在拍摄图像中产生了亮暗横条纹。将在拍摄图像中产生横条纹的现象称为闪烁。

作为抑制在拍摄图像中闪烁的发生的一个方法，存在用于将CMOS传感器的电荷积聚时间(快门速度)配置成光源的闪光周期(blinkcycle)的整数倍这样的方法(例如参见专利引文1)。在具有调节的电荷积聚时间的成像装置中，光源在每个像素的电荷积聚时间之内的光强波动是均匀的，即使电荷积聚的定时根据每个像素而不同。因此可抑制闪烁的发生。

例如，上述非逆变器型荧光灯的闪光频率是商用交流电源的电源频率的两倍。也就是说，在电源频率为50Hz的区域中荧光灯的闪光周期是1/100秒并且在电源频率为60Hz的区域中是1/120秒。因此，在电源频率为50Hz的区域中，电荷积聚时间是N/100秒并且在电源频率为60Hz的区域中电荷积聚时间是M/120秒。在这里，N和M是正整数。然而在专利引文1中，没有公开如下所述的方法，例如，用于对闪烁本身进行检测的方法以及用于响应对闪烁的检测而使CMOS传感器的电荷积聚时间最佳化的方法。

在专利引文2中，公开了用于利用根据CMOS传感器获得的图像所计算的闪烁指标值来对闪烁发生进行检测并且根据所检测的结果来对电荷积聚时间进行切换的成像装置。

更具体地说，专利引文2中所公开的成像装置可在与第一电源频率(例如50Hz)相对应的第一电荷积聚时间(例如N/100秒)和与第二电源频率(例如60Hz)相对应的第二电荷积聚时间(例如M/120秒)之间对CMOS传感器的电荷积聚时间进行切换。此外，专利引文2的成像装置计算下述投影值(projection value)D并且计算用于表示多个帧之间的投影输出值D的变化量的闪烁指标值I，所述投影值D是包含在CMOS传感器所拍摄的图像中的预定行之内的多个像素的像素值的累积。例如由以下公式(1)计算利用4帧的图像所计算的闪烁指标值I。注意的是，在公式(1)中，D(n)是第n帧的预定行的投影输出值。

$I=\underset{n=k}{\overset{k+3}{\mathrm{\Σ}}}|D(n+1)-D\left(n\right)|---\left(1\right)$

通过对闪烁指标值I1与闪烁指标值I2进行比较来执行专利引文2中所公开的成像装置对电荷积聚时间进行切换。闪烁指标值I1是从利用第一电荷积聚时间所拍摄的图像获得的。闪烁指标值I2是从利用第二电荷积聚时间所拍摄的图像获得的。在专利引文2中所公开的成像装置选择具有更小闪烁指标值的电荷积聚时间。此外，例如，如果在被配置成第一电荷积聚时间时，闪烁指标值I1增大超过了预定阈值，那么执行从第一电荷积聚时间切换到第二电荷积聚时间。[专利引文1]日本未审专利申请公开No.2003-189172[专利引文2]日本未审专利申请公开No.2002-84466

发明内容

技术问题

如上所述，专利引文2中所公开的成像装置计算与连续拍摄的多个图像的预定行有关的像素值的累积值(投影值)。此外，专利引文2中所公开的成像装置通过跨过预定数目的帧的2个图像中的投影输出值的差进行测量获得闪烁指标值。此外，在专利引文2中所公开的成像装置利用所获得的闪烁指标值对闪烁进行检测。然而，在专利引文2中所公开的成像装置的闪烁检测方法中，存在如下所述的对帧速率的依赖性很大的这样的问题。

专利引文2中所公开的闪烁估计方法利用拍摄图像的预定行中的每个像素的光电变换的定时与光源的闪光周期不同步来对拍摄图像中的闪烁进行检测(例如参见专利引文2中的段落43至46)。因此，例如，如果1帧时段与光源的闪光周期同步，也就是说，如果1帧时段是光源的闪光周期的整数倍，那么图像的预定行中的每个像素的积聚电荷量不会在连续拍摄的多个图像之间波动。也就是说，在这种情况下，难以通过专利引文2中所公开的方法对闪烁进行检测。如上所述，通过专利引文2中所公开的成像装置的闪烁检测方法具有对帧速率的依赖性很大这样的问题。

技术方案

在本发明的一个实施例中，成像装置包括成像传感器、控制单元、以及闪烁检测单元。控制单元控制通过被调节为第一电荷积聚时间的成像传感器拍摄第一图像和控制通过被调节为第二电荷积聚时间的成像传感器拍摄第二图像。第一电荷积聚时间不会在以第一闪光周期闪光的光源之下拍摄的图像中引起闪烁。第二电荷积聚时间与第一电荷积聚时间不同。闪烁检测单元根据被调节为第一电荷积聚时间的成像传感器所拍摄的第一图像与被调节为第二电荷积聚时间的成像传感器所拍摄的第二图像之间的亮度差来对第二图像中的闪烁发生进行检测。

当在以第一闪光周期闪光的光源下利用如上配置的成像装置执行拍摄时，以第一电荷积聚时间所获得的第一图像中不会出现闪烁。另一方面，以第二电荷积聚时间所获得的第二图像中，不管第二图像的1帧时段是否是光源的第一闪光周期的整数倍，如果第二电荷积聚时间与第一闪光周期不同步，则会由于闪烁而出现横条纹。因此，通过利用第一与第二图像的亮度差，不管第一和第二图像的1帧时段是否是光源的闪光周期的整数倍，则可进行闪烁检测。因此，利用根据本发明一个实施例的成像装置，可降低闪烁检测精确度对帧速率的依赖性并且可提高闪烁检测精确度。

在本发明的另一实施例中，提供了一种闪烁检测方法。更具体地说，在第一电荷积聚时间与第二电荷积聚时间之间对成像传感器的电荷积聚时间进行切换以便执行通过被调节为第一电荷积聚时间的成像传感器拍摄第一图像和执行通过被调节为第二电荷积聚时间的成像传感器拍摄第二图像。第一电荷积聚时间与光源的第一闪光周期同步并且不会在以第一闪光周期闪光的光源之下所拍摄的图像中产生闪烁。第二电荷积聚时间与第一电荷积聚时间不同。此外，根据第一图像与第二图像之间的亮度差来对第二图像中的闪烁发生进行检测。

利用根据本发明另一实施例的闪烁检测方法，通过利用第一与第二图像的亮度差，不管第一和第二图像的1帧时段是否是光源的闪光周期的整数倍，可进行闪烁检测。因此，可降低闪烁检测精确度对帧速率的依赖性并且可提高闪烁检测精确度。

本发明可提供一种降低闪烁检测精确度对帧速率的依赖性并且可提高闪烁检测精确度的成像装置。

附图说明

[图1]图1是根据本发明第一实施例的成像装置1的方框图。[图2]图2是用于对在根据第一实施例的成像装置1中的差分图像(difference image)产生的说明性示例进行说明的图。[图3A]图3A是用于对根据第一实施例的成像装置1所产生的差分图像进行说明的概念图。[图3B]图3B是用于对根据第一实施例的成像装置1所产生的差分图像进行说明的概念图。[图4]图4是示出了根据第一实施例的成像装置1的闪烁检测过程的示例的流程图。[图5]图5是示出了根据本发明第二实施例的成像装置1的闪烁检测过程的流程图。[图6]图6是示出了根据第二实施例的成像装置1的闪烁检测过程的流程图。[图7]图7是根据本发明第三实施例的成像装置2的方框图。[图8A]图8A是用于对根据第三实施例的成像装置2利用差分图像对闪烁的检测和闪烁频率的检测进行说明的示意图。[图8B]图8B是用于对根据第三实施例的成像装置2利用差分图像对闪烁的检测和闪烁频率的检测进行说明的示意图。[图8C]图8C是用于对根据第三实施例的成像装置2利用差分图像对闪烁的检测和闪烁频率的检测进行说明的示意图。[图9]图9是示出了根据第三实施例的成像装置2的闪烁检测过程的流程图。对附图标记的说明

1，2  成像装置10  CMOS传感器11  CDS(相关双采样)电路12  放大器13  A/D转换器14  像素值累积单元15  曝光控制单元16  定时产生器17  差分图像产生单元18，28  闪烁检测单元

具体实施方式

现在在这里参考说明性实施例对本发明进行描述。本领域技术人员将意识到，利用本发明的教导可实现许多可选的实施例并且本发明并不局限于为了说明性目的所说明的实施例。

在下文中，参考附图对并入本发明的具体实施例进行详细地描述。在每个附图中，由与其中那些相同的参考数字来表示相同部件，其中为使该说明清楚起见的需要而省去重复描述。

第一实施例图1是根据这个实施例的成像装置1的方框图。在图1中，CMOS传感器10是通过使CMOS集成电路的制造过程转用而制造的固态图像传感器。CMOS传感器10具有由与矩阵中的每个像素相对应的光电二极管所形成的拍摄表面。另外，对于CMOS传感器10的每个像素而言，配置了用于有选择地读取积聚在每个像素中的信号电荷的晶体管以及用于对积聚在每个像素中的信号电荷进行复位的晶体管。在如上所形成的CMOS传感器10中，与CCD图像传感器相反，形成拍摄表面的每个像素的电荷积聚定时根据每个像素的扫描定时而不同，并且对于每个像素在不同定时执行电荷积聚以产生图像信号。

CDS(相关双采样)电路11通过执行相关双采样除去CMOS传感器10所产生的图像信号的噪声。放大器12对由CDS电路11除去噪声后的图像信号进行放大。随后描述的曝光控制单元15对放大器12的增益以及CMOS传感器10的电荷积聚时间进行控制以便使由CMOS传感器拍摄的图像具有期望亮度。

A/D转换器13对由放大器12所放大的图像信号进行采样以将其转换成数字信号。将从A/D转换器13输出的数字图像信号输入到未示出的图像处理单元并且由图像处理单元(未示出)执行色信号内插、色校正、以及白平衡调节等等。

像素值累积单元14输入来自A/D转换器13的输出信号，按照每一图像帧，累积包含在整个图像平面或者图像平面一部分之内的像素的像素值、并且将所获得的累积值提供给曝光控制单元15。像素值累积单元14可以利用像素值的累积值来计算图像帧中的像素值的平均值并且可以将所获得的平均值提供给曝光控制单元15。

曝光控制单元15根据像素值累积单元14所提供的图像的像素值的累积值或者平均值来确定CMOS传感器10的电荷积聚时间(快门速度)和放大器12的增益。曝光控制单元15将设置信号输出到定时产生器16以对CMOS传感器10进行控制，以便CMOS传感器10的电荷积聚时间是所确定的值。另外，曝光控制单元15将设置信号输出到放大器12以便对放大器12的增益进行配置。

此外，曝光控制单元15对CMOS传感器10的电荷积聚时间进行控制以获得是随后所述的差分图像产生单元17所产生的差分图像DP的基础的图像P1和P2，以便执行该实施例的闪烁检测。

更具体地说，曝光控制单元15通过在两个电荷积聚时间T1与T2之间对CMOS传感器10的电荷积聚时间进行交替切换来执行图像拍摄。电荷积聚时间之一T1与诸如荧光灯这样的光源的第一闪光周期同步，并且是不会在以第一闪光周期闪光的光源之下CMOS传感器10的拍摄图像中产生闪烁的第一电荷积聚时间。另一电荷积聚时间T2是与第一电荷积聚时间不同的第二电荷积聚时间。随后所述的多个示例是第二电荷积聚时间的说明性示例。

例如如果光源的第一闪光周期是1/100秒(闪光频率100Hz)，那么第一电荷积聚时间T1是光源的第一闪光周期的整数倍，即N/100秒，并且第二电荷积聚时间T2是除了光源的第一闪光周期的整数倍之外的值。另外，例如，如果光源的第一闪光周期是1/120秒(闪光频率120Hz)，那么第一电荷积聚时间T1是光源的第一闪光周期的整数倍，即N/120秒，并且第二电荷积聚时间T2是除了N/120秒之外的值。在这里，N是正整数。在下文中，在该实施例中，说明假定光源的第一闪光周期是1/100秒。

定时产生器16将用于定义积聚在每个像素中的电荷的复位定时的脉冲信号以及用于定义读取积聚在每个像素中的信号电荷的纵向选择的脉冲信号输出到CMOS传感器10，以便CMOS传感器10中的每个像素的电荷积聚时间是曝光控制单元15所表示的值。

差分图像产生单元17输入与以依据曝光控制单元15的控制的2个不同电荷积聚时间T1和T2所拍摄的2帧的图像P1和P2有关的图像信号。差分图像产生单元17产生2帧的图像P1和P2之间的差分图像DP。在这里，差分图像DP是通过计算2帧的图像之间在拍摄表面的横向和纵向位置中相对应的像素的像素值的差所获得的图像。

参考图2对差分图像产生单元17的过程的说明性示例进行描述。图2的示例将1帧图像21划分成纵向24个块和横向8个块以划分成总共192个块，并且使每个块的像素值累积。另外，通过横向上合计每个块的累积值而获得总共24个块(图2中的参考数字22)的像素值的平均值。在为2帧图像P1和P2的每一个计算图2中所示的平均值之后，差分图像产生单元17通过计算这2帧之间每个块的平均值的差而产生用于闪烁检测的差分图像DP。也就是说，通过执行图2的示例中的计算，产生横向以1个块合计并且纵向以24个块合计的差分图像DP。

注意的是，图2的示例仅是差分图像DP的产生过程的示例。也就是说，可对1帧图像的整个图像平面或者该图像平面的一部分产生差分图像DP。为了产生该图像的图像平面的一部分的差分图像，可以使用包括与1个图像中的闪烁引起的亮暗条纹的周期相对应的亮暗条纹的至少1个周期的行的数量。可利用光源的闪光周期(或者闪光频率)和成像装置1的1帧时段(或者帧速率)来计算1个图像中的闪烁引起的亮暗条纹的周期。

此外，如利用图2所描述的，通过以预定部分区域为单元，使像素值累积所获得的累积值之间的差或者通过像素值的平均值之间的差而产生差分图像DP，而不是通过像素值之间的直接差。另外，例如可从图像P1和P2的亮度值的差产生差分图像DP。从具有拜耳排列(Bayerarrangement)的色信息的图像信号产生每个像素的亮度值。另外，根据RGB信号当中最接近亮度信号的G信号，从图像P1和P2的G信号值的差产生差分图像DP。

现在回到图1继续该说明。在图1中，闪烁检测单元18输入差分图像产生单元17所产生的差分图像DP。在与图像P1和P2的扫描方向相垂直的方向(是差分图像DP的图像平面的纵向)上，闪烁检测单元18根据差分图像DP的像素值的波动(亮度波动)来对第二图像P2中的闪烁发生进行检测。因此，可以认为闪烁检测单元18包括在差分图像DP的图像平面的纵向上的亮度波动检测单元。换句话说，可以认为闪烁检测单元18包括用于差分图像DP的亮暗条纹检测单元。

在这里，参考图3A和3B对利用差分图像DP的闪烁检测的原理进行描述。图3A示出了当成像装置1的拍摄环境不在闪光源之下时，例如室外日光，以电荷积聚时间T1所拍摄的图像P1和以电荷积聚时间T2所拍摄的图像P2的差分图像DP。在图3A的情况下，因为在图像P1和P2中闪烁没有发生，因此除了摄影被摄体的移动和噪声之外，图像P1和P2是相同图像。因此，差分图像DP的像素值或者亮度值在整个图像平面上理论上是零，并且检测不到差分图像DP的图像平面的纵向上的亮度波动。

另一方面，图3B示出了在以第一闪光周期闪光的闪光源之下所拍摄的图像P1和图像P2的差分图像DP。在图3B的情况下，因为图像P1的电荷积聚时间T1与光源的闪光周期同步，因此在图像P1中不会产生闪烁。然而，如果图像P2的电荷积聚时间T2与光源的第一闪光周期不同步，则在图像P2中闪烁发生。因此，包含在图像P2中的闪烁引起的亮暗横条纹被加强并且出现在差分图像DP中。也就是说，在差分图像DP中，亮度波动沿着纵向而出现。因此，通过闪烁检测单元18对差分图像DP纵向上的亮度波动进行检测，可对第二图像P2中的闪烁的发生进行检测。

可通过各种方法来对差分图像DP纵向上的亮度波动进行检测。例如，闪烁检测单元18可利用对差分图像DP的亮度值的统计分析结果来对亮度波动进行检测。更具体地说，闪烁检测单元18可计算差分图像DP纵向上的亮度值的平均值和标准偏差或者方差，并且可估计出所计算的平均值和标准偏差更接近不具有闪烁的差分图像DP的亮度值的平均值和标准偏差或者具有闪烁的差分图像DP的亮度值的平均值和标准偏差。

另外，可利用数字匹配滤波器对差分图像DP纵向上的亮度波动进行检测。根据光源的闪光周期(或者闪光频率)以及成像装置1的1帧时段(或者帧速率)，理论上可计算包含在1图像帧之内的闪烁引起的横条纹的数目。例如，如果光源的闪光频率是100Hz并且成像装置1的帧拍摄速率是20帧/秒，那么包含在1图像帧之内的闪烁条纹的数目理论上是5。按照这种方式，理论上计算用于表示由于闪烁条纹所造成的差分图像的亮度波动的参考波形，并且可利用数字匹配滤波器来计算参考波形与所观察到的差分图像DP的亮度波动波形之间的互相关性。同样地，可利用数字匹配滤波器来计算不具有闪烁引起的亮度波动的参考波形(直流波形)与所观察到的差分图像DP的亮度波动波形之间的互相关性。这可确定所观察到的差分图像DP的亮度波动是接近具有闪烁的情况还是不具有闪烁的情况。

另外，或者，对差分图像DP执行傅里叶变换以便根据差分图像DP的空间频谱来对差分图像DP的亮度波动进行检测。

在下文中，参考图4的流程图对成像装置1的闪烁检测过程进行描述。在步骤S101中，通过曝光控制单元15的控制，CMOS传感器10以电荷积聚时间T1执行图像拍摄以获得第一图像P1。接下来，在步骤S102中，曝光控制单元15将CMOS传感器10的电荷积聚时间切换到电荷积聚时间T2，CMOS传感器10以电荷积聚时间T2执行图像拍摄以获得第二图像P2。在步骤S103中，差分图像产生单元17产生图像P1与P2之间的差分图像DP。在步骤S104中，闪烁检测单元18对差分图像DP纵向上的亮度波动进行检测。

如果在步骤S104中未检测到纵向上的亮度波动，则检测到图像P1和P2中不存在闪烁，换句话说，它不是会产生由于光源的闪光所引起的闪烁的拍摄环境(步骤S105)。另一方面，如果在步骤S104中检测到差分图像DP的亮度波动，则检测到在图像P2中发生了由于光源的闪光所引起的闪烁，换句话说，它是会产生由于光源的闪光所引起的闪烁的环境(步骤S106)。

在图4的流程图中，没有限制获得图像P1和P2的顺序。也就是说，可在以第一电荷积聚时间T1拍摄图像之前以第二电荷积聚时间T2拍摄图像。

如上所述，根据这个实施例的成像装置1获得了以不同电荷积聚时间所拍摄的2个图像P1和P2，产生图像P1与P2之间的差分图像DP以便提取这2个图像P1与P2之间的亮度差，并且检测图像DP的纵向(与图像P1和P2的扫描方向相垂直的方向)上的亮度波动引起的闪烁。

在以第二电荷积聚时间T2所获得的图像P2中，即使当图像P2的1帧时段是光源的闪光周期的整数倍，也会出现由于闪烁引起的横条纹。因此，利用该实施例的成像装置1，通过利用图像P1与P2之间的亮度差，可对闪烁进行检测而不管图像P1和P2的1帧时段是否是光源的闪光周期的整数倍。因此，成像装置1可降低闪烁检测精确度对帧速率的依赖性，并且提高闪烁检测精确度。

注意的是，专利引文2中所公开的成像装置具有另一问题，即，因为对闪烁进行检测需要大量图像帧，因此要对闪烁进行检测所需的时间很长。如公式(1)中所示的，专利引文2中所公开的成像装置使图像帧之间的像素值的变化量累积，并且利用该变化量的累积值作为闪烁指标值来执行对闪烁指标值的阈值估计。因此专利引文2中所公开的成像装置需要至少3个图像帧以对闪烁进行检测。此外，认为需要许多图像帧以对闪烁进行检测的专利引文2的方法很可能由于摄影被摄体的移动引起的像素值变化而产生假检测。另外，为了确定闪烁或者摄影被摄体移动是否引起了闪烁指标值的波动，专利引文2描述了必须在更多数目的帧上对闪烁指标值进行测量(例如专利引文2中的段落63至79)。按照这种方式提高估计精确度容易使与闪烁检测时间的长度有关的上述问题更加严重。

与此相比，该实施例的成像装置1可根据以不同电荷积聚时间所拍摄的至少2个图像帧来对闪烁进行检测。也就是说，因为要对闪烁进行检测所需的图像帧的数目小，因此可降低要对闪烁进行检测所需的时间，并且具有如下的优点，即，很难产生由于摄影被摄体的移动引起的像素值变化而造成的假检测。

注意的是，在其上安装了成像装置1的数码相机等等中，成像装置1的闪烁检测最好是在电源起动时、当CMOS传感器10所拍摄的图像的亮度大大变化时、以及当由于用户的操作而使诸如曝光调节这样的预设给数码相机的拍摄模式变化时被执行。另外，在其上安装了成像装置1的照相机等等进行操作的同时，可利用对电荷积聚时间进行交替切换而反复获得图像P1和P2以反复通过成像装置1对闪烁进行检测。利用这种配置，可快速地对拍摄环境的变化做出响应。

另外，成像装置1可多次获得图像P1和P2以产生多个差分图像DP，以便根据多个差分图像DP对闪烁的发生进行检测。例如，可4次产生差分图像DP，并且如果连续4次检测到差分图像DP纵向上的亮度波动，那么成像装置1可检测到闪烁的发生。利用这种配置，可提高对闪烁存在的检测精确度。

第二实施例如果仅在光源的闪光周期是第一闪光周期(在该实施例中是1/100秒)的环境和区域中使用具有根据第一实施例的成像装置1的数码相机等等，那么通过图4所示的闪烁检测过程，可对100Hz闪烁的发生进行检测。然而，考虑到当具有成像装置1的数码相机等等被用在具有不同的光源闪光周期的若干环境和区域中时的情况，可通过图4的过程对闪烁发生进行检测，但是不可检测到从光源的哪个闪光频率产生了闪烁。因此，仅仅通过图4的过程，无法改变诸如CMOS传感器10的电荷积聚时间以及放大器12的增益这样的配置，以便防止闪烁的发生。因此，参考图5和6对图4所示的闪烁检测过程的变化示例进行描述。

图5和6的流程图示出了如下所述的闪烁检测过程的示例，即，可使CMOS传感器10和放大器12的配置变化以通过对光源的闪光频率进行辨别来避免闪烁的发生。在图5和6的示例中，将光源的闪光周期是第一闪光周期(1/100秒)或者第二闪光周期(1/120秒)的环境作为示例来描述。

在步骤S201中，CMOS传感器10以即是第一闪光周期(1/100秒)和第二闪光周期(1/120秒)的公倍数的电荷积聚时间T1执行图像拍摄以获得第一图像P1。也就是说，第一电荷积聚时间T1是如下所述的时间，即，该时间不会在以第一闪光周期闪光的光源与以第二闪光周期闪光的光源的任一个之下的环境中CMOS传感器10的拍摄图像中产生闪烁。更具体地说，将第一电荷积聚时间T1设置为10N/100秒，例如10/100秒。

在步骤S202中，CMOS传感器10以电荷积聚时间T2执行图像拍摄以获得第二图像P2，该电荷积聚时间T2是第一闪光周期(1/100秒)的倍数并且不是第二闪光周期(1/120秒)的倍数。也就是说，第二电荷积聚时间T2不会在以第一闪光周期闪光的光源之下拍摄的图像中产生闪烁，但是第二电荷积聚时间T2会在以第二闪光周期闪光的光源之下拍摄的图像中产生闪烁。例如，将第二电荷积聚时间T2设置为12/100秒。

在步骤S203中，差分图像产生单元17产生图像P1与P2之间的差分图像DP1。在步骤S204中，闪烁检测单元18对差分图像DP1纵向上的亮度波动的存在进行检测。

在这里，作为第一种情况，考虑当在以第一闪光周期(1/100秒)闪光的光源下执行图像P1和P2的拍摄时的情况。在第一种情况中，在图像P1和P2这两者中不会发生闪烁。因此，除了摄影被摄体的移动和噪声之外，图像P1和P2是相同图像，因此检测不到差分图像DP1纵向上的亮度波动。因此，在第一种情况中，检测不到闪烁(步骤S205)。这可确定出当前拍摄环境是不会在以如至少N/100秒的电荷积聚时间所拍摄的图像中产生闪烁的环境(在以第一闪光周期闪光的光源或者诸如户外这样的不具有闪烁的环境)。

接下来，作为第二种情况，考虑当在以第二闪光周期(1/120秒)闪光的光源下执行图像P1和P2的拍摄时的情况。在第二种情况中，在图像P1中不会发生闪烁，但是在图像P2中发生闪烁。因此在步骤S104中检测到差分图像DP1纵向上的亮度波动。因此，在第二种情况下检测到闪烁发生(步骤S206)。根据闪烁的发生的原理，明显的是，这种情况下的闪烁不是由于以第一闪光周期(1/100秒)闪光的光源引起的。因此，如果对光源的闪光周期的选项仅是第一闪光周期(1/100秒)和第二闪光周期(1/120秒)这样的2种方式，那么可确定出图像P1和P2的拍摄环境处于第二闪光周期(1/120秒)的光源之下。

因此，如果在上述步骤S201至S206中未检测到闪烁发生，那么可以将在通过来自用户的指令执行普通拍摄时CMOS传感器10的电荷积聚时间设置为N/100秒。另外，如果已将处于普通拍摄的CMOS传感器10的电荷积聚时间设置为N/100秒，那么可继续该配置。同时，如果在上述步骤S201至206中检测到闪烁发生，那么将处于普通拍摄的CMOS传感器10的电荷积聚时间设置为M/120秒。在这里，N和M是正整数。

如上所述，如果光源的闪光周期的选项仅是第一闪光周期(1/100秒)和第二闪光周期(1/120秒)这样的2种方式，那么通过检测到闪烁发生(步骤S206)，可确定出图像P1和P2的拍摄环境处于第二闪光周期(1/120秒)的光源之下。因此在步骤S207中，将处于普通拍摄的CMOS传感器10的电荷积聚时间配置为M/120秒。在此之后，如果确定出步骤S208之后的确认过程是不必要的，则闪烁检测过程在这里结束。

另一方面，在步骤S208中，如果确定附加的确认过程是必需的，那么该过程进行图6所示的确认过程。在步骤S209和S210中，CMOS传感器10以M/120秒和W/120秒的电荷积聚时间执行图像拍摄以获得图像P3和P4。在这里，M和W是正整数。另外，如图5所述的，优选的是，M/120秒或者W/120秒的任一个是1/100秒与1/120秒的公倍数并且另一个不是1/100秒与1/120秒的公倍数。

在步骤S211中，产生图像P3与P4之间的差分图像DP2。在步骤S212中，对所产生的差分图像DP2纵向上的亮度波动进行检测。在这种情况下，如果成像装置1中不存在故障等等，那么检测不到差分图像DP2纵向上的亮度波动并且闪烁检测过程结束(步骤S213)。另一方面，在检测到差分图像DP2纵向上的亮度波动的异常情况下，再次回到步骤S201并且再次执行闪烁检测过程(步骤S214)。作为重新执行闪烁检测过程的结果，如果再次在步骤S213中检测到亮度波动，那么认为发生了诸如成像装置1的故障这样的某种异常事件。因此将某种通知信号输出到成像装置1外部。这里的通知信号可以是用于向外部处理器通知发生了异常事件的电信号，或者可以是用于显示或音频输出以通知用户的信号。

假定光源的闪光周期是下述2种方式这样的情况对图5和6进行说明，所述2种方式假定是闪烁的发生的原因。因此，如果引起闪烁的发生的光源的闪光周期是3种方式或更多，那么在图6的步骤S212中，可检测到差分图像DP2纵向上的亮度波动。在这种情况下，将CMOS传感器10的电荷积聚时间配置成与第三闪光周期相对应的时间，并且按照与图6的过程相同的方式来执行下述的进一步的确认过程，即，不会以与第三闪光周期相对应的电荷积聚时间产生闪烁。

在按照上面所说明的过程执行了闪烁检测过程以获得不是闪烁发生原因的电荷积聚时间之后，通过曝光控制单元15，可获得不具有闪烁的图像，所述曝光控制单元15对定时产生器16的脉冲传输定时和放大器12的增益进行配置以便以不形成闪烁的电荷积聚时间执行普通拍摄。这可提高其上安装了成像装置1的数码相机等等的用户的便利性。注意的是，执行闪烁的检测过程的定时可以是在本发明第一实施例中所描述的各个定时，例如在电源起动时。

另外，在图5中，说明了这样的示例，即，在该示例中，通过对以2次拍摄所获得的图像P1和P2的差分图像DP1的亮度波动进行检测来对闪烁的存在进行检测。然而，与本发明的上述第一实施例一样，反复获得图像P1和P2以反复闪烁检测。利用这种配置，可快速地对拍摄环境的变化做出响应。或者，与本发明的上述第一实施例一样，可以多次获得图像P1和P2以产生多个差分图像DP1，以便根据多个差分图像DP1对闪烁的发生进行检测。利用这种配置，可提高对闪烁的发生的检测精确度。注意，不用说的是，这不局限于图5而是还可应用于图6。

第三实施例根据本发明的上述第一或第二实施例的成像装置1通过下述配置被说明，即，所述配置通过利用以不同电荷积聚时间所拍摄的2个图像P1和P2所产生的差分图像DP的亮度波动的存在来对闪烁进行检测。将该实施例的成像装置2配置成根据差分图像DP的图像平面的纵向上的亮度波动的周期(像素值的波动周期)来对即是闪烁频率的光源的闪光频率进行进一步检测。当具有成像装置2的数码相机等等用在下述区域中时这种配置尤其有效，即，在所述区域中，在CMOS传感器10的图像中产生闪烁的光源的闪光频率处于2种方式，例如在日本。商业电源在日本具有50或者60Hz的频率。在下文中，对根据该实施例的成像装置2的配置以及闪烁检测过程进行详细地描述。

图7中示出了成像装置2的方框图。在图7中，除了闪烁检测单元28之外的部件与包含在上述成像装置1之内的那些相同，因此，由图1中的附图标记来表示该部件并且省略对该部件的详细说明。注意的是，包含在成像装置2中的曝光控制单元15与成像装置1的相似点在于，通过在T1和T2这2个电荷积聚时间之间对CMOS传感器10的电荷积聚时间进行交替切换来执行拍摄。然而，将此时的电荷积聚时间T1和T2分别配置成相应于光源的第一闪光周期(例如1/100秒)和第二闪光周期(例如1/120秒)。在下文中，在该实施例中，说明了光源的第一闪光周期是1/100秒并且与此相对应的第一电荷积聚时间T1是N/100秒。另外，说明了光源的第二闪光周期是1/120秒并且与此相对应的第二电荷积聚时间T2是M/120秒。这里，N和M是正整数。然而，确定第二电荷积聚时间T2是除了光源的第一闪光周期“1/100秒”的整数倍之外的值。

闪烁检测单元28输入由差分图像产生单元17所产生的差分图像DP，以根据差分图像DP的图像平面的纵向上的像素值的波动(亮度波动)来对在第一图像P1或者第二图像P2中的闪烁发生进行检测。此外，通过对差分图像DP的图像平面的纵向上的亮度波动的周期进行分析，闪烁检测单元28检测在图像P1和P2的哪一个中产生了闪烁，换句话说，检测拍摄环境是在第一闪光周期(1/100秒)或者第二闪光周期(1/120秒)的光源之下。也就是说，可以认为闪烁检测单元28包括用于对差分图像DP的亮度波动的频率(闪烁频率)进行检测的闪烁频率检测单元。因此，在图7中，为了阐明与图1的差别，对嵌入在闪烁检测单元28的块中的闪烁频率检测单元进行描述。

如在本发明的第一实施例中所描述的，当以N/100秒的第一电荷积聚时间T1和M/120秒的第二电荷积聚时间T2产生了差分图像DP时，通过对差分图像DP的图像平面的纵向上的亮度波动的存在进行检测，可检测是否产生了闪烁。然而，通过仅对差分图像DP的亮度波动的存在进行检测，无法确定出成像装置2的拍摄环境是在100Hz闪烁的光源之下还是在120Hz闪烁的光源之下。因此在该实施例中，通过按照下述方式对差分图像DP的亮度波动的周期或者频率进行分析，确定拍摄环境的闪烁频率。

图8A至8C是示出了在差分图像DP的屏幕纵向上的亮度波动的波形。图8A示出了当在图像P1和P2的任何一个中没有产生闪烁时差分图像DP的亮度波动。在这种情况下，除了摄影被摄体的移动和噪声之外，图像P1和P2是相同图像。因此，差分图像DP的像素值(亮度)表示如图8A中的直流波形。

图8B示出了当光源的闪光频率是100Hz并且在图像P2中产生了闪烁时差分图像DP的亮度波动。根据拍摄图像P1和P2时光源的闪光频率(100Hz)和帧速率来确定这种情况下的差分图像DP的像素值(亮度)的波动频率。

此外，图8C示出了当光源的闪光频率是120Hz并且在图像P1中产生了闪烁时差分图像DP的亮度波动。根据拍摄图像P1和P2时光源的闪光频率(120Hz)和帧速率来确定这种情况下的差分图像DP的像素值(亮度)的波动频率。

如图8B和8C所示，差分图像DP的亮度波动的频率与光源的闪光频率成正比。因此，通过对差分图像DP的亮度波动的周期或者频率进行分析，可确定产生了100Hz闪烁和120Hz闪烁中的哪一个。

可利用数字匹配滤波器执行通过闪烁检测单元28对差分图像DP的纵向上的亮度波动频率的分析。更具体地说，预先配备用于表示当光源的闪光频率是100Hz(100Hz闪烁)时差分图像DP的亮度波动的参考波形A以及用于表示当光源的闪光频率是120Hz(120Hz闪烁)时差分图像DP的亮度波动的参考波形B。接下来，通过数字匹配滤波器来计算所观察到的差分图像DP的亮度波动与参考波形A和B之间的互相关性。此后，根据所计算的互相关性值来估计参考波形A和B的哪一个更接近所观察到的差分图像DP的亮度波动波形。

此外，或者，可将闪烁检测单元28配置成对差分图像DP执行傅里叶变换并且根据差分图像DP的空间频谱来对差分图像DP的亮度波动进行检测。另外，如果CMOS传感器10的帧速率大，那么由包含在图像P1或P2中的闪烁所引起的横条纹的数目相对地变小。在这种情况下，闪烁检测单元28可以对包含在差分图像DP中的横条纹的纵向上的像素的数目进行测量，并且依据所述像素的数目与由于100Hz闪烁引起的横条纹和由于120Hz闪烁引起的横条纹中的哪一横条纹相对应而估计闪烁频率。

在下文中，参考图9的流程图对成像装置2的闪烁检测过程进行描述。在步骤S301中，通过曝光控制单元15的控制，CMOS传感器10以电荷积聚时间T1(N/100秒)执行图像拍摄以获得第一图像P1。接下来，在步骤S302中，曝光控制单元15将CMOS传感器10的电荷积聚时间切换为第二电荷积聚时间T2(M/120秒)，CMOS传感器10以电荷积聚时间T2执行图像拍摄以获得第二图像P2。在步骤S303中，差分图像产生单元17产生图像P1与P2之间的差分图像DP。在步骤S304中，闪烁检测28对差分图像DP的纵向上的亮度波动频率fs进行测量。

如果所测量的亮度波动频率几乎是零，那么闪烁检测单元28检测到″没有闪烁″，也就是说，差分图像DP的亮度波动波形接近直流波形(步骤S305和S306)。此外，如果所测量的亮度波动频率fs是与光源的100Hz闪烁相对应的频率，那么闪烁检测单元28检测到在图像P2中产生了由光源的闪光所引起的100Hz闪烁，换句话，它是会产生由光源的闪光所引起的100Hz闪烁的拍摄环境(步骤S305和307)。另外，如果所测量的亮度波动频率fs是与光源的120Hz闪烁相对应的频率，那么闪烁检测单元28检测到在图像P1中产生了由光源的闪光所引起的120Hz闪烁，换句话，它是会产生由光源的闪光所引起的120Hz闪烁的拍摄环境(步骤S305和308)。

如上所述，该实施例的成像装置2以2个电荷积聚时间T1和T2获得了图像P1和P2，所述时间T1和T2的每一个都与光源的2种方式的闪光频率相同步，并且产生图像P1与P2之间的差分图像DP。此外，将成像装置2配置成通过对差分图像DP的图像平面的下述纵向上的亮度波动的周期或频率进行分析来检测该闪烁是由2种方式的闪光频率(例如100Hz和120Hz)中的哪一个引起的，所述纵向是与图像P1和P2的扫描方向相垂直的方向。注意的是，在对闪烁进行检测之后曝光控制单元15等等中的配置变化以及对普通拍摄的响应几乎与在上述第一和第二实施例中所述的内容一样，因此，在这里省略重新的说明。

利用这种配置，不但可对闪烁进行检测而且还可对闪烁频率进行检测。另外，利用这种配置，不但在诸如使用2种方式的电源频率50Hz和60Hz的日本这样的区域闪烁检测是可能的，而且在诸如电源频率仅是50Hz的欧洲以及电源频率仅是60Hz的北美洲这样的区域闪烁检测也是可能的。因此，可普遍使用成像装置2，而与使用区域无关。

注意的是，用于在其上安装了成像装置2的数码相机等等中执行闪烁的检测处理的定时可以是在本发明的第一实施例中所描述的各个定时，例如在电源起动时。

另外，成像装置2可多次获得图像P1和P2以产生多个差分图像DP，以便根据多个差分图像DP对闪烁的发生进行检测。例如，可以4次产生差分图像DP，并且如果连续4次检测到差分图像DP的纵向上的亮度波动并且闪烁频率不变，那么成像装置2可检测到闪烁的发生。利用这种配置，可抑制对闪烁存在和闪烁频率的错误判定，并且可提高对闪烁存在和闪烁频率的检测精确度。

很明显的是，本发明并不局限于上述实施例，而是在不脱离本发明的范围和精神的情况下可做出修改和变化。

注意的是，以下所列的装置和方法包含在由本发明的上述实施例所支持的本发明的范围中。

本发明的其他实施例1一种成像装置，包括：成像传感器；控制单元，配置为通过被调节为第一电荷积聚时间的成像传感器来对拍摄第一图像进行控制，并且通过被调节为第二电荷积聚时间的成像传感器来对拍摄第二图像进行控制，第一电荷积聚时间不会在以第一闪光周期闪光的光源之下成像传感器所拍摄的图像中引起闪烁，第二电荷积聚时间与第一电荷积聚时间不同；差分图像产生单元，配置为产生第一图像与第二图像之间的差分图像；以及闪烁检测单元，配置为根据与第一和第二图像的扫描方向相垂直的方向上的差分图像的像素值的波动来对第二图像中的闪烁发生进行检测，其中通过计算第一图像的横向上的像素值的累积值与第二图像的横向上的像素值的累积值的差而产生差分图像。

本发明的其他实施例2根据本发明的其他实施例1的成像装置，其中对第一和第二图像的一部分通过差分图像产生单元产生差分图像。

本发明的其他实施例3一种成像装置，包括：成像传感器；控制单元，配置为通过被调节为第一电荷积聚时间的成像传感器来对拍摄第一图像进行控制，并且通过被调节为第二电荷积聚时间的成像传感器来对拍摄第二图像进行控制，第一电荷积聚时间不会在以第一闪光周期闪光的光源之下成像传感器所拍摄的图像中引起闪烁，第二电荷积聚时间会在以第一闪光周期闪光的光源之下成像传感器所拍摄的图像中引起闪烁；以及闪烁检测单元，配置为根据第一图像与第二图像之间的亮度差来对第二图像中的闪烁发生进行检测，其中第一电荷积聚时间是1/100秒的整数倍并且第二电荷积聚时间是1/120秒的整数倍。

本发明的其他实施例4一种用于对闪烁进行检测的方法，包括：在第一电荷积聚时间与第二电荷积聚时间之间对成像传感器的电荷积聚时间进行切换，以便通过被调节为第一电荷积聚时间的成像传感器来执行拍摄第一图像并且通过被调节为第二电荷积聚时间的成像传感器来执行拍摄第二图像，第一电荷积聚时间与光源的第一闪光周期同步并且不会在以第一闪光周期闪光的光源之下所拍摄的图像中引起闪烁，第二电荷积聚时间与第一电荷积聚时间不同；以及根据第一图像与第二图像之间的亮度差来对第二图像中的闪烁发生进行检测，其中按照第一电荷积聚时间的拍摄与按照第二电荷积聚时间的拍摄交替地反复，并且利用交替地反复拍摄的第一和第二图像反复对第二图像中的闪烁发生进行检测。

本发明的其他实施例5一种用于对闪烁进行检测的方法，包括：在第一电荷积聚时间与第二电荷积聚时间之间对成像传感器的电荷积聚时间进行切换，以便通过被调节为第一电荷积聚时间的成像传感器来执行拍摄第一图像并且通过被调节为第二电荷积聚时间的成像传感器来执行拍摄第二图像，第一电荷积聚时间与光源的第一闪光周期同步并且不会在以第一闪光周期闪光的光源之下所拍摄的图像中引起闪烁，第二电荷积聚时间与第一电荷积聚时间不同；在第一与第二图像之间产生差分图像；以及根据在与第一和第二图像的扫描方向相垂直的方向上的差分图像的像素值的波动来对第二图像中的闪烁发生进行检测。

本发明的其他实施例6根据本发明的其他实施例5的方法，其中通过计算第一和第二图像的每个相应像素之间的像素值差来产生差分图像。

本发明的其他实施例7根据本发明的其他实施例5的方法，其中通过计算第一图像的横向上的像素值的累积值与第二图像的横向上的像素值的累积值的差来计算差分图像。

本发明的其他实施例8根据本发明其他实施例6或7的方法，其中对第一和第二图像的一部分产生差分图像。

本发明的其他实施例9根据本发明其他实施例5的方法，其中第二电荷积聚时间会在以第一闪光周期闪光的光源之下所拍摄的图像中引起闪烁，并且第二电荷积聚时间与光源的第二闪光周期同步并且不会在以第二闪光周期闪光的光源之下所拍摄的图像中引起闪烁。

本发明的其他实施例10根据本发明其他实施例9的方法，其中第一电荷积聚时间是1/100秒的整数倍并且第二电荷积聚时间是1/120秒的整数倍。

本发明的其他实施例11根据本发明其他实施例9的方法，其中对闪烁发生进行检测包括根据在与第一和第二图像的扫描方向相垂直的方向上的差分图像的像素值的波动周期或波动频率来检测在第一图像或第二图像的哪一个中产生了闪烁。

本发明的其他实施例12一种成像装置，包括：成像传感器；装置，用于通过被调节为第一电荷积聚时间的成像传感器来对拍摄第一图像进行控制并且通过被调节为第二电荷积聚时间的成像传感器来对拍摄第二图像进行控制，第一电荷积聚时间不会在以第一闪光周期闪光的光源之下成像传感器所拍摄的图像中引起闪烁，第二电荷积聚时间与第一闪光周期不同步并且会在以第一闪光周期闪光的光源之下成像传感器所拍摄的图像中引起闪烁；装置，用于产生第一图像与第二图像之间的差分图像；以及装置，用于根据该差分图像来对第二图像中的闪烁发生进行检测。

Claims (9)

1.一种成像装置，包括：

成像传感器；

控制单元，配置为控制通过被调节为第一电荷积聚时间的所述成像传感器拍摄第一图像和控制通过被调节为第二电荷积聚时间的所述成像传感器拍摄第二图像，所述第一电荷积聚时间不会在以第一闪光周期闪光的光源之下所述成像传感器所拍摄的图像中引起闪烁，所述第二电荷积聚时间与所述第一电荷积聚时间不同并且会在以所述第一闪光周期闪光的所述光源之下所拍摄的图像中引起闪烁；以及

闪烁检测单元，配置为根据所述第一图像与所述第二图像之间的亮度差来对所述第二图像中的闪烁发生进行检测。

2.根据权利要求1所述的成像装置，其中所述控制单元控制所述成像传感器反复地交替执行以所述第一电荷积聚时间进行拍摄以及以所述第二电荷积聚时间进行拍摄。

3.根据权利要求1所述的成像装置，进一步包括：

差分图像产生单元，配置为产生所述第一图像与所述第二图像之间的差分图像，

其中所述闪烁检测单元根据与所述第一图像和所述第二图像的扫描方向相垂直的方向上的所述差分图像的像素值的波动来对所述第二图像中的闪烁发生进行检测。

4.根据权利要求3所述的成像装置，其中通过计算所述第一图像和所述第二图像的每一相应像素之间的像素值差来产生所述差分图像。

5.根据权利要求2所述的成像装置，进一步包括：

差分图像产生单元，配置为产生所述第一图像与所述第二图像之间的差分图像，

其中所述闪烁检测单元根据与所述第一图像和所述第二图像的扫描方向相垂直的方向上的所述差分图像的像素值的波动来对所述第二图像中的闪烁发生进行检测。

6.根据权利要求5所述的成像装置，其中通过计算所述第一图像和所述第二图像的每一相应像素之间的像素值差来产生所述差分图像。

7.根据权利要求1所述的成像装置，其中所述第一电荷积聚时间和所述第二电荷积聚时间都与所述光源的第二闪光周期同步并且不会在以所述第二闪光周期闪光的所述光源之下所拍摄的图像中引起闪烁。

8.一种成像装置，包括：

成像传感器；

控制单元，配置为控制通过被调节为第一电荷积聚时间的所述成像传感器拍摄第一图像和控制通过被调节为第二电荷积聚时间的所述成像传感器拍摄第二图像，

其中所述第一电荷积聚时间不会在以第一闪光周期闪光的光源之下所述成像传感器所拍摄的图像中引起闪烁，所述第二电荷积聚时间与所述第一电荷积聚时间不同并且会在以所述第一闪光周期闪光的所述光源之下所拍摄的图像中引起闪烁，并且

其中所述第二电荷积聚时间与所述光源的第二闪光周期同步并且不会在以所述第二闪光周期闪光的所述光源之下所拍摄的图像中引起闪烁，所述第一电荷积聚时间会在以所述第二闪光周期闪光的所述光源之下所拍摄的图像中引起闪烁；

闪烁检测单元，配置为根据所述第一图像与所述第二图像之间的亮度差来对所述第一图像或所述第二图像中的闪烁发生进行检测；以及

差分图像产生单元，配置为产生所述第一图像与所述第二图像之间的差分图像，

其中所述闪烁检测单元根据与所述第一图像和所述第二图像的扫描方向相垂直的方向上的所述差分图像的像素值的波动周期和波动频率两者的至少之一来检测在所述第一图像和所述第二图像的哪一个中产生了闪烁。

9.一种用于对闪烁发生进行检测的方法，包括：

执行通过被调节为第一电荷积聚时间的成像传感器拍摄第一图像，所述第一电荷积聚时间不会在以第一闪光周期闪光的光源之下所述成像传感器所拍摄的图像中引起闪烁；

执行通过被调节为第二电荷积聚时间的所述成像传感器拍摄第二图像，所述第二电荷积聚时间与所述第一电荷积聚时间不同并且会在以所述第一闪光周期闪光的所述光源之下所拍摄的图像中引起闪烁；以及

根据所述第一图像与所述第二图像之间的亮度差来对所述第二图像中的闪烁发生进行检测。

Images