CN101527787A - 图像处理装置、闪烁减少方法、成像装置和闪烁减少程序 - Google Patents

Abstract

一种图像处理装置，包括：积分单元，在等于或大于一个水平时段的时间间隔上积分输入图像信号；归一化单元，归一化通过所述积分单元获得的积分值或相邻场或帧之间所述积分值中的差值；提取单元，提取归一化的所述积分值或差值的谱；估算单元，逐场或逐帧从提取的谱估算闪烁成分；检测单元，从估算的最近的闪烁成分和在过去估算的一个或多个闪烁成分，检测最近的闪烁成分的偏差；校正单元，基于检测的所述闪烁成分的偏差，校正所述最近的闪烁成分；以及计算单元，计算校正的闪烁成分和输入图像信号，以便抵消校正的所述闪烁成分。

Description

图像处理装置、闪烁减少方法、成像装置和闪烁减少程序

技术领域

本发明涉及在荧光灯的照明下、对象由如CMOS(互补金属氧化物半导体)成像设备的XY地址扫描型成像设备(成像器/图像传感器)拍摄的情况下，减小在从成像设备获得的视频信号中出现的荧光灯闪烁(flicker)的装置、方法和程序。

背景技术

当对象在由商用AC电源直接点亮的荧光灯的照明下、用摄像机拍摄时，由于荧光灯的亮度变化(光量变化)的频率(商用AC电源的频率的两倍)和相机的垂直同步频率之间的差，时间亮度变化(即，所谓的荧光灯闪烁)出现在拍摄输出的视频信号中。

例如，假设一种情况，其中在商用AC电源的频率是50Hz的区域，在非换流器(non-inverter)荧光灯的照明下，用NTSC系统的CCD相机(垂直同步频率：60Hz)拍摄对象。在此情况下，如图22所示，一场频率是1/60秒，而荧光灯的亮度变化的时段是1/100秒。因此，在每一场的曝光定时相对于荧光灯的亮度变化而移动，所以在每个像素的曝光量逐场变化。

因而，例如，如果曝光时间是1/60秒，即使曝光时间是相同的，各时间间隔a1、a2和a3之间的曝光量也不同，并且当曝光时间短于1/60秒(但不是如将随后描述的1/100秒)时，即使曝光时间是相同的，各时间间隔b1、b2和b3之间的曝光量也不同。

因为相对于荧光灯的亮度变化的曝光定时(timing)每三场回复为原始定时，所以由于闪烁导致的亮度变化每三场被重复。也就是说，每个场中的亮度比率(闪烁如何出现)取决于曝光时间间隔，但是闪烁的时段不变化。

然而，应该注意，如果在如数字相机的先进相机的情况下，垂直同步频率是30Hz，则每三帧重复亮度变化。

此外，荧光灯典型地使用多个荧光体(phosphor)(例如，红色、绿色和蓝色荧光体)来发射白光。然而，这些荧光体具有它们自身独特的余辉特性(persistence characteristic)，并且在亮度变化的时段内存在的从放电的停止到下一次放电的开始的时间间隔期间，它们的发光根据它们各自的余辉特性而衰减(decay)。因而，在该时间间隔期间，起先出现为白色的光衰减，同时逐渐改变其色调(hue)。因而，如果曝光定时如上所述移动，则不但出现亮度变化还出现色调变化。因为荧光灯具有独特的光谱特性，使得在特定的波长存在强峰，所以信号的可变成分取决于颜色而不同。

由于这种色调变化和各个颜色之间可变成分的差别，出现所谓的颜色闪烁。

相反地，如图22的底部所示，如果将曝光时间设置为荧光灯的亮度变化的时段(1/100秒)的整数倍，则曝光量变得恒定而不管曝光定时，因此不出现闪烁。

实际上，已经构思了一种系统，其中通过用户的操作或相机中的信号处理检测是否正在荧光灯照明下进行拍摄，并且在荧光灯照明下拍摄的情况下，将曝光时间设置为1/100秒的整数倍。根据该系统，可以通过简单的方法完全避免闪烁的出现。

然而，因为该系统不能允许以任意方式设置曝光时间，所以降低了用于获得合适的曝光量的曝光量调整部件的自由度。因此，希望一种方法，其使得可能在任意的快门速度(曝光时间)下减少荧光灯闪烁。

这在其中在一屏上全部像素在相同的曝光定时经历曝光的成像装置(如CCD成像装置)的情况下可以相对容易地实现，因为由于闪烁导致的亮度变化和颜色变化只出现在各场之间。

例如，在图22的情况下，如果曝光时间不是1/100秒的整数倍，因为闪烁在三个场的时段中重复，所以通过从之前的三个场的视频信号预测当前亮度和颜色变化，并且根据预测结果调整各个场的视频信号的增益，使得各个场的视频信号的平均值变得恒定，可以将闪烁抑制为不引起实际问题的水平。

然而，在如CMOS成像设备的XY地址扫描型成像设备的情况下，每个像素的曝光定时顺序地移动对应于在屏幕的水平方向中的读取时钟(像素时钟)的一个时段的量，并且全部像素在曝光定时上不同。因而，用上述方法不可能充分地抑制闪烁。

图23显示了这种情况。如上所述，每个像素的曝光定时也在屏幕的水平方向上顺序移动。因为与荧光灯的亮度变化的时段相比，一个水平时段是足够短的，所以假设在相同的线上的各像素的曝光定时是相同的，显示了在屏幕的垂直方向的各条线上的曝光定时。这种假设不引起实际问题。

如图23所示，在XY地址扫描型成像设备中(例如，CMOS成像设备)，对于每条线曝光定时不同(F1指示在给定的场中的这种情况)，并且每条线中的曝光量不同。因而，由于闪烁的亮度变化和颜色变化不但出现在各场之间而且出现在各场内，其呈现为屏幕上的条纹图案(条纹本身的方向是水平方向，而条纹的变化的方向是垂直方向)。

图24显示了在对象具有均匀图案的情况下的屏幕上的闪烁。因为条纹图案的一个时段(一个波长)是1/100秒，所以1.666时段的条纹图案出现在一个屏幕。让M表示每场的读取线的数目，条纹图案的一个时段对应于读取线的数目L＝M*60/100。应该理解，在说明书和附图中，星号(*)用作表示乘法运算的符号。

如图25所示，该条纹图案对应于三个场(三个屏幕)中的五个时段(五个波长)，并且当持续观看时，条纹图像呈现为在垂直方法流动。

图24和25仅显示了由于闪烁的亮度变化。然而，实际上，也添加了上述颜色变化，导致图像质量相当大的劣化。具体地，颜色闪烁随着快门速度变快而变得显著。此外，在XY地址扫描型成像设备的情况下，这种颜色闪烁的影响出现在屏幕上，所以图像质量劣化变得更加显著。

同样在这种XY地址扫描型成像设备的情况下，如果曝光时间可以设置为荧光灯的亮度变化的时段(1/100秒)的整数倍，则曝光量变得恒定而不管曝光定时，所以不出现包括屏幕上闪烁的荧光灯闪烁。

然而，如果使得CMOS成像设备等中的电子快门速度可变，则成像装置变得复杂。此外，即使在其电子快门可以自由地关闭的成像装置的情况下，如果只可以设置曝光时间1/100秒的整数倍来避免闪烁，则降低了用于获得合适的曝光的曝光量调整装置的自由度。

因此，已经提出了各种用于减少如CMOS成像设备的XY地址扫描型成像设备所独有的荧光灯闪烁的方法。例如，日本未审专利申请公开No.2004-222228公开了一项发明，其中只是通过简单的信号处理而不执行复杂的处理(如通过使用光接收设备来检测闪烁成分)，可以高精确度地检测并且可靠和充分地减少XY地址扫描型成像设备(如CMOS成像设备)所独有的荧光灯闪烁，而不管对象或视频信号的水平、荧光灯的类型等。

发明内容

在上述日本未审专利申请公开No.2004-222228描述的技术的情况下，在正常拍摄条件下，仅仅通过简单的信号处理，就可以高精确度地检测并且可靠和充分地减少XY地址扫描型成像设备(如CMOS成像设备)所独有的荧光灯闪烁。然而，在上述日本未审专利申请公开No.2004-222228描述的技术的情况下，输入图像信号的各帧之间的差别被用于闪烁成分的检测。

因此，在应用根据日本未审专利申请公开No.2004-222228的发明的成像装置的情况下，当由于用于在垂直方向改变拍摄方向的倾斜(倾斜)操作或用于在横向改变拍摄方向的摇镜头(摇镜头)操作、或由于对象的运动而在各帧之间的图像中出现差别时，可能变得难以正确地检测闪烁成分。

因而希望即使在各帧之间的对象图像成分中出现变化时，也适当地检测闪烁成分，从而在通过使用用于闪烁成分检测的输入图像信号的各帧之间的差别，仅仅通过简单的信号处理高精确度地检测并且减少XY地址扫描型成像设备(如CMOS成像设备)所独有的荧光灯闪烁的系统的情况下，使得可能总是可靠和充分地减少闪烁。

根据本发明的实施例，提供一种图像处理装置，包括：积分部件，用于在等于或大于一个水平时段的时间间隔上积分输入图像信号，所述输入图像信号是可能包含具有与场时段或帧时段同步的变化图案的闪烁成分的视频信号；归一化部件，用于归一化通过所述积分部件获得的积分值或相邻场或帧之间通过所述积分部件获得的所述积分值中的差值；提取部件，用于提取所述积分值或通过所述归一化部件归一化的所述差值的谱；估算部件，用于逐场或逐帧从由所述提取部件提取的谱估算闪烁成分；检测部件，用于从由所述估算部件估算的最近的闪烁成分和由所述估算部件在过去估算的一个或多个闪烁成分，检测最近的闪烁成分的偏差；校正部件，用于基于由所述检测部件检测的所述闪烁成分的偏差，校正所述最近的闪烁成分；以及计算部件，用于计算校正的闪烁成分和输入图像信号，以便抵消由所述校正部件校正的所述闪烁成分。

使用根据本发明上述实施例的图像处理装置，由于归一化的积分值或差值，通过积分部件、归一化部件和提取部件移除除了闪烁成分外的信号成分。因而，即使在如黑背景部分或具有非常少量的闪烁成分的低亮度部分的区域中，也容易并且以高精度估算闪烁成分，而不管对象。

包含在如此估算的闪烁成分中的由于倾斜操作、摇镜头操作等导致的偏差通过检测部件检测。然后，由所述校正部件基于由所述检测部件检测的偏差对要校正的最近的闪烁成分执行校正。此后，通过使用校正闪烁成分，通过所述计算部件从输入图像信号移除闪烁成分。

因此，例如，即使在由于跟随倾斜操作、摇镜头操作等的对象成分的大的改变而在闪烁成分中包含偏差时的情况下，也适当地校正该偏差，从而允许以高精度执行闪烁减少处理。

根据本发明的实施例，即使当图像在各场之间或在各帧之间变化时，也适当地检测闪烁成分，使得可以仅仅通过简单的信号处理，总是高精确度地检测并且可靠和充分地减少XY地址扫描型成像设备(如CMOS成像设备)所独有的荧光灯闪烁。

附图说明

图1是示出根据本发明实施例的成像装置的系统配置的图；

图2是示出原色系统的数字信号处理单元的示例的图；

图3是示出补色系统的数字信号处理单元的示例的图；

图4是图示相互合作执行闪烁减少处理的闪烁减少单元和系统控制器的框图；

图5是图示闪烁减少单元的图；

图6是示出在考虑饱和区域的情况下、计算块的示例的图；

图7A和7B每个是图示其中在复平面中表示闪烁成分的情况的图；

图8A和8B每个是图示其中在复平面中绘制具有偏差(deviation)的闪烁成分的情况的图；

图9是图示闪烁减少单元的归一化积分值计算块的另一配置示例的图；

图10是图示闪烁减少单元的归一化积分值计算块的另一配置示例的图；

图11是示出用于说明各个示例的等式的图；

图12是示出用于说明各个示例的等式的图；

图13是示出用于说明各个示例的等式的图；

图14是示出用于说明各个示例的等式的图；

图15是示出用于说明各个示例的等式的图；

图16A和16B是用于说明各个示例的图；

图17是示出在测试中使用的对象的视图；

图18是示出在图17中的对象的情况下的积分值的图；

图19是示出在图17中的对象的情况下的差值的图；

图20是示出在图17中的对象的情况下的归一化差值的图；

图21是示出在图17中的对象的情况下的估计闪烁系数的图；

图22是用于说明在CCD成像设备的情况下的荧光灯闪烁的图；

图23是用于说明在XY地址扫描型成像设备的情况下的荧光灯闪烁的图；

图24是示出在XY地址扫描型成像设备的情况下、在一个屏幕上的荧光灯闪烁的条纹图案的视图；以及

图25是示出在XY地址扫描型成像设备的情况下、在三个屏幕上的荧光灯闪烁的条纹图案的视图。

具体实施方式

[成像装置的实施例：图1到3]

(系统配置：图1)

图1显示了根据本发明实施例的成像装置的系统配置，图示了使用CMOS成像设备作为XY地址扫描型成像设备的摄像机的情况。

在根据该实施例的成像装置的中，也就是说，在摄像机中，使得来自对象的光经由成像光学系统11入射在CMOS成像设备12上，并且在CMOS成像设备12中经历光电转换。因而从CMOS成像设备12获得模拟视频信号。

CMOS成像设备12在CMOS基底上具有二维阵列的多个像素，每个像素具有光电二极管(光门(photogate))、传送门(快门晶体管)、切换晶体管(地址晶体管)、放大晶体管、重置晶体管(重置门)等，并且还有垂直扫描电路、水平扫描电路和视频信号输出电路。

如随后将描述的，CMOS成像设备12可以是原色型或补色型的。从CMOS成像设备12获得的模拟视频信号是每个RGB颜色的原色信号或补色型的颜色信号。

来自CMOS成像设备12的模拟视频信号在配置为IC(集成电路)的模拟信号处理单元13中对每个颜色信号采样并保持，使其增益由AGC(自动增益控制)控制，并且通过A/D转换被转换为数字信号。

将来自模拟信号处理单元13的数字视频信号提供到配置为IC的数字信号处理单元20。如随后将描述的，数字信号处理单元20对数字视频信号应用各种校正和调整。此外，通过与系统控制器14合作运行，数字信号处理单元20中的闪烁减少单元25通过根据如随后将描述的本发明的实施例的方法，对每个信号成分减少闪烁成分，然后最终将数字信号转换为亮度信号Y和红色和蓝色的色差信号R-Y和B-Y，并且输出这些信号。

系统控制器14通过微型计算机等配置，并且控制相机的各个单元。如上所述，通过与数字信号处理单元20中的闪烁减少单元25合作运行，除了从要处理的数字视频信号移除闪烁成分的处理外，系统控制器14执行各种处理。

具体地，从系统控制器14提供镜头驱动控制信号到通过IC配置的镜头驱动器15，并且通过镜头驱动器15驱动成像光学系统11的镜头。

此外，从系统控制器14提供定时控制信号到定时发生器16。从定时发生器16提供各种定时信号到CMOS成像设备12，以便驱动CMOS成像设备12。

此外，每个信号成分的检测信号从数字信号处理单元20接收到系统控制器14。基于来自系统控制器14的AGC信号，如上所述在模拟信号处理单元13中控制每个颜色信号的增益，并且还通过系统控制器14控制数字信号处理单元20中的信号处理。

此外，系统控制器14与相机抖动模糊传感器17连接，并且还可以基于相机抖动模糊传感器17的检测输出执行相机抖动模糊校正。

此外，系统控制器14经由由微型计算机等配置的接口19与构成用户接口18的操作单元18a和显示单元18b连接。通过系统控制器14检测对操作单元18a的设置操作、选择操作等，并且通过系统控制器14将相机的设置状态、控制状态等显示在显示单元18b上。

在随后描述的闪烁减少处理不必须的情况下，这由系统控制器14检测，并且如随后将描述的，控制闪烁减少单元25。

(原色系统的情况：图2)

图2显示了在原色系统的情况下的数字信号处理单元20的示例。

原色系统具有分解光学系统，其中图1中的成像光学系统11将来自对象的光分离为RGB颜色的每一个的颜色光，并且原色系统是具有用于RGB的各个颜色的CMOS成像设备作为CMOS成像设备12的三板(three-plate)系统，或具有一个CMOS成像设备作为CMOS成像设备12的单板(one-plate)系统，所述一个CMOS成像设备具有用于在屏幕的水平方向上、对光入射平面上的每一个像素重复顺序排列的RGB的各个颜色的滤色镜。在此情况下，RGB的各个颜色的原色信号从CMOS成像设备12并行读取。

在图2中的数字信号处理单元20中，输入RGB原色信号的黑电平(blacklevel)在箝位电路21中箝位到预定电平。根据曝光量，在增益调整电路22中调整箝位的RGB原色信号的增益。如随后将描述的，通过根据本发明实施例的方法，在闪烁减少单元25R、25G和25B的每一个中减少增益调整的RGB原色信号的闪烁成分，这是通过与系统控制器14合作来实现的。

此外，在图2中的数字信号处理单元20中，在白平衡调整电路27中调整闪烁移除的RGB原色信号的白平衡。在伽玛校正电路28中转换白平衡调整的RGB原色信号的灰度级，并且在合成矩阵电路29中从伽玛校正的RGB原色信号生成输出亮度信号Y和输出色差信号R-Y和B-Y。

通常，在原色系统中，如图2所示，在对RGB原色信号的所有处理完成后生成亮度信号Y。因而，如图2所示，通过在对RGB原色信号的处理的过程中减少RGB原色信号中的闪烁成分，可以充分地减少各个颜色成分和亮度成分中的闪烁成分。

应该注意，尽管希望如图2所示安排闪烁减少单元25R、25G和25B，但是它们排列的方式不必限于此。

(补色系统的情况：图3)

图3显示了在补色系统的情况下的数字信号处理单元20的示例。

补色系统是具有一个CMOS成像设备作为图1中的CMOS成像设备12的单板系统，所述一个CMOS成像设备具有在光入射平面上形成的补色型滤色镜。例如，如在指示为图3中的滤色镜1的补色型滤色镜中，在每个给定的一个水平线位置Lo，在水平方向为每一个像素重复顺序排列用于绿色的滤色镜部分1G和用于品红色的滤色镜部分1Mg，并且在每个另一水平线位置Le，在水平方向为每一个像素重复顺序排列用于青色的滤色镜部分1Cy和用于黄色的滤色镜部分1Ye。

在此情况下，从CMOS成像设备12合成和读取在两个邻近水平线位置的视频信号。因此，在每个水平时段中，在图3的情况下，为每一个像素时钟从CMOS成像设备12获得绿色信号和青色信号的合成信号、以及品红色信号和黄色信号的合成信号。

在图3中的数字信号处理单元20中，补色信号的黑电平被箝位到预定电平，并且根据曝光量，在增益调整电路22中调整箝位的补色信号的增益，在亮度合成电路23中从增益调整的补色信号生成亮度信号Y，并且在原色分离电路24中从增益调整的补色信号生成RGB原色信号。

此外，在图3中的数字信号处理单元20中，通过根据本发明实施例的方法，在闪烁减少单元25Y中减少来自亮度合成电路23的亮度信号Y中的闪烁成分，这是如随后将要描述的通过与系统控制器14合作来实现的。此外，通过根据本发明实施例的方法，在闪烁减少单元25R、25G和25B的每一个中减少来自原色分离电路24中的RGB原色信号的闪烁成分，这是如随后将要描述的通过与系统控制器14合作来实现的。

此外，在图3中的数字信号处理单元20中，校正了闪烁减少的亮度信号的灰度级，因而获得输出亮度信号Y，在白平衡调整电路27中调整闪烁减少的RGB原色信号的白平衡，在伽玛校正电路28中转换白平衡调整的RGB原色信号的灰度级，并且在合成矩阵电路29中从伽玛校正的RGB原色信号生成色差信号R-Y和B-Y。

在补色系统中，如图3所示，在数字信号处理单元20的相对上游阶段生成亮度信号和RGB原色信号。这是因为亮度信号可以通过简单的相加处理从上述合成信号容易地生成，并且还因为如果通过差分处理从上述合成信号生成RGB原色信号，并且从该RGB原色信号生成亮度信号，则亮度信号的S/N劣化。

然而，在其中为亮度和颜色信号提供分离处理系统的情况下，仅仅减少各个颜色成分中的闪烁成分不足以减少亮度成分中的闪烁成分。只有如图3所示，当亮度成分中的闪烁成分被分开地减少，才变得可能充分地减少各个颜色分量和亮度分量中的闪烁分量。

应该注意，尽管希望如图2所示安排闪烁减少单元25Y以及25R、25G和25B，但是它们排列的方式不必限于此。

[闪烁减少方法的实施例：图4到21]

尽管在目标处理信号上不同，但是图2中的闪烁减少单元25R、25G和25B，以及图3中的闪烁减少单元25Y、25R、25G和25B以相同的方式配置。因此，以下将闪烁减少单元25Y、25R、25G和25B统称为闪烁减少单元25。

此外，以下，输入图像信号是其闪烁还没有被减少并且输入到闪烁减少单元25的RGB原色信号或亮度信号，并且输出图像信号是其闪烁已经被减少并且从闪烁减少单元25输出的RGB原色信号或亮度信号。

此外，以下示例指向例如其中在商用AC电源频率是50Hz的区域中，在荧光灯的照明下用NTSC(国家电视系统委员会)系统(垂直同步频率：60Hz)的CMOS相机拍摄对象的情况，因此，在当没有减少荧光灯闪烁的情况下，如图23到25所示，由于闪烁的亮度变化和颜色变化不但出现在各场之间而且出现在场内，其呈现为等价于屏幕的三个场(三个波长)上的五个时段(五个波长)的条纹图案。

在非换流器荧光灯以及换流器荧光灯的情况下，如果整流不充分则出现闪烁。因而，本发明不限于非换流器荧光灯。

如上所述，通过与系统控制器14合作运行，闪烁减少单元25减少混和在图像信号中的闪烁成分。图4是图示相互合作执行闪烁减少处理的闪烁减少单元25和系统控制器14的框图。

如图4所示，通过数字信号处理单元20的闪烁减少单元25和通过系统控制器14实现的闪烁偏差校正单元的功能，可以用高精度减少混和在图像信号中的闪烁成分。以下提供了执行减少闪烁的处理的闪烁减少单元25和通过系统控制器14实现的闪烁偏差校正单元的功能的概述。

在闪烁减少单元25中，首先，估计(检测)包含在提供到闪烁减少单元25的图像信号中的闪烁成分，将通过在复平面中表达而获得的数据Im(虚部)、Re(实部)提供到通过系统控制器14实现的闪烁偏差校正单元。

存在这样的情况，其中由于摄像机倾斜或摇镜头(pan)或由于对象大大地移动，而在相邻场(屏幕)之间的对象成分中出现差别。考虑到当以此方式在对象成分中出现差别时，可能变得难以适当地在闪烁减少单元25中检测闪烁成分。

因此，在根据该实施例的摄像机中，通过系统控制器14实现的闪烁偏差校正单元检测由于在相邻场之间的对象成分中出现差别而生成的相对于闪烁成分本身的偏差。然后，系统控制器14基于检测的闪烁成分本身的偏差校正闪烁成分的偏差，基于该校正的闪烁成分形成闪烁系数Гn(y)，并且将其返回到闪烁减少单元25。

闪烁减少单元25基于来自通过系统控制器14实现的闪烁偏差校正单元的闪烁系数Гn(y)，对提供到闪烁减少单元25的图像信号应用闪烁减少处理。

如上所述，在根据该实施例的摄像机中，闪烁减少单元25不通过使用检测的闪烁成分直接执行闪烁成分减少处理。在校正由于倾斜操作或摇镜头操作、或由于包含在检测的闪烁成分中的对象的突然移动造成的偏差后，闪烁减少单元25可以基于校正的闪烁成分用高精度执行闪烁减少处理。

(闪烁减少方法的具体示例：图5到8B)

接下来，将具体描述图4中示出的闪烁减少单元25和通过系统控制器14实现的闪烁偏差校正单元的各个配置和操作。

(闪烁减少单元25)

图5显示了闪烁减少单元25的第一示例。

图24和25显示了对象是均匀的情况。通常，闪烁成分与对象的信号强度成比例。

因此，让任意场n中和相对于普通对象的任意像素(x，y)的输入图像信号(经历闪烁减少处理之前的RGB原色信号或亮度信号)是In′(x，y)，In′(x，y)由图11中的等式(1)表示为不包含闪烁成分的信号成分和与其成比例的闪烁成分的和。

In(x，y)表示信号成分，Гn(y)*In(x，y)表示闪烁成分，而Гn(y)表示闪烁系数。因为与荧光灯的发光时段(1/100秒)相比，一个水平时段足够短，并且闪烁系数在同一场的同一线上可以被视为恒定，所以闪烁系数由Гn(y)表示。

如图11中的等式(2)所示，Гn(y)表示为用于归纳的傅立叶级数。因而，闪烁系数可以以说明根据荧光灯的种类而不同的全部的发光特性和余辉特性的形式表示。

在等式(2)中，λo表示图24所示的屏幕上的闪烁的波长。让M表示每个场的读取线的数目，λo相当于L(＝M*60/100)线。ωo表示通过λo归一化的归一化角频率。

γm表示每阶(m＝1，2，3，...)的闪烁成分的幅度。Φmn表示每阶的闪烁成分的初始相位，并且通过荧光灯的发光时段(1/100秒)和曝光定时来确定。因为Φmn每三个场回复为相同的值，所以Φmn与紧接在前场的差通过图11中的等式(3)确定。

<积分值的计算和保持(retention)>

在图5的示例中，首先，为了减少画面图案的影响用于检测闪烁的目的，输入图像信号In′(x，y)通过积分块31在屏幕的水平方向的一条线上积分，因而如由图11中的等式(4)所示计算积分值Гn(y)。等式(4)中的αn(y)指示信号成分In(x，y)在一条线上的积分值，如由图11中的等式(5)所示。

为了检测随后场中的闪烁的目的，将如此计算的积分值Гn(y)存储和保持在积分值保持块32中。积分值保持块32配置为能够将积分值保持至少两个场。

如果对象是均匀的，则信号成分In(x，y)的积分值αn(y)变得恒定。因而，容易从输入图像信号In′(x，y)的积分值Гn(y)提取闪烁成分αn(y)*Гn(y)。

然而，在典型的对象的情况下，因为αn(y)也包含m*ωo成分，不可能区分作为闪烁成分的亮度和颜色成分以及作为对象本身的信号成分的亮度和颜色成分，所以难以完全仅提取闪烁成分。此外，等式(4)中的第二项中的闪烁成分相对于第一项中的信号成分非常小，所以大部分闪烁成分隐藏在信号成分中。

作为参考，图18显示了关于图17中所示的对象(实际上的彩色对象)在三个连续场中的积分值Fn(y)。图18指向红色信号，并且场：N+0(实线)、场：N+1(虚线)和场：N+2(点线)表示三个连续场的第一、第二和第三场。如从图18也可以理解的，不可能直接从积分值Fn(y)提取闪烁成分。

<平均值计算和差计算>

因此，在图5的示例中，三个连续场中的积分值用来从积分值Fn(y)移除αn(y)的影响。

也就是说，在此示例中，在计算积分值Fn(y)的时候，从积分值保持块32读取与一场前相同线上的积分值Fn_1(y)和与两场前相同线上的积分值Fn_2(y)。平均值计算块33计算三个积分值Fn(y)、Fn_1(y)和Fn_2(y)的平均值AVE[Fn(y)]。

如果对象可以被视为在三个连续场期间基本相同，则αn(y)可以被视为相同的值。如果对象的运动在三个连续场之间足够小，则该假设不引起实际问题。此外，从由等式(3)表示的关系计算三个连续场中的积分值的平均值意味着将其闪烁成分的相位顺序移动(-2π/3)*m的信号加到一起。结果，闪烁成分相互抵消。因此，平均值AVE[Fn(y)]由图12中的等式(6)表示。

然而，应该理解，上面是指向在图12中等式(7)的近似成立的假设下，计算连续三个场中的积分值的平均值的情况。如果对象的运动大，则等式(7)的近似不成立。

因此，假设对象的运动大的情况，闪烁减少单元25可以在积分值保持块32中简单地保持至少三个场上的积分值，并且计算包括当前场中的积分值Fn(y)的至少四个场的积分值的平均值。因此，通过相对于时间轴方向的低通滤波器动作，减少了由于运动对象的影响。

然而，由于闪烁每三个场重复，为了抵消闪烁成分，需要计算j(3的大于两倍的整数倍，即，6、9...)个连续场的积分值的平均值。应该注意，如之后将描述的，可能存在偏差被混合到闪烁成分的情况，该偏差太大以至即使由假设对象的运动大的情况的闪烁减少单元25也不能抵消。然而，即使在这种情况下，混合到闪烁成分的大的偏差可以通过在随后描述的本发明实施例中使用的闪烁偏差校正单元的功能有效地移除。

图5指向假设等式(7)的近似成立的情况。此外，在此示例中，差计算块34计算来自积分块31的当前场的积分值Fn(y)和来自积分值保持块32的一场前的积分值Fn_1(y)之间的差。因而计算由图12中的等式(8)所表示的差值Fn(y)-Fn_1(y)。等式(8)也是基于等式(7)的近似成立的假设。

图19显示了关于图17中所示的对象的三个连续场的差值Fn(y)-Fn_1(y)。如从其可以理解的，从差值Fn(y)-Fn_1(y)充分地移除了对象的影响，所以闪烁成分(闪烁系数)呈现比图18所示的积分值Fn(y)的情况更清楚。

<差值的归一化>

此外，在图5的示例中，通过将来自差计算块34的差值Fn(y)-Fn_1(y)除以来自平均值计算块33的平均值AVE[Fn(y)]，差值Fn(y)-Fn_1(y)在归一化块35中归一化，并且计算归一化差值gn(y)。

使用图12中的等式(6)和(8)以及三角学的和化积公式，将归一化差值gn(y)展开，如图13中的等式(9)所表示的，并且进一步根据图11中的等式(3)的关系由图13中的等式(10)表示。等式(10)中的|Am|和θm分别由等式(11a)和(11b)表示。

在差值Fn(y)-Fn_1(y)中，因为保留了对象的信号强度的影响，所以由于闪烁的亮度变化和颜色变化的水平取决于区域而不同。然而，通过上述归一化，由于闪烁的亮度变化和颜色变化可以在整个区域上设为相同的水平。

图20显示了相对于图17所示的对象在三个连续场中的归一化差值gn(y)。

<通过谱提取的闪烁成分的估计>

分别由图13中的等式(11a)和(11b)表示的|Am|和θm是归一化差值gn(y)的每阶的谱的振幅和初始相位。基于图14中的等式(12a)和(12b)，通过对归一化差值gn(y)执行傅立叶变换以便检测每阶的谱的振幅|Am|和初始相位θm，可以获得由图11中的等式(2)表示的每阶的闪烁成分的振幅γm和初始相位Φmn。

因此，在图5的示例中，DFT块51对等价于来自归一化块35的归一化差值gn(y)的闪烁的一个波长(L条线)的数据执行离散傅立叶变换。

让DFT[gn(y)]表示DFT计算，并且Gn(m)表示m阶的DFT结果，DFT计算由图14中的等式(13)表示。根据DFT的定义，等式(11a)和(11b)与等式(13)之间的关系由图14中的等式(15a)和(15b)表示。

因此，基于图14中的等式(16a)和(16b)，可以从等式(12a)、(12b)、(15a)和(15b)获得每阶的闪烁成分的振幅γm和初始相位Φmn。

DFT计算的数据长度设置为闪烁的一个波长(L条线)，因为这使得可能直接获得正好是ωo的整数倍的一组离散谱。

尽管FFT(快速傅立叶变换)通常用作数字信号处理的傅立叶变换，但在本发明的该实施例中有意使用DFT。DFT比FFT更方便，因为傅立叶变换的数据长度不是2的幂。然而，应该注意，也可能通过操纵输入/输出数据来使用FFT。

在实际荧光灯照明下，即使阶数m限制为几个量级(magnitude)，也可以充分地估计闪烁成分。因而，不必输出DFT计算中的所有数据，并且对于本发明的预期应用，与FFT相比，DFT在操作效率方面不呈现任何缺点。

DFT块51也可能通过由等式(13)定时的DFT计算提取谱，然后通过由等式(16a)和(16b)表示的计算估算每阶的闪烁成分的振幅γm和初始相位Φmn。

然而，在根据本实施例的摄像机中，如上所述，也通过考虑由于摄像机的倾斜、摇镜头等偏差已经出现在闪烁成分中的情况，在DFT块51中，闪烁成分表示在复平面中，闪烁成分由虚部Im和实部Re表示，并且将其提供到通过系统控制器14实现的闪烁偏差校正单元。

然后，尽管随后将详细描述，在通过系统控制器14实现的闪烁偏差校正单元中，重心计算块142通过考虑存储器143中的过去的闪烁成分检测闪烁偏差，并且将其提供到偏差校正块141。偏差校正块141根据提供的偏差校正闪烁成分，然后将校正的闪烁成分提供到相位/振幅提取块144。

相位/振幅提取块144通过由等式(16a)和(16b)表示的计算，从提供到相位/振幅提取块144的、以复平面表示的闪烁成分估算每阶的闪烁成分的振幅γm和初始相位Φmn。此后，在闪烁生成块145中，从来自相位/振幅提取块144的估算的γm和Φmn的值计算由图11中的等式(2)表示的闪烁系数Гn(y)，并且将其提供到如图5所示的闪烁减少单元25的计算块40。

然而，应该注意，如上所述，在实际荧光灯照明下，即使阶数m限制为几个量级，也可以充分地估计闪烁成分。因而，在通过等式(2)计算闪烁系数Гn(y)中，总和的阶数可以设置为预定阶数(如第二阶)而不是无限大。

图21显示了图23的对象的三个连续场的闪烁系数Гn(y)。

根据上述方法，即使在如黑背景部分或具有非常小量的闪烁成分的低亮度部分的区域，其中闪烁成分完全隐藏在积分值Fn(y)中的信号成分中，通过计算差值Fn(y)-Fn_1(y)，并且通过平均值AVE[Fn(y)]将该差值归一化，也可以以高精度检测闪烁成分。

从谱到合适的阶数的闪烁成分的估算意味着该近似生效，而不用完全再现归一化的差值gn(y)。因而，即使取决于对象的状态在归一化的差值gn(y)中出现不连续，也能够用好的精度估算该部分中的闪烁成分。

<用于闪烁减少的计算>

根据图11中的等式(1)，不包含闪烁成分的信号成分In(x，y)由图14中的等式(17)表示。

因此，在图5的示例中，计算块40将来自之后也将描述的闪烁生成块145的闪烁系数Гn(y)加1，并将输入图像信号In′(x，y)除以得到的和[1+Гn(y)]。

因而，包含在输入图像信号In′(x，y)中的闪烁成分几乎完全移除，并且从计算块40获得基本不包含闪烁成分的信号成分In(x，y)作为输出图像信号(已经经历闪烁减少的RGB原色信号或亮度信号)。

(考虑饱和区域的情况：图6)

在图5的示例中，如果随着输入图像信号In′(x，y)的水平(level)落入饱和区域，计算块40执行由等式(17)表示的计算，则这使得信号成分(颜色成分或亮度成分)相反地变化。因此，希望计算块40如图6的示例配置。

图6的示例中的计算块40包括：加法电路41，其将来自闪烁生成块145的闪烁系数Гn(y)加1；除法电路42，其将输入图像信号In′(x，y)除以得到的和[1+Гn(y)]；输入端的开关43；输出端的开关44；以及饱和水平确定电路45。饱和水平确定电路45逐像素确定输入图像信号In′(x，y)的水平是否等于或高于饱和区域的阈值水平。

如果输入图像信号In′(x，y)的水平低于饱和区域的阈值水平，则对于相应的像素，通过饱和水平确定电路45将开关43和44接通除法电路42端，并且如上所述，从计算块40输出等式(17)中的计算的结果作为输出图像信号。

相反，如果输入图像信号In′(x，y)的水平等于或高于饱和区域的阈值水平，则对于相应的像素，通过饱和水平确定电路45将开关43和44切换到相对端，并且从计算块40照原样输出输入图像信号In′(x，y)作为输出信号。

因此，当输入图像信号In′(x，y)的水平落入饱和区域时，信号成分(颜色成分或亮度成分)不变化，因而可以获得高质量的输出图像信号。

(闪烁偏差校正单元：图4和图7A到8B)

如图4所示，通过系统控制器14实现的闪烁偏差校正单元包括：偏差校正块141、重心计算块142、存储器143、相位/振幅提取块144和闪烁生成块145。如图4所示，由闪烁减少单元25检测的闪烁成分作为在复平面中表示的值(Im，Re)，提供到通过系统控制器14实现的闪烁偏差校正单元的偏差校正块141和存储器143。

存储器143可以存储和保持至少三个场的闪烁成分。图7A是图示其中在复平面中表示的三个相邻场的闪烁成分的示例的图。图7B是图示虚部Im和实部Re之间关系的图。

如上所述，在复平面中表示的闪烁成分由虚部Im和实部Re表示，并且如图7B所示，其振幅G和相位θ可以由虚部的值im和实部的值re表示。

当要拍摄的对象中存在小运动时，相邻场之间的对象成分中不出现大的差别。因而，可以精确地获得各个场中的闪烁成分。在此情况下，在复平面中绘制三个相邻场(N+0、N+1和N+2)中的各个闪烁成分得到图7A。

也就是说，在根据该实施例的摄像机的情况下，如上所述，三个场作为一个时段，这意味着相邻场之间的闪烁成分的相位差是2/3π(π的三分之二＝120度)。因此，如图7A所示，当在复平面中绘制相邻场中的闪烁成分时，每个闪烁成分变为以复平面中的原点0为中心的等边三角形的顶点。

然而，如上所述，当根据本实施例的摄像机已经被用户倾斜或摇镜头、并且对象的图像突然极大地改变时，各相邻场之间对象成分中的差别变大，结果偏差包含在提取的闪烁成分中。

图8A和8B是图示在复平面中绘制具有偏差的闪烁成分的情况的图。图8A和8B显示了由于例如倾斜操作或摇镜头操作，类似的偏差出现在三个相邻场的每个中的闪烁成分中的情况。

图8A和8B显示了各个场中的闪烁成分如由箭头所指示的偏离的情况，所述闪烁成分否则应该位于如由点线所指示的以原点0为中心的等边三角形的各个顶点。在此情况下，通过获得虚轴方向和实轴方向的每一个中的各个闪烁成分的平均值，获得虚轴方向和实轴方向上的偏差。

也就是说，如果没有出现偏差，如由图8A中的点线所指示的，则三个相邻场中的各个闪烁成分位于以原点0为中心的等边三角形的各顶点。因而，如果相对于虚轴方向和实轴方向的每一个获得平均值，则平均值变为0(零)。然而，如果已经出现偏差，则当获得这种平均值时，平均值不变为0(零)，并且获得的平均值对应于从正常闪烁成分的偏差。

因此，在通过系统控制器14实现的闪烁偏差校正单元中，重心计算块142从最近场开始读取过去三个场的闪烁成分，并且获得虚轴方向和实轴方向的平均值。具体地，如图8A所示，通过将值im1、im2和im3的和除以3，可以获得虚轴方向的平均值。同样地，通过将值re1、re2和re3的和除以3，可以获得实轴方向的平均值。

然后，在重心计算块中获得的虚轴方向的平均值是由图8B中虚轴方向的箭头指示的虚轴方向的偏差，而实轴方向的平均值是由图8B中实轴方向的箭头指示的实轴方向的偏差。将以此方式在重心计算块142中获得的偏差提供到偏差校正块141。

偏差校正块141从最近场中的闪烁成分(在重心计算块142中使用的最近场中的闪烁成分)减去该偏差，因而形成预期的合适的闪烁成分(校正的闪烁成分)Im、Re，并且将其提供到相位/振幅提取块144。

然后，如上所述，通过由图14中所示的等式(16a)和(16b)表示的计算，相位/振幅提取块144从偏差校正块141提供的校正的闪烁成分Im、Re估算每阶的闪烁成分的振幅γm和初始相位Φmn。将如此估算的每阶的闪烁成分的振幅γm和初始相位Φmn提供到闪烁生成块145。

如上所述，闪烁生成块145从相位/振幅提取块144提供的估算的γm和Φmn的值计算闪烁系数Гn(y)，并且将其提供到如图4所示的闪烁减少单元25的计算块40。

如上所述，因为根据图11中的等式(1)，不包含闪烁成分的信号成分In(x，y)由图14中的等式(17)表示，所以计算块40将从闪烁生成块145的闪烁系数Гn(y)加1，并且将输入图像信号In′(x，y)除以得到的和[1+Гn(y)]，以便获得从其移除了闪烁成分的输入图像信号In(x，y)，并且输出该输入图像信号In(x，y)。

以此方式，在摄像机的情况下，存在这样的情况，当由于倾斜操作、摇镜头操作、对象的突然运动等在各相邻场之间的对象成分中出现差别时，因而在为每个场检测的闪烁成分中出现偏差。然而，根据本实施例的摄像机可以适当地检测和校正在闪烁成分中出现的偏差。因此，可以以高精度从图像信号移除闪烁成分。

此外，如上所述，假设对象的运动大的情况的闪烁减少单元25可以在积分值保持块32中简单地保持至少三个场的积分值，并且计算包括当前场的积分值Fn(y)的至少四个场的积分值的平均值。即使在偏差太大以至于不能以此方式抵消的偏差混合在闪烁成分中的情况下，这种大偏差也可以由通过系统控制器114实现的闪烁偏差校正单元的功能来有效地移除。

应该注意，如之前参照图5所述，对于每个场通过使用三个连续场中的积分值获得闪烁成分。因此，相邻场之间闪烁成分中的偏差不必变得恒定。然而，如上所述，通过获得遍及三个相邻场的平均值，可能相对于要校正的场的闪烁成分适当地检测偏差(校正量)，并且校正该偏差。

也就是说，即使当由于倾斜操作、摇镜头操作等在各相邻场之间的对象成分中出现差别，因而在为每个场获得的闪烁成分中出现偏差时，也可能适当地检测该偏差，并且相应适当地校正每个场中的闪烁成分。

如果由于系统的计算能力的限制而不能在一个场的时间内完成全部的上述处理，则可以采用这种配置，其中利用闪烁每三个场重复的事实，在计算块40内提供将闪烁系数Гn(y)保持三个场的功能，并且三个场后相对于输入图像信号In′(x，y)计算保持的闪烁系数Гn(y)。

(闪烁减少单元25的归一化积分值计算块30的另一配置示例)

(归一化积分值计算块的第二配置示例：图9)

如在图5所示的归一化积分值计算块30中，如果通过平均值AVE[Fn(y)]归一化差值Fn(y)-Fn_1(y)，则可以有效地确保有限的计算精度。然而，如果可以满足必需的计算精度，则可以通过平均值AVE[Fn(y)]直接归一化积分值Fn(y)。

图9显示了在此情况下的归一化积分值计算块30A。在归一化块35中，来自积分块31的积分值Fn(y)通过除以从平均值计算块33提供的平均值AVE[Fn(y)]来归一化，从而计算归一化的差值gn(y)。

然而，应该注意，在此情况下的归一化的差值gn(y)是如由图15中的等式(18)表示的。因而，为了使得随后阶段中的处理与图5的示例中的那些相同，如由图(15)的等式(19)表示的，减法电路从由等式(18)表示的归一化的差值gn(y)减1，并且将得到的值发送到DFT块51。

在此情况下，因为|Am|＝γm和θm＝Φmn，所以根据图14中的等式(15a)和(15b)，可以从图15中的等式(20a)和(20b)获得γm和Φmn。

因此，在图5的示例中，在通过由等式(13)定义的DFT计算提取谱后，通过等式(16a)和(16b)的计算估算每阶的闪烁成分的振幅γm和初始相位Φmn，而在图9的示例中，在通过由等式(13)定义的DFT计算提取谱后，通过等式(20a)和(20b)的计算估算每阶的闪烁成分的振幅γm和初始相位Φmn。在估算每阶的闪烁成分的振幅γm和初始相位Φmn后的处理，也就是说，在闪烁生成块145和计算块40中的处理，与上面参照图4和5描述的情况中的那些处理相同。

因为差计算块34在图9的示例中不是必须的，所以可以相应地简化归一化积分值计算块。同样在此示例中，计算块40希望如图6的示例配置。

(归一化积分值计算块的第三配置示例：图10)

如果由图12中的等式(7)定义的近似成立，则用于图5的示例中的归一化的平均值AVE[Fn(y)]等于如由等式(6)表示的αn(y)。此外，因为图11中等式(4)的第二项[αn(y)*Fn(y)]与第一项αn(y)相比足够小，所以第二项只对归一化施加非常小的影响。

因此，对于归一化，使用积分值Fn(y)代替平均值AVE[Fn(y)]实际上不存在问题。可以以与使用平均值AVE[Fn(y)]时相同的方式有效地检测闪烁成分。

因此，在根据图10中示出的第三示例的归一化积分值计算块30B的示例中，通过将来自差计算块34的差值Fn(y)-Fn_1(y)除以从积分块31提供的积分值Fn(y)，差值Fn(y)-Fn_1(y)在归一化块35中归一化。随后的处理与图5的示例中的那些相同。

在图10的示例中，满足积分值保持块32能够将积分值保持一个场，并且平均值计算块33不是必须的。这样可以简化闪烁减少单元25。同样在此示例中，计算块40希望如图6的示例配置。

(其它)

在非荧光灯照明下(在不使用荧光灯的照明环境下)拍摄的情况下，当执行上述闪烁减少处理时不出现特别的问题。然而，因为在此情况下执行了要不然不必须的处理，所以即使闪烁成分足够小，其对图像质量的影响也变得有关。

因此，在非荧光灯照明下拍摄的情况下，希望以此方式配置闪烁减少单元25或通过系统控制器14实现的闪烁偏差校正单元，使得不执行闪烁减少处理，并且从闪烁减少单元25照原样输出输入图像信号In′(x，y)作为输出图像信号。

例如，在图4所示的通过系统控制器14实现的闪烁偏差校正单元的相位/振幅提取块144和闪烁生成块145之间安排荧光灯照明条件确定块。

对于通过相位/振幅提取块144估算和计算的每阶的成分的水平(振幅)γm，在荧光灯照明条件下，如图16A所示，当m＝1时的成分的水平充分高于给定的阈值Th，并且随着m值的变大，水平急剧地变低。相反，在非荧光灯照明下，如图16B所示，每阶的成分的水平低于阈值Th。

理想地，在非荧光灯照明下谱变为零。然而，实际上，对象运动，所以从多个连续场的信号生成的归一化差值gn(y)或归一化积分值gn(y)-1不可避免地包含少量频率成分。

因此，在相位/振幅提取块144和闪烁生成块145之间安排的荧光灯照明条件确定块确定在m＝1的成分的水平是否超过阈值Th。如果在m＝1的水平超过阈值Th，则荧光灯照明条件确定块确定拍摄是在荧光灯照明下进行，并且照原样输出来自相位/振幅提取块144的γm和Φmn的估计值到闪烁生成块145。在此情况下，如上所述执行闪烁减少处理。

如果在m＝1的水平等于或低于阈值Th，则荧光灯照明条件确定块确定拍摄是在非荧光灯照明下进行，并且设置所有m级的γm的估计值为零。因此，在此情况下，闪烁系数Гn(y)也变为零，并且从计算块40照原样输出输入图像信号In′(x，y)作为输出图像信号。

此外，作为另一示例，荧光灯照明条件确定块确定拍摄是否是在荧光灯照明下进行，并且如果确定拍摄是在非荧光灯照明下进行，则荧光灯照明条件确定块设置检测标记COMP_OFF，停止闪烁生成块145和计算块40中的处理，并且从计算块40照原样输出输入图像信号In′(x，y)作为输出图像信号。也可以采用这种配置，其中如果确定拍摄是在荧光灯照明下进行，则重置检测标记COMP_OFF，并且如上所述执行闪烁减少处理。

以此方式，在其中闪烁生成块145和计算块40的开/关可以根据荧光灯照明条件确定块的确定结果来控制的配置的情况下，当在非荧光灯照明下拍摄时，不但可以消除对图像质量的不利影响，而且可以减少功耗。

(取决于拍摄条件执行另一处理的示例)

如将在下面讨论的，取决于拍摄条件，闪烁减少处理可以变得不必要。在此情况下，考虑对图像质量的影响，期望不执行要不然不必须的闪烁减少处理，如在上面描述的在非荧光灯照明下拍摄的情况下。

闪烁减少处理是不必要的拍摄条件的第一示例是其中要用能够拍摄运动图像和静态图像的数字静态相机或摄像机拍摄静态图像的情况。

在此情况下，即利用使用XY地址扫描型成像设备(如CMOS成像设备)的相机，也可以使得一个屏幕上的所有像素的曝光定时(包括曝光开始时间和曝光结束时间)相同，因而使得可能避免荧光灯闪烁的出现。因为从成像设备的读取操作不经历如在拍摄运动图像时强加的帧频限制，所以读取操作可以在机械快门关闭的光阻挡状态下缓慢地执行。

在图1所示的实施例中，基于对操作单元18a的相机操作，系统控制器14可以确定当前条件是否对应于通过使得一个屏幕上的所有像素的曝光定时相同来拍摄静态图像的情况。

闪烁减少处理是不必要的拍摄条件的第二示例是其中要在户外阳光下进行拍摄的情况，或其中通过调整曝光量等将曝光时间(电子快门时间)设置为荧光灯的亮度变化的时段(1/100秒)的整数倍。

从由DFT块51提取的谱的水平可以检测是否在荧光灯照明下进行拍摄。关于这一点，在同样的非荧光灯照明下的拍摄条件中，在户外阳光下等进行拍摄的情况下，系统控制14可以直接从对象的光量等确定拍摄是在非荧光灯照明下进行。

如上所述，即使在使用如CMOS成像设备的XY地址扫描型成像设备的相机的情况下，当曝光时间设置为荧光灯的亮度变化的时间段(1/100秒)的整数倍时，包括屏幕上闪烁的荧光灯闪烁也不出现。那么，可以直接通过系统控制器14检测是否已经通过调整曝光量等将曝光时间(电子快门时间)设置为荧光灯的亮度变化的时段的整数倍。

因此，配置系统使得如果由系统控制器14确定在如上所述的当前拍摄条件下闪烁减少处理是不必要的，则不执行闪烁减少处理，并且照原样从闪烁减少单元25输出输入图像信号In′(x，y)作为输出信号。以此方式，即使在这种闪烁减少处理是不必要的情况下，也能够避免执行闪烁减少处理。

[其他实施例]

(积分)

在上述示例的每一个中，在一条线上积分输入图像信号In′(x，y)。然而，因为积分输入图像信号In′(x，y)以便在减少画面图案的影响的同时获得闪烁成分的采样值，所以不但可以在一条线上而且可以在多条线上执行积分。如上所述，在屏幕上呈现为条纹图案的荧光灯闪烁(屏幕上闪烁)的一个时段对应于L(＝M*60/100)条线。因此，如果在一个时段(即，L条线)中获得至少两个采样值，则可以从采样定理检测闪烁成分。

实际上，希望在屏幕上闪烁的一个时段(即，L条线)中获得几个到10或更多的采样值。同样在此情况下，输入图像信号In′(x，y)可以在等于水平时段的几倍到10倍或更长的持续时间上积分。积分时间可以不必精确地为水平时段的整数倍，而是可以为例如2.5水平时段。

如果以此方式延长积分时间，并且减少每单位时间的采样的数目，则可以减轻由DFT计算强加于DFT块51的负载。此外，当对象在屏幕的垂直方向运动时，这种运动的影响可以减少。

(其他)

在如图2所示原色系统的情况下，代替通过如图2中的闪烁减少单元25R、25G和25B为每个RGB原色信号检测和减少闪烁成分，例如，可以采用这样的配置，其中如上述示例中的闪烁减少单元25提供在合成矩阵电路29的亮度信号Y的输出端，从而检测和减少亮度信号Y中的闪烁成分。

上述实施例指向包括闪烁减少单元25的数字信号处理单元20由硬件配置的情况。然而，闪烁减少单元25或数字信号处理单元20的部分或全部，或此外通过系统控制器14实现的闪烁偏差校正单元的各个块的功能可以由软件配置。

也就是说，图4所示的闪烁减少单元25或通过系统控制器14实现的闪烁偏差校正单元的各个块的功能可以通过软件实现。应该注意，在图4和5中示出的配置示例仅仅是示例性的，并且当然可以采用其它配置。例如，配置可以被灵活地修改，如通过将DFT 51的功能实现为闪烁偏差校正单元的功能，或在闪烁减少单元25中提供闪烁生成块145。

上述实施例指向垂直同步频率是60Hz(一个场时段等于1/60秒)的情况。然而，本发明适用于改进型(progressive type)相机，如具有30Hz(一个场时段是1/30秒)的垂直同步频率的数字相机。在此情况下，因为三个帧时段(1/10秒)是荧光灯的发光时段(1/100秒)的整数倍(闪烁的条纹图案等于三个帧上的10个波长)，所以上述实施例中的场可以由帧替代。

此外，上述实施例指向这样的情况，其中通过使用具有60Hz的垂直同步频率的NTSC系统的成像装置，在商用AC电源频率是50Hz的区域中，在荧光灯的照明下进行拍摄。在此情况下，在一个场内出现大约60/100＝1.67时段的亮度变化(闪烁)。至于该闪烁出现的方式(变化图案)，闪烁具有三个帧的时段。因此，在此情况下，预先保持在三个单独场中的以复平面表示的闪烁成分，并且获得该闪烁成分的平均值，从而使得可能计算闪烁成分的偏差。

同样地，在以下情况下，其中通过使用PAL(相位逐行交替)系统的成像装置，在商用AC电源频率是60Hz的区域中，在荧光灯的照明下进行拍摄，闪烁图案具有五个帧的时段。本发明同样适用于这种情况。

具体地，当获得闪烁成分的偏差时，可以获得以复平面表示的五个帧的闪烁成分的平均值。也就是说，当在复平面中绘制五个独立帧的闪烁成分时，如果不存在偏差，则形成以原点为中心并且具有五个独立帧中的闪烁成分位于各顶点等边五边形。因而，计算与该等边五边形的圆点的偏差。

因此，通过根据成像时段或照明频率识别闪烁的变化图案，并且根据该变化图案识别要为其获得闪烁成分的平均值的场的数目或帧的数目，本发明可以应用于成像时段和照明频率的任何组合。

上述实施例指向本发明应用于成像装置的情况。在此情况下，具有减少的闪烁成分的图像信号可以被记录在记录介质上。然而，本发明不限于此。也存在因为已经通过使用未应用本发明实施例的成像装置进行拍摄，所以包含闪烁成分的图像信号记录在记录介质上的情况。

在此情况下，当然可以采用如上面参照图4到6描述的配置，在再现图像信号的阶段，要再现的图像信号用作输入图像信号，并且对该图像信号执行根据本发明实施例的闪烁减少处理。在此情况下，对于通过拍摄获得的图像信号，在其再现的时候减少闪烁成分，从而使得可能提供好的再现图像。在此情况下，可以对亮度信号执行闪烁成分减少处理，或者通过从要再现的图像信号形成三原色信号，可以对原色信号的每一个执行闪烁成分减少处理。

已经参照上述实施例描述了可以如图2所示对三原色信号(R、G、B)的每一个执行闪烁减少处理，或者可以对亮度信号Y和三原色信号(R、G、B)的每一个执行闪烁减少处理。然而，本发明不限于此。

如图1所示，通过应用本发明实施例的、配置为如图4所示的闪烁减少单元，可以对构成视频信号SV的每个亮度信号和色差信号执行闪烁减少处理。可替代地，通过配置为如图4所示的闪烁减少单元，可以至少关于亮度信号Y执行闪烁减少处理。然后，也可以关于色差信号和各个颜色信号执行根据本发明实施例的闪烁减少处理。

此外，本发明也适用于使用不同于CMOS成像设备的XY地址扫描型成像设备的情况。

在上述实施例中，由积分块31实现积分装置，由归一化块35实现归一化装置，由DFT块51实现提取装置和估算装置，由存储器143和重心计算块142实现检测装置，由偏差校正块141实现校正装置，并且由计算块40实现计算装置。此外，由图1中示出的CMOS成像设备12实现成像设备。

本领域的技术人员应该理解，取决于设计要求和其它因素，可以出现各种修改、组合、子组合和替换，只要它们在权利要求和其等价物的范围内。

相关申请的交叉引用

本发明包含涉及于2008年3月3日向日本专利局提交的日本专利申请JP 2008-051534的主题，在此通过引用并入其全部内容。

Claims (8)

1.一种图像处理装置，包括：

积分部件，用于在等于或大于一个水平时段的时间间隔上积分输入图像信号，所述输入图像信号是可能包含具有与场时段或帧时段同步的变化图案的闪烁成分的视频信号；

归一化部件，用于归一化通过所述积分部件获得的积分值或相邻场或帧之间通过所述积分部件获得的所述积分值中的差值；

提取部件，用于提取通过所述归一化部件归一化的所述积分值或所述差值的谱；

估算部件，用于逐场或逐帧从由所述提取部件提取的谱估算闪烁成分；

检测部件，用于从由所述估算部件估算的最近的闪烁成分和由所述估算部件在过去估算的一个或多个闪烁成分，检测最近的闪烁成分的偏差；

校正部件，用于基于由所述检测部件检测的所述闪烁成分的偏差，校正所述最近的闪烁成分；以及

计算部件，用于计算校正的闪烁成分和输入图像信号，以便抵消由所述校正部件校正的所述闪烁成分。

2.根据权利要求1所述的图像处理装置，其中：

所述估算部件估算复平面中的闪烁成分；

所述检测部件检测与复平面中的原点的偏差作为最近的闪烁成分的偏差，所述偏差由与场时段或帧时段同步的变化图案内的、各个场的闪烁成分或各个帧的闪烁成分在虚轴方向的平均值和在实轴方向的平均值表示。

3.根据权利要求1所述的图像处理装置，其中R(红色)信号、G(绿色)信号和B(蓝色)信号的三原色信号的每一个用作输入图像信号。

4.一种闪烁减少方法，包括以下步骤：

在等于或大于一个水平时段的时间间隔上积分输入图像信号，所述输入图像信号是可能包含具有与场时段或帧时段同步的变化图案的闪烁成分的视频信号；

归一化通过所述积分获得的积分值或相邻场或帧之间通过所述积分获得的所述积分值中的差值；

提取归一化的积分值或差值的谱；

逐场或逐帧从提取的谱估算闪烁成分；

从估算的最近的闪烁成分和在过去估算的一个或多个闪烁成分，检测最近的闪烁成分的偏差；

基于闪烁成分的检测的偏差，校正所述最近的闪烁成分；以及

计算估算的闪烁成分和输入图像信号，以便抵消校正的闪烁成分。

5.一种成像装置，包括：

XY地址扫描型的成像设备；

积分部件，用于在等于或大于一个水平时段的时间间隔上积分输入图像信号，所述输入图像信号是通过由所述成像设备拍摄对象所获得的视频信号；

归一化部件，用于归一化通过所述积分部件获得的积分值或相邻场或帧之间通过所述积分部件获得的所述积分值中的差值；

提取部件，用于提取通过所述归一化部件归一化的所述积分值或所述差值的谱；

估算部件，用于逐场或逐帧从由所述提取部件提取的谱估算闪烁成分；

检测部件，用于从由所述估算部件估算的最近的闪烁成分和由所述估算部件在过去估算的一个或多个闪烁成分，检测最近的闪烁成分的偏差；

校正部件，用于基于由所述检测部件检测的所述闪烁成分的偏差，校正所述最近的闪烁成分；以及

计算部件，用于计算估算的闪烁成分和输入图像信号，以便抵消由所述校正部件校正的所述闪烁成分。

6.一种闪烁减少程序，其由并入图像处理装置的计算机执行，所述图像处理装置处理作为输入图像信号的视频信号，所述视频信号可能包含具有与场时段或帧时段同步的变化图案的闪烁成分，所述计算机执行以下步骤：

通过积分部件，在等于或大于一个水平时段的时间间隔上积分所述输入图像信号；

通过归一化部件，归一化通过所述积分获得的积分值或相邻场或帧之间通过所述积分获得的所述积分值中的差值；

通过提取部件，提取归一化的积分值或差值的谱；

通过估算部件，逐场或逐帧从提取的谱估算闪烁成分；

通过检测部件，从估算的最近的闪烁成分和在过去估算的一个或多个闪烁成分，检测最近的闪烁成分的偏差；

通过校正部件，基于闪烁成分的检测的偏差，校正所述最近的闪烁成分；以及

通过计算部件，减去校正的闪烁成分和输入图像信号，以便抵消校正的闪烁成分。

7.一种图像处理装置，包括：

积分单元，配置为在等于或大于一个水平时段的时间间隔上积分输入图像信号，所述输入图像信号是可能包含具有与场时段或帧时段同步的变化图案的闪烁成分的视频信号；

归一化单元，配置为归一化通过所述积分单元获得的积分值或相邻场或帧之间通过所述积分单元获得的所述积分值中的差值；

提取单元，配置为提取通过所述归一化单元归一化的所述积分值或所述差值的谱；

估算单元，配置为逐场或逐帧从由所述提取单元提取的谱估算闪烁成分；

检测单元，配置为从由所述估算单元估算的最近的闪烁成分和由所述估算单元在过去估算的一个或多个闪烁成分，检测最近的闪烁成分的偏差；

校正单元，配置为基于由所述检测单元检测的所述闪烁成分的偏差，校正所述最近的闪烁成分；以及

计算单元，配置为计算校正的闪烁成分和输入图像信号，以便抵消由所述校正单元校正的所述闪烁成分。

8.一种成像装置，包括：

XY地址扫描型的成像设备；

积分单元，配置为在等于或大于一个水平时段的时间间隔上积分输入图像信号，所述输入图像信号是通过由所述成像设备拍摄对象所获得的视频信号；

归一化单元，配置为归一化通过所述积分单元获得的积分值或相邻场或帧之间通过所述积分单元获得的所述积分值中的差值；

提取单元，配置为提取通过所述归一化单元归一化的所述积分值或所述差值的谱；

估算单元，配置为逐场或逐帧从由所述提取单元提取的谱估算闪烁成分；

检测单元，配置为从由所述估算单元估算的最近的闪烁成分和由所述估算单元在过去估算的一个或多个闪烁成分，检测最近的闪烁成分的偏差；

校正单元，配置为基于由所述检测单元检测的所述闪烁成分的偏差，校正所述最近的闪烁成分；以及

计算单元，配置为计算估算的闪烁成分和输入图像信号，以便抵消由所述校正单元校正的所述闪烁成分。

Images