CN1878246A - 图像处理装置和图像拍摄装置 - Google Patents

Abstract

本发明提供了一种用于处理图像信号的图像处理装置，包括：积分器，用于在每个具有等于或长于在荧光灯照明下产生在图像上的闪烁的一个周期的长度的检测期间内获取图像信号，并以等于或长于一个水平同步期间的期间为单位对所获取的图像信号进行积分；以及闪烁检测器，通过使用由积分器获得的积分结果，基于以每个检测期间为单位获得的频率分析结果，推定闪烁分量。

Description

图像处理装置和图像拍摄装置

相关申请的交叉参考

本发明包含于2005年6月10日向日本专利局提交的日本专利申请JP 2005-170788的主题，其全部内容结合于此作为参考。

技术领域

本发明涉及一种用于处理图像信号的图像处理装置和一种配备有图像处理功能的图像拍摄装置，更具体地，涉及适于处理通过XY地址型固态图像拍摄设备拍摄的图像信号的图像处理装置和图像拍摄装置。

背景技术

当在闪烁光源(例如，通过商用AC电源点亮的荧光灯)的照明下通过摄像机拍摄对象的图像时，由于光源亮度变化(强度变化)的频率和摄像机垂直同步频率之间的不同，会在拍摄的图像上观察到亮度在时间上的变化，即，荧光灯闪烁(flicker)。尤其在使用诸如CMOS(互补金属氧化物半导体)图像传感器的XY地址型图像拍摄设备的情况下，每条水平线上的曝光时间各不相同，使得由于亮度值或色调的垂直周期改变，能够观察到拍摄图像上条纹图案形式的闪烁。

已知用于从拍摄图像信号中消除这种闪烁分量的方法主要有两种。其中一种是基于快门速度和闪烁值之间的关系校正图像信号的方法(快门校正方法)，另外一种是检测闪烁波形并对图像信号应用逆波形作为校正增益的方法(增益校正方法)。就基于增益校正方法的闪烁降低(flicker reduction)方法来说，存在一种对图像信号的信号电平的改变进行频率分析，以检测出闪烁频谱，并基于该频谱的振幅值校正图像信号的信号电平的方法(例如，参照日本专利申请公开第2004-222228号，0072段至0111段，图4)。

近年来，为了满足数码摄像机等中对更高功能的不断增长的需求，已经对具有以高于标准电视信号的画面率(picture rate)拍摄对象图像的功能的摄像机进行了开发。下面将描述在具有这种高速图像拍摄功能的摄像机中的闪烁降低方法。

图14是示出在荧光灯照明下，利用具有XY地址型图像拍摄设备的摄像机拍摄图像的情况下，闪烁值和快门速度之间的关系图。

为了举例，图14示出在商用AC电源频率为50Hz的区域内、在非反相类型的荧光灯照明下拍摄图像的情况下，闪烁值和快门速度之间关系的计算机模拟结果。如图14所示，示出了快门速度和闪烁值之间的关系，具体来说，当快门速度为N/100(N为整数)时，能够完全防止闪烁的发生。如果f[Hz]表示荧光灯的电源频率，则一般可以通过下面的公式(1)来表示无闪烁快门速度S_fkless[1/s]：

S_fkless＝N/(2×f)           (1)

如果通过任意方法检测到闪烁的发生，基于上述特性，通过将快门速度设置为公式(1)中的S_fkless，快门校正方法避免了闪烁的发生。然而，这个方法的问题在于，由于限制了快门速度，因而降低了AE(自动曝光)控制的自由度，另外，也可能由于下面的原因而不能使用该方法。

图15A和15B是分别示出在普通图像拍摄过程中和在高速图像拍摄过程中垂直同步频率和闪烁波形之间的关系图。

图15A示出闪烁波形和60fps(场/秒)(基于NTSC(国家电视系统委员会)格式的画面率)的垂直同步信号VD之间的关系。在这种情况下，垂直同步周期1/60[s]，一个闪烁周期为1/100[s]。图15B示出在以标准速率两倍高的画面率(120fps)执行高速图像拍摄的情况下闪烁波形和垂直同步信号之间的关系。在这种情况下，如图15A中所示的关系一样，垂直同步周期为1/120[s]，一个闪烁周期为1/100[s]。

能够在以120fps的速率拍摄图像的摄像机上设置的快门速度被限制为高于1/120[s]的速度。由于将画面率设置为NTSC格式的画面率的三倍和四倍，因而可设置的快门速度分别变成1/180[s]或以下和1/240[s]或以下。因此，这样的像机无法通过快门校正方法来避免闪烁的发生。

在下面的描述中，将会参考将上述的日本专利申请公开第2004-222228号中的方法应用于通过这种高速图像拍摄所拍摄到的图像的情况。这个方法的检测系统主要由以下三个步骤表示：当以适当的形式处理图像时，对一个周期的闪烁分量进行采样的步骤(步骤s1)；通过对采样数据执行离散傅里叶变换，计算基波为一个闪烁周期的闪烁分量的频谱的步骤(步骤s2)；以及通过只使用低阶项推定闪烁波形的步骤(步骤s3)。

然而，上述方法可能不能直接应用于高速图像拍摄，这是因为步骤s1的采样处理不适于高速图像拍摄。如果这里假设由M表示垂直同步期间中的线数，那么一般可以通过下面的公式(2)来表示闪烁条纹的周期T_fk和画面率FPS之间的关系：

T_fk＝M×FPS/(2×f)         (2)

然而，如果在FPS＞2×f的条件下执行高速图像拍摄，根据公式(2)，则闪烁条纹和线数之间的关系变为T_fk＞M，从而如图15B中明显看到的一样，一个周期的闪烁没有被完全包含在一场中。由于这个原因，日本专利申请公开第2004-222228号的方法可能不能正确地采样闪烁分量。

发明内容

如上所述，日本专利申请公开第2004-222228号的方法不能应用于具有高速图像拍摄功能的像机。不仅日本专利申请公开第2004-222228号的方法，还有大量的闪烁校正算法都利用了闪烁现象具有画面重复的事实。例如，在使用50Hz电源区域以NTSC格式拍摄的图像中的闪烁分量具有在三场之后出现相同波形的特性，上述方法利用这个特性来执行从三幅画面的闪烁分量的均值中只提取背景分量的处理。然而，这会存在一个问题，由于重复的画面数随画面率而不同，所以这种类型的运算不能应用于高速图像拍摄。

因此，期望提供一种图像处理装置，不论画面率如何，都能够高精度地检测出通过XY地址型固态图像拍摄设备拍摄的图像中的闪烁分量。鉴于上述问题，提出本发明。

进一步，期望提供一种图像拍摄装置，不论画面率如何，都能够高精度地检测出通过XY地址型固态图像拍摄设备拍摄的图像中的闪烁分量。

根据本发明的一个实施例，提供了一种用于处理图像信号的图像处理装置，包括：积分装置，用于在每个具有等于或长于荧光灯照明下在图像上产生的闪烁的一个周期长度的检测期间内，获取图像信号，并以等于或长于一个水平同步期间的时间为单位，对获取的图像信号进行积分；以及闪烁检测装置，通过使用由积分装置获得的积分结果，基于以每个检测期间为单位获得的频率分析结果，推定闪烁分量。

在根据本实施例的图像处理装置中，在每个具有等于或长于一个闪烁周期长度的检测期间内，通过积分装置获取图像信号，并以等于或长于一个水平同步期间的时间为单位，对该图像信号进行积分。随后，通过使用由积分装置得到的积分结果，以检测期间为单位，通过闪烁检测装置执行频率分析。因此，不管图像信号的画面率如何，都能可靠地对包含一个周期的闪烁分量的连续图像信号执行闪烁分析，从而提高闪烁的检测精度。

根据本发明的图像处理装置，不管图像信号的画面率如何，基于等于或长于一个闪烁周期长度的检测期间，采用积分装置和闪烁检测装置来进行操作，以这种方式，能够可靠地对包含一个周期的闪烁分量的连续图像信号执行闪烁分析。因此，不受画面率的限制，并且不需对积分装置或闪烁检测装置的已知机构进行较大修改，就能够实现高精度的闪烁检测。

附图说明

从以下结合附图对本发明的实施例和实例的详细描述，本发明将变得更容易理解，其中：

图1是示出根据本发明实施例的图像拍摄装置的主要部件的结构的方框图；

图2是示出图像拍摄装置的像机处理电路的内部结构的方框图；

图3是用于说明在普通图像拍摄模式下执行采样操作的时序图；

图4是用于说明在高速图像拍摄模式下执行采样操作的第一时序图；

图5是用于说明在高速图像拍摄模式下执行采样操作的第二时序图；

图6是示出图像拍摄装置的检测和降低处理部的内部结构的方框图；

图7是示出根据本发明第一实施例的积分处理部的内部结构的方框图；

图8是示出根据本发明第一实施例的缓冲部的第一结构例的方框图；

图9是示出根据本发明第一实施例的缓冲部的第二结构例的方框图；

图10是示出根据本发明第二实施例的积分处理部的内部结构的方框图；

图11是示出在本发明第二实施例中推定的闪烁波形的实例的示图；

图12是示出根据本发明第三实施例的积分处理部的内部结构的方框图；

图13是示出在本发明第三实施例中推定的闪烁波形的实例的示图；

图14是示出在荧光灯照明、使用具有XY地址型图像拍摄设备的像机拍摄图像的情况下、闪烁值和快门速度之间的关系的示图；以及

图15A和15B是分别示出在普通图像拍摄和高速图像拍摄期间内垂直同步频率和闪烁波形之间的关系图。

具体实施方式

下面，将参照附图详细说明本发明的实施例。

<系统整体结构>

图1是示出根据本发明实施例的图像拍摄装置的主要部件的结构的方框图。

图1所示的图像拍摄装置包括：光学组件11、驱动器11a、CMOS图像传感器(下文中称为CMOS传感器)12、定时发生器(TG)12a、模拟前端(AFE)电路13、像机处理电路14、系统控制器15、输入部16、图形I/F(接口)17、以及显示器17a。

光学组件11包括：透镜，用于将来自对象的光线聚焦在CMOS传感器12上；驱动机构，用于移动透镜来执行聚焦或变焦；快门机构；光圈机构等。驱动器11a基于来自系统控制器15的控制信号，控制光学块11中的各个机构的驱动。

CMOS传感器12由在CMOS衬底上二维排列的多个像素构成，每个CMOS衬底由光电二极管(光电门传感器，photogate)、传输门(transfer gate)(快门晶体管)、切换晶体管(地址晶体管)、放大晶体管、复位晶体管(复位门)等组成。CMOS传感器12还具有垂直扫描电路、水平扫描电路、图像信号输出电路等，它们都形成在CMOS衬底上。基于从TG 12a输出的定时信号，驱动CMOS传感器12将从对象入射的光线转换成电信号。TG 12a在系统控制器15的控制下输出定时信号。

CMOS传感器12配备有用于在根据NTSC规范的60fps的普通速度下拍摄图像的图像拍摄模式(下文中称为普通图像拍摄模式)和在高于60fps的速度下拍摄图像的高速图像拍摄模式。在以行为单位输出像素信号过程中，CMOS传感器12将每一个像素信号加上图像传感器上相邻的相同颜色的像素信号，并同时输出这些像素信号，从而不需要增加读取像素信号的同步频率，就能提高画面的切换速度。另外，根据这种结构，不用改变视角，CMOS传感器12就能缩小图像尺寸(分辨率)。

AFE电路13构成为例如单IC(集成电路)。AFE电路13执行采样，并通过CDS(相关双重采样)处理，采样并保持从CMOS传感器12输出的图像信号，从而将S/N(信/噪)比保持在恰当的水平，然后，通过AGC(自动增益控制)处理控制增益，接下来执行A/D转换，并输出数字图像信号。此外，也可以像CMOS传感器12，在相同衬底上形成用于执行CDS处理的电路。

像机处理电路14形成为例如单IC，可以对从AFE电路13输出的图像信号执行全部或部分各种类型的像机信号处理，例如，AF(自动聚焦)、AE(自动曝光)、以及白平衡调节。根据本实施例的像机处理电路14特别配备有闪烁降低部20，用于降低在荧光灯下拍摄图像过程中出现在画面中的图像信号中的闪烁信号分量。

系统控制器15是由例如CPU(中央处理单元)、ROM(只读存储器)、RAM(随机存取存储器)构成的微型控制器，通过执行存储在ROM中的程序整体控制图像拍摄装置的每个部件。

输入部16由诸如快门释放按钮、控制杆、拨盘等的各种操作键构成，输出相应于用户对系统控制器15执行的输入操作的控制信号。

图形I/F 17根据通过系统控制器15从像机处理电路14提供的图像信号，生成显示在显示器17a上的图像信号，并将该信号提供给显示器17a，使显示器17a显示图像。例如，显示器17a由LCD(液晶显示器)构成，并显示所拍摄的像机拍摄图像(camera throughimage)，或基于记录在记录介质上的数据(未示出)显示再生图像。

在该图像拍摄装置中，通过CMOS传感器12接收并进行光电转换的信号被顺序地提供给AFE电路13，并在经过CDS处理和AGC处理之后，将其转换成数字信号。像机处理电路14对由AFE电路13提供的数字图像信号执行图像质量校正，并最终将数字图像信号转换成亮度信号(Y)和色差信号(R-Y和B-Y)，并输出亮度信号(Y)和色差信号(R-Y和B-Y)。

从像机处理电路14输出的图像信号通过系统控制器15提供给图形I/F 17，并将其转换成待显示的图像信号，在显示器17a上显示像机拍摄图像。当通过由用户等对输入部16提供的输入操作指示系统控制器15记录图像时，系统控制器15将来自像机处理电路14的图像数据提供给编码器(未示出)，并通过编码器对图像数据执行预定压缩编码，然后将编码图像数据记录在记录介质(未示出)上。在记录静态图像过程中，将图像数据从像机处理电路14按帧提供给编码器，同时，在记录动态图像期间，将经过处理的图像数据持续地提供给编码器。

<像机处理电路的定时控制>

图2是示出像机处理电路14的内部结构的方框图。

如图2所示，像机处理电路14包括：基准信号生成部30，用于为整个像机处理电路14生成基准信号；以及多个处理块31～33，用于响应于从基准信号生成部30提供的基准信号，执行各种类型的像机信号处理。像机处理电路14配备有作为一个这样的处理块的闪烁降低部20。

基准信号生成部30生成并输出基准信号SIG_REF_1、SIG_REF_2、和SIG_REF_3，使各个处理块31～33与从初始振荡器提供给像机处理电路14的基准信号同步进行操作。基准信号生成部30在考虑到根据图像信号的流动而在各个处理块31～33之间产生的延迟的情况下，输出基准信号SIG_REF_1、SIG_REF_2、和SIG_REF_3。各个处理块31～33配备有分别基于基准信号SIG_REF_1、SIG_REF_2、和SIG_REF_3来生成用于细微调节处理块31～33内部的操作定时的基准信号的功能块。

类似地，闪烁降低部20包括：内部基准信号生成部21，用于基于基准信号SIG_REF_FK，生成用于调整闪烁降低部20内部的操作定时的基准信号；以及检测和降低处理部22，用于通过使用所生成的基准信号进行操作。检测和降低处理部22对应于权利要求中的校正装置。

基准信号生成部30输出垂直同步信号VD、水平同步信号HD、表示与垂直方向相关的图像信号有效期间的两种使能信号VEN 1和VEN 2(将在后面说明)、表示与水平方向相关的图像信号有效期间的使能信号HEN等，作为基准信号SIG_REF_FK。内部基准信号生成部21基于这些信号，生成各种类型用于检测和降低处理部22的基准信号和计数值等。内部基准信号生成部21对应于权利要求中的基准信号输出装置。

例如，内部基准信号生成部21配备有计数器21a，该计数器输出表示在一个垂直期间的有效期间内线数的计数值VCOUNT。计数器21a从系统控制器15接收相应于画面率的图像拍摄模式设置，并根据该设置，选择使能信号VEN 1或VEN 2中的一个。随后，计数器21a在选择的使能信号被保持在其H电平的期间内，输出水平同步信号HD的计数值，作为计数值VCOUNT，并当使能信号达到其L电平时，重设计数值。

在检测和降低处理部22内部的所有部件中，基于计数值VCOUNT来控制与图像信号垂直方向相关的操作定时。通过将计数值VCOUNT与例如预定值比较，并自由生成例如仅在特定期间内保持在其H电平的使能信号、以及在特定期间内以预定时间间隔达到其H电平的脉冲信号等的信号，内部基准信号生成部21能够控制检测和降低处理部22的操作定时。

在该实施例中，内部基准信号生成部21根据已经设置的图像拍摄模式，计算相应于一个闪烁条纹周期的计数值(T_fk(将在后面说明))，并生成在使能信号VEN 1或VEN 2处于H电平以及计数值VCOUNT达到计数值(T_fk)的时间内，保持在其H电平的使能信号DETECT_EN，并将使能信号DETECT_EN提供给检测和降低处理部22。使能信号DETECT_EN表示检测和降低处理部22中图像信号的采样期间，并且，检测和降低处理部22中与检测相关的模块基于该采样期间进行操作。此外，也可以通过系统控制器15设置确定使能信号DETECT_EN的H电平期间的计数值(T_fk)。

检测和降低处理部22执行从输入图像信号中检测闪烁分量的处理和消除图像信号中闪烁分量的处理。当使能信号DETECT_EN处于H电平时，检测和降低处理部22对图像信号进行采样，根据采样数据推定闪烁波形，调节图像信号的增益，然后降低闪烁分量。这个顺序的处理基于来自内部基准信号生成部21的各种基准信号(例如，使能信号DETECT_EN及计数值VCOUNT)执行。后面，将参照图6描述检测和降低处理部22的结构和操作。

下面，将更详细地描述基于各种基准信号在检测和降低处理部22中对图像信号的采样操作。在以下描述中，将参照一个实例，其中，在使用50Hz频率的商用AC电源的荧光灯照明下，通过交错方式(interlaced method)执行图像拍摄。在图3至图5的每个图中，由通过检测和降低处理部22推定的闪烁及由于通过检测和降低处理部22采样的闪烁而引起的画面亮度的改变分别示出为闪烁波形。

图3是用于说明在普通图像拍摄模式下执行采样操作的时序图。

在图3中，使能信号VEN 1为表示在一场中与垂直方向相关的图像信号的有效数据区的信号，并根据设置的画面率而改变。在使能信号VEN 1保持H电平的期间内，将计数值VCOUNT计数到一场的线数M。

如图3所示，在60fps的普通图像拍摄模式期间内，闪烁条纹的一个周期为1/100[s]，短于有效数据区的长度。因此，检测和降低处理部22能够以场为基础对包含一个周期闪烁分量的图像信号进行采样。

在有效数据区的开始时刻，使能信号DETECT_EN设置为H电平，当计数值VCOUNT达到表示相应于闪烁条纹一个周期结束时间的线数T_fk时，使能信号DETECT_EN转到L电平。检测和降低处理部22在使能信号DETECT_EN为H电平的期间内对图像信号进行采样。具体地，像将在后面说明的一样，在使能信号DETECT_EN的H电平期间内，检测和降低处理部22对图像信号以线为基础进行积分。随后，检测和降低处理部22基于积分值，计算基波为一个周期的闪烁的闪烁分量的频谱，从而推定一个周期的闪烁波形。

下面，将参照图4和5说明在以例如120fps的高速图像拍摄模式下进行图像拍摄的期间内执行的采样操作。

图4是用于说明在高速图像拍摄模式下执行的采样操作的第一时序图。

在图4所示的实例中，由于提高了画面率，所以由使能信号VEN 1表示的有效数据区的长度变短。此处假设内部基准信号生成部21的计数器21a选择使能信号VEN 1，并在使能信号VEN 1处于H电平的期间内对水平同步信号HD进行计数。在这种情况下，每当重复有效数据区的时间时，如在普通图像拍摄模式的情况一样，将计数值VCOUNT一直计数到线数M。

然而，在图4所示的实例中，如果满足FPS＞2×f的关系，其中，f表示荧光灯的电源频率，FPS表示画面率，则一个场的有效数据区的期间比一个闪烁周期短。因此，在计数值被计数到相应于一个闪烁周期的T_fk之前，复位计数值VCOUNT，从而不能生成一个周期的闪烁的采样定时。即，检测和降低处理部22中与检测相关的模块不能在每个闪烁周期都处理图像信号。

图5是用于说明在高速图像拍摄模式下执行的采样操作的第二时序图。

为了解决参照图4提及的问题，在本实施例中，将表示相应于画面率的有效数据区的使能信号VEN 1和表示在60fps的普通图像拍摄模式期间的有效数据区的使能信号VEN 2从基准信号生成部30提供给闪烁降低部20。当设置了满足FPS＞2×f的条件的高速图像拍摄模式时，内部基准信号生成部21的计数器21a适于选择输入的使能信号VEN 2，在使能信号VEN 2处于H电平期间内，对水平同步信号HD进行计数，并输出计数值VCOUNT。

使能信号VEN 2可以是在普通图像拍摄模式期间基于同步信号而不断生成的信号，该信号精确地表示了普通图像拍摄模式期间的有效数据区，但是，它也可以是例如通过对同步定时进行计数，基于如图5中实例所示的使能信号VEN 1而生成的信号。即，使能信号VEN 2可以生成为从特定场的有效数据区的起始时间开始，在不小于一个闪烁周期的期间内保持在其H电平的信号。此外，内部基准信号生成部21的计数器21a可以同样构建为不选择使能信号，而是基于使能信号VEN 2一贯地生成计数值VCOUNT。

当使用使能信号VEN 2时，计数值VCOUNT的上限不小于相应于一个闪烁周期的T_fk。在计数值VCOUNT开始计数之后，将使能信号DETECT_EN保持在H电平，直至计数值VCOUNT达到T_fk。因此，在检测和降低处理部22中，通过使用使能信号DETECT_EN，能够使与检测相关的模块持续地获取并处理每个包含一个周期或更多周期的闪烁分量的图像信号。

然而，由于在使能信号DETECT_EN处于H电平的期间内存在图像数据的非有效期(垂直空白期)，所以在这个期间，图像信号的采样值是不确定的。由于这个原因，在本实施例中，如将在后面说明的一样，在采样(积分)处理块的末级，从先前和随后的信号插值得到非有效期的图像信号，从而平滑地连接一个周期的闪烁分量。

<闪烁降低处理>

图6是示出检测和降低处理部22的内部结构的方框图。

检测和降低处理部22包括：归一化(normalized)积分值计算部110，用于检测图像信号，将检测值归一化，并输出经过归一化的检测值；DFT处理部120，用于对归一化的检测值执行DFT处理；闪烁生成部130，用于根据DFT的频谱分析结果推定闪烁分量；缓冲部140，用于临时存储闪烁分量的推定值；以及运算部150，用于从图像信号除去推定的闪烁分量。缓冲部140对应于权利要求中的缓冲装置。归一化积分值计算部110包括：积分处理部111、积分值保持部112、均值运算部113、差值运算部114、以及归一化处理部115。

积分处理部111在使能信号DETECT_EN处于H电平的整个期间(下文中，称作采样期间)内，以线为基础对输入的图像信号进行积分。积分处理部111对应于权利要求中的积分装置或积分器。积分值保持部112临时保存两个采样期间内的积分值。均值运算部113对最后三个采样期间内计算的积分值求平均值。差值运算部114计算最后两个采样期间内计算的积分值之间的差值。归一化处理部115将计算的差值归一化。

DFT处理部120通过DFT对经过归一化的差值执行频率分析，并推定闪烁分量的振幅和初始相位。闪烁生成部130根据通过频率分析获得的推定值，计算表示包含在图像信号中的闪烁分量的比例的校正系数。闪烁生成部130对应于权利要求中的闪烁检测装置或闪烁检测器。运算部150基于计算出的校正系数执行用于从图像信号中除去闪烁分量的运算。

通过上述模块执行的部分处理也可以通过系统控制器15中的软件处理执行。在根据本实施例的图像拍摄装置中，图6中所示的模块的处理针对组成图像信号的每个亮度信号和色差信号执行。可选地，至少对亮度信号执行处理，也可以根据场合要求，对各个色差信号和色彩信号执行处理。此外，对于亮度信号，也可以在还没有与亮度信号合成的色彩信号的阶段执行处理。另外，在色彩信号阶段的处理也可以在原色信号阶段或补色信号阶段执行。在对这些色彩信号执行处理的情况下，通过图6所示的模块执行的处理针对各个色彩信号执行。

下面，将参照图6说明检测和降低闪烁的处理。

一般来说，闪烁分量与对象的信号强度成比例。因此，如果In′(x，y)表示在任意采样期间n内，从位于任意像素(x，y)的一般对象获得的输入图像信号(闪烁降低之前的RGB原色信号或亮度信号)，则通过下面的公式(3)，由不包含闪烁分量的信号分量和与信号分量成比例的闪烁分量的总和来表示In′(x，y)：

In′(x，y)＝[1+Γn(y)]]×In(x，y)，     ……(3)

其中，In(x，y)表示信号分量，Γn(y)×In(x，y)表示闪烁分量，Γn(y)表示闪烁系数。用Γn(y)表示闪烁系数的原因是与荧光灯的发光周期(1/100秒)相比一个水平周期足够短，在一个场的一条线上，可以认为闪烁系数恒定。

为了一般化Γn(y)，以傅立叶级数的形式描述公式(3)，如以下公式(4)所示：

$\mathrm{\&Gamma;n}\left(y\right)=\underset{m=1}{\overset{\&infin;}{\mathrm{\&Sigma;}}}\mathrm{\&gamma;m}\&times;\cos [m\&times;\frac{2\mathrm{\&pi;}}{\mathrm{\&lambda;}0}\&times;y+\mathrm{\&Phi;m},n]$

$=\underset{m=1}{\overset{\&infin;}{\mathrm{\&Sigma;}}}\mathrm{\&gamma;m}\&times;\cos (m\&times;\mathrm{\&omega;}0\&times;y+\mathrm{\&Phi;m},n)---\left(4\right)$

在公式(4)中，λ0表示闪烁波形的波长，相应于L(＝M×FPS/100)条线，其中，M表示每个场读取的线数，ω0表示通过λ0归一化的归一化角频率。

在公式(4)中，γm表示各次(m＝1，2，3，...)闪烁分量的振幅，Фm、n表示各次闪烁分量的初始相位，并且由荧光灯的发射周期(1/100秒)和曝光时间来确定。然而，当在例如荧光灯的电源频率为50Hz并且画面率为60fps或120fps的情况下，以三个连续采样期间的时间间隔重复相同的闪烁波形时，Фm，n在三个采样期间的间隔取相同值，所以，当前和先前采样期间之间的Фm，n差值可通过公式(5)表示：

$\mathrm{\&Delta;\&Phi;m},n=-\frac{2\mathrm{\&pi;}}{3}\&times;m---\left(5\right)$

在图6所示的检测和降低处理部22中，首先，为了降低图案对闪烁检测的影响，积分处理部111以线为基础，对输入图像信号In′(x，y)在画面的水平方向上进行积分，如下面公式(6)表示的一样，从而计算积分值Fn(y)。在公式(6)中，α_n(y)为信号分量In(x，y)对一条线的积分值，通过下面的公式(7)来表示。

$\mathrm{Fn}\left(y\right)=\underset{X}{\mathrm{\&Sigma;}}{\mathrm{In}}^{\&prime;}(x,y)=\underset{X}{\mathrm{\&Sigma;}}\left(\right[1+\mathrm{\&Gamma;n}\left(y\right)]\&times;\mathrm{In}(x,y))$

$=\underset{X}{\mathrm{\&Sigma;}}\mathrm{\&Gamma;n}\left(y\right)+\mathrm{\&Gamma;n}\left(y\right)\underset{X}{\mathrm{\&Sigma;}}\mathrm{In}(x,y)$

$={\mathrm{\&alpha;}}_n\left(y\right)+{\mathrm{\&alpha;}}_n\left(y\right)\&times;\mathrm{\&Gamma;n}\left(y\right)---\left(6\right)$

其中

${\mathrm{\&alpha;}}_n\left(y\right)=\underset{X}{\mathrm{\&Sigma;}}\mathrm{In}(x,y)---\left(7\right)$

积分处理部111输出在使能信号DETECT_EN处于H电平的采样期间内以线为单位的积分值。然而，在满足FPS＞2×f的高速图像拍摄模式过程中，由于采样期间中包含垂直空白期，所以积分处理部111对垂直空白期内的输出值进行插值处理。例如，积分处理部111根据前后的积分结果插值得到输出值，并输出经过插值处理的输出值。

图7是示出根据本发明第一实施例的积分处理部111的内部结构的方框图。

如图7所示，积分处理部111包括：线积分运算部201，用于基于使能信号HEN执行上述以线为单位的积分；以及空白插值部202，用于在垂直空白期间内对积分值插值。空白插值部202基于使能信号VEN 1检测图像信号的无效期，并在无效期间内，空白插值部202通过使用在无效期之前和之后从线积分运算部201中输出的值来执行线性插值，从而平滑地连接无效期之前和之后输出的积分结果。

这种插值处理是引起原始闪烁波形失真的主要因素。但是，失真几乎不影响从位于随后阶段的DFT处理部120输出的低次光谱，而只对高次光谱有影响。在根据第一实施例的闪烁检测处理中，像将在后面说明的一样，DFT运算中只使用低次项，从而即使使用诸如线性插值这样的简单插值方法，也能获得足够的闪烁检测精度。

下面的说明回到图6进行。

从积分处理部111输出的积分值Fn(y)临时存储在积分值保持部112中，用于在随后的采样期间内进行闪烁检测。积分值保持部112被构建成能够保持至少两个采样期间的积分值。

另外，如果对象是相同的，则信号分量In(x，y)的积分值α_n(y)是恒定的，所以很容易从输入图像信号In′(x，y)的积分值Fn(y)中提取出闪烁分量α_n(y)×Γn(y)。然而，在通常对象的情况下，由于m×ω0分量包含在α_n(y)中，所以不可能从包含在对象本身的信号分量中的亮度分量和色彩分量中分离出包含在闪烁分量中的亮度分量和色彩分量，从而不能只单纯地提取出闪烁分量。而且，由于与公式(6)的第一项的信号分量相比，公式(6)的第二项的闪烁分量非常小，所以闪烁分量几乎淹没在信号分量中。

因此，检测和降低处理部22使用三个连续采样期间的积分值来从积分值Fn(y)中消除α_n(y)的影响。具体地，在第一实施例中，在计算积分值Fn(y)过程中，从积分值保持部112读出在最后采样期间内沿相同线(此处是指沿着计数值VCOUNT取相同值的线)的积分值Fn_1(y)和在倒数第二采样期间内沿相同线的积分值Fn_2(y)，并在均值运算部113中计算三个积分值Fn(y)、Fn_1(y)、和Fn_2(y)的均值AVE[Fn(y)]。

在这个运算中，如果在三个连续采样期间内可以认为对象几乎相同，则α_n(y)可以被认为具有相同值。如果在三个采样期间内，对象的移动足够小，则这个假设在实际应用中没有问题。此外，根据公式(5)的关系，计算三个连续采样期间的积分值的平均值是将分别具有相位上顺序地偏离(-2π/3)×m的闪烁分量的信号相加，结果是消除了闪烁分量。因此，均值AVE[Fn(y)]通过下面公式(8)表示：

$\mathrm{AVE}\left[\mathrm{Fn}\left(y\right)\right]=\frac{1}{3}\underset{k=0}{\overset{2}{\mathrm{\&Sigma;}}}\mathrm{Fn}\_k\left(y\right)$

$=\frac{1}{3}\{\underset{k=0}{\overset{2}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_{n\_k}\left(y\right)+{\mathrm{\&alpha;}}_{n\_k}\left(y\right)\&times;\mathrm{\&Gamma;n}\_k\left(y\right)\}$

$=\frac{1}{3}\underset{k=0}{\overset{2}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_{n\_k}\left(y\right)+\frac{1}{3}\underset{k=0}{\overset{2}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_{n\_k}\left(y\right)\&times;\mathrm{\&Gamma;n}\_k\left(y\right)$

$={\mathrm{\&alpha;}}_n\left(y\right)+\frac{1}{3}{\mathrm{\&alpha;}}_n\left(y\right)\underset{k=0}{\overset{2}{\mathrm{\&Sigma;}}}\mathrm{\&Gamma;n}\_k\left(y\right)$

$={\mathrm{\&alpha;}}_n\left(y\right)---\left(8\right)$

其中

${\mathrm{\&alpha;}}_n\left(y\right)\&cong;{\mathrm{\&alpha;}}_{n-1}\left(y\right)\&cong;{\mathrm{\&alpha;}}_{n-2}\left(y\right)---\left(9\right)$

上述说明参照了在满足公式(9)的近似的假设下来计算三个连续采样期间的积分值的均值的情况，但如果对象的移动很大，则不满足公式(9)的近似。然而，在这样一种情况下，如果将与求平均值处理相关的连续采样期间数设置为3的倍数，通过在时间轴方向上的低通滤波效应，能够降低移动的影响。

图6中示出的检测和降低处理部22假设满足公式(9)的近似。在第一实施例中，差值运算部114计算从积分处理部111提供的、当前采样期间的积分值Fn(y)与积分值保持部112提供的、先前采样期间的积分值Fn_1(y)之间的差值，从而计算出由下面的公式(10)表示的差值Fn(y)-Fn_1(y)。此外，公式(10)也假设满足公式(9)的近似。

$\mathrm{Fn}\left(y\right)-\mathrm{Fn}\_1\left(y\right)$

$=\{{\mathrm{\&alpha;}}_n\left(y\right)+{\mathrm{\&alpha;}}_n\left(y\right)\&times;\mathrm{\&Gamma;n}\left(y\right)\}-\{{\mathrm{\&alpha;}}_{n\_1}\left(y\right)+{\mathrm{\&alpha;}}_{n\_1}\left(y\right)\&times;\mathrm{\&Gamma;n}\_1\left(y\right)\}$

$={\mathrm{\&alpha;}}_n\left(y\right)\&times;\{\mathrm{\&Gamma;n}\left(y\right)-\mathrm{\&Gamma;n}\_1\left(y\right)\}$

$={\mathrm{\&alpha;}}_n\left(y\right)\underset{m=1}{\overset{\&infin;}{\mathrm{\&Sigma;}}}\mathrm{\&gamma;m}\&times;\{\cos (m\&times;\mathrm{\&omega;}0\&times;y+\mathrm{\&Phi;m},n)-\cos (m\&times;\mathrm{\&omega;}0\&times;y+\mathrm{\&Phi;m},n\_1)\}---\left(10\right)$

此外，在图6所示的检测和降低处理部22中，归一化处理部115通过将差值Fn(y)-Fn_1(y)除以从均值运算部113输出的平均值AVE[Fn(y)]，将从差值运算部114输出的差值Fn(y)-Fn_1(y)归一化。

通过上述公式(8)和(10)及三角函数的积化和差公式，如下面公式(11)所表示的来展开归一化之后的差值gn(y)，并通过下面的来自公式(5)关系式的公式(12)来表示。另外，通过下面的公式(13)和(14)分别表示公式(12)中的|Am|和θm。

$\mathrm{gn}\left(y\right)=\frac{\mathrm{Fn}\left(y\right)-\mathrm{Fn}\_1\left(y\right)}{\mathrm{AVE}\left[\mathrm{Fn}\left(y\right)\right]}$

$=\underset{m=1}{\overset{\&infin;}{\mathrm{\&Sigma;}}}\mathrm{\&gamma;m}\&times;\{\cos (m\&times;\mathrm{\&omega;}0\&times;y+\mathrm{\&Phi;m},n)-\cos (m\&times;\mathrm{\&omega;}0\&times;y+\mathrm{\&Phi;m},n\_1)\}$

$=\underset{m=1}{\overset{\&infin;}{\mathrm{\&Sigma;}}}(-2)\mathrm{\&gamma;m}\&times;\{\sin (m\&times;\mathrm{\&omega;}0\&times;y+\frac{\mathrm{\&Phi;m},n+\mathrm{\&Phi;m},n\_1}{2})\&times;\sin \left(\frac{\mathrm{\&Phi;m},n-\mathrm{\&Phi;m},n\_1}{2}\right)\}---\left(11\right)$

$\mathrm{gn}\left(y\right)=\underset{m=1}{\overset{\&infin;}{\mathrm{\&Sigma;}}}(-2)\mathrm{\&gamma;m}\&times;\sin (m\&times;\mathrm{\&omega;}0\&times;y+\mathrm{\&Phi;m},n+m\&times;\frac{\mathrm{\&pi;}}{3})\&times;\sin (-m\&times;\frac{\mathrm{\&pi;}}{3})$

$=\underset{m=1}{\overset{\&infin;}{\mathrm{\&Sigma;}}}2\&times;\mathrm{\&gamma;m}\&times;\cos (m\&times;\mathrm{\&omega;}0\&times;y+\mathrm{\&Phi;m},n+m\&times;\frac{\mathrm{\&pi;}}{3}-\frac{\mathrm{\&pi;}}{2})\&times;\sin (m\&times;\frac{\mathrm{\&pi;}}{3})$

$=\underset{m=1}{\overset{\&infin;}{\mathrm{\&Sigma;}}}2\&times;\mathrm{\&gamma;m}\&times;\sin (m\&times;\frac{\mathrm{\&pi;}}{3})\&times;\cos (m\&times;\mathrm{\&omega;}0\&times;y+\mathrm{\&Phi;m},n+m\&times;\frac{\mathrm{\&pi;}}{3}-\frac{\mathrm{\&pi;}}{2})$

$=\underset{m=1}{\overset{\&infin;}{\mathrm{\&Sigma;}}}\left|\mathrm{Am}\right|\&times;\cos (m\&times;\mathrm{\&omega;}0\&times;y+\mathrm{\&theta;m})--\left(12\right)$

其中

$\left|\mathrm{Am}\right|=2\&times;\mathrm{\&gamma;m}\&times;\sin (m\&times;\frac{\mathrm{\&pi;}}{3})---\left(13\right)$

$\mathrm{\&theta;m}=\mathrm{\&Phi;m},n+m\&times;\frac{\mathrm{\&pi;}}{3}-\frac{\mathrm{\&pi;}}{2}---\left(14\right)$

另外，由于对象的信号强度的影响残存在差值Fn(y)-Fn_1(y)中，所以由于闪烁导致的亮度变化和色彩变化的程度在不同区域趋向于不同。然而，通过以上述方式将差值Fn(y)-Fn_1(y)归一化，就有可能将由于闪烁导致的亮度变化和色彩变化在整个区域上调整到相同水平。

由公式(13)和(14)表示的|Am|和θm分别为归一化之后的差值gn(y)的各次频谱的振幅和初始相位。如果对归一化之后的差值gn(y)进行傅立叶转换来检测各次频谱的振幅|Am|和初始相位θm，则通过下面的公式(15)和(16)能够得出在上述公式(4)中所示的各次闪烁分量的振幅|Am|和初始相位θm，n：

$\mathrm{\&gamma;m}=\frac{\left|\mathrm{Am}\right|}{2\&times;\sin (m\&times;\frac{\mathrm{\&pi;}}{3})}---\left(15\right)$

$\mathrm{\&Phi;m},n=\mathrm{\&theta;m}-m\&times;\frac{\mathrm{\&pi;}}{3}+\frac{\mathrm{\&pi;}}{2}---\left(16\right)$

因此，在图6所示的检测和降低处理部22中，DFT处理部120对从归一化处理部115输出的归一化后差值gn(y)中、相应于闪烁的一个波长(L条线)的数据执行离散傅立叶转换。

如果DFT[gn(y)]表示DFT运算，Gn(m)表示m次的DFT结果，则通过下面的公式17表示DFT运算。然而，公式(17)中的W由公式(18)表示。因此，通过将DFT运算的数据长度设置为波长的一个闪烁(L条线)，能够直接得到归一化的角频率ω0的整倍数的离散谱，从而能够简化运算处理。此外，基于使能信号DETECT_EN，通过采样期间给出DFT运算的数据长度。

$\mathrm{DFT}\left[\mathrm{gn}\left(y\right)\right]=\mathrm{Gn}\left(m\right)=\underset{i=0}{\overset{L-1}{\mathrm{\&Sigma;}}}\mathrm{gn}\left(i\right)\&times;W^{m\&times;i}---\left(17\right)$

其中

$W=\exp [-j\&times;\frac{2\mathrm{\&pi;}}{L}]---\left(18\right)$

另外，基于DFT的定义，公式(13)和公式(17)之间的关系和公式(14)和(17)之间的关系分别通过下面的公式(19)和(20)表示：

$\left|\mathrm{Am}\right|=2\&times;\frac{\left|\mathrm{Gn}\left(m\right)\right|}{L}---\left(19\right)$

$\mathrm{\&theta;m}={\tan }^{-1}\left(\frac{\mathrm{Im}\left(\mathrm{Gn}\left(m\right)\right)}{\mathrm{Re}\left(\mathrm{Gn}\left(m\right)\right)}\right)---\left(20\right)$

其中

Im(Gn(m))：虚部

Re(Gn(m))：实部

因此，从公式(15)、(16)、(19)、和(20)及下面的公式(21)和(22)能够得到各次闪烁分量的振幅γm和初始相位Фm，n：

$\mathrm{\&gamma;m}=\frac{\left|\mathrm{Gn}\left(m\right)\right|}{L\&times;\sin (m\&times;\frac{\mathrm{\&pi;}}{3})}---\left(21\right)$

$\mathrm{\&Phi;m},n={\tan }^{-1}\left(\frac{\mathrm{Im}\left(\mathrm{Gn}\left(m\right)\right)}{\mathrm{Re}\left(\mathrm{Gn}\left(m\right)\right)}\right)-m\&times;\frac{\mathrm{\&pi;}}{3}+\frac{\mathrm{\&pi;}}{2}---\left(22\right)$

DFT处理部120首先利用由公式(17)定义的DFT运算提取出频谱，随后利用公式(21)和(22)的运算推定各次闪烁分量的振幅γm和初始相位Фm，n。

一般，在数字信号处理中使用的傅立叶转换为快速傅立叶转换(FFT)。然而，由于FFT中的数据长度需要为2的乘方，所以，在第一实施例中，通过DFT执行频率分析，以简化数据处理。在实际荧光灯照明下，由于即使将次数m限定在低次，也能够近似满足闪烁分量，所以，在DFT运算中，不需要输出所有数据。因此，与FFT相比，DFT在运算效率上不处于下风。

闪烁生成部130通过使用由DFT处理部120推定的振幅γm和初始相位Фm，n执行上述公式(4)的运算处理，从而计算正确反映闪烁分量的闪烁系数Γn(y)。此外，通过公式(4)的运算处理，即使次数总值不被限制在无穷，而是限制为预定次数(例如二次)以便忽略高次处理，也能够近似满足在实际利用真实荧光灯照明条件下的闪烁分量。

上述公式(3)可以变形为如由下面的公式(23)所表示的一样。基于公式(23)，运算部150将从闪烁生成部130提供的闪烁系数Γn(y)加“1”，并将图像信号除以相加得到的值，从而抑制闪烁分量。

In(x，y)＝In’(x，y)/[1+Γn(y)]      …(23)

此外，在上述处理中，对图像信号进行积分、频率分析等的与检测相关的模块基于使能信号DETECT_EN以闪烁分量的一个周期为单位进行操作，这样，因为操作顺序很容易同步，所以基于闪烁推定结果的与校正相关的模块(运算部150)也不以场为单位、而是基于闪烁分量的一个周期进行操作。

例如，在来自闪烁生成部130的闪烁系数Γn(y)按场保存在缓冲器中的情况下，如果闪烁分量的一个周期包含在一个垂直同步期间内，则通过根据一个场中的线数连续从缓冲器读出闪烁系数Γn(y)至运算部150，能够执行检测相关模块和校正相关模块的同步化。但是，如果在闪烁分量的一个周期长于一个垂直同步期间的高速图像拍摄模式中采用相同的方法，闪烁分量的相位将逐场偏离，且变得不能正确地校正。

由于这个原因，在第一实施例中，闪烁系数Γn(y)被临时存储到设置在运算部150的输入级的缓冲部140中，从而能够最优地同步控制缓存数据单位和数据的读/写，以使考虑闪烁分量的一个周期的同步控制成为可能。下面，将参照图8和9描述通过使用缓冲部140到运算部150的数据输出的控制实例。

图8示出了缓冲部结构的第一实例的方框图。

图8中所示的缓冲部140a以闪烁分量的一个周期为单位，临时保存由闪烁生成部130提供的闪烁系数Γn(y)。当从闪烁降低部20的内部基准信号生成部21向缓冲部140a提供计数值VCOUNT时，缓冲部140a基于计数值VCOUNT，将相应于线数的闪烁系数Γn(y)从一个周期单位的缓冲区提供给运算部150。即，由于不是基于每个画面的线数而是基于以使能信号VEN 2为基础的每个闪烁分量的周期的线数来控制闪烁系数Γn(y)的输出处理，所以运算部150能够将合适的校正增益提供给图像信号。

可选地，图9中所示的结构也被用于控制以画面为单位的闪烁系数Γn(y)输出。图9是示出缓冲部结构的第二实施例的方框图。

图9中所示的缓冲部140b以画面为单位(在本例中，以场为单位)，临时保存由闪烁生成部130提供的闪烁系数Γn(y)。例如，缓冲部140b具有多个能够容纳相应于一场的闪烁系数Γn(y)的缓冲区。

此外，内部基准信号生成部21向缓冲部140b提供表示画面数的计数值FieldCount和表示每个画面(在这个实例中，每个场)线数的计数值VCOUNT-FIELD。在内部基准信号生成部21中，计数值FieldCount在对应于画面率的使能信号VEN 1上升时计数，并在相应于普通图像拍摄模式的使能信号VEN 2上升时复位。计数值VCOUNT-FIELD在使能信号VEN 1已经上升至H电平之后保持在H电平的期间内对水平同步信号HD进行计数。

闪烁生成部130将针对每个场调整了相位的闪烁系数Γn(y)依次提供给缓冲部140b中相应的一个缓冲区。例如，如果一个周期的闪烁系数Γn(y)跨越多个场，在相应于紧接着闪烁系数Γn(y)所跨越的多个场的场的缓冲区的开头，调整闪烁系数Γn(y)的相位，使闪烁系数Γn(y)具有可在垂直空白期间结束时获得的值。

缓冲部140b根据计数值FieldCount依次选择以场为单位的缓冲区中的一个，并基于计数值VCOUNT_FIELD，从选择的缓冲区读取相应于线数的闪烁系数Γn(y)至运算部150。因此，当通过以场为基础执行读取时，能够将合适的校正增益应用于运算部150的图像信号。

根据上述的闪烁检测方法，即使在包含少量闪烁分量的区域的情况下，例如黑色背景部分或低亮度部分，在其中只通过积分值Fn(y)无法防止闪烁分量被完全淹没在信号分量中，则通过计算差值Fn(y)-Fn_1(y)，并将计算得到的差值Fn(y)-Fn_1(y)通过均值AVE[Fn(y)]归一化，能够高精度地检测闪烁分量。

另外，在闪烁系数Γn(y)的计算过程中，由于可以将次数限制在低次，所以通过相对简单的处理，就能精确进行闪烁检测。另外，当闪烁分量是根据相对于特定次数的频谱推定得到的，归一化后的差值gn(y)不需完全再现即可近似得到，但是根据这种方法，即使由于对象的状态在归一化后的差值gn(y)中出现不连续的部分，也能够精确地推定该部分中的闪烁分量。

此外，由于在运算过程中使用使能信号VEN 2作为基准信号，并且图像信号的积分单位和DFT处理单位都设置成闪烁波形的一个周期，所以不仅可以将上述高精度的闪烁检测算法应用于普通图像拍摄模式，也可以应用于闪烁分量的一个周期长于垂直同步期间的高速图像拍摄模式。例如，如果将例如生成使能信号DETECT_EN和计数值VCOUNT的电路的简单处理功能加到实现闪烁检测算法的处理电路中，则可以将闪烁检测算法应用于高速图像拍摄模式。因此，不管画面率如何，都能够以低成本实现高精度的闪烁检测。

此外，在上述第一实施例中，通过利用AVE[Fn(y)]将差值Fn(y)-Fn_1(y)进行归一化，能够有效地确保有限的计算精度。然而，如果能够满足所需计算精度，则可以通过均值AVE[Fn(y)]直接归一化积分值Fn(y)。

另外，也可以利用积分值Fn(y)代替AVE[Fn(y)]对积分值Fn(y)进行归一化。在这种情况下，如果由于闪烁波形和画面率之间的关系，闪烁波形对多个画面中的每一个不具有重复性，则能够高精度检测闪烁，并降低闪烁分量。

此外，尽管上述第一实施例的描述参照的是输入图像信号In′(x，y)对一条线积分的情况，但是这种积分趋向于降低图案的影响，并获得闪烁分量的采样值。因此，也可以在一条或更多条线的时间内执行积分。另外，此时，在执行积分的期间内，也可以省去将要采样的像素。在实际应用中，期望以画面中的一个闪烁周期(即，L条线)获得至少数个到十个采样值。

<其他实施例>

下面，将参照图10至13来描述根据本发明第二和第三实施例的图像拍摄装置。每个图像拍摄装置的基本结构与根据第一实施例的图像拍摄装置的结构相同。但是，第二和第三实施例与第一实施例的不同之处只是安装在检测和降低处理部22中的积分处理部111的结构的不同，所以第二和第三实施例在输出垂直空白期间内的积分值的方法上与第一实施例不同。

图10是示出根据第二实施例的积分处理部111的内部结构的方框图。

根据第二实施例的积分处理部111包括具有如图7所示的相同结构的线积分运算部201，以及保持处理部203。保持处理部203保存的是在紧邻使能信号VEN 1处于L电平的垂直空白期之前从线积分运算部201中输出的值，并在垂直空白期间继续输出相同的值，直至下一有效期间开始。这种结构与图7所示的结构相比，能够简化电路结构，从而减小图像拍摄装置的电路规模和制造成本。

图11是示出在第二实施例中推定的闪烁波形实例的示图。作为实例，图11示出的是高速图像拍摄模式的画面率为普通图像拍摄模式画面率四倍的情况(随后提到的图13也示出类似的情况)。

在根据第二实施例的积分处理部111中，闪烁波形的失真度很大，如图11中所示的闪烁波形。然而，由于画面率的增加，垂直空白期与闪烁波形的周期相比变得足够短，所以这样的失真影响很难在从DFT处理部120输出的低次输出频谱中出现，仅出现在高次一侧。此外，在上述的闪烁检测算法中，只需在DFT运算中使用低次项。因此，根据第二实施例构成的积分处理部111实际上也可能获得足够的闪烁检测和校正精度。

图12是示出根据第三实施例的积分处理部111的内部结构的方框图。

根据第三实施例的积分处理部111包括具有如图7所示的相同结构的线积分运算部201和AND(逻辑积)部204。将从线积分运算部201输出的积分值提供给AND门204的一个输入端，同时，将使能信号VEN 1应用于另一个输入端。因此，在使能信号VEN 1处于L电平的垂直空白期间，从AND门204输出的积分值固定为“0”。与图7所示的结构相比，这种结构能够简化电路结构，并在更大程度上减小了图像拍摄装置的电路规模和制造成本。

图13是示出在第三实施例中推定的闪烁波形的实例的示图。

在根据第三实施例的积分处理部111中，与第二实施例相比，闪烁波形的失真度很大，如图13中所示的闪烁波形。然而，由于与第二实施例提到的相同原因，根据第三实施例的积分处理部111实际上能够实现足够的闪烁检测和校正精度。

上述每个实施例参照的是使用CMOS传感器作为图像拍摄设备的情况，但是，本发明也可以应用于除使用CMOS图像传感器以外的诸如MOS类型图像传感器的另一种XY地址型图像拍摄设备的情况。另外，本发明也能应用于各种使用XY地址类型图像拍摄设备的图像拍摄装置和诸如手机或PDA(个人数字助理)的配备有图像拍摄功能的设备中。

此外，也能够将本发明应用于通过连接至例如PC(个人计算机)的游戏软件用小尺寸像机或电视电话拍摄的图像信号处理，也能够应用于执行用于校正拍摄图像的处理的图像处理装置。

此外，可以通过计算机实现上述处理功能。在这种情况下，提供描述并入装置中的功能的处理内容的程序。通过由计算机执行的程序，在计算机上实现处理功能。描述处理内容的程序可以被记录在计算机可读记录介质上。计算机可读记录介质举例来说有磁记录装置、光盘、磁性光盘、及半导体存储器。

为了分售程序，可销售记录有程序的便携式记录介质(例如，光盘或半导体存储器)。另外，程序可以存储在服务器计算机的存储设备中，从而可以通过网络将程序从服务器计算机传输至其他计算机。

执行程序的计算机在其存储设备中存储例如记录在便携式记录介质上的程序或从服务器计算机传输的程序。计算机从存储设备中读出程序，并基于程序执行处理。此外，计算机能够也能直接从便携式记录介质中读取程序，并基于程序执行处理。另外，每当将程序从服务器计算机传输至计算机时，计算机可以随后执行程序的处理。

本领域的技术人员应该理解，根据设计要求和其他因素，可以有多种修改、组合、再组合和改进，均应包含在本发明的权利要求或等同物的范围之内。

Claims (14)

1.一种用于处理图像信号的图像处理装置，包括：

积分装置，用于在每个具有等于或长于在荧光灯照明下产生在图像上的闪烁的一个周期的长度的检测期间内获取所述图像信号，并以等于或长于一个水平同步期间的期间为单位对所获取的图像信号进行积分；以及

闪烁检测装置，通过使用由所述积分装置获得的积分结果，基于以所述每个检测期间为单位获得的频率分析结果，推定闪烁分量。

2.根据权利要求1所述的图像处理装置，还包括：

基准信号输出装置，用于基于表示对于画面切换周期长于闪烁的一个周期的画面率在垂直方向上的图像信号有效期间的使能信号，不管所述图像信号的当前画面率如何，生成给出所述每个检测期间的定时的基准信号，并将所述基准信号提供给所述积分装置和所述闪烁检测装置。

3.根据权利要求1所述的图像处理装置，其中：

在所述检测期间跨越多个帧或多个场的情况下，所述积分装置输出对在所述检测期间内的垂直空白期间之前和之后获得的积分结果插值得到的值，作为所述垂直空白期间内的积分结果。

4.根据权利要求1所述的图像处理装置，其中：

在所述检测期间跨越多个帧或多个场的情况下，在所述垂直空白期间内，所述积分装置连续输出与紧邻所述检测期间内的垂直空白期间之前获得的积分结果相同的值。

5.根据权利要求1所述的图像处理装置，其中：

在所述检测期间跨越多个帧或多个场的情况下，所述积分装置连续输出恒定值，作为所述检测期间内的垂直空白期间的积分结果。

6.根据权利要求1所述的图像处理装置，还包括：

校正装置，用于校正所述图像信号，从而除去由所述闪烁检测装置推定的所述闪烁分量。

7.根据权利要求6所述的图像处理装置，还包括：

缓冲装置，用于临时存储通过所述闪烁检测装置在所述每个检测期间内推定的所述闪烁分量的推定结果，并依次将在所述每个检测期间内存储的数据提供给所述校正装置。

8.根据权利要求6所述的图像处理装置，还包括：

缓冲装置，用于在所述检测期间跨越多个帧或多个场的情况下，将通过所述闪烁检测装置得到的所述闪烁分量的推定结果在所述推定结果相位最优的状态下以帧为单位或以场为单位临时保存，选择与输入至所述校正装置的图像信号相对应的帧单位或场单位的存储区，并将所述存储区的数据依次提供给所述校正装置。

9.根据权利要求1所述的图像处理装置，其中：

所述闪烁检测装置将由来自所述积分装置的积分值或分别在相邻检测期间获得的积分值之间的差值归一化，输出经过归一化的积分值或经过归一化的差值，提取出所述归一化积分值或所述归一化差值的频谱，并从所述频谱中推定所述闪烁分量。

10.根据权利要求9所述的图像处理装置，其中：

所述闪烁检测装置通过将所述差值除以在多个连续检测期间内获得的积分值的均值，将所述差值归一化。

11.根据权利要求9所述的图像处理装置，其中：

所述闪烁检测装置通过将所述差值除以所述积分值，将所述差值归一化。

12.一种通过使用XY地址型固态图像拍摄设备拍摄图像的图像拍摄装置，包括：

积分装置，用于在每个具有等于或长于在荧光灯照明下产生在图像上的闪烁的一个周期的长度的检测期间内，获取通过图像拍摄获取的图像信号，并以等于或长于一个水平同步期间的期间为单位对所获取的图像信号进行积分；以及

闪烁检测装置，通过使用由所述积分装置获得的积分结果，基于以所述每个检测期间为单位获得的频率分析结果，推定闪烁分量。

13.一种用于检测在荧光灯照明下在图像上生成的闪烁的图像处理方法，包括：

在每个具有等于或长于所述闪烁的一个周期长度的检测期间内获取图像信号；

以等于或长于一个水平同步期间的期间为单位，对所获取的图像信号进行积分；以及

通过使用由所述积分获得的积分结果，基于以所述每个检测期间为单位获得的频率分析结果，推定闪烁分量。

14.一种用于处理图像信号的图像处理装置，包括：

积分器，用于在每个具有等于或长于在荧光灯照明下产生在图像上的闪烁的一个周期的长度的检测期间内获取所述图像信号，并以等于或长于一个水平同步期间的期间为单位对所获取的图像信号进行积分；以及

闪烁检测器，通过使用由所述积分器获得的积分结果，基于以所述每个检测期间为单位获得的频率分析结果，推定闪烁分量。

Images