CN100542304C - 图像处理装置和图像拾取装置 - Google Patents

Abstract

提供了一种用于处理彩色图像信号的图像处理装置，包括：积分单元，在至少一个水平周期内对彩色图像信号的每个色彩信号的至少之一或从彩色图像信号中得到的亮度信号进行积分；归一化单元，将从积分单元获得的积分值和由积分单元得到的相邻场或帧的积分值之间的差进行归一化；频率分析单元，提取归一化单元的输出值的频谱；闪烁分量估计单元，根据由频率分析单元提取的频谱估计闪烁分量；指标生成单元，基于闪烁分量估计单元的估计结果，计算表示将拍摄光源估计为荧光灯的程度的指标；以及色彩平衡控制单元，根据来自指标生成单元的指标来计算彩色图像信号的色彩平衡控制值。

Description

图像处理装置和图像拾取装置

技术领域

本发明涉及一种用于处理彩色图像信号的图像处理装置以及具有图像处理功能的图像拾取装置，特别涉及一种适合用于处理由XY地址扫描型固态图像拾取器件拾取的彩色图像信号的图像处理装置和图像拾取装置。

背景技术

近年来，用于使用诸如数字静态照相机或数字视频照相机的固态图像拾取器件来拾取和存储图像的图像拾取装置得到广泛使用。作为用于图像拾取装置的图像拾取器件，最普遍地使用了电荷耦合器件(CCD)图像传感器。近来，随着图像拾取器件的像素数已增加，互补型金属氧化物半导体(CMOS)图像传感器吸引了大量注意力。CMOS图像传感器具有随意访问图像信号的功能，并且与CCD图像传感器相比，具有更高的读出速度、更高的灵敏度和更低的功耗。

此外，大多数的图像拾取装置具有依据拍摄光源而自动确定白平衡控制值的自动白平衡功能。通常基于拾取信号而估计拍摄光源。作为通常的估计方法，存在基于被称为灰度场(gray world)(其中，包括在拍摄场景中的物体光谱反射系数(spectral reflection factor)平均接近于平坦)的假设，根据高亮部分或中亮部分的采样均值而估计拍摄光源的方法。然而，由于可能不能对任何物体建立该假设，所以可能不能得到适当的控制结果。

例如，当使用在荧光灯下具有其光谱灵敏度拥有相对高的绿色响应的RGB-彩色图像拾取器件时，G对R和B的增益率在荧光灯下优选地低于其在自然光下的增益率。然而，当光源不是荧光灯，而物体的颜色又具有大量的绿色分量时，从物体反射的光具有大量的绿色分量。因此，难于估计光源是否是荧光灯，并且难于获得适当的白平衡。此时，当此前确定了光源是否是荧光灯时，可以考虑图像拾取器件的特征而改善白平衡控制结果。所以，需要自动地和精确地确定光源是否是荧光灯。

此外，存在估计拍摄光源的另一种方法，其公开的方法如下：先前设置多个光源，在控制时比较和检测各个光源的有效性以执行估计，并且从预设值中选择和插入适用于拍摄光源的控制参数(例如，参见专利文献1)。在这样的方法中，当荧光灯没有包括在所设置的光源中时，在荧光灯下就不能获得合适的白平衡，并且，虽然荧光灯被包括在所设置的光源内，但是在比较和检测时可能错误地将光源确定为荧光灯。

此外，在图像拾取装置中，所拾取的彩色信号可能经过诸如矩阵变换的校正处理，使得在显示装置中观测到合适的色彩重现。在该处理中的矩阵系数的校正值随拍摄光源而不同。具体而言，在具有与自然光不同的色彩表现特性的光源中，诸如荧光灯中，以与自然光相同的参数可能不能得到充分的色彩重现精确度。因此，即使在色彩重现参数的控制中，正确地确定荧光灯也很重要。

在使用拾取信号确定光源是否是荧光灯的相关技术中，在图像拾取器件或光学系统中形成外部传感器或形成具有带通特性的颜色滤波器，以基于光谱分布特性确定光源是否是荧光灯。因此，增加了装置的制造成本或尺寸。同时，考虑一种基于使用减少由荧光灯的闪光而产生的拾取图像的闪烁的方法的闪烁检测结果而确定拍摄光源是否是荧光灯的技术。

专利文献1：日本未审查专利申请公开No.2004-165932(第[0034]段到第[0073]段和图4)。

发明内容

然而，相关领域中的大多数闪烁检测技术是假设诸如CCD的图像拾取器件的整个表面的曝光时间是均匀的而执行，并且因此现有技术不应用到诸如CMOS图像拾取器件的XY地址扫描型图像拾取器件。

希望提供一种图像处理装置，其能够适当地控制由XY地址扫描型固态图像拾取装置所拾取的图像的彩色信号，以得到高质量的图像。

另外，希望提供一种图像拾取装置，其能够适当地控制由XY地址扫描型固态图像拾取装置所拾取的图像的彩色信号，以得到高质量的图像。

根据本发明的实施方式，提供了一种用于处理彩色图像信号的图像处理装置，包括：积分单元，在至少一个水平周期内对彩色图像信号的每个色彩信号的至少之一或从彩色图像信号中得到的亮度信号进行积分；归一化单元，将从积分单元获得的积分值和由积分单元得到的相邻场或帧的积分值之间的差进行归一化；频率分析单元，提取归一化单元的输出值的频谱；闪烁分量估计单元，根据由频率分析单元提取的频谱估计闪烁分量；指标生成单元，基于闪烁分量估计单元的估计结果，计算表示将拍摄光源估计为荧光灯的程度的指标；以及色彩平衡控制单元，根据来自指标生成单元的指标来计算彩色图像信号的色彩平衡控制值。

在所述图像处理装置中，所述积分单元在至少一个水平周期上对彩色图像信号的每个色彩信号的至少之一或从彩色图像信号中得到的亮度信号进行积分，所述归一化单元将从积分单元获得的积分值和由积分单元得到的相邻场或帧的积分值之间的差进行归一化，所述频率分析单元提取归一化单元的输出值的频谱，并且所述闪烁分量估计单元根据由频率分析单元提取的频谱估计闪烁分量。因此，对在荧光灯下由XY地址扫描型固态图像拾取器件拾取的图像信号中生成的闪烁分量进行估计。

此外，所述指标生成单元基于闪烁分量估计单元的估计结果，计算表示将拍摄光源估计为荧光灯的程度的指标，并且所述色彩平衡控制单元根据来自指标生成单元的指标来计算彩色图像信号的色彩平衡控制值。因此，基于估计闪烁分量的结果而估计拍摄光源是否是荧光灯，并且根据该估计而输出色彩平衡控制值。

根据本发明的图像处理装置，因为可以估计在荧光灯下在由XY地址扫描型固态图像拾取器件拾取的图像信号中生成的闪烁分量，并且可以基于该所估计的闪烁分量而估计拍摄光源以计算色彩平衡控制值，所以可以根据拍摄光源而适当地控制色彩平衡，并且可以得到高质量的图像。

附图说明

图1是示出根据本发明的实施方式的图像拾取装置的主要部分的框图；

图2是解释闪烁的视图；

图3是示出闪烁检测单元的内部配置的框图；

图4是示出参数生成单元的内部配置的视图；

图5是示出确定WB增益的方法的流程图；

图6示出了荧光区域的例子；以及

图7示出了普通区域的例子。

具体实施方式

此后，将参照附图详细描述本发明的实施方式。

<系统配置>

图1是示出根据本发明的实施方式的图像拾取装置的主要部分的框图。

图1中所示的图像拾取装置包括光学块11、驱动器11a、CMOS图像传感器(此后，称为CMOS传感器)12、时序生成器(TG)12a、模拟前端(AFE)电路13、照相机处理电路14和系统控制器15。

光学块11包括：透镜，用于将来自物体的光聚焦到CMOS传感器12；驱动机制，用于移动透镜以执行聚焦或缩放；快门机制；以及虹膜机制。驱动器11a基于来自系统控制器15的控制信号而控制光学块11中的机制的驱动。

在CMOS传感器12中，在CMOS衬底上二维地排列包括光电二极管(光电门电路)、传输门电路(快门晶体管)、开关晶体管(地址晶体管)、放大晶体管和重置晶体管(重置门电路)的多个像素，并且形成垂直扫描电路、水平扫描电路和图像信号输出电路。基于从TG 12a输出的时序信号而驱动CMOS传感器12，并将来自物体的光输入转换为电信号。TG 12a在系统控制器15的控制下输出时序信号。

在本实施方式中，从CMOS传感器12得到的模拟图像信号是RGB原色信号，但是可能是补色信号。例如，由一个集成电路(IC)配置AFE电路13。AFE电路13通过相关双倍采样处理对从CMOS传感器12输出的图像信号进行采样和保持，以维持信/噪(S/N)比，通过自动增益控制(AGC)处理控制增益，执行A/D转换，并且输出数字图像信号。可以在CMOS传感器12的同一衬底上形成用于执行CDS处理的电路。

例如，通过一个IC来配置照相机处理电路14。照相机处理电路14对来自AFE电路13或处理部分的图像信号执行诸如色彩校正的照相机信号处理，所述色彩校正诸如下述的白平衡调节、自动聚焦(AF)和自动曝光(AE)。

系统控制器15是例如包括中央处理单元(CPU)、只读存储器(ROM)和随机存取存储器(RAM)的微控制器。系统控制器15执行存储在ROM中的程序以控制图像拾取装置的各个单元。另外，如下所述，系统控制器15与照相机处理电路14通信，并执行用于照相机信号处理的部分计算。

在图像拾取装置中，通过CMOS传感器12接收光并将光转换为电信号而得到的信号随后被提供给AFE电路13，经过CDS处理或AGC处理，并被转换成数字信号。照相机处理电路14对AFE电路13提供的数字图像信号执行图像质量校正处理，将数字图像信号转换为亮度信号Y和色差信号R-Y和B-Y，并输出所转换的信号。

将从照相机处理电路14输出的图像数据提供给图形接口(I/F)(未示出)，以转换为要被显示在监控器上的图像信号，从而在监控器上显示通过照相机的图像。此外，当由用户的输入操作来指令系统控制器15记录图像时，来自照相机处理电路14的图像数据被提供给编码器(未示出)，并经过预定的压缩编码处理，以将其记录在记录介质(未示出)中。当记录静止图像时，从照相机处理电路14向编码器提供一帧的图像数据，当记录运动图像时，向编码器连续提供所处理的图像数据。

接下来，将描述用于实现图像拾取装置中的白平衡调节处理的功能。对于这样的功能，如图1所示，在照相机处理电路14中形成白平衡(WB)调节单元41和闪烁检测单元42，在系统控制器15中形成参数生成单元51和放大器增益设置单元52。

白平衡调节单元41是用于调节白平衡的增益控制放大器，其独立改变所拾取的图像信号的色彩R、G和B的各个信号电平，并且由来自放大器增益设置单元52的控制信号设置其增益。闪烁检测单元42基于所拾取的图像信号的检测值，检测当拍摄光源是荧光灯时由于荧光灯的周期性亮度变化(光量变化)而在屏幕上产生的闪烁分量，并向参数生成单元51输出表示检测结果的值。

参数生成单元51基于闪烁检测结果而生成表示拍摄光源是否是荧光灯的参数，并将该参数输出到放大器增益设置单元52。放大器增益设置单元52设置放大器增益控制值到白平衡调节单元41，使得基于所拾取的图像信号检测值的白平衡变得合适。放大器增益设置单元52基于所拾取的图像信号的确定结果和来自参数生成单元51的参数，根据确定拍摄光源的结果而计算控制值，其中图像中白色(无色彩)物体的信号变为R＝G＝B，并且向WB调节单元41设置控制值。

通过利用用于估计拍摄光源的荧光灯的闪烁检测结果，适当地估计了拍摄光源是否是荧光灯，并且改进了白平衡调节精确度。另外，通过使用下述的闪烁检测序列，可以提高闪烁检测精确度，并可以从而提高白平衡调节精确度。

<闪烁检测方法>

图2是解释闪烁的视图。

当在诸如荧光灯的闪动光源下拍摄时产生闪烁，并且如图2的图像P所示，当由诸如CMOS传感器的XY地址扫描图像拾取器件拾取图像时观测到周期性垂直亮度水平或色彩变化。图像P表示当物体均匀时在明暗条纹中显示的闪烁的状态。

例如，在使用50Hz频率的商用AC电源的荧光灯中，闪动频率是100Hz。在使用60Hz场频的国家电视标准委员会制式(NTSC)视频信号中，当每一场的线(line)数为M时，由于这样的变化而导致的条纹形状的周期L变为(M×60/100)线。另外，在一场中，在100/60＝1.66个周期中产生周期性变化。即，每三场重复该周期性变化。

图3是示出闪烁检测单元42的内部配置的框图。

如图3所示，闪烁检测单元42包括积分处理单元421、积分值保持单元422、均值计算单元423、减法单元424、归一化处理单元425和离散傅立叶变换(DFT)处理单元426。

在根据本发明的图像拾取装置中，用图3中所示的块对构成图像信号的亮度信号和色差信号进行处理。作为选择，至少对亮度信号进行该处理，并且如果必要，可以对色差信号和色彩信号进行该处理。作为选择，在亮度信号中，可以对合成亮度信号之前的色彩信号进行该处理。另外，在色彩信号中，可以对原色信号或补色信号进行该处理。当对色彩信号进行该处理时，使用图3中所示的块对每个色彩信号进行处理。

此后，将参照图3描述检测闪烁的方法。

通常，闪烁分量与物体的信号强度成比例。因此，当普通物体的任意像素(x，y)和任意场n中所输入的图像信号(减少闪烁前的亮度信号或RGB原色信号)为In′(x，y)时，由等式1表示In′(x，y)，其为不包括闪烁分量的信号分量和与该信号分量成比例的闪烁分量的和。

等式1

In′(x，y)＝[1+Γn(y)]×In(x，y)

其中，In(x，y)表示信号分量，Γn(y)×In(x，y)表示闪烁分量，Γn(y)表示闪烁系数。因为一个水平周期与荧光灯的发光周期(1/100秒)相比足够短，并且闪烁系数在同一场的同一线中是一致的，所以用Γn(y)表示闪烁系数。

为了生成Γn(y)，如等式2所示将其展开为傅立叶序列。因此，可以将闪烁系数表示为包括发光特征和延迟特征，二者根据荧光灯的种类而不同。

等式2

$\mathrm{\&Gamma;n}\left(y\right)=\underset{m=1}{\overset{\&infin;}{\mathrm{\&Sigma;}}}\mathrm{\&gamma;m}\&times;\cos [m\&times;\frac{2\mathrm{\&pi;}}{\mathrm{\&lambda;}0}\&times;y+\mathrm{\&Phi;m},n]$

$=\underset{m=1}{\overset{\&infin;}{\mathrm{\&Sigma;}}}\mathrm{\&gamma;m}\&times;\cos (m\&times;\mathrm{\&omega;}0\&times;y+\mathrm{\&Phi;m},n)$

在等式2中，λ0表示如图2所示的像素中的闪烁的波长，并且当每一场所读出的线数是M时，与线L(＝M×60/100)对应。ω0表示由λ0所归一化的角频率。

此外，γm表示每一阶(m＝1，2，3，...)的闪烁分量的幅度。Φm，n表示每一阶的闪烁分量的初始相位，并且由荧光灯的发光周期(1/100秒)和曝光时序来确定。因为Φm，n每三场具有同一值，所以由等式3表示在恰好先前场和当前场之间的Φm，n中的差。

等式3

$\mathrm{\&Delta;\&Phi;m},n=-\frac{2\mathrm{\&pi;}}{3}\&times;m$

<积分值的计算和存储>

在如图3所示的闪烁检测单元42中，为了检测闪烁并减少画面影响，积分处理单元421在屏幕水平方向中对一线的输入图像信号In′(x，y)进行积分，如等式4所表示，以计算积分值Fn(y)。如等式5所表示的，等式4中的α_n(y)是信号分量In(x，y)的一线上的积分值。

等式4

$\mathrm{Fn}\left(y\right)=\underset{x}{\mathrm{\&Sigma;}}{\mathrm{In}}^{\&prime;}(x,y)=\underset{x}{\mathrm{\&Sigma;}}\left(\right[1+\mathrm{\&Gamma;n}\left(y\right)]\&times;\mathrm{In}(x,y))$

$=\underset{x}{\mathrm{\&Sigma;}}{\mathrm{In}}^{\&prime;}(x,y)+\mathrm{\&Gamma;n}\left(y\right)\underset{x}{\mathrm{\&Sigma;}}\mathrm{In}(x,y)$

$={\mathrm{\&alpha;}}_n\left(y\right)+{\mathrm{\&alpha;}}_n\left(y\right)\&times;\mathrm{\&Gamma;n}\left(y\right)$

等式5

${\mathrm{\&alpha;}}_n\left(y\right)=\underset{x}{\mathrm{\&Sigma;}}\mathrm{In}(x,y)$

所计算的积分值Fn(y)用于检测随后场中的闪烁，并被临时存储在积分值保持单元422中。积分值保持单元422可以保持至少两场的积分值。

<均值的计算和差的计算>

因此，在图3的闪烁检测单元42中，连续的三场的积分值被用于将α_n(y)的影响从积分值Fn(y)中移去。即，在该例子中，当计算积分值Fn(y)时，从积分值保持单元422中读出一场前的同一线的积分值Fn_1(y)和两场前的同一线的积分值Fn_2(y)，并且由均值计算单元423计算三个积分值Fn(y)、Fn_1(y)和Fn_2(y)的均值AVE[Fn(y)]。

当假设物体在三个连续的场的周期中基本相同时，可以考虑α_n(y)是相同的值。当在该三场中物体的移动基本较小时，在实践中该假设没有问题。另外，三个连续的场中的积分值的均值计算类似于信号的叠加，其中，闪烁分量的相位彼此偏离(-2n/3)×m，从而抵消闪烁分量。因此，由等式6表示均值AVE[Fn(y)]。

等式6

$\mathrm{AVE}\left[\mathrm{Fn}\left(y\right)\right]=\frac{1}{3}\underset{k=0}{\overset{2}{\mathrm{\&Sigma;}}}\mathrm{Fn}\_k\left(y\right)$

$=\frac{1}{3}\{\underset{k=0}{\overset{2}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_{\text{n\_k}}\left(y\right)+{\mathrm{\&alpha;}}_{n\_k}\left(y\right)\&times;\mathrm{\&Gamma;n}\_k\left(y\right)\}$

$=\frac{1}{3}\underset{k=0}{\overset{2}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_{n\_k}\left(y\right)+\frac{1}{3}\underset{k=0}{\overset{2}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_{n\_k}\left(y\right)\&times;\mathrm{\&Gamma;n}\_k\left(y\right)$

$={\mathrm{\&alpha;}}_n\left(y\right)+\frac{1}{3}{\mathrm{\&alpha;}}_n\left(y\right)\underset{k=0}{\overset{2}{\mathrm{\&Sigma;}}}\mathrm{\&Gamma;n}\_k\left(y\right)$

$={\mathrm{\&alpha;}}_n\left(y\right)$

等式7

${\mathrm{\&alpha;}}_n\left(y\right)\&cong;{\mathrm{\&alpha;}}_{n\_1}\left(y\right)\&cong;{\mathrm{\&alpha;}}_{n\_2}\left(y\right)$

上述描述涉及下述情况：假设建立等式7的近似而计算三个连续的场的积分值的均值，但是，当物体的移动较大时，不能建立等式7的近似。当建立等式7的近似时，运行图3的闪烁检测单元42。在该例子中，在减法单元424中，计算来自积分处理单元421的当前场的积分值Fn(y)和来自积分值保持单元422的先前场的积分值Fn_1(y)的差。在建立等式7的近似的假设上还建立等式8。

等式8

$\mathrm{Fn}\left(y\right)-\mathrm{Fn}\_1\left(y\right)$

$=\{{\mathrm{\&alpha;}}_n\left(y\right)+{\mathrm{\&alpha;}}_n\left(y\right)\&times;\mathrm{\&Gamma;n}\left(y\right)\}-\{{\mathrm{\&alpha;}}_{n-1}\left(y\right)+{\mathrm{\&alpha;}}_{n-1}\left(y\right)\&times;\mathrm{\&Gamma;n}\_1\left(y\right)\}$

$={\mathrm{\&alpha;}}_n\left(y\right)\&times;\{\mathrm{\&Gamma;n}\left(y\right)-\mathrm{\&Gamma;n}\_1\left(y\right)\}$

$={\mathrm{\&alpha;}}_n\left(y\right)\underset{m=1}{\overset{\&infin;}{\mathrm{\&Sigma;}}}\mathrm{\&gamma;m}\&times;\{\cos (m\&times;\mathrm{\&omega;}0\&times;y+\mathrm{\&Phi;m},n)-\cos (m\&times;\mathrm{\&omega;}0\&times;y+\mathrm{\&Phi;m},n\_1)\}$

<差的归一化>

在图3的闪烁检测单元42中，归一化处理单元425将来自减法单元424的差Fn(y)-Fn_1(y)除以来自均值计算单元423的均值AVE[Fn(y)]，以执行归一化，并在归一化之后计算差gn(y)。

使用等式6和8以及三角函数的和积(sum-product equation)公式，由等式9将归一化后的差gn(y)展开，并且从等式3的关系中得到等式10。在等式10中，|Am|和θm分别由等式11和等式12表示。

等式9

$\mathrm{gn}\left(y\right)=\frac{\mathrm{Fn}\left(y\right)-\mathrm{Fn}\_1\left(y\right)}{\mathrm{AVE}\left[\mathrm{Fn}\left(y\right)\right]}$

$=\underset{m=1}{\overset{\&infin;}{\mathrm{\&Sigma;}}}\mathrm{\&gamma;m}\&times;\{\cos (m\&times;\mathrm{\&omega;}0\&times;y+\mathrm{\&Phi;m},n)-\cos (m\&times;\mathrm{\&omega;}0\&times;y+\mathrm{\&Phi;m},n\_1)\}$

$=\underset{m=1}{\overset{\&infin;}{\mathrm{\&Sigma;}}}(-2)\mathrm{\&gamma;m}\&times;\{\sin (m\&times;\mathrm{\&omega;}0\&times;y+\frac{\mathrm{\&Phi;m},n+\mathrm{\&Phi;m},n\_1}{2})\&times;\sin \left(\frac{\mathrm{\&Phi;m},n-\mathrm{\&Phi;m},n\_1}{2}\right)\}$

等式10

$\mathrm{gn}\left(y\right)=\underset{m=1}{\overset{\&infin;}{\mathrm{\&Sigma;}}}(-2)\mathrm{\&gamma;m}\&times;\sin (m\&times;\mathrm{\&omega;}0\&times;y+\mathrm{\&Phi;m},n+m\&times;\frac{\mathrm{\&pi;}}{3})\&times;\sin (-m\&times;\frac{\mathrm{\&pi;}}{3})$

$=\underset{m=1}{\overset{\&infin;}{\mathrm{\&Sigma;}}}2\&times;\mathrm{\&gamma;m}\&times;\cos (m\&times;\mathrm{\&omega;}0\&times;y+\mathrm{\&Phi;m},n+m\&times;\frac{\mathrm{\&pi;}}{3}-\frac{\mathrm{\&pi;}}{2})\&times;\sin (m\&times;\frac{\mathrm{\&pi;}}{3})$

$=\underset{m=1}{\overset{\&infin;}{\mathrm{\&Sigma;}}}2\&times;\mathrm{\&gamma;m}\&times;\sin (m\&times;\frac{\mathrm{\&pi;}}{3})\&times;\cos (m\&times;\mathrm{\&omega;}0\&times;y+\mathrm{\&Phi;m},n+m\&times;\frac{\mathrm{\&pi;}}{3}-\frac{\mathrm{\&pi;}}{2})$

$=\underset{m=1}{\overset{\&infin;}{\mathrm{\&Sigma;}}}\left|\mathrm{Am}\right|\&times;\cos (m\&times;\mathrm{\&omega;}0\&times;y+\mathrm{\&theta;m})$

等式11

$\left|\mathrm{Am}\right|=2\&times;\mathrm{\&gamma;m}\&times;\sin (m\&times;\frac{\mathrm{\&pi;}}{3})$

等式12

$\mathrm{\&theta;m}=\mathrm{\&Phi;m},n+m\&times;\frac{\mathrm{\&pi;}}{3}-\frac{\mathrm{\&pi;}}{2}$

<估计由频谱提取导致的闪烁分量>

由等式12表示的θm是归一化后的差gn(y)的每一阶的频谱的初始相位。当对归一化后的差gn(y)进行傅立叶变换以检测每一阶频谱的初始相位θm时，可以通过等式13得到由等式2所表示的每一阶的闪烁分量的初始相位Φm，n。

等式13

$\mathrm{\&Phi;m},n=\mathrm{\&Phi;m}-m\&times;\frac{\mathrm{\&pi;}}{3}+\frac{\mathrm{\&pi;}}{2}$

因此，在图3的闪烁检测单元42中，DFT处理单元426对来自归一化处理单元425的归一化后的差gn(y)的闪烁的一个波长(L线)的数据执行离散傅立叶变换。

当DFT计算是DFT[gn(y)]且m阶的DFT结果是Gn(m)时，用等式14表示DFT计算。其中，等式14中的W由等式15表示。

等式14

$\mathrm{DFT}\left[\mathrm{gn}\left(y\right)\right]=\mathrm{Gn}\left(m\right)=\underset{i=0}{\overset{L-1}{\mathrm{\&Sigma;}}}\mathrm{gn}\left(i\right)\&times;W^{m\&times;i}$

等式15

$W=\exp [-j\&times;\frac{2\mathrm{\&pi;}}{L}]$

另外，根据DFT的定义，可以由等式16来表示等式12和等式14之间的关系。

等式16

$\mathrm{\&theta;m}={\tan }^{-1}\left(\frac{\mathrm{Im}\left(\mathrm{Gn}\left(m\right)\right)}{\mathrm{Re}\left(\mathrm{Gn}\left(m\right)\right)}\right)$

其中，Im(Gn(m))：虚部

Re(Gn(m))：实部

因此，根据等式13和16，可以由等式17得到每一阶的闪烁分量的初始相位Φm，n。

等式17

$\mathrm{\&Phi;m},n={\tan }^{-1}\left(\frac{\mathrm{Im}\left(\mathrm{Gn}\left(m\right)\right)}{\mathrm{Re}\left(\mathrm{Gn}\left(m\right)\right)}\right)-m\&times;\frac{\mathrm{\&pi;}}{3}+\frac{\mathrm{\&pi;}}{2}$

DFT处理单元426通过等式14定义的DFT计算来提取频谱，并且然后通过等式17的计算来估计每一阶的闪烁分量的初始相位Φm，n。将所计算的初始相位Φm，n输出到系统控制器15的参数生成单元51。

根据上述的闪烁检测方法，即使在诸如黑色背景部分和低光强度部分的区域中，其中闪烁分量较小，并且因此闪烁分量被完全包含在积分值Fn(y)的信号分量中，也能通过计算并将差Fn(y)-Fn_1(y)归一化到均值AVE[Fn(y)]而精确地检测闪烁分量。

此外，在实际的荧光灯下，因为虽然阶次被约束为几阶，但是仍可以充分逼近闪烁分量，所以总阶次不是无限的，且可以被限制到预定阶次，例如，在计算等式2的闪烁系数Γn(y)时是二阶。

当根据达到适当阶次的频谱来估计闪烁分量时，逼近于归一化后的差gn(y)，而不是完全再现，因此，虽然由于物体的状态而在归一化后的差gn(y)中产生不连续部分，但是可以精确地估计不连续部分的闪烁分量。

当用均值AVE[Fn(y)]归一化差Fn(y)-Fn_1(y)时，可以有效确保有限系数的精确度。例如，当可以满足所希望的计算精确度时，可以用均值AVE[Fn(y)]直接归一化积分值Fn(y)。代替均值AVE[Fn(y)]，可以通过积分Fn(y)来执行归一化。

在上述例子中，虽然在一线上对输入的图像信号In′(x，y)进行积分，但是因为该积分用于减少图片的影响以得到闪烁分量的采样值，所以可以在至少一线上执行积分。这时，可以降低在积分周期中要被采样的像素数。实际上，在屏幕中的闪烁的一个周期(即，L条线)内优选地得到几个或至少十个采样值。

<荧光灯指标的生成>

图4是示出参数生成单元51的内部配置的视图。

参数生成单元51包括延迟单元521、减法器522和523、理论值输出单元524和绝对值输出单元(ABS)525。参数生成单元51接收由闪烁检测单元42的DFT处理单元426得到的每一阶的闪烁分量的初始相位Φm，n。延迟单元521在相邻场(或帧)之前保持一个采样的初始相位，并且减法器522计算延迟单元521中的初始相位和当前初始相位之间的差ΔΦm，n。

理论值输出单元524输出在荧光灯下生成的差ΔΦm，n的理论值ΔΦm，n，n_p，并且减法器523计算从减法器522输出的差ΔΦm，n和理论值ΔΦm，n，n_p之间的差。通过等式3计算ΔΦm，n，n_p。

ABS 525获得减法器523的输出值的绝对值，并向放大器增益设置单元52输出该绝对值作为表示光源是荧光灯的可能性(可以将光源估计为荧光灯的程度)的指标(此后，称为荧光灯估计指标)。荧光灯估计指标越低，则光源是荧光灯的可能性就越大，因为所计算的ΔΦm，n和荧光灯下的理论值ΔΦm，n，n_p之间的差较小。

可以在减法器522或523的下一级或ABS 525的下一级形成时域低通滤波器。因此，可以从输出值中移去噪声分量，以提高闪烁检测精确度。

<荧光灯的确定和WB增益的确定>

放大器增益设置单元52根据来自参数生成单元51的荧光灯估计指标来设置荧光灯确定标记。将荧光灯估计指标与预定阈值进行比较，当荧光灯估计指标大于阈值时，将荧光灯确定标记设置为“0”，否则，将荧光灯确定标记设置为“1”。

为了抑制闪烁检测中的误差的影响，例如，当来自参数生成单元51的荧光灯估计指标连续等于或小于阈值达预定数量的场(或帧)时，可以将荧光灯确定标记设置为“1”。

同时，照相机处理电路14检测对每场(或帧)有效像素中的输入信号R、G和B的积分结果。在该检测中，可以根据像素的位置或信号电平来设置采样条件。放大器增益设置单元52接收检测信号Rd、Gd和Bd，并且对于每场(或帧)通过如图5中所示的处理确定WB增益Rgn和Bgn。

图5是确定WB增益的方法的流程图。

如上所述，放大器增益设置单元52基于检测信号Rd、Gd和Bd计算WB比率Rrt和Brt(步骤S11)。通过Rrt＝Rd/Gd和Brt＝Bd/Gd来计算WB比率。

接下来，根据荧光灯确定标记的值来执行处理(步骤S12)。对于光源是否是荧光灯，则预先设置出现WB比率Rrt和Brt的可能性较高的范围，并确定所计算的WB比率Rrt和Brt是否在该范围内。即，当荧光灯确定标记是“1”时，确定所计算的WB比率Rrt和Brt是否在被设置为是荧光灯的WB比率区域内(荧光灯区域)(步骤S13)。此外，当荧光灯确定标记是“0”时，确定所计算的WB比率Rrt和Brt是否在被设置为是不同于荧光灯的普通光源(例如，日光)的WB比率区域内(普通区域)(步骤S14)。

在S13的确定中，当WB比率Rrt和Brt在荧光灯区域内时，使用WB比率Rrt和Brt计算WB增益Rgn和Bgn，并将WB增益Rgn和Bgn设置到WB调节单元41(步骤S16)。通过Rgn＝1/Rrt和Bgn＝1/Brt来计算WB增益。此外，放大器增益设置单元52保持所计算的WB增益Rgn和Bgn，并用在步骤S16计算的WB增益Rgn和Bgn来更新所保持的值(步骤S17)。

另外，在步骤S14的确定中，当WB比率Rrt和Brt在普通区域中时，将WB比率Rrt和Brt移动到诸如色度坐标上的实线轨迹的参考轨迹的最近点处(步骤S15)。此后，用移位后的WB比率计算和设置WB增益Rgn和Bgn(步骤S16)，并更新WB增益Rgn和Bgn的保持值(步骤S17)。

在步骤S13和S14的确定中，当WB比率Rrt和Brt在区域外时，当前场(或帧)的确定结果无效，不更新WB增益Rgn和Bgn的保持值，并且将保持值设置到WB调节单元41(步骤S18)。

通过上述处理，WB增益Rgn和Bgn被设置到WB调节单元41。另外，WB调节单元41将增益控制值乘以输入信号R和B，并与输入信号G一起输出相乘后的值。在该处理中，基于闪烁检测结果而估计光源，并且根据所估计的光源来确定通过检测图像信号而得到的WB比率是否在所期望值的范围内。因此，可以减小错误地检测光源的可能性，并且可以改进检测精确度。

图6示出了荧光区域的例子。

在图6中，示出了其中在色度坐标上设置用于图5的步骤S13中的荧光灯区域的例子。荧光灯区域是这样的区域：其中，当光源是荧光灯时，WB比率Rrt和Brt出现的可能性较高。当WB比率Rrt和Brt如图6的点a和b所示在荧光灯区域中时，确定所计算的值有效。此外，当WB比率Rrt和Brt如点c和f所示在荧光灯区域外时，确定所计算的值无效。即使当所计算的WB比率Rrt和Brt在荧光灯区域外时，也可以将WB比率Rrt和Brt移位到荧光灯区域的边界上的最近点上，以便于根据移位后的值来计算WB增益Rgn和Bgn，而无需确定WB比率Rrt和Brt是无效的。

图7示出了普通区域的例子。

在图7中，示出了其中在色度坐标上设置用于图5的步骤S14中的普通区域的例子。荧光灯区域是这样的区域：其中，当光源是不同于荧光灯的灯时，WB比率Rrt和Brt出现的可能性较高。当WB比率Rrt和Brt如图7的点g和h所示在普通区域中时，确定所计算的值有效。另外，在本实施方式中，将所计算的WB比率Rrt和Brt移位到穿过普通区域的参考轨迹(例如，实线轨迹)的最近点上。因此，以垂直方向将点g和h分别移位到由点g1和h1所示的参考轨迹上。因此，通过将所计算的WB比率Rrt和Brt移位到最近的参考轨迹上，可以得到更自然的色彩。

当WB比率Rrt和Brt如点i到k所示在普通区域外时，确定所计算的WB比率Rrt和Brt无效。与荧光灯区域类似，即使当所计算的WB比率Rrt和Brt在普通区域外时，也可以将WB比率Rrt和Brt移位到普通区域的边界上的最近点上，以便于根据移位后的值来计算WB增益Rgn和Bgn，而无需确定WB比率Rrt和Brt是无效的。

如图6和7所示，可以不使用连续的值来形成作为荧光灯区域或普通区域的区域。即，根据荧光灯区域或普通区域预先存储多个离散的控制目标点，以便于从控制目标点中选择最接近于所计算的WB比率Rrt和Brt的点。在关于光源是否是荧光灯的确定中，可以生成表示光源是荧光灯的可能性的多步(multi-step)参数，而不是基于来自参数生成单元51的荧光灯估计指标的标记“0”或“1”。此外，在控制目标点中的用于荧光灯的控制目标点和其它控制目标点之间插入依据该参数而加权的系数，以确定最终的控制目标点，以使得即使当混合不同的光源时，也可以得到合适的WB增益控制值。

如上所述，在根据本实施方式的图像拾取装置中，当使用诸如CMOS图像传感器的XY地址扫描型图像拾取器件时，基于在荧光灯下屏幕上产生的闪烁的检测结果，估计拍摄光源是否是荧光灯。因此，可以提高估计精确度并适当地调节白平衡。另外，在检测闪烁的方法中，在至少一个水平周期上对图像信号的至少一个色彩信号或从图像信号中得到的亮度信号进行积分，将积分值或相邻场或帧的积分值之间的差进行归一化，提取归一化之后的频谱，并且根据该频谱估计闪烁分量。因此，可以通过简单的信号处理来精确地检测闪烁，而忽视荧光灯的种类、图像信号电平或物体，并且无需使用用于检测闪烁的光接收设备。因此，可以更大地提高估计光源的精确度，并从而可以得到其中适当地调节了白平衡的高质量的图像。

尽管在上述实施方式中描述了基于闪烁检测结果而调节白平衡的控制值的处理，然而本发明并不限于白平衡。例如，本发明适用于各种类型的色彩平衡控制处理，诸如使用矩阵系数对每个通道的色彩信号进行线形变换、以得到与拍摄光源相适应的色彩重现的处理。

另外，本发明适用于下面的情况：其中使用诸如除了CMOS图像传感器的MOS传感器的其它XY地址扫描型图像拾取器件作为图像拾取器件。此外，本发明适用于诸如使用XY地址扫描型图像拾取器件的各种图像拾取装置或包括图像拾取功能的移动电话或个人数字助理(PDA)的装置。

另外，例如，本发明适用于图像处理装置，所述图像处理装置使用用于连接到个人计算机(PC)的TV电话或游戏软件的小尺寸的照相机对拾取图像执行处理，或执行用于校正所拾取的图像的处理。

可以用计算机实现上述处理功能。在这种情况下，提供其中描述装置的处理功能(与闪烁检测单元42、参数生成单元51和放大器增益设置单元52对应的功能)的程序。通过使用计算机执行程序，在计算机上实现处理功能。用于描述处理功能的程序可以被记录在计算机可读记录介质中。计算机可读记录介质包括磁记录装置、光盘、光磁盘和固态存储器。

当分发程序时，例如，出售诸如其上具有程序的光盘或固态存储器的移动记录介质。另外，可以将程序记录在服务器计算机的存储设备中，并且通过网络从服务器计算机发送到其它计算机。

用于执行程序的计算机在其存储设备中存储记录在移动记录介质中的程序或从服务器计算机发送过来的程序。另外，该计算机从其存储设备中读取程序，并根据该程序而执行处理。该计算机可以直接从移动记录介质中读取程序并根据该程序而执行处理。另外，该计算机可以在程序被从服务器计算机发送过来的任何时间，根据所接收的程序执行处理。

本领域技术人员应当明白，在所附权利要求书或其等价物的范围内，可以根据设计需要和其它因素做出各种修改、组合、子组合和变形。

对相关申请的交叉引用

本发明包括涉及于2005年5月16日向日本专利局提交的日本专利申请JP 2005-142253的主题，其全部内容通过参照而被合并于此。

Claims (8)

1.一种用于处理彩色图像信号的图像处理装置，包括：

积分单元，在至少一个水平周期内对彩色图像信号的每个色彩信号的至少之一或从彩色图像信号中得到的亮度信号进行积分；

归一化单元，将从积分单元获得的积分值和由积分单元得到的相邻场或帧的积分值之间的差进行归一化；

频率分析单元，提取归一化单元的输出值的频谱；

闪烁分量估计单元，根据由频率分析单元提取的频谱估计闪烁分量；

指标生成单元，基于闪烁分量估计单元的估计结果，计算表示将拍摄光源估计为荧光灯的程度的指标；以及

色彩平衡控制单元，根据来自指标生成单元的指标来计算彩色图像信号的色彩平衡控制值。

2.如权利要求1所述的图像处理装置，其中，所述闪烁分量估计单元根据由频率分析单元提取的频谱，计算闪烁分量的初始相位分量，并且

其中，所述指标生成单元计算来自闪烁分量估计单元的相邻场或帧的初始相位分量之间的差，并基于所述差计算所述指标。

3.如权利要求2所述的图像处理装置，其中，所述指标生成单元基于初始相位分量和预先存储的初始相位分量之间的差值与该差值的理论差值之间的差来计算所述指标。

4.如权利要求1所述的图像处理装置，其中，所述色彩平衡控制单元将来自指标生成单元的指标与预定阈值进行比较，确定拍摄光源是否是荧光灯，并且基于该确定结果而计算色彩平衡控制值。

5.如权利要求1所述的图像处理装置，其中，所述色彩平衡控制单元基于来自指标生成单元的指标，根据所述光源是否是荧光灯而预先保持色彩平衡控制值的范围，并将输出的色彩平衡控制值约束在拍摄光源所属于的光源的范围内。

6.如权利要求1所述的图像处理装置，其中，所述色彩平衡控制单元基于来自指标生成单元的指标，根据所述光源是否是荧光灯而预先保持多个色彩平衡控制值，从所保持的控制值中选择拍摄光源所属于的光源的至少一个控制值，并根据所选择的控制值提取输出控制值。

7.一种用于使用XY地址扫描型固态图像拾取器件来拾取图像的图像拾取装置，包括：

积分单元，在至少一个水平周期内对通过拾取所述图像而得到的彩色图像信号的每个色彩信号的至少之一或从彩色图像信号中得到的亮度信号进行积分；

归一化单元，将从积分单元获得的积分值和由积分单元得到的相邻场或帧的积分值之间的差进行归一化；

频率分析单元，提取归一化单元的输出值的频谱；

估计单元，根据由频率分析单元提取的频谱估计闪烁分量；

指标生成单元，基于估计单元的估计结果，计算表示将拍摄光源估计为荧光灯的程度的指标；以及

色彩平衡控制单元，根据来自指标生成单元的指标来调节彩色图像信号的色彩平衡。

8.一种调节彩色图像信号的色彩信号的图像处理方法，包括步骤：

允许积分单元在至少一个水平周期内，对彩色图像信号的每个色彩信号的至少之一或从彩色图像信号中得到的亮度信号进行积分；

允许归一化单元将从积分单元获得的积分值和由积分单元得到的相邻场或帧的积分值之间的差进行归一化；

允许频率分析单元提取归一化单元的输出值的频谱；

允许闪烁分量估计单元根据由频率分析单元提取的频谱估计闪烁分量；

允许指标生成单元基于闪烁分量估计单元的估计结果，计算表示将拍摄光源估计为荧光灯的程度的指标；以及

允许色彩平衡控制单元根据来自指标生成单元的指标来计算彩色图像信号的色彩平衡控制值。

Images