CN1856030A

CN1856030A - 闪烁校正方法与设备以及成像设备

Info

Publication number: CN1856030A
Application number: CNA2006100751082A
Authority: CN
Inventors: 大野哲之; 中筋元宏; 西出义章; 池山裕政
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2005-04-19
Filing date: 2006-04-18
Publication date: 2006-11-01
Anticipated expiration: 2026-04-18
Also published as: TWI323616B; TW200644651A; CN100481889C; JP2006303815A; US20060232687A1; JP4207923B2; US7589763B2

Abstract

闪烁是在考虑了噪声的影响的情况下校正的。本发明提供了一种通过从图像信号中减去闪烁校正信号而校正闪烁的闪烁校正方法，该方法包含以下步骤：通过将闪烁校正后的图像信号经过低通滤波器，而将噪声从闪烁校正后的图像信号中除去；从除去了噪声的闪烁校正后的图像信号和尚未经闪烁校正的图像信号中产生校正误差信号；通过将尚未经闪烁校正的图像信号经过低通滤波器，而除去尚未经闪烁校正的图像信号；以及从除去噪声后的图像信号和校正误差信号中产生闪烁校正信号。

Description

闪烁校正方法与设备以及成像设备

相关申请的交叉引用

本发明包含与2005年4月19日在日本专利局申请的日本专利申请JP 2005-121425有关的主题，该专利申请的全部内容包括在此作为参考。

技术领域

本发明涉及其中通过从图像信号中减去闪烁校正信号来校正闪烁的闪烁校正方法和设备以及图像拾取设备。

背景技术

当在诸如荧光灯这样的、周期性地重复打开和关闭的光源的光之下用数码相机对对象进行成像的时候，在该对象的所获取图像中将会出现周期性明暗条纹，从而导致它们看上去像是在图像中运动一样。另外，在图像上的帧之间会周期性地存在亮度差。这就被称为“闪烁”。闪烁是当在电荷存储的时间偏移的情况下在闪烁光源的光之下利用数码相机对对象进行成像时不可避免地发生的一个问题，其中数码相机使用图像传感器对对象进行成像。

在传统的图像传感器当中，电荷存储的时间取决于电荷存储是每一平面还是每一行地进行而变化。一般来说，每一平面上的电荷存储时间被称为“全局快门(global shutter)系统”，而每一行上的电荷存储时间被称为“卷动快门(rolling shutter)系统”。在过去，大多数的CCD采用的都是全局快门型的图像传感器。然而，近年来，已经越来越多地关注CMOS图像传感器，因为CMOS传感器的零部件数目较少，所以它与CCD相比耗能更少，并且它能够比CCD更便宜地进行生产。多数的CMOS图像传感器由于它们的结构问题而采用了卷动快门系统。利用两种快门系统中的某一种，当在重复打开和关闭的光源的光之下进行成像的时候，明暗条纹将会出现在整个图像平面中(平面闪烁)，然而利用另外一种快门系统，明暗条纹将会每一行地出现(面内(in-plane)闪烁)。

图1示出了在一个采用全局快门系统的图像传感器之中的电荷存储量的差值，而图2示出了当图像传感器是全局快门类型时发生平面闪烁的图像的例子。图3示出了在一个采用卷动快门系统的图像传感器之中的电荷存储量的差值，而图4示出了发生面内闪烁的图像的例子。此外，在周期性地打开和关闭的光源的光之下获取的图像中包含的闪烁分量可以被近似为一个正弦波，并且已经存在了用于根据正弦波的性质通过除去闪烁来形成校正后的图像的方法。

对于闪烁校正，已经提出了这样一种方法，其中，在输入图像中检测出闪烁分量，并且在输入图像中检测出基于闪烁分量的增益。(如日本公开专利申请2004-222228中所述)。

发明内容

在此注意到，在输入图像中检测出闪烁分量并且基于所检测出的闪烁分量而控制增益的传统方法是不利的，这是由于噪声分量的增益也会增加，因此在输入图像信号的段中噪声将会得到增强，其中输入图像信号的增益被增加用于对闪烁进行校正。以下将参照图5描述噪声增强的仿真。

此外，闪烁校正值的等级仅仅根据输入信号来调整的方法不能达到高的校正精度，因为包含在输入信号中的噪声会对校正值产生不利影响。与噪声相比，闪烁等级是非常低的。因此，必须要在考虑噪声所带来的巨大影响的情况下进行闪烁校正。

因此，期望通过提供这样一种闪烁校正方法和设备以及图像拾取设备来克服上述相关技术的缺点，其中在所述闪烁校正方法和设备以及图像拾取设备中能够在考虑了噪声影响的情况下进行闪烁校正。

依据本发明，提供了一种通过从图像信号中减去闪烁校正信号来校正闪烁的闪烁校正方法，该方法包含以下步骤：通过将闪烁校正后的图像信号经过低通滤波器，而将噪声从闪烁校正后的图像信号中除去；从除去了噪声的闪烁校正后的图像信号和尚未经闪烁校正的图像信号中产生校正误差信号；通过将尚未经闪烁校正的图像信号经过低通滤波器，而除去尚未经闪烁校正的图像信号；以及从除去了噪声的图像信号和校正误差信号中产生闪烁校正信号；

依据本发明，还提供了一种通过从图像信号中减去闪烁校正信号来校正闪烁的闪烁校正设备，该设备包括：校正误差检测装置，用于通过将闪烁校正后的图像信号经过低通滤波器，而将噪声从闪烁校正后的图像信号中除去，并且从除去了噪声的闪烁校正后的图像信号和尚未经闪烁校正的图像信号中产生校正误差信号；以及闪烁校正装置，用于通过将尚未经闪烁校正的图像信号经过低通滤波器，而除去尚未经闪烁校正的图像信号，并且从除去了噪声的图像信号和校正误差信号中产生闪烁校正信号。

依据本发明，还提供了一种包含有闪烁校正设备的图像拾取设备，在该闪烁校正设备中通过从由图像传感装置所获取的图像信号中减去闪烁校正信号来校正闪烁，该闪烁校正设备包括：校正误差检测装置，用于通过将闪烁校正后的图像信号经过低通滤波器，而将噪声从闪烁校正后的信号中除去，并且从除去了噪声的闪烁校正后的图像信号和尚未经闪烁校正的图像信号中产生校正误差信号；以及闪烁校正装置，用于通过将尚未经闪烁校正的图像信号经过低通滤波器，而除去尚未经闪烁校正的图像信号，并且从除去噪声后的图像信号和校正误差信号中产生闪烁校正信号。

依照本发明，闪烁等级是根据输入信号而调整的，其中通过将该输入信号经过低通滤波器而从中除去了噪声。因此，闪烁可以在不受噪声影响的情况下被校正。此外，当检测到校正误差的时候，可以产生不受噪声影响的加有闪烁的信号。因此，可以以高的精度检测出校正误差。

因此，本发明允许在减小了噪声影响的情况下进行闪烁校正。

附图说明

图1示意性地说明了在全局快门类型的图像传感器中的电荷存储量的差值；

图2示意性地说明了当采用全局快门系统时出现的平面闪烁图像的一个例子；

图3示意性地说明了在卷动快门类型的图像传感器中的电荷存储量的差值；

图4示意性地说明了面内闪烁图像的一个例子；

图5示意性地说明了在其中在输入图像中检测出闪烁分量并且根据检测出的闪烁分量来调整增益的传统方法中的增强了的噪声的仿真结果；

图6是作为本发明一个实施例的图像拾取设备的示意框图；

图7是包含在图6所示的图像拾取设备中的闪烁校正电路的示意框图；

图8是在闪烁校正电路中的校正值计算器的示意框图；

图9示意性地说明了图像拾取设备中的校正误差检测算法；以及

图10是包含在图像拾取设备中的校正误差检测器的示意框图。

具体实施方式

下面将结合实施例并参考附图详细地描述本发明。应当注意的是，本发明不局限于以下描述的实施例，而是在不脱离本发明的范围和精神的前提下，可以以各种方式修改、替换地构造或者以各种其他形式实现。

本发明可适用于如图6所示构造的图像拾取设备。该图像拾取设备总体上以附图标记100表示。

所述图像拾取设备100包括：红色图像传感设备(成像元件)10R，绿色图像传感设备(成像元件)10G，蓝色图像传感设备(成像元件)10B，用来将由图像传感设备10R、10G和10B所获取的彩色图像的图像信号SI_R、SI_G和SI_B分别进行数字化的A-D转换器20R、20G和20B，被分别提供有由A-D转换器20R、20G和20B数字化的图像信号DV_R、DV_G和DV_B的闪烁校正电路30R、30G和30B以及校正误差检测器40R、40G和40B，被分别提供有由闪烁校正电路30R、30G和30B进行过闪烁校正的图像信号CV_R、CV_G和CV_B的照相机信号处理电路50等。

向校正误差检测器40R、40G和40B分别提供由闪烁校正电路30R、30G和30B进行过闪烁校正的图像信号CV_R、CV_G和CV_B，校正误差检测器40R、40G和40B在数字化的图像信号DV_R、DV_G和DV_B以及闪烁校正后的图像信号CV_R、CV_G和CV_B中检测图像信号CV_R、CV_G和CV_B的校正误差，以产生校正误差信号E_R、E_G和E_B，然后将生成的校正误差信号E_R、E_G和E_B分别提供给闪烁校正电路30R、30G和30B。

在图像拾取设备100中，每一个闪烁校正电路30R、30G和30B都使用如图7所示构造的闪烁校正电路30*。应当注意到，星号(*)表示“R(红)”、“G(绿)”和“B(蓝)”。

闪烁校正电路30*包含：从校正误差检测器40*向其提供校正误差信号E_*的地址计算器31*，被提供有由地址计算器31*计算出来的地址AD的校正值计算器32*，被提供有由校正值计算器32*计算出来的闪烁校正数据FD的等级调整器33*，低通滤波器(LPF)34*，和被提供有由A-D转换器20*数字化的图像信号DV_*的运算电路35*。由A-D转换器20*数字化的图像信号DV_*经由低通滤波器34*提供到等级调整器33*，然后由等级调整器33*生成闪烁校正值CFD，它将被提供给运算电路35*。

在如上所述构造的闪烁校正电路30*中，地址计算器31*根据从校正误差检测器40*提供的校正误差信号E_*，计算包含在校正值计算器32*内部的ROM(闪烁存储器321和322，其将会在下文中进一步详细描述)中的地址AD。

地址计算器31*通过从电源频率和帧速率计算出所感兴趣的帧中的首行地址，并且计算相对于该地址每前进一行的地址增量，来计算当前行的地址。更具体地说，当电源频率为50Hz，帧速率为30Hz，并且图像传感器设备10*的垂直时钟数为1125clk(在以下的描述中，电源频率、帧速率和图像传感器设备10*的时钟数都将保持不变)时，闪烁的明暗条纹间的周期将包含337.5行，如以下的等式1所示：

T＝30Hz×1125clk/(50Hz×2)＝337.5(clk) …… (1)

此外，系统中的ROM保持通过将一个周期除以512而获得的闪烁数据。每前进一行，ROM中的地址就将增加约1.51703，如以下的等式2所示：

512/337.5＝1.51703 ……(2)

也就是说，假定第一行上的校正波地址为零(0)，则从第一行起计数的第100行上的地址将是152，如以下的等式3所示：

0+1.51703×100≈152 ……(3)

如图8所示，校正值计算器32*包含：闪烁存储器321和322，用于将从闪烁存储器321和322中读出的两类闪烁数据FD1和FD2分别乘以系数α和α-1的乘法器323和324，以及被提供有分别由乘法器323和324乘以系数α和α-1之后的闪烁数据FD1_A和FD2_A的加法器325。两类闪烁数据FD1和FD2将根据由地址计算器31*计算出来的地址AD分别从闪烁存储器321和322中读出来。

校正值计算器32*根据由地址计算器31*计算出来的地址AD，分别从闪烁存储器321和322中读出两类闪烁数据FD1和FD2，分别由乘法器323和324与帧速率和快门速度相对应地、将闪烁数据FD1和FD2分别乘以系数α和α-1，然后由加法器325将结果加起来，从而计算出一个闪烁校正数据FD。

要注意到，利用了闪烁数据的周期性，校正值计算器32*将会保持闪烁数据FD1和FD2的一部分波形。此外，闪烁数据甚至可以用除ROM以外的任何其他存储器来被适当地计算出来。在本实施例中，通过将两个闪烁数据FD1和FD2组合起来而合成了一个闪烁校正数据FD。然而，也可以将三个或更多的闪烁数据组合起来，从而形成各种闪烁校正数据FD。闪烁校正数据FD被一个取决于每一行的值每一行地更新一次。

因为闪烁等级取决于每一个像素的亮度而变化，所以可以利用输入图像信号DV_*来逐像素地调整它。然而，图像信号DV_*中包含噪声分量，其将会影响等级调整。

由于这个原因，图像拾取设备100中的闪烁校正电路30*通过将图像信号DV_*经过低通滤波器(LPF)34*，而将噪声从图像信号DV_*中除去，然后将除去噪声后的图像信号DV_*′提供给等级调整器33*。等级调整器33*可以从除去噪声后的图像信号DV_*′和由校正值计算器32*计算出来的闪烁校正数据FD中，为每个像素计算不受噪声影响的校正值CFD。

注意到，这样修改这个实施例，以便因为观察到闪烁等级还与像素值相对应地线性增加的这一趋势，所以校正值会与像素值相对应地单调增加。此外，因为在像素值非常大或非常小的时候没有观察到闪烁，所以修改这个实施例以便将这个特征考虑进去而进行计算。然而，本发明不局限于这个实施例。

在闪烁校正电路30*中，对于每一个像素，加法器35*将校正值CFD加到图像信号DV_*上，以便提供校正后的图像信号CV_*。

在这个图像拾取设备100中，每个校正误差检测器40R、40G和40B都使用图9所示的算法来检测校正误差。

更具体地说，当“第n帧的校正后的图像”输出之后，第n+1帧的闪烁状态可以从“第n帧的校正图像”中预测出来，并且将闪烁分量加到“第n帧的校正图像”上。下文中在此将这样产生的图像称为“图像A”。此外，第n+1帧的闪烁状态被预测出来，并且将其地址偏移的闪烁分量加到第n+1帧上。下文中将这样产生的图像称为“图像B”。计算这两个图像A、B和包含闪烁分量的“第n帧的校正图像”之间的差。现在考虑“图像A”，只有对象的运动被输出作为差值图像。再考虑“图像B”，对象的运动和闪烁分量都被输出作为差值图像。从这两个差值的比较中可以看出，“图像A”中的差值要小一些。相反地，可以这样考虑，如果从“图像B”确定的差值比从“图像A”确定的差值小的话，其地址偏移的闪烁就可以被准确地预测出来。也就是说，较小的差值意味着闪烁已经被准确地预测出来了。因此，为了较小的差值而偏移闪烁地址会在校正误差限制在一定范围内的情况下结束。

每一个校正误差检测器40R、40G和40B都使用如图10所示构造的校正误差检测器40*。应当注意到，星号(*)表示“R(红)”、“G(绿)”和“B(蓝)”。

校正误差检测器40*包括：被提供有由闪烁校正电路30*进行闪烁校正过的图像信号CV_*的加有闪烁的信号发生器41A和41B，被分别提供有由加有闪烁的信号发生器41A和41B生成的、加有闪烁的信号FDV1和FDV2的行积分器42A和42B，被分别提供有由行积分器42A和42B积分出来的行数据LD11和LD21的存储器43A和43B，被分别提供有从存储器43A和43B中读出来的行数据LD11和LD21的差值检测器44A和44B，被提供有由A-D转换器20*数字化的图像信号DV_*的行积分器45A和45B，被分别提供有由差值检测器44A和44B检测出来的差值数据DD1和DD2的积分器46A和46B，被分别提供有由积分器46A和46B提供的积分后数据ID1的ID2的比较器47等。由行积分器45提供的行数据LD3将被提供给每个差值检测器44A和44B，并且作为比较器47的比较输出而提供的校正误差信号E_*将被提供给加有闪烁的信号生成器41A和41B中的每一个。

每个加有闪烁的信号发生器41A和41B都包括：被提供有作为比较器47的比较输出而提供的校正误差信号E_*的地址计算器411A和411B，被分别提供有由地址计算器411A和411B计算出来的地址AD11和AD21的地址转换器412A和412B，被分别提供有由地址计算器412A和412B计算出来的地址AD12和AD22的校正值计算器413A和413B，被分别提供有由校正值计算器413A和413B计算出来的闪烁数据FD1和FD2的等级调整器414A和414B，被提供有由A-D转换器20*数字化的图像信号DV_*的低通滤波器(LPF)415A和415B以及运算单元416A和416B。由A-D转换器20*数字化的图像信号DV_*将经由低通滤波器(LPF)415A和415B提供给等级调整器414A和414B，并且将分别由等级调整器414A和414B产生的校正值CFD1和CFD2分别提供给运算单元416A和416B。

在如上所述构造的校正误差检测器40*中，地址计算器411A和411B根据校正误差信号E_*计算出ROM中的地址AD11和AD21。将要这样被计算出来的地址是由于将下一帧中的闪烁的首地址沿正向或负向偏移而得到的。这些地址像在闪烁校正电路30*中的地址计算器31*中那样进行计算。此外，校正误差检测器40*中包含的ROM和闪烁校正电路30*中包含的ROM是一样的。

地址转换器412A和412B分别将地址计算器411A和411B所计算出来的地址AD11和AD21转换为地址AD12和AD22，可以从这两个地址中再现下一帧中的闪烁。也就是说，他们将地址AD1和AD2转换成相位与地址AD1和AD2相反的地址。分别由地址转换器412A和412B转换的地址AD12和AD22是从对下一帧中的闪烁的预测而得到的，而不打算用于进行闪烁校正。

校正值计算器413A和413B分别根据地址AD12和AD22计算出闪烁数据FD1和FD2，其中地址AD12和AD22分别由地址转换器412A和412B转换得到。像在闪烁校正电路30*中那样还每一行地确定闪烁数据FD1和FD2。校正值计算器413A和413B与闪烁校正电路30*中包含的校正值计算器32*类似地进行构造。

此外，在校正值检测器413A和413B中，与在闪烁校正电路30*中一样，将图像信号DV_*经过低通滤波器(LPF)415A和415B，以从图像信号DV_*中除去噪声，并且将除去噪声后的信号DV_*提供给等级调整器414A和414B。等级调整器414A和414B从图像信号DV_*以及闪烁数据FD1和FD2中为每个像素计算不受噪声影响的校正值CFD1和CFD2，其中图像信号DV_*由A-D转换器20*数字化得到，闪烁数据FD1和FD2分别由校正值计算器413A和413B计算得到。

等级调整器414A和414B与闪烁校正电路30*中包含的等级调整器33*类似地进行构造。

运算单元416A和416B从每个像素的校正值CFD1和CFD2以及闪烁校正后的图像信号CV_*中，生成下一帧中的加有闪烁的信号FDV1和FDV2。

通过分别对下一帧中的加有闪烁的信号FDV1和FDV2中的某些段进行积分，行积分器42A和42B计算出行数据LD11和LD21。只要在水平获取的图像的范围之内，上述的“段”的水平大小可以是任意值。段越大，就能越高精确度地对校正误差进行检测。段的垂直大小可以是一个屏幕内的闪烁的明暗条纹周期的整数倍。更具体地说，段的大小可以是1000个水平像素乘上675(＝337.5×2)个垂直像素，也就是说，段的大小是1000×675个像素。

由行积分器42A和42B计算出来的行数据LD11和LD21被分别存储在存储器43A和43B中，直到提供了下一帧的图像信号DV_*为止。当提供了下一帧的图像信号DV_*的时候，行积分器45对与已经被积分了的、加有闪烁的信号FDV1和FDV2的段相同的段进行行积分，以计算行数据LD3。

将分别存储在存储器43A和43B中的行数据LD12和LD22、以及与行数据LD12和LD22中的行相对应的下一帧图像信号DV_*的行数据LD3提供给差值检测器44A和44B，以产生差值数据DD1和DD2。

通过分别对两个差值数据DD1和DD2进行积分，积分器46A和46B分别提供积分后的数据ID1和ID2。

然后，通过对这些积分后的数据ID1和ID2的大小进行比较，比较器47可以判断出为预测正确的闪烁而沿哪个方向、即沿正向还是负向偏移地址。例如，如果在沿正向偏移地址的情况下获得的积分数据ID*小于在沿负向偏移地址的情况下获得的积分数据ID*的话，则输出校正误差信号E_*，以便沿正向偏移地址。

通过向闪烁校正电路30*中的地址计算器31、以及校正误差检测器40*中的地址计算器411A和411B提供校正误差信号E_*，以便将地址沿正确的方向朝闪烁进行偏移，而使得校正误差被最小化了。

本领域普通技术人员可以理解，在所附权利要求书或其等效内容的范围内，根据设计需求或者其他的因素，可进行各种各样的修改、组合、子组合以及变更。

Claims

1.一种通过从图像信号中减去闪烁校正信号来校正闪烁的闪烁校正方法，该方法包含以下步骤：

通过让闪烁校正后的图像信号经过低通滤波器，而将噪声从闪烁校正后的图像信号中除去；

从除去了噪声的闪烁校正后的图像信号和尚未经闪烁校正的图像信号中产生校正误差信号；

通过让尚未经闪烁校正的图像信号经过低通滤波器，而除去尚未经闪烁校正的图像信号；以及

从除去噪声后的图像信号和校正误差信号中产生闪烁校正信号。

2.一种通过从图像信号中减去闪烁校正信号来校正闪烁的闪烁校正设备，该设备包括：

校正误差检测装置，用于通过让闪烁校正后的图像信号经过低通滤波器，而将噪声从闪烁校正后的图像信号中除去，并且从除去了噪声的闪烁校正后的图像信号和尚未经闪烁校正的图像信号中产生校正误差信号；以及

闪烁校正装置，用于通过让尚未经闪烁校正的图像信号经过低通滤波器，而除去尚未经闪烁校正的图像信号，并且从除去噪声后的图像信号和校正误差信号中产生闪烁校正信号。

3.一种包含有闪烁校正设备的图像拾取设备，在该闪烁校正设备中通过从由图像传感设备所获取的图像信号中减去闪烁校正信号来校正闪烁，该闪烁校正设备包括：

4.一种通过从图像信号中减去闪烁校正信号来校正闪烁的闪烁校正设备，该设备包括：

校正误差检测器，用于通过让闪烁校正后的图像信号经过低通滤波器，而将噪声从闪烁校正后的图像信号中除去，并且从除去了噪声的闪烁校正后的图像信号和尚未经闪烁校正的图像信号中产生校正误差信号；以及

闪烁校正单元，用于通过让尚未经闪烁校正的图像信号经过低通滤波器，而除去尚未经闪烁校正的图像信号，并且从除去噪声后的图像信号和校正误差信号中产生闪烁校正信号。

5.一种包含有闪烁校正设备的图像拾取设备，在该闪烁校正设备中通过从由图像传感设备所获取的图像信号中减去闪烁校正信号来校正闪烁，该闪烁校正设备包括：