CN1856029A - 闪烁校正方法与设备以及成像设备 - Google Patents
闪烁校正方法与设备以及成像设备 Download PDFInfo
- Publication number
- CN1856029A CN1856029A CNA2006100751078A CN200610075107A CN1856029A CN 1856029 A CN1856029 A CN 1856029A CN A2006100751078 A CNA2006100751078 A CN A2006100751078A CN 200610075107 A CN200610075107 A CN 200610075107A CN 1856029 A CN1856029 A CN 1856029A
- Authority
- CN
- China
- Prior art keywords
- flicker
- correction
- signal
- picture
- error
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012937 correction Methods 0.000 title claims abstract description 190
- 238000000034 method Methods 0.000 title claims abstract description 15
- 238000003384 imaging method Methods 0.000 title description 7
- 238000013500 data storage Methods 0.000 claims description 6
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 4
- 230000010354 integration Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 4
- 102100021999 Cytosolic Fe-S cluster assembly factor NUBP2 Human genes 0.000 description 3
- 101001107795 Homo sapiens Cytosolic Fe-S cluster assembly factor NUBP2 Proteins 0.000 description 3
- 101000827688 Homo sapiens Fibroblast growth factor receptor 2 Proteins 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000013508 migration Methods 0.000 description 3
- 230000005012 migration Effects 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 241001062009 Indigofera Species 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000007599 discharging Methods 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Picture Signal Circuits (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
即使在快门速度高的情况下也可以精确地校正闪烁。本发明提供了一种闪烁校正方法,其中通过从当前输入帧图像中预测下一帧的图像中的闪烁分量,并且在所预测的闪烁分量的基础上将校正值加到下一帧图像上,来校正闪烁,该方法包括以下步骤:保持多个闪烁数据;通过按照与快门速度和帧速率相对应地设置的比率将多个闪烁数据组合在一起,而计算校正值;以及将所计算的校正值加到输入图像信号上。
Description
相关申请的交叉引用
本发明包含与2005年4月19日在日本专利局申请的日本专利申请JP 2005-121424有关的主题,该专利申请的全部内容包括在此作为参考。
技术领域
本发明涉及其中通过从图像信号中减去闪烁校正信号来校正闪烁的闪烁校正方法和设备以及图像拾取设备。
背景技术
当在诸如荧光灯这样的、周期性地重复打开和关闭的光源的光之下用数码相机对对象进行成像的时候,在该对象的所获取图像中将会出现周期性明暗条纹,从而导致它们看上去像是在图像中运动一样。另外,在图像上的帧之间会周期性地存在亮度差。这就被称为“闪烁”。闪烁是当在电荷存储的时间偏移的情况下在闪烁光源的光之下利用数码相机对对象进行成像时不可避免地发生的一个问题,其中数码相机使用图像传感器对对象进行成像。
在传统的图像传感器当中,电荷存储的时间取决于电荷存储是每一平面还是每一行地进行而变化。一般来说,每一平面上的电荷存储时间被称为“全局快门(global shutter)系统”,而每一行上的电荷存储时间被称为“卷动快门(rolling shutter)系统”。
在过去,大多数的CCD采用的都是全局快门型的图像传感器。然而,近年来,已经越来越多地关注CMOS图像传感器,因为CMOS传感器的零部件数目较少,所以它与CCD相比耗能更少,并且它能够比CCD更便宜地进行生产。多数的CMOS图像传感器由于它们的结构问题而采用了卷动快门系统。利用两种快门系统中的某一种,当在重复打开和关闭的光源的光之下进行成像的时候,明暗条纹将会出现在整个图像平面中(平面闪烁),然而利用另外一种快门系统,明暗条纹将会每一行地出现(面内(in-plane)闪烁)。
图1示出了在一个采用全局快门系统的图像传感器之中的电荷存储量的差值,而图2示出了当图像传感器是全局快门类型时发生平面闪烁的图像的例子。图3示出了在一个采用卷动快门系统的图像传感器之中的电荷存储量的差值,而图4示出了发生面内闪烁的图像的例子。此外,在周期性地打开和关闭的光源的光之下获取的图像中包含的闪烁分量可以被近似为一个正弦波,并且已经存在了用于根据正弦波的性质通过除去闪烁来形成校正后的图像的方法。
对于闪烁校正,已经提出了这样一种基于在输入图像中检测出的闪烁分量而控制增益的方法。 (如日本公开专利申请2004-222228中所述)。
发明内容
对于闪烁校正来说,闪烁可以被近似成正弦波的这一特征被用来在输入信号中检测闪烁分量。相似地,校正量可以从正弦波的特性以及所检测的闪烁分量中计算出来,并且将校正量加到输入信号上,或者将输入信号乘以校正量。由于闪烁分量近似成正弦波,所以必须检测出三个特征“周期”、“相位”和“振幅”。
周期可以基于电源频率和帧速率而被检测出来。
为此,本发明的申请人提出了一种闪烁校正方法,其包括以下步骤:响应于每个特定时段的校正误差信号,获得与在从一连串的特定时段中形成的视频信号的每个特定时段中包含的闪烁分量相对应的、并且包含该闪烁分量的闪烁校正信号;并且计算闪烁校正信号和每个特定时段,以产生用于一个特定时段的校正后的视频信号,其中该视频信号的闪烁分量已经被校正了;检测在每个特定时段之前在用于一个特定时段的校正后的视频信号中的闪烁分量的校正误差、以及每个特定时段,以获得作为与所检测的校正误差相对应的校正误差信号的校正误差信号(如日本公开专利申请2004-330299中所述)。
在上面的方法中,正弦波被预先存储在ROM(只读存储器)等中,从ROM中读出与当前行上的闪烁分量相对应的数据,通过恰当地转换所读出的数据来计算校正值,并且将校正值加到输入图像上,由此进行闪烁校正。
假设如上所述通过将对校正值加到输入图像上而进行闪烁校正,然而,当荧光灯的光被近似为正弦波时,如果帧速率和快门速度低的话,则闪烁分量可以被充分近似为正弦波。然而,当快门以高速释放时,闪烁分量不能被近似成正弦波。
图5显示了当在电源频率为50Hz的荧光灯光下并且帧速率为30fps的情况下不释放快门时的闪烁分量。图6显示了当电源频率和帧速率与图5中的相同并且快门速度为1/1000 s(秒)时的闪烁分量。图7显示了当电源频率和帧速率与图5中的相同并且快门速度为1/2000秒时的闪烁分量。从图6和图7中可以看出,当快门速度增加时,闪烁分量与正弦波的近似是有限的。
此外,图8和图9示意性地显示了曝光时间、电荷存储时间和闪烁之间的关系。
因此,希望通过提供这样一种闪烁校正方法和设备以及图像拾取设备来克服上述相关计算的缺点,其中在所述闪烁校正方法和设备以及图像拾取设备中,甚至在快门速度高时也能够用提高了的精确度来校正闪烁。
根据本发明,提供了一种闪烁校正方法,其中通过从当前输入帧图像中预测下一帧的图像中的闪烁分量,并且在所预测的闪烁分量的基础上将校正值加到下一帧图像上,来校正闪烁,该方法包括以下步骤:保持多个闪烁数据;通过按照与快门速度和帧速率相对应地设置的比率将多个闪烁数据组合在一起,而计算校正值;以及将所计算的校正值加到输入图像信号上,由此进行闪烁校正。
根据本发明,还提供了一种闪烁校正设备,包括:闪烁校正装置,用于通过将闪烁校正信号加到输入图像信号上,来进行闪烁校正;以及校正误差检测装置,用于通过基于其闪烁已经被闪烁校正装置校正过了的图像信号和其闪烁还没有被校正的图像信号预测校正误差,来检测校正误差,其中通过预测从下一帧图像的图像信号的校正级闪烁校正中产生的闪烁图像,以及在所预测的闪烁图像和输入的下一帧图像信号之间进行比较,来预测校正误差,其中闪烁校正装置包括闪烁校正信号产生装置,用于通过与由校正误差检测装置所检测出的校正误差相对应地从保持多个闪烁数据的闪烁数据存储器中读出多个闪烁数据,并且按照与输入图像信号的快门速度和帧速率相对应地设置的比率组合多个闪烁数据,来生成闪烁校正信号。
根据本发明,还提供了一种包括闪烁校正设备的图像拾取设备,在该闪烁校正设备中,通过将闪烁校正信号加到由图像传感装置所获取的图像信号上,而校正闪烁,该闪烁校正设备包括:闪烁校正装置,用于通过将闪烁校正信号加到输入图像信号上,来进行闪烁校正;以及,校正误差检测装置,用于通过基于其闪烁已经被闪烁校正装置校正过了的图像信号和其闪烁还没有被校正的图像信号预测校正误差,来检测校正误差,其中通过预测从下一帧的图像信号的校正级闪烁校正中产生的闪烁图像,以及在所预测的闪烁图像和输入的下一帧图像信号之间进行比较,来预测校正误差,其中闪烁校正装置包括闪烁校正信号产生装置,用于通过与由校正误差检测装置所检测出的校正误差相对应地从保持多个闪烁数据的闪烁数据存储器中读出多个闪烁数据,并且按照与输入图像信号的快门速度和帧速率相对应地设置的比率组合多个闪烁数据,来生成闪烁校正信号。
根据本发明,高度精准的校正值可以使用多个用于闪烁校正的校正数据计算出来,以便即使在高的帧速率和快门速度下也能进行高精度的闪烁校正。此外,可以将多个校正数据间的组合比率与快门速度和帧速率相对应地设置为适当值,以便将所计算的校正值近似成理想的闪烁分量。因此,即使在高速度成像期间,也就是说,甚至在高的帧速率和快门速度的情况下,也可以精确地校正闪烁,这是CMOS图像传感器的一个特征,并且可以与帧速率和快门速度相对应地灵活地计算校正值。
附图说明
图1示意性地说明了在全局快门类型的图像传感器中的电荷存储量的差值;
图2示意性地说明了当采用全局快门系统时出现的平面闪烁图像的一个例子;
图3示意性地说明了在卷动快门类型的图像传感器中的电荷存储量的差值;
图4示意性地说明了面内闪烁图像的一个例子;
图5示意性地显示了当在电源频率为50Hz的荧光灯光之下并且帧速率为30fps的情况下不释放快门时的闪烁分量;
图6显示了当电源频率和帧速率与图5中的相同并且快门速度为1/1000秒时的闪烁分量;
图7显示了当电源频率和帧速率与图5中的相同并且快门速度为1/2000秒时的闪烁分量;
图8示意性地显示了曝光时间、电荷存储时间和闪烁之间的关系;
图9示意性地显示了曝光时间、电荷存储时间和闪烁之间的关系;
图10是作为本发明一个实施例的图像拾取设备的示意框图;
图11是包含在图10所示的图像拾取设备中的闪烁校正电路的示意框图;
图12是在闪烁校正电路中的校正值计算器的示意框图;
图13包括图13A、13B和13C,其示意性地说明了在校正值计算器中保持的两类闪烁数据所表示的波形,以及稍后组合在一起的闪烁校正数据所表示的波形;
图14示意性地说明了一种图像拾取设备中的校正误差检测算法;以及
图15是在图像拾取设备中包含的校正误差检测器的示意框图。
具体实施方式
下面将结合实施例并参考附图详细地描述本发明。应当注意的是,本发明不局限于以下描述的实施例,而是在不脱离本发明的范围和精神的前提下,可以以各种方式修改、替换地构造或者以各种其他形式实现。
本发明可适用于如图10所示构造的图像拾取设备。该图像拾取设备总体上以附图标记100表示。
所述图像拾取设备100包括:红色图像传感设备(成像元件)10R,绿色图像传感设备(成像元件)10G,蓝色图像传感设备(成像元件)10B,用来将由图像传感设备10R、10G和10B所获取的彩色图像的图像信号SI_R、SI_G和SI_B分别进行数字化的A-D转换器20R、20G和20B,被分别提供有由A-D转换器20R、20G和20B数字化的图像信号DV_R、DV_G和DV_B的闪烁校正电路30R、30G和30B以及校正误差检测器40R、40G和40B,被分别提供有由闪烁校正电路30R、30G和30B进行过闪烁校正的图像信号CV_R、CV_G和CV_B的照相机信号处理电路50等。
向校正误差检测器40R、40G和40B分别提供由闪烁校正电路30R、30G和30B进行过闪烁校正的图像信号CV_R、CV_G和CV_B,校正误差检测器40R、40G和40B在数字化的图像信号DV_R、DV_G和DV_B以及闪烁校正后的图像信号CV_R、CV_G和CV_B中检测图像信号CV_R、CV_G和CV_B的校正误差,以产生校正误差信号E_R、E_G和E_B,然后将生成的校正误差信号E_R、E_G和E_B分别提供给闪烁校正电路30R、30G和30B。
在图像拾取设备100中,每一个闪烁校正电路30R、30G和30B都使用如图11所示构造的闪烁校正电路30*。应当注意到,星号(*)表示“R(红)”、“G(绿)”和“B(蓝)”。
闪烁校正电路30*包含:从校正误差检测器40*向其提供校正误差信号E_*的地址计算器31*,被提供有由地址计算器31*计算出来的地址AD的校正值计算器32*,被提供有由校正值计算器32*计算出来的闪烁校正数据FD的等级调整器33*,和被提供有由A-D转换器20*数字化的图像信号DV_*的运算电路34*。由A-D转换器20*数字化的图像信号DV_*提供到等级调整器33*,然后由等级调整器33*生成闪烁校正值CFD,它将被提供给运算电路34*。
在如上所述构造的闪烁校正电路30*中,地址计算器31*根据从校正误差检测器40*提供的校正误差信号E_*,计算包含在校正值计算器32*内部的ROM(闪烁存储器321和322,其将会在下文中进一步详细描述)中的地址AD。
地址计算器31*通过从电源频率和帧速率计算出所感兴趣的帧中的首行地址,并且计算相对于该地址每前进一行的地址增量,来计算当前行的地址。更具体地说,当电源频率为50Hz,帧速率为30Hz,并且图像传感器设备10*的垂直时钟数为1125clk(在以下的描述中,电源频率、帧速率和图像传感器设备10*的时钟数都将保持不变)时,闪烁的明暗条纹间的周期将包含337.5行,如以下的等式1所示:
T=30Hz×1125clk/(50Hz×2)=337.5(clk) ……(1)
此外,系统中的ROM保持通过将一个周期除以512而获得的闪烁数据。每前进一行,ROM中的地址就将增加约1.51703,如以下的等式2所示:
512/337.5=1.51703 ……(2)
也就是说,假定第一行上的校正波地址为零(0),则从第一行起计数的第100行上的地址将是152,如以下的等式3所示:
0+1.51703×100≈152 ……(3)
如图12所示,校正值计算器32*包含:闪烁存储器321和322,用于将从闪烁存储器321和322中读出的两类闪烁数据FD1和FD2分别乘以系数α和α-1的乘法器323和324,以及被提供有分别由乘法器323和324乘以系数α和α-1之后的闪烁数据FD1_A和FD2_A的加法器325。两类闪烁数据FD1和FD2将根据由地址计算器31*计算出来的地址AD分别从闪烁存储器321和322中读出来。
校正值计算器32*根据由地址计算器31*计算出来的地址AD,分别从闪烁存储器321和322中读出两类闪烁数据FD1和FD2,分别由乘法器323和324与帧速率和快门速度相对应地、将闪烁数据FD1和FD2分别乘以系数α和α-1,然后由加法器325将结果加起来,从而计算出一个闪烁校正数据FD。
要注意到,利用了闪烁数据的周期性,校正值计算器32*将会保持如图13A和13B所示的闪烁数据FD1和FD2的一部分波形。此外,闪烁数据甚至可以用除ROM以外的任何其他存储器来被适当地计算出来。在本实施例中,通过将两个闪烁数据FD1和FD2组合起来,而合成一个例如对应于图13C所示的波形的闪烁校正数据FD。然而,也可以将三个或更多的闪烁数据组合起来,从而形成各种闪烁校正数据FD。闪烁校正数据FD被一个取决于每一行的值每一行地更新一次。
由于闪烁的等级与每一像素值相对应地变化,所以等级调整器33*通过使用由A-D转换器20*数字化的图像信号DV_*,对于每一像素调整闪烁数据FD的等级,并且对于每一像素计算出校正值CFD。
注意到,这样修改这个实施例,以便因为观察到闪烁等级还与像素值相对应地线性增加的这一趋势,所以校正值会与像素值相对应地单调增加。此外,因为在像素值非常大或非常小的时候没有观察到闪烁,所以修改这个实施例,以便将这个特征考虑进去而进行计算。然而,本发明不局限于这个实施例。
在闪烁校正电路30*中,对于每一个像素,加法器34*将校正值CFD加到图像信号DV_*上,以便提供校正后的图像信号CV_*。
在这个图像拾取设备100中,每个校正误差检测器40R、40G和40B都使用图14所示的算法来检测校正误差。
更具体地说,当“第n帧的校正后的图像”输出之后,第n+1帧的闪烁状态可以从“第n帧的校正图像”中预测出来,并且将闪烁分量加到“第n帧的校正图像”上。下文中在此将这样产生的图像称为“图像A”。此外,第n+1帧的闪烁状态被预测出来,并且将其地址偏移的闪烁分量加到第n+1帧上。下文中将这样产生的图像称为“图像B”。计算这两个图像A、B和包含闪烁分量的“第n帧的校正图像”之间的差。现在考虑“图像A”,只有对象的运动被输出作为差值图像。再考虑“图像B”,对象的运动和闪烁分量都被输出作为差值图像。从这两个差值的比较中可以看出,“图像A”中的差值要小一些。相反地,可以这样考虑,如果从“图像B”确定的差值比从“图像A”确定的差值小的话,其地址偏移的闪烁就可以被准确地预测出来。也就是说,较小的差值意味着闪烁已经被准确地预测出来了。因此,为了较小的差值而偏移闪烁地址会在校正误差限制在一定范围内的情况下结束。
每一个校正误差检测器40R、40G和40B都使用如图15所示构造的校正误差检测器40*。应当注意到,星号(*)表示“R(红)”、“G(绿)”和“B(蓝)”。
校正误差检测器40*包括:被提供有由闪烁校正电路30*进行闪烁校正过的图像信号CV_*的加有闪烁的信号发生器41A和41B,被分别提供有由加有闪烁的信号发生器41A和41B生成的、加有闪烁的信号FDV1和FDV2的行积分器42A和42B,被分别提供有由行积分器42A和42B积分出来的行数据LD11和LD21的存储器43A和43B,被分别提供有从存储器43A和43B中读出来的行数据LD11和LD21的差值检测器44A和44B,被提供有由A-D转换器20*数字化的图像信号DV_*的行积分器45A和45B,被分别提供有由差值检测器44A和44B检测出来的差值数据DD1和DD2的积分器46A和46B,被分别提供有由积分器46A和46B提供的积分后数据ID1的ID2的比较器47等。由行积分器45提供的行数据LD3将被提供给每个差值检测器44A和44B,并且作为比较器47的比较输出而提供的校正误差信号E_*将被提供给加有闪烁的信号生成器41A和41B中的每一个。
每个加有闪烁的信号发生器41A和41B都包括:被提供有作为比较器47的比较输出而提供的校正误差信号E_*的地址计算器411A和411B,被分别提供有由地址计算器411A和411B计算出来的地址AD11和AD21的地址转换器412A和412B,被分别提供有由地址计算器412A和412B计算出来的地址AD12和AD22的校正值计算器413A和413B,被分别提供有由校正值计算器413A和413B计算出来的闪烁数据FD1和FD2的等级调整器414A和414B,以及被提供有由A-D转换器20*数字化的图像信号DV_*的运算单元415A和415B。由A-D转换器20*数字化的图像信号DV_*将提供给等级调整器414A和414B,并且将分别由等级调整器414A和414B产生的校正值CFD1和CFD2分别提供给运算单元415A和415B。
在如上所述构造的校正误差检测器40*中,地址计算器411A和411B根据校正误差信号E_*计算出ROM中的地址AD11和AD21。将要这样被计算出来的地址是由于将下一帧中的闪烁的首地址沿正向或负向偏移而得到的。这些地址像在闪烁校正电路30*中的地址计算器31*中那样进行计算。此外,校正误差检测器40*中包含的ROM和闪烁校正电路30*中包含的ROM是一样的。
地址转换器412A和412B分别将地址计算器411A和411B所计算出来的地址AD11和AD21转换为地址AD12和AD22,可以从这两个地址中再现下一帧中的闪烁。也就是说,他们将地址AD1和AD2转换成相位与地址AD1和AD2相反的地址。分别由地址转换器412A和412B转换的地址AD12和AD22是从对下一帧中的闪烁的预测而得到的,而不打算用于进行闪烁校正。
校正值计算器413A和413B分别根据地址AD12和AD22计算出闪烁数据FD1和FD2,其中地址AD12和AD22分别由地址转换器412A和412B转换得到。像在闪烁校正电路30*中那样还每一行地确定闪烁数据FD1和FD2。校正值计算器413A和413B与闪烁校正电路30*中包含的校正值计算器32*类似地进行构造。
此外,在校正值检测器413A和413B中,与在闪烁校正电路30*中一样,将图像信号DV_*通过低通滤波器(LPF)415A和415B,以从图像信号DV_*中除去噪声,并且将除去噪声后的信号DV_*提供给等级调整器414A和414B。
等级调整器414A和414B从图像信号DV_*以及闪烁数据FD1和FD2中为每个像素计算校正值CFD1和CFD2,其中图像信号DV_*由A-D转换器20*数字化得到,闪烁数据FD1和FD2分别由校正值计算器413A和413B计算得到。
等级调整器414A和414B与闪烁校正电路30*中包含的等级调整器33*类似地进行构造。
运算单元415A和415B从每个像素的校正值CFD1和CFD2以及闪烁校正后的图像信号CV_*中,生成下一帧中的加有闪烁的信号FDV1和FDV2。
通过分别对下一帧中的加有闪烁的信号FDV1和FDV2中的某些段进行积分,行积分器42A和42B计算出行数据LD11和LD21。只要在水平获取的图像的范围之内,上述的“段”的水平大小可以是任意值。段越大,就能越高精确度地对校正误差进行检测。段的垂直大小可以是一个屏幕内的闪烁的明暗条纹周期的整数倍。更具体地说,段的大小可以是1000个水平像素乘上675(=337.5×2)个垂直像素,也就是说,段的大小是1000×675个像素。
由行积分器42A和42B计算出来的行数据LD11和LD21被分别存储在存储器43A和43B中,直到提供了下一帧的图像信号DV_*为止。当提供了下一帧的图像信号DV_*的时候,行积分器45对与已经被积分了的、加有闪烁的信号FDV1和FDV2的段相同的段进行行积分,以计算行数据LD3。
将分别存储在存储器43A和43B中的行数据LD12和LD22、以及与行数据LD12和LD22中的行相对应的下一帧图像信号DV_*的行数据LD3提供给差值检测器44A和44B,以产生差值数据DD1和DD2。
通过分别对两个差值数据DD1和DD2进行积分,积分器46A和46B分别提供积分后的数据ID1和ID2。
然后,通过对这些积分后的数据ID1和ID2的大小进行比较,比较器47可以判断出为预测正确的闪烁而沿哪个方向、即沿正向还是负向偏移地址。例如,如果在沿正向偏移地址的情况下获得的积分数据ID*小于在沿负向偏移地址的情况下获得的积分数据ID*的话,则输出校正误差信号E_*,以便沿正向偏移地址。
通过向闪烁校正电路30*中的地址计算器31、以及校正误差检测器40*中的地址计算器411A和411B提供校正误差信号E_*,以便将地址沿正确的方向朝闪烁进行偏移,而使得校正误差被最小化了。
本领域普通技术人员可以理解,在所附权利要求书或其等效内容的范围内,根据设计需求或者其他的因素,可进行各种各样的修改、组合、子组合以及变更。
Claims (5)
1.一种闪烁校正方法,其中通过从当前输入帧图像中预测下一帧的图像中的闪烁分量,并且在所预测的闪烁分量的基础上将校正值加到下一帧图像上,来校正闪烁,该方法包括以下步骤:
保持多个闪烁数据;
通过按照与快门速度和帧速率相对应地设置的比率将多个闪烁数据组合在一起,而计算校正值;以及
将所计算的校正值加到输入图像信号上。
2、一种闪烁校正设备,包括:
闪烁校正装置,用于通过将闪烁校正信号加到输入图像信号上,来进行闪烁校正;以及
校正误差检测装置,用于通过基于其闪烁已经被闪烁校正装置校正过了的图像信号和其闪烁还没有被校正的图像信号而预测校正误差,来检测校正误差,其中通过预测从下一帧的图像信号的校正级闪烁校正中产生的闪烁图像,并且在所预测的闪烁图像和输入的下一帧图像信号之间进行比较,来预测校正误差,
闪烁校正装置包括闪烁校正信号产生装置,用于通过与由校正误差检测装置所检测出的校正误差相对应地、从保持多个闪烁数据的闪烁数据存储器中读出多个闪烁数据,并且按照与输入图像信号的快门速度和帧速率相对应地设置的比率组合多个闪烁数据,来生成闪烁校正信号。
3、一种图像拾取设备,包括闪烁校正设备,用于通过将闪烁校正信号加到由图像传感装置所获取的图像信号上来进行闪烁校正,该闪烁校正设备包括:
闪烁校正装置,用于通过将闪烁校正信号加到输入图像信号上,来进行闪烁校正;以及
校正误差检测装置,用于通过基于其闪烁已经被闪烁校正装置校正过了的图像信号和其闪烁还没有被校正的图像信号而预测校正误差,来检测校正误差,其中通过预测从下一帧的图像信号的校正级闪烁校正中产生的闪烁图像,以及在所预测的闪烁图像和输入的下一帧图像信号之间进行比较,来预测校正误差,
闪烁校正装置包括闪烁校正信号产生装置,用于通过与由校正误差检测装置所检测出的校正误差相对应地、从保持多个闪烁数据的闪烁数据存储器中读出多个闪烁数据,并且按照与输入图像信号的快门速度和帧速率相对应地设置的比率组合多个闪烁数据,来生成闪烁校正信号。
4、一种闪烁校正设备,包括:
闪烁校正单元,用于通过将闪烁校正信号加到输入图像信号上,来进行闪烁校正;以及
校正误差检测器,用于通过基于其闪烁已经被闪烁校正单元校正过了的图像信号和其闪烁还没有被校正的图像信号而预测校正误差,来检测校正误差,其中通过预测从下一帧的图像信号的校正级闪烁校正中产生的闪烁图像,以及在所预测的闪烁图像和输入的下一帧图像信号之间进行比较,来预测校正误差,
闪烁校正单元包括闪烁校正信号产生器,用于通过与由校正误差检测器所检测出的校正误差相对应地、从保持多个闪烁数据的闪烁数据存储器中读出多个闪烁数据,并且按照与输入图像信号的快门速度和帧速率相对应地设置的比率组合多个闪烁数据,来生成闪烁校正信号。
5、一种图像拾取设备,包括闪烁校正设备,用于通过将闪烁校正信号加到由图像传感器所获取的图像信号上来进行闪烁校正,该闪烁校正设备包括:
闪烁校正单元,用于通过将闪烁校正信号加到输入图像信号上,来进行闪烁校正;以及
校正误差检测器,用于通过基于其闪烁已经被闪烁校正单元校正过了的图像信号和其闪烁还没有被校正的图像信号而预测校正误差,来检测校正误差,其中通过预测从下一帧的图像信号的校正级闪烁校正中产生的闪烁图像,以及在所预测的闪烁图像和输入的下一帧图像信号之间进行比较,来预测校正误差,
闪烁校正单元包括闪烁校正信号产生器,用于通过与由校正误差检测器所检测出的校正误差相对应地、从保持多个闪烁数据的闪烁数据存储器中读出多个闪烁数据,并且按照与输入图像信号的快门速度和帧速率相对应地设置的比率组合多个闪烁数据,来生成闪烁校正信号。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005121424A JP4207922B2 (ja) | 2005-04-19 | 2005-04-19 | フリッカ補正方法、フリッカ補正装置及び撮像装置 |
JP2005121424 | 2005-04-19 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1856029A true CN1856029A (zh) | 2006-11-01 |
CN100477744C CN100477744C (zh) | 2009-04-08 |
Family
ID=37108121
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2006100751078A Expired - Fee Related CN100477744C (zh) | 2005-04-19 | 2006-04-18 | 闪烁校正方法与设备以及成像设备 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7675552B2 (zh) |
JP (1) | JP4207922B2 (zh) |
CN (1) | CN100477744C (zh) |
TW (1) | TWI316362B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104754251A (zh) * | 2013-12-27 | 2015-07-01 | 佳能株式会社 | 图像感测装置 |
CN106131543A (zh) * | 2015-05-08 | 2016-11-16 | 佳能株式会社 | 摄像设备和用于检测光量变化的方法 |
CN110381276A (zh) * | 2019-05-06 | 2019-10-25 | 华为技术有限公司 | 一种视频拍摄方法及电子设备 |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100284667A1 (en) * | 2005-07-27 | 2010-11-11 | Hiroshi Yahata | Information recording medium, recording device, and recording method |
JP5111100B2 (ja) * | 2007-12-28 | 2012-12-26 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム及び記憶媒体 |
JP2010021645A (ja) * | 2008-07-08 | 2010-01-28 | Nikon Corp | 画像処理装置、撮像装置、および画像処理プログラム |
JP5212170B2 (ja) * | 2009-02-25 | 2013-06-19 | 株式会社ニコン | 撮像装置 |
US20110187859A1 (en) * | 2009-11-13 | 2011-08-04 | Steven Donald Edelson | Monitoring and camera system and method |
US8810692B2 (en) * | 2010-10-19 | 2014-08-19 | Apple Inc. | Rolling shutter distortion correction |
US8804003B2 (en) * | 2011-01-28 | 2014-08-12 | Aptina Imaging Corporation | Flicker detection for imaging devices with high frame rates |
US20130286245A1 (en) * | 2012-04-30 | 2013-10-31 | Ramin Samadani | System and method for minimizing flicker |
JP6041593B2 (ja) * | 2012-09-14 | 2016-12-14 | キヤノン株式会社 | 固体撮像装置 |
GB2568924B (en) * | 2017-11-30 | 2022-07-20 | Apical Ltd | Method of flicker reduction |
JP6932895B1 (ja) * | 2020-05-20 | 2021-09-08 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 画像処理装置、撮像装置、移動体、プログラム及び方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11313226A (ja) * | 1998-04-27 | 1999-11-09 | Matsushita Electric Ind Co Ltd | フリッカ補正装置及び補正方法 |
JP3370979B2 (ja) * | 2000-09-08 | 2003-01-27 | 三菱電機株式会社 | 撮像装置および自動レベル調整方法 |
JP2003198932A (ja) * | 2001-12-27 | 2003-07-11 | Sharp Corp | フリッカ補正装置およびフリッカ補正方法、並びにフリッカ補正プログラムを記録した記録媒体 |
JP4337353B2 (ja) * | 2002-03-25 | 2009-09-30 | セイコーエプソン株式会社 | フリッカ検出装置、フリッカ補正装置、撮像装置、フリッカ検出プログラムおよびフリッカ補正プログラム |
JP4423889B2 (ja) | 2002-11-18 | 2010-03-03 | ソニー株式会社 | フリッカ低減方法、撮像装置およびフリッカ低減回路 |
US7142234B2 (en) * | 2002-12-10 | 2006-11-28 | Micron Technology, Inc. | Method for mismatch detection between the frequency of illumination source and the duration of optical integration time for imager with rolling shutter |
US7471315B2 (en) * | 2003-03-14 | 2008-12-30 | Aptina Imaging Corporation | Apparatus and method for detecting and compensating for illuminant intensity changes within an image |
JP4106554B2 (ja) * | 2003-09-08 | 2008-06-25 | ソニー株式会社 | 撮影環境判定方法および撮像装置 |
-
2005
- 2005-04-19 JP JP2005121424A patent/JP4207922B2/ja not_active Expired - Fee Related
-
2006
- 2006-03-15 US US11/375,013 patent/US7675552B2/en not_active Expired - Fee Related
- 2006-03-20 TW TW095109379A patent/TWI316362B/zh not_active IP Right Cessation
- 2006-04-18 CN CNB2006100751078A patent/CN100477744C/zh not_active Expired - Fee Related
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104754251A (zh) * | 2013-12-27 | 2015-07-01 | 佳能株式会社 | 图像感测装置 |
CN104754251B (zh) * | 2013-12-27 | 2018-02-16 | 佳能株式会社 | 图像感测装置 |
CN106131543A (zh) * | 2015-05-08 | 2016-11-16 | 佳能株式会社 | 摄像设备和用于检测光量变化的方法 |
CN106131543B (zh) * | 2015-05-08 | 2018-07-31 | 佳能株式会社 | 摄像设备和用于检测光量变化的方法 |
CN110381276A (zh) * | 2019-05-06 | 2019-10-25 | 华为技术有限公司 | 一种视频拍摄方法及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
JP4207922B2 (ja) | 2009-01-14 |
JP2006303814A (ja) | 2006-11-02 |
US20060232686A1 (en) | 2006-10-19 |
TWI316362B (en) | 2009-10-21 |
CN100477744C (zh) | 2009-04-08 |
US7675552B2 (en) | 2010-03-09 |
TW200715829A (en) | 2007-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1856029A (zh) | 闪烁校正方法与设备以及成像设备 | |
CN1856030A (zh) | 闪烁校正方法与设备以及成像设备 | |
CN1863277A (zh) | 闪烁校正方法和装置及成像装置 | |
CN108702437B (zh) | 计算深度图的方法、系统、设备和存储介质 | |
CN1086891C (zh) | 帧像素数据发生系统 | |
WO2017090300A1 (ja) | 画像処理装置、および画像処理方法、ならびにプログラム | |
US10298843B2 (en) | Image processing device, image processing method, and electronic apparatus for motion detection in image | |
CN1226877C (zh) | 图像插入装置 | |
JP2022071177A (ja) | 多重化高ダイナミックレンジ画像 | |
JP5822937B2 (ja) | 不可視スペクトル領域の画像を処理する方法、相応するカメラおよび測定装置 | |
JP2010273142A5 (zh) | ||
CN1674682A (zh) | 彩色图像处理方法和彩色成像设备 | |
CN1459189A (zh) | 屏幕校正方法和图像拾取装置 | |
US20200092458A1 (en) | Image processing system with led flicker mitigation | |
CN1848910A (zh) | 具有相对于亮度级的运动值校正的全局运动自适应系统 | |
CN110930440B (zh) | 图像对齐方法、装置、存储介质及电子设备 | |
WO2016006430A1 (ja) | 撮像装置、撮像方法、およびプログラム、並びに再生装置 | |
JP7204480B2 (ja) | 撮像装置、撮像システム、移動体及び撮像装置の制御方法 | |
Iwabuchi et al. | Iterative image reconstruction for quanta image sensor by using variance-based motion estimation | |
US11683593B2 (en) | High dynamic range image capture using single photon avalanche diodes | |
CN114286024B (zh) | 基于动态视觉传感器的光学偏振信息模型构建方法及装置 | |
Duan et al. | NeuroZoom: Denoising and super resolving neuromorphic events and spikes | |
CN1299242C (zh) | 用于识别移动目标轮廓的图像处理设备及其方法 | |
JP2005006283A (ja) | 撮像装置 | |
US20150146064A1 (en) | Image processing apparatus, image processing method, solid-state imaging device, and electronic apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20090408 Termination date: 20130418 |