CN100493152C - 摄像装置和信号处理方法 - Google Patents

摄像装置和信号处理方法 Download PDF

Info

Publication number
CN100493152C
CN100493152C CNB2005800176718A CN200580017671A CN100493152C CN 100493152 C CN100493152 C CN 100493152C CN B2005800176718 A CNB2005800176718 A CN B2005800176718A CN 200580017671 A CN200580017671 A CN 200580017671A CN 100493152 C CN100493152 C CN 100493152C
Authority
CN
China
Prior art keywords
signal
flicker
imaging apparatus
component
gain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2005800176718A
Other languages
English (en)
Other versions
CN1961571A (zh
Inventor
木下雅也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1961571A publication Critical patent/CN1961571A/zh
Application granted granted Critical
Publication of CN100493152C publication Critical patent/CN100493152C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/616—Noise processing, e.g. detecting, correcting, reducing or removing noise involving a correlated sampling function, e.g. correlated double sampling [CDS] or triple sampling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/767—Horizontal readout lines, multiplexers or registers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

一种诸如CMOS摄像装置等的XY地址扫描摄像装置，其中可以高精度地准确检测荧光灯的闪烁，并且可以可靠且适当地减少荧光灯的闪烁分量。箝位通过A/D转换从摄像元件获得的RGB基色信号而生成的RGB基色信号。对于箝位后的RGB基色信号，校正读出通道之间的增益，降低固定模式噪音，校正缺陷像素上的数据，降低噪音，校正镜头黑点，为曝光调节调整增益，并且闪烁检测/减少部件(60)检测并减少闪烁分量。对减少闪烁之后的RGB基色信号的白平衡进行调整，并且在调整白平衡之后，从RGB基色信号中检测摄像元件的缺陷像素。

Description

摄像装置和信号处理方法
技术领域
本发明涉及一种以摄像机和数码相机为代表的摄像装置，其采用诸如CMOS(互补金属氧化物半导体)摄像元件等的XY地址扫描型摄像元件(成像器、图像传感器)，并且涉及一种用于在通过摄像装置对摄像目标进行摄像时处理从摄像元件获得的视频信号的方法。
背景技术
当通过摄像机在采用由商用交流电源(家用电源)操作的荧光灯的照明下对摄像目标进行摄像时，作为摄像输出的视频信号包含基于时间的亮度变化，即，所谓的基于荧光灯的亮度变化(光量变化)的频率(这个频率是电源频率的两倍)与摄像机的垂直同步频率(摄像频率)之间的差值的荧光闪烁(fluorescentflicker)。
例如，如图10所示，当在商用交流电源频率为50Hz的局部地区，并且在采用非反相器型荧光灯(但是不限于使用非反相器型荧光灯的情况，因为反相器型荧光灯如果其整流不充分也会包含闪烁)的照明下，通过NTSC(垂直同步频率(在这种情况下场频率是60Hz)CCD摄像机对摄像目标进行摄像时，一个场的时间间隔为1/60秒，而荧光灯的亮度变化的周期为1/100秒。因此，各个场的曝光定时包含关于荧光灯的亮度变化的偏差(offsets)，所以各个像素的曝光量会逐场改变。
因此，例如当曝光时间是1/60秒时，尽管间隔a1、a2和a3具有相同的曝光时间，但是这些间隔之间的曝光量是不同的。此外，当曝光时间少于1/60秒时(并且当其不是稍后要描述的1/100秒时)，尽管间隔b1、b2和b3具有相同的曝光时间，但是这些间隔之间的曝光量也是不同的。
荧光灯的亮度变化的相位与曝光定时之间的关系每三个场返回到初始状态，因此由于闪烁而导致的亮度变化具有三个场的重复周期。也就是说，各个场之间的亮度比(闪烁看起来怎样)根据曝光时间来变化，尽管闪烁的频率是相同的而无需考虑曝光时间。
当使用诸如数码相机等的逐行扫描摄像机，从而垂直同步频率(在这种情况下为帧频)为30Hz时，每三帧会重复相同的亮度变化。
为了发射白光，荧光灯通常采用例如红、绿和蓝等的多种荧光物质。但是，这些荧光物质每个都具有唯一的余辉特性，并且在从辉光结束到下一个辉光开始的这些存在于亮度变化的周期中的间隔期间，根据各个余辉特性提供衰减发射。因此，在这些间隔期间，最初为白光的光随着其逐渐改变的色调而衰减。从而，上述的曝光定时的偏移不仅导致了亮度变化而且还导致了色调变化。此外，荧光灯具有特定的光谱特性，其中强峰是以特殊波长存在，因此，信号的变化分量(variation component)在各个颜色之间是不同的。
基于每种颜色的变化分量的差和色调变化导致了所谓的颜色闪烁的出现。
相反，当电源频率为50Hz，并且摄像装置的垂直同步频率如图10所示为60Hz时，如果将曝光时间设定为1/100秒(其与荧光灯的亮度变化的周期相等，如图10中最后一行所示)，曝光量是不变的而不用考虑曝光定时，这将不会导致闪烁。
实际上，已经提出了一种方案，其中通过检测在通过用户的操作或摄像机中的信号处理在采用荧光灯的照明下使用摄像机的情况，在采用荧光灯的照明下使用摄像机时将曝光时间设定为1/100秒。根据这个方案，通过简单的方法可以完全防止闪烁的出现。
但是，这个方案会阻止将曝光时间任意设定到任何时间，这将降低用于获得适当曝光的曝光量调节器的灵活性。
为了处理这个问题，还提出了另一种无需定义快门速度就可以减少荧光闪烁的方法。在其中以相同的曝光定时曝光一个图像平面中的所有像素的摄像装置中，诸如CCD摄像装置，只会由于闪烁而出现帧间亮度变化和帧间颜色变化，因此，可以比较简单地减少闪烁。
例如，在图10的例子中，除非曝光时间为1/100秒，否则闪烁的重复周期为三个场。因此，通过根据当前场的三个场之前的场的视频信号来预测当前场的亮度和颜色变化，从而各个场的视频信号的平均值会保持不变，然后根据预测结果调整各个场的视频信号的增益，可以将闪烁抑制到不在实际使用中造成任何问题的电平。
另一方面，在诸如CMOS摄像元件等的XY地址扫描型摄像元件中，在图像平面的水平方向上将曝光定时逐像素地顺序移动读取时钟(像素时钟)的一个周期，从而所有的像素的曝光时间彼此是不同的。因此，上述方法不能充分地抑制闪烁。
图11示出了XY地址扫描摄像元件的操作例子。如上所述，也在图像平面的水平方向上，以每个像素为基础顺序延迟曝光定时。但是，一个水平周期完全少于荧光灯的亮度变化周期。因此，以下描述是基于相同行上的像素的曝光定时彼此相同的假设，并且基于这个假设，示出了与图像平面的垂直方向交叉的各个行的曝光定时。在实际情况下，就这样的假设不会引起问题。
如图11所示，在作为XY地址扫描型摄像装置的示例的CMOS摄像装置中，每行之间的曝光定时是不同的(F0表示某个场中各行之间的曝光定时的差值)，从而在各行之间出现曝光量的差。因此，由于闪烁，不仅会发生场间亮度变化和场间颜色变化，而且还会发生场内亮度变化和场内颜色变化。在图像平面上，这种场内变化看起来像条纹图形(条纹本身的方向是水平方向，而条纹的改变方向是垂直方向)。
图12示出了当摄像目标是基于统一模式时场内(图像平面内)闪烁的示例。由于条纹图形的一个周期(一个波长)是1/100秒，所以在一个图像平面内出现1.666周期的条纹图形。如果将每个场的读出行的数目定义为M，则对应于一个周期的条纹图形的读出行的数目为L＝M*60/100。需要注意的是，将在本说明书和附图中将星号(*)用作乘号。
如图13所示，三个场(三个图像平面)对应于五个周期(五个波长)的条纹图形，并且在连续观看条纹图形时，条纹图形看起来像图形流(pattern flow)。
尽管在图12和13中仅示出了由于闪烁而导致的亮度变化，但是实际亮度变化上还增加了上述的颜色变化，这也严重恶化图像质量。尤其是，由于快门速度变得更快(曝光时间变得更短)，颜色闪烁会变得更加明显。此外，在XY地址扫描型摄像装置中，图像平面上出现颜色闪烁的影响，从而图像质量恶化会更加显而易见。
而且，在这样的XY地址扫描型摄像装置的情况下，当电源频率为50Hz，并且摄像装置的垂直同步频率例如如图11所示为60Hz时，将曝光时间设定为1/100秒(其与荧光灯的亮度变化的周期相等)则可以使曝光量无需考虑曝光定时而保持不变，这就可以防止包括平面内闪烁的荧光闪烁的出现。
但是，如果将容许曝光时间限制到1/100秒以防止闪烁，那么将降低用于获得适当曝光的曝光量调节器的灵活性。
为了解决这个问题，已经提出了一些方法，以减少诸如CMOS摄像装置等的XY地址扫描型摄像装置中固有的荧光闪烁，从而无需定义快门速度。
具体来说，专利文献1(日本专利公开号2000-350102)和专利文献2(日本专利公开号2000-23040)公开了一种方法，其中通过使用光接收元件和光测量元件来测量荧光灯的光量，从而估计闪烁分量，并且根据估计结果来控制来自摄像元件的视频信号的增益。但是，在这种方法中，对摄像元件增加光接收元件和光测量元件的问题是增加了摄像装置系统的尺寸和成本。
专利文献3(日本专利公开号2001-16508)公开了另一种方法。在这种方法中，在以下两种情况下捕获两种图像：使用适合目前外部光条件的第一电子快门值；和使用与荧光灯的闪光周期有预定关系的第二电子快门值，然后通过对两种情况下的信号进行相互比较来估计闪烁分量，从而根据估计结果来控制来自摄像元件的视频信号的增益。但是，这种方法不适于捕获移动图像。
此外，专利文献4(日本专利公开号2000-165752)公开了一种方法，其中根据通过曝光而获得的两个具有时间间隔的视频信号来计算校正系数，从而通过使用计算出的校正系数来校正视频信号，所述时间间隔是将视频信号的闪烁的相位彼此仅移动180度。但是，这种方法也不适于捕获移动图像。
另外，专利文献5(日本专利公开号Hei11-164192)公开了另一种方法。在这种方法中，将在荧光灯的照明下的亮度变化的行为预先记录在存储器中作为校正系数，并且通过使用视频信号分量与闪烁分量之间的频差，从来自视频元件的视频信号中检测闪烁分量的相位，从而根据检测结果，通过使用存储器中的校正系数来校正视频信号。
发明内容
但是，如果在诸如CMOS摄像装置等的XY地址扫描型摄像装置中，则从通过摄像元件获得的视频信号中检测(估计)荧光闪烁，然后根据检测结果来校正视频信号的电平或增益，从而减少闪烁分量。执行闪烁检测和减少处理的阶段应该在处理通过摄像元件获得的视频信号的过程中的哪个地方是很重要的。
需要对来自摄像元件的视频信号进行各种处理。具体来说，诸如CMOS摄像装置等的XY地址扫描型摄像装置就要求CCD摄像装置中不需要的而属于XY地址扫描型摄像装置的特殊处理。因此，根据闪烁检测和减少处理与其他处理之间的关系，执行闪烁检测和减少处理的阶段的位置对闪烁检测准确性以及闪烁减少效果具有很大的影响。根据闪烁检测和减少处理与其他处理之间的关系，存在降低闪烁检测准确性的可能性，因此，由于与错误检测相关的错误校正，而导致闪烁分量非但不能减少反而增加。
本发明的目的就是使诸如CMOS摄像装置等的XY地址扫描型摄像装置能够正确并准确地检测荧光闪烁，并且确实并充分地减少荧光闪烁分量。
根据本发明的信号处理方法是一种用于处理通过使用XY地址扫描型摄像元件对摄像目标进行摄像而获得视频信号的方法。所述方法包括：校正步骤，用于校正由于视频信号的模数转换而引起的视频信号的电平或增益；和闪烁检测和减少步骤，用于在校正步骤之后，从校正后的视频信号中检测荧光闪烁分量，并且减少荧光闪烁分量。
在根据本发明的具有上述特征的信号处理方法中，在执行了校正视频信号的电平或增益的处理，诸如在通过多个读出通道从摄像元件中读出视频信号中用于均衡多个读出通道的信号增益的处理、用于降低摄像元件的固定模式噪音的处理、或用于校正镜头黑点(lens shading)的处理，之后执行闪烁检测和减少处理。因此，可以正确并准确地检测荧光闪烁，从而可以确实并充分地减少荧光闪烁分量。
附图说明
图1是图示说明根据本发明的摄像装置的例子的系统构造的示图。
图2是图示说明通过多个读出通道从其中读出视频信号的摄像装置的例子的示图。
图3是图示说明图1的摄像装置中的数字信号处理器的例子的示图。
图4是图示说明闪烁检测和减少单元的例子的示图。
图5示出了用于解释特定例子的闪烁检测和减少方法的等式。
图6示出了用于解释特定例子的闪烁检测和减少方法的等式。
图7示出了用于解释特定例子的闪烁检测和减少方法的等式。
图8示出了用于解释特定例子的闪烁检测和减少方法的等式。
图9示出了用于解释特定例子的闪烁检测和减少方法的等式。
图10是用于解释CCD摄像装置中的荧光闪烁的示图。
图11是用于解释CMOS摄像装置中的荧光闪烁的示图。
图12是示出了由于CMOS摄像装置中的荧光闪烁而导致的一个图像平面中的条纹图形的示图。
图13是示出了由于CMOS摄像装置中的荧光闪烁而导致的三个图像平面中的条纹图形的示图。
具体实施方式
[摄像装置和信号处理方法的实施例：图1至3]
(摄像装置的系统构造：图1)
图1图示说明了根据本发明的摄像装置的例子的系统构造，并且示出了例如采用CMOS摄像元件作为XY地址扫描型摄像元件的NTSC(垂直同步频率为60Hz)或PAL(其为50Hz)摄像机。
在这个例子的摄像装置中，来自摄像目标的光通过摄像光学系统进入CMOS摄像元件20，接下来通过CMOS摄像元件20进行光电转换，从而从CMOS摄像元件20获得模拟视频信号。
通过在CMOS衬底上二维排列多个像素来形成CMOS图像元件20，每个CMOS图像元件20包括光敏二极管(光敏闸(photo gate))、传送闸(快门晶体管)、开关晶体管(地址晶体管)、放大器晶体管、和复位晶体管(复位闸)等。此外，在CMOS摄像元件20中形成垂直扫描电路、水平扫描电路和视频信号输出电路。
CMOS摄像元件20可以是用于基色的元件，也可以是用于稍后所描述的补色的元件。从CMOS摄像元件20获得的模拟视频信号是RGB基色信号或者补色信号。
通过构造成IC(集成电路)的模拟信号处理器30在每个颜色信号的基础上取样并保持从CMOS摄像元件20获得的模拟视频信号。在模拟信号处理器30中，通过AGC(自动增益控制)来控制模拟视频信号的增益，并且通过A/D转换将所产生的模拟视频信号转换成数字视频信号。
在构造成IC的数字信号处理器40的预处理器50中如稍后描述的那样处理来自模拟信号处理器30的数字视频信号。随后，在数字信号处理器40的闪烁检测和减少单元60中，如稍后所描述的那样在每个信号分量的基础上检测并减少荧光闪烁分量。此后，在数字信号处理器40的后处理器70中，如稍后所描述的那样处理所产生的信号，从而将信号最终转换成亮度信号Y以及红和蓝色差信号R-Y和B-Y，然后将其从数字信号处理器40输出。
系统控制器80由微计算机或类似的设备形成，并且控制摄像机中的各个单元。
具体来说，将镜头驱动控制信号从系统控制器80提供给用IC配置的镜头驱动器91，并且镜头驱动器91驱动摄像光学系统10中的镜头和光圈。
此外，将定时控制信号从系统控制器80提供给定时发生器92，并且将各种定时信号从定时发生器92提供给CMOS摄像元件20，从而驱动CMOS摄像元件20。这时，也根据来自系统控制器80的定时控制信号来自由地控制CMOS摄像元件20的快门速度。
另外，将各个信号分量的检测信号从数字信号处理器40加载到系统控制器80，从而根据来自系统控制器80的AGC信号，通过如上所述的模拟信号处理器30来控制各个颜色信号的增益，并且通过系统控制器80来控制数字信号处理器40中的信号处理。
而且，将系统控制器80连接到相机抖动传感器93，从而将从相机抖动传感器93获得的相机抖动信息用于抖动校正控制。此外，当由于相机使用者的运动而导致摄像目标在短时期内激烈变化时，通过相机抖动传感器93的输出，用系统控制器80来检测这种巨大的变化，并且控制闪烁检测和减少单元60。
此外，通过接口98将由微计算机或类似的设备构成的系统控制器80连接到操作单元96和用作用户接口95的显示单元97。因此，通过系统控制器80来检测通过操作单元96进行的设定操作、和选择操作等，并且在系统控制器80的控制下，在显示单元97上显示摄像机的设定状态和控制状态等。
当由于摄像机操作，诸如摄像机使用者通过操作单元96进行的缩放操作，而导致摄像目标在短时期内激烈变化时，通过系统控制器80来检测这种巨大的变化，并且控制闪烁检测和减少单元60。
当通过系统控制器80检测到原本不需要闪烁检测和减少处理的情况时，诸如在户外摄像或以静止图像摄像模式摄像时，控制闪烁检测和减少单元60。
(读出通道和固定模式噪音：图2)
不同于CCD摄像元件，诸如CMOS摄像元件等的XY地址扫描型摄像元件在用于读出像素的方法上具有灵活性。具体来说，通过多个读出通道可以用任一读出方法随意读出任一位置(地址)上的像素的信号。这个特征也使用于图1中的例子的CMOS摄像元件20。
在图2中示出了这个特征。CMOS摄像元件20由例如用于RGB各种颜色的CMOS摄像元件构成的，作为用于基色的三板系统(three-plate system)。将用于各种颜色的CMOS摄像元件中的像素以每列为基础耦合到读出行C1、C2、C3、C4...，每行包括基于列结构系统的电荷累积电容器32和CDS(相关双取样)电路31。当读出通道的数目例如为二时，通过QV放大器33-1将通过每个其它读出行C1、C3...读出的像素信号从电荷转换成电压，然后通过取样和保持电路34-1对其进行取样和保持，接下来通过缓冲器35-1将其提供给A/D转换器36-1，从而被转换成通道1的数字像素数据。此外，通过QV放大器33-2将通过每个其它读出行C2、C4...读出的像素信号从电荷转换成电压，然后通过取样和保持电路34-2对其进行取样和保持，接下来通过缓冲器35-2将其提供给A/D转换器36-2，从而被转换成通道2的数字像素数据。
并且当CMOS摄像元件20是用于基色的一板系统(one-plate system)，并且其也是用于补色的系统时，同样可以通过多个读出通道来读出像素。
当以这种方式通过多个读出通道从CMOS摄像元件20读出信号时，由于逐个通道的信号路径是不同的，所以通道之间的信号增益也存在变化。如果不考虑这种变化来进行读出信号的后续信号处理，则信号增益的变化所带来的影响会直接出现在输出图像中，从而明显地恶化图像质量。
因此，当通过多个读出通道从CMOS摄像元件20读出信号时，要求对各个读出通道的信号增益进行校正，从而如稍后所描述的那样来估计通道之间的信号增益的变化。
此外，在诸如CMOS摄像元件等的XY地址扫描型摄像元件中会出现固定模式噪音。具体来说，当基于类似图2中的列结构系统等的列结构系统，从CMOS摄像元件20中读出信号时，如图2中的输出图像1中所示，固定模式噪音以每列为基础作为垂直条纹噪音2出现。
这种固定模式噪音在明亮的场景中不会引起问题。但是，当对于暗场景增加信号增益时，这种噪音往往变得不可忽视。因此，当根据如图2中的列结构系统的列结构系统，从CMOS摄像元件20中读出信号时，校正信号电平，从而如稍后所描述的那样来降低垂直条纹噪音2。
(数字信号处理方法：图3)
在图1的例子中，将数字信号处理器40划分为预处理器50、闪烁检测和减少单元60、和后处理器70。此外，在这个例子中，如图3所示，预处理器50包括以下列顺序排列的数字箝位电路51、通道间增益校正电路52、固定模式噪音降低电路53、缺陷像素数据校正电路54、噪音降低电路55、镜头黑点校正电路56、和数字增益调整电路57。后处理器70包括以下列顺序排列的白平衡调整电路71、伽玛校正电路72、和合成矩阵电路73。此外，后处理器70包括缺陷像素检测电路74，用于根据白平衡调整电路71的输出信号来检测CMOS摄像元件20中的缺陷像素。
当来自模拟信号处理器30的输出、即到数字信号处理器40的输入，是如上所述的RGB基色信号时，通过处于预处理器50的最前级(most anteriorstage)的数字箝位电路51以预定电平来箝位输入RGB基色信号的黑色电平。
对于其黑色电平已被箝位过的RGB基色信号，处于下一级的通道间增益校正电路52校正各个读出通道的信号增益，从而估计逐个通道的信号增益的改变。当通过如上所述的多个读出通道从CMOS摄像元件20中读出信号时会发生这种变化。
具体来说，从黑色信号区(光学黑体(optical black))的信号中检测读出通道之间的增益差，并且通过增益差来校正各个读出通道的增益，其中所述黑色信号区被预先设置为CMOS摄像元件20中的像素。
处于再下一级的固定模式噪音降低电路53降低已进行过通道间增益校正的RGB基色信号中的上述垂直条纹固定模式噪音。具体来说，从黑色信号区(光学黑体)的信号中检测逐列之间的信号电平的变化，并且偏移各个列的信号电平，以便估计所述变化，其中所述黑色信号区被预先设置为CMOS摄像元件20中的像素。
在已降低了其固定模式噪音的RGB基色信号中，处于下一级的缺陷像素数据校正电路54校正稍后将要描述的后处理器70的缺陷像素检测电路74检测到的缺陷像素的数据(像素值)。具体来说，通过采用插值计算，从缺陷像素的外围像素的数据中计算和产生缺陷像素的数据，并且用计算产生的数据来替换原始数据。
下一级的噪音降低电路55降低已校正过缺陷像素数据的RGB基色信号中的噪音。这种将要降低的噪音通常是不同于上述固定模式噪音的高频噪音。具体来说，为了降低这种噪音，对RGB基色信号进行用于仅提取低频分量的滤波处理。
在降低噪音之后，处于下一级的镜头黑点校正电路56为RGB基色信号校正镜头黑点。镜头黑点是一种信号量根据摄像位置而不同的现象。通常来说，当离镜头的光轴的中心的距离变得更远时，图像变得更黑，并且信号量减少。
具体来说，根据用作摄像光学系统10的镜头的黑点信息，或根据系统控制器80或数字信号处理器40中设定的黑点量来调整RGB基色信号的各个像素数据的增益，从而整个图像平面亮度一致，其中在系统控制器80或数字信号处理器40预先准备的ROM表中描述了所述黑点信息。
在处于预处理器50的最后级的数字增益调整电路57中，根据系统控制器80中的增益设定，为曝光调节对已校正过镜头黑点的RGB基色信号的增益进行调整。在这个例子的摄像装置中，可以通过设定光圈、设定电子快门速度、和数字增益调整电路57进行增益调整来调节曝光量。这种与光圈设定和电子快门速度相关的数字增益调整电路57进行的增益调整能够获得期望的曝光量，并且实现自动曝光调节功能。
对于作为处于预处理器50的最后级的数字增益调整电路57的输出的RGB基色信号，闪烁检测和减少单元60如稍后所述那样检测荧光闪烁，从而减少闪烁分量。
对于已被闪烁检测和减少单元60减少过闪烁分量的RGB基色信号，首先，处于后处理器70的最前级的白平衡调整电路71对各个信号的增益进行白平衡调整。
此外，在后处理器70中，在白平衡调整电路71的输出端，缺陷像素检测电路74检测CMOS摄像元件20中的缺陷像素。
通常，在零入射光的条件下进行缺陷像素的检测。因此，例如，当摄像机的电源开启时，立刻关闭光圈以获得零入射光状态，从而根据系统控制器80或数字信号处理器40的存储器中所存储的缺陷像素的信号电平和地址来规定缺陷像素。由于缺陷像素的位置(地址)在摄像期间也不改变，所以不需要在已检测过一次缺陷像素之后实时检测缺陷像素。因此，在正常摄像期间，不执行缺陷像素检测电路74的检测操作，而是将作为白平衡调整电路71的输出的RGB基色信号直接输入到伽玛校正电路72。
在调整白平衡之后，伽玛校正电路72转换RGB基色信号的灰度级。
合成矩阵电路73根据已进行过伽玛校正的RGB基色信号来产生亮度信号Y以及色差信号R-Y和B-Y，作为数字信号处理器40的输出。
尽管上述的处理是用于基色系统，但是当将各个补色信号输入到补色系统的数字信号处理器40中时，也可以进行类似的处理。
数字信号处理器40进行的以上顺序的各种处理提供了以下优势。
<与数字箝位的关系>
首先，将在以下描述数字箝位与闪烁检测和减少处理之间的关系。具体来说，除非在检测闪烁分量之前已定义了视频信号的黑色电平，否则不能正确并准确地检测闪烁分量，从而不能确实并充分地减少闪烁分量。
例如，从CMOS摄像元件20获得的视频信号的黑色电平根据温度等而发生变化。但是，如果通过数字箝位正确地定义视频信号的黑色电平，则黑色电平可以在后续的信号处理中始终保持不变，这就能够执行确定而稳定的处理。
相反，如果在数字箝位之前进行闪烁检测和减少处理，那么黑色电平在闪烁检测和减少处理中不能保持不变。因此，不能正确并准确地检测闪烁分量，从而不能确实并充分地减少闪烁分量。此外，如果在数字箝位之前执行闪烁检测处理，并且在数字箝位之后进行闪烁减少处理，那么由于闪烁检测的定时在时间上偏移了根据检测结果通过校正信号电平或信号增益而实现的闪烁减少的定时，所以不仅不能如上所述正确并准确地检测闪烁分量，而且不能确实并充分地减少闪烁分量。
反之，如果像图3中的例子一样在闪烁检测和减少处理之前进行数字箝位，即，如果在数字箝位之后进行闪烁检测和减少处理，那么可以正确并准确地检测闪烁分量，从而确实而充分地减少闪烁分量。
<与通道间增益校正的关系>
通道间增益校正与闪烁检测和减少处理之间的关系如下。具体来说，除非在检测闪烁分量之前已经消除了读出通道之间的增益的变化，否则不能正确并准确地检测闪烁分量，从而不能确实并充分地减少闪烁分量。
更具体地来说，当像图2中的例子一样通过多个通道来读出同色信号，并且像图3中的例子一样为每个颜色信号执行闪烁检测和减少处理时，除非在处理之前已经消除了读出通道之间的增益的变化，否则对于闪烁检测的每个取样点来说闪烁分量的检测电平是不同的。因此，不能正确并准确地检测闪烁分量，从而不能确实并充分地减少闪烁分量。如果通过多个通道读出一个颜色信号或亮度信号，这也适用于从这个信号检测闪烁分量的情况。
相反，如果像图3中的例子一样，在闪烁检测和减少处理之前执行通道间增益校正，即，如果在通道间增益校正之后进行闪烁检测和减少处理，则能够正确并准确地检测闪烁分量，从而确实并充分地减少闪烁分量。
<与固定模式噪音降低处理的关系>
固定模式噪音降低处理与闪烁检测和减少处理之间的关系如下。具体来说，除非在检测闪烁分量之前就已经减少了固定模式噪音(FPN)，否则不能正确并准确地检测闪烁分量，从而不能确实并充分地减少闪烁分量。
更具体地来说，在明亮的场景中，表示为图2中的垂直条纹噪音2的固定模式噪音与视频信号分量的比例是非常小的，因此几乎没有发现问题。但是，在类似于在荧光灯的照明下得到的暗场景等的出现荧光闪烁的暗场景中，固定模式噪音与视频信号分量的比例急速增大。因此，固定模式噪音的存在对闪烁检测有不利影响，从而不能正确并准确地检测闪烁分量。
相反，如果像图3中的例子一样，在闪烁检测和减少处理之前进行固定模式噪音降低处理，即，如果在固定模式噪音降低处理之后进行闪烁检测和减少处理，则能够正确并准确地检测闪烁分量，从而能够确实并充分地减少闪烁分量。
<与噪音降低处理的关系>
噪音降低处理与闪烁检测和减少处理之间的关系如下。具体来说，相对于荧光闪烁分量，在这种噪音降低处理中将要降低的噪音具有非常高的频率。因此，可以说甚至当没有执行这种噪音降低处理时，这种噪音也没有直接对闪烁检测和减少造成不利影响。
但是，如果像图3的例子一样，在闪烁检测和减少处理之前进行噪音降低处理，则可以进一步降低将要对其进行闪烁检测的信号中的噪音分量。因此，能够更加正确并准确地进行闪烁检测，从而能够更加确实并充分地降低闪烁。
<与镜头黑点校正的关系>
镜头黑点校正与闪烁检测和降低处理之间的关系如下。具体来说，除非在检测闪烁分量之前就已经校正了镜头黑点，否则就不能正确并准确地检测闪烁分量，从而不能确实并充分地减少闪烁分量。
更具体地来说，当离光轴的中心的距离变得越远时，镜头黑点的程度(degree)就变得更大，因此当离光轴的中心的距离变得越远时，视频信号电平就变得越低。当入射光的变化均匀地出现在整个摄像目标上时，尽管闪烁本身在整个摄像目标上是均匀的，但是作为视频信号的闪烁电平会由于镜头黑点而变化。因此，除非在闪烁检测和减少处理之前就已经校正了镜头黑点，否则不能正确地检测闪烁电平，从而不能确实减少闪烁分量。特别是，当闪烁分量被检测为正弦波或如稍后将要描述的例子中的重叠低阶正弦波时，图像平面的垂直方向上的视频信号电平中的差值的存在会给闪烁电平检测带来麻烦。
相反，如果像图3的例子中一样，在闪烁检测和减少处理之前校正镜头黑点，即，如果在校正了镜头黑点之后执行闪烁检测和减少处理，则能够正确并准确地检测闪烁分量，从而能够确实并充分地减少闪烁分量。
<与数字增益调整的关系>
由于进行数字增益调整是为了实现如上所述的自动曝光调节，调整之后的视频信号具有保持不变的曝光量。在仅通过设定光圈和设定电子快门速度就可以保持曝光量不变的条件下，不会出现在根据闪烁检测和减少处理与曝光量调节之间的关系来执行闪烁检测和减少处理时而引发问题的情况。相反，如果在通过数字增益调整在调节曝光量之前进行闪烁检测和减少处理，那么输入到闪烁检测和减少单元的视频信号的电平会根据摄像目标发生很大的改变。从而不能正确并准确地检测闪烁分量。
反之，如果像图3中的例子一样，在闪烁检测和减少处理之前进行数字增益调整，即，如果在数字增益调整之后执行闪烁检测和减少处理，则能够正确并准确地检测闪烁分量，从而能够确实并充分地减少闪烁分量。
<与白平衡调整的关系>
白平衡调整与闪烁检测和减少处理之间的关系如下。具体来说，如果在每个颜色信号的基础上将闪烁分量分别叠加到颜色信号上，在白平衡调整之后进行闪烁分量检测和减少处理会导致以下状态：从白平衡调整的观点来看，输入视频信号会在每个颜色的基础上分别发生改变，这将会给白区的提取带来麻烦。因此，不能获得适当的白平衡。
相反，如果像图3的例子一样，在白平衡调整之前进行闪烁检测和减少处理，即，如果在闪烁检测和减少处理之后进行白平衡调整，则能够正确地提取白区，从而能够确实获得适当的白平衡。
<与缺陷像素检测的关系>
如果未如上所述在摄像期间进行缺陷像素检测，则缺陷像素检测与闪烁检测和减少处理之间的关系就不是特别重要。通常来说，在入射光为零的状态下进行缺陷像素检测。但是，即使入射光不是零，只要在非常黑的场景中进行检测，也可以比较容易地规定缺陷像素。此外，由于通常其中缺陷像素不明显的场景为暗场，所以不仅可以采用在入射光为零的状态下检测缺陷像素的方法，而且也可以采用在拍摄暗场时实时检测缺陷像素的方法。但是，在后一种方法中，如果在缺陷像素检测时输入视频信号中包含闪烁分量，那么缺陷像素检测会受到不利影响，从而不能正确地检测缺陷像素。
相反，如果像图3的例子中一样在缺陷像素检测之前进行闪烁检测和减少处理，即，如果在闪烁检测和减少处理之后检测缺陷像素，即使是将在拍摄暗场时实时检测缺陷像素的方法用作缺陷像素检测电路74中的缺陷像素检测方法，也能够正确地检测缺陷像素。因此，可以在缺陷像素数据校正电路54中高准确度地校正缺陷像素的数据。
[闪烁检测和减少方法：图4至9]
对于用于在闪烁检测和减少单元60中检测和减少闪烁的方法本身没有任何特别的限制。
不可能采用像上述专利文献1(日本专利公开号：2000-350102)或专利文献2(日本专利公开号：2000-23040)中所公开的方法一样的、通过光接收元件和光测量元件测量荧光灯的光量来估计(检测)闪烁分量的方法。但是，也可以采用其它的方法，只要这种方法是通过使用由于从摄像元件获得的视频信号的A/D转换而导致的视频信号的荧光闪烁的连续性来检测(估计)闪烁分量，然后根据检测结果来校正视频信号的电平或增益，从而减少闪烁分量。
在本发明的上述例子中，为检测和减少闪烁分量，将闪烁检测和减少单元60设置在数字信号处理器40的预处理器50和后处理器70之间，其中所述预处理器50包括数字箝位电路51、通道间增益校正电路52、固定模式噪音降低电路53、缺陷像素数据校正电路54、噪音降低电路55、镜头黑点校正电路56和数字增益调整电路57，而所述后处理器70包括白平衡调整电路71、伽玛校正电路72、合成矩阵电路73和缺陷像素检测电路74。
如上所述，对闪烁检测和减少方法本身没有任何特殊的限制。但是，根据与本发明者的发明有关的在先申请(日本专利申请号2003-173642)中的方法，可以正确并准确地检测诸如CMOS摄像元件灯的XY地址扫描型摄像元件中所固有的荧光闪烁分量，并且通过简单的信号处理可以确实并充分地减少所述荧光闪烁分量，而无需考虑摄像目标、视频信号电平、和荧光灯的种类等。
在先中请的闪烁检测和减少方法包括以下步骤：(a)在至少一个水平周期的时间间隔内积分其为来自摄像元件的视频信号(每个颜色或亮度信号的颜色信号)的输入图像信号，(b)标准化积分值、或相邻场或帧的积分值的差值，(c)提取标准化后的积分值或差值的频谱，(d)根据所提取的频谱估计闪烁分量，和(e)在所估计的闪烁分量和输入图像信号上进行运算，从而消除所估计的闪烁分量。
标准化步骤(b)包括以下子步骤中的至少一个：(b1)将差值除以连续多个场或帧的积分值的平均值，(b2)将积分值除以连续多个场或帧的积分值的平均值，然后从相除结果中减去预定值，和(b3)将差值除以积分值。此外，频谱提取步骤(c)采用将标准化后的积分值或差值用于傅里叶变换的方法，或类似方法。
(闪烁检测和减少单元的构造例子：图4至9)
在先申请的发明中的闪烁检测和减少方法中，如果输入到闪烁检测和减少单元60的视频信号是像图3的例子中一样的RGB基色信号，则为每个RGB基色信号提供图4中所示的闪烁检测和减少单元60A作为闪烁检测和减少单元60。需要注意的是，输入到闪烁检测和减少单元60的视频信号可以是如上所述的补色信号。
图4的例子是用于NTSC(垂直同步频率为60Hz)CMOS摄像机(如上所述，在采用荧光灯照明的条件下，当电源频率为50Hz时会出现在时间轴上具有三个场的重复周期和连续性的闪烁，而当电源频率为60Hz时本来不出现闪烁)。需要注意的是，稍后将描述PAL(垂直同步频率为50Hz)CMOS摄像机、将其选择性地设置成NTSC或PAL系统的CMOS摄像机、和渐进式(progressive)CMOS摄像机。
在图4的例子中，术语“输入图像信号”是指输入到闪烁检测和减少单元60A的、但还未进行闪烁检测和减少处理的每个RGB基色信号。术语“输出图像信号”是指从闪烁检测和减少单元60A输出的、已经进行了闪烁检测和减少处理的每个RGB基色信号。
尽管图12和13示出了具有一致性的摄像目标，但是闪烁分量通常与摄像目标的信号强度成比例。
因此，当将普通摄像目标的场n和像素(x，y)的输入图像信号定义为In’(x，y)时，通过图5中的等式(1)来表示信号In’(x，y)，作为不包括闪烁分量的信号分量加上与信号分量成比例的闪烁分量的和。
在等式(1)中，In(x，y)是信号分量，Гn(y)*In(x，y)是闪烁分量，而Гn(y)是闪烁系数。一个水平周期远远少于荧光灯的光发射周期(当电源频率为50Hz时为1/100秒，而当电源频率为60Hz时其为1/120秒)，从而对于相一场的同一行来说，可以认为闪烁系数是不变的。因此，用Гn(y)来表示闪烁系数。
为了统一闪烁系数Гn(y)，以如图5的等式(2)中所示的傅里叶数列中扩展的形式描述了闪烁系数。因此，可以以覆盖了所有光发射特性和余辉特性的形式来表示闪烁系数，其中光发射特性和余辉特性会根据荧光灯的种类而有所不同。
等式(2)中的符号λo表示如图13中所示的平面内闪烁的波长。如果将每个场中读出行的数目定义为M，并且电源频率为50Hz，则波长λo对应于L(＝M*60/100)行。符号ωo表示由于对波长λo进行标准化而产生的标准化角频率。
符号γm表示各个级(m＝1，2，3...)的闪烁分量的振幅。符号Φmn表示各个级的闪烁分量的初始相位，其是根据荧光灯的光发射周期和曝光定时来确定的。但是，如果垂直同步频率为60Hz，则初始相位Φmn每三个场取相同值。因此，通过图5的等式(3)来表示一个场与前一场之间的初始相位Φmn的差值。
在图4的例子中，为了减少用于闪烁检测的摄像目标的图像模式的影响，如图5的等式(4)所示，最初在图像平面的水平方向上通过积分块62来积分一行上的输入图像信号In’(x，y)，从而计算积分值Fn(y)。等式(4)中的符号αn(y)是如图5的等式(5)所示的、由于一行上的信号分量In(x，y)的积分而产生的积分值。
将计算出的积分值Fn(y)存储并保持在积分值保持块63中，以便进行后续场的闪烁检测。当垂直同步频率为50Hz时，将积分值保持块63构造成能够保持至少两个场的积分值。
如果摄像目标是均匀的，则信号分量In(x，y)的积分值αn(y)是定值，从而可以容易地从输入图像信号In’(x，y)的积分值Fn(y)中提取闪烁分量αn(y)*Гn(y)。
但是，在普通摄像目标中，积分值αn(y)还包含m*ωo分量。因此，作为闪烁分量的亮度分量和颜色分量不能从作为摄像目标本身的信号分量的分量中分离出来，从而不能只是单纯地提取闪烁分量。此外，由于等式(4)中的第二项的闪烁分量是远远小于其第一项的信号分量的，所以闪烁分量几乎隐藏在信号分量中，从而可以说从积分值Fn(y)中直接提取闪烁分量是不可能的。
为此，在图4的例子中，将连续三个场的积分值用于从积分值Fn(y)消除积分值αn(y)的影响。
具体来说，在这个例子中，在计算积分值Fn(y)时，从积分值保持块63中搜索出在当前场的一场之前的场的同一行的积分值Fn_1(y)和在当前场的两个场之前的场的同一行的积分值Fn_2(y)。接下来，平均值计算块64计算三个积分值Fn(y)、Fn_1(y)、和Fn_2(y)的平均值AVE[Fn(y)]。
如果可以认为摄像目标在连续三个场期间是几乎不变的，就可以认为积分值αn(y)为相同值。如果在三个场期间摄像目标的运动非常小，这个假设在实际使用中不会引发任何问题。此外，计算连续三个场的积分值的平均值相当于其闪烁分量相位根据等式(3)的关系彼此偏移了(-2π/3)*m。从而消除了闪烁分量。因此，通过图6的等式(6)来表示平均值AVE[Fn(y)]。
以上描述是用于以下情况：在假设通过图6的等式(7)表示的近似值有效的基础上计算连续三个场的积分值的平均值。但是，如果摄像目标的运动较大，则等式(7)的近似值无效。
为了解决这个问题，可以在还考虑了摄像目标的较大运动的闪烁检测和减少单元60A中进行以下操作。具体来说，在积分值保持块63中保持三个或三个以上场的积分值，并且计算四个或四个以上场的积分值的平均值，包括当前场的积分值Fn(y)。因此，由于时间轴方向上的低通滤波器操作，摄像目标的运动影响会变小。
需要注意的是，由于闪烁具有三个场的重复周期，所以需要计算连续j(j是通过将至少为2的整数乘以3得到的数值，即，j为6、9......中的任意一个)个场的积分值的平均值，以便消除闪烁分量，并且将积分值保持块63构造成能够保持至少(j-1)个场的积分值。
图4的例子对应于图6的等式(7)的近似值有效的情况。在这种情况下，差值计算块65计算来自积分块62的当前场的积分值Fn(y)与来自积分值保持块63的当前场的前一场的积分值Fn_1(y)之间的差值，从而计算通过图6的等式(8)表示的差值Fn(y)-Fn_1(y)。等式(8)还是以假设等式(7)的近似值有效为前提。
在差值Fn(y)-Fn_1(y)中，已经完全消除了摄像目标的影响。因此，相对于积分值Fn(y)，差值Fn(y)-Fn_1(y)更清除地表示了闪烁分量(闪烁系数)的具体情况。
在图4的例子中，随后在标准化块66中，将来自差值计算块65的差值Fn(y)-Fn_1(y)除以来自平均值计算块64的平均值AVE[Fn(y)]以便进行标准化，从而计算标准化差值gn(y)。
根据图6的等式(6)和(8)以及三角函数的和化积公式，如图7的等式(9)所表示的那样来扩展标准化差值gn(y)，最后根据图5的等式(3)中的关系来表述标准化差值gn(y)。通过等式(11a)和(11b)分别表示等式(10)中的符号|Am|和θm。
在差值Fn(y)-Fn_1(y)中，还时有摄像目标的信号强度的影响。因此，差值Fn(y)-Fn_1(y)包含了由于根据区域而决定的闪烁而导致的亮度变化和颜色变化的电平差。相反，上述标准化允许在整个区域上将由于闪烁而导致的亮度变化和颜色变化的电平调整成相同电平。
通过图7的等式(11a)和(11b)表示的符号|Am|和θm分别表示标准化值gn(y)的各个级的频谱的振幅和初始相位。如果对标准化差值gn(y)进行傅里叶变换，并且检测各个级的频谱的振幅|Am|和和初始相位θm，则可以根据图8的等式(12a)和(12b)来获得图5的等式(2)中所示的闪烁分量的各个级的振幅γm和初始相位Φmn。
因此，在图4的例子中，在DFT(离散傅里叶变换)块67中对来自标准化块66的标准化差值gn(y)中的、对应于闪烁的一个波长(L行)的数据进行离散傅里叶变换。
如果将DFT算术运算表示为DFT[gn(y)]，并且将级m的DFT结果定义为Gn(m)，则通过图8的等式(13)来表示DFT算术运算。通过等式(14)来表示等式(13)中的符号W。此外，根据DFT的定义，可以通过图8的等式(15a)和(15b)来表示等式(11a)和(11b)与等式(13)之间的关系。
因此，根据等式(12a)、(12b)、(15a)、和(15b)，可以根据图8的等式(16a)和(16b)来获得闪烁分量的各个级的振幅γm和初始相位Φmn。
将DFT算术运算的数据长度设定为闪烁的一个波长(L行)的原因在于这个数据长度可以直接获得一组其为标准化角频率ωo的整数倍的离散频谱。
尽管通常将FFT(快速傅里叶变换)用作数字信号处理中的傅里叶变换，但是这个例子也敢于采用DFT。其原因在于傅里叶变换的数据长度不是2的幂次方，从而DFT比FFT更加方便。需要注意的是，也可以采用具有正在处理的输入/输出数据的FFT。
在荧光灯的实际照明下，甚至当将级数m限定在几个级的范围内时，也可以非常近似地估计闪烁分量，从而没有必要在DFT算术运算中输出所有数据。因此，就计算效率而言，DFT相对于FET更有优势。
在DFT块67中，起初通过等式(13)定义的DFT算术运算来提取频谱，然后通过根据等式(16a)和(16b)的计算估计闪烁分量的各个级的振幅γm和初始相位Φmn。
在图4的例子中，随后闪烁产生块68根据来自DFT块67的振幅γm和初始相位Φmn的估计值来计算通过图5的等式(2)表示的闪烁系数Гn(y)。
如上所述，在荧光灯的实际照明下，甚至当将级数m限定在几个级的范围内时，也可以非常近似地估计闪烁分量。因此，在根据等式(2)计算闪烁系数Гn(y)时，总级数没必要是无穷大，而是可以将其限定在可达预定级的级数的范围内，即，可达第二级的级数范围内。
根据上述方法，甚至对于诸如黑背景部分和低亮度部分等的区域，可以通过计算差值Fn(y)-Fn_1(y)和用平均值AVE[Fn(y)]标准化差值来高准确度地检测闪烁分量，其中在黑背景部分和低亮度部分中，闪烁分量非常少，以至于闪烁分量完全隐藏在积分值Fn(y)的信号分量中。
估计来自达到适当级的频谱的闪烁分量相当于没有完全再现标准化差值gn(y)而进行近似。但是，由于这样的近似，甚至当由于摄像目标的条件而在标准化差值gn(y)中出现不连续部分时，仍然可以准确地估计不连续部分的闪烁分量。
根据图5的等式(1)，通过图8的等式(17)来表示不包括闪烁分量的信号分量In(x，y)。
因此，在图4的例子中，在算术块69中，将来自闪烁产生块68的闪烁系数Гn(y)加1，然后将输入图像信号In’(x，y)除以和[1+Гn(y)]。
这种算术运算几乎可以完全消除输入图像信号In’(x，y)中包含的闪烁分量，从而获得实质上不包含闪烁分量的信号分量In(x，y)作为来自算术块69的输出图像信号。
如果由于系统的运算能力的限制而导致不能在一场的时间周期内完成上述处理，则也可以采用以下构造。具体来说，通过运用每三个场就重复相同的闪烁模式的特性，在算术块69中提供保持三个场上的闪烁系数Гn(y)的功能，从而所保持的闪烁系数Гn(y)经受当前场的三个场之后的场的输入图像信号In’(x，y)的算术运算。
在图4的例子中，并非像稍后所描述的另一构造例子一样来标准化积分值Fn(y)，而是通过平均值AVE[Fn(y)]来标准化差值Fn(y)-Fn_1(y)。但是，为了方便起见，将闪烁检测和减少单元60A中的DFT块67的前部(previouspart)称为标准化积分值计算块61。
(闪烁检测和减少单元的另一构造例子)
如果像图4的例子一样，用平均值AVE[Fn(y)]来标准化差值Fn(y)-Fn_1(y)，则可以有效地保证有限计算准确性。但是，只要可以满足所要求的计算准确性，就可以用平均值AVE[Fn(y)]直接标准化来自积分块62的积分值Fn(y)。
但是在这种情况下，通过图9的等式(18)来表示标准化差值gn(y)。因此，为了在类似于图4的例子的后续级中进行处理，如图9的等式(19)中所示，将通过等式(18)表示的标准化差值gn(y)减去1，并且将相减的结果发送到DFT块67.
在这种情况下，满足了关系|Am|＝γm和θm＝Φmn。因此，根据图8的等式(15a)和(15b)，可以根据图9的等式(20a)和(20b)来获得振幅γm和初始相位Φmn。
在图4的例子中，DFT块67通过图8的等式(13)所定义的DFT算术运算来提取频谱，然后通过等式(16a)和(16b)的算术运算来估计闪烁分量的各个级的振幅γm和初始相位Φmn。相反，在另一构造例子中，DFT块67通过等式(13)所定义的DFT算术运算来提取频谱，然后通过等式(20a)和(20b)的算术运算来估计闪烁分量的各个级的振幅γm和初始相位Φmn。后续处理与图4的例子中的后续处理相同。
在该另一构造例子中，不必提供差值计算块65，并且相应地可以简化闪烁检测和减少单元60A。
在图4的例子中，如果图6的等式(7)的近似值保持真，则用于标准化差值Fn(y)-Fn_1(y)的平均值AVE[Fn(y)]等于如等式(6)所示的积分值αn(y)。此外，由于图5的等式(4)中的第二项[αn(y)*Гn(y)]远远小于第一项αn(y)，所以第二项对于标准化的影响非常小。
因此，即使是采用来自积分块62的积分值Fn(y)，而不是采用用于标准化差值Fn(y)-Fn_1(y)的平均值AVE[Fn(y)]，几乎仍然没有发现问题，并且类似于使用平均值AVE[Fn(y)]的情况，可以有效地检测闪烁分量。
如果使用积分值Fn(y)，则足以使积分值保持块63能够仅保持一场的积分值，并且无需平均值计算块64。因此，可以简化闪烁检测和减少单元60A。
在上述例子中，在一行上积分输入图像信号In’(x，y)。但是，由于输入图像信号In’(x，y)的积分是为了获得具有正在减少的图像目标的图像模式的影响的闪烁分量的取样值，所以不将积分的行数限制为1，而可以在多行上进行积分。
当垂直同步频率为60Hz和电源频率为50Hz时，在图像平面上显示为条纹图案的荧光闪烁的一个周期等于如上所述的L(＝M*60/100)行。因此，如果在一个周期内、即在L行中获得了至少两个取样值，则所谓的取样理论允许检测闪烁分量。
实际上，期望在闪烁的一个周期内获得至少几个或至少10个取样值。即使在这种情况下，可以在至少几倍或至少十倍于水平周期的时间间隔内积分输入图像信号In’(x，y)。积分时间间隔可以不仅仅是水平周期的整数倍。具体来说，其可以例如是2.5个水平周期。
积分时间间隔的延长以及每单位时间的取样次数的减少会降低DFT块67中的DFT算术运算的负担，并且可以减少摄像目标在图像平面的垂直方向上移动的影响。
在上述例子中，当输入图像信号In’(x，y)的电平是在饱和区中时，在算术块69中进行图8的等式(17)的算术运算导致信号分量(在上述例子中为基色信号分量)的改变。
为了解决这个问题，期望将算术块69构造成进行如下操作。具体来说，算术块69为每个像素确定输入图像信号In’(x，y)的电平是否等于或高于饱和区的阈电平。然后，对于其输入图像信号In’(x，y)具有低于饱和区的阈电平的电平的像素，算术块69输出图8的等式(17)的运算结果作为如上所述的输出图像信号In(x，y)。相反，对于其输入图像信号In’(x，y)具有等于或高于饱和区的阈电平的电平的像素，算术块69直接输出输入图像信号In’(x，y)作为输出图像信号In(x，y)。
由于这个操作，可以避免信号分量在输入图像信号In’(x，y)的电平在饱和区中时的变化，从而可以获得高图像质量的输出图像信号。
(户外摄像和在不用荧光灯的照明下摄像)
在户外摄像和在不用荧光灯的照明下摄像时，通常无需进行闪烁检测和减少处理。
此外，当通过使用能够捕获运动图像和静止图像的摄像机来捕获静止图像时，即使摄像机是CMOS摄像装置，也可以将一个图像平面中所有像素的曝光定时(曝光开始和曝光结束定时)设定为相同的定时。因此，可以避免出现荧光闪烁，从而无需进行闪烁检测和减少处理。这样，不同于在运动图像的摄像，对电子快门速度没有限制。因此，通过关闭机械快门保证光屏蔽，可以缓慢地从CMOS摄像元件中读出视频信号。
如果像这些情况一样无需闪烁检测和减少处理，则通过系统控制器80来控制闪烁检测和减少单元60(60A)，从而不用进行闪烁检测和减少处理，而将输入图像信号In’(x，y)直接输出作为输出图像信号In(x，y)。
(PAL系统和渐进式系统)
上述例子对应于NTSC(垂直同步频率为60Hz)CMOS摄像机。对于PAL(垂直同步频率为50Hz)CMOS摄像机，当在荧光灯的照明下并且电源频率为60Hz操作摄像机时，会出现在时间轴上具有五个场(五个图像平面)的重复周期和连续性的闪烁。因此，为闪烁检测和减少单元60(60A)提供一种构造以解决这种闪烁(其中用“五个场”来替换NTSC系统的例子中的“三个场”的构造)。
在被选择性地设定为NTSC或PAL系统的CMOS摄像机中，闪烁检测和减少单元60被构造成进行以下操作。具体来说，当摄像机被设定为NTSC系统时，闪烁检测和减少单元60也被切换成用于NTSC系统的单元。反之，当摄像机被设定为PAL系统时，闪烁检测和减少单元60也被切换成用于PAL系统的单元。
此外，对于例如具有30Hz的垂直同步频率(30Hz的帧频)的渐进式CMOS摄像机，当在荧光灯的照明下并且电源频率为50Hz操作摄像机时，会出现在时间轴上具有三个帧(三个图像平面)重复周期和连续性的闪烁。因此，为闪烁检测和减少单元60(60A)提供一种构造以解决这种闪烁(其中分别用“帧”和“三个帧”来替换NTSC系统的例子中的“场”和“三个场”的构造)。
[其它实施例]
在上述例子中，通过硬件来构造包括闪烁检测和减少单元60的数字信号处理器40。但是，也可以通过软件来构造闪烁检测和减少单元60或部分或全部数字信号处理器40。
此外，本发明也可以应用于采用除了CMOS摄像元件之外的XY地址扫描型摄像元件的摄像装置。
工业实用性
如上所述，根据本发明，可以正确并准确地检测荧光闪烁，从而可以确实并充分地减少荧光闪烁分量。

Claims (8)

1.一种信号处理方法，用于处理通过XY地址扫描型摄像元件对摄像目标摄像而获得的视频信号，所述方法包括：
校正步骤，用于校正由于视频信号的模数转换而引起的视频信号的电平或增益；和
闪烁检测和减少步骤，用于在校正步骤之后，从校正后的视频信号中检测荧光闪烁分量，并且减少荧光闪烁分量，其中
在校正步骤中，如果通过多个读出通道从摄像元件中读出视频信号，则执行通过从被预先设置为摄像元件中的像素的黑色信号区的信号中检测多个读出通道之间的增益差来均衡多个读出通道的信号增益的处理。
2.如权利要求1所述的信号处理方法，其中
在校正步骤中，执行用于降低摄像元件的固定模式噪音的处理。
3.如权利要求1所述的信号处理方法，其中
在校正步骤中，执行用于校正摄像元件中的缺陷像素的数据的处理。
4.如权利要求1所述的信号处理方法，其中
在校正步骤中，执行噪音降低处理。
5.如权利要求1所述的信号处理方法，其中
在校正步骤中，执行用于校正镜头黑点的处理。
6.如权利要求1至5中的任一权利要求所述的信号处理方法，其中
在闪烁检测和减少步骤之后，对已经减少了闪烁的视频信号执行白平衡调整。
7.如权利要求1至5中的任一权利要求所述的信号处理方法，其中
在闪烁检测和减少步骤之后，从已经减少了闪烁的视频信号中检测摄像元件中的缺陷像素。
8.一种包括XY地址扫描型摄像元件的摄像装置，所述装置包括：
转换部件，用于模数转换通过摄像元件对摄像目标摄像而获得的视频信号；
校正部件，用于校正转换后的视频信号的电平或增益；和
闪烁检测和减少部件，用于从校正后的视频信号中检测荧光闪烁分量，并且减少荧光闪烁分量，其中
如果通过多个读出通道从摄像元件中读出视频信号，则所述校正部件执行通过从被预先设置为摄像元件中的像素的黑色信号区的信号中检测多个读出通道之间的增益差来均衡多个读出通道的信号增益的处理。
CNB2005800176718A 2004-06-01 2005-06-01 摄像装置和信号处理方法 Expired - Fee Related CN100493152C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004163295A JP4487640B2 (ja) 2004-06-01 2004-06-01 撮像装置
JP163295/2004 2004-06-01

Publications (2)

Publication Number Publication Date
CN1961571A CN1961571A (zh) 2007-05-09
CN100493152C true CN100493152C (zh) 2009-05-27

Family

ID=35463197

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005800176718A Expired - Fee Related CN100493152C (zh) 2004-06-01 2005-06-01 摄像装置和信号处理方法

Country Status (6)

Country Link
US (1) US9055228B2 (zh)
EP (1) EP1753226A1 (zh)
JP (1) JP4487640B2 (zh)
KR (1) KR20070024559A (zh)
CN (1) CN100493152C (zh)
WO (1) WO2005120047A1 (zh)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101134208B1 (ko) 2004-10-01 2012-04-09 더 보드 어브 트러스티스 어브 더 리랜드 스탠포드 주니어 유니버시티 촬상 장치 및 그 방법
JP4498149B2 (ja) * 2005-01-17 2010-07-07 キヤノン株式会社 画像読み取り装置
JP4904749B2 (ja) 2005-09-08 2012-03-28 ソニー株式会社 フリッカ低減方法、フリッカ低減回路及び撮像装置
US8248515B2 (en) * 2006-02-07 2012-08-21 The Board Of Trustees Of The Leland Stanford Junior University Variable imaging arrangements and methods therefor
US8358354B2 (en) * 2009-01-26 2013-01-22 The Board Of Trustees Of The Leland Stanford Junior University Correction of optical abberations
JP5094454B2 (ja) * 2008-02-12 2012-12-12 キヤノン株式会社 撮像装置及びその制御方法
US7876371B2 (en) 2008-03-31 2011-01-25 Aptina Imaging Corporation Systems and methods to perform digital correlated double sampling using successive approximation analog to digital conversion techniques
CN101594457B (zh) * 2008-05-30 2012-11-21 深圳艾科创新微电子有限公司 一种分级降噪系统及方法
JP5099701B2 (ja) * 2008-06-19 2012-12-19 シャープ株式会社 信号処理装置、信号処理方法、制御プログラム、可読記録媒体、固体撮像装置および電子情報機器
JP2010021645A (ja) * 2008-07-08 2010-01-28 Nikon Corp 画像処理装置、撮像装置、および画像処理プログラム
EP2169592B1 (en) * 2008-09-25 2012-05-23 Sony Corporation Method and system for reducing noise in image data
US8531381B2 (en) * 2008-09-30 2013-09-10 Sharp Laboratories Of America, Inc. Methods and systems for LED backlight white balance
KR101574730B1 (ko) * 2008-11-17 2015-12-07 삼성전자 주식회사 영상 처리 장치 및 방법
WO2010058567A1 (ja) * 2008-11-20 2010-05-27 パナソニック株式会社 フリッカ低減装置、集積回路及びフリッカ低減方法
EP2262228A1 (en) 2009-06-09 2010-12-15 Global IP Solutions (GIPS) AB Detection and supression of flicker in a sequence of images
JP5358344B2 (ja) * 2009-08-12 2013-12-04 三星テクウィン株式会社 撮像装置及び撮像方法
JP2011091775A (ja) 2009-10-26 2011-05-06 Toshiba Corp 固体撮像装置
JP5523124B2 (ja) * 2010-01-26 2014-06-18 キヤノン株式会社 撮像装置
JP5625371B2 (ja) 2010-01-29 2014-11-19 ソニー株式会社 画像処理装置、および信号処理方法、並びにプログラム
DE102010061864A1 (de) * 2010-11-24 2012-05-24 Robert Bosch Gmbh Verfahren und Vorrichtung zur Abschätzung eines Fliegengittereffekts einer Bilderfassungseinrichtung
US8487272B2 (en) 2010-12-14 2013-07-16 Authentix, Inc. Fluorescence emissions detector
TWI469632B (zh) * 2011-11-09 2015-01-11 Silicon Motion Inc 抗閃爍攝錄裝置與攝錄方法
CN103220476B (zh) * 2012-01-20 2016-03-16 联咏科技股份有限公司 图像处理装置及方法
CN104380710B (zh) * 2013-04-12 2018-08-24 松下电器（美国）知识产权公司 闪烁减少装置、拍摄装置以及闪烁减少方法
JP6060824B2 (ja) * 2013-06-20 2017-01-18 株式会社Ｊｖｃケンウッド 撮像装置、及びフリッカ低減方法
US9584704B2 (en) * 2015-01-08 2017-02-28 Gean Technology Co. Limited Method for detecting electronic lighting flickering
US9571749B2 (en) * 2015-05-26 2017-02-14 Novatek Microelectronics Corp. Flicker detecting method for image capturing device
JP6576115B2 (ja) * 2015-06-17 2019-09-18 キヤノン株式会社 撮像装置及びその制御方法
KR102523301B1 (ko) * 2015-12-15 2023-04-19 삼성전자주식회사 플리커를 제거하는 이미지 센서 회로 및 이를 포함하는 카메라 장치
KR102486651B1 (ko) 2016-03-03 2023-01-11 삼성전자주식회사 이미지 센서
US10003758B2 (en) * 2016-05-02 2018-06-19 Microsoft Technology Licensing, Llc Defective pixel value correction for digital raw image frames
EP3594815A4 (en) * 2017-03-09 2021-03-24 Pioneer Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, COMPUTER PROGRAM AND RECORDING MEDIUM
CN107247284B (zh) * 2017-07-25 2023-09-22 苏州瑞派宁科技有限公司 一种闪烁探测器的增益校正装置和方法
JP7369517B2 (ja) * 2018-10-04 2023-10-26 株式会社ソニー・インタラクティブエンタテインメント センサモジュール、電子機器、被写体の検出方法およびプログラム
JP7023209B2 (ja) 2018-10-04 2022-02-21 株式会社ソニー・インタラクティブエンタテインメント 電子機器、アクチュエータの制御方法およびプログラム
CN114205487A (zh) * 2020-08-28 2022-03-18 超威半导体公司 内容自适应镜头阴影校正方法和装置
KR20220048090A (ko) * 2020-10-12 2022-04-19 삼성전자주식회사 주파수 도메인을 이용한 이미지 센서의 검사 방법 및 이를 수행하는 검사 시스템

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05308649A (ja) 1991-05-31 1993-11-19 Victor Co Of Japan Ltd カラ−カメラ装置
JP3407429B2 (ja) 1994-10-19 2003-05-19 松下電器産業株式会社 映像信号処理装置
JPH11164192A (ja) 1997-11-27 1999-06-18 Toshiba Corp 撮像方法及び装置
JP2000023040A (ja) 1998-06-30 2000-01-21 Toshiba Corp 固体撮像装置及びシステムオンチップ型固体撮像素子
JP2000165752A (ja) 1998-11-30 2000-06-16 Toshiba Corp 固体撮像装置の信号処理方法及び固体撮像装置
JP2000350102A (ja) 1999-06-02 2000-12-15 Sharp Corp 撮像装置のフリッカ補正回路および撮像素子
JP3749038B2 (ja) 1999-06-30 2006-02-22 株式会社東芝 固体撮像装置
JP2001186407A (ja) 1999-12-27 2001-07-06 Hitachi Ltd 撮像装置
JP3748031B2 (ja) 2000-06-07 2006-02-22 松下電器産業株式会社 映像信号処理装置及び映像信号処理方法
JP4022862B2 (ja) * 2002-06-11 2007-12-19 ソニー株式会社 固体撮像装置及びその制御方法
JP2004153705A (ja) 2002-10-31 2004-05-27 Matsushita Electric Ind Co Ltd 増幅型固体撮像装置及びそれを用いた撮像システム
JP4135503B2 (ja) * 2003-01-08 2008-08-20 株式会社ニコン ホワイトバランスの機能を有する電子カメラ
US7471315B2 (en) * 2003-03-14 2008-12-30 Aptina Imaging Corporation Apparatus and method for detecting and compensating for illuminant intensity changes within an image
JP4364903B2 (ja) * 2004-03-17 2009-11-18 富士通マイクロエレクトロニクス株式会社 自動利得制御回路

Also Published As

Publication number Publication date
JP4487640B2 (ja) 2010-06-23
US9055228B2 (en) 2015-06-09
WO2005120047A1 (ja) 2005-12-15
EP1753226A1 (en) 2007-02-14
US20080303920A1 (en) 2008-12-11
CN1961571A (zh) 2007-05-09
JP2005347939A (ja) 2005-12-15
KR20070024559A (ko) 2007-03-02

Similar Documents

Publication Publication Date Title
CN100493152C (zh) 摄像装置和信号处理方法
US7705893B2 (en) Imaging apparatus and flicker reduction method
JP4106554B2 (ja) 撮影環境判定方法および撮像装置
CN1929562B (zh) 闪烁减少方法、闪烁减少电路和图像拾取装置
US8115828B2 (en) Image processing apparatus, flicker reduction method, imaging apparatus, and flicker reduction program
KR101355415B1 (ko) 촬상 장치 및 촬상 장치의 노광 제어 방법
US9596400B2 (en) Image pickup apparatus that periodically changes exposure condition, a method of controlling image pickup apparatus, and storage medium
KR101040829B1 (ko) 디지털 스틸 카메라 장치, 비디오 카메라 장치 및 정보단말 장치
KR20050075425A (ko) 플리커 저감 방법, 촬상 장치 및 플리커 저감 회로
US20140063294A1 (en) Image processing device, image processing method, and solid-state imaging device
JP3476400B2 (ja) フリッカ検出・補正装置およびフリッカ検出・補正方法
US20050179789A1 (en) Color image processing method, and color imaging apparatus
EP1725023B1 (en) Image process apparatus and image pickup apparatus
US8441539B2 (en) Imaging apparatus
KR20050094213A (ko) 영상 처리 장치 및 이를 이용한 역광 보정 방법
JP2003259189A (ja) 撮像装置，画像処理方法
CN100589533C (zh) 闪烁降低方法、图像拾取装置与闪烁降低电路
KR100601312B1 (ko) 디지털 스틸 카메라의 자동 노출 보정 장치 및 방법
KR101747304B1 (ko) 디지털 촬영 장치, 오토포커싱 방법, 및 이를 실행하기 위한 컴퓨터 판독가능 저장매체
US20050200704A1 (en) Imager and stripe noise removing method
JP4356604B2 (ja) 映像信号処理装置、映像信号の処理方法、映像信号の処理プログラム及び映像信号の処理プログラムを記録した記録媒体
JP5597124B2 (ja) 画像信号処理装置
JPH09130814A (ja) 固体撮像装置
JPH0787384A (ja) 撮像装置
JPH06237469A (ja) 撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090527

Termination date: 20150601

EXPY Termination of patent right or utility model