CN101232576A - 图像摄取装置和信号处理方法 - Google Patents

图像摄取装置和信号处理方法 Download PDF

Info

Publication number
CN101232576A
CN101232576A CNA2008100079145A CN200810007914A CN101232576A CN 101232576 A CN101232576 A CN 101232576A CN A2008100079145 A CNA2008100079145 A CN A2008100079145A CN 200810007914 A CN200810007914 A CN 200810007914A CN 101232576 A CN101232576 A CN 101232576A
Authority
CN
China
Prior art keywords
signal
noise component
picture element
pixel region
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008100079145A
Other languages
English (en)
Other versions
CN101232576B (zh
Inventor
稻叶靖二郎
田中健二
松井启
米田丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101232576A publication Critical patent/CN101232576A/zh
Application granted granted Critical
Publication of CN101232576B publication Critical patent/CN101232576B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H04N25/633Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/677Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction for reducing the column or line fixed pattern noise

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

本发明提供了一种即使在VOPB区B包括少量行的情况下也可在短时间内检测列噪声分量而不受各种随机噪声的影响、并基于所检测到的列噪声分量校正有效像素区A的像素信号的图像摄取装置。该图像摄取装置包括:固态图像摄取元件,具有像素部、垂直扫描电路、水平扫描电路、和输出电路;控制器,控制固态图像摄取元件,以使从排列在遮光区像素中的像素输出的像素信号或从排列在有效像素区中的像素输出的像素信号从输出电路输出;控制信号发生器,产生预定控制信号;噪声分量检测器,用于检测噪声;以及噪声校正器,根据由噪声分量检测器检测的噪声分量,校正包含于有效像素区的像素信号中的噪声,其中控制信号发生器在预定定时产生不同的控制信号。

Description

图像摄取装置和信号处理方法
本申请是申请日为2005年7月7日、申请号为200510083817.0、发明名称为“图像摄取装置和信号处理方法”的专利申请的分案申请,其全部内容结合于此作为参考。
技术领域
本发明涉及一种通过使用XY地址型固态图像摄取元件来拍摄对象的图像的图像摄取装置,和一种用于该图像摄取装置的信号处理方法。
背景技术
在以CMOS(互补型金属氧化物半导体)传感器为代表的XY地址型固态图像摄取元件中,大量像素排列在如图1所示的由行和列构成的矩阵中。该元件包括:垂直扫描电路54,用于依次选择像素部52的各行;水平扫描电路60,用于依次选择像素部52的各列;以及输出电路61,用于输出信号。
垂直扫描电路54和水平扫描电路60由例如移位寄存器构成,并且分别为每一行和每一列产生一个垂直扫描脉冲和一个水平扫描脉冲。
当读取储存在各个像素中的图像信号时,通过垂直扫描电路54将脉冲信号加到一条垂直选择线53上,使同一行中的所有像素晶体管51电导通。图像信号从各感光部50被读取到垂直信号线55上。将读取到垂直信号线55上的图像信号提供给相关双重取样电路(CDS)56等电路,以清除每一个像素的偏移信号(offset signal,或叫偏差信号)。
水平扫描电路60通过水平选择线59将脉冲信号加到与各垂直信号线55连接的晶体管57上,使晶体管57处于通电状态。已通过CDS 56清除了偏移信号的列的像素信号被读取到水平信号线58。该像素信号通过输入电路61转换成电压信号后,向外部输出。
在这种X-Y地址型固态图像摄取元件中,各列分别具有不同的(或者是他们自身的)垂直信号线55。因此,如果CDS 56和晶体管57具有不同的特性,从输出电路61提供的像素信号便会在各列间产生不同的偏移。分别对应各列的不同的偏移会作为条纹状的固定模式噪声(下文称之为列噪声)显现在显示屏幕上,造成画质不好。
现有一种防止画质变差的方法。在该方法中,从固态图像摄取元件中仅提取列噪声分量,提取出的列噪声分量被作为用于校正的基准信号保存。在通常的图像摄取操作时,从固态图像摄取元件的信号输出中减去基准信号,以此来校正列噪声。
然而,当用光照射像素部52时,基于入射光的信号分量会被加到列噪声分量中。因此,该输出信号不能被用作用于校正的基准信号。因此,根据日本专利申请公开第10-126697号出版物,如图2所示,像素部52由有效像素区A、垂直光学黑体区B(下文称之为VOPB)、及水平光学黑体区C(下文称之为HOPB)构成,用于执行列噪声的检测/校正。有效像素区A被光照射。在垂直光学黑体区B和水平光学黑体区C中,光的照射在数行到数十行的范围内被诸如铝薄膜等遮光板遮挡。
同时,导致产生列噪声的各列的偏移不仅出现在位于有效像素区A中的像素的输出中,还出现在位于VOPB区B中作为屏蔽的黑色电平基准的像素的输出中。因此,可以通过使用来自VOPB区B中的像素的信号检测出列噪声分量、并从来自有效像素区A的像素的信号中减去列噪声分量的方式完成校正。
发明内容
然而,在通过使用从排列在VOPB区B中的像素中输出的信号来获得用于校正列噪声的基准信号的情况下,存在明显的问题,即来自暗电流分量(以下称作随机噪声)的影响,该暗电流分量由VOPB区B中的各个像素输出并且不断变化。特别是,由于VOPB区B覆盖了几行到几十行,因而包括少量的像素。因此,即使当执行平均化处理时,也无法充分抑制从各个像素输出的信号中所包含的随机噪声。在上述公开文献10-126697中,通过对多个帧反复执行加法平均来提高列噪声的检测精度。然而,该方法需要很长时间来提高检测精度。
因此,本发明提供了一种图像摄取装置及其信号处理方法,利用该装置和方法,即使当VOPB区B只包括少量行时,也能不受各种随机噪声的影响在短时间内检测出列噪声分量,并且基于所检测出的列噪声分量,校正来自有效像素区A的像素信号。
根据本发明的图像摄取装置包括:固态图像摄取元件,该固态图像摄取元件包括:包括均匀排列在行列矩阵中的多个像素的像素部,该像素部包括被光照射的有效像素区和光的照射被遮挡的遮光像素区;垂直扫描电路,用于控制排列在同一行中并通过垂直选择线共同连接的像素的控制电极;水平扫描电路,用于控制共同连接到排列在同一列中的像素的主电极上的垂直信号线的控制电极,从而以行为单位向水平信号线依次输出像素信号,该像素信号经由垂直信号线输出;以及输出电路,用于输出来自水平信号线的像素信号;控制器,用于控制固态图像摄取元件,以使从排列在遮光像素区中的像素输出的像素信号或从排列在有效像素区中的像素输出的像素信号从输出电路输出;控制信号发生器,用于产生预定的控制信号;噪声分量检测器,用于根据由控制信号发生器产生的控制信号,检测包含于来自遮光像素区的像素信号中的噪声,该像素信号是在控制器的控制下从输出电路输出的;以及噪声校正器,用于根据由噪声分量检测器检测到的噪声分量,校正包含于来自有效像素区的像素信号中的噪声,该像素信号是在控制器的控制下从输出电路输出的,并且控制信号发生器在预定的定时(timing,或称为时刻)产生不同的控制信号。
根据本发明的信号处理方法是一种用于包括固态图像摄取元件的图像摄取装置的信号处理方法,其中,该固态图像摄取元件包括:包括均匀排列在行列矩阵中的多个像素的像素部,该像素部包括被光照射的有效像素区和光的照射被遮挡的遮光像素区;垂直扫描电路,用于控制排列在同一行中并通过垂直选择线共同连接的像素的控制电极;水平扫描电路,用于控制共同连接到排列在同一列中的像素的主电极上的垂直信号线的控制电极,从而以行为单位向水平信号线依次输出像素信号,该像素信号经由垂直信号线输出;以及输出电路,用于输出来自水平信号线的像素信号;所说信号处理方法包括以下步骤:控制信号发生步骤,产生预定的控制信号;噪声分量检测步骤,基于在控制信号发生步骤中产生的控制信号,检测包含于来自遮光像素区的像素信号中的噪声,该像素信号是在控制器的控制下从输出电路输出的;以及噪声校正步骤,基于在噪声分量检测步骤中检测到的噪声分量,校正包含于来自有效像素区的像素信号中的噪声,该像素信号是在控制器的控制下从输出电路输出的,并且在控制信号发生步骤中,在预定定时产生不同的控制信号。
在本发明中,随机噪声的影响得到抑制,并且选择结合了使积分值收敛于列噪声的反馈系数。此外,计算出所选择的反馈系数彼此切换的点,并基于该计算结果检测出列噪声分量。因此,可借助少量行在短时间内高精度地检测出列噪声分量。进而,使用这种高精度的列噪声分量,可校正像素信号中的列噪声。从而,可提供高画质的图像。
附图说明
图1示出了固态图像摄取元件的结构;
图2示出了通过将像素部分成有效像素区、VOPB区、和HOPB区来构造固态图像摄取元件的像素部的状态;
图3示出了根据本发明的图像摄取装置的结构的框图;
图4示出了通过将像素部分成有效像素区和VOPB区来构造固态图像摄取元件的像素部的状态;
图5示出了固态图像摄取元件的结构的示意图;
图6示出了信号处理器的结构的框图;
图7示出了列噪声分量检测器的结构的框图;
图8示出了列噪声特性相对于当计算反馈系数的切换点时使用的积分行数的曲线图;
图9示出了计算切换点的步骤的流程图;
图10示出了用于说明将有效像素区用于列噪声分量检测时的示意图;
图11示出了用于说明多次读取VOPB区以执行列噪声分量检测时的示意图;以及
图12A和图12B示出了用于说明固态图像摄取元件在静止图像模式中和在监控模式中的操作的示意图。
具体实施方式
以下将描述根据本发明的实施例的图像摄取装置和信号处理方法。
如图3所示,图像摄取装置1包括:透镜10,用于会聚入射光;快门11,用于在规定时间内使由透镜10会聚的光通过;固态图像摄取元件12,用于摄取作为光线经过透镜10和快门11进入的对象的图像;控制器13,用于控制快门11和固态图像摄取元件12;以及信号处理器14,用于对通过固态图像摄取元件12摄取的像素信号进行预定的信号处理。
物体发出的光经由包括透镜10和快门11的光学系统入射到固态图像摄取元件12。固态图像摄取元件12包括对物体的图像进行拍摄的像素部。如图4所示,该像素部由被光照射的有效像素区A和利用诸如铝薄膜等遮光板在数行到数十行的范围内遮挡光的照射的垂直光学黑体(下文称之为VOPB)区B构成。
控制器13控制快门11的开关操作。控制器13还控制固态图像摄取元件12,以使信号处理部14输出从排列在有效像素区A和VOPB区B中的像素选择性输出的像素信号S1。
现参照图5对固态图像摄取元件12进行描述。固态图像摄取元件12包括:例如XY地址型的感光部15,如图5所示,该感光部根据光的照射存储电荷;像素部17,由输出存储在感光部15中的电荷、并排列成行列矩阵的像素晶体管16构成;垂直扫描电路19,向垂直选择线18施加脉冲信号,其中,每一条垂直选择线都与排列在像素部17的矩阵的每一行中的像素连接;相关双重取样电路(CDS)21,通过从垂直扫描电路19施加脉冲信号,从提供给垂直信号线20的信号中清除偏移信号,其中,每条垂直信号线20都与排列在像素部17的矩阵的每一列中的像素连接;晶体管23,用于向水平信号线22提供已通过CDS 21清除了偏移信号的信号;水平扫描电路25,通过水平选择线24将脉冲信号提供给晶体管23,以此向水平信号线22提供已通过CDS 21清除了偏移信号的信号;以及输出电路26,将提供给水平扫描电路25的信号提供给信号处理器14。
在这种XY地址型固态图像摄取元件12中,垂直信号线20在所排列的像素的每一列间都互不相同。因此,如果CDS 21和晶体管23间具有不同的特性,从输出电路26输出的图像信号会受到各列间不同的偏移的影响。每列的偏移会作为条纹状的固定模式噪声(下文称之为列噪声)显现在显示屏幕上。这是造成画质变差的原因之一。位于固态图像摄取元件12后段的信号处理器14能够清除这种列噪声。
接着,就信号处理器14的结构进行描述。如图6所示,信号处理器14包括:AFE(模拟前端)部30,用于将固态图像摄取元件12的输出信号转换成数字信号;控制信号发生器31,用于产生预定的控制信号;列噪声分量检测器32,基于由控制信号发生器31产生的控制信号,在从AFE部30提供的像素信号中检测出固定模式噪声(下文称之为列噪声分量);列噪声校正器33,基于由列噪声分量检测器32检测出的列噪声分量,校正从AFE部30提供的像素信号的列噪声分量;以及像机信号处理器34,对列噪声校正器33的输出信号执行预定的像机处理。
AFE部30将从固态图像摄取元件12提供的像素信号S1转换成数字信号,并输出经过转换的像素信号。而且,AFE部30将用于列噪声检测的信号,即从排列在VOPB区B中的像素输出的信号S2提供给列噪声分量检测器32。然后,AFE部30将从排列在有效像素区A中的像素输出的信号S3提供给列噪声校正器33。
控制信号发生器31产生预定的控制信号,并将产生的控制信号输出到列噪声分量检测器32。
考虑到同一列中的像素具有相同的列噪声量,列噪声分量检测器32根据从控制信号发生器31提供的控制信号,从自AFE部30提供的信号S2中检测出列噪声分量。列噪声分量检测器32将检测结果存储到行存储器42中。
现参照图7描述列噪声分量检测器32的结构。如图7所示,列噪声分量检测器32包括:加权部40,利用预定的系数k1加权从AFE部30提供的信号S2;加法处理器41,用于对加权部40的输出信号和反馈信号执行相加处理;行存储器42,用于存储经加法处理器41进行了相加处理的信号;以及加权部43,用于读取存储在行存储器42中且已进行了相加处理的信号,并用反馈系数k2加权所读取的信号。由此,列噪声分量检测器32构成了一个反馈组。基于从控制信号发生器31提供的控制信号而产生的预定系数k1表示如下,例如:
k1=1/2n
基于从控制信号发生器31提供的控制信号,通过系数发生器(未示出)生成反馈系数,并表示如下,例如:
k2=1-1/2n
列噪声分量检测器32由IIR(无限冲激响应)滤波器的积分器构成。当反馈系数k2的值发生变化时,向列噪声量收敛的速度和由随机噪声引起的积分结果的差异也发生变化。反馈系数k2的最佳值取决于列噪声量、随机噪声量、和积分样本数(即,VOPB区B中的行的数量)。当限制积分样本数时,特别是通过动态地改变反馈系数k2,可以高精度地检测并校正利用单一反馈系数所无法充分抑制的条纹状固定模式噪声(列噪声)。
现参照图8描述通过改变反馈系数k2比起使用单一反馈系数更能抑制列噪声的实例。图8是表示通过数值计算求得积分的效果的图表,其中,50行的VOPB区B存在于传感器上,并且随机噪声和列噪声各具有特定的噪声量。横轴表示积分行数,纵轴表示未经过校正的列噪声分量的大小。曲线A示出了反馈系数k2为如下所示时的结果:
k2=1-1/25=31/32
曲线B示出了反馈系数k2为如下所示时的结果:
k2=1-1/26=63/64
曲线C示出了改变反馈系数k2时的结果,即从0至25行时,反馈系数k2为31/32(n=5),超过25行(26行至50行)时为63/64(n=6)。
纵轴上的值越小,可校正的列噪声越多。
因此,如果要看第50行上的列噪声量,从曲线B给出“67”。从曲线A给出“66”,而曲线C给出“62”。因此明显看出,当在适当的行数分界处切换反馈系数k2时,可更有效地校正列噪声。
根据特定的计算,确定系数切换点的最佳行数。该计算可在工厂调节时或在开启电源时进行。现按照图9所示的流程图描述该计算的流程。
通过预定方法求得固态图像摄取元件12的随机噪声量(标准偏差)和列噪声量(标准偏差)(步骤ST1)。基于所求得的随机噪声量和列噪声量,选择两个反馈系数k2值(步骤ST2)。使所选择的反馈系数k2由小至大发生转变。
接着,执行初始化,将反馈系数k2进行切换的行i设为1(步骤ST3)。积分到任意行数N,计算出执行列噪声校正时的剩余列噪声量(步骤ST4)。剩余列噪声量f也可表示为随机噪声量σRN、列噪声量σCN、反馈系数k2、积分行数N、和切换点i的函数。接着,判定切换点i是否已达到积分行数N。如果已达到积分行数,流程进入步骤ST6。相反,如果未达到积分行数,切换点i加1,并且返回到步骤ST4。
相互比较在步骤ST4中求得的N个列噪声的剩余量f,以寻找列噪声的剩余量f最小的切换点i(步骤ST6)。并且,确定反馈系数k2是否应该进一步改变为另一反馈系数k2(步骤ST7)。如果应该改变反馈系数k2,则将在最佳切换点的列噪声的剩余量f设为像素信号的列噪声量,并且重复步骤ST2至ST7。
控制信号发生器31基于如上所述求得的切换点i产生控制信号,并将该控制信号提供给列噪声分量检测器32。进而,列噪声分量检测器32基于该控制信号切换反馈系数,并检测出从AFE部30提供的像素信号S2的噪声分量。
列噪声校正器33基于由列噪声分量检测器32检测出的噪声分量,对由AFE部30提供的、并从排列在有效像素区A中的像素输出的信号S3的列噪声进行校正。然后,列噪声校正器33将校正后的信号提供给像机信号处理部34。像机信号处理部34对已经由列噪声校正器33进行过校正处理的信号进行预定的像机处理。
有一种情况,即,在VOPB区B中的行数太少,以致即使动态地改变反馈系数k2,也无法充分校正列噪声。下面将描述用于在这种情况下检测出列噪声分量的方法的实例。
当开启或切换电源时,控制器13仅控制快门11一帧的时间,并通过插入机械快门遮挡有效像素区A。因为有效像素区A被遮挡,从排列在有效像素区A中的像素输出的信号与VOPB区B中的像素一样,可用作用于检测列噪声分量的信号。
例如,如图10所示,如果在VOPB区B中排列720×20(列×行)的像素,在有效像素区A中排列720×480(列×行)的像素,则列噪声分量检测器32可使用总计两帧(2V)相当于20+480+20=520行的信号,用于检测列噪声分量。
此外,由于从固态图像摄取元件12读取信号要持续两帧,因而使处理时间变长。然而,因为用于列噪声检测的行数增加,所以能够以高精度检测出列噪声分量。
另外,还存在不包括机械快门的另一种情况或要求相当于一帧的积分行数的情况。下面将描述用于高精度地检测出列噪声分量的方法的实例。
如图11所示,控制器13控制固态图像摄取元件12多次读取VOPB区B。通过多次读取VOPB区B,可使积分行数增加,从而可获得能够充分校正列噪声分量的行数。因此,能够在短于读取一帧的信号所需的时间内,获得足以校正列噪声分量的行数。
值得注意的是图像摄取装置1不一定总要采用下列结构。即,图像摄取装置1读取用于列噪声检测的信号,并检测出列噪声分量。之后,图像摄取装置1从固态图像摄取元件12读取表示对象的图像信号。基于列噪声分量,校正表示对象的图像信号的列噪声。该结构可按如下构成。即,图像摄取装置1从固态图像摄取元件12读取表示物体的图像信号,并将表示物体的图像信号存储到预定的存储器中。图像摄取装置1读取用于列噪声检测的信号,并检测出列噪声分量。基于该列噪声分量,校正存储在存储器中、表示物体的图像信号中的列噪声。
此外,如果不改变操作模式,列噪声分量检测器32读取在相同操作模式中已检测到的积分结果,并对多个帧或多个场进行积分。因为列噪声分量检测器32使用多帧图像,所以用于积分的行数增加。因此,在抑制暗电流引起的随机噪声的同时,还可使其收敛至列噪声的值。因此,可更加精确地执行列噪声检测。
在操作模式发生改变,而用于从固态图像摄取元件12读取信号的方法完全不发生变化的情况下,列噪声分量的大小也不会改变。因此,列噪声分量检测器32可与操作模式不发生改变的情况一样,通过连续执行积分来提高检测精度。
下面将进一步描述在操作模式发生改变的情况下,用于从固态图像摄取元件12读取信号的方法发生变化时,列噪声分量检测器32的操作。
如果在固态图像摄取元件12上执行像素相加等运算,则在产生列噪声之前(例如在信号输入到CDS 21中之前)执行像素相加时,与在产生列噪声之后(例如在信号从CDS 21输出之后)执行像素相加时,二者之间列噪声分量的变化量将不同。
此外,根据对从排列在像素部17中的像素输出的信号求和的方法是垂直相加法还是水平相加法,列噪声分量的变化量也不同。
然而,在垂直相加法和水平相加法中的任何一种中,存在一种情况,即,列噪声分量的变化量可由于固态图像摄取元件12的结构原因而从物理上已知。在这种情况下,例如,执行以预定的系数加权在过去检测出的列噪声分量的处理。利用该值进行积分,从而可有效地检测和校正列噪声分量。
下面将描述将垂直相加法用作对从排列在像素部17中的像素输出的信号求和的方法时,列噪声分量的检测和列噪声的校正。在动画模式中或在监控模式中,固态图像摄取元件12以基于奇数行和偶数行之间的像素相加的隔行扫描方法读取信号。在静止图像模式中,以逐行(非隔行扫描)方式从奇数行和偶数行读取信号,而不执行像素相加。可替换地,在监控模式中执行列噪声分量的检测。在静止图像模式中执行列噪声的校正。并且,固态图像摄取元件12具有这样一种结构,其中,不管相加法是垂直相加法还是水平相加法,列噪声分量不会发生变化。
如果采用垂直相加法,因为对像素不求和,所以通过列噪声校正器33进行列噪声校正所需的信号量接近通过列噪声分量检测器32进行列噪声分量检测所需的信号量的一半。
因此,为了使列噪声分量的检测与列噪声的校正所需的信号量相等,可在固态图像摄取元件12侧应用双倍的增益。通过这样应用增益,来自对象的信号量等于动画模式中的量。另一方面,列噪声分量变为两倍。因此,在动画模式和监控模式中,通过隔行扫描方法执行检测,并对存储在行存储器中的列噪声量进行双倍的增益,使其与在静止图像模式中以逐行方式执行处理时的列噪声量一致。使用两倍的列噪声量进行列噪声分量的检测和列噪声的校正。
接着,下面描述将水平相加法用作对从排列在像素部17中的像素输出的信号求和的方法时,列噪声分量的检测和列噪声的校正。
如图12所示,在静止图像模式中,固态图像摄取元件12以逐行方式读取信号,而不执行像素相加。在监控模式中,固态图像摄取元件12采用通过邻近的两个像素的水平相加来读取信号的方法。在静止图像模式中,通过列噪声分量检测器32执行列噪声分量的检测。在监控模式中,通过列噪声校正器33执行列噪声的校正。
如果采用垂直相加法,因为对像素求和,所以通过列噪声分量校正器33进行列噪声校正所需的信号量接近通过列噪声分量检测器32进行列噪声分量的检测所需的信号量的两倍。然而,根据传感器上的像素相加,列噪声分量仅是两个像素的和。
如图12A所示,在静止图像模式中,列噪声分量检测器32已检测出固态图像摄取元件12中所有列的列噪声分量。因此,当通过水平两像素相加求得变化的列噪声分量时,可如图12B所示利用该检测结果。
因此,在监控模式中,对进行水平相加的每一列都加上在静止图像模式中检测到的列噪声分量。利用该值进行积分,并将该值用于列噪声分量的检测和列噪声的校正。
很容易理解,存在一种情况,即,因为求和在列噪声发生之前的区域中进行,所以即使用于读取来自固态图像摄取元件12的信号的方法发生变化时,列噪声分量也不会变化。在这种情况下,可与操作模式不发生改变的情况一样,通过连续进行积分来提高检测精度。
因此,根据本发明的图像摄取装置1包括:控制信号发生器31,用于产生预定的控制信号;列噪声分量检测器32,用于根据由控制信号发生器31产生的控制信号,利用从排列在像素部17中的VOPB区B中排列的像素输出的信号检测出列噪声分量;列噪声校正器33,用于根据由列噪声分量检测器32检测出的列噪声分量,校正从像素部17的有效像素区A中排列的像素输出的信号中的列噪声。列噪声分量检测器32选择使用一种不受随机噪声的影响,将积分值收敛至列噪声的反馈系数k2。此外,列噪声分量检测器32计算出所选择的反馈系数k2互相切换的点,并且基于该计算结果,检测出列噪声分量。因此,可以以少量行在短时间内高精度地检测出列噪声分量。此外,可使用这种高精度的列噪声分量校正像素信号的列噪声。因此,可提供具有高画质的图像。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的权利要求范围之内。

Claims (21)

1.一种图像摄取装置,包括:
固态图像摄取元件,所述固态图像摄取元件包括:
像素部,所述像素部包括均匀排列在行列矩阵中的多个像素,并且所述像素部包括被光照射的有效像素区和光的照射被遮挡的遮光像素区,
垂直扫描电路,用于控制排列在同一行中并通过垂直选择线共同连接的像素的控制电极,
水平扫描电路,用于控制共同连接到排列在同一列中的像素的主电极上的垂直信号线的控制电极,从而以行为单位向水平信号线依次输出像素信号,所述像素信号经由所述垂直信号线输出,以及
输出电路,用于输出来自所述水平信号线的像素信号;
控制装置,用于控制所述固态图像摄取元件,以使从排列在所述遮光像素区中的像素输出的所述像素信号或从排列在所述有效像素区中的像素输出的所述像素信号从所述输出电路输出;
控制信号发生装置,用于产生预定的控制信号;
噪声分量检测装置,用于根据由所述控制信号发生装置产生的控制信号,检测包含于所述遮光像素区的所述像素信号中的噪声,所述像素信号是在所述控制装置的控制下从所述输出电路输出的;以及
噪声校正装置,用于根据由所述噪声分量检测装置检测出的噪声分量,校正包含于所述有效像素区的所述像素信号中的噪声,所述像素信号是在所述控制装置的控制下从所述输出电路输出的,
其中,所述控制信号发生装置在预定定时产生不同的控制信号。
2.根据权利要求1所述的图像摄取装置,其中,所述噪声分量检测装置包括:
系数发生装置,用于根据从所述控制信号发生装置提供的所述控制信号,产生预定系数和反馈系数;
第一加权装置,用于利用由所述系数发生装置产生的所述预定系数来加权从所述输出电路输出的所述遮光像素区的所述像素信号;
相加处理装置,用于执行对来自所述第一加权装置的输出信号与反馈信号求和的相加处理;
存储装置,用于存储通过由所述相加处理装置执行的所述相加处理所获得的信号;以及
第二加权装置,用于利用由所述系数发生装置产生的所述反馈系数来加权存储在所述存储装置中的信号,并且
所述相加处理装置执行对来自所述第一加权装置的所述输出信号与来自所述第二加权装置的输出信号求和的相加处理,以计算包含于所述遮光像素区的所述像素信号中的噪声分量。
3.根据权利要求1所述的图像摄取装置,其中,
所述控制装置控制所述固态图像摄取元件,以使所述输出电路多次输出那些仅从排列在所述遮光像素区中的所述像素输出的像素信号,以及
所述噪声分量检测装置检测包含于已被多次输出的所述遮光像素区的所述像素信号中的噪声分量。
4.根据权利要求1所述的图像摄取装置,其中,
所述控制装置控制所述固态图像摄取元件、遮挡所述有效像素区不受光照、以及使所述输出电路输出从排列在被遮挡的所述有效像素区中的所述像素输出的所述像素信号,以及
所述噪声分量检测装置检测包含于所述遮光像素区和所述有效像素区的所述像素信号中的噪声分量。
5.根据权利要求1所述的图像摄取装置,其中,所述控制信号发生装置能够预先存储所述控制信号发生装置产生所述不同控制信号的所述定时。
6.根据权利要求1所述的图像摄取装置,其中,在检测包含于来自所述有效像素区的所述像素信号中的噪声分量之前,所述噪声分量检测装置检测包含于从所述输出电路输出的所述遮光像素区的所述像素信号中的噪声分量。
7.根据权利要求1所述的图像摄取装置,其中,在检测包含于来自所述有效像素区的所述像素信号中的噪声分量之后,所述噪声分量检测装置检测包含于从所述输出电路输出的所述遮光像素区的所述像素信号中的噪声分量。
8.根据权利要求2所述的图像摄取装置,其中,所述存储装置为多个帧或多个场存储所计算出的噪声分量。
9.根据权利要求1所述的图像摄取装置,其中,
所述固态图像摄取元件具有执行隔行读取的第一操作模式以及执行逐行读取的第二操作模式,在隔行读取中所述像素部中的相邻行中的像素彼此相加,在逐行读取中像素不相加,以及
基于通过用双倍增益乘以在所述第一操作模式中检测到的所述噪声分量而计算出的第二噪声分量,所述噪声分量检测装置检测在所述第二操作模式中包含于所述有效像素区的所述像素信号中的噪声。
10.根据权利要求1所述的图像摄取装置,其中,
所述固态图像摄取元件具有执行隔行读取的第一操作模式以及执行逐行读取的第二操作模式,在隔行读取中所述像素部中的相邻列中的像素彼此相加,在逐行读取中像素不相加,以及
基于通过使在所述第二操作模式中检测到的噪声分量之中相邻列的那些噪声分量彼此相加而计算出的第二噪声分量,所述噪声分量检测装置检测在所述第一操作模式中包含于所述有效像素区的所述像素信号中的噪声。
11.一种用于包括固态图像摄取元件的图像摄取装置的信号处理方法,所述固态图像摄取元件具有:
像素部,所述像素部包括均匀排列在行列矩阵中的多个像素,并且所述像素部包括被光照射的有效像素区和光的照射被遮挡的遮光像素区,
垂直扫描电路,用于控制排列在同一行中并通过垂直选择线共同连接的像素的控制电极,
水平扫描电路,用于控制共同连接到排列在同一列中的像素的主电极上的垂直信号线的控制电极,从而以行为单位向水平信号线依次输出像素信号,所述像素信号经由所述垂直信号线输出,以及
输出电路,用于输出来自所述水平信号线的像素信号;
所述方法包括:
控制信号发生步骤,产生预定的控制信号;
噪声分量检测步骤,基于在所述控制信号发生步骤中产生的所述控制信号,检测包含于来自所述遮光像素区的所述像素信号中的噪声,所述像素信号是在预定控制下从所述输出电路输出的;以及
噪声校正步骤,基于在所述噪声分量检测步骤中检测出的噪声分量,校正包含于来自所述有效像素区的所述像素信号中的噪声,所述像素信号是在预定控制下从所述输出电路输出的,
其中,在所述控制信号发生步骤中,在预定定时产生不同的控制信号。
12.根据权利要求11所述的信号处理方法,其中,所述噪声分量检测步骤包括:
系数发生步骤,基于在所述控制信号发生步骤中产生的所述控制信号,产生预定系数和反馈系数;
第一加权步骤,利用在所述系数发生步骤中产生的所述预定系数来加权从所述输出电路输出的所述遮光像素区的所述像素信号;
相加处理步骤,执行对来自所述第一加权步骤的输出信号与反馈信号求和的相加处理;
存储步骤,存储通过由所述相加处理步骤执行的所述相加处理所获得的信号;以及
第二加权步骤,利用在所述系数发生步骤中产生的所述反馈系数来加权在所述存储步骤中存储的所述信号,并且在所述相加处理步骤中,执行对来自所述第一加权步骤的所述输出信号与来自所述第二加权步骤的输出信号求和的相加处理,以计算包含于所述遮光像素区的所述像素信号中的噪声分量。
13.根据权利要求11所述的信号处理方法,其中,
使所述输出电路多次输出那些仅从排列在所述固态图像摄取元件的所述遮光像素区中的所述像素输出的像素信号,以及
在所述噪声分量检测步骤中,检测包含于已被多次输出的所述遮光像素区的所述像素信号中的噪声分量。
14.根据权利要求11所述的信号处理方法,其中,
遮挡所述固态图像摄取元件的所述有效像素区不受光照,以及使所述输出电路输出从排列在被遮光的所述有效像素区中的所述像素输出的所述像素信号,以及
在所述噪声分量检测步骤中,检测包含于来自所述遮光像素区和所述有效像素区的所述像素信号中的噪声分量。
15.根据权利要求11所述的信号处理方法,其中,在所述控制信号发生步骤中,预先存储所述控制信号发生步骤产生不同的控制信号的所述定时。
16.根据权利要求11所述的信号处理方法,其中,在所述噪声分量检测步骤中,在检测包含于所述有效像素区的所述像素信号中的噪声分量之前,检测包含于从所述输出电路输出的所述遮光像素区的所述像素信号中的噪声分量。
17.根据权利要求11所述的信号处理方法,其中,在所述噪声分量检测步骤中,在检测包含于所述有效像素区的所述像素信号中的噪声分量之后,检测包含于从所述输出电路输出的所述遮光像素区的所述像素信号中的噪声分量。
18.根据权利要求12所述的信号处理方法,其中,为多个帧或多个场存储在所述噪声分量检测步骤中计算出的噪声分量。
19.根据权利要求11所述的信号处理方法,其中,
所述固态图像摄取元件具有执行隔行读取的第一操作模式以及执行逐行读取的第二操作模式,在隔行读取中所述像素部中的相邻行中的像素彼此相加,在逐行读取中像素不相加,以及
基于通过用双倍增益乘以在所述第一操作模式中检测到的所述噪声分量而计算出的第二噪声分量,在所述噪声分量检测步骤中检测在所述第二操作模式中包含于所述有效像素区的所述像素信号中的噪声。
20.根据权利要求11所述的信号处理方法,其中,
所述固态图像摄取元件具有执行隔行读取的第一操作模式以及执行逐行读取的第二操作模式,在隔行读取中所述像素部中的相邻列中的像素彼此相加,在逐行读取中像素不相加,以及
基于通过使在所述第二操作模式中检测到的噪声分量之中相邻列的那些噪声分量彼此相加而计算出的第二噪声分量,在所述噪声分量检测步骤中检测在所述第一操作模式中包含于所述有效像素区的所述像素信号中的噪声。
21.一种图像摄取装置,包括:
固态图像摄取元件,所述固态图像摄取元件包括:
像素部,所述像素部包括均匀排列在行列矩阵中的多个像素,并且所述像素部包括被光照射的有效像素区和光的照射被遮挡的遮光像素区,
垂直扫描电路,用于控制排列在同一行中并通过垂直选择线共同连接的像素的控制电极,
水平扫描电路,用于控制共同连接到排列在同一列中的像素的主电极上的垂直信号线的控制电极,从而以行为单位向水平信号线依次输出像素信号,所述像素信号经由所述垂直信号线输出,以及
输出电路,用于输出来自所述水平信号线的像素信号;
控制器,用于控制所述固态图像摄取元件,以使从排列在所述遮光像素区中的像素输出的所述像素信号或从排列在所述有效像素区中的像素输出的所述像素信号从所述输出电路输出;
控制信号发生器,用于产生预定的控制信号;
噪声分量检测器,用于根据由所述控制信号发生器产生的所述控制信号,检测包含于来自所述遮光像素区的所述像素信号中的噪声,所述像素信号是在所述控制器的控制下从所述输出电路输出的;以及
噪声校正器,用于根据由所述噪声分量检测器检测出的噪声分量,校正包含于来自所述有效像素区的所述像素信号中的噪声,所述像素信号是在所述控制器的控制下从所述输出电路输出的,
其中,所述控制信号发生器在预定定时产生不同的控制信号。
CN2008100079145A 2004-07-07 2005-07-07 图像摄取装置和信号处理方法 Expired - Fee Related CN101232576B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004201014 2004-07-07
JP2004-201014 2004-07-07
JP2004201014A JP4396425B2 (ja) 2004-07-07 2004-07-07 固体撮像装置及び信号処理方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CNB2005100838170A Division CN100380936C (zh) 2004-07-07 2005-07-07 图像摄取装置和信号处理方法

Publications (2)

Publication Number Publication Date
CN101232576A true CN101232576A (zh) 2008-07-30
CN101232576B CN101232576B (zh) 2011-03-09

Family

ID=34941809

Family Applications (2)

Application Number Title Priority Date Filing Date
CNB2005100838170A Expired - Fee Related CN100380936C (zh) 2004-07-07 2005-07-07 图像摄取装置和信号处理方法
CN2008100079145A Expired - Fee Related CN101232576B (zh) 2004-07-07 2005-07-07 图像摄取装置和信号处理方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CNB2005100838170A Expired - Fee Related CN100380936C (zh) 2004-07-07 2005-07-07 图像摄取装置和信号处理方法

Country Status (5)

Country Link
US (1) US7701620B2 (zh)
EP (1) EP1615424A1 (zh)
JP (1) JP4396425B2 (zh)
KR (1) KR20060049870A (zh)
CN (2) CN100380936C (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108605106A (zh) * 2016-02-15 2018-09-28 松下知识产权经营株式会社 固体摄像装置以及摄像装置

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003009166A (ja) * 2001-06-21 2003-01-10 Fuji Film Microdevices Co Ltd 撮像装置およびその駆動方法
JP4555785B2 (ja) * 2006-02-10 2010-10-06 シャープ株式会社 固定パターン雑音除去装置、固体撮像装置、電子機器、及び固定パターン雑音除去プログラム
JP4978214B2 (ja) * 2006-10-13 2012-07-18 ソニー株式会社 撮像システムおよび画素欠陥補正装置
JP4285555B2 (ja) * 2007-03-28 2009-06-24 ソニー株式会社 固定パターンノイズ除去回路、固定パターンノイズ除去方法、プログラムおよび撮像装置
JP5053869B2 (ja) * 2008-01-10 2012-10-24 キヤノン株式会社 固体撮像装置、撮像システム、及び固体撮像装置の駆動方法
JP5215681B2 (ja) 2008-01-28 2013-06-19 キヤノン株式会社 撮像装置及び撮像システム
US8665350B2 (en) 2008-05-08 2014-03-04 Altasens, Inc. Method for fixed pattern noise (FPN) correction
JP5292939B2 (ja) * 2008-06-20 2013-09-18 ソニー株式会社 画像処理装置および方法、製造装置
JP5155763B2 (ja) * 2008-07-29 2013-03-06 富士フイルム株式会社 撮像装置及び撮影制御方法
JP5366619B2 (ja) * 2008-08-12 2013-12-11 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム
JP5244533B2 (ja) * 2008-10-15 2013-07-24 オリンパス株式会社 撮像装置
JP5511203B2 (ja) * 2009-03-16 2014-06-04 キヤノン株式会社 撮像素子及び撮像装置
JP5489527B2 (ja) * 2009-05-11 2014-05-14 キヤノン株式会社 撮像装置及びその制御方法
JP5322816B2 (ja) * 2009-07-15 2013-10-23 キヤノン株式会社 撮像装置およびその制御方法
JP5153757B2 (ja) * 2009-12-04 2013-02-27 キヤノン株式会社 固体撮像装置
JP5493980B2 (ja) * 2010-02-19 2014-05-14 ソニー株式会社 固体撮像素子、およびカメラシステム
JP5632703B2 (ja) * 2010-10-21 2014-11-26 キヤノン株式会社 画像処理装置、制御方法、及びプログラム
JP5959834B2 (ja) * 2011-12-02 2016-08-02 キヤノン株式会社 撮像装置
FR3020735B1 (fr) * 2014-04-30 2017-09-15 Ulis Procede de traitement d'une image infrarouge pour une correction des non uniformites
KR102367216B1 (ko) * 2015-09-25 2022-02-25 엘지디스플레이 주식회사 표시장치와 그 구동 방법
CN109829866B (zh) * 2019-02-01 2021-02-19 安谋科技(中国)有限公司 列噪声检测方法、装置、介质及系统
JP2022119378A (ja) * 2021-02-04 2022-08-17 キヤノン株式会社 光電変換装置、機器
WO2023065305A1 (zh) * 2021-10-22 2023-04-27 深圳市大疆创新科技有限公司 成像装置以及包括该成像装置的摄像系统和可移动平台

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02164184A (ja) * 1988-12-19 1990-06-25 Toshiba Corp X線診断装置
US6515285B1 (en) * 1995-10-24 2003-02-04 Lockheed-Martin Ir Imaging Systems, Inc. Method and apparatus for compensating a radiation sensor for ambient temperature variations
JPH10126697A (ja) 1996-10-17 1998-05-15 Sony Corp 固体撮像素子およびその信号処理方法並びにカメラ
GB2318473B (en) * 1996-10-17 2000-11-29 Sony Corp Solid state imaging device,signal processing method and camera
US6532053B2 (en) * 1996-12-18 2003-03-11 Hitachi, Ltd. Transverse electric field system liquid crystal display device suitable for improving aperture ratio
JPH10313428A (ja) 1997-05-13 1998-11-24 Sony Corp 固体撮像素子の固定パターンノイズ除去方法と、固定パターンノイズ除去装置
US6473124B1 (en) * 1998-04-23 2002-10-29 Micron Technology, Inc. RAM line storage for fixed pattern noise correction
JP2000152098A (ja) * 1998-11-10 2000-05-30 Matsushita Electric Ind Co Ltd 映像信号処理装置
EP1143706A3 (en) * 2000-03-28 2007-08-01 Fujitsu Limited Image sensor with black level control and low power consumption
JP4379230B2 (ja) * 2004-07-07 2009-12-09 ソニー株式会社 固体撮像素子装置及び信号処理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108605106A (zh) * 2016-02-15 2018-09-28 松下知识产权经营株式会社 固体摄像装置以及摄像装置
CN108605106B (zh) * 2016-02-15 2021-01-12 松下半导体解决方案株式会社 固体摄像装置以及摄像装置

Also Published As

Publication number Publication date
CN100380936C (zh) 2008-04-09
CN1719878A (zh) 2006-01-11
US7701620B2 (en) 2010-04-20
EP1615424A1 (en) 2006-01-11
JP4396425B2 (ja) 2010-01-13
JP2006025146A (ja) 2006-01-26
US20060007504A1 (en) 2006-01-12
CN101232576B (zh) 2011-03-09
KR20060049870A (ko) 2006-05-19

Similar Documents

Publication Publication Date Title
CN101232576B (zh) 图像摄取装置和信号处理方法
CN100358344C (zh) 图像摄取装置和信号处理方法
JP7062430B2 (ja) 撮像素子、撮像装置および画像処理方法
CN100426849C (zh) 固态摄像设备和处理来自固态摄像设备的信号的方法
US8363133B2 (en) Solid-state image capturing device and camera
EP2519932B1 (en) Generating column offset corrections for image sensors
JP5455798B2 (ja) 画像処理装置
JP5959834B2 (ja) 撮像装置
KR20080085163A (ko) 광학적으로 검은 픽셀 및 결합된 픽셀을 모두 사용하여이미저에서 블랙 레벨을 설정하는 방법 및 장치
JP2013009190A (ja) 撮像装置及びその駆動方法
USRE47765E1 (en) Solid state imaging device
WO2004043061A1 (ja) エリアイメージセンサ
WO2018124055A1 (ja) 撮像装置、カメラ、及び撮像方法
KR20110040745A (ko) 고체 촬상 장치
JP3914216B2 (ja) 画像欠陥補正装置、及び、画像欠陥補正方法
US10594968B2 (en) Image sensor and imaging apparatus
KR20100047826A (ko) 고체 촬상 장치
RU2491754C1 (ru) Твердотельное устройство для съемки изображения и система для съемки изображения
Loose et al. R27 Self-calibrating logarithmic CMOS image sensor with single chip camera functionality
US11336846B1 (en) CMOS image sensor with image black level compensation and method
JP7277242B2 (ja) 撮像装置およびその制御方法
JP2018019241A (ja) 撮像装置
JPH08242408A (ja) 撮像装置
JP6433276B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
US11616924B2 (en) CMOS image sensor with image black level compensation and method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110309

Termination date: 20150707

EXPY Termination of patent right or utility model