CN102065219A - 摄像设备及其控制方法 - Google Patents

摄像设备及其控制方法 Download PDF

Info

Publication number
CN102065219A
CN102065219A CN2010105463533A CN201010546353A CN102065219A CN 102065219 A CN102065219 A CN 102065219A CN 2010105463533 A CN2010105463533 A CN 2010105463533A CN 201010546353 A CN201010546353 A CN 201010546353A CN 102065219 A CN102065219 A CN 102065219A
Authority
CN
China
Prior art keywords
vertical line
line noise
black
processing
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010105463533A
Other languages
English (en)
Other versions
CN102065219B (zh
Inventor
渡边忍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN102065219A publication Critical patent/CN102065219A/zh
Application granted granted Critical
Publication of CN102065219B publication Critical patent/CN102065219B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H04N25/625Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of smear
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H04N25/633Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/673Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/677Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction for reducing the column or line fixed pattern noise

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

一种摄像设备及其控制方法。该摄像设备包括用于通过光电转换将被摄体的光学图像转换成图像信号的图像传感器。该摄像设备获取用于估计图像传感器中的暗电流的大小的信息,并且基于所获取的信息来选择垂直线噪声校正处理、黑去除处理和既不执行垂直线噪声校正处理也不执行黑去除处理的正常读出处理中的任一处理。然后,该摄像设备在选择了垂直线噪声校正处理的情况下,执行垂直线噪声校正处理以校正图像中的垂直线噪声,或者在选择了黑去除处理的情况下,执行黑去除处理以校正图像中的垂直线噪声和固定模式噪声。

Description

摄像设备及其控制方法
技术领域
本发明涉及摄像设备和该摄像设备的控制方法,尤其涉及摄像设备和该摄像设备的控制方法中用于降低垂直线噪声的技术。
背景技术
传统上,在针对每一个读出场执行用于扫除不需要的电荷的高速扫除的CCD图像传感器中,如图11A所示,可能引起电平在画面的上端和下端之间不同的垂直线噪声。
作为用于降低在这些CCD图像传感器中发生的垂直线噪声的摄像设备和方法,已知日本特开2007-27864号公报所描述的技术。日本特开2007-27864号公报公开了将通过在曝光完成之后在不从光接收元件向传送单元传送电荷的情况下执行读出所获得的图像数据(图11B)存储在存储器中,然后利用对通过从光接收元件向传送单元传送电荷并执行读出所获得的图像数据进行减法来降低垂直线噪声(图11C)。
然而,根据日本特开2007-27864号公报所公开的方法,尽管可以校正垂直线噪声,但对所有的像素均执行了减法处理。因此,甚至对无需进行减法处理的像素也执行了减法处理,从而使S/N比劣化。
发明内容
已经考虑到上述情形而作出本发明,并且本发明在不使画质劣化的情况下降低垂直线噪声。
根据本发明,提供一种摄像设备,包括:图像传感器,用于通过光电转换将被摄体的光学图像转换成图像信号,所述图像传感器包括二维排列的多个像素、用于在垂直方向上传送来自所述多个像素的图像信号的垂直传送单元以及用于在水平方向上传送从所述垂直传送单元在所述垂直方向上传送来的图像信号的水平传送单元;垂直线噪声校正单元,用于对所述图像信号执行垂直线噪声校正处理;黑去除处理单元,用于对所述图像信号执行黑去除处理;以及控制单元,用于以如下方式进行控制:获取用于估计所述图像传感器中的暗电流的大小的信息;基于所获取的信息,选择所述垂直线噪声校正处理、所述黑去除处理和正常读出处理中的任一处理,其中,在所述正常读出处理中,既不执行所述垂直线噪声校正处理也不执行所述黑去除处理;以及在选择了所述垂直线噪声校正处理的情况下,所述垂直线噪声校正单元执行所述垂直线噪声校正处理以校正图像中的垂直线噪声,或者在选择了所述黑去除处理的情况下,所述黑去除处理单元执行所述黑去除处理以校正图像中的垂直线噪声和固定模式噪声。
根据本发明,提供一种摄像设备的控制方法,所述摄像设备包括用于通过光电转换将被摄体的光学图像转换成图像信号的图像传感器,所述图像传感器包括二维排列的多个像素、用于在垂直方向上传送来自所述多个像素的图像信号的垂直传送单元以及用于在水平方向上传送从所述垂直传送单元在所述垂直方向上传送来的图像信号的水平传送单元,所述控制方法包括以下步骤:获取步骤,用于获取用于估计所述图像传感器中的暗电流的大小的信息;选择步骤,用于基于所获取的信息,选择垂直线噪声校正处理、黑去除处理和正常读出处理中的任一处理,其中,在所述正常读出处理中,既不执行所述垂直线噪声校正处理也不执行所述黑去除处理;垂直线噪声校正处理步骤,用于在所述选择步骤中选择了所述垂直线噪声校正处理的情况下,执行所述垂直线噪声校正处理以校正图像中的垂直线噪声;以及黑去除处理步骤,用于在所述选择步骤中选择了所述黑去除处理的情况下,执行所述黑去除处理以校正图像中的垂直线噪声和固定模式噪声。
通过以下参考附图对典型实施例的说明,本发明的其它特征将变得明显。
附图说明
图1是示出根据本发明第一实施例的摄像设备的结构的框图;
图2是示出根据本发明的摄像设备中使用的图像传感器(CCD)的构造示例的图;
图3A和3B是示出根据第一实施例的校正选择表的图;
图4A和4B是示出根据第一实施例的图像信号的读出定时的时序图;
图5A~5E是示出应用根据本发明的校正方法前后的图像的图;
图6是示出根据第一实施例的处理的流程图;
图7是示出根据本发明第二实施例的摄像设备的结构的框图;
图8是示出根据第二实施例的处理的流程图;
图9是示出根据第三实施例的进行垂直线噪声校正时的图像信号的读出定时的时序图;
图10是示出根据第四实施例的进行垂直线噪声校正时的图像信号的读出定时的时序图;以及
图11A~11C是用于说明传统示例中的校正方法的图。
具体实施方式
将根据附图来详细说明本发明的优选实施例。
第一实施例
图1是示出作为根据本发明第一实施例的摄像设备的示例的数字照相机的结构的框图。
在图1中,附图标记101表示包括镜头和用作光圈的机械快门的摄像光学系统,该摄像光学系统将被摄体的入射光学图像形成在图像传感器102上。图像传感器102通过光电转换,将所形成的被摄体的光学图像转换成电信号。
模拟信号处理单元103对来自图像传感器102的输出信号应用诸如相关双采样等的处理,并输出模拟图像信号。模拟/数字转换单元(ADC单元)104将从模拟信号处理单元103输出的模拟图像信号转换成数字图像信号。信号处理单元105对从ADC单元104输出的数字图像信号应用诸如白平衡调整、γ校正和像素插值等的图像处理。
帧存储器单元108是用于暂时存储数字图像信号的存储器,并且包括例如DRAM。信号压缩单元111根据诸如JPEG(Joint Photographic Experts Group,联合图像专家组)等的方法,对帧存储器单元108中存储的数字图像信号进行压缩。压缩操作响应于拍摄时的释放操作而开始。设置记录介质单元112以存储压缩后的数字图像信号,并且记录介质单元112包括例如闪速存储器。
编码器单元109将帧存储器单元108中存储的数字图像信号转换成适合以诸如NTSC标准或PAL标准等进行显示的图像信号。然后,电子取景器110是用于显示由编码器单元109转换成的图像信号的显示单元。
系统控制单元106控制数字照相机的各单元。另外,系统控制单元106基于来自操作者的指令确定数字照相机的操作模式,并且从存储器单元113检索与所确定的操作模式相对应的信息。
热敏电阻器115测量图像传感器102周围的温度,并将所测量得到的温度传递至系统控制单元106。定时信号生成单元107将驱动用的定时信号输出至图像传感器102、模拟信号处理单元103和ADC单元104。从定时信号生成单元107输出的各种类型的定时信号均是基于从系统控制单元106提供的基准时钟信号的。
当用户启动数字照相机以及改变与诸如曝光条件、变焦倍率和驱动模式等的数字照相机的系统设置有关的信息时,操作操作单元114。然后,每当从用户输入关于与数字照相机的系统设置有关的信息的变化的信息时,操作单元114将与该变化有关的信息输入至系统控制单元106。操作单元114例如包括电源开关、快门按钮、模式切换开关和操作输入组等。
图2是示出用作图像传感器102的CCD的构造示例的图。如图2所示,图像传感器102(CCD)具有以二维矩阵形状配置的大量像素102a。此外,以在像素102a的列之间配置用于在垂直方向上传送来自像素102a的信号电荷的垂直传送CCD 102b的方式来配置图像传感器102。在该例子中,这些像素按所谓的拜尔排列配置,其中在该拜尔排列中,排成行的R(红色)像素和G(绿色)像素的行和排成行的G(绿色)像素和B(蓝色)像素的行在水平方向上交替配置。另外,附图标记102d表示被遮光的OB(光学黑)像素,该OB像素102d输出不依赖于入射光的电荷信号。
在该第一实施例中,假定根据3场读出来执行从该配置中的像素的图像信号读出。在3场读出的情况下,在第1场中,将第1行像素、第4行像素、第7行像素、...像素的图像信号传送至垂直传送CCD 102b,并读出这些图像信号,并且在接下来的第2场中,按相同方式读出第2行像素、第5行像素、第8行像素、...像素的信号。此外,在第3场中,读出第3行像素、第6行像素、第9行像素、...像素的信号。要注意,被传送至垂直传送CCD102b的信号电荷先由垂直传送CCD 102b在垂直方向上传送,然后由水平传送CCD 102c在水平方向上传送,并将这些信号电荷发送至后段的放大器(未示出)。
在该第一实施例中,由于以下原因因而执行该读出。更具体地,这是因为:由于近来的图像传感器具有相当多的彼此靠近的像素,因此当将所有像素的信号一次传送至垂直传送CCD102b时,在垂直传送CCD 102b中,垂直相邻像素的信号引起混色(color mixture)。另外,由于当在同一场中读出例如第1行像素和第4行像素的信号时该场中包含了所有三种颜色R、G和B的信号,因此对每三行执行该读出。
要注意,本发明不应当被看作为局限于3场读出,并且可以分割为除3个场以外的多个场以进行读出,或者可以在无需分割成场的情况下执行帧读出。
接着,将说明如上所述配置的数字照相机中的根据第一实施例的处理。基于诸如图像传感器102的温度(t)、快门速度(s)和感光度(A)(拍摄感光度)等的信息,可以估计暗电流的大小(暗电流值)。因此,基于这些值来选择正常读出处理、垂直线噪声校正处理和黑去除处理(black subtraction processing)中的任意一个。
垂直传送CCD 102b中生成的暗电流的大小(暗电流值)依赖于感光度和温度,并且该暗电流随着感光度或温度的上升而增加。另外,像素中生成的暗电流的大小(暗电流值)依赖于感光度、温度和快门速度,并且在感光度变高、温度变高或快门速度变慢时,该暗电流增加。因此,当处于低温且快门速度快时将执行正常读出处理,当处于高温且快门速度快时将执行垂直线噪声校正处理,并且当处于低温或高温且快门速度慢时将执行黑去除处理。
因而,基于诸如图像传感器102的温度(t)、快门速度(s)和感光度(A)等的信息,估计暗电流值X,并且在暗电流值X大于如下的暗电流值X1的条件下开始垂直线噪声校正处理,其中,在该暗电流值X1的情况下,主要由垂直传送CCD 102b的暗电流成分所引起的垂直线噪声开始在图像上显现。
另外,在所估计的暗电流值X大于如下的暗电流值X2的条件下开始黑去除处理,其中在该暗电流值X2的情况下,主要由图像传感器102的垂直传送CCD 102b的暗电流成分所引起的垂直线噪声和主要由像素102a的暗电流成分所引起的固定模式噪声均开始在图像上显现。
在这种情况下,垂直线噪声开始显现的暗电流值X1和固定模式噪声开始显现的暗电流值X2的大小关系通常为X1<X2。
图3A和3B是示出保持在例如系统控制单元106的内部存储器中的第一实施例的校正选择表的示例的表。如图3A和3B所示,校正选择表是指用于使温度(t)、快门速度(s)和感光度(A)这三个参数与正常读出处理、垂直线噪声校正处理和黑去除处理这三类处理(内容)相对应的表。图3A和3B所示的校正选择表的例子包括按感光度(A)的值分成的两个表,并且图3A和3B分别示出低感光度和高感光度的情况。另外,在图3A和3B所示的校正选择表中,虚线表示暗电流值X1的边界,而粗线表示暗电流值X2的边界。
通过暗电流成分的特性,根据用于确定需要进行哪种校正的边界,预先分别确定感光度A1、温度T1、T2和快门速度S1、S2。
这里,黑去除处理是指如下处理:在使快门在与图像传感器102的主图像的曝光时间段相同的时间段内关闭的情况下累积电荷,并从该主图像的信号中减去作为该累积的结果所获得的暗电流成分(黑图像)。该处理的执行可以降低来自主图像的信号的暗电流成分,以降低由于暗电流引起的固定模式噪声。另外,该黑去除处理的执行还如以下将详细说明的那样从主图像的信号中减去垂直线噪声的信号成分,由此消除了执行垂直线噪声校正处理的需要。
然而,在执行黑去除处理的情况下,需要通过在与主拍摄的情况相同的电荷累积时间段内累积电荷来获取黑图像,由此导致处理时间较长。另外,当从主图像减去黑图像时,以像素为单位发生的固定模式噪声降低,而以像素为单位发生的随机噪声成分不利地增加,从而使S/N比劣化。因此,在仅发生垂直线噪声的情况下,期望执行垂直线噪声校正处理,而不执行黑去除处理。
现在,将参考图4A~5E来说明垂直线噪声校正处理和黑去除处理。在图4A和4B中,VD表示垂直同步信号。首先,将说明垂直线噪声校正处理。
图4A示出第一实施例中进行垂直线噪声校正处理时的时序图。首先,在曝光时间段内,在输出读出脉冲之后利用电子快门清除图像传感器102中的累积电荷,并且主曝光开始。然后,在预定时间段过去之后,根据摄像光学系统101的机械快门的快门速度,输出用于使快门关闭的脉冲以关闭机械快门,由此完成图像传感器102的曝光。
之后,在正常读出处理的情况下读出第1场中的图像信号,而在垂直线噪声校正处理的情况下,在读出第1场中的图像信号之前,读出图像传感器102中无任何像素信息的空传送图像,而不输出读出脉冲。在下文,由此读出的空传送图像被称为“虚拟图像(dummy image)”,并且用于读出虚拟图像的场被称为“虚拟场”。由于即使在没有传送来自像素的图像信号时在垂直传送CCD 102b中也发生垂直线噪声,因此虚拟图像产生发生了垂直线噪声的图像,因此虚拟图像可以用作用于校正垂直线噪声的图像。另外,在第一实施例中,为了使垂直线噪声成分在画面的上端和下端均匀,在选择垂直线噪声校正时使读出图像信号之前的高速扫除停止。
在以这种方式在帧存储器单元108中取出虚拟图像之后,检测垂直线噪声量,并且创建垂直线噪声的校正数据并将该校正数据存储在帧存储器单元108中。之后,输出第1场的读出脉冲以读出第1场中的图像信号。在执行第1场的该读出的情况下,从帧存储器单元108读出垂直线噪声的校正数据,以执行对所读出的第1场的图像信号的减法处理,并且将相减结果写入帧存储器单元108中。对第2场和第3场执行相同的处理,从而对具有垂直线噪声的图像执行校正。
图5A~5E是示出垂直线噪声校正处理前后的图像的示例的图。在执行垂直线噪声校正处理的情况下,使读出图像信号之前的高速扫除停止。因而,如图5A所示,产生垂直线噪声在画面的上端和下端均匀的图像。图5B是表示针对各场的图5A中具有垂直线噪声的未校正图像的图。在第一实施例中,由于如上所述将图像传感器102的图像信号分割得到3个场并按每三行读出图像信号,因此各场的图像均为相对于最终的图像大小的1/3。要注意,在执行从除这3个场以外的多个场读出的情况下或在执行帧读出的情况下,各图像的垂直大小为相对于最终的图像大小的1/场数(在帧读出的情况下,场数=1)。
图5C是示出虚拟图像的示例的图。由于在虚拟场中不输出像素的读出脉冲,因此基本图像将为黑图像。然而,即使在无任何像素信息的情况下,在垂直传送CCD 102b中也传送电荷,并且如图5C所示虚拟图像也发生垂直线噪声。由于该垂直线噪声的信号电平与在读出各场的图像的情况下的垂直线噪声的信号电平相同,因此根据该虚拟图像创建垂直线噪声的校正数据(图5D)。通过在垂直方向上对虚拟图像的预定区域中的像素的值求平均以获得垂直线噪声检测值,来创建校正值的数据。因此,为了提高垂直线噪声检测的精度,优选虚拟图像的垂直大小尽可能大。
从图5B所示的各场的具有垂直线噪声的各未校正图像中减去由此获得的校正数据,从而使得执行垂直线噪声校正。图5E示出进行了垂直线噪声校正的图像。
接着,将说明黑去除处理。图4B示出第一实施例中黑去除处理时的时序图。首先,在曝光时间段内,在输出读出脉冲之后利用电子快门清除图像传感器102中的累积电荷,并且主曝光开始。然后,在预定时间段过去之后,根据摄像光学系统101的机械快门的快门速度,输出用于使快门关闭的脉冲以关闭机械快门,从而完成图像传感器102的曝光。
在执行高速扫除的操作之后,输出第1场的读出脉冲以读出第1场中的图像信号,并将这些图像信号写入帧存储器单元108中。对第2场和第3场执行相同的操作。
之后,为了获取黑图像,在使机械快门在与主拍摄的情况下的曝光时间段相同的电荷累积时间段内关闭的情况下累积电荷。在电荷累积时间段结束之后,以与主拍摄时相同的方式执行高速扫除,并且输出第1场的读出脉冲以读出第1场中的黑图像。
然后,执行从帧存储器单元108中预先存储的主图像的第1场中减去黑图像的第1场的减法处理,并且将相减结果再次写入帧存储器单元108中。对第2场和第3场执行相同系列的处理,从而执行黑去除处理。
接着,将参考图6的流程图来说明第一实施例中拍摄用的处理。
系统控制单元106根据存储在系统控制单元106的内部存储器中或存储在存储器单元113中的测光数据,使包括在摄像光学系统101中并用作光圈的机械快门依赖于光圈值而打开(步骤S11),并且开始图像传感器102的曝光(步骤S12)。
接着,根据闪光灯标志判断是否需要利用未示出的闪光灯的辅助光(步骤S13),如果需要,则打开闪光灯以发光(步骤S14),如果不需要,则处理在不使闪光灯打开发光的情况下进入步骤S15。
系统控制单元106根据测光数据等待图像传感器102的曝光的完成(步骤S15),并且关闭包括在摄像光学系统101中的机械快门(步骤S16)。然后,系统控制单元106获取所确定的快门速度s和感光度A以及由热敏电阻器115所测量出的温度t(步骤S17)。基于所获取的结果,参考如图3A和3B所示的存储在系统控制单元106的内部存储器(未示出)中的校正选择表,判断是执行垂直线噪声校正处理还是执行黑去除处理(步骤S18)。
根据步骤S17中的检测结果,如果在步骤S18中根据校正选择表选择了正常读出处理,则处理进入步骤S19,在步骤S19中,执行读出正常图像信号的操作。可选地,如果选择了垂直线噪声校正处理,则处理进入步骤S21,在步骤S21中,执行垂直线噪声校正处理,而如果选择了黑去除处理,则处理进入步骤S25,在步骤S25中,执行黑去除处理。
在正常读出处理时,首先,对图像传感器102进行高速扫除以扫除不需要的电荷(步骤S19)。之后,从图像传感器102读出电荷信号,并将这些电荷信号发送至模拟信号处理单元103、ADC单元104和信号处理单元105并在这些单元中进行处理,以获得图像信号,并且将这些图像信号写入帧存储器单元108中(步骤S20)。
在垂直线噪声校正处理时,在不从图像传感器102传送累积电荷的情况下,通过模拟信号处理单元103、ADC单元104和信号处理单元105中的处理读出虚拟图像,并将该虚拟图像写入帧存储器单元108中(步骤S21)。要注意,在读出虚拟图像的情况下不执行图像传感器102的高速扫除。
接着,检测垂直线噪声量(步骤S22)。为了检测该垂直线噪声量,在垂直方向上对虚拟图像的预定区域中的像素值求平均,以获得各水平线的垂直线噪声检测值,从而创建校正数据。
接着,从第1场顺次读出主图像的图像信号的图像(步骤S23)。在这种情况下,不执行图像传感器102的高速扫除。另外,通过在从主图像数据中减去步骤S22中生成的校正数据的同时读出主图像来执行垂直线噪声校正处理,并且将经过该垂直线噪声校正的图像写入帧存储器单元108中(步骤S24)。
在黑去除处理时,首先,在图像传感器102中执行高速扫除以扫除不需要的电荷(步骤S25),然后针对各帧读出正常图像并将该正常图像存储在帧存储器单元108中(步骤S26)。之后,由于需要读出在与紧接在之前的主拍摄时的曝光时间段相同的曝光时间段内所累积的黑图像,因此在使快门关闭的情况下开始电荷累积(步骤S27),同时保持等待,直到与主拍摄的曝光时间段相同的电荷累积时间段结束为止(步骤S28)。在电荷累积时间段结束之后,执行高速扫除(步骤S29),然后针对各帧从图像传感器102顺次读出黑图像(步骤S30)。
然后,在步骤S26中从帧存储器读出帧存储器单元108中存储的主图像时,对该主图像进行从主图像中减去步骤S30中读出的相应帧的黑图像的黑去除处理,并将该主图像再次存储在帧存储器单元108中(步骤S31)。
当根据步骤S20、步骤S24和步骤S31中的任一步骤在帧存储器单元108上完成所拍摄图像时,根据所确定的拍摄模式顺次执行显影用的处理(步骤S32),并将处理后的图像数据写入帧存储器单元108中。
如上所述,根据第一实施例,依赖于快门速度s、感光度A和温度t,从正常读出处理、垂直线噪声校正处理和黑去除处理中选择适当的处理,因而可以在不使图像质量劣化的情况下降低垂直线噪声。
要注意,根据本发明的摄像设备不应被看作局限于具有图1和2所示的结构的摄像设备,并且垂直线噪声校正处理和黑去除处理的过程根据图像传感器102的结构以及从图像传感器102进行读出的方法而不同。因此,在不限于以上所述的针对垂直线噪声校正处理和黑去除处理的方法的情况下,根据设备的结构可以使用已知的方法来执行垂直线噪声校正处理和黑去除处理。
第二实施例
接着,将说明本发明的第二实施例。在以上所述的第一实施例中,使用基于根据摄像设备的温度、快门速度和感光度所估计出的暗电流的校正选择表,以基于检测到的温度、快门速度和感光度来选择正常读出、垂直线噪声校正和黑去除处理中的任意一个。
然而,图像传感器102中发生的暗电流针对各图像传感器102而变化。因此,在创建校正选择表时,考虑到图像传感器102中的暗电流的变化,需要提早开始垂直线噪声校正或开始黑去除处理,由此导致图像质量的加速劣化。
因而,在第二实施例中,为了消除图像传感器102中的暗电流的变化的影响,在数字照相机的操作期间实际测量暗电流,并且基于测量值来选择正常读出处理、垂直线噪声校正处理和黑去除处理中的任意一个。
图7是示出根据第二实施例的数字照相机的结构的框图。尽管图7与图1的不同之处在于在ADC单元104和信号处理单元105之间设置暗电流检测单元701,但其它结构与图1中的结构相同。因而,将相同的附图标记分配给相同的元件,并且将省略对这些元件的说明。
通常,使用图2所示的图像传感器102的光学黑像素102d作为用作黑电平的基准的像素。另外,除了光学黑像素102d被遮光以外,光学黑像素102d和其它像素之间在结构方面不存在差异。因此,暗电流也以与其它像素相同的方式发生。因此,暗电流检测单元701从图像传感器102中的光学黑像素102d的图像信号中检测暗电流。在第二实施例中,在静止图像拍摄之前的驱动模式下、例如在EVF(电子取景器)模式下进行驱动时所获取的图像信号中,针对从光学黑像素102d输出的图像信号计算标准偏差。将计算出的标准偏差确定为暗电流的检测值(暗电流值σ1)。将检测到的暗电流值σ1存储在系统控制单元106的内部存储器中。
接着,将参考图8的流程图来说明第二实施例中拍摄用的处理。要注意,将相同的步骤编号分配给图8中与图6所示的处理相同的处理,并且将适当省略对该处理的说明。
在曝光完成之后(步骤S15),系统控制单元106关闭机械快门(步骤S16),并且根据在EVF操作期间检测到的暗电流值σ1来计算主拍摄时所预期的暗电流值σ2(步骤S101)。通过以下计算公式(1)来获得暗电流值σ2。
σ2=σ1×(s/s’)×(A/A’)    (1)
在公式(1)中,s是主拍摄时的快门速度,s’是在EVF模式下进行操作时的快门速度,A是主拍摄时的感光度,并且A’是在EVF模式下进行操作时的感光度。更具体地,将EVF模式下进行操作期间检测到的暗电流值σ1乘以主拍摄时的快门速度和感光度相对于EVF模式下进行操作时的快门速度和感光度的比,以获得主拍摄时的暗电流值σ2。
然后,在步骤S102中,如果暗电流值σ2为σ2<α,则判断为暗电流成分低,并且处理将进入步骤S19以读出正常图像信号。如果暗电流值σ2为α≤σ2<β,则判断为暗电流引起垂直线噪声,并且处理将进入步骤S21以对所读出的图像信号执行垂直线噪声校正处理。如果暗电流值σ2为σ2≥β,则将不仅注意到垂直线噪声还注意到像素本身的固定模式噪声,因此处理将进入步骤S25以对所读出的图像信号执行黑去除处理。在这些情况下,α和β是暗电流值的阈值,并且将暗电流成分的最小值确定为如下的α,在α的情况下,主要由垂直传送CCD 102b的暗电流成分所引起的垂直线噪声开始在图像上显现,并且需要进行垂直线噪声校正。将暗电流成分的最小值确定为如下的β,在β的情况下,主要由垂直传送CCD的暗电流成分所引起的垂直线噪声和主要由像素的暗电流成分所引起的固定模式噪声均开始在图像上显现,并且需要进行黑去除处理。
在步骤S19之后,根据参考图6中的流程图在第一实施例所述的过程来执行处理。
如上所述,根据第二实施例,根据从光学黑像素的输出获得的暗电流值,从正常读出处理、垂直线噪声校正处理和黑去除处理中选择适当的处理,因此可以在不使图像质量劣化的情况下降低垂直线噪声。
尽管在第二实施例中静止图像拍摄之前的驱动模式是EVF模式,但可以使用用于使被摄体聚焦的AF模式或测光用的EF模式。更具体地,可以使用在当前所读取的图像之前读出的图像的图像信号。
第三实施例
接着,将说明根据本发明的第三实施例。在以上所述的第一实施例和第二实施例中,在执行垂直线噪声校正的情况下不执行高速扫除。然而,如果不执行高速扫除,则当拍摄高亮度被摄体时将发生拖尾(smear)。因此,在第三实施例中,如图9的时序图所示,在读出虚拟图像之前添加高速扫除用的虚拟场1。因而,在图像传感器102的曝光时间段结束之后,通过高速扫除消除诸如拖尾成分等的不需要的电荷。
之后,为了使垂直线噪声在画面的上端和下端均匀,在高速扫除用的虚拟场1的时间段内在垂直传送CCD 102b中执行传送,直到移动至下一虚拟场2为止。该操作使得虚拟图像2和图像信号1~3中的垂直线噪声如图5B和5C所示在画面的上端和下端均匀,并且从虚拟图像2对垂直线噪声的检测使得可以进行第一实施例所述的垂直线噪声校正。
要注意,以与第一实施例相同的方式执行黑去除。另外,为了在正常读出处理、垂直线噪声校正处理和黑去除处理之间进行切换,可以应用图6或8中的处理。
第四实施例
接着,将说明本发明的第四实施例。在以上所述的第一实施例和第二实施例中,使用没有读出来自像素的电荷的虚拟图像来创建垂直线噪声校正的校正值。另一方面,在第四实施例中,从黑图像而非虚拟图像来检测垂直线噪声校正的校正值。
另外,在垂直线噪声校正时,仅在第1场中读出黑图像,而在第2场或第3场中不读出黑图像。以下将参考图10的时序图来说明详细的操作。
首先,在曝光时间段内,在输出读出脉冲之后利用电子快门清除图像传感器102中的累积电荷,并且开始主曝光。然后,在预定时间段过去之后,根据摄像光学系统101的机械快门的快门速度,输出用于使快门关闭的脉冲以关闭机械快门,由此图像传感器102的曝光结束。
之后,输出第1场的读出脉冲以读出第1场中的图像信号,并将这些图像信号写入帧存储器单元108中。对第2场和第3场执行相同的操作。
之后,为了获取黑图像,在使机械快门关闭的情况下累积电荷。然而,由于作为垂直线噪声的主要原因的垂直CCD的暗电流成分不依赖于累积时间段,因此无需设置与主拍摄时的时间段相同的曝光时间段,并且由此将该曝光时间段设置为最短的累积时间段。
在累积时间段结束之后,输出第1场的读出脉冲以读出第1场中的黑图像信号,并将这些黑图像信号写入帧存储器单元108中。在将这些黑图像信号写入帧存储器单元108之后,检测垂直线噪声量以创建垂直线噪声的校正数据。为了检测垂直线噪声量,获取黑图像信号的预定区域中的像素的平均值作为各水平线的垂直线噪声检测值,以创建校正数据。然后,从帧存储器单元108中存储的通过主拍摄获得的第1场~第3场的图像信号中减去所创建的校正数据,由此创建校正了垂直线噪声的校正图像。
要注意,在第四实施例中从黑图像检测垂直线噪声时,为了抑制以像素为单位发生的暗电流成分,优选黑图像的垂直大小尽可能大,从而提高垂直线噪声检测的精度。
如上所述,根据第四实施例,使用黑图像使得可以在无需特别切换至虚拟图像读出的情况下执行垂直线噪声校正处理。另外,可以使图像传感器102中诸如电极构造(未示出)等的电路大小缩小,以简化固件的控制序列。
要注意,以与第一实施例相同的方式执行黑去除。另外,为了在正常读出处理、垂直线噪声校正处理和黑去除处理之间进行切换,可以应用图6或8中的处理。
尽管已经参考典型实施例说明了本发明,但是应该理解,本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释,以包含所有这类修改、等同结构和功能。

Claims (8)

1.一种摄像设备,包括:
图像传感器,用于通过光电转换将被摄体的光学图像转换成图像信号,所述图像传感器包括二维排列的多个像素、用于在垂直方向上传送来自所述多个像素的图像信号的垂直传送单元以及用于在水平方向上传送从所述垂直传送单元在所述垂直方向上传送来的图像信号的水平传送单元;
垂直线噪声校正单元,用于对所述图像信号执行垂直线噪声校正处理;
黑去除处理单元,用于对所述图像信号执行黑去除处理;以及
控制单元,用于以如下方式进行控制:
获取用于估计所述图像传感器中的暗电流的大小的信息;
基于所获取的信息,选择所述垂直线噪声校正处理、所述黑去除处理和正常读出处理中的任一处理,其中,在所述正常读出处理中,既不执行所述垂直线噪声校正处理也不执行所述黑去除处理;以及
在选择了所述垂直线噪声校正处理的情况下,所述垂直线噪声校正单元执行所述垂直线噪声校正处理以校正图像中的垂直线噪声,或者在选择了所述黑去除处理的情况下,所述黑去除处理单元执行所述黑去除处理以校正图像中的垂直线噪声和固定模式噪声。
2.根据权利要求1所述的摄像设备,其特征在于,所述控制单元获取所述图像传感器的温度、快门速度和感光度作为所述信息,保持用于依赖于所估计出的暗电流的大小、使所述信息与处理内容相对应的表,并且根据所述表来选择所述垂直线噪声校正处理、所述黑去除处理和所述正常读出处理中的任一处理。
3.根据权利要求1所述的摄像设备,其特征在于,所述图像传感器还包括被遮光的多个光学黑像素,
所述控制单元获取如下内容作为所述信息:用于获取当前所读取的第一图像信号的第一快门速度和第一感光度、在读出所述第一图像信号之前从所述图像传感器读出的第二图像信号中从所述光学黑像素输出的光学黑像素信号、以及用于获取所述第二图像信号的第二快门速度和第二感光度,以及
将所获取的光学黑像素信号的标准偏差乘以所述第一快门速度相对于所述第二快门速度的比和所述第一感光度相对于所述第二感光度的比,以估计读出所述第一图像信号时的暗电流的大小。
4.根据权利要求1至3中任一项所述的摄像设备,其特征在于,所述控制单元以如下方式进行控制:在所述正常读出处理或所述黑去除处理中,对所述垂直传送单元执行高速扫除,并且在所述垂直线噪声校正处理中,不对所述垂直传送单元执行高速扫除。
5.根据权利要求1至3中任一项所述的摄像设备,其特征在于,所述垂直线噪声校正单元在未将来自所述多个像素的图像信号传送至所述垂直传送单元的情况下在所述垂直传送单元中执行空传送以读出信号,基于所读出的信号生成用于校正垂直线噪声的校正数据,并且从自所述多个像素读出的图像信号中减去所述校正数据以执行所述垂直线噪声校正处理。
6.根据权利要求5所述的摄像设备,其特征在于,所述垂直线噪声校正单元在所述空传送之前,对所述垂直传送单元执行高速扫除。
7.根据权利要求1至3中任一项所述的摄像设备,其特征在于,所述垂直线噪声校正单元对所述多个像素曝光以获取图像信号,然后对所述多个像素遮光以获取黑图像信号,基于所述黑图像信号生成用于校正垂直线噪声的校正数据,并且从自所述多个像素读出的图像信号中减去所述校正数据以执行所述垂直线噪声校正处理。
8.一种摄像设备的控制方法,所述摄像设备包括用于通过光电转换将被摄体的光学图像转换成图像信号的图像传感器,所述图像传感器包括二维排列的多个像素、用于在垂直方向上传送来自所述多个像素的图像信号的垂直传送单元以及用于在水平方向上传送从所述垂直传送单元在所述垂直方向上传送来的图像信号的水平传送单元,所述控制方法包括以下步骤:
获取步骤,用于获取用于估计所述图像传感器中的暗电流的大小的信息;
选择步骤,用于基于所获取的信息,选择垂直线噪声校正处理、黑去除处理和正常读出处理中的任一处理,其中,在所述正常读出处理中,既不执行所述垂直线噪声校正处理也不执行所述黑去除处理;
垂直线噪声校正处理步骤,用于在所述选择步骤中选择了所述垂直线噪声校正处理的情况下,执行所述垂直线噪声校正处理以校正图像中的垂直线噪声;以及
黑去除处理步骤,用于在所述选择步骤中选择了所述黑去除处理的情况下,执行所述黑去除处理以校正图像中的垂直线噪声和固定模式噪声。
CN201010546353.3A 2009-11-13 2010-11-12 摄像设备及其控制方法 Expired - Fee Related CN102065219B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009260452A JP5523065B2 (ja) 2009-11-13 2009-11-13 撮像装置及びその制御方法
JP2009-260452 2009-11-13

Publications (2)

Publication Number Publication Date
CN102065219A true CN102065219A (zh) 2011-05-18
CN102065219B CN102065219B (zh) 2013-07-17

Family

ID=44000305

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010546353.3A Expired - Fee Related CN102065219B (zh) 2009-11-13 2010-11-12 摄像设备及其控制方法

Country Status (3)

Country Link
US (1) US8634003B2 (zh)
JP (1) JP5523065B2 (zh)
CN (1) CN102065219B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104769933A (zh) * 2012-05-23 2015-07-08 杭州美盛红外光电技术有限公司 红外摄影装置和红外摄影方法
CN110365925A (zh) * 2019-07-11 2019-10-22 北京安酷智芯科技有限公司 一种读出电路、偏置电路噪声确定方法及装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013058856A (ja) * 2011-09-07 2013-03-28 Nikon Corp 撮像装置
TWI494909B (zh) * 2011-11-16 2015-08-01 Joled Inc A signal processing device, a signal processing method, a program and an electronic device
KR102025928B1 (ko) * 2013-05-14 2019-09-26 삼성전자주식회사 촬상 장치 및 제어 방법
JP2015050671A (ja) * 2013-09-02 2015-03-16 株式会社東芝 固体撮像装置
US9560294B2 (en) * 2014-12-10 2017-01-31 Semiconductor Components Industries, Llc Systems and methods for pixel-level dark current compensation in image sensors
JP6536126B2 (ja) * 2015-03-31 2019-07-03 株式会社ニコン 撮像素子および撮像装置
US10694128B2 (en) * 2015-07-23 2020-06-23 Sony Corporation Solid-state image pickup apparatus and driving method for solid-state image pickup apparatus
KR20210092964A (ko) * 2020-01-17 2021-07-27 삼성전자주식회사 이미지 센서 및 이를 포함하는 카메라 모듈

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1617571A (zh) * 2003-10-31 2005-05-18 佳能株式会社 缺陷校正装置及方法
CN1675919A (zh) * 2002-08-22 2005-09-28 奥林巴斯株式会社 摄像系统及图像处理程序
JP2008141609A (ja) * 2006-12-04 2008-06-19 Canon Inc 光電変換装置及び撮像システム
JP2008148063A (ja) * 2006-12-11 2008-06-26 Matsushita Electric Ind Co Ltd 撮像装置
CN101262565A (zh) * 2007-03-08 2008-09-10 索尼株式会社 摄像方法及摄像装置以及驱动装置
CN101420518A (zh) * 2007-10-22 2009-04-29 索尼株式会社 噪声校正电路、成像装置和噪声校正方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7586526B2 (en) * 2001-03-29 2009-09-08 Canon Kabushiki Kaisha Image sensing apparatus with at least two transfer speeds and its control method
JP3934506B2 (ja) * 2002-08-06 2007-06-20 オリンパス株式会社 撮像システムおよび画像処理プログラム
JP3800197B2 (ja) * 2003-04-25 2006-07-26 コニカミノルタフォトイメージング株式会社 撮像装置
JP4054780B2 (ja) * 2004-05-27 2008-03-05 キヤノン株式会社 撮像装置
JP4763375B2 (ja) * 2004-08-24 2011-08-31 パナソニック株式会社 撮像装置および画像データの補正方法
JP4677300B2 (ja) 2005-07-12 2011-04-27 キヤノン株式会社 撮像装置及びその制御方法
JP4921058B2 (ja) * 2006-07-14 2012-04-18 キヤノン株式会社 撮像装置及びその制御方法
US7813586B2 (en) * 2006-08-07 2010-10-12 Mela Sciences, Inc. Reducing noise in digital images
JP4951781B2 (ja) * 2007-11-14 2012-06-13 キヤノン株式会社 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム
JP5335327B2 (ja) * 2008-08-29 2013-11-06 キヤノン株式会社 欠陥検出補正装置及び欠陥検出補正方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1675919A (zh) * 2002-08-22 2005-09-28 奥林巴斯株式会社 摄像系统及图像处理程序
CN1617571A (zh) * 2003-10-31 2005-05-18 佳能株式会社 缺陷校正装置及方法
JP2008141609A (ja) * 2006-12-04 2008-06-19 Canon Inc 光電変換装置及び撮像システム
JP2008148063A (ja) * 2006-12-11 2008-06-26 Matsushita Electric Ind Co Ltd 撮像装置
CN101262565A (zh) * 2007-03-08 2008-09-10 索尼株式会社 摄像方法及摄像装置以及驱动装置
CN101420518A (zh) * 2007-10-22 2009-04-29 索尼株式会社 噪声校正电路、成像装置和噪声校正方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104769933A (zh) * 2012-05-23 2015-07-08 杭州美盛红外光电技术有限公司 红外摄影装置和红外摄影方法
CN110365925A (zh) * 2019-07-11 2019-10-22 北京安酷智芯科技有限公司 一种读出电路、偏置电路噪声确定方法及装置
CN110365925B (zh) * 2019-07-11 2021-08-31 北京安酷智芯科技有限公司 一种读出电路、偏置电路噪声确定方法及装置

Also Published As

Publication number Publication date
JP5523065B2 (ja) 2014-06-18
US20110115952A1 (en) 2011-05-19
US8634003B2 (en) 2014-01-21
CN102065219B (zh) 2013-07-17
JP2011109281A (ja) 2011-06-02

Similar Documents

Publication Publication Date Title
CN102065219B (zh) 摄像设备及其控制方法
US8890972B2 (en) Image capturing apparatus and image processing method
JP3748267B2 (ja) 撮像装置
JP5979961B2 (ja) 焦点検出装置、焦点検出方法及び撮像装置
TWI323382B (zh)
KR101536060B1 (ko) 고체 촬상 장치 및 카메라 모듈
JP6678504B2 (ja) 撮像装置及びその制御方法、プログラム並びに記憶媒体
US8103158B2 (en) Image sensing apparatus and control method thereof
JP2015088917A (ja) 撮像装置、撮像方法、プログラム、及び記録媒体
JP2014106478A (ja) 焦点検出装置、撮像装置、撮像システム、および、焦点検出方法
CN100377574C (zh) 图像处理装置和电子照相机
CN104243863A (zh) 拍摄装置、拍摄方法
JP5199736B2 (ja) 画像撮像装置
CN101656819A (zh) 图像拍摄装置及减少拖尾的方法
JP2007174266A (ja) 撮像装置
JP2005110178A (ja) 固体撮像装置
JP2009164859A (ja) 撮像装置及び撮像制御方法
JP2020148980A (ja) 撮像装置および焦点調節方法
JP2000341720A (ja) 3次元画像入力装置および記録媒体
JP6758964B2 (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JP2002044495A (ja) 電子カメラ
JP6000627B2 (ja) 焦点検出装置、その制御方法、および制御プログラム、並びに撮像装置
JP2006165725A (ja) 撮影装置及びその露出決定方法
JP2001324672A (ja) オートフォーカス制御方法及びオートフォーカス装置
JP5597273B2 (ja) 撮像装置及び画像処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130717

Termination date: 20171112