CN1893558A - 电子抖动校正装置 - Google Patents

电子抖动校正装置 Download PDF

Info

Publication number
CN1893558A
CN1893558A CNA2006100943434A CN200610094343A CN1893558A CN 1893558 A CN1893558 A CN 1893558A CN A2006100943434 A CNA2006100943434 A CN A2006100943434A CN 200610094343 A CN200610094343 A CN 200610094343A CN 1893558 A CN1893558 A CN 1893558A
Authority
CN
China
Prior art keywords
mentioned
exposure
time
image
electrode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006100943434A
Other languages
English (en)
Other versions
CN100426845C (zh
Inventor
山崎正文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Imaging Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Imaging Corp filed Critical Olympus Imaging Corp
Publication of CN1893558A publication Critical patent/CN1893558A/zh
Application granted granted Critical
Publication of CN100426845C publication Critical patent/CN100426845C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/684Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明提供可在不需要机械机构的同时,进行应对范围宽的快门速度的抖动校正的电子抖动校正装置。该电子抖动校正装置具有:固体摄像元件(1),将多个像素呈矩阵状排列;角速度传感器(19、20),对成像在该固体摄像元件(1)上的光学像的抖动进行检测;以及CPU(7),算出合适的曝光时间,将该曝光时间进行时分,以便小于等于根据摄影镜头(15)的焦距所决定的不发生抖动的界限曝光时间,使固体摄像元件(1)进行多次曝光;固体摄像元件(1)根据配备在内部的水平传送寄存器和垂直传送寄存器使通过时分摄影所得到的多张图像的相对抖动移动来进行校正,将抖动校正后的多张图像进行相加,之后进行输出。

Description

电子抖动校正装置
技术领域
本发明涉及对成像在固体摄像元件上的图像的抖动进行电子校正的电子抖动校正装置。
背景技术
使用固体摄像元件对静态图像和动态图像进行摄像的摄像装置,有不少是构成为用手把持来进行摄影。在这种摄像装置中,公知的是,例如在被摄体的亮度低的情况下,由于快门速度变慢,因而容易发生手抖。并且,在车载照相机等中,公知的是,由于行驶时的振动,同样有发生抖动的可能性。
用于校正这种抖动的技术,以往提出了各种技术,以下对其代表性的几个例子进行说明。
(1)电子式抖动校正(日本特开平6-46316号公报等)
在电子式抖动校正中,使有效像素区域成为比可使用摄像元件摄像的最大像素区域小得多的区域。然后,当使用搭载有电子式抖动校正功能的数字照相机进行了摄影时,所摄影的图像不是立即被记录在存储卡内,而是首先被临时存储在缓冲存储器内。数字照相机不拉开时间间隔而立即对下一图像进行摄影。该第2次摄影的图像也与第1次摄影的图像一样,不是立即被记录在存储卡内,而是首先被存储在缓冲存储器内。此时,在第2次摄影的图像中的被摄体的位置与最初摄影的图像中的被摄体的位置偏离(抖动)的情况下,数字照相机把第1张图像和第2张图像进行比较,使要使用的数据区域错开,以使被摄体按照同样的构图收纳在画面中,并将该区域作为第2张图像中的有效像素区域。通过使用这种技术,可记录在各图像间的被摄体的位置没有偏离(即,没有发生图像间的抖动)的图像数据。
(2)光学式抖动校正(日本特开平10一336510号公报等)
在光学式抖动校正中,以下方式是主流,即:当振动陀螺感知到照相机的移动时,使镜头的一部分向抵消光到达位置的抖动的方向移动。通过使用这种技术,即使照相机移动而要发生抖动,通过使在快门开启后最初到达摄像元件的光的位置、和在快门即将关闭前到达摄像元件的光的位置为同一位置,也能防止抖动。
(3)传感器移动式抖动校正(日本特开2004-56581号公报)
传感器移动式抖动校正是当振动陀螺感知到照相机的移动时,通过使摄像元件移动摄像面中的光的到达位置的抖动量来校正抖动的技术。该技术具有的优点是,由于镜头的一部分没有移动,因而可以基本上不伴随画质劣化地进行抖动校正。并且,该技术还具有的优点是,由于可应用在镜头更换式的照相机中的照相机主体侧,因而即使使用未考虑抖动校正技术的以往的更换镜头,也能进行抖动校正。
(4)日本特开2001-86398号公报
该公报所记载的摄像装置是预先从摄像元件中读出按照没有发生抖动的曝光时间间隔所摄影的多张图像,并存储在缓冲存储器内,在对存储在该缓冲存储器内的多张图像的相互图像抖动(相互图像位置的偏离)进行了校正后,将该所校正的各图像进行相加来生成没有抖动的图像。该技术具有的优点是,由于进行电子抖动校正,因而不需要复杂的机械机构。
另外,在日本特开平8-148667号公报中记载了光导电膜层叠型的固体摄像元件。使用该技术的光导电膜层叠型的CCD是在进行水平扫描和垂直扫描的CCD上层叠进行光电转换以及蓄积所转换的电荷的光导电膜,再在该光导电膜上层叠透明电极。
【专利文献1】日本特开平6-46316号公报
【专利文献2】日本特开平10-336510号公报
【专利文献3】日本特开2004-56581号公报
【专利文献4】日本特开2001-86398号公报
【专利文献5】日本特开平8-148667号公报
然而,上述电子式抖动校正技术是当连续观察多张图像数据时使构图和被摄体位置不抖动的技术,而不是对仅在1张图像内发生的抖动进行校正的技术。即,不是一种即使每一张图像例如由于曝光时间长而发生手抖,也能抑制该手抖的技术,还不能说是能直接有效地应用于静态图像中的抖动校正的技术。
另一方面,上述光学式抖动校正虽然可应用于静态图像中的抖动校正,但是设计非常难,成本高。并且,虽然进行抖动校正,但是例如色像差稍增大,当严密观察时,发生光学性能的劣化。而且,与电子式抖动校正技术不同,由于有必要装入使镜头移动的机构,因而装入了该机构的数字照相机等难以实现小型化。而且,当把该技术应用于例如镜头更换式照相机时,由于需要把抖动校正机构的至少一部分装入在镜头侧,因而在与以往的抖动校正功能不对应的更换镜头中,不能进行抖动校正。
并且,上述传感器移动式抖动校正由于是以机构方式驱动摄像元件,因而难以实现装入了该机构的数字照相机等的小型化,这与上述光学式抖动校正的情况相同。并且,在摄像元件大的情况下,由于移动量也增大,因而机构大型化是不可避免的。然后,摄像元件虽然对仅在垂直于摄影镜头的光轴的摄像平面上移动是重要的,但是很难防止松动的发生、摄像元件相对于光轴的倾斜、摄像元件围绕光轴的旋转等。
而且,上述日本特开2001-86398号公报所记载的技术需要为得到1张图像数据而从摄像元件进行多次读出。构成摄像元件的像素数越多,从该摄像元件的读出就需要越长的时间。列举具体例子,在从600万像素的摄像元件中以30[MHz]的周期读出像素信号的情况下,只读出1次所有像素信号,就需要200[ms]的时间。因此,在进行多次读出的情况下,需要该200[ms]的整数倍的时间(或者其以上的时间)。另一方面,在例如35mm胶卷照相机中,当把摄影镜头的焦距设定为f[mm]时,从经验上可知,能大致抑制抖动发生的最长曝光时间是1/f[秒]。例如,在使用标准的50[mm]的摄影镜头的情况下,该最长曝光时间是20[ms]。然而,连从上述摄像元件中读出1次图像信号的时间200[ms],与该最长曝光时间20[ms]相比都非常长,因此,何况进行多次读出在时间上会太长。这样,该公报所记载的技术例如仅在以下有限条件下被认为是实用的,即:摄像元件的像素数少,而且能大致抑制抖动发生的最长曝光时间长(例如,摄影镜头的焦距短)。
这样,期望的是可在不需要机械机构的同时,进行应对范围宽的快门速度的抖动校正的电子抖动校正装置、以及可将在不同时刻所得到的多张图像进行高速相加的固体摄像元件。
发明内容
本发明就是鉴于上述情况而提出的,本发明的目的是提供可在不需要机械机构的同时,进行应对范围宽的快门速度的抖动校正的电子抖动校正装置。
为了达到上述目的,第1发明的电子抖动校正装置用于对成像在具有呈矩阵状排列的多个像素的固体摄像元件的摄像面上的图像的抖动进行校正,以生成进行了抖动校正的图像,其特征在于,该电子抖动校正装置具有:摄像光学系统,其用于使图像成像在上述固体摄像元件的摄像面上;抖动检测部,其检测上述图像的抖动;曝光量控制部,其控制上述固体摄像元件的曝光量;摄像部,其根据上述曝光量控制部的控制,利用上述固体摄像元件按照规定的曝光量拍摄多张图像;第1传送寄存器,其存储由上述摄像部所摄像的第1图像,并将该第1图像在第1方向上传送;第2传送寄存器,其存储在与上述第1图像不同的时刻所摄像的第2图像,并将该第2图像在与上述第1方向正交的第2方向上传送;加法部,其使上述第1图像和上述第2图像分别在上述第1传送寄存器和上述第2传送寄存器内相对移动后进行相加,并存储在上述第1传送寄存器或上述第2传送寄存器内;以及读出部,其从上述固体摄像元件中读出由上述加法部所相加的像素电荷。
并且,第2发明的电子抖动校正装置的特征在于,在上述第1发明的电子抖动校正装置中,上述加法部控制成重复进行以下动作,即:对时间上前后相继所摄影的2张图像的相对抖动进行校正,之后将上述2张图像进行模拟相加,再把该所相加的图像和其后所摄影的图像之间的相对抖动进行校正,之后将该2张图像进行模拟相加。
而且,第3发明的电子抖动校正装置的特征在于,在上述第2发明的电子抖动校正装置中,上述加法部控制成,根据上述所摄影的多张图像内的从最初图像摄影中的曝光开始到最新图像摄影中的曝光结束的图像抖动量、与该多张图像内的从最初图像到最新的前一张图像的抖动校正量的累积相加值之间的差,对最新图像和已相加的图像的抖动进行校正,将进行了抖动校正的该2张图像进行模拟相加。
第4发明的电子抖动校正装置的特征在于,在上述第1发明的电子抖动校正装置中,上述曝光量控制部控制成,使上述固体摄像元件在小于等于可容许抖动的抖动界限曝光时间的预先设定的曝光时间中进行规定次数的曝光。
第5发明的电子抖动校正装置的特征在于,在上述第4发明的电子抖动校正装置中,根据摄像光学系统的焦距信息,生成上述抖动界限曝光时间。
第6发明的电子抖动校正装置的特征在于,在上述第4发明的电子抖动校正装置中,上述抖动检测部在曝光开始前进行抖动量的运算;运算在曝光开始前由上述抖动量检测部所运算的抖动量达到可容许的抖动量的上限之前的曝光时间,根据该曝光时间生成上述抖动界限曝光时间。
第7发明的电子抖动校正装置的特征在于,在上述第4发明的电子抖动校正装置中,上述曝光量控制部运算在曝光时由上述抖动量运算部所运算的抖动量达到可容许的抖动量的上限之前的曝光时间,根据该曝光时间生成上述抖动界限曝光时间。
第8发明的电子抖动校正装置的特征在于,在上述第1发明的电子抖动校正装置中,上述曝光量控制部具有:测光部,其取得被摄体的亮度;第1曝光时间生成部,其根据由上述测光部所取得的被摄体的亮度,生成用于得到合适曝光的第1曝光时间;第2曝光时间生成部,其生成第2曝光时间;以及曝光时间控制部,其控制成使在上述第2曝光时间中连续进行了规定次数的摄影时的曝光时间的合计等于上述第1曝光时间。
第9发明的电子抖动校正装置的特征在于,在上述第8发明的电子抖动校正装置中,还具有:存储器,其存储上述连续进行摄影的预定的摄影次数;上述曝光时间控制部控制上述第2曝光时间生成部,使得将上述第1曝光时间除以上述摄影次数所得到的时间生成为第2曝光时间。
第10发明的电子抖动校正装置的特征在于,在上述第9发明的电子抖动校正装置中,还具有:显示部,其在由上述第2曝光时间生成部所生成的上述第2曝光时间比可把抖动抑制到可容许水平的曝光时间长时,进行表示有可能发生抖动的警告显示。
第11发明的电子抖动校正装置的特征在于,在上述第8发明的电子抖动校正装置中,还具有:存储器,其存储可选择为上述连续进行摄影的摄影次数的预定的摄影次数;上述曝光时间控制部控制上述第2曝光时间生成部,使得从存储在上述存储器内的摄影次数中选择大于等于将上述第1曝光时间除以上述第2曝光时间所得到的值的最接近该值的整数作为摄影次数,并使将上述第1曝光时间除以上述摄影次数所得到的时间取代上述第2曝光时间而生成为新的第2曝光时间。
第12发明的电子抖动校正装置的特征在于,在上述第8发明的电子抖动校正装置中,还具有:摄像光学系统,其用于使图像在上述固体摄像元件的摄像面上成像,且具有光圈;光圈值设定部,其设定上述摄像光学系统的光圈值;以及存储器,其存储上述连续进行摄影的摄影次数;上述光圈值设定部在上述第1曝光时间比上述第2曝光时间与存储在上述存储器内的摄影次数内的最大值的积即第3曝光时间长时,变更上述摄像光学系统的光圈值,以使该第1曝光时间小于等于该第3曝光时间。
第13发明的电子抖动校正装置的特征在于,在上述第12发明的电子抖动校正装置中,还具有:显示部,其在通过上述光圈值设定部变更上述摄像光学系统的光圈值时,显示该意思。
第14发明的电子抖动校正装置的特征在于,在上述第12发明的电子抖动校正装置中,还具有:ISO感光度变更部,其用于通过变更从上述摄像元件所得到的图像的放大率,实质上变更ISO感光度;上述ISO感光度变更部在上述光圈值设定部要变更的光圈值背离可设定为上述摄像光学系统的光圈值的范围时,变更ISO感光度,以便进入该可设定的范围内。
第15发明的电子抖动校正装置的特征在于,在上述第14发明的电子抖动校正装置中,还具有:显示部,其在上述ISO感光度变更部要变更的ISO感光度背离可设定的范围时,进行表示有可能发生抖动的警告显示。
第16发明的电子抖动校正装置的特征在于,在上述第1发明的电子抖动校正装置中,还具有:蓄积电荷量控制部,其控制成,由上述加法部进行相加的图像数越多,可蓄积在上述固体摄像元件的上述像素内的最大蓄积电荷量就越少。
第17发明的电子抖动校正装置的特征在于,在上述第16发明的电子抖动校正装置中,上述固体摄像元件是构成在半导体基板上的纵型溢出结构的CCD固体摄像元件;上述蓄积电荷量控制部通过控制对上述半导体基板施加的反向偏置电压(VSUB)的电压水平,控制蓄积在像素内的电荷开始排出到该半导体基板侧的最大蓄积电荷量。
第18发明的电子抖动校正装置的特征在于,在上述第1发明的电子抖动校正装置中,还具有:有效区域抽出部,其从由上述加法部所相加的合成图像中抽出被认为由上述摄像部所摄影的全部图像共有的有效区域的图像。
第19发明的电子抖动校正装置的特征在于,在上述第18发明的电子抖动校正装置中,上述有效区域的图像的大小和在上述合成图像中的位置是预定的。
第20发明的电子抖动校正装置的特征在于,在上述第18发明的电子抖动校正装置中,当判断为由上述摄像部所摄影的图像欠缺上述有效区域的图像的一部分时,结束上述摄像部的摄影。
第21发明的电子抖动校正装置的特征在于,在上述第20发明的电子抖动校正装置中,当上述摄像部的摄影次数未达到规定数而结束了摄影时,将上述有效区域的合成图像进行放大。
第22发明的电子抖动校正装置的特征在于,在上述第1发明的电子抖动校正装置中,上述摄像部具有:光电转换部,其具有在行方向和列方向上呈矩阵状配置的多个像素;上述第1传送寄存器与上述光电转换部的各像素行邻接配置,上述第2传送寄存器与上述光电转换部的各像素列邻接配置。
第23发明的电子抖动校正装置的特征在于,在上述第1发明的电子抖动校正装置中,上述第1传送寄存器和上述第2传送寄存器在上述固体摄像元件的内部与上述摄像部分开设置。
第24发明的电子抖动校正装置的特征在于,在上述第1发明的电子抖动校正装置中,具有:电荷排出部,其用于从上述第1传送寄存器和上述第2传送寄存器中排出传送到上述第1传送寄存器和上述第2传送寄存器的端面上的电荷。
第25发明的电子抖动校正装置的特征在于,在上述第1发明的电子抖动校正装置中,上述固体摄像元件是在摄像面的前面配置有镶嵌状的滤色器的单板式彩色固体摄像元件,上述加法部使上述多张图像根据由上述抖动检测部所检测的抖动,在该固体摄像元件的内部以上述滤色器的水平方向的最小重复周期和垂直方向的最小重复周期为最小单位相对移动后进行模拟相加,生成进行了抖动校正的图像。
根据本发明的电子抖动校正装置,可在不需要机械机构的同时,进行应对范围宽的快门速度的抖动校正。
附图说明
图1是示出本发明的实施方式1中的数字照相机的主要电结构的方框图。
图2是示出在上述实施方式1中,把蓄积在光电二极管内的电荷作为第1像素电荷传送到垂直传送CCD中的状态的图。
图3是示出在上述实施方式1中,在第1像素电荷读出后把蓄积在光电二极管内的电荷作为第2像素电荷传送到水平传送CCD中并沿水平方向传送,同时将第1像素电荷沿垂直方向传送的状态的图。
图4是示出在上述实施方式1中,将第1像素电荷和第2像素电荷进行相加的状态的图。
图5是示出在上述实施方式1中,使所相加的电荷退避到同一像素内的垂直传送CCD的电荷保持部中的状态的图。
图6是示出上述实施方式1中的设置在固体摄像元件内的光电二极管和电极的结构的图。
图7是用于对在上述实施方式1中,摄像元件是纵型溢出结构进行说明的剖面图。
图8是示出在上述实施方式1中,根据时分曝光次数使反向偏置电压变化,控制发生溢出的蓄积电荷量的状态的图。
图9是示出在上述实施方式1中,根据时分摄影的次数m设定根据基板电压VSUB而变化的光电二极管的蓄积电荷量的最大值Q(max)的状态的几个例子的线图。
图10是示出在上述实施方式1中,摄像时的固体摄像元件的基本动作的时序图。
图11是示出在上述实施方式1中,从光电二极管读出像素电荷并在固体摄像元件内进行传送和相加时对各电极施加的信号的状态的时序图。
图12是示意性地示出上述实施方式1中的固体摄像元件整体结构的图。
图13是示出在上述实施方式1中,由数字照相机对图像进行摄像和记录时的处理的流程图。
图14是示出在上述实施方式1中,TExp和光圈值的运算以及光圈设定的子程序的流程图。
图15是示出在上述实施方式1中,TExp和光圈值的运算以及光圈设定的子程序的另一例的流程图。
图16是示出在上述实施方式1中,手抖防止优先处理的子程序的流程图。
图17是示出在上述实施方式1中,曝光相关的各要素的基准值及其指数的基准值的图表。
图18是示出在上述实施方式1中,与摄影镜头的焦距对应的几个例子的程序线图。
图19是示出在上述实施方式1中,设定在数字照相机内的坐标轴和2个角速度传感器的配置的图。
图20是示出在上述实施方式1中,在照相机主体抖动了旋转角θx的情况下的摄像面上的被摄体像的移动状态的图。
图21是示出在上述实施方式1中,通过CPU算出移动量ΔX、ΔY等的处理流程的流程图。
图22是示出在上述实施方式1中,像素值合成的子程序的流程图。
图23是示出在上述实施方式1中,抖动量运算处理的流程图。
图24是示出在上述实施方式1中,TLimit测定的子程序的流程图。
图25是示出本发明的实施方式2中的固体摄像元件整体结构的概略图。
图26是将在上述实施方式2中,固体摄像元件的摄像部和校正/加法部的结构进行放大示出的图。
图27是示出在上述实施方式2中,摄像时的固体摄像元件的基本动作的时序图。
图28是示出在上述实施方式2中,把由固体摄像元件的摄像部所摄像的图像向校正/加法部传送的动作的时序图。
图29是示出在上述实施方式2中,在校正/加法部中进行的抖动校正动作和相加动作的时序图。
图30是示出在上述实施方式2中,由CPU算出移动量ΔX、ΔY等的处理流程的流程图。
图31是示出在上述实施方式2中,像素值合成的子程序的流程图。
图32是示出在上述实施方式1中,把传送到水平传送CCD的端部和垂直传送CCD的端部的电荷排出到漏极的结构的图。
图33是示出在上述实施方式1中,时分图像的位置和进行了抖动校正的合成图像的位置的关系的图。
图34是示出在上述实施方式1中,合成图像和有效区域的关系的图。
图35是示出在上述实施方式1中,抽出有效区域的图像数据的处理的流程图。
具体实施方式
在对实施方式进行详细说明之前,首先,对用于校正抖动的原理进行简单说明。
例如,假定对被摄体进行测光所得到的合适曝光时间(全曝光时间)是1/15秒。然后,假定在该1/15秒的曝光时间(快门速度)中发生抖动。相比之下,假定当曝光时间(快门速度)是1/125秒时,不发生抖动,或者发生的抖动实质上可忽略。在这种情况下,将上述全曝光时间1/15秒时分成1/125秒的曝光时间,通过该时分曝光进行8次摄影,将进行该时分摄影所得到的8张图像进行相加从而得到1/15秒的合适曝光时间的1张图像。然而,由于将以上述1/125秒进行了摄影的时分曝光图像单纯进行相加时不进行抖动校正,因而将各时分曝光图像的抖动相互校正之后进行相加。此时,当时分曝光间隔长时,不能在未发生抖动的高速曝光时间中连续进行摄影。因此,在以下说明的实施方式中,在固体摄像元件的内部,高速校正抖动,并将校正后的图像进行相加。
具体地说,首先,把通过时分曝光所摄影的图像存储在设置于摄像元件内的第2传送寄存器内,把通过下次时分曝光所摄影的图像存储在设置于摄像元件内的第1传送寄存器内。然后,根据由抖动检测部所检测的抖动量,使上述第1传送寄存器和上述第2传送寄存器内的一方在X方向上移动,并使另一方在Y方向上移动,之后将上述两图像进行相加,把相加后的图像存储在上述第2传送寄存器内。接下来,把通过下次时分曝光所摄影的图像再次存储在第1传送寄存器内,重复进行上述的校正和相加直到整体曝光量变得合适为止。
以下,参照附图对本发明的实施方式进行说明。
[实施方式1]
图1至图24示出本发明的实施方式1,图1是示出数字照相机的主要电结构的方框图。本实施方式把电子抖动校正装置应用于数字照相机。
该数字照相机包含:固体摄像元件(以下适当简称为摄像元件)1,相关二重抽样电路(CDS:Correlated Double Sampling)2,增益控制放大器(AMP)3,A/D转换器4,定时发生器(TG)5,信号发生器(SG)6,CPU 7,信息处理部8,DRAM 9,压缩解压缩部10,记录介质11,液晶显示部12,接口部13,镜头驱动系统14,摄影镜头15,光圈驱动系统16,光圈17,第1释放开关18a和第2释放开关18b,角速度传感器(角速度传感器A)19和角速度传感器(角速度传感器B)20,A/D转换器21和A/D转换器22,距离检测部23,内置于CPU 7中的EEPROM24,摄影模式设定部25,以及摄影条件设定部26。
摄影镜头15是用于使被摄体像成像在摄像元件1的摄像面上的摄像光学系统。
光圈17是用于通过规定来自该摄影镜头15的成像光束的通过范围来进行光量调整的光学光圈,是摄像光学系统的一部分。
摄像元件1对通过光圈17由摄影镜头15所成像的被摄体像进行光电转换来作为电信号进行输出。该摄像元件1如图2等所示,构成为具有:光电二极管32,其对图像进行光电转换和蓄积;水平传送CCD 33,其用于将从该光电二极管32所读出的电荷在水平方向上传送;以及垂直传送CCD 34,其用于将从该光电二极管32所读出的电荷在垂直方向上传送。然后,由光电二极管32进行了光电转换和蓄积的像素电荷被读出到水平传送CCD 33和垂直传送CCD 34的任意一方。并且,在水平传送CCD 33和垂直传送CCD 34的任意另一方内存储有在此之前的相加电荷。新读出的像素电荷只有当在所读出的传送CCD内校正该传送CCD方向的抖动量时才被传送。同样,在此之前的相加电荷只有当在所存储的传送CCD内校正该传送CCD方向的抖动量时才被传送。在这样进行了仅校正抖动量的移动之后,在水平传送CCD 33和垂直传送CCD 34交叉的位置上,通过将新读出的像素电荷和在此之前的相加电荷进行相加,生成进行了相对抖动校正的新的相加电荷。即,摄像元件1成为图像加法部。这样所得到的最终的相加电荷成为构成抖动校正后的图像的电荷。这种摄像元件1的更详细的结构和作用在后面进行说明。
TG 5供给用于驱动该摄像元件1的传送脉冲,构成摄影控制部。
CDS 2被TG 5所供给的抽样保持脉冲驱动,通过对从摄像元件1所输出的图像信号进行相关二重抽样等的处理来去除复位噪声。
SG 6根据CPU 7的控制,生成同步信号并输出给TG 5,构成摄影控制部。
增益控制放大器(AMP)3对从CDS 2所输出的模拟信号进行放大。该增益控制放大器(AMP)3的放大率被设定为与后述的ISO(InternationalOrganization for Standardization:国际标准化组织)感光度Sv对应的放大率,即,增益控制放大器(AMP)3成为ISO感光度变更部。
A/D转换器4是根据从TG 5所供给的信号,把从增益控制放大器(AMP)3所输出的模拟信号转换成数字信号的模拟/数字转换部。
信息处理部8对从A/D转换器4所输出的像素信号进行处理,生成图像数据。该信息处理部8包含有效区域抽出部,该有效区域抽出部具有从由摄像元件1所输出的图像数据中抽出进行了合适的抖动校正的图像数据的功能。
DRAM 9临时存储从信息处理部8所输出的图像数据,并临时存储由压缩解压缩部10对从记录介质11所读出的压缩图像数据进行解压缩所得到的图像数据。
压缩解压缩部10对存储在DRAM 9内的图像数据进行压缩,并对从记录介质11所读出的压缩图像数据进行解压缩。
记录介质11是记录由压缩解压缩部10所压缩的图像数据的记录部,例如是非易失性记录介质。
液晶显示部12显示从信息处理部8所输出的图像数据、或者从DRAM 9所输出的解压缩后的图像数据。该液晶显示部12兼作如后所述进行各种警告显示等的显示部。
接口部13是包含用于与监视器和个人计算机等的外部装置进行数据交换的端子的接口。通过该接口部13,可把从信息处理部8或DRAM9所供给的图像数据等输出到外部装置,或者根据情况,可从外部装置把图像数据等取入到装置内。
镜头驱动系统14根据由距离检测部23所检测的被摄体距离从CPU7接收指令,从而将摄影镜头15驱动到聚焦位置。这种处理作为所谓的自动对焦控制是公知的。另外,这里,根据来自距离检测部23的输出进行自动对焦控制,然而CPU 7可以在存储于DRAM 9内的1帧(1画面)的图像数据的亮度分量中,使用高通滤波器等抽出高频分量,通过算出所抽出的高频分量的累积相加值等来算出与高频带侧的轮廓分量等对应的AF评价值,根据该AF评价值进行焦点检测。
光圈驱动系统16是由作为测光部的CPU 7根据存储在DRAM 9内的图像数据进行曝光运算,通过从该CPU 7接收基于该结果的指令,驱动光圈17来变更开口直径的光圈控制部。这种处理作为所谓的AE(自动曝光)控制是公知的。
角速度传感器19用于在把从被摄体侧观察数字照相机时的左右方向中的右方向设定为X轴方向时(参照图19),对以该X轴方向为旋转中心使数字照相机旋转时的角速度进行检测,是抖动检测部。
另一方面,角速度传感器20用于在把数字照相机的上下方向中的上方向设定为Y轴方向时(参照图19),对以该Y轴方向为旋转中心使数字照相机旋转时的角速度进行检测,是抖动检测部。
A/D转换器21把表示由角速度传感器19所检测的角速度的模拟信号以规定的时间间隔(抽样间隔)转换成数字信号。
同样,A/D转换器22把表示由角速度传感器20所检测的角速度的模拟信号以规定的时间间隔(抽样间隔)转换成数字信号。
CPU 7对由A/D转换器21所转换的数字信号进行时间积分的处理。该时间积分后的数字信号相当于照相机主体的以上述X轴为旋转中心的旋转量。并且,围绕X轴的旋转方向是右旋还是左旋,这根据角速度传感器19的模拟输出信号是正还是负来判别。
同样,CPU 7对由A/D转换器22所转换的数字信号进行时间积分的处理。该时间积分后的数字信号相当于照相机主体的以上述Y轴为旋转中心的旋转量。并且,围绕Y轴的旋转方向是右旋还是左旋,这根据角速度传感器20的模拟输出信号是正还是负来判别。
第1释放开关18a是用于对摄像动作进行指示输入的自动恢复型的2级开关即释放开关的第1级。当压入释放开关来使该第1释放开关18a接通时,进行测距动作和测光动作。
第2释放开关18b是用于对摄像动作进行指示输入的自动恢复型的2级开关即释放开关的第2级。当再压入释放开关来使该第2释放开关18b接通时,由摄像元件1进行摄像动作,按上述那样生成图像数据,在被压缩后记录在记录介质11内。
距离检测部23用于检测至被摄体的距离,可适当采用公知结构。
摄影模式设定部25用于选择快门优先摄影模式、光圈优先摄影模式、程序摄影模式的任意一方。
摄影条件设定部26用于设定快门速度(曝光时间)和光圈值、ISO感光度等的各种摄影条件。
CPU 7把EEPROM 24作为非易失性存储器来内置,该EEPROM 24把曝光值Ev、与用于进行最佳的曝光控制的Tv(曝光时间的APEX值)和Av(光圈值的APEX值)的关系作为程序线图来存储。在该EEPROM24内还可适当存储数字照相机所需要的其他信息。
向该CPU 7输入:来自第1释放开关18a的信号,来自第2释放开关18b的信号,来自经由A/D转换器21的角速度传感器19的信号,来自经由A/D转换器22的角速度传感器20的信号,来自摄影模式设定部25的信号,以及来自摄影条件设定部26的信号。然后,CPU 7向TG 5和SG 6输出指令。
而且,CPU 7与信息处理部8、DRAM 9、镜头驱动系统14、光圈驱动系统16以及距离检测部23双向连接,成为对包含它们的该数字照相机整体进行控制的控制部。
具体地说,CPU 7进行上述的自动对焦控制和AE控制,并根据来自第1释放开关18a和第2释放开关18b的指示取入静态图像的信号,进行摄像元件1的驱动模式的切换。而且,该CPU 7进行变更光圈17的开口的控制和摄像元件1的曝光时间控制等。然后,CPU 7根据来自摄影模式设定部25的输入设定该数字照相机的摄影模式,根据来自摄影条件设定部26的输入设定数字照相机相关的摄影条件。而且,CPU 7根据来自角速度传感器19、20的输出,还进行抖动量的运算等。这样,CPU7兼作抖动检测部、曝光量控制部、光圈控制部、记录部、测光部、曝光信息运算部、第1曝光时间生成部、第2曝光时间生成部、曝光时间控制部、抖动量运算部、光圈值设定部、蓄积电荷量控制部以及摄影控制部。
下面,参照图2~图5,对摄像元件1的动作进行说明。图2是示出把蓄积在光电二极管内的电荷作为第1像素电荷传送到垂直传送CCD中的状态的图,图3是示出在第1像素电荷读出后把蓄积在光电二极管内的电荷作为第2像素电荷传送到水平传送CCD中并沿水平方向传送,同时将第1像素电荷沿垂直方向传送的状态的图,图4是示出将第1像素电荷和第2像素电荷进行相加的状态的图,以及图5是示出使所相加的电荷退避到同一像素内的垂直传送CCD的电荷保持部中的状态的图。
在摄像元件1内,呈矩阵状排列有多个接收来自被摄体的光线来产生电荷的光电二极管32,呈矩阵状排列的这些光电二极管32构成光电转换部。
而且,摄像元件1具有作为抖动校正部和加法部的水平传送CCD 33,其与光电转换部的光电二极管32的各行邻接,是在行方向上配置的水平传送寄存器。该水平传送CCD 33存储通过读出光电二极管32所产生的电荷而得到的第1图像,并将该第1图像在水平方向上传送。
并且,摄像元件1具有作为抖动校正部和加法部的垂直传送CCD 34,其与光电转换部的光电二极管32的各列邻接,是在列方向上配置的垂直传送寄存器。该垂直传送CCD 34存储将在比第1图像靠前的时刻所得到的电荷进行相加而得到的相加电荷相关的第2图像,并将该第2图像在垂直方向上传送。
然后,配置在水平传送CCD 33和垂直传送CCD 34交叉的位置上的电极部分(图6所示的电极φV0、φH0)如后所述,发挥将第1图像和第2图像进行模拟相加的加法部的功能。
另外,这里示出了多个光电二极管32在纵方向和与该纵方向垂直的横方向排列而呈矩阵状的例子,然而只要是实质上呈矩阵状的排列,就不限于此。例如,可以是在一方向和与该一方向倾斜交叉的另一方向排列而呈矩阵状。此时,可以将水平传送CCD 33和垂直传送CCD 34配置在相互倾斜交叉的方向上。而且,光电二极管32的形状也不限于正方形和矩形,也可以是平行四边形、三角形、六角形等的各种形状。
然后,摄像元件1中的1个像素31包含:1个光电二极管32,以及与该光电二极管32邻接的水平传送CCD 33的部分和垂直传送CCD 34的部分。另外,对该摄像元件1的传送电极的结构进行后述。因此,对摄像元件1的1个像素内所包含的电极也进行后述。并且,假定1个像素31的尺寸为:水平方向(横方向)的长度是Lx,垂直方向(纵方向)的长度是Ly。
对这种结构的摄像元件1的作用概略进行说明。
以下,把配置在摄像元件1的左上角的光电二极管表记为P1,1,把配置在向水平方向右侧的第i(i是大于等于1的整数)和向垂直方向下侧的第j(j是大于等于1的整数)的位置的光电二极管表记为Pi,j。
图2示出将最初进行了光电转换和蓄积的光电二极管Pi,j的电荷(第1像素电荷)(图中由圆圈表示)移动(读出)到与该光电二极管Pi,j邻接的垂直传送CCD 34中的情况。另外,在该图2中,仅对光电二极管Pi,j相关的第1像素电荷作了图示,然而在其他所有光电二极管中按同一时间进行了光电转换和蓄积的电荷也同样一齐移动到垂直传送CCD 34中。
图3示出将在第1像素电荷移动后紧接着进行了光电转换和蓄积的光电二极管Pi-1,j-1的电荷(第2像素电荷)首先移动(读出)到与该光电二极管Pi-1,j-1邻接的水平传送CCD 33中的情况。另外,在该图3中,也仅对光电二极管Pi-1,j-1相关的第2像素电荷作了图示,然而在其他所有光电二极管中按同一时间进行了光电转换和蓄积的电荷也同样一齐移动到水平传送CCD 33中。这里,假定在第1像素电荷蓄积时到达了光电二极管Pi,j的来自被摄体的光在第2像素电荷蓄积时由于手抖等而移动至到达光电二极管Pi-1,j-1的位置。为了使该光的到达位置的变化在第2像素电荷的蓄积结束的时刻最先得到判明,在图2所示的状态下,第1像素电荷还不被传送,而只是被保存(存储)在垂直传送CCD 34内。但是,在读出了第2像素电荷后,由于根据角速度传感器19、20的输出判明光的到达位置的变化,因而知道同一被摄体光相关的第1像素电荷和第2像素电荷的位置关系,为了进行后述的相加,进行朝相互接近的位置(相同的1个像素31内的位置)的传送。即,图3示出了第2像素电荷在水平传送CCD 33上向纸面右方向传送了1个像素,并且第1像素电荷在垂直传送CCD 34上向纸面上方向传送了1个像素的例子。由于由水平传送CCD 33进行的1个像素或1个像素以上的像素电荷的传送、和由垂直传送CCD 34进行的1个像素或1个像素以上的像素电荷的传送在后述的图6所示的结构中不能同时进行(当然,也可以构成为能同时进行(例如,只要将水平传送CCD 33和垂直传送CCD 34在摄像元件1的厚度方向独立设置在不同位置,并独立设置加法部即可。)),因而先进行任意一方的传送,之后进行另一方的传送。另外,第1像素电荷的传送和第2像素电荷的传送针对所有光电二极管相关的像素电荷进行,这与上述相同。为了进行这种水平传送CCD 33的传送和垂直传送CCD 34的传送,必须设法在各传送CCD交叉的位置上配置传送电极,以使水平传送CCD 33内的电荷和垂直传送CCD 34内的电荷不会干扰,对此在后面进行说明。
图4示出使第1像素电荷和第2像素电荷移动到水平传送CCD 33和垂直传送CCD 34交叉的位置上,在该交叉位置上进行相加的状态(相加在图4中由“+”表示)。该相加当然针对所有光电二极管相关的第1像素电荷和所有光电二极管相关的第2相加电荷来进行。
这样,在使第1图像(由所有第1像素电荷构成的图像)、和在紧接着该第1图像后连续被摄影的第2图像(由所有第2像素电荷构成的图像)移动了抖动量后,即进行了抖动校正后,进行合成。
另外,在新读出了第3次或第3次以后的时分图像的情况下,由于与第1图像相当的是将在此之前的时分图像进行相加所得到的相加图像(对从最初的时分图像到最新的前一个时分图像依次进行抖动校正来进行相加所得到的图像),因而通过进行该图4所示的动作,在校正了新的时分图像(由所有的新像素电荷构成的图像)和相加图像的相对抖动量后,进行合成。
图5示出将在水平传送CCD 33和垂直传送CCD 34的交叉位置进行了相加的像素电荷传送(退避到)到同一像素内的例如垂直传送CCD 34的电荷保持部中的状态。由于交叉位置供水平传送和垂直传送的双方使用,因而当在该交叉位置上保持了相加电荷的状态下,不能进行与下次读出的像素电荷的相加。
因此,这里,将相加后的电荷临时退避到垂直传送CCD 34的电荷保持部中。这样,只要使下一像素电荷读出到水平传送CCD 33中,就与上述一样,能进行像素相加。
另外,这里,将相加后的电荷传送(退避)到同一像素内的垂直传送CCD 34的电荷保持部中,然而取而代之,可以传送(退避)到同一像素内的水平传送CCD 33的电荷保持部中。此时,下一像素电荷被读出到垂直传送CCD 34中。并且,使相加后的像素电荷退避不一定限于同一像素内。
因此,不限于图2~图5所示的例子,只要相加电荷存储在水平传送CCD 33和垂直传送CCD 34的任意一方的存储部内即可,新的像素电荷只要读出和存储到水平传送CCD 33和垂直传送CCD 34的任意一方的存储器内即可。
如以上说明那样,重复执行以下顺序,即:
图像朝水平传送CCD的移动
→相对抖动校正用的电荷传送
→电荷相加
→使相加电荷从水平传送CCD和垂直传送CCD交叉的位置退避。然而,对于基于多个时分曝光内的最初时分曝光的时分图像,假定抖动量是0,垂直传送CCD的电荷相加值是0,则执行同样的顺序就足够了。
另外,在图2~图5中,示出了新的时分图像相对于相加图像向左方向偏离1个像素且向上方向偏离1像素的例子,然而一般情况下,在水平方向和垂直方向上移动与偏离量对应的合适的像素数。对此,后面参照图13~图22等进行说明。
接下来,图6是示出设置在固体摄像元件内的光电二极管和电极的结构的图。
图6所示的各电极由多晶体硅构成,邻接的电极之间通过层间绝缘层来配置。然后,邻接的电极之间配设成,当从垂直于摄像面的方向观察时,端面之间一部分重合。在该图6中,电极的由虚线表示的端面意味着该电极的端面部分配置在另一电极的下部。
然后,施加同一驱动脉冲的电极之间经由接触部,并通过规定的布线层相互连接。然而,在该图6中,为了使电极配置明了,电极之间的布线省略图示。
如上所述,在摄像元件1中,多个(实际上是许多)光电二极管(图6中,记载为“PD”)32呈矩阵状排列。
在1个像素中包含有:1个光电二极管32;构成水平传送CCD 33的4个电极,即,从左向右依次是φH1、φH2、φH3、φH0;以及构成垂直传送CCD 34的4个电极,即,从上向下依次是φV0、φV1、φV2、φV3。
另外,φV0~φV3、φH0~φH3如后所述,是表示电荷传送用的驱动脉冲,然而假定例如“传送电极φV0”的记载意味着“施加驱动脉冲φV0的电极”。
上述各传送电极内的垂直传送电极φV2和水平传送电极φH2兼作用于读出光电二极管32的电荷的读出电极。而且,该垂直传送电极φV2和水平传送电极φH2成为构成上述电荷保持部的电极。即,由于垂直传送电极φV2不与构成水平传送CCD 33的电极φH0、φH1、φH2、φH3的任意一方邻接,因而在把φV1和φV3设定为VL(例如,-5[V])的状态下,只要把φV2设定为VM(例如,0[V]),就能在把相加后的电荷保持在该垂直传送电极φV2下的状态下,进行水平传送CCD 33的传送(垂直传送电极φV2下的电荷不与由水平传送CCD 33所传送的电荷进行混合)。同样,由于水平传送电极φH2不与构成垂直传送CCD 34的电极φV0、φV1、φV2、φV3的任意一方邻接,因而在把φH1和φH3设定为VL的状态下,只要把φH2设定为VM,就能在把相加后的电荷保持在该水平传送电极φH2下的状态下,进行垂直传送CCD 34的传送(水平传送电极φH2下的电荷不与由垂直传送CCD 34所传送的电荷进行混合)。为了实现避免这种电荷混合的功能,摄像元件1采用针对1个像素配置4个电极供垂直方向传送用、并配置4个电极供水平传送用的结构。
并且,配置在垂直传送CCD 34和水平传送CCD 33交叉的位置上的传送电极兼用垂直传送电极φV0和水平传送电极φH0。因此,虽然是同一电极,但是根据用途等,适当称为垂直传送电极φV0、水平传送电极φH0、或者传送电极φV0、φH0等。该传送电极φV0、φH0不仅用于将电荷向垂直方向或水平方向传送,而且也发挥上述加法部的功能,该加法部用于将保持在电极φH2和电极φV2的任意一方的电荷保持部内的电荷、和从光电二极管32新读出到电极φH2和电极φV2的任意另一方的电荷进行相加。
另外,把包含垂直传送电极φV0、φV1、φV2、φV3的垂直传送CCD34称为垂直传送寄存器,把包含水平传送电极φH0、φH1、φH2、φH3的水平传送CCD 33称为水平传送寄存器。这些垂直传送寄存器和水平传送寄存器如上所述,全都具有保持(存储)和传送电荷的功能。
并且,在本实施方式中,由于将由多次摄影产生的像素电荷进行相加,因而具有像素电荷超过传送寄存器的蓄积容量而溢出的可能性。以下,参照图7和图8对防止这一点的结构进行说明。图7是用于对摄像元件是纵型溢出结构进行说明的剖面图,图8是示出根据时分曝光次数使反向偏置电压变化,对发生溢出的蓄积电荷量进行控制的状态的图。
当强光入射到光电二极管时,有时从光电二极管溢出的电荷流入邻近的光电二极管。为了防止该散焦(blooming)现象,以往实施了各种办法。在本实施方式中,由于在摄像元件1的内部将电荷进行相加,因而即使把例如m(m是大于等于1的整数)次的时分摄影中的各自曝光量设定为普通摄影中的曝光量的1/m,也有可能使将各时分图像相加后的图像电荷远远超过垂直传送CCD的传送容量。因此,有必要使相加后的图像电荷不超过垂直传送CCD的传送能力。
因此,在本实施方式中,采用了纵型溢出结构的CCD固体摄像元件。该固体摄像元件如图7所示,在n型基板(例如,n型硅基板)的表面所作成的p型扩散区域(p阱:p-well)中构成光电二极管(PD),借助p阱和n型基板之间的反向偏置电压VSUB,使p阱完全空乏化。
如图8所示,用于从光电二极管(PD)读出到垂直传送CCD或水平传送CCD中的栅极与垂直传送电极φV2(或水平传送电极φH2)是公共的。并且,当对传送电极施加了低电压(VL)或中电压(VM)时,读出栅极的电位φVRG比光电二极管的电位φVPD低出规定电位。相比之下,当对传送电极施加了高电压(VH)脉冲时,读出栅极的电位φVRG比光电二极管的电位φVPD高。光电二极管内的信号电荷被读出到垂直传送CCD或水平传送CCD中。
此时,垂直传送CCD或水平传送CCD由于可进行传送的最大电荷量即处理电荷量有限,因而在强光入射时需要进行排出过剩电荷的动作。该过剩的信号电荷在溢出到传送CCD侧或另一光电二极管侧之前,通过纵方向(基板厚度方向)的n+pn路径被吸收到基板中。即,进行溢出的p阱的电位φVOFG被设定成,当兼作读出栅极的传送电极的电压是VM(0[V])或VL(-5[V])时,比读出栅极电压φVRG高。这样,对在蓄积时过剩电荷漏到垂直传送CCD或水平传送CCD的散焦现象进行抑制。
而且,在本实施方式中,通过将上述p阱和n型基板之间的反向偏置电压VSUB根据时分摄影次数m(在后述的图14的步骤S214进行选择)设定成比在普通摄影时高的电压(图8所示的反向偏置电压VSUB’)(即,VSUB’依赖于m),把进行溢出的p阱的电位设定为φVOFG’(>φVOFG),把超过在普通摄影时蓄积在光电二极管内的最大电荷量的1/m的过剩电荷排出到基板侧。这样一来,即使将由m次时分摄影产生的图像进行相加,也能把相加后的总电荷量抑制在垂直传送CCD或水平传送CCD的处理电荷量以内。
图9是示出根据时分摄影次数m设定根据基板电压VSUB而变化的光电二极管32的蓄积电荷量的最大值Q(max)的状态的几个例子的线图。在该图9中,横轴采用基板电压VSUB,纵轴采用光电二极管32的蓄积电荷量的最大值Q(max)。
在本实施方式中,作为时分摄影次数m,可设定m=1~10的10种值(图9示出m=1、2、4、8的例子。此时,VSUB具有图示的V1、V2、V4、V8的各值。),可选择作为该时分摄影次数的m被预先存储在例如EEPROM 24内。光电二极管32的蓄积电荷量的最大值Q(max)把m=1时设定为1,当m取2~10的值时,相对于各m为1/m(另外,当m设定成可取大于等于11的值时,也能照原样应用Q(max)为1/m的规则。)。并且,m=1与普通摄影(不基于时分摄影的摄影)时的光电二极管32的蓄积电荷量的最大值对应。
另外,把m的最大值设定为10,这是因为,当设定为太大的值时,很难把图像数据的S/N保持为高值。
并且,本实施方式的技术是在抖动界限曝光时间TLimit(这里,抖动界限曝光时间TLimit,如在后面详细说明的那样,是达到可实质上忽略发生抖动的程度以下的曝光时间。)中进行m次时分摄影并将图像进行相加的技术。因此,当把可抑制抖动的最长曝光时间设定为TExp0时,在本实施方式中,TExp0为m(max)·TLimit。这里,m(max)是m的最大值,在本实施方式中,如上所述,为m(max)=10。具体地说,在换算成35mm胶卷照相机的摄影镜头的焦距是300mm的情况下,抖动界限曝光时间TLimit为约1/300秒的快门速度,可进行抖动校正的最长曝光时间TExp0约为1/30秒。
这样,m值越大,就越能对更长时间曝光进行抖动校正,然而如上所述,当m值太大时,具有图像数据的S/N降低的可能性。因此,期望的是,通过考虑控制的稳定性、和由时分摄影产生的图像的S/N等的平衡来决定m值。根据这种理由,在本实施方式中把m的最大值设定为10,然而没有必要受限于此。
图10是示出摄像时的固体摄像元件1的基本动作的时序图。
在该图10中,VSUB是用于把蓄积在光电二极管32内的电荷强制排出到半导体基板(substrate)的基板施加高电压脉冲。并且,φV0~φV3是4相垂直传送脉冲,φH0~φH3是4相水平传送脉冲。
当开始摄影动作时,在从成为规定定时的时刻t01到曝光(电荷蓄积)开始时刻t02之间,对VSUB施加高电压脉冲,与此同时,对φV0~φV3施加高频垂直传送脉冲,对φH0~φH3施加高频水平传送脉冲。这样,蓄积在光电二极管32内的电荷、残留在水平传送CCD 33内的电荷、以及残留在垂直传送CCD 34内的电荷被全部排出。
之后,当接收到曝光动作开始的信号时,在时刻t02的定时中停止对VSUB施加高电压脉冲,从而将与所接收的光的强度对应的电荷蓄积在光电二极管32内。在从时刻t02到时刻t03的曝光时间TExp中持续进行向该光电二极管32内的电荷蓄积。然后,将该曝光时间TExp按不发生抖动的时间间隔进行时分,将各时分图像根据抖动重复进行传送和相加,从而得到进行了抖动校正的曝光时间TExp的1张图像数据。关于该曝光时间TExp中的摄像元件1的动作,在后面进行更详细地说明。
当在时刻t03曝光结束时,蓄积在垂直传送CCD 34内的进行了抖动校正的图像通过上述垂直传送CCD 34、和作为用于从摄像区域输出到外部的读出部和传送部的水平传送CCD 42(参照图12),以普通的读出速度从摄像元件1中被读出。
图11是示出当从光电二极管中读出像素电荷并在固体摄像元件内进行传送和相加时对各电极施加的信号的状态的时序图。另外,这里,示出了当使用图6所示的结构的摄像元件1进行参照图2~图5所说明的动作时的例子。并且,由于电极φV0和电极φH0是公共的,因而在该图11中进行总结记载。
现在,假定在时刻t1之前,在垂直传送CCD 34的电荷保持部(电极φV2下)存储有已相加的电荷,而且假定在时刻t1最新的时分曝光结束。然而,当时刻t1是多个时分曝光内的最初的时分曝光结束的时刻时,如上所述,只要在垂直传送CCD 34中进行了相加和存储的电荷是0,就能进行一般化。
如果在时刻t1经过了规定的曝光时间,则对电极φH2施加读出用的高电压(转移脉冲)VH(15[V])。此时,保持相加电荷的电极φV2是中电压VM(0[V]),除此之外的电极φV0、φV1、φV3、φH1、φH3全都被设定为低电压VL(-5[V])。这样,蓄积在光电二极管32内的电荷移动到水平传送CCD 33的电极φH2下。在进行了移动之后,对电极φH2的施加电压成为中电压VM(0[V]),所读出的电荷被保持(蓄积)在该电极φH2下(参照图3)。
对电极φH2施加的电压从高电压VH(15[V])变化到中电压VM(0[V]),与此同时,在光电二极管32中开始下次摄影用的电荷蓄积。即,开始下次时分摄影。
之后,在经过了时刻t2的定时中,对电极φH3施加中电压VM。这样,保持在电极φH2下的电荷的一部分被传送到电极φH3下,并被保持在电极φH2和电极φH3的双方电极下的电位阱(以下简称为“电极下”)。
然后,在经过了时刻t3的定时中,电极φH2被设定为低电压VL。这样,保持在电极φH2和电极φH3的双方电极下的电荷全部被传送到电极φH3下,并被保持在该电极φH3下。
在电极φH2刚被设定为低电压VL后,电极φH0(电极φV0)被设定为中电压VM。这样,保持在电极φH3下的电荷的一部分被传送到电极φH0下,并被保持在电极φH3和电极φH0的双方电极下。
之后,在经过了时刻t4的定时中,电极φH3被设定为低电压VL。这样,保持在电极φH3和电极φH0的双方电极下的电荷全部被传送到电极φH0下,并被保持在该电极φH0下。
在电极φH3刚被设定为低电压VL后,电极φH1被设定为中电压VM。这样,保持在电极φH0下的电荷的一部分被传送到邻接的像素电极φH1下,并被保持在电极φH0和电极φH1的双方电极下。
在经过了时刻t5的定时中,电极φH0被设定为低电压VL。这样,保持在电极φH0和电极φH1的双方电极下的电荷全部被传送到电极φH1下,并被保持在该电极φH1下。
在电极φH0刚被设定为低电压VL后,电极φH2被设定为中电压VM。这样,保持在电极φH1下的电荷的一部分被传送到电极φH2下,并被保持在电极φH1和电极φH2的双方电极下。
之后,在经过了时刻t6的定时中,电极φH1被设定为低电压VL。这样,保持在电极φH1和电极φH2的双方电极下的电荷全部被传送到电极φH2下,并被保持在该电极φH2下。
这样,保持在水平传送CCD 33的某像素电极φH2下的电荷按照电极φH2下→电极φH3下→电极φH0下→电极φH1下→电极φH2下那样被传送到右边邻接的像素电极φH2下。
该邻接的像素电极φH2下的电荷在经过时刻t11的定时之前持续保持(存储)在该电极φH2下(参照图3)。
另外,这里,对利用水平传送CCD 33将电荷向右方向传送1个像素时(参照图3)的动作作了说明,然而更一般地,当进行n(n是大于等于1的整数)个像素的传送时,只要重复提供n次上述φH0~φH3的信号即可。并且,也能利用水平传送CCD 33将电荷向左方向传送。此时,只要把对上述信号进行了时间反转的信号提供给各电极φH0~φH3即可。并且,当向左方向进行n个像素的传送时,将该进行了时间反转的信号重复n次来提供给各电极φH0~φH3。
接下来,在经过了时刻t7的定时中,电极φV1被设定为中电压VM。这样,保持在电极φV2下的相加电荷的一部分被传送到电极φV1下,并被保持在电极φV2和电极φV1的双方电极下。
之后,在经过了时刻t8的定时中,电极φV2被设定为低电压VL。这样,保持在电极φV2和电极φV1的双方电极下的电荷全部被传送到电极φV1下,并被保持在该电极φV1下。
在电极φV2刚被设定为低电压VL后,电极φV0(电极φH0)被设定为中电压VM。这样,保持在电极φV1下的电荷的一部分被传送到电极φV0下,并被保持在电极φV1和电极φV0的双方电极下。
之后,在经过了时刻t9的定时中,电极φV1被设定为低电压VL。这样,保持在电极φV1和电极φV0的双方电极下的电荷全部被传送到电极φV0下,并被保持在该电极φV0下。
在电极φV1刚被设定为低电压VL后,电极φV3被设定为中电压VM。这样,保持在电极φV0下的电荷的一部分被传送到电极φV3下,并被保持在电极φV0和电极φV3的双方电极下。
在经过了时刻t10的定时中,电极φV0被设定为低电压VL。这样,保持在电极φV0和电极φV3的双方电极下的电荷全部被传送到电极φV3下,并被保持在该电极φV3下。
在电极φV0刚被设定为低电压VL后,电极φV2被设定为中电压VM。这样,保持在电极φV3下的电荷的一部分被传送到电极φV2下,并被保持在电极φV3和电极φV2的双方电极下。
之后,在经过了时刻t11的定时中,电极φV3被设定为低电压VL。这样,保持在电极φV3和电极φV2的双方电极下的电荷全部被传送到电极φV2下,并被保持在该电极φV2下。
这样,保持在垂直传送CCD 34的某像素电极φV2下的电荷按照电极φV2下→电极φV1下→电极φV0下→电极φV3下→电极φV2下那样被传送到上边邻接的像素电极φV2下。
另外,这里,对利用垂直传送CCD 34将电荷向上方向传送1像素时(参照图3)的动作作了说明,然而更一般地,当进行n(n是大于等于1的整数)个像素的传送时,只要重复提供n次上述φV0~φV3的信号即可。并且,也能利用垂直传送CCD 34将电荷向下方向传送。此时,只要把对上述信号进行了时间反转的信号提供给各电极φV0~φV3即可。并且,当向下方向进行n个像素的传送时,将该进行了时间反转的信号重复n次来提供给各电极φV0~φV3。
在经过了时刻t11的定时中,在电极φV3刚被设定为低电压VL后,电极φV1被设定为中电压VM。这样,保持在电极φV2下的电荷的一部分被传送到电极φV1下,并被保持在电极φV2和电极φV1的双方电极下。
与此同时,电极φH3被设定为中电压VM。这样,保持在电极φH2下的电荷的一部分被传送到电极φH3下,并被保持在电极φH2和电极φH3的双方电极下。
在经过了时刻t12的定时中,电极φV2被设定为低电压VL。这样,保持在电极φV2和电极φV1的双方电极下的电荷全部被传送到电极φV1下,并被保持在该电极φV1下。
与此同时,电极φH2被设定为低电压VL。这样,保持在电极φH2和电极φH3的双方电极下的电荷全部被传送到电极φH3下,并被保持在该电极φH3下。
在电极φV2刚被设定为低电压VL,而且电极φH2刚被设定为低电压VL后,电极φV0、φH0被设定为中电压VM。这样,保持在电极φV1下的电荷的一部分被传送到电极φV0、φH0下和电极φH3下,并且保持在电极φH3下的电荷的一部分被传送到电极φV0、φH0下和电极φV1下。因此,在该时刻,发生电荷混合(相加)(参照图4)。
之后,在经过了时刻t13的定时中,电极φH3被设定为低电压VL。这样,保持在电极φH3、电极φV0、φH0以及电极φV1的各电极下的电荷仅被保持在电极φV0、φH0以及电极φV1的两电极下。
接下来,在经过了时刻t14的定时中,电极φV0、φH0被设定为低电压VL。这样,保持在电极φV0、φH0和电极φV1的双方电极下的电荷全部被传送到电极φV1下,并被保持在该电极φV1下。
在电极φV0、φH0刚被设定为低电压VL后,电极φV2被设定为中电压VM。这样,保持在电极φV1下的电荷的一部分被传送到电极φV2下,并被保持在电极φV1和电极φV2的双方电极下。
在经过了时刻t15的定时中,电极φV1被设定为低电压。这样,保持在电极φV1和电极φV2的双方电极下的电荷全部被传送到电极φV2下,并被保持在该电极φV2下(参照图5)。该状态在时刻t16也持续,并且知道,相加电荷被保持在电极φV2下。
通过把这样在经过了上述时刻t12的定时中所相加的电荷传送到同一像素内的电极φV2下进行存储,可按照同样顺序进行该存储图像与由下次时分曝光产生的图像的相加。这样,在对由多次摄影产生的图像的抖动进行校正的同时进行相加,得到最终没有抖动(“没有抖动”意味着是在可实质忽略抖动的程度以下。)的曝光时间TExp的图像。
如上所述,存储在水平传送CCD 33内的图像通过传送水平方向的抖动量,使水平方向的相对抖动得到校正。并且,存储在垂直传送CCD 34内的图像通过传送垂直方向的抖动量,使垂直方向的相对抖动得到校正。因此,电荷从邻接的电位阱被多次传送到水平传送CCD 33和垂直传送CCD 34的各自电极下的电位阱。因此,传送到水平传送CCD 33的两端和垂直传送CCD 34的两端的电荷失去目的地而被蓄积在这里。所蓄积的电荷很快超过可蓄积在电位阱中的水平,流入邻接的电位阱,从而招致图像劣化。作为解决该课题的一种方法,考虑的是,把水平传送CCD 33的两端和垂直传送CCD 34的两端的电极下的电位阱的容量设定为不使电荷饱和的大容量。然而,由于累积电荷量根据被摄体的亮度和抖动量而不同,因而为了在所有情况下都不使电荷饱和,需要相当大的容量的电位阱。
因此,在本实施方式中,如图32所示,与水平传送CCD 33的端部和垂直传送CCD 34的端部的传送电极71邻接设置n+扩散区域的漏极72,把传送到传送电极71下的电位阱的电荷通过漏极72排出。这里,图32是示出把传送到水平传送CCD 33的端部和垂直传送CCD 34的端部的电荷排出到漏极72的结构的图。
另外,关于垂直传送CCD 34的两端的传送电极内的面对水平传送CCD 42(参照图12)的一侧,不能设置同样的排出机构。因此,关于该面对水平传送CCD 42的一侧,在进行抖动校正期间,通过驱动水平传送CCD 42,把从垂直传送CCD 34传送来的电荷排出到水平传送CCD 42的输出部。
图12是示意性地示出固体摄像元件整体的结构的图。另外,实用的固体摄像元件1具有例如几十万~几百万像素以上的像素数,然而由于不可能对全部进行图示,因而在该图12中,进行与其相比像素数减少的模式化。
摄像区域41是包含图2~图5或者图6所示的光电二极管32、水平传送CCD 33以及垂直传送CCD 34的摄像部和光电转换部。
在上述摄像区域41的上述垂直传送CCD 34尽头的水平方向位置处配设有水平传送CCD 42。该水平传送CCD 42与普通的CCD摄像元件(即,例如,不具有上述的水平传送CCD 33的CCD摄像元件)一样,用于在图10的时刻t03至时刻t04之间,把在摄像区域41的垂直传送CCD 34中所相加的图像读出到外部。另外,对该水平传送CCD 42施加与上述水平传送CCD 33不同的水平传送脉冲φH4、φH5,进行像素电荷的传送。
在上述水平传送CCD 42的输出侧配设有用于对从该水平传送CCD42所传送的模拟信号进行放大的放大器43。这样,从摄像元件1输出由放大器43所放大的信号。
然后,图13是示出当由数字照相机对图像进行摄像和记录时的处理的流程图。
当接通了数字照相机的电源(例如,交换了电池等),或者操作了未作图示的动作开始开关(例如,电源开关)时,该数字照相机的动作开始。
当开始处理时,在进行了规定的初始值设定等之后,首先,判定第1释放开关18a通过摄影者的释放操作是否处于关闭的状态(步骤S101)。
这里,在第1释放开关18a未关闭的情况下,分支到J101,同样重复进行第1释放开关18a的检测。然而,实际上,在J101和步骤S101之间执行进行显示、或者检测其他未作图示的键输入状态的动作等,然而这种一般动作在以下也适当省略说明。
在步骤S101检测出第1释放开关18a关闭的情况下,然后,运算抖动界限曝光时间TLimit(步骤S102)。该抖动界限曝光时间TLimit是假定从曝光开始起的抖动量达到容许界限抖动量的时间。
这里,对抖动界限曝光时间TLimit进行说明。作为35毫米胶卷照相机中的纵24mm×横36mm(对角43.28mm)的所谓的莱卡版帧(别称:双帧)照相机相关的长年经验定律,公知的是,当把毫米单位的摄影镜头的焦距设定为f时,抖动界限曝光时间TLimit为TLimit1/f(秒)。在本实施方式中,考虑到在数字照相机的摄像元件的有效摄像区域内所设定的摄影画框的大小,应用该经验定律。在以下说明中,适当省略针对单位mm的记载,仅表记数值。
由于数字照相机中的被摄体摄像范围(摄影视场角)与摄影镜头的焦距成反比且与帧的大小成正比,因而对帧的相对像倍率与焦距成正比且与帧的大小成反比。因此,(对帧的相对的)像抖动也与帧的大小成反比。因此,只要对上述经验定律乘以与帧的大小比率对应的换算系数,并应用该结果即可。在该情况下,有必要考虑长宽比的不同,然而在根据本实施方式的数字照相机中,使用对角线换算。
当把摄影画框的对角长设定为d[mm]时,TLimit由以下数学式1表示。
[数学式1]
T Limit ≅ 1 ( 43.28 × f d )
另外,该数学式1的分母(43.28×f/d)是把数字照相机的摄影镜头的焦距f换算成同一视场角的莱卡版帧的胶卷照相机的摄影镜头的焦距后的值。
从该数学式1可以明白,该抖动界限曝光时间TLimit在数字照相机的摄影镜头15是单焦距的摄影镜头的情况下,只要仅应用与该焦距对应的1个值即可,而在摄影镜头15是变焦镜头的情况下,有必要应用与焦距对应的不同值。
另外,抖动界限曝光时间TLimit不一定需要使用由数学式1给出的值,总之,只要使用实质上不会发生抖动的曝光时间即可。因此,抖动界限曝光时间TLimit大体上也可以是比由数学式1给出的曝光时间短的时间。
然后,对被摄体的亮度进行测光(步骤S103)。该测光对从摄像元件1重复输出的图像信号的电平进行监视,运算被摄体的亮度。即,从摄像元件1所读出的图像信号由CDS 2处理,并由增益控制放大器3放大,之后由A/D转换器4转换成数字值,经过信息处理部8被临时存储在DRAM 9内。存储在该DRAM 9内的图像信号内的图像整体中的例如中央部附近的规定区域的图像信号由CPU 7读出,求出该电平的相加平均值。然后,CPU 7根据所求出的相加平均值计算被摄体的亮度(Bv)。
接下来,CPU 7执行用于计算为得到合适曝光所需要的快门速度值(曝光时间)TExp和光圈17的光圈值,并根据计算结果通过光圈驱动系统16进行光圈17的光圈设定的子程序(参照图14)(步骤S104)。
这里,图14是示出TExp和光圈值的运算以及光圈设定的子程序的流程图。
该图14所示的子程序在数字照相机不能控制的曝光值的情况下进行警告显示,即使摄影模式被设定成快门优先摄影模式、光圈优先摄影模式、程序摄影模式的任意一方,也进行手抖防止。而且,该子程序在假定曝光时间比具有发生手抖的可能性的曝光时间(的阈值)长时,预先进行警告显示,自动设定成使手抖防止优先的摄影模式,进行摄影。
当转移到该子程序时,首先,判定是否是(Bv+Sv)>Ev(max)(步骤S201)。这里,Bv(Brightness Value:亮度值)是由基于APEX(APEX(Additive System ofPhotographic Exposure:摄影曝光计算的加法系统))方式的指数表示的(以下称为“作为APEX值的”)被摄体的亮度,Sv(Sensitive Value:感光值)是作为APEX值的ISO感光度,Ev(ExposureValue:曝光值)是作为APEX值的曝光值,Ev(max)是数字照相机可控制的作为APEX值的曝光值的最大值。并且,当把作为APEX值的曝光时间设定为Tv(Time Value:时间值),并把作为APEX值的光圈值(F值)设定为Av(Aperture Value:光圈值)时,下式成立。
                  Ev=Tv+Av=Bv+Sv
因此,只要知道由测光所得到的被摄体的亮度(Bv)和由摄影条件设定部26所设定的ISO感光度(Sv),就能决定曝光值(Ev),可运算Tv和Av。图17是示出曝光相关的各要素的基准值和该指数的基准值的图表。
在该步骤S201中判定为是(Bv+Sv)>Ev(max)的情况下,进行曝光过量警告(步骤S202)。该曝光过量警告是通过例如在液晶显示部12上进行警告显示,或者连同警告显示一起经由未作图示的扬声器等发出警告音等来进行。在进行了该警告之后,转移到J201。
并且,在步骤S201中判定为不是Bv+Sv>Ev(max)的情况下,然后,判定是否是Bv+Sv<Ev(min)(步骤S203)。这里,Ev(min)是数字照相机可控制的作为APEX值的曝光值的最小值。
在该步骤S203中判定为是Bv+Sv<Ev(min)的情况下,进行曝光不足警告(步骤S204)。该曝光不足警告也与上述曝光过量警告一样,通过在液晶显示部12上进行警告显示,或者连同警告显示一起经由未作图示的扬声器等发出警告音等来进行。在进行了该警告之后,转移到J201。
并且,在步骤S203中判定为不是Bv+Sv<Ev(min)的情况下,或者在从上述步骤S202或步骤S204转移到J201的情况下,判定是否设定成快门优先摄影模式(步骤S205)。
这里,在该数字照相机被设定成快门优先摄影模式的情况下,根据Av=Bv+Sv-Tv运算光圈值(Av)(步骤S206)。
另一方面,在步骤S205中判定为不是快门优先摄影模式的情况下,判定该数字照相机是否被设定成光圈优先摄影模式(步骤S207)。
这里,在被设定成光圈优先摄影模式的情况下,运算曝光时间TExp(步骤S208)。另外,该曝光时间TExp与Tv对应,根据Tv=Bv+Sv-Av求出曝光时间的APEX值Tv,通过把APEX值换算成实际的曝光时间TExp来求出该曝光时间。在该处理结束之后,转移到J202。
并且,在步骤S207判定为不是光圈优先摄影模式的情况下,也就是程序摄影模式,参照图18所示的程序线图求出曝光时间TExp(步骤S209),并且参照该程序线图求出光圈值(Av)(步骤S210)。
这里,图18是示出与摄影镜头15的焦距对应的几个例子的程序线图。
该程序线图如图18所示,被设计成,在是同一曝光值Ev的情况下,摄影镜头15的焦距越长,曝光时间TExp就越短,光圈值就越小(光圈开口就越大)。这是因为,由于摄影镜头15的焦距越长,摄像元件1的摄像面上的手抖影响就越大,因而通过缩短曝光时间TExp,抑制该手抖发生。另外,在该图18中,列举了与最大光圈开口对应的光圈值(F值)是1.4、与最小光圈开口对应的光圈值(F值)是16、最快的快门速度是1/4000秒的数字照相机为例。然而,对于镜头的焦距f,列举了换算成35mm胶卷照相机的数值例。
这样,在该步骤S210的处理结束之后,转移到J202。
在步骤S206、S208、S210的任意一方的处理结束之后,接下来,判定是否是TExp>m(max)·TLimit(步骤S211)。这里,m如上所述表示时分曝光次数,m可仅取1~10(m是整数值)中的任意一个。该m被预先存储在内置于CPU 7中的存储器(ROM(例如,上述EEPROM 24))内。并且,m(max)如上所述是m的最大值,在本实施方式中,为m(max)=10。
在该步骤S211中判定为是TExp>m(max)·TLimit的情况下,进行手抖防止优先显示(步骤S212)。该手抖防止优先显示与所设定的摄影模式是哪种摄影模式无关,变更在该摄影模式下所设定的曝光时间(Tv)和光圈值(Av),显示手抖防止优先并告知给用户。即,当是TExp>m(max)·TLimit时,由于将摄影者所设定的曝光时间TExp除以时分曝光的最大次数m(max)所得到的值超过了抖动界限曝光时间TLimit,因而不能保证抖动防止。因此,在下一步骤S213中,把曝光时间固定为可有效防止手抖的界限曝光时间m(max)·TLimit,并且为了变更光圈值(Av),不使用在各摄影模式下的设定值(特别是,变更在快门优先摄影模式下所设定的快门速度(曝光时间),或者变更在光圈优先摄影模式下所设定的光圈值)。这样,为了消除在摄影者自身所设定的快门速度或光圈值不进行警告就被变更的情况下的困惑,这里进行手抖防止优先显示,并进行告知。
在这样进行了手抖防止优先显示之后,执行手抖防止优先处理的子程序(步骤S213)。
这里,参照图16,对在步骤S213中的手抖防止优先处理的子程序的动作进行说明。图16是示出手抖防止优先处理的子程序的流程图。
当转移到该子程序时,首先,把m(max)·TLimit存储在存储器〔TExp〕内(步骤S301)。这里,〔〕意味着存储括弧内的数据的存储器。
然后,根据Av=Bv+Sv-Tv,运算光圈值Av(步骤S302)。另外,在该步骤S302的运算中使用的Tv是在步骤S301中存储在存储器〔TExp〕内的TExp的APEX值。然后,把所运算的光圈值Av存储在存储器〔Av〕内(步骤S303)。
接下来,判定是否是Av<Av(min)(步骤S304)。这里,Av(min)是光圈值可取的最小值(与光圈打开到最大时对应)。
当在该步骤S304中判定为是Av<Av(min)的情况下,由于在上述步骤S302中所运算的光圈值(Av)是实际上不可能针对光圈17设定的光圈值,因而将Av(min)重新存储在存储器〔Av〕内(步骤S305)。
然后,根据Tv+Av-Bv运算ISO感光度Sv(步骤S306)。
该ISO感光度Sv与增益控制放大器3的放大率对应。例如当把ISO感光度100时的放大率设定为1时,对于ISO感光度200,放大率为2。并且,当放大率太大时,由于噪声显著,因而在实用上将合适的放大率设定为上限,作为具体例,ISO感光度800(放大率8)或者ISO感光度1600(放大率16)等为上限。ISO感光度Sv的值实际上只能设定为阶段性的值而不是连续性的值,因而把距可实际设定的Sv内的在步骤S306中所求出的Sv最近的值设定为《Sv》。把这样求出的《Sv》存储在存储器〔Sv〕内(步骤S307)。
然后,根据Tv=Sv+Bv-Av求出与上述Sv、Bv、Av对应的曝光时间Tv(步骤S308)。
接下来,把在步骤S308中所求出的曝光时间的APEX值Tv转换成实际的曝光时间TExp(步骤S309)。
之后,运算TLimit’(=TExp/m(max))(步骤S310)。该TLimit’有时比在上述步骤S301中所求出的TLimit大,有时比其小。
并且,判定TLimit’/TLimit是否大于2(步骤S311)。在判定为该TLimit’/TLimit大于2的情况下,由于时分曝光的曝光时间比抖动界限曝光时间TLimit长2倍或2倍以上,因而抖动远远超过容许水平,通过液晶显示部12显示手抖警告。另外,当显示该手抖警告时,还可以进行经由未作图示的扬声器等发出警告音等。
并且,当在步骤S311中判定为TLimit’/TLimit小于等于2的情况下,把TLimit’存储在存储器〔TLimit)内(步骤S313)。
这样,当在上述步骤S304中判定为不是Av<Av(min)时,当步骤S312的处理结束时,或者当步骤S313的处理结束时,从该图16所示的子程序返回到图14所示的处理。
回到图14的说明,当从图16所示的手抖防止优先处理的子程序返回时,转移到J203,进行后述的处理。
当在上述步骤S211中判定为不是TExp>m(max)·TLimit的情况下,选择时分曝光次数m(步骤S214)。具体地说,运算TExp/TLimit,选择与其相等或比其大的最近的m(1~10的整数值)。例如,在TExp/TLimit的值是2.5的情况下,设定为m=3,在TExp/TLimit的值是4的情况下,设定为m=4。
然后,把TExp/m存储在存储器〔TLimit〕内(步骤S215)。这样,根据TExp/m新运算TLimit,根据该抖动界限曝光时间TLimit控制时分摄影的曝光时间,从而可使进行了时分摄影和相加后的图像的曝光量合适。并且,在上述步骤S214中,TExp/TLimit不是整数值的情况下,选择比其大的最近的m(1~10的整数值),这是因为,在步骤S215中新运算的TLimit不会超过抖动界限曝光时间。
在步骤S213中,当从手抖防止优先处理的子程序返回时,或者在步骤S215的处理结束的情况下,通过光圈驱动系统16驱动光圈17,把光圈设定成具有与存储在存储器〔Av〕内的光圈值对应的光圈开口(步骤S216)。
之后,从该图14所示的子程序返回到图13所示的处理。
另外,在图14所示的处理中,当在步骤S211中判定为是TExp>m(max)·TLimit时,修正Av(光圈值)或ISO感光度,使得TExp≤m(max)·TLimit。当使用该方法时,关于抖动防止,可抑制到能充分满足的水平,另一方面,摄影者期望的摄影模式得不到忠实反映。即,尽管摄影者选择例如快门优先摄影模式进行摄影,但快门速度(曝光时间)比所期望的快门速度高,有可能发生不能进行反映拍摄意图的摄影的情况。
对这一点进行了改善的变形例在图15中示出。图15是示出TExp和光圈值的运算以及光圈设定的子程序的另一例的流程图。在该图15中,对与图14所示的处理相同的部分附上同一符号并省略说明。
当在上述步骤S211中判定为是TExp>m(max)·TLimit时,通过液晶显示部12进行抖动警告显示(步骤S212’)。该抖动警告显示是唤起有可能发生抖动的注意的显示。另外,当进行该抖动警告显示时,还可以进行经由未作图示的扬声器等发出警告音等。
然后,把TExp/m(max)存储在存储抖动界限曝光时间TLimit的存储器〔TLimit)内(步骤S213’)。之后,转移到J203。
通过进行该图15所示的处理,可在摄影者所期望的摄影模式下进行摄影。并且,由于可进行抖动警告显示,并可以利用不发生抖动的前提下的最大限度的高速快门速度(即,将曝光时间TExp除以m的最大值m(max)所得到的快门速度)进行摄影,因而可期待将抖动也抑制到能满足的水平。
在上述图14和图15所示的流程图中,在步骤S214中,从预先存储在存储器内的多个时分摄影次数m中选择最佳的m,然而可以把m值仅设定为规定的大值(例如m=10)的一种,把抖动界限曝光时间TLimit设定为TExp/m。这样一来,由于进行光电二极管32的蓄积电荷量Q(max)的控制的基板电压VSUB的值只要能进行普通摄影时和时分摄影时的2种设定就足够了,因而摄像元件的特性管理变得容易,可有助于摄像元件的成品率提高,并可使结构简单。
以下,如参照图14或图15所说明的那样,在该实施方式中,在所算出的曝光值是数字照相机不能进行控制的值的情况下,根据是在曝光过量侧还是在曝光不足侧来进行相应的的警告显示。而且,如参照图14和图16所说明的那样,在上述中,在数字照相机的摄影模式被设定为快门优先摄影模式、光圈优先摄影模式、程序摄影模式的任意一种的情况下,进行手抖防止,并且在所算出的曝光时间比可忽略发生手抖的可能性的上限的曝光时间长(快门速度是低速)的情况下,预先进行警告显示,告知在手抖防止优先的摄影模式下进行摄影。这样,不会使摄影者误解,能可靠地进行手抖防止。
回到图13的说明,在从上述步骤S104的子程序返回之后,接下来,判定第2释放开关18b是否关闭(步骤S105)。这里,在第2释放开关18b未关闭的情况下,只要第1释放开关18a关闭,就分支到J102,在重复进行上述步骤S102~S105的处理的同时,等待该第2释放开关18b关闭。
这样,当在步骤S105中判定为第2释放开关18b关闭的情况下,把初始值“0”存储在存储实际进行了基于抖动界限曝光时间TLimit的曝光的次数n的存储器〔n〕内(步骤S106)。另外,如上所述,〔〕意味着存储括弧内的数据的存储器。因此,〔n〕意味着存储括弧内的变量n的存储器。
然后,开始曝光(步骤S107)。从即将开始曝光起,如图10所示,对摄像元件1重复施加用于把蓄积在光电二极管32内的电荷强制排出到半导体基板(基板=纵型溢出漏极VOFD)上的基板施加高电压脉冲VSUB,该高电压脉冲VSUB的施加结束,并把VSUB的值设定为与上述m对应的值(图8所示的VSUB’)的时刻成为该步骤S107的曝光开始时刻。
然后,判定1次时分曝光是否结束(步骤S108)。这里,在1次时分曝光结束之前,分支到J103,等待时分曝光结束。
并且,在1次时分曝光结束的情况下,判定后述的从曝光开始位置起的X方向的抖动量的绝对值|Px-Px0|、或者从曝光开始位置起的Y方向的抖动量的绝对值|Py-Py0|是否比预先设定的规定值α大(步骤S118)。
这里,在判定为任意一方比规定值α大的情况下,结束曝光,在对标志FLG设定1之后(步骤S119),转移到后述的步骤S112的图像读出处理。这是因为,由于当抖动量大到规定值以上时,进行了正常的抖动校正的图像的有效区域变窄,因而结束时分摄影,确保规定大小的有效区域。对此在后面进行详细说明。
另外,在步骤S119中所设定的标志FLG在开始摄影时,预先被设定为0,通过对FLG设定1,表示在时分摄影次数达到规定值m之前,时分摄影结束。
并且,当在步骤S118中判定为|Px-Px0|和|Py-Py0|的任意一方小于等于α的情况下,执行将由时分摄影所得到的图像进行合成的子程序“像素值合成”(参照图22)(步骤S109)。
在对该像素值合成的子程序进行说明之前,参照图19~图21,对数字照相机中的抖动量的检测进行说明。首先,图19是示出在数字照相机中设定的坐标轴和2个角速度传感器的配置的图。
在该图19中,假定把X轴、Y轴、Z轴设定成,使在某时刻的沿着摄影镜头15的光轴○的被摄体侧作为Z轴的正方向,使垂直于Z轴的摄像面内的数字照相机的左右方向的从被摄体侧观察数字照相机的右侧作为X轴的正方向,使通过Z轴和X轴的交点并与Z轴和X轴正交的数字照相机的上方向作为Y轴的正方向。然后,把围绕该X轴、Y轴、Z轴的旋转角各自设定为θx、θy、θz。另外,在上述某时刻,摄影镜头15的光轴○与Z轴一致,然而在别的时刻发生了抖动的情况下,摄影镜头15的光轴○一般与Z轴不一致。
在该数字照相机的照相机主体51上,如上所述,设置有角速度传感器19和角速度传感器20。
角速度传感器19用于检测围绕X轴的旋转角θx的每单位时间的变化量即角速度。
角速度传感器20用于检测围绕Y轴的旋转角θy的每单位时间的变化量即角速度。
该2个角速度传感器19、20如图19所示,设置成具有与数字照相机中的上述X轴、Y轴、Z轴相关联的配置。
从该2个角速度传感器19、20各自输出的检测信号分别由A/D转换器21、22转换成数字数据,并被输入到CPU 7中。
该CPU 7从摄影镜头15取得焦距f相关的信息(例如,在摄影镜头15是电动变焦的情况下,通过镜头驱动系统14进行信息取得,或者,在摄影镜头15是更换式的镜头镜筒的情况下,通过通信接点等进行信息取得)。
并且,CPU 7从距离检测部23中取得被摄体距离信息。
这些焦距f的信息和被摄体距离信息如后所述,在X方向的抖动量的运算和Y方向的抖动量的运算中使用。
然后,参照图20,对抖动量和抖动校正量的关系进行说明。图20是示出在照相机主体51抖动了旋转角θx的情况下的摄像面上的被摄体63的图像移动状态的图。
当数字照相机由于抖动等而旋转了旋转角θx时,摄影镜头15旋转移动到符号15’表示的位置,并且摄像元件1的摄像面61也旋转到倾斜了角度θx的C-D面的位置。
并且,当未发生抖动时位于符号62表示的中心位置的被摄体63的图像在发生了旋转角θx的抖动后,移动到摄像面C-D上的符号62’表示的位置。
这里,当把摄影镜头15的焦距设定为f,把未发生抖动时的从摄影镜头15的物体空间焦点到被摄体63的距离设定为L,把未发生抖动时的从摄影镜头15的图像空间焦点到图像位置的距离设定为L’,以及把由抖动产生的图像位置的移动量设定为ΔY时,通过使用图20所示的几何学的位置关系、和以下数学式2表示的牛顿(Newton)成像公式,即:
[数学式2]
L·L′=f2
按以下数学式3所示,算出上述移动量ΔY。
[数学式3]
ΔY=(1+β)2·θx·f
这里,β表示摄影倍率,是f/L。并且,当算出数学式3时,假定θx是微小量,进行θx在1次阶之前的近似。
该数学式3中的值f如上所述,作为镜头信息被输入到CPU 7中。并且,为算出β所需要的距离L可根据来自图1所示的距离检测部23的信息来算出(或者,可以根据使被摄体对焦时的摄影镜头15的前进量求出距离L。)。而且,数学式3中的角度θx可根据来自上述角速度传感器19的输出来算出。
这样,通过进行根据数学式3所得到的移动量ΔY相关的实质校正,即使数字照相机发生了抖动,也不会对从摄像元件1所输出的图像信号相关的图像产生抖动影响。
另外,如上所述,由于角度θx是微小量,因而如图20所示,即使摄像面C-D围绕X轴相对于Y轴倾斜角度θx,由摄像面的倾斜所产生的对图像的影响,除了上述移动量ΔY以外,不会成为问题。
并且,围绕Y轴发生了旋转角θy的抖动时的图像位置的移动量ΔX也与上述数学式3一样,按以下数学式4所示来求出。
[数学式4]
ΔX=(1+β)2·θy·f
通过对上述数学式3的两边用时间求微分,得到以下数学式5。
[数学式5]
d ( ΔY ) dt = ( 1 + β ) 2 · f · dθ x dt
在该数学式5中,由于右边的d(θx)/dt是围绕X轴的角速度自身,因而可照原样使用角速度传感器19的输出。并且,数学式5的左边的d(ΔY)/dt是在发生了d(θx)/dt的角速度的情况下的Y轴方向的图像移动速度Vy
同样,关于围绕Y轴发生了旋转角θy的抖动时的X轴方向的图像位置的移动量ΔX,也通过对数学式4的两边用时间求微分,得到以下数学式6。
[数学式6]
d ( ΔX ) dt = ( 1 + β ) 2 · f · dθ y dt
在该数学式6中,由于右边的d(θy)/dt是围绕Y轴的角速度自身,因而可照原样使用角速度传感器20的输出。并且,数学式6的左边的d(ΔX)/dt是在发生了d(θy)/dt的角速度的情况下的X轴方向的图像移动速度Vx
现在,假定以规定时间ΔT(另外,该ΔT是由A/D转换器21、22把角速度传感器19、20的输出转换成数字信号的抽样间隔,期望的是与抖动界限曝光时间TLimit相同或比其短的时间。)周期进行了检测的角速度传感器19的输出d(θx)/dt是ωx1、ωx2、ωx3、…、ωx(n-1)、ωxn,则在经过了n×ΔT的时间后的Y轴方向的图像位置的移动量ΔY如以下数学式7所示来给出。
[数学式7]
ΔY = ( 1 + β ) 2 · f · ΔT · Σ k = 1 n ω xk
同样,假定以每规定时间ΔT(以规定时间ΔT周期)进行了检测的角速度传感器20的输出d(θy)/dt是ωy1、ωy2、ωy3、…、ωy(n-1)、ωyn,则在经过了n×ΔT的时间后的X轴方向的图像位置的移动量ΔX如以下数学式8所示来给出。
[数学式8]
ΔX = ( 1 + β ) 2 · f · ΔT · Σ k = 1 n ω yk
由摄像元件1以n×ΔT的时间间隔所曝光的2张图像的抖动量可使用数学式7和数学式8来计算。因此,根据使用这些数学式所算出的移动量(抖动量)ΔX、ΔY,进行校正2张图像的抖动的像素电荷的移动,之后进行相加,从而可生成进行了抖动校正的图像。
图21是示出通过CPU 7算出移动量ΔX、ΔY等的处理流程的流程图。该处理在从第2释放开关18b关闭时到曝光结束的期间,作为与图13等所示的处理独立的过程来执行。
即,当开始该处理时,首先,等待第2释放开关18b关闭(即,在第2释放开关18b关闭之前分支到J401)(步骤S401)。
然后,在检测出第2释放开关18b关闭的情况下,接下来,输入摄影镜头15的焦距f和被摄体距离L(步骤S402)。该焦距f和被摄体距离L可以在该图21所示的处理中进行运算,然而为了以更高速的周期运算抖动量,可以使用单独的处理器等来运算焦距f和被摄体距离L,CPU 7可以在步骤S402中输入该所运算的数据。这样,可实现处理的高速化,并可实现对实时的高追随性。
然后,CPU 7通过经由A/D转换器21、22各方读入角速度传感器19、20的输出,输入角速度ωx、ωy(步骤S403)。
然后,通过把所输入的角速度ωx、ωy与在上次检测的值之前的累积相加值相加,运算在本次检测的值之前的累积相加值∑ωx、∑ωy(步骤S404)。
通过把在该步骤S404中所运算的累积相加值∑ωx、∑ωy代入上述的数学式7和数学式8,分别算出从多个时分图像内的最初时分图像的摄影结束时刻起的图像位置的移动量ΔY、ΔX(步骤S405)。
然后,运算Px=「ΔX/Lx」和Py=「ΔY/Ly」(步骤S406)。另外,Lx、Ly分别表示图2所示的1个像素31的X方向、Y方向的尺寸,「」意味着将小数以下进行了四舍五入的整数值。因此,Px、Py以像素单位表示从最初时分图像的摄影结束时刻起的图像位置的移动量ΔX、ΔY。
接下来,把上述Px、Py分别存储在各对应的存储器〔Px〕、〔Py〕内(步骤S407)。如上所述,符号〔〕表示存储括弧内的数据的存储器。
之后,判定曝光时间TExp的曝光是否结束(步骤S408),在曝光未结束的情况下,分支到J402,从步骤S403重复进行与上述相同的处理。
另-方面,当在步骤S408中判定为曝光结束的情况下,结束该处理。
接下来,图22是示出像素值合成的子程序的流程图。
当在图13的步骤S109中开始该处理时,首先,判定进行了基于抖动界限曝光时间TLimit的曝光的次数n是否是0(步骤S501)。
这里,在n是0的情况下,通过对垂直传送电极φV2施加VH(15V)的转移脉冲,把摄像元件1的各像素(更详细地说,各光电二极管32)的电荷读出到垂直传送CCD 34中(步骤S503)。该步骤S503的随后表示的点线的箭头符号意味着,分支到图13的J104,在蓄积在光电二极管32内的电荷的读出完成的同时,自动开始下次曝光。
接下来,把上述Py、Px分别存储在存储器〔Py0〕、〔Px0〕内,把这些值分别设定为新的Py0、Px0(步骤S504)。这些Py0、Px0是从由CPU7开始输入角速度ωx、ωy到通过光电二极管32刚开始最初曝光后为止的以像素数单位表示的抖动量Py、Px(在图21的步骤S407中分别存储在存储器〔Px〕、〔Py〕内的值),即,是曝光开始时的偏移量。
然后,把0存储在存储器〔Sy0〕内,该存储器〔Sy0〕存储在多次曝光动作中的最后(上次)时分曝光之前的Y方向的抖动校正量的累积相加值(步骤S505)。
另一方面,当在步骤S501中不是n=0的情况下,通过对水平传送电极φH2施加VH(15V)的转移脉冲,把摄像元件1的各像素(更详细地说,各光电二极管32)的电荷读出到水平传送CCD 33中(步骤S507)。该步骤S507的随后表示的点线的箭头符号意味着,分支到图13的J104,在蓄积在光电二极管32内的电荷的读出完成的同时,自动开始下次曝光。
接下来,将在步骤S507中所读出的图像按-Sx(=-(Px-Px0))的像素数朝水平(X)方向传送(参照图3)(步骤S508)。这里,(Px-Px0)是从最初曝光刚开始后的(即,消除了偏移部分的)X方向的抖动量。并且,对表示传送像素数的式子附上负的符号,这是因为,通过使像素电荷朝与抖动相反的方向移动,使新读出的像素电荷接近在此之前所相加的像素电荷侧(参照图3等)。
而且,将到上次为止的相加图像按Sy(=(Py-Py0)-Sy0)的像素数朝垂直(Y)方向传送(参照图3)(步骤S509)。这里,(Py-Py0)是从最初曝光刚开始后的(即,消除了偏移部分的)Y方向的抖动量,Sy0是从最初曝光刚开始后到上次时分曝光所进行的Y方向的抖动校正量(累积抖动校正量)。因此,在该步骤S509中,把从最初曝光刚开始后到本次时分曝光的Y方向的抖动量、和在上次时分曝光之前实际所校正的抖动量之间的差作为本次时分曝光相关的校正量。通过采用这种运算,与以前后连续的2次曝光动作内的前一图像的抖动量为基准求出后一图像的抖动量进行校正相比,可防止运算误差累积。如上所述,在步骤S406的运算中,由于进行向像素数单位的四舍五入,因而采用该步骤S509所示的处理是有效的。
另外,在这里所说明的处理中,由于最初时分曝光相关的图像、以及与该图像依次相加的相加图像原则上不从同一垂直传送CCD 34移动(不移动到水平传送CCD 33中,也不移动到另一垂直传送CCD 34中),因而在上述步骤S508中,没有必要算出与在步骤S509中所说明的Sy0相当的到上次为止的累积抖动校正量(例如,Sx0)。
该步骤S508、S509的处理是对1个像素的整数倍的偏差进行校正并将2张图像进行相加的处理。但是,在单板式彩色摄像元件,即在摄像面的前面配置有镶嵌状的滤色器的摄像元件的情况下,还必须设法不发生色信号的混合。例如,在拜耳(Bayer)排列的滤色器中,由于将以2×2的滤色器为单位的镶嵌状滤色器重复排列,因而当对奇数像素部分的抖动进行校正和相加时,不同色的信号被相加,不能再现正常颜色。因此,为了解决该课题,只要通过以滤色器的水平方向的最小重复周期和垂直方向的最小重复周期(在拜耳排列的情况下,分别为2个像素)为最小单位传送(或移动)图像,来校正抖动即可。现在,举拜耳排列为例,只要把垂直方向的抖动校正量设定为2·「Sy/2」、并把水平方向的抖动校正量设定为2·「Sx/2」即可。这里,Sx、Sy是在上述步骤S508、S509中所求出的值。
然后,通过把存储在垂直传送CCD 34内的图像和存储在水平传送CCD 33内的图像传送到传送电极φH0(或传送电极φV0)下(即,水平传送CCD 33和垂直传送CCD 34交叉的位置),将2张图像进行相加(步骤S510)。
接下来,把所相加的电荷传送到作为同一像素内的电荷保持部的垂直传送电极φV2下进行存储(步骤S511)。这样做是因为,如上所述,由于传送电极φV0兼用水平传送电极φH0,因而所相加的电荷不会与水平传送CCD 33内的电荷发生干扰。
然后,通过将上述传送量Sy和上次传送量Sy0进行相加并存储在存储器〔Sy0〕内,把上述所相加的值新设定为Sy0(步骤S512)。这样,在存储器〔Sy0〕内存储有到最后(上次)时分曝光为止的Y方向的传送量的累积相加值。
在结束了该步骤S512、或者上述步骤S505的处理之后,从该像素值合成的子程序返回到图13所示的主程序。
另外,在图22所示的步骤S503中,把第1次时分曝光相关的像素电荷读出到垂直传送CCD 34中,然而取而代之,可以把像素电荷首先读出到水平传送CCD 33中,之后,把该读出的电荷传送到同一像素内的垂直传送CCD 34的垂直传送电极φV2下进行临时存储。即使进行这种处理,在第2次时分曝光以后,也能进行与上述相同的动作。因此,在图6所示的结构中,作为可读出光电二极管32的电荷的电极设置了φH2和φV2两个,然而不限于此,可以构成为仅使φH2或φV2的任意一方的电极成为可读出光电二极管32的电荷的电极。
并且,在图22所示的例子中,把2张图像内的上次摄影的图像存储在垂直传送CCD 34内,把本次摄影的图像存储在水平传送CCD 33内,使相互错开规定量来进行相加,生成进行了抖动校正的图像,然而可以调换水平传送CCD 33和垂直传送CCD 34的作用,把2张图像内的上次摄影的图像存储在水平传送CCD 33内,把本次摄影的图像存储在垂直传送CCD 34内。
回到图13的说明,当从步骤S109中的像素值合成的子程序返回时,接下来,把n+1存储在存储已经进行的时分摄影的次数n的存储器〔n〕内(步骤S110)。
然后,判定已进行的时分摄影的次数n是否等于所设定的时分摄影次数m(步骤S111)。
这里,在还不是n=m的情况下,分支到J103,如上所述,重复进行时分曝光处理和像素值合成处理。
并且,当在步骤S111中判定为是n=m的情况下,把垂直传送CCD34内的图像信号通过水平传送CCD 42和放大器43(参照图12)读出到该摄像元件1的外部(步骤S112)。
然后,从摄像元件1所读出的图像信号由CDS 2处理,由增益控制放大器(AMP)3放大,之后由A/D转换器4转换成数字信号(步骤S113)。
接下来,由信息处理部8对将图像信号进行数字化而得到的图像数据实施规定的信号处理(步骤S114)。
该信息处理部8如上所述,还具有作为有效区域抽出部的功能,该有效区域抽出部用于从由摄像元件1所输出的图像数据中抽出被认为进行了有效的抖动校正的区域的图像。下面,对该有效区域抽出部的动作进行说明。
图33是示出时分图像的位置和进行了抖动校正的合成图像的位置的关系的图。参照该图33,对有效区域抽出部的动作进行说明。
现在,假定在可容许抖动的曝光时间中对图像(以下称为“时分图像”)A进行摄影,并临时存储在图6所示的垂直传送CCD 34内。
然后,假定对时分图像B进行摄影,并存储在图6所示的水平传送CCD 33内。另外,该图33中的时分图像A、B的相对偏移表示图像抖动。
接下来,时分图像A由垂直传送CCD 34在垂直方向上传送,以使长边部的端面与时分图像B重合。
而且,时分图像B由水平传送CCD 33在水平方向上传送,以使短边部的端面与时分图像A重合。
之后,在垂直方向和水平方向上进行了相对位置校正的时分图像A、B被合成(相加),并被存储在垂直传送CCD 34内。以下,把该合成图像称为合成图像A+B。
然后,对时分图像C进行摄影,并存储在水平传送CCD 33内。然后,与上述时分图像A、B的抖动校正一样,在进行了上述合成图像A+B和时分图像C的相对抖动校正后进行合成,生成合成图像A+B+C。
在通过3张时分摄影而结束了摄影的情况下,该合成图像A+B+C从摄像元件1输出。
从图33可以明白,上述合成图像A+B+C中的施加了斜线的区域是时分图像A、B、C内的至少1张时分图像的数据不足的区域。即,该斜线部可认为是未进行合适的抖动校正。因此,有必要从合成图像A+B+C中抽出进行了合适的抖动校正的有效区域(例如,符号D表示的区域)的图像。
现在,把画面的水平(X)方向的抖动量Sx的正(包含0)的最大值设定为Sx(max+),并把负(包含0)的最大值设定为Sx(max-)。并且,把画面的垂直(Y)方向的抖动量Sy0的正(包含0)的最大值设定为Sy0(max+),并把负(包含0)的最大值设定为Sy0(max-)。此时,从合成图像A+B+C的左端去除了Sx(max+)(其中,把图33中的画面右方向的抖动设定为正,把画面左方向的抖动设定为负)的区域、从右端去除了-Sx(max-)的区域、从下端去除了Sy0(max+)(其中,把朝图33的画面上方向的抖动设定为正,把朝下方向的抖动设定为负)的区域、以及从上端去除了-Sy0(max-)的区域后的区域成为将与时分摄影次数相等的数量的像素相加后的区域(进行了正常的抖动校正的区域)。在图33所示的具体例中,例如合成图像D成为进行了正常的抖动校正的图像。
另外,由于当保持数字照相机而进行摄影时的抖动每次在对各图像进行摄影时都不同,因而如果不想出某些办法,则合成图像D的大小针对各图像而不同。然而,这里所得到的图像没有统一性,之后在进行图像处理等上不方便。因此,为了解决这一点,假定上述的各最大值Sx(max+)、-Sx(max-)、Sy0(max+)、-Sy0(max-)全部取相等的值来设定为规定值α,根据该规定值α抽出合成图像D。
即,如图34所示,作为被认为进行了正常的抖动校正的区域(有效区域)的合成图像D,设定合成图像A+B+C中的预先决定的区域。这里,图34是示出合成图像和有效区域的关系的图。通过进行基于这种规定值α的合成图像D的决定,具有处理简单的优点。
然而,当把规定值α设定为太大的值时,合成图像A+B+C的有效区域变窄。因此,然后,对把该有效区域的大小设定为何种程度即可进行估算。
视力是1.0的人可识别肉眼的2点的视角(以下称为2点识别分辨率)约为1分。然后,当图像的抖动大小超过了该2点识别分辨率时,由观察图像的人识别为抖动。因此,上述的抖动界限曝光时间TLimit是指,当把图像在监视器或照相纸上放大来观察时,曝光时间内的图像抖动量是形成相当于2点识别分辨率1分的视角的大小或者其以下的大小的曝光时间。本实施方式的抖动校正技术是,在发生相当于该2点识别分辨率的抖动的曝光时间中进行多次时分摄影,对通过该时分摄影所得到的图像之间的相对抖动进行校正,之后进行相加。这样,当把时分摄影次数的最大值设定为m(max)时,使用该技术可校正的最大抖动量按视角而言为m(max)×1分。
现在,把所摄影的图像打印在六英寸(Cabinet)尺寸(165[mm]×120[mm])的照相纸上,在30cm的距离内观察所打印的照相纸的情况下的根据m(max)×1’(符号“’”表示分)的视角所观察的照相纸上的长度ΔL按下式计算,即:
ΔL=m(max)×300×2×3.14×1’/360×60’[mm]
例如,当把m(max)设定为8时,得到ΔL=0.7mm。由于实际的抖动界限曝光时间内的抖动量有个人差,因而如果把几个余量估计在内,则ΔL只要相对于照相纸的纵横的各全长约为1%(在上述的六英寸尺寸的例中,为1~2[mm]左右)即可。并且,画面的左右上下的端面的由该ΔL表示的区域不进行有效区域抽出部的抽出。另外,这里对把m(max)设定为8的例作了说明,然而更一般地,只要根据时分摄影次数的最大值m(max)的大小决定有效区域的大小即可。并且,为了容易明白,图33和图34将抖动进行极端夸张来图示,有效区域看起来相当窄,然而知道的是,由于实际抖动极小,因而即使抽出有效区域,也几乎不对图像尺寸产生影响。
然而,当如上所述设定预先决定的有效区域D时,由于根据摄影者个人差异有可能产生超出预料的抖动,因而期望的是想出该对策。例如,由于抖动量大,因而在判定为欠缺预先决定的有效区域D的图像的一部分(在有效区域D内的至少一部分中未满足规定的时分摄影次数)的情况下,在该时刻结束时分摄影。并且,根据未满足规定的时分摄影次数的程度将合成图像D进行放大。此时,假如在数字照相机被设定为快门优先摄影模式的情况下,实际的曝光时间比摄影者所设定的曝光时间短,然而由于这种情况稀少,而且不满足规定数的时分摄影次数也并不那么多,因而认为实际上几乎不会成为问题。
下面,参照图35对上述有效区域抽出部的动作进行说明。图35是示出抽出有效区域的图像数据的处理的流程图。该图35所示的处理是在图13所示的步骤S114中根据需要所调用的子程序。
信息处理部8的有效区域抽出部从由A/D转换器4进行了数字化的图像数据(与图34所示的图像A+B+C对应)中抽出预先决定的区域(图34所示的有效区域D)的图像数据(步骤S1001)。
然后,判定是否是FLG=1(步骤S1002)。该标志FLG如在图13的说明中已描述的那样,在初始设定中是“0”,当时分摄影次数未达到规定值m时,被设定为“1”。
这里,在是FLG=1的情况下,信息处理部8的有效区域抽出部将图像数据以数字方式放大到m/m’倍(步骤S1003)。这里,m’是实际的时分摄影次数。
在该步骤S1003的处理结束,或者在步骤S1002中判定为不是FLG=1的情况下(即,在进行了规定的m次时分摄影的情况下)(分支J1001),从该子程序返回到图13的步骤S114,进行信息处理部8中的其他必要的信号处理。
另外,在上述图35的处理中,在摄像装置内部抽出了预先决定的有效区域的图像,然而没有必要一定受限于此。例如,作为图像数据的附属信息,把上述Sx、Sy0(或者还有各时分摄影时的Sx和Sy等)存储在记录介质11内,可以根据该信息,在另外设置的个人计算机等中进行抽出有效区域的图像的处理。
在图13的步骤8114的处理结束之后,接下来,把进行了信号处理的图像数据临时存储在DRAM 9内(步骤S115)。
之后,由压缩解压缩部10对存储在DRAM 9内的图像数据进行图像压缩(步骤S116),把压缩之后的图像数据记录在记录介质11内(步骤S117),结束该处理。
另外,在上述中,如在图13的步骤S102中所说明的那样,作为抖动界限曝光时间TLimit,设定了由数学式1表示的根据摄影镜头的焦距f唯一决定的值。然而,由数学式1表示的值无非是根据经验定律所得到的平均值。相比之下,实际在单位时间中发生的抖动量根据个人差、照相机的大小、或者照相机的形状等而发生偏差。以下对能应对这种偏差的技术的例子(变形例)进行说明。
该变形例是在校正实际抖动之前测量抖动界限曝光时间TLimit,进行对上述偏差作了考虑的更准确的抖动校正。
即,该变形例取代上述图13的步骤S102的处理,进行通过测量求出抖动界限曝光时间TLimit的处理。因此,关于整体处理,假定应用除步骤S 102以外的图13的处理,省略说明。
这里,抖动界限曝光时间TLimit被设定为以下双方内的不长的一方(即,在不相等的情况下,为短的一方),即:在X方向的抖动量达到规定的可容许抖动量(容许界限抖动量)αx之前的时间TLimit(x),以及在Y方向的抖动量达到规定的容许界限抖动量αy之前的时间TLimit(y)。
这里对上述容许界限抖动量αx、αy进行说明。
现在,考虑把图像打印在照相纸上进行观察的情况。把从观察者的眼睛到照相纸的距离设定为K,把照相纸的对角长设定为Dp,假定图像抖动量在上述照相纸的对角线上的距离是ΔDp。如果ΔDp/K[弧度]小于等于观察者的肉眼的2点识别分辨率Δφ,即,
[数学式9]
ΔD p K ≤ Δφ
则抖动不会由观察照相纸的观察者的眼睛察觉。
另外,当把摄像元件的(有效摄像区域的)对角长设定为Di,并把摄像元件的摄像面上的抖动量(与上述ΔDp对应的长度)设定为ΔDi时,由于与照相纸的大小对应的照相纸上的抖动量的大小、和与摄像元件的大小对应的摄像元件上的抖动量的大小一致,因而以下数学式10成立。
[数学式10]
ΔD p D p = ΔD i D i
因此,使用该数学式10表示的关系,当从数学式9中消去ΔDp时,得到以下数学式11。
[数学式11]
Δ D i ≤ D i D p · K · Δφ
从该数学式11可以明白,成为摄像元件上的容许抖动量的ΔDi是根据摄像元件的尺寸(Di)和图像的观察条件(Dp,K)唯一决定的值。与该对角方向的容许抖动量的例子完全一样,可求出摄像元件的摄像面上的X方向的图像容许抖动量ΔXi和Y方向的图像容许抖动量ΔYi。
现在,假定X方向的容许抖动量ΔXi和Y方向的容许抖动量ΔYi相等,ΔXi=ΔYi=γ。
另外,一般情况下,肉眼的2点识别分辨率Δφ被设定为约1分,然而由于认为该值因图像种类、抖动方式以及个人差而产生偏差,因而只要根据商品的达到目标适当选择Δφ即可。
下面,参照图23和图24,对测定每个人的抖动界限曝光时间TLimit的变形例进行说明。首先,图23是示出抖动量运算处理的流程图。在该图23的说明中,对于与上述图21重复的部分,省略详细说明。
另外,该图23所示的处理是在从第1释放开关18a关闭时到FLG1成为1为止的期间,作为与图13等所示的处理独立的过程来执行。
当开始该处理时,首先,等待第1释放开关18a关闭(步骤S601)。
然后,在检测出第1释放开关18a关闭(产生了第1信号)的情况下,接下来,输入摄影镜头15的焦距f和被摄体距离L(步骤S602)。该焦距f和被摄体距离L可以在该图23所示的处理中进行运算,然而与上述一样,为了以更高速的周期运算抖动量,可以使用另外设置的处理器等来运算焦距f和被摄体距离L,CPU 7可以在步骤S602中输入该所运算的数据。这样,可实现处理的高速化,并可实现对实时的高追随性。
接下来的步骤S603~S605的处理与图21所示的步骤S403~S405的处理相同。
之后,把在步骤S605中所算出的ΔX存储在存储器〔ΔX〕内,把ΔY存储在存储器〔ΔY〕内(步骤S606)。
然后,判定FLG1是否是1(步骤S607)。假定该FLG1在开始了图13所示的整体处理之后,预先被初始设定为0。然后,如在后面参照图24进行说明的那样,在抖动界限曝光时间TLimit的测定结束的时刻,被设定为1。
当在该步骤S607中判定为FLG1不是1(是0)的情况下,分支到J601,重复进行上述的抖动量的运算和累积相加值的运算。
另一方面,当在步骤S607中判定为FLG1是1的情况下,结束该处理。
然后,图24是示出TLimit的测定的子程序的流程图。该图24所示的子程序是取代图13的步骤S102的TLimit的运算处理来执行的。
当开始该处理时,首先,使内置于CPU 7中的未作图示的定时计数器复位(步骤S701)。
然后,从各对应的存储器〔ΔX〕、〔ΔY〕中读取由图23所示的处理所运算的ΔX、ΔY,把所读取的ΔX、ΔY的值分别新存储在存储器〔ΔX(ini)〕、〔ΔY(ini)〕内(步骤S702)。这些ΔX(ini)、ΔY(ini)是ΔX、ΔY的初始值。
接下来,求出上述ΔX(ini)和从存储器中新读出的ΔX的差的绝对值,将其存储在存储器〔ΔΔX〕内。同样,求出上述ΔY(ini)和从存储器中新读出的ΔY的差的绝对值,将其存储在存储器〔ΔΔY〕内(步骤S703)。
然后,判定是否是ΔΔX<γ且ΔΔY<γ(步骤S704)。这里,γ是在上述参照数学式9~数学式11等所说明的假定X方向和Y方向相等时的容许抖动量γ。
这里,在是ΔΔX<γ且ΔΔY<γ的情况下,分支到J701,重复进行上述的步骤S703的处理。通过进行这种处理,可求出在上述步骤S701中使定时计数器刚复位后的X方向的抖动量ΔΔX和Y方向的抖动量ΔΔY。
并且,在步骤S704中,在ΔΔX和ΔΔY的至少一方不小于γ(至少一方大于等于容许抖动量γ)的情况下,把定时计数器的信息存储在存储器〔TLimit〕内(步骤S705)。因此,该TLimit成为在抖动量到达容许界限抖动量γ之前的时间,即抖动界限曝光时间。
之后,把1存储在存储器〔FLG1〕内(步骤S706),从该处理返回到图13所示的处理。
并且,作为另一变形例,摄影者在实际进行被摄体的摄影之前进行用于运算可容许上述手抖的曝光时间TLimit的测试摄影,根据此时的曝光时的抖动量运算抖动界限曝光时间TLimit并进行登记(存储在EEPROM 24等内),在实际摄影中,可以从EEPROM 24等中读出该抖动界限曝光时间TLimit来利用。并且,可以按上述那样求出多个抖动界限曝光时间TLimit并登记其平均值。这样一来,可没有必要在每次摄影时都求出抖动界限曝光时间TLimit,并且可求出更准确的TLimit。此时,还可考虑同一数字照相机等由多个摄影者使用,抖动量根据各摄影者的熟练度而不同。因此,可以针对各摄影者预先测定和登记抖动量,在使用时调用摄影者的设定来使用。
而且,作为另一变形例,记录在实际的抖动校正中的曝光时间(TExp)内的X方向的抖动量和Y方向的抖动量的任何不小的一方(即,在不相等的情况下,为大的一方)的抖动量LBLUR,可以根据下式:
Tlimit=TExp·γ/LBLUR
求出TLimit。其中,γ是上述的容许抖动量。
上述摄像元件1从图6的结构可以知道,针对各光电二极管32具有垂直传送电极和水平传送电极,因而认为,光电二极管32的所占面积变窄,感光度下降。为了改善这一点,作为摄像元件,可以使用公知的光导电膜层叠型的固体摄像元件。该光导电膜层叠型的固体摄像元件是具有可在不同的平面上分别执行光电转换功能和扫描-读出功能的三维结构的固体摄像元件,它在采用普通的IC技术仅层叠了扫描部的硅(Si)基板上层叠均匀的光导电膜,并在此进行光电转换。只要采用这种结构,就能提高光电二极管的感光度。
根据该实施方式1,当数字照相机会发生抖动时,根据该抖动量对曝光时间进行时分,针对进行时分所得到的多个图像信号来校正抖动,将该所校正的各图像信号在摄像元件内部高速进行模拟相加,因而不需要用于校正抖动的复杂的机械机构和摄像元件外部的电气电路等,并可得到能应对范围宽的快门速度的实质上可忽略抖动的高画质的图像。并且,由于从进行了抖动校正的合成图像中抽出被认为通过时分摄影所拍摄的所有图像共有的有效区域的图像,因而可容易得到进行了抖动校正的高画质的图像。
此时,把连续进行了摄影的时分图像存储在垂直传送寄存器和水平传送寄存器内,之后,使用这些垂直传送寄存器和水平传送寄存器进行传送来进行抖动校正,因而可极高速地进行连续摄影的时分图像的位置调整。
并且,由于在垂直传送寄存器和水平传送寄存器内分别设置了针对1个像素被施加4相驱动脉冲的4个传送电极,因而不会使存储在垂直传送寄存器内的电荷与存储在水平传送寄存器内的电荷混合地进行传送。
而且,作为用于使垂直方向或水平方向的像素电荷移动来进行抖动校正的抖动校正量,使用从刚开始最初时分曝光后到本次时分曝光的抖动量减去从最初时分曝光时到上次时分曝光时的抖动校正量(传送量)的累积相加值后的值,因而可防止运算误差累积,可进行准确的抖动校正。
并且,当被摄体是低亮度时,设定成使光圈开口的大小更大,并使在抖动量达到容许界限的曝光时间时的摄像元件的电荷蓄积量尽量大,因而可得到能实质上忽略抖动且S/N良好的图像。
此时,在仅调整光圈开口的大小就有发生抖动的可能性的情况下,由于还调整ISO感光度,因而可与更宽范围的被摄体的亮度对应来进行抖动校正。
并且,由于在本实施方式中所说明的技术是能应对在曝光时间中入射到摄像面上的被摄体光的位置变化的抖动的抖动校正技术,因而特别适合于静态图像摄影中的抖动校正。
而且,由于上述技术是在摄像元件中进行抖动校正的技术,因而具有的优点是,只要把该技术应用于镜头更换式的数字照相机的照相机主体侧,即使与不具有抖动校正功能的以往的摄影镜头进行组合时,也能进行抖动校正。
并且,在处于数字照相机不能控制的曝光值的情况下进行警告显示,在任意摄影模式中都进行手抖防止,并且当所运算的曝光时间比具有发生手抖的可能性的曝光时间(的阈值)长时,预先进行警告显示,设定成手抖防止优先的摄影模式进行摄影,因而不会使摄影者误解,能可靠进行手抖防止。
并且,与摄影模式是快门优先摄影模式、光圈优先摄影模式等的任意一种无关,可在进行使基于各摄影模式的曝光控制最大限度优先的合适的曝光量控制的同时,在摄像元件内部进行电子抖动校正,可得到能实质上忽略抖动的图像。
[实施方式2]
图25至图31示出本发明的实施方式2。在该实施方式2中,对与上述实施方式1相同的部分附上同一符号而省略说明,主要仅对不同点进行说明。
在实施方式1中,参照图6等所说明的结构的摄像元件1需要对以往的行间帧转移型CCD摄像元件的摄像部施加大幅变更。然而,以往的行间帧转移型CCD摄像元件作为长年技术积累的成果,进行了各种改良而已具有目前的优良性能。并且,以往的行间帧转移型CCD摄像元件在垂直传送电极的结构上下工夫来进行像素相加等,在功能方面也进行了各种改良。因此,对摄像部施加大幅改良有可能在解决新的技术课题上需要时间,并且很有可能妨碍照原样继承以往的长年技术。
因此,本实施方式是为了解决上述课题,针对摄像部照原样采用以往型的行间转移型CCD摄像元件的结构,仅改良了蓄积部,应用了帧行间转移型摄像元件的例子。
本实施方式的数字照相机整体的结构与图1所示的基本相同,数字照相机整体的动作也与图13所示的基本相同。然而,固体摄像元件1的结构不同,在后面参照图25进行说明,与此对应,图13所示的处理内的在步骤S109中的像素值合成的处理内容不同。因此,在本实施方式中,主要对摄像元件1的结构和像素值合成动作进行说明,对于其他部分,适当省略详细说明。
首先,图25是示出固体摄像元件1整体的结构的概略图。
该摄像元件1如图25所示,具有:摄像部41B,校正/加法部40,以及水平传送部42B。
摄像部41B是把由摄影镜头15所成像的光学像转换成电信号的光电转换部。即,摄像部41B将多个(实质上是许多)光电二极管(PD)32(参照图26)呈矩阵状排列,并具有与该光电二极管32的各列邻接并在列方向上配置的垂直传送CCD即垂直传送部35。该垂直传送部35是用于把由各光电二极管32进行了光电转换和蓄积的电荷传送到下述的校正/加法部40(=寄存器部)中的电荷传送部即第1传送部。
校正/加法部40与摄像部41B邻接配设,是对从该摄像部41B所传送的多个时分图像的相对抖动进行校正,将所校正的时分图像之间进行相加,并存储所相加的图像的加法部、抖动校正部、寄存器部。在后面参照图26对该校正/加法部40的结构进行更详细地说明。
水平传送部42B是用于把在校正/加法部40进行了抖动校正的图像读出到摄像元件1的外部的读出部、传送部(第2传送部)。
从该水平传送部42B所读出的信号由放大器43进行模拟放大。
从该图25所示的结构可以明白,本实施方式的摄像元件1应用了帧行间转移方式(FIT方式),摄像部41B如后面图26所示,采用行间转移方式来构成。
接下来,图26是将固体摄像元件1的摄像部41B和校正/加法部40的结构进行放大示出的图。
另外,IφV0~IφV3、SφH0~SφH3、S1φV0~S1φV3、S2φV0~S2φV3如后所述表示电荷传送用的驱动脉冲,然而假定例如“传送电极IφV0”的记载也意味着“施加驱动脉冲IφV0的电极”。
摄像部41B具有:呈矩阵状排列的多个光电二极管(PD)32,以及用于把由这些光电二极管32进行了光电转换和蓄积的电荷传送到校正/加法部40中的垂直传送部35。这里,垂直传送部35构成为包含用于施加传送脉冲的垂直传送电极IφV0~IφV3。
并且,摄像部41B的1个像素31构成为包含1个光电二极管32和2个垂直传送电极。此时,1个像素31有2种类型,第1种包含光电二极管32和垂直传送电极IφV0、IφV1,第2种包含光电二极管32和垂直传送电极IφV2、IφV3。并且,假定该1个像素31在水平方向(X方向)的尺寸是Lx,在垂直方向(Y方向)的尺寸是Ly。
并且,校正/加法部40构成为包含:X方向传送部33B,Y方向传送部34B,以及分割图像传送部36。
分割图像传送部36是把在光电二极管32所蓄积的电荷传送到校正/加法部40中的传送部,构成为包含在垂直方向上排列成与摄像部41B的垂直传送部35连续的垂直传送电极S1φV0~S1φV3。这些垂直传送电极S1φV0~S1φV3是用于施加把从摄像部41B所传送的电荷传送到校正/加法部40中的脉冲的电极。
X方向传送部33B是把由分割图像传送部36所传送来的电荷朝水平方向传送的传送部(第1传送寄存器),构成为包含在水平方向上排列成与上述分割图像传送部36交叉的水平传送电极SφH0~SφH3。这些水平传送电极SφH0~SφH3是用于施加把传送到上述的垂直传送电极S1φV0~S1φV3内的电极S1φV0和电极S1φV2下的电荷按照与数字照相机的X方向的抖动对应的量朝水平方向传送的传送脉冲的电极。
Y方向传送部34B是将基于时分曝光的多个电荷进行相加并将该相加电荷朝垂直方向传送的传送部(第2传送寄存器),构成为包含在垂直方向上排列成与上述分割图像传送部36的垂直方向的各排列邻接并与X方向传送部33B交叉的垂直传送电极S2φV0~S2φV3。这些垂直传送电极S2φV0~S2φV3是用于存储将进行了抖动校正的多个时分图像相加所得到的图像,并施加把该相加图像按照与数字照相机的Y方向的抖动对应的量朝垂直方向传送的传送脉冲的电极。
另外,上述各电极内的电极SφH2与电极S1φV0或电极S1φV2是公共的。而且,电极SφH0与电极S2φV0是公共的。
并且,上述各电极由多结晶硅构成,邻接的电极之间通过层间绝缘层来配置。并且,邻接的电极之间配设成,当从垂直于摄像面的方向观察时,端面之间一部分重合。在该图26中,电极的由虚线所示的端面意味着该电极的端面部分配置在另一电极的下部。
并且,施加同一驱动脉冲的电极之间经由接触部,并通过规定的布线层相互连接。然而,在该图26中,为了使电极配置明了,对电极之间的布线省略图示。
该校正/加法部40与摄像部41B的1个像素31分别对应,具有多个在图26中由点划线包围的范围表示的1个单位的寄存器37(另外,本实施方式的摄像元件1如后所述,可进行适合于动态图像摄影的场读出,并且还可进行适合于静态图像摄影的全像素读出。在进行其中的场读出的情况下,使用设置在校正/加法部40内的所有寄存器37内的一半(水平方向的数量是相同的,而垂直方向的数量是一半)数量的寄存器37。另一方面,在进行所有像素读出的情况下,使用设置在校正/加法部40内的所有寄存器37。)。
该寄存器37也存在2种类型的电极结构。
首先,第1寄存器37是包含电极SφH0、SφH3、SφH2、SφH1、电极S1φV0、S1φV1、以及电极S2φV0~S2φV3的电极组。其中,如上所述,由于公共的电极位于2个部位,因而该第1寄存器37内所包含的电极数是8。
并且,第2寄存器37是包含电极SφH0、SφH3、SφH2、SφH1、电极S1φV2、S1φV3、以及电极S2φV0~S2φV3的电极组。由于其中公共的电极位于2个部位,因而该第2寄存器37内所包含的电极数也是8。
因此,构成X方向传送部33B的水平传送电极SφH0~SφH3、和构成Y方向传送部34B的垂直传送电极S2φV0~S2φV3在第1寄存器37和第2寄存器37的任意一方中,逐一配置有所有种类的电极。这是因为,当根据抖动传送电荷时,使存储在水平传送电极SφH0~SφH3下的电荷和存储在垂直传送电极S2φV0~S2φV3下的电荷不相互干扰。
另一方面,由于构成分割图像传送部36的垂直传送电极S1φV0~S1φV3没有必要具有存储在即将进行相加前的电荷的功能(该功能由X方向传送部33B和Y方向传送部34B执行),因而在1个寄存器37内仅配置2种电极。因此,当使1个第1寄存器37和1个第2寄存器37成组时,最初构成分割图像传送部36的所有种类的垂直传送电极S1φV0~S1φV3逐一备齐。这样,在可能的范围内,使电极结构尽量简单。
并且,X方向传送部33B的电极SφH1和电极SφH3的面积比电极SφH0和电极SφH2的面积窄,Y方向传送部34B的电极S2φV1和电极S2φV3的面积比电极S2φV0和电极S2φV2的面积窄。这样,X方向传送部33B和Y方向传送部34B成为使相对宽的面积的电极与相对窄的面积的电极交替配置来构成的4相CCD。
此时,X方向传送部33B的电极SφH1和电极SφH3仅在电荷传送中使用,电荷蓄积仅在电极SφH0和电极SφH2下进行。同样,Y方向传送部34B的电极S2φV1和电极S2φV3仅在电荷传送中使用,电荷蓄积仅在电极S2φV0和电极S2φV2下进行。
通过采用这种非均等的电极结构,可使X方向传送部33B和Y方向传送部34B中的电荷蓄积容量增大,并可使校正/加法部40的面积变窄来实现摄像元件的小型化。并且,减小基板面积有助于提高制造时的摄像元件的成品率,还有助于降低制造成本。
另外,为了防止X方向传送部33B的端部和Y方向传送部34B的端部的传送电极下的电位阱的电荷溢出,设置了在实施方式1中所述的把电荷排出到漏极的机构(参照图32)。然而,由于面向水平传送部42B的一侧不能设置同样的排出机构,因而在抖动校正用的传送动作中传送到面对水平传送部42B的一侧的端部的电荷通过水平传送部42B从该水平传送部42B的输出部排出。
在这种结构中,从校正/加法部40把像素电荷读出到水平传送部42B可通过2种路径进行。即,Y方向传送部34B和分割图像传送部36全都与水平传送部42B连接,可把像素电荷传送到该水平传送部42B。因此,第1路径是通过Y方向传送部34B从水平传送部42B读出到摄像元件1的外部的路径,第2路径是通过分割图像传送部36从水平传送部42B读出到摄像元件1的外部的路径。
第1路径是在传送后述的进行了时分摄影、进行了抖动校正、进行了相加并蓄积在Y方向传送部34B的垂直传送电极S2φV2下的电荷时使用。
并且,第2路径是在进行普通摄影、并与普通的帧行间转移方式一样将该电荷通过分割图像传送部36进行传送时使用。如后所述,当进行所运算的曝光时间比抖动界限曝光时间TLimit短的普通摄影(仅1次曝光)时,或者当为了动态图像摄影而进行场读出时等,使用该第2路径。
并且,如已描述的那样,把配置有垂直传送电极(S1φV0~S1φV3)、用于把在光电二极管PD内蓄积的电荷传送到校正/加法部40中的传送部称为分割图像传送部36。并且,把配置有水平传送电极(SφH0~SφH3)、用于将蓄积在分割图像传送部36内的电荷在水平方向上传送的传送部称为X方向传送部33B。而且,把配置有垂直传送电极(S2φV0~S2φV3)、将基于时分曝光的多张图像进行相加,并将该相加的电荷在垂直方向上传送的传送部称为Y方向传送部34B。
并且,把包含用于存储电荷并朝垂直方向传送的垂直传送电极的垂直传送CCD称为垂直传送寄存器。并且,把包含用于存储电荷并朝水平方向传送的水平传送电极的水平传送CCD称为水平传送寄存器。
然后,图27是示出摄像时的固体摄像元件1的基本动作的时序图。
在该图27中,VSUB是用于把蓄积在光电二极管32内的电荷强制排出到半导体基板(substrate)的基板施加高电压脉冲。并且,φV、φH是将图26所示的所有传送电极作了总称的记载。
当开始摄影动作时,在从成为规定定时的时刻t01到曝光(电荷蓄积)开始时刻t02之间,对VSUB施加高电压脉冲,与此同时,对电极φV、φH施加高频传送脉冲。这样,蓄积在光电二极管32内的电荷、和残留在各传送CCD内的电荷被全部排出。
之后,当接收到曝光动作开始信号时,在时刻t02的定时中停止对VSUB施加高电压脉冲,从而将与所接收的光的强度对应的电荷蓄积在光电二极管32内。在从时刻t02到时刻t03的曝光时间TExp中持续进行向该光电二极管32内的电荷的蓄积。然后,把该曝光时间TExp时分为不发生抖动的时间间隔,将各时分图像按照重复抖动量进行传送和相加,从而得到进行了抖动校正的曝光时间TExp的1张图像数据。关于该曝光时间TExp中的摄像元件1的动作,在后面参照图28和图29进行更详细地说明。
当在时刻t03曝光结束时,按照校正/加法部40的Y方向传送部34B的垂直传送电极S2φV2下的电位(以下省略“电位”)所蓄积的进行了抖动校正的图像通过水平传送部42B(参照图25),以普通的读出速度从摄像元件1中读出。
然后,图28是示出把由固体摄像元件1的摄像部41B所摄像的图像传送到校正/加法部40中的动作的时序图。
另外,对电极施加的驱动脉冲电压是以下3个值的电压,即:成为读出用的转移脉冲的高电压VH(15[V]),电荷保持用的中电压VM(0[V]),以及用于形成防止保持在不同电极下的电荷之间混合的势垒的低电压VL(-5[V])。然而,在这些3个值内,被施加了高电压的仅是兼作为栅极电极的电极IφV0、IφV2。
现在,假定多次时分曝光内的1次时分曝光结束时,在时刻t_1对电极IφV0和电极IφV2施加高电压VH(15[V])。此时,电极IφV1、IφV3和电极S1φV0~S1φV3全部被设定为低电压VL(-5[V])。这样,蓄积在光电二极管32内的电荷分别被移动到垂直传送部35的电极IφV0、IφV2下。在进行了移动之后,对电极IφV0、IφV2的施加电压成为中电压VM(0[V]),所读出的电荷被保持(蓄积)在该电极φH2下。
在对电极IφV0、IφV2施加的电压从高电压VH(15[V])变化到中电压VM(0[V])的同时,在光电二极管32中开始下次摄影用的电荷蓄积。即,开始下次时分摄影。
在时刻t_2,电极IφV1成为中电压VM,由于电极IφV0~IφV2是中电压VM,因而在时刻t_1从光电二极管32移动到IφV0、IφV2下的电荷扩散到电极IφV0~IφV2下进行混合。因此,这里进行垂直连续的2个像素相关的电荷混合,这是因为,与普通的帧行间转移型CCD的动作相同,进行场读出。因此,在下一场中,使垂直连续的2个像素的组合不同来进行读出。
在时刻t_3,电极IφV0成为低电压VL,由于电极IφV1、IφV2是中电压VM,因而在时刻t_2蓄积在电极IφV0~IφV2下的电荷移动到电极IφV1、IφV2下。
在时刻t4,电极IφV3成为中电压VM,由于电极IφV1~IφV3是中电压VM,因而在时刻t_3蓄积在电极IφV1、IφV2下的电荷移动到电极IφV1~IφV3的电极下。而且此时,校正/加法部40的电极S1φV0成为中电压VM,与摄像部41B的最终级的像素对应的电极IφV1~IφV3下的电荷也扩散到校正/加法部40的最初电极S1φV0下。
在时刻t_5,电极IφV1成为低电压VL,由于电极IφV2、IφV3是中电压VM,因而在时刻t_4蓄积在电极IφV1~IφV3下的电荷移动到电极IφV2、IφV3下。并且,摄像部41B的最终级的像素电荷移动到电极IφV2、IφV3和校正/加法部40的最初电极S1φV0下。
在时刻t_6,电极IφV0成为中电压VM,由于电极IφV0、IφV2、IφV3是中电压VM,因而在时刻t_5蓄积在电极IφV2、IφV3下的电荷移动到电极IφV0、IφV2、IφV3下。并且,摄像部41B的最终级的像素电荷被蓄积在电极IφV2、IφV3和校正/加法部40的最初电极S1φV0下。
在时刻t_7,电极IφV2成为低电压VL,由于电极IφV0、IφV3是中电压VM,因而在时刻t_6蓄积在电极IφV0、IφV2、IφV3的电极下的电荷移动到电极IφV0、IφV3下。并且,摄像部41B的最终级的像素电荷移动到电极IφV3和校正/加法部40的最初电极S1φV0下。
在时刻t_8,电极IφV1成为中电压VM,由于电极IφV0、IφV1、IφV3是中电压VM,因而在时刻t_7蓄积在电极IφV0、IφV3下的电荷移动到电极IφV0、IφV1、IφV3下。并且,摄像部41B的最终级的像素电荷被蓄积在电极IφV3和校正/加法部40的最初电极S1φV0下。
在时刻t_9,电极IφV3成为低电压VL,由于电极IφV0、IφV1是中电压VM,因而在时刻t_8蓄积在电极IφV0、IφV1、IφV3下的电荷移动到电极IφV0、IφV1下。而且此时,校正/加法部40的电极S1φV1成为中电压VM,由于校正/加法部40的电极S1φV0、S1φV1是中电压VM,因而在时刻t_8蓄积在电极IφV3、S1φV0下的电荷移动到电极S1φV0、S1φV1下。
在时刻t_10,电极IφV2成为中电压VM,由于电极IφV0~IφV2是中电压VM,因而在时刻t_9蓄积在电极IφV0、1φV1下的电荷移动到电极IφV0~IφV2下。而且此时,校正/加法部40的电极S1φV0成为低电压VL,电极S1φV2成为中电压VM,由于电极S1φV1、S1φV2是中电压VM,因而在时刻t_9蓄积在电极S1φV0、S1φV1下的电荷移动到电极S1φV1、S1φV2下。
通过重复以上动作,在校正/加法部40的电极S1φV0~S1φV3下(图26所示的分割图像传送部36)蓄积有在场蓄积模式下所传送的电荷。
另外,在从摄像部41B向校正/加法部40的图像传送结束的时刻,在校正/加法部40中,电极S1φV0、S1φV2是中电压VM,其他电极S1φV1、S1φV3成为低电压VL。因此,电荷被蓄积在电极S1φV0和电极S1φV2下。
并且,在该图28中,对从摄像元件1进行场读出的例子作了说明,然而本实施方式的摄像元件1通过变更对各电极施加的脉冲,也能进行所有像素读出。这里,所有像素读出是这样的读出,即:将像素电荷从设置在摄像部41B内的所有光电二极管32一齐传送到垂直传送部35,之后,在上述时刻t_2不进行所说明的2个像素相关的电荷混合(场读出相关的电荷混合),而是把各像素电荷传送到校正/加法部40的分割图像传送部36中。在进行了该所有像素读出的情况下,在从摄像部41B向校正/加法部40的图像传送结束的时刻,在校正/加法部40中,电极S1φV0和S1φV2是中电压VM,其他电极S1φV1、S1φV3成为低电压VL。因此,电荷被蓄积在电极S1φV0、S1φV2下。
然后,图29是示出在校正/加法部40中进行的抖动校正动作和相加动作的时序图。
该摄像元件1的校正/加法部40中的抖动校正动作和相加动作的概要如下。即,校正/加法部40将存储在Y方向传送部34B内的到上次为止的相加图像首先在Y方向传送部34B内朝垂直方向传送,以便校正垂直方向的抖动量,之后,将从摄像部41B传送到校正/加法部40且存储在X方向传送部33B内的最新图像在X方向传送部33B内朝水平方向传送,以便校正相对于上次摄像的水平方向的抖动量,之后,将最新图像和相加图像在Y方向传送部34B的电极S2φV0~S2φV2等下进行相加,并进行存储。
另外,该图29示出使相加图像朝纸面上方向移动1个像素的例子。
在时刻t-1,电极SφH2和电极S2φV2成为中电压VM,在校正/加法部40的X方向传送部33B中的电极SφH2(电极S1φV0和电极S1φV2)下存储有最新图像,在Y方向传送部34B中的电极S2φV2下存储有相加图像。其中的最新图像相关的电荷在到达后面的时刻t-9之前,照原样被保持(存储)在电极SφH2下。
在时刻t-2,电极S2φV1成为中电压VM,由于电极S2φV1、S2φV2是中电压VM,因而在时刻t-1存储在电极S2φV2下的图像(相加图像)移动到电极S2φV1、S2φV2下。
在时刻t-3,电极S2φV0成为中电压VM,由于电极S2φV0~S2φV2是中电压VM,因而在时刻t-2存储在电极S2φV1和电极S2φV2下的图像(相加图像)移动到电极S2φV0~S2φV2下。
在时刻t-4,电极S2φV2成为低电压VL,由于电极S2φV0、S2φV1是中电压VM,因而在时刻t-3存储在电极S2φV0~S2φV2下的图像(相加图像)移动到电极S2φV0、S2φV1下。
在时刻t-5,电极S2φV3成为中电压VM,由于电极S2φV0、S2φV1、S2φV3是中电压VM,因而在时刻t-4存储在电极S2φV0和电极S2φV1下的图像(相加图像)移动到电极S2φV0、S2φV1、S2φV3下。
在时刻t-6,电极S2φV1成为低电压VL,由于电极S2φV0、S2φV3是中电压VM,因而在时刻t-5存储在电极S2φV0、S2φV1、S2φV3下的图像(相加图像)移动到电极S2φV0、S2φV3下。
在时刻t-7,电极S2φV2成为中电压VM,由于电极S2φV0、S2φV2、S2φV3是中电压VM,因而在时刻t-6存储在电极S2φV0、S2φV3下的图像(相加图像)移动到电极S2φV0、S2φV2、S2φV3下。
在时刻t-8,电极S2φV0成为低电压VL,由于电极S2φV2、S2φV3是中电压VM,因而在时刻t-7存储在电极S2φV0、S2φV2、S2φV3下的图像(相加图像)移动到电极S2φV2、S2φV3下。
在时刻t-9,电极S2φV3成为低电压VL,由于电极S2φV2是中电压VM,因而在时刻t-8存储在电极S2φV2、S2φV3下的图像(相加图像)移动到电极S2φV2下。
通过进行这种动作,使得存储在Y方向传送部34B内的相加图像朝图26的纸面上方向移动了1像素。另外,在进行多个像素的移动的情况下,只要按像素数重复进行同样动作即可。并且,在该电极S2φV2下的相加图像相关的电荷在到达后面的时刻t-12之前,照原样被保持(存储)。
这样使相加图像通过Y方向传送部34B传送了规定像素之后,与电极S2φV3成为低电压VL同步,使X方向传送部33B的电极SφH3成为中电压VM。
这样,在时刻t-10,由于电极SφH2、SφH3是中电压VM,因而从摄像部41B传送到校正/加法部40且在时刻t-9之前存储在电极SφH2下的最新图像移动到电极SφH2、SφH3下。
在时刻t-11,电极SφH0成为中电压VM,由于电极SφH0、SφH2、SφH3是中电压VM,因而在时刻t-10存储在电极SφH2、SφH3下的图像移动到电极SφH0、SφH2、SφH3下。
在时刻t-12,电极SφH2成为低电压VL,由于电极SφH0、SφH3是中电压VM,因而在时刻t-11存储在电极SφH0、SφH2、SφH3下的图像移动到电极SφH0、SφH3下。
在时刻t-13,电极S2φV1成为中电压VM,由于电极SφH0(S2φV0)、SφH3、S2φV1、S2φV2是中电压VM,因而在时刻t-12存储在电极SφH0、SφH3下的最新图像相关的电荷和存储在电极S2φV2下的图像(相加图像)相关的电荷扩散到电极SφH0(S2φV0)、SφH3、S2φV1、S2φV2下。因此,在该时刻,进行最新图像相关的电荷和相加图像相关的电荷的混合。
在时刻t-14,电极SφH3成为低电压VL,由于电极SφH0(S2φV0)、S2φV1、S2φV2是中电压VM,因而在时刻t-13存储在电极SφH0(S2φV0)、SφH3、S2φV1、S2φV2下的图像移动到电极SφH0(S2φV0)、S2φV1、S2φV2下。
在时刻t-15,电极SφH0(S2φV0)成为低电压VL,由于电极S2φV1、S2φV2是中电压VM,因而在时刻t-14存储在电极SφH0(S2φV0)、S2φV1、S2φV2下的图像移动到电极S2φV1、S2φV2下。
在时刻t-16,电极S2φV1成为低电压VL,由于电极S2φV2是中电压VM,因而在时刻t-15存储在电极S2φV1、S2φV2下的图像移动到电极S2φV2下。
通过进行这种动作,最新图像和在上次以前的进行了抖动校正和相加的时分图像(相加图像)在进行了相加的状态下被存储在Y方向传送部34B的电极S2φV2下。
另外,将新相加的图像在时刻t-16存储在电极S2φV2下,这是因为,如上所述,在将下次的时分图像在X方向传送部33B(图26)内传送时,使已相加的图像和最新图像不相互干扰。
并且,在上述中,仅对将最新图像从X方向传送部33B的电极SφH2传送到同一寄存器37内的电极SφH0的动作作了说明,然而通过重复进行同样的动作,可朝纸面左方向移动1个像素。
然后,在上述中,示出了Y方向的抖动量是1个像素的例子,然而在更一般的抖动量的情况下,只要如上所述朝X方向和Y方向传送与该抖动量对应的量即可。此时,即使X方向的抖动是该X方向中的正方向或负方向的任意一方,通过控制对电极施加的脉冲的相位,也能自由进行抖动校正。这对Y方向的抖动也完全相同。
通过进行这种动作,使得存储在Y方向传送部34B内的相加图像朝图26的纸面上方向移动了1个像素。另外,在进行多个像素的移动的情况下,只要按像素数重复进行同样动作即可。并且,该电极S2φV2下的相加图像相关的电荷在到达后面的时刻t-12之前,照原样被保持(存储)。
这样,通过将摄像元件1的校正/加法部40中的X方向传送部33B和Y方向传送部34B的电极按照每1像素设置4个(其中,交叉位置的电极(SφH0、S2φV0)是公共的),在为了校正抖动而进行与抖动量对应的任意量的传送时,使X方向传送部33B内的新图像相关的电荷和Y方向传送部34B的相加图像相关的电荷不相互干扰。
另外,在进行参照图28的时序图所说明的场读出,即在垂直传送部35中使奇数行的信号电荷和偶数行的信号电荷混合的读出的情况下,存储在图26所示的Y方向传送部34B的1个电极S2φV2下的图像数据与摄像部41B的像素内的水平方向1×垂直方向2个像素(即,在垂直方向上连续的2个像素)对应。
相比之下,在进行上述的所有像素读出的情况下,存储在图26所示的Y方向传送部34B的1个电极S2φV2下的图像数据与摄像部41B的像素内的水平方向1×垂直方向1个像素(即,1个像素)对应。
因此,在根据Y方向的抖动量ΔY求出Y方向的像素的传送量Py的情况下,对于场读出,为Py=「ΔY/(2·Ly)」,对于所有像素读出,为Py=「ΔY/Ly」。
图30是示出由CPU 7算出移动量ΔX、ΔY等的处理流程的流程图,示出根据这种读出方式求出Y方向的像素传送量Py的情况。在该图30中,对于与图21相同的部分,适当省略说明。
首先,图30中的步骤S801~S805的处理与图21中的步骤S401~S405的处理相同。
然后,在进行了步骤S805的处理之后,判定从摄像元件1的读出是否被设定为场读出(步骤S806)。
这里,在被设定为场读出的情况下,运算Px=「ΔX/Lx」和Py=「ΔY/(2·Ly)」(步骤S807)。
另一方面,当在步骤S806中判定为不是场读出的情况下,即,判定为是所有像素读出的情况下,运算Px=「ΔX/Lx」和Py=「ΔY/Ly」(步骤S808)。
之后的步骤S809、S810的处理与图21的步骤S407、S408的处理相同。
接下来,图31是示出像素值合成的子程序的流程图。该图31所示的像素值合成的子程序与上述实施方式1一样,在图13所示的处理的步骤S109中执行。
即,当在图13的步骤S109中开始该处理时,首先,在摄像部41B中使光电二极管32的电荷移动到垂直传送部35,并传送到校正/加法部40的分割图像传送部36中(步骤S901)。另外,光电二极管32在使像素电荷刚移动到垂直传送部35后,开始下次时分曝光。
然后,运算将上次摄影的图像朝垂直方向(Y方向)传送的传送量(如上所述,该传送量为换算成校正/加法部40中的像素数的传送量)Sy(=(Py-Sy0)(步骤S902)。这里,Py是在最初曝光刚开始后的Y方向的抖动量,Sy0是从刚开始最初时分曝光后到上次时分曝光所进行的Y方向的抖动校正量(累积抖动校正量)。因此,在该步骤S902中,把从最初时分曝光刚开始后到本次时分曝光的Y方向的抖动量、和到上次时分曝光为止实际所校正的抖动量之间的差作为本次时分曝光相关的校正量。通过使用这种方法,与以前后连续的2次曝光动作内的前一图像的抖动量为基准求出后一图像的抖动量进行校正相比,可防止运算误差累积。如上所述,在步骤S807或步骤S808的运算中,由于进行向像素数单位的四舍五入,因而采用该步骤S902所示的处理是有效的。
接下来,同样,运算将本次摄影的最新图像朝水平方向(X方向)传送的传送量(如上所述,换算成校正/加法部40中的像素数的传送量)-Sx(=-Px)(步骤S903)。这里,Px如上所述,是从刚开始最初的时分曝光后到本次时分曝光的X方向的抖动量。并且,对表示传送像素数的式子附上了负的符号,这是因为,通过使像素电荷朝与抖动相反的方向移动,使新读出的像素电荷接近在此之前所相加的像素电荷侧。
另外,在这里所说明的处理中,由于相加图像在存储于Y方向传送部34B内之后,原则上,不从同一Y方向传送部34B移动(不在X方向传送部33B上移动,也不移动到另一Y方向传送部34B),因而在上述步骤S903中,没有必要算出与在步骤S902中所说明的相当于Sy0的到上次为止的累积抖动校正量(例如,Sx0)。
然后,将到上次为止所摄影和相加的图像(进行了相对抖动校正和相加的图像)通过Y方向传送部34B朝垂直方向(Y方向)传送Sy的像素数(步骤S904)。
接下来,将本次摄影的最新图像通过X方向传送部33B朝水平方向(X方向)传送-Sx的像素数(步骤S905)。
并且,如参照图29所说明的那样,将存储在X方向传送部33B内的图像和存储在Y方向传送部34B内的图像相加(步骤S906)。
之后,将该相加的图像传送到与X方向传送部33B和Y方向传送部34B交叉的位置的电极S2φV0(SφH0)最接近的纸面下方的(即,同一寄存器37内的)电极S2φV2下(步骤S907)。这是因为,如上所述,由于X方向传送电极SφH0和Y方向传送电极S2φV0兼用,因而当由下次时分摄影所拍摄的图像被传送到X方向传送部33B时,不与相加图像发生干扰。
然后,将上述传送量Sy与到上次为止的传送量Sy0进行相加,并存储在存储器〔Sy0〕内,从而将该相加的值新设定为Sy0(步骤S908)。这样,在存储器〔Sy0〕内存储有到最后(上次)的时分曝光为止的Y方向的传送量的累积相加值。
在进行了该步骤S908的处理之后,从该图31所示的像素值合成的子程序返回到图13所示的处理。
另外,当使摄像元件1多像素化,以便能对精细的静态图像进行摄像时,在像素数比静态图像少就可以的动态图像摄影中,为了实现高速化和画质的提高,大多进行将多个像素数据进行相加和读出的处理。当例如在摄像部41B中进行这种像素相加的情况下(作为具体例,在场读出中将奇数行的电荷和偶数行的电荷进行相加和读出的情况下),与不进行相加的情况相比,抖动量的校正是不同的。在将3个或3个以上的像素数据进行相加的情况下,同样,抖动量的校正根据相加数而不同。而且,当进行像素相加时,为了在校正/加法部40中存储图像数据而需要的寄存器的数量也不同。当根据这样的各种情况,使时分摄影和校正/加法部40中的像素值相加的控制不同时,控制变得复杂。
因此,为了使控制简洁,例如考虑只有在静态图像摄影中频繁使用的所有像素读出的情况下,才进行时分摄影和校正/加法部40中的像素值相加,此时,在其他读出(例如,场读出等)中不进行时分摄影(然而,当然不限于此。)。并且,在进行多次时分摄影的情况下,将X方向传送部33B的图像和Y方向传送部34B的图像进行相加并蓄积在Y方向传送部34B内,把最终蓄积在Y方向传送部34B内的相加图像传送到水平传送部42B中。相比之下,在即使是所有像素读出也不进行时分摄影的情况下,或者在进行其他读出的情况下,将从垂直传送部35传送到分割图像传送部36的图像照原样直接传送到水平传送部42B中。这样,得到可应对静态图像抖动校正、而且具有与以往型的摄像元件相同的像素相加等的功能的、控制比较简单的摄像元件。另外,此时,由于X方向传送部33B只要具有将时分图像传送2次或2次以上的功能就足够了(即,由于不需要在X方向传送部33B内蓄积相加后的像素的功能),因而可使X方向传送部33B中的电极面积相当狭窄。这里,如果着眼于使摄像元件1整体的面积狭窄,则只要将构成该X方向传送部33B的各电极的形状和大小决定成使X方向传送部33B的纵宽度缩短即可。这样,可减小校正/加法部40整体的面积。
根据该实施方式2,取得与上述实施方式1大致相同的效果,并且采用帧行间转移方式的摄像元件,在摄像元件上单独设置摄像部、以及蓄积图像并进行抖动校正的校正/加法部,因而作为摄像部,可照原样应用以往型的摄像元件的结构。因此,可将帧行间转移方式CCD图像传感器的优点、和常年积累起来的固体摄像元件的制造专长照原样继承来使用。并且,还能提高固体摄像元件的通用性。
另外,在上述技术中,将1张图像相关的所有曝光时间以抖动界限曝光时间TLimit为单位时分成具有基本上等时间间隔来进行各时分曝光,然而不限于此,只要是能容许抖动的部分曝光时间,就可以按照非均匀时间间隔进行时分。例如,在由角速度传感器检测出较大的角速度的情况下,也可以使部分曝光时间更短。这样,当适当变更了部分曝光时间时,可精度更良好地抑制时分图像中的抖动发生。
并且,上述数字照相机的技术特别适合于在对静态图像进行摄影时的抖动校正,然而当然也能应用于对动态图像的1帧进行摄影时的抖动校正。因此,该数字照相机的技术不仅能应用于数字静止照相机和模拟静止照相机,而且还能应用于数字摄像机和模拟摄像机,并且不限于此,可广泛地应用于使用固体摄像元件对图像进行摄影的装置。
而且,在上述中,列举二维摄像元件为例,对进行抖动校正的技术作了说明,然而例如在使用一维摄像元件(行传感器等)的扫描仪(特别是,便携式扫描仪等)、复印机、传真机等中,也能应用与上述相同的技术进行抖动校正。然而,此时,沿着传感器的排列方向的传送CCD只要有1个就足够了。
然后,由于上述技术是将在大致同一时刻所摄像的多张图像进行相加的技术,因而也可考虑将该技术应用于抖动校正以外的其他用途。例如,在可蓄积在垂直传送CCD或水平传送CCD内的电荷量比可蓄积在光电二极管内的电荷量多的情况下,也能用作生成动态范围更宽的图像的技术。
另外,本发明不限于上述实施方式,当然可在不背离发明主旨的范围内进行各种变形和应用。
[附记]
(附记1)
一种电子抖动校正装置,用于对成像在具有呈矩阵状排列的多个像素的固体摄像元件的摄像面上的图像的抖动进行校正,以生成进行了抖动校正的图像,其特征在于,该电子抖动校正装置具有:
摄像光学系统,其用于使图像成像在上述固体摄像元件的摄像面上;
抖动检测部,其检测上述图像的抖动;
曝光量控制部,其控制上述固体摄像元件的曝光量;
摄像部,其根据上述曝光量控制部的控制,通过上述固体摄像元件按照规定的曝光量拍摄多张图像;
加法部,使由上述摄像部所摄影的多张图像根据由上述抖动检测部所检测的抖动在该固体摄像元件的内部相对移动后进行模拟相加,生成进行了抖动校正的图像;以及
读出部,从上述固体摄像元件中读出由上述加法部所相加的像素电荷。
<效果>
由于对按时分方式所摄像的图像的抖动进行校正并在摄像元件的内部进行模拟相加来输出,因而成为不需要用于校正抖动的复杂机械机构、并且能应对范围宽的快门速度的精度高的电子抖动校正装置。并且,由于能以极短时间进行抖动校正,因而成为特别适合于静态图像摄影中的抖动校正的电子抖动校正装置。
(附记2)
根据附记1所述的电子抖动校正装置,其特征在于,上述加法部控制成重复进行以下动作,即:对时间上相继前后所摄影的2张图像的相对抖动进行校正,之后将上述2张图像进行模拟相加,再把该所相加的图像和其后所摄影的图像之间的相对抖动进行校正,之后将该2张图像进行模拟相加。
<效果>
可高速进行抖动校正和时分图像的相加处理。
(附记3)
根据附记2所述的电子抖动校正装置,其特征在于,上述加法部控制成,根据上述所摄影的多张图像内的从最初图像摄影中的曝光开始到最新图像摄影中的曝光结束的图像抖动量、与该多张图像内的从最初图像到最新的前一张图像的抖动校正量的累积相加值之间的差,对最新图像和已相加的图像的抖动进行校正,将进行了抖动校正的该2张图像进行模拟相加。
<效果>
可进行精度高的抖动量运算。
(附记4)
根据附记1所述的电子抖动校正装置,其特征在于,上述曝光量控制部控制成,使上述固体摄像元件在小于等于可容许抖动的抖动界限曝光时间的预先设定的曝光时间中进行规定次数的曝光。
<效果>
可拍摄实质上能忽略抖动的时分图像。
(附记5)
根据附记4所述的电子抖动校正装置,其特征在于,上述曝光量控制部根据摄像光学系统的焦距信息,生成上述抖动界限曝光时间。
<效果>
由于可根据摄像光学系统的焦距信息设定基于经验定律的抖动界限曝光时间,因而可简单设定而不需要另行测定等。
(附记6)
根据附记4所述的电子抖动校正装置,其特征在于,上述抖动检测部在曝光开始前也进行抖动量运算;
上述曝光量控制部运算在曝光开始前由上述抖动量检测部所运算的抖动量达到可容许的抖动量的上限为止的曝光时间,根据该曝光时间生成上述抖动界限曝光时间。
<效果>
可进行与摄影者的抖动特性对应的抖动校正。
(附记7)
根据附记4所述的电子抖动校正装置,其特征在于,上述曝光量控制部运算在曝光时由上述抖动量运算部所运算的抖动量达到可容许的抖动量的上限为止的曝光时间,根据该曝光时间生成上述抖动界限曝光时间。
<效果>
可进行与摄影者的抖动特性对应的抖动校正。
(附记8)
根据附记1所述的电子抖动校正装置,其特征在于,上述曝光量控制部具有:
测光部,其取得被摄体的亮度;
第1曝光时间生成部,其根据由上述测光部所取得的被摄体的亮度,生成用于得到合适曝光的第1曝光时间;
第2曝光时间生成部,其生成第2曝光时间;以及
曝光时间控制部,其控制成使在上述第2曝光时间中连续进行了预定的摄影次数的摄影时的曝光时间的合计等于上述第1曝光时间。
<效果>
可控制成使曝光量变得合适。
(附记9)
根据附记8所述的电子抖动校正装置,其特征在于,还具有:存储器,其存储上述连续进行摄影的预定的摄影次数;
上述曝光时间控制部控制上述第2曝光时间生成部,使得将上述第1曝光时间除以上述摄影次数所得到的时间生成为第2曝光时间。
<效果>
作为第2曝光时间可设定确实不发生抖动的曝光时间,并可使将多张图像进行了合成的图像的曝光量合适。并且,由于摄影次数是预定的,因而可容易进行固体摄像元件的图像信号的饱和电荷量的控制等。
(附记10)
根据附记9所述的电子抖动校正装置,其特征在于,还具有:显示部,其在由上述第2曝光时间生成部所生成的上述第2曝光时间比可把抖动抑制到可容许水平的曝光时间长时,进行表示有发生抖动的可能性的警告显示。
<效果>
摄影者可对有发生抖动的可能性进行识别。
(附记11)
根据附记8所述的电子抖动校正装置,其特征在于,还具有:存储器,其存储可选择为上述连续进行摄影的预定的摄影次数的多个摄影次数;
上述曝光时间控制部控制上述第2曝光时间生成部,使得从存储在上述存储器内的摄影次数中选择大于等于将上述第1曝光时间除以上述第2曝光时间所得到的值的最接近该值的整数作为摄影次数,并使将上述第1曝光时间除以上述摄影次数所得到的时间取代上述第2曝光时间而生成为新的第2曝光时间。
<效果>
作为第2曝光时间可设定确实不发生抖动的曝光时间,并可使将多张图像进行合成的图像的曝光量合适。
(附记12)
根据附记8所述的电子抖动校正装置,其特征在于,
上述摄像光学系统构成为具有光圈;
该电子抖动校正装置还具有:
光圈值设定部,其设定上述摄像光学系统的光圈值;以及
存储器,其存储上述连续进行摄影的摄影次数;
上述光圈值设定部在上述第1曝光时间比上述第2曝光时间与存储在上述存储器内的摄影次数内的最大值的积即第3曝光时间长时,变更上述摄像光学系统的光圈值,使得该第1曝光时间小于等于该第3曝光时间。
<效果>
当用于得到合适曝光的第1曝光时间在摄影次数的上限内不能分割成可把抖动抑制到可容许水平的第2曝光时间时,自动控制光圈值,因而例如即使在与快门优先摄影模式、光圈优先摄影模式或者程序摄影模式等不联动的范围内,也能在进行抖动防止的同时,进行合适的曝光控制。
(附记13)
根据附记12所述的电子抖动校正装置,其特征在于,还具有:显示部,其在根据上述光圈值设定部变更上述摄像光学系统的光圈值时,显示该意思。
<效果>
由于在变更光圈值时显示该意思,因而不会使摄影者误解。
(附记14)
根据附记12所述的电子抖动校正装置,其特征在于,还具有:ISO感光度变更部,其用于通过变更从上述摄像元件所得到的图像的放大率,实质上变更ISO感光度;
上述ISO感光度变更部在上述光圈值设定部要变更的光圈值背离可设定为上述摄像光学系统的光圈值的范围时,变更ISO感光度,以便进入该可设定的范围内。
<效果>
由于即使是可设定曝光时间和光圈值的界限值,也能变更ISO感光度,因而可在更宽的范围内防止抖动的同时,进行合适的曝光控制。
(附记15)
根据附记14所述的电子抖动校正装置,其特征在于,还具有:显示部,当上述ISO感光度变更部要变更的ISO感光度背离可设定的范围时,进行表示有发生抖动的可能性的警告显示。
<效果>
摄影者可对有发生抖动的可能性进行识别。
(附记16)
根据附记1所述的电子抖动校正装置,其特征在于,还具有:蓄积电荷量控制部,其控制成,由上述加法部进行相加的图像数越多,可蓄积在上述固体摄像元件的上述像素内的最大蓄积电荷量就越少。
<效果>
由于根据摄影次数控制蓄积在像素内的电荷,因而可防止所合成的图像电荷在寄存器部中溢出。
(附记17)
根据附记16所述的电子抖动校正装置,其特征在于,上述固体摄像元件是构成在半导体基板上的纵型溢出结构的CCD固体摄像元件;
上述蓄积电荷量控制部通过控制对上述半导体基板施加的反向偏置电压的电压水平,控制蓄积在像素内的电荷开始排出到该半导体基板侧的最大蓄积电荷量。
<效果>
由于可准确控制蓄积在像素内的电荷量的水平,因而能可靠防止蓄积合成图像的寄存器中的电荷溢出。
(附记18)
根据附记1所述的电子抖动校正装置,其特征在于,还具有:有效区域抽出部,其从由上述加法部所相加的合成图像中抽出被认为由上述摄像部所摄影的全部图像共有的有效区域的图像。
<效果>
由于从由加法部所相加的合成图像中抽出被认为由摄像部所摄影的全部图像共有的有效区域的图像,因而可简单得到进行了抖动校正的高画质图像。
(附记19)
根据附记18所述的电子抖动校正装置,其特征在于,上述有效区域的图像的大小和在上述合成图像中的位置是预定的。
<效果>
由于有效区域的图像的大小和在合成图像中的位置是预定的,因而可通过简单处理抽出有效区域的图像数据。
(附记20)
根据附记18所述的电子抖动校正装置,其特征在于,上述曝光量控制部控制成,当判断为由上述摄像部所摄影的图像欠缺上述有效区域的图像的一部分时,结束上述摄像部的摄影。
<效果>
由于可使被认为有效的区域不包含未进行合适的抖动校正的区域,因而可简单得到进行了抖动校正的高画质图像。
(附记21)
根据附记20所述的电子抖动校正装置,其特征在于,上述有效区域抽出部在上述摄像部的摄影次数未达到规定数而结束了摄影时,将上述有效区域的合成图像进行放大。
<效果>
由于在摄影因曝光不足而结束时,进行弥补该部分的放大,因而可得到合适曝光的图像。
(附记22)
根据附记1所述的电子抖动校正装置,其特征在于,上述加法部具有:
第1传送寄存器,其存储由上述摄像部所摄像的第1图像,并将该第1图像在第1方向上传送;以及
第2传送寄存器,其存储在与上述第1图像不同的时刻所摄像的第2图像,并将该第2图像在与上述第1方向交叉的第2方向上传送;
使上述第1图像和上述第2图像分别在上述第1传送寄存器和上述第2传送寄存器内相对移动后进行相加,存储在上述第1传送寄存器或上述第2传送寄存器内。
<效果>
可高速校正存储在第1传送寄存器内的图像和存储在第2传送寄存器内的图像的抖动。
(附记23)
根据附记22所述的电子抖动校正装置,其特征在于,上述摄像部具有:光电转换部,其具有在行方向和列方向上呈矩阵状配置的多个像素;
上述第1传送寄存器与上述光电转换部的各像素行邻接配置;
上述第2传送寄存器与上述光电转换部的各像素列邻接配置。
<效果>
由于以往的行间转移方式的固体摄像元件的垂直传送寄存器可兼用作抖动校正用的传送寄存器,因而具有结构比较简单的优点。
(附记24)
根据附记22所述的电子抖动校正装置,其特征在于,上述第1传送寄存器和上述第2传送寄存器在上述固体摄像元件的内部与上述摄像部分开设置。
<效果>
由于没有必要在以往的行间转移方式的摄像部的像素行间新设置抖动校正用的传送寄存器,因而像素(光电二极管)的开口率不会下降。
(附记25)
根据附记22所述的电子抖动校正装置,其特征在于,还具有:电荷排出部,其用于从上述第1传送寄存器和上述第2传送寄存器中排出传送到上述第1传送寄存器和上述第2传送寄存器的端面的电荷。
<效果>
可防止由于伴随抖动校正的传送寄存器内的电荷传送,使得电荷蓄积在传送寄存器的端面而溢出。
(附记26)
根据附记1所述的电子抖动校正装置,其特征在于,上述固体摄像元件是在摄像面的前面配置有镶嵌状的滤色器的单板式彩色固体摄像元件;
上述加法部使上述多张图像根据由上述抖动检测部所检测的抖动,在该固体摄像元件的内部以上述滤色器的水平方向的最小重复周期和垂直方向的最小重复周期为最小单位相对移动后进行模拟相加,生成进行了抖动校正的图像。
(附记27)
一种固体摄像元件,其特征在于,具有:
光电转换部,其具有呈矩阵状排列的多个像素;
第1传送寄存器,其存储读出该光电转换部的电荷所得到的第1图像,并将该第1图像在第1方向上传送;
第2传送寄存器,其存储在与上述第1图像的摄像时刻不同的时刻读出上述光电转换部的电荷所得到的第2图像,并将该第2图像在与上述第1方向交叉的第2方向上传送;以及
加法部,其将由上述第1传送寄存器传送了规定量的上述第1图像、和由上述第2传送寄存器传送了规定量的上述第2图像进行模拟相加。
<效果>
由于可把2张图像的一方存储在第1传送寄存器内、并把另一方存储在第2传送寄存器内,调整相对位置来将图像进行相加,因而成为可极高速地进行图像间的偏移校正的固体摄像元件。
(附记28)
根据附记27所述的固体摄像元件,其特征在于,上述第1传送寄存器与上述光电转换部的各像素行邻接配置;
上述第2传送寄存器与上述光电转换部的各像素列邻接配置。
<效果>
由于可将抖动校正用的传送寄存器的一方、和以往的行间转移CCD的垂直传送寄存器兼用,因而可减小摄像元件整体的大小。
(附记29)
根据附记27所述的固体摄像元件,其特征在于,还具有:电荷传送部,其用于把由上述光电转换部所生成的电荷传送到包含上述第1传送寄存器和上述第2传送寄存器的寄存器部。
<效果>
由于把抖动校正用的寄存器部设置在与摄像部不同的区域内,因而摄像部的设计变得容易,并可照原样继承以往型的摄像部的技术。然后,通过构成为具有帧行间转移型CCD的特性,具有拖影减少的优点。
(附记30)
根据附记29所述的固体摄像元件,其特征在于,还具有:传送部,其用于把存储在上述寄存器部内的图像读出到外部;
可控制成,在将多张图像相加来读出到外部时,把存储在上述第2传送寄存器内的图像通过上述传送部读出到外部,在不将图像相加而读出到外部时,把从上述光电转换部通过上述电荷传送部所传送的图像通过上述传送部读出到外部。
<效果>
由于只要第1传送寄存器传送时分图像即可,因而可减小寄存器的面积。
(附记31)
根据附记27所述的固体摄像元件,其特征在于,上述第1传送寄存器和上述第2传送寄存器分别构成为具有4个传送电极,该4个传送电极按照作为构成图像的最小单位的每一像素施加4相驱动脉冲。
<效果>
第1传送寄存器和第2传送寄存器即使配置成例如在垂直/水平方向上相互交叉,也能独立传送存储在各传送寄存器内的2张图像。
(附记32)
根据附记31所述的固体摄像元件,其特征在于,上述第1传送寄存器具有的4个传送电极内的1个传送电极、和上述第2传送寄存器具有的4个传送电极内的1个传送电极兼用同一电极,该第1传送寄存器和该第2传送寄存器在该兼用的电极位置交叉。
<效果>
通过兼用第1传送寄存器和第2传送寄存器的电极的一部分,可减小固体摄像元件的面积,并可容易进行像素相加。
(附记33)
根据附记31所述的固体摄像元件,其特征在于,上述传送电极将具有相对宽的面积的电极和具有相对窄的面积的电极进行交替配置。
<效果>
可在满足必要功能的同时,减小各传送寄存器的面积。
(附记34)
根据附记32所述的固体摄像元件,其特征在于,
上述第1传送寄存器使上述第1图像相对于上述第2图像移动规定量;
上述第2传送寄存器使上述第2图像相对于上述第1图像移动规定量;
上述加法部将移动了规定量后的第1图像和第2图像在上述第1传送寄存器或上述第2传送寄存器内进行相加。
<效果>
可高速进行像素相加而不需要复杂控制。
(附记35)
根据附记27所述的固体摄像元件,其特征在于,该固体摄像元件是光导电膜层叠型的固体摄像元件。
<效果>
可增大进行光电转换的例如光电二极管的开口率。
(附记36)
根据附记27所述的固体摄像元件,其特征在于,还具有:电荷排出部,其用于把传送到上述第1传送寄存器和上述第2传送寄存器的端面的电荷从上述第1传送寄存器和上述第2传送寄存器排出到外部。
<效果>
可防止由于伴随抖动校正的传送寄存器内的电荷传送,使得电荷蓄积在传送寄存器的端面上而溢出。
本发明可很好地利用于对成像在固体摄像元件上的图像的抖动进行电子校正的电子抖动校正装置。

Claims (25)

1.一种电子抖动校正装置,用于对成像在具有呈矩阵状排列的多个像素的固体摄像元件的摄像面上的图像的抖动进行校正,以生成进行了抖动校正的图像,其特征在于,该电子抖动校正装置具有:
摄像光学系统,其用于使图像成像在上述固体摄像元件的摄像面上;
抖动检测部,其检测上述图像的抖动;
曝光量控制部,其控制上述固体摄像元件的曝光量;
摄像部,其根据上述曝光量控制部的控制,利用上述固体摄像元件按照规定的曝光量拍摄多张图像;
第1传送寄存器,其存储由上述摄像部所摄像的第1图像,并将该第1图像在第1方向上传送;
第2传送寄存器,其存储在与上述第1图像不同的时刻所摄像的第2图像,并将该第2图像在与上述第1方向正交的第2方向上传送;
加法部,其使上述第1图像和上述第2图像分别在上述第1传送寄存器和上述第2传送寄存器内相对移动后进行相加,并存储在上述第1传送寄存器或上述第2传送寄存器内;以及
读出部,其从上述固体摄像元件中读出由上述加法部所相加的像素电荷。
2.根据权利要求1所述的电子抖动校正装置,其特征在于,上述加法部控制成重复进行以下动作,即:对时间上前后相继所摄影的2张图像的相对抖动进行校正,之后将上述2张图像进行模拟相加,再把该所相加的图像和其后所摄影的图像之间的相对抖动进行校正,之后将该2张图像进行模拟相加。
3.根据权利要求2所述的电子抖动校正装置,其特征在于,上述加法部控制成,根据上述所摄影的多张图像内的从最初图像摄影中的曝光开始到最新图像摄影中的曝光结束的图像抖动量、与该多张图像内的从最初图像到最新的前一张图像的抖动校正量的累积相加值之间的差,对最新图像和已相加的图像之间的抖动进行校正,将进行了抖动校正的该2张图像进行模拟相加。
4.根据权利要求1所述的电子抖动校正装置,其特征在于,上述曝光量控制部控制成,使上述固体摄像元件在小于等于可容许抖动的抖动界限曝光时间的预先设定的曝光时间中进行规定次数的曝光。
5.根据权利要求4所述的电子抖动校正装置,其特征在于,根据摄像光学系统的焦距信息,生成上述抖动界限曝光时间。
6.根据权利要求4所述的电子抖动校正装置,其特征在于,上述抖动检测部在曝光开始前也进行抖动量的运算;
运算在曝光开始前由上述抖动量检测部所运算的抖动量达到可容许的抖动量的上限为止的曝光时间,根据该曝光时间生成上述抖动界限曝光时间。
7.根据权利要求4所述的电子抖动校正装置,其特征在于,上述曝光量控制部运算在曝光时由上述抖动量运算部所运算的抖动量达到可容许的抖动量的上限为止的曝光时间,根据该曝光时间生成上述抖动界限曝光时间。
8.根据权利要求1所述的电子抖动校正装置,其特征在于,上述曝光量控制部具有:测光部,其取得被摄体的亮度;第1曝光时间生成部,其根据由上述测光部所取得的被摄体的亮度,生成用于得到合适曝光的第1曝光时间;第2曝光时间生成部,其生成第2曝光时间;以及曝光时间控制部,其控制成使在上述第2曝光时间中连续进行了规定次数的摄影时的曝光时间的合计等于上述第1曝光时间。
9.根据权利要求8所述的电子抖动校正装置,其特征在于,还具有:存储器,其存储上述连续进行摄影的预定的摄影次数;
上述曝光时间控制部控制上述第2曝光时间生成部,使得将上述第1曝光时间除以上述摄影次数所得到的时间生成为第2曝光时间。
10.根据权利要求9所述的电子抖动校正装置,其特征在于,还具有:显示部,其在由上述第2曝光时间生成部所生成的上述第2曝光时间比可把抖动抑制到可容许水平的曝光时间长时,进行表示有可能发生抖动的警告显示。
11.根据权利要求8所述的电子抖动校正装置,其特征在于,还具有:存储器,其存储可选择为上述连续进行摄影的摄影次数的预定的摄影次数;
上述曝光时间控制部控制上述第2曝光时间生成部,使得从存储在上述存储器内的摄影次数中选择大于等于将上述第1曝光时间除以上述第2曝光时间所得到的值的最接近该值的整数作为摄影次数,并使将上述第1曝光时间除以上述摄影次数所得到的时间取代上述第2曝光时间而生成为新的第2曝光时间。
12.根据权利要求8所述的电子抖动校正装置,其特征在于,还具有:
摄像光学系统,其用于使图像在上述固体摄像元件的摄像面上成像,且具有光圈;
光圈值设定部,其设定上述摄像光学系统的光圈值;以及
存储器,其存储上述连续进行摄影的摄影次数;
上述光圈值设定部在上述第1曝光时间比上述第2曝光时间与存储在上述存储器内的摄影次数内的最大值的积即第3曝光时间长时,变更上述摄像光学系统的光圈值,以使该第1曝光时间小于等于该第3曝光时间。
13.根据权利要求12所述的电子抖动校正装置,其特征在于,还具有:显示部,其在通过上述光圈值设定部变更上述摄像光学系统的光圈值时,显示该意思。
14.根据权利要求12所述的电子抖动校正装置,其特征在于,还具有:ISO感光度变更部,其用于通过变更从上述摄像元件所得到的图像的放大率,实质上变更ISO感光度;
上述ISO感光度变更部在上述光圈值设定部要变更的光圈值背离可设定为上述摄像光学系统的光圈值的范围时,变更ISO感光度,以便使光圈值进入该可设定的范围内。
15.根据权利要求14所述的电子抖动校正装置,其特征在于,还具有:显示部,其在上述ISO感光度变更部要变更的ISO感光度背离可设定的范围时,进行表示有可能发生抖动的警告显示。
16.根据权利要求1所述的电子抖动校正装置,其特征在于,还具有:蓄积电荷量控制部,其控制成,由上述加法部进行相加的图像数越多,可蓄积在上述固体摄像元件的上述像素内的最大蓄积电荷量就越少。
17.根据权利要求16所述的电子抖动校正装置,其特征在于,上述固体摄像元件是构成在半导体基板上的纵型溢出结构的CCD固体摄像元件;
上述蓄积电荷量控制部通过控制对上述半导体基板施加的反向偏置电压(VSUB)的电压水平,控制蓄积在像素内的电荷开始排出到该半导体基板侧的最大蓄积电荷量。
18.根据权利要求1所述的电子抖动校正装置,其特征在于,还具有:有效区域抽出部,其从由上述加法部所相加的合成图像中抽出被认为由上述摄像部所摄影的全部图像共有的有效区域的图像。
19.根据权利要求18所述的电子抖动校正装置,其特征在于,上述有效区域的图像的大小和在上述合成图像中的位置是预定的。
20.根据权利要求18所述的电子抖动校正装置,其特征在于,当判断为由上述摄像部所摄影的图像欠缺上述有效区域的图像的一部分时,结束上述摄像部的摄影。
21.根据权利要求20所述的电子抖动校正装置,其特征在于,当上述摄像部的摄影次数未达到规定数而结束了摄影时,将上述有效区域的合成图像进行放大。
22.根据权利要求1所述的电子抖动校正装置,其特征在于,上述摄像部具有:光电转换部,其具有在行方向和列方向上呈矩阵状配置的多个像素;
上述第1传送寄存器与上述光电转换部的各像素行邻接配置,上述第2传送寄存器与上述光电转换部的各像素列邻接配置。
23.根据权利要求1所述的电子抖动校正装置,其特征在于,上述第1传送寄存器和上述第2传送寄存器在上述固体摄像元件的内部与上述摄像部分开设置。
24.根据权利要求1所述的电子抖动校正装置,其特征在于,具有:电荷排出部,其用于从上述第1传送寄存器和上述第2传送寄存器中排出传送到上述第1传送寄存器和上述第2传送寄存器的端面上的电荷。
25.根据权利要求1所述的电子抖动校正装置,其特征在于,上述固体摄像元件是在摄像面的前面配置有镶嵌状的滤色器的单板式彩色固体摄像元件,上述加法部使上述多张图像根据由上述抖动检测部所检测的抖动,在该固体摄像元件的内部以上述滤色器的水平方向的最小重复周期和垂直方向的最小重复周期为最小单位相对移动后进行模拟相加,生成进行了抖动校正的图像。
CNB2006100943434A 2005-06-30 2006-06-30 电子抖动校正装置 Expired - Fee Related CN100426845C (zh)

Applications Claiming Priority (12)

Application Number Priority Date Filing Date Title
JP2005192624 2005-06-30
JP2005192624 2005-06-30
JP2005-192624 2005-06-30
JP2005221760 2005-07-29
JP2005221760 2005-07-29
JP2005-221760 2005-07-29
JP2005244687 2005-08-25
JP2005-244687 2005-08-25
JP2005244687 2005-08-25
JP2005-278748 2005-09-26
JP2005278748A JP4530961B2 (ja) 2005-06-30 2005-09-26 電子的ぶれ補正装置
JP2005278748 2005-09-26

Publications (2)

Publication Number Publication Date
CN1893558A true CN1893558A (zh) 2007-01-10
CN100426845C CN100426845C (zh) 2008-10-15

Family

ID=37975588

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2006100943434A Expired - Fee Related CN100426845C (zh) 2005-06-30 2006-06-30 电子抖动校正装置

Country Status (3)

Country Link
US (1) US7623154B2 (zh)
JP (1) JP4530961B2 (zh)
CN (1) CN100426845C (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101241294B (zh) * 2007-02-06 2010-09-01 亚洲光学股份有限公司 摄像控制方法及其装置
CN101577791B (zh) * 2008-05-07 2011-01-12 华晶科技股份有限公司 修正手震模糊的数码图像处理方法
CN102082910A (zh) * 2009-12-01 2011-06-01 索尼公司 图像拍摄设备、图像拍摄方法以及图像拍摄程序
CN102104737A (zh) * 2009-12-21 2011-06-22 展讯通信(上海)有限公司 高动态范围图像的成像方法及其系统
CN102487429A (zh) * 2010-12-01 2012-06-06 华晶科技股份有限公司 多重防手震系统及其方法
CN103098458A (zh) * 2010-09-10 2013-05-08 富士胶片株式会社 立体成像装置和立体成像方法
CN103634524A (zh) * 2013-11-15 2014-03-12 北京智谷睿拓技术服务有限公司 相机系统的控制方法、控制设备及相机系统
CN103747171A (zh) * 2013-11-15 2014-04-23 北京智谷睿拓技术服务有限公司 相机系统的控制方法及相机系统
CN105516583A (zh) * 2014-10-10 2016-04-20 鹦鹉股份有限公司 装备有传输动态校正了抖动效应的图像序列的摄像机的移动设备,尤其是旋翼无人机
CN107018311A (zh) * 2015-11-27 2017-08-04 卡西欧计算机株式会社 移动信息取得装置以及移动信息取得方法
WO2017177407A1 (zh) * 2016-04-13 2017-10-19 华为技术有限公司 一种设定曝光时长的方法、装置以及照相设备
CN109417593A (zh) * 2016-03-30 2019-03-01 富士胶片株式会社 摄像装置、工作方法、图像处理装置以及图像处理方法
WO2020057198A1 (zh) * 2018-09-20 2020-03-26 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN111246117A (zh) * 2015-12-08 2020-06-05 佳能株式会社 控制装置、摄像设备和控制方法
CN114584209A (zh) * 2022-02-25 2022-06-03 青岛海信宽带多媒体技术有限公司 光模块

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE602004028652D1 (de) * 2003-12-11 2010-09-23 Advasense Technologics 2004 Lt Erazittern
US20060247765A1 (en) * 2005-05-02 2006-11-02 Peter Fedor Method of selecting an intraocular lens
JP4580838B2 (ja) * 2005-07-29 2010-11-17 オリンパスイメージング株式会社 電子的ぶれ補正装置
JP5125010B2 (ja) * 2006-07-20 2013-01-23 ソニー株式会社 固体撮像装置、及び制御システム
JP2009116742A (ja) * 2007-11-08 2009-05-28 Aisin Seiki Co Ltd 車載用画像処理装置、画像処理方法、および、プログラム
EP2133918B1 (en) * 2008-06-09 2015-01-28 Sony Corporation Solid-state imaging device, drive method thereof and electronic apparatus
JP2010073901A (ja) * 2008-09-18 2010-04-02 Sony Corp 固体撮像装置、固体撮像装置の製造方法、及び電子機器
JP2010161521A (ja) * 2009-01-07 2010-07-22 Nec Corp 画像処理装置、撮像装置、画像ぶれの補正方法、及びプログラム
JP5446750B2 (ja) * 2009-11-10 2014-03-19 株式会社リコー レンズユニット、本体ユニット及び撮像装置
TWI405459B (zh) * 2009-12-31 2013-08-11 Altek Corp 相機安全快門之自動調整方法
US8964045B2 (en) * 2012-01-31 2015-02-24 Microsoft Corporation Image blur detection
US8446481B1 (en) 2012-09-11 2013-05-21 Google Inc. Interleaved capture for high dynamic range image acquisition and synthesis
US9087391B2 (en) 2012-12-13 2015-07-21 Google Inc. Determining an image capture payload burst structure
US8866927B2 (en) 2012-12-13 2014-10-21 Google Inc. Determining an image capture payload burst structure based on a metering image capture sweep
US8866928B2 (en) 2012-12-18 2014-10-21 Google Inc. Determining exposure times using split paxels
US9247152B2 (en) 2012-12-20 2016-01-26 Google Inc. Determining image alignment failure
US8995784B2 (en) 2013-01-17 2015-03-31 Google Inc. Structure descriptors for image processing
US9686537B2 (en) 2013-02-05 2017-06-20 Google Inc. Noise models for image processing
US9117134B1 (en) 2013-03-19 2015-08-25 Google Inc. Image merging with blending
US9066017B2 (en) 2013-03-25 2015-06-23 Google Inc. Viewfinder display based on metering images
US9077913B2 (en) * 2013-05-24 2015-07-07 Google Inc. Simulating high dynamic range imaging with virtual long-exposure images
US9131201B1 (en) 2013-05-24 2015-09-08 Google Inc. Color correcting virtual long exposures with true long exposures
US9615012B2 (en) 2013-09-30 2017-04-04 Google Inc. Using a second camera to adjust settings of first camera
CN104796595B (zh) * 2014-01-17 2018-04-27 联想(北京)有限公司 图像处理方法和电子设备
JP5888348B2 (ja) * 2014-01-23 2016-03-22 カシオ計算機株式会社 撮像装置、撮像制御方法、及びプログラム
JP6797566B2 (ja) * 2016-06-02 2020-12-09 キヤノン株式会社 撮像装置、撮像装置の制御方法、および、画像処理装置
JP6685843B2 (ja) * 2016-06-06 2020-04-22 オリンパス株式会社 撮像装置
CN107613190B (zh) * 2016-07-11 2020-11-03 中兴通讯股份有限公司 一种拍照方法及终端
JP7207888B2 (ja) * 2018-07-31 2023-01-18 キヤノン株式会社 制御装置、撮像装置、制御装置の制御方法、および、プログラム
CN109218627B (zh) * 2018-09-18 2021-04-09 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN112949392B (zh) * 2021-01-28 2023-04-28 展讯通信(天津)有限公司 图像处理方法及装置、存储介质、终端

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4905033A (en) * 1987-01-06 1990-02-27 Minolta Camera Kabushiki Kaisha Image sensing system
US4985760A (en) * 1987-10-09 1991-01-15 Canon Kabushiki Kaisha Color imager having varying filter aperture sizes to compensate for luminance differences between colors
EP0479272B1 (en) * 1990-10-04 1998-01-07 Canon Kabushiki Kaisha Image sensing apparatus
JP2584383B2 (ja) 1992-03-02 1997-02-26 三洋電機株式会社 ビデオカメラの手ブレ制御装置
JPH0683402B2 (ja) * 1992-04-17 1994-10-19 松下電器産業株式会社 固体撮像装置
JP3437239B2 (ja) * 1994-02-16 2003-08-18 オリンパス光学工業株式会社 情報再生装置
US5786852A (en) * 1994-06-20 1998-07-28 Canon Kabushiki Kaisha Image pick-up apparatus having an image sensing device including a photoelectric conversion part and a vertical transfer part
JP3302204B2 (ja) 1994-11-24 2002-07-15 株式会社東芝 固体撮像装置
US5835137A (en) * 1995-06-21 1998-11-10 Eastman Kodak Company Method and system for compensating for motion during imaging
JPH10108081A (ja) * 1996-10-02 1998-04-24 Sony Corp 固体撮像装置およびその信号処理方法並びにカメラ
US6219468B1 (en) * 1996-10-17 2001-04-17 Minolta Co., Ltd. Image detection system
JPH10276361A (ja) * 1997-01-31 1998-10-13 Sony Corp 撮像装置および方法、撮像システム、画像情報提供装置および方法、画像データ処理装置および方法、並びに伝送媒体
JPH10336510A (ja) 1997-06-03 1998-12-18 Sony Corp 固体撮像装置
US7027087B2 (en) * 1998-08-21 2006-04-11 Nikon Corporation Electronic camera
TW439285B (en) * 1998-11-30 2001-06-07 Toshiba Corp Solid-state imaging device
US6778210B1 (en) * 1999-07-15 2004-08-17 Olympus Optical Co., Ltd. Image pickup apparatus with blur compensation
JP2001086398A (ja) 1999-07-15 2001-03-30 Olympus Optical Co Ltd 撮像装置
JP3636291B2 (ja) * 2000-01-31 2005-04-06 オリンパス株式会社 撮像装置
US7042507B2 (en) * 2000-07-05 2006-05-09 Minolta Co., Ltd. Digital camera, pixel data read-out control apparatus and method, blur-detection apparatus and method
JP4736173B2 (ja) * 2000-10-27 2011-07-27 株式会社ニコン 撮像装置
JP2002287197A (ja) 2001-03-28 2002-10-03 Tamron Co Ltd 撮像装置における画像安定化装置
JP3877565B2 (ja) * 2001-10-04 2007-02-07 松下電器産業株式会社 撮像装置
US7379094B2 (en) * 2002-04-18 2008-05-27 Olympus Corporation Electronic still imaging apparatus and method having function for acquiring synthesis image having wide-dynamic range
JP3829773B2 (ja) 2002-07-22 2006-10-04 コニカミノルタフォトイメージング株式会社 撮像装置およびセンタリング情報取得方法
AU2003296127A1 (en) * 2002-12-25 2004-07-22 Nikon Corporation Blur correction camera system
JP2004299198A (ja) * 2003-03-31 2004-10-28 Sumitomo Chem Co Ltd 硬化被膜が形成された透明基材
JP4444719B2 (ja) * 2003-07-07 2010-03-31 株式会社リコー 画像形成装置
JP2005077886A (ja) * 2003-09-02 2005-03-24 Canon Inc 撮影装置
DE602004028652D1 (de) * 2003-12-11 2010-09-23 Advasense Technologics 2004 Lt Erazittern
JP4718196B2 (ja) * 2005-02-01 2011-07-06 株式会社日立製作所 撮像装置
JP2006270657A (ja) * 2005-03-25 2006-10-05 Casio Comput Co Ltd 撮像装置、及び固体撮像素子、固体撮像素子の駆動方法

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101241294B (zh) * 2007-02-06 2010-09-01 亚洲光学股份有限公司 摄像控制方法及其装置
CN101577791B (zh) * 2008-05-07 2011-01-12 华晶科技股份有限公司 修正手震模糊的数码图像处理方法
CN102082910A (zh) * 2009-12-01 2011-06-01 索尼公司 图像拍摄设备、图像拍摄方法以及图像拍摄程序
CN102082910B (zh) * 2009-12-01 2014-03-26 索尼公司 图像拍摄设备、图像拍摄方法
CN102104737A (zh) * 2009-12-21 2011-06-22 展讯通信(上海)有限公司 高动态范围图像的成像方法及其系统
CN103098458A (zh) * 2010-09-10 2013-05-08 富士胶片株式会社 立体成像装置和立体成像方法
CN103098458B (zh) * 2010-09-10 2015-11-25 富士胶片株式会社 立体成像装置和立体成像方法
CN102487429A (zh) * 2010-12-01 2012-06-06 华晶科技股份有限公司 多重防手震系统及其方法
CN103634524A (zh) * 2013-11-15 2014-03-12 北京智谷睿拓技术服务有限公司 相机系统的控制方法、控制设备及相机系统
CN103747171A (zh) * 2013-11-15 2014-04-23 北京智谷睿拓技术服务有限公司 相机系统的控制方法及相机系统
CN105516583A (zh) * 2014-10-10 2016-04-20 鹦鹉股份有限公司 装备有传输动态校正了抖动效应的图像序列的摄像机的移动设备,尤其是旋翼无人机
CN107018311A (zh) * 2015-11-27 2017-08-04 卡西欧计算机株式会社 移动信息取得装置以及移动信息取得方法
CN111246117A (zh) * 2015-12-08 2020-06-05 佳能株式会社 控制装置、摄像设备和控制方法
CN111246117B (zh) * 2015-12-08 2021-11-16 佳能株式会社 控制装置、摄像设备和控制方法
CN109417593A (zh) * 2016-03-30 2019-03-01 富士胶片株式会社 摄像装置、工作方法、图像处理装置以及图像处理方法
CN109417593B (zh) * 2016-03-30 2021-01-08 富士胶片株式会社 摄像装置、工作方法、图像处理装置以及图像处理方法
WO2017177407A1 (zh) * 2016-04-13 2017-10-19 华为技术有限公司 一种设定曝光时长的方法、装置以及照相设备
WO2020057198A1 (zh) * 2018-09-20 2020-03-26 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN114584209A (zh) * 2022-02-25 2022-06-03 青岛海信宽带多媒体技术有限公司 光模块
CN114584209B (zh) * 2022-02-25 2024-05-28 青岛海信宽带多媒体技术有限公司 光模块

Also Published As

Publication number Publication date
US7623154B2 (en) 2009-11-24
JP4530961B2 (ja) 2010-08-25
JP2007089091A (ja) 2007-04-05
US20070003261A1 (en) 2007-01-04
CN100426845C (zh) 2008-10-15

Similar Documents

Publication Publication Date Title
CN1893558A (zh) 电子抖动校正装置
CN1910907A (zh) 用于拍摄设备的控制方法、控制设备和控制程序
CN100338495C (zh) 变焦透镜系统
CN1574898A (zh) 图像摄取装置
CN1701614A (zh) 处理图像的方法、设备和程序
CN1770831A (zh) 数据处理方法、数据处理设备、半导体装置和电子设备
CN101079965A (zh) 拍摄图像的失真校正方法和装置、拍摄方法和拍摄装置
CN1864087A (zh) 摄像透镜以及摄像装置
CN1834717A (zh) 摄影透镜、摄影装置和具备该摄影装置的携带终端
CN1576939A (zh) 摄像透镜、摄像单元以及具备此摄像单元的便携终端
CN1830002A (zh) 图像处理装置、图像处理方法以及失真校正方法
CN1749798A (zh) 变焦镜头及摄像装置
CN101029960A (zh) 变焦透镜以及摄像装置
CN1977205A (zh) 变焦透镜系统、成像装置和拍摄设备
CN1512211A (zh) 变焦透镜系统
CN1758083A (zh) 变焦透镜系统和包括变焦透镜系统的图像拾取装置
CN1741584A (zh) 摄像装置和图像数据的修正方法
CN1869760A (zh) 变焦透镜和图像拾取装置
CN1707346A (zh) 防震装置
CN1317830A (zh) 半导体器件及其驱动方法
CN1777242A (zh) 固体摄像器件
CN1900755A (zh) 变焦透镜和图像拾取装置
CN101047822A (zh) 缩略图生成装置及摄像装置
CN1576941A (zh) 摄像镜头和摄像装置
CN1573407A (zh) 小型成像透镜和成像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20151208

Address after: Tokyo, Japan, Japan

Patentee after: Olympus Corporation

Address before: Tokyo, Japan

Patentee before: Olympus Imaging Corp.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20081015

Termination date: 20190630

CF01 Termination of patent right due to non-payment of annual fee